半小时,将你的Spark SQL模型变为在线服务

大数据 Spark
第四范式已经在很多行业落地了上万个AI应用,比如在金融行业的反欺诈,媒体行业的新闻推荐,能源行业管道检测,而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用

SparkSQL在机器学习场景中应用

第四范式已经在很多行业落地了上万个AI应用,比如在金融行业的反欺诈,媒体行业的新闻推荐,能源行业管道检测,而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用

 

半小时,将你的Spark SQL模型变为在线服务

SparkSQL在特征变换主要有一下几类

  1. 多表场景,用于表之间拼接操作,比如交易信息表去拼接账户表
  2. 使用udf进行简单的特征变换,比如对时间戳进行hour函数处理
  3. 使用时间窗口和udaf进行时序类特征处理,比如计算一个人最近1天的消费金额总和

SparkSQL到目前为止,解决很好的解决离线模型训练特征变换问题,但是随着AI应用的发展,大家对模型的期望不再只是得出离线调研效果,而是在真实的业务场景发挥出价值,而真实的业务场景是模型应用场景,它需要高性能,需要实时推理,这时候我们就会遇到以下问题

  1. 多表数据离线到在线怎么映射,即批量训练过程中输入很多表,到在线环境这些表该以什么形式存在,这点也会影响整个系统架构,做得好能够提升效率,做得不好就会大大增加模型产生业务价值的成本
  2. SQL转换成实时执行成本高,因为在线推理需要高性能,而数据科学家可能做出成千上万个特征,每个特征都人肉转换,会大大增加的工程成本
  3. 离线特征和在线特征保持一致困难,手动转换就会导致一致性能,而且往往很难一致
  4. 离线效果很棒但是在线效果无法满足业务需求

在具体的反欺诈场景,模型应用要求tp99 20ms去检测一笔交易是否是欺诈,所以对模型应用性能要求非常高

第四范式特征工程数据库是如何解决这些问题

 

半小时,将你的Spark SQL模型变为在线服务

通过特征工程数据库让SparkSQL的能力得到了补充

  1. 以数据库的形式,解决了离线表到在线的映射问题,我们对前面给出的答案就是离线表是怎么分布的,在线也就怎么分布
  2. 通过同一套代码去执行离线和在线特征转换,让在线模型效果得到了保证
  3. 数据科学家与业务开发团队的合作以sql为传递介质,而不再是手工去转换代码,大大提升模型迭代效率
  4. 通过llvm加速的sql,相比scala实现的spark2.x和3.x在时序复杂特征场景能够加速2~3倍,在线通过in-memory的存储,能够保证sql能够在非常低延迟返回结果

快速将spark sql 模型变成实时服务demo

demo的模型训练场景为预测一次打车行程到结束所需要的时间,这里我们将使用fedb ,pyspark,lightgbm等工具最终搭建一个http 模型推理服务,这也会是spark在机器学习场景的实践

 

半小时,将你的Spark SQL模型变为在线服务

整个demo200多行代码,制作时间不超过半个小时

  • train_sql.py 特征计算与训练, 80行代码
  • predict_server.py 模型推理http服务, 129行代码

场景数据和特征介绍

整个训练数据如下样子

样例数据

 

  1. id,vendor_id,pickup_datetime,dropoff_datetime,passenger_count,pickup_longitude,pickup_latitude,dropoff_longitude,dropoff_latitude,store_and_fwd_flag,trip_duration 
  2.  id3097625,1,2016-01-22 16:01:00,2016-01-22 16:15:16,2,-73.97746276855469,40.7613525390625,-73.95573425292969,40.772396087646484,N,856  
  3. id3196697,1,2016-01-28 07:20:18,2016-01-28 07:40:16,1,-73.98524475097656,40.75959777832031,-73.99615478515625,40.72945785522461,N,1198  
  4. id0224515,2,2016-01-31 00:48:27,2016-01-31 00:53:30,1,-73.98342895507812,40.7500114440918,-73.97383880615234,40.74980163574219,N,303  
  5. id3370903,1,2016-01-14 11:46:43,2016-01-14 12:25:33,2,-74.00027465820312,40.74786376953125,-73.86485290527344,40.77039337158203,N,2330  
  6. id2763851,2,2016-02-20 13:21:00,2016-02-20 13:45:56,1,-73.95218658447266,40.772220611572266,-73.9920425415039,40.74932098388672,N,1496  
  7. id0904926,1,2016-02-20 19:17:44,2016-02-20 19:33:19,4,-73.97344207763672,40.75189971923828,-73.98480224609375,40.76243209838867,N,935  
  8. id2026293,1,2016-02-25 01:16:23,2016-02-25 01:31:27,1,-73.9871597290039,40.68777847290039,-73.9115219116211,40.68180847167969,N,904  
  9. id1349988,1,2016-01-28 20:16:05,2016-01-28 20:21:36,1,-74.0028076171875,40.7338752746582,-73.9968032836914,40.743770599365234,N,331  
  10. id3218692,2,2016-02-17 16:43:27,2016-02-17 16:54:41,5,-73.98147583007812,40.77408218383789,-73.97216796875,40.76400375366211,N,674 ` 

场景特征变换sql脚本

特征变换

 

  1. select trip_duration, passenger_count,  
  2. sum `(pickup_latitude) over w as vendor_sum_pl,`  
  3. max `(pickup_latitude) over w as vendor_max_pl,`  
  4. min `(pickup_latitude) over w as vendor_min_pl,`  
  5. avg `(pickup_latitude) over w as vendor_avg_pl,`  
  6. sum `(pickup_latitude) over w2 as pc_sum_pl,`  
  7. max `(pickup_latitude) over w2 as pc_max_pl,`  
  8. min `(pickup_latitude) over w2 as pc_min_pl,`  
  9. avg `(pickup_latitude) over w2 as pc_avg_pl ,`  
  10. count `(vendor_id) over w2 as pc_cnt,`  
  11. count `(vendor_id) over w as vendor_cnt`  
  12. from {}  
  13. window w as (partition by vendor_id order by pickup_datetime ROWS_RANGE BETWEEN 1d PRECEDING AND CURRENT ROW),  
  14. w2 as (partition by passenger_count order by pickup_datetime ROWS_RANGE BETWEEN 1d PRECEDING AND CURRENT ROW) ` 

我们选择了vendor_id 和 passenger_count 两个纬度做时序特征

 

  1. train_df = spark.sql(train_sql)  
  2. # specify your configurations as a dict  
  3. params = {  
  4. 'boosting_type' `: 'gbdt' ,  
  5. 'objective' `: 'regression' ,  
  6. 'metric' `: { 'l2' , 'l1' },  
  7. 'num_leaves' `: 31 ,  
  8. 'learning_rate' `: 0.05 ,  
  9. 'feature_fraction' `: 0.9 ,  
  10. 'bagging_fraction' `: 0.8 ,  
  11. 'bagging_freq' `: 5 ,  
  12. 'verbose' `: 0`  
  13.  
  14. print `( 'Starting training...' )`  
  15. gbm = lgb.train(params,  
  16. lgb_train,  
  17. num_boost_round `= 20 ,`  
  18. valid_sets `= lgb_eval,  
  19. early_stopping_rounds `= 5 )`  
  20. gbm.save_model( `'model.txt' )执行模型训练过程,最终产生model.txt 

模型推理过程

导入数据代码

 

  1. import  
  2. def insert_row(line):  
  3. row = line.split( `',' )  
  4. row[ `2 ]` `=` `'%dl' % int (datetime.datetime.strptime(row[ 2 ], '%Y-%m-%d %H:%M:%S' ).timestamp()` `*` `1000 )`  
  5. row[ `3 ]` `=` `'%dl' % int (datetime.datetime.strptime(row[ 3 ], '%Y-%m-%d %H:%M:%S' ).timestamp()` `*` `1000 )`  
  6. insert = "insert into t1 values('%s', %s, %s, %s, %s, %s, %s, %s, %s, '%s', %s);" `% tuple (row)  
  7. driver.executeInsert( `'db_test' , insert 
  8. with open `( 'data/taxi_tour_table_train_simple.csv' , 'r' ) as fd:  
  9. idx = 0  
  10. for line in fd:  
  11. if idx = `= 0 :  
  12. idx = idx + 1  
  13. continue  
  14. insert_row(line.replace( `'n' , ''))  
  15. idx = idx + 1 `  
  16. 注:train.csv为训练数据csv格式版本 

模型推理逻辑

 

  1. predict.py  
  2. def` `post( self ):  
  3. row = json.loads( `self .request.body)  
  4. ok, req = fedb_driver.getRequestBuilder( `'db_test' , sql)  
  5. if not ok or not req:  
  6. self `.write( "fail to get req" )`  
  7. return  
  8. input_schema = req.GetSchema()  
  9. if not input_schema:  
  10. self `.write( "no schema found" )`  
  11. return  
  12. str_length = 0  
  13. for i in range `(input_schema.GetColumnCnt()):`  
  14. if sql_router_sdk.DataTypeName(input_schema.GetColumnType(i)) = `= 'string' :  
  15. str_length = str_length + len `(row.get(input_schema.GetColumnName(i), ''))`  
  16. req.Init(str_length)  
  17. for i in range `(input_schema.GetColumnCnt()):`  
  18. tname = sql_router_sdk.DataTypeName(input_schema.GetColumnType(i))  
  19. if tname = `= 'string' :  
  20. req.AppendString(row.get(input_schema.GetColumnName(i), ''))  
  21. elif tname = `= 'int32' :  
  22. req.AppendInt32( `int (row.get(input_schema.GetColumnName(i),` `0 )))`  
  23. elif tname = `= 'double' :  
  24. req.AppendDouble( `float (row.get(input_schema.GetColumnName(i),` `0 )))`  
  25. elif tname = `= 'timestamp' :  
  26. req.AppendTimestamp( `int (row.get(input_schema.GetColumnName(i),` `0 )))`  
  27. else `:`  
  28. req.AppendNULL()  
  29. if not req.Build():  
  30. self `.write( "fail to build request" )`  
  31. return  
  32. ok, rs = fedb_driver.executeQuery( `'db_test' , sql, req)  
  33. if not ok:  
  34. self `.write( "fail to execute sql" )`  
  35. return  
  36. rs. `Next ()  
  37. ins = build_feature(rs)  
  38. self `.write( "----------------ins---------------\n" )`  
  39. self `.write( str (ins) + "n" )  
  40. duration = bst.predict(ins)  
  41. self `.write( "---------------predict trip_duration -------------\n" )`  
  42. self `.write( "%s s" % str (duration[ 0 ]))`` 

最终执行效果

 

  1. python3 predict.py 
  2.  
  3. ----------------ins--------------- 
  4.  
  5. [[ 2. 40.774097 40.774097 40.774097 40.774097 40.774097 40.774097 
  6.  
  7. 40.774097 40.774097 1. 1. ]] 
  8.  
  9. ---------------predict trip_duration ------------- 
  10.  
  11. 859.3298781277192 s ` 

运行demo请到 https://github.com/4paradigm/SparkSQLWithFeDB

责任编辑:未丽燕 来源: 今日头条
相关推荐

2013-04-01 10:04:46

2019-10-22 18:00:00

MySQL基础入门数据库

2013-03-21 10:03:04

Perl

2015-09-29 17:42:42

云联

2015-10-28 08:54:11

云联

2016-11-24 16:50:19

数据库数据库架构1小时延时从

2014-01-24 13:39:28

IT半小时

2009-10-30 09:48:56

2014-01-14 15:32:59

IT半小时

2013-07-15 15:26:14

IT半小时

2013-08-02 16:17:18

IT半小时

2023-02-21 10:04:32

MySQL机房

2014-01-14 14:27:46

IT半小时

2014-01-24 13:34:57

IT半小时

2014-01-14 15:11:57

IT半小时

2013-08-21 10:11:04

亚马逊宕机

2020-03-13 14:20:02

代码开发 Rust

2013-07-02 17:36:49

IT半小时

2012-11-23 17:20:43

Linux服务器

2013-07-05 16:17:41

IT半小时
点赞
收藏

51CTO技术栈公众号