Spark入门:Spark Streaming 概览

大数据 Spark
Spark Streaming是Spark API的一个可横向扩容,高吞吐量,容错的实时数据流处理引擎,Spark能够从Kafka、Flume、Kinesis或者TCP等等输入获取数据,然后能够使用复杂的计算表达式如map,reduce,join和window对数据进行计算。

[[199875]]

概览

Spark Streaming是Spark API的一个可横向扩容,高吞吐量,容错的实时数据流处理引擎,Spark能够从Kafka、Flume、Kinesis或者TCP等等输入获取数据,然后能够使用复杂的计算表达式如map,reduce,join和window对数据进行计算。计算完后的数据能够被推送到文件系统,数据库,和实时的仪表盘。另外,你也可以使用Spark ML和图计算处理实时数据流。

Spark Streaming接受到了实时数据后,把它们分批进行切割,然后再交给Spark进行数据的批量处理。

Spark Streaming对离散化的数据流提供了高级别的抽象DStream,所有进入的数据流都会被处理为DStreams,在内部,DStream是一个顺序排列的RDD。

快速起步

***个实例是如何从TCP输入中计算单词出现的次数

首先,我们创建一个JavaStreamingContext对象,它是所有Streaming函数的主入口,再创建一个带有2个线程的StreamingContext对象,每1秒进行一次批处理。

  1. import org.apache.spark.*; 
  2. import org.apache.spark.api.java.function.*; 
  3. import org.apache.spark.streaming.*; 
  4. import org.apache.spark.streaming.api.java.*; 
  5. import scala.Tuple2; 
  6.  
  7. SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount"); 
  8. JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1)); 

创建一个侦听本地9999的TCP数据源

  1. JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999); 

我们把接受到的数据按照空格进行切割

  1. JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator()); 

对单词进行统计

  1. JavaPairDStream<String, Integer> pairs = words.mapToPair(s -> new Tuple2<>(s, 1)); 
  2. JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey((i1, i2) -> i1 + i2);  
  3. wordCounts.print(); 

把字符串拍扁->映射->进行去重统计,***调用print函数把数据打印到控制台中

  1. jssc.start();              // Start the computation 
  2. jssc.awaitTermination();   // Wait for the computation to terminate 

***,启动整个计算过程

为了完成这次实验,还需要使用nc作为Server进行配合

  1. nc -lk 9999 

Spark提供了示例,可以使用 ./bin/run-example streaming.JavaNetworkWordCount localhost 9999 来体验WordCount

责任编辑:武晓燕 来源: oschina博客
相关推荐

2017-06-06 08:31:10

Spark Strea计算模型监控

2017-10-13 10:36:33

SparkSpark-Strea关系

2016-12-19 14:35:32

Spark Strea原理剖析数据

2018-04-09 12:25:11

2016-01-28 10:11:30

Spark StreaSpark大数据平台

2016-05-11 10:29:54

Spark Strea数据清理Spark

2019-10-17 09:25:56

Spark StreaPVUV

2019-12-13 08:25:26

FlinkSpark Strea流数据

2017-09-26 09:35:22

2021-08-20 16:37:42

SparkSpark Strea

2023-10-24 20:32:40

大数据

2017-06-27 15:08:05

大数据Apache SparKafka Strea

2017-10-11 11:10:02

Spark Strea大数据流式处理

2021-07-09 10:27:12

SparkStreaming系统

2021-03-15 14:02:21

大数据数据开发Spark

2018-04-18 08:54:28

RDD内存Spark

2016-03-03 15:11:42

Spark Strea工作流调度器

2016-03-02 11:23:34

Spark 1.6.0开源大数据技术

2016-08-19 08:50:12

SparkWordCountreduceByKey

2018-10-24 09:00:26

KafkaSpark数据
点赞
收藏

51CTO技术栈公众号