【it168资讯】apache spark是一款快速、灵活且对开发者友好的工具，也是大型sql、批处理、流处理和机器学习的领先平台。
2009年，apache spark从美国u.c. berkeley的 amplab为起步，现在已经成为世界上主要的大数据分布式处理框架之一。spark可以以各种方式进行部署，为java、scala、python和r编程语言提供本地绑定，并支持sql、流数据、机器学习和图形处理。已经被银行、电信公司、游戏公司、政府以及苹果、facebook、ibm和微软等领域的企业和科技巨头所使用。
spark开箱即用，可以在独立的集群模式中运行，只需要在集群中的每台计算机上使用apache spark框架和jvm即可。然而，用户更希望利用资源或集群管理系统负责分配需求到员工手中。在企业中，这通常都是在hadoop yarn上运行(这是cloudera和hortonworks发行版运行spark作业的方式)，但apache spark也可以在apache mesos上运行。同时，其在为kubernetes添加本地支持方面也取得了进展。
如果正在处理一个托管解决方案，那么可以在amazon emr，google cloud dataproc和microsoft azure hdinsight中找到apache spark。拥有apache spark创始人的databricks公司，也提供databricks统一分析平台。这是一个全面的托管服务，提供apache spark集群、流支持、集成的基于web的notebook开发，以及在标准apache spark发行版中优化的云i / o性能.
spark vs hadoop
目前，大多数hadoop发行版中都包含了spark。但是由于spark本身的两大优势，使spark在处理大数据时已经成为首选框架，超越了hadoop 引入mapreduce范例。
第一个优势是速度。spark的内存数据引擎在某些情况下，可以执行比mapreduce快一百倍的任务，特别是与需要在stage之间将状态写回到磁盘的多级作业相比。即使apache spark的作业数据不能完全包含在内存中，但也比mapreduce快10倍左右。
第二个优势是交互友好的spark api。与spark加速一样重要的是，用户认为spark api的友好性更为重要。
spark核心
与mapreduce和其他apache hadoop组件相比，apache spark api对开发人员非常友好，在简单的方法调用后，隐藏了分布式处理引擎的许多复杂性。典型的例子是，几乎50行mapreduce代码在文档中计算单词的数量在可以减少到只有几行代码(这里显示在scala中):
通过提供与python和r等数据分析流行语言的绑定，以及对企业更友好的java和scala的绑定，apache spark使应用程序开发人员和数据科学家以可访问的方式利用其可扩展性和速度。
spark rdd
apache spark的核心是弹性分布式数据集(resilient distributed dataset，rdd)，是一中抽象编程，它是跨计算集群拆分的不可变对象的集合。在rdd上的操作也可以跨集群进行，并在并行处理过程中执行，从而实现快速可扩展的并行处理。
rdd可以通过简单的文本文件、sql数据库、nosql存储(如cassandra和mongodb)以及amazon s3存储等来创建。spark core api的大部分构建在rdd概念之上，支持传统的映射，还为连接数据集、过滤、采样和聚合提供了内置支持。
spark通过结合驱动程序核心进程，以分布式方式运行，该进程将spark应用程序分解成任务，并将其分发到工作的执行程序进程中，这些执行程序可以根据应用程序的需要进行扩展和缩减。
spark sql
spark sql最初被称为“shark”，现在对apache spark项目变得越来越重要。它可能是当今开发人员在创建应用程序时最常用的界面，spark sql专注于结构化数据处理，使用从r和python(在pandas中)借用的数据框架方法。正如它的名字，spark sql还提供了一个sql2003兼容接口来查询数据，将apache spark的强大功能带给分析师和开发人员。
除了标准的sql支持，spark sql还提供了一个标准接口，用于读取和写入其他数据存储，包括json、hdfs、apache hive、jdbc、apache orc和apache parquet，所有这些都支持开箱即用。例如apache cassandra、mongodb、apache hbase以及其他许多受欢迎的数据库，可以通过从spark packages生态系统中提取单独的连接器来使用。
从dataframe中选择列：
使用sql接口，将dataframe注册为临时表，之后对它发出sql查询：
在后台，apache spark使用名为catalyst的查询优化器来检查数据和查询，以便为数据局部性和计算提供高效的查询计划，在整个集群中执行所需的计算。在apache spark 2.x中，dataframes和datasets的spark sql接口(实质上是一个类型化的数据框，可以在编译时检查正确性，并在运行时利用进一步的内存和计算优化)是推荐的开发方法。rdd接口仍然可用，但只有在无法在spark sql范例中封装的情况下才推荐使用。
spark mllib
apache spark还捆绑了一些用于将机器学习和图形分析技术应用于数据的库。spark mllib包含一个用于创建机器学习管道的框架，允许在任何结构化数据集上轻松实现特征提取、选择和转换。mllib采用分布式实现的集群和分类算法，如k均值聚类和随机森林，可轻松地在自定义管道中交换。模型可以由apache spark的数据科学家使用r或python进行培训，mllib保存，然后导入到基于java或scala的管道中供生产使用。
虽然spark mllib涵盖了基本的机器学习，包括分类、回归、聚类和过滤，但它不包含建模和训练深度神经网络的功能。
spark graphx
spark graphx提供了一系列用于处理图形结构的分布式算法，包括google的pagerank的实现。这些算法使用spark core的rdd方法来建模数据; graphframes包允许在dataframe上做图形操作，包括利用catalyst优化器进行图查询。
spark streaming
spark streaming是apache spark的早期添加物，它帮助在需要实时或接近实时处理的环境中获得牵引力。以前，apache hadoop领域的批处理和流处理是分开的。可以为批处理需求编写mapreduce代码，并使用像apache storm这样的实时流媒体。这显然导致不同的代码库需要保持同步的应用程序域，尽管是基于完全不同的框架，需要不同的资源。
spark streaming将apache spark的批处理概念扩展到流，通过将流分解为连续的一系列微格式，然后使用apache spark api进行操作。通过这种方式，批处理和流操作中的代码可以共享(大部分)相同的代码，运行在同一个框架上，从而减少开发人员和操作员的开销。
对spark streaming方法的一个批评是：在需要对传入数据进行低延迟响应的情况下，microbatching可能无法与apache storm、apache flink和apache apex等其他支持流的框架的性能相匹配，所有这些都使用纯粹的流媒体方法而不是微型媒体。
结构化流媒体
结构化流式处理(在spark 2.x中添加)将影响spark sql对spark api进行spark流式处理，结果将是更高级别的api，更易于编写应用程序。在结构化流的情况下，高级api本质上允许开发人员创建无限流式数据框和数据集。它还解决了用户在早期框架中遇到的一些非常真实的痛点，尤其是在处理事件时间聚合和延迟传递消息方面。结构化流的所有查询都通过catalyst查询优化器，甚至可以交互方式运行，允许用户对实时流数据执行sql查询。
结构化数据流在apache spark中仍然是一个新部分，在spark 2.2发行版中已经被标记为生产就绪。但是，结构化流是面向平台的流媒体应用程序的未来，因此如果要构建新的流式传输应用程序，应该使用结构化流式处理。传统的spark streaming api将继续得到支持，但是该项目建议移植到结构化流式处理，因为新方法使得编写和维护流代码更容易。
apache spark的下一步是什么?
尽管结构化流式传输为spark streaming提供了高级改进，但它目前依赖于处理流式数据的相同的微处理方案。apache spark团队正在努力为平台带来连续的流媒体处理，这应该能够解决许多处理低延迟响应的问题(声称大约1ms，这将会非常令人印象深刻)。
除此之外，apache spark还将通过深度学习管道增加对深度学习的支持。使用mllib的现有管道结构，将能够在几行代码中构建分类器，并自定义tensorflow图形或keras模型应用于传入数据。这些图表和模型甚至可以注册为自定义的spark sql udf(用户定义的函数)，以便深度学习模型可以作为sql语句的一部分应用于数据。