什么是 Apache Spark？开云体育

Apache Spark 是一个用于大规模处理和机器学习的超快速漫衍式框架。Spark具有无尽可推广性，使其成为钞票 500 强企业乃至微软、苹果和 Facebook 等科技巨头值得信托的平台。

Spark 先进的非轮回处理引擎不错手脚孤立装配、云处事或任何依然运行的流行漫衍式猜想系统（如 Kubernetes 或 Spark 的前身Apache Hadoop）运行。

关于风尚使用 Java、Python、Scala 或 R 配景的要领员来说，Apache Spark 频繁只需要很短的学习弧线。与通盘 Apache 应用要领雷同，Spark 也得到了环球开源社区的撑持，何况不错险恶与大多数环境集成。

底下简要先容 Apache Spark 的演变、责任旨趣、它提供的上风，以及合适的合作伙伴如安在险些通盘组织中简化和简化 Spark 部署。

从 Hadoop 到 SQL：Apache Spark 生态系统

与通盘漫衍式猜想框架雷同，Apache Spark 的责任旨趣是将大皆猜想任务分发到多个节点，然后在这些节点上将其理会为不错同期处理的较小任务。

但 Spark 的顽固性内存数据引擎使其简略动态实行大多数猜想功课，而不需要进行多阶段处理以及在内存和磁盘之间往还进行屡次读写操作。

这一伏击特质使 Spark 简略以高达 100 倍的速率完成Apache Hadoop中使用的多阶段处理周期。其速率加上易于掌抓的 API 使 Spark 成为大型企业和开辟东谈主员的默许器具。

Apache Spark 与 Hadoop 和 MapReduce

这并不是说 Hadoop 已进程时了。它能作念 Spark 作念不到的事情，何况频繁提供 Spark 责任所依赖的框架。Hadoop漫衍式文献系统使该处事简略存储和索引文献，充任造谣数据基础设施。

而 Spark 则在该架构上实行漫衍式高速猜想功能。若是 Hadoop 是领有器具和诞生来构建和烹调数据大餐的专科厨房，那么 Spark 便是快速拼装和分发这些大餐以供滥用的加快器。

伏击的是要意志到，并非每个组织皆需要 Spark 的先进速率。Hadoop 依然使用名为MapReduce的系统来加快漫衍式处理，何况不错以惊东谈主的速率处理高达 TB 的数据集。它通过同期将并行功课映射到特定位置进行处理和检索，并通过相比重迭和造作集来减少复返的数据，并提供“干净”的信息来完了这少量。

MapReduce 实行这些功课的速率很是快，因此惟一数据最密集的操作才可能需要 Spark 提供的速率。其中包括：

酬酢媒体处事电信多媒体流媒体处事提供商大规模数据分析

由于 Spark 是为配合 Hadoop 基础架构而构建的，因此这两个系统不错很好地协同责任。基于 Hadoop 构建的快速增长组织不错凭证需要险恶添加 Spark 的速率和功能。

Spark SQL

Spark SQL是 Apache 用于处理结构化数据的模块。Spark SQL 包含在 Spark 下载中，手脚模块提供对最流行数据源的集成拜访，包括 Avro、Hive、JSON、JDBC 等。

Spark SQL 将数据排序为定名的列和行，很是合适复返高速查询。最伏击的是，它不错与新的和现存的 Spark 应用要领无缝集成，以完了最好性能和最低猜想本钱。

Spark SQL 是 Apache Spark 生态系统中的一个器具，该生态系统还包括 Spark Batch、Spark Streaming、MLlib（机器学习组件）和 GraphX。底下先容其他模块在 Spark 全国中推崇的作用。

Spark Streaming — Spark 可能是用于极快分析批量数据的好意思满器具，然而当存储库受到及时数据变化的影响时会发生什么？使用Spark Streaming，它在 Spark 装配之上运行，并为从险些通盘流行的存储库源中索要的及时数据添加交互式分析功能。Spark Streaming 为需要及时数据的广宽应用要领提供撑持，并具有 Spark 可靠的容错功能，使该器具成为开辟兵器库中的有劲兵器。MLlib — MLlib（机器学习库）也在 Apache Spark 上土产货运行，提供快速、可推广的机器学习。MLlib 期骗 Spark 的 API 并与任何 Hadoop 数据源无缝配合。MLib 提供可靠的算法和惊东谈主的速率来构建和调理撑持生意智能的机器学习库。GraphX — 使用GraphX构建和操作图形数据，在 Spark 平台上实行相比分析。以业内最快的速率改换和归拢结构化数据。使用友好的 GUI 从继续增长的算法聚积中进行礼聘，或构建自界说算法来追踪 ETL 瞻念察。

Spark 生态系统的通盘这些组件皆无缝交互并以最小的支拨运行，从而使 Spark 成为一个广宽、可推广的平台。

Apache Spark 的上风

关于依赖大数据完了超卓的公司来说，Spark 比竞争敌手具有一些明显的上风：

速率— 如上所述，Spark 的速率是其最受宽待的资产。Spark 的内存处理引擎比 Hadoop 和近似家具快 100 倍，后者需要读取、写入和集聚传输时辰来处理批处理。容错性— Spark 生态系统在容错数据源上运行，因此批处理使用已知“干净”的数据。然而，当流数据与源交互时，需要特别的容错层。Spark 及时将流数据复制到不同的节点，并通过将辛苦流与原始流进行相比来完了容错。通过这种边幅，Spark 致使不错为及时流数据提供高可靠性。最大限度地减少手工编码— Spark 添加了 Hadoop 所穷乏的 GUI 界面，使其更容易部署，而无需大皆手工编码。天然未必手动定制最合稳健用要领挑战，但 GUI 提供了快速便捷的选项来完了常见任务。可用性——Spark 的中枢 API 与 Java、Scala、Python 和 R 兼容，从而不错险恶构建连忙规模的健壮应用要领。活跃的开辟者社区— 日立处罚决议、TripAdvisor 和雅虎等行业巨头已得胜大规模部署 Spark 生态系统。环球撑持和开辟社区为 Spark 提供撑持并如期更正构建。

若是组织发现这些领域的需求，Apache Spark 将为大数据运营带来熟习的处罚决议和无与伦比的处理速率。

责任旨趣

Apache Spark 构建于现存架构中险些无缝运行，撑持四种类型的装配：

当地的孤立YARN 客户端YARN 集群

每种装配类型皆使用略有不同的任务步调，但 Spark 中的通盘大数据操作皆分为 Spark Batch 或 Spark Streaming 功课。

Spark Batch — 批处理功课分析已网罗到一个或多个数据存储中的数据（历史数据）。批处理功课从存储库提供信息以供分析。

Spark Streaming ——Spark 分析器具及时索要流数据，并通过分析器具提供对流数据和历史数据的瞻念察，以便大家简略随时照管变化的数据。

计划使用 Spark Batch 和 Streaming 过甚关连组件的更多详备信息，请参考此 Spark 时期初学。

Talend 和 Apache Spark

Talend Big Data为企业提供了开释 Spark 广宽功能所需的平台，并能立即产生影响。以下是 Talend 简化和改善 Spark 体验的五种边幅：

和洽操作——Talend 为通盘土产货、云或搀和环境提供单一处罚决议源，通过非开辟东谈主员不错阐扬和操作的直不雅界面透顶约束大数据。可视化筹画器具— Talend 使非要领员简略在 Spark、Spark Streaming 和 Spark MLlib 中构建和裁剪功课。裁汰大数据任务的时期复杂性使组织决策者更容易取得深度生意智能。简化合规性— 在线生意全国监管日益严格，监管雷区雨后春笋，险些任何企业皆会靠近本钱腾贵且耗时的贫寒。Talend 提供器具和视力，匡助您应付合规性挑战，举例 HIPPA、PCI DSS、萨班斯-奥克斯利法案、欧洲通用数据保护条例 (GDPR) 等，提供欺骗保护、数据治领路决决议、风险缓解等，让组织不错专注于业务，而不是合规性。期骗机器学习——预构建、拖放开辟东谈主员组件以及各式预构建和可定制的算法闪开辟东谈主员和数据科学家不错通过 Spark 友好的 GUI 器具期骗机器学习。裁汰总领有本钱— 通过 Talend 照管界面，Apache Spark 包含数据准备即处事，只需几分钟即可在职何环境中使 Spark 上线。简化的调理和轻量级图形筹画器具充分期骗了 Spark 生态系统的沿途功能，同期裁汰了时辰和猜想支拨的投资。

了解计划 Talend 若何期骗 Hadoop 和 Spark 完了数据敏捷性的更多信息。

Apache Spark 初学

Apache Spark 是一种杰出的漫衍式框架，具有超快的操作和高档分析功能。Spark 大幅栽种了 Hadoop 框架的速率，加多了复杂的流式分析、快速无缝的装配和较低的学习弧线，因此专科东谈主士不错立即栽种生意智能。

Talend 的单点管领路决决议加多了 Spark 友好的 GUI 部署器具、更正的机器学习和广宽的分析器具，从而险恶完了栽种数据敏捷性。

立即运转下载最新版块的 Apache Spark，其中包含用于独有环境构建的预设立选项。然后下载 Talend Big Data Sandbox开云体育，运转尝试在 Spark、Spark Streaming 和其他顶端大数据时期中进行和洽照管。