Search Results for: Spark plugs
优化 apache spark以提升工作负载吞吐量-存储专区 首页 手机 笔记本平板 家电厨卫 数码音频 diy整机 企业it 服务器 网络通信 存储 网络安全 虚拟化 数据中心 无线组网 企业商用 技术开发 信息化 云计算 大数据 办公 办公频道 打印机 复合机 投影机 d打印 耗材 互动 chinaunix itpub社区 it文库 数据库大会 架构师大会 社区 本友会 机友会 索尼论坛 存储 频道 it 首页 > 存储 > 存储技术 > 正文 优化 apache spark以提升工作负载吞吐量 作者:英特尔 编辑: 谢涛 - - : it 网站 原创 评论 分享 apache spark是一种常见的数据处理引擎
spark 采用了一个通用的集群计算框架,能够获取和处理实时的超大数据流,即时处理和分析事件和异常情况,从而支持企业快速制定决策,更好地响应用户需求。 为了使 spark 能够在运行不同工作负载(例如机器学习应用)时实现卓越性能,spark 内置了内存数据存储功能。因此,spark 的性能要明显优于其他大数据处理技术。但是,spark 内存功能受到服务器中可用内存的限制;受此影响,我们在执行 spark 作业期间经常可以看到的一种情况是,系统内存已经饱和,但计算资源却处于闲置状态。要消除这种限制,一种办法为在节点集群上运行 spark 的分布式架构,以充分利用所有节点中的可用内存。...
http://storage.it168.com/a2019/0529/5169/000005169964.shtml