gydtep

分布式作业中并发度的提升往往是加速作业运行的最重要手段之一。但处理同样的数据量，并发度越高意味着上述碎片读现象越严重。

gydtep

Shuffle service的归集思想在公司内外都有不同的工作展现类似的思想，但都限于“跑分”和小范围使用。因为这种模式对于各环节的错误天生处理困难。

gydtep

如果这种机制应用于所有线上作业，显然是不可接受的。

gydtep

前述数据归集模型及全面扩展优化，在线上集群中单位资源处理的数据量提升了约20%, 而因出错重试的发生频率降至原来文件系统shuffle的5%左右。但这就是最高效的shuffle方式了吗？

gydtep

我们将shuffle service应用到内存存储中，以替换network传输的shuffle方式。

gydtep

这类业务的特点是对响应延迟特别敏感，一旦服务抖动将会出现添加购物车失败、下单失败、浏览卡顿、钉钉消息发送失败等各种异常情况，

gydtep

毕竟登不上淘宝天猫下不了单可是大故障。可是，离线如果无限制的牺牲下去，服务质量将会出现大幅度下降。

gydtep

基于此，Fuxi2.0提出了一套基于资源优先级的资源划分逻辑，在资源利用率、多层次资源保障复杂需求寻找到了解决方案。

gydtep

在混部及MaxCompute的实践中，成为资源问题监控、报警、稳定性数据分析、作业异常诊断、资源监控状况的统一入口，成为混部成功的关键指标。

gydtep

数据Shuffle2.0则一方面优化shuffle流程，追求性能、成本、稳定性的极致，另一方面与DAG 2.0深入结合，提升更多场景；同时探索新的软硬件架构带来的新的想象空间。