百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[国内信息] 阿里云服务器1折起购,先领券再购买! [复制链接]
查看:220946 | 回复:3696

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-14 16:44:03 | 显示全部楼层 来自 中国河北衡水
如果这种机制应用于所有线上作业,显然是不可接受的。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-14 20:08:32 | 显示全部楼层 来自 中国河北衡水
按前面所述,这份数据写的代价较小但读取的性能不佳,但由于仅在shuffle agent那个副本出错时才会读到备份数据,所以对作业整体性能影响很小,也不会引起集群级别的磁盘压力升高。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 09:22:55 | 显示全部楼层 来自 中国河北衡水
离线大数据作业可能承担了主要的计算数据量,但流行的大数据计算系统中有非常多的场景是通过实时/准实时方式运行的,
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 10:23:00 | 显示全部楼层 来自 中国河北衡水
这种shuffle方式还使得DAG系统中多种运行时调整DAG的能力可以应用到实时/准实时作业中。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 11:42:26 | 显示全部楼层 来自 中国河北衡水
与此同时,阿里的离线业务又是另外一幅风景,MaxCompute计算平台承担了阿里所有大数据离线计算业务类型,各个集群资源利用率常态超负载运行,数据量和计算量每年都在保持高速增长。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 14:36:21 | 显示全部楼层 来自 中国河北衡水
如何能够精准的对离线作业资源使用进行资源画像分析,如果能够评估资源受干扰的程度,混部集群的稳定性等问题,是对我们的又一个必须要解决的挑战
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 15:48:00 | 显示全部楼层 来自 中国河北衡水
采集时间精度过低。大部分信息是分钟级别,而MaxCompute作业大部分运行时间在秒级。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 17:26:31 | 显示全部楼层 来自 中国河北衡水
最终实现了混部在阿里的大规模推广与应用,从而大量提升了集群资源利用率,为离线计算节省了大量成本。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 21:04:34 | 显示全部楼层 来自 中国河北衡水
在技术层面,云计算在成本、稳定、安全和效率层面已经远超传统IT。对于企业而言,上云后综合成本下降一半,稳定性有10倍以上提升,安全性更是提升50倍。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
7619
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-16 10:06:05 | 显示全部楼层 来自 中国河北衡水
申通快递创建于1993年,是国内较早经营快递业务的民营快递品牌。
腾讯云爆款2核2G3M云服务器首年 61元,叠加红包再享折上折,官网活动网址:https://curl.qcloud.com/UHULq3SQ
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-3-29 00:02 , Processed in 0.106937 second(s), 27 queries , Gzip On.

返回顶部