[国内信息] 阿里云服务器ECS老用户升级6.5折+400元升级代金券 [复制链接]
查看:139505 | 回复:1038

gydtep · 发表于 2020-10-12 18:35:00

MaxCompute的“默认预付费Quota”类似于yarn的root资源队列，这部分计算资源属于“总计算资源组”，需要将总资源组进行细分。

gydtep · 发表于 2020-10-12 21:31:45

每个quota group子资源组的min 资源量不小于 “默认预付费Quota”的5%，建议也不大于“默认预付费Quota”的20%。

koozb · 发表于 2020-10-13 07:20:30

希望楼主文章收录，我做网站seo外包的http://www.justinindustries.com/ 诚换友链找我，影视资讯http://rocketheduck.com/ 叮当游戏资讯http://shjuekang.com/ **资讯http://www.bhartimachinery.com/ 科技资讯http://jobsatpapermoon.com/

gydtep · 发表于 2020-10-13 09:26:39

等到EMR产品出现后，怎么让大数据计算（最初主要是MapReduce）对接S3，才成为一个真实的技术命题。

gydtep · 发表于 2020-10-13 10:52:58

对象存储提供key到blob对象的映射，这个key的名字空间是扁平的，本身并不具备文件系统那样的层次性，因此只能在适配层模拟文件/目录这种层次结构。

gydtep · 发表于 2020-10-13 12:19:06

因此即使是每次对象调用操作是原子的，但对于用户来说，对这个目录的操作并不能真正做到原子性。

gydtep · 发表于 2020-10-13 13:47:11

其实现机制是各个任务先将计算结果按照part写入到临时位置，然后作业commit的时候再complete这些结果对象到最终位置

gydtep · 发表于 2020-10-13 14:43:21

Alluxio一直在做这方面的事情，JindoFS核心定位是数据湖加速层，其思路也同出一辙。

gydtep · 发表于 2020-10-13 16:17:02

上面讨论对象存储适配的时候我们提到，一些文件/目录操作的原子性需求在本质上是解决不了的，比如文件的rename，目录的copy，rename和delete。

gydtep · 发表于 2020-10-13 18:43:42

如何兼容支持和有力优化这类格式，也需要进一步考虑。