gydtep 发表于 2020-10-7 13:45:45

在此基础上进行时间维度上的指标累加;对于 uv 类指标直接使用 druid 数据库作为指标汇总容器,根据业务方对汇总指标的及时性和准确性的要求,实现相应的精确去重和非精确去重。

gydtep 发表于 2020-10-7 17:19:29

截止目前,一共为顺风车业务线建立了增长、交易、体验、安全、财务五大模块,涉及 40+ 的实时看板,涵盖顺风车全部核心业务过程,

gydtep 发表于 2020-10-8 08:04:28

提供代码在线DEBUG能力:可以上传本地测试数据或者采样少量 Kafka 等 source 数据 debug,此功能对流计算任务非常重要。提供版本管理功能,可以在业务版本不断升级过程中,提供任务回退功能。

gydtep 发表于 2020-10-8 09:05:39

日志检索:Flink UI 上查询日志体验非常糟糕,滴滴将 Flink 任务日志进行了采集,存储在 ES 中,通过 WEB 化的界面进行检索,方便调查。

gydtep 发表于 2020-10-8 13:26:36

目前数据梦工厂支持的元数据化实时数据源包括 Postgre、DDMQ、MySQL、Druid、ClickHouse、Kylin、Kafka。

gydtep 发表于 2020-10-8 16:46:36

目前解决办法:由业务、BP、离线数仓共同保证数据源、计算口径与离线一致,数据加工过程,逐层与离线进行数据比对,并对指标结果进行详细测试,数据校验通过并上线后,根据离线周期进行实时和离线数据的校验。

gydtep 发表于 2020-10-8 20:11:02

例如,我们从输入向量开始,然后将其输入到第一个函数中,该函数用来计算其各分量的线性组合,然后我们将获得的向量作为输出。

gydtep 发表于 2020-10-9 09:22:20

在机器学习领域,这个函数通常是用来衡量我们的预测有多糟糕,因此被称为损失函数。我们的问题就变成了找到使这个损失函数最小化的神经网络参数。

gydtep 发表于 2020-10-9 10:37:26

在标准梯度下降法中,梯度是将整个数据集考虑进来并进行计算的。通常这是不可取的,因为该计算可能是昂贵的。

gydtep 发表于 2020-10-9 10:46:47

在实践中,数据集被随机分成多个块,这些块被称为批。对每个批进行更新。这种方法就叫做随机梯度下降。
页: 1 [2] 3 4 5 6 7 8 9 10 11
查看完整版本: 免费领取阿里云服务器2000元代金券!