Yandex 已将 YTsaurus Flow 开源,这项技术能够实时持续处理大型数据流。该技术已应用于 Yandex 的各项服务中,仅在 Yandex Ads 中,它每秒就能处理超过 100 GB 的数据,其中包括数百万个在线事件,例如点击、展示、点赞和订单。
YTsaurus Flow 通过实时处理这些信号,帮助系统更快地响应用户兴趣的变化,检测恶意活动,改进推荐,并选择更相关的广告。
为什么实时数据至关重要
用户兴趣和需求瞬息万变。用户可能先搜索航班,然后转而寻找新电影或家居用品。为了识别这些变化,算法需要关于用户活动的最新数据——例如用户购买了什么、听了什么音乐或搜索了什么。
传统上,这些数据通常是分批收集和处理的,而不是立即处理,这可能会导致数小时的延迟。YTsaurus Flow 通过连续处理到达的数据,将这种延迟降低到几乎为零。
这项技术的应用范围非常广泛,不仅限于广告和推荐系统,凡是对数据新鲜度要求较高的应用场景,例如,它可以用于准备训练机器学习模型的数据、更新网站和应用程序中的信息,以及追踪浏览量、点击量和订单量。
YTsaurus Flow 专为高负载环境而设计,提供精确一次处理,确保事件既不会丢失也不会重复。即使发生故障,它也能通过将工作负载重新分配到可用服务器上来继续运行。
Yandex 如何使用 YTsaurus Flow
YTsaurus Flow 已应用于 Yandex 的多项服务中。在 Yandex Market,它能帮助卖家更快地收集统计数据,从而更迅速地应对需求变化。Yandex 的反欺诈系统利用它来检测恶意活动,而 Yandex Ads 则利用它来投放更相关的广告。
此前,准备用于进一步训练某些广告选择模型的数据可能需要超过 10 个小时。而 YTsaurus Flow 的出现,几乎完全消除了这种延迟。仅在 Yandex Ads 中,该技术每秒就能处理超过 100 GB 的数据,其中包括数百万个在线事件,例如点击、展示、点赞和订单。
YTsaurus Flow 是 YTsaurus 的一部分,YTsaurus 是 Yandex 的开源平台,专为大型企业设计,用于存储和处理海量数据。借助 YTsaurus Flow,企业可以批量处理数据,也可以在数据到达时持续处理。他们还可以在同一系统中处理历史数据和最新数据。
YTsaurus Flow 开源:实时数据流处理速度超过 100 GB/s
YTsaurus Flow 由 Yandex 基础设施团队和 Yandex 广告团队联合开发。该技术采用 Apache 2.0 许可证,允许将其用于商业项目。