Yandex 已将 YaFF(Yet Another Flat Format,又一种扁平化格式)开源,这是一种用于高负载服务中高效数据传输和处理的新技术。YaFF 允许应用程序无需消耗资源进行反序列化即可访问数据,从而帮助降低高达 20% 的计算成本。此次发布是 Yandex 持续致力于与开发者社区共享基础设施技术的一部分。
现代服务和应用程序通常以紧凑的序列化形式从网络或存储系统接收数据。Protobuf 是用于此目的最广泛使用的标准之一。虽然 Protobuf 数据传输可靠高效,但它要求应用程序在访问数据之前对其进行反序列化。在大规模系统中,该过程可能会消耗高达 10% 的服务计算资源。另一种解决方案 FlatBuffers 允许应用程序无需反序列化即可读取数据,但采用它通常需要对代码进行大量修改。
YaFF(Yet Another Flat Format,又一种扁平化格式)的开发旨在解决这一权衡问题。该技术可与标准的Protobuf基础架构协同工作,允许应用程序直接读取数据而无需反序列化。这使得将YaFF引入现有项目并降低计算开销成为可能,而无需重写服务代码。这种方法适用于银行、市场平台、电信运营商和云服务提供商——任何对数据处理速度和基础架构效率要求极高的组织。
这项技术已应用于Yandex的广告平台。在每秒处理数十万个请求的环境下,YaFF将处理器负载降低了10%至20%。释放出来的资源可用于处理更多用户请求,而无需扩展公司的服务器集群。
YaFF 的源代码和文档可在 GitHub上找到。
YaFF 加入了 Yandex 不断增长的开源项目组合,其中包括 Perforator(数据中心的持续性能分析系统)、YDB(分布式 SQL 数据库)、YTsaurus(分布式数据存储和处理平台)、SPQR(PostgreSQL 分片系统)以及 userver(高负载应用程序框架)。
与更广泛的开发者社区分享技术和工程专业知识仍然是 Yandex 的重要工作重点。公司欢迎社区的反馈和贡献,以帮助指导 YaFF 的未来发展。