纳斯达克使用 AWS 率先在云中存储股票交易所数据

纳斯达克是一家跨国金融服务和技术公司，拥有并运营纳斯达克股票交易所。纳斯达克总共运营 27 个市场、一家中央证券存管机构和清算所，涵盖北美和欧洲的各种资产类别。全球近 4000 家公司在纳斯达克市场挂牌上市，同时纳斯达克也向 50 个国家/地区的其他市场基础设施运营商提供任务关键型技术。

纳斯达克股票交易所是全球交易量最大的股权特许经营商，其管理高数量和高速度的买家和卖家匹配，同时在以电子方式进行的贸易中提供支持股票报价的数据。纳斯达克依赖一个内部应用程序来捕获和存储所有受保护的交易所数据。纳斯达克软件工程部副总裁 Robert Hunt 说到，“这些数据包括订单、报价、交易和取消。”每晚到第二天早上开市之前，纳斯达克接收数十亿条需要加载用于计费和报告流程的记录。

由于自动化交易平台涌入市场，交易速度和交易量持续增长。2014 年，为了扩大规模、提高性能并降低运营成本，纳斯达克从旧式本地部署数据仓库迁移到由 Amazon Redshift 集群赋能的 Amazon Web Services (AWS) 数据仓库。2014 年至 2018 年，随着公司扩展解决方案以支持其所有北美市场，该 Amazon Redshift 集群增至 70 个节点。截止 2018 年，该解决方案每晚从数千个源摄入金融市场数据，记录数量介于 300 亿到 550 亿条，大小超过 4 TB。

随着时间的推移，数据增长促使管理这些分析数据的方案发生转变。针对仓库运行的通宵批处理在处理大量数据以满足严格的截止日期方面造成了挑战。用户依靠这些数据来完成计费、报告和监督。Hunt 说到，“在 2018 年早期市场波动增加时，仓库数据量持续增加，在 2018 年高峰时达到每天约 550 亿条记录。”

越来越多的精妙交易实践导致数据大量增加，至关重要的是，纳斯达克开始规划开发新架构以持续实现生态系统期望的性能标准和卓越运营。Hunt 说到，“从收市到第二天早上，我们必须在这段时间内加载和使用 300 亿条记录。数据加载延迟了报告的交付。”“我们需要能够非常快速地将数据写入或加载到数据存储解决方案中，同时又不干扰对数据的读取和查询。”

2018 年，纳斯达克选择在 Amazon Simple Storage Service (Amazon S3) 上构建新数据湖的基础，这使该公司能够将计算和存储分开，并独立扩展每项功能。在传统的数据仓库部署中，扩缩存储容量往往需要公司同时扩展计算容量，因为应用程序和存储紧密联系在一起，对两者的比率进行任何更改都需要在现场进行硬件修改。Hunt 说到，“除了计算和存储分离带来的灵活度外，Simple Storage Service (Amazon S3) 在同时写入和读取大型数据集方面也具有更好的扩缩特性。”“Simple Storage Service (Amazon S3) 为我们提供的解决方案实现了数据加载和查询流程之间无任何冲突。”

起初是以性能为重点的解决方案，现在变成了团队间共享的多用途数据湖，从而为业务创造额外效益。