使用 Amazon OpenSearch Ingestion 进行数据摄取

Amazon OpenSearch Ingestion 是 Amazon OpenSearch Service 的一项功能，用于收集、转换数据并将其路由到 Amazon OpenSearch Service 域。OpenSearch Ingestion 可提高成本效益，并有助于确保数据质量。OpenSearch Ingestion Service 将 OpenSearch Data Prepper 管道作为无服务器流程运行，以根据采集工作负载的处理需求自动扩展。 了解更多 »

Amazon OpenSearch Service 与 Amazon S3 的零 ETL 集成

Amazon OpenSearch Service 与 Amazon S3 的零 ETL 集成是一种连接个人数据的新方式，它允许客户直接对存储在 Amazon S3 数据湖中的不经常查询的数据使用 OpenSearch Service 丰富的交互功能。与 S3 的零 ETL 连接使客户无需构建或管理复杂的 ETL 管道，从而使他们能够执行对获得见解以及可视化安全性和可观测性数据至关重要的查询，同时降低了复制数据或管理多种分析工具的成本和操作复杂性。了解更多 >>

与 DynamoDB 的零 ETL 集成

Amazon OpenSearch Service 与 Amazon DynamoDB 的零 ETL 集成允许您对 Amazon DynamoDB 中的运营数据使用高级搜索功能，例如全文和向量搜索。这种零 ETL 集成使用 Amazon OpenSearch Ingestion 无缝地将来自 Amazon DynamoDB 的数据同步到 Amazon OpenSearch Service，无需编写任何自定义代码。这种零 ETL 集成减少了在这两种存储之间保持数据同步所涉及的运营负担和成本，使您能够将精力放在应用程序上。了解更多 >>

使用 Amazon Kinesis Data Firehose 进行数据摄取

利用 Amazon Kinesis Firehose，您可以轻松地将来自数据源的原始流数据转换为 Elasticsearch 或 OpenSearch 索引所需的格式，并将其加载到 Amazon OpenSearch Service，而无需构建自己的数据处理管道。

要使用该功能，只需从 AWS 管理控制台中的 Amazon Kinesis Firehose 传输流配置选项卡中选择一个 AWS Lambda 函数即可。Amazon Kinesis Firehose 会自动将该 AWS Lambda 函数应用到每个输入数据记录，并将转换后的数据加载到您的 Amazon OpenSearch Service 索引。

Amazon Kinesis Firehose 提供了无需更改或自定义即可使用的预构建 Lambda 蓝图，用于将 Apache 日志和系统日志等常见数据源转换为 JSON 格式和 CSV 格式。您还可以对 Amazon Kinesis Firehose 进行配置，使其自动重试失败的任务并备份原始流数据。了解更多 »

 

使用 Logstash 进行数据摄取

利用 Amazon Kinesis Firehose，您可以轻松地将来自数据源的原始流数据转换为 Elasticsearch 或 OpenSearch 索引所需的格式，并将其加载到 Amazon OpenSearch Service，而无需构建自己的数据处理管道。您可以在 Amazon EC2 上轻松部署 Logstash，并将您的 Amazon OpenSearch Service 域设置为通过 Logstash 实施传入的所有日志的后端存储。Logstash 支持一系列预先构建的过滤器，可以轻松执行常见转换，例如：通过模式匹配将非结构化日志数据解析为结构化数据；重命名、删除、替换和修改数据记录中的字段；以及整合指标。 了解更多 »

使用 Amazon CloudWatch Logs 进行数据摄取

Amazon CloudWatch Logs 支持您使用现有系统、应用程序和自定义日志文件来监控系统与应用程序，并进行故障排除。您可以配置 CloudWatch Logs 日志组，以近乎实时的速度通过 CloudWatch Logs 订阅将数据流式传输至您的 Amazon OpenSearch Service 域。如果您目前使用 CloudWatch Logs 来收集日志数据，且想要与您的 Amazon OpenSearch Service 用户共享该数据，这项集成会非常实用。 了解更多 »

使用 AWS IoT 进行数据摄取

AWS IoT 是一款托管式云平台，使互联设备可以轻松安全地与云应用程序及其他设备交互。借助 AWS IoT，您可以从消费电器、嵌入式传感器和电视机顶盒等连接的设备中捕捉数据。您可以使用 AWS 管理控制台配置 AWS IoT，以便将数据直接加载到 Amazon OpenSearch Service，从而让您的客户能够以近乎实时的速度访问 IoT 数据和指标。 了解更多 »

如何选择正确的摄取机制

选择正确的摄取机制取决于您的使用案例要求，例如数据延迟和数据类型。对于大规模数据，我们建议使用 Amazon Kinesis Data Firehose，这是一项完全托管的服务，可以自动扩展以便与数据吞吐量匹配，不需要持续管理。该服务还可以在将数据加载到 Amazon OpenSearch Service 域之前，对其进行转换、压缩和批处理。通常，这一选择归根结底还是在于您正在使用的服务。例如，如果您目前使用 Amazon CloudWatch Logs 收集应用程序日志，则只需将数据加载到 Amazon OpenSearch Service 域，而无需额外执行过多操作。

后续步骤

OpenSearch 包括某些来自 Elasticsearch B.V. 和其他源代码且经 Apache 许可的 Elasticsearch 代码。Elasticsearch B.V. 不是该其他源代码的来源。ELASTICSEARCH 是 Elasticsearch B.V. 的注册商标。

了解有关 Amazon OpenSearch Service 定价的更多信息

访问定价页面
准备好开始构建了吗？
开始使用 Amazon OpenSearch Service
还有更多问题？
联系我们