# 苏黎世保险集团如何在 AWS 上构建日志管理解决方案 大数据博客

苏黎世保险集团如何在AWS上打造日志管理解决方案

关键要点本篇文章介绍了苏黎世保险集团Zurich Insurance Group基于AWS的日志管理解决方案，强调了其应对日志数据增长的挑战和创新架构的细节。随著数据来源的快速增加，廉价存储成本与长期日志保留的需求平衡，成为各行各业的主要挑战。苏黎世于2022年启动了数字转型计划，将1000个应用程序迁移至AWS，其中包括核心保险和SAP工作负载。

在过去几年中，日志数据的生成量和来源数量以指数速度增长，预计这一趋势将持续。各行各业的客户面临多种挑战，包括：

在满足长期日志保留要求的同时平衡存储成本在云端和本地之间移动日志时的带宽问题尝试分析大量日志数据时的资源扩展和性能问题跟上不断增长的存储需求，同时能够从数据中提供见解将安全信息和事件管理SIEM供应商的许可成本与日志处理、存储及性能要求进行对齐

苏黎世保险集团是一家全球领先的多业务保险公司，提供财产、意外和人寿保险解决方案。2022年，苏黎世开始了一项多年的计划来加速其数字转型和创新，将1000个应用程序迁移到AWS，包括核心保险和SAP工作负载。

苏黎世的网络融合中心管理团队面临著类似的挑战，例如在现有SIEM架构中平衡许可成本以及业务应用日志和安全日志数据的长期保留要求。苏黎世希望明确一个日志管理解决方案，以协同工作于其现有的SIEM解决方案。新的方案需要具备整合新技术如机器学习的灵活性，能在预测增长下进行长期保留的可扩展性，并提供成本优化的选项。本文将讨论苏黎世如何在AWS上构建了一个混合架构，结合AWS服务以满足其要求。

解决方案概述

苏黎世和AWS专业服务团队合作，构建了一个架构，旨在解耦日志长期存储、分布分析及报警能力，并优化日志数据的存储成本。该解决方案基于将日志数据分类和优先级划分为13级，并根据优先级将日志路由至不同的目的地。以下图表说明了解决方案架构。

工作流程步骤如下：

所有的日志P1 P2 和 P3都被实时收集并输入到AWS合作伙伴Cribl的Stream产品的提取、转换和加载ETL服务中。根据来源的能力为每个用例配置日志捕获与流式传输，例如使用内建的转发器、安装代理、利用Cribl Streams和AWS服务如Amazon Data Firehose。该ETL服务在数据到达分析层之前进行两个功能：数据标准化与聚合 原始日志数据根据要求的格式进行标准化与聚合。过程包括标准化日志字段名称、统一为JSON格式、删除未使用或重复字段，并进行压缩以减少存储需求。路由机制 完成数据标准化后，ETL服务将根据类别与优先级将日志数据输入相应的下游系统。优先级1的日志，例如网络检测与响应NDR、端点检测与响应EDR、云威胁检测服务如Amazon GuardDuty，直接进入现有的本地SIEM解决方案进行实时分析与报警。优先级2的日志，例如操作系统安全日志、防火墙、身份提供者IdP、电子邮件元数据和AWS CloudTrail，被输入到Amazon OpenSearch Service以实现以下能力：系统化发现潜在威胁并根据系统状态进行响应，并将这些警报整合回苏黎世的SIEM中进行更大范围的关联，从而减少进入苏黎世SIEM的数据大约85。最终，苏黎世计划使用机器学习插件，例如异常检测来增强分析。开发日志与追踪分析解决方案，支持互动查询，并灵活快速地可视化结果。减少平均进入平均搜索时间，以满足日志数据增长的需求。未来，苏黎世计划使用OpenSearch的安全分析插件，帮助安全团队利用2200多个预先建立的公开Sigma安全规则快速检测潜在的安全威胁或创建自定义规则。优先级3的日志，例如来自企业应用程序和漏洞扫描工具的日志，没有被输入到SIEM或OpenSearch服务中，而是转发到Amazon简单存储服务Amazon S3进行存储。这些日志可以根据需要进行一次性查询。所有日志数据P1 P2 P3的副本实时发送至Amazon S3，以实现高耐用性和长期存储，满足以下要求：长期数据保留 使用S3对象锁定根据苏黎世的合规与法规要求强制执行数据保留。成本优化存储 生命周期策略自动将存取模式较不频繁的数据转移到低成本的Amazon S3存储类别。苏黎世还使用生命周期策略在预定期限后自动过期物件，为平衡存储数据的成本和满足保留要求提供了机制。历史数据分析 存储于Amazon S3的数据可进行查询，以满足一次性审计或分析任务。最终，这些数据可用于训练机器学习模型，以支持更好的异常检测。苏黎世已经使用Amazon SageMaker进行测试，并计划在不久的将来增加这一能力。一次性查询分析 简单的审计用例需要根据不同时间范围查询历史数据，这可以通过Amazon Athena和AWS Glue分析服务实现。依靠Athena和AWS Glue，这两个无伺服器服务，苏黎世可以轻松进行简单查询，而无需耗费资源维护伺服器。Athena支持各种压缩格式以进行数据的读取与写入。所以，苏黎世能将压缩日志存储在Amazon S3中，以实现成本优化存储，同时仍能对该数据进行一次性查询。

作为未来能力，对大历史数据集进行需求式的复雑查询、分析和报告可以通过Amazon OpenSearch无伺服器版来支持。此外，OpenSearch服务还支持与Amazon S3的零ETL集成，用户可以利用OpenSearch服务的查询能力查询存储在Amazon S3中的数据。

本篇文章中概述的解决方案为苏黎世提供了一个支持可扩展性、韧性、成本优化和灵活性的架构。我们在以下部分讨论了这些主要优势。

可扩展性

考虑到当前的数据进入量，苏黎世需要一个能满足现有需求并提供增长空间的解决方案。在本部分中，我们讨论了Amazon S3和OpenSearch服务如何帮助苏黎世实现可扩展性。

Amazon S3是一种对象存储服务，提供业界领先的可扩展性、数据可用性、安全性和性能。你在Amazon S3中可以存储的数据总量和物件数量几乎是无限制的。根据其独特的架构，Amazon S3旨在超越9999999999911个9的数据耐久性。此外，Amazon S3预设将数据冗余存储于至少三个可用区AZ，为在大规模灾难中提供内建的弹性提供了保障。例如，S3标准存储类别的设计可达到9999的可用性。欲了解更多信息，请参见Amazon S3常见问题解答。

苏黎世利用AWS合作伙伴Cribl的Stream解决方案将所有日志信息的副本路由到Amazon S3进行长期存储与保留，这使苏黎世能够将日志存储从其SIEM解决方案中解耦，这是当今SIEM解决方案面临的常见挑战。

OpenSearch服务是一项受管服务，让运行OpenSearch变得简单而无需管理底层基础设施。苏黎世当前的本地SIEM基础架构由100多台伺服器组成，所有这些伺服器都需要操作和维护。苏黎世希望通过卸载优先级2和3日志，将其基础设施的足迹减少75。

为了支持具有跨境数据传输限制的地区并满足可用性要求，AWS和苏黎世共同定义了Amazon OpenSearch服务配置，使其在单一区域中达到999的可用性。

OpenSearch服务支持跨区域和跨集群查询，这有助于在不移动数据的情况下分布分析和处理日志，并提供跨集群的信息汇总能力。由于苏黎世计划在不同地区部署多个OpenSearch域，他们将利用跨集群搜索功能无缝查询不同地区域域的数据，而无需移动数据。苏黎世还为其现有的SIEM设置了一个连接器来查询OpenSearch，进一步实现了来自本地的分布式处理，并使数据能够在数据源之间进行汇总。最终，苏黎世能够分布处理、解耦存储并将核心资讯信息以警报和查询的形式推送到其SIEM解决方案，而无需运送日志数据。

此外，苏黎世的许多业务单元拥有能够利用相同AWS服务OpenSearch服务、Amazon S3、AWS Glue和Amazon Athena满足的日志需求。因此，架构中的AWS组件已利用基础架构即代码IaC进行模板化，以实现一致、可重复的部署。这些组件已在苏黎世的业务单元中开始使用。

成本优化

考虑到成本优化时，苏黎世必须考虑如何继续每天处理5TB的安全日志信息，仅对于其集中管理的安全日志。此外，业务部门需要满足相似需求，可能每天需要处理500GB的数据。

透过这一解决方案，苏黎世能够控制通过卸载P2和P3日志来源进入其主要SIEM解决方案的日志。结果，苏黎世拥有一种管理许可成本的机制，并通过减少SIEM需要解析的信息量，提高查询效率。

龙猫梯子

由于所有日志数据的副本都存储在Amazon S3，苏黎世能够利用不同的Amazon S3存储层，例如利用S3智能分层自动在不频繁访问层和存档访问层之间移动数据，以优化保留多年日志数据的成本。当数据移至不频繁访问层时，成本可减少多达40。同样，当数据移至存档瞬时访问层时，存储成本可减少多达68。

有关目前定价的详情，请参阅Amazon S3定价，以及按区域的信息。将数据移至S3不频繁访问和存档访问级别，为满足长期保留要求提供了显著的成本节省机会。

苏黎世团队分析了优先级2的日志来源，基于历史分析和查询模式，确定通常需要的仅是最近7天的日志。因此，OpenSearch服务被合理配置为在热层中保留7天的日志。与其为OpenSearch服务配置UltraWarm和冷存储层，剩余日志的副本同时被发送到Amazon S3进行长期保留，并可利用Athena进行查询。

这些成本优化选项的结合预计将在与之前的方法相比，降低53的日志数据每GB的进入和存储成本，持续保持13个月。

灵活性

架构的另一个关键考量是与现有警报系统和数据管道集成的灵活性，以及在苏黎世的日志管理方法中纳入新技术的能力。例如，苏黎世还为其现有的