EMR Cluster 集成 Lake Formation 影响分析

iX.

1 9月, 2025

EMR , Lake Fromation

1. 概述和背景

Lake Formation简介

AWS Lake Formation是一个托管服务，用于构建、保护和管理数据湖。它提供细粒度的访问控制，支持表级、列级、行级和单元格级权限管理。

集成需求和场景

EMR集群集成Lake Formation主要用于：

统一权限管理：跨多个AWS分析服务实现一致的数据访问控制
合规性要求：满足数据治理和隐私保护法规（GDPR、HIPAA等）
细粒度安全：保护敏感数据，如PII信息的列级隐藏
跨账户数据共享：安全地在不同AWS账户间共享数据

2. 技术架构变化

EMR与Lake Formation集成带来了数据访问流程和权限模型的根本性变化。

2.1 数据访问流程对比

传统EMR访问流程

用户 → EMR集群 → IAM权限验证 → 直接访问S3数据

Lake Formation集成后流程

用户 → EMR Steps API → 运行时角色 → Lake Formation权限验证 → 临时凭证 → 过滤后数据

详细的Lake Formation权限工作原理说明了完整的权限验证和数据访问流程。

关键变化：

必须通过EMR Steps API提交作业
使用运行时角色替代实例配置文件权限
Lake Formation进行临时凭证分发（credential vending）

2.2 权限模型转变

双重权限验证

IAM权限：控制API访问（lakeformation:GetDataAccess, glue:Get*）
Lake Formation权限：控制数据访问（表、列、行级权限）

IAM_ALLOWED_PRINCIPALS关键作用

# 必须删除默认权限才能启用Lake Formation控制
aws lakeformation revoke-permissions \
  --principal DataLakePrincipalIdentifier=IAM_ALLOWED_PRINCIPALS \
  --resource Table={DatabaseName=db_name,Name=table_name} \
  --permissions ALL

2.3 推荐架构

数据处理层: EMR Spark Jobs (创建和处理数据)
    ↓
权限管理层: Lake Formation (统一权限控制)
    ↓  
数据查询层: Athena + EMR Studio (交互式分析)

3. 计算引擎支持情况

3.1 支持的引擎

根据EMR Lake Formation限制文档和AWS Glue Lake Formation集成文档：

引擎	支持状态	访问方式	数据格式
Spark SQL	✅ 完全支持	EMR Steps API	Hive表、Iceberg表
Spark作业	✅ 完全支持	运行时角色	Parquet、ORC、xSV
Glue Job	✅ 完全支持	StartJobRun API	所有支持格式

3.2 不支持的引擎

引擎	状态	原因
传统Hive	❌ 不支持	仅支持Spark作业
直接JDBC	❌ 不支持	缺少运行时角色机制
SSH交互式	❌ 不支持	绕过EMR Steps API

注意：虽然支持"Apache Hive表格式"，但不支持"Hive计算引擎"。

3.3 集群配置建议

# 推荐的最小化配置
aws emr create-cluster \
  --applications Name=Spark Name=Hadoop \
  --security-configuration emr-lf-security-config

# 不再需要：
# Name=Hive  # 传统Hive引擎无法使用Lake Formation

4. 客户端访问影响

4.1 Web界面工具

Hue Web界面

限制：无法使用Lake Formation权限，直接连接HiveServer2
原因：缺少运行时角色和会话标签验证机制
替代方案：EMR Studio支持运行时角色

EMR Studio

支持：完全支持Lake Formation权限
优势：Jupyter Notebook界面，支持Spark SQL

AWS Glue相关工具

Glue Job：完全支持Lake Formation，使用双驱动架构，需要AWS Glue 5.0+
Glue Interactive Sessions (Glue Notebook)：支持通过Trusted Identity Propagation访问Lake Formation，需要IAM Identity Center集成
SageMaker Studio：完全支持，通过Trusted Identity Propagation访问Lake Formation

4.2 JDBC客户端工具

DBeaver等JDBC工具

限制：无法直接使用Lake Formation权限
技术原因：传统JDBC连接绕过EMR服务层
替代方案：连接Athena JDBC，完全支持Lake Formation权限

# DBeaver连接Athena示例
jdbc:awsathena://AwsRegion=us-east-1;S3OutputLocation=s3://bucket/results/;

4.3 命令行工具

支持的访问方式

# ✅ 通过EMR Steps API
aws emr add-steps \
  --cluster-id j-XXXXX \
  --execution-role-arn arn:aws:iam::ACCOUNT:role/RuntimeRole \
  --steps '[{"Name": "Spark Query", "Jar": "command-runner.jar", 
           "Args": ["spark-sql", "-e", "SELECT * FROM table"]}]'

不支持的访问方式

# ❌ 直接SSH连接
ssh hadoop@emr-master
hive -e "SELECT * FROM table"  # 绕过Lake Formation

# ❌ Beeline客户端
beeline -u jdbc:hive2://localhost:10000  # 无运行时角色

5. 运维和管理影响

5.1 安全配置要求

必需的安全配置：

{
  "AuthorizationConfiguration": {
    "IAMConfiguration": {
      "EnableApplicationScopedIAMRole": true,
      "ApplicationScopedIAMRoleConfiguration": {
        "PropagateSourceIdentity": true
      }
    },
    "LakeFormationConfiguration": {
      "AuthorizedSessionTagValue": "Amazon EMR"
    }
  }
}

5.2 权限管理流程变化

传统方式

每个服务独立配置IAM策略
S3存储桶策略管理
权限分散，难以统一管理

Lake Formation方式

统一的权限管理界面
基于业务逻辑的权限模型
一次配置，多服务生效

5.3 审计和合规性增强

CloudTrail集成：完整的数据访问审计日志
细粒度追踪：记录谁在何时访问了什么数据
合规性报告：满足数据治理要求

6. 性能和成本影响

6.1 性能考虑

双驱动架构开销（EMR Serverless）

用户驱动：执行用户代码，无数据访问权限
系统驱动：处理数据访问，强制执行安全策略
性能影响：建议使用双倍驱动数量以获得最佳性能

权限验证延迟

每次数据访问需要Lake Formation权限检查
临时凭证获取增加少量延迟
通过缓存机制优化性能

6.2 成本分析

额外成本

Lake Formation服务费用
双驱动架构的计算资源开销

成本节省

简化权限管理降低运维成本
统一审计减少合规性成本
精确权限控制避免数据泄露风险

7. 验证结果矩阵

7.1 服务兼容性

服务	创建表	读取Lake Formation控制的表	权限控制生效
EMR Spark SQL	✅ 成功	✅ 成功	✅ 生效
EMR Hive	✅ 成功	❌ 失败	✅ 生效（通过其他服务验证）
Athena	✅ 成功	✅ 成功	✅ 生效
Glue Job	✅ 成功	✅ 成功	✅ 生效
Glue Interactive Sessions	✅ 成功	✅ 支持	✅ 需要IAM Identity Center

7.2 访问方式支持

访问方式	Lake Formation支持	交互式访问	推荐使用
EMR Steps API	✅ 支持	❌ 不支持	✅ 推荐
EMR Studio	✅ 支持	✅ 支持	✅ 推荐
Athena Console	✅ 支持	✅ 支持	✅ 推荐
Glue Job	✅ 支持	❌ 不支持	✅ 推荐
Glue Interactive Sessions	✅ 支持	✅ 支持	✅ 推荐（需IAM Identity Center）
SageMaker Studio	✅ 支持	✅ 支持	✅ 推荐
Hue Web界面	❌ 不支持	✅ 支持	❌ 不推荐
DBeaver JDBC	❌ 不支持	✅ 支持	❌ 不推荐

基于AWS官方文档和实际验证结果
EMR版本: 7.3.0, Lake Formation表级权限模式

8. 总结和建议

8.1 核心价值

统一权限管理：实现跨AWS服务的一致数据访问控制
细粒度安全：支持表、列、行、单元格级权限控制
合规性保障：满足数据治理和隐私保护要求
审计能力：完整的数据访问追踪和审计日志

8.2 适用场景

企业数据湖：需要严格权限控制的多部门数据平台
合规性行业：金融、医疗、政府等对数据安全要求高的行业
多租户平台：SaaS服务或跨组织数据共享场景

8.3 推荐的服务组合

数据处理：EMR Spark Jobs、AWS Glue Jobs
交互式分析：EMR Studio、SageMaker Studio、Athena Console
即席查询：Athena、Spark SQL
权限管理：Lake Formation统一管理

8.4 实施建议

渐进式迁移：使用混合访问模式逐步迁移现有工作负载
工具链调整：从传统Hive/JDBC工具迁移到Spark SQL/Athena/Glue Job
权限规划：提前规划Lake Formation权限模型和数据分类策略
培训准备：为用户提供新访问方式的培训和文档

EMR集成Lake Formation虽然带来了访问方式的限制，但显著提升了数据安全性和治理能力，是构建现代化数据湖的重要技术选择。