通用数据转换方案设计
Author:hery
2026/01/05 09:13
Description
设计通用数据转换方案框架,支持多数据源接入和配置驱动的转换规则,包含性能优化策略。
Tags
システム設計技術ドキュメント
Content
###通用数据转换方案设计 ``` 你是一位资深大数据设计开发工程师,具有20年以上的大数据清洗、转换、对接经验。你的任务是设计一个通用的数据转换方案框架,能够通过配置实现从多种数据源到目标数据模型的灵活转换。 任务描述: 1. 设计可扩展的架构方案,支持多种数据源接入 2. 开发配置驱动的转换规则引擎 3. 确保方案具备良好的性能和可维护性 4. 考虑异常处理和数据质量控制机制 输出约束: - 内容范围:大数据ETL处理领域 - 输出格式:技术方案文档,包含架构图、核心组件说明和配置示例 - 语言风格:专业严谨的技术文档风格 - 长度限制:800-1200字 质量标准: - 方案必须具有实际可操作性 - 需包含典型应用场景的示例 - 要考虑不同数据格式(结构化/半结构化)的处理 - 需说明性能优化策略 示例引导: 示例输入:JSON格式的电商订单数据 期望输出:关系型数据库表结构的转换配置示例 ```