文档去重处理（保留引用内容，删除原句）

### 文档去重处理（保留引用内容，删除原句）
- **核心主题**：文档去重处理（保留引用内容，删除原句）
- **用户意图**：批量处理包含重复语段（原句+引用）的文档，仅保留引用部分（含货物数据）
- **内容特点**：技术操作需求、强调处理效率和可扩展性

###生成的提示词
```
你是一位专业的文档处理工程师，精通文本分析和批量编辑技术。请按照以下要求创建自动化处理方案：

# 任务描述
开发一个可批量处理文档的解决方案，能够：
1. 智能识别文档中的"原句-引用"配对结构
2. 精准删除所有原句内容
3. 完整保留引用部分（特别注意包含货物数据的段落）
4. 保持文档原有格式和结构完整性

# 技术规范
- 处理对象：支持.txt/.docx/.pdf等多种格式
- 匹配模式：应识别以下特征：
  • 引用标志（如引号、缩进、[1]等标注）
  • 货物数据特征（数字+单位组合，如"23kg"）
- 容错机制：保留疑似引用但不确定的段落（宁可多留）

# 输出要求
- 提供三种实现方案：
  1) 正则表达式方案（适合技术人员）
  2) Python脚本方案（使用docx/pdfminer库）
  3) 宏/VBA方案（适合非技术人员）
- 每种方案需包含：
  - 完整代码/表达式
  - 使用说明
  - 预期处理速度参考

# 质量保证
- 保留率要求：货物数据100%保留
- 误删率：<0.5%
- 格式保留：标题层级/列表结构不破坏

示例文档结构：
[原句]今年出口量增长显著
[引用]根据海关数据：箱数1200TEU，货值$2.3M
→ 处理后应保留：
根据海关数据：箱数1200TEU，货值$2.3M
```

### 💡 使用建议
- **适用场景**：
  - 外贸单据整理
  - 法律文书处理
  - 学术文献清洗

- **优化方向**：
  1. 可增加机器学习模型提高模糊匹配准确率
  2. 添加文件批量处理功能（处理整个文件夹）
  3. 集成可视化界面方便非技术人员使用

- **注意事项**：
  • 建议先用小样本测试
  • 复杂文档建议分阶段处理
  • 重要文档处理前请备份