跳到主要内容

AI 百科词条

数据管道(Data Pipeline)是什么?

把数据从源头搬到目的地并完成清洗加工的自动化流水线。

一句话说清楚

数据管道负责抽取(Extract)、转换(Transform)、加载(Load),是分析、大模型训练和 RAG 的上游基础设施。管道质量直接决定下游数据质量:字段口径不一致、重复数据、延迟过高都会在下游放大成「AI 回答不对」。

这对你选工具意味着什么

轻量场景用 ETL 工具(如 Airbyte、Fivetran)拖拽配置;重转换逻辑的场景用调度框架(Airflow、DolphinScheduler)写代码编排;实时场景用流式管道(Flink、Kafka Connect)。

常见误区

管道没有数据质量校验是最大隐患——上游改了字段名,下游任务不报错但数据悄悄变空,三周后才有人发现。

和「数据管道」最相关的工具按真实人气排序

用这些工具解决真实场景