开源软件Datahub中文社区
微信号:DatahubCN
QQ群:528386897
Datahub功能概述
-
DataHub 是一个现代数据目录,旨在实现端到端数据发现、数据可观测性和数据治理。此可扩展元数据平台专为开发人员构建,以驯服其快速发展的数据生态系统的复杂性,并为数据从业者利用其组织内数据的总价值而构建。
引入元数据
使用DataHub用户界面创建,配置,计划和执行批处理元数据摄取。这样可以最大程度地减少操作自定义集成管道所需的开销,从而更轻松地将元数据导入 DataHub。搜索和发现
搜索数据堆栈的所有角落,DataHub 的统一搜索体验可跨数据库、数据湖、BI 平台、ML 功能存储、编排工具等显示结果。跟踪端到端数据血缘
通过跨平台、数据集、ETL/ELT 管道、图表、仪表板等跟踪沿袭,快速了解数据的端到端旅程。360度查看元数据
结合技术和逻辑元数据,提供数据实体的 360º 视图。
生成数据集统计信息以了解数据的形状和分布。现代数据治理
实时治理,操作框架支持以下实时用例:-
列表通知:在Datahub进行更改时生成特定于组织的通知。例如,在将“PII”标记添加到任何数据资产时,向治理团队发送电子邮件。
-
列表工作流集成:将Datahub集成到组织的内部工作流中。例如,在数据集上提出特定标记或术语时创建 Jira 票证。
-
列表同步:将Datahub中所做的更改同步到第三方系统。例如,将 DataHub 中的标记添加反映到 Snowflake 中。
-
列表审计:审核谁在Datahub上进行了哪些更改。
-