Datahub中文社区

    • Register
    • Login
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups
    • 达之云

    开源软件Datahub中文社区

    微信号:DatahubCN

    QQ群:528386897

    Datahub架构

    操作指南
    1
    1
    146
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • D
      dazdata last edited by

      DataHub 是第三代元数据平台,支持数据发现、协作、治理和端到端可观测性 这是为现代数据堆栈构建的。DataHub采用模型优先的理念,重点是解锁两者之间的互操作性 不同的工具和系统。
      替代文字
      替代文字

      架构特点
      DataHub的架构有三个主要特点。

      • 元数据建模的架构优先方法
        DataHub 的元数据模型使用与序列化无关的语言进行描述。REST 和 GraphQL API-s 都受支持。此外,DataHub支持基于AVRO的API通过Kafka来传达元数据更改并订阅它们。我们的路线图包括一个里程碑,即将支持无代码元数据模型编辑,这将允许更易于使用,同时保留类型化 API 的所有优势。在元数据建模中阅读元数据建模。

      • 基于流的实时元数据平台
        DataHub的元数据基础设施是面向流的,允许在几秒钟内在平台内传达和反映元数据的变化。您还可以订阅 DataHub 元数据中发生的更改,从而允许您构建实时元数据驱动的系统。例如,您可以构建一个访问控制系统,该系统可以观察以前全局可读的数据集,添加一个包含 PII 的新架构字段,并锁定该数据集以进行访问控制审查。

      • 联合元数据服务
        DataHub附带单个元数据服务(gms)作为开源存储库的一部分。但是,它还支持可以由不同团队拥有和运营的联合元数据服务 - 事实上,这就是LinkedIn内部运行DataHub的方式。联合服务使用 Kafka 与中央搜索索引和图形通信,以支持全局搜索和发现,同时仍支持元数据的分离所有权。这种架构非常适合正在实施数据网格的公司。

      1 Reply Last reply Reply Quote 0
      • First post
        Last post
      Powered by dazdata MDS | 武汉达之云计算有限公司