数据集成(Data Integration)支持关 系型数据库、大数据存储、非结构化存 储、NoSql数据库之间数据同步
支持批量(离线)的全量/增量同步, 支持单表或整库的实时同步,支持ETL, 支持分库分表同步
数据集成(Data Integration)将会监 控同步任务运行的状况并对异常进行报 警
多种数据源之间进行不同数据同步场景 的同步解决方案,包括实时数据同步、 离线全量同步、离线增量同步等
数据集成(Data Integration)比DataX更加高效、安全,且支持50+异构数据源之间的相互数据同步,通过数据源的Reader、Writer插件,无需用户实现复杂的编程,支持分库分表
提供一套抽象化 的数据抽取插件(Reader)、数据写入插件(Writer) 并基于此设计一套中间数据传输格式,从而达到任意 结构化、半结构化数据源之间数据传输的目的。
数据集成支持在数据抽取过程中进行简单的ETL数据转换操作(如日期解 析、数据过滤等),导入到大数据处理中心,利用大数据引擎强大的计算 能力可以再进行更复杂的数据转换操作。
支持阿里云经典网络、专有网络(VPC)环境下的数据同 步以及本地IDC网络环境下的数据集成。
数据集成(Data Integration)支持数据批量(离线)的全量/增量同步以及实时同步和ETL(DataX不支持实时同步)
批量同步主要应用场景为阿里云大数据计算存储(包括 MaxCompu te、AnalyticDB 、HDFS等)提供离线(批量)的数据进出通道,支 持分库分表同步。
实时数据同步功能,方便您使用单表同步或整库同步方式,将源端数据库 中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保 持和源库的数据对应。。
数据集成支持同步解决方案功能,您可以通过配置同步规 则同步整库的离线全量和实时增量数据,支持一键同步至 Elasticsearch、MaxCompute、Hologres
数据集成(Data Integration)与大数据开发套件深度集成,完全复用开发套件的调度能力和同步任务运维能力
定时任务调度数据集成支持多时间维度(天、小时、分钟)的离线 任务定时调度,只需要简单几步便可完成数据增量抽取。
当任务出现错误的时候,数据集成支持通过预定义的方式告知用户任务失 败。用户可以按照自己定义的规则来配置告警规则。
数据集成(Data Integration)提供多种数据源之间进行不同数据同步场景的同步解决方案(DataX不支持),支持ETL,助力企业数据更高效、更便捷的一键上云
将指定的整个数据库全部或者部分表一次性的全部同步至Elasticsea rch,并且支持后续的实时增量同步模式,将新增数据持续同步至El asticsearch。
可以将指定数据源中的数据,通过简单配置,一次性实时同步到Max Compute中,支持整库内批量多表同步,支持全增量一体化同步, 先全量数据迁移,然后实时增量保持更新
可以将指定数据源中的数据,通过简单的配置,一次性的 实时同步到Hologres中,支持整库内批量多表同步,同时 也支持全增量一体化同步,先全量数据迁移,然后实时增 量保持更新。
整库迁移是数据集成(Data Integration)提供的一种批量创建同步任务的快捷工具,可以快速完成把一个Mysql DB 库内所有表一并上传到 MaxCompute 中,节省大量初始化批量任务创建时间
快速把MySQL数据库内所有表一并上传至MaxCompute,极大减少 您初始化上云的配置、迁移成本。
快速把Oracle数据库内所有表一并上传至MaxCompute,极大减少您初始 化上云的配置、迁移成本。
支持PostgreSQL、SQL Server、DRDS、PolarDB、Analytic DB for PostgreSQL、HybridDB for MySQL、AnalyticDB for MySQL 3.0和DM类型的数据源整库迁移至MaxCompute。
互联网业务变化与增量速度都非常快,通过DataWorks构建简单、灵活,弹性的技术架构满足业务发展需求。
随着金融行业发展,传统的离线数仓已经越来越难以满足业务的实时诉求,通过DataWorks构建实时数据仓库,推动行 业大数据业务化运营转型。
为了快速数智化转型,拥抱新零售,新零售企业通过DataWorks构建数据中台,可以帮助企业降低TCO的同时,更好的 依托云上生态,实现数据资产业务化闭环。
随着新冠疫情等黑天鹅事件的发生,对政府敏捷性与灵活性提出了更高的要求。DataWorks数字政府解决方案与DataQ 等生态产品的结合,助力政府协同化、数字化,智能化,协助政府更好服务社会公众。