产品优势
简单、易用、多种创作工具

50+异构数据源

数据集成(Data Integration)支持关 系型数据库、大数据存储、非结构化存 储、NoSql数据库之间数据同步

支持离线同步和实时同步

支持批量(离线)的全量/增量同步, 支持单表或整库的实时同步,支持ETL, 支持分库分表同步

同步任务调度和监控报警

数据集成(Data Integration)将会监 控同步任务运行的状况并对异常进行报 警

支持复杂场景解决方案

多种数据源之间进行不同数据同步场景 的同步解决方案,包括实时数据同步、 离线全量同步、离线增量同步等

产品功能

支持多种异构数据源

数据集成(Data Integration)比DataX更加高效、安全,且支持50+异构数据源之间的相互数据同步,通过数据源的Reader、Writer插件,无需用户实现复杂的编程,支持分库分表

Reader&Writer插件

提供一套抽象化 的数据抽取插件(Reader)、数据写入插件(Writer) 并基于此设计一套中间数据传输格式,从而达到任意 结构化、半结构化数据源之间数据传输的目的。

抽取、转换、导入

数据集成支持在数据抽取过程中进行简单的ETL数据转换操作(如日期解 析、数据过滤等),导入到大数据处理中心,利用大数据引擎强大的计算 能力可以再进行更复杂的数据转换操作。

跨公网传输

支持阿里云经典网络、专有网络(VPC)环境下的数据同 步以及本地IDC网络环境下的数据集成。

支持多种同步方式

数据集成(Data Integration)支持数据批量(离线)的全量/增量同步以及实时同步和ETL(DataX不支持实时同步)

批量(离线)数据的全量/增量同步

批量同步主要应用场景为阿里云大数据计算存储(包括 MaxCompu te、AnalyticDB 、HDFS等)提供离线(批量)的数据进出通道,支 持分库分表同步。

实时同步

实时数据同步功能,方便您使用单表同步或整库同步方式,将源端数据库 中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保 持和源库的数据对应。。

全增量一体化同步

数据集成支持同步解决方案功能,您可以通过配置同步规 则同步整库的离线全量和实时增量数据,支持一键同步至 Elasticsearch、MaxCompute、Hologres

调度&监控告警

数据集成(Data Integration)与大数据开发套件深度集成,完全复用开发套件的调度能力和同步任务运维能力

定时任务调度

定时任务调度数据集成支持多时间维度(天、小时、分钟)的离线 任务定时调度,只需要简单几步便可完成数据增量抽取。

任务出错报警

当任务出现错误的时候,数据集成支持通过预定义的方式告知用户任务失 败。用户可以按照自己定义的规则来配置告警规则。

解决方案

数据集成(Data Integration)提供多种数据源之间进行不同数据同步场景的同步解决方案(DataX不支持),支持ETL,助力企业数据更高效、更便捷的一键上云

一键实时同步至Elasticsearch

将指定的整个数据库全部或者部分表一次性的全部同步至Elasticsea rch,并且支持后续的实时增量同步模式,将新增数据持续同步至El asticsearch。

一键实时同步至MaxCompute

可以将指定数据源中的数据,通过简单配置,一次性实时同步到Max Compute中,支持整库内批量多表同步,支持全增量一体化同步, 先全量数据迁移,然后实时增量保持更新

一键实时同步至Hologres

可以将指定数据源中的数据,通过简单的配置,一次性的 实时同步到Hologres中,支持整库内批量多表同步,同时 也支持全增量一体化同步,先全量数据迁移,然后实时增 量保持更新。

整库迁移

整库迁移是数据集成(Data Integration)提供的一种批量创建同步任务的快捷工具,可以快速完成把一个Mysql DB 库内所有表一并上传到 MaxCompute 中,节省大量初始化批量任务创建时间

MySQL整库迁移

快速把MySQL数据库内所有表一并上传至MaxCompute,极大减少 您初始化上云的配置、迁移成本。

Oracle整库迁移

快速把Oracle数据库内所有表一并上传至MaxCompute,极大减少您初始 化上云的配置、迁移成本。

其他类型整库迁移

支持PostgreSQL、SQL Server、DRDS、PolarDB、Analytic DB for PostgreSQL、HybridDB for MySQL、AnalyticDB for MySQL 3.0和DM类型的数据源整库迁移至MaxCompute。

应用场景



方案描述

互联网业务变化与增量速度都非常快,通过DataWorks构建简单、灵活,弹性的技术架构满足业务发展需求。

解决方案

构建实时离线一体化数据库
推荐、风控、分析等实时业务
支持弹性伸缩,成本下降30%
简化纷繁复杂的多种大数据技术架构


方案描述

随着金融行业发展,传统的离线数仓已经越来越难以满足业务的实时诉求,通过DataWorks构建实时数据仓库,推动行 业大数据业务化运营转型。

解决方案

实时客户分析及精准推荐
实时营销活动分析及监控
构建客群标签画像,直观描述群体特征
减少重复营销成本、提供POI


方案描述

为了快速数智化转型,拥抱新零售,新零售企业通过DataWorks构建数据中台,可以帮助企业降低TCO的同时,更好的 依托云上生态,实现数据资产业务化闭环。

解决方案

新零售数据中台建设
业务多维分析
业务数据化,全域数据中台构建数据底座
数据业务化,数据综合治理驱动业务增长



方案描述

随着新冠疫情等黑天鹅事件的发生,对政府敏捷性与灵活性提出了更高的要求。DataWorks数字政府解决方案与DataQ 等生态产品的结合,助力政府协同化、数字化,智能化,协助政府更好服务社会公众。

解决方案

政府数据中台建设
健康码等数据业务支撑
城市大脑数据底座
与生态结合,通过产品的高度成熟化,将理论与实践相结合,推动政府治理精细化,服务便捷化,响应敏捷化,民生普惠化
鼎誉云
立即咨询