admin管理员组

文章数量:817339

DM7 HS学习

DM7 HS学习

一 DMHS基本概念

1. 定义

DMHS全称是Heterogeneous database Synchronization for DM,即达梦异构数据库同步软件。DMHS是基于数据库日志,支持同构、异构数据库的实时同步软件,可以实现双业务中心架构。

​DMHS软件功能非常丰富,支持多种架构场景,主流数据实时同步软件的相关功能DMHS都已实现并且根据实际业务需求丰富了更多功能。主流的数据实时同步软件主要有:Oracle GoldenGate、DSG RealSync、Quest Shareplex等。

2. 主要特点

A. 没有图形界面,作为后台服务运行,单进程多线程架构,程序名dmhs_server

B. 提供WEB管理界面,支持DMHS运行配置管理、启停管理、运行监控等功能

C. 采用xml结构的文本配置文件,通过配置文件配置相应的运行模式和功能

D. 提供控制台工具连接同步服务,提供丰富的运行管理及监控命令

E. 提供配置助手(hsca),文件转换配置工具(convert)相关图形界面操作工具

F. log目录下丰富的运行日志输出,便于掌握DMHS运行状态

G. 提供有《DMHS管理员手册》《DMHS参考手册》《DMHS实施手册》等参考文档

3. 总体架构

A. 单进程多线程架构(进程名称dmhs_server)

B. 源端主要线程:日志读、日志分析、日志发送、监听、调度管理

C. 目标端主要线程:日志接收、日志执行、监听、调度管理   

D. 扩展功能模块: guard进程守护、stat监控统计、对比工具、WEB管理平台

4. 技术特点

A. 源端基于数据库日志分析进行增量数据捕获

B. 目标端基于标准数据库接口进行增量数据应用(ODBC)

C. 以数据库事务为最小复制单位,确保复制数据的完整性和一致性

支持主流关系型数据库(DM系列、ORACLE系列、MySQL、PostgreSQL、DB2、SQL SERVER

支持多种软硬件平台、支持多种复制拓扑结构

支持断点续传、支持同步数据链路冗余

丰富的高级功能支持:文件转换、复杂拓扑、FTP架构、kafka支持、ETL支持

5. 系统辅助表

A. DMHS目标端在初始启动时,会在目标数据库中创建6张系统表

B. DMHS采用基于提交事务表的技术来保证复制事务的一致性(确定分析起始点、故障恢复)

C. 提交事务表由DMHS自身进行维护,无需人工干预。此表是复制系统核心表,需要防止误删除

D. 与提交事务表相关的两个控制参数

※trxid_tables :设置提交事务表的个数,默认为1。避免提交事务表单表热点问题

※trxid_table_depots: 仅适用于DM6,提交事务表是否分库创建

6. 工作模式

A. 捕获器

捕获器在数据实时同步系统中负责读取、解析源端数据库管理系统的归档日志,并发送解析后的数据。

B. 执行器

  执行器在数据实时同步系统中负责接收数据,并进行数据映射及事务的入库(目标端数据库)执行。

C. 路由器

  路由器适用于捕获器和执行器被网关隔断的环境,捕获器和执行器无法通过NET实现网络直连,需要经过第三台机器中转的情况。

D. 转发器

  捕获器和执行器之间存在物理隔离网闸,无法通过网络直连需要通过文件中转的情况

二 安装部署DMHS

1. 在ftp上下载对应版本的DMHS,并上传到数据库目录下

2. 执行图形化安装

选择完整版,并指定目录

此处选择统一部署

统一部署:安装同步软件,稍后进行DMHS的配置

现在初始化:安装同步软件,同时进一步使用安装程序进行DMHS的配置

配置服务自动注册

使用root用户执行脚本

/home/dmdba/dmhs/scripts/root/root_installer.sh

执行完成,DMHS服务已自动启动

安装完成

安装后DMHS目录结构如下

bin:可执行程序目录( debug版本)

bin2:可执行程序目录(debug版本)

db:web使用的内置元数据库(dm7)

doc:手册目录

hs_agent:远程部署功能组件

log:安装日志目录

web:web:客户端

3. 配置使用

1) 配置文件

DMHS支持一下三种配置文件配置方式:

修改dmhs.hs,使用hsca配置工具,使用WEB管理平台

使用浏览器输入http://IP:8080/manager/ 打开WEB界面

使用默认用户名密码登录:admin/888888

本文标签: DM7 HS学习