项目背景
某半导体股份有限公司是先进的电子设备设计研发与制造企业,当前积累了大量非结构化业务数据文件,并且数据规模还在继续增长。在当前背景下,用户对数据安全非常重视,需要采用先进可靠的软件与存储设备,对历史积累以及今后新增的业务数据进行安全、可靠的备份,有效规避安全风险,保障这些重要的数据文件长期安全可靠。
用户当前数据备份需求如下:
一、数据类型与数据量
数据类型:半导体设计、研发、生产形成的非结构化数据文件,以大文件为主(非KB级小文件)
用户当前有A、B、C三个数据站点,分别保存不同类型业务数据,三个站点位于同一园区内部,彼此之间具备网络连通能力。
目前用户数据量基本情况为:已有数据150TB左右,一年内数据量估计会增长到1.5PB,各站点每天的数据增量约为1.5TB。
备份方式
当前,用户数据全部存储于在线NAS等磁盘设备上,为保证数据安全,需要使用数据流磁带的方式,将数据进行自动化备份到磁带介质。
数据备份到磁带后,分批次将磁带介质从磁带库中取出,采用离线方式将磁带按照条码信息,保存于人工存放密集架上。
要求通过管理软件能够按多种筛选条件对磁带中的备份数据进行查询检索,在需要的时候,可以按照需求将磁带数据恢复到在线磁盘存储中,抵御数据丢失风险,保证生产系统能够对业务数据进行持续可靠的访问。
为A、B、C三个站点统一配备一套集中备份系统,配置一套磁带库系统、备份软件与相关服务器资源。
数据备份主机操作系统
要求以Windows为主,备份软件界面要求友好,易用。
方案结构图与系统设计
根据用户上述业务需求,本方案设计采用先进的自动化数据流磁带备份解决方案,一体化解决用户所面临的数据长期存储安全问题。磁带库设备采用IBM企业级产品--TS4300,备份软件采用自动化的ADA数据归档备份管理平台,满足客户对海量、长期的非结构化文件备份管理需求。
本方案结构示意图如下:
本方案采用物理磁带介质备份的方式。由统一的存储备份中心,通过网络,对三个站点的现有数据及日后增量数据进行自动化备份和存储管理。中心备份存储设备使用IBM TS4300磁带库,存储容量按照现有文件数据150TB,一年后数据总量增长到1.5PB设计,磁带在带库中保存一定期限后,可以人工离线处理,
备份软件采用高性能的ADA归档备份软件来实现。在系统中配备一台备份主管理服务器,用来实现自动备份任务的计划配置、数据检索查询,备份任务综合管理和统一调度等等,他是整个备份系统的管理中枢和指挥中心。由于用户现场具有三个数据站点,我们为每个数据站点配备一台数据迁移服务器,分别连通各自站点目前的数据源存储和备份中心磁带库,用于迁移各自站点的已有数据和增量数据到中心磁带库,在管理服务器的统一调度下,完成具体的数据备份读写任务。
这种系统布局结构,逻辑清晰,工作效率高,对现有150TB和各站点日后每天的1.5TB增量数据,都能快速完成备份任务。节省每天的数据备份窗口时间,把备份业务对数据正常生产的影响降至最低。同时三台迁移服务器也可以互相热备,在任一服务器出故障的情况下,其任务可以自动被其他服务器接管,实现备份结构的高可靠和安全稳定。
此外,根据项目现场实际情况,也可以把备份管理服务器与其中的一台数据迁移服务器合并为一台物理主机。但这需要对这台物理主机相比其他两台服务器要具备更高一些的硬件配置。
根据项目实际业务状况,在完成ADA归档备份软件自动化数据备份配置以后,各台服务器就会把自己相应站点的数据,自动的从源存储向磁带库进行备份。IBM TS4300磁带库采用磁带批量入库,磁带写满后批量出库方式,磁带满足出库条件后,可以通过软件界面提示,由管理员完成磁带人工出库并更换磁带介质,已经离线的磁带可以由管理员按照条码顺序,保存到离线人工存放架中。
通过ADA的软件管理界面,用户可以通过文件名,关键字,通配符,文件创建时间,访问时间等多种筛选条件进行备份数据的检索和查询。检索到的数据如果磁带已经离线保存,则需要管理员将离线磁带再次装载入磁带库后,再进行数据恢复。当然,管理员也可以简单通过时间点条件,将数据源磁盘的数据恢复到某个时点的正常状态,而不必再单独检索具体的备份文件信息。
备份策略与数据恢复
3.1 备份策略的制定
日常备份策略描述了每天的备份以什么方式,使用什么备份介质进行,是系统数据保护方案的具体实施细则。对于备份策略的设定应该结合具体业务需求,对备份、恢复策略进行精心设计,在制订完毕后,同样应严格按照制度进行日常备份,否则将无法达到数据保护方案的目标。
备份策略:备份策略是根据客户的具体情况灵活定制的一种策略编制方式,它包括一次性执行方式和周期性方式。
一次性执行方式是指一次性的备份作业,可以立即执行,也可以定时执行。
周期性方式主要是针对周期性增量备份作业,比如:
每小时、每天、每周、每月执行
每小时、每隔几天、每隔几周、每隔几个月
特定某天(星期几)
ADA数据备份策略配置
用户策略定义
用户备份策略可以采用循环备份中的完全+增量备份的方式。项目初始阶段实现对现有历史积累数据进行完全备份,今后可以对增量数据定期运行增量备份作业,自动向磁带库备份。
3.2 备份数据的检索恢复
ADA提供强大的备份数据检索功能,用户可以通过文件名,关键字,通配符,文件创建时间,访问时间等多种筛选条件进行备份数据的检索和查询。检索到的数据如果磁带已经离线保存,则需要管理员将离线磁带再次装载入磁带库后,再进行数据恢复。当然,管理员也可以简单通过时间点条件,将数据源磁盘的数据恢复到某个时点的正常状态,而不必再单独检索具体的备份文件信息。
ADA备份数据检索
数据备份是为了在发生系统数据故障时能顺利恢复数据:
在数据源磁盘故障等需要进行数据恢复的情况下,由系统管理员启动恢复进程,对数据进行恢复。管理员可以选择需要恢复到的时间点或者数据集进行恢复。
如果需要的磁带不在磁带库的槽位中,则恢复时只需将磁带取回磁带库即可。
系统特色与优势
本方案针对河北同光半导体当前的海量非结构化数据备份需求而设计定制,系统软硬件契合度高,兼容性好,备份窗口短,作业效率高。并且ADA海量文件数据备份方案,在磁带库等可离线介质环境中,已经具备多个类似项目的实践检验,运行安全稳定。
具体来讲,本方案具备如下多项优势:
非结构化数据长期备份保护:对各类型文件数据提供连续备份保护,备份策略与保存周期可根据项目需求定制并灵活调整,满足各类数据备份所对应的保存周期与时长需要。
备份作业集中管理:通过国人易用的软件界面,实现对所有备份恢复作业的监控,备份恢复作业集中管理,提高管理效率。
磁带介质管理及出库:
利用磁盘不具备的磁带物理特性,形成基于气隙(Air Gap)的数据安全永续基础架构。通过创建黑客不可能接触到的数据备份,彻底消除勒索病毒威胁和再感染可能。保护数据资产安全,避免难以预料的损失。
每个备份任务和磁带介质池关联,介质池是一个逻辑的物理磁带的集合,每个物理磁带库上有条形码,通过软件的介质管理功能,可以查看到每盘物理磁带上对应的备份任务,便于磁带的出库离线保存。
备份数据流:根据网络环境,支持LAN备份、LAN-free备份等各类数据读写方式,降低业务生产资源占用,缩减备份窗口,提高备份效率。
系统容错断点续传:ADA备份管理软件支持数据作业的断点续传,可在网络中断或者设备发生故障的情况下暂停任务,等到故障修复可重新执行未完成的备份任务,从而缩小重新备份带来的备份窗口 。
数据加密:支持网路加密和介质加密双重加密方式,确保在数据备份的过程中,网络黑客非法获取数据;同时也可以针对备份的介质进行加密,只有具有密钥的合法用户才可以正确读取备份介质,对数据进行有效的恢复,提高数据备份恢复的安全性。
硬件环境支持:支持主流的存储备份硬件产品,如:IBM、华为、EMC、Quantum等存储厂商的产品。
备份数据检索:可根据多种检索的方式来查找数据,如数据创建时间、数据大小、数据访问时间、关键字等来查找数据。
并行备份:并行数据流备份,一个备份任务可分离成多个同时运行的备份线程,每一个备份线程备份一部分文件,提高备份性能,减小备份窗口,并实现作业负载均衡;同时支持同一备份数据源可同时并行写入多个不同路径下的备份介质,提供数据备份冗余。
报表功能:软件支持简单方便地对备份系统进行管理,支持查询、统计、报告、图表的分析和导出功能。
用户使用现场
6.IBMTS4300磁带库资料
北京市昌平区高新四街四源通发展中心416
(联系就说在DAV音视工程网上看到的)
zhangsong@bluemade.cn
北京蓝美视讯科技有限公司成立于:2004年,注册资金:5000万元,主营业务为:音视频的全套解决方案包括4k8k非编,调色,磁带库磁带机,大数据存储,流媒体直播,录音棚虚拟演播室,数据备份归档等。