前言
随着档案数据规模爆炸式增长，传统关系型数据库在应对非结构化、半结构化数据时逐渐力不从心。DA/T 82—2019《基于文档型非关系型数据库的档案数据存储规范》（以下简称《规范》）应运而生，为各级各类档案馆及机关、团体、企事业单位提供了文档型数据库存储档案数据的总体要求、基本功能和实施方法。本文将全面梳理该规范的核心技术标准与实操落地流程，助力档案同仁快速掌握这一行业标准的关键要点。
一、总则：四大基本原则
（一）适用性
文档型数据库应适用于大规模、多种类、多种格式档案数据的存储、备份和管理。这意味着无论面对海量电子档案还是传统载体数字化副本，文档型数据库都能从容应对。
（二）规范性
文档型数据库结构应满足档案数据存储的要求。使用文档型数据库存储档案数据应将内容数据和元数据按照规范结构装入或映射到数据库中，保障两者之间的可靠联系。
（三）开放性
文档型数据库结构应具有开放性，能与搜索引擎及相关工具软件集成，能与其他类型数据库和系统交换与共享档案数据及相关信息。
（四）互补性
基于文档型数据库的档案数据存储与基于关系型数据库的档案数据存储和管理可形成互补。文档型数据库是内容数据的存储方法之一，元数据的存储可采用文档型数据库和关系型数据库，日志等的存储和管理宜采用关系型数据库，建立由关系型数据库和文档型数据库组成的数据库系统。
二、文档型数据库字段规范
（一）字段要求
文档型数据库应能创建不同类型的字段，存储任意格式的档案数据，并能根据用途和需求变化对字段进行增加、删除和修改。
（二）字段类型
文档型数据库字段类型宜包括字符串、数值、日期、时间、文本、二进制等，并符合以下规定：
1.字符串字段：用于存储定长字符串和变长字符串；
2.数值字段：用于存储整数和实数；
3.日期字段：用于存储日期类型数据；
4.时间字段：用于存储时间类型数据；
5.文本字段：用于存储文本中的句子和段落；
6.二进制字段：用于存储任何类型的字符，包括ASCII字符，以及图像、视频、音频等二进制数据。
三、文档型数据库存储规范
（一）存储对象
文档型数据库的存储对象包括内容数据等非结构化数据、XML文件等半结构化数据以及元数据等。
（二）存储方式
1.将内容数据和元数据全部装入数据库，按照与元数据的匹配关联关系，内容数据存储在文档型数据库的二进制字段中；
2.将元数据装入数据库，将内容数据映射到数据库；
3.同一数据库可存储多种格式的内容数据，不同记录（行）的内容数据的格式可不同；
4.同一条记录可存储一个或多个内容数据，同一条记录（行）中多个内容数据的格式可不同。
（三）存储介质
1.文档型数据库可存储在磁盘、固态硬盘、光盘等存储介质上；
2.文档型数据库可在不同的存储介质之间转移。
（四）存储信息管理
文档型数据库存储档案数据的过程中，应显示以下信息：
1.存储档案数据进度和存储完成的信息；
2.存储过程中出现的问题或错误的信息。
（五）存储安全
存储档案数据的文档型数据库应保存在安全的存储系统中和存储介质上，防止被非授权改动数据库存储位置的设置，并保障档案数据不被非授权修改、访问、删除、复制和破坏，对授权修改、访问、删除和复制要做审计跟踪。涉密档案数据在线存储应加密，涉密档案数据导出和备份应采取数字签名等安全措施。
四、档案数据导入实操流程
（一）导入对象
导入对象包括内容数据等非结构化数据、XML文件等半结构化数据以及元数据等。
（二）导入方法
1.在线录入数据：借助录入表单，将内容数据和元数据直接录入到文档型数据库，一次建立一条记录。
2.批量导入数据：按照内容数据与元数据的匹配关联关系，通过导入程序，将内容数据和元数据批量导入文档型数据库。
3.导入XML文件：将XML文件和内容数据通过导入程序导入文档型数据库。
4.导入数据库数据：将关系型数据库中的数据，通过导入程序导入文档型数据库，并将挂接在关系型数据库的内容数据装入或映射到文档型数据库；或将一个文档型数据库中的数据，通过导入程序导入另一个文档型数据库。
5.导入其他系统的数据：从其他系统导出的数据按照原有的数据类型和文件格式导入文档型数据库。其他系统包括电子档案管理系统、档案管理的其他相关系统、形成电子文件的业务系统等。
（三）档案数据导入质量控制
1.对导入文档型数据库的档案数据的字段类型和文件格式进行设置，并在导入文档型数据库时按照设置自动进行检查，对不合格的字段类型和文件格式显示提示信息。
2.记录档案数据导入文档型数据库的数量、时间、载体、处理人员、格式转换等处理过程相关信息。
3.自动监测和过滤错误数据，进行数据完整性校验，日志文件自动记录档案数据导入文档型数据库产生的错误，对错误显示提示信息。
4.对内容数据、元数据重复导入文档型数据库进行识别。
5.允许不同归档单位的相同档案数据导入文档型数据库。
6.设置记录档案数据导入文档型数据库过程的日志，确保能够跟踪、审计、检索、统计分析。
（四）档案数据导入的维护
档案数据导入的维护包括：
1.增加、删除、撤回/恢复、批量修改文档型数据库中的记录；
2.增加、删除、修改文档型数据库中记录的内容等。
五、文档型数据库的拆分与合并
（一）文档型数据库的拆分
拆分以记录为单位。拆分的方法包括：
1.建立若干个结构相同的子数据库，确定分配给各子数据库的原数据库的起始记录号和终止记录号，从原数据库中提取相应的记录，按顺序将记录导入各子数据库；
2.建立若干个结构相同的子数据库，确定各子数据库的最大容量，计算各记录的容量和分配给各子数据库的容量（分别小于各子数据库的最大容量），从原数据库中提取相应的记录，按顺序将记录导入各子数据库；
3.建立若干个结构相同的子数据库，利用检索和统计分析，从原数据库中提取相应的记录，按照记录的数量或数据库容量要求导入各子数据库；
4.建立若干个结构相同、但与原数据库结构不同的子数据库，利用字段读写访问限制功能，从原数据库中提取部分字段的记录，按照记录的数量或容量要求导入各子数据库。
（二）文档型数据库的合并
合并以记录为单位。合并的方法包括：
1.确定各子数据库合并记录的记录号，从各子数据库中提取相应的记录，按顺序将记录导入其中一个子数据库或新建的与子数据库结构相同的数据库；
2.确定各子数据库合并记录的容量，从各子数据库中提取相应的记录，按顺序将记录导入其中一个子数据库或新建的与子数据库结构相同的数据库；
3.利用检索和统计分析，从各子数据库中提取相应的记录，按照记录的数量或容量要求导入其中一个子数据库或新建的与子数据库结构相同的数据库；
4.新建一个与子数据库结构不同的数据库，利用字段读写访问限制功能，从各子数据库中提取部分字段的记录，按照记录的数量或容量要求导入新建的数据库。
六、档案数据导出规范
（一）导出对象
导出对象包括内容数据等非结构化数据、XML文件等半结构化数据以及元数据等。
（二）导出形式
1.从文档型数据库导出全部数据；
2.从文档型数据库按记录（行）导出部分数据；按字段（列）导出部分数据；利用检索和统计分析导出部分数据；
3.从文档型数据库导出的元数据存储到excel、csv、xml等文件；
4.从文档型数据库导出的内容数据存储到文件系统。
（三）档案数据导出质量控制
1.对导出文档型数据库的档案数据的文件格式进行设置，并在导出文档型数据库时按照设置自动进行检查，对不合格的文件格式显示提示信息。
2.记录档案数据导出文档型数据库的数量、时间、载体、处理人员、格式转换等处理过程相关信息。
3.自动监测和过滤错误数据，建立数据导出的检验机制，日志文件自动记录档案数据导出文档型数据库产生的错误，对错误显示提示信息。
4.设置记录档案数据导出文档型数据库过程的日志，确保能够跟踪、审计、检索、统计分析。
七、文档型数据库的备份、还原与恢复
（一）文档型数据库的备份
1.备份的内容：文档型数据库备份的内容应包括数据库数据、数据库结构和数据库定义文件。应按照数据库结构（字段）备份数据库数据。
2.整体备份：当文档型数据库的容量小于备份介质的容量时，无需对文档型数据库做任何处理，直接对数据库整体进行复制备份。
3.拆分备份：当文档型数据库的容量大于备份介质的容量时，应按照7.1所述，将数据库拆分成容量小于备份介质容量的若干个子数据库，然后将各子数据库分别备份到备份介质上，保留原有的访问控制策略，并保证原数据库的完整性。
4.增量与差异备份：对文档型数据库中新增的档案数据进行增量备份，对被修改的档案数据进行差异备份。
5.在线备份和离线备份：在线备份是将数据库数据、数据库结构和数据库定义文件备份到在线存储介质上。离线备份是将数据库数据、数据库结构和数据库定义文件备份到离线存储介质上。
6.自动备份：自动备份通过软件的控制方式将数据库数据、数据库结构和数据库定义文件有规律地进行备份。
（二）文档型数据库的还原
1.整体还原：将整体备份的数据库数据还原到原数据库系统。
2.合并还原：将拆分备份的多个子数据库数据还原到原数据库系统，采用的方法包括：
在新建数据库系统合并全部子数据库数据，然后将合并形成的数据库数据还原到原数据库系统；
在原数据库系统中合并还原全部子数据库数据。
（三）文档型数据库的恢复
1.正常恢复：用备份的数据库数据覆盖原数据库数据。
2.异常恢复：在异常情况下，用备份的数据库数据、数据库结构、数据库定义文件和日志文件进行恢复，并进行数据完整性校验，以确保数据的完整性。
八、文档型数据库管理与数据管理
（一）数据库管理
数据库管理包括：
1.数据库结构的定义、设计、复制、导入、导出；
2.数据库的新建、删除、修改；数据库字段的新建、删除、修改、排序；
3.数据库管理权限的新建、删除、转移；
4.数据库管理员授权用户访问数据库。数据库授权访问包括但不限于：授权用户访问全部数据库或部分数据库；授权用户访问数据库的全部字段或部分字段；授权用户访问包含特定内容的记录或不包含特定内容的记录；
5.数据库存储位置的设置；数据库的存储介质的选择；
6.数据库的备份、复制、转移存储、迁移、还原与恢复。
（二）数据管理
数据管理包括：
1.档案数据导入和导出数据库；
2.数据库拆分与数据合并；
3.数据库记录的增加、删除、修改；
4.数据库数据的恢复、还原及内容覆盖的检测提醒。
（三）用户管理
用户管理包括：
1.用户的新增、修改、删除、激活、锁定等；用户信息管理和维护；
2.用户的分组、分类与权限控制和管理；
3.记录用户访问数据库，包括但不限于：登录系统的时间、次数；访问数据库和档案数据的时间、次数；访问数据库的名称和档案数据的内容；用户登录的IP地址。
（四）日志管理
日志管理包括分类、存储、备份、检索、查询和管理日志信息。
九、检索与统计分析核心功能
（一）中文自动分词与中文分词词典
中文索引和检索是对档案数据中的中文单字和词（或词组）进行索引和检索。为提高文档型数据库中档案数据的查准率和检索速度，实现对中文内容的统计分析，应对内容数据和元数据的中文信息进行中文自动分词，并根据不同的档案门类编写相应的中文分词词典。
（二）索引
1.应具有对文档型数据库中的内容数据和元数据的文字信息进行全文索引的功能，包括：对字符串字段每个字、词、词茎、整个字段内容进行索引；对文本字段每个字、词、词茎进行全文索引。
2.应具有对日期、时间和数值进行索引的功能。
3.索引与数据库可保存在同一位置，也可分别保存在不同位置。
（三）检索
1.检索范围：检索范围包括内容数据和元数据的文字信息。
2.数据库一般检索包括：全文检索、字段检索、分类检索与模糊检索、布尔检索、二次检索、数值检索、日期检索、时间检索、“时间戳”检索。
3.数据库检索限制包括：检索和显示部分数据库；检索和显示部分字段；检索和显示包含特定内容的记录；对部分信息进行屏蔽和遮盖。
4.多库检索包括：同构多库检索——对相同结构的多个文档型数据库同时进行检索；异构多库检索——对不同结构的多个文档型数据库同时进行检索。
5.数据库间接检索：文档型数据库之间在结构上没有相互关联的字段，每个数据库都是完全独立的数据库。文档型数据库之间的关联查找需采用间接检索。间接检索是用一个数据库检索所获得的结果作为检索项，对本数据库或其他数据库进行检索。
（四）词表与词表检索
1.词表：词表指主题词表或叙词表，是记录有关词的内容、概念以及相互关系的语言工具。典型的词表是根据意思或内容把每个词与词（或词组）之间的关系，按照树状（或其他形状）结构上下左右相互关联起来的数据库。词表应包括但不限于主词（控制词）、同义词、广义词、狭义词和相关词。
2.词表检索：词表检索是用词表库中的词及词之间的逻辑关系对文档型数据库中的文字信息进行检索，是保障查全率、查准率，提高检索质量的强有力的手段。词表检索方法包括：用主词和同义词进行检索；用主词、同义词和广义词进行检索；用主词、同义词和狭义词进行检索；用主词、同义词和相义词进行检索。
（五）检索结果排序和打印
1.对检索结果进行排序，包括单级排序和多级排序。多级排序是指检索结果的输出先按某一字段内容（如题目）排序，如遇有内容相同的多条记录，再按另一字段内容（如单位名称）排序。
2.对检索结果进行全部或部分打印、输出和下载。
（六）统计分析
1.统计分析的对象：档案数据的统计分析对象是内容数据和元数据的文字信息。
2.按照字段类型进行统计分析包括：
字符串字段统计分析：对整个字段内容和字段中的词汇（包括词、单字、数字等）分别进行统计分析，给出整个字段内容相同和不同的记录数、字段所含词汇出现的频度和记录数；
文本字段统计分析：对文本字段中的词汇进行统计分析，给出不同词汇出现的频度和记录数；
数值字段统计：对给定的记录，统计最大、最小、总和、平均等数值；
数值字段统计分析：对给定的记录、数值范围和间隔，列出数值分布情况；
日期字段统计分析：对给定的记录、日期范围和间隔，列出各日期段的分布情况；
时间字段统计分析：按给定的记录范围、时间范围和间隔，列出各时间段的分布情况。
3.档案数据内容的统计分析包括：
内容数据和元数据的数量和容量的统计分析；
档案全宗、门类、归档部门、责任者、题名等的统计分析；
档案数据文件格式的数量和容量的统计分析；
内容数据和元数据的保密、解密、开放、保管期限的统计分析；
不同时间段各类数据和内容的统计分析；
各类日志信息查询的统计分析。
结语
DA/T 82—2019《基于文档型非关系型数据库的档案数据存储规范》为档案部门引入文档型数据库提供了系统性的技术指引。从字段设计、存储方式、导入导出，到拆分合并、备份还原，再到检索统计与安全管理，标准覆盖了档案数据全生命周期管理的各个环节。在实际落地中，档案部门应充分理解文档型数据库与关系型数据库的互补关系，结合自身业务特点，建立由关系型数据库和文档型数据库共同组成的数据库系统，实现档案数据科学管理。同时，应高度重视存储安全、质量控制与日志审计，确保档案数据的真实性、完整性、可用性和安全性。唯有将标准要求转化为可操作的流程规范，才能真正释放文档型数据库在大规模档案数据管理中的技术优势。 |
您现在的位置：