想象一下：一个包含数百万本扫描书籍的图书馆，任何有互联网连接的人都可以访问，但突然变黑了。扫描件不见了。元数据消失了。多年的档案工作，一夜之间被抹去。这不是一个假设。这种事以前发生过，而且还会再次发生。

的问题数字图书的保存和访问是目前科技领域最紧迫且未被充分认识的问题之一。类似的项目互联网档案馆只是为了将扫描的书籍保留在网上而进行了法律诉讼。与此同时，私人公司持有的大量藏品被锁在专有墙后面，只能通过微小的搜索片段才能访问。

那么开发人员、图书馆员和日常读者实际上可以做什么呢？事实证明，相当多。这里有五种值得了解的真正方法。

1. 使用 Calibre 构建您自己的本地库

口径是管理个人电子书收藏的黄金标准。它是开源的，可以在 Windows、Mac 和 Linux 上运行，并且可以处理几乎所有您能想到的电子书格式。大多数人只了解它的功能的表面。

除了基本的图书馆管理之外，Calibre 还允许您在格式之间进行转换、从您合法拥有的图书中剥离 DRM（在您所在管辖区的法律允许的情况下），甚至运行个人内容服务器。最后一个功能值得暂停。您可以在本地网络上托管自己的电子书服务器，可以通过任何浏览器访问。无需云。

以下是如何从命令行启动 Calibre 内置内容服务器的快速示例：

# 在端口 8080 上启动 Calibre 内容服务器
calibredb list --字段标题、作者、格式
calibre-server --port=8080 --with-library=/路径/到/您的/库

这为您提供了一个本地 Web 界面，您可以在其中从网络上的任何设备浏览、搜索和下载书籍。可以将其视为您的个人 Google 图书，只不过数据由您实际控制。对于任何认真考虑长期图书访问的人来说，本地 Calibre 设置是没有商量余地的。

如果您也是作家或出版商，工作流程不会止于阅读。您可以将手稿导出为 EPUB，然后使用AI有声读物生成器将这些文件转换为叙述音频。 Calibre 干净地处理该管道的 EPUB 端。

为什么格式比您想象的更重要

关于数字保存的问题是：文件的好坏取决于其格式。 PDF、EPUB、DJVU 和纯文本各自具有不同的优势和故障模式。选择错误的长期存储格式是数字馆藏的无声杀手。

EPUB是最便携且面向未来的格式。它本质上是一个 HTML 文件的压缩文件夹，这意味着任何文本编辑器都可以在紧要关头打开它。DJVU是扫描文档的首选格式，因为它比 PDF 更有效地压缩扫描图像。对于实体书籍的原始扫描，DJVU 可以比同等 PDF 小三到十倍。

纯文本是所有格式中最耐用的。 1980 年的纯文本文件现在可以完美打开。对于那个时代的专有格式来说，情况并非如此。当将某些东西保存数十年时，纯文本每次都会获胜。

使用归档工具的开发人员经常会寻求论文与代码当寻找开放的 OCR（光学字符识别）模型时。 OCR 是将扫描的文本图像转换为实际可搜索字符的技术。 OCR 的质量直接决定扫描的书籍是真正有用还是只是一张漂亮的图片。

2. 互联网档案方法：上传，然后链接

互联网档案馆位于Archive.org接受任何人的上传。您可以上传可合法共享的图书扫描件，该扫描件将被永久托管、编入索引并在全球范围内访问。该存档会分配一个永久 URL 并自动创建多种衍生格式。

许多人没有意识到的是，档案馆还运行着一个受控数字借贷程序。图书馆可以将他们拥有的实体图书数字化，并为他们持有的每本实体图书借出一本数字副本。这反映了实物借贷的运作方式。这是一个在法律上有争议的模式，但它代表了连接实体图书馆和数字图书馆访问的真正尝试。

顶级数字图书保存方法

✓

使用口径
在本地管理和托管您的电子书库。

✓

开源 OCR
利用 Tesseract 从扫描中提取文本。

✓

IPFS存储
以分散的方式存储书籍。

✓

互联网档案API
轻松上传书籍进行保存。

✓

都柏林核心元数据
标准化元数据以更好地组织。

对于开发人员来说，互联网档案馆拥有强大的 API。您可以查询它、以编程方式下载项目，甚至批量上传集合。下面是一个使用 Python 搜索存档 API 的最小示例：

导入请求

# 搜索互联网档案馆中的公共领域书籍
参数 = {
    'q': '主题：“自然历史”和媒体类型：文本和许可证网址：*creativecommons*',
    'fl': '标识符、标题、创建者、日期',
    “行”：10，
    “输出”：“json”
}
响应 = requests.get('https://archive.org/advancedsearch.php', params=params)
结果 = response.json()['response']['docs']

对于预订结果：
    print(f"{book.get('title')} by {book.get('creator')} ({book.get('date')})")

这种程序化访问正是认真的档案管理员所需要的。它可以让您审核集合、识别差距并在稳定的数据集之上构建工具。该档案馆藏有数百万条文本，其中许多文本在其他地方无法在线获取。

3. OCR 管道：将扫描结果转换为可搜索文本

没有 OCR 的扫描书籍基本上就是一张照片。它占用空间，但您无法搜索它、复制其中的文本或让屏幕阅读器叙述它。运行良好的 OCR 是有用的档案与数字垃圾填埋场的区别。

超立方体是使用最广泛的开源 OCR 引擎。谷歌最初开发了它，然后将其开源。它支持 100 多种语言并可靠地处理大多数打印文本。对于较旧或损坏的文档，结果可能不一致，但它仍然是大多数存档 OCR 管道的起点。

更现代的方法将 Tesseract 与深度学习后处理相结合。从事严肃档案工作的组织中的团队经常使用以下模型：谷歌人工智能研究和类似机构大规模清理 OCR 错误。管道通常看起来像这样：

以 300 DPI 或更高的分辨率扫描实体书。
校正并清洁图像（消除噪音、拉直页面）。
运行 Tesseract 或类似的引擎来提取原始文本。
应用语言模型来纠正常见的 OCR 错误。
将结果打包为 EPUB 或嵌入原始图像的纯文本。

第四步是事情变得有趣的地方。语言模型确实非常擅长纠正 OCR 伪影。对于任何像样的语言模型来说，像“tbe Quick browii Fox”这样的短语可以立即被识别为“the Quick Brown Fox”。对于处理数千页的档案管理员来说，自动更正可以节省大量时间。

值得注意的是：进入管道的图像质量非常重要。如果扫描结果压缩不良或存在伪影，OCR 准确性会快速下降。通过运行扫描免费图像压缩器在保持质量的同时减小文件大小可以帮助管理存储，而不会降低源材料的质量。

是什么让书籍收藏真正稀有

并非所有数字图书收藏都是平等的。档案管理员真正关心的是稀有性。扫描一本 2010 年的畅销小说，远不如扫描一本 1890 年的地区性农业期刊重要，而该期刊在全球仅存三本纸质版。

善本之所以稀有是有原因的。小印数、区域发行、过时的主题。其中许多记录了其他地方不存在的语言、实践和知识系统。一旦物理副本的可读性下降，该信息就会永久消失。

这是大规模数字化努力背后的真正利害关系。这与方便无关。这是为了防止永久性知识丢失。深度思维研究探索了人工智能如何帮助解码受损的历史文献，包括没有活着的人可以阅读的古代文本。人工智能和档案工作的交叉是目前科技领域最令人兴奋的领域之一。

4. 分布式存储：为什么一台服务器永远不够用

集中存储失败。这不是悲观主义。这是历史。服务器被关闭，公司破产，政府发布删除令。任何依赖于单一主机的保存策略都可能会遭遇彻底损失。

解决方案是分配。IPFS（星际文件系统）是专门为此设计的点对点存储协议。文件不是驻留在一台服务器上，而是通过其内容哈希进行寻址并分布在许多节点上。如果任何一个节点离线，其他节点仍然保留数据。

设置 Calibre 服务器的步骤

安装口径

在您的设备上下载并安装 Calibre。

准备库

将您的电子书收藏整理在一个文件夹中。

启动服务器

运行命令启动 Calibre 服务器。

访问您的图书馆

通过本地网络界面浏览书籍。

下载并阅读

从任何设备访问您的电子书。

对于图书档案，IPFS 非常适合静态内容：完成的扫描、EPUB 文件、元数据 JSON。以下是使用命令行客户端将文件固定到 IPFS 的最小示例：

# 将一本书添加到 IPFS 并将其固定在本地
ipfs 添加我的书.epub

# 输出示例：
# 添加了 QmXoypizjW3WknFiJnKLwHCnL72vedxjQkDDP1mXWo6uco my-book.epub

# 将其固定，使其保留在您的节点上
ipfs 引脚添加 QmXoypizjW3WknFiJnKLwHCnL72vedxjQkDDP1mXWo6uco

内容哈希（以 Qm 开头的长字符串）是永久地址。拥有该哈希值的任何人都可以从保存该文件的任何 IPFS 节点检索该文件。足够广泛地共享哈希值，文件实际上就变得不可审查。对于担心被删除的档案管理员来说，这是一项有意义的技术保障。

分布式存储的影响也不仅仅限于书籍。管理大型媒体档案（包括视频文件）的任何人都知道存储的速度会加快。像这样的工具免费视频压缩器可以在将视频文件分发到节点之前显着缩小视频文件的大小，从而减轻网络中每个参与者的存储负担。

5. 元数据标准：无形的基础

这是图书馆学界之外很少谈论的事情：元数据使数字馆藏真正可用。如果没有良好的元数据，您就会得到一堆文件。有了良好的元数据，您就拥有了一个图书馆。

都柏林核心是最广泛采用的数字文档元数据标准。它定义了十五个基本字段：标题、创建者、主题、描述、出版商、贡献者、日期、类型、格式、标识符、来源、语言、关系、覆盖范围和权利。每个严肃的档案项目都应该为每个项目生成都柏林核心记录。

国会图书馆使用马克21作为其主要编目格式。对于与现有图书馆系统的互操作性，MARC 21 兼容性很重要。许多开源工具可以在 Dublin Core 和 MARC 21 之间进行转换，这意味着社区构建的档案可以与机构图书馆系统集成，而无需从头开始。

构建归档工具的开发人员可以探索现有的实现和研究论文与代码用于自动元数据生成的机器学习方法。使用人工智能自动标记扫描书籍的主题、日期和语言是一个活跃的研究领域。质量还不足以取代稀有材料的人类编目员，但它对于常见文本的批量处理很有用。

良好的元数据还可以使集合易于查找。一本没有标题、没有作者、没有主题标签的扫描书可能根本不存在。每当有人搜索某些内容并真正找到它时，在元数据上投入时间就会得到回报。如果您正在构建处理文本较多的文档或手稿的工具，请考虑如何AI有声读物生成器工具在提取 EPUB 文件时已经自动处理元数据。同样的元数据规则也适用于档案工作。

更大的图景：谁拥有我们的数字过去

安娜档案馆对谷歌图书扫描的赏金表明了真正的紧张局势。存在大量的扫描书籍，它们是由属于人类共同遗产的实体书籍创建的。然而，对这些扫描的访问受到私营公司的严格控制。这不是一个有明确答案的简单问题。

明确的是分布式、社区驱动的保护这是唯一不依赖于任何单一机构保持偿付能力、保持合法性和保持意愿的方法。工具是存在的。 Calibre、IPFS、Tesseract、互联网档案 API、都柏林核心元数据标准。他们都不需要 20 万美元的赏金。它们需要时间、协调和足够关心工作的人员。

对于任何想要深入了解文档理解和归档的人工智能方面的人来说，开放人工智能研究和TensorFlow两者都发表了直接适用于大规模文本提取和分类任务的文档人工智能的工作。

想探索相关工具吗？查看资源PyTorch 教程如果您正在从头开始构建自己的 OCR 或文档处理管道。学习曲线是真实的，但档案应用程序的回报是显着的。

现在从哪里开始

如果这个主题对您来说是新的，那么实际的切入点比听起来更简单。下载口径。将一本公共领域书籍上传到互联网档案馆。了解都柏林核心元数据是什么样的。这三个步骤只需要不到一个下午的时间，就能为您打下坚实的基础。

对于有更多时间的开发人员来说，构建一个由 IPFS 支持的小型图书档案库是一个真正令人满意的项目。技术部分全部可用、文档齐全且免费使用。围绕数字保存的社区非常热情且知识渊博。

默认情况下，数字图书不是永久性的。他们需要积极努力才能维持生命。好消息是，完成这项工作的工具比以往任何时候都更好。今天就开始吧，因为另一种选择就是眼睁睁地看着更多藏品悄然消失。