これを想像してみてください。インターネット接続があれば誰でもアクセスできる、スキャンされた何百万冊もの書籍が保管されている図書館が、突然真っ暗になります。スキャンが消えてしまいました。メタデータが消えてしまいました。長年にわたるアーカイブ作業が一夜にして消去されました。これは仮説ではありません。それは以前にも起こりました、そしてまた起こるでしょう。

という疑問デジタルブックの保存とアクセスこれは、現在テクノロジー業界で最も緊急かつ過小評価されている問題の 1 つです。のようなプロジェクトインターネットアーカイブスキャンされた書籍をオンラインに保存するためだけに法廷闘争を戦ってきました。一方、民間企業が保有する膨大なコレクションは独自の壁の後ろに閉じ込められており、小さな検索スニペットとしてのみアクセスできます。

では、開発者、図書館員、そして日常の読者は実際に何ができるのでしょうか?かなり多いことが分かりました。ここでは、知っておく価値のある 5 つの実際のアプローチを紹介します。

1. Calibre を使用して独自のローカルライブラリを構築する

口径個人の電子書籍コレクションを管理するためのゴールドスタンダードです。これはオープンソースであり、Windows、Mac、Linux 上で実行でき、ほぼすべての電子書籍形式を処理できます。ほとんどの人は、その機能の表面をなぞっただけです。

Calibre を使用すると、基本的なライブラリ管理に加えて、形式間の変換、合法的に所有する書籍からの DRM の解除 (管轄区域の法律で許可されている場合)、さらには個人用コンテンツサーバーの実行も可能になります。最後の機能については、少し立ち止まる価値があります。ローカルネットワーク上で独自の電子書籍サーバーをホストし、任意のブラウザからアクセスできます。クラウドは必要ありません。

コマンドラインから Calibre の組み込みコンテンツサーバーを起動する方法の簡単な例を次に示します。

# ポート 8080 で Calibre コンテンツ サーバーを起動します
calibredb リスト -- フィールドのタイトル、著者、形式
calibre-server --port=8080 --with-library=/パス/to/your/library

これにより、ネットワーク上の任意のデバイスから書籍を参照、検索、ダウンロードできるローカル Web インターフェイスが提供されます。実際にデータを管理することを除けば、個人的な Google ブックと考えてください。長期的に書籍にアクセスすることを真剣に考えている人にとって、ローカルの Calibre セットアップは交渉の余地がありません。

あなたがライターまたは出版社でもある場合、ワークフローは読書にとどまりません。原稿を EPUB にエクスポートして、AIオーディオブックジェネレーターこれらのファイルをナレーション音声に変換します。 Calibre は、そのパイプラインの EPUB 側をクリーンに処理します。

形式が思っている以上に重要である理由

デジタル保存については次のことが重要です。ファイルの品質はそのフォーマットによって決まります。 PDF、EPUB、DJVU、およびプレーンテキストには、それぞれ異なる長所と失敗モードがあります。長期保存のために間違った形式を選択することは、デジタルコレクションにとってサイレントキラーです。

EPUBは最も移植性が高く将来性のある形式です。これは本質的に HTML ファイルの zip フォルダーであるため、任意のテキストエディターで簡単に開くことができます。DJVUは、スキャンされた画像を PDF よりもはるかに効率的に圧縮できるため、スキャンされたドキュメントに最適な形式です。物理的な書籍の RAW スキャンの場合、DJVU は同等の PDF よりも 3 ～ 10 倍小さくなります。

プレーンテキストは、すべての形式の中で最も耐久性があります。 1980 年のプレーンテキストファイルは、現在では完全に開くことができます。当時の独自フォーマットについては同じことが言えません。何かを何十年も保存する場合、常にプレーンテキストが優先されます。

アーカイブツールに取り組んでいる開発者がよく手を伸ばすのは、コード付き論文オープン OCR (光学文字認識) モデルを探している場合。 OCR は、スキャンしたテキストの画像を実際の検索可能な文字に変換するテクノロジーです。 OCR の品質は、スキャンした本が実際に役立つか、それとも単なる美しい画像であるかを直接決定します。

2. インターネットアーカイブのアプローチ: アップロードしてからリンクする

インターネットアーカイブ:アーカイブ.org誰からのアップロードも受け入れます。合法的に共有可能な書籍のスキャンをアップロードすると、永続的にホストされ、インデックスが付けられ、世界中でアクセスできるようになります。アーカイブは永続的な URL を割り当て、複数の派生形式を自動的に作成します。

多くの人が気づいていないのは、アーカイブでは制御されたデジタル融資プログラム。図書館は、所有する物理的な書籍をデジタル化し、所蔵する物理的な書籍 1 冊につき 1 冊のデジタルコピーを貸し出すことができます。これは、物理的な融資の仕組みを反映しています。これは法的に争われているモデルですが、物理図書館とデジタル図書館のアクセスを橋渡しする真の試みを表しています。

3. OCR パイプライン: スキャンを検索可能なテキストに変換する

OCR なしでスキャンされた本は基本的に写真です。これはスペースを占有しますが、検索したり、テキストをコピーしたり、スクリーンリーダーでナレーションを実行したりすることはできません。適切な OCR を実行することで、有用なアーカイブとデジタル埋め立て地が区別されます。

テッセラクトは、最も広く使用されているオープンソース OCR エンジンです。 Google が最初に開発し、その後オープンソース化しました。 100 以上の言語をサポートし、ほとんどの印刷テキストを確実に処理します。古いドキュメントや破損したドキュメントの場合、結果に一貫性がなくなる可能性がありますが、これはほとんどのアーカイブ OCR パイプラインの開始点であり続けます。

より現代的なアプローチでは、Tesseract と深層学習の後処理を組み合わせます。本格的なアーカイブ作業を行っている組織のチームは、多くの場合、次のモデルを使用します。Google AI 研究および同様の機関が OCR エラーを大規模にクリーンアップします。パイプラインは通常次のようになります。

物理的な書籍を 300 DPI 以上でスキャンします。
画像の傾きを補正してクリーンにします (ノイズを除去し、ページをまっすぐにします)。
Tesseract または同等のエンジンを実行して生のテキストを抽出します。
言語モデルを適用して一般的な OCR エラーを修正します。
結果を EPUB または元の画像が埋め込まれたプレーンテキストとしてパッケージ化します。

ステップ 4 が興味深いところです。言語モデルは、OCR アーティファクトの修正において真に優れています。「tbe Quick browii fox」のようなフレーズは、まともな言語モデルであればすぐに「the Quick Brown fox」として認識されます。数千ページを処理するアーキビストにとって、自動修正により膨大な時間が節約されます。

注目に値するのは、パイプラインに送られる画像の品質が非常に重要であるということです。スキャンの圧縮が不十分であったり、アーティファクトがある場合、OCR の精度は急速に低下します。を介してスキャンを実行する無料の画像コンプレッサーファイルサイズを削減しながら品質を維持することで、ソース素材を劣化させることなくストレージを管理できます。

書籍コレクションが本当に希少である理由

すべてのデジタルブックコレクションが同じというわけではありません。アーキビストが本当に気にしているのは希少性です。 2010 年のベストセラー小説のスキャンは、世界中で 3 冊しか物理的に存在しない 1890 年の地域の農業雑誌のスキャンに比べれば、はるかに重要ではありません。

希少本には希少な理由があります。少部数の印刷部数、地域的な配布、時代遅れになった主題。その多くは、他には存在しない言語、実践、知識システムを文書化しています。物理コピーが可読性を超えて劣化すると、その情報は永久に失われます。

これが大規模なデジタル化の取り組みの背後にある本当の賭けです。利便性の問題ではありません。それは永続的な知識の損失を防ぐことです。ディープマインドリサーチは、生きている人間には読めない古代文書など、損傷した歴史文書の解読に AI がどのように役立つかを研究しました。 AI とアーカイブ作業の交差点は、現在テクノロジー分野で最も真にエキサイティングな分野の 1 つです。

4. 分散ストレージ: 1 台のサーバーでは十分ではない理由

集中ストレージが失敗します。これは悲観論ではありません。それは歴史です。サーバーはシャットダウンされ、企業は倒産し、政府は削除命令を出します。単一のホストに依存する保存戦略では、最悪の 1 日で完全な損失が発生します。

解決策は配布です。IPFS (プラネタリーファイルシステム)は、まさにこのために設計されたピアツーピアストレージプロトコルです。ファイルは 1 つのサーバー上に存在するのではなく、コンテンツハッシュによってアドレス指定され、多くのノードに分散されます。いずれかのノードがオフラインになっても、他のノードはデータを保持したままになります。

Calibreサーバーをセットアップする手順

キャリバーをインストールする

Calibre をダウンロードしてデバイスにインストールします。

ライブラリの準備

電子書籍コレクションを 1 つのフォルダーに整理します。

サーバーの起動

コマンドを実行して Calibre サーバーを起動します。

ライブラリにアクセスする

ローカル Web インターフェイス経由で書籍を閲覧します。

ダウンロードして読む

あらゆるデバイスから電子書籍にアクセスできます。

書籍アーカイブの場合、IPFS は、完了したスキャン、EPUB ファイル、メタデータ JSON などの静的コンテンツに適しています。コマンドラインクライアントを使用してファイルを IPFS に固定する最小限の例を次に示します。

# IPFS にブックを追加し、ローカルに固定します
ipfs は my-book.epub を追加します

# 出力例:
# QmXoypizjW3WknFiJnKLwHCnL72vedxjQkDDP1mXWo6uco my-book.epub を追加しました

# ノード上に留まるようにピン留めします
ipfs ピンの追加 QmXoypizjW3WknFiJnKLwHCnL72vedxjQkDDP1mXWo6uco

コンテンツハッシュ (Qm で始まる長い文字列) は永続的なアドレスです。そのハッシュを持っている人は誰でも、それを保持している IPFS ノードからファイルを取得できます。ハッシュを十分に広く共有すると、ファイルは事実上検閲不能になります。削除を心配するアーキビストにとって、これは有意義な技術的安全策です。

分散ストレージは書籍以外にも影響を及ぼします。ビデオファイルを含む大規模なメディアアーカイブを管理している人なら誰でも、ストレージが急速に増大することを知っています。のようなツール無料のビデオコンプレッサービデオファイルのサイズをノード間で分散する前に大幅に縮小できるため、ネットワーク内のすべての参加者のストレージの負担が軽減されます。

5. メタデータ標準: 目に見えない基盤

ここで、図書館科学サークル以外ではめったに話題にならないことがあります。デジタルコレクションを実際に使用できるようにするのはメタデータです。適切なメタデータがなければ、ファイルの山ができてしまいます。適切なメタデータがあれば、ライブラリが得られます。

ダブリンコアは、デジタルドキュメントに最も広く採用されているメタデータ標準です。タイトル、作成者、件名、説明、発行者、寄稿者、日付、タイプ、形式、識別子、ソース、言語、関係、範囲、および権利という 15 の基本フィールドが定義されています。本格的なアーカイブプロジェクトはすべて、アイテムごとにダブリンコアレコードを生成する必要があります。

米国議会図書館が使用しているのは、マルク21を主要なカタログ形式として使用します。既存の図書館システムとの相互運用性については、MARC 21 の互換性が重要です。多くのオープンソースツールは、Dublin Core と MARC 21 の間で変換できます。つまり、コミュニティが構築したアーカイブは、最初から開始することなく、機関図書館システムと統合できます。

アーカイブツールを構築している開発者は、既存の実装を探索し、次のことを研究できます。コード付き論文自動メタデータ生成への機械学習アプローチについては。 AI を使用して、スキャンした書籍に件名、日付、言語を自動的にタグ付けすることは、活発な研究分野です。品質はまだ、希少資料の人間による目録作成者に代わるほど十分ではありませんが、一般的なテキストの大量処理には役立ちます。

優れたメタデータにより、コレクションも見つけやすくなります。タイトル、著者、主題タグのないスキャンされた本は存在しないのと同じです。メタデータに時間を投資すると、誰かが何かを検索して実際にそれを見つけるたびに効果が得られます。テキストの多い文書や原稿を処理するツールを構築している場合は、次のことを検討してください。AIオーディオブックジェネレーターEPUB ファイルを取り込むときに、ツールはすでにメタデータを自動的に処理します。同じメタデータ規律がアーカイブ作業にも適用されます。

全体像: 私たちのデジタル過去の所有者は誰か

Google ブックスのスキャンに対するアンナのアーカイブの報奨金は、本物の緊張を示しています。人類共通の遺産である物理的な書籍から作成された、スキャンされた書籍の膨大なコレクションが存在します。しかし、これらのスキャンへのアクセスは民間企業によって厳しく管理されています。これは明確な答えがある単純な問題ではありません。

明らかなことは、分散型のコミュニティ主導の保存これは、単一の機関が支払能力を維持し、合法性を維持し、意欲を維持することに依存しない唯一のアプローチです。ツールは存在します。 Calibre、IPFS、Tesseract、Internet Archive API、Dublin Core メタデータ標準。いずれも20万ドルの報奨金は必要ありません。時間、調整、そして仕事をするのに十分な配慮を持った人材が必要です。

文書の理解とアーカイブに関する AI の側面をさらに詳しく知りたい人は、OpenAI 研究そしてTensorFlowどちらも、大規模なテキスト抽出および分類タスクに直接適用できるドキュメント AI に関する研究を公開しています。

関連ツールを調べてみませんか?のリソースをチェックしてくださいPyTorch チュートリアル独自の OCR またはドキュメント処理パイプラインを最初から構築している場合。学習には困難が伴いますが、アーカイブアプリケーションの見返りは大きいです。

今すぐ始めるべきところ

このトピックに慣れていない場合でも、実際の入り口は思ったよりも簡単です。キャリバーをダウンロードします。パブリックドメインの書籍を 1 冊インターネットアーカイブにアップロードします。 Dublin Core メタデータがどのようなものかを学びましょう。これら 3 つのステップは午後 1 時間もかからずに完了し、具体的な基礎が得られます。

時間に余裕のある開発者にとって、IPFS を利用した小規模な書籍アーカイブの構築は、本当に満足のいくプロジェクトです。技術的な部分はすべて入手可能で、十分に文書化されており、無料で使用できます。デジタル保存に関するコミュニティは歓迎的で、知識が豊富です。

デジタルブックはデフォルトでは永続的ではありません。生き続けるためには積極的な努力が必要です。良いニュースは、その作業を行うためのツールがこれまでよりも優れているということです。今すぐ始めましょう。代わりに、より多くのコレクションが静かに消えていくのを見守ることです。

1. Calibre を使用して独自のローカル ライブラリを構築する