JPH0644325A

JPH0644325A - Ａ−ｖ知覚可能情報セグメントのアクセス方法

Info

Publication number: JPH0644325A
Application number: JP4309723A
Authority: JP
Inventors: David S Fox; エス．フォックスデヴィッド; Hosagrahar V Jagadish; ヴィ．ジャガディシュホサグラハー; Lawrence O'gorman; オゴーマンローレンス; Guy A Story; エー．ストーリーガイ
Original assignee: American Telephone and Telegraph Co Inc
Current assignee: AT&T Corp
Priority date: 1991-10-24
Filing date: 1992-10-26
Publication date: 1994-02-18
Anticipated expiration: 2017-07-02
Also published as: CA2080552C; US5350303A; FI924811A; FI924811A0; EP0539106B1; CA2080552A1; JP3298676B2; EP0539106A2; EP0539106A3

Abstract

(57)【要約】【目的】従来の物理的ライブラリーの対話機能を忠実
に真似る電子ライブラリーを提供する。【構成】本発明の電子ライブラリーは、電子ユーザー
インタフェースとユーザーとのやりとりを処理し、ユー
ザーの要求に答えるプロセッサとデータ記憶装置とから
なる。記憶されたデータは、このシステムにより走査処
理され、記憶される情報セグメントから導かれる。要求
されたときにユーザーに情報の走査セグメントが提供さ
れる。これらのセグメントは、ビジュアルイメージの他
に、オーディオ源のデジタル化セグメントでもある。要
求によりユーザーに表示される記憶情報セグメントに加
えて、同じデータの翻訳バージョンもデータ記憶装置に
格納される。翻訳バージョンは、表示可能情報の瞬時に
翻訳可能なバージョンと、表示可能情報の様々なバージ
ョンを形成する加工情報とを含む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は電子ライブラリーに関す
る。更に詳細には、本発明は情報を電子的に記憶し、検
索することに関する。一層具体的には、本発明は、コン
ピュータ内にドキュメントおよびその他のオーディオビ
ジュアル情報セグメントを記憶し、そして、ユーザーの
質問に答えてこれらのドキュメントを検索することに関
する。

【０００２】

【従来の技術】この１０年ほどの間、電子ライブラリー
は思慮深い図書館員、記者およびコンピュータ科学者に
とって長年の念願であった。例えば、ワールドブレイン
(WorldBrain)のエッチ・ジー・ウエルズ(H.G.Wells) に
より１９３６年に上演された“世界情報独占(world inf
ormation monopoly)”、バネバー・ブッシュ(Vannervar
Bush) の傑作記事「アズウイメイシンク(As We M
ay Think) 」で彼が１９４５年に記述した「メメックス
(MEMEX) 」などである。

【０００３】ネクシース(NEXIS) およびニュースネット
(NEWSNET) のようなフルテキストデータベースを現在利
用できる。これらはテキスト情報を提供するので、ＮＥ
ＸＩＳおよびＮＥＷＳＮＥＴは“ライブラリー”と見做
すことができる。例えば、ＮＥＸＩＳの場合、大量の情
報を極めて短時間に集めることができることは驚異的で
ある。従って、このようなデータベースは極めて強力で
あるばかりか、貴重な資源である。しかし、このような
データベースはピクチャ、グラフなどを記憶、サーチ、
検索および表示することができない。このため、これら
のデータベースは拾い読みのための快適な環境を提供し
ない。

【０００４】ＮＥＸＩＳで見られるような、テキストの
アスキー(ASCII) 表示は、オリジナルプリントテキスト
が開示した情報の全部を伝達できない。起こり得る転写
エラーを無視すれば、オリジナルプリントテキストが廃
棄された場合、若干の情報は伝達できない。前記のピク
チャの他に、アクセント符号および強調符号も失われ、
更に数式でしか使用されない記号が表示できないので、
数式を完全に理解することは殆ど不可能である。

【０００５】また、かなりの量の情報が所定の頁のテキ
ストの適所（例えば、ビジネスレター）に含まれている
が、このような情報はＮＥＸＩＳのようなシステムでは
失われてしまう。成文語は数世紀もの間使用されてきて
おり、読者により簡単に認識され、理解される書式フォ
ーマットが何年にもわたって採用されてきた。これらの
フォーマットは情報を効率的に伝達するのに改善され続
けてきた。

【０００６】従って、僅かなスペースであっても、或る
情況では、判読不能な走り書きまたは全文のような多量
の情報を伝達することができる。例えば、行頭および文
の前のかなりのスペースはパラグラフの区切りとして認
識され、このスペースは読者に新たな思考を向けるよう
に呼びかけている。レターの末尾の走り書きは、たとえ
この走り書きの文字のうちの一部が判読できなかったと
しても、このレターの送り主の署名がなされていること
を示す。

【０００７】更に、読者が規則正しく読める特定のタイ
プのドキュメントは、単に情報の位置に基づいて、また
は、他の何らかの印（例えば、メモの最も大きなパラグ
ラフ、メモの最も短いパラグラフ、または下線の引かれ
た文章など）により、ドキュメントの最も重要な部分に
簡単に飛ぶことができる。ＮＥＸＩＳのようなシステム
ではこのような便利な機能は殆ど失われてしまう。

【０００８】最後に、読者は新聞、雑誌および本のあり
ふれたフォーマットに非常に満足しているという事実を
過小評価すべきではない。このような親しみはＮＥＸＩ
Ｓのようなデータベースでは殆ど失われている。

【０００９】最近、ＵＭＩにより導入されたようなＣＤ
−ＲＯＭによる市販のイメージデータベースは、記憶さ
れた頁のイメージを提供できる点で、電子ライブラリー
に非常に近い。このＣＤ−ＲＯＭは記憶イメージにテキ
ストと画像の両方を包含させることができる。しかし、
このシステムは、キーワードサーチ能力を付与するため
に記憶イメージのマニュアル要約化および索引付けが必
要なので、サーチおよび検索能力が極めて低い。

【００１０】光学式文字認識（ＯＣＲ）技術では、テキ
ストの頁を走査し、頁内に含まれる印刷アスキー(ASCI
I) 文字を識別し、更に、これらの文字のフォントおよ
びサイズを識別することができるＯＣＲシステムを現在
購入することができる。一般的に、このＯＣＲシステム
はプロセッサによりコントロールされ、ＯＣＲ認識アル
ゴリズムを実行する（かなり進んだ）プログラムは、文
字が認識困難な場合に、辞書を調べる。このＯＣＲシス
テムの最終結果は、プログラムができる最良の形態とし
て、テキストの走査頁をアスキー形態に変換することで
ある。そして、このアスキー形態はシステムのメモリに
記憶される。要求されたときに、アスキーテキスト（良
いものは良いなりに、あるいは、悪いものは悪いなり
に）はユーザーに表示される。走査イメージはキープさ
れない。

【００１１】

【発明が解決しようとする課題】これらの様々な能力の
全てを利用できるとしても、従来のライブラリーの機能
にほぼ等しい単一のシステムは未だ開発されていない。

【００１２】従って、本発明の目的は従来の物理的ライ
ブラリーの対話機能を忠実に真似る電子ライブラリーを
提供することである。

【００１３】

【課題を解決するための手段】本発明は物理的ライブラ
リーの対話モードを忠実に真似る電子ライブラリーを実
現するための手段を提供する。特に、本発明の電子ライ
ブラリーは電子的に走査可能なイメージ情報を維持し、
ユーザーの要求に答えてオーディオビジュアルイメージ
をユーザーに配送する。

【００１４】本発明によれば、電子ライブラリーは電子
ユーザーインタフェース（例えば、コンピュータスクリ
ーン、スピーカー、マウスおよび／またはキーボー
ド）；ユーザーとのやりとりを処理し、ユーザーの要求
に答えるためのプロセッサ；およびデータ記憶装置から
なる。記憶されたデータは、このシステムにより走査さ
れ、処理され、そして、記憶される情報セグメントから
導かれる。要求されたときにユーザーに提供されるもの
は情報（またはその一部）の走査セグメントである。

【００１５】これらのセグメントは、定期刊行物、新
聞、レター、雑誌、地図、グラフなどのイメージであ
り、また、これらのセグメントはスピーチ、音楽および
その他のオーディオ源のデジタル化セグメントであるこ
ともできる。要求によりユーザーに表示される記憶情報
セグメントに加えて、同じデータの翻訳バージョンもデ
ータ記憶装置に格納される。翻訳バージョンは、表示可
能情報の瞬時に翻訳可能なバージョンと、表示可能情報
の様々なバージョンを形成する加工情報とを含む。この
加工は、表示可能情報に構文的論理構造を賦課する。そ
れは、電子的にサーチすることができるデータ源を形成
する、データの翻訳バージョンである。

【００１６】

【実施例】以下、図面を参照しながら本発明を更に詳細
に説明する。

【００１７】図１は本発明による電子ライブラリーシス
テムの全体図である。要素１００はユーザーインタフェ
ースを形成する、コンピュータスクリーン／キーボード
／スピーカー／プリンタ集成装置である。ユーザーはキ
ーボード（またはマウス）を介して、システムに直接指
示を出し、質問事項をサーチすることができる。そし
て、このシステムは、（データが視覚的なものであれ
ば）スクリーン上に情報を表示するか、またはプリンタ
ーで印刷して打ち出し、（情報が音声的なものであれ
ば）スピーカを通して情報を出力することにより応答す
る。

【００１８】要素１００はプロセッサ１０１に接続され
ている。プロセッサ１０１はメモリ１０２と相互作用す
る。メモリ１０２は走査され、デジタル化されたセグメ
ントのデータベースを１個以上含有している。ブロック
１０３および１０４はメモリ１０２内に記憶された２個
のセグメントを示す。

【００１９】メモリ１０２内に記憶される情報のタイプ
は多種多様である。情報は、ＮＥＸＩＳデータベースに
記憶された情報に類似する全てのテキストであることも
でき、雑誌類のような、ピクチャが一緒に混載されたテ
キストであることもでき、チャート、グラフ、写真など
のような、主にピクチャからなる情報であることもで
き、また、スピーチまたは音楽であってもかまわない。
メモリ１０２内に記憶されるデータベースは２個以上で
あることもでき、このデータベースは類似のタイプの情
報を記憶する必要はない。

【００２０】図１はデジタル化セグメント１０３と１０
４の２個だけを示している。このセグメントは互いに近
くに並べて示されている。これは複数個のセグメントが
メモリ１０２内に記憶されていることを示唆している
が、メモリ内にセグメントを記憶させる方法あるいはど
のような情報を示すかについては記載していない。

【００２１】特定のデータベースに記憶される情報は階
層構造に記憶させることが好ましい。例えば、特定の関
心分野の技術定期刊行物のデータベースを形成すること
ができる。このようなデータベースの場合、最高階層レ
ベルで特定の定期刊行物が識別される。次の（低い）レ
ベルで、選択された定期刊行物の種々の発行物が識別さ
れる。その次のレベルで、選択された発行物の種々の記
事が識別される。更に低いレベルで、選択された記事の
種々の頁が識別される。最低レベルで、恐らく、種々の
パラグラフが識別される。

【００２２】本明細書における“セグメント”という用
語は、この用語が使用されている文脈に適合するように
使い分けられる。例えば、記事のコレクションから特定
の記事を選択するためにシークする場合、記事が“セグ
メント”である。記事内の特定の頁をサーチする場合、
頁が“セグメント”である。しかし、大抵の場合、“セ
グメント”という用語は、メモリ１０２内に記憶されて
いる情報量およびブロックとしてユーザーに提供できる
（または提供しようとする）情報量を意味する。情報が
画像である場合、“セグメント”という用語は集成装置
１００のスクリーン上にぴったりと収まる情報を意味す
る。

【００２３】図１に示されるように、情報の３枚の面が
各デジタル化セグメントに付属している。第１面は走査
セグメント自体（例えば、ブロック１０３および１０
４）のデジタル化表示を含む。第２面はデジタル化イメ
ージで見いだされる基本情報（ブロック１１３および１
１４で示されている）を含む。第３面は基本情報群を識
別するマクロ情報（ブロック１２３および１２４で示さ
れている）を含む。

【００２４】デジタル化および走査セグメントが雑誌か
らの画像である場合、第２面の基本情報エンティティは
文字、線、記号などである。第３面のマクロ要素は表
題、作者名、日付け、ピクチャブロックなどのような論
理群である。第２面および第３面の“情報”は一組の翻
訳情報を形成する。すなわち、ブロック１１３および１
２３の情報はブロック１０２の情報の翻訳または変換を
含む。

【００２５】図２は、図１について記載したようなデー
タベースから情報を誘導する、情報検索処理の一般的な
流れ図である。ブロック２００において、ユーザーはシ
ステムに質問を入力する。このような質問はコンピュー
タスクリーン上でアイコンを選択するか、または、質問
を実際にタイプすることにより定式化することができ
る。この工程は全く従来通りである。

【００２６】サーチ要求を受信すると、サーチ要求に適
合する情報セグメントについて、ブロック１０２は翻訳
面内を（例えば、ブロック１１３，１１４，１２３およ
び１２４内の情報により）サーチする。サーチされるセ
グメントのタイプはサーチ質問の一部としてユーザーに
より特定化することができる。あるいは、質問内で特定
されたサーチタイプに応じた何らかのデフォルトセグメ
ントタイプであることもできる。

【００２７】サーチ質問を定式化することができる別の
方法は、イメージを表示するスクリーン上の領域を指摘
し、強調することからなる。領域を識別する機構は周知
である。例えば、市販されている多数のワードプロセッ
サプログラム中に見いだすことができる。すなわち、カ
ーソルをテキストのラインに合わせ、カーソルを“引い
て”ラインの一部分または複数のラインを強調する。

【００２８】しかし、違いは、スクリーン上に示された
イメージは記憶情報の翻訳であり、“強調”されてい
る、またはリンクされているものは記憶情報である、と
いうことである。本発明によれば、走査イメージは表示
されているものであり、強調されているのは走査イメー
ジ部分であり、そして、翻訳イメージに対するリンクが
識別される。質問は翻訳イメージが含有するものについ
て実行される。

【００２９】ブロック２０１により行われるサーチは或
る数の“ヒット”を生じる。このヒット数が１以上であ
る場合、ブロック２０２は第１面の識別セグメントおよ
び第２面および第３面の翻訳セグメントに対してポイン
タを記憶する。その後、ブロック２０４および２０５に
より表示工程を実施する。特に、ブロック２０２が２個
以上の“ヒット”を含む場合、ブロック２０４はブロッ
ク２０２により指摘されたデジタル化セグメントのうち
の一つを表示し、そして、ユーザーの入力を待つ。ブロ
ック２０５はユーザーの指示に応答する。ユーザーが次
のサーチ結果の表示を指示する場合、制御信号はライン
２０６によりブロック２０４に通され、もう一つの指摘
デジタル化セグメントを表示する。ユーザーが新たなサ
ーチを要求する場合、制御信号はライン２０７を介して
ブロック２００に戻される。

【００３０】図３は例えば、ノートブックからの頁のビ
デオ情報の３枚の面の一例を示す。フレーム１０５とし
て示される第１面は、この頁上のテキストである、文字
“ＡＢＣ”と、“ＡＢＣ”の少し下の右側に２本の対角
線と、この対角線の下で、頁の中央の“Ｅ＝ｍｃ² ”の
方程式と、最後に、この方程式の下のグレースケールピ
クチャを含む。図３のフレーム１０５は人間の目で認識
可能に図示されているが、実際には、情報は、特定の暗
さレベルの個別画素のブロックとしてメモリ１０２内に
記憶されている。（別法として、記憶を減らすために、
画素は周知の方法により符号化することができる。）

【００３１】ブロック１０５のデータに関連するデータ
を有し、１０６でマークされた第２面は、１０５のデジ
タル化イメージ内に含まれる情報を、イメージが含まれ
る基本情報エンティティの形で記憶させることができる
方法の一例を例証する。基本情報エンティティのうちの
一つは“非認識ボックス”である。このエンティティは
ピクチャばかりでなく、頁上のその他のマーク類（例え
ば、非認識文字、記号、走り書き、いたずら書き等）も
含むことができる。或る実施例では、この基本情報エン
ティティは全ての手書き文字（例えば、署名）も含むこ
とができる。

【００３２】第１面および第２面に関連するデータを有
し、１０７でマークされる第３面はイメージ内に存在す
るマクロ要素またはブロックを含む。図３において、フ
レーム１０７は４個の項目しか有しない。一つはテキス
ト用であり、一つは対角線用であり、一つは方程式用で
あり、一つはピクチャ用である。テーブル１０８はポイ
ンタのテーブルである。このポインタテーブルは、フレ
ーム１０７の論理頁ブロックをフレーム１０６の基本情
報エンティティおよびフレーム１０５のデジタル化セグ
メントへ結び付ける。

【００３３】図２および図３に関連して前記に述べたサ
ーチスキーマを実現するための実際のプログラムは完全
に常用技術である。市販のデータベース管理プログラム
の殆どのものは、翻訳セグメントを識別し、そして、翻
訳セグメントに付随するデジタル化セグメントを表示す
る本発明のこの機能を組み込ませるために増大させるこ
とができる。例えば、適当なプログラムモジュールを付
加することにより増大させることができる。

【００３４】一層挑戦的なタスクは、翻訳された面を生
の走査データから作成することである。この方法の概要
を図４に示す。この方法は、ブロック３０１の走査イメ
ージ出力から分岐する２本の平行なパスからなる。この
うちの１本のパスはブロック３０２と３０３を含み、他
のパスはブロック３０４を含む。

【００３５】イメージ区分化ブロック３０２は、常用の
光学式文字認識装置（ＯＣＲ）では認識出来ないブロッ
ク３０１の走査イメージ出力内のエリアを識別する。ブ
ロック３０２の目的は、ＯＣＲブロックにより識別でき
る情報を含んでいないイメージエリアを次のＯＣＲブロ
ック（３０３）による考慮から除去することである。ど
のような方法によっても、このようなエリアを発見する
必要がある。成果の無い分析のためにＯＣＲブロックを
煩わせるのは無意味である。

【００３６】図３のケースでは、ブロック３０２のタス
クは第１面１０５内の線およびグレースケールピクチャ
を識別することである。これはイメージのテクスチャー
分析により行われる。この分析により、領域のタイプを
決定し、そして、それを、空白、テキスト、線、図、方
程式（または非アスキー要素の記号的な線）、ラインセ
グメンター、バイナリーピクチャ、乱雑なピクチャ、グ
レースケールピクチャおよび彩色ピクチャとして分類す
る。

【００３７】テクスチャー分析は図５に示されるよう
に、グレースケールイメージ上で行うことができる。ブ
ロック４００では、イメージは、最も普遍的に表れる文
字サイズよりも若干大きなサイズの、連続的で非重複的
なウインドウに分割される。ブロック４１０では、各ウ
インドウ内の画素を試験し、ウインドウ内のエントロピ
ー（無秩序または変動の尺度）を決定する。エントロピ
ー尺度が低い領域はバイナリーウインドウとしてラベル
される（このウインドウは文字または線図の一部分のう
ちの何方かを有することを示唆する）。

【００３８】エントロピー尺度が高い領域はグレースケ
ールピクチャウインドウとしてラベルされる。ブロック
４２０では、ブロック４１０により各ウインドウに付さ
れたラベルを、各ウインドウの最も近い８個の隣接部に
基づいて再検討し、必要に応じて訂正する。個々のウイ
ンドウを訂正し、同じラベルを有する隣接のウインドウ
が、領域情報により優先的に知られる、分析中の特定の
頁に適当な予想形状（通常は矩形）およびサイズを有す
る領域を形成する。

【００３９】バイナリーラベルの付されたウインドウ
（および領域）はブロック４３０に向けられる。ここ
で、入力は２値化される。すなわち、高および底グレー
スケール値の範囲内の中間値に関する閾値により１また
は０にセットされる。

【００４０】ブロック４３０の出力はブロック４４０に
入力される。ここで、バイナリーラベルは次のようにし
て精密化される。

【００４１】・ウインドウ内の１値画素の割合が高く、
８個の隣接部が０値である場合、ウインドウは乱雑なウ
インドウとしてラベルされる。・１値の接合（隣接）ウインドウが１個または数個しか
なく、１〜０値画素の割合が約１／１６〜１／８である
場合、ウインドウはテキストウインドウとしてラベルさ
れる。・１値の接合（隣接）ウインドウが１個または数個しか
なく、１〜０値画素の割合が約１／１６未満である場
合、ウインドウは線図ウインドウとしてラベルされる。・１値画素がウインドウ内に存在しない場合、ウインド
ウは空ウインドウとしてラベルされる。・１値画素しか存在しない場合、ウインドウはバイナリ
ーピクチャウインドウ（黒）としてラベルされる。

【００４２】ブロック４４０の出力はブロック４５０に
入力される。ここで、ブロック４４０により各ウインド
ウに付されたラベルを、各ウインドウの最も近い８個の
隣接部に基づいて再検討し、必要に応じて訂正する。ブ
ロック４２０における場合と同様に、個々のウインドウ
を訂正し、同じラベルを有する隣接のウインドウが、領
域情報により優先的に知られる、分析中の特定の頁に適
当な予想形状（通常は矩形）およびサイズを有する領域
を形成する。最後に、ブロック４２０のグレースケール
出力およびブロック４４０の出力を合わせ、ブロック４
６０においてフォマット化し、ブロック３０２の“第２
面”出力を発生し、そして、ブロック４７０において、
ＯＣＲブロック３０３用のマスクを形成する。

【００４３】従って、ブロック３０２は走査イメージ中
の非認識セグメントを識別し、イメージの特定領域を４
視するようにＯＣＲブロック３０３に指示するテンプレ
ートを創出する。

【００４４】ブロック３０２に続くブロック３０３は常
用のＯＣＲブロック（例えば、セレラ(Celera)ＲＳ−９
０００）であり、フレーム１０５の文字を識別する。イ
メージ区分化ブロック３０２とＯＣＲブロック３０３の
結合出力はフレーム１０６を構成する。ブロック３０３
の出力は第２面情報である。

【００４５】図６は図３のブロック３０４で行われる処
理の一層詳細な流れ図である。ブロック３０５はブロッ
ク３０１の走査イメージ情報を受取り、その情報を分析
し、結合成分を識別する。ブロック３０５により創出さ
れた結合成分のセットはブロック３０６に出力され、各
ブロックのＫ−最接近隣接部を決定する。ブロック３０
６で行われ、そして、ブロック３０７に供給される分析
の結果は、イメージ成分を併合させ、論理ブロックを作
成する。

【００４６】最後に、ブロック３０７により創出された
論理ブロックは、ブロック３０８内の構文解析処理によ
り分析され、走査イメージ内に含まれる情報の構文区分
化が得られる。構文区分化は、ブロック３０９により供
給された情報によりガイドされる。これは走査イメージ
のフォーマットの先行知識から導かれる。

【００４７】走査イメージにおける結合成分を決定する
タスク（例えば、ブロック３０５のタスク）は次のよう
にして実行できる。第１に、イメージ内の全ての画素を
検討する。そして、“ＯＮ”値を有する全ての画素（す
なわち、予め選択された暗さレベルよりも暗い画素）に
ついて、その最も近い８個の画素（Ｎ，Ｓ，Ｅ，Ｗ，Ｎ
Ｗ，ＮＥ，ＳＷ，ＳＥ）のうちの１個以上の画素が“Ｏ
ＦＦ“値を有するか否かを決定する。

【００４８】もし有するならば、中心画素を“輪郭”画
素としてラベルする。この後、発見された輪郭画素の隣
を別の輪郭画素が発見されるまで、任意の順序（行−列
または列−行）でイメージ画素を最初にサーチすること
により、輪郭を鎖にリンクする。輪郭画素が発見された
ら、一つの輪郭画素から隣の輪郭画素まで輪郭をたど
り、このような各画素を消去（すなわち、非輪郭値にセ
ット）し、明確な結合成分数（インデックス）によりラ
ベルされるベクトル内の各輪郭画素の位置を記憶する。
このベクトルは結合成分（例えば、文字）を明示する。

【００４９】隣接輪郭画素がゼロになるまでベクトルの
占拠を続けさせる。その後、別の輪郭画素を発見し、新
たな結合成分を識別する。輪郭画素がゼロになるまで結
合成分の識別処理を繰り返す。最後に、各結合成分の重
心を決定し、各結合成分の重心の位置（ｘおよびｙ位
置）を記憶する。重心のｘ位置は、結合成分内の全ての
輪郭画素の水平位置を加え、そして、このような画素の
数で前記合計値を割ることにより決定される。同様に、
重心のｙ位置は結合成分内の全ての輪郭画素の垂直位置
を加え、そして、このような画素の数で前記合計値を割
ることにより決定される。

【００５０】Ｋ−再接近隣接部分析（ブロック３０６）
は、Ｋ（一般的に、３，４または５）および各結合成分
に関する値を選択し、結合成分の重心から他の各成分の
重心までの最小ユークリッド距離を見つけ出すことによ
り実行できる。再接近Ｋ隣接部は識別され、そのインッ
デクスは、結合成分に関連して、各々の距離および角度
と共に記憶される。この処理の結果を下記の表１に要約
して示す。

【００５１】

【表１】

【００５２】結合成分を併合し、セグメントブロック
（ブロック３０７）を作成するために、先ず最初に、イ
メージのスキュー角度、文字間間隔、単語間間隔および
行間間隔を決定しなければならない。

【００５３】スキュー角度は、全ての隣接対の角度のヒ
ストグラムから、これら全ての隣接対のピーク角度を見
つけ出すことにより決定される。

【００５４】文字間間隔は距離範囲群内の対をグループ
化することにより決定される。隣の文字に対応する対
は、或る範囲内で小さな距離を有する。これらの対は最
も稠密な群を形成する。この群内の距離を平均化すると
名目文字間間隔が得られる。僅かに大きな平均距離の範
囲内の対群は或る単語の末尾と次の単語の頭部との文字
対である。この群の距離を平均化すると名目単語間間隔
が得られる。

【００５５】行間間隔は、スキュー角度に対する角度が
４５°よりも大きい全ての対を識別し、そして、このよ
うな対の全てについて、最も頻度の高い平均距離を見つ
け出すことにより決定される。最も頻度の高い平均距離
を見つけ出すとは、対距離を距離範囲内にグループ化す
ることができることを観察し、最大数の対を含む群を識
別し、そして、この群について平均対距離を演算するこ
とを意味する。これが行間間隔である。

【００５６】前記の説明から、“単語”は、角度がスキ
ュー角度の４５°の範囲内であり、対距離が文字間間隔
の選択公差の範囲内である結合成分対の群であることが
容易に理解できる。テキストの“行”は、角度がスキュ
ー角度の４５°の範囲内であり、距離が単語間間隔の選
択公差の範囲内である結合成分対の群である。“テキス
トのブロック”は、平均行間間隔が行間間隔の選択公差
の範囲内であるテキストの複数行である。

【００５７】図３に示されているように、“単語”、
“行”および“ブロック”は、結合成分および空間的な
同等の情報に対するポインタと共に、翻訳された第３面
に記憶される。

【００５８】ブロック３０７内で識別されたセグメント
ブロックはブロック３０８内で構文解析され、セグメン
トの論理ブロックを作成する。ブロック３０８内で行わ
れる処理は、「イメージを解剖する方法および装置」と
いう名称で米国特許出願第０７／７２０３１８号明細書
に詳細に開示されている。この構文解析を行うために、
ブロック３０８はブロック３０９により供給される“定
義域−依存性”情報を使用する。

【００５９】ブロック３０９の情報はユーザーにより提
供される。この情報は例えば、「日付は頁の上部から約
２インチのところに見いだされ、これは２インチよりも
短いテキストブロックであり、その左側に対して少なく
とも４インチの余白を有する」と述べることができる。
また同様に、「主題はインデントされたテキストブロッ
クであり、“Ｄｅａｒ”で始まる行の下にあり、“Ｒ
ｅ”で書き始められる」などのように述べることもでき
る。これは、“往復文書（コレスポンデンスレター）”
を形成する頁の特徴を記載する情報である。

【００６０】情報が構文解析され、そして、図３のブロ
ック１０７が論理ブロックを特定する情報で占められた
ら、情報の３枚の面の異なる要素間でリンクを起こさせ
なければならない。これは下記に説明するように簡単な
方法により行われ、結果は表１０８内に配置される。

【００６１】最初の情報は：第１面上の各画素の調整；
結合成分のボックスまたは輪郭の境界の調整（これは、
前記で説明した第２面の基本エンティティである）；お
よび、第３面のブロックの調整である。従って、第２面
および第３面は第１面にリンクされる。第２面および第
３面をリンクするためには、基本エンティティボックス
と第３面内のブロックとの間の重複について第２面内の
各基本エンティティをテストするだけでよい。基本エン
ティティがブロックと重複している場合、ポインタは基
本エンティティからブロックまで作成される。逆もまた
同じである。これらのポインタは図３の表１０８に示さ
れている。

【００６２】前記のように、サーチを行う機構の観点か
ら、図１の集成装置で特定の情報をサーチすることはか
なり当たり前のことである。すなわち、ブロック１０６
および／または１０７内でサーチを行うために、様々な
データベース管理プログラムを簡単に注文通りに作るこ
とができる。しかし、図１の集成装置の特別な構造のた
めに、全体の効果は極めて強力である。

【００６３】例えば、データベースの階層構造により利
用可能になる能力は別として、ブロック３０８の処理に
より行われる構文解析は、サーチおよび検索セッション
の最中に使用される情報の価値を創造する。例えば、往
復文書のデータベースでは、ブロック３０９における定
義域−依存性情報はレターの宛先、レターの日付、レタ
ーの“Ｒｅ”行、送り主、およびおそらくは送り主の会
社名などをを容易に識別することができる。従って、サ
ーチはこれらのカテゴリーのうちの何れか一つについて
行うこともできる。

【００６４】実際、カテゴリーの識別は構文解析処理に
より自動化され、サーチカテゴリーは自然に到来する。
すなわち、選択可能（サーチ可能）なカテゴリーはブロ
ック３０９の定義域−依存性情報から生じ、或るデータ
ベースから別のデータベースに容易に変更することがで
きる。これらのカテゴリーはアイコン配列によりスクリ
ーン上に容易に表示させることができ、そして、カテゴ
リーのサーチはアイコンを単に指示するだけで特定させ
ることができる。カテゴリーのサーチは、ＮＥＸＩＳデ
ータベースにおけるサーチの仕様書と同様な方法でサー
チを特定することにより、サーチウインドウ（図１の要
素１００参照）を介して行うこともできる。

【００６５】下記の３例の具体例は本発明のサーチおよ
び表示能力を例証するものである。

【００６６】第１の具体例として、全く同じ頁に見いだ
されない情報に対する参照を含むことは、技術論文にお
けるテキストの頁にとって極めて普通である。一つの例
は、直ぐ使えるように主題に関連するように著者により
識別された資料の参照（“参照文献”）である。多くの
雑誌では、参照が識別されるインジケータ用のフォーマ
ットは極めて特殊である（例えば、［ＪＰＭ８８］のよ
うに、著者の頭文字と番号からなる）。このフォーマッ
トはブロック３０９に含めることのできる情報片を構成
する。定義域情報はこのフォーマットを特定し、そし
て、フォーマットの例はブロック３０８により走査頁内
で発見される。

【００６７】本発明によれば、ストリング（例えば、
［ＪＰＭ８８］）および［ＪＰＭ８８］により識別され
る参照の詳細内容を含むイメージセグメントとの間でリ
ンクが形成される。適所にこのリンクを有することによ
り、ユーザーが［ＪＰＭ８８］を有するテキストを表示
させ、そして、ユーザーがこのストリングを強調する場
合、参照の詳細内容を有するイメージセグメントはデー
タベースから検索され、そして、コンピュータディスプ
レイ上に表示される。好ましくは、第２ウインドウ内に
表示させる。

【００６８】表示頁内に含まれない情報に対する別の参
照例は、図、プロット、表、ピクチャなどに関する参照
にしばしば見られる。本発明によれば、定義域情報は、
“図３”のような参照を、図３を示すコンピュータ内に
記憶された別のイメージセグメント（すなわち、“図
３”というストリングからなる“タイトル”を有する）
と連合させるリンクを形成することができる。

【００６９】前記の能力はコンピュータ化された拾い読
みのための極めて強力な道具をもたらす。このような道
具は従来のコンピュータ化システムには存在せず、ユー
ザーが論文の印刷バージョンを読む際に容易に実現さ
れ、そして、使用される。

【００７０】第２の具体例として、“図３”および
“［ＪＰＭ８８］”のような印で参照される同じ論文の
特定部分を引用する能力を有することに加えて、図１の
集成装置は、指摘文献（すなわち、［ＪＰＭ８８］で略
記された文献）またはユーザーがコンピュータスクリー
ンの同じウインドウまたは別のウインドウで即座に（ま
たは同時に）見たいと欲するその他の文献を実際に呼び
出す能力を付与する。

【００７１】第３の具体例として、ＯＣＲおよび付随処
理が走査イメージを忠実に変換または翻訳しなかった場
合であっても、若干信頼できないキーワードに基づいて
項目を識別し、次いで、ユーザーが翻訳を訂正すること
ができる。また、図１の集成装置によれば、ユーザーは
入力単語が不完全に走査されるか、または、オリジナル
の単語に対して綴り間違いがあることを観察し、それを
訂正することもできる。訂正は選択したイメージ部分を
ユーザーが強調することにより行われ、強調された部分
の翻訳版は別のスクリーン上に示される。このような翻
訳部分はその後、将来の参照および使用のために編集す
ることもできる。

【００７２】ＯＣＲ処理（３０３）の記載において、使
用される特定のＯＣＲ処理のやり方については何も述べ
なかったが、示唆された以外の常用のやり方を使用する
ことができる。実際、本発明では、文字を決定するため
にユニグラムおよびダイグラム確率を利用するＯＣＲ処
理を使用する。すなわち、文字を決定する場合、次の点
について審理する：

【００７３】＊提案文字が出現する確率，＊観察される文字が与えれた場合に、提案文字が出現す
る確率，＊提案文字（既に決定されている）に先立って文字が与
えられる場合に、提案文字が出現する確率，および、お
そらく、＊提案文字に先立って文字が与えられる場合に、提案文
字が出現する確率。

【００７４】認識処理に加えて、本発明によれば、例え
ば、前記の方程式から得られる全ての確率尺度が事前に
選択された閾値以下であると決定された場合、文字を
“非認識ボックス”として残す余地が依然として存在す
る。このような場合、ＯＣＲ処理３０３はこのような文
字を多数の“可能性のある”文字に翻訳することができ
る。このような“可能性のある”文字はこの文字に付随
する可能性尺度を有する。そして、その情報はこのサー
チ処理で使用される。例えば、“Ｌｏｎｄｏｎ”のよう
な単語は不明瞭な場合があり、認識装置は次のように返
答してくる。

【００７５】“Ｌ” “ｏ” “ｎ”７０％，“ｍ”２３％ “ｃ”４６％，“ｏ”６８％，“ｅ”１８％ “ｎ”５０％，“ｍ”３３％

【００７６】適度な総合的可能性尺度の単語を決定する
よりもむしろ、訂正の可能性を維持することにより、例
えば、“Ｌｏｍｄｅｍ”という名称をサーチしたいユー
ザーには、このシステムが、多分、質問の単語は“Ｌｏ
ｎｄｏｎ”または実際に“Ｌｏｍｄｅｍ”であると知ら
せる機会が与えられるであろう。

【００７７】本発明の利点の一つは、多分認識されるは
ずであった文字の認識がＯＣＲブロックにより失敗した
としても、ユーザーに対する表示はこのような失敗によ
り邪魔されない。ユーザーは走査イメージを目視し、そ
して、ユーザーが知るかまたは注意する限りは、全ての
文字がＯＣＲブロックにより適正に認識され続ける。

【００７８】本発明の別の利点は、表示されたイメージ
の分析が劣悪でも、記憶される完全な走査イメージであ
り、その結果、出力（スクリーンおよび／またはプリン
タの両方）は走査イメージの完全な解像度で得られる。
縮小はスクリーンまたはプリンタの解像度まで解像度を
低下させる。拡大は、常用の補間技術を使用し、高めら
れた解像度をもたらすことができる。（時々、高解像度
の認知しかされないことがあるが、紛れもなく、本発明
の利点である。）

【００７９】本発明の主要な利点は、本発明の第２面お
よび第３面でサーチが行われることである。これによ
り、元のイメージとして出現すべきものついて効果的な
サーチメカニズムが提供される。

【００８０】ユーザーに知られていない、サーチ処理を
妨害する“非認識ボックス”の事例が存在するが、本発
明の別の利点によれば、このサーチアルゴリズムはデー
タ部分（例えば、単語）が適合する確率を評価する。こ
の確率が予め選択された閾値よりも高い場合、ユーザー
は蓋然適合が生じたことを知らされ、蓋然適合を有する
データセグメントが表示され、非認識部分は強調され、
そして、ユーザーは適合決定の確認を求められる。ユー
ザーが確認したら、“非認識ボックス”エンティティは
適当な文字で置換される。ユーザーが強調データ部分
（例えば、単語）が適合に対応しないと決定したら、ユ
ーザーはデータ部分がどうであるべきか特定する機会を
与えられる。

【００８１】前記の手順は元来、ＯＣＲ処理における両
義性を解決するために、データ生成処理を迂回せずに進
めることができる。ユーザーは両義性の解決が当面の関
心事である場合に限って助言を求められる。これは本発
明の利点である。なぜなら、これにより比較的迅速な手
段で情報を有するデータベースを占拠できるからであ
る。

【００８２】本発明の別の利点は、認識処理（文脈およ
びその他の両方）の改善を、後の時点であっても、図１
のシステム内のデータに適用できることである。この可
能性は、元の走査データが廃棄されないという事実に直
接由来する。従って、これは再度加工処理することがで
きる。

【００８３】本発明の主目標の一つは電子ライブラリー
用のフレームワークを作成することである。この目的の
ために、本発明が完成される過程で、多数の技術定期刊
行物が本発明の試験システムで走査された。このような
システムのユーザーは特定の定期刊行物を指定するか、
または、データベース内に含まれている全ての定期刊行
物を単一イメージで見るのか何れかを選択する機会を与
えられる。単一イメージで見るオプションを選択する場
合、刊行物の最後の号の最初の頁の走査イメージの縮小
複製が配列され、ユーザーに表示される。

【００８４】これらの刊行物の第１頁は刊行物のロゴ、
日付、およびその他の情報（例えば、その号の主な特集
記事に関する表示）などを含む。特定の刊行物の縮小イ
メージを指摘することにより、ユーザーは刊行物を選択
し、そして、特定の号を選択する。この時点で、刊行物
の第１頁の非縮小イメージが出現し、次いで、ユーザー
はこの号に関するその他の情報（例えば、この号の目次
（第１頁にこの目次が既に含まれていない場合）または
特定の記事など）を要求することができる。この技術定
期刊行物のその他の号のサーチも行うことができる。

【００８５】本発明の多用性を実証するために、本発明
の試験機で数件の特許を走査した。特許明細書はその全
体が走査され、ユーザーに全ての頁のイメージを表示で
きる完全サーチ可能なデータベースを形成した。このシ
ステムはまた、各特許明細書の第１頁だけを表示するこ
ともできる。これは極めて強力な能力である。なぜな
ら、新規性調査を行おうとする者は一般的に、特定のキ
ーワードがテキスト中に存在する特許だけを識別したい
からである。多数の特許が識別されたら、調査者は一般
的に、これら特許の第１頁を先ず見たいと思うものであ
る。なぜなら、これが、入念に検討しなければならない
特許の件数を減らす効果的なやり方だからである。

【００８６】本発明の重要な用途の一つは、訴訟に関連
して見いだされる。訴訟の開示処理はしばしば、当事者
から相手方に渡されたかなり多数の証拠資料を生じる。
これらの証拠資料が受領方のニーズに役立つ場合、これ
らの証拠資料を分析し、索引を付ける必要がある。ＯＣ
Ｒシステムを使ってこれら証拠資料を走査し、そして、
そのイメージを記憶することは極めて有用であろう。し
かし、これらの証拠資料はしばしば、ＯＣＲシステムで
は処理できない手書きの情報を含んでいる。本発明を使
用することにより、真性な証拠資料イメージを記憶し、
可能な程度まで、ＯＣＲが認識可能なエンティティが翻
訳されたイメージで記憶され、その後、サーチすること
ができる。

【００８７】存在する証拠資料開示の別の問題は情報カ
テゴリーの識別に関する。“フォームレター”などによ
り、定義域依存性情報を得たり、または演繹したりする
ことができるが、多くのその他の書類ではこのようなこ
とはできない。本発明による解決策の一つは、異なる透
明着色を有する市販の幅広のフエルトチップペンで着色
強調ブロックを作ることにより、疑似定義域依存性情報
を作成することである。データの周囲の領域は例えば、
赤の強調色でマークすることができ、著者名の周囲の領
域は例えば、黄色の強調色でマークすることができる。
これには勿論、色に対して感受性を有する走査装置が必
要である。しかし、この能力は市販のスキャナーで利用
できる。

【００８８】以上、本発明の能力をテキストの内容につ
いて説明してきたが、同じ原理を音声のようなその他の
記憶情報にも直接応用することができる。視覚情報およ
び音声情報に共通することは、両方ともコンピュータに
より示すことができ、人間の感覚により知覚することが
できる情報であるということである。ビデオ情報、オー
ディオ情報またはオーディオおよびビデオ情報の両方を
示すために、本明細書では、この両方を含めた“Ａ−Ｖ
知覚可能情報”という用語を使用する。

【００８９】オーディオ用途に関連して、例えば、重要
な演説を録音し、デジタル化し、そして記憶することが
できる。これは“第１面”情報を形成する。翻訳情報で
ある“第２面”情報はアスキー文字で記載された音素
と、音素の集合体から形成される単語からなる。

【００９０】

【発明の効果】以上説明したように、本発明によれば、
従来の物理的ライブラリーの対話機能を忠実に真似る電
子ライブラリーが得られる。

【図面の簡単な説明】

【図１】電子ライブラリーを実現するハードウエア構成
を示す概念図であり、メモリ１０２内のデータ構造を合
わせ示す。

【図２】本発明によるサーチ、検索および表示処理の流
れ図である。

【図３】各表示セグメントに付随する情報の３枚の面の
内容を詳細に示す拡大模式図である。

【図４】第２面および第３面に情報を創出する処理工程
を示す流れ図である。

【図５】テクスチャー分析の流れ図である。

【図６】情報の第３面に付随する処理工程の内容を更に
詳細に示す流れ図である。

【符号の説明】

１００コンピュータスクリーン／キーボード／スピー
カー／プリンタ集成装置１０１プロセッサ１０２メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者デヴィッドエス．フォックスアメリカ合衆国 07901 ニュージャージーサミット、フェアビューアヴェニュー 14 (72)発明者ホサグラハーヴィ．ジャガディシュアメリカ合衆国 07922 ニュージャージーバークレーハイツ、ビーチアヴェニュー 16 (72)発明者ローレンスオゴーマンアメリカ合衆国 07041 ニュージャージーミルバーン、アパートメント１シー、メイルストリート 195 (72)発明者ガイエー．ストーリーアメリカ合衆国 10012 ニューヨークニューヨーク、スプリングストリート 151

Claims

【特許請求の範囲】

【請求項１】走査され、そして、デジタル化されたＡ
−Ｖ知覚可能情報セグメント（１０３，１０４）のデジ
タル化表現をコンピュータ（１０２）内に維持する工
程；前記各デジタル化表現の翻訳表現（１１３，１２
３，１１４，１２４）を維持する工程；および、アクセスし、そして、ユーザーの要求に応答してセグメ
ントのデジタル化表現の少なくとも一部分をユーザーに
提供するために、前記翻訳表現を使ってユーザーの要求
（図２）を処理する工程；からなることを特徴とするコ
ンピュータ内に記憶されたセグメントからＡ−Ｖ知覚可
能情報セグメントにアクセスする方法。
【請求項２】複数個のＡ−Ｖ知覚可能情報セグメント
の各々のデジタル化表現をコンピュータ記憶媒体に維持
する工程；前記複数個のＡ−Ｖ知覚可能情報セグメント
の各々の少なくとも一つの対応する翻訳表現をコンピュ
ータ記憶媒体に維持する工程；各Ａ−Ｖ知覚可能情報セ
グメントの対応するデジタル化表現の部分により各Ａ−
Ｖ知覚可能情報セグメントの各翻訳表現の要素を連想す
る結合情報を前記コンピュータ記憶媒体に維持する工
程；ユーザーの要求に応じて、前記コンピュータ内に維
持されているＡ−Ｖ知覚可能情報セグメントのうちの一
つを選択する工程；および、選択されたＡ−Ｖ知覚可能情報セグメントのデジタル表
現をユーザーに提供する工程；からなることを特徴とす
るコンピュータ記憶媒体内に記憶されている複数個のＡ
−Ｖ知覚可能情報セグメントからＡ−Ｖ知覚可能情報セ
グメントにアクセスする方法。
【請求項３】前記選択工程は、ユーザーの要求に基づ
いて、前記複数個のＡ−Ｖ知覚可能情報セグメントのう
ちの少なくとも幾つかの翻訳表現を隅々までサーチし、
前記一つのＡ−Ｖ知覚可能情報セグメントを選択するこ
とからなる請求項２の方法。
【請求項４】Ａ−Ｖ知覚可能情報セグメントの前記翻
訳表現は、前記Ａ−Ｖ知覚可能情報セグメントの対応す
るデジタル化表現の第１の分析処理により導かれた前記
Ａ−Ｖ知覚可能情報セグメントの基本情報エンティティ
を含む請求項２の方法。
【請求項５】Ａ−Ｖ知覚可能情報セグメントの前記翻
訳表現は、基本エンティティの分析処理から導かれる前
記Ａ−Ｖ知覚可能情報セグメントの一層高いオーダの情
報を更に含む請求項２の方法。
【請求項６】前記結合情報は、所定のＡ−Ｖ知覚可能
情報セグメントの翻訳表現内の基本情報エンティティを
所定のＡ−Ｖ知覚可能情報セグメントのデジタル化表現
のサブセグメントと相関させる請求項４の方法。
【請求項７】ユーザーの要求は、選択されたＡ−Ｖ知
覚可能情報セグメント内の選択高オーダ情報エンティテ
ィの存在を特定する請求項５の方法。
【請求項８】前記結合情報は、所定のＡ−Ｖ知覚可能
情報セグメントの翻訳表現内の情報エンティティ群を所
定のＡ−Ｖ知覚可能情報セグメントのデジタル化表現の
スーパーサブセグメントと相関させ、前記群は所定のＡ
−Ｖ知覚可能情報セグメント内に論理ブロックを形成す
る請求項６の方法。
【請求項９】各翻訳表現は、対応するデジタル化表現
を基本情報エンティティの集まりに翻訳する処理工程の
成果であり、前記処理工程は、デジタル化表現の前記基
本情報エンティティの集まりへの翻訳を改善する目的の
ために、人間からの相互作用的助力なしに行われる請求
項５の方法。
【請求項１０】ドキュメントの頁を走査し、前記頁の
イメージの走査表現を創出する工程；前記走査表現を第
１の分析処理により分析し、前記頁内に含まれる基本情
報エンティティのデジタル化表現を創出する工程；前記
走査表現および前記基本情報エンティティの前記表現を
第２の分析処理により分析し、前記頁の情報内容の高レ
ベル表現を創出する工程；および、前記走査表現、前記基本情報エンティティの前記表現お
よび前記頁の情報内容の前記高レベル表現を、これらを
相関させる情報と共に、単一のデータ構造体として記憶
する工程；からなることを特徴とするドキュメントの記
憶方法。