JPH05250408A - 取り込んだ情報で文書画像を復号することなく選択した文書の重要な部分を補完するための方法 - Google Patents

取り込んだ情報で文書画像を復号することなく選択した文書の重要な部分を補完するための方法

Info

Publication number
JPH05250408A
JPH05250408A JP4302727A JP30272792A JPH05250408A JP H05250408 A JPH05250408 A JP H05250408A JP 4302727 A JP4302727 A JP 4302727A JP 30272792 A JP30272792 A JP 30272792A JP H05250408 A JPH05250408 A JP H05250408A
Authority
JP
Japan
Prior art keywords
image
document
units
word
image units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4302727A
Other languages
English (en)
Other versions
JP3289968B2 (ja
Inventor
M Margaret Withgott
エム・マーガレット・ウイズゴット
Newman William
ウイリアム・ニューマン
Steven C Bagley
スティーブン・シー・バグレイ
Daniel P Huttenlocher
ダニエル・ピー・ヒュッテンロッヒャー
M Kaplan Ronald
ロナルド・エム・カプラン
Todd A Cass
トッド・エイ・カス
Per-Kristian Halvorsen
パー−クリスチャン・ハルボルセン
John S Brown
ジョン・シーリー・ブラウン
Martin Kay
マーティン・ケイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JPH05250408A publication Critical patent/JPH05250408A/ja
Application granted granted Critical
Publication of JP3289968B2 publication Critical patent/JP3289968B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

(57)【要約】 （修正有） 【目的】電子的文書処理のための方法、装置の改良と、
文書を復号せずに選択した文書の重要部分に相当する補
足的データの検索装置を提供。 【構成】画像処理技術の第１の様相は文書画像分析で、
非復号情報に断片化２０され、あるページの画像単位の
位置・空間的関連性を調べる２５。弁別段階３０が次に
行われ、主題内容の評価において有用であるためには不
十分な情報内容の画像単位を識別する。評価には形態的
画像特性の弁別４１と形態的画像特性の比較４２が必
須。読み取り装置は利用者が文書またはこれの断片を閲
覧しまた選択することを可能とし、また文書および補足
データの対話的検索を得ることが出来るようになす。

Description

【発明の詳細な説明】
【０００１】以下の現在申請中で関連する米国特許出願
はここにおいて相互参照されまたその全体を参照に含め
るものである
【０００２】ヒュッテンロッヒャー（Huttenlocher）
ら、「文章中の単語の境界を調べるための方法ならびに
その装置（Method and Apparatus for Determining Bou
ndaries of Words in Text）」、出願番号Ｄ／９１１６
１。
【０００３】ブルームバーグ（Bloomberg)ら、「文書を
文字符号に変換することない機能語の検出（Detecting
Function Words Without Converting A Document to Ch
aracter Codes ）」、出願番号ＪＡＯ２６７７２，Ｄ／
９１００１。
【０００４】ヒュッテンロッヒャー（Huttenlocher)
ら、「後続の比較のために単語形状を導出する方法（A
Method of Deriving Wordshapes for Subsequent Compa
rison）」、出願番号Ｄ／９１１６３。
【０００５】カス（Cass) ら、「文書画像を復号するこ
となく文書中の単語の出現頻度を調べるための方法なら
びにその装置（Method and Apparatus for Determining
theFrequency of Words in a Document without Docum
ent Image Decoding ）」、出願番号ＪＡＯ２６７７
１，Ｄ／９０４６３。
【０００６】ヒュッテンロッヒャー（Huttenlocher)
ら、「単語形状の検証による光学的単語認識（Optical
Word Recognition By Examination of Word Shape
）」，出願番号Ｄ／９０４６３。
【０００７】ヒュッテンロッヒャー（Huttenlocher)
ら、「単語形状を比較するための方法（Method for Com
paring Word Shapes）」、出願番号Ｄ／９１１６２。
【０００８】「画像の手書きマーク付け検出のための方
法ならびにその装置（A Method andApparatus for Imag
e Hand Markup Detection）」、出願番号Ｄ／９１２２
６。
【０００９】本発明は電子的文書処理のための方法なら
びにその装置の改良に関し、より特定すれば、文書を第
１に復号することなくまたは文書内の情報をこれ以外で
解読することなく文書画像中の意味的に重要な単語、文
字、または画像断片を自動的に選択し、また選択した単
語、文字、画像、または画像断片に関連してさらに取り
込んだ情報で文書を増加させるための方法ならびにその
装置の改良に関する。
【００１０】コンピュータを使用した電子的文書処理の
目標のひとつは文書または文書資料内に含まれた情報を
利用者がアクセスしまた理解するのを容易にすることで
ある。しかし、多くの場合たとえば利用者にとって不慣
れな言語または形態（たとえば盲目の利用者にとって点
字以外の文章）にある文書においてなど、利用者は文書
の何らかの理解を得るために文書についてのさらなる方
法または翻案を必要とする。他の場合で、利用者が文書
または文書のグループについてある水準まで理解した後
であっても、利用者の理解を拡大するための補足的情報
を取得することを利用者はしばしば所望する。しかし、
たとえば文書または文書の集合の中から意味的に重要な
部分を特定することやこうした部分の相対的重要性を評
価することは極めて困難であり、また時間のかかる仕事
でありうる。文書のもっとも重要な部分を選択しこれに
関連した補足情報を取り込むことの問題は文字符号によ
る表現（文書画像におけるＡＳＣＩＩコードなど）では
なくビットマップ式の文書画像を直接取り扱う場合、特
に難しい。これまで、完全に認識可能な走査文章は特殊
な問題領域としてではなく電子的に保存された文字符号
ファイルで交換可能であるとして扱われてきた。しか
し、注目している文章を特定するためにブール代数式の
キーワード検索などの操作を利用者が実行しうるＡＳＣ
ＩＩ文章ファイルとは対照的に、復号せずに走査された
文章情報はそれぞれの文書の徹底的な観察なしには、ま
たは検索目的の文書の要約を手作業で作成する以外で
は、検索することが困難である。当然、文書の観察また
は文書の要約の作成には大量の人間の努力を必要とす
る。
【００１１】文書中の有用な術語の検索に関する検索技
術の例は、ソルトンとマクギル（Salton and McGill ）
の「現代情報収集入門（Introduction to Modern Infor
mation Retrieval）」（マグロウヒル出版(McGraw-Hil
l) 、１９８３年）に見ることができる。つまりキーワ
ード照合を計算し、文章中のもっとも頻繁な名詞節を特
定し、情報検索システムの利用者にとって注目されそう
にない単語の停止リストを作成する、等といった技術が
存在する。こうした技術は一般に雑音のない（完全に認
識可能な）文章を前提としている。
【００１２】クラインバーガー（Kleinberger)の米国特
許第４，９７２、３４９号では長さと内容が可変の文章
のテキストベースから形成されたコンピュータ化情報検
索システムおよびその方法が開示されている。文章は文
章に関連したキーワードの中でブール代数論理検索をも
ととしてテキストベースから選択される。こうした検索
からひとつのグループが検索された場合、システムは文
章を下位グループに分割するために選択された選択基準
のキーワードの存在または不在をもととして文章を自動
的に選択する。同じ選択基準のキーワード分析は下位グ
ループへ再帰的に適用することができる。得られた下位
グループは文章間の関連性を図示するために階層表示で
利用者に表示される。文字列比較ルーチンはまた同様の
キーワードの検索のためにも記載されている。
【００１３】フジサワ（Fujisawa) らの米国特許出願第
４，９８５，８６３号では、文書保存および取り込みシ
ステムと、出力用文字の一部を保存し取り込み用画像の
形態で文書を保存している文書取り込みの方法が開示さ
れている。ある文章の取り込み要求は、その文章の適切
な数または特殊な記号を用いて行われる。文書画像はこ
のように取り込まれまた保存され、または出力用文字符
号に復号される。文書の実際の取込または転送には完全
な文字認識は必要とされないが、文字認識は取り込み前
に文書の取り込みキーを認識するように実行される必要
がある。
【００１４】カンノ（Kanno ）の米国特許第５，０１
０，５８１号では要約および原稿画像データを検索する
ためのデータ処理装置が開示されている。要約画像は原
稿画像の省略された形態である。本装置は原稿画像を入
力するための入力手段と、入力手段によって入力された
原稿画像を一時的に保存するための第１のメモリ手段
と、原稿画像の要約画像を描画するための描画手段と、
原稿および要約画像の双方に対応する検索データに基づ
いて要約画像を検索するための検索手段を含む。第２の
メモリ手段は原稿画像の第１ページとして要約画像を保
存する。
【００１５】オメイリー（O'Malley) らの米国特許第
４，９９６，７０７号では遠隔ファクシミリ装置からの
グラフィック画像を受信し保存する能力を含むコンピュ
ータシステムが開示されている。このシステムは文字部
材のグラフィック画像をＡＳＣＩＩコード化ファイルへ
変換しうるソフトウェアを含むことでキーワードまたは
変換した文章のいずれかが音声へ変換できるようになし
てあり、遠隔地の電話から到着したファクシミリ通信を
受信側利用者が参照する能力を付与している。本システ
ムは中継能力、命令によって印刷する能力、また文章フ
ァイルまたは走査した紙片の何れかからファクシミリを
発信する能力を含んでいる。
【００１６】従って、本発明の目的は電子的文書処理の
ための方法ならびにその装置の改良を提供することであ
って、文書を復号することなしに選択した文書の重要な
部分に相当する電子化文書との関連で補足的データが検
索されるようになすことである。
【００１７】本発明の別の目的は補足データの検索のた
めに光学的文字認識技術の補助的に使用しまたは使用せ
ずに、補足データの検索が基盤となす文書の形態的（構
造的）画像特性に基づいた検索操作を実行しうると記述
される形式の方法ならびにその装置を提供することであ
る。
【００１８】本発明の別の目的は盲人用読み取り装置に
おいて使用される原稿文書に関連した補足的情報を提供
するために使用し得ると記述される形式の方法ならびに
その装置を提供することである。
【００１９】本発明の別の目的は原稿文書内の選択した
単語の翻訳を提供するために使用し得ると記述される形
式の方法ならびにその装置を提供することである。
【００２０】本発明のひとつの態様では、復号されてい
ない文書画像を処理するための方法が提示される。本法
では、文書画像は文書画像を復号することなく情報内容
を有する画像単位に断片化される。文書の補完が基盤と
すべき重要な画像単位は主として選択した画像の少なく
ともひとつの形態的（構造的）画像特性のまたはこれに
付随する手書きの文書のマーク付けの評価に基づいて識
別される。しかるのち、識別した重要な画像単位に関連
する補足データは、補足データの形状にしたがって識別
した重要な画像単位の復号を行なうかまたは行なわない
かのいずれかにより、検索される。
【００２１】重要な画像単位を識別するために使用され
る形態的画像特性は、画像単位の形状寸法、字体、字
種、文書画像内の位置、画像単位の出現頻度を含む。好
適実施例のひとつにおいて、重要な画像単位は利用者に
より利用者の注目する単語単位に隣接して文書上につけ
られた手書きのマーク、たとえば円で囲む、または下線
を付けるなどにしたがって識別される。
【００２２】検索方法はたとえば選択した画像単位に対
応する外国語の翻訳データ、または印刷するため選択し
た画像単位の点字版を、検索するために使用することが
できる。補足データもまた異なる表示モードの形態、た
とえば選択した画像単位の音声合成出力などを取ること
ができる。
【００２３】本発明の別の態様において、文書を補足す
るためのデータを検索するための装置が提示される。本
装置は文書画像を走査するためのスキャナと、文書画像
を画像単位に断片化するための手段を含む。選択した画
像単位を重要な画像単位として分類するための手段が提
供され、また文書と共に使用するために重要な画像単位
に関連した補足データを検索するための手段が提供され
る。本装置は文書画像を断片化するための手段と、重要
な画像単位を分類するための手段と、補足データを検索
するための手段を提供するためのプログラムされたデジ
タル式コンピュータを含んでもよい。
【００２４】本発明にかかる上述のおよびその他の目
的、特徴、および利点は、添付の図面および請求の範囲
を参照しつつ、本発明の後述する詳細な説明を読み進む
にしたがって当業者には明白なものとなろう。
【００２５】本発明の好適実施例は添付の図面に図示さ
れている。
【００２６】図１は本発明の方法の第１の好適実施例の
流れ図である。
【００２７】図２は本発明の方法の第２の好適実施例の
流れ図である。
【００２８】図３は図１または図２いずれかの好適実施
例の方法を実現するための本発明による装置のブロック
図である。
【００２９】図４は図２の好適実施例の方法にしたがっ
て、選択した術語が識別および補足情報を付随するため
に下線を付けてある文章文書の例である。
【００３０】図５は本発明の方法にしたがって補足情報
が付加された図４の文書の例である。
【００３１】上述の従来技術とは対照的に、本発明は、
画像ファイルと文字コードファイルが画像処理で、なか
でもデータ取り込みで重大な差を呈するという認識に基
づいている。本発明は、言語的術語の存在または頻度
（例えば「重要な」、「意味のある」、「重大な」また
はその他の単語）、重要な単語を強調するために用いら
れる字体や字種の変化、様式、など、文章の作者によっ
て特定の文または文章の領域に注意を引かせるために用
いられている紙上の文書に含まれる文章の視覚的属性を
利用している。本発明の好適実施例の２つの実施例は図
１および図２の流れ図に図示してあり、双方の方法を実
行するための装置は図３に図示してある。明確にする目
的で、本発明は単一の文書の処理を参照して解説する。
しかし、本発明は複数の文書を含む文書資料全体の処理
に応用可能であることは理解されよう。
【００３２】本発明はたとえば走査した文書内のデータ
または文章を補完するためのデータを検索する方法なら
びにその装置を提供する。しかし本発明は文書走査を使
用するシステムに限定されるものではない。むしろ、ビ
ットマップ式のワークステーション（例えばビットマッ
プ式ディスプレイを装備しているワークステーション）
またはビットマップと走査の双方を使用するシステムな
ど他のシステムでも本論で詳述する方法ならびに装置の
実現のために等しく良好に動作し得るであろう。
【００３３】補足データは多数の供給源、たとえば原稿
文書の別の部分またはページから、またはオンライン・
データベースなどの外部データから、検索することがで
きる。検索したデータは多数の方法のいずれかで提示す
ることができる。たとえば、原稿文書上の傍注として、
すなわち補完すべき内容を含む文書として、これが属す
る原稿文書の部分に隣接して提示し、原稿文書の脚注と
して印刷し、別の文書上でまたは特別な様式（たとえば
点字として）印刷し、異なる形態のディスプレイ、例え
ばビデオディスプレイまたは音声合成出力などに提示
し、または何らかの適切な方法で表現することができ
る。
【００３４】更に特定すれば、本発明のひとつの態様に
おいて（図２）、原稿文書の選択した部分は原稿文書に
手書きのマークを付けることによって利用者が指示する
ことができる。本発明の各種用途においてマーク付けは
多様な形態を取ることができる。例えば、利用者は下線
を引く、または円で囲む、またはその他の方法で補完す
べき選択した単語を強調することができる。こうした選
択の実施例は図４に図示してあり、文章７において選択
した単語は下線１１によってマークが付けられている。
【００３５】一方、選択はさらに自動的な形態を取るこ
とができる（図１）。例えば原稿文書の重要な部分が目
標とされ、汎用デジタル式コンピュータまたは同様な装
置によって、所定のまたは利用者が選択したひとつまた
はそれ以上の形態的画像特性にしたがって自動的に識別
されることも有り得る。
【００３６】図３を第１に参照すると、本法は一枚また
はそれ以上のシートまたは紙片のページ１０またはその
他の物質的な形状に含まれる文書の行７、表題、図面、
図８、または類似のものを含むことができる原稿文書５
の電子的画像について実行される。処理すべき電子的文
書画像は何らかの在来の方法、例えば図示したようなス
キャナ１２および検出装置１３、文書複写装置のスキャ
ナ、点字読み取り装置のスキャナ、ビットマップ式ワー
クステーション、電子ビーム式スキャナまたは同様なも
のなどの入力手段によって、生成される。このような手
段は従来技術において周知であり、よって本論では詳細
の説明は行なわない。例えばスキャナの検出装置１３か
ら発生する出力はデジタル化されて文書の各ページにつ
いて文書画像を表現する復号されていないビットマップ
化された画像データを生成し、このデータは例えば専用
または汎用のデジタル式コンピュータ１６のメモリ１５
に保存される。コンピュータ１６からの出力は出力装置
１７、例えば、メモリまたはその他の様式の記憶装置、
または図示したような出力ディスプレイ装置１７Ａなど
へ出力され、これらの出力装置は例えばＣＲＴディスプ
レイ装置、文書複写装置または点字用または標準的様式
の印刷装置に組み込まれていることがある図示したよう
な印刷装置１７Ｂ、ファクシミリ装置、音声合成装置、
またはその他の装置となすことができる。
【００３７】選択された画像単位の画像特性が評価され
るような、本発明の方法のさらに自動的な実施例は、図
１を参照しつつ以下に詳述する。本発明の画像処理技術
の第１の様相は低レベルでの文書画像分析に関与し、こ
こで各ページについての文書画像は、従来の画像分析技
術を用いて画像単位を含む非復号情報に断片化され（段
階２０）、または、文章文書の場合には、例えばヒュッ
テンロッヒャー（Huttennlocher ）とホップクロフト
（Hopcroft）により出願されている、「文章中の単語の
境界を決定するための方法ならびにその装置（Method a
nd Apparatus forDetermining Boundaries of Words in
Text）」と題する同時出願中の米国特許出願第０７／
７９４，３９２号に開示された境界ボックス法を使用す
る。
【００３８】単語のボックスを発見するためのもうひと
つの方法は、文字間を連結するが単語間を連結しない水
平方向のＳＥで画像を近接させ、続いて接続した画像成
分（この場合には単語となす）の境界ボックスをラベル
付けする操作を行なう。この処理は画像を収縮しまた文
字間の間隔を近接させる双方の効果を有するひとつまた
はそれ以上の閾値収縮（閾値値１とする）を用いること
によって大幅に高速化し得るものである。閾値縮小は小
さい水平方向のＳＥによる近接が後続するのが常であ
る。接続された部分のラベル付け動作は縮小した寸法で
も実施され、結果は完全な寸法に拡大される。縮小した
寸法で操作する欠点は、単語の境界ボックスが近似的で
しかないことであるが、多くの用途において正確度は十
分である。上述の方法は任意の文章の字体である程度良
好に動作するが、極端な場合、例えば大きな文字間の分
離を有する巨大な固定幅字体または小さな単語間の分離
を有する可変文字幅の小さな字体などでは誤りが発生す
る場合がある。最も強靭な方法は特定の画像特性の測定
に基づいて近接させるためのＳＥを選択する。これには
次の２段階を追加する必要がある。 （１）原稿または縮小した（しかし近接させていない）
画像の画像成分を行の順番に左から右へ、また上部から
底部へ整列する。 （２）水平方向の要素間の間隔のヒストグラムを作成す
る。このヒストグラムは本質的に小さな文字間の間隔と
大きな単語間の間隔に分割することになる。次にこれら
のピークの間の谷を用いてＳＥの寸法を決定し、単語を
結合しないが画像を近接させることで文字を並べ変え
る。
【００３９】境界ボックスまたは単語ボックスを発見し
た後、あるページの画像単位の位置およびこれらの空間
的関連性が調べられる（段階２５）。例えば、英語の文
書画像は単語内の文字間の間隔と単語間の間隔の相対的
な差に基づいて単語の画像単位に断片化することができ
る。文節および文の境界も同様に確定することができ
る。さらなる領域断片化画像分析を実行して、ページの
画像を図、表、脚注、その他の補助的な文書画像に対応
するラベル付けした領域に分割するような物理的文書構
造の記述子を生成することができる。図面領域は例えば
領域内の行に配置された画像単位の相対的な欠如に基づ
いて文章領域と区別することができる。この断片化を用
いることで、どのように文書が処理されるかの知識が構
成される（すなわち、左から右へ、上部から底部へな
ど）のと、任意で他の入力情報、例えば文書の様式、単
語画像について「読み取り指定」順序なども生成するこ
とができる。であるから、術語「画像単位」は本論にお
いて数字、文字、表意文字、シンボル、単語、文または
その他の確実に抽出しうる単位を表現するために使用し
ている。便利なことに、文書の参照および評価の目的
で、文書画像はサイン、シンボル、または単語などのほ
かの要素の組に断片化され、これらが集まって理解の一
単位を形成している。これらの理解単位は単位を構成す
る素子を分割する間隔より大きな間隔によって分割され
るという画像内での特徴をしばしば有している。
【００４０】都合よく、弁別段階３０が次に実行され、
処理中の文書の主題内容の評価において有用であるため
には不十分な情報内容を有している画像単位を識別す
る。ひとつの好適な方法はブルームバーグ（Bloomberg)
らにより現在申請中の「走査した文書を文字コードに変
換しない機能語の検出（Detecting Function Words Wit
hout Converting A Scanned Document to Character Co
des ）」と題した出願中の米国特許出願第０７／７９
４，１９０号に開示された形態的機能語検出技術を使用
することである。
【００４１】次に、段階４０で、選択された画像単位、
例えば段階３０において弁別されなかった画像単位は画
像単位の所定の形態的（構造的）画像特性の評価に基づ
いて、分類中の画像単位の復号を行わずまたは復号した
画像データの参照を行なわずに評価される。評価には、
形態的画像特性の弁別（段階４１）と、他の画像単位で
求められた形態的画像特性に対してまたは所定の形態的
画像特性または利用者によって選択された形態的画像特
性に対して、 それぞれの画像単位で求められた形態的
画像特性の比較（段階４２）が必須である。
【００４２】評価すべき画像単位の形態的画像特性を定
義するための好適な方法は、ヒュッテンロッヒャーとホ
ップクロフト（Huttenlocher and Hopcroft ）が現在申
請中で「連続比較のために単語の形状を導出するための
方法（A Method for Deriving Wordshapes for Subsequ
ent Comparison）」と題する出願中の米国特許出願第０
７／７９４，３９１号に開示された単語の形状を導出す
る技術を使用することである（本発明はひとつの文書内
の単語形状の比較に関しており、単語の形状を辞書エン
トリーなどの単語形状の所定のリストと比較することで
はないことは注意すべきである）。上記出願に詳述され
ているように、単語単位の形状を特徴付ける少なくとも
ひとつの一次元信号が導出され、または単語単位を包囲
する境界を定義する画像関数が導出され、画像関数は境
界内で検出された文字列の端部を表わす端部関数がその
単語単位を構成する文字または文字列を個別に検出およ
び／または識別することなく近接した境界内の単一の独
立変数によってその全領域にわたり定義されるように増
加される。
【００４３】それぞれの選択した画像単位から求まった
形態的画像特性、例えば導出した画像単位の形状表現が
上述のように（段階４２）、選択したその他の画像単位
から求まった画像単位の形態的画像特性または導出した
画像単位の形状表現と（段階４２Ａ）、または所定の／
利用者の選択した形態的画像特性と比較されて画像単位
の特定の形式を位置付ける（段階４２Ｂ）。選択された
画像単位で求められた形態的画像特性は、画像単位の等
価なクラスを識別する目的でそれぞれの等価なクラスが
文書内の所定の画像単位の出現率の大半または全てを包
含するように、また、カス（Cass) らにより現在申請中
の「文書画像の復号による文書内の単語の出現頻度を求
めるための方法ならびにその装置（Method and Apparat
us for Determining the Frequency of Words in a Doc
ument with Document Image Decoding）」と題する現在
出願中の米国特許出願第０７／７９５，１７３号におい
て詳細に記載されているように、画像単位が文書中に出
現する相対頻度を求められるように有利に比較される。
画像単位はこの後これらの出現頻度ならびに画像単位の
その他の特性例えばその長さにしたがって重要性が分類
または識別されうる。例えば、英語で書かれた商業通信
文についての選択基準の有用な組合わせは、単語単位の
もっとも頻繁に出現する中央出現率を選択することであ
る。
【００４４】文書画像の表題、見出し、脚注、言語学的
基準またはその他の視覚的特徴を表わす重要性について
の画像特性の仕様が、所定のまた利用者により選択され
て「重要な」画像単位を定義する選択基準を決定し得る
ものであることは理解されよう。選択基準に付随する画
像特性と適合させるために文書画像の選択された画像単
位の画像特性を比較することで、重要な画像単位が何ら
文書を復号することなく容易に識別されうる。
【００４５】多数の異なる比較方法のどれでも使用する
ことができる。例えば使用可能なひとつの技術は、決定
ネットワークを使用して抽出した画像単位のラスタ画像
を相関することによるもので、こうした技術は本明細書
で参考文献に含めているケーシー（Casey)らの「パター
ン分類のための決定ネットワークの監督されない構造
（Unsupervised Construction of Decision Networks f
or Pattern Classification ）」、ＩＢＭ研究報告、１
９８４年、と題する研究報告に特徴が詳述されている。
【００４６】単語単位の等価なクラスを識別するために
使用しうる好適な技術は、それぞれヒュッテンロッヒャ
ーおよびホップクロフト（Huttenlocher and Hopcroft
）と、ヒュッテンロッヒャー、ホップクロフト、ウェ
イナー（Huttenlocher, Hopcroft, and Wayer ）により
現在申請中の、それぞれ「単語の形状の検証による光学
的単語識別（Optical Word Recognition By Examinatio
n of Word Shape ）」および「単語の形状を比較するた
めの方法（Method for Comparing Word Shapes）」と題
する出願中の米国特許出願第０７／７９６，１１９号お
よび第１７／７９５，１６９号に開示された単語形状比
較技術である。
【００４７】特定の用途および処理速度に対する正確度
により異なるが、例えば異なる精密度の評価の相対的重
要性が実行可能である。例えば、有用な評価は、画像単
位の長さ、幅、および／または何らかのその他の形状寸
法（または導出した画像単位の形状表現、例えば文書画
像で最大の図面）や、文書中の画像単位の位置または領
域（文書画像の選択された図面または文章を含む、例え
ば表題、冒頭の図面、ひとつまたはそれ以上の文章また
は図面など）、字体、字種、断面（断面はひとつの画像
単位中の同様な状態の画素の続きである）や、アセンダ
の数や、デセンダの数や、平均画素密度や、凸部および
凹部を含む上部線の輪郭の長さや、凸部および凹部を含
む基線輪郭の長さや、隣接する画像単位に対する画像単
位の位置や、縦方向の位置や、水平方向の画像単位間の
間隔や、上述の分類要素の組み合わせを基準にとること
ができる。
【００４８】図２を参照すると、重要な画像単位が文書
上に配置された利用者の手書きによるマークに基づいて
選択される本発明の方法の好適実施例では当初の文書画
像断片化の段階を必要としない。その代わり、手書きの
グラフィックマークを識別するための好適な形態的方法
として、ブルーンベルグ（Bloomberg ）により現在申請
中で「画像手書きマーク付け検出のための方法およびそ
の装置（A Method andApparatus for Image Hand Marku
p Detection）」と題する出願中の米国特許出願第０７
／７９４，２７５号に開示されている方法を使用して
（段階４０’）、利用者のマーク付けを含む文書画像の
領域を識別するのが望ましい。本法ではまた利用者のマ
ーク付けを伴う画像単位を識別することもできる。
【００４９】複数ページにわたる文書が処理される場合
について、それぞれのページが処理され、上述のように
データはメモリ１５（図３参照）に保持される。データ
の全体性はこの後で処理することができる。
【００５０】図３において図示したような部材の使用を
通じて、識別された単語単位１１が形態的に検出され
る。つまり、単語単位の画像形態内に継承された重要な
形態的（構造的）画像特性が検出される。本発明による
内容に基づかない画像認識の態様では文書の画像処理で
文書内の文章を第１に文字符号へ変換することなく文書
に関する統合情報を提供することができる。データ取り
込みは検出された単語単位に付随する補足情報へ自動的
にまた直接的にアクセスし得るように提供される。
【００５１】本発明の技術により提供される顕著な特徴
は、画像単位の内容が復号される付帯要件を伴わずに完
了しうる重要な画像単位の初期の処理および識別であ
る。より特定すれば、処理においてこの段階まで単語単
位の実際の内容は特に調べられる必要がない。つまり、
例えば複写装置または電子印刷装置などひとつの文書か
ら別の文書へとＡＳＣＩＩまたはその他の符号化／復号
化の要件を考慮することなく、直接画像を印刷または複
製しうるような用途において、画像単位が識別され、ひ
とつまたはそれ以上のその画像単位の形態的画像特性ま
たは属性を使用して処理されうる。未知の内容の画像単
位はさらに光学的にまたは電子的に処理され得るもので
ある。処理のこの段階で画像単位の内容を復号する必要
のないこのような画像単位処理を実行する能力から得ら
れる利点のひとつは、画像を取り扱い操作する全体的速
度が大幅に向上しうることである。
【００５２】本発明の双方の実施例による文書分析の第
２の様相は補足データの検索と結合して識別した重要な
画像単位をさらに処理（段階５０）することである。さ
らなる処理は多数の異なる技術を使用して遂行でき、特
定の用途によって変化する。例えば、走査文書から識別
された単語単位１１（図４）は光学的文字認識技術によ
って復号することができる（段階５２）。この技術は従
来技術において周知であり本明細書では詳細について記
述しない。復号された単語単位はこの後従来の方法で関
連する補足データと照合される。例えば、ひとつの好適
実施例において、補足データは特定の復号された単語単
位に属する特定のデータを含み得るようなデータベース
１８（図３参照）に含まれている。データベース１８は
例えば復号された単語の定義を含む辞書、外国語の単語
の訳語、または関連する文書の索引でありうる。これ以
外にも、補足データは特定のデータ例えば合成音声のデ
ータ、メモリの位置、その他を指すベクトルまたは鍵で
あり得るものである。
【００５３】補足データはここで取り込まれまた適切な
出力装置へ出力される（段階６０）。図４および図５に
例示した好適実施例においては、例えば、補足データは
利用者によって下線を引かれた単語に対応する翻訳され
た単語４５である。この例では、翻訳された単語は文書
画像が印刷または表示される際に、図５に示すごとく、
利用者が下線を引いた単語を含む行に隣接する欄外に出
現するように従来の方法で文書画像にこれらを付加する
ことにより、出力される。
【００５４】よって、本発明の方法ならびに装置を使用
することで、例えば外国語で書かれた文書を利用者が理
解するのを補佐するための「翻訳複写」装置を製作する
ことができる。利用者がどの程度外国語に慣れているか
によって変わるが、利用者は印刷された文書のコピー内
のまたはその一部の難解なまたは未知の単語のいずれか
を翻訳補足のためにマーク付けするか、または適切なユ
ーザーインタフェースを経由して文書または文書の一部
の重要な全ての単語を、所定のまたは利用者が選択した
重要性の選択基準にしたがって自動的に選択するように
命令を入力することができる。翻訳複写装置はマークの
付けられた文書のコピーを走査して上述の図２の実施例
の方法にしたがってマークの付けられた単語単位を識別
するか、または利用者の要求にしたがって走査した文書
画像内の選択された単語単位の画像特性を評価し、上述
した図１の好適実施例にしたがって重要な単語単位を識
別することになる。複写装置は次に適切な翻訳補足デー
タを上述のように検索し、さらに図５に示したように下
線を引いた単語に対向する欄外に下線を引いた単語の翻
訳を付けて文書または文書の部分の新しいコピーを印刷
する。
【００５５】本発明の文書補足技術の別の用途は盲人用
読み上げ装置におけるものである。ひとつの実施例は例
えば利用者によるキーワード一覧上のキーワードの指示
を支持して文書内の興味がありそうな点を指示する。利
用者が指定したキーワードを使用し、単語の出現頻度が
ＯＣＲ技術または同様な技術によって注目している文書
内に発見され、キーワードの前後の文章領域が読み込ま
れまた上述の技術を用いて処理される。または、重要な
キーワードを上述の形態的認識技術を使用して自動的に
決定することができる。単語は重要な単語として識別さ
れ、または単語単位が例えば光学的文字認識技術を用い
て、例えば補足データの検索用に復号され、これによっ
て例えば読み上げ装置に付随するプラスチック製のイン
クを使用する印刷装置を使用して重要な単語の点字版を
印刷することができる。
【００５６】文書が一旦補足されてしまえば、利用者は
原稿文書に戻って文章内容全体を印刷または聴取するこ
とを希望することがありうる。これは多数の方法で実現
し得るものである。ひとつの方法は付随する音声合成装
置または点字印刷装置によって原稿の情報、たとえば
「２ページの上部は記事でその表題は．．．」などを提
供することである。利用者はしかるのち注目する点に戻
ることになる。
【００５７】補足文書が通信されている間に利用者との
対話の可能性を提供することで装置の２つのクラスはこ
の能力を拡大する。ひとつの形式の装置は単純なインデ
ックスマーク付け装置である。これは、たとえば、利用
者は興味ある表題を聴取した場合いつでも押せるような
ボタンのついた手持装置のことがあり、またはたとえ
ば、命令のもっと大きな変化を登録するためのマウス１
９（図３）内のＮ方向動作検出装置となすことができ
る。読み取り装置はこうした注目のマークを記録し、補
足データが通信された後原稿文書に復帰する。
【００５８】別の形式の装置は接触検出型画面の技術を
使用する。こうした装置は利用者に水平のディスプレイ
装置上の点字要約シート(Braille summarization shee
t) ４１を敷くように要求することで動作する。利用者
は完全な印刷出力または合成読み上げのいずれかを起動
する目的で画面４２上の注目する領域に触れる。利用者
は新しいページをいつ処理すべきかモニターに指示す
る。
【００５９】本発明の方法は、評価のために利用者に提
示される部材の量を減少し、またこれによって盲人用の
現行の読み上げ技術の使用において継承されている多く
の問題およびその他の、たとえば合成音声を使用する文
書資料の効果的な閲覧に付随する問題や点字用紙の翻訳
を生成する量と費用によってもたらされる問題、および
こうしたコピーを読むために利用者が必要な時間と努力
を回避する能力を有することが理解されよう。
【００６０】従来の文字認識技術、例えばＯＣＲを使用
して、形態的認識技術との関連で文書検索を実行するた
めの本発明の方法を上述した。しかし単語単位の画像特
性認識技術のみを使用した直接的検索が、補足すべき原
稿文書の画像データと互換性を有するビットマップ式画
像データとして同様に保存されている補足データの場合
にも実行しうることは理解されよう。
【００６１】本発明はある程度の精密さで詳述し図示し
ているが、本開示が例として提示されるに過ぎないこと
と、部材の組み合わせおよび構成における多数の変化が
本発明の後述の請求の範囲を逸脱することなく当業者に
よってもたらされうることは理解されよう。
【図面の簡単な説明】
【図１】 本発明の方法の第１の好適実施例の流れ図で
ある。
【図２】 本発明の方法の第２の好適実施例の流れ図で
ある。
【図３】 図１または図２いずれかの好適実施例の方法
を実現するための本発明による装置のブロック図であ
る。
【図４】 図２の好適実施例の方法にしたがって、選択
した術語が識別および補足情報を付随するために下線を
付けてある文章文書の例である。
【図５】 本発明の方法にしたがって補足情報が付加さ
れた図４の文書の例である。
【符号の説明】
５ 原稿文書、７ 行、８ 表題，図面，図、１０ ペ
ージ、１２ スキャナ、１３ 検出装置、１５ メモ
リ、１６ コンピュータ、１７ 出力装置、１７Ａ出力
ディスプレイ装置、１７Ｂ 印刷装置、１８ データベ
ース、１９ マウス、４１ 点字要約シート、４２ 画
面
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウイリアム・ニューマン グレート・ブリテン及び北部アイルランド 連合王国イングランド ケンブリッジ メ イズコーズウェイ ４ (72)発明者 スティーブン・シー・バグレイ アメリカ合衆国 カリフォルニア州 94301 パロアルト フルトンストリート 1212 (72)発明者 ダニエル・ピー・ヒュッテンロッヒャー アメリカ合衆国 ニューヨーク州 14850 イサカ コムストックロード 314 (72)発明者 ロナルド・エム・カプラン アメリカ合衆国 カリフォルニア州 94306 サンタクララ オームストリート 4015 (72)発明者 トッド・エイ・カス アメリカ合衆国 マサチューセッツ州 02138ケンブリッジ ハモンドストリート 107 (72)発明者 パー−クリスチャン・ハルボルセン アメリカ合衆国 カリフォルニア州 94022 ロスアルトス キャリッジコート 11 (72)発明者 ジョン・シーリー・ブラウン アメリカ合衆国 カリフォルニア州 94115 サンフランシスコ サクラメント ストリート 2606 (72)発明者 マーティン・ケイ アメリカ合衆国 カリフォルニア州 94025 メンロパーク ペニンシュラウエ イ 935

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 電子化文書画像を電子的に処理するため
    の方法であって、 上記文書画像を復号することなく上記文書画像を画像単
    位に断片化することと、 選択した形態的画像特性にしたがって上記画像単位の重
    要なものを識別することと、 上記識別された重要な画像単位に関連した補助データを
    取り込むことを含む方法。
  2. 【請求項２】 上記重要な画像単位を識別する段階は出
    現頻度にしたがって上記画像単位を分類することを含む
    請求項１に記載の方法。
  3. 【請求項３】 上記重要な画像単位を識別する段階は上
    記文書画像内の位置にしたがって上記画像単位を分類す
    ることを含む請求項１に記載の方法。
  4. 【請求項４】 上記選択した形態的画像特性は所定の言
    語的選択基準を有する画像単位を定義する画像特性を含
    む請求項１に記載の方法。
  5. 【請求項５】 上記選択した形態的画像特性は上記画像
    単位の画像単位形状の少なくともひとつの寸法、字体、
    字種、アセンダ要素の数、デセンダ要素の数、画素密
    度、画素断面特性、隣接する画像単位に対する画像単位
    の位置、縦方向の位置、水平方向の画像単位間の間隔、
    および輪郭特性を含む請求項１に記載の方法。
  6. 【請求項６】 上記重要な画像単位を識別する段階は利
    用者により生成された関連する手書きのマーク付けを有
    する画像単位を識別することを含む請求項１に記載の方
    法。
JP30272792A 1991-11-19 1992-11-12 電子的文書処理のための装置および方法 Expired - Lifetime JP3289968B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US79541991A 1991-11-19 1991-11-19
US795419 1991-11-19

Publications (2)

Publication Number Publication Date
JPH05250408A true JPH05250408A (ja) 1993-09-28
JP3289968B2 JP3289968B2 (ja) 2002-06-10

Family

ID=25165475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30272792A Expired - Lifetime JP3289968B2 (ja) 1991-11-19 1992-11-12 電子的文書処理のための装置および方法

Country Status (5)

Country Link
US (1) US5748805A (ja)
EP (1) EP0544434B1 (ja)
JP (1) JP3289968B2 (ja)
CA (1) CA2078423C (ja)
DE (1) DE69226611T2 (ja)

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
JP3039204B2 (ja) * 1993-06-02 2000-05-08 キヤノン株式会社 文書処理方法及び装置
US5857038A (en) * 1993-06-29 1999-01-05 Canon Kabushiki Kaisha Image processing apparatus and method for synthesizing first and second image data
US5867597A (en) * 1995-09-05 1999-02-02 Ricoh Corporation High-speed retrieval by example
US6104833A (en) * 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
JPH11110480A (ja) * 1997-07-25 1999-04-23 Kuraritec Corp テキストの表示方法およびその装置
US6910184B1 (en) * 1997-07-25 2005-06-21 Ricoh Company, Ltd. Document information management system
US6356922B1 (en) * 1997-09-15 2002-03-12 Fuji Xerox Co., Ltd. Method and system for suggesting related documents
US6658623B1 (en) * 1997-09-15 2003-12-02 Fuji Xerox Co., Ltd. Displaying in a first document a selectable link to a second document based on a passive query
US7596755B2 (en) * 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
US7954056B2 (en) 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
JP4183311B2 (ja) 1997-12-22 2008-11-19 株式会社リコー 文書の注釈方法、注釈装置および記録媒体
US7263659B2 (en) 1998-09-09 2007-08-28 Ricoh Company, Ltd. Paper-based interface for multimedia information
US7257589B1 (en) * 1997-12-22 2007-08-14 Ricoh Company, Ltd. Techniques for targeting information to users
US7124093B1 (en) 1997-12-22 2006-10-17 Ricoh Company, Ltd. Method, system and computer code for content based web advertising
US20080028292A1 (en) * 1997-12-22 2008-01-31 Ricoh Company, Ltd. Techniques to facilitate reading of a document
GB9727322D0 (en) * 1997-12-29 1998-02-25 Xerox Corp Multilingual information retrieval
US6064767A (en) * 1998-01-16 2000-05-16 Regents Of The University Of California Automatic language identification by stroke geometry analysis
GB9806085D0 (en) 1998-03-23 1998-05-20 Xerox Corp Text summarisation using light syntactic parsing
FR2778476B1 (fr) * 1998-05-07 2000-06-16 France Telecom Procede de segmentation et de reconnaissance d'un document, notamment d'un plan technique
JP4286345B2 (ja) 1998-05-08 2009-06-24 株式会社リコー 検索支援システム及びコンピュータ読み取り可能な記録媒体
US6369811B1 (en) 1998-09-09 2002-04-09 Ricoh Company Limited Automatic adaptive document help for paper documents
US7266782B2 (en) * 1998-09-09 2007-09-04 Ricoh Company, Ltd. Techniques for generating a coversheet for a paper-based interface for multimedia information
US6582475B2 (en) 1998-09-09 2003-06-24 Ricoh Company Limited Automatic adaptive document printing help system
US7215436B2 (en) * 1998-09-09 2007-05-08 Ricoh Company, Ltd. Device for generating a multimedia paper document
US7263671B2 (en) * 1998-09-09 2007-08-28 Ricoh Company, Ltd. Techniques for annotating multimedia information
JP2000101853A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 画像暗号化方法、画像暗号化装置、画像暗号化の手順を記録した記録媒体及び画像暗号化の画像ファイルを記録する記録媒体
US6269189B1 (en) 1998-12-29 2001-07-31 Xerox Corporation Finding selected character strings in text and providing information relating to the selected character strings
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6565611B1 (en) * 1999-02-26 2003-05-20 Xerox Corporation Automatic index creation for handwritten digital ink notes
US6282540B1 (en) * 1999-02-26 2001-08-28 Vicinity Corporation Method and apparatus for efficient proximity searching
US6310633B1 (en) * 1999-03-23 2001-10-30 Ricoh Company Limited Method and system for organizing document information
US6473730B1 (en) * 1999-04-12 2002-10-29 The Trustees Of Columbia University In The City Of New York Method and system for topical segmentation, segment significance and segment function
US6647534B1 (en) 1999-06-30 2003-11-11 Ricoh Company Limited Method and system for organizing document information in a non-directed arrangement of documents
US7228492B1 (en) * 1999-07-06 2007-06-05 Ricoh Company, Ltd. 2D graph displaying document locations of user-specified concept of interest
DE19941123A1 (de) * 1999-08-25 2001-03-08 Only Solutions Ges Fuer Softwa Digitales Bildverarbeitungssystem
AU2001233308A1 (en) * 2000-02-03 2001-08-14 Xmpie Inc. A system and method for efficient production of dynamic documents
WO2001057689A1 (en) * 2000-02-03 2001-08-09 Xmpie Inc. A system and method for creating customized documents for cross media publishing
US6513010B1 (en) * 2000-05-30 2003-01-28 Voxi Ab Method and apparatus for separating processing for language-understanding from an application and its functionality
US20010053252A1 (en) * 2000-06-13 2001-12-20 Stuart Creque Method of knowledge management and information retrieval utilizing natural characteristics of published documents as an index method to a digital content store
US10114821B2 (en) * 2000-12-27 2018-10-30 Tractmanager, Inc. Method and system to access to electronic business documents
US6957384B2 (en) 2000-12-27 2005-10-18 Tractmanager, Llc Document management system
US20070283288A1 (en) * 2000-12-27 2007-12-06 Tractmanager, Inc. Document management system having bookmarking functionality
US20020124025A1 (en) * 2001-03-01 2002-09-05 International Business Machines Corporataion Scanning and outputting textual information in web page images
US20020126918A1 (en) * 2001-03-08 2002-09-12 Ernesto Solis Apparatus and method for interacting with printed materials
US7062572B1 (en) 2001-03-19 2006-06-13 Microsoft Corporation Method and system to determine the geographic location of a network user
US6760139B2 (en) * 2001-04-25 2004-07-06 Hewlett-Packard Development Company, L.P. Optical image scanner with lens arrays that are non-perpendicular to the image being scanned
US7127671B1 (en) * 2001-09-14 2006-10-24 Mcdonald David C Publishing a customized publication by defining multiple sources and time periods for obtaining article quotable information
US20040034832A1 (en) * 2001-10-19 2004-02-19 Xerox Corporation Method and apparatus for foward annotating documents
US7712028B2 (en) * 2001-10-19 2010-05-04 Xerox Corporation Using annotations for summarizing a document image and itemizing the summary based on similar annotations
US7703044B2 (en) * 2001-11-19 2010-04-20 Ricoh Company, Ltd. Techniques for generating a static representation for time-based media information
US8635531B2 (en) * 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
US7861169B2 (en) 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7788080B2 (en) * 2001-11-19 2010-08-31 Ricoh Company, Ltd. Paper interface for simulation environments
US7149957B2 (en) 2001-11-19 2006-12-12 Ricoh Company, Ltd. Techniques for retrieving multimedia information using a paper-based interface
US7495795B2 (en) * 2002-02-21 2009-02-24 Ricoh Company, Ltd. Interface for printing multimedia information
US8539344B2 (en) 2001-11-19 2013-09-17 Ricoh Company, Ltd. Paper-based interface for multimedia information stored by multiple multimedia documents
US7747655B2 (en) 2001-11-19 2010-06-29 Ricoh Co. Ltd. Printable representations for time-based media
US7743347B2 (en) * 2001-11-19 2010-06-22 Ricoh Company, Ltd. Paper-based interface for specifying ranges
US7151864B2 (en) * 2002-09-18 2006-12-19 Hewlett-Packard Development Company, L.P. Information research initiated from a scanned image media
AU2002952106A0 (en) * 2002-10-15 2002-10-31 Silverbrook Research Pty Ltd Methods and systems (npw008)
AU2003901428A0 (en) * 2003-03-24 2003-04-10 Objective Systems Pty Ltd A system and method for formatting and distributing reading material
US7536638B2 (en) * 2003-03-31 2009-05-19 Ricoh Co., Ltd. Action stickers for identifying and processing stored documents
US7552381B2 (en) * 2003-03-31 2009-06-23 Ricoh Co., Ltd. Check boxes for identifying and processing stored documents
US7739583B2 (en) * 2003-03-31 2010-06-15 Ricoh Company, Ltd. Multimedia document sharing method and apparatus
US7757162B2 (en) * 2003-03-31 2010-07-13 Ricoh Co. Ltd. Document collection manipulation
US7509569B2 (en) 2003-03-31 2009-03-24 Ricoh Co., Ltd. Action stickers for nested collections
US20070050696A1 (en) * 2003-03-31 2007-03-01 Piersol Kurt W Physical key for accessing a securely stored digital document
US7703002B2 (en) 2003-03-31 2010-04-20 Ricoh Company, Ltd. Method and apparatus for composing multimedia documents
US7275159B2 (en) 2003-08-11 2007-09-25 Ricoh Company, Ltd. Multimedia output device having embedded encryption functionality
US7493322B2 (en) 2003-10-15 2009-02-17 Xerox Corporation System and method for computing a measure of similarity between documents
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US8521772B2 (en) * 2004-02-15 2013-08-27 Google Inc. Document enhancement system and method
US20060041484A1 (en) 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US8799303B2 (en) * 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US7779355B1 (en) 2004-03-30 2010-08-17 Ricoh Company, Ltd. Techniques for using paper documents as media templates
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US20100185538A1 (en) * 2004-04-01 2010-07-22 Exbiblio B.V. Content access with handheld document data capture devices
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9405740B2 (en) 2004-04-01 2016-08-02 Google Inc. Document enhancement system and method
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US9460346B2 (en) 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
WO2005124579A1 (en) * 2004-06-17 2005-12-29 Objective Systems Pty Limited Reproduction of documents into requested forms
US8799401B1 (en) * 2004-07-08 2014-08-05 Amazon Technologies, Inc. System and method for providing supplemental information relevant to selected content in media
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US20100092095A1 (en) * 2008-10-14 2010-04-15 Exbiblio B.V. Data gathering in digital and rendered document environments
US20110075228A1 (en) * 2004-12-03 2011-03-31 King Martin T Scanner having connected and unconnected operational behaviors
US7698637B2 (en) * 2005-01-10 2010-04-13 Microsoft Corporation Method and computer readable medium for laying out footnotes
JP4428266B2 (ja) * 2005-03-22 2010-03-10 富士ゼロックス株式会社 翻訳装置およびプログラム
JP4626356B2 (ja) * 2005-03-25 2011-02-09 富士ゼロックス株式会社 付加情報を含む電子文書を編集する方法、装置およびプログラム
JP2006277103A (ja) * 2005-03-28 2006-10-12 Fuji Xerox Co Ltd 文書翻訳方法および文書翻訳装置
US7689620B2 (en) * 2006-05-24 2010-03-30 Sizhe Tan Efficiently and systematically searching stock, image, and other non-word-based documents
JP4539756B2 (ja) * 2008-04-14 2010-09-08 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9569231B2 (en) * 2009-02-09 2017-02-14 Kryon Systems Ltd. Device, system, and method for providing interactive guidance with execution of operations
US20100205529A1 (en) * 2009-02-09 2010-08-12 Emma Noya Butin Device, system, and method for creating interactive guidance with execution of operations
CN102369724B (zh) 2009-02-18 2016-05-04 谷歌公司 自动捕获信息，例如使用文档感知设备捕获信息
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105245A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
JP5412916B2 (ja) * 2009-03-27 2014-02-12 コニカミノルタ株式会社 文書画像処理装置、文書画像処理方法および文書画像処理プログラム
US20100299134A1 (en) * 2009-05-22 2010-11-25 Microsoft Corporation Contextual commentary of textual images
US8918739B2 (en) * 2009-08-24 2014-12-23 Kryon Systems Ltd. Display-independent recognition of graphical user interface control
US9405558B2 (en) * 2009-08-24 2016-08-02 Kryon Systems Ltd. Display-independent computerized guidance
US9098313B2 (en) * 2009-08-24 2015-08-04 Kryon Systems Ltd. Recording display-independent computerized guidance
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US8484218B2 (en) * 2011-04-21 2013-07-09 Google Inc. Translating keywords from a source language to a target language
US9349202B1 (en) * 2012-10-01 2016-05-24 Amazon Technologies, Inc. Digital conversion of imaged content
JP2015069365A (ja) * 2013-09-27 2015-04-13 シャープ株式会社 情報処理装置、および制御プログラム
EP3324305A4 (en) * 2015-07-13 2018-12-05 Teijin Limited Information processing apparatus, information processing method, and computer program
CN117099107A (zh) * 2021-02-12 2023-11-21 艾可品牌公司 便于从纸和其它实体书写表面提取和组织信息的系统和方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3126886A1 (de) * 1981-07-08 1983-01-27 Olympia Werke Ag Einrichtung zur textbe- und textverarbeitung
JPS58103266A (ja) * 1981-12-15 1983-06-20 Toshiba Corp 文字画像処理装置
EP0120334B1 (en) * 1983-03-01 1989-12-06 Nec Corporation Letter pitch detection system
JPH0750483B2 (ja) * 1985-05-22 1995-05-31 株式会社日立製作所 文書画像追加情報の蓄積方法
JPH0797373B2 (ja) * 1985-08-23 1995-10-18 株式会社日立製作所 文書フアイリングシステム
JPH0797798B2 (ja) * 1985-12-26 1995-10-18 株式会社リコー 翻訳機能を設けた多数色画像形成装置
US5050218A (en) * 1986-08-26 1991-09-17 Nec Corporation Apparatus for recognizing address appearing on mail article
US4972349A (en) * 1986-12-04 1990-11-20 Kleinberger Paul J Information retrieval system and method
JPS63158678A (ja) * 1986-12-23 1988-07-01 Sharp Corp 単語間スペ−ス検出方法
US4965763A (en) * 1987-03-03 1990-10-23 International Business Machines Corporation Computer method for automatic extraction of commonly specified information from business correspondence
US4985930A (en) * 1987-09-24 1991-01-15 Hitachi, Ltd. Image data filing system and image data correcting method
US4994987A (en) * 1987-11-20 1991-02-19 Minnesota Mining And Manufacturing Company Image access system providing easier access to images
JPH01144171A (ja) * 1987-11-30 1989-06-06 Toshiba Corp 電子ファイリング装置
US5195032A (en) * 1987-12-24 1993-03-16 Sharp Kabushiki Kaisha Device for designating a processing area for use in a translation machine
JP2683008B2 (ja) * 1988-02-16 1997-11-26 株式会社リコー 矩形図形内部塗りつぶし方法
JP2783558B2 (ja) * 1988-09-30 1998-08-06 株式会社東芝 要約生成方法および要約生成装置
CA1318403C (en) * 1988-10-11 1993-05-25 Michael J. Hawley Method and apparatus for extracting keywords from text
CA1318404C (en) * 1988-10-11 1993-05-25 Michael J. Hawley Method and apparatus for indexing files in a computer system
US4996707A (en) * 1989-02-09 1991-02-26 Berkeley Speech Technologies, Inc. Text-to-speech converter of a facsimile graphic image
US5291592A (en) * 1989-05-15 1994-03-01 Sharp Kabushiki Kaisha System having document scanner for optically scanning information whereby a first information contains control information indicating a number of sheets to be scanned
US5048109A (en) * 1989-12-08 1991-09-10 Xerox Corporation Detection of highlighted regions
JP2758952B2 (ja) * 1989-12-28 1998-05-28 富士通株式会社 日本語文書読取翻訳システムの修正時における表示方式
US5048099A (en) * 1990-05-21 1991-09-10 Eastman Kodak Company Polygon-based method for automatic extraction of selected text in a digitized document
JPH0477965A (ja) * 1990-07-20 1992-03-12 Ricoh Co Ltd デジタル複写装置
US5175684A (en) * 1990-12-31 1992-12-29 Trans-Link International Corp. Automatic text translation and routing system
US5495581A (en) * 1992-02-25 1996-02-27 Tsai; Irving Method and apparatus for linking a document with associated reference information using pattern matching

Also Published As

Publication number Publication date
EP0544434A3 (en) 1993-12-22
DE69226611D1 (de) 1998-09-17
EP0544434A2 (en) 1993-06-02
CA2078423A1 (en) 1993-05-20
EP0544434B1 (en) 1998-08-12
CA2078423C (en) 1997-01-14
US5748805A (en) 1998-05-05
DE69226611T2 (de) 1999-01-28
JP3289968B2 (ja) 2002-06-10

Similar Documents

Publication Publication Date Title
JP3289968B2 (ja) 電子的文書処理のための装置および方法
JP3292388B2 (ja) 文書画像の復号なしに文書を要約するための方法と装置
JP3282860B2 (ja) 文書上のテキストのデジタル画像を処理する装置
CA2077313C (en) Methods and apparatus for selecting semantically significant images in a document image without decoding image content
JP3232144B2 (ja) 文章中の単語文節の出現頻度を求めるための装置
JP3232143B2 (ja) 復号していない文書画像の修正版を自動的に作成するための装置
US6353840B2 (en) User-defined search template for extracting information from documents
US7712028B2 (en) Using annotations for summarizing a document image and itemizing the summary based on similar annotations
Lu et al. Information retrieval in document image databases
JP2007122403A (ja) 文書タイトルおよび関連情報の自動抽出装置、抽出方法および抽出プログラム
EP1304625B1 (en) Method and apparatus for forward annotating documents and for generating a summary from a document image
CN100444194C (zh) 文章标题及关联信息的自动抽取装置和抽取方法
JPH08180068A (ja) 電子ファイリング装置
JP3841318B2 (ja) アイコン生成方法、ドキュメント検索方法及びドキュメント・サーバー
JP4480109B2 (ja) 画像管理装置および画像管理方法
JPH06274551A (ja) 画像ファイリング装置
LAWRENCE SPITZ SPAM: A scientific paper access method
JPH10198705A (ja) 文書画像処理装置および文書画像処理方法および情報記録媒体
Setlur et al. Creation of Multi-Lingual data resources and evaluation tool for
JPH0589279A (ja) 文字認識装置
SPITZ Daimler Benz Research and Technology Center 1501 Page Mill Road, Palo Alto, CA 94.304 USA spitzGertna. daimlerbenz. com
JPH11120201A (ja) 検索可能な画像データの作成方法及び装置、画像データの検索方法及び装置、検索可能な画像データの作成プログラム及び画像データの検索プログラムを記録した記憶媒体、及び検索可能な画像データを記録した記憶媒体

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020208

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080322

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090322

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100322

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110322

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110322

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120322

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130322

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130322

Year of fee payment: 11