JP4738943B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は画像処理装置およびその方法に関し、例えば、文書画像の利用、加工、表示、移動、共有など行う画像処理に関する。

複写機の高機能化は目覚しく、コピーおよびプリント機能に加えてスキャナおよびファックス機能をもつ複合機が市場の主流になった。オフィスにおける複合機は、紙に印刷した情報と電子データの間の入出力窓口として大きな役割を担っている。

とくに、複合機のスキャナ機能は、大量の文書を効率よく電子データ化することができる。このため、手軽に、文書をスキャンしてネットワーク上または複合機自身がもつデータベース(DB)に保存し、ドキュメント管理を行うケースが増えた。以下では、文書をスキャンして電子化したデータを「文書画像」と呼ぶ。

また、パーソナルコンピュータ(PC)の普及により、PC上のアプリケーションソフトウェアを用いた文書の作成が一般化した。以下では、アプリケーションソフトウェアで作成した電子データ状態の文書を「電子文書」と呼ぶ。

文書画像や電子文書は、紙に印刷した文書と比較すると、データの再編集・再利用が可能なこと、多人数のデータ共有が容易なこと、時間経過による劣化がないなどの利点がある。一方、紙に印刷した文書にも、文書画像や電子文書と比べて読み易い、扱い易い、持ち運びに便利、直感的にわかり易いなどの利点がある。そのため、電子文書や文書画像を紙に印刷した方が効率的という例は数多く見受けられる。

逆に、紙に印刷した文書と同一または類似する文書画像や電子文書が必要になることも多い。例えば、紙に印刷した文書の一部を破損してしまい、再度、初期状態の文書を得るために印刷したい場合や、元々はカラーの電子文書をモノクロ印刷した文書を、カラーで再印刷したい場合などである。

文書画像に混在する写真、文字、表、ラインアートをそれぞれ解析し、その結果を再利用したい場面も数多く考えられる。例えば、文書画像をテキストデータとして利用したい場合の文字認識による変換、特定の領域を拡大して見易くするに、拡大しても画質が劣化しないベクタ画像への変換などである。

このように、紙に印刷した文書を出発点として、データの利用、加工、表示、移動、共有などが簡単にできるドキュメント管理システムが求められている。

写真や文字が混在する文書をスキャンして生成した電子画像を再度印刷する場合、例えばA4サイズで300dpiのJPEG圧縮したカラースキャン画像は3.5MB近いデータサイズになり、多数の電子画像がネットワーク上を流れれば、ネットワークへの負荷が大きい。しかし、解像度を下げれば文字領域の画質が劣化するなど、電子画像の一頁に均一な画像処理を施すには限界があり、以下のような先行技術が提案されている。

特開平8-204950号公報は、入力画像を写真領域と文字領域に分け、写真領域と文字領域それぞれの解像度を可変にした画像管理を開示する。しかし、解像度が可変になるのはラスタ画像のみで、ベクタ画像や文字領域の文字認識結果などの管理は行わない。

特開2003-348326公報は、スキャン画像を携帯端末(PDA)で表示するために、文字画像を行単位で分割し再統合する技術を開示する。しかし、出力先は携帯端末に限定され、また、加工対象はラスタ画像のみで、ベクタ画像や文字認識結果には対応しない。

特開2000-306103公報は、文書画像を文字、イメージおよび背景に分離し、予め用意した階層に領域を振り分けて文書画像のデータ容量を大幅に削減し、データの再利用が容易な形態で文書データを保持する技術を開示する。再利用が容易な形態の文書データといっても、各領域がもつ伝達情報は一種類のみである。

これら先行技術に共通するのは、領域の属性ごとに画像を管理することである。しかし、属性が同じ領域でも、その性質は様々である。例えば、同じ文書画像中の異なる二つの文字領域を考えた場合、その片方は文字認識率が高く、他方は認識率があまり高くない例がある。このような場合、同じ属性ということで同一種類の伝達情報を提供しても、良好な情報提供ができるとは言いがたい。

また、先行技術はともに、解像度変換などの処理をデータ登録時に限定的に行い、出力時にユーザが所望する解像度に変換する処理には対応しない。

また、現状は、元々カラーの電子文書をモノクロで印刷した文書を、カラーで再印刷したい場合や、紙に印刷された文書から原本の電子文書を入手したい場合は、元々の電子文書を作成した本人に問い合わせ、必要とする電子文書を入手する場合が大半である。

特開平8-204950号公報 特開2003-348326公報 特開2000-306103公報

本発明は、文書画像の各領域の情報を出力する際に、その出力先の装置に応じた種類の情報を出力することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、メモリに格納された文書画像の情報を処理する際に、文書画像の情報の出力先となる出力先装置の情報を取得し、前記出力先装置の情報と前記文書画像の各領域の属性に基づき、前記領域ごとに出力すべき前記文書画像の情報の種類を判断し、前記領域ごとに、前記判断した種類に対応する情報を前記メモリから取得し、前記領域ごとに、前記メモリから取得した情報を統合し、前記統合した情報を前記出力先装置に出力し、前記判断した種類の情報が存在しない注目領域について、前記注目領域の画像に類似する画像を有し、かつ、前記判断した種類に対応する情報を有する前記文書画像の他の領域を検索し、当該検索でヒットした前記他の領域の前記判断した種類の情報を、前記注目領域の情報として取得することを特徴とする。

本発明によれば、文書画像の各領域の情報を出力する際に、その出力先の装置に応じた種類の情報を出力することができる。

以下、本発明にかかる実施例を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例の伝達情報出力装置の構成例を示すブロック図である。

CPU101は、ROM102に格納された制御プログラムに従い、RAM103をワークメモリとして装置全体を制御する。ROM102は、CPU101が実行する後述する制御プログラムなどを格納する。RAM103および磁気ディスクなどのHD104は、後述する処理プログラムや文書画像などを記憶する。

スキャナ108は、図示しない汎用インタフェイス（例えばUSBやIEEE1394）によって伝達情報出力装置に接続され、CPU 101の制御により、紙に印刷された文書（原稿）の画像を読み取り、文書画像を出力する。また、CPU 101は、ディスプレイ105にユーザインタフェイスを表示し、例えばUSBなどのインタフェイスを介して接続されるキーボード106やマウスなどのポインティングデバイス107からユーザの指示を入力する。

また、伝達情報出力装置は、ネットワークインタフェイス(I/F)109を介して、ローカルエリアネットワーク(LAN)110などに接続し、ネットワーク上の他の機器（サーバ、コンピュータ、プリンタ、スキャナ、複合機など）と通信し、データやプログラムをやり取りする。

なお、伝達情報出力装置は、汎用的なコンピュータでも実現可能で、その場合、ネットワーク110や記録媒体を介して提供される制御プログラムや処理プログラムをHD 104に記憶し、それらプログムをユーザなどの指示に従いCPU 101で実行すればよい。

［登録処理］
図2は伝達情報出力装置にデータを登録する処理の一例を示すフローチャートで、ユーザなどの指示に基づきCPU 101が実行する処理である。

まず、スキャナ108またはネットワーク110から文書画像を入力し(S201)、文書画像を、文字、写真、表、線画などの属性を持つ領域に分割し(S202)、分割領域ごとに文書情報を生成する(S203)。文書情報には、領域の属性情報、頁上の位置座標などを示すレイアウト情報、領域情報などが含まれる。なお、領域情報は、文字属性の分割領域であれば文字コード列、段落、表題などの文書論理構造などである。

次に、分割領域ごとに伝達情報に変換する(S204)。伝達情報はレンダリングに必要な情報であり、例えば、解像度可変のラスタ画像、ベクタ画像、モノクロ画像、カラー画像、各伝達情報のデータサイズ、文字属性の分割領域であれば文字認識結果のテキスト、個々の文字の位置、フォント名または種、文字認識の信頼度などが含まれる。

伝達情報の出力には、領域の属性の特徴とユーザの使用条件を考慮して、カラー印刷、カラー印刷（高画質）、モノクロ印刷、モノクロ印刷（高画質）、モニタ表示、PDA表示、拡大表示、超拡大表示および加工の9パターンの出力モード、並びに、ユーザが設定するマニュアル出力モードを用意する。

図3は上記の10パターンの出力モードと、領域属性によって選択される伝達情報の関係例を示す図で、例えば、HD 104などにテーブルとして格納されている。

各領域の伝達情報は、すべて用意する必要はなく、よく使うと予想されるものを用意すればよく、伝達情報を格納するメモリもセーブすることができる。例えば、図3においては、極めて使用頻度が低いと考えられる「PDA表示-背景」の組み合わせや、「超拡大表示-文字（認識信頼度高低とも）、線画（ラインアート）および表」の組み合わせも、デフォルトで伝達情報を用意しない。さらに、マニュアル出力モードにおける、領域属性と伝達情報の関係は、ユーザインタフェイス、キーボード106やポインティングデバイス107を使用してユーザが設定する。

なお、以下の説明では、モノクロ印刷とモニタ表示を基本的な出力モード（基本パターンと呼ぶ）として、他の出力モード（応用パターンと呼ぶ）は、基本パターンに比べて利用頻度が低いとする。従って、基本パターンにおける伝達情報だけを、例えば、次のように用意する、として説明する。
────┬────────┬─────────
│ モノクロ印刷 │ モニタ表示
────┼────────┼─────────
文字領域│ラスタ画像 │ラスタ画像
写真領域│階調ラスタ画像 │低解像度ラスタ画像
線画領域│ラスタ画像 │ラスタ画像
表領域 │ラスタ画像 │低解像度ラスタ画像
────┴────────┴─────────

次に、各分割領域の文書情報および伝達情報を関連付けた、ツリー構造で記述される構造化文書を生成する(S205)。続いて、生成したデータ群（各分割領域の文書情報および伝達情報、並びに、構造化文書）をHD104などに保存（登録）する(S206)。なお、データ群の保存先はネットワーク110上のサーバなどでもよい。

図4はカラーの文書画像の一例を示す図である。文書画像中の黒画素塊、白画素塊の集合を抽出し、その形状、大きさ、集合状態などの特徴量から文字、写真、図形、表、枠、線画といった属性の領域を抽出する。図4に示す例では、文字属性の領域として領域301、303および306、カラー写真属性の領域302、図形属性の領域304、並びに、表属性の領域305が分割される。ただし、ロゴマークの分割領域301は、一般的なフォントとは異なる文字形態のため、文字認識結果の信頼度は低いものとする。また、分割領域306の文字は、分割領域303の文字に比較してかなり小さいものとする。

図5は各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図である。

つまり、ある分割領域の文書情報401は、ステップS204で得た、その領域の伝達情報402、403を保持する。このようなツリー構造により、各分割領域の関係を階層的に表現することができる。なお、文書情報は、複数種類の伝達情報を保持することができる。

これらの関連付け情報は、XMLに代表される構造化文書の形式で生成され保存される。

［伝達情報の出力］
図6は伝達情報を出力する処理の一例を示すフローチャートで、ユーザなどの指示に基づきCPU 101が実行する処理である。

まず、ユーザに指示された登録データをHD 104などから呼び出し(S501)、その出力先の機器情報を取得し(S502)、出力先に応じて決まる出力モードに合わせて、分割領域ごとに出力すべき伝達情報の種類を設定する(S503)。なお、当該設定の詳細は後述する。

次に、設定した種類の伝達情報が、分割領域の伝達情報として存在するか否かを判定する(S504)。データ登録時には、上述したように、基本パターンの伝達情報を用意する。従って、基本パターン（モノクロ印刷、モニタ表示）の伝達情報は必ず存在する。一方、使用頻度が低い応用パターンの伝達情報は、基本パターンと同じ種類の伝達情報であれば存在するが、基本パターンと異なる種類の伝達情報は存在しない。従って、設定した種類の伝達情報が存在するかを判定し、存在すればステップS513へ、存在しなければステップS505へ処理を分岐する。

設定した種類の伝達情報が存在する場合は、その伝達情報を抽出し(S513)、領域ごとの伝達情報を統合し(S514)、統合した伝達情報を出力先に出力する(S515)。

他方、設定した種類の伝達情報が存在しない場合は、現存する伝達情報を、設定した種類の伝達情報に変換することができるか否かを判定し(S505)、変換可能な伝達情報が存在すればステップS506へ、存在しなければS508へ処理を分岐する。

図7は既存の伝達情報から変換可能な伝達情報の種類を示す図で、○印は変換可能を、×印は変換不能を表し、テーブルとしてHD 104などに格納されている。

例えば、拡大表示したいが拡大表示に適したベクタ画像が存在しない場合、既存の伝達情報からベクタ画像に変換可能なものがあるか否かを判定する。もし、伝達情報としてラスタ画像が存在すればベクタ画像に変換可能であるからステップS506へ分岐する。また、図4に示すカラー原稿をモノクロコピーした原稿の電子画像（図8）が登録され、出力モードがカラー印刷の場合、モノクロ写真属性の分割領域302'の伝達情報として、カラー印刷に適したカラーラスタ画像に変換可能な伝達情報が存在するか否かを判定する。この場合は、図7に示すように、モノクロラスタ画像からカラーラスタ画像への変換は不可能であるからステップS508へ分岐する。

変換可能な伝達情報が存在する場合は、当該伝達情報を、設定した種類の伝達情報に変換し(S506)、変換によって得た伝達情報（変換情報）をデータ登録時に生成した分割領域の文書情報と伝達情報の関連付け情報に追記する(S507)。そして、領域ごとの伝達情報を統合し(S514)、統合した伝達情報を出力先に出力する(S515)。

また、変換可能な伝達情報が存在しない場合は、分割領域の伝達情報を検索キーとして、出力モードに適した伝達情報（代替情報）をHD104やサーバから検索し(S508)、検索がヒットしたか否かを判定し(S509)、ヒットすればステップS510へ、ヒットしなければステップS511へ移行する。この検索は、例えば、モノクロ写真属性の分割領域をカラー出力したい場合、当該領域の伝達情報（モノクロ画像）を検索キーとして類似するカラー画像を検索するものである。詳細は省略するが、類似画像検索は、画像のアングルの変化、被写体の位置の変化および撮影条件による、画像特徴量のある程度の違いを吸収して、ある程度の曖昧さを残しながらも適切な画像検索を行うことができる。

代替情報が検索されなかった場合は、分割領域の出力に適する伝達情報がない旨と、既存の伝達情報の利用または出力の中止をユーザに選択させるメッセージをディスプレイ105に表示する(S511)。そして、ステップS512の判定により、ユーザが出力中止を指示した場合は処理を終了し、既存の伝達情報の利用を指示した場合は処理をステップS513に移行する。

また、代替情報が検索された場合は、当該情報を取得し(S510)、当該情報をデータ登録時に生成した分割領域の文書情報と伝達情報の関連付け情報に追記する(S507)。そして、領域ごとの伝達情報を統合し(S514)、統合した伝達情報を出力先に出力する(S515)。

なお、図6では省略するが、ステップS504からS513の処理は、分割領域ごとに繰り返し実行するものである。

［伝達情報の設定］
次に、各分割領域の伝達情報を設定する処理(S503)を説明する。設定の基準には、分割領域の属性に加え、生成した伝達情報自体の特徴も加味する。以下、伝達情報の設定について基本パターンや応用パターンなどのパターンごとに説明する。

まず、基本パターンのモノクロ印刷の場合、求められる伝達情報は原本に忠実かつ高解像度のものである。よって、各分割領域の伝達情報としてラスタ画像を設定する。

図4に示す原稿画像を例にすると、各分割領域として提供する伝達情報は以下のとおりである。
文字領域301 ラスタ画像
写真領域302 高解像度ラスタ画像
文字領域303 ラスタ画像
図形領域304 ラスタ画像
表領域305 ラスタ画像
文字領域306 ラスタ画像

また、基本パターンのモニタ表示の場合、印刷の場合ほど高解像度の必要はないが、モニタ上ではっきり見える伝達情報が求められる。また、文字情報をテキストとして扱いたい場合も加味して、分割領域の文字認識の信頼度によって伝達情報を設定する。

図9はモニタ表示の場合の伝達情報の設定処理(S503)を説明するフローチャートで、CPU 101が実行する処理である。

まず、注目領域の属性が文字か否かを判定し(S601)、文字属性であれば注目領域に関連付けた伝達情報から文字認識の信頼度が所定値X%以上か否かを判定する(S602)。

文字属性以外の領域、および、文字認識の信頼度がX%未満の文字属性の領域は、低解像度ラスタ画像を設定する(S603)。また、文字認識の信頼度がX%以上の文字属性の領域は、文字認識結果のテキストを設定する(S604)。

そして、電子画像内の全分割領域について伝達情報の種類を設定したか否かを判定し(S605)、未設定の分割領域があれば処理をステップS601に戻し、なければ処理を終了する（図6に示すステップS504へ遷移する）。

図9に示す処理を実行すると、図4に示す電子画像の各分割領域として提供する伝達情報は以下のとおりである。
文字領域301 （信頼度が低いので）低解像度ラスタ画像
写真領域302 低解像度ラスタ画像
文字領域303 （信頼度が高いので）テキスト
図形領域304 低解像度ラスタ画像
表領域305 低解像度ラスタ画像
文字領域306 （信頼度が高いので）テキスト

次に、応用パターン（カラー印刷、高画質印刷、PDA表示、拡大表示、超拡大表示、加工）の場合の伝達情報の設定について説明する。

カラー印刷の場合は、モノクロ印刷で定義する条件に加えてカラー情報が必要になる。高画質印刷の場合は、モノクロ印刷、カラー印刷で定義する条件よりもさらに高解像度ラスタ画像が求められる。PDA表示の場合、PDAはメモリサイズに制限があり、データサイズが小さく処理速度が早い伝達情報が優先される。

図10はPDA表示の場合の伝達情報の設定処理(S503)を説明するフローチャートで、CPU 101が実行する処理である。

まず、注目領域の属性が文字か否かを判定し(S701)、文字属性であれば注目領域に関連付けた伝達情報から文字認識の信頼度が所定値X%以上か否かを判定し(S703)、文字認識の信頼度がX%以上の文字属性の領域は、文字認識結果のテキストを設定する(S707)。

また、注目領域が文字属性以外であれば、注目領域の属性が写真か否かを判定し(S702)、写真属性であれば低解像度ラスタ画像を設定する(S705)。

また、文字属性でも写真属性でもない注目領域、あるいは、文字認識の信頼度がX%未満の文字属性の注目領域は、注目領域に関連付けた伝達情報からラスタ画像のファイルサイズがYバイト以下か否かを判定する(S704)。ファイルサイズがYバイト以下のラスタ画像は、PDA表示に耐え得るので、この場合は低解像度ラスタ画像を設定する(S705)。ラスタ画像のファイルサイズがYバイトを超える場合はPDA表示に向かないので、ベクタ画像を設定する(S706)。

そして、電子画像内の全分割領域について伝達情報の種類を設定したか否かを判定し(S708)、未設定の分割領域があれば処理をステップS701に戻し、なければ処理を終了する（図6に示すステップS504へ遷移する）。

図10に示す処理を実行すると、図4に示す電子画像の各分割領域として提供する伝達情報は以下のとおりである。
文字領域301 （信頼度が低く、データサイズがY%超だから）ベクタ画像
写真領域302 低解像度ラスタ画像
文字領域303 （信頼度が高いので）テキスト
図形領域304 （データサイズがY%超だから）ベクタ画像
表領域305 低解像度ラスタ画像
文字領域306 （信頼度が高いので）テキスト

次に、拡大表示の場合は原本に忠実かつ拡大しても劣化しない伝達情報を設定する。なお、拡大したい領域は複数あってもよいし、領域の一部分でもよい。

図11は拡大表示の場合の伝達情報の設定処理(S503)を説明するフローチャートで、CPU 101が実行する処理である。

まず、電子画像中の拡大する分割領域を選択する(S801)。その際、属性を横断して設定してもよい。

次に、注目領域の属性が写真か否かを判定し(S802)、写真属性であれば高解像度ラスタ画像を設定し(S804)、写真属性以外であればベクタ画像を設定し(S803)、電子画像内の全分割領域について伝達情報の種類を設定したか否かを判定し(S805)、未設定の分割領域があれば処理をステップS801に戻し、なければ処理を終了する（図6に示すステップS504へ遷移する）。

図4に示す分割領域302と305の一部（図12に示す領域901）を拡大する場合に、図11に示す処理を実行すると、図12に示す拡大領域901として提供する伝達情報は以下のとおりである。
写真領域302 高解像度ラスタ画像
表領域305 ベクタ画像

次に、超拡大表示の場合は、先に述べた拡大表示よりもさらに拡大しても劣化しない伝達情報が求められる。

図13は超拡大表示の場合の伝達情報の設定処理(S503)を説明するフローチャートで、CPU 101が実行する処理である。図11に示す拡大表示の場合、写真属性の領域の拡大表示には高解像度ラスタ画像を設定(S804)したが、図13に示す超拡大表示の場合は、写真属性の領域の超拡大表示に超高解像度ラスタ画像を設定(S1001)することである。

図4に示す分割領域302と305の一部（図12に示す領域901）を超拡大する場合に、図13に示す処理を実行すると、図12に示す超拡大領域901として提供する伝達情報は以下のとおりである。
写真領域302 超高解像度ラスタ画像
表領域305 ベクタ画像

以上では、パターンごとに自動的に伝達情報を設定する例を説明したが、自動設定ではユーザが好む伝達情報が得られない場合もあり得る。そこで、図3に示したように、出力モードと領域属性に対応する伝達情報をユーザが決定するマニュアルモードを用意する。ユーザは、例えば図4に示す電子画像の表領域305の伝達情報として文字認識結果のテキストを設定することができる。また、先に挙げた五種類の設定方法のようなテンプレートを、マニュアルモードで作成することも可能である。

［変換情報（代替情報）の関連付け］
次に、変換情報（代替情報）の関連付け(S507)の処理を説明する。

図14は各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図である。

ある分割領域の文書情報1101は、その領域の伝達情報1102（データ登録時に作成された既存の視覚情報）を保持する。さらに、ステップS506またはS510で新たに伝達情報が得られた場合は、伝達情報1103（新たな視覚情報）が追加される。勿論、この追加は、新たに得られた伝達情報1103が、今後再利用される可能性が高い場合や、保存するメモリに余裕がある場合などに制限してもよい。図14に示すように追加しておけば、再び伝達情報1103が必要になった場合、直ちに伝達情報1103を利用することができる。

［変形例］
上記では、文字属性の分割領域に対応する伝達情報として文字認識結果のテキストを含む例を説明したが、当該テキストから多言語へ変換した翻訳結果のテキストを用意してもよい。

また、上記では、分割領域に対応する伝達情報は視覚的な情報として説明したが、各分割領域の伝達情報として、当該領域の特徴を音声化した聴覚情報を用意してもよい。一例を挙げると、図4の写真属性の分割領域302の写真には空と海を背景に二羽の鳥が飛んでいる様子が写っている。この場合、「空と海と鳥が二羽いる写真です」などの音声情報を伝達情報として付加する。また、鳥の鳴き声などの状況を表現した音声情報を伝達情報に付加してもよい。また、図4の文字属性の分割領域303には、文字認識結果のテキストを読み上げた音声情報を付加する。

または、各分割領域の伝達情報として、当該領域の特徴に対応する触覚情報を用意してもよい。一例を挙げると、文字属性の分割領域であれば、文字認識結果のテキストを点字化した情報を付加する。線画属性の分割領域であれば線の凹凸、写真属性の分割領域であれば当該領域の被写体の三次元形状や肌理などの触覚情報を付加する。

あるいは、各分割領域の伝達情報として、当該領域の特徴に対応する嗅覚情報を用意してもよい。一例を挙げると、図4の写真属性の分割領域302は海が写っているので、潮の香りの情報を伝達情報に付加する。

さらに、各分割領域の伝達情報として、当該領域の特徴に対応する味覚情報を用意してもよい。一例を挙げると、写真属性の分割領域に食物が写っている場合、当該領域の伝達情報として食物の味覚情報を付加する。

このように、領域ごとに複数種類の伝達情報を用意し、伝達情報の出力時は領域ごとに適切な種類の伝達情報を選択して、様々な出力環境や要求に対応して伝達情報を提示することができる。また、出力時に適切な種類の伝達情報がない場合は、既存の伝達情報から適切な伝達情報に変換する処理を行うことで、初期状態のデータ量は小さくし、かつ、ユーザの動的な要求に柔軟に対応することができる。勿論、変換によって新たに作成した種類の伝達情報は、分割領域に関連付けを追加するので、当該伝達情報の再利用性を高めることができる。

なお、本発明は、上記の実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることができる。

［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するソフトウェアを記録した記憶媒体（記録媒体）をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記ソフトウェアを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのソフトウェアを記憶した記憶媒体は本発明を構成する。

また、前記ソフトウェアの実行により上記機能が実現されるだけでなく、そのソフトウェアの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記ソフトウェアがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれ、そのソフトウェアの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するソフトウェアが格納される。

伝達情報出力装置の構成例を示すブロック図、 伝達情報出力装置にデータを登録する処理の一例を示すフローチャート、 出力モードと、領域属性によって選択される伝達情報の関係例を示す図、 カラーの文書画像の一例を示す図、 各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図、 伝達情報を出力する処理の一例を示すフローチャート、 既存の伝達情報から変換可能な伝達情報の種類を示す図、 カラー原稿をモノクロコピーした原稿の電子画像の一例を示す図、 モニタ表示の場合の伝達情報の設定処理を説明するフローチャート、 PDA表示の場合の伝達情報の設定処理を説明するフローチャート、 拡大表示の場合の伝達情報の設定処理を説明するフローチャート、 拡大領域の一例を示す図、 超拡大表示の場合の伝達情報の設定処理を説明するフローチャート、 各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図である。

Claims (12)

1. メモリに格納された文書画像の情報を処理する画像処理装置が実行する画像処理方法であって、
   文書画像の情報の出力先となる出力先装置の情報を取得する第一の取得ステップと、
   前記出力先装置の情報と前記文書画像の各領域の属性に基づき、前記領域ごとに出力すべき前記文書画像の情報の種類を判断する判断ステップと、
   前記領域ごとに、前記判断した種類に対応する情報を前記メモリから取得する第二の取得ステップと、
   前記領域ごとに、前記メモリから取得した情報を統合する統合ステップと、
   前記統合した情報を前記出力先装置に出力する出力ステップとを有し、
   前記第二の取得ステップは、前記判断した種類の情報が存在しない注目領域について、前記注目領域の画像に類似する画像を有し、かつ、前記判断した種類に対応する情報を有する前記文書画像の他の領域を検索し、当該検索でヒットした前記他の領域の前記判断した種類の情報を、前記注目領域の情報として取得することを特徴とする画像処理方法。
2. 前記第二の取得ステップは、前記他の領域の、前記判断した種類の情報を、前記注目領域に関連付けて前記メモリに格納することを特徴とする請求項1に記載された画像処理方法。
3. メモリに格納された文書画像の情報を処理する画像処理装置が実行する画像処理方法であって、
   文書画像の情報の出力先となる出力先装置の情報を取得する第一の取得ステップと、
   前記出力先装置の情報、前記文書画像の各領域の属性、並びに、前記文書画像の各領域についての文字認識の信頼度およびデータサイズの少なくとも何れかに基づき、前記領域ごとに出力すべき情報の種類を判断する判断ステップと、
   前記領域ごとに、前記判断した種類に対応する情報を前記メモリから取得する第二の取得ステップと、
   前記領域ごとに、前記メモリから取得した情報を統合する統合ステップと、
   前記統合した情報を前記出力先装置に出力する出力ステップとを有することを特徴とする画像処理方法。
4. さらに、前記画像処理装置に登録する対象の文書画像を、画像属性に基づき複数の領域に分割する分割ステップと、
   前記分割した各領域の画像を一または複数の情報に変換する変換ステップと、
   前記変換した情報を関連付けて前記文書画像の構造を示す構造化文書情報を生成する生成ステップと、
   前記構造化文書情報を前記文書画像の情報として前記メモリに格納する格納ステップとを有することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理方法。
5. 前記第二の取得ステップは、前記判断した種類の情報が存在しない注目領域について、前記判断した種類とは異なる種類の前記注目領域の情報を前記判断した種類の情報に変換して、前記変換した情報を前記注目領域の情報とすることを特徴とする請求項1から請求項4の何れか一項に記載された画像処理方法。
6. 前記第二の取得ステップは、前記変換した情報を前記注目領域に関連付けて前記メモリに格納することを特徴とする請求項5に記載された画像処理方法。
7. 前記メモリに格納された文書画像の情報は、前記文書画像の各領域の属性情報とレイアウト情報を含むことを特徴とする請求項1から請求項6の何れか一項に記載された画像処理方法。
8. 前記出力すべき文書画像の情報の種類は、解像度可変のラスタ画像、ベクタ画像、モノクロ画像、カラー画像、三次元画像、文字認識結果のテキスト、フォント情報および他言語への翻訳結果の少なくとも一つであることを特徴とする請求項1から請求項7の何れか一項に記載された画像処理方法。
9. 文書画像の情報を格納するメモリと、
   前記文書画像の情報の出力先となる出力先装置の情報を取得する第一の取得手段と、
   前記出力先装置の情報と前記文書画像の各領域の属性に基づき、前記領域ごとに出力すべき情報の種類を判断する判断手段と、
   前記領域ごとに、前記判断した種類に対応する情報を前記メモリから取得する第二の取得手段と、
   前記領域ごとに、前記メモリから取得した情報を統合する統合手段と、
   前記統合した情報を前記出力先装置に出力する出力手段とを有し、
   前記第二の取得手段は、前記判断した種類の情報が存在しない注目領域について、前記注目領域の画像に類似する画像を有し、かつ、前記判断した種類に対応する情報を有する前記文書画像の他の領域を検索し、当該検索でヒットした前記他の領域の前記判断した種類の情報を、前記注目領域の情報として取得することを特徴とする画像処理装置。
10. 文書画像の情報を格納するメモリと、
    文書画像の情報の出力先となる出力先装置の情報を取得する第一の取得手段と、
    前記出力先装置の情報、前記文書画像の各領域の属性、並びに、前記文書画像の各領域についての文字認識の信頼度およびデータサイズの少なくとも何れかに基づき、前記領域ごとに出力すべき情報の種類を判断する判断手段と、
    前記領域ごとに、前記判断した種類に対応する情報を前記メモリから取得する第二の取得手段と、
    前記領域ごとに、前記メモリから取得した情報を統合する統合手段と、
    前記統合した情報を前記出力先装置に出力する出力手段とを有することを特徴とする画像処理装置。
11. コンピュータを請求項9または請求項10に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
12. 請求項11に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。

Images