JP4065473B2 - 画像処理装置及び方法及び記憶媒体及びシステム - Google Patents
画像処理装置及び方法及び記憶媒体及びシステム Download PDFInfo
- Publication number
- JP4065473B2 JP4065473B2 JP13482599A JP13482599A JP4065473B2 JP 4065473 B2 JP4065473 B2 JP 4065473B2 JP 13482599 A JP13482599 A JP 13482599A JP 13482599 A JP13482599 A JP 13482599A JP 4065473 B2 JP4065473 B2 JP 4065473B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- area
- document
- layout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Document Processing Apparatus (AREA)
- Facsimile Transmission Control (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体、より詳しきは文書画像を読み取り処理する画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、文書画像処理に関する技術としては、文書を光学的に入力し、全体の画像を印刷して出力する複写機や、文書を光学的に入力し、その文書画像を保存する文書データベースシステム、文書を光学的に入力し、ネットワーク或いは回線を介してその文書画像を出力するファクシミリ装置、文書を光学的に入力し、文字を認識してテキストコードを出力するＯＣＲ等の技術が存在する。
【０００３】
【発明が解決しようとする課題】
しかしながら、これまでの技術ではデジタル化やネットワーク化に適応できなくなっている。つまり、入力機器と出力機器がネットワークで接続されるようになったことや、文書のカラー化等により、
１）入力文書画像をそのまま保存、配信したのでは、データ量が大きくなる。
２）文書画像を一律に圧縮したのでは再利用に適した画質を保つことができない。
３）白黒プリンターやカラープリンター等の出力機器の違いによっては出力画質が劣化する。
４）文字認識処理（ＯＣＲ）を用いてテキストのみを配信すると図や写真等の情報の欠落がある。
５）ＯＣＲによって誤認識があった場合には、意味の欠落がある。
【０００４】
という問題がクローズアップされるようになった。
【０００５】
第１の発明はかかる問題点に鑑みなされたものであり、原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑えることを可能ならしめる画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００６】
また、第２の発明は、上記第１の発明に加えてセキュリティーに優れた画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００７】
そして、第３の発明は、上記第１の発明に加えて、画像中のテキストについて自然言語の違いを吸収できる画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、例えば第１の発明の課題を解決する画像処理装置は以下の構成を備える。すなわち、
文書の多値画像データを入力する入力手段と、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段と、
前記生成した二値画像データを属性毎の領域に分割し、当該分割された各領域のレイアウト情報を生成するレイアウト解析手段と、
前記分割された領域のうち文字を含む属性の領域の部分画像について文字認識する文字認識手段と、
前記レイアウト解析手段で生成されたレイアウト情報に基づいて、文字を含む属性の領域の面積と文字を含まない属性の領域の面積と前記文書全体の面積とを算出し、当該算出された結果に基づいて、前記文書のレイアウトタイプがテキスト系であるかピクチャー系であるかを判断するレイアウトタイプ判断手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがピクチャー系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記二値画像データから対応する領域の部分画像を切り取り、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、当該切り取られた各領域に対応する部分画像のデータを保存する第１保存手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがテキスト系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記文字認識手段で認識した当該領域の文字認識データを選択し、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、前記選択された文字認識データと前記切り取られた部分画像のデータとを保存する第２保存手段と、
前記第１保存手段あるいは前記第２保存手段で保存されたデータを出力する出力手段とを備える。
【０００９】
【発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１０】
［第１の実施形態］
図１は第１の実施形態における構成概念とデータの流れを示す図である。
【００１１】
同図において、１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、１０２は文書を画像データとして入力する画像入力部（例えばイメージスキャナ）、１０３は画像入力部から入力された元画像データ、１０４は入力文書画像から二値画像を作成する二値化処理部、１０５は作成された二値画像データ、１０６は二値画像１０５をもとにして文書を、図、テキスト、表等の各種属性毎の領域に分割した情報、すなわちレイアウト解析データを出力するレイアウト解析部、１０７はレイアウト解析データである。
【００１２】
また、１０８はレイアウト解析データをもとにして、二値画像の任意の領域の文字を認識しコード情報等を文字認識データとして出力する文字認識部、１０９は文字認識データ、１１０はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データおよび文字認識データを文書画像理解データとして保存する文書画像理解データ保存部、１１１は文書画像理解データを出力する文書画像理解データ出力部、１１２は文書画像理解データ、１１３は文書画像理解データを入力する文書画像理解データ入力部、１１４は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、１１５は再生文書画像、１１６は再生文書画像を出力する画像出力部、１１７は出力文書である。
【００１３】
また、図２は第１の実施形態を表わすシステム装置構成の例を示している。
【００１４】
同図において、２０１は文書画像理解処理（例えば図１における文書画像理解データ出力部１１１までの処理）を行うコンピュータ、２０２はデータを保存する記憶装置、２０３は画像入力を専用的に行うスキャナ、２０４はカラープリンタ、２０５はファクシミリ、２０６はカラー画像の入力及びプリント出力を複合的に行うデジタルカラー複写機（カラースキャナとカラープリンタとしての機能を有する）、２０７はプリンタを管理するプリンタサーバ、２０８はモノクロプリンタ、２０９はデータベースを管理するファイルサーバ、２１０はデータべ−ス、２１１はモノクロ画像の入力及びプリント出力を複合的に行うデジタル複写機、２１２は各デジタル機器間を接続するネットワークである。
【００１５】
次に処理の流れについて図３乃至図１０のフローチャート、及び図１、図２、図１４乃至図１７に従って説明する。
【００１６】
本実施形態では、原稿画像を２４ビット（ＲＧＢそれぞれ８ビット）多値画像データとしてスキャナ（２０３や２０６）より入力し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて説明する。
【００１７】
まず、コンピュータ２０１は、図３のステップＳ３０１において、画像入力部１０２（図１におけるスキャナ２０３）より文書画像を多値画像として入力する。
【００１８】
次に、ステップＳ３０２で、二値化処理部１０４により二値画像を作成する。二値画像の作成方法は、読み取った画像データＲＧＢ（各８ビット）から輝度成分を算出し、その算出した輝度を所定の閾値と比較することで行うものとする。
【００１９】
ステップＳ３０３では、こうして作成された二値画像をもとに、レイアウト解析部１０６により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。レイアウト情報は、図１５（ａ）に示す如く、１ページの原稿画像に対し、複数の矩形領域（部分画像）が設定され、部分画像の個数のデータが格納される。各部分画像は、識別情報（レイアウト領域ＩＤ）、切り取り幅、高さ、画像タイプ、圧縮方式、画像サイズ、そして切り取り画像データで構成されている。画像タイプには、同図（ｂ）の如く、二値画像か２４ビット多値画像かを識別情報、圧縮方式は同図（ｃ）の如くＭＭＲ，ＪＰＥＧ等がある。なお、画像タイプ、圧縮方式の種類及び数はこれ以外であっても良いのは勿論である。
【００２０】
次にステップＳ３０４においてテキストや表等の文字を含む領域の文字画像に対し文字認識（文字認識）処理を行い、ステップＳ３０５で、文書画像理解データ保存部（１０８）においてレイアウト解析データをもとにして、文字認識データならびに、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【００２１】
ここで、具体的な文書画像理解データ保存処理の例を図５、図６、図７，図８のフローチャートに沿って説明する。
【００２２】
本例では、文書画像理解データ保存処理（Ｓ３０５）に入ると、まずステップＳ５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する。
【００２３】
文書タイプの分類の例については図６に一例を示す。
【００２４】
まず、ステップＳ６０１において、文書全体の面積（ＡＳ１）を算出する。
【００２５】
次にステップＳ６０２において、領域属性が『テキスト』および『表』の領域面積の総和（ＤＳ１）を算出し、ステップＳ６０３において、総和面積（ＤＳ１）が文書全体の面積（ＡＳ１）に対して、あらかじめ定めた割合（ＴＳ１［％］）より大である。すなわち
ＤＳ１＞ＡＳ１×ＴＳ１／１００
であれば、その文書は「テキスト系」レイアウト文書と判断する（ステップＳ６０４）。
【００２６】
また、ステップＳ６０３において、テキスト系と判断されない場合に、領域属性『線図形』および『絵、写真』の領域面積の総和（ＰＳ１）を算出し（ステップＳ６０５）、ステップＳ６０６において、先に算出した『テキスト』および『表』の領域面積の総和（ＤＳ１）が領域属性『線図形』および『絵、写真』の総和面積（ＰＳ１）よりも大の場合、
すなわち
ＤＳ１＞ＰＳ１
であれば、その文書は「テキスト系」レイアウト文書と判断する。（ステップＳ６０４）
上記以外の場合であれば、ステップＳ６０７において、その文書は「ピクチャー系」レイアウト文書と判断する。
【００２７】
図５に戻って、上記のようにして文書レイアウトタイプが決定されると、ステップＳ５０２に進み、それぞれのレイアウトタイプによって分岐する。文書レイアウトタイプが「ピクチャー系」である場合は、ステップＳ５０３において、ピクチャー系文書画像理解データ保存処理を行う。
【００２８】
図７を用いて、このピクチャー系文書画像理解データ保存処理について更に詳細に説明する。
【００２９】
ピクチャー系文書画像理解データ保存処理においてはまず、ステップＳ７０１で各分割領域のレイアウト解析データを再度分析して、次に、ステップＳ７０２において領域属性が『テキスト』であれば、ステップＳ７０３で切り取り先全体画像として二値画像を選択し、ステップＳ７０５でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【００３０】
また、ステップＳ７０２において、領域属性が『テキスト』でなかった場合は、ステップＳ７０４において切り取り先全体画像として元画像である多値画像を選択し、ステップＳ７０５でレイアウト解析データの領域の座標データを用いてその部分画像である多値画像を切り取る。
【００３１】
次にステップＳ７０６において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ７０７において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ７０９において文書画像理解データ（図１４）として保存処理を行う。
【００３２】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【００３３】
また、ステップＳ７０６において調べた結果が、多値画像タイプであったならば、ステップＳ７０８において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ７０９において文書画像理解データ（図１４）として保存処理を行う。
【００３４】
さらに詳細な本例の文書画像理解データの例は、図１４、図１５および図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像情報として保存する。
【００３５】
次にステップＳ７１０において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ７０１に戻り、残りの分割領域について上記の処理を繰り返し、全ての分割領域に対して行うと、文書画像理解データ保存処理を終了する。
【００３６】
図５に戻る。同図のステップＳ５０２において文書レイアウトタイプが「テキスト系」である場合は、処理はステップＳ５０４に進み、テキスト系文書画像理解データ保存処理を行う。
【００３７】
この文書タイプがテキスト系の場合の文書画像理解保存処理を図８のフローチャート、及び図１３，１５に従って説明する。
【００３８】
本例では、文書画像理解保存処理（図３のステップＳ３０５）に入ったら、まずステップＳ８０１で各分割領域のレイアウト解析データを再度分析して各領域の領域属性を求める。
【００３９】
次に、ステップＳ８０２において領域属性が『テキスト』であれば、ステップＳ８０３でその領域の文字認識データを選択し、ステップＳ８０４でその文字認識データを文書画像理解データとして（図１４）として保存する。
【００４０】
さらに詳細な本例の文書画像理解データの例は、図１７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、行数、行間隔、第一位から第ｎ位までの文字コード、第一位から第ｎ位までの文字認識距離、文字フォントタイプ、文字サイズ、文字位置の座標、不確実フラグ、等を文字認識データとして保存する。
【００４１】
また、ステップＳ８０２で領域属性が『テキスト』でなかった場合は、ステップＳ８０５において切り取り先全体画像として元画像を選択し、ステップＳ８０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【００４２】
ステップＳ８０７において、本例の場合、元画像は多値画像であると判定されるので、ステップＳ８０８において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ８０９において文書画像理解データ（図１４）として保存処理を行う。
【００４３】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【００４４】
さらに詳細な本例の文書画像理解データの例は、図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像情報として保存する。
【００４５】
次にステップＳ８１０において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ８０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解保存処理を終了する。
【００４６】
以上のようにして、文書画像に対するレイアウトタイプ毎の理解データが保存されると、処理は図５のステップＳ５０５に進み、保存された文書画像理解データを出力する。
【００４７】
さらに、本実施形態では文書画像理解データ保存部（１１０）において作成・保存された文書画像理解データは文書画像理解データ出力部（１１１）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【００４８】
利用先（クライアントでもある）では、図４に示すように、ステップＳ４０１において文書画像理解データ入力部（１１３）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【００４９】
この具体的な文書画像理解データ再生処理の例を図９に従って説明する。
【００５０】
まず、ステップＳ９０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【００５１】
次に、ステップＳ９０２において文書画像理解データを分析し、ステップＳ９０３で、部分領域属性の検査を行い、属性が『テキスト』であるならば、ステップＳ９０４において文字認識データが存在するか否かを検査する。
【００５２】
文字認識データが存在するならば、ステップＳ９０５において文書画像理解データから文字認識データ（文字コードを含む）を取り出し、ステップＳ９０６で、取り出した文字認識データから文字フォントを白い下地画像と合成し再生画像を作成する。
【００５３】
また、ステップＳ９０３の検査で部分領域の属性が非『テキスト』であるか、ステップＳ９０４の検査で文字認識データが存在しないならば、ステップＳ９０７において文書画像理解データから部分領域の画像データを取り出し、ステップＳ９０８において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００５４】
再生画像合成処理（ステップＳ９０８）の一例としては、図１０に示すように、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップＳ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【００５５】
本例では、二値画像の黒画素は１、白画素は０、２４ビット多値画像の黒画素は、Ｒ＝０，Ｇ＝０，Ｂ＝０であり、白画素はＲ＝２５５，Ｇ＝２５５，Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【００５６】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。
【００５７】
つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【００５８】
本例では、下地画像の白画素（Ｒ＝２５５，Ｇ＝２５５，Ｂ＝２５５）と部分画像の黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）の合成画像が黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）となるように論理演算を用いている。
【００５９】
以上のような処理によって１つの部分画像に対して再生合成処理（Ｓ９０８）を終了したら、ステップＳ９０９において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ９０２に戻り、残りの部分領域について上記の処理を繰り返す。残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【００６０】
図４に戻って、上記のようにして再生処理が行われると、ステップＳ４０３において画像出力部（１１６）であるモノクロプリンターから再生画像を出力文書として出力する。
【００６１】
［第２の実施形態］
文書画像理解データ保存処理（ステップＳ３０５）において、レイアウト解析結果で領域属性がテキストとなった文書でも、画像の状態が文字認識処理に不適切な状態（ノイズ存在や、低解像度画像等）である場合に、不確実な文字認識データではなく確実な画像データを保存することも可能である。
【００６２】
以下に具体的な文書画像理解データ保存処理の他の例を図１１のフローチャートにしたがって説明する。
【００６３】
本例では、文書画像理解データ保存処理（ステップＳ３０５）に入ったら、まずステップＳ１１０１で各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する（図６）。
【００６４】
ここで、ステップＳ１１０２においてピクチャー系文書レイアウトと判定された場合は、ステップＳ１１０６においてピクチャー系文書レイアウトとして文書画像理解データ保存処理（図７）を実行する。
【００６５】
また、ステップＳ１１０２においてテキスト系文書レイアウトと判定された場合は、ステップＳ１１０３において全体文字認識信頼度（ＺＮｒ）を算出する。
【００６６】
全体文字認識信頼度の一例としては、各文字ごとの認識演算結果である認識距離値（Ｄ）が、あらかじめ定めた閾値（Ｔｄ）未満である場合、
すなわち
Ｄ＜Ｔｄ
である場合にその文字に対して不確実な文字であるとして文字認識データの不確実フラグを有効（＝“１”）にし、その不確実フラグが有効でない（＝“０”）文字数の和（ｎ）を求め、全体の文字数（Ｎ）に対する割合（ｎ／Ｎ）を全体文字認識信頼度（ＺＮｒ）としている。
すなわち
ＺＮｒ＝ｎ／Ｎ
として求める。
【００６７】
次にステップＳ１１０３において、全体文字認識信頼度（ＺＮｒ）を検査し、全体文字認識信頼度があらかじめ定めた閾値（Ｔｒ）より大、
すなわち
ＺＮｒ＞Ｔｒ
であればＯＫとし、ステップＳ１１０５においてテキスト系文書レイアウトとして文書画像理解データ保存処理（図８）を実行する。
【００６８】
また、
ＺＮｒ≦Ｔｒ
であればＮＧとし、ステップＳ１１０６においてピクチャー系文書レイアウトとして文書画像理解データ保存処理（図７）を実行する。
【００６９】
以上の結果、原稿文書の品位が悪い、或いはそこに印刷されている文字品位が悪い場合には、誤認識される率が高くなるので、認識結果を保存せず、ピクチャー系文書とすることが可能になる。従って、クライアント側で再生する場合にはオリジナルの原稿画像に忠実な再生が可能になる。
【００７０】
［第３の実施形態］
文書画像理解データ保存処理（ステップＳ３０５）において、レイアウト解析結果で領域属性がテキストとなった文書でも、部分領域毎に画像の状態が文字認識処理に不適切な状態（ノイズ存在や、低解像度画像等）であるか否かを判断し、不適切な画像と判断した場合に、不確実な文字認識データだけではなく確実な画像データをも併せて保存することも可能である。
【００７１】
以下に具体的な文書画像理解データ保存処理の例を図１２のフローチャートにしたがって説明する。
【００７２】
本例では、文書画像理解データ保存処理（ステップＳ３０５）に入ったら、まず図５のように各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する。
【００７３】
つぎにテキスト系文書レイアウトと判断された場合に、ステップＳ１２０１においてレイアウト解析データを再度分析し、ステップＳ１２０２で部分領域属性の検査を行い、属性が『テキスト』であるならば、ステップＳ１２０３で文字認識データを選択し、ステップＳ１２０４で文字認識データ保存処理を行った上、さらにステップＳ１２０５で部分領域の文字認識信頼度（ＺＭｒ）を算出する。
【００７４】
部分領域文字認識信頼度の一例としては、各文字ごとの認識演算結果である認識距離値（Ｄ）が、あらかじめ定めた閾値（Ｔｄ）未満である場合、
すなわち
Ｄ＜Ｔｄ
である場合にその文字に対して不確実な文字であるとして文字認識データの不確実フラグを有効（１）にし、その部分領域内における、不確実フラグが有効でない（０）文字数の和（ｍ）を求め、その領域内の文字数（Ｍ）に対する割合（ｍ／Ｍ）を部分領域文字認識信頼度（ＺＭｒ）として用いる。
すなわち
ＺＭｒ＝ｍ／Ｍ
として求める。
【００７５】
次にステップＳ１２０６において、部分領域文字認識信頼度（ＺＭｒ）を検査し、部分領域文字認識信頼度があらかじめ定めた閾値（Ｔｒ）より大、
すなわち
ＺＭｒ＞Ｔｒ
であればＯＫとし、画像データの保存処理は実行せずに、ステップＳ１２１４において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ１２０１に戻り、残りの部分領域について上記の処理を繰り返す。
【００７６】
残りの部分領域が存在していなければ、文書画像理解データ保存処理を終了する。
また、
ＺＭｒ≦Ｔｒ
であればＮＧとし、ステップＳ１２０７以降における画像データ保存処理を実行する。
【００７７】
［第４の実施形態］
文書画像理解再生処理時に文字認識データの信頼度に応じて文字フォントを合成するか、領域文字画像を合成するかを適応的に選択し処理することも可能である。
【００７８】
以下に処理の流れについて図４，図１３のフローチャートに従って説明する。
【００７９】
本例では部分領域毎に文字認識信頼度を求め文字フォントで出力するか領域画像で出力するかを選択する。また、文書画像領域データとして文字認識データおよび画像データの両方を持っているものとする。
【００８０】
本例ではまず、文書画像理解データの再生利用先において、ステップＳ４０１において文書画像理解データ入力部（１１３）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【００８１】
この文書画像理解データ再生処理について図１３のフローチャートで説明する。
【００８２】
ステップＳ１３０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【００８３】
次に、ステップＳ１３０２において文書画像理解データを分析し、ステップＳ１３０３で、部分領域の属性が『テキスト』であるならば、ステップＳ１３０４で、文字認識データの検査を行い、文字認識データがあるのであれば、ステップＳ１３０５で文書画像理解データから文字認識データを取り出し、ステップＳ１３０６において文字認識信頼度を調べる。
【００８４】
本例における文字認識信頼度の調べ方の一例としては、部分領域の文字認識データの不確実フラグの割合を用いるものとする。
【００８５】
具体的には、その部分領域内における、不確実フラグが有効でない（０）文字数の和（ｍ）を求め、その領域内の文字数（Ｍ）に対する割合（ｍ／Ｍ）を部分領域文字認識信頼度（ＺＭｒ）としている。
すなわち
ＺＭｒ＝ｍ／Ｍ
として求める。
【００８６】
次にステップＳ１３０７において、部分領域文字認識信頼度（ＺＭｒ）を検査し、部分領域文字認識信頼度があらかじめ定めた閾値（Ｔｒ２）より大、
すなわち
ＺＭｒ＞Ｔｒ２
である場合、ステップＳ１３０８で、取り出した文字認識データから文字フォントを白い下地画像と合成し再生画像を作成する。
【００８７】
もし、文字認識信頼度があらかじめ定めた閾値以下であるならば文書画像理解データから部分画像データを取り出し、ステップＳ１３０９において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００８８】
また、ステップＳ１３０３で、部分領域の属性が非『テキスト』である場合も文書画像理解データから部分画像データを取り出し、ステップＳ１３０４において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００８９】
以上のような処理によって１つの部分画像に対して再生合成処理（ステップＳ１３０９）を終了したら、ステップＳ１３１０において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ１３０２に戻り、残りの部分領域について上記の処理を繰り返す。
【００９０】
残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【００９１】
そして、ステップＳ４０３において画像出力部（ステップ１１４）から、合成した１ページの再生画像を出力文書として出力する。
【００９２】
以上説明したように第１乃至第４の実施形態によれば、
１）文書画像の保存時における、データ量の削減、
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減、
３）文書画像の保存、配信時における、再利用に適した高画質の維持、
４）出力時の文書画像の画質劣化や情報欠落の防止、
５）ＤＴＰ（デスクトップパブリッシング）等の電子文書への再利用の容易化、
等がはかれる効果がある。
【００９３】
［第５の実施形態］
上記実施形態に加えて、本第５の実施形態では、セキュリティーを重視する例を説明する。
【００９４】
図１８は第５の実施形態における構成概念とデータの流れを示す図である。
【００９５】
同図において、２１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、２１０２は文書を画像として入力する画像入力部、２１０３は画像入力部から入力された元画像データ、２１０４は入力文書画像から二値画像を作成する二値画像出力部、２１０５は作成された二値画像、２１０６は二値画像をもとにして文書を図やテキストや表等の各種属性毎の領域に分割した情報すなわちレイアウト解析データを出力するレイアウト解析部、２１０７はレイアウト解析データ、２１０８はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データ及び暗号化データを文書画像理解データとして保存する文書画像理解データ保存部、２１０９は文書画像理解データを出力する文書画像理解デーグ出力部、２１１０は文書画像理解データ、２１１１は文書画像理解データを入力する文書画像理解データ入力部、２１１２は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、２１１３は再生文書画像、２１１４は再生文書画像を出力する画像出力部、２１１５は出力文書、２１１６は本第５の実施形態における特徴である、任意の領域の文字認識データならびに画像データを暗号化する暗号化処理部である。
【００９６】
上記のデータの流れ及び処理が行われるシステムは、図２と同様である。
【００９７】
次に処理の流れについて図１９、図２０、図２１のフローチャート、及び図１８、図２、図１４、図１５、図２７、図２８、図２９に従って説明する。
【００９８】
本実施形態でも、２４ビット多値画像をスキャナ（２０３や２０６）より入力し、『テキスト』属性の領域に対して自動的に暗号化して保存し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて示す。
【００９９】
まず、ステップＳ２３０１において、画像入力部（２１０２）であるスキャナより文書画像を多値画像データとして入力する。ステップＳ２３０２では、二値画像出力部（２１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報を出力する。このレイアウト情報は先に説明した第１の実施形態における図１５と同様である。
【０１００】
次に、ステップＳ２３０４で文書画像理解保存部（２１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。その際に、あらかじめ定められた特定領域のデータの暗号化処理も行う。
【０１０１】
本実施形態では、『テキスト』領域の画像データを暗号化するものとする。
【０１０２】
文書画像理解保存処理の例を図２０のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１０３】
本例では、文書画像理解保存処理（ステップＳ２３０４）に入ったら、まずステップＳ２５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１０４】
次に、ステップＳ２５０２において領域属性が『テキスト』であれば、ステップＳ２５０３で切り取り先全体画像として二値画像を選択し、ステップＳ２５０４でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１０５】
次にステップＳ２５０５で、その部分画像に対して暗号化処理を行い、暗号化データを作成し、ステップＳ５０６で、暗号化データを文書画像理解データとして保存する。
【０１０６】
さらに詳細な本例の文書画像理解データの例は図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび暗号化した切り取り画像を部分画像暗号化データとして保存する。この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示すようにする。
【０１０７】
また、ステップＳ２５０２において、領域属性が非『テキスト』であるならば、ステップＳ２５０７で切り取り先全体画像として元画像を選択し、ステップＳ２５０８でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１０８】
次にステップＳ２５０９において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ２５１０において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ２５１１において文書画像理解データ（図２７）として保存処理を行う。
【０１０９】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１１０】
また、ステップＳ２５０９において調べた結果が、多値画像タイプであったならば、ステップＳ２５１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ２５１１において文書画像理解データ（図２７）として保存処理を行う。
【０１１１】
本例の文書画像理解データの例は図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１１２】
次にステップＳ２５１３において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ２５０１に戻り、残りの分割領域について上記の処理を繰り返す。
【０１１３】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。そして図１９のステップＳ２３０５に進んで、文書画像理解データを出力する。
【０１１４】
ここで、本実施形態では文書画像理解保存部（２１０８）において作成・保存された文書画像理解データは文書画像理解データ出力部（２１０９）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【０１１５】
利用先では、先の第１の実施形態で説明したように、図４のフローチャートに従って処理することになる。つまり、ステップＳ４０１において文書画像理解データ入力部（２１１１）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【０１１６】
本第５の実施形態における具体的な文書画像理解再生処理（ステップＳ４０２）の例を図２１のフローチャートに従って説明する。
【０１１７】
本例では、まず、ステップＳ２６０１において再生文書画像の下地となる画像を白い下地となるように作成する。次に、ステップＳ２６０２において文書画像理解データを分析し、ステップＳ２６０３で、部分領域の暗号化データにおける暗号化フラグが有効（＝１）であるならば、ステップＳ２６０４で、文書画像理解データから暗号化データを取り出し、暗号化解除をおこない、部分画像に戻す。
【０１１８】
また、暗号化フラグが有効になっていないのであるならば、ステップＳ２６０５で文書画像理解データから画像データを取り出す。そして、ステップＳ２６０６において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【０１１９】
再生合成処理（ステップＳ２６０６）の一例としては、第１の実施形態で説明した図１０のフローチャートに従うものである。
【０１２０】
つまり、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【０１２１】
本例では、二値画像の黒画素は１、白画素は０、２４ビット多値画像の黒画素は、Ｒ＝０、Ｇ＝０、Ｂ＝０であり、白画素はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【０１２２】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【０１２３】
本例では、下地画像の白画素（Ｒ＝２５５，Ｇ＝２５５、Ｂ＝２５５）と部分画像の黒画索（Ｒ＝０，Ｇ＝０，Ｂ＝０）の合成画像が黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）となるように論理演算を用いている。
【０１２４】
以上のような処理によって１つの部分画像に対して再生合成処理（Ｓ２６０６）を終了したら、ステップＳ２６０７において残りの部分画像が存在しているか否かを調べ、存在していればステップＳ２６０２に戻り、残りの部分領域について上記の処理を繰り返す。残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【０１２５】
そして、図４のステップＳ４０３において画像出力部（２１１４）であるモノクロプリンターから再生画像を出力文書として出力する。
【０１２６】
［第６の実施形態］
上記第５の実施形態では、テキスト領域を暗号化させるものであったが、オペレータが選択した特定属性のみを暗号化させることも可能である。この例を第６の実施形態として説明する。
【０１２７】
具体例を図１９を再度用い、更に図２２、図２３を用いて説明する。なお、図２３は図１８の変形例でもある。
【０１２８】
先ず、ステップＳ２３０１で画像入力部（２８０２）であるスキャナより文書画像を多値画像として入力する。
【０１２９】
次に、オペレータ指示部（２８１６）により、暗号化する領域属性を指示する。例えば、入力した画像を表示させ、その中の『表』属性の領域に対して暗号化するように指示する。
【０１３０】
次いで、ステップＳ３０２で、二値画像出力部（２８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１３１】
次に、ステップＳ２３０５で文書画像理解保存部（２８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１３２】
さらに具体的な文書画像理解保存処理の例を図２３のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１３３】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ２９０１でオペレータが設定した属性をセットする。図３０は、この時の表示画面の例を示しており、ウインドウ右上の暗号化指定のコンボボックスを指定し、その中で適当な領域属性について暗号化を指定することになる。ここでは、ペレータは『テキスト』を指示したものとする。設定するのはポインティングデバイス等を領域内を指定することで行えばよい。
【０１３４】
次にステップＳ２９０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ２９０３において領域属性が暗号化対象として指定されたものであれば、つまり、上記の例の場合には『テキスト』であれば、ステップＳ２９０４で切り取り先全体画像として二値画像を選択し、ステップＳ２９０５でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１３５】
さらに、ステップＳ２９０６で、その部分画像にたいして暗号化処理を行い、暗号化データを作成し、ステップＳ２９０７で、暗号化データを文書画像理解データとして保存する。
【０１３６】
この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示している。
【０１３７】
また、ステップＳ２９０３において、領域属性が非暗号化領域を示す場合には、ステップＳ２９０８で切り取り先全体画像として元画像を選択し、ステップＳ２９０９でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１３８】
次にステップＳ２９１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ２９１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ２９１３において文書画像理解データ（図２７）として保存処理を行う。
【０１３９】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１４０】
また、ステップＳ２９１０において調べた結果が、多値画像タイプであったならば、ステップＳ２９１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ２９１３において文書画像理解データ（図２７）として保存処理を行う。
【０１４１】
さらに詳細な本例の文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１４２】
次にステップＳ２９１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ２９０２に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１４３】
［第７の実施形態］
上記第６の実施形態では、属性毎に暗号化するしないを設定するものであったが、オペレータが入力時の画像およびレイアウト解析結果を確認し、その解析結果から所望とする領域を選択して暗号化を指示することも可能である。
【０１４４】
具体例を図１９、図２４、図２５を用いて説明する。
【０１４５】
まず、ステップ２０３１で、画像入力部（３００２）であるスキャナより文書画像を多値画像として入力する。
【０１４６】
次に、ステップＳ２３０２で、二値画像出力部（３００４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（３００６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１４７】
そのレイアウト情報はレイアウト解析データ表示部（３０１６）により入力画像と重ねて表示されることにより、オペレータは、オペレータ指示部（３０１７）において、ポインティングデバイス等で暗号化する領域を指示することが可能となる。図３１は、この時の操作画面であり、適当な領域を先ず、指定し、その後でその領域について暗号化の設定を“ＯＮ”にしていることを示している。暗号化対象となった領域（図示の場合にはテキスト領域）は、他の領域と区別して表示することで操作者にどの領域が暗号化されることになるのかを知らしめる。
【０１４８】
次に、ステップＳ２３０５で文書画像理解保存部（３００８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１４９】
さらに具体的な文書画像理解保存処理の例を図２５のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１５０】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ３１０１でオペレータが設定した領域のＩＤをセットする。次にステップＳ３１０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１５１】
そして、ステップＳ３１０３において領域属性が『テキスト』であれば、ステップＳ３１０４で切り取り先全体画像として二値画像を選択し、ステップＳ３１０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１５２】
また、ステップＳ３１０３において、領域属性が『テキスト』でないならば、ステップＳ３１０５で切り取り先全体画像として元画像を選択し、ステップＳ３１０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１５３】
そして、ステップＳ３１０７で領域ＩＤを検査し、暗号化対象領域か否かを調べる。
【０１５４】
暗号化対象領域であるならば、ステップＳ３１０８でその部分画像にたいして暗号化処理を行い、暗号化データを作成し、ステップＳ３１０９で、暗号化データを文書画像理解データとして保存する。
【０１５５】
この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示している。
【０１５６】
また、ステップＳ３１０７で暗号化対象領域でないならば、ステップＳ３１１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ３１１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ３１１３において文書画像理解データ（図２７）として保存処理を行う。
【０１５７】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１５８】
また、ステップＳ３１１０において調べた結果が、多値画像（写真画像等の非２値画像）タイプであったならば、ステップＳ３１１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ３１１３において文書画像理解データ（図２７）として保存処理を行う。
【０１５９】
文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１６０】
次にステップＳ３１１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ３１０２に戻り、残りの分割領域について上記の処理を繰り返す。
【０１６１】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１６２】
［第８の実施形態］
領域属性が『テキスト』など文字認識可能な領域の場合において、文字認識処理を用いて、画像データではなく文字認識データを保存する湯合や、画像データと文字認識データの両方を保存する場合等においても、文字認識データならびに画像データを暗号化することによって、暗号化データを保存することが可能である。
【０１６３】
以下に具体例を第８の実施形態として説明する。ここでは、一例として、『テキスト』の場合は文字認識結果を暗号化した暗号化データ、他の領域は画像データを保存させる例を、図１８、図１９、図２６、図１４、図１５、図２７、図２８、図２９を用いて説明する。
【０１６４】
まず、ステップＳ２３０１において、画像入力部（２１０２）であるスキャナより文書画像を多値画像として入力する。
【０１６５】
ステップＳ２３０２で、二値画像出力部（２１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１６６】
次に、ステップＳ２３０４で文書画像理解保存部（２１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１６７】
その際に、あらかじめ定められた特定領域のデータの暗号化処理も行う。
【０１６８】
さらに具体的な文書画像理解保存処理の例を図２６のフローチャート、及び図１４、図１５、図２７、図２８、図２９に従って説明する。
【０１６９】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ３２０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ３２０２において領域属性が『テキスト』であれば、ステップＳ３２０３で認識用先全体画像として二値画像を選択し、ステップＳ３２０４でレイアウト解析データの領域の座標データを用いて部分画像に対して文字認識処理を行う。
【０１７０】
次に、ステップＳ３２０５において文字認識した結果の文字認識データを暗号化処理し、暗号化データを作成して、ステップＳ３２０６で、暗号化データを文書画像理解データ（図２９）として保存する。ここで暗号化フラグが有効（＝１）にすることは、そのデータが暗号化されていることを示している。
【０１７１】
また、ステップＳ３２０２において、領域属性が『テキスト』でないならば、ステップＳ３２０７で切り取り先全体画像として元画像を選択し、ステップＳ３２０８でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１７２】
そして、ステップＳ３２０９において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ３２１０において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ３２１１において文書画像理解データ（図２７）として保存処理を行う。
【０１７３】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１７４】
また、ステップＳ３２１０において調べた結果が、多値画像タイプであったならば、ステップＳ３２１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ３２１１において文書画像理解データ（図２７）として保存処理を行う。
【０１７５】
さらに詳細な本例の文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１７６】
次にステップＳ３２１３において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ３２０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１７７】
なお、上記処理に更に、入力した多値画像を表示し、暗号化しようとする領域を指定していき、その中でテキスト領域についてはそのテキスト画像及び文字認識結果の両方を暗号化させるようにしてもよい。解読できるユーザ以外（解除できるキーを入力しなければ）は、その領域は「暗号化されているため表示できません」というメッセージを表示し、その領域をマウス等で指示したときに解除するキー入力を促すキー入力ダイアログボックスを表示し、設定された番号キーと一致した場合にそれを表示するようにする。なお、印刷する場合にも解除しなければその領域の印刷は行わない。
【０１７８】
以上説明したように第５乃至第８の実施形態によれば、
１）文書画像の保存時における、データ量の削減
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減
３）文書画像の保存、配信時における、再利用に適した高画質の維持
４）出力時の文書画像の画質劣化や情報欠落の防止
５）ＤＴＰ（デスクトップパプリッシング）等の電子文書への再利用の容易化
６）文書画像の保存、配信時におけるセキュリテイーの向上
等がはかれる効果がある。
【０１７９】
［第９の実施形態］
本第９の実施形態では、例えば文書画像中のあるテキストの言語を他の言語に翻訳する機能を付加する例について説明する。
【０１８０】
図３２は第９の実施形態における構成概念及びデータの流れを示している。
【０１８１】
同図において、４１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、４１０２は文書を画像として入力する画像入力部、４１０３は画像入力部から入力された元画像データ、４１０４は入力文書画像から二値画像を作成する二値画像出力部、４１０５は作成された二値画像、４１０６は二値画像をもとにして文書を図やテキストや表等の各種属性毎の領域に分割した情報すなわちレイアウト解析データを出力するレイアウト解析部、４１０７はレイアウト解析データ、４１０８はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データ、文字認識データ、および翻訳データを文書画像理解データとして保存する文書画像理解データ保存部である。
【０１８２】
４１０９は文書画像理解データを出力する文書画像理解デーグ出力部、４１１０は文書画像理解保存データ、４１１１は文書画像理解保存データを入力する文書画像理解データ入力部、４１１２は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、４１１３は再生文書画像、４１１４は再生文書画像を出力する、画像出力部である。４１１５は出力文書、４１１６は任意の領域の文字を認識しコード情報等を文字認識データとして出力する文字認識処理部、４１１７は任意の種類の言語を他の任意の種類の言語に翻訳した情報を翻訳データとして出力する翻訳処理部（翻訳のための各種構文解析用の辞書等が含まれる）である。
【０１８３】
上記構成におけるシステムは図２と同様であるので、その説明は省略する。
【０１８４】
次に処理の流れについて図１９、図４、図３３、図１０のフローチャート、及び図３２、図２、図４０、図１５、図１６、図１７、図４１に従って説明する。
【０１８５】
本第９の実施形態では２４ビット多値画像をスキャナ（２０３や２０６）より入力し、『テキスト』属性の領域に対して自動的に翻訳処理して保存し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて示す。
【０１８６】
まず、ステップＳ２３０１において、画像入力部（４１０２）であるスキャナより文書画像を多値画像として入力する。
【０１８７】
ステップＳ２３０２で、二値画像出力部（４１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１８８】
次に、ステップＳ２３０４で文書画像理解保存部（４１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。その際に、あらかじめ定められた特定領域のデータの文字認識処理ならびに翻訳処理も行う。
【０１８９】
本実施形態では、『テキスト』領域の画像データを文字認識し翻訳（日本語→英語）する例を示す。
【０１９０】
具体的な文書画像理解保存処理の例を図３３のフローチャート、及び図４０、図１５、図１６に従って説明する。
【０１９１】
本例では、文書画像理解保存処理（Ｓ２３０４）に入ったら、まずステップＳ４５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１９２】
そして、ステップＳ４５０２において領域属性が『テキスト』であれば、ステップＳ４５０３で認識用先全体画像として二値画像を選択し、ステップＳ４５０４でレイアウト解析データの領域の座標データを用いて部分画像に対して文字認識処理を行う。
【０１９３】
ステップＳ４５０５で文字認識データを文書画像理解データ（図１６）として保存する。
【０１９４】
次に、ステップＳ４５０６において文字認識した結果の文字認識データを翻訳処理し、翻訳データを作成して、ステップＳ４５０７で翻訳データも文書画像理解データ（図４１）として保存する。
【０１９５】
また、ステップＳ４５０２において、領域属性が『テキスト』でないならば、ステップＳ４５０８で切り取り先全体画像として元画像を選択し、ステップＳ４５０９でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１９６】
そして、ステップＳ４５１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ４５１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ４５１３において文書画像理解データ（図１６）として保存処理を行う。
【０１９７】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１９８】
また、ステップＳ４５１０において調べた結果が、多値画像タイプであったならば、ステップＳ４５１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ４５１３において文書画像理解データ（図１６）として保存処理を行う。
【０１９９】
本例の文書画像理解データの例も図１５に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２００】
次にステップＳ４５１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ４５０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２０１】
本実施形態では文書画像理解保存部（４１０８）において作成・保存された文書画像理解データは文書画像理解データ出力部（４１０９）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【０２０２】
利用先では、先の第１の実施形態で説明した図４と同様の処理を行うことになる。
【０２０３】
先ず、ステップＳ４０１において文書画像理解データ入力部（４１１１）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【０２０４】
具体的な文書画像理解再生処理（Ｓ４０２）の例を図３４、図１０を用いて説明する。
【０２０５】
本例では、あらかじめ定めた言語の翻訳データがある場合は自動的に翻訳データを取り出し、再生する例を示す。
【０２０６】
まず、ステップＳ４６０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【０２０７】
次に、ステップＳ４６０２において文書画像理解データを分析し、ステップＳ４６０３で、部分領域の属性が『テキスト』であるならば、ステップＳ４６０４で、文書画像理解データに翻訳データが存在するか否かを検査する。
【０２０８】
翻訳データが存在するならば、ステップＳ４６０５において、文書画像理解データから翻訳データを取り出し、ステップＳ４６０６で翻訳文を構成している文字コードに対応するフォントパターンを、白い下地画像と合成し再生画像を作成する。
【０２０９】
また、翻訳データが存在しないならば、ステップＳ４６０７において、文書画像理解データから原文の文字認識データを取り出す。
【０２１０】
ステップＳ４６０８において、取り出した原文を白い下地画像と合成し再生画像を作成する。
【０２１１】
また、ステップＳ４６０３において、部分領域の属性が『テキスト』でないのであれば、ステップＳ４６０９で文書画像理解データから画像データを取り出し、ステップＳ４６１０において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【０２１２】
再生合成処理（ステップＳ４６１０）の一例としては、第１の実施形態で説明した図１０に従って処理すれば良い。つまり、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップＳ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【０２１３】
本例では、二値画像の黒画素は１、白画素は０であるとしたとき、それを２４ビット多値画像の黒画素に対応させるため、黒画素はＲ＝０、Ｇ＝０、Ｂ＝０とし、白画素はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【０２１４】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。
【０２１５】
つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【０２１６】
以上のような処理によって１つの部分画像に対して再生合成処理（図３４のステップＳ４６０６，Ｓ４６０８，Ｓ４６１０）を終了したら、ステップＳ４６１１において残りの部分画像が存在しているか否かを調べ、存在していればステップＳ４６０２に戻り、残りの部分領域について上記の処理を繰り返す。
【０２１７】
残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【０２１８】
次に、図４におけるステップＳ４０３において画像出力部（４１１４）であるモノクロプリンターから再生画像を出力文書として出力する。
【０２１９】
［第１０の実施形態］
オペレータが入力時の画像およびレイアウト解析結果を確認し、その解析結果から特定領域を選択して翻訳を指示することも可能である。
【０２２０】
具体例を図１９（第５の実施形態で説明した）、図３５、図３６を用いて説明する。
【０２２１】
まず、ステップ２３０１で、画像入力部（４８０２）であるスキャナより文書画像を多値画像として入力する。
【０２２２】
次に、ステップＳ２３０２で、二値画像出力部（４８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０２２３】
そのレイアウト情報はレイアウト解析データ表示部（４８１６）により入力画像と重ねて表示されることにより、オペレータは、オペレータ指示部（４８１７）において、ポインティングデバイス等で翻訳処理する領域を指示することが可能とある。図３８は、この翻訳処理を行う領域の指定画面の一例を示している。図示では、第２カラムの上段部分をその翻訳対象として設定している（領域の指定をＯＮする）様を示している。
【０２２４】
次に、ステップＳ２３０５で文書画像理解保存部（４８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０２２５】
具体的な文書画像理解保存処理の例を図３６のフローチャート、及び図４０、図１５、図１６に従って説明する。
【０２２６】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ４９０１でオペレータが設定した領域のＩＤをセットする。
【０２２７】
次にステップＳ４９０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ４９０３において領域属性がテキストを含むかどうかを判断し、テキストを含む場合にはステップＳ４９０４で認識用画像として二値画像を選択し、ステップＳ４９０５でレイアウト解析データの領域の座標データを用いて部分領域に対して文字認識処理を行い文字認識データを得る。そして、ステップＳ４９０６で文字認識データを文書画像理解データとして保存する。なお、誤って写真画像等、テキストを含まない画像については最初から翻訳不可にしておくので問題は発生しない。
【０２２８】
次に、ステップＳ４９０７で部分領域の領域ＩＤを検査することにより翻訳対象領域か否かを調べる。
【０２２９】
翻訳対象領域でないならば、原文の文字認識データを保存しただけでこの領域に関する処理は終了となる。
【０２３０】
翻訳対象領域であるならば、ステップＳ４９０８において翻訳処理を行い、ステップＳ４９０９で翻訳データを文書画像理解データとして保存する。
【０２３１】
また、ステップＳ４９０３において、領域属性が翻訳対象とはならない、つまり、テキストを含んでいないならば、ステップＳ４９１０で切り取り先全体画像として元画像を選択し、ステップＳ４９１１でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０２３２】
ステップＳ４９１２において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ４９１３において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ４９１５において文書画像理解データ（図１６）として保存処理を行う。
【０２３３】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０２３４】
また、ステップＳ４９１０において調べた結果が、多値画像タイプであったならば、ステップＳ４９１４において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ４９１５において文書画像理解データ（図１６）として保存処理を行う。
【０２３５】
本例の文書画像理解データの例は図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２３６】
次にステップＳ４９１６において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ４９０２に戻り、残りの分割領域について上記の処理を繰り返す。
【０２３７】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２３８】
［第１１の実施形態］
複数言語の翻訳手段をもつことにより、１つの原文の文字認識データに対して複数の翻訳データを併せ持たせることも可能である。
【０２３９】
［第１２の実施形態］
複数の翻訳先から、オペレータが選択した言語に翻訳させることも可能である。
【０２４０】
具体例を再び図１９を用い、更に、図３５、図３７を用いて説明する。
【０２４１】
まず、ステップＳ２３０１、画像入力部（４８０２）であるスキャナより文書画像を多値画像として入力する。
【０２４２】
次に、オペレータ指示部（４８１７）により、翻訳先言語を指示する。
【０２４３】
例えばオペレータは原文が英語の文書に対して、翻訳先言語として『日本語』を指示したものとする。本例では翻訳先は１つであるが複数の言語を指定することも可能である。
【０２４４】
次いで、ステップＳ２３０２で、二値画像出力部（４８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０２４５】
次に、ステップＳ２３０５で文書画像理解保存部（４８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０２４６】
ここでのオペレータの指示としては、レイアウト解析された内容を図３９に示すように表示し、翻訳先言語を選択する処理である。本実施形態では翻訳対象はテキスト領域であるが、表等の文字を含むものをもその対象にしてもよい。
【０２４７】
具体的な文書画像理解保存処理の例を図３７のフローチャート、図４０、図１５、図１６、図１７、図４１に従って説明する。
【０２４８】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ５００１でオペレータが設定した翻訳先言語をセットし、翻訳処理の前準備を行う。
【０２４９】
次にステップＳ５００２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０２５０】
そして、ステップＳ５００３において領域属性が『テキスト』であるかどうかを判断する。もしそうなら、ステップＳ５００４に進み、その領域に対する認識用画像として二値画像を選択し、ステップＳ５００５でレイアウト解析データの領域の座標データを用いて部分領域に対して文字認識処理を行い、文字認識データを得る。さらに、ステップＳ５００６で、その文字認識データを文書画像理解データとして保存する。次いで、ステップ５００８に進み、翻訳処理を行い、ステップ５００９で翻訳結果も保存する（図４１）。
【０２５１】
一方、ステップＳ５００３において、領域属性が『テキスト』でないと判断した場合には、ステップＳ５０１０で切り取り先全体画像として元画像を選択し、Ｓ５０１１でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０２５２】
次にステップＳ５０１２において切り取った画像部分の画像タイプを調べ、二値画像タイプであれば、ステップＳ５０１３において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ５０１５において文書画像理解データ（図１６）として保存処理を行う。
【０２５３】
この時、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０２５４】
また、ステップＳ５０１２において調べた結果が、多値画像タイプであったならば、ステップＳ５０１４において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をＳ１０１５において文書画像理解データ（図１６）として保存処理を行う。
【０２５５】
さらに詳細な本例の文書画像理解データ（非テキスト画像）の例は、図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２５６】
次にステップＳ５０１６において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ５００２に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２５７】
以上説明したように本第９乃至第１２の実施形態によれば、
１）文書画像の保存時における、データ量の削減
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減
３）文書画像の保存、配信時における、再利用に適した高画質の維持
４）出力時の文書画像の画質劣化や情報欠落の防止
５）ＤＴＰ（デスクトップパプリッシング）等の電子文書への再利用の容易化
６）地球規模の文書配信時における利便性の向上
等がはかれる効果がある。
【０２５８】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０２５９】
また、図２ではネットワークを介して情報の授受を行う例を示したが、このネットワークとしてインターネットを採用しても良いのは勿論であるし、ネットワークの形態そのものによって本願発明が限定されるものではない。
【０２６０】
また、上記の各実施形態を大きく分けると、第１乃至第４の実施形態、第５乃至第８の実施形態、第９乃至第１２の実施形態に分けられるが、それらを如何様にむ見合わせても良いのは勿論である。
【０２６１】
また、本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６３】
【発明の効果】
以上説明したように第１の発明によれば、原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑えることが可能になる。
【０２６４】
また、第２の発明によれば、上記第１の発明に加えてセキュリティーに優れたものとすることができる。
【０２６５】
そして、第３の発明によれば、上記第１の発明に加えて、画像中のテキストについて自然言語の違いを吸収できるようにもなる。従って、国内外を問わずに情報を共有することができるようになる。
【図面の簡単な説明】
【図１】第１の実施形態におけるデータの流れを示す図である。
【図２】第１の実施形態のシステム構成を示す図である。
【図３】第１の実施形態における画像入力から文書画像理解保存データの出力処理までの手順を示すフローチャートである。
【図４】各実施形態における文書画像理解保存データ入力から再生画像出力までの処理手順を示すフローチャートである。
【図５】第１の実施形態の文書画像理解保存処理を示すフローチャートである。
【図６】第１の実施形態におけるテキスト判別処理を示すフローチャートである。
【図７】第１の実施形態の文書画像理解保存処理のフローチャートである。
【図８】第１の実施形態の文書画像理解保存処理のフローチャートである。
【図９】第１の実施形態の文書画像理解再生処理のフローチャートである。
【図１０】第１の実施形態の再生画像合成処理のフローチャートである。
【図１１】第２の実施形態における文書画像理解保存処理のフローチャートである。
【図１２】第３の実施形態における文書画像理解保存処理のフローチャートである。
【図１３】第３、第４の実施形態の文書画像理解再生処理のフローチャートである。
【図１４】第１の実施形態の文書画像理解データの構造を示す図である。
【図１５】第１の実施形態のレイアウト解析データの構造を示す図である。
【図１６】第１の実施形態の画像データの構造を示す図である。
【図１７】第１の実施形態の文字認識データの構造を示す図である。
【図１８】第５の実施形態におけるデータの流れを示す図である。
【図１９】第５の実施形態の画像入力から文書画像理解データ出力までのフローチャートである。
【図２０】第５の実施形態の文書画像理解保存処理のフローチャートである。
【図２１】第５の実施形態の文書画像理解再生処理のフローチャートである。
【図２２】第６の実施形態におけるデータの流れを示す図である。
【図２３】第６の実施形態の文書画像理解保存処理のフローチャートである。
【図２４】第７の実施形態におけるデータの流れを示す図である。
【図２５】第７の実施形態の文書画像理解保存処理のフローチャートである。
【図２６】第８の実施形態の文書画像理解保存処理のフローチャートである。
【図２７】第５の実施形態の画像データの構造を示す図である。
【図２８】第５の実施形態の文字認識データの構造を示す図である。
【図２９】第５の実施形態の暗号化文字認識データの構造を示す図である。
【図３０】第６の実施形態のＧＵＩの例を示す図である。
【図３１】第７の実施形態のＧＵＩの例を示す図である。
【図３２】第９の実施形態におけるデータの流れを示す図である。
【図３３】第９の実施形態の文書画像理解保存処理のフローチャートである。
【図３４】第９の実施形態の文書画像理解再生処理のフローチャートである。
【図３５】第１０の実施形態におけるデータの流れを示す図である。
【図３６】第１１の実施形態の文書画像理解保存処理のフローチャートである。
【図３７】第１１の実施形態の文書画像理解保存処理のフローチャートである。
【図３８】第１０の実施形態のＧＵＩの例を示す図である。
【図３９】第１１の実施形態のＧＵＩの例を示す図である。
【図４０】第９の実施形態の文書画像理解データの構造を示す図である。
【図４１】第９の実施形態の翻訳データの構造を示す図である。
【発明の属する技術分野】
本発明は画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体、より詳しきは文書画像を読み取り処理する画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、文書画像処理に関する技術としては、文書を光学的に入力し、全体の画像を印刷して出力する複写機や、文書を光学的に入力し、その文書画像を保存する文書データベースシステム、文書を光学的に入力し、ネットワーク或いは回線を介してその文書画像を出力するファクシミリ装置、文書を光学的に入力し、文字を認識してテキストコードを出力するＯＣＲ等の技術が存在する。
【０００３】
【発明が解決しようとする課題】
しかしながら、これまでの技術ではデジタル化やネットワーク化に適応できなくなっている。つまり、入力機器と出力機器がネットワークで接続されるようになったことや、文書のカラー化等により、
１）入力文書画像をそのまま保存、配信したのでは、データ量が大きくなる。
２）文書画像を一律に圧縮したのでは再利用に適した画質を保つことができない。
３）白黒プリンターやカラープリンター等の出力機器の違いによっては出力画質が劣化する。
４）文字認識処理（ＯＣＲ）を用いてテキストのみを配信すると図や写真等の情報の欠落がある。
５）ＯＣＲによって誤認識があった場合には、意味の欠落がある。
【０００４】
という問題がクローズアップされるようになった。
【０００５】
第１の発明はかかる問題点に鑑みなされたものであり、原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑えることを可能ならしめる画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００６】
また、第２の発明は、上記第１の発明に加えてセキュリティーに優れた画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００７】
そして、第３の発明は、上記第１の発明に加えて、画像中のテキストについて自然言語の違いを吸収できる画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、例えば第１の発明の課題を解決する画像処理装置は以下の構成を備える。すなわち、
文書の多値画像データを入力する入力手段と、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段と、
前記生成した二値画像データを属性毎の領域に分割し、当該分割された各領域のレイアウト情報を生成するレイアウト解析手段と、
前記分割された領域のうち文字を含む属性の領域の部分画像について文字認識する文字認識手段と、
前記レイアウト解析手段で生成されたレイアウト情報に基づいて、文字を含む属性の領域の面積と文字を含まない属性の領域の面積と前記文書全体の面積とを算出し、当該算出された結果に基づいて、前記文書のレイアウトタイプがテキスト系であるかピクチャー系であるかを判断するレイアウトタイプ判断手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがピクチャー系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記二値画像データから対応する領域の部分画像を切り取り、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、当該切り取られた各領域に対応する部分画像のデータを保存する第１保存手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがテキスト系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記文字認識手段で認識した当該領域の文字認識データを選択し、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、前記選択された文字認識データと前記切り取られた部分画像のデータとを保存する第２保存手段と、
前記第１保存手段あるいは前記第２保存手段で保存されたデータを出力する出力手段とを備える。
【０００９】
【発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１０】
［第１の実施形態］
図１は第１の実施形態における構成概念とデータの流れを示す図である。
【００１１】
同図において、１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、１０２は文書を画像データとして入力する画像入力部（例えばイメージスキャナ）、１０３は画像入力部から入力された元画像データ、１０４は入力文書画像から二値画像を作成する二値化処理部、１０５は作成された二値画像データ、１０６は二値画像１０５をもとにして文書を、図、テキスト、表等の各種属性毎の領域に分割した情報、すなわちレイアウト解析データを出力するレイアウト解析部、１０７はレイアウト解析データである。
【００１２】
また、１０８はレイアウト解析データをもとにして、二値画像の任意の領域の文字を認識しコード情報等を文字認識データとして出力する文字認識部、１０９は文字認識データ、１１０はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データおよび文字認識データを文書画像理解データとして保存する文書画像理解データ保存部、１１１は文書画像理解データを出力する文書画像理解データ出力部、１１２は文書画像理解データ、１１３は文書画像理解データを入力する文書画像理解データ入力部、１１４は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、１１５は再生文書画像、１１６は再生文書画像を出力する画像出力部、１１７は出力文書である。
【００１３】
また、図２は第１の実施形態を表わすシステム装置構成の例を示している。
【００１４】
同図において、２０１は文書画像理解処理（例えば図１における文書画像理解データ出力部１１１までの処理）を行うコンピュータ、２０２はデータを保存する記憶装置、２０３は画像入力を専用的に行うスキャナ、２０４はカラープリンタ、２０５はファクシミリ、２０６はカラー画像の入力及びプリント出力を複合的に行うデジタルカラー複写機（カラースキャナとカラープリンタとしての機能を有する）、２０７はプリンタを管理するプリンタサーバ、２０８はモノクロプリンタ、２０９はデータベースを管理するファイルサーバ、２１０はデータべ−ス、２１１はモノクロ画像の入力及びプリント出力を複合的に行うデジタル複写機、２１２は各デジタル機器間を接続するネットワークである。
【００１５】
次に処理の流れについて図３乃至図１０のフローチャート、及び図１、図２、図１４乃至図１７に従って説明する。
【００１６】
本実施形態では、原稿画像を２４ビット（ＲＧＢそれぞれ８ビット）多値画像データとしてスキャナ（２０３や２０６）より入力し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて説明する。
【００１７】
まず、コンピュータ２０１は、図３のステップＳ３０１において、画像入力部１０２（図１におけるスキャナ２０３）より文書画像を多値画像として入力する。
【００１８】
次に、ステップＳ３０２で、二値化処理部１０４により二値画像を作成する。二値画像の作成方法は、読み取った画像データＲＧＢ（各８ビット）から輝度成分を算出し、その算出した輝度を所定の閾値と比較することで行うものとする。
【００１９】
ステップＳ３０３では、こうして作成された二値画像をもとに、レイアウト解析部１０６により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。レイアウト情報は、図１５（ａ）に示す如く、１ページの原稿画像に対し、複数の矩形領域（部分画像）が設定され、部分画像の個数のデータが格納される。各部分画像は、識別情報（レイアウト領域ＩＤ）、切り取り幅、高さ、画像タイプ、圧縮方式、画像サイズ、そして切り取り画像データで構成されている。画像タイプには、同図（ｂ）の如く、二値画像か２４ビット多値画像かを識別情報、圧縮方式は同図（ｃ）の如くＭＭＲ，ＪＰＥＧ等がある。なお、画像タイプ、圧縮方式の種類及び数はこれ以外であっても良いのは勿論である。
【００２０】
次にステップＳ３０４においてテキストや表等の文字を含む領域の文字画像に対し文字認識（文字認識）処理を行い、ステップＳ３０５で、文書画像理解データ保存部（１０８）においてレイアウト解析データをもとにして、文字認識データならびに、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【００２１】
ここで、具体的な文書画像理解データ保存処理の例を図５、図６、図７，図８のフローチャートに沿って説明する。
【００２２】
本例では、文書画像理解データ保存処理（Ｓ３０５）に入ると、まずステップＳ５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する。
【００２３】
文書タイプの分類の例については図６に一例を示す。
【００２４】
まず、ステップＳ６０１において、文書全体の面積（ＡＳ１）を算出する。
【００２５】
次にステップＳ６０２において、領域属性が『テキスト』および『表』の領域面積の総和（ＤＳ１）を算出し、ステップＳ６０３において、総和面積（ＤＳ１）が文書全体の面積（ＡＳ１）に対して、あらかじめ定めた割合（ＴＳ１［％］）より大である。すなわち
ＤＳ１＞ＡＳ１×ＴＳ１／１００
であれば、その文書は「テキスト系」レイアウト文書と判断する（ステップＳ６０４）。
【００２６】
また、ステップＳ６０３において、テキスト系と判断されない場合に、領域属性『線図形』および『絵、写真』の領域面積の総和（ＰＳ１）を算出し（ステップＳ６０５）、ステップＳ６０６において、先に算出した『テキスト』および『表』の領域面積の総和（ＤＳ１）が領域属性『線図形』および『絵、写真』の総和面積（ＰＳ１）よりも大の場合、
すなわち
ＤＳ１＞ＰＳ１
であれば、その文書は「テキスト系」レイアウト文書と判断する。（ステップＳ６０４）
上記以外の場合であれば、ステップＳ６０７において、その文書は「ピクチャー系」レイアウト文書と判断する。
【００２７】
図５に戻って、上記のようにして文書レイアウトタイプが決定されると、ステップＳ５０２に進み、それぞれのレイアウトタイプによって分岐する。文書レイアウトタイプが「ピクチャー系」である場合は、ステップＳ５０３において、ピクチャー系文書画像理解データ保存処理を行う。
【００２８】
図７を用いて、このピクチャー系文書画像理解データ保存処理について更に詳細に説明する。
【００２９】
ピクチャー系文書画像理解データ保存処理においてはまず、ステップＳ７０１で各分割領域のレイアウト解析データを再度分析して、次に、ステップＳ７０２において領域属性が『テキスト』であれば、ステップＳ７０３で切り取り先全体画像として二値画像を選択し、ステップＳ７０５でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【００３０】
また、ステップＳ７０２において、領域属性が『テキスト』でなかった場合は、ステップＳ７０４において切り取り先全体画像として元画像である多値画像を選択し、ステップＳ７０５でレイアウト解析データの領域の座標データを用いてその部分画像である多値画像を切り取る。
【００３１】
次にステップＳ７０６において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ７０７において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ７０９において文書画像理解データ（図１４）として保存処理を行う。
【００３２】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【００３３】
また、ステップＳ７０６において調べた結果が、多値画像タイプであったならば、ステップＳ７０８において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ７０９において文書画像理解データ（図１４）として保存処理を行う。
【００３４】
さらに詳細な本例の文書画像理解データの例は、図１４、図１５および図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像情報として保存する。
【００３５】
次にステップＳ７１０において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ７０１に戻り、残りの分割領域について上記の処理を繰り返し、全ての分割領域に対して行うと、文書画像理解データ保存処理を終了する。
【００３６】
図５に戻る。同図のステップＳ５０２において文書レイアウトタイプが「テキスト系」である場合は、処理はステップＳ５０４に進み、テキスト系文書画像理解データ保存処理を行う。
【００３７】
この文書タイプがテキスト系の場合の文書画像理解保存処理を図８のフローチャート、及び図１３，１５に従って説明する。
【００３８】
本例では、文書画像理解保存処理（図３のステップＳ３０５）に入ったら、まずステップＳ８０１で各分割領域のレイアウト解析データを再度分析して各領域の領域属性を求める。
【００３９】
次に、ステップＳ８０２において領域属性が『テキスト』であれば、ステップＳ８０３でその領域の文字認識データを選択し、ステップＳ８０４でその文字認識データを文書画像理解データとして（図１４）として保存する。
【００４０】
さらに詳細な本例の文書画像理解データの例は、図１７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、行数、行間隔、第一位から第ｎ位までの文字コード、第一位から第ｎ位までの文字認識距離、文字フォントタイプ、文字サイズ、文字位置の座標、不確実フラグ、等を文字認識データとして保存する。
【００４１】
また、ステップＳ８０２で領域属性が『テキスト』でなかった場合は、ステップＳ８０５において切り取り先全体画像として元画像を選択し、ステップＳ８０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【００４２】
ステップＳ８０７において、本例の場合、元画像は多値画像であると判定されるので、ステップＳ８０８において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ８０９において文書画像理解データ（図１４）として保存処理を行う。
【００４３】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【００４４】
さらに詳細な本例の文書画像理解データの例は、図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像情報として保存する。
【００４５】
次にステップＳ８１０において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ８０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解保存処理を終了する。
【００４６】
以上のようにして、文書画像に対するレイアウトタイプ毎の理解データが保存されると、処理は図５のステップＳ５０５に進み、保存された文書画像理解データを出力する。
【００４７】
さらに、本実施形態では文書画像理解データ保存部（１１０）において作成・保存された文書画像理解データは文書画像理解データ出力部（１１１）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【００４８】
利用先（クライアントでもある）では、図４に示すように、ステップＳ４０１において文書画像理解データ入力部（１１３）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【００４９】
この具体的な文書画像理解データ再生処理の例を図９に従って説明する。
【００５０】
まず、ステップＳ９０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【００５１】
次に、ステップＳ９０２において文書画像理解データを分析し、ステップＳ９０３で、部分領域属性の検査を行い、属性が『テキスト』であるならば、ステップＳ９０４において文字認識データが存在するか否かを検査する。
【００５２】
文字認識データが存在するならば、ステップＳ９０５において文書画像理解データから文字認識データ（文字コードを含む）を取り出し、ステップＳ９０６で、取り出した文字認識データから文字フォントを白い下地画像と合成し再生画像を作成する。
【００５３】
また、ステップＳ９０３の検査で部分領域の属性が非『テキスト』であるか、ステップＳ９０４の検査で文字認識データが存在しないならば、ステップＳ９０７において文書画像理解データから部分領域の画像データを取り出し、ステップＳ９０８において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００５４】
再生画像合成処理（ステップＳ９０８）の一例としては、図１０に示すように、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップＳ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【００５５】
本例では、二値画像の黒画素は１、白画素は０、２４ビット多値画像の黒画素は、Ｒ＝０，Ｇ＝０，Ｂ＝０であり、白画素はＲ＝２５５，Ｇ＝２５５，Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【００５６】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。
【００５７】
つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【００５８】
本例では、下地画像の白画素（Ｒ＝２５５，Ｇ＝２５５，Ｂ＝２５５）と部分画像の黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）の合成画像が黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）となるように論理演算を用いている。
【００５９】
以上のような処理によって１つの部分画像に対して再生合成処理（Ｓ９０８）を終了したら、ステップＳ９０９において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ９０２に戻り、残りの部分領域について上記の処理を繰り返す。残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【００６０】
図４に戻って、上記のようにして再生処理が行われると、ステップＳ４０３において画像出力部（１１６）であるモノクロプリンターから再生画像を出力文書として出力する。
【００６１】
［第２の実施形態］
文書画像理解データ保存処理（ステップＳ３０５）において、レイアウト解析結果で領域属性がテキストとなった文書でも、画像の状態が文字認識処理に不適切な状態（ノイズ存在や、低解像度画像等）である場合に、不確実な文字認識データではなく確実な画像データを保存することも可能である。
【００６２】
以下に具体的な文書画像理解データ保存処理の他の例を図１１のフローチャートにしたがって説明する。
【００６３】
本例では、文書画像理解データ保存処理（ステップＳ３０５）に入ったら、まずステップＳ１１０１で各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する（図６）。
【００６４】
ここで、ステップＳ１１０２においてピクチャー系文書レイアウトと判定された場合は、ステップＳ１１０６においてピクチャー系文書レイアウトとして文書画像理解データ保存処理（図７）を実行する。
【００６５】
また、ステップＳ１１０２においてテキスト系文書レイアウトと判定された場合は、ステップＳ１１０３において全体文字認識信頼度（ＺＮｒ）を算出する。
【００６６】
全体文字認識信頼度の一例としては、各文字ごとの認識演算結果である認識距離値（Ｄ）が、あらかじめ定めた閾値（Ｔｄ）未満である場合、
すなわち
Ｄ＜Ｔｄ
である場合にその文字に対して不確実な文字であるとして文字認識データの不確実フラグを有効（＝“１”）にし、その不確実フラグが有効でない（＝“０”）文字数の和（ｎ）を求め、全体の文字数（Ｎ）に対する割合（ｎ／Ｎ）を全体文字認識信頼度（ＺＮｒ）としている。
すなわち
ＺＮｒ＝ｎ／Ｎ
として求める。
【００６７】
次にステップＳ１１０３において、全体文字認識信頼度（ＺＮｒ）を検査し、全体文字認識信頼度があらかじめ定めた閾値（Ｔｒ）より大、
すなわち
ＺＮｒ＞Ｔｒ
であればＯＫとし、ステップＳ１１０５においてテキスト系文書レイアウトとして文書画像理解データ保存処理（図８）を実行する。
【００６８】
また、
ＺＮｒ≦Ｔｒ
であればＮＧとし、ステップＳ１１０６においてピクチャー系文書レイアウトとして文書画像理解データ保存処理（図７）を実行する。
【００６９】
以上の結果、原稿文書の品位が悪い、或いはそこに印刷されている文字品位が悪い場合には、誤認識される率が高くなるので、認識結果を保存せず、ピクチャー系文書とすることが可能になる。従って、クライアント側で再生する場合にはオリジナルの原稿画像に忠実な再生が可能になる。
【００７０】
［第３の実施形態］
文書画像理解データ保存処理（ステップＳ３０５）において、レイアウト解析結果で領域属性がテキストとなった文書でも、部分領域毎に画像の状態が文字認識処理に不適切な状態（ノイズ存在や、低解像度画像等）であるか否かを判断し、不適切な画像と判断した場合に、不確実な文字認識データだけではなく確実な画像データをも併せて保存することも可能である。
【００７１】
以下に具体的な文書画像理解データ保存処理の例を図１２のフローチャートにしたがって説明する。
【００７２】
本例では、文書画像理解データ保存処理（ステップＳ３０５）に入ったら、まず図５のように各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する。
【００７３】
つぎにテキスト系文書レイアウトと判断された場合に、ステップＳ１２０１においてレイアウト解析データを再度分析し、ステップＳ１２０２で部分領域属性の検査を行い、属性が『テキスト』であるならば、ステップＳ１２０３で文字認識データを選択し、ステップＳ１２０４で文字認識データ保存処理を行った上、さらにステップＳ１２０５で部分領域の文字認識信頼度（ＺＭｒ）を算出する。
【００７４】
部分領域文字認識信頼度の一例としては、各文字ごとの認識演算結果である認識距離値（Ｄ）が、あらかじめ定めた閾値（Ｔｄ）未満である場合、
すなわち
Ｄ＜Ｔｄ
である場合にその文字に対して不確実な文字であるとして文字認識データの不確実フラグを有効（１）にし、その部分領域内における、不確実フラグが有効でない（０）文字数の和（ｍ）を求め、その領域内の文字数（Ｍ）に対する割合（ｍ／Ｍ）を部分領域文字認識信頼度（ＺＭｒ）として用いる。
すなわち
ＺＭｒ＝ｍ／Ｍ
として求める。
【００７５】
次にステップＳ１２０６において、部分領域文字認識信頼度（ＺＭｒ）を検査し、部分領域文字認識信頼度があらかじめ定めた閾値（Ｔｒ）より大、
すなわち
ＺＭｒ＞Ｔｒ
であればＯＫとし、画像データの保存処理は実行せずに、ステップＳ１２１４において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ１２０１に戻り、残りの部分領域について上記の処理を繰り返す。
【００７６】
残りの部分領域が存在していなければ、文書画像理解データ保存処理を終了する。
また、
ＺＭｒ≦Ｔｒ
であればＮＧとし、ステップＳ１２０７以降における画像データ保存処理を実行する。
【００７７】
［第４の実施形態］
文書画像理解再生処理時に文字認識データの信頼度に応じて文字フォントを合成するか、領域文字画像を合成するかを適応的に選択し処理することも可能である。
【００７８】
以下に処理の流れについて図４，図１３のフローチャートに従って説明する。
【００７９】
本例では部分領域毎に文字認識信頼度を求め文字フォントで出力するか領域画像で出力するかを選択する。また、文書画像領域データとして文字認識データおよび画像データの両方を持っているものとする。
【００８０】
本例ではまず、文書画像理解データの再生利用先において、ステップＳ４０１において文書画像理解データ入力部（１１３）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【００８１】
この文書画像理解データ再生処理について図１３のフローチャートで説明する。
【００８２】
ステップＳ１３０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【００８３】
次に、ステップＳ１３０２において文書画像理解データを分析し、ステップＳ１３０３で、部分領域の属性が『テキスト』であるならば、ステップＳ１３０４で、文字認識データの検査を行い、文字認識データがあるのであれば、ステップＳ１３０５で文書画像理解データから文字認識データを取り出し、ステップＳ１３０６において文字認識信頼度を調べる。
【００８４】
本例における文字認識信頼度の調べ方の一例としては、部分領域の文字認識データの不確実フラグの割合を用いるものとする。
【００８５】
具体的には、その部分領域内における、不確実フラグが有効でない（０）文字数の和（ｍ）を求め、その領域内の文字数（Ｍ）に対する割合（ｍ／Ｍ）を部分領域文字認識信頼度（ＺＭｒ）としている。
すなわち
ＺＭｒ＝ｍ／Ｍ
として求める。
【００８６】
次にステップＳ１３０７において、部分領域文字認識信頼度（ＺＭｒ）を検査し、部分領域文字認識信頼度があらかじめ定めた閾値（Ｔｒ２）より大、
すなわち
ＺＭｒ＞Ｔｒ２
である場合、ステップＳ１３０８で、取り出した文字認識データから文字フォントを白い下地画像と合成し再生画像を作成する。
【００８７】
もし、文字認識信頼度があらかじめ定めた閾値以下であるならば文書画像理解データから部分画像データを取り出し、ステップＳ１３０９において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００８８】
また、ステップＳ１３０３で、部分領域の属性が非『テキスト』である場合も文書画像理解データから部分画像データを取り出し、ステップＳ１３０４において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００８９】
以上のような処理によって１つの部分画像に対して再生合成処理（ステップＳ１３０９）を終了したら、ステップＳ１３１０において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ１３０２に戻り、残りの部分領域について上記の処理を繰り返す。
【００９０】
残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【００９１】
そして、ステップＳ４０３において画像出力部（ステップ１１４）から、合成した１ページの再生画像を出力文書として出力する。
【００９２】
以上説明したように第１乃至第４の実施形態によれば、
１）文書画像の保存時における、データ量の削減、
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減、
３）文書画像の保存、配信時における、再利用に適した高画質の維持、
４）出力時の文書画像の画質劣化や情報欠落の防止、
５）ＤＴＰ（デスクトップパブリッシング）等の電子文書への再利用の容易化、
等がはかれる効果がある。
【００９３】
［第５の実施形態］
上記実施形態に加えて、本第５の実施形態では、セキュリティーを重視する例を説明する。
【００９４】
図１８は第５の実施形態における構成概念とデータの流れを示す図である。
【００９５】
同図において、２１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、２１０２は文書を画像として入力する画像入力部、２１０３は画像入力部から入力された元画像データ、２１０４は入力文書画像から二値画像を作成する二値画像出力部、２１０５は作成された二値画像、２１０６は二値画像をもとにして文書を図やテキストや表等の各種属性毎の領域に分割した情報すなわちレイアウト解析データを出力するレイアウト解析部、２１０７はレイアウト解析データ、２１０８はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データ及び暗号化データを文書画像理解データとして保存する文書画像理解データ保存部、２１０９は文書画像理解データを出力する文書画像理解デーグ出力部、２１１０は文書画像理解データ、２１１１は文書画像理解データを入力する文書画像理解データ入力部、２１１２は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、２１１３は再生文書画像、２１１４は再生文書画像を出力する画像出力部、２１１５は出力文書、２１１６は本第５の実施形態における特徴である、任意の領域の文字認識データならびに画像データを暗号化する暗号化処理部である。
【００９６】
上記のデータの流れ及び処理が行われるシステムは、図２と同様である。
【００９７】
次に処理の流れについて図１９、図２０、図２１のフローチャート、及び図１８、図２、図１４、図１５、図２７、図２８、図２９に従って説明する。
【００９８】
本実施形態でも、２４ビット多値画像をスキャナ（２０３や２０６）より入力し、『テキスト』属性の領域に対して自動的に暗号化して保存し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて示す。
【００９９】
まず、ステップＳ２３０１において、画像入力部（２１０２）であるスキャナより文書画像を多値画像データとして入力する。ステップＳ２３０２では、二値画像出力部（２１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報を出力する。このレイアウト情報は先に説明した第１の実施形態における図１５と同様である。
【０１００】
次に、ステップＳ２３０４で文書画像理解保存部（２１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。その際に、あらかじめ定められた特定領域のデータの暗号化処理も行う。
【０１０１】
本実施形態では、『テキスト』領域の画像データを暗号化するものとする。
【０１０２】
文書画像理解保存処理の例を図２０のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１０３】
本例では、文書画像理解保存処理（ステップＳ２３０４）に入ったら、まずステップＳ２５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１０４】
次に、ステップＳ２５０２において領域属性が『テキスト』であれば、ステップＳ２５０３で切り取り先全体画像として二値画像を選択し、ステップＳ２５０４でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１０５】
次にステップＳ２５０５で、その部分画像に対して暗号化処理を行い、暗号化データを作成し、ステップＳ５０６で、暗号化データを文書画像理解データとして保存する。
【０１０６】
さらに詳細な本例の文書画像理解データの例は図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび暗号化した切り取り画像を部分画像暗号化データとして保存する。この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示すようにする。
【０１０７】
また、ステップＳ２５０２において、領域属性が非『テキスト』であるならば、ステップＳ２５０７で切り取り先全体画像として元画像を選択し、ステップＳ２５０８でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１０８】
次にステップＳ２５０９において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ２５１０において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ２５１１において文書画像理解データ（図２７）として保存処理を行う。
【０１０９】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１１０】
また、ステップＳ２５０９において調べた結果が、多値画像タイプであったならば、ステップＳ２５１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ２５１１において文書画像理解データ（図２７）として保存処理を行う。
【０１１１】
本例の文書画像理解データの例は図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１１２】
次にステップＳ２５１３において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ２５０１に戻り、残りの分割領域について上記の処理を繰り返す。
【０１１３】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。そして図１９のステップＳ２３０５に進んで、文書画像理解データを出力する。
【０１１４】
ここで、本実施形態では文書画像理解保存部（２１０８）において作成・保存された文書画像理解データは文書画像理解データ出力部（２１０９）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【０１１５】
利用先では、先の第１の実施形態で説明したように、図４のフローチャートに従って処理することになる。つまり、ステップＳ４０１において文書画像理解データ入力部（２１１１）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【０１１６】
本第５の実施形態における具体的な文書画像理解再生処理（ステップＳ４０２）の例を図２１のフローチャートに従って説明する。
【０１１７】
本例では、まず、ステップＳ２６０１において再生文書画像の下地となる画像を白い下地となるように作成する。次に、ステップＳ２６０２において文書画像理解データを分析し、ステップＳ２６０３で、部分領域の暗号化データにおける暗号化フラグが有効（＝１）であるならば、ステップＳ２６０４で、文書画像理解データから暗号化データを取り出し、暗号化解除をおこない、部分画像に戻す。
【０１１８】
また、暗号化フラグが有効になっていないのであるならば、ステップＳ２６０５で文書画像理解データから画像データを取り出す。そして、ステップＳ２６０６において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【０１１９】
再生合成処理（ステップＳ２６０６）の一例としては、第１の実施形態で説明した図１０のフローチャートに従うものである。
【０１２０】
つまり、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【０１２１】
本例では、二値画像の黒画素は１、白画素は０、２４ビット多値画像の黒画素は、Ｒ＝０、Ｇ＝０、Ｂ＝０であり、白画素はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【０１２２】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【０１２３】
本例では、下地画像の白画素（Ｒ＝２５５，Ｇ＝２５５、Ｂ＝２５５）と部分画像の黒画索（Ｒ＝０，Ｇ＝０，Ｂ＝０）の合成画像が黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）となるように論理演算を用いている。
【０１２４】
以上のような処理によって１つの部分画像に対して再生合成処理（Ｓ２６０６）を終了したら、ステップＳ２６０７において残りの部分画像が存在しているか否かを調べ、存在していればステップＳ２６０２に戻り、残りの部分領域について上記の処理を繰り返す。残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【０１２５】
そして、図４のステップＳ４０３において画像出力部（２１１４）であるモノクロプリンターから再生画像を出力文書として出力する。
【０１２６】
［第６の実施形態］
上記第５の実施形態では、テキスト領域を暗号化させるものであったが、オペレータが選択した特定属性のみを暗号化させることも可能である。この例を第６の実施形態として説明する。
【０１２７】
具体例を図１９を再度用い、更に図２２、図２３を用いて説明する。なお、図２３は図１８の変形例でもある。
【０１２８】
先ず、ステップＳ２３０１で画像入力部（２８０２）であるスキャナより文書画像を多値画像として入力する。
【０１２９】
次に、オペレータ指示部（２８１６）により、暗号化する領域属性を指示する。例えば、入力した画像を表示させ、その中の『表』属性の領域に対して暗号化するように指示する。
【０１３０】
次いで、ステップＳ３０２で、二値画像出力部（２８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１３１】
次に、ステップＳ２３０５で文書画像理解保存部（２８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１３２】
さらに具体的な文書画像理解保存処理の例を図２３のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１３３】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ２９０１でオペレータが設定した属性をセットする。図３０は、この時の表示画面の例を示しており、ウインドウ右上の暗号化指定のコンボボックスを指定し、その中で適当な領域属性について暗号化を指定することになる。ここでは、ペレータは『テキスト』を指示したものとする。設定するのはポインティングデバイス等を領域内を指定することで行えばよい。
【０１３４】
次にステップＳ２９０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ２９０３において領域属性が暗号化対象として指定されたものであれば、つまり、上記の例の場合には『テキスト』であれば、ステップＳ２９０４で切り取り先全体画像として二値画像を選択し、ステップＳ２９０５でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１３５】
さらに、ステップＳ２９０６で、その部分画像にたいして暗号化処理を行い、暗号化データを作成し、ステップＳ２９０７で、暗号化データを文書画像理解データとして保存する。
【０１３６】
この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示している。
【０１３７】
また、ステップＳ２９０３において、領域属性が非暗号化領域を示す場合には、ステップＳ２９０８で切り取り先全体画像として元画像を選択し、ステップＳ２９０９でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１３８】
次にステップＳ２９１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ２９１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ２９１３において文書画像理解データ（図２７）として保存処理を行う。
【０１３９】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１４０】
また、ステップＳ２９１０において調べた結果が、多値画像タイプであったならば、ステップＳ２９１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ２９１３において文書画像理解データ（図２７）として保存処理を行う。
【０１４１】
さらに詳細な本例の文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１４２】
次にステップＳ２９１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ２９０２に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１４３】
［第７の実施形態］
上記第６の実施形態では、属性毎に暗号化するしないを設定するものであったが、オペレータが入力時の画像およびレイアウト解析結果を確認し、その解析結果から所望とする領域を選択して暗号化を指示することも可能である。
【０１４４】
具体例を図１９、図２４、図２５を用いて説明する。
【０１４５】
まず、ステップ２０３１で、画像入力部（３００２）であるスキャナより文書画像を多値画像として入力する。
【０１４６】
次に、ステップＳ２３０２で、二値画像出力部（３００４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（３００６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１４７】
そのレイアウト情報はレイアウト解析データ表示部（３０１６）により入力画像と重ねて表示されることにより、オペレータは、オペレータ指示部（３０１７）において、ポインティングデバイス等で暗号化する領域を指示することが可能となる。図３１は、この時の操作画面であり、適当な領域を先ず、指定し、その後でその領域について暗号化の設定を“ＯＮ”にしていることを示している。暗号化対象となった領域（図示の場合にはテキスト領域）は、他の領域と区別して表示することで操作者にどの領域が暗号化されることになるのかを知らしめる。
【０１４８】
次に、ステップＳ２３０５で文書画像理解保存部（３００８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１４９】
さらに具体的な文書画像理解保存処理の例を図２５のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１５０】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ３１０１でオペレータが設定した領域のＩＤをセットする。次にステップＳ３１０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１５１】
そして、ステップＳ３１０３において領域属性が『テキスト』であれば、ステップＳ３１０４で切り取り先全体画像として二値画像を選択し、ステップＳ３１０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１５２】
また、ステップＳ３１０３において、領域属性が『テキスト』でないならば、ステップＳ３１０５で切り取り先全体画像として元画像を選択し、ステップＳ３１０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１５３】
そして、ステップＳ３１０７で領域ＩＤを検査し、暗号化対象領域か否かを調べる。
【０１５４】
暗号化対象領域であるならば、ステップＳ３１０８でその部分画像にたいして暗号化処理を行い、暗号化データを作成し、ステップＳ３１０９で、暗号化データを文書画像理解データとして保存する。
【０１５５】
この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示している。
【０１５６】
また、ステップＳ３１０７で暗号化対象領域でないならば、ステップＳ３１１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ３１１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ３１１３において文書画像理解データ（図２７）として保存処理を行う。
【０１５７】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１５８】
また、ステップＳ３１１０において調べた結果が、多値画像（写真画像等の非２値画像）タイプであったならば、ステップＳ３１１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ３１１３において文書画像理解データ（図２７）として保存処理を行う。
【０１５９】
文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１６０】
次にステップＳ３１１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ３１０２に戻り、残りの分割領域について上記の処理を繰り返す。
【０１６１】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１６２】
［第８の実施形態］
領域属性が『テキスト』など文字認識可能な領域の場合において、文字認識処理を用いて、画像データではなく文字認識データを保存する湯合や、画像データと文字認識データの両方を保存する場合等においても、文字認識データならびに画像データを暗号化することによって、暗号化データを保存することが可能である。
【０１６３】
以下に具体例を第８の実施形態として説明する。ここでは、一例として、『テキスト』の場合は文字認識結果を暗号化した暗号化データ、他の領域は画像データを保存させる例を、図１８、図１９、図２６、図１４、図１５、図２７、図２８、図２９を用いて説明する。
【０１６４】
まず、ステップＳ２３０１において、画像入力部（２１０２）であるスキャナより文書画像を多値画像として入力する。
【０１６５】
ステップＳ２３０２で、二値画像出力部（２１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１６６】
次に、ステップＳ２３０４で文書画像理解保存部（２１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１６７】
その際に、あらかじめ定められた特定領域のデータの暗号化処理も行う。
【０１６８】
さらに具体的な文書画像理解保存処理の例を図２６のフローチャート、及び図１４、図１５、図２７、図２８、図２９に従って説明する。
【０１６９】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ３２０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ３２０２において領域属性が『テキスト』であれば、ステップＳ３２０３で認識用先全体画像として二値画像を選択し、ステップＳ３２０４でレイアウト解析データの領域の座標データを用いて部分画像に対して文字認識処理を行う。
【０１７０】
次に、ステップＳ３２０５において文字認識した結果の文字認識データを暗号化処理し、暗号化データを作成して、ステップＳ３２０６で、暗号化データを文書画像理解データ（図２９）として保存する。ここで暗号化フラグが有効（＝１）にすることは、そのデータが暗号化されていることを示している。
【０１７１】
また、ステップＳ３２０２において、領域属性が『テキスト』でないならば、ステップＳ３２０７で切り取り先全体画像として元画像を選択し、ステップＳ３２０８でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１７２】
そして、ステップＳ３２０９において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ３２１０において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ３２１１において文書画像理解データ（図２７）として保存処理を行う。
【０１７３】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１７４】
また、ステップＳ３２１０において調べた結果が、多値画像タイプであったならば、ステップＳ３２１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ３２１１において文書画像理解データ（図２７）として保存処理を行う。
【０１７５】
さらに詳細な本例の文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１７６】
次にステップＳ３２１３において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ３２０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１７７】
なお、上記処理に更に、入力した多値画像を表示し、暗号化しようとする領域を指定していき、その中でテキスト領域についてはそのテキスト画像及び文字認識結果の両方を暗号化させるようにしてもよい。解読できるユーザ以外（解除できるキーを入力しなければ）は、その領域は「暗号化されているため表示できません」というメッセージを表示し、その領域をマウス等で指示したときに解除するキー入力を促すキー入力ダイアログボックスを表示し、設定された番号キーと一致した場合にそれを表示するようにする。なお、印刷する場合にも解除しなければその領域の印刷は行わない。
【０１７８】
以上説明したように第５乃至第８の実施形態によれば、
１）文書画像の保存時における、データ量の削減
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減
３）文書画像の保存、配信時における、再利用に適した高画質の維持
４）出力時の文書画像の画質劣化や情報欠落の防止
５）ＤＴＰ（デスクトップパプリッシング）等の電子文書への再利用の容易化
６）文書画像の保存、配信時におけるセキュリテイーの向上
等がはかれる効果がある。
【０１７９】
［第９の実施形態］
本第９の実施形態では、例えば文書画像中のあるテキストの言語を他の言語に翻訳する機能を付加する例について説明する。
【０１８０】
図３２は第９の実施形態における構成概念及びデータの流れを示している。
【０１８１】
同図において、４１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、４１０２は文書を画像として入力する画像入力部、４１０３は画像入力部から入力された元画像データ、４１０４は入力文書画像から二値画像を作成する二値画像出力部、４１０５は作成された二値画像、４１０６は二値画像をもとにして文書を図やテキストや表等の各種属性毎の領域に分割した情報すなわちレイアウト解析データを出力するレイアウト解析部、４１０７はレイアウト解析データ、４１０８はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データ、文字認識データ、および翻訳データを文書画像理解データとして保存する文書画像理解データ保存部である。
【０１８２】
４１０９は文書画像理解データを出力する文書画像理解デーグ出力部、４１１０は文書画像理解保存データ、４１１１は文書画像理解保存データを入力する文書画像理解データ入力部、４１１２は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、４１１３は再生文書画像、４１１４は再生文書画像を出力する、画像出力部である。４１１５は出力文書、４１１６は任意の領域の文字を認識しコード情報等を文字認識データとして出力する文字認識処理部、４１１７は任意の種類の言語を他の任意の種類の言語に翻訳した情報を翻訳データとして出力する翻訳処理部（翻訳のための各種構文解析用の辞書等が含まれる）である。
【０１８３】
上記構成におけるシステムは図２と同様であるので、その説明は省略する。
【０１８４】
次に処理の流れについて図１９、図４、図３３、図１０のフローチャート、及び図３２、図２、図４０、図１５、図１６、図１７、図４１に従って説明する。
【０１８５】
本第９の実施形態では２４ビット多値画像をスキャナ（２０３や２０６）より入力し、『テキスト』属性の領域に対して自動的に翻訳処理して保存し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて示す。
【０１８６】
まず、ステップＳ２３０１において、画像入力部（４１０２）であるスキャナより文書画像を多値画像として入力する。
【０１８７】
ステップＳ２３０２で、二値画像出力部（４１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１８８】
次に、ステップＳ２３０４で文書画像理解保存部（４１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。その際に、あらかじめ定められた特定領域のデータの文字認識処理ならびに翻訳処理も行う。
【０１８９】
本実施形態では、『テキスト』領域の画像データを文字認識し翻訳（日本語→英語）する例を示す。
【０１９０】
具体的な文書画像理解保存処理の例を図３３のフローチャート、及び図４０、図１５、図１６に従って説明する。
【０１９１】
本例では、文書画像理解保存処理（Ｓ２３０４）に入ったら、まずステップＳ４５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１９２】
そして、ステップＳ４５０２において領域属性が『テキスト』であれば、ステップＳ４５０３で認識用先全体画像として二値画像を選択し、ステップＳ４５０４でレイアウト解析データの領域の座標データを用いて部分画像に対して文字認識処理を行う。
【０１９３】
ステップＳ４５０５で文字認識データを文書画像理解データ（図１６）として保存する。
【０１９４】
次に、ステップＳ４５０６において文字認識した結果の文字認識データを翻訳処理し、翻訳データを作成して、ステップＳ４５０７で翻訳データも文書画像理解データ（図４１）として保存する。
【０１９５】
また、ステップＳ４５０２において、領域属性が『テキスト』でないならば、ステップＳ４５０８で切り取り先全体画像として元画像を選択し、ステップＳ４５０９でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１９６】
そして、ステップＳ４５１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ４５１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ４５１３において文書画像理解データ（図１６）として保存処理を行う。
【０１９７】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１９８】
また、ステップＳ４５１０において調べた結果が、多値画像タイプであったならば、ステップＳ４５１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ４５１３において文書画像理解データ（図１６）として保存処理を行う。
【０１９９】
本例の文書画像理解データの例も図１５に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２００】
次にステップＳ４５１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ４５０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２０１】
本実施形態では文書画像理解保存部（４１０８）において作成・保存された文書画像理解データは文書画像理解データ出力部（４１０９）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【０２０２】
利用先では、先の第１の実施形態で説明した図４と同様の処理を行うことになる。
【０２０３】
先ず、ステップＳ４０１において文書画像理解データ入力部（４１１１）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【０２０４】
具体的な文書画像理解再生処理（Ｓ４０２）の例を図３４、図１０を用いて説明する。
【０２０５】
本例では、あらかじめ定めた言語の翻訳データがある場合は自動的に翻訳データを取り出し、再生する例を示す。
【０２０６】
まず、ステップＳ４６０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【０２０７】
次に、ステップＳ４６０２において文書画像理解データを分析し、ステップＳ４６０３で、部分領域の属性が『テキスト』であるならば、ステップＳ４６０４で、文書画像理解データに翻訳データが存在するか否かを検査する。
【０２０８】
翻訳データが存在するならば、ステップＳ４６０５において、文書画像理解データから翻訳データを取り出し、ステップＳ４６０６で翻訳文を構成している文字コードに対応するフォントパターンを、白い下地画像と合成し再生画像を作成する。
【０２０９】
また、翻訳データが存在しないならば、ステップＳ４６０７において、文書画像理解データから原文の文字認識データを取り出す。
【０２１０】
ステップＳ４６０８において、取り出した原文を白い下地画像と合成し再生画像を作成する。
【０２１１】
また、ステップＳ４６０３において、部分領域の属性が『テキスト』でないのであれば、ステップＳ４６０９で文書画像理解データから画像データを取り出し、ステップＳ４６１０において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【０２１２】
再生合成処理（ステップＳ４６１０）の一例としては、第１の実施形態で説明した図１０に従って処理すれば良い。つまり、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップＳ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【０２１３】
本例では、二値画像の黒画素は１、白画素は０であるとしたとき、それを２４ビット多値画像の黒画素に対応させるため、黒画素はＲ＝０、Ｇ＝０、Ｂ＝０とし、白画素はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【０２１４】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。
【０２１５】
つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【０２１６】
以上のような処理によって１つの部分画像に対して再生合成処理（図３４のステップＳ４６０６，Ｓ４６０８，Ｓ４６１０）を終了したら、ステップＳ４６１１において残りの部分画像が存在しているか否かを調べ、存在していればステップＳ４６０２に戻り、残りの部分領域について上記の処理を繰り返す。
【０２１７】
残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【０２１８】
次に、図４におけるステップＳ４０３において画像出力部（４１１４）であるモノクロプリンターから再生画像を出力文書として出力する。
【０２１９】
［第１０の実施形態］
オペレータが入力時の画像およびレイアウト解析結果を確認し、その解析結果から特定領域を選択して翻訳を指示することも可能である。
【０２２０】
具体例を図１９（第５の実施形態で説明した）、図３５、図３６を用いて説明する。
【０２２１】
まず、ステップ２３０１で、画像入力部（４８０２）であるスキャナより文書画像を多値画像として入力する。
【０２２２】
次に、ステップＳ２３０２で、二値画像出力部（４８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０２２３】
そのレイアウト情報はレイアウト解析データ表示部（４８１６）により入力画像と重ねて表示されることにより、オペレータは、オペレータ指示部（４８１７）において、ポインティングデバイス等で翻訳処理する領域を指示することが可能とある。図３８は、この翻訳処理を行う領域の指定画面の一例を示している。図示では、第２カラムの上段部分をその翻訳対象として設定している（領域の指定をＯＮする）様を示している。
【０２２４】
次に、ステップＳ２３０５で文書画像理解保存部（４８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０２２５】
具体的な文書画像理解保存処理の例を図３６のフローチャート、及び図４０、図１５、図１６に従って説明する。
【０２２６】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ４９０１でオペレータが設定した領域のＩＤをセットする。
【０２２７】
次にステップＳ４９０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ４９０３において領域属性がテキストを含むかどうかを判断し、テキストを含む場合にはステップＳ４９０４で認識用画像として二値画像を選択し、ステップＳ４９０５でレイアウト解析データの領域の座標データを用いて部分領域に対して文字認識処理を行い文字認識データを得る。そして、ステップＳ４９０６で文字認識データを文書画像理解データとして保存する。なお、誤って写真画像等、テキストを含まない画像については最初から翻訳不可にしておくので問題は発生しない。
【０２２８】
次に、ステップＳ４９０７で部分領域の領域ＩＤを検査することにより翻訳対象領域か否かを調べる。
【０２２９】
翻訳対象領域でないならば、原文の文字認識データを保存しただけでこの領域に関する処理は終了となる。
【０２３０】
翻訳対象領域であるならば、ステップＳ４９０８において翻訳処理を行い、ステップＳ４９０９で翻訳データを文書画像理解データとして保存する。
【０２３１】
また、ステップＳ４９０３において、領域属性が翻訳対象とはならない、つまり、テキストを含んでいないならば、ステップＳ４９１０で切り取り先全体画像として元画像を選択し、ステップＳ４９１１でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０２３２】
ステップＳ４９１２において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ４９１３において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ４９１５において文書画像理解データ（図１６）として保存処理を行う。
【０２３３】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０２３４】
また、ステップＳ４９１０において調べた結果が、多値画像タイプであったならば、ステップＳ４９１４において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ４９１５において文書画像理解データ（図１６）として保存処理を行う。
【０２３５】
本例の文書画像理解データの例は図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２３６】
次にステップＳ４９１６において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ４９０２に戻り、残りの分割領域について上記の処理を繰り返す。
【０２３７】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２３８】
［第１１の実施形態］
複数言語の翻訳手段をもつことにより、１つの原文の文字認識データに対して複数の翻訳データを併せ持たせることも可能である。
【０２３９】
［第１２の実施形態］
複数の翻訳先から、オペレータが選択した言語に翻訳させることも可能である。
【０２４０】
具体例を再び図１９を用い、更に、図３５、図３７を用いて説明する。
【０２４１】
まず、ステップＳ２３０１、画像入力部（４８０２）であるスキャナより文書画像を多値画像として入力する。
【０２４２】
次に、オペレータ指示部（４８１７）により、翻訳先言語を指示する。
【０２４３】
例えばオペレータは原文が英語の文書に対して、翻訳先言語として『日本語』を指示したものとする。本例では翻訳先は１つであるが複数の言語を指定することも可能である。
【０２４４】
次いで、ステップＳ２３０２で、二値画像出力部（４８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０２４５】
次に、ステップＳ２３０５で文書画像理解保存部（４８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０２４６】
ここでのオペレータの指示としては、レイアウト解析された内容を図３９に示すように表示し、翻訳先言語を選択する処理である。本実施形態では翻訳対象はテキスト領域であるが、表等の文字を含むものをもその対象にしてもよい。
【０２４７】
具体的な文書画像理解保存処理の例を図３７のフローチャート、図４０、図１５、図１６、図１７、図４１に従って説明する。
【０２４８】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ５００１でオペレータが設定した翻訳先言語をセットし、翻訳処理の前準備を行う。
【０２４９】
次にステップＳ５００２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０２５０】
そして、ステップＳ５００３において領域属性が『テキスト』であるかどうかを判断する。もしそうなら、ステップＳ５００４に進み、その領域に対する認識用画像として二値画像を選択し、ステップＳ５００５でレイアウト解析データの領域の座標データを用いて部分領域に対して文字認識処理を行い、文字認識データを得る。さらに、ステップＳ５００６で、その文字認識データを文書画像理解データとして保存する。次いで、ステップ５００８に進み、翻訳処理を行い、ステップ５００９で翻訳結果も保存する（図４１）。
【０２５１】
一方、ステップＳ５００３において、領域属性が『テキスト』でないと判断した場合には、ステップＳ５０１０で切り取り先全体画像として元画像を選択し、Ｓ５０１１でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０２５２】
次にステップＳ５０１２において切り取った画像部分の画像タイプを調べ、二値画像タイプであれば、ステップＳ５０１３において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ５０１５において文書画像理解データ（図１６）として保存処理を行う。
【０２５３】
この時、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０２５４】
また、ステップＳ５０１２において調べた結果が、多値画像タイプであったならば、ステップＳ５０１４において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をＳ１０１５において文書画像理解データ（図１６）として保存処理を行う。
【０２５５】
さらに詳細な本例の文書画像理解データ（非テキスト画像）の例は、図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２５６】
次にステップＳ５０１６において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ５００２に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２５７】
以上説明したように本第９乃至第１２の実施形態によれば、
１）文書画像の保存時における、データ量の削減
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減
３）文書画像の保存、配信時における、再利用に適した高画質の維持
４）出力時の文書画像の画質劣化や情報欠落の防止
５）ＤＴＰ（デスクトップパプリッシング）等の電子文書への再利用の容易化
６）地球規模の文書配信時における利便性の向上
等がはかれる効果がある。
【０２５８】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０２５９】
また、図２ではネットワークを介して情報の授受を行う例を示したが、このネットワークとしてインターネットを採用しても良いのは勿論であるし、ネットワークの形態そのものによって本願発明が限定されるものではない。
【０２６０】
また、上記の各実施形態を大きく分けると、第１乃至第４の実施形態、第５乃至第８の実施形態、第９乃至第１２の実施形態に分けられるが、それらを如何様にむ見合わせても良いのは勿論である。
【０２６１】
また、本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６３】
【発明の効果】
以上説明したように第１の発明によれば、原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑えることが可能になる。
【０２６４】
また、第２の発明によれば、上記第１の発明に加えてセキュリティーに優れたものとすることができる。
【０２６５】
そして、第３の発明によれば、上記第１の発明に加えて、画像中のテキストについて自然言語の違いを吸収できるようにもなる。従って、国内外を問わずに情報を共有することができるようになる。
【図面の簡単な説明】
【図１】第１の実施形態におけるデータの流れを示す図である。
【図２】第１の実施形態のシステム構成を示す図である。
【図３】第１の実施形態における画像入力から文書画像理解保存データの出力処理までの手順を示すフローチャートである。
【図４】各実施形態における文書画像理解保存データ入力から再生画像出力までの処理手順を示すフローチャートである。
【図５】第１の実施形態の文書画像理解保存処理を示すフローチャートである。
【図６】第１の実施形態におけるテキスト判別処理を示すフローチャートである。
【図７】第１の実施形態の文書画像理解保存処理のフローチャートである。
【図８】第１の実施形態の文書画像理解保存処理のフローチャートである。
【図９】第１の実施形態の文書画像理解再生処理のフローチャートである。
【図１０】第１の実施形態の再生画像合成処理のフローチャートである。
【図１１】第２の実施形態における文書画像理解保存処理のフローチャートである。
【図１２】第３の実施形態における文書画像理解保存処理のフローチャートである。
【図１３】第３、第４の実施形態の文書画像理解再生処理のフローチャートである。
【図１４】第１の実施形態の文書画像理解データの構造を示す図である。
【図１５】第１の実施形態のレイアウト解析データの構造を示す図である。
【図１６】第１の実施形態の画像データの構造を示す図である。
【図１７】第１の実施形態の文字認識データの構造を示す図である。
【図１８】第５の実施形態におけるデータの流れを示す図である。
【図１９】第５の実施形態の画像入力から文書画像理解データ出力までのフローチャートである。
【図２０】第５の実施形態の文書画像理解保存処理のフローチャートである。
【図２１】第５の実施形態の文書画像理解再生処理のフローチャートである。
【図２２】第６の実施形態におけるデータの流れを示す図である。
【図２３】第６の実施形態の文書画像理解保存処理のフローチャートである。
【図２４】第７の実施形態におけるデータの流れを示す図である。
【図２５】第７の実施形態の文書画像理解保存処理のフローチャートである。
【図２６】第８の実施形態の文書画像理解保存処理のフローチャートである。
【図２７】第５の実施形態の画像データの構造を示す図である。
【図２８】第５の実施形態の文字認識データの構造を示す図である。
【図２９】第５の実施形態の暗号化文字認識データの構造を示す図である。
【図３０】第６の実施形態のＧＵＩの例を示す図である。
【図３１】第７の実施形態のＧＵＩの例を示す図である。
【図３２】第９の実施形態におけるデータの流れを示す図である。
【図３３】第９の実施形態の文書画像理解保存処理のフローチャートである。
【図３４】第９の実施形態の文書画像理解再生処理のフローチャートである。
【図３５】第１０の実施形態におけるデータの流れを示す図である。
【図３６】第１１の実施形態の文書画像理解保存処理のフローチャートである。
【図３７】第１１の実施形態の文書画像理解保存処理のフローチャートである。
【図３８】第１０の実施形態のＧＵＩの例を示す図である。
【図３９】第１１の実施形態のＧＵＩの例を示す図である。
【図４０】第９の実施形態の文書画像理解データの構造を示す図である。
【図４１】第９の実施形態の翻訳データの構造を示す図である。
Claims (9)
- 文書の多値画像データを入力する入力手段と、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段と、
前記生成した二値画像データを属性毎の領域に分割し、当該分割された各領域のレイアウト情報を生成するレイアウト解析手段と、
前記分割された領域のうち文字を含む属性の領域の部分画像について文字認識する文字認識手段と、
前記レイアウト解析手段で生成されたレイアウト情報に基づいて、文字を含む属性の領域の面積と文字を含まない属性の領域の面積と前記文書全体の面積とを算出し、当該算出された結果に基づいて、前記文書のレイアウトタイプがテキスト系であるかピクチャー系であるかを判断するレイアウトタイプ判断手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがピクチャー系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記二値画像データから対応する領域の部分画像を切り取り、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、当該切り取られた各領域に対応する部分画像のデータを保存する第１保存手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがテキスト系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記文字認識手段で認識した当該領域の文字認識データを選択し、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、前記選択された文字認識データと前記切り取られた部分画像のデータとを保存する第２保存手段と、
前記第１保存手段あるいは前記第２保存手段で保存されたデータを出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記レイアウトタイプ判断手段は、前記文字を含む属性の領域の面積が前記文書全体の面積に対して所定割合より大きい場合、前記文書のレイアウトタイプをテキスト系であると判断し、
前記文字を含む属性の領域の面積が前記文書全体の面積に対して前記所定割合以下である場合は更に、前記文字を含む属性の領域の面積が前記文字を含まない属性の領域の面積よりも大きければ、前記文書のレイアウトタイプをテキスト系と判断し、前記文字を含む属性の領域の面積が前記文字を含まない属性の領域の面積以下であれば、前記文書のレイアウトタイプをピクチャー系と判断することを特徴とする請求項１に記載の画像処理装置。 - 前記第１保存手段は、前記切り取られた領域の部分画像が二値画像であれば二値画像用の圧縮処理を施し、前記切り取られた領域の部分画像が多値画像であれば多値画像用の圧縮処理を施し、当該圧縮処理が施された各領域に対応する部分画像のデータを保存することを特徴とする請求項第１項または第２項に記載の画像処理装置。
- 前記第２保存手段は、前記切り取られた部分画像に対して多値画像用の圧縮処理を施し、当該圧縮処理が施された部分画像のデータと前記選択された文字認識データとを保存することを特徴とする請求項第１項乃至第３項のいずれか１項に記載の画像処理装置。
- 前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがテキスト系であると判断された場合に、前記文字認識手段による文字認識信頼度を算出する算出手段を、更に備え、
前記算出手段で算出された文字認識信頼度が所定閾値より大きければ、前記文書のレイアウトタイプをテキスト系として前記第２保存手段による保存処理を行い、前記算出手段で算出された文字認識信頼度が前記所定閾値以下であれば、前記文書のレイアウトタイプ をピクチャー系として前記第１保存手段による保存処理を行うことを特徴とする請求項第１項に記載の画像処理装置。 - 前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがテキスト系であると判断された場合に、前記文字を含む属性の領域ごとに前記文字認識手段による文字認識信頼度を算出する第２の算出手段を更に備え、
前記第２保存手段は、前記第２算出手段で算出された文字認識信頼度が低い領域については、前記文字認識データではなく、前記二値画像データから当該対応する領域の部分画像を切り取って保存対象とすることを特徴とする請求項第１項に記載の画像処理装置。 - 入力手段が、文書の多値画像データを入力する入力工程と、
二値画像生成手段が、前記入力した多値画像データから二値画像データを生成する二値画像生成工程と、
レイアウト解析手段が、前記生成した二値画像データを属性毎の領域に分割し、当該分割された各領域のレイアウト情報を生成するレイアウト解析工程と、
文字認識手段が、前記分割された領域のうち文字を含む属性のテキスト領域の部分画像について文字認識する文字認識工程と、
レイアウトタイプ判断手段が、前記レイアウト解析工程で生成されたレイアウト情報に基づいて、文字を含む属性の領域の面積と文字を含まない属性の領域の面積と前記文書全体の面積とを算出し、当該算出された結果に基づいて、前記文書のレイアウトタイプがテキスト系であるかピクチャー系であるかを判断するレイアウトタイプ判断工程と、
第１保存手段が、前記レイアウトタイプ判断工程で前記文書のレイアウトタイプがピクチャー系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記二値画像データから対応する領域の部分画像を切り取り、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、当該切り取られた各領域に対応する部分画像のデータを保存する第１保存工程と、
第２保存手段が、前記レイアウトタイプ判断工程で前記文書のレイアウトタイプがテキスト系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記文字認識工程で認識した当該領域の文字認識データを選択し、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、前記選択された文字認識データと前記切り取られた部分画像のデータとを保存する第２保存工程と、
出力手段が、前記第１保存工程あるいは前記第２保存工程で保存されたデータを出力する出力工程と
を備えることを特徴とする画像処理方法。 - コンピュータが読み込み実行するプログラムを格納する記憶媒体であって、
コンピュータを、
文書の多値画像データを入力する入力手段、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段、
前記生成した二値画像データを属性毎の領域に分割し、当該分割された各領域のレイアウト情報を生成するレイアウト解析手段、
前記分割された領域のうち文字を含む属性の領域の部分画像について文字認識する文字認識手段、
前記レイアウト解析手段で生成されたレイアウト情報に基づいて、文字を含む属性の領域の面積と文字を含まない属性の領域の面積と前記文書全体の面積とを算出し、当該算出された結果に基づいて、前記文書のレイアウトタイプがテキスト系であるかピクチャー系であるかを判断するレイアウトタイプ判断手段、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがピクチャー系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記 二値画像データから対応する領域の部分画像を切り取り、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、当該切り取られた各領域に対応する部分画像のデータを保存する第１保存手段、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがテキスト系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記文字認識手段で認識した当該領域の文字認識データを選択し、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、前記選択された文字認識データと前記切り取られた部分画像のデータとを保存する第２保存手段、
前記第１保存手段あるいは前記第２保存手段で保存されたデータを出力する出力手段
として機能させるためのプログラムを格納する記憶媒体。 - 画像データ発生装置と再生装置で構成される画像処理システムであって、
前記画像データ発生装置は、
文書の多値画像データを入力する入力手段と、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段と、
前記生成した二値画像データを属性毎の領域に分割し、当該分割された各領域のレイアウト情報を生成するレイアウト解析手段と、
前記分割された領域のうち文字を含む属性の領域の部分画像について文字認識する文字認識手段と、
前記レイアウト解析手段で生成されたレイアウト情報に基づいて、文字を含む属性の領域の面積と文字を含まない属性の領域の面積と前記文書全体の面積とを算出し、当該算出された結果に基づいて、前記文書のレイアウトタイプがテキスト系であるかピクチャー系であるかを判断するレイアウトタイプ判断手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがピクチャー系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記二値画像データから対応する領域の部分画像を切り取り、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、当該切り取られた各領域に対応する部分画像のデータを保存する第１保存手段と、
前記レイアウトタイプ判断手段で前記文書のレイアウトタイプがテキスト系であると判断された場合、前記レイアウト情報に基づいて、文字を含む属性の領域については前記文字認識手段で認識した当該領域の文字認識データを選択し、文字を含まない属性の領域については前記多値画像データから対応する領域の部分画像を切り取り、前記選択された文字認識データと前記切り取られた部分画像のデータとを保存する第２保存手段と、
前記第１保存手段あるいは前記第２保存手段で保存されたデータを前記再生装置に出力する出力手段
とを備え、
前記再生装置は、
前記出力手段から出力された前記文書内の各領域に対応するデータに応じて、前記文書中の各領域に対応する部分画像を、適応的に再生条件を変更して再生して出力する出力手段を備える
ことを特徴とする画像処理システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13482599A JP4065473B2 (ja) | 1999-05-14 | 1999-05-14 | 画像処理装置及び方法及び記憶媒体及びシステム |
| US09/570,611 US7426054B1 (en) | 1999-05-13 | 2000-05-12 | Image processing apparatus, image reproduction apparatus, system, method and storage medium for image processing and image reproduction |
| US12/198,498 US7639388B2 (en) | 1999-05-13 | 2008-08-26 | Image processing apparatus, image reproduction apparatus, system, method and storage medium for image processing and image reproduction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13482599A JP4065473B2 (ja) | 1999-05-14 | 1999-05-14 | 画像処理装置及び方法及び記憶媒体及びシステム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007305073A Division JP4533422B2 (ja) | 2007-11-26 | 2007-11-26 | 画像処理装置及び方法及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000332984A JP2000332984A (ja) | 2000-11-30 |
| JP4065473B2 true JP4065473B2 (ja) | 2008-03-26 |
Family
ID=15137366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13482599A Expired - Fee Related JP4065473B2 (ja) | 1999-05-13 | 1999-05-14 | 画像処理装置及び方法及び記憶媒体及びシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4065473B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4189506B2 (ja) | 2000-06-09 | 2008-12-03 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理のための装置、方法及び記録媒体 |
| JP4533187B2 (ja) * | 2005-03-01 | 2010-09-01 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| JP4983526B2 (ja) * | 2007-10-15 | 2012-07-25 | 富士ゼロックス株式会社 | データ処理装置及びデータ処理プログラム |
| WO2009144796A1 (ja) | 2008-05-29 | 2009-12-03 | 株式会社Pfu | 電子ドキュメント処理システム、方法およびプログラム |
| JP5606385B2 (ja) | 2011-04-28 | 2014-10-15 | 楽天株式会社 | サーバ装置、サーバ装置の制御方法、及び、プログラム |
| JP6708476B2 (ja) | 2016-05-27 | 2020-06-10 | キヤノン株式会社 | 文書保存処理システム |
| JP6888410B2 (ja) * | 2017-05-15 | 2021-06-16 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
| JP2019140480A (ja) * | 2018-02-08 | 2019-08-22 | 富士ゼロックス株式会社 | 画像処理装置、画像形成システムおよびプログラム |
-
1999
- 1999-05-14 JP JP13482599A patent/JP4065473B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000332984A (ja) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100419782C (zh) | 图象处理方法 | |
| JP5302768B2 (ja) | 画像処理装置及び画像処理方法 | |
| US7639388B2 (en) | Image processing apparatus, image reproduction apparatus, system, method and storage medium for image processing and image reproduction | |
| US7113642B2 (en) | Method and apparatus for encoding/decoding image data | |
| US7532757B2 (en) | Image processing apparatus, control method therefor, and program | |
| RU2360288C2 (ru) | Файлы, содержащие смешанный растр | |
| CN101626448B (zh) | 图像处理装置和图像处理方法 | |
| JP2001195536A (ja) | コード及びコードのエンコーディング／デコーディング方法及び装置 | |
| US20060114484A1 (en) | Image processing apparatus and method therefor | |
| JP4065473B2 (ja) | 画像処理装置及び方法及び記憶媒体及びシステム | |
| US6687406B2 (en) | Image coding without coding clipped regions | |
| JP4533422B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| US8270722B2 (en) | Image processing with preferential vectorization of character and graphic regions | |
| JP2005259017A (ja) | 画像処理装置、画像処理用プログラム及び記憶媒体 | |
| JP5007639B2 (ja) | 画像処理装置及び画像処理プログラム | |
| KR100447762B1 (ko) | 서적 등에 부가된 코드이미지를 이용한 멀티미디어 정보서비스 방법 및 그 장치 | |
| JP2002254709A (ja) | プリンタ装置及び画像処理装置 | |
| JPH05266247A (ja) | 画像データ処理システム | |
| JP4109793B2 (ja) | 画像処理装置及びその方法 | |
| JP4158681B2 (ja) | 画像処理システム | |
| JP2006344014A (ja) | 情報処理装置、情報処理方法、および、情報処理プログラム | |
| JP2004318187A (ja) | 画像生成装置および画像生成システム | |
| JP3880240B2 (ja) | 画像処理装置及びその方法 | |
| JP4848938B2 (ja) | 情報処理システムおよび情報処理プログラム | |
| JP3865688B2 (ja) | 外字処理システム、外字処理プログラム及び外字処理の方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060515 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |