JP4927122B2 - 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像データの天地方向を判定し、文字認識を行う画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体に関するものである。

従来、画像処理技術の一つとして、画像データに含まれる文字を認識する技術が知られている。この文字認識技術は、例えば画像読取装置にて読み取られた原稿画像の画像データについて文字認識を行うものである。

文字認識を行う場合、画像データが正規の状態から９０度あるいは１８０度回転していると、文字を正確に認識することができない。このため、画像データの天地を判定し、その判定結果が示す天地方向に基づいて文字認識を行う必要がある。

一方、画像データのなかには、文字を含む表やグラフなど、形式が異なる複数の領域を含むものがある。このような画像データについては、単純に天地を判定することが困難である。そこで、例えば特許文献１では、文書画像中の文字領域を、テキスト領域、タイトル領域、表中の文字領域および図面のキャプション領域の各部分領域に分離している。そして、下記の何れかの方法で文書画像の方向を判定し、全文字領域にわたって文字認識を実行している。
（１）テキスト領域、タイトル領域、表中の文字領域および図のキャプション領域に優先順位をつけ、優先順位の高い領域を用いて文書方向を判定し、その判定結果を文書方向とする。
（２）文字領域の方向判定において自信度の高い判定結果を用い、この判定結果が複数の文字領域で一致する場合、その方向を文書方向として決定する。
（３）全文字領域の方向判定を行い、判定結果の回数の多い方向をもって文書の方向を決定する。

また、特許文献２には次の技術が記載されている。すなわち、画像データを複数の領域に分割し、各分割領域について、それらを原稿全体に対する天地認識に使用した場合の信頼度を求める。次に、信頼度が最も高い値となった領域から文字データを切り出して、天地認識処理を行う。

特開平９−６９１３６号公報（平成９年３月１１日公開） 特開２０００−３２２４７号公報（平成１２年１月２８日公開） 特開平６−１８９０８３号公報（平成６年７月８日公開） 特開平７−１９２０８６号公報（平成７年７月２８日公開）

特許文献１，２に示されている技術は、いずれも画像データを複数の領域に分割し、分割した各領域について天地方向を求め、それら天地方向を画像データ全体の天地方向としている。例えば、分割した領域の天地方向のうち、信頼度の高い天地方向を画像データの天地方向としている。このため、このようにして決定された天地方向に従って、画像データ全体の文字認識を行う場合において、例えば文字方向が互いに異なる複数の領域が画像データ中に存在する場合には、それら領域について文字認識を正確に行うことができないという問題点を有している。一方、文字の認識率を高めるために、文字認識を行う際に、画像データまたは参照する辞書データを回転させて文字認識を行うことが考えられる。しかしながら、そのような場合、全ての方向について画像データ全体、あるいは辞書データ全体を回転させる必要があるので、認識処理に長時間を要するという問題点が生じる。

本発明の画像処理装置は、入力された画像データを複数の部分領域に分割する領域分割部と、前記部分領域の画像データの上下左右の４方向を天地方向とした場合の信頼度をそれぞれ求め、求めた信頼度のうち、信頼度が最も高い方向をその部分領域の天地方向として設定する天地判定部と、前記天地判定部により天地方向が設定された部分領域について、天地方向の信頼度が所定値よりも低い部分領域である対象部分領域、および信頼度が所定値以上の部分領域である非対象部分領域のうち、少なくとも前記対象部分領域の画像と前記対象部分領域の天地方向を指定するユーザ入力を受け付ける指示領域の画像とを表示装置に表示させるための表示用画像データを生成する表示制御部と、前記対象部分領域については前記指示領域に対して指定された天地方向を天地方向として、前記非対象部分領域については前記天地判定部にて設定された天地方向を天地方向として、各部分領域ごとに文字認識を行う文字認識部とを備えていることを特徴としている。

本発明の画像処理方法は、入力された画像データを複数の部分領域に分割する領域分割工程と、前記部分領域の画像データの上下左右の４方向を天地方向とした場合の信頼度をそれぞれ求め、求めた信頼度のうち、信頼度が最も高い方向をその部分領域の天地方向として設定する天地判定工程と、前記天地判定工程により天地方向が設定された部分領域について、天地方向の信頼度が所定値よりも低い部分領域である対象部分領域、および信頼度が所定値以上の部分領域である非対象部分領域のうち、少なくとも前記対象部分領域の画像と前記対象部分領域の天地方向を指定するユーザ入力を受け付ける指示領域の画像とを表示装置に表示させるための表示用画像データを生成する表示制御工程と、前記対象部分領域については前記指示領域に対して指定された天地方向を天地方向として、前記非対象部分領域については前記天地判定部にて設定された天地方向を天地方向として、各部分領域ごとに文字認識を行う文字認識工程とを備えていることを特徴としている。

上記の構成によれば、天地判定部（天地判定工程）により設定された天地方向の信頼度が所定値以上の部分領域（非対象部分領域）については、その天地方向に従って文字認識部（文字認識工程）により文字認識が行われる。一方、天地判定部（天地判定工程）により設定された天地方向の信頼度が所定値よりも低い部分領域（対象分部領域）については、その対象部分領域の画像とともに、その対象部分領域の天地方向を指定するユーザ入力を受け付ける指示領域の画像が表示装置に表示される。そして、対象部分領域については、指示領域に対してユーザにより指定された天地方向に従って文字認識部（文字認識工程）により文字認識が行われる。

これにより、例えば天地方向の信頼度が低い部分領域（対象部分領域）と高い部分領域（非対象部分領域）とが混在しているような入力画像データに対しても、各部分領域に対して正しい天地方向に従って正確な文字認識を行うことができる。また、対象部分領域と非対象部分領域とでは、正しい天地方向に従って文字認識を行えるように、処理手順を異ならせているので、文字認識処理までを含む処理時間を抑制しながら、入力画像データ全体に対して高精度の文字認識処理を行うことができる。

上記の画像処理装置において、前記表示制御部は、前記対象部分領域の画像と前記指示領域の画像とを生成する表示用画像生成部と、これら対象部分領域の画像と指示領域の画像とを拡大して前記表示用画像データとして出力する表示用画像出力部とを備えている構成としてもよい。

上記の構成によれば、対象部分領域についての天地方向の指定をユーザに促す場合には、対象部分領域の画像と指示領域の画像とが拡大して表示される。これにより、ユーザは天地方向を指定すべき対象部分領域の存在を容易に知ることができ、また、指示領域への入力が容易となる。

上記の画像処理装置において、前記表示制御部は、前記指示領域に対しての天地方向を指定する入力に従って前記表示用画像データを回転させ、前記表示用画像データとして出力する回転処理部を備えている構成としてもよい。

上記の構成によれば、表示装置に表示される表示用画像データは、ユーザが指示領域に対して指定した天地方向に従って回転処理され、再度表示される。したがって、ユーザは、対象部分領域に対する天地方向の指定が正しいか否かをその場で確認することができる。また、前記表示用画像出力部において表示用画像データの間引き処理が行われている場合、回転処理部は、間引き処理された表示用画像データ（プレビュー用画像データ）を回転処理するので、処理の負担を軽減することができる。

上記の画像処理装置において、前記文字認識部は、前記非対象部分領域については前記天地判定部により設定された天地方向に従って前記非対象部分領域を回転させた後、前記対象部分領域については前記指示領域に対しての天地方向を指定する入力に従って前記対象部分領域を回転させた後、前記文字認識を行う構成としてもよい。

上記の構成によれば、文字認識部は、辞書データを参照して文字認識を行う際に、データ容量が大きい辞書データではなく、非対象部分領域および対象部分領域を回転させて文字認識を行う。したがって、文字認識における負担を軽減し、かつ処理時間を短縮することができる。

上記の画像処理装置において、前記表示制御部は、前記指示領域を前記対象部分領域に対する上下左右の４箇所の位置に配置し、各指示領域のサイズおよび色のうちの少なくとも一つを、前記天地判定部により求められた、前記４方向の信頼度の相違に応じて相違させる構成としてもよい。

上記の構成によれば、対象部分領域の周りの４箇所の位置（４方向の位置）に配置された指示領域は、天地方向としての４方向の信頼度に応じて、サイズおよび色のうちの少なくとも一つが互いに異なる状態にて表示される。したがって、ユーザが指示領域に対して対象部分領域の天地方向を指定する場合に、各指示領域の表示状態の相違を参考にして、指示領域に対する天地方向の指定を容易に行うことができる。

本発明の構成によれば、例えば天地方向の信頼度が低い部分領域（対象部分領域）と高い部分領域（非対象部分領域）とが混在しているような入力画像データに対しても、各部分領域に対して正しい天地方向に従って正確な文字認識を行うことができる。また、対象部分領域と非対象部分領域とでは、正しい天地方向に従って文字認識を行えるように、処理手順を異ならせているので、文字認識処理までを含む処理時間を抑制しながら、入力画像データ全体に対して高精度の文字認識処理を行うことができる。

本発明の実施形態の画像処理装置の概略構成を示すブロック図である。 図２（ａ）は、例えば入力装置（スキャナ）によって取得された入力画像データの一例を示す説明図、図２（ｂ）は、図１に示した領域分割部により図２（ａ）に示した入力画像データから分割された複数の部分領域を示す説明図である。 図３（ａ）は、図１に示した領域分割部により、文字領域の属性が異なる複数の部分領域を有する画像データから抽出された複数のブロック（部分領域）を示す説明図、図３（ｂ）は、同領域分割部により画像データから抽出された、表中文字領域の一例を示す説明図、図３（ｃ）は同領域分割部により画像データから抽出された、キャプション領域の一例を示す説明図である。 図４（ａ）は、一つの部分領域内に天地方向が異なる２種類の文字画像が存在する場合のその部分領域における各天地方向の信頼度の設定結果を示す説明図である。図４（ｂ）は、部分領域内の文字画像の方向が一方向である場合のその部分領域における各天地方向の信頼度の設定結果を示す説明図である。図４（ｃ）は、部分領域内において文字画像が少ない場合のその部分領域における各天地方向の信頼度の設定結果を示す説明図である。 図５（ａ）は、図１に示した天地判定部により算出された、図２（ｂ）に示した第１〜第３部分領域についての０度、９０度、１８０度、２７０度の各天地方向についての信頼度を示す説明図、図５（ｂ）は、図５（ａ）に示した第１〜第３部分領域についての各天地方向の信頼度に基づいて決定された、第１〜第３部分領域についての天地方向を示す説明図である。 図６（ａ）は、図１に示した天地判定部により決定された、第１〜第３部分領域についての天地方向と信頼度とを示す説明図、図６（ｂ）は、各部分領域についての天地方向の信頼度と信頼度の閾値との関係に基づく、各部分領域についての図１に示した表示装置でのプレビュー・入力指示表示の要否の例を示す説明図である。 図１に示した表示制御部の構成を示すブロック図である。 図２に示した表示装置の表示画面に表示された、対象部分領域を含む画像データのプレビュー画像を示す説明図である。 図１に示した天地判定部の天地方向判定における信頼度が低い第２部分領域について、画像データのプレビュー画像を表示した表示画面において、第２部分領域に対応する選択領域および指示領域をポップアップ表示した状態を示す説明図である。 図９に示したポップアップ表示において、操作された指示領域の方向が天方向となるように、対象部分領域（選択領域）を回転させた状態を示す説明図である。 図１に示した画像処理装置１の動作を示すフローチャートである。 図１１の動作につづく画像処理装置１の動作を示すフローチャートである。 図１に示した表示装置に表示させたプレビュー画像において、各部分領域を囲む矩形枠を各部分領域の天地方向の信頼度に応じて色分けして表示する例を示す説明図である。 図１に示した表示装置に表示させたプレビュー画像において、各部分領域を信頼度に応じてた順序に並べて配置した状態を示す説明図である。 図１５（ａ）は図１に示した表示装置においてプレビュー表示される部分領域の４方向の天地方向と信頼度との関係を示す説明図、図１５（ｂ）は、図１５（ａ）に示した部分領域のポップアップ表示において、各天地方向の信頼度に応じて指示領域の濃度もしくは色を異ならせた状態を示す説明図である。 図１６（ａ）は、図１５（ｂ）に示した４方向の天地方向に対応する４個の指示領域について、天地方向の信頼度が高い順にて指示領域の濃度（色）を変化させる場合の、信頼度が第１位から第４位までの指示領域の色の例を示す説明図、図１６（ｂ）は、図１６（ａ）に示したＲ（Ｒ１〜Ｒ４）の値を示す説明図、図１６（ｃ）は、図１６（ａ）に示したＲ（Ｒ１〜Ｒ４）の値の他の決定方法を示す説明図である。 図９に示した部分領域のポップアップ表示において、各天地方向の信頼度に応じて指示領域のサイズを異ならせた状態を示す説明図である。 図１８（ａ）は、４方向の天地方向に対応する４個の指示領域について、天地方向の信頼度が高い順にて指示領域のサイズ（長さ）を変化させる場合の、信頼度が第１位から第４位までの指示領域のサイズ（長さ）の例を示す説明図、図１８（ｂ）は、図１８（ａ）に示したＭ（Ｍ１〜Ｍ４）の値（倍率）を示す説明図、図１８（ｃ）は、図１８（ａ）に示したＭ（Ｍ１〜Ｍ４）の値の他の決定方法を示す説明図、図１８（ｄ）は、図１８（ｃ）に示した信頼度に応じた倍率（Ｃ１〜Ｃ４）の値の決定方法を示す説明図である。 本発明の実施の形態の画像形成装置における印刷動作の状態を示すブロック図である。 本発明の実施の形態の画像形成装置におけるプレビュー表示の動作状態を示すブロック図である。 本発明の実施の形態の画像形成装置におけるイメージ送信状態を示すブロック図である。 図１９に示した第１原稿検知部の構成を示すブロック図である。 図１９に示した第２原稿検知部の構成を示すブロック図である。 図２４（ａ）は表示装置の表示特性に応じたγ補正曲線の一例を示すグラフ、図２４（ｂ）は文字をくっきりとさせるγ補正曲線の一例を示すグラフである。 本発明の実施の形態の画像読取装置の構成を示すブロック図である。

〔実施の形態１〕
本発明の実施の形態を図面に基づいて以下に説明する。
図１は、本発明の実施形態の画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、例えば画像入力装置に備えられている。画像入力装置は、原稿から画像を読み取り、画像データを取得する。さらに、画像入力装置は、複写機、あるいは複写機能に加えて他の複数の機能を有する複合機に備えられている。画像処理装置１は、上記画像データに対して画像処理を行う。

図１に示すように、画像処理装置１は、表示装置２および記憶装置３と接続されている。表示装置２は、例えば上記画像形成装置の操作パネルに備えられている。この表示装置２は、タッチパネルとしての機能を有するとともに、グラフィカルユーザインターフェイスとしても機能する。なお、表示装置２としては、液晶ディスプレイ等の一般的な画像表示手段が用いられる。

記憶装置３は、上記画像形成装置に備えられているデータ保存手段である。記憶装置３としては一般的なハードディスク装置、あるいはその他の記憶装置を用いることができる。

図１の構成において、画像入力装置によって取得された画像データは記憶装置３に保存される。画像処理装置１は、記憶装置３から読み出した画像データに画像処理を施し、再度記憶装置３に保存する。また、画像処理装置１は、上記画像データを、あるいは上記画像データから生成したプレビュー画像を表示装置２に表示させる。

画像処理装置１は、図１に示すように、領域分割部１１、天地判定部１２、文字認識部１３および表示制御部１４を備えている。

領域分割部１１は、入力された画像データ（入力画像データ）のうちの文字領域を、文字領域の属性に応じて、タイトル領域、本文領域、表中文字領域、キャプション領域（図形領域に付属する文字領域）等の領域に分割し、各属性領域の外接矩形（外接座標）を算出する。なお、文字以外の画像を含む画像データを扱う場合には、領域分割部１１の前段に後述の領域分離部２３１（図２０参照）を設け、領域分離部２３１により入力画像データから文字領域を分離する構成としてもよい。

図２（ａ）は、例えば上記入力装置によって取得された入力画像データの一例を示す説明図である。図２（ｂ）は、領域分割部１１により図２（ａ）に示した入力画像データから複数の部分領域（属性領域）、すなわち第１部分領域４１、第２部分領域４２および第３部分領域４３を分割した状態を示す説明図である。

図２（ａ）の例において、入力画像データは文字領域として３種類の属性領域を有する。領域分割部１１は、この入力画像データに対し、文字領域を上記属性領域ごとに分割して３個の部分領域とし、部分領域情報を生成する。

領域分割部１１にて取得された文字領域の画像データ（部分領域の文字画像データ）および部分領域情報は、後段の天地判定部１２および文字認識部１３にて利用される。

ここで、領域分割部１１による領域分割処理の詳細について説明する。領域分割部１１では、領域分割処理を次の（ａ１）〜（ａ８）の手順によって行う。この処理は、画像データを、例えば、タイトル、著者名、アブストラクトおよび本文に分割するための処理である。
（ａ１）入力された画像データの最初のラインを注目ラインとし、黒画素にラベルをセットする。すなわちラベリングを行う。
（ａ２）次に、注目ラインを一つ下のラインにずらし、黒画素について上記ラインとは異なるラベルをセットする。
（ａ３）次に、注目ラインと注目ラインの一つ上のラインとにおける黒画素の連結状態を判定する。この判定の結果、連結している場合は、画素がつながっていると判断し、同じラベル（上のラインのラベル）に置き換える。
（ａ４）以上の（ａ１）〜（ａ３）の処理を繰り返し、文字領域を抽出する。抽出した文字領域の上端、下端、左端および右端の画素位置に基づき、文字領域に対する外接矩形を抽出する。なお、画素位置の座標は、入力された画像データの左端の位置を原点として求める。
（ａ５）次に、隣接する外接矩形間の距離を算出し、得られた外接矩形間の距離に基づいて、隣接する文字群からなる文字列を各々特定する。つまり、間隔が所定値より小さい外接矩形同士は同じ文字列に属し、間隔が所定値より大きい外接矩形同士は同じ文字列に属さないことから、隣接する外接矩形間の距離を算出することで、各文字列を特定できる。
（ａ６）次に、いずれか１つの文字列を注目文字列とし、注目文字列に属する外接矩形の垂直方向（上記ラインに対する垂直方向）の長さの平均値を求める。また、当該平均値は、垂直方向の長さが閾値より小さい外接矩形を除いて算出される。これは、句読点に設定される外接矩形を除外するためである。また、注目文字列に属する外接矩形の下辺の座標値の平均値を求める。
（ａ７）次に、注目文字列に属する外接矩形の下辺の座標値の平均値から、上記垂直方向に向けて、上記外接矩形の所定方向の長さの平均値を基準とした所定範囲内に、別の文字列が存在するか否かを判定する。この判定の結果、上記所定範囲内に別の文字列が存在する場合、当該文字列を注目文字列と同じ領域と判定する。また、上記所定範囲内に別の文字列が存在しない場合、上記所定範囲には当該注目文字列と同じ領域に属する文字列が存在しないと判定する。なお、上記の所定範囲とは、例えば、外接矩形の上記垂直方向の長さの平均値の１．５倍の範囲である。
（ａ８）注目文字列を変更して（ａ６）および（ａ７）を繰り返す。これにより、例えば、原稿画像を、文字領域の属性に応じて複数の領域に分離することができる。

図３（ａ）は、領域分割部１１により、文字領域の属性が異なる複数の部分領域を有する画像データから抽出された複数のブロック（部分領域）を示す説明図、図３（ｂ）は、領域分割部１１により画像データから抽出された、表中文字領域の一例を示す説明図、図３（ｃ）は領域分割部１１により画像データから抽出された、キャプション領域の一例を示す説明図である。

図３（ａ）において、部分領域ＡＥはタイトルである。このタイトルは、画像データ（原稿画像）の上部あるいは右端に存在し、部分領域ＡＥ（外接矩形）のサイズが大きいものである。そのサイズ（ライン方向のサイズ）は、本文と見なされる部分領域（外接矩形）のサイズの例えば１．５倍以上である。また、同図において、部分領域Ｂは著者名、部分領域Ｃはアブストラクト（本文と区別する必要はない領域）、部分領域Ｄは本文である。

図３（ｂ）に示す表中文字領域は、同図に示すように、外接矩形（部分領域）が罫線（連続する黒画素）に囲まれている場合に、表中文字領域であると判断される。図３（ｃ）に示すキャプション領域は、同図に示すように、外接矩形（部分領域）がライン（連続する黒画素）の近傍に存在する場合に、キャプション領域であると判断される。この判断において、上記ライン（連続する黒画素）は、例えば、キャプション領域となる外接矩形（部分領域）の垂直方向の長さの平均値の１．５倍の範囲となる。

天地判定部１２は、領域分割部１１から提供される部分領域の文字画像データおよび部分領域情報を使用し、部分領域の文字画像データごとに天地方向を判定する。この部分領域ごとの天地判定においては、まず、天地方向を例えば０度、９０度、１８０度、２７０度の４方向とした場合の天地方向ごとの信頼度を算出する。次に、天地判定部１２は、各部分領域について、天地方向ごとの信頼度のうちの最も信頼度の高い天地方向をその部分領域の天地方向として決定する。したがって、部分領域の天地方向の信頼度は、最も信頼度の高い天地方向の信頼度となる。

なお、天地方向が０度とは、その部分領域の天地方向が文字の正規の天地方向と一致していることを示す。天地方向が９０度とは、その部分領域の天地方向が文字の正規の天地方向に対して反時計回りに９０度回転していること（その部分領域を時計回りに９０度回転させれば文字が正規の天地方向になること）を示す。天地方向が１８０度とは、その部分領域の天地方向が文字の正規の天地方向に対して１８０度回転していることを（その部分領域を１８０度回転させれば文字が正規の天地方向になること）示す。天地方向が２７０度とは、その部分領域の天地方向が文字の正規の天地方向に対して反時計回りに２７０度回転していること（その部分領域を時計回りに２７０度回転させれば文字が正規の天地方向になること）を示す。

次に、天地判定部１２での天地判定動作を詳細に説明する。天地判定部１２では、例えば特開平６−１８９０８３号公報（特許文献３）に記載の方法を用いて、部分領域毎に画像の天地判定を行う。天地判定処理の手順は次のとおりである。
（ｂ１）ＯＣＲ技術を用いて文字認識を行い、入力画像内の一文字一文字を個々に切り出し、その文字をパターン化する。
（ｂ２）入力画像の文字パターン（以下、入力文字パターンと称する）の特徴とデータベース化された文字パターン（以下、データベース化文字パターンと称する）とを比較する。マッチングの方法としては、入力画像から切り出された入力文字パターンをデータベース化文字パターンに対して重ね合わせ、画素ごとの白黒を比較する。全ての画素の白黒が合致した場合、入力文字パターンは比較したデータベース化文字パターンであると判断する。入力文字パターンに対して全ての画素の白黒が合致するデータベース化文字パターンがない場合、入力文字パターンに対してマッチングする画素が最も多いデータベース化文字パターンの文字を入力文字パターンの文字であると判断する。なお、所定のマッチング割合に達しなければ判別不能と判断する。
（ｂ３）切り出された入力文字パターンを９０度、１８０度、２７０度と順次回転させ、各回転角度において上記（ｂ２）の処理を繰り返す。
（ｂ４）天地方向の判定結果として、０度、９０度、１８０度および２７０度の４通りの方向における判別可能な文字数を出力する。

次に、天地判定部１２での天地判定の信頼度の設定処理について説明する。上記の天地判定処理により、各天地方向における判別可能な文字数が得られる。天地判定部１２では、それら文字数から０度、９０度、１８０度および２７０度の４方向に対する信頼度を設定する。

図４（ａ）は、一つの部分領域内に天地方向が異なる２種類の文字画像が存在する場合の各天地方向の信頼度の設定結果を示す説明図である。図４（ｂ）は、部分領域内の文字画像の方向が一方向である場合の各天地方向の信頼度の設定結果を示す説明図である。図４（ｃ）は、部分領域内において文字画像が少ない場合の各天地方向の信頼度の設定結果を示す説明図である。

図４（ａ）に示すように、一つの部分領域内に天地方向が異なる２種類の文字画像（天地方向が０度および２７０度方向の文字画像）が存在する場合は、０度および２７０度方向において信頼度が高くなる。但し、この場合には両方向の信頼度の差は小さい。また、図４（ｂ）に示すように、部分領域内の文字画像の方向が一方向（０度方向）の場合は、０度方向において信頼度が高くなる。また、図４（ｃ）に示すように、部分領域内において文字画像が少ない場合には、全ての天地方向において信頼度が低くなる。

図５（ａ）は、天地判定部１２により算出された、図２（ｂ）に示した第１〜第３部分領域４１〜４３についての０度、９０度、１８０度、２７０度の各天地方向についての信頼度を示す説明図である。図５（ｂ）は、図５（ａ）に示した第１〜第３部分領域４１〜４３についての各天地方向の信頼度に基づいて決定された、第１〜第３部分領域４１〜４３についての天地方向を示す説明図である。図５（ｂ）の結果では、天地方向は、第１部分領域４１が９０度、第２部分領域４２が２７０度、第３部分領域４３が１８０度と決定されている。

表示制御部１４は、天地判定部１２により決定された、各部分領域についての天地方向の信頼度を取得し、信頼度が所定の閾値未満の部分領域（以下、対象部分領域と称する）が画像データに含まれている場合には、その対象部分領域を含む画像データについてのプレビュー画像を作成し、表示装置２に出力する。このプレビュー画像には、対象部分領域の画像データについての天地方向を指定する入力を促す表示が含まれている。なお、上記プレビュー画像は、入力画像データのうち、対象部分領域の画像データのみを含むものであってもよい。

図６（ａ）は、天地判定部１２による図５（ａ）および図５（ｂ）に示した判定結果から得られる第１〜第３部分領域４１〜４３についての天地方向と信頼度とを示す説明図である。図６（ｂ）は、各部分領域についての天地方向の信頼度と信頼度の閾値との関係に基づく、各部分領域についての表示装置２でのプレビュー表示の要否の例を示す説明図である。

図６（ａ）に示すように、各部分領域についての天地方向とその信頼度（天地方向／信頼度）は、第１部分領域４１が９０度／８０、第２部分領域４２が２７０度／４０、第３部分領域４３が１８０度／９０となっている。ここで、天地方向の信頼度の上記閾値を７０とした場合、図６（ｂ）に示すように、第１および第３部分領域４１，４３についてはプレビュー表示が不要となり、第２部分領域４２についてはプレビュー表示が要（プレビュー表示対象）となる。

上記の動作を行うため、表示制御部１４は、図７に示すように、プレビュー要否判定部２１、プレビュー画像生成部（表示用画像生成部）２２、プレビュー画像出力部（表示用画像出力部）２３および回転処理部２４を備えている。図７は、図１に示した表示制御部１４の構成を示すブロック図である。

プレビュー要否判定部２１は、天地判定部１２により決定された各部分領域についての天地方向の信頼度を所定の閾値と比較して、各部分領域についてユーザにより天地方向の指定を受けることの要否を判定する。すなわち、少なくともその対象部分領域およびその対象部分領域についての天地方向をユーザが指定するための指示領域３２についてのプレビュー表示の要否を判定する。

（１−１）プレビュー表示要否の第１の判定方法
具体的には、プレビュー要否判定部２１は、天地判定部１２により決定された、各部分領域についての天地方向の信頼度を取得し、それら信頼度と所定の閾値とを比較する。そして、天地方向の信頼度が所定の閾値未満の部分領域（対象部分領域）については上記プレビュー表示が必要とし、天地方向の信頼度が所定の閾値以上の部分領域については上記プレビュー表示が不要とする。

なお、上記プレビュー表示の要否についての判定方法としては、上記の第１の判定方法の他、後述する判定方法がある。

プレビュー画像生成部２２は、上記画像データに対象部分領域が含まれているとプレビュー要否判定部２１にて判定された場合、少なくともその対象部分領域についてのプレビュー画像を生成する。あるいは、対象部分領域を含む画像データ全体のプレビュー画像を生成する。いずれのプレビュー画像を生成するかは、画像処理装置１において適宜設定可能である。ここでは、後者のプレビュー画像を生成する場合について説明する。

プレビュー画像生成部２２が生成するプレビュー画像は、少なくとも指示領域を含んでいる。さらに、選択領域を含んでいてもよい。

選択領域は、上記対象部分領域に相当する領域であり、タッチパネルからなる領域である。指示領域は、上記選択領域として表示する対象部分領域の天地方向をユーザの入力操作により指定するための領域である。選択領域は、後述するように、ポップアップ表示を行う場合に使用される。

選択領域を生成する場合、プレビュー画像生成部２２は、対象部分領域を含む画像データを記憶装置３から読み出す。次に、領域分割部１１から提供される部分領域情報のうち、対象部分領域に関する部分領域情報を参照し、読み出した上記画像データにおいて、対象部分領域に相当する領域の座標を算出して切り出し、選択領域を生成する。そして、生成した選択領域を上記画像データの対象部分領域に重なるように配置する。

指示領域は、例えば上記選択領域の４辺に沿って配置された枠状のタッチパネルからなる領域である。上記指示領域では、上記４辺に沿う部分のうちのいずれかの部分をユーザが操作することにより、対象部分領域を指定し、かつその対象部分領域の天地方向を指摘できるようになっている。指示領域を生成する場合、プレビュー画像生成部２２は、指示領域の配置位置の座標を計算して求め、選択領域（対象部分領域）の回りに配置する。

プレビュー画像出力部２３は、プレビュー画像生成部２２により生成されたプレビュー画像を表示装置２に出力する。この場合、プレビュー画像出力部２３は、プレビュー画像の全体が表示装置２に適当なサイズに表示されるように、プレビュー画像に対して、画素の間引き処理あるいは拡大処理を行う。さらに、プレビュー画像出力部２３は、表示装置２の表示特性に応じた階調補正（ガンマ補正）を行う。

画像に対する画素の間引き処理あるいは拡大処理としては、例えば、ニアレストネイバー法、バイリニア法およびバイキュービック法が知られている。

ニアレストネイバー法は、補間する画素に一番近い画素の値、あるいは補間する画素に対して所定の位置関係にある既存画素の値を補間する画素の値とする。バイリニア法は、補間する画素を囲む周囲４点の既存画素の距離に比例した形で重み付けした値の平均を求め、その値をその補間する画素の値とする。バイキュービック法は、補間する画素を囲む４点に加え、さらにそれらを囲む１２点を加えた計１６点の画素の値を用いて、画素の補間演算を行う。

回転処理部２４は、表示装置２に表示にさせる画像（画像データ）を回転させるための回転処理を行う。例えば、上記指示領域に対して画像の天地方向を指定するユーザの入力が行われた場合、ユーザが選択した指示領域の位置に基づいて画像データの変換処理すなわち回転処理を行う。画像データの回転は、本実施の形態において、９０度、１８０度または２７０度の９０度単位にて、例えば時計回りに行われる。

文字認識部１３は、画像データに含まれる各部分領域の画像データに対して、画像データと辞書データとを比較して文字認識を行う。具体的には、白黒２値（輝度信号）に変換された低解像度（例えば３００ｄｐｉ）の画像データを用いて、画像データの特徴量を抽出し、辞書データと比較して文字認識を行う。

この場合、文字認識部１３は、信頼度が閾値以上の部分領域の画像データについては、天地判定部１２にて決定された天地方向に従って文字認識を行う。一方、信頼度が閾値未満のために指示領域に対してユーザにより天地方向が指定された対象部分領域の画像データについては、指定された天地方向に従って文字認識を行う。なお、対象部分領域に対して天地方向が指定された場合、対象部分領域の画像データは指定された天地方向に回転処理部２４にて回転される。したがって、文字認識部１３は回転処理後の画像データに対して文字認識を行う。

例えば、第１部分領域４１についての天地方向の判定結果は９０度となっているので、第１部分領域４１の画像データについては、画像データを時計回りに９０度回転した後、文字認識を行う。これにより、天地方向が異なることによる誤認識が軽減され、文字認識精度が向上する。

（２−１）部分領域の矩形枠の第１の表示例
対象部分領域のみならず全ての部分領域をプレビュー表示する場合、あるいは対象部分領域を入力画像データに含まれた状態にてプレビュー表示する場合には、対象部分領域を囲む矩形枠を表示してもよい。図８は、表示装置２の表示画面２ａに表示された、対象部分領域を含む画像データのプレビュー画像を示す説明図である。この例では、対象部分領域である第２部分領域４２のみについて矩形枠が表示されている。また、第２部分領域４２の矩形枠４２ａは上記の指示領域となっている。なお、部分領域の矩形枠の表示例としては、上記第１の表示例の他、後述の表示例がある。

（３−１）ポップアップ表示の第１の例
図９は、天地方向の信頼度が低い（信頼度に関する所定の閾値よりも低い）第２部分領域４２について、画像データのプレビュー画像を表示した表示画面２ａにおいて、第２部分領域４２に対応する選択領域３１および指示領域３２をポップアップ表示した状態を示す説明図である。

上記のように、天地方向の信頼度が所定の閾値よりも低い部分領域（対象部分領域）については、少なくともその対象部分領域の画像をプレビュー表示する。このプレビュー表示においては、その対象部分領域の画像をポップアップ表示してもよい。

図９の表示状態は、図８に示した表示状態において、第２部分領域４２上にタッチパネルからなる選択領域３１が配置されている構成を前提としてこの選択領域３１がユーザにより操作されること、あるいは指示領域３２がユーザにて操作されることにより得られる。

図９の表示では、対象部分領域の画像をポップアップ表示し、さらにポップアップ表示した対象部分領域の周りに指示領域を重ねてポップアップ表示する。また、ポップアップ表示する場合において、画像データ全体をプレビュー画像として表示し、そのうち、対象部分領域のみをポップアップ表示しても、あるいは対象部分領域のみをプレビュー画像としてポップアップ表示してもよい。図９では、後者の場合を示している。この場合の選択領域および指示領域の生成方法は前述のとおりである。

また、図９の表示では、対象部分領域（選択領域３１）をポップアップ表示する場合には、その対象部分領域（選択領域３１）に対して天地判定部１２により決定された天地方向に従って回転させた状態で表示されている。この場合の回転処理は回転処理部２４にて行われる。

なお、天地判定部１２では、図６（ａ）に示した第２部分領域４２の天地方向の判定において誤判定している。すなわち、天地判定部１２の判定結果では、信頼度が最も高い天地方向を２７０度としているものの、正解は９０度である。したがって、図９のポップアップ表示では、誤判定の天地方向に従って第２部分領域４２を時計回りに２７０度回転させて表示している。また、ポップアップ表示の例としては、上記第１の例の他、後述の例がある。

ポップアップ表示においては、いずれかの指示領域３２が操作された場合、図１０に示すように、例えば操作された指示領域３２の方向が天方向となるように、対象部分領域（選択領域３１）を回転させる。この回転処理は回転処理部２４にて行われる。図１０の例では、指示領域３２ａ〜３２ｄが配置され、指示領域３２ａがユーザにて操作された場合を示している。

また、入力画像データ全体のプレビュー画像を表示する場合において、対象部分領域のみならず全ての部分領域についてポップアップ表示を行うようにしてもよい。この場合の各部分領域のポップアップ表示の方法は、部分領域（選択領域３１）および指示領域３２をポップアップ表示するなど、上述した対象部分領域のみをポップアップ表示する場合と同様である。

なお、ポップアップ表示およびプレビュー表示の終了は、図示しない表示終了ボタンが操作されることにより行われる。また、入力画像データ全体の天地方向については、プレビュー画像を表示した状態において、表示装置２の表示画面２ａにおいて、入力画像データ全体の天地方向を確認し、かつ天地方向を指定する入力をユーザに促す表示を行うようにしてもよい。

上記の構成において、本発明の実施の形態の画像処理装置１の動作を図１１および図１２のフローチャートに基づいて以下に説明する。図１１は、図１に示した画像処理装置１の動作を示すフローチャート、図１２は図１１の動作につづく画像処理装置１の動作を示すフローチャートである。

画像処理装置１では、入力された画像データを記憶装置３に格納する（Ｓ１１）。この入力画像データは、例えば画像読取装置にて読み取られた原稿の画像データである。

次に、領域分割部１１は記憶装置３から入力画像データを読み出し、その画像データを複数の部分領域に分割する（Ｓ１２）。

次に、天地判定部１２は、各部分領域について、第１方向〜第４方向（０度方向、９０度方向、１８０度方向、２７０度方向）の天地方向における信頼度を算出する（Ｓ１３）。

次に、各部分領域における天地方向の信頼度が第１位の天地方向を各部分領域の天地方向として記憶する（Ｓ１４）。

次に、表示制御部１４は、入力画像データに信頼度の低い部分領域が含まれているか否か、すなわち入力画像データに、部分領域の天地方向（部分領域における信頼度が第１位の天地方向）の信頼度が所定の閾値未満の部分領域が含まれているか否かを判定する（Ｓ１５）。

この判定の結果、入力画像データに天地方向の信頼度が所定の閾値未満の部分領域（対象部分領域）が含まれている場合、表示制御部１４は、その対象部分領域に対する指示領域（タッチエリア）３２と選択領域（タッチエリア）３１とを作成する（Ｓ１６）。なお、対象部分領域が複数存在する場合には、各対象部分領域に対して指示領域３２および選択領域３１を作成する。

次に、表示制御部１４は、記憶装置３からプレビュー表示すべき入力画像データを読み出し（Ｓ１７）、その入力画像データに対してプレビュー表示するための間引き処理を行う（Ｓ１８）。

次に、表示制御部１４は、間引き処理後の入力画像データにおける対象部分領域に、選択領域３１と指示領域３２とを重ね、その入力画像データをプレビュー表示用の画像データとして表示装置２に出力する。これにより、表示装置２ではプレビュー表示が行われる（Ｓ１９）。

このプレビュー表示状態では、表示装置２において選択領域３１に対する選択を受け付ける（Ｓ２０）。この場合、表示制御部１４は、表示装置２において、選択領域３１がオン操作されると対象部分領域がポップアップ表示される旨の表示を行わせてもよい。

その後、選択領域３１に対する選択の入力がなく（Ｓ２１）、また、全ての対象部分領域に対して指示領域３２への天地方向を指定する入力が行われると（Ｓ２２）、処理を終了する。

一方、Ｓ２１において、対象部分領域に設定された選択領域３１に対する選択の入力操作が行われると、表示制御部１４は、入力操作が行われた選択領域３１に対応する対象部分領域を入力画像データ（例えば上記の間引き処理済の画像データ）から切り出す（Ｓ２３、図１２）。

次に、表示制御部１４は、切り出した対象部分領域を拡大し（Ｓ２４）、拡大した対象部分領域と指示領域３２とを仮回転させる（Ｓ２５）。この仮回転とは、前述のように、その対象部分領域を天地判定部１２により決定された天地方向に従って回転させる処理である。

次に、表示制御部１４は、Ｓ２５にて処理された対象部分領域と指示領域３２とをポップアップ表示用の画像データとして表示装置２に出力する。これにより、表示装置２では対象部分領域と指示領域３２とがポップアップ表示される（Ｓ２６）。なお、このポップアップ表示のための一連の処理は、選択領域３１へのユーザ入力を要件とせず（Ｓ２０およびＳ２１の処理を経ることなく）、例えばＳ１９での対象部分領域のプレビュー表示の際に、自動的に行われるようにしてもよい。

このポップアップ表示状態では、表示装置２において指示領域３２に対する選択を受け付ける（Ｓ２７）。この場合、表示制御部１４は、表示装置２において、指示領域３２に対しての、画像の天地方向を指定するユーザ入力を促す旨の表示を行ってもよい。

その後、対象部分領域の周りのいずれかの指示領域３２に対してユーザ入力が行われると（Ｓ２８）、表示制御部１４は、ユーザ入力が行われた指示領域３２に対応する対象部分領域の天地方向を、指示領域３２への入力操作により指定された天地方向に更新する（Ｓ２９）。

次に、表示制御部１４は、対象部分領域と指示領域３２とを、指示領域３２へのユーザ入力により指定された天地方向に合致するように回転させ（Ｓ３０）、Ｓ２６の処理に戻る。これにより、表示装置２では、対象部分領域が、指示領域３２へのユーザ入力により指定された天地方向に回転された状態で、ポップアップ表示される。

一方、Ｓ２８において、対象部分領域の周りのいずれかの指示領域３２に対してユーザ入力がない状態において、例えばユーザ入力によりポップアップ表示の終了が指示されると（Ｓ３１）、Ｓ２０に戻って選択領域３１に対する選択受付け状態となる。

また、Ｓ２８において対象部分領域の周りのいずれかの指示領域３２に対してユーザ入力がなく、かつＳ３１において例えばユーザ入力によりポップアップ表示の終了が指示されていない状態において、Ｓ２１での選択領域３１に対する入力操作から所定時間が経過すると（Ｓ３２）、Ｓ２０に戻って選択領域３１に対する選択受付け状態となる。なお、Ｓ２１での選択領域３１に対する入力操作から所定時間が経過しない状態では、Ｓ２６、Ｓ２７、Ｓ２８、Ｓ３１、Ｓ３２の処理を繰り返す。

以上のように、本実施の形態の画像処理装置１では、天地方向の信頼度が低い部分領域（対象部分領域）と高い部分領域（非対象部分領域）とが混在しているような入力画像データ（例えばＰＤＦデータ）に対しても、各部分領域に対して正しい天地方向に従って正確な文字認識を行うことができる。また、対象部分領域と非対象部分領域とでは、正しい天地方向に従って文字認識を行えるように、処理手順を異ならせているので、文字認識処理までを含む処理時間を抑制しながら、入力画像データ全体に対して高精度の文字認識処理を行うことができる。

なお、上記プレビュー表示の要否についての判定方法としては、上記の第１の判定方法の他、下記の判定方法がある。

（１−２）プレビュー表示要否の第２の判定方法
プレビュー要否判定部２１は、天地判定部１２により決定された、各部分領域についての天地方向の信頼度を取得し、各部分領域について信頼度が第１位の天地方向の信頼度Ｒ１と信頼度が第２位の天地方向の信頼度Ｒ２との比（Ｒ１／Ｒ２）を求める。そして、各部分領域ついての比（Ｒ１／Ｒ２）と所定の閾値Ｔｃ（例えばＴｃ＝２）とを比較する。この比較の結果、比（Ｒ１／Ｒ２）が所定の閾値Ｔｃ以下の部分領域（対象部分領域）については上記プレビュー表示が必要とし、比（Ｒ１／Ｒ２）が所定の閾値Ｔｃよりも大きい部分領域については上記プレビュー表示が不要とする。

（１−３）プレビュー表示要否の第３の判定方法
プレビュー要否判定部２１は、天地判定部１２により決定された、各部分領域についての天地方向の信頼度を取得し、各部分領域について信頼度が第１位の天地方向の信頼度Ｒ１と所定の閾値Ｔａ（例えばＴａ＝７０）とを比較する。また、各部分領域について信頼度が第１位の天地方向の信頼度Ｒ１と信頼度が第２位の天地方向の信頼度Ｒ２との比（Ｒ１／Ｒ２）を求め、この比（Ｒ１／Ｒ２）と所定の閾値Ｔｃ（例えばＴｃ＝２）とを比較する。この比較の結果、信頼度Ｒ１が所定の閾値Ｔａ以下、かつ比（Ｒ１／Ｒ２）が所定の閾値Ｔｃ以下の部分領域については上記プレビュー表示が必要とし、信頼度Ｒ１が所定の閾値Ｔａよりも大きいか、あるいは比（Ｒ１／Ｒ２）が所定の閾値Ｔｃよりも大きい部分領域については上記プレビュー表示が不要とする。

また、部分領域の矩形枠の表示例としては、上記第１の表示例の他、下記の表示例がある。

（２−２）部分領域の矩形枠の第２の表示例
対象部分領域のみならず全ての部分領域をプレビュー表示する場合には、各部分領域を天地方向の信頼度に応じて色分けして表示してもよい。この場合には、例えば各部分領域を囲む矩形枠を色を変えて表示する。図１３は、表示装置２に表示させたプレビュー画像３３において、各部分領域を囲む矩形枠を各部分領域の天地方向の信頼度に応じて色分けして表示する例を示す説明図である。図１３において、天地方向の信頼度が第１位の第３部分領域４３の矩形枠４３ａは濃度が低い色（淡い色）、天地方向の信頼度が第２位の第１部分領域４１の矩形枠４１ａは濃度が中間の色、天地方向の信頼度が第３位の第２部分領域４２の矩形枠４２ａは濃度が高い色（濃い色）となっている。なお、各矩形枠４１ａ〜４３ａは上記の指示領域３２に相当する機能を有するものとしてもよい。

（２−３）部分領域の矩形枠の第３の表示例
対象部分領域のみならず全ての部分領域をプレビュー表示する場合には、各部分領域を天地方向の信頼度に応じた順序に並べて配置してもよい。図１４は、表示装置２に表示させたプレビュー画像３３において、各部分領域を信頼度に応じてた順序に並べて配置した状態を示す説明図である。図１４の例では、第１〜第３部分領域４１〜４３が天地方向の信頼度の低い順序に左側から右側に並べられている。なお、各矩形枠４１ａ〜４３ａは上記の指示領域３２に相当する機能を有するものとしてもよい。

また、ポップアップ表示の例としては、上記第１の例の他、下記の例がある。

（３−２）ポップアップ表示の第２の例
上記（３−１）の例では、対象部分領域上の、タッチパネルからなる選択領域３１もしくは指示領域３２がユーザにて操作されることにより対象部分領域（選択領域３１）をポップアップ表示する構成としている。これに対し、対象部分領域をプレビュー画像としてポップアップ表示する場合には、図８の表示状態を経ずに、図９に示すように、対象部分領域を直接ポップアップ表示する構成としてもよい。

（３−３）ポップアップ表示の第３の例
図９のポップアップ表示では、対象部分領域（選択領域３１）を天地判定部１２により決定された天地方向に従って回転させた状態で表示させている。これに対して、対象部分領域（選択領域３１）を天地判定部１２により決定された天地方向に従って回転させない状態で、すなわち画像データ中における第２部分領域４２の天地方向のままで表示させてもよい。

（３−４）ポップアップ表示の第４の例
例えば図９に示したポップアップ表示においては、対象部分領域（選択領域３１）を囲むように矩形枠状に配置された４個の指示領域３２が表示されている。この例は、これら指示領域３２の表示濃度をあるいは表示色を、対象部分領域における天地方向ごとの信頼度に応じて異ならせるものである。

図１５（ａ）は表示装置２においてプレビュー表示される部分領域の４方向の天地方向と信頼度との関係を示す説明図である。図１５（ｂ）は、図１５（ａ）に示した部分領域のポップアップ表示において、各天地方向の信頼度に応じて指示領域３２の濃度もしくは色を異ならせた状態を示す説明図である。

図１５（ａ）に示す部分領域５１では、天地方向と信頼度との関係が、反時計回り方向に見て、０度／３５、９０度／１０、１８０度／８０、２７０度／１５となっている。このような部分領域５１に対して、図１５（ｂ）に示したポップアップ表示では、信頼度が最も低い天地方向に対応する指示領域３２は、最も濃度が低く（最も薄い色）、信頼度が高くなるに従って指示領域３２の濃度が高く（濃い色）なるようにしている。

図１６（ａ）は、図１５（ｂ）に示した４方向の天地方向に対応する４個の指示領域３２について、天地方向の信頼度が高い順にて指示領域３２の濃度（色）を変化させる場合の、信頼度が第１位から第４位までの指示領域３２の色の例を示す説明図である。図１６（ｂ）は、図１６（ａ）に示したＲ（Ｒ１〜Ｒ４）の値を示す説明図である。図１６（ｃ）は、図１６（ａ）に示したＲ（Ｒ１〜Ｒ４）の値の他の決定方法を示す説明図である。

図１５（ａ）に示す部分領域５１では、各天地方向の信頼度の順位が、１位：１８０度、２位：０度、３位：２７０度、４位：９０度となっている。一方、図１６（ａ）の例では、指示領域３２の色を示すＲ，Ｇ，Ｂの値のうち、Ｇ（＝０）およびＢ（＝１２７）を一定として、Ｒの濃度を変化させている。また、図１６（ｂ）の例では、Ｒ１からＲ４に向かって濃度が低くなっている。したがって、指示領域３２の色は、１位の１８０度に対応する指示領域３２の色が最も濃く、２位の０度、３位の２７０度、４位の９０度に向かって順次色が薄くなっている。ただし、ここでは、信頼度の値ではなく、信頼度の順位に応じて指示領域３２の値濃度（色）が決定される。

図１６（ｃ）の例では、天地方向の信頼度が１位の信頼度を基準とし、その信頼度に対する他の天地方向の信頼度の比Ｃを求め、その比Ｃを用いて各天地方向に対応する指示領域３２の濃度（色）を決定している。

（３−５）ポップアップ表示の第５の例
この例は、例えば図９に示したポップアップ表示において、各天地方向に対応する４個の指示領域３２の表示サイズを、対象部分領域５１における天地方向ごとの信頼度に応じて異ならせるものである。

図１７は、図９に示した部分領域のポップアップ表示において、各天地方向の信頼度に応じて指示領域３２のサイズを異ならせた状態を示す説明図である。この例では、矩形にて表示されている指示領域３２の長さを異ならせている。

図１７に示す部分領域５１では、天地方向と信頼度との関係が、図１５（ａ）に示すように、反時計回り方向に見て、０度／３５、９０度／１０、１８０度／８０、２７０度／１５となっているものとする。このような部分領域５１に対して、図１７に示したポップアップ表示では、信頼度が最も低い天地方向に対応する指示領域３２は、最も短く、信頼度が高くなるに従って指示領域３２の長さが長くなっている。

図１８（ａ）は、４方向の天地方向に対応する４個の指示領域３２について、天地方向の信頼度が高い順にて指示領域３２のサイズ（長さ）を変化させる場合の、信頼度が第１位から第４位までの指示領域３２のサイズ（長さ）の例を示す説明図である。図１８（ｂ）は、図１８（ａ）に示したＭ（Ｍ１〜Ｍ４）の値（倍率）を示す説明図である。図１８（ｃ）は、図１８（ａ）に示したＭ（Ｍ１〜Ｍ４）の値の他の決定方法を示す説明図である。図１８（ｄ）は、図１８（ｃ）に示した信頼度に応じた倍率（Ｃ１〜Ｃ４）の値の決定方法を示す説明図である。

図１５（ａ）に示す部分領域５１では、各天地方向の信頼度の順位が、１位：１８０度、２位：０度、３位：２７０度、４位：９０度となっている。一方、図１８（ａ）の例では、各指示領域３２のサイズ（長さ）を指示領域３２の基準サイズ（例えば最大サイズ）に倍率Ｍを乗じて決定している。倍率Ｍは、図１８（ｂ）に示すように、天地方向の信頼度が高いほど大きくなっている。したがって、指示領域３２のサイズ（長さ）は、１位の１８０度に対応する指示領域３２のサイズ（長さ）が最も大きく、２位の０度、３位の２７０度、４位の９０度に向かって順次小さくなっている。ただし、ここでは、信頼度の値ではなく、信頼度の順位により指示領域３２のサイズが決定される。

図１８（ｃ）の例では、上記倍率Ｍ（Ｍ１〜Ｍ４）を信頼度の値に応じた値Ｃ（Ｃ１〜Ｃ４）としている。すなわち、各指示領域３２のサイズ（長さ）を求めるために、指示領域３２の基準サイズに乗じる倍率Ｍを、図１８（ｄ）に示すように、天地方向の信頼度が１位の信頼度に対する他の天地方向の信頼度の比としている。
〔実施の形態２〕
本発明の他の実施の形態を図面に基づいて以下に説明する。本実施の形態は、図１に示した画像処理装置１を複合機である画像形成装置に適用した例を示すものである。図１９は画像形成装置２００における印刷動作の状態を示すブロック図である。図２０は画像形成装置２００のプレビュー表示の動作状態を示すブロック図である。図２１は画像形成装置２００のイメージ送信状態を示すブロック図である。

本実施形態の画像形成装置２００は、複写機能（複写モード）、プリンタ機能（プリントモード）、ファクシミリ送受信信機能（ファクシミリ送信モード、ファクシミリ受信モード）およびscan to e-mail機能（scan to e-mailモード）等を備えたデジタルカラー複合機である。

複写モードは、原稿の画像データを読み取り、その画像データの画像を用紙に印刷するモードである。プリントモードは、画像形成装置２００に接続されている端末装置から送られてくる画像データの画像を用紙に印刷するモードである。ファクシミリ送信モードは、原稿の画像データを読み取り、その画像データを電話回線によって外部装置に送信するモードである。ファクシミリ受信モードは、外部装置から画像データをファクシミリにて受信し、受信した画像データの画像を用紙に印刷するモードである。scan to e-mailモードは、原稿を読み取って生成した画像データを電子メールに添付して指定されたアドレスへ送信するモードである。なお、画像出力装置（印刷装置）は電子写真方式プリンタやインクジェット方式プリンタ等の画像を再現する装置である。

画像形成装置は、例えば図１９に示すように、画像処理装置２０１、画像入力装置、２０２、画像出力装置２０３、送受信装置２０４、画像表示装置２０５、記憶装置２０４および制御装置２０７を備えている。

画像入力装置２０２は、ＣＣＤ（Charge Coupled Device）ラインセンサを備え、原稿の読取動作を行う。すなわち、原稿に対して光りを照射し、原稿から反射してきた光をＲ、Ｇ、Ｂ（Ｒ：赤・Ｇ：緑・Ｂ：青）に色分解された電気信号に変換する。画像処理装置２０１は、画像入力装置２０２から入力した画像データに対して画像処理を施す。画像出力装置２０３は、例えば電子写真方式プリンタやインクジェット方式のプリンタであり、画像処理装置２０１から入力した画像データの画像を用紙に印刷する。送受信装置２０４は、電話回線またはインターネットに接続されており、外部装置との間で画像データを送受信する。画像表示装置２０５は、画像形成装置２００の操作パネル（図示せず）に備えられているタッチパネル方式の例えば液晶ディスプレイであり、カラー表示が可能なものである。この画像表示装置は、図１に示した表示装置２に対応する。

記憶装置２０６は、図１に示した記憶装置３に対応する。制御装置２０７は、ＣＰＵを含むコンピュータであり、画像形成装置２００が備える各種ハードウエアや各ハードウエア間のデータ転送等を統括的に制御する。また、制御部１０８は、画像形成装置２００に備えられる各制御する機能も有する。

画像処理装置２０１は、Ａ/Ｄ（アナログ/デジタル）変換部２２１、シェーディング補正部２２２、入力処理部２２３、第１原稿検知部２２４、色化処理部２２６、黒生成／下色除去部２２７、空間フィルタ部２２８、出力階調補正部２２９、中間調生成部２３０および領域分離処理部２３１、第２原稿検知部２３２、文字認識部２３３、描画コマンド生成部２３４およびフォーマット化処理部２３５を有している。

Ａ／Ｄ変換部２２１は、画像入力装置２０２から入力されたアナログのＲＧＢの画像信号をデジタルのＲＧＢの画像データに変換する。シェーディング補正部２２２は、Ａ／Ｄ変換部２２２から入力された画像データに対して、画像入力装置２０２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。入力処理部２２３は、シェーディング補正部２２２から入力されたＲＧＢの画像データのそれぞれに対してγ補正処理などの階調変換処理を施す。

第１原稿検知部２２４は、入力処理部２２３にて処理された画像データに対して、原稿の傾き検知を行う。原稿補正部２２５は、第１原稿検知部２２４での傾き検知の結果に基づいて、画像データに対して傾き補正処理を行う。

色補正部２２６は、原稿補部２２５から入力したＲＧＢの画像データをＣＭＹの画像データに変換し、また当該画像データに対して色再現性を高める処理を施す。

黒生成／下色除去部２２７は、色補正部２２６から入力したＣＭＹの画像データから黒（Ｋ）の画像データを生成し、入力したＣＭＹの画像データから黒（Ｋ）の画像データを差し引いて新たなＣＭＹの画像データを生成する。

空間フィルタ部２２８は、黒生成／下色除去部２２７から入力したＣＭＹＫまたはＣＭＹの画像データに対して、領域分離データを基にデジタルフィルタによる空間フィルタ処理（強調処理、平滑化処理等）を行う。

出力階調補正部２２９は、空間フィルタ部２２８から入力した画像データに対して、用紙等の記録媒体に出力するためのγ補正処理を行う。

中間調生成部２３０は、出力階調補正部２２９から入力した画像データに対し、誤差拡散法やディザ法を用いて、画像出力装置２０３において画像を印刷するために必要な階調再現処理（中間調生成処理）を行う。

領域分離部２３１は、原稿補正部２２５から入力したＲＧＢの画像データについて、各画素が例えば黒文字領域、色文字領域あるいは網点領域のうちの何れの領域に属するかを判別し、その判別結果を示す領域分離データを生成する。生成した領域分離データは、黒生成／下色除去部２２７、空間フィルタ部２２８および中間調生成部２３０に出力される。

第２原稿検知部２３２は、図１に示した領域分割部１１、天地判定部１２および表示制御部１４に対応する機能を有する。

文字認識部２３３は、図１に示した文字認識部１３に対応するものであり、文字認識部１３と同様の機能を有する。

描画コマンド生成部２３４は、画像データに対して文字認識部２３３による文字認識結果を透明テキストとして埋め込む処理を行う。

フォーマット化処理部２３５は、入力された画像データを外部装置が扱える汎用のフォーマット（ファイル形式）に変換する。

図２２は、第１原稿検知部２２４の構成を示すブロック図である。第１原稿検知部２２４は、図２２に示すように、信号変換部２４１、２値化処理部２４２、解像度変換部２４３および原稿傾き検知部２４４を備えている。

信号変換部２４１は、下記の演算により、ＲＧＢのカラー画像データを輝度信号に変換する。

Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉ
Ｙ：各画素の輝度信号
Ｒ，Ｇ，Ｂ：各画素の各色成分の値
添え字のｉ：画素毎に付与された値（ｉは１以上の整数）
なお、信号変換部２４１ので処理においては、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ^*：明度、a^*,ｂ^*:色度）に変換してもよく、あるいは、Ｇ信号を用いてもよい。

２値化処理部２４２は、信号変換部２４１から入力した画像データを２値化する。画像データが８ビットの場合、例えば、閾値を１２８とする。あるいは、複数の画素（例えば５×５）よりなるブロックも濃度（画素値）の平均値を閾値とする。

解像度変換部２４３は、２値化処理部２４２にて２値化された画像データの解像度を低解像度化する。例えば、１２００ｄｐｉあるいは６００ｄｐｉで読み込まれた画像データを３００ｄｐｉに変換する。解像度変換の方法は、公知のニアレストネイバー法、バイリニア法、バイキュービック法等を用いて行う。

原稿傾き検知部２４４は、例えば特開平７−１９２０８６号公報（特許文献４）に記載の方法により原稿の傾き検知を行う。この原稿傾き検知とは、原稿画像を読み取るためにスキャナとしての画像入力装置２０２に載置された原稿の傾きによる読取画像（画像データ）を補正するために行うものである。ここでの原稿傾き検知は、次の手順にて行われる。

（ｃ１）２値化処理部２４２にて２値化された画像データから、黒画素と白画素との境界点を複数個抽出し、各境界点の点列の座標データを求める。この場合、黒画素と白画素の境界点は、例えば各文字の上端における白／黒境界点の座標であり、この座標を求めて記憶装置２０６に格納する。

（ｃ２）上記（ｃ１）の処理によって得られた多数の境界点の座標からなる点列座標データを参照して、この点列座標から回帰直線を求め、その回帰係数ｂを計算してメモリに格納する（下記（１）式）。

ここで、（１）式におけるＳｘ，Ｓｙはそれぞれ変量ｘとｙの残差平方和で、Ｓｘｙはｘの残差とｙの残差の積の和である。すなわち、次の（２）〜（４）式で表わされる。

回帰係数ｂより画像の傾き角度（θ）を（５）式によって算出する。

原稿補正部２２５からは、原稿の傾きが補正された３００ｄｐｉの画像データが第２原稿検知部２３２に出力される。第２原稿検知部２３２に備えられる領域分割部１１では、凡そのレイアウトが分かれば良いため、上記解像度変換部２４３で７５ｄｐｉの画像データを生成して第２原稿検知部２３２に出力し、文字認識部２３３には３００ｄｐｉの画像データを出力するようにしてもよい。

原稿補正部２２５は、前述のように、第１原稿検知部２２４での傾き検知の結果に基づいて、画像データに対して傾き補正処理を行う。

画像データを原点を中心に、反時計まわりに角度θだけ、傾き補正した場合の補正前後の座標の関係は以下の（６）式にて表され、その式を用いて原稿の傾き補正を行う。

補正前座標（Ｘ，Ｙ）、補正後座標（Ｘ’，Ｙ’）

例えば、画像データを原点を中心に、反時計まわりに角度９０度、１８０度、２７０度回転する場合の回転前後の座標の関係は以下の式で表される。そこで、下記式を用いて原稿の傾き補正を行う。

回転前座標（Ｘ，Ｙ）、回転後座標（Ｘ’，Ｙ’）
９０度回転時
Ｘ’＝ オリジナル画像Ｙ方向サイズ − １ − Ｙ
Ｙ’＝ Ｘ
１８０度回転時
Ｘ’＝ オリジナル画像Ｘ方向サイズ − １ − Ｘ
Ｙ’＝ オリジナル画像Ｙ方向サイズ − １ − Ｙ
２７０度回転時
Ｘ’＝ Ｙ
Ｙ’＝ オリジナル画像Ｘ方向サイズ − １ − Ｘ
図２３は第２原稿検知部２３２の構成を示すブロック図である。第２原稿検知部２３２は、領域分割部２５１、天地判定部２５２および天地判定補正部２５３を備えている。領域分割部２５１は、図１に示した領域分割部１１に対応するものであり、領域分割部１１と同様の機能を有する。天地判定部２５２は、図１に示した天地判定部１２に対応するものであり、天地判定部１２と同様の機能を有する。天地判定補正部２５３は、天地判定部２５２から出力される２値画像データを９０度単位で回転させる。何度回転させるかは、天地判定部２５２における天地判定結果に従う。

上記の構成において、画像形成装置２００における複写モードでの印刷動作（図１９）について説明する。この際には、画像入力装置２０２にて原稿の画像が読み取られ、画像入力装置２０２から画像処理装置２０１にアナログのカラー画像信号（ＲＧＢアナログ信号）が入力される。この画像信号は、Ａ／Ｄ変換部２２１にてデジタル信号に変換され、シェーディング補正部２２２にて画像入力装置２０２の照明系、結像系、撮像系で生じる各種の歪みが取り除かれる。その後、入力処理部２２３においてＲＧＢ信号のそれぞれに対してγを補正する処理などが施される。入力処理部２２３にて処理された画像データは一旦記憶装置２０６に記憶される。

次に、第１原稿検知部２２４は記憶装置２０６に記憶されている上記画像データに対して、原稿の傾き検知を行う。次に、原稿補正部２２５は、第１原稿検知部２２４での傾き検知の結果に基づいて、上記画像データに対して傾き補正処理を行う。

なお、原稿補正部２２５にて処理された画像データは、ファイリングデータとして管理してもよい。この場合、上記画像データは、例えば、ＪＰＥＧ圧縮アルゴリズムに基づいてＪＰＥＧコードに圧縮されて格納される。

上記ＪＰＥＧコードは、コピー出力動作やプリント出力動作が指示された場合、記憶装置２０６から読み出され、ＪＰＥＧ伸張部（図示せず）において復号化処理されてＲＧＢデータに変換される。一方、イメージ送信動作の場合、記憶装置２０６から読み出され、ネットワーク網や通信回線を介して外部接続装置や通信回線へ出力される。なお、ファイリングデータの管理やデータの引渡しの動作制御については制御装置２０７が行うものとする。

色補正部２２６では、ＲＧＢ信号の補色であるＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）信号が生成されると共に色再現性を高める処理が施され、黒生成／下色除去部２２７にてＣＭＹＫ（Ｋ：黒）４色信号に変換される。空間フィルタ部２２８ではＣＭＹＫ信号に対して強調処理や平滑化処理がなされ、出力階調補正部２２９では、用紙等の記録媒体に出力するための出力γ補正処理がなされる。中間調生成部２３０では画像を出力するための階調再現処理が行われる。中間調処理部２３０から出力されたＣＭＹＫ信号は画像出力装置２０３に入力され、可視像として用紙に印刷される。

ここで、出力階調補正部２２９にて行われるγ補正について説明する。図２４（ａ）は表示装置の表示特性に応じたγ補正曲線の一例を示すグラフ、図２４（ｂ）は文字をくっきりとさせるγ補正曲線の一例を示すグラフである。画像出力装置２０３での印刷のための出力階調補正部２２９でのγ補正では、図２４（ｂ）に実線に示すように、印刷した文字が鮮明となるように、表示装置の表示特性に応じたγ補正（破線）とは異なるγ補が行われる。

一方、領域分離部２３１から出力される領域分離データは、黒生成／下色除去部２２７、空間フィルタ部２２８、中間調生成部２３０に入力され、これら各機能部において各種領域に応じた適切な処理の切替えが行われる。

次に、画像形成装置２００におけるイメージ送信動作（図２１）について説明する。この場合の画像入力装置２０２、Ａ/Ｄ変換部２２１、シェーディング補正部２２２、入力処理部２２３および領域分離部２３１の処理内容は、前述した複写モードでの印刷動作時と同様である。

色補正部２２６では、対象部分領域２５から入力した画像データを、一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）に変換する。空間フィルタ部２２８では、対象部分領域２３１から出力される領域分離データを基に、入力された画像データに対してデジタルフィルタによる空間フィルタ処理（強調処理，平滑化処理）を行う。出力階調補正部２２９では、例えば、文字領域に対しては図２４（ｂ）のγ補正曲線を用いた補正を行い、文字領域以外の領域に対しては図２４（ａ）のγ補正曲線を用いた補正を行う。

なお、黒生成／下色除去部２２７および中間調生成部２３０は、入力される画像データに対して処理を行わず、その画像データをそのまま後段のブロックにスルーする。したがって、出力階調補正部２２９から出力されるのはＲ’Ｇ’Ｂ’の画像データである。

一方、第２原稿検知部２３２において天地方向が補正された部分領域の画像データを含み、第２原稿検知部２３２での処理を経た各部分領域の画像データに対しては、文字認識部２３３において文字認識処理が行われる。次に、描画コマンド生成部２３４では、上記の各部分領域を含む画像データに対して、透明テキストを配置する命令の生成が行われる。

出力階調補正部２２９から出力されるＲ’Ｇ’Ｂ’の画像データおよび描画コマンド生成部２３４から出力される認識データは、ファーマット化処理部２３５にてＰＤＦファイル等の画像ファイルに変換される。この画像ファイルには、文字認識の結果が描画コマンド生成部２３４により透明テキストとして埋め込まれている。フォーマット化された画像ファイルは、図示しないメール処理部（ジョブ装置）にて電子メールに添付され、その電子メールがネットワークを介して相手先に送信されることになる。

次に、画像形成装置２００におけるプレビュー表示の動作（図２０）について説明する。この動作では、指示領域２３１、第２原稿検知部２３２および文字認識部２３３により、図１に示した画像処理装置１と同様の動作が行われる。この場合、第２原稿検知部２３２は、図１に示した領域分割部１１、天地判定部１２および表示制御部１４として機能し、領域分割部１１は領域分離部２３１からの領域分離データに基づいて画像データを部分領域に分割する。画像表示装置２０５は図１の表示装置として機能する。
〔実施の形態３〕
本発明の実施の他の形態を図面に基づいて以下に説明する。本実施の形態は、図１に示した画像処理装置１を画像読取装置（スキャナ）に適用した例を示すものである。図２５は画像読取装置３００の構成を示すブロック図である。

画像読取装置３００は画像入力装置２０２と画像処理装置３０１とを備えている。画像処理装置３０１は、Ａ／Ｄ変換部２２１、シェーディング補正部２２２、入力処理部２２３、第１原稿検知部２２４、原稿補正部２２５、色補正部２２６、第２原稿検知部２３２、文字認識部２３３、描画コマンド生成部２３４およびフォーマット化処理部２３５を備えている。画像処理装置３０１の各処理部の処理内容は、前述の画像形成装置２００におけるイメージ送信の場合と同様である。

画像処理装置３０１において処理が施された画像データ、例えばＰＤＦファイルはコンピュータやハードディスク、ネットワークなどへ出力される。また、画像表示装置２０５において天地方向の信頼度が低い部分領域（対象部分領域）につてプレビュー表示が行われる点、並びにこのプレビュー表示された指示領域３２に対してユーザにより天地方向が指定された場合に、対象部分領域の天地方向を指定された天地方向とする点については、画像処理装置１の場合と同様である。

本発明はコンピュータに実行させるためのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上記した原稿の方向判定を行い原稿に回転処理を施す方向を重ねて表示を行う画像処理方法を記録するものとすることもできる。

この結果、原稿の方向判定を行い原稿に回転処理を施す方向を重ねて表示を行う画像処理方法を行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。

なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであってもよいし、また外部記憶装置（図示せず）としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。

いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムコードが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスクやCD−ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

コンピュータシステムは、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ、液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 画像処理装置
２ 表示装置
１１ 領域分割部
１２ 天地判定部
１３ 文字認識部
１４ 表示制御部
２１ プレビュー要否判定部
２２ プレビュー画像生成部（表示用画像生成部）
２３ プレビュー画像出力部（表示用画像出力部）
２４ 回転処理部
３１ 選択領域
３２ 指示領域
３３ プレビュー画像
４１ 第１部分領域
４１ ａ 矩形枠
４２ 第２部分領域
４２ 矩形枠
４３ 第３部分領域
４３ 矩形枠
５１ 部分領域
２００ 画像形成装置
２０１ 画像処理装置
２０２ 画像入力装置
２０３ 画像出力装置（印刷装置）
２０５ 画像表示装置
２２４ 第１原稿検知部
２２５ 原稿補正部
２３１ 領域分離部
２３２ 第２原稿検知部
２３３ 文字認識部
３００ 画像読取装置
３０１ 画像処理装置

Claims (10)

1. 入力された画像データが少なくとも複数の文字画像を含む文書画像データであり、前記画像データをそれぞれが文字画像を含む、上下の平行な直線および左右の平行な直線にて区切った複数の矩形の部分領域に分割する領域分割部と、
   前記画像データが前記部分領域の矩形における互いに平行な上下の２辺に垂直な方向を上下方向として配置され、前記部分領域の画像データの上下方向および左右方向の２方向を天地方向とした場合の、上の向き、下の向き、右の向きおよび左の向きの４つの向きについて、前記部分領域の文字画像に含まれる各文字のデータベース化された文字パターンとのパターンマッチングにより判別可能な文字数を求め、それら文字数から、それぞれの向きを天の向きと見なす上での信頼度をそれぞれの向きについて求め、求めた信頼度のうち、信頼度が最も高い向きをその部分領域の天の向きとして設定する天地判定部と、
   前記天地判定部により天の向きが設定された部分領域について、天の向きの信頼度が任意に設定された所定値よりも低い部分領域である対象部分領域、および信頼度が所定値以上の部分領域である非対象部分領域のうち、少なくとも前記対象部分領域の画像と前記対象部分領域の天の向きを指定するユーザ入力を受け付ける領域であって矩形の前記対象部分領域の４辺に沿って前記対象部分領域の周りの上下左右の４箇所の位置に配置される指示領域の画像とを表示装置に表示させるための表示用画像データを生成する表示制御部と、
   前記対象部分領域については前記指示領域に対して指定された天の向きを天の向きとして、前記非対象部分領域については前記天地判定部にて設定された天の向きを天の向きとして、各部分領域ごとに文字認識を行う文字認識部とを備えていることを特徴とする画像処理装置。
2. 前記表示制御部は、前記対象部分領域の画像と前記指示領域の画像とを生成する表示用画像生成部と、これら対象部分領域の画像と指示領域の画像とを拡大して前記表示用画像データとして出力する表示用画像出力部とを備えていることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御部は、前記指示領域に対しての天の向きを指定する入力に従って前記表示用画像データを回転させ、前記表示用画像データとして出力する回転処理部を備えていることを特徴とする請求項２に記載の画像処理装置。
4. 前記文字認識部は、前記非対象部分領域については前記天地判定部により設定された天の向きに従って前記非対象部分領域を回転させた後、前記対象部分領域については前記指示領域に対しての天の向きを指定する入力に従って前記対象部分領域を回転させた後、前記文字認識を行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記表示制御部は、前記の各指示領域のサイズを、前記天地判定部により求められた、前記４方向の信頼度に応じて、各指示領域に対応する方向の信頼度が高いほど大きくすることを特徴とする請求項１に記載の画像処理装置。
6. 前記表示制御部は、前記の各指示領域の色を、前記天地判定部により求められた、前記４方向の信頼度に応じて、各指示領域に対応する方向の信頼度が高いほど濃くすることを特徴とする請求項１に記載の画像処理装置。
7. 請求項１から５の何れか１項に記載の画像処理装置と、前記表示用画像データを表示する表示装置と、画像データを用紙上に印刷する印刷装置とを備えていることを特徴とする画像形成装置。
8. 入力された画像データが少なくとも複数の文字画像を含む文書画像データであり、前記画像データをそれぞれが文字画像を含む、上下の平行な直線および左右の平行な直線にて区切った複数の矩形の部分領域に分割する領域分割工程と、
   前記画像データが前記部分領域の矩形における互いに平行な上下の２辺に垂直な方向を上下方向として配置され、前記部分領域の画像データの上下方向および左右方向の２方向を天地方向とした場合の、上の向き、下の向き、右の向きおよび左の向きの４つの向きについて、前記部分領域の文字画像に含まれる各文字のデータベース化された文字パターンとのパターンマッチングにより判別可能な文字数を求め、それら文字数から、それぞれの向きを天の向きと見なす上での信頼度をそれぞれの向きについて求め、求めた信頼度のうち、信頼度が最も高い向きをその部分領域の天の向きとして設定する天地判定工程と、
   前記天地判定工程により天の向きが設定された部分領域について、天の向きの信頼度が任意に設定された所定値よりも低い部分領域である対象部分領域、および信頼度が所定値以上の部分領域である非対象部分領域のうち、少なくとも前記対象部分領域の画像と前記対象部分領域の天の向きを指定するユーザ入力を受け付ける領域であって矩形の前記対象部分領域の４辺に沿って前記対象部分領域の周りの上下左右の４箇所の位置に配置される指示領域の画像とを表示装置に表示させるための表示用画像データを生成する表示制御工程と、
   前記対象部分領域については前記指示領域に対して指定された天の向きを天の向きとして、前記非対象部分領域については前記天地判定工程にて設定された天の向きを天の向きとして、各部分領域ごとに文字認識を行う文字認識工程とを備えていることを特徴とする画像処理方法。
9. 請求項１から６何れかに１項に記載の画像処理装置の前記の各部としてコンピュータを機能させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images