JP4819661B2 - 方向判定装置、画像処理装置、画像方向判別方法、および画像方向判別プログラム - Google Patents

Description

本発明は、方向判定装置、画像処理装置、画像方向判別方法、および画像方向判別プログラムに関する
ものである。

従来、画像の方向を判定する方法としては、文書画像から文字を切り出し、その特徴量
を抽出し、４方向の文字を持つ辞書と文字との類似度を求め、最も類似度の高い方向を画
像の方向として判定する技術が一般に知られている。このような技術では、方向を判定す
るために切出された文字の４方向すべての類似度を加算して方向を判定するため、例えば
“６”と“９”のようにある方向の類似度と逆方向の類似度が高い場合は、類似度が累積
されることによって、文書画像の方向を誤認してしまうという問題があった。

このような問題を解決するものとして、画像情報から文字領域を切り出し、各文字につ
いて４方向に対して文字認識を行い、各方向の文字認識の類似度を求め、予め定められた
閾値を超えた類似度のみを加算していき、最も高い値の類似度の方向を文書画像の方向と
して判定する装置が開示されている（特許文献１参照）。

特開２０００−１１３１０３号公報

しかしながら、上記特許文献１に記載された技術では、切出した文字の４方向に対して
文字認識を行うため、処理速度の遅い装置、例えばＯＣＲ（光学式文字読取装置:Optical
Character Reader)などでは処理速度が遅く、実用に耐えないという問題があった。

また、処理速度の高速化を図るために、画像情報の文字行のレイアウト情報を用いて、画像情報の方向を判定する方法も考案されている。しかしながら、この方法では上下左右の４つの方向を判定する際に画像情報の方向が上下方向か左右方向かは正確に判定できるが、上下方向と判定された画像情報の方向が上方向か下方向か、または左右方向と判定された画像情報の方向が右方向か左方向かの判定は、レイアウト情報の差異が小さいため、誤って判定してしまう場合があるという問題があった。特に、画像情報の文字データの量が少ない場合には、判定を誤る可能性が高かった。

本発明は、上記に鑑みてなされたものであって、画像情報の方向の判定の処理速度を高
速化するとともに、画像情報の方向を正確に判定できる方向判定装置、画像処理装置、画像方向判別方法
、および画像方向判別プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定手段と、前記文書画像情報を構成する各々の文書情報を抽出する文書情報抽出手段と、抽出された前記文書情報に基づいて、前記文書画像情報の重心位置情報を検出する重心位置情報検出手段と、前記確信度判定手段によって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定手段と、を備え、前記方向判定手段は、前記重心位置情報が前記文書画像情報の中心から、前記第１方向と前記第２方向のどちら側に偏っているかに基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定し、前記文書情報抽出手段は、前記文書画像情報の文字データを構成する画素を文書情報として抽出すること、を特徴とする。

また、請求項２にかかる発明は、請求項１に記載の方向判定装置において、前記文書画像情報の文字データを構成する画素は、二値画像の黒画素であること、を特徴とする。

また、請求項３にかかる発明は、請求項２に記載の方向判定装置において、前記文書情報抽出手段は、多値画像を二値化する二値化処理手段をさらに備え、前記文書画像情報が多値画像であった場合、前記文書情報抽出手段は、前記二値化処理手段による前記多値画像の二値化処理後の黒画素を文書情報として抽出すること、を特徴とする。

また、請求項４にかかる発明は、請求項２または３に記載の方向判定装置において、前記文書情報抽出手段は、前記黒画素内のノイズを検出するノイズ検出手段をさらに備え、前記文書情報抽出手段は、前記ノイズ検出手段による前記ノイズを除外した前記黒画素を文書情報として抽出すること、を特徴とする。

また、請求項５にかかる発明は、請求項１〜４のいずれか一つに記載の方向判定装置において、前記文書情報抽出手段は、前記文書画像情報内のヘッダーおよびフッターに相当する領域の少なくとも一つを検出するヘッダー・フッター検出手段をさらに備え、前記文書情報抽出手段は、前記ヘッダー・フッター検出手段による、前記ヘッダーまたはフッターに相当する前記文字データを構成する画素を除外した画素を文書情報として抽出すること、を特徴とする。

また、請求項６にかかる発明は、請求項１〜５のいずれか一つに記載の方向判定装置において、前記文書画像情報は、文字データ、表データ、および図データの少なくとも一つであること、を特徴とする。

また、請求項７にかかる発明は、文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定手段と、前記文書画像情報を構成する各々の文書情報を抽出する文書情報抽出手段と、抽出された前記文書情報に基づいて、前記文書画像情報の重心位置情報を検出する重心位置情報検出手段と、前記確信度判定手段によって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定手段と、前記方向判定手段による判定結果に基づいて前記文書画像情報の上方向を認識して画像処理を行う画像処理手段と、を備え、前記方向判定手段は、前記重心位置情報が前記文書画像情報の中心から、前記第１方向と前記第２方向のどちら側に偏っているかに基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定し、前記文書情報抽出手段は、前記文書画像情報の文字データを構成する画素を文書情報として抽出すること、を特徴とする。

また、請求項８にかかる発明は、文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定ステップと、前記文書画像情報を構成する各々の文書情報を抽出する文書情報抽出ステップと、抽出された前記文書情報に基づいて、前記文書画像情報の重心位置情報を検出する重心位置情報検出ステップと、前記確信度判定ステップによって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定ステップと、を有し、前記方向判定ステップは、前記重心位置情報が前記文書画像情報の中心から、前記第１方向と前記第２方向のどちら側に偏っているかに基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定し、文書情報抽出ステップは、前記文書画像情報の文字データを構成する画素を文書情報として抽出すること、を特徴とする。

また、請求項９にかかる発明は、請求項８に記載された画像方向判別方法をコンピュータに実行させることを特徴とする。

請求項１にかかる発明によれば、確信度判定手段によって、文書を示す文書画像情報における上下左右方向それぞれが文書の上方向である確信度を判定することにより、文書画像情報に対して上下左右方向それぞれの確信度を求めることができ、確信度判定手段により最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、文書情報抽出手段によって、文書画像情報を構成する各々の文書情報を抽出し、重心位置情報検出手段によって、抽出された文書情報に基づいて文書画像情報の重心位置情報を検出し、方向判定手段によって、重心位置情報が文書画像情報の中心から、第１方向と第２方向のどちら側に偏っているかに基づいて、文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定することにより、２方向に限定された文書画像情報の方向を重心位置情報を用いて判定することができるので、文書画像情報の方向の判定の処理速度を高速化するとともに、文書画像情報の方向を正確に判定することができるという効果を奏する。また、請求項１にかかる発明によれば、文書情報抽出手段が文書画像情報の文字データを構成する画素を文書情報として抽出することにより、方向判定手段が文字データを構成する画素の重心位置情報を用いて判定することができるので、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項２にかかる発明によれば、文書画像情報の文字データを構成する画素は、二値画像の黒画素であるので、方向判定手段が文字データを構成する黒画素の重心位置情報を用いて容易に判定することができるので、文書画像情報の方向の判定の処理速度を高速化することができるという効果を奏する。

また、請求項３にかかる発明によれば、二値化処理手段によって、多値画像を二値化し、文書情報抽出手段が多値画像の二値化処理後の黒画素を文書情報として抽出することにより、方向判定手段が二値化処理後の黒画素の重心位置情報を用いて容易に判定することができるので、文書画像情報の方向の判定の処理速度を高速化することができるという効果を奏する。

また、請求項４にかかる発明によれば、ノイズ検出手段によって、黒画素内のノイズを検出し、文書情報抽出手段によって、ノイズを除外した黒画素を文書情報として抽出し、
方向判定手段がノイズを除外した黒画素の重心位置情報を用いて判定することができるので、文書画像情報の方向判定の精度をより高めることができるという効果を奏する。

また、請求項５にかかる発明によれば、ヘッダー・フッター検出手段によって、文書画像情報内のヘッダーおよびフッターに相当する領域の少なくとも一つを検出し、文書情報抽出手段によって、ヘッダーまたはフッターに相当する文字データを構成する画素を除外した画素を文書情報として抽出し、方向判定手段がヘッダーまたはフッターに相当する文字データを除外した文書情報の重心位置情報を用いて判定することができるので、文書画像情報の方向判定の精度をより高めることができるという効果を奏する。

また、請求項６にかかる発明によれば、文書画像情報は、文字データ、表データ、および図データの少なくとも一つであるので、各データを使用して、確信度判定手段による確信度判定、または、方向判定手段による方向判定をすることができるので、文書画像情報の方向の判定を多様化することができるという効果を奏する。

請求項７にかかる発明によれば、確信度判定手段によって、文書を示す文書画像情報における上下左右方向それぞれが文書の上方向である確信度を判定することにより、文書画像情報に対して上下左右方向それぞれの確信度を求めることができ、確信度判定手段により最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、文書情報抽出手段によって、文書画像情報を構成する各々の文書情報を抽出し、重心位置情報検出手段によって、抽出された文書情報に基づいて文書画像情報の重心位置情報を検出し、方向判定手段によって、重心位置情報が文書画像情報の中心から、第１方向と第２方向のどちら側に偏っているかに基づいて、文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定し、画像処理手段によって、方向判定手段による判定結果に基づいて文書画像情報の上方向を認識して画像処理を行うことにより、２方向に限定された文書画像情報の方向を重心位置情報を用いて判定して画像処理を行うことができるので、画像処理の処理速度を高速化するとともに、画像処理を正確に行うことができるという効果を奏する。また、請求項７にかかる発明によれば、文書情報抽出手段が文書画像情報の文字データを構成する画素を文書情報として抽出することにより、方向判定手段が文字データを構成する画素の重心位置情報を用いて判定することができるので、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項８にかかる発明によれば、確信度判定ステップによって、文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定することにより、文書画像情報に対して上下左右方向それぞれの確信度を求めることができ、確信度判定ステップにより最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、文書情報抽出ステップによって、文書画像情報を構成する各々の文書情報を抽出し、重心位置情報検出ステップによって、抽出された文書情報に基づいて文書画像情報の重心位置情報を検出し、方向判定ステップによって、重心位置情報が文書画像情報の中心から、第１方向と第２方向のどちら側に偏っているかに基づいて、文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定することにより、２方向に限定された文書画像情報の方向を重心位置情報を用いて判定することができるので、文書画像情報の方向の判定の処理速度を高速化するとともに、文書画像情報の方向を正確に判定することができるという効果を奏する。また、請求項８にかかる発明によれば、文書情報抽出手段が文書画像情報の文字データを構成する画素を文書情報として抽出することにより、方向判定手段が文字データを構成する画素の重心位置情報を用いて判定することができるので、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項９にかかる発明によれば、請求項８に記載された画像方向判別方法をコンピュータに実行させることにより、文書画像情報に対して上下左右方向それぞれの確信度を求めることができ、さらに２方向に限定された文書画像情報の方向を重心位置情報を用いて判定することができるので、文書画像情報の方向の判定の処理速度を高速化するとともに、文書画像情報の方向を正確に判定することができるという効果を奏する。また、請求項９にかかる発明によれば、文書情報抽出手段が文書画像情報の文字データを構成する画素を文書情報として抽出することにより、方向判定手段が文字データを構成する画素の重心位置情報を用いて判定することができるので、文書画像情報の方向を正確に判定することができるという効果を奏する。

以下に添付図面を参照して、本発明にかかる方向判定装置、画像処理装置、画像方向判別方法、および画像方向判別プログラムの最良な実施の形態を詳細に説明する。なお、本発明はこれらの実施の形態に限定されるものではない。

（第１の実施の形態）
第１の実施の形態について、添付図面を参照して説明する。まず、本発明が適用される画像処理装置の構成例について説明する。図１は、第１の実施の形態にかかる画像処理装置の構成を示すブロック図である。なお、本実施の形態では、画像処理装置、例えばパーソナルコンピュータを一例として説明するが、原稿から画像情報を読取るスキャナを含む構成でもよいし、画像情報を格納するデータベースを含む構成でもよい。また、画像形成部を含むプリンタや複合機であってもよい。

本実施の形態にかかる画像処理装置１００は、画像情報取得部１０１と、第１方向判定部１０２と、第２方向判定部１０３と、方向補正部１０４と、画像情報出力部１０５と、を備えている。例えば、スキャナによって文書を読込む場合、任意の方向を上方向として一の文書の画像情報を作成する。従って、文書の上方向と、作成された画像情報の上方向とが異なる場合がある。しかし、画像情報を画面に表示する際には、文字が正立する方向に表示する必要があり、画像情報を印刷する際には、文字を一定の方向に印刷する必要がある。画像処理装置１００は、このような方向のずれを補正する。

画像情報取得部１０１は、スキャナによって読込まれた画像情報やネットワークを介して送信された画像情報を取得するものである。ここで、読込まれた画像情報は、文字などを含む画像情報である（以下、文書画像情報という）。

第１方向判定部１０２は、画像情報取得部１０１によって取得された文書画像情報の上下左右方向それぞれが一の文書画像情報に対応する文書の上方向である確からしさの尺度を示す確信度を判定するものである。ここで、文書画像情報の方向とは、文字の方向を示すものである。例えば、第１方向判定部１０２は、文書画面情報に含まれる文字の傾きが０度、すなわち文字が正立している場合に上方向と判断し、文字の傾きが９０度、すなわち文字が左に倒れている場合に左方向と判断し、文字の傾きが１８０度、すなわち文字が倒立している場合に下方向と判断し、文字の傾きが２７０度、すなわち文字が右に倒れている場合に右方向と判断し、それぞれについての確信度を判定する。

ここで、第１方向判定部１０２は、文書画像情報の上方向が、当該文書画像情報に対応する文書の上方向である確信度が最も高い場合、上方向は確信度が１位の方向と判定し、文書画像情報の下方向が、当該文書画像情報に対応する文書の上方向である確信度が２番目に高い場合、下方向は確信度が２位の方向であると判定する。同様に、第１方向判定部１０２は、文書画像情報の左方向が、当該文書画像情報に対応する文書の上方向である確信度が３番目に高い場合、左方向は確信度が３位の方向であると判定し、文書画像情報の右方向が、当該文書画像情報に対応する文書の上方向である確信度が最も低い場合、右方向は確信度が４位の方向であると判定する。

第２方向判定部１０３は、第１方向判定部１０２によって判定された確信度が最も高い方向（確信度が１位の方向）と確信度が２番目に高い方向（確信度が２位の方向）に限定して、文書画像情報の方向を判定するものである。第２方向判定部１０３は、さらに文書情報抽出部１０３１と、重心位置検出部１０３２と、方向判定部１０３３と、を備えている。

文書情報抽出部１０３１は、文書画像情報から文書情報を抽出する。抽出される文書情報は、具体的には、文字データ、表データ、および図データを囲む領域データ、文字データ、表データ、および図データの画像の画素、および、文字データ、表データ、および図データの画像の黒画素等がある。

文書情報抽出部１０３１は、さらに面積比較部１０３４と、ヘッダー・フッター検出部１０３５と、二値化処理部１０３６と、ノイズ検出部１０３７と、を備えている。面積比較部１０３４は、文書画像情報における、文字データを囲む領域データの面積と、表データを囲む領域データと図データを囲む領域データを合計した面積とを比較する。ヘッダー・フッター検出部１０３５は、文書画像情報内のヘッダーおよびフッターに相当する領域を検出する。二値化処理部１０３６は、文書画像情報が多値画像であった場合に、多値画像の二値化処理を行う。ノイズ検出部１０３７は、文書画像情報の文字データを構成する二値画像の黒画素内の周辺ノイズや孤立点（ごま塩）ノイズを検出する。

重心位置検出部１０３２は、文書情報抽出部１０３１から抽出された文書情報から、文書画像情報の重心位置情報を検出する。重心位置情報の検出は、領域データが存在する各部分、データ画像の画素が存在する各部分、および、データ画像の黒画素が存在する各部分に重みがあると想定した上で、全ての重みを考慮して行われる。

方向判定部１０３３は、重心位置検出部１０３２によって検出された重心位置情報が文書画像情報の中心部に対して、上下左右のいずれに偏っているかという点と、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向、または、右方向と左方向のいずれであるかという点とから文書画像情報の方向を判定する。

具体的には、方向判定部１０３３は、重心位置情報が文書画像情報の中心部に対して上方向に偏っている場合であって、確信度の１位と２位の方向が上方向と下方向である場合には、文書画像情報の方向が上方向であると判定する。また、方向判定部１０３３は、重心位置情報が文書画像情報の中心部に対して下方向に偏っている場合であって、確信度の１位と２位の方向が上方向と下方向である場合には、文書画像情報の方向が下方向であると判定する。

また、方向判定部１０３３は、重心位置情報が文書画像情報の中心部に対して右方向に偏っている場合であって、確信度の１位と２位の方向が左方向と右方向である場合には、文書画像情報の方向が右方向であると判定する。さらに、方向判定部１０３３は、重心位置情報が文書画像情報の中心部に対して左方向に偏っている場合であって、確信度の１位と２位の方向が左方向と右方向である場合には、文書画像情報の方向が左方向であると判定する。

方向補正部１０４は、第２方向判定部１０３によって判定された文書画像情報の方向に従って文書画像情報を回転して補正するものである。画像情報出力部１０５は、方向補正部１０４によって補正された文書画像情報を印刷または画面に出力するものである。

次に、上述したように構成されている画像処理装置による文書方向判定・補正処理について説明する。図２は、画像情報取得部、第１方向判定部、第２方向判定部、方向補正部、画像情報出力部が行う方向判定・補正処理手順を示すフローチャートである。

画像情報取得部１０１は、画像情報を取得する（ステップＳ２０１）。第１方向判定部１０２は、方向判定処理１により上下左右方向それぞれの確信度を判定する（ステップＳ２０２）。詳細は後述する。第２方向判定部１０３は、上下左右方向の４方向の確信度のいずれか１つが所定の閾値以上か否かを判断する（ステップＳ２０３）。４方向の確信度のいずれか１つが所定の閾値以上であると判断した場合は（ステップＳ２０３：Ｙｅｓ）、第２方向判定部１０３は確信度が最も高い方向を文書画像情報の方向と判定する（ステップＳ２０４）。

４方向の確信度のいずれか１つが所定の閾値以上でないと判断した場合は（ステップＳ２０３：Ｎｏ）、第２方向判定部１０３は１位の方向と２位の方向が上方向と下方向、または右方向と左方向の関係か否かを判断する（ステップＳ２０５）。

１位の方向と２位の方向が上方向と下方向、または右方向と左方向の関係であると判断した場合には（ステップＳ２０５：Ｙｅｓ）、第２方向判定部１０３は方向判定処理２により１位の方向と２位の方向のうちの１方向を文書画像情報の方向と判定する（ステップＳ２０６）。詳細は後述する。方向補正部１０４は、決定された方向に従って画像情報を回転して補正する（ステップＳ２０７）。なお、画像情報の回転補正は、画像情報の座標を回転して補正するのみではなく、画像情報がＰＤＦ（Portable Document Format）であれば、画像情報の回転角度に関する情報をヘッダ部分に記載してもよい。また、画像情報がＥＸＩＦ（Exchangeable Image File Format）であれば、画像情報の回転角度に関する情報を付加情報として記載してもよい。画像情報を表示や印刷する際に、ビューワや印刷プログラムがＰＤＦやＥＸＩＦに対応している場合は、画像情報の座標を変更することなく、画像情報を回転させて表示または印刷することができる。

１位の方向と２位の方向が上方向と下方向、または右方向と左方向の関係でないと判断した場合には（ステップＳ２０５：Ｎｏ）、第２方向判定部１０３は方向が不明であると判定する（ステップＳ２０８）。画像情報出力部１０５は、画像情報を画面やプリンタに出力する（ステップＳ２０９）。

このように、第１の方向判定処理において上下左右方向の確信度が所定の閾値を超えず、文書画像情報の方向を判定できない場合または文書画像情報の方向を誤認してしまうような場合に、第２の方向判定処理が第１の方向判定処理で文書画像情報の方向として可能性が高い２方向に限定して、第１の方向判定処理と異なる方法で再度文書画像情報の方向の判定を行うことによって、正確な文書画像情報の方向を判定することができる。また、第２の方向判定処理で判定する方向を限定することによって、正しい方向を判定する可能性が高くなるとともに、処理時間も短くなる。また、文書画像情報は判定された方向に従って回転されて補正されるため、画面に表示する際にユーザが見やすい方向、すなわち文字が正立するように表示することができる。また、印刷においても、一定の方向で印刷することができる。

次に、方向判定処理１について説明する。図３は、第１方向判定部が行う方向判定処理手順を示すフローチャートである。ここでは、処理内容を簡単に説明する。さらに詳細な説明は、既に出願されている特願２００５−０７７８７９号を参照する。

第１方向判定部１０２は、画像情報から横方向の文字行を抽出する（ステップＳ３０１）。次に、第１方向判定部１０２は、画像情報から縦方向の文字行を抽出する（ステップＳ３０２）。第１方向判定部１０２は、各文字行内部の矩形特徴を抽出する（ステップＳ３０３）。第１方向判定部１０２は、抽出された矩形特徴と辞書に記載された特徴とをマッチングする（ステップＳ３０４）。第１方向判定部１０２は、マッチングを上下左右方向それぞれに対して４回行ったか否かを判断する（ステップＳ３０５）。

マッチングを４回行っていないと判断した場合は（ステップＳ３０５：Ｎｏ）、第１方向判定部１０２は矩形の座標を変換、すなわち９０度回転する（ステップＳ３０６）。マッチングを４回行なったと判断した場合は（ステップＳ３０５：Ｙｅｓ）、第１方向判定部１０２は、各方向のうち、特徴の合致率が高い方向を当該文字行の方向とする（ステップＳ３０７）。第１方向判定部１０２は、方向ごとに文字行の数を計測する（ステップＳ３０８）。第１方向判定部１０２は、方向ごとの文字行の数から各方向の確信度を算出する（ステップＳ３０９）。

なお、方向判定処理１は、ここで記載された処理には限らず、他の処理によって各方向の確信度を求めてもよい。例えば、上述した処理より高速な方向判定処理を第１の方向判定処理として行うことによって、処理速度を全体としてさらに短縮することができる。

次に、方向判定処理２について説明する。図４は、第２方向判定部が行う方向判定処理手順を示すフローチャートである。この方向判定処理２では、第２方向判定部が行う方向判定処理に、文書画像情報を構成する文字データ、表データ、および図データを囲む領域データを使用することを特徴とする。

文書情報抽出部１０３１は、文書画像情報から、文字データを囲む領域データ、表データを囲む領域データ、および図データを囲む領域データを全て抽出する（ステップＳ４０１）。一例として、文書画像データにおける黒画素の繋がりを調べて黒画素連結成分に外接する矩形を抽出し、矩形の形状情報および内部データから、矩形の属性（文字領域、表領域、および図領域）を分類する方法が特許第３２８５６８６号公報に記載されている。このような方法によって文字データを囲む領域データ、表データを囲む領域データ、および図データを囲む領域データをそれぞれ抽出することができる。

次に、面積比較部１０３４は、文字データを囲む領域データの面積と、表データを囲む領域データと図データを囲む領域データとを合計した面積とを比較する（ステップＳ４０２）。面積比較部１０３４が、文字データを囲む領域データの面積は、表データを囲む領域データと図データを囲む領域データを合計した面積より大きいと判断した場合には（ステップＳ４０２：Ｙｅｓ）、次のステップＳ４０３へ進む。

これに対し、面積比較部１０３４が、文字データを囲む領域データの面積は、表データを囲む領域データと図データを囲む領域データとを合計した面積より小さいと判断した場合には（ステップＳ４０２：Ｎｏ）、方向判定部１０３３は、文字データを囲む領域データから正確な重心位置情報を検出し、文書画像情報の方向判定をすることは不可能であると判断し、文書画像情報の方向は不明であると判定し、判定処理を終了する（ステップＳ４０４）。これにより、不必要である方向判定に要する時間を省くことができるとともに、文書画像情報の方向の誤判定を防ぐことができる。

ステップＳ４０３で、ヘッダー・フッター検出部１０３５は、文字データを囲む領域データから、ヘッダーおよびフッターに相当する領域データの存在を検出する。一例として、文書画像データの文字領域からヘッダーおよびフッターに相当する文字領域を識別する方法が特許第３２６９９１８号公報に記載されている。

これは、文書画像情報の上下左右の各端部に罫線が存在するか否かを調べ、罫線が存在する場合、この罫線の長さが画像の幅または高さに対して十分に大きく、かつ、この罫線より外側に大きな文字データを囲む領域データ（数行の文字データを囲む領域データ）が存在しないならば、この罫線を本文とヘッダーまたはフッタとを分ける罫線であると判断する。そして、その外側に小さな文字データを囲む領域データがあれば、それをヘッダーまたはフッタとして分類するというものである。このような方法によって文字データを囲む領域データからヘッダーおよびフッターに相当する領域データを検出することができる。

ヘッダー・フッター検出部１０３５が、ヘッダーおよびフッターに相当する領域データの存在を検出した場合には（ステップＳ４０３：Ｙｅｓ）、文書情報抽出部１０３１は、文字データを囲む領域データから、ヘッダーおよびフッターに相当する領域データを除去する（ステップＳ４０５）。そして除去後の領域データを、重心位置情報の検出に必要な文書情報として最終的に抽出する。ヘッダー・フッター検出部１０３５が、ヘッダーおよびフッターに相当する領域データの存在を検出しない場合には（ステップＳ４０３：Ｎｏ）、文書情報抽出部１０３１は、文字データを囲む領域データを、重心位置情報の検出に必要な文書情報として最終的に抽出する。

このように、文字データを囲む領域データから検出したヘッダーおよびフッターに相当する領域データを除去することにより、以後のステップで、より正確な重心位置情報を検出することができ、文書画像情報の方向判定の精度をより高めることができる。

次に、重心位置検出部１０３２は、文書情報抽出部１０３１が抽出した文書情報（文字データを囲む領域データ）から、重心位置情報を検出する（ステップＳ４０６）。重心位置情報の検出は、一例として、文字データを囲む領域データの各部分に重みがあると想定し、さらに各部分の重心にその面積分の重みがあるとして、全ての文字データを囲む領域データの重心の位置情報を計測する。

次に、方向判定部１０３３は、検出された重心位置情報が、文書画像情報の中心部に対して、上下左右のいずれかに偏っているかを判定する（ステップＳ４０７）。方向判定部１０３３が、検出された重心位置情報が、文書画像情報の中心部に対して、上下左右のいずれかに偏っていると判定した場合（ステップＳ４０７：Ｙｅｓ）、次のステップＳ４０８へ進む。これに対し、方向判定部１０３３が、検出された重心位置情報が、文書画像情報の中心部に対して、上下左右のいずれにも偏っていない、すなわち重心位置が、文書画像情報の中心であると判定した場合には（ステップＳ４０７：Ｎｏ）、方向判定部１０３３は、文書画像情報の方向が不明であると判定する（ステップＳ４０４）。

方向判定部１０３３は、以下のステップＳ４０８からステップＳ４１４で、文書画像情報の方向を判定する。初めに、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向であり（ステップＳ４０８：Ｙｅｓ）、検出された重心位置情報が文書画像情報を上下に等分した場合の上側に存在する場合（ステップＳ４０９：Ｙｅｓ）、方向判定部１０３３は、文書画像情報の方向は上方向であると判定する（ステップＳ４１０）。

この判定方法は、文字データを囲む領域データ、すなわち、文字情報が、文書画像情報の上側に集中する傾向があるという事実に基づいている。一般の文書画像方向判別方法は、画像中の文字データを囲む領域データ、すなわち、文字情報が少ない場合、判定を間違える可能性が高くなる。これに対して、本発明は、画像中の文字情報が少ない場合に、画像中の文字情報の偏りから文書画像情報の方向を正しく判定することができる。本実施の形態では、特に、文書情報が横書きの場合に、正確に方向を判定できる可能性が高い。

また、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向であり（ステップＳ４０８：Ｙｅｓ）、検出された重心位置情報が文書画像情報を上下に等分した場合の上側に存在しない場合、すなわち、下側に存在する場合（ステップＳ４０９：Ｎｏ）、方向判定部１０３３は、文書画像情報の方向は下方向であると判定する（ステップＳ４１１）。

また、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向ではなく、すなわち、右方向と左方向であり（ステップＳ４０８：Ｎｏ）、検出された重心位置情報が文書画像情報を左右に等分した場合の右側に存在する場合（ステップＳ４１２：Ｙｅｓ）、方向判定部１０３３は、文書画像情報の方向は右方向であると判定する（ステップＳ４１３）。

さらに、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向ではなく、すなわち、右方向と左方向であり（ステップＳ４０８：Ｎｏ）、検出された重心位置情報が文書画像情報を左右に等分した場合の右側に存在しない場合、すなわち、左側に存在する場合（ステップＳ４１２：Ｎｏ）、方向判定部１０３３は、文書画像情報の方向は左方向であると判定する（ステップＳ４１４）。

図５および図６は、文書画像情報の方向を判定する画像情報の一例を示す説明図である。図５のように、文字情報、すなわち、文字データを囲む領域データが少ない場合でも、方向判定部１０３３は文書画像情報の方向を正しく判断することが可能である。しかしながら、図６のように、文字データを囲む領域データの面積が、図データを囲む領域データより小さい場合、方向判定部１０３３は文書画像情報の方向を正しく判定することができず、方向判定部１０３３は文書画像情報の方向が不明であると判定する（図４のステップＳ４０４）。

このように、方向判定処理２は、第１方向判定部によって判定された確信度の１位と２位の方向、および、文書画像情報を構成する文字データの重心位置情報から正確に文書画像情報の方向を判定することが可能である。

次に、他の方向判定処理２について説明する。図７は、第２方向判定部が行う方向判定処理手順を示すフローチャートである。この方向判定処理２では、第２方向判定部が行う方向判定処理に、文書画像情報を構成する文字データ、表データ、および図データを囲む領域データの代わりに、文書画像情報を構成する文字データ画像の画素を使用することを特徴とする。

文書情報抽出部１０３１は、文書画像情報から、文字データ領域の画像を全て抽出する（ステップＳ７０１）。一例として、文書画像データにおける黒画素の繋がりを調べて黒画素連結成分に外接する矩形を抽出し、矩形の形状情報および内部データから、矩形の属性（文字領域）を分類する方法が特許第３２８５６８６号公報に記載されている。このような方法によって文字データ領域の画像を全て抽出することができる。

次に、ヘッダー・フッター検出部１０３５は、抽出した文字データ領域の画像から、ヘッダーおよびフッターに相当する文字データ領域の画像の存在を検出する（ステップＳ７０２）。一例として、文字データ領域の画像からヘッダーおよびフッターに相当する文字データ領域の画像を識別する方法が特許第３２６９９１８号公報に記載されている。

これは、文書画像情報の上下左右の各端部に罫線が存在するか否かを調べ、罫線が存在する場合、この罫線の長さが画像の幅または高さに対して十分に大きく、かつ、この罫線より外側に大きな文字データ領域の画像（数行の文字データ領域の画像）が存在しないならば、この罫線を本文とヘッダーまたはフッタとを分ける罫線であると判断する。そして、その外側に小さな文字データ文字データ領域の画像があれば、それをヘッダーまたはフッタとして分類するというものである。このような方法によって文字データ領域の画像からヘッダーおよびフッターに相当する文字データ領域の画像を検出することができる。

ヘッダー・フッター検出部１０３５が、ヘッダーおよびフッターに相当する文字データ領域の画像の存在を検出した場合には（ステップＳ７０２：Ｙｅｓ）、文書情報抽出部１０３１は、文字データ領域の画像から、ヘッダーおよびフッターに相当する領域の画像を除去し（ステップＳ７０３）、次のステップＳ７０４に進む。ヘッダー・フッター検出部１０３５が、ヘッダーおよびフッターに相当する文字データ領域の画像の存在を検出しない場合には（ステップＳ７０２：Ｎｏ）、そのまま次のステップＳ７０４に進む。

このように、文字データ領域の画像から検出したヘッダーおよびフッターに相当する領域の画像を除去することにより、以後のステップで、より正確な重心位置情報を検出することができ、文書画像情報の方向判定の精度をより高めることができる。

ステップＳ７０４で、文書情報抽出部１０３１は、抽出した文字データ領域の画像が多値画像であるか否かを判断する。文書情報抽出部１０３１が、抽出した文字データ領域の画像が多値画像であると判断した場合には（ステップＳ７０４：Ｙｅｓ）、二値化処理部１０３６は、多値画像の二値化処理を行い（ステップＳ７０５）、次のステップＳ７０６に進む。文書情報抽出部１０３１が、抽出した文字データ領域の画像が多値画像ではないと判断した場合には（ステップＳ７０４：Ｎｏ）、そのまま次のステップＳ７０６に進む。

このように、文書画像情報が多値画像であった場合、以後のステップで、多値画像の二値化処理後の黒画素を用いて容易に重心位置情報を検出することができるので、文書画像情報の方向判定の処理速度を高速化することができる。

ステップＳ７０６で、文書情報抽出部１０３１は、抽出した文字データ領域の画像に白画素（反転画像）が含まれているか判断する。一例として、明度が反転している画像を識別する。文書情報抽出部１０３１が、抽出した文字データ領域の画像に白画素が含まれていると判断した場合には（ステップＳ７０６：Ｙｅｓ）、白画素の部分を黒画素に変換し（ステップＳ７０７）、次のステップＳ７０８に進む。文書情報抽出部１０３１が、抽出した文字データ領域の画像に白画素が含まれていないと判断した場合には（ステップＳ７０６：Ｎｏ）、そのまま次のステップＳ７０８に進む。

このように、文字データ領域の画像に白画素が含まれている場合でも、白画素の部分を検出し、黒画素に変換することにより、以後のステップで、黒画素を用いて重心位置情報を検出し、文書画像情報の方向判定をすることができる。

ステップＳ７０８で、ノイズ検出部１０３７は、抽出した文字データ領域の画像の黒画素内の周辺ノイズや孤立点（ごま塩）ノイズを検出する。一例として、文書画像データにおける黒画素の繋がりを調べて黒画素連結成分に外接する矩形を抽出し、矩形の形状情報および内部データから、矩形の属性（ノイズ）を分類する方法が特許第３２８５６８６号公報に記載され、このような方法によってノイズを検出することができる。ノイズ検出部１０３７が、周辺ノイズや孤立点（ごま塩）ノイズを検出した場合には（ステップＳ７０８：Ｙｅｓ）、当該ノイズを除去し（ステップＳ７０９）、次のステップＳ７１０に進む。ノイズ検出部１０３７が、周辺ノイズや孤立点（ごま塩）ノイズを検出しない場合には（ステップＳ７０８：Ｎｏ）、そのまま次のステップＳ７１０に進む。

このように、黒画素内にノイズがあった場合でも、以後のステップで、ノイズを除外した黒画素を用いてより正確な重心位置情報を検出することができ、文書画像情報の方向判定の精度をより高めることができるという効果を奏する。

ステップＳ７１０で、重心位置検出部１０３２は、文書情報抽出部１０３１が抽出した文書情報（文字データ領域の画像の黒画素）から、重心位置情報を検出する。

なお、ステップＳ７１１からステップＳ７１８までのフローは、図４のステップＳ４０７からステップＳ４１４までのフローと同じであり、また、ステップＳ７１９のフローは、図４のステップＳ４０４のフローと同じであり、以下、説明を省略する。

このように、方向判定処理２は、第１方向判定部によって判定された確信度の１位と２位の方向、および、文書画像情報を構成する文字データ画像の画素（黒画素）の重心位置情報から正確に文書画像情報の方向を判定することが可能である。

（第２の実施の形態）
第２の実施の形態について、添付図面を参照して説明する。本発明が適用される画像処理装置の構成例について、第１の実施の形態を異なる部分を説明する。他の部分については第１の実施の形態と同様であるので、上述した説明を参照し、ここでの説明を省略する。図８は、第２の実施の形態にかかる画像処理装置の構成を示すブロック図である。

本実施の形態にかかる画像処理装置２００は、画像情報取得部１０１と、第１方向判定部１０２と、第２方向判定部２０３と、方向補正部１０４と、画像情報出力部１０５と、を備えている。ここで、画像情報取得部１０１と、第１方向判定部１０２と、方向補正部１０４と、画像情報出力部１０５の構成、機能は、第１の実施の形態と同様であるので、説明を省略する。

第２方向判定部２０３は、第１の実施の形態で説明した第１方向判定部１０２と同様の処理を行うものである。第２方向判定部２０３は、第１方向判定部１０２によって判定された確信度が最も高い方向（確信度が１位の方向）と確信度が２番目に高い方向（確信度が２位の方向）に限定して、文書画像情報の方向を判定するものである。

第２方向判定部２０３は、さらに文書情報抽出部１０３１と、重心位置検出部１０３２と、縦書き判定部２０３３と、方向判定部２０３４と、を備えている。ここで、文書情報抽出部１０３１と、重心位置検出部１０３２の構成、機能は、第１の実施の形態と同様であるので、説明を省略する。縦書き判定部２０３３は、文書情報抽出部１０３１により抽出された文書（文字データ）が縦書きであるか否かを判定する。縦書き判定部２０３３は、さらに言語情報判定部２０３５を備えている。言語情報判定部２０３５は、文書情報抽出部１０３１により抽出された文字データに使用されている言語に縦書きが存在するか否かを判定する。

方向判定部２０３４は、重心位置検出部１０３２によって検出された重心位置情報が文書画像情報の中心部に対して、上下左右のいずれに偏っているかという点と、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向、または、右方向と左方向のいずれであるかという点と、縦書き判定部２０３３によって判定された文書が縦書きであるか否かという点とから文書画像情報の方向を判定する。

具体的には、方向判定部２０３４は、文書が横書きで記載されており、重心位置情報が文書画像情報の中心部に対して上方向に偏っている場合であって、確信度の１位と２位の方向が上方向と下方向である場合には、文書画像情報の方向が上方向であると判定する。また、方向判定部２０３４は、文書が横書きで記載されており、重心位置情報が文書画像情報の中心部に対して下方向に偏っている場合であって、確信度の１位と２位の方向が上方向と下方向である場合には、文書画像情報の方向が下方向であると判定する。

また、方向判定部２０３４は、文書が横書きで記載されており、重心位置情報が文書画像情報の中心部に対して右方向に偏っている場合であって、確信度の１位と２位の方向が左方向と右方向である場合には、文書画像情報の方向が右方向であると判定する。さらに、方向判定部２０３４は、文書が横書きで記載されており、重心位置情報が文書画像情報の中心部に対して左方向に偏っている場合であって、確信度の１位と２位の方向が左方向と右方向である場合には、文書画像情報の方向が左方向であると判定する。

また、方向判定部２０３４は、文書が縦書きで記載されており、重心位置情報が文書画像情報の中心部に対して右方向に偏っている場合であって、確信度の１位と２位の方向が上方向と下方向である場合には、文書画像情報の方向が上方向であると判定する。また、方向判定部２０３４は、文書が縦書きで記載されており、重心位置情報が文書画像情報の中心部に対して左方向に偏っている場合であって、確信度の１位と２位の方向が上方向と下方向である場合には、文書画像情報の方向が下方向であると判定する。

また、方向判定部２０３４は、文書が縦書きで記載されており、重心位置情報が文書画像情報の中心部に対して上方向に偏っている場合であって、確信度の１位と２位の方向が左方向と右方向である場合には、文書画像情報の方向が左方向であると判定する。さらに、方向判定部２０３４は、文書が縦書きで記載されており、重心位置情報が文書画像情報の中心部に対して下方向に偏っている場合であって、確信度の１位と２位の方向が左方向と右方向である場合には、文書画像情報の方向が右方向であると判定する。

次に、上述したように構成されている画像処理装置による方向判定・補正処理について説明する。図９は、画像情報取得部、第１方向判定部、第２方向判定部、方向補正部、画像情報出力部が行う方向判定・補正処理手順を示すフローチャートである。

ここで、ステップＳ９０１からステップＳ９０５までのフローは、第１の実施の形態における図２のステップＳ２０１からステップＳ２０５までのフローと同じであり、以下、説明を省略する。ステップＳ９０６で、第２方向判定部２０３は方向判定処理２により１位の方向と２位の方向のうちの１方向を文書画像情報の方向と判定する。詳細は後述する。さらに、ステップＳ９０７からステップＳ９０９までのフローは、第１の実施の形態における図２のステップＳ２０７からステップＳ２０９までのフローと同じであり、以下、説明を省略する。

次に、方向判定処理２について詳しく説明する。図１０は、第２方向判定部が行う方向判定処理手順を示すフローチャートである。この方向判定処理２では、第２方向判定部が行う方向判定処理に、文書画像情報を構成する文字データ、表データ、および図データを囲む領域データを使用することを特徴とする。ここで、ステップＳ１００１からステップＳ１００７までのフローは、第１の実施の形態における図４のステップＳ４０１からステップＳ４０７までのフローと同じであり、以下、説明を省略する。

ステップＳ１００８で、言語情報判定部２０３５は、文書情報抽出部１０３１により抽出された文字データに使用されている言語を判定し、その言語に縦書きが存在するか否かを判定する。一例として、文書画像データの文字データの言語を識別する方法が特開２００５−０６３４１９号公報に記載されている。これは、文書画像データ中の文字の外接矩形を、文字行内における外接矩形の特性を表す情報により、固定段階に量子化し、量子化された外接矩形にシンボルを付与して外接矩形の系列をシンボルの系列に変換し、シンボルの系列に基いてシンボルのトリグラムモデルを作成し、文字データの言語を識別するというものである。このような方法によって言語を識別することができる。

言語情報判定部２０３５が、文字データに使用されている言語に縦書きが存在しないと判定した場合には（ステップＳ１００８：Ｙｅｓ）、方向判定部２０３４は、文書は横書きであると判断し、ステップＳ１０１０へ進む。言語情報判定部２０３５が、文字データに使用されている言語に縦書きが存在すると判定した場合には（ステップＳ１００８：Ｎｏ）、さらに、縦書き判定部２０３３は、文書（文字データ）が縦書きであるか否かを判定する（ステップＳ１００９）。縦書き判定部２０３３が、文書（文字データ）が縦書きであると判定した場合には（ステップＳ１００９：Ｙｅｓ）、ステップＳ１０１７へ進み、縦書き判定部２０３３が、文書（文字データ）が縦書きではない、すなわち、横書きであると判定した場合には（ステップＳ１００９：Ｎｏ）、ステップＳ１０１０へ進む。

このように、文書が縦書きであると判定した場合、以後のステップで、方向判定部２０３４は、重心位置情報が方向判定処理１によって３番目に高い確信度が判定された第３方向と４番目に高い確信度が判定された第４方向のどちら側に偏っているかに基づいて文書画像情報の方向を判定する。従って、文書が縦書きである場合には、縦書きに対して判定精度が高くなる方法に変更して文書画像情報の方向を判定することができるので、文書画像情報の方向判定の精度をより高めることができる。

また、言語情報判定部２０３５が、文書が縦書きがない言語で記載されていると判定した場合、縦書き判定部２０３３が縦書き判定を行わなくても、文書が縦書きであるとして文書画像情報の方向を判定することができるので、文書画像情報の方向判定の処理速度を高速化することができる。

文書が縦書きで記載されていない、すなわち、横書きで記載されていると判定した場合、方向判定部２０３４は、文字データ、すなわち、文字情報が文書画像情報の上側に集中する傾向があるという事実に基づいて、以下のステップＳ１０１０からステップＳ１０１６で文書画像情報の方向を判定する。ここで、ステップステップＳ１０１０からステップＳ１０１６までのフローは、第１の実施の形態における図４のステップＳ４０８からステップＳ４１４までのフローと同じであり、以下、説明を省略する。

文書が縦書きで記載されていると判定した場合、方向判定部２０３４は、文字データ、すなわち、文字情報が文書画像情報の右側に集中する傾向があるという事実に基づいて、以下のステップＳ１０１７からステップＳ１０２３で文書画像情報の方向を判定する。

初めに、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向であり（ステップＳ１０１７：Ｙｅｓ）、検出された重心位置情報が文書画像情報を左右に等分した場合の右側に存在する場合（ステップＳ１０１８：Ｙｅｓ）、方向判定部２０３４は、文書画像情報の方向は上方向であると判定する（ステップＳ１０１９）。

また、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向であり（ステップＳ１０１７：Ｙｅｓ）、検出された重心位置情報が文書画像情報を左右に等分した場合の右側に存在しない場合、すなわち、左側に存在する場合（ステップＳ１０１８：Ｎｏ）、方向判定部２０３４は、文書画像情報の方向は下方向であると判定する（ステップＳ１０２０）。

また、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向ではなく、すなわち、左方向と右方向であり（ステップＳ１０１７：Ｎｏ）、検出された重心位置情報が文書画像情報を上下に等分した場合の上側に存在する場合（ステップＳ１０２１：Ｙｅｓ）、方向判定部２０３４は、文書画像情報の方向は左方向であると判定する（ステップＳ１０２２）。

さらに、第１方向判定部１０２によって判定された確信度の１位と２位の方向が、上方向と下方向ではなく、すなわち、左方向と右方向であり（ステップＳ１０１７：Ｎｏ）、検出された重心位置情報が文書画像情報を上下に等分した場合の上側に存在しない場合、すなわち、下側に存在する場合（ステップＳ１０２１：Ｎｏ）、方向判定部２０３４は、文書画像情報の方向は右方向であると判定する（ステップＳ１０２３）。

図１１は、文書画像情報の方向を判定する画像情報の一例を示す説明図である。図１１のように、文字が縦書きで記載されている場合に、方向判定部１０３３は文書画像情報の方向を正しく判定することが可能である。

このように、方向判定処理２は、第１方向判定部によって判定された確信度の１位と２位の方向、および、重心位置情報に、さらに、文書が横書きであるか縦書きであるかの情報を判定材料に加えることにより、より正確に文書画像情報の方向を判定することが可能である。

なお、本実施例では、方向判定処理２が、第２方向判定部が行う方向判定処理に、文書画像情報を構成する文字データ、表データ、図データを囲む領域データを使用した場合について説明したが、代わりに、文書画像情報を構成する文字データ画像の画素を使用しても同様の効果を奏する。

図１２は、第１および第２の実施の形態にかかる画像処理装置のハードウェア構成を示す説明図である。図１２に示すハードウェア構成は、本実施の形態にかかる処理をマイクロプロセッサ等のデジタル処理によって実行するものである。

図１２に示すように、画像処理装置１００は、ＰＣなどのコンピュータであり、画像処理装置１００の各部を制御するＣＰＵ（Central Processing Unit）１２０２、ＣＰＵ１２０２を起動するためのプログラムが記憶されるＲＯＭ（Read Only Memory）１２０７、スキャナ１２０１により読み取られた画像情報やオペレーティングシステム、アプリケーションプログラム等を記憶するハードディスク１２０３、文字方向識別処理を行うためにハードディスク１２０３に記憶された画像情報等を一時的に読み出して展開するワークエリアとして機能するＲＡＭ（Random Access Memory）１２０６、画像情報や入力状況等を表示する表示装置１２０４、画像情報等を印刷する印刷装置１２０８、ＣＤ−ＲＯＭなどの各種光情報記録メディアに記憶されたプログラム等を読み取る光ディスクドライブ１２０５等から構成されており、これらの各部間で送受信されるデータを図示しないバスコントローラが調整して動作する。

スキャナ１２０１は、文書原稿を光学的に読取り電気信号である画像情報に変換する。ＣＰＵ１２０２は、本発明にかかる画像方向判定プログラムを格納してあるＲＯＭ１２０７またはハードディスク１２０３から当該プログラムを読出してワークエリアＲＡＭ１２０６において文書画像情報に対する画像処理を実行する。なお、ＣＤ−ＲＯＭやＦＤの記憶媒体からＣＤ−ＲＯＭ／ＦＤドライブによって当該プログラムを読出して実行してもよい。処理された画像情報は、ＣＰＵ１２０２の指示によりハードディスク１２０３に格納され、必要により表示装置１２０４に表示され、印刷装置１２０８によって出力される。

ここで、画像処理装置１００は、アプリケーションプログラムとして、文字方向判定プログラムをハードディスク１２０３に記憶している。この意味で、ハードディスク１２０３は、画像方向判定プログラムを記憶する記憶媒体として機能する。

また、一般的には、画像処理装置１００のハードディスク１２０３にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭなどの各種光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体に記録され、記憶媒体に記録されたアプリケーションプログラムがハードディスク１２０３にインストールされる。このため、ＣＤ−ＲＯＭなどの各種光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像方向判定プログラムを記憶する記憶媒体となり得る。さらには、画像方向判定プログラムは、例えば図示しない通信装置を介して外部から取り込まれ、ハードディスク１２０３にインストールされてもよい。

第１の実施の形態にかかる画像処理装置の構成を示すブロック図である。 画像情報取得部、第１方向判定部、第２方向判定部、方向補正部、画像情報出力部が行う方向判定・補正処理手順を示すフローチャートである。 第１方向判定部が行う方向判定処理手順を示すフローチャートである。 第２方向判定部が行う方向判定処理手順を示すフローチャートである。 文書画像情報の方向を判定する画像情報の第１の例を示す説明図である。 文書画像情報の方向を判定する画像情報の第２の例を示す説明図である。 第２方向判定部が行う方向判定処理手順を示すフローチャートである。 第２の実施の形態にかかる画像処理装置の構成を示すブロック図である。 画像情報取得部、第１方向判定部、第２方向判定部、方向補正部、画像情報出力部が行う方向判定・補正処理手順を示すフローチャートである。 第２方向判定部が行う方向判定処理手順を示すフローチャートである。 文書画像情報の方向を判定する画像情報の第１の例を示す説明図である。 第１および第２の実施の形態にかかる画像処理装置のハードウェア構成を示す説明図である。

符号の説明

１００、２００ 画像処理装置
１０１ 画像情報取得部
１０２ 第１方向判定部
１０３、２０３ 第２方向判定部
１０４ 方向補正部
１０５ 画像情報出力部
１０３１ 文書情報抽出部
１０３２ 重心位置検出部
１０３３ 方向判定部
１０３４ 面積比較部
１０３５ ヘッダー・フッター検出部
１０３６ 二値化処理部
１０３７ ノイズ検出部
２０３３ 縦書き判定部
２０３４ 方向判定部
２０３５ 言語情報判定部

Claims (9)

1. 文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定手段と、
   前記文書画像情報を構成する各々の文書情報を抽出する文書情報抽出手段と、
   抽出された前記文書情報に基づいて、前記文書画像情報の重心位置情報を検出する重心位置情報検出手段と、
   前記確信度判定手段によって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定手段と、を備え、
   前記方向判定手段は、前記重心位置情報が前記文書画像情報の中心から、前記第１方向と前記第２方向のどちら側に偏っているかに基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定し、
   前記文書情報抽出手段は、前記文書画像情報の文字データを構成する画素を文書情報として抽出すること、
   を特徴とする方向判定装置。
2. 前記文書画像情報の文字データを構成する画素は、二値画像の黒画素であること、を特徴とする請求項１に記載の方向判定装置。
3. 前記文書情報抽出手段は、多値画像を二値化する二値化処理手段をさらに備え、
   前記文書情報抽出手段は、前記文書画像情報が多値画像であった場合、前記二値化処理手段による前記多値画像の二値化処理後の黒画素を文書情報として抽出すること、を特徴とする請求項２に記載の方向判定装置。
4. 前記文書情報抽出手段は、前記黒画素内のノイズを検出するノイズ検出手段をさらに備え、
   前記文書情報抽出手段は、前記ノイズ検出手段による前記ノイズを除外した前記黒画素を文書情報として抽出すること、を特徴とする請求項２または３に記載の方向判定装置。
5. 前記文書情報抽出手段は、前記文書画像情報内のヘッダーおよびフッターに相当する領域の少なくとも一つを検出するヘッダー・フッター検出手段をさらに備え、
   前記文書情報抽出手段は、前記ヘッダー・フッター検出手段によって検出された前記ヘッダーまたはフッターに相当する前記文字データを構成する画素を除外した画素を文書情報として抽出すること、を特徴とする請求項１〜４のいずれか一つに記載の方向判定装置。
6. 前記文書画像情報は、文字データ、表データ、および図データの少なくとも一つであること、を特徴とする請求項１〜５のいずれか一つに記載の方向判定装置。
7. 文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定手段と、
   前記文書画像情報を構成する各々の文書情報を抽出する文書情報抽出手段と、
   抽出された前記文書情報に基づいて、前記文書画像情報の重心位置情報を検出する重心位置情報検出手段と、
   前記確信度判定手段によって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定手段と、
   前記方向判定手段による判定結果に基づいて前記文書画像情報の上方向を認識して画像処理を行う画像処理手段と、を備え、
   前記方向判定手段は、前記重心位置情報が前記文書画像情報の中心から、前記第１方向と前記第２方向のどちら側に偏っているかに基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定し、
   前記文書情報抽出手段は、前記文書画像情報の文字データを構成する画素を文書情報として抽出すること、
   を特徴とする画像処理装置。
8. 文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定ステップと、
   前記文書画像情報を構成する各々の文書情報を抽出する文書情報抽出ステップと、
   抽出された前記文書情報に基づいて、前記文書画像情報の重心位置情報を検出する重心位置情報検出ステップと、
   前記確信度判定ステップによって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定ステップと、を有し、
   前記方向判定ステップは、前記重心位置情報が前記文書画像情報の中心から、前記第１方向と前記第２方向のどちら側に偏っているかに基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定し、
   文書情報抽出ステップは、前記文書画像情報の文字データを構成する画素を文書情報として抽出すること、
   を特徴とする画像方向判別方法。
9. 請求項８に記載された画像方向判別方法をコンピュータに実行させることを特徴とする画像方向判別プログラム。

Images