JP5217960B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

文書画像内の文字、写真、図、表（画像要素又は画像構成要素という）など、操作者が所望する領域を抜き出したい（コピー動作等）場合がある。このように、操作者がマウス等を用いて囲むようにその範囲（領域）を指定する場合、画像要素の四隅を正確に指定して抽出することは一般に困難な作業であるといえる。ゆえに実際には、所望の範囲より領域を大きくとったり小さくとったりして、大まかに抜き出したい領域を指定することが多かった。

このような指定領域の切り出しに関して、例えば、図１のように文書画像内から必要な文字領域のみを無駄な領域を含めることなく切り出すよう指定操作できることが理想であるが、現実には、例えば、図２や図３のように余分な部分（領域）が含まれてしまったり、逆に不足する部分が出てきたりしてしまう場合も多い。

ところで、従来より文書画像から領域を抽出して処理する画像処理装置の技術がある。例えば、特許文献１には、一群の線素である連結したランを囲む矩形を生成することにより、文字列を切り出す矩形抽出方法の技術が記載されている。また、特許文献２には、指示された点を含む文書領域の抽出を、文書画像中の文字間隔等に基づいて行う領域指定方法等の技術が記載されている。また特許文献３には、２値化した画像の白画素の連なりである白ランのヒストグラムに基づいて設定した統合閾値により、領域抽出処理を行う文書画像の領域抽出方法の発明が開示されている。
特開平３−１４４８７３号公報 特開平３−２０４７８１号公報 特開平５−４０８４９号公報

しかしながら、上記特許文献１から３に記載の発明では、操作者がマウスやタッチペン等のデバイスによって選択しようとする範囲を指定する場合に、その指定に基づいて、操作者が選択しようとした領域を取得することについては、考慮されていない。

即ち、選択しようとする文字領域が矩形の場合に、操作者が入力デバイスによってそのような範囲を正確に指定することは困難であるため、入力される範囲の指定は、切り出したい領域よりも面積が大きかったり小さかったりする矩形や閉多曲線（複数の曲線が接続されて形成される閉じた図形）になることがあるので、切り出された矩形領域には、例えば図３に示されるように、余分な領域や不足する領域が出てきてしまうという問題があった。

また、ヒストグラムに基づいて設定した統合閾値により領域抽出処理を行う場合、指定領域の中に罫線などの線が入っているとこれに引きずられてしまいうまく領域の抽出を行なうことができなかった。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、操作者の意図に基づいて、文書画像から画像要素を含む領域の選択を行う画像処理装置及び画像処理方法、及びプログラムを提供することを目的としている。

上記目的を達成するために、本発明の画像処理装置は次の如き構成を採用した。

本発明の画像処理装置は、処理画像に対して指定された前記処理画像が有する指定領域に基づいて、前記処理画像から選択領域を取得する画像処理装置であって、前記指定領域の範囲を示す指定領域情報を取得する指定領域情報取得手段と、前記指定領域情報に基づいて、前記選択領域となりうる最大の領域である第１候補選択領域を取得する第１候補選択領域取得手段と、前記第１候補選択領域に含まれる画像要素の種別毎に当該候補選択領域を分割し、第２候補選択領域を取得する第２候補選択領域取得手段と、前記第２候補選択領域に含まれる画像要素に基づいて当該画像要素の領域を統合し、前記選択領域を取得する選択領域取得手段とを有することを特徴とする。

また、前記画像処理装置において、前記第１候補選択領域取得手段は、前記指定領域情報に基づいて、前記指定領域を包含する矩形領域を取得する矩形領域取得手段と、前記矩形領域の上下左右方向に前記選択領域となりうる最大領域範囲を画素の有無に基づき探索し、前記第１候補選択領域を決定する範囲探索手段とを有することを特徴とする。

また、前記画像処理装置において、前記第２候補選択領域取得手段は、前記第１候補選択領域をブロック領域に分割するブロック領域分割手段と、分割された前記ブロック領域毎に濃度ヒストグラム測定をするヒストグラム測定手段と、測定された前記濃度ヒストグラムに基づいて、ブロック領域毎に含まれる画像要素の種別を判定し、当該ブロックの領域種別を判定するブロック領域種別判定手段と、ブロック毎の前記領域種別に基づいて、同一の領域種別からなる同種ブロック領域を取得する同種ブロック取得手段とを有することを特徴とする。

また、前記画像処理装置において、前記第２候補選択領域取得手段は、同種ブロック領域が複数取得されたとき、前記指定領域に基づいて、複数の同種ブロック領域の中から一の同種ブロック領域を前記２候補選択領域として決定する決定手段とをさらに有することを特徴とする。

また、前記画像処理装置において、前記選択領域取得手段は、前記第２候補選択領域に含まれる画像要素を抽出する抽出手段と、前記画像要素の外接領域を統合する統合手段とを有することを特徴とする。

なお、上記課題を解決するため、本発明は、さらに、上記画像処理装置が備える各手段の機能を実現するステップを有する画像処理方法、又は、その画像処理方法をコンピュータに実行させるためのコンピュータプログラムとしてもよい。

本発明の画像処理装置によれば、操作者の意図に基づいて、文書画像から画像要素を含む領域の選択を行う画像処理装置及び画像処理方法、及びプログラムを提供することができる。

以下、本発明の実施の形態について図面を参照しつつ説明を行う。

＜画像処理装置の構成例＞
図４は、本発明の一実施形態に係る画像処理装置１及びその画像処理装置１に接続された装置等の構成図である。図４の画像処理装置は、ＣＰＵ１０１、スキャナ部１０２、外部記憶部１０３、入力画像メモリ部１０４、表示部１０５、操作パネル部１０６、領域情報格納部１０７、画像処理部１０８、通信制御部１０９が、バスを介して接続され、画像処理装置１の機能を実現している。

ＣＰＵ１０１は、全体の制御を行う。スキャナ部１０２は、画像を読み取る装置を制御し、画像を取得する。外部記憶部１０３は、記憶媒体１１１等の記憶媒体のドライブや、ハードディスクドライブ１１２等の記憶装置が接続され、それらの記憶装置はＣＰＵ１０１によって制御される。画像メモリ部１０４は、スキャナ部１０２等から入力される画像のデータを含む画像処理装置１が処理する画像のデータを格納する。

表示部１０５は、画像処理装置１の状態等を表示し、さらに、処理画像のプレビュー表示を行う。操作パネル部１０６は、操作者が処理の指示等の入力を行うデバイスである。操作パネル部１０６は、また、操作者によって入力された領域の指定を受け付ける。なお、表示部１０５と操作パネル部１０６とは、一のオペレーションパネルとして構成されてもよい。

領域情報格納部１０７は、操作パネル部１０６等から入力された領域の指定に係る情報（指定領域情報という）を格納するメモリである。指定領域情報については後述するが、操作者が入力した矩形又は閉曲線等を表現する座標等の情報である。

画像処理部１０８は、本発明の一実施の形態に係る画像処理方法を実現する処理を行う。この処理についての詳細は後述するが、指定領域情報に基づいて、余分な部分（領域）を除去したり不足する部分を補完したりして最終的に取得すべき選択領域を取得する処理である。

通信制御部１０９は、画像処理装置１とネットワーク１１０を介して接続される他の装置等との通信を制御する。通信制御部１０９により、他の装置との画像のデータの入出力、又は、他の装置からの領域の指定等の入力が行われる。

なお、この画像処理装置１は、例えば、パーソナルコンピュータ（ＰＣ）、ＭＦＰ（Multi Function Peripheral）、ファクシミリ（ＦＡＸ）、デジタルカメラ、携帯電話、カーナビゲーションシステム等で実現されてもよい。

＜機能＞
図５は、本発明の一実施形態に係る画像処理装置１の主要機能を示す機能ブロック図である。画像処理装置１は、主要な機能として本発明に係る機能、即ち、指定領域情報取得部５０１、矩形領域取得部５０２、範囲探索部５０３と、ブロック領域分割部５０４、ヒストグラム測定部５０５、ブロック領域種別判定部５０６、同種ブロック取得部５０７と、抽出部５０８、統合部５０９とを有する。これら各機能部は前述の画像処理部１０８の行う機能ということもできる。なお、説明の観点で機能的な側面から各機能部のグループ分けを行なうことができる。機能部グループとして、（指定領域情報取得部５０１）、矩形領域取得部５０２、及び範囲探索部５０３を第１の候補選択領域を取得するための機能部グループとする。ブロック領域分割部５０４、ヒストグラム測定部５０５、ブロック領域種別判定部５０６、同種ブロック取得部５０７を第２の候補選択領域を取得するための機能部グループとする。抽出部５０８、統合部５０９を最終的に出力すべき選択領域を取得するための機能部グループとする。以下、各機能部について説明する。

（第１の候補選択領域を取得するための機能部グループ）
指定領域情報取得部５０１は、指定領域の範囲を示す指定領域情報を取得する機能を有している。指定領域は、処理画像に対してユーザが指定した領域であって取得を所望する領域である。具体的には、図２や図３における入力指定領域がこれに相当する。指定領域情報は、例えば、指定領域に対応する座標情報といった指定領域を示す情報である。

矩形領域取得部５０２は、指定領域情報取得部５０１により取得された指定領域情報に基づいて、指定領域を接するようにして包含する矩形領域を取得する機能を有している。例えば、図３における入力指定領域は、マウスやタッチペン等のデバイスによって指定されており、矩形ではない。従って指定領域を包含する矩形領域を対象にして処理を行うためである。具体的な詳細は後述する。

範囲探索部５０３は、矩形領域取得部５０２により取得された矩形領域に基づいて、（最終的に取得すべき）選択領域となりうる可能性のある最大の領域である（第１）候補選択領域を決定する機能を有している。候補選択領域とは、本発明に係る画像処理によって最終的に取得すべき選択領域の候補と暫定的になりうる領域を称している。例えば、図３における入力指定領域は、指定の領域に足りない部分があるため、これを補完すべく選択領域となりうる最大の領域である候補選択領域を取得するためである。具体的な詳細は後述するが、矩形領域の上下左右方向へ画素の有無に基づき選択領域となりうる最大領域範囲を探索する。

（第２の候補選択領域を取得するための機能部グループ）
ブロック領域分割部５０４は、範囲探索部５０３により取得された（第１）候補選択領域をブロック領域に分割する機能を有している。画像処理単位をブロック単位にして扱うためである。

ヒストグラム測定部５０５は、ブロック領域分割部５０４により分割されたブロック領域毎に濃度ヒストグラム測定をする機能を有している。ブロック領域の領域種別（属性）を判定するためである。

ブロック領域種別判定部５０６は、ヒストグラム測定部５０５により測定された濃度ヒストグラムに基づいて、ブロック領域毎に含まれる画像要素の種別を判定し、当該ブロック全体としての領域種別を判定する機能を有している。ブロック領域の領域種別とは、そのブロック領域が、例えば、文字を主に含む領域、図や写真を主に含む領域、表を主に含む領域など、どのような種類の画像（構成）要素を含む領域かの種別である。

同種ブロック取得部５０７は、ブロック領域種別判定部５０６により判定されたブロック領域毎の領域種別に基づいて、同一の領域種別からなる同種ブロック領域を取得する機能を有している。これにより例えば、文字を主に含む領域、図や写真を主に含む領域、表を主に含む領域など、種別毎に領域を区別できる。

（選択領域を取得するための機能部グループ）
抽出部５０８は、第２候補選択領域に含まれる画像要素を抽出する機能を有している。統合処理を行うためである。

統合部５０９は、画像要素の領域（外接領域）を統合する機能を有している。詳細は後述するが、指定の領域からはみ出したような不要な領域の除去を目的としている。例えば、図１に示されるような選択領域を最終的に取得するためである。

以上これらの機能は、実際にはＣＰＵ１０１が実行するプログラムにより実現されるものである。

＜動作＞
図６は、画像形成装置１の本発明に係る動作概要を説明するフローチャートである。前述したように、例えば、選択領域を取得する場合、ユーザによる入力指定領域（図３）では、はみ出した領域や余分な領域、またむしろ足りない領域が生じてしまっている。本発明に係る画像形成装置１は、このような問題を解決すべく文書画像内のユーザによる入力指定領域から、無駄な領域を含めない必要な領域（選択領域）のみを切り出す動作を行なうものである。以下、フローチャートに沿って適宜図面を参照しつつ説明を行なう。

ステップＳ６０１において、ファイルやスキャン、ネットワーク経由で画像データが入力される（画像入力手段）。インターネットから取得したウェブページ等に適用される場合にはこれを画像化するステップを含めることができる。

また、画像データは後述の処理をし易くするため二値化処理（二値化手段）を行うことができる。二値化手段は、入力された処理画像を、所定の閾値によって二値化する手段である。二値化手段は、処理画像の画素値の分布等に基づき、二値化処理を行ってもよく、また、予め定められた所定の閾値によって二値化処理を行ってもよい。

ステップＳ６０２で、指定領域情報取得部５０１は、指定領域情報を取得する。ユーザがマウスやタッチパネル等で取り出したい領域や画像構成要素を囲むような形で閉じた領域の指定（指定領域）を行なうと、画像形成装置１において指定領域は、例えば座標情報（指定領域情報）として認識され、前述の領域情報格納部１０７に格納されている。指定領域のそれぞれの座標情報（データ）は、S1(x, y), S2(x, y), … Sn(x, y)と表現できる。なお、この閉じた領域には、例えば、円、楕円、閉曲線、多角形等の形状がある。

ステップＳ６０３で、矩形領域取得部５０２は指定領域の矩形化、即ち指定領域を接する形で包含する矩形領域を取得する。具体的には、複数の指定領域の座標情報のうち、xの座標が最も小さい値（a）、xの座標が最も大きい値（b）、yの座標が最も小さい値（c）、yの座標が最も大きい値（d）を求めて、その値に基づいて矩形の頂点座標情報を取得する。こうして得られた座標情報( a , c )、( a , d )、( b , c )、( b , d ), a,b,c,d> 0 は４つの頂点（角）とする矩形を表し、即ちこれが指定領域を接する形で包含する矩形領域となる。これを図７に示す。図７は、矩形領域を示す図の一例である。なお、指定領域情報が既に矩形を示す場合は、それそのものが上記の矩形領域に等しい。

ステップＳ６０４で、範囲探索部５０３は、指定領域を接する形で包含する矩形領域に基づいて、（最終的に取得すべき）選択領域となりうる最大の領域である第１候補選択領域を決定する。なお、「第１」とは後述する「第２」候補選択領域と区別するための便宜上の表現である。具体的には、矩形領域座標データを基点に、選択領域となりうる最大の領域である候補選択領域を決定するため、座標において上下左右方向に探索範囲を決定する。図８は、第１候補選択領域の決定を説明する図である。上下左右方向への探索範囲Hwl（左方向）、Hwr（右方向）、Hht（上方向）、Hhb（下方向）の値は、次のようなヒストグラム測定手順により決定することができる。

（１）上下左右の画素のヒストグラムを求める。
Hwlの場合、x方向を基点にy方向の黒画素の個数を求める。
Hwrの場合、x方向を基点にy方向の黒画素の個数を求める。
Hhtの場合、y方向を基点にx方向の黒画素の個数を求める。
Hhbの場合、y方向を基点にx方向の黒画素の個数を求める。

（２）空白間隔Sp（所定閾値）を越えているか否かを判定する。
黒画素の個数が0のとき、その座標より前の座標のヒストグラムが連続して0であり、かつ空白間隔Spより越えている場合、ヒストグラム測定を打ち切る。

図９は、探索範囲が決定された様子を示す図である。即ち、このような手順によって求められた結果を示している。座標情報としては、矩形領域の座標情報に基づいて、第１候補選択領域の座標情報( a-Hwl , c-Hhb )、( a-Hwl , d+Hht )、( b+Hwr , c-Hhb )、( b+Hwl , d+Hht )のように表すことができる。なお、図中、探索範囲Hwlについては黒画素は存在しないので0になっている。

ステップＳ６０５で、ブロック領域分割部５０４は、範囲探索部５０３により取得された第１候補選択領域をブロック領域に分割する。図中、大外枠線は、前ステップで範囲探索されて決定、取得された第１候補選択領域の外枠線である。第１候補選択領域を横方向に任意の間隔Ｎでブロック領域に分割する。任意の間隔Ｎは概ね１５pt程度とするが特にこの値をもって特定されない。これを図１０に示す。図１０は、ブロック領域分割を示す図の一例である。

ステップＳ６０６で、ヒストグラム測定部５０５は、分割されたブロック領域毎に黒画素（又は白画素）の濃度ヒストグラムを求める。これを図１１に示す。図１１は、ブロック領域毎に濃度ヒストグラム測定を示す図の一例である。ブロック領域において、文字領域と図形領域の濃度ヒストグラムの一例が示されている。

ステップＳ６０７で、ブロック領域種別判定部５０６は、測定された濃度ヒストグラムに基づいて、ブロック領域毎に含まれる画像要素の種別を判定し、当該ブロック領域の領域種別を判定する。前述したようにブロック領域の領域種別とは、そのブロック領域が、例えば、文字を主に含む領域、図や写真を主に含む領域、表を主に含む領域など、どのような種類の画像（構成）要素を含む領域かの種別である。

ここで、濃度ヒストグラムは、領域種別毎に特有の傾向（特徴）を有している。つまり、文字領域は、濃度ヒストグラムが山の高さに対して十分な深さをもっている谷を複数個有している傾向にあり、図・写真領域では、濃度ヒストグラムが全体的になだらかであるかもしくは極端に変動する山谷を有している傾向にあり、表領域では、濃度ヒストグラムが直線に近い曲線を有している傾向にあるといえる。以下、簡単に具体例を示す。

図１２は、文字画像領域の濃度ヒストグラムを示す図の一例である。（ａ）は文字画像の一例で、（ｂ）は文字画像の「ソ」部分を拡大表示したもの、（ｃ）は「ソ」部分をy方向の黒画素の個数をヒストグラムで表示したものである。また、図１３は、図形（写真）画像領域の濃度ヒストグラムを示す図の一例である。（ａ）は写真画像の一例で、（ｂ）は写真画像の目部分を拡大表示したもの、（ｃ）は目部分をy方向の黒画素の個数をヒストグラムで表示したものである。また、図１４は、表領域の濃度ヒストグラムを示す図の一例である。（ａ）は表部分の画像の一例で、（ｂ）は表部分の線部分を拡大表示したもの、（ｃ）は線部分をy方向の黒画素の個数をヒストグラムで表示したものである。領域毎の画像要素の種別により前述したような傾向を有していることが分かる。

ブロック領域種別判定部５０６は、濃度ヒストグラムのこれらの傾向を利用して、ブロック領域が文字を主に含む領域（文字領域）、図や写真を主に含む領域（図形領域）、表を主に含む領域（表領域）であるかの判定を行い、当該ブロック領域の領域種別を判定する。図１５は、濃度ヒストグラムの変動点を取得する様子を示す図の一例である。変動点のみで線を引いたグラフを取得して前述の傾向に基づいて判定される。

なお、判定にあたりさらに平準化処理を行うことができる。濃度ヒストグラムには、数点の変動点を持っており場合によっては誤判断する恐れがある。そこで、数点の変動点を誤差範囲として捉えて濃度ヒストグラムを平準化することにより、領域の種別判定をし易くできるからである。具体的には、黒画素に対する濃度ヒストグラムから、複数個の変動点Dnを求める。ここで変動点は、これまで上昇（下降）していた要素値がある値を堺に要素値が下降（上昇）していく変化点とする。変動点Dnと、次の変動点Dn+1の差を求め、その差を絶対値にしたものを変動点の変遷値Enとする( D_n - D_n+1 = E₁ ）。具体的に、
D₁ - D₂ = E₁
D₂ - D₃ = E₂
D₃ - D₄ = E₃ ・・・
となる。変遷値Enが指定値（閾値）Gを下回っている場合、この変遷値Enを除外する。指定値Gは少なくとも間隔Ｎよりも少ない値にする。このようにして濃度ヒストグラムを平準化することができる。図１６は、濃度ヒストグラムの平準化の一例を示す図の一例である。変遷値が小さい変動点を除外し、変遷値の大きい変動点のみで線を引いたグラフになっている。残った変遷値Enの個数、分布から、そのブロック領域は、文字領域、図形領域、表領域のいずれかを精度よく判定することができる。

ステップＳ６０８で、同種ブロック取得部５０７は、判定されたブロック領域毎の領域種別に基づいて、同一の領域種別からなる同種ブロック領域を取得する。図１７は、同種ブロック領域でまとめられて取得された様子を示す図の一例である。各ブロック領域が同種の種別で結合され、文字領域と図形領域との同種ブロック領域とされている。取得された同種ブロック領域を、第２候補選択領域とする。

なお、これまでの本実施形態において、同種ブロック領域は、２つ（文字領域と図形領域）取得されたがこのように複数の同種ブロック領域が取得された場合、どちらの同種ブロック領域を保持しておくか、それとも両領域を保持しておくかが問題である。つまり、文字領域を第２候補選択領域とするのか、図形領域を第２候補選択領域とするかである。ここで、図３の入力指定領域を鑑みればユーザが意図する領域は文字領域である。指定領域面積からして文字領域をその大部分を占めているからである。従って、文字領域、図形領域、表領域として判定された各ブロック領域を参照し、指定領域においてはどの種別（属性）が最も多いかを判定し、その種別（属性）のみで構成された同種ブロック領域を最終的に第２候補選択領域と決定しこれを取得する。

また、ユーザの意図として文字領域と図形領域の両方を取得したい場合、入力指定領域を参照すれば、指定領域において文字領域と図形領域とが占める割合は近いことになる。このような場合、閾値を設けて所定の占有割合比率である場合、ユーザの意図として文字領域と図形領域の両方を含むと判定し、文字領域と図形領域とを結合した領域を最終的に第２候補選択領域として取得することもできる。文字領域と図形領域とを結合した領域とするのは、後述する統合処理等において、文字領域、図形領域などの区別せずひとかたまりに扱えるようにするためである。

なお、本実施形態においては前者、即ち図３の入力指定領域を鑑みればユーザが意図する領域は文字領域であるので、文字領域のみの同種ブロック領域を最終的に第２候補選択領域として取得する。

以上、これまでの処理により第２候補選択領域が取得される。第２候補選択領域によって、図３に示されるようなユーザのいわばラフな領域指定にも関わらず、外側の範囲探索やブロック領域種別判等により、「希望の領域に足りない部分」は補完されたといえる。しかしながら、第２候補選択領域は「余分な部分は除去」されていない。従って、続く処理によりこの「余分な部分は除去」する処理を施すことにより最終的に取得すべき選択領域を得るものである。

なお、ここでステップＳ６０５に戻り、補足説明を行っておく。ステップＳ６０５で、第１候補選択領域を横方向に任意の間隔Ｎでブロック領域に分割した。前提として文字等が横書きであれば前述の通り横方向のみのブロック領域に分割でよいし、逆に前提として文字等が縦書きであれば縦方向のみのブロック領域に分割し（例えば、図１８参照）横方向の場合と同様の処理を行えばよい。また、前提として原稿画像において、文字方向が横方向（横書き）、縦方向（縦書き）であるかは明らかでない場合、両方向にブロック領域に分割して両方向のプロック領域について前述の処理を行うことができる。即ち、原稿画像の文字方向が横書き、縦書きに関わらず、まず両方向についてブロック領域化しヒストグラム測定処理を行う。ヒストグラム測定処理の段階で、横方向のヒストグラム測定処理は、x方向の画素の分布を測定し、その結果からx方向の領域を決定する(この処理ではy方向は見ない)。また縦方向のヒストグラム測定処理は、y方向の画素の分布を測定し、その結果からy方向の領域を決定する(この処理ではx方向を見ない)。そして各方向の結果を統合（総合）して図１７に示すような同種ブロック領域を取得すればよい。

再び図６に戻りステップＳ６０９で、抽出部５０８は、第２候補選択領域に含まれる画像要素を抽出する。外接領域（又は連結領域）を抽出するともいえる。これは即ち、指定の領域からはみ出したような不要な領域の除去が目的として統合処理を行うためである。具体的には、例えば前述の「特許文献１」（特開平３−１４４８７３号公報）に代表される矩形抽出方法により複数の外接領域を抽出する。図１９は、第２候補選択領域から画像要素（外接領域）を抽出する様子を示す図である。即ち、第２候補選択領域内に含まれる複数の画像要素から、文字又は文字の外接領域を抽出する。外接領域（連結領域）は、文字、線、図形によらず、画素が連結している領域をいう。

ステップＳ６１０で、統合部５０９は、画像要素の外接領域を統合し、統合領域を取得する。つまり、前ステップで、複数の外接領域を除外しない、除外する、の選択を行ない、結果残った外接領域が抽出されて、この外接領域の統合処理（マージ)を行なう。この統合処理により、第２候補選択領域から「余分な部分は除去」できる。そして第２候補選択領域から余分な部分を除去したこの統合領域は、最終的に取得すべき選択領域とすることができる。図２０は、統合領域を示す図である。

なお、補足として、本実施形態においては画像データの二値化処理を行う構成としたため、正確には、統合部５０９によって取得された統合領域に対応する領域を、処理画像（画像データ）から取得する。勿論、二値化処理を実行しない場合には、この処理は行われなくてよく、その場合には、統合部５０９によって生成、取得された統合領域がまさに最終的に取得すべき選択領域となる。二値化処理を実行しない場合には、前述の各機能部により処理される画像は、二値化されていない入力画像に基づく画像であるため、統合部５０９から出力される画像は選択領域そのものだからである。

また、ステップＳ６０９において、外接領域の形状(例えば、正方形或いは細長いものか等)により、次の統合処理において統合しない外接領域（除外する範囲）を考慮することができる。画像要素の領域を統合する際には、例えば、細長い画像要素を含まないようにする場合、含ませたくない場合がある。また、文字列の周り囲むように枠線で囲まれているような場合、枠線を示す細長い傍線を示す外接領域（連結領域）は除外したい場合がある。つまり、指定領域に含まれる画像要素が文字の場合に、統合領域には枠線や罫線を含ませないようにもできる。画像要素の領域が細長いか否かは、図２１に示される式を用いて判断される。但し、（ｗｉｄｔｈ｜ｈｅｉｇｈｔ）は、画像要素の領域の、横の長さ又は縦の長さのうち、値が大きな長さの値、ｎ及びαは、操作者等によって定められるパラメータである。例えば、画像の性質等に基づいて異なるようにしてもよい。画像要素の領域の、横の長さ又は縦の長さのうち、長辺の長さがｌ１より大きく、かつ、短辺の長さがｌ２より小さい場合には、その画像要素は、細長い領域であると判断する。このように、抽出する画像要素をどのようなものとするかについて、ユーザの使用状況等に応じて設定が可能である。

以上、本発明に係る画像処理装置１によれば、文書画像内の入力された指定領域において、不足する領域や余分な領域があっても、不足する領域はその補完を行い、余分な領域は除去するので、文書画像から適切な矩形領域を選択領域として抽出することが可能となる。即ち、操作者の意図に基づいて、文書画像から画像要素を含む領域の選択を行う画像処理装置、画像処理方法、及びプログラムを提供することができる。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

例えば、本実施形態においては、文字部分を取り出したい場合について説明を行った。しかしながら、原稿画像中の文字だけでなく、図形（図写真）や表の領域も処理対象としているので、例えば、指定領域に係る対象が図形領域であれば、図形領域に対して同様の処理を行える。そして逆に文字領域を除外する処理が行われる。

文書画像内から必要な領域を切り出す様子を示す図の一例である。 文書画像内から必要な領域を切り出す様子を示す図の一例である。 文書画像内から必要な領域を切り出す様子を示す図の一例である。 本発明の一実施形態に係る画像処理装置１及びその画像処理装置１に接続された装置等の構成図である。 本発明の一実施形態に係る画像処理装置１の主要機能を示す機能ブロック図である。 画像形成装置１の本発明に係る動作概要を説明するフローチャートである。 矩形領域を示す図の一例である。 第１候補選択領域の決定を説明する図である。 探索範囲が決定された様子を示す図である。 ブロック領域分割（横）を示す図の一例である。 ブロック領域毎に濃度ヒストグラム測定を示す図の一例である。 文字画像領域の濃度ヒストグラムを示す図の一例である。 図形（写真）画像領域の濃度ヒストグラムを示す図の一例である。 表領域の濃度ヒストグラムを示す図の一例である。 濃度ヒストグラムの変動点を取得する様子を示す図の一例である。 濃度ヒストグラムの平準化の一例を示す図の一例である。 同種ブロック領域でまとめられて取得された様子を示す図の一例である。 ブロック領域分割（縦）を示す図の一例である。 第２候補選択領域から画像要素（外接領域）を抽出する様子を示す図である。 統合領域を示す図である。 画像要素の領域が細長いか否かの判定式の一例を示す図である。

符号の説明

１ 画像処理装置
１０１ ＣＰＵ
１０２ スキャナ部
１０３ 外部記憶部
１０４ 画像メモリ部
１０５ 表示部
１０６ 操作パネル部
１０７ 領域情報格納部
１０８ 画像処理部
１０９ 通信制御部
１１０ ネットワーク
１１１ 記憶媒体
１１２ ハードディスクドライブ
５０１ 指定領域情報取得部
５０２ 矩形領域取得部
５０３ 範囲探索部
５０４ ブロック領域分割部
５０５ ヒストグラム測定部
５０６ ブロック領域種別判定部
５０７ 同種ブロック取得部
５０８ 抽出部
５０９ 統合部

Claims (11)

1. 処理画像に対して指定された前記処理画像が有する指定領域に基づいて、前記処理画像から選択領域を取得する画像処理装置であって、
   前記指定領域の範囲を示す指定領域情報を取得する指定領域情報取得手段と、
   前記指定領域情報に基づいて、前記選択領域となりうる最大の領域である第１候補選択領域を取得する第１候補選択領域取得手段と、
   前記第１候補選択領域に含まれる画像要素の種別毎に当該第１候補選択領域を分割し、画像要素の種別が同一である同種領域を第２候補選択領域として取得する第２候補選択領域取得手段と、
   前記第２候補選択領域に含まれる画像要素に基づいて当該画像要素の領域を統合し、前記選択領域を取得する選択領域取得手段と、
   を有し、
   前記第２候補選択領域取得手段は、前記同種領域が複数取得されたとき、複数の同種領域の中から、前記指定領域と画像要素の種別が同一である同種領域を前記第２候補選択領域として取得すること、
   を特徴とする画像処理装置。
2. 前記第２候補選択領域取得手段は、前記指定領域に含まれる画像要素の種別が複数ある場合、前記指定領域に最も多く含まれる画像要素の種別と同一の種別である同種領域を前記２候補選択領域として取得すること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記第１候補選択領域取得手段は、
   前記指定領域情報に基づいて、前記指定領域を包含する矩形領域を取得する矩形領域取得手段と、
   前記矩形領域の上下左右方向に前記選択領域となりうる最大領域範囲を画素の有無に基づき探索し、前記第１候補選択領域を決定する範囲探索手段と、
   を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２候補選択領域取得手段は、
   前記第１候補選択領域をブロック領域に分割するブロック領域分割手段と、
   分割された前記ブロック領域毎に濃度ヒストグラム測定をするヒストグラム測定手段と、
   測定された前記濃度ヒストグラムに基づいて、ブロック領域毎に含まれる画像要素の種別を判定し、当該ブロックの領域種別を判定するブロック領域種別判定手段と、
   ブロック毎の前記領域種別に基づいて、同一の領域種別からなる同種ブロック領域を取得する同種ブロック取得手段と、
   を有することを特徴とする請求項１ないし３何れか一項に記載の画像処理装置。
5. 前記選択領域取得手段は、
   前記第２候補選択領域に含まれる画像要素を抽出する抽出手段と、
   前記画像要素の外接領域を統合する統合手段と、
   を有することを特徴とする請求項１ないし４何れか一項に記載の画像処理装置。
6. 処理画像に対して指定された前記処理画像が有する指定領域に基づいて、前記処理画像から選択領域を取得する画像処理装置における画像処理方法であって、
   前記指定領域の範囲を示す指定領域情報を取得する指定領域情報取得手順と、
   コンピュータが、
   前記指定領域情報に基づいて、前記選択領域となりうる最大の領域である第１候補選択領域を取得する第１候補選択領域取得手順と、
   前記第１候補選択領域に含まれる画像要素の種別毎に当該第１候補選択領域を分割し、画像要素の種別が同一である同種領域を第２候補選択領域として取得する第２候補選択領域取得手順と、
   前記第２候補選択領域に含まれる画像要素に基づいて当該画像要素の領域を統合し、前記選択領域を取得する選択領域取得手順と、
   を有し、
   前記第２候補選択領域取得手順は、前記同種領域が複数取得されたとき、複数の同種領域の中から、前記指定領域と画像要素の種別が同一である同種領域を前記第２候補選択領域として取得すること、
   を有することを特徴とする画像処理方法。
7. 前記第２候補選択領域取得手順は、前記指定領域に含まれる画像要素の種別が複数ある場合、前記指定領域に最も多く含まれる画像要素の種別と同一の種別である同種領域を前記２候補選択領域として取得すること、
   を特徴とする請求項６に記載の画像処理方法。
8. 前記第１候補選択領域取得手順は、
   前記指定領域情報に基づいて、前記指定領域を包含する矩形領域を取得する矩形領域取得手順と、
   前記矩形領域の上下左右方向に前記選択領域となりうる最大領域範囲を画素の有無に基づき探索し、前記第１候補選択領域を決定する範囲探索手順と、
   を有することを特徴とする請求項６又は７に記載の画像処理方法。
9. 前記第２候補選択領域取得手順は、
   前記第１候補選択領域をブロック領域に分割するブロック領域分割手順と、
   分割された前記ブロック領域毎に濃度ヒストグラム測定をするヒストグラム測定手順と、
   測定された前記濃度ヒストグラムに基づいて、ブロック領域毎に含まれる画像要素の種別を判定し、当該ブロックの領域種別を判定するブロック領域種別判定手順と、
   ブロック毎の前記領域種別に基づいて、同一の領域種別からなる同種ブロック領域を取得する同種ブロック取得手順、
   を有することを特徴とする請求項６ないし８何れか一項に記載の画像処理方法。
10. 前記選択領域取得手順は、
    前記第２候補選択領域に含まれる画像要素を抽出する抽出手順と、
    前記画像要素の外接領域を統合する統合手順と、
    を有することを特徴とする請求項６ないし９何れか一項に記載の画像処理方法。
11. 請求項６ないし１０何れか一項に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images