JP6155740B2 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理装置等に関する。

テレビ番組のＣＭ（Commercial Message）等で検索窓が表示される場合がある。例えば、ユーザは、検索窓に表示されたキーワードを覚えておき、ＰＣ（Personal Computer）等を利用して覚えておいたキーワードをＷｅｂ検索することで、ＣＭの内容に関して更に多くの情報を得ることができる。

また、近年では、静止画像から検索窓を検出し、検索窓内の文字列を認識する各種の技術がある。ここでは一例として、従来技術１および従来技術２について説明する。

従来技術１は、入力画像からエッジを抽出し、エッジの輪郭線により囲まれた矩形状の領域を抽出する。そして、従来技術１は、矩形状の領域内の画素値の分散値が閾値以下となる領域を、検索窓として判定し、検索窓の領域を２値化して文字認識を行う。

従来技術２は、エッジ画像に対してラドン変換を行うことで、色々な角度の線分を抽出し、線分の隣接関係を用いて閉領域を形成する線分集合を抽出する。そして、従来技術２は、閉領域を形成する線分集合を多角形に近似し、該多角形が所定の条件を満たす場合に、多角形に対応する領域を検索窓として判定する。例えば、従来技術２は、多角形を構成する辺のうち最長の２本を選択し、選択した線分が画像に対して平行であり、かつ多角形全体が横長領域の場合に、多角形に対応する領域を検索窓とする。

特開２０１２−１６００２３号公報 特開２００２−０１５２８３号公報 特開平８−３１７１９５号公報 特開２００９−４４６５８号公報 特開２００９−１８８８８６号公報 特開２０１０−１５２８００号公報

しかしながら、上述した従来技術では、精度良く検索窓を検出することができないという問題がある。

例えば、従来技術１，２では、強いエッジだけを抽出すると、エッジの輪郭線が途切れる場合があり、閉領域を抽出することができず、検索窓を抽出することができない。また、強いエッジだけでなく、弱いエッジを含めてエッジ抽出を行うと、検索窓に対応するエッジの他に、背景領域や検索窓内のキーワードからもエッジが抽出され、正しい検索窓を識別することができない。

一つの側面では、精度良く検索窓を検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

第１の案では、画像処理装置は、直線抽出部と判定部とを有する。直線抽出部は、画像からエッジを抽出したエッジ画像を基にして、水平方向の複数の直線を抽出する。判定部は、エッジ画像内のエッジを連結させた黒画素連結領域を抽出し、複数の直線の組みの間に所定の範囲内の黒画素連結領域を有する直線の組み合わせを判定する。

本発明の一実施態様によれば、画像処理装置によれば、精度良く検索窓を検出することができる。

図１は、本実施例に係るＴＶの構成の一例を示す図である。 図２は、本実施例に係る画像処理装置の構成を示す図である。 図３は、画像データの一例を示す図である。 図４は、エッジ画像データの一例を示す図である。 図５は、直線テーブルのデータ構造の一例を示す図である。 図６は、黒画素連結領域テーブルのデータ構造の一例を示す図である。 図７は、直線抽出部の処理を説明するための図である。 図８は、直線抽出部が抽出した各直線の一例を示す図である。 図９は、黒画素連結領域抽出部の処理を説明するための図である。 図１０は、判定部の処理を説明するための図（１）である。 図１１は、判定部が生成する対応管理情報の一例を示す図である。 図１２は、判定部の処理を説明するための図（２）である。 図１３は、判定部の処理を説明するための図（３）である。 図１４は、判定部の処理を説明するための図（４）である。 図１５は、判定部の処理を説明するための図（５）である。 図１６は、判定部の処理を説明するための図（６）である。 図１７は、判定部の処理を説明するための図（７）である。 図１８は、判定部の処理を説明するための図（８）である。 図１９は、判定部の処理を説明するための図（９）である。 図２０は、判定部の処理を説明するための図（１０）である。 図２１は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。 図２２は、本実施例に係る検索窓領域検出処理の処理手順を示すフローチャートである。 図２３は、直線ペア抽出処理の処理手順を示すフローチャートである。 図２４は、黒画素連結領域と直線ペアとの位置関係に基づいて直線ペアを選択する処理手順を示すフローチャートである。 図２５は、直線ペア間の領域に対して文字認識を実行し文字認識の確信度を基にして直線ペアを選択する処理手順を示すフローチャートである。 図２６は、特定文字を基にして直線ペアを選択する処理手順を示すフローチャートである。 図２７は、画像処理装置のその他の実施例を説明するための図である。 図２８は、制御プログラムを実行するコンピュータの一例を示す図である。

以下に、本願の開示する画像処理装置、画像処理プログラムおよび画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例に係るＴＶの構成の一例について説明する。図１は、本実施例に係るＴＶの構成の一例を示す図である。図１に示すように、このＴＶ５０は、チューナー５１、モニタ５２、通信部５３、リモコン受信部５４、ＴＶ制御部５５、画像処理装置１００を有する。チューナー５１、モニタ５２、通信部５３、リモコン受信部５４、ＴＶ制御部５５、画像処理装置１００は、接続線６０によって相互に電気的に接続される。ＴＶ５０は、ネットワーク１０を介して図示しない各種のサーバに接続される。その他の構成は、周知のＴＶと同様であるため、ここでは説明を省略する。

チューナー５１は、アンテナ５を利用してテレビ放送を受信する装置である。チューナー５１は、テレビ放送の情報を、ＴＶ制御部５５に出力する。

モニタ５２は、ＴＶ制御部５５から出力されるテレビ放送の情報を表示する表示装置である。また、モニタ５２は、画像処理装置１００から出力される情報を表示する。画像処理装置１００から出力される情報には、テレビ番組のＣＭ等で表示される検索窓のキーワードのＷｅｂ検索結果等が含まれる。

通信部５３は、ネットワーク１０を介して図示しない各種のサーバとデータ通信を実行する処理部である。後述する画像処理装置１００は、通信部５３を介して、外部のサーバ等とデータをやり取りする。通信部５３は、例えば、ＮＩＣ（Network Interface Card）等の通信装置に対応する。

リモコン受信部５４は、利用者の操作するリモコン（リモートコントローラ）からの情報を受信する装置である。リモコン受信部５４は、受信した情報を、ＴＶ制御部５５に出力する。なお、リモコン受信部５４は、検索窓に表示されたキーワードに関する検索要求を受け付けた場合には、検索要求を、画像処理装置１００に出力する。

ＴＶ制御部５５は、ＴＶ５０全体を制御する装置である。例えば、ＴＶ制御部５５は、チューナー５１が受信する各テレビ番組の情報のうち、リモコンによって指定されたチャンネルの番組をモニタ５２に出力して表示させる。また、ＴＶ制御部５５は、モニタ５２に表示させているテレビ番組の映像データを、画像処理装置１００に出力する。

画像処理装置１００は、テレビ番組で表示される検索窓を抽出する装置である。また、画像処理装置１００は、検索窓に含まれるキーワードをＷｅｂ検索し、検索結果をモニタ５２に表示させる。

図１に示した画像処理装置１００の構成の一例について説明する。図２は、本実施例に係る画像処理装置の構成を示す図である。図２に示すように、この画像処理装置１００は、インタフェース部１１０、記憶部１２０、制御部１３０を有する。

インタフェース部１１０は、例えば、ＴＶ制御部５５との間でデータ通信を実行する処理部である。また、インタフェース部１１０は、通信部５３を介して、ネットワーク１０上のサーバとデータ通信を実行する。後述する制御部１３０は、インタフェース部１１０を介して、ＴＶ制御部５５、サーバ等とデータをやり取りする。

記憶部１２０は、画像データ１２１、エッジ画像データ１２２、直線テーブル１２３、黒画素連結領域テーブル１２４、検索窓領域データ１２５を記憶する。記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

画像データ１２１は、テレビ番組の映像データから抽出された静止画像のデータである。図３は、画像データの一例を示す図である。

エッジ画像データ１２２は、画像データ１２１からエッジを抽出されることで生成される画像データである。図４は、エッジ画像データの一例を示す図である。なお、画像１２２ｂは、エッジ画像１２２の領域１２２ａを拡大したものである。

直線テーブル１２３は、エッジ画像データ１２２から抽出される水平方向の直線の情報を保持するテーブルである。図５は、直線テーブルのデータ構造の一例を示す図である。図５に示すように、この直線テーブル１２３は、直線識別情報と、始点座標と、終点座標とを対応付ける。直線識別情報は、エッジ画像データ１２２から抽出される水平方向の直線を一意に識別する情報である。始点座標は、水平方向の直線の始点座標を示す。終点座標は、水平方向の直線の終点座標を示す。

黒画素連結領域テーブル１２４は、エッジ画像データのエッジを連結させた黒画素連結領域の情報を保持するテーブルである。例えば、黒画素連結領域は、矩形に近似される。図６は、黒画素連結領域テーブルのデータ構造の一例を示す図である。図６に示すように、この黒画素連結領域テーブル１２４は、黒画素識別情報と、左上矩形座標と、右下矩形座標とを対応付ける。黒画素識別情報は、黒画素連結領域を一意に識別する情報である。左上矩形座標は、黒画素連結領域の左上隅の座標を示す。右下矩形座標は、黒画素連結領域の右下隅の座標を示す。

検索窓領域データ１２５は、後述する検索窓検出部１３３によって検出された画像データ１２１上の検索窓の領域を示す情報を含む。例えば、検索窓領域データ１２５は、画面データ１２１上の検索窓の座標に対応する。

制御部１３０は、取得部１３１、変換部１３２、検索窓検出部１３３、文字認識処理部１３４、Ｗｅｂ検索部１３５を有する。制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１３０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

なお、制御部１３０は、リモコン受信部５４から検索要求を取得したことを契機にして、処理を開始しても良い。

取得部１３１は、ＴＶ制御部５５から映像データを取得する処理部である。取得部１３１は、取得した映像データから、静止画像となる画像データを抽出し、抽出した画像データを記憶部１２０に記憶させる。

変換部１３２は、画像データ１２１からエッジを抽出することにより、エッジ画像データ１２２を生成する処理部である。例えば、変換部１３２は、画像データ１２１をグレースケール（Grayscale）画像データに変換する。そして、変換部１３２は、グレースケール画像データに対して、Canny Edge等のアルゴリズムを適用することで、エッジ画像データ１２２を生成する。

検索窓検出部１３３は、検索窓を検出する処理部である。検索窓検出部１３３は、直線抽出部１３３ａと、黒画素連結領域抽出部１３３ｂと、判定部１３３ｃとを有する。

直線抽出部１３３ａは、エッジ画像データ１２２から水平方向の直線を抽出する処理部である。直線抽出部１３３ａは、抽出した直線の情報を直線テーブル１２３に登録する。

直線抽出部１３３ａの処理を具体的に説明する。直線抽出部１３３ａは、エッジ画像データ１２２から小線分抽出した後に、各小線分を統合することで、水平方向の直線を得る。小線分を抽出する処理について説明する。

図７は、直線抽出部の処理を説明するための図である。直線抽出部１３３ａは、エッジ画像データ１２２に対して、３２画素幅の短冊領域を設定する。直線抽出部１３３ａは、各短冊領域のｙ座標毎に、黒画素の横投影ヒストグラムｐ（ｉ）を作成する。ｉはｙ座標を示す。例えば、短冊領域のｙ座標（ｙ１）について、黒画素の画素数が３０画素の場合には、ｐ（ｙ１）の値は、３０となる。

直線抽出部１３３ａは、下記の直線抽出条件１〜３の何れか一つの条件を満たす場合に、ｙ座標ｉの短冊幅の小線分を抽出する。直線抽出条件１は、ｐ（ｉ）の値が３０以上という条件である。直線抽出条件２は、ｐ（ｉ）の値と、ｐ（ｉ＋１）の値とを加算した値が、３０以上という条件である。直線抽出条件３は、ｐ（ｉ）の値と、ｐ（ｉ＋１）の値と、ｐ（ｉ−１）の値とを加算した値が３０以上という条件である。エッジの直線が水平方向から若干ずれた場合でも、係る直線を、直線抽出条件２，３によって救済することができる。

例えば、図７の短冊領域１ａのあるｙ座標ｉについて、直線抽出条件１〜３の何れか一つの条件を満たす場合に、直線抽出部１３３ａは、短冊領域１ａ内のｙ座標ｉ上の直線１ｂを抽出する。直線抽出部１３３ａは、他の短冊領域についても同様の処理を繰り返し実行することで、小線分を抽出する。

直線抽出部１３３ａは、小線分を抽出した後に、各小線分を横方向に統合することで、水平方向の直線を得る。例えば、直線抽出部１３３ａは、各小線分の始点座標および終点座標を比較し、横方向に連続する各小線分を統合する。図８は、直線抽出部が抽出した各直線の一例を示す図である。直線抽出部１３３ａは、統合した各直線の情報を、直線テーブル１２３に登録する。

図２の説明に戻る。黒画素連結領域抽出部１３３ｂは、エッジ画像データ１２２に含まれる各エッジを連結することで黒画素連結領域を抽出する処理部である。例えば、黒画素連結領域抽出部１３３ｂは、エッジ画像データ１２２に対して、ラベリングを実行し、同じラベルの塊の外接矩形を求める。黒画素連結領域抽出部１３３ｂは、外接矩形で近似した黒画素連結領域の情報を、黒画素連結領域テーブル１２４に登録する。

図９は、黒画素連結領域抽出部の処理を説明するための図である。図９に示すように、黒画素連結領域抽出部１３３ｂがラベリング処理を実行することで、複数の外接矩形が抽出される。

判定部１３３ｃは、直線テーブル１２３および黒画素連結領域テーブル１２４を基にして、検索窓の領域を判定する処理部である。判定部１３３ｃは、判定した検索窓の領域の情報を、検索窓領域データ１２５に登録する。以下において、判定部１３３ｃの処理を具体的に説明する。判定部１３３ｃは、直線と黒画素連結領域とを対応付ける処理、直線のペアを判定する処理、検索窓を構成する直線のペアを判定する処理を実行する。また、判定部１３３は、候補領域を抽出する処理を実行する。

判定部１３３ｃが、直線と黒画素連結領域とを対応付ける処理について説明する。図１０は、判定部の処理を説明するための図（１）である。まず、判定部１３３ｃは、直線との距離が同一となる黒画素連結領域の組みを判定し、それぞれを対応付ける。例えば、図１０に示す例では、直線２ａと、黒画素連結領域３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆとの距離がそれぞれ同一となる。このため、判定部１３３ｃは、直線２ａと、黒画素連結領域３ａ〜３ｆを対応付ける。また、直線２ａと、黒画素連結領域４ａ，４ｂ，４ｃ，４ｄ，４ｅとの距離がそれぞれ同一となる。このため、判定部１３３ｃは、直線２ａと、黒画素連結領域４ａ〜４ｆとを対応付ける。

判定部１３３ｃは、対応付けた直線の直線識別情報と、各黒画素連結領域の黒画素識別情報とを対応付けて、対応管理情報に登録する。図１１は、判定部が生成する対応管理情報の一例を示す図である。

判定部１３３ｃが直線のペアを判定する処理について説明する。例えば、判定部１３３ｃは、直線テーブル１２３および黒画素連結領域テーブル１２４を基にして、各直線の長さの差が所定の閾値未満でｙ方向に重複し、且つ、各直線間に黒画素連結領域が存在する場合に、係る各直線をペアとする。判定部１３３ｃは、各直線のペアの情報をペア管理情報に登録する。ここでは図示を省略するが、ペア管理情報は、ペアとなる各直線の直線識別情報が対応付けられる情報である。

判定部１３３ｃが検索窓を構成する直線のペアを判定する処理について説明する。図１２は、判定部の処理を説明するための図（２）である。判定部１３３ｃは、上記対応付けた直線のペアを選択し、選択した直線に対応付けられた黒画素連結領域が所定の条件を満たす場合に、選択した直線のペアを、検索窓を構成する直線のペアとして判定する。具体的に、式（１）に示す条件を満たす場合に、選択した直線のペアを、検索窓を構成する直線のペアとして判定する。式（１）の閾値は、利用者が適宜設定する値である。

直線ペアに対応付けられた黒画素連結領域のうち、直線ペアで共通する黒画素連結領域の数／直線ペアに対応付けられた黒画素連結領域の数（ただし、重複する黒画素連結領域は、１つとカウントする）＞閾値・・・（１）

式（１）の内容を、図１２を用いて説明する。図１２では、直線２ａと直線２ｂとが直線ペアとなっている。直線２ａには、黒画素連結領域４ａ，４ｂ，４ｃ，４ｄ，４ｅが対応付けられている。直線２ｂには、黒画素連結領域４ａ，４ｂ，４ｃ，４ｅ，４ｆが対応付けられている。また、直線ペアで共通する黒画素連結領域は、黒画素連結領域４ａ，４ｂ，４ｃ，４ｅとなる。このため、図１２に示す例では、直線ペアに対応付けられた黒画素連結領域のうち、直線ペアで共通する黒画素連結領域の数は「４」となり、直線ペアに対応付けられた黒画素連結領域の数は「６」となる。すなわち、直線ペアに黒画素連結領域４ｆ、４ｄが更に対応付けられる。

判定部が候補領域を抽出する処理について説明する。図１３は、判定部の処理を説明するための図（３）である。図１３に示す直線ペア２ａ，２ｂは、上記の処理により、検索窓を構成する直線のペアとして判定されたものとする。判定部１３３ｃは、直線ペア２ａ，２ｂ内の領域にある黒画素連結領域４ａ〜４ｆを囲む領域３ａを候補領域として抽出する。

図１４は、判定部の処理を説明するための図（４）である。判定部１３３ｃは、抽出した２つの候補領域がほぼ同じｙ座標を持ち、隣接し、且つ、線分、黒画素連結領域のｙ方向位置がほぼ同じ場合に、２つの候補領域を統合する。例えば、図１４に示す例では、２つの候補領域３ａ，３ｂの左上および右下のｙ座標の差が閾値未満であり、かつ、直線２ａおよび直線２ｃのｙ座標の差が閾値未満であり、かつ、直線２ｂおよび直線２ｄのｙ座標の差が閾値未満とする。また、黒画素連結領域４ａ〜４ｆの重心のｙ方向位置と、黒画素連結領域４ｇ〜４ｌの重心のｙ方向位置との差が閾値未満であるとする。この場合には、判定部１３３ｃは、候補領域３ａ，３ｂを統合して、候補領域３ｃを生成する。

図１５は、判定部の処理を説明するための図（５）である。ここでは、候補領域３ｄ，３ｅを用いて説明する。判定部１３３ｃは、候補領域３ｄの左端から左方向に３２画素の地点を開始点とし、右方向に縦方向の黒画素投影ヒストグラムでピーク点を検索し、ピーク点を候補領域の左端とする。また、候補領域３ｄの右端から右方向に３２画素の地点を開始点とし、左方向に縦方向の黒画素投影ヒストグラムでピーク点を検索し、ピーク点を候補領域の右端とする。判定部１３３ｃが係る処理を実行することで、候補領域３ｄの領域は、候補領域３ｆとなる。判定部１３３ｃは、候補領域３ｅについても同様の処理を実行することで、候補領域３ｅの領域は、候補領域３ｇとなる。

図１６は、判定部の処理を説明するための図（６）である。ここでは、候補領域３ｈ，３ｉを用いて説明する。判定部１３３ｃは、候補領域の４辺の１画素内部の領域を走査して、白画素から黒画素あるいは黒画素から白画素に変化する回数を計数する。判定部１３３ｃは、変化する回数が閾値以上の場合には、対応する候補領域を削除する。例えば、候補領域３ｈについて、候補領域の４辺の１画素内部の領域を走査すると、変化する回数が閾値未満となる。このため、判定部１３３ｃは、候補領域３ｈを残す。これに対して、候補領域３ｉについて、候補領域の４辺の１画素内部の領域を走査すると、変化する回数が閾値以上となる。このため、判定部１３３ｃは、候補領域３ｉを削除する。

図１７は、判定部の処理を説明するための図（７）である。判定部１３３ｃは、座標が類似する各候補領域を統合する。ここでは、候補領域３ｊ，３ｋを用いて説明する。また、候補領域３ｊのｘ座標のうち、最小のｘ座標をｘｍｉｎ１とし、最大のｘ座標をｘｍａｘ１とする。候補領域３ｊのｙ座標のうち、最小のｙ座標をｙｍｉｎ１とし、最大のｙ座標をｙｍａｘ１とする。また、候補領域３ｋのｘ座標のうち、最小のｘ座標をｘｍｉｎ２とし、最大のｘ座標をｘｍａｘ２とする。候補領域３ｊのｙ座標のうち、最小のｙ座標をｙｍｉｎ２とし、最大のｙ座標をｙｍａｘ２とする。

判定部１３３ｃは、式（２）に示す条件を満たす場合に、候補領域３ｊ，３ｋを統合する。例えば、判定部１３３ｃは、候補領域３ｊ，３ｋを統合することで、候補領域３ｌを生成する。

｜ｘｍｉｎ１−ｘｍｉｎ２｜＋｜ｘｍａｘ１−ｘｍａｘ２｜＋｜ｙｍｉｎ１−ｙｍｉｎ２｜＋｜ｙｍａｘ１−ｙｍａｘ２｜＜閾値・・・（２）

図１８は、判定部の処理を説明するための図（８）である。判定部１３３ｃは、候補領域内で、左右端点から一定距離離れているところで、縦方向の黒画素投影ヒストグラムのピーク点が存在する場合には、候補領域を分割する。ここでは、候補領域３ｍを用いて説明する。例えば、候補領域３ｍ内で、縦方向の黒画素投影ヒストグラムのピーク点６ａが存在する場合には、判定部１３３ｃは、候補領域３ｍを、ピーク点６ａの位置を基準として、候補領域３ｎ，３ｏに分割する。

図１９は、判定部の処理を説明するための図（９）である。判定部１３３ｃは、候補領域に含まれる黒画素連結領域に対して文字認識をそれぞれ実行する。判定部１３３ｃは、各文字認識結果の確信度の平均値が閾値未満の場合に、候補領域を削除する。ここでは、候補領域３ｐ，３ｑを用いて説明する。なお、黒画素連結領域に対して文字認識を実行する技術や、確信度を算出する技術は、如何なる従来技術を利用しても良い。判定部１３３ｃは、例えば、候補領域３ｐに対して文字認識を実行し、各文字認識結果の確信度の平均値が、閾値以上の場合には、候補領域３ｐを残す。

なお、判定部１３３ｃは、各文字認識結果の確信度の平均値が閾値以上の場合であっても、候補領域に特定の文字が含まれている場合には、候補領域を削除する。例えば、文字認識で認識された文字に「検」、「索」または「Ｑ」の文字が含まれる場合に、候補領域を削除する。例えば、検索の意味を示す虫眼鏡マークに対する文字認識結果が「Ｑ」となる場合がある。候補領域３ｑに対して文字認識を実行すると、「検」、「索」の文字が含まれるので、判定部１３３ｃは、候補領域３ｑを削除する。なお、判定部１３３ｃは、「検」、「索」または「Ｑ」を含む候補領域の座標を記録しておく。

図２０は、判定部の処理を説明するための図（１０）である。判定部１３３ｃは、上記処理によって、候補領域が複数存在する場合に、以下に説明する処理を実行しても良い。判定部１３３ｃは、「検」、「索」または「Ｑ」の文字が含まれる領域が存在した場合には、係る領域の左右にある最も近い領域を検索窓として検出する。例えば、図１０に示す例では、領域３ｒに、「検索」が含まれており、領域３ｒの左右に最も近い領域は候補領域３ｓとなる。このため、判定部１３３ｃは、候補領域３ｒを検索窓の領域として検出する。判定部１３３ｃは、検出した検索窓の情報を検索窓領域データ１２５に登録する。

図２の説明に戻る。文字認識処理部１３４は、検索窓の領域に対して文字認識を実行し、文字認識結果となるキーワードをＷｅｂ検索部１３５に出力する処理部である。文字認識処理部１３４は、検索窓領域データに登録された検索窓の座標を基にして、エッジ画像データ上の検索窓の領域を特定し、特定した領域に対して文字認識を実行する。領域に対して文字認識を実行する処理は、如何なる従来技術を用いても良い。

Ｗｅｂ検索部１３５は、文字認識処理部１３４から取得するキーワードに対してＷｅｂ検索を実行する処理部である。例えば、Ｗｅｂ検索部１３５は、ネットワーク１０に接続されたサーバにアクセスして、Ｗｅｂ検索を実行する。Ｗｅｂ検索部１３５は、検索結果を、モニタ５２に表示する。

次に、本実施例に係る画像処理装置１００の処理手順について説明する。図２１は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。例えば、図２１に示す処理は、検索要求を受け付けたことを契機にして実行される。

図２１に示すように、画像処理装置１００は、映像データから１フレームの画像データを取得し（ステップＳ１０１）、検索窓領域検出処理を実行する（ステップＳ１０２）。

画像処理装置１００は、検索窓領域に対して文字認識処理を実行し（ステップＳ１０３）、Ｗｅｂ検索を実行する（ステップＳ１０４）。そして、画像処理装置１００は、検索結果を出力する（ステップＳ１０５）。

次に、図２１に示した検索窓領域検出処理について説明する。図２２は、本実施例に係る検索窓領域検出処理の処理手順を示すフローチャートである。図２２に示すように、画像処理装置１００は、画像データ１２１からエッジ画像データ１２２を生成する（ステップＳ１１０）。画像処理装置１００は、黒画素連結領域を抽出する（ステップＳ１１１）。

画像処理装置１００は、エッジ画像データから水平方向の直線を抽出する（ステップＳ１１２）。画像処理装置１００は、直線ペア抽出処理を実行する（ステップＳ１１３）。画像処理装置１００は、直線ペアのうち、直線ペア間に黒画素が存在するペアのみを選択する（ステップＳ１１４）。画像処理装置１００は、選択した直線ペアが１つであるか否かを判定する（ステップＳ１１５）。画像処理装置１００は、選択した直線ペアが１つの場合には（ステップＳ１１５，Ｙｅｓ）、ステップＳ１２１に移行する。

一方、画像処理装置１００は、選択した直線ペアが２つ以上の場合には（ステップＳ１１５，Ｎｏ）、ステップＳ１１６に移行する。画像処理装置１００は、黒画素連結領域と直線ペアとの位置関係に基づいて、直線ペアを選択する処理を実行する（ステップＳ１１６）。画像処理装置１００は、選択した直線ペアが１つであるか否かを判定する（ステップＳ１１７）。画像処理装置１００は、選択した直線ペアが１つの場合には（ステップＳ１１７，Ｙｅｓ）、ステップＳ１２１に移行する。

一方、画像処理装置１００は、選択した直線ペアが２つ以上の場合には（ステップＳ１１７，Ｎｏ）、ステップＳ１１８に移行する。画像処理装置１００は、直線ペア間の領域に対して文字認識を実行し、文字認識の確信度を基にして直線ペアを選択する処理を実行する（ステップＳ１１８）。画像処理装置１００は、選択した直線ペアが１つであるか否かを判定する（ステップＳ１１９）。画像処理装置１００は、選択した直線ペアが１つの場合には（ステップＳ１１９，Ｙｅｓ）、ステップＳ１２１に移行する。

一方、画像処理装置１００は、選択した直線ペアが２つ以上の場合には（ステップＳ１１９，Ｎｏ）、特定文字を基にして、直線ペアを選択する（ステップＳ１２０）。画像処理装置１００は、直線ペアの領域座標を抽出する（ステップＳ１２１）。

次に、図２２のステップＳ１１３に示した直線ペア抽出処理について説明する。図２３は、直線ペア抽出処理の処理手順を示すフローチャートである。図２３に示すように、画像処理装置１００は、ｉに１を設定する（ステップＳ１３０）。画像処理装置１００は、ｉの値に１を加算した値をｊに設定する（ステップＳ１３１）。

画像処理装置１００は、ｉ番目の直線と、ｊ番目の直線とを選択する（ステップＳ１３２）。画像処理装置１００は、ｉ番目の直線とｊ番目の直線とがほぼ同じ長さで、ｙ方向に重複するか否かを判定する（ステップＳ１３３）。画像処理装置１００は、ｉ番目の直線とｊ番目の直線とがほぼ同じ長さでない、または、ｙ方向に重複しない場合には（ステップＳ１３３，Ｎｏ）、ステップＳ１３６に移行する。

一方、画像処理装置１００は、ｉ番目の直線とｊ番目の直線とがほぼ同じ長さで、ｙ方向に重複する場合には（ステップＳ１３３，Ｙｅｓ）、ステップＳ１３４に移行する。画像処理装置１００は、直線ペア間に黒画素が存在するか否かを判定する（ステップＳ１３４）。画像処理装置１００は、直線ペア間に黒画素が存在しない場合には（ステップＳ１３４，Ｎｏ）、ステップＳ１３６に移行する。

一方、画像処理装置１００は、直線ペア間に黒画素が存在する場合には（ステップＳ１３４，Ｙｅｓ）、直線ペアを記録する（ステップＳ１３５）。

画像処理装置１００は、ｊの値が「Ｎ−１」の値未満であるか否かを判定する（ステップＳ１３６）。Ｎは、直線の総数である。画像処理装置１００は、ｊの値が「Ｎ−１」の値未満である場合には（ステップＳ１３６，Ｙｅｓ）、ｊの値に１を加算した値を、ｊに設定し（ステップＳ１３７）、ステップＳ１３２に移行する。

一方、画像処理装置１００は、ｊの値が「Ｎ−１」の値未満でない場合には（ステップＳ１３６，Ｎｏ）、ｉの値が「Ｎ−１」の値未満であるか否かを判定する（ステップＳ１３８）。画像処理装置１００は、ｉの値が「Ｎ−１」の値未満である場合には（ステップＳ１３８，Ｙｅｓ）、ｉの値に１を加算した値を、ｉに設定し（ステップＳ１３９）、ステップＳ１３１に移行する。

一方、画像処理装置１００は、ｉの値が「Ｎ−１」の値未満でない場合には（ステップＳ１３８，Ｎｏ）、直線ペア抽出処理を終了する。

次に、図２２のステップＳ１１６に示した黒画素連結領域と直線ペアとの位置関係に基づいて直線ペアを選択する処理について説明する。図２４は、黒画素連結領域と直線ペアとの位置関係に基づいて直線ペアを選択する処理手順を示すフローチャートである。

図２４に示すように、画像処理装置１００は、ｉに１を設定する（ステップＳ１５０）。画像処理装置１００は、ｉの値に１を加算した値をｊに設定する（ステップＳ１５１）。画像処理装置１００は、ｉ番目の直線と、ｊ番目の直線とを選択する（ステップＳ１５２）。

画像処理装置１００は、ｉ番目の直線とｊ番目の直線との間の距離が一定の矩形を選択する（ステップＳ１５３）。画像処理装置１００は、式（１）の条件を満たすか否かを判定する（ステップＳ１５４）。式（１）の条件を満たさない場合には（ステップＳ１５５，Ｎｏ）、ステップＳ１５７に移行する。

一方、画像処理装置１００は、式（１）の条件を満たす場合には（ステップＳ１５５，Ｙｅｓ）、条件を満たす直線ペアを記録する（ステップＳ１５６）。画像処理装置１００は、ｊの値が「Ｎ−１」の値未満であるか否かを判定する（ステップＳ１５７）。Ｎは、直線の総数である。画像処理装置１００は、ｊの値が「Ｎ−１」の値未満である場合には（ステップＳ１５７，Ｙｅｓ）、ｊの値に１を加算した値を、ｊに設定し（ステップＳ１５８）、ステップＳ１５２に移行する。

一方、画像処理装置１００は、ｊの値が「Ｎ−１」の値未満でない場合には（ステップＳ１５７，Ｎｏ）、ステップＳ１５９に移行する。画像処理装置１００は、ｉの値が「Ｎ−１」の値未満であるか否かを判定する（ステップＳ１５９）。画像処理装置１００は、ｉの値が「Ｎ−１」の値未満である場合には（ステップＳ１５９，Ｙｅｓ）、ｉの値に１を加算した値を、ｉに設定し（ステップＳ１６０）、ステップＳ１５１に移行する。

一方、画像処理装置１００は、ｉの値が「Ｎ−１」の値未満でない場合には（ステップＳ１５９，Ｎｏ）、黒画素連結領域と直線ペアとの位置関係に基づいて直線ペアを選択する処理を終了する。

次に、図２２のステップＳ１１８に示した直線ペア間の領域に対して文字認識を実行し、文字認識の確信度を基にして直線ペアを選択する処理について説明する。図２５は、直線ペア間の領域に対して文字認識を実行し、文字認識の確信度を基にして直線ペアを選択する処理手順を示すフローチャートである。

図２５に示すように、画像処理装置１００は、ｉに１を設定する（ステップＳ１８０）。画像処理装置１００は、ｉ番目の直線ペアの内側に対して文字認識を実行し、各文字の確信度の平均値を算出する（ステップＳ１８１）。

画像処理装置１００は、認識結果の文字がノイズ文字でなく、かつ、平均値が閾値以上か否かを判定する（ステップＳ１８２）。画像処理装置１００は、認識結果の文字がノイズ文字である場合、または、平均値が閾値未満の場合には（ステップＳ１８２，Ｎｏ）、ステップＳ１８４に移行する。

一方、画像処理装置１００は、認識結果の文字がノイズ文字でなく、かつ、平均値が閾値以上の場合には（ステップＳ１８２，Ｙｅｓ）、ｉ番目の直線ペアを記録する（ステップＳ１８３）。画像処理装置１００は、ｉの値が「Ｎ−１」の値未満であるか否かを判定する（ステップＳ１８４）。画像処理装置１００は、ｉの値が「Ｎ−１」の値未満の場合には（ステップＳ１８４，Ｙｅｓ）、ｉの値に１を加算した値を、ｉに設定し（ステップＳ１８５）、ステップＳ１８１に移行する。

一方、画像処理装置１００は、ｉの値が「Ｎ−１」の値未満でない場合には（ステップＳ１８４，Ｎｏ）、処理を終了する。

次に、図２２のステップＳ１２０に示した特定文字を基にして直線ペアを選択する処理について説明する。図２６は、特定文字を基にして直線ペアを選択する処理手順を示すフローチャートである。

図２６に示すように、画像処理装置１００は、ｉに１を設定する（ステップＳ１９０）。画像処理装置１００は、ｉ番目の直線ペアの領域の上下端の延長線に囲まれる範囲で、画像端までの領域、かつ、ｉ番目の直線ペア以外の領域を文字認識する（ステップＳ１９１）。画像処理装置１００は、文字認識結果に「検索」等の特定文字が存在するか否かを判定する（ステップＳ１９２）。

画像処理装置１００は、文字認識結果に「検索」等の特定文字が存在しない場合には（ステップＳ１９２，Ｎｏ）、ステップＳ１９５に移行する。一方、画像処理装置１００は、文字認識結果に「検索」等の特定文字が存在する場合には（ステップＳ１９２，Ｙｅｓ）、ステップＳ１９３に移行する。

画像処理装置１００は、候補領域から「検索」等の特定文字までの距離が最も近いか否かを判定する（ステップＳ１９３）。画像処理装置１００は、候補領域から「検索」等の特定文字までの距離が最も近くない場合には（ステップＳ１９３，Ｎｏ）、ステップＳ１９５に移行する。

画像処理装置１００は、画像処理装置１００は、候補領域から「検索」等の特定文字までの距離が最も近い場合には（ステップＳ１９３，Ｙｅｓ）、最も近い候補領域を記憶する（ステップＳ１９４）。

画像処理装置１００は、ｉの値が「Ｎ−１」の値未満であるか否かを判定する（ステップＳ１９５）。画像処理装置１００は、ｉの値が「Ｎ−１」の値未満である場合には（ステップＳ１９５，Ｙｅｓ）、ｉの値に１を加算した値を、ｉに設定し（ステップＳ１９６）、ステップＳ１９１に移行する。一方、画像処理装置１００は、ｉの値が「Ｎ−１」の値未満でない場合には（ステップＳ１９５，Ｎｏ）、処理を終了する。

次に、本実施例に係る画像処理装置１００の効果について説明する。画像処理装置１００は、エッジ画像データ１２２を基にして、水平方向の複数の直線を抽出し、複数の直線の組の間に所定の範囲内の画素連結領域を有する直線の組み合わせを判定する。このように、画像処理装置１００が判定した直線の組み合わせは、検索窓を構成する矩形の上側の直線と下側の直線であるといえ、精度良く検索窓を検出することができる。また、画像処理装置１００は、水平方向以外の直線を抽出しないので、ノイズとなる直線を抽出することを防ぐことができると共に、処理負荷を軽減することもできる。

また、画像処理装置１００は、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、直線毎に対応付けられた黒画素連結領域をそれぞれ比較し、比較した各黒画素連結領域の一部が一致する直線の組み合わせを判定する。このように、検索窓にはキーワードに相当する黒画素が存在するという特性をいかして、画像処理装置１００が判定を行うことで、キーワードを含む検索窓を精度良く検出することができる。

また、画像処理装置１００は、更に、直線の組みの間の領域を候補領域として文字認識を実行し、文字認識結果の確信度を基にして、候補領域が検索窓であるか否かを判定する。このため、複数の候補領域の中から、検索窓に相当する領域を精度よく抽出することができる。

また、画像処理装置１００は、候補領域に特定文字が含まれる場合に、該特定文字を含む候補領域に対して水平方向に存在する他の候補領域を選択し、選択した候補領域が検索窓であるか否かを判定する。通常、検索窓の横には「検索」などの特定文字が表示される場合がある。このため、該特定文字を含む候補領域に対して水平方向に存在する他の候補領域を選択することで、複数の候補領域の中から、検索窓に相当する領域を精度よく抽出することができる。

また、画像処理装置１００は、検索窓に含まれる文字に関連する情報を、ネットワーク上から検索し、検索結果を表示させるので、利用者が煩雑な操作を行わなくても、テレビ番組のＣＭで検索窓に表示されたキーワードに関する詳しい情報を利用者に通知することができる。

ところで、上述した画像処理装置１００の実施例は上記のものに限られない。このため、以下では、画像処理装置１００のその他の実施例について説明する。画像処理装置１００は、例えば、デジタルカメラが撮影した検索窓を含む画像データを取得し、取得した画像データから検索窓の領域を検出しても良い。係る画像データから検索窓を検出する処理は、上記の画像処理装置とほぼ同じであるが、線分と黒画素連結領域との対応付ける処理が一部異なるので、以下において説明する。

図２７は、画像処理装置のその他の実施例を説明するための図である。画像処理装置１００は、デジタルカメラが撮影したテレビ画像の画像データからエッジ画像を抽出し、横方向の直線を抽出する。例えば、画像処理装置１００は、水平方向を基準として、直線の角度が所定の角度以内の直線を抽出する。これは、デジタルカメラで画像データを撮影した場合には、検索窓の水平方向の直線が斜めに写ってしまうことを考慮した処理である。図２７に示す例では、画像処理装置１００は、直線２ｃおよび２ｄを抽出する。また、画像処理装置１００が、直線ペアを選択する場合には、各直線の長さの差が所定の閾値未満でｙ方向に重複し、且つ、各直線間に黒画素連結領域が存在する場合に、係る各直線をペアとする。

画像処理装置１００は、直線と黒画素連結領域とを対応付ける場合には、黒画素連結領域の矩形の隅と、直線との距離がそれぞれ同一となる黒画素連結領域を対応付ける。例えば、黒画素連結領域４ｈ，４ｉ，４ｊ，４ｋ，４ｍの左上隅と、直線２ｃとの距離は同一である。このため、直線２ｃと、黒画素連結領域４ｈ，４ｉ，４ｊ，４ｋ，４ｍとを対応付ける。また、黒画素連結領域４ｈ，４ｉ，４ｊ，４ｌ，４ｍの左下隅と、直線２ｄとの距離は同一である。このため、直線２ｄと、黒画素連結領域４ｈ，４ｉ，４ｊ，４ｌ，４ｍとを対応付ける。

画像処理装置１００は、直線２ｃと直線２ｄとの関係が、上記実施例で示した式（１）の条件を満たす場合に、直線２ｃと直線２ｄとの直線ペアを、検索窓の候補領域として判定する。その他の処理は、上記実施例と同様である。画像処理装置がこのような処理を実行することで、デジタルカメラで撮影した画像からでも検索窓を精度良く検出することができる。

また、上記実施例では、画像処理装置１００が、ＴＶ５０に内蔵されている場合について説明したが、これに限定されるものではない。例えば、ネットワーク１０のサーバ装置内に、画像処理装置１００と同様の機能を設けてもよい。例えば、ＴＶ制御部５５は、検索要求を取得した場合に、映像データをサーバに送信し、サーバ装置は、上記画像処理装置１００と同様の処理を実行して、検索窓を抽出し、検索窓のキーワードの検索結果を、ＴＶ制御部５５に通知しても良い。ＴＶ制御部５５は、通知された検索結果を、モニタ５２に表示させる。また、例えばデジタルカメラ、スマートフォン、携帯電話等の携帯型カメラを備えた装置において、画像処理装置１００と同様の機能を設けてもよい。この場合は、ハードウェア構成は、画像取得部、画像処理装置、通信部、モニタとなり、画像取得部で取得された画像が画像処理装置に入力され、画像処理装置で検索窓内のテキストを取得して、それを通信部へ送り、インターネット検索を行い、その結果を通信部で取得し、モニタに表示することになる。

次に、上記の実施例に示した画像処理装置１００と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例を説明する。図２８は、制御プログラムを実行するコンピュータの一例を示す図である。

図２８に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、例えば、直線抽出プログラム２０７ａ、判定プログラム２０７ｂを有する。ＣＰＵ２０１は、各プログラム２０７ａ，２０７ｂを読み出してＲＡＭ２０６に展開する。

直線抽出プログラム２０７ａは、直線抽出プロセス２０６ａとして機能する。判定プログラム２０７ｂは、判定プロセス２０６ｂとして機能する。

例えば、直線抽出プロセス２０６ａは、直線抽出部１３３ａに対応する。判定プロセス２０６ｂは、判定部１３３ｃに対応する。

なお、各プログラム２０７ａ，２０７ｂについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０７ａ，２０７ｂを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）画像からエッジを抽出したエッジ画像を基にして、水平方向の複数の直線を抽出する直線抽出部と、
前記エッジ画像内のエッジを連結させた黒画素連結領域を抽出し、前記複数の直線の組みの間に所定の範囲内の黒画素連結領域を有する直線の組み合わせを判定する判定部と
を有することを特徴とする画像処理装置。

（付記２）前記判定部は、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、直線毎に対応付けられた黒画素連結領域をそれぞれ比較し、比較した各黒画素連結領域の一部が一致する直線の組み合わせを判定することを特徴とする付記１に記載の画像処理装置。

（付記３）前記判定部は、直線毎に該直線と黒画素連結領域の所定の隅との距離が同一となる複数の黒画素連結領域を対応付けることを特徴とする付記２に記載の画像処理装置。

（付記４）前記判定部は、更に、直線の組みの間の領域を検索窓候補領域として文字認識を実行し、文字認識結果の確信度を基にして、前記検索窓候補領域が検索窓であるか否かを判定することを特徴とする付記１、２または３に記載の画像処理装置。

（付記５）前記判定部は、前記検索窓候補領域に特定文字が含まれる場合に、該特定文字を含む検索窓候補領域に対して水平方向に存在する他の検索窓候補領域を選択し、選択した検索窓候補領域が検索窓であるか否かを判定することを特徴とする付記４に記載の画像処理装置。

（付記６）前記判定部が判定した検索窓に含まれる文字に関連する情報を、ネットワーク上から検索する検索部を更に有することを特徴とする付記４または５に記載の画像処理装置。

（付記７）コンピュータに、
画像からエッジを抽出したエッジ画像を基にして、水平方向の複数の直線を抽出し、
前記エッジ画像内のエッジを連結させた黒画素連結領域を抽出し、前記複数の直線の組みの間に所定の範囲内の黒画素連結領域を有する直線の組み合わせを判定する
各処理を実行させることを特徴とする画像処理プログラム。

（付記８）前記判定する処理は、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、直線毎に対応付けられた黒画素連結領域をそれぞれ比較し、比較した各黒画素連結領域の一部が一致する直線の組み合わせを判定することを特徴とする付記７に記載の画像処理プログラム。

（付記９）前記判定する処理は、直線毎に該直線と黒画素連結領域の所定の隅との距離が同一となる複数の黒画素連結領域を対応付けることを特徴とする付記７に記載の画像処理プログラム。

（付記１０）前記判定する処理は、更に、直線の組みの間の領域を検索窓候補領域として文字認識を実行し、文字認識結果の確信度を基にして、前記検索窓候補領域が検索窓であるか否かを判定することを特徴とする付記７、８または９に記載の画像処理プログラム。

（付記１１）前記判定する処理は、前記検索窓候補領域に特定文字が含まれる場合に、該特定文字を含む検索窓候補領域に対して水平方向に存在する他の検索窓候補領域を選択し、選択した検索窓候補領域が検索窓であるか否かを判定することを特徴とする付記１０に記載の画像処理プログラム。

（付記１２）判定した検索窓に含まれる文字に関連する情報を、ネットワーク上から検索する処理を更に実行させることを特徴とする付記１０または１１に記載の画像処理プログラム。

（付記１３）コンピュータが実行する画像処理方法であって、
画像からエッジを抽出したエッジ画像を基にして、水平方向の複数の直線を抽出し、
前記エッジ画像内のエッジを連結させた黒画素連結領域を抽出し、前記複数の直線の組みの間に所定の範囲内の黒画素連結領域を有する直線の組み合わせを判定する
各処理を実行することを特徴とする画像処理方法。

（付記１４）前記判定する処理は、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、直線毎に対応付けられた黒画素連結領域をそれぞれ比較し、比較した各黒画素連結領域の一部が一致する直線の組み合わせを判定することを特徴とする付記１３に記載の画像処理方法。

（付記１５）前記判定する処理は、直線毎に該直線と黒画素連結領域の所定の隅との距離が同一となる複数の黒画素連結領域を対応付けることを特徴とする付記１３に記載の画像処理方法。

（付記１６）前記判定する処理は、更に、直線の組みの間の領域を検索窓候補領域として文字認識を実行し、文字認識結果の確信度を基にして、前記検索窓候補領域が検索窓であるか否かを判定することを特徴とする付記１３、１４または１５に記載の画像処理方法。

（付記１７）前記判定する処理は、前記検索窓候補領域に特定文字が含まれる場合に、該特定文字を含む検索窓候補領域に対して水平方向に存在する他の検索窓候補領域を選択し、選択した検索窓候補領域が検索窓であるか否かを判定することを特徴とする付記１６に記載の画像処理方法。

（付記１８）判定した検索窓に含まれる文字に関連する情報を、ネットワーク上から検索する処理を更に実行することを特徴とする付記１６または１７に記載の画像処理方法。

１０ ネットワーク
５０ ＴＶ
１００ 画像処理装置

Claims (8)

1. 画像からエッジを抽出したエッジ画像を基にして、水平方向の複数の直線を抽出する直線抽出部と、
   前記エッジ画像内のエッジを連結させた黒画素連結領域を抽出し、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、ある直線の組について、各直線の長さの差が閾値未満であり、かつ、各直線に対応付けられた前記黒画素連結領域が各直線の間に存在する場合に、前記ある直線の組の間の領域を検索窓候補領域として判定し、前記検索窓候補領域が検索窓であるか否かを判定する判定部と
   を有することを特徴とする画像処理装置。
2. 前記判定部は、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、直線毎に対応付けられた黒画素連結領域をそれぞれ比較し、比較した各黒画素連結領域の一部が一致する直線の組み合わせを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定部は、直線毎に該直線と黒画素連結領域の所定の隅との距離が同一となる複数の黒画素連結領域を対応付けることを特徴とする請求項２に記載の画像処理装置。
4. 前記判定部は、更に、直線の組みの間の領域を検索窓候補領域として文字認識を実行し、文字認識結果の確信度を基にして、前記検索窓候補領域が検索窓であるか否かを判定することを特徴とする請求項１、２または３に記載の画像処理装置。
5. 前記判定部は、前記検索窓候補領域に特定文字が含まれる場合に、該特定文字を含む検索窓候補領域に対して水平方向に存在する他の検索窓候補領域を選択し、選択した検索窓候補領域が検索窓であるか否かを判定することを特徴とする請求項４に記載の画像処理装置。
6. 前記判定部が判定した検索窓に含まれる文字に関連する情報を、ネットワーク上から検索する検索部を更に有することを特徴とする請求項４または５に記載の画像処理装置。
7. コンピュータに、
   画像からエッジを抽出したエッジ画像を基にして、水平方向の複数の直線を抽出し、
   前記エッジ画像内のエッジを連結させた黒画素連結領域を抽出し、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、ある直線の組について、各直線の長さの差が閾値未満であり、かつ、各直線に対応付けられた前記黒画素連結領域が各直線の間に存在する場合に、前記ある直線の組の間の領域を検索窓候補領域として判定し、前記検索窓候補領域が検索窓であるか否かを判定する
   各処理を実行させることを特徴とする画像処理プログラム。
8. コンピュータが実行する画像処理方法であって、
   画像からエッジを抽出したエッジ画像を基にして、水平方向の複数の直線を抽出し、
   前記エッジ画像内のエッジを連結させた黒画素連結領域を抽出し、直線毎に該直線との距離が同一の複数の黒画素連結領域を対応付け、ある直線の組について、各直線の長さの差が閾値未満であり、かつ、各直線に対応付けられた前記黒画素連結領域が各直線の間に存在する場合に、前記ある直線の組の間の領域を検索窓候補領域として判定し、前記検索窓候補領域が検索窓であるか否かを判定する
   各処理を実行することを特徴とする画像処理方法。

Images