JP4986934B2 - 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、画像中の所定の図形領域を抽出するための技術に関するものであり、特に、文字等の線図形からなる領域を画像から抽出するのに適した図形領域抽出技術に関するものである。

画像から線図形等の図形の領域を抽出する技術に関しては従来から種々の技術が提案されている。そのような技術の１つとして、画像から抽出対象とする図形（線画等）らしさを表す特徴量を抽出し、その特徴量の密集度を局所領域ごとに算出し、密集度の高い領域の分布に基づいて図形領域を抽出する方法がある（例えば、特許文献１）。
特開平１１−２０５６７９号公報

しかしながら、上記従来の技術では、密集度算出の際に図形の連結性を考慮していないため、図形の構成要素の形状や間隔等の影響によって抽出される特徴量が少なくなる部分領域が生じた場合に、１つの図形領域となるべきものが複数の領域に分割して抽出されてしまう場合があった。

また、従来の技術では、画像を図形領域の形状に関わらずに局所領域（ブロック）に分割して処理しており、そのブロック単位で図形の含有を判定しているため、図形領域の特定精度が低いという問題があった。

本発明は上記の点に鑑みてなされたものであり、画像中の図形らしさを表す特徴量の空間的密集度とその分布に基づいて図形領域を抽出する技術において、図形の構成要素の形状や間隔等の影響によって１つの図形領域内において抽出される特徴量が少なくなる部分領域が生じたとしても、安定して図形領域を抽出することができ、かつ図形領域の特定精度が高くなる技術を提供することを目的とする。

上記の課題を解決するために、本発明は、所定の種類の図形を含む矩形の領域である図形領域を画像から抽出するための図形領域抽出装置であって、データ格納手段から画像を取得する画像取得手段と、前記画像から、前記図形の図形らしさを示す特徴量としてエッジを抽出し、当該特徴量を画素値とする特徴量抽出結果画像としてエッジ画像を取得する特徴量抽出手段と、前記図形領域の概形状として前記図形領域の長辺方向を示す情報であって、前記矩形が縦長であるか、横長であるかを示す情報である図形領域形状情報を取得する図形領域形状取得手段と、前記図形領域形状情報により示される長辺方向と同じ方向を長辺方向とする長方形である局所領域を設け、前記特徴量抽出結果画像上の各画素に対して、当該画素が中心となる位置に配置した前記局所領域内に含まれる特徴量の和を当該画素の密集度として算出し、前記画像における前記密集度が高い領域を前記図形領域として抽出する図形領域抽出手段とを備えたことを特徴とする図形領域抽出装置として構成される。

前記図形領域抽出装置において、前記図形領域抽出手段は、前記データ格納手段から、所定の密集度算出領域において段階的に複数の重みを設定するための重み係数分布情報を取得する手段と、前記特徴量抽出結果画像に対して前記密集度算出領域を設け、前記図形領域における領域終端部分及びその近傍において前記密集度算出領域の位置をずらしながら、当該密集度算出領域内に含まれる特徴量に前記重み係数分布情報に基づく重みを付けてその和を算出し、当該和の値が予め定めた閾値以上になる前記密集度算出領域の位置に基づき前記図形領域における領域終端の位置を修正する領域終端精密抽出処理手段とを備えることとしてもよい。

また、本発明は、上記図形領域抽出装置の処理動作に対応した方法、プログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。

本発明によれば、画像中の図形らしさを表す特徴量の空間的密集度とその分布に基づいて図形領域を抽出する技術において、図形の構成要素の形状や間隔等の影響によって１つの図形領域内において抽出される特徴量が少なくなる部分領域が生じたとしても、安定して図形領域を抽出することができ、かつ図形領域の特定精度が高くなる技術を提供することができる。

以下、本発明の実施の形態について説明する。

（第１の実施の形態）
＜装置構成＞
図１に、本実施の形態における図形領域抽出装置１の機能構成図を示す。図１に示すように、本実施の形態における図形領域抽出装置１は、データ格納部１１、画像取得部１２、特徴量抽出部１３、図形領域形状取得部１４、密集度算出用情報取得部１５、図形領域抽出部１６、及び入出力部１７を有する。

データ格納部１１は、本実施の形態における処理で用いられるデータを格納するとともに、各機能部からデータ要求を受信し、当該データ要求に係るデータを要求元の機能部に返す機能部である。図２に、本実施の形態においてデータ格納部１１に格納されるデータの例を示す。図２に示すように、データ格納部１１には、画像IDと対応付けて、画像データ（単に"画像"と呼ぶことにする）と図形領域形状情報を保持するテーブル（図２（ａ））と、図形領域形状情報に対応付けて密集度算出領域形状情報と重み係数分布情報を保持するテーブル（図２（ｂ））とが格納されている。各情報の内容については、装置動作の説明の際に説明する。

データ格納部１１は、図形領域抽出装置１として使用されるコンピュータにおける磁気ディスク装置、光ディスク装置、メモリ等で構成される。また、データ格納部１１を図形領域抽出装置１内部に備えることに代えて、図形領域抽出装置１とは別の装置としてネットワーク上に配置することとしてもよい。例えば、データ格納部１１として、図形領域抽出装置１とネットワークを介して接続されるサーバ装置を用いることができる。

なお、本実施の形態において、"画像"は映像（動画像）でもよいし、静止画像でもよい。また、画像の内容も特に限定されるものでなく、その内容としては例えば、自然画像、人工画像、顔画像、文書を画像化したデータ等がある。また、データ格納部１１に格納される画像には、事前に前処理等が施されていてもよい。

画像取得部１２は、データ格納部１１に対して画像要求信号を送り、データ格納部１１から画像を取得し、取得した画像を特徴量抽出部１３に出力する機能部である。特徴量抽出部１３は、画像取得部１２から受け取った画像に対して特徴量抽出処理を実施し、その結果と画像IDとを図形領域形状取得部１４に渡す機能部である。図形領域形状取得部１４は、データ格納部１１から図形領域形状情報を取得する機能部である。

また、密集度算出用情報取得部１５は、データ格納部１１から密集度算出に必要な情報を取得し、その情報等を図形領域抽出部１６に渡す機能部である。図形領域抽出部１６は、密集度算出用情報取得部１５から受け取った情報等を用いて、特徴量抽出処理結果から図形領域を抽出する機能部である。また、図形領域抽出部１６は、更に、密集度算出用情報取得部１５から受け取った情報を用いて、図形領域における領域終端の精密抽出を行う機能も有している。入出力部１７は、データの入出力をするための機能部である。

なお、図形領域抽出装置１は、CPUと、メモリやハードディスク等の記憶装置とを含む一般的なコンピュータに、本実施の形態で説明する処理に対応するプログラムを実行させることにより実現されるものであり、上述した各機能部は、コンピュータに当該プログラムが実行されて実現される機能部である。従って、例えば、各機能部間での情報のやりとりは、実際にはメモリ等の記憶装置を介して行われるものである。上記プログラムは、メモリ等の記録媒体に格納し、そこからコンピュータにインストールすることもできるし、ネットワーク上のサーバからダウンロードするようにしてもよい。

＜図形領域抽出装置１の動作＞
次に、本実施の形態における図形領域抽出装置１の動作について、図３に示すフローチャートに沿って説明する。

まず、画像取得部１２は、取得するべき画像を示す画像IDを、入力情報として入出力部から受信する。そして、画像取得部は、データ格納部から当該画像IDに対応する画像を取得し、その画像を特徴量抽出部１３に渡す（ステップ１）。

そして、特徴量抽出部１３は、画像取得部１２から渡された画像に対して予め定めた特徴量抽出処理を実施し、特徴量抽出処理結果と画像IDとを図形領域形状取得部１４に渡す（ステップ２）。

特徴量抽出部１３が実施する特徴量抽出処理としては、例えば、エッジ抽出処理（ソーベル演算子を用いたエッジ抽出処理等）がある。特徴量抽出処理としてエッジ抽出処理を行う場合、特徴量抽出部１３は、処理対象の画像全体の各画素のエッジ値を算出し、特徴量抽出結果として、エッジ抽出を行った後のエッジ画像を出力する。

続いて、図形領域形状取得部１４は、特徴量抽出部１３から受け取った画像IDを用い、データ格納部１１から当該画像IDに対応する図形領域形状情報を取得し、図形領域形状情報、及び特徴量抽出結果を密集度算出用情報取得部１５に渡す（ステップ３）。

図形領域形状情報とは、抽出しようとしている図形領域の形状を示す情報である。本実施の形態では、図形領域として矩形（長方形）を用いることとしており、図形領域形状情報は、抽出対象の領域に含まれる図形（例えば文字列）を包含（外接）する矩形が縦長であるか、横長であるかを示す情報である。図形領域形状情報は、例えば、「縦」もしくは「横」を示す１ビットの情報である。

続いて、密集度算出用情報取得部１５は、図形領域形状取得部１４から受け取った図形領域形状情報を用いて、データ格納部１１から当該図形領域形状情報に対応する密集度算出領域形状情報を取得し、当該密集度算出領域形状情報と特徴量抽出結果とを図形領域抽出部１６に渡す（ステップ４）。密集度算出領域形状情報は、後述する密集度算出に用いるサブブロック（局所領域）の形状を示す情報であり、例えば、サブブロックの縦方向の画素数と横方向の画素数を有する情報である。そして、本実施の形態において、当該サブブロックは、図形領域形状情報が「横」を示す情報である場合は、横に長い長方形であり、図形領域形状情報が「縦」を示す情報である場合は、縦に長い長方形であることとしている。サブブロックが横に長い長方形である場合、その長方形は例えば縦１×横１０の比率の長方形であり、例えば、縦１０画素×横１００画素の長方形である。このようなサブブロックを採用することにより、図形（文字列等）が連続する方向の特徴量の連続性を優先的に考慮した密集度算出が可能となり、図形領域の抽出精度を向上させることができる。

続いて図形領域抽出部１６は、図形抽出処理を行う（ステップ５）。ここでは、図形領域抽出部１６は、特徴量抽出結果（各画素の値が特徴量の値である画像）の各画素に対して、密集度算出領域形状情報に対応するサブブロックを適用し、サブブロック内に含まれる各画素の特徴量の値（特徴量抽出処理にてエッジ抽出処理を用いた場合には、特徴量はエッジ値）の和を算出する。この和を、各画素に対する密集度と呼ぶ。つまり、ある画素に注目した場合、その注目画素を中心とするサブブロックに含まれる各画素の特徴量の値の和が、その注目画素における密集度になる。

この密集度を特徴量抽出結果の全画素について求める。なお、全画素について密集度を求める代わりに、予め定めた間隔の画素毎に求めることとしてもよい。また、図形（文字列等）が存在しないことがわかっている部分を除く予め定めた位置の画素についてだけ密集度を求めることとしてもよい。

そして、図形領域抽出部１６は更に、密集度算出結果に対してクラスタリング処理を実施し、密集度がある閾値より高い画素が一定以上の面積に集合している領域を検出する。そして、クラスタ（密集度がある閾値より高い画素のまとまり)を形成する画素数が予め定めた閾値以上の場合に、そのクラスタを図形の領域であると判断する。

続いて、図形領域抽出部１６は、図形の領域であると判断された領域に対してその外接矩形を求める等の整形処理を実施し、整形処理後の形を図形領域抽出結果とする。図形領域抽出結果には、整形後の形の輪郭を示す情報、例えば、長方形（矩形）であれば４つの頂点の座標値を含む。

この図形領域抽出結果を出力することとしてもよいが、本実施の形態では、図形領域をより精密に求めるために、多値傾斜重みによる領域終端の精密抽出処理（以下、精密抽出処理と呼ぶ）を行うこととしている（ステップ６）。この精密抽出処理を図４のフローチャートに沿って説明する。

また、以下では、図形領域形状情報が「横」を示す情報である場合を例にとって説明を行う。更に、図３のステップ５で求められた図形領域の左上の頂点の座標値が（Xl、Yu）、右下の頂点の座標値が（Xr、Yd)であるものとする。なお、この時点で、図形領域抽出結果、特徴量抽出結果、図形領域形状情報等はメモリ等の記憶装置に保持されており、以下の処理では当該記憶装置から必要なデータが適宜読み出されて処理が行われる。

精密抽出処理において、まず、密集度算出用情報取得部１５は、図形領域形状情報に対応する重み係数分布情報をデータ記録部１１から取得する（ステップ６１）。

本実施の形態では、図形領域形状情報が「横」を示す情報である場合、図３のステップ５で抽出された図形領域（横長の長方形）の左端部分と右端部分に対して、領域終端の精密抽出処理を行い、図形領域形状情報が「縦」を示す情報である場合は、上端部分と下端部分に対して、領域終端の精密抽出処理を行うこととしている。従って、データ格納部１１には、図２（ｂ）に示すように、図形領域形状情報「横」に対して、左端部分に対応する重み係数分布情報と右端部分に対応する重み係数分布情報が格納され、図形領域形状情報「縦」に対して、上端部分に対応する重み係数分布情報と下端部分に対応する重み係数分布情報が格納されている。

本例では、図形領域形状情報は「横」であるから、ステップ６１において、密集度算出用情報取得部１５は、左端部分に対応する重み係数分布情報と右端部分に対応する重み係数分布情報をデータ記録部１１から取得する。

図形領域形状情報が「横」の場合、後述する精密抽出処理用領域として、図形領域の縦方向と同じ画素数を縦方向の画素数として持ち、横方向の画素数として重み係数分布情報により指定される画素数を持つ領域を用いる。つまり、図形領域形状情報が「横」の場合における重み係数分布情報は、この精密抽出処理用領域の横方向の長さ（画素数、wとする）と、横方向における重みの分布の情報を含む。例えば、重み係数分布情報は、精密抽出処理用領域の横方向の長さ（画素数）が５画素であり、左から数えて最初の画素位置（画素１）の重み係数が５、２番目の重み係数が４、３番目の重み係数が３、４番目の重み係数が２、５番目の重み係数が１、等の情報を含む。

以下、この重み係数分布情報の例に基づき、左端部分の領域終端精密抽出処理について説明する。なお、右端部分の領域終端精密抽出処理についても行われるが、左端部分の領域終端精密抽出処理と同様（方向が反対になるだけ）であるので、以下では左端部分の領域終端精密抽出処理のみを説明するものである。
図４のステップ６１において密集度算出用情報取得部１５が取得した左端部分に対応する重み係数分布情報は図形領域抽出部１６に渡される。

図形領域抽出部１６は、当該重み係数分布情報を用いて、図形領域の縦方向と同じ画素数を縦方向の画素数として持ち、重み係数分布情報で指定される画素数と同じ画素数を横方向の画素数として持つ精密抽出処理用領域を設け、重み係数分布情報を用いて、精密抽出処理用領域における重み係数分布を、左側の重みが重くなるように設定する（ステップ６２）。なお、右端の精密抽出を行う場合には精密抽出処理用領域における重み係数分布を、右側の重みが重くなるように設定する。つまり、図形領域中心側に比べて図形領域終端側の重みが大きくなるように重み付けをする。

図５は、本例における精密抽出処理を説明するための図であり、図５の上段の６０２は、精密抽出処理用領域における重み係数分布の例を示している。また、図５の６０３は、本例における横方向の長さが５の精密抽出処理用領域（精密抽出処理においては、この領域を横方向に移動させながら重み付き密集度を求めることになる）を示している。また、図５に示す例では、特徴量として後述する色エッジペアを用いており、図５では６０１としてそれが示されている。

図形領域の抽出に使用したサブブロックの横の画素数をbとした場合に、図形領域抽出部１６は、精密抽出処理用領域の左上端の座標値を、例えば（Xl−ｂ／２、Yu）として、処理対象の特徴量画像における各画素の特徴量値（例えばエッジ値）と、精密抽出処理用領域に対応する画素位置にある重み値との積を精密抽出処理用領域内にある全ての画素に対して算出し、それらの和を算出する（ステップ６３）。この和を重み付き密集度と呼ぶ。

図形領域抽出部１６は、精密抽出処理用領域の左上端の座標値を（Xl−ｂ／２、Yu）から（Xl＋ｂ／２、Yu）まで１画素分の幅ずつ移動させながら、重み付き密集度を順次算出する（ステップ６３）。なお、上記の例では開始点を（Xl−ｂ／２、Yu）とし、終了点を（Xl＋ｂ／２、Yu）としているが、この幅をもっと広くとってよいことはいうまでもない。例えば、（Xl−ｂ、Yu）から（Xl＋ｂ、Yu）まで重み付き密集度を順次算出してもよい。

そして、図形領域抽出部１６は、この重み付き密集度の値が予め設定した閾値を越える（又は閾値以上となる）ときの精密抽出処理用領域の左上端の座標値を（X0、Yu)とし、このときの図形領域の左側の座標値をXlからX0に変更する（ステップ６４）。つまり、図形領域の左端を、このときの精密抽出処理用領域の左端の位置とする。図５の下段には、精密抽出処理用領域を横にずらしながら算出した重み付き密集度がグラフの形で表示されており、６０５の位置で重み付き密集度が閾値を超えたことが示されている。

図形領域抽出部１６は、図３のステップ５で得られた全ての図形領域に対して、上下もしくは左右の端の精密抽出を実施後の図形領域情報と画像IDとを入出力部１７に渡し、入出力部１７がこれらの情報を出力する（図３のステップ７）。

なお、左右端、上下端の精密抽出を行うことのほか、例えば、左下隅の端を精密に検出する場合には、精密抽出処理用領域において左下の重みを大きくし、左下から離れるに従って重みを小さくした重み分布を用いることにより、左下隅の特徴量の変化を感度良くとらえ、左下隅の端を精度良く検出することも可能である。

また、上述した例では、図形領域形状情報が、予めデータ格納部１１に格納されている場合の処理例を示しているが、図形領域形状を抽出する処理を用いて図形領域形状情報を取得してもよい。例えば、予めいくつかの方向（例えば、縦方向及び横方向）を定めておき、それぞれの方向に応じた形状の局所領域を用いて図形領域を抽出した後、どの方向に応じた形状の局所領域を用いて抽出した結果が最も良い結果かを判定し、その方向を図形領域形状情報として出力する処理を行って図形領域形状情報を取得してもよい。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態における特徴量抽出部１３が、画像の特徴量として色エッジを算出し、更に色エッジペアを算出する場合の例である。なお、本実施の形態は、領域を抽出する対象の線図形が文字列（テロップ等）である場合に特に適する。

本実施の形態において、色情報は高次元の情報であり、例えば３次元の情報である。３次元の情報で色を表現するモデルとしては、例えばRGB、HSV、HSI、YUV、LUV、LAB、XYZ等があるが、本発明はどのような色表現方法に対しても適用できる。また、本実施の形態における画像データのデータ格納部１１への格納方法の例を図６に示す。図６に示すように、この例では、画素（画素の位置）毎に色の成分値が連続的に格納されている。

＜特徴量抽出部１３の構成＞
図７に、本実施の形態における特徴量抽出部１３の機能構成図を示す。図７に示すように、本実施の形態における特徴量抽出部１３は、色エッジ抽出部２１、色エッジペア抽出部２２、ペア性判定部２３を有する。

色エッジ抽出部２１は、画像取得部１２から受け取った画像に対して色エッジ抽出処理を実施し、その結果を色エッジペア抽出部２２に渡す機能部である。色エッジペア抽出部２２は、色エッジ抽出処理結果から色エッジペア候補を特定するとともに、ペア性判定部２３を用いて、色エッジペア候補から色エッジペアを抽出し、それを含む情報を次の処理部（図形領域形状取得部１４）に渡す機能部である。

＜特徴量抽出部１３の動作＞
以下、図８に示すフローチャートに沿って、特徴量抽出部１３の動作について説明する。

まず、色エッジ抽出部２１は、画像取得部１２から処理対象の画像を含む情報を受け取る（ステップ１１）。なお、画像取得部１２が取得した画像が動画像であった場合には、画像取得部１２は、動画像から各フレームを抽出する処理を行い、抽出した各フレームを色エッジ抽出部２１に出力し、以下の処理が各フレーム（画像）毎に行われることになる。

続いて、色エッジ抽出部２１は、画像取得部１２から受け取った画像から色エッジを抽出し、色エッジ情報として色エッジペア抽出部２２に渡す処理を行う（ステップ１２）。

色エッジの抽出技術としては、色情報が不連続に変化する部分を特徴として抽出することが可能な技術を利用する。このような技術としては、従来から提案されている多くのエッジ抽出技術を利用することができる。例えば、単純差分及びその絶対値を用いるエッジ抽出技術、DoG（微分ガウシアン）演算子を用いるエッジ抽出技術、ソーベルやプレウィット等のエッジ検出演算子を用いるエッジ抽出技術、ラプラシアン演算子を用いるエッジ抽出技術、MAX-MIN演算子を用いるエッジ抽出技術、等のうちのいずれも利用できる。もちろん、ここに挙げていない技術を用いてもよい。

一例として、ソーベル演算子（３×３）と絶対値を組み合わせた方法を採用する場合において、縦縞エッジの抽出を行う場合の色エッジ抽出部２１の処理例を説明する。

ある注目画素（成分値e）の近傍の画素（成分値a〜i）がサブブロックにおいて図９（Ａ）に示すように配置されている場合に、色エッジ抽出部２１は、このサブブロックに対して図９（Ｂ）に示す３×３ソーベル演算子を適用して絶対値をとることにより、｜ｃ−ａ｜＋２｜ｆ−ｄ｜＋｜ｉ−ｇ｜（｜・｜は・の絶対値）を計算し、これを注目画素の位置の特定の成分のエッジの値とする。なお、ここでの成分とは例えば色情報のＲ成分等である。

色エッジ抽出部２１は、画像の各画素の各色成分毎にエッジ抽出技術を適用して、画素毎に、色成分毎の色エッジ値を算出する。また、色エッジ抽出部２１は、画素毎に、各色成分の色エッジ値の和、もしくは各色成分の色エッジ値からなるベクトルの長さを求め、それを出力すべき色エッジ値とする。なお、各色成分の色エッジ値を１つの色エッジ値にする処理は上記のものに限られるわけではない。

そして、色エッジ抽出部２１は、画素の位置と色エッジ値との組み合わせを色エッジ情報として色エッジペア抽出部２２に渡す。

色エッジペア抽出部２２は、色エッジ抽出部２１から受け取った色エッジ情報から色エッジペアの候補となる２つの色エッジの組である色エッジペア候補の集合を生成し、メモリ等の記憶装置に保持しておく（ステップ１３）。なお、元の画像の情報（画素位置と色成分の情報）はメモリ等に保持されており、処理の中で必要であれば適宜取得できるものとする。

色エッジペア候補を生成する処理において、色エッジペア抽出部２２は、例えば、２つの色エッジのエッジ値が閾値以上かつ、それらが予め定められた位置関係にある、かつ、２つの色エッジ間の距離が予め定めた値以下のものを色エッジペア候補として抽出する処理を行う。上記予め定められた位置関係とは、例えば、２つの色エッジが同一Ｙ座標位置上で左右に並んでいる、あるいは、同一Ｘ座標位置上で上下に並んでいる等である。

次に、色エッジペア抽出部２２は、ペア性判定部２３を用いたペア性判定処理に移る。

ここではまず、色エッジペア抽出部２２は、ステップ１３において生成した色エッジペア候補の中にペア性が未判定のものがあるかどうかをチェックする（図８のステップ１４）。未判定のものがない場合（ステップ１４のＮｏ）、全ての色エッジペア候補に対するペア性判定が済んだことになるので処理を終了する（ステップ１８）。

未判定のものがある場合（ステップ１４のＹｅｓ）、未判定の色エッジペア候補の集合から１つの色エッジペア候補（色エッジ画素の位置を含む情報）を選択し、その色エッジペア候補をペア性判定部２３に渡し、ペア性判定部２３に当該色エッジペア候補のペア性を判定させる（ステップ１５）。

ペア性判定部２３は、色エッジペア抽出部２２から受け取った色エッジペア候補が色エッジペアのペア性判定条件を満たしているかどうかを判定する。

ペア性判定条件としては、以下に示すペア性判定条件１〜３を用いる。本実施の形態では、これらのうちの少なくとも１つの条件を満たすものを色エッジペアであると判定する。なお、これらの条件は文字等の線図形の色が局所的には一定であるという性質に着目した条件である。また、ペア性判定条件は下記のものに限定されるわけではない。

ペア性判定条件１：色エッジペア候補を構成する２つの色エッジ（色エッジ部分の画素の点）について、相手の色エッジ側にある画素同士の色が類似していること。つまり、この条件は、色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、第１の色エッジの周囲にある画素のうち、第２の色エッジに近い側にある画素の色と、第２の色エッジの周囲にある画素のうち、第１の色エッジに近い側にある画素の色とが類似していることという条件である。

色が類似していると判定するための色の類似判定基準としては例えば以下のものがある。

・各画素の色情報の成分値の差の絶対値の和が一定値以下であること。これは例えば、（Ｒ成分値の差の絶対値）＋（Ｇ成分値の差の絶対値）＋（Ｇ成分値の差の絶対値）が一定値以下であるということである。

・各画素の色間の距離（例えば、ＲＧＢ空間でのユークリッド距離）が一定値以下であること。

ペア性判定条件１について図１０（ａ）を参照して更に説明する。色エッジペア候補を構成する色エッジの画素１０１、１０４が図１０（ａ）に示すように存在する場合において、画素１０１の相手の色エッジ（画素１０４）側にある画素は画素１０２であり、画素１０４の相手の色エッジ（画素１０１）側にある画素は画素１０３である。これらの画素１０２、１０３同士を相手の色エッジ側にある画素同士と称している。図１０（ａ）に示す例では、各色エッジにおいて、当該色エッジの画素と、他方の色エッジに近い側の画素とは隣接しているが、必ずしも隣接している必要はない。例えば、画素１０１と画素１０２との間、及び画素１０３と画素１０４との間は、それぞれ１〜数画素分離れていてもよい。

図１０（ａ）に示す例においては、画素１０２、１０３の色が類似している場合に、ペア性判定部２３は、色エッジペア候補１０１、１０４はペア性判定条件を満たしていると判定する。

対象の線図形が文字である場合において、このペア性判定条件１を用いることにより、文字を構成する線の輪郭に色エッジペアが集中して抽出される。ここで、色エッジペア候補選定において、色エッジペア候補間の距離を文字の大きさや文字線の太さに応じて適切に設定することにより、文字の周辺以外に検出される色エッジペアを抑制することもできる。

ペア性判定条件２：色エッジペア候補の各色エッジの近傍の画素における色の変化ベクトルがほぼ逆方向であること。つまり、この条件は、色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、第１の色エッジ近傍における色の変化ベクトルと、第２の色エッジ近傍における変化ベクトルとがほぼ逆方向となっていることという条件である。

なお、例えば、ＲＧＢ色空間の中で、Ｒ成分、Ｇ成分、Ｂ成分が全て０の画素から、Ｒ成分が２５５、Ｇ成分とＢ成分が０の画素に向けた色の変化ベクトルは、Ｒ成分が２５５、Ｇ成分、Ｂ成分ともに０のベクトルである。このベクトルと逆ベクトルとは、Ｒ成分が−２５５、Ｇ成分、Ｂ成分が０のベクトルである。

色エッジの近傍の画素とは、例えば、色エッジペア候補を構成する２つの色エッジペアのうちの一方の色エッジ（開始点色エッジと呼ぶ）から他方の色エッジ（終点色エッジと呼ぶ）に向かうベクトルの方向に並ぶ２つの画素であって、開始点色エッジ側においては、開始点色エッジから上記ベクトルと垂直方向に引いた線上において開始点色エッジの近傍に存在する画素（開始点色エッジを含む）と当該画素の上記ベクトルの方向側に並ぶ画素との２つの画素であり、終点色エッジ側においては、終点色エッジから上記ベクトルと垂直方向に引いた線上において終点色エッジの近傍に存在する画素（終点色エッジを含む）と当該画素の上記ベクトルの方向の逆方向側に並ぶ画素との２つの画素である。そして、色エッジの近傍の画素の色の変化ベクトルとは、例えば、開始点色エッジ側においては、上記近傍の画素のうちの開始点色エッジ側に存在する画素の色から、近傍の画素のうちの終点エッジ側に存在する画素の色への変化ベクトルであり、終点色エッジ側においては、近傍の画素のうちの開始点色エッジ側に存在する画素の色から、近傍の画素のうちの終点エッジ側に存在する画素の色への変化ベクトルである。

また、色エッジの近傍の画素の色の変化ベクトルとして、開始点色エッジ側において、開始点色エッジから上記ベクトルと垂直方向に引いた線上において開始点色エッジの近傍に存在する複数の画素（例えば開始点色エッジとその上下にある２つの画素の３画素）の色の平均から、当該複数の画素のそれぞれについて上記ベクトルの方向側に並ぶ複数の画素（例えば上記３画素に隣接して上記ベクトルの方向側に並ぶ３画素）の色の平均への変化ベクトルを用い、終点色エッジ側において、終点色エッジから上記ベクトルと垂直方向に引いた線上において終点色エッジの近傍に存在する複数の画素（例えば終点色エッジとその上下にある２つの画素の３画素）の色の平均から、当該複数の画素のそれぞれについて上記ベクトルの逆方向側に並ぶ複数の画素（例えば上記３画素に隣接して上記ベクトルの逆方向側に並ぶ３画素）の色の平均を引いた変化ベクトルを用いてもよい。

図１０（ａ）に示す例では、色エッジペア候補の一方の色エッジ１０１の近傍で、画像の画素の色が黒から黄に変化しており、色エッジペア候補の他方の色エッジ１０４の近傍では色が黄から黒に変化しており、ペア性判定条件２を満たすため、ペア性判定部１５は、色エッジペア候補１０１、１０４は色エッジペアであると判定する。なお、もちろん、画素１０１から画素１０２への色の変化ベクトルと、画素１０３から画素１０４への色の変化ベクトルとをペア性判定条件２におけるペア性判定に用いてよい。

また、上述したように、図１０（ｂ）における画素２０１、１０１、３０１の色の平均から画素２０２、１０２、３０２の色の平均への変化ベクトルと、画素２０３、１０３、３０３の色の平均から画素２０４、１０４、３０４の色の平均への変化ベクトルとをペア性判定に用いてもよい。

ペア性判定条件３：色ヘッジペア候補の２つの色エッジ間での色の変化量が小さいこと。
例えば、この条件は、色エッジペア候補の２つの色エッジ間を結ぶ線分上の画素の各色成分の最大値、最小値の差が予め定めた値以下であることである。また、例えば、色エッジペア候補の２つの色エッジ間を結ぶ線分上の画素の色間の距離（ＲＧＢ空間でのユークリッド距離等）の最大値が予め定めた値以下であることである。

上記のペア性判定条件に基づきペア性判定を行ったペア性判定部２３は、色エッジペア抽出部２２から受け取った色エッジペア候補に対するペア性判定結果を色エッジペア抽出部２２に返し、色エッジペア抽出部２２は、ペア性判定部２３から色エッジペア候補のペア性判定結果を受け取る。ペア性判定結果を満たしていた場合（図８のステップ１６のＹｅｓ）、色エッジペア抽出部２２は、その色エッジペアを色エッジペア抽出結果（特徴量）として出力する（ステップ１７）。色エッジペア抽出結果には、色エッジペアに含まれる２つの色エッジの位置（画素の位置）、色成分の値、色エッジ値が含まれる。出力された情報は特徴量抽出処理結果として図形領域形状取得部１４に渡される。

ペア性判定結果を満たしていない場合（ステップ１６のＮｏ）、色エッジペア抽出部２２は、ステップ１４の処理に戻り、未判定の色エッジペア候補があればその色エッジペア候補に対して上述したペア性判定処理を行うことになる。

なお、上記の例では、色エッジペア抽出部２２は、色エッジペア候補一組毎にペア性判定部２３を利用したペア性判定処理を行っているが、色エッジペア候補を全てペア性判定部２３に渡し、ペア性を満たす全ての色エッジペアの情報をペア性判定部２３から受信し、その情報に基づき、全ての色エッジペア抽出結果を生成し、出力することとしてもよい。

その後、図形領域抽出装置１は、色エッジペアにおけるエッジ値を特徴量として用いることにより、前述した図形領域抽出処理を行う。

（実施の形態の効果について）
上述したように、本発明の実施の形態における技術によれば、図形領域の形状に適応した局所領域（サブブロック）を使用することにより、図形領域の形状（図形領域の連結性等）を考慮して図形の有無を評価できるようになるため、図形の構成要素の形状や間隔などの影響によって１つの図形領域内において抽出される特徴量が少なくなる部分領域が生じたとしても、安定して図形領域を抽出できる。特に、図形領域の形状（テロップ文字列領域の形状等）が予め想定できる場合に、想定される形状に応じた局所領域（横に長い長方形等）を用いることにより、領域の抽出性能を向上できる。

また、多値傾斜重みによる領域終端の精密抽出処理を行うことにより、図形領域中の位置による特徴量の重要度の違い等を密集度算出重みの違いによって考慮しながら評価することができ、より正確に図形領域を抽出できる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

第１の実施の形態における図形領域抽出装置１の機能構成図である。 データ格納部１１に格納されるデータの例を示す図である。 図形領域抽出装置１の動作を説明するためのフローチャートである。 精密抽出処理のフローチャートである。 精密抽出処理を説明するための図である。 第２の実施の形態における画像データのデータ格納部１１への格納方法の例を示す図である。 第２の実施の形態における特徴量抽出部１３の機能構成図である。 特徴量抽出部１３の動作を示すフローチャートである。 色エッジ抽出処理例を説明するための図である。 ペア性判定条件を説明するための図である。

符号の説明

１ 図形領域抽出装置
１１ データ格納部
１２ 画像取得部
１３ 特徴量抽出部
１４ 図形領域形状取得部
１５ 密集度算出用情報取得部
１６ 図形領域抽出部
１７ 入出力部
２１ 色エッジ抽出部
２２ 色エッジペア抽出部
２３ ペア性判定部

Claims (6)

1. 所定の種類の図形を含む矩形の領域である図形領域を画像から抽出するための図形領域抽出装置であって、
   データ格納手段から画像を取得する画像取得手段と、
   前記画像から、前記図形の図形らしさを示す特徴量としてエッジを抽出し、当該特徴量を画素値とする特徴量抽出結果画像としてエッジ画像を取得する特徴量抽出手段と、
   前記図形領域の概形状として前記図形領域の長辺方向を示す情報であって、前記矩形が縦長であるか、横長であるかを示す情報である図形領域形状情報を取得する図形領域形状取得手段と、
   前記図形領域形状情報により示される長辺方向と同じ方向を長辺方向とする長方形である局所領域を設け、前記特徴量抽出結果画像上の各画素に対して、当該画素が中心となる位置に配置した前記局所領域内に含まれる特徴量の和を当該画素の密集度として算出し、
   前記画像における前記密集度が高い領域を前記図形領域として抽出する図形領域抽出手段と
   を備えたことを特徴とする図形領域抽出装置。
2. 前記図形領域抽出手段は、
   前記データ格納手段から、所定の密集度算出領域において段階的に複数の重みを設定するための重み係数分布情報を取得する手段と、
   前記特徴量抽出結果画像に対して前記密集度算出領域を設け、前記図形領域における領域終端部分及びその近傍において前記密集度算出領域の位置をずらしながら、当該密集度算出領域内に含まれる特徴量に前記重み係数分布情報に基づく重みを付けてその和を算出し、当該和の値が予め定めた閾値以上になる前記密集度算出領域の位置に基づき前記図形領域における領域終端の位置を修正する領域終端精密抽出処理手段と
   を備えたことを特徴とする請求項１に記載の図形領域抽出装置。
3. 所定の種類の図形を含む矩形の領域である図形領域を画像から抽出するための図形領域抽出装置が実行する図形領域抽出方法であって、
   データ格納手段から画像を取得する画像取得ステップと、
   前記画像から、前記図形の図形らしさを示す特徴量としてエッジを抽出し、当該特徴量を画素値とする特徴量抽出結果画像としてエッジ画像を取得する特徴量抽出ステップと、
   前記図形領域の概形状として前記図形領域の長辺方向を示す情報であって、前記矩形が縦長であるか、横長であるかを示す情報である図形領域形状情報を取得する図形領域形状取得ステップと、
   前記図形領域形状情報により示される長辺方向と同じ方向を長辺方向とする長方形である局所領域を設け、前記特徴量抽出結果画像上の各画素に対して、当該画素が中心となる位置に配置した前記局所領域内に含まれる特徴量の和を当該画素の密集度として算出し、前記画像における前記密集度が高い領域を前記図形領域として抽出する図形領域抽出ステップと
   を備えることを特徴とする図形領域抽出方法。
4. 前記図形領域抽出ステップは、
   前記データ格納手段から、所定の密集度算出領域において段階的に複数の重みを設定するための重み係数分布情報を取得するステップと、
   前記特徴量抽出結果画像に対して前記密集度算出領域を設け、前記図形領域における領域終端部分及びその近傍において前記密集度算出領域の位置をずらしながら、当該密集度算出領域内に含まれる特徴量に前記重み係数分布情報に基づく重みを付けてその和を算出し、当該和の値が予め定めた閾値以上になる前記密集度算出領域の位置に基づき前記図形領域における領域終端の位置を修正する領域終端精密抽出処理ステップと
   を備えたことを特徴とする請求項３に記載の図形領域抽出方法。
5. 請求項３又は４に記載の図形領域抽出方法における各ステップを、前記図形領域抽出装置として使用されるコンピュータに実行させるためのプログラム。
6. 請求項５に記載されたプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images