JP4870721B2 - 画像特徴抽出装置、画像特徴抽出方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、画像からその特徴を抽出するための技術に関し、特に、画像から色エッジペアを抽出するための技術に関するものである。

画像から地図や設計図、文字列等の細い線によって描かれた線図形を検出し、画像の背景と分離するために用いることができる技術として例えば特許文献１に記載された技術がある。

この技術では、輝度が不連続に変化するような特徴であるエッジ（以下、"輝度エッジ"と呼ぶ）を画像から特徴量として抽出し、上り勾配エッジと下り勾配エッジとをペア（以下、"輝度エッジペア"と呼ぶ）として扱い、線図形の抽出に用いている。
特開平１１−２０５６７９号公報

しかしながら、上記従来の技術では、画像から特徴量として輝度エッジを抽出しているため、その背景と色は異なるが輝度が類似している線図形においては輝度エッジの強度が小さくなる。そのため、このような場合は、輝度エッジペアの作成が困難となり、十分な性能を発揮することができなかった。

本発明は上記の点に鑑みてなされたものであり、線図形とその背景との間で輝度が類似している場合でも、エッジペア（色エッジペア）を適切に抽出することを可能とする技術を提供することを目的とする。

上記の課題を解決するために、本発明は、線図形を含む画像から色エッジペアを抽出するための画像特徴抽出装置であって、画像格納手段から前記画像を取得する画像取得手段と、前記画像から色エッジを絶対値として抽出する色エッジ抽出手段と、前記色エッジ抽出手段により抽出された色エッジの中から色エッジペア候補集合を抽出し、線図形が局所的に類似する色を有するという性質に基づく色エッジペア抽出条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する色エッジペア抽出手段と、を備え、前記色エッジペア抽出条件は、色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、前記第１の色エッジの周囲にある画素のうち、前記第２の色エッジに近い側にある画素の色と、前記第２の色エッジの周囲にある画素のうち、前記第１の色エッジに近い側にある画素の色とが類似していることという条件であることを特徴とする画像特徴抽出装置として構成される。
また、本発明は、線図形を含む画像から色エッジペアを抽出するための画像特徴抽出装置であって、画像格納手段から前記画像を取得する画像取得手段と、前記画像から色エッジを抽出する色エッジ抽出手段と、前記色エッジ抽出手段により抽出された色エッジの中から色エッジペア候補集合を抽出し、線図形が局所的に類似する色を有するという性質に基づく色エッジペア抽出条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する色エッジペア抽出手段と、を備え、前記色エッジペア抽出条件は、色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、前記第１の色エッジの周囲にある画素のうち、前記第２の色エッジに近い側にある画素の色と、前記第２の色エッジの周囲にある画素のうち、前記第１の色エッジに近い側にある画素の色とが類似していることという条件、前記第１の色エッジ近傍における色の変化ベクトルと、前記第２の色エッジ近傍における色の変化ベクトルとがほぼ逆方向となっていることという条件、及び前記第１の色エッジと前記第２の色エッジの間にある複数の画素間の色の変化量が小さいことという条件の３つの条件を含み、前記色エッジペア抽出手段は、前記３つの条件のうちの少なくとも１つの条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出することを特徴とする画像特徴抽出装置として構成してもよい。

また、本発明は、上記画像特徴抽出装置の処理動作に対応した方法、プログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。

本発明によれば、線図形とその背景との間で輝度が類似している場合でも、色エッジペアを適切に抽出することが可能になる。これにより、画像中の線図形領域を高精度に抽出することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。なお、実施の形態において、色情報は高次元の情報であり、例えば３次元の情報である。３次元の情報で色を表現するモデルとしては、例えばRGB、HSV、HSI、YUV、LUV、LAB、XYZ等があるが、本発明はどのような色表現方法に対しても適用できるものである。
（第１の実施の形態）
＜装置構成＞
図１に、本実施の形態における画像特徴抽出装置１の機能構成図を示す。図１に示すように、本実施の形態における画像特徴抽出装置１は、画像格納部１１、画像取得部１２、色エッジ抽出部１３、色エッジペア抽出部１４、ペア性判定部１５、及び入出力部１６を有する。

画像格納部１１は、本実施の形態における処理対象となる画像データ（単に画像と呼ぶことにする）を格納するとともに、画像取得部１２から画像要求を受信し、当該画像要求に係る画像を画像取得部１２に返す機能部である。

画像格納部１１は、画像特徴抽出装置１として使用されるコンピュータにおける磁気ディスク装置、光ディスク装置、メモリ等で構成される。また、画像格納部１１を画像特徴抽出装置１内部に備えることに代えて、画像特徴抽出装置１とは別の装置としてネットワーク上に配置することとしてもよい。例えば、画像格納部１１として、画像特徴抽出装置１とネットワークを介して接続されるサーバ装置を用いることができる。

なお、本実施の形態において、"画像"は映像（動画像）でもよいし、静止画像でもよい。また、画像の内容も特に限定されるものでなく、その内容としては例えば、自然画像、人工画像、顔画像、文書を画像化したデータ等がある。また、画像格納部１１に格納される画像には、事前に前処理等が施されていてもよい。

図２に、画像データの画像格納部１１への格納方法の例を示す。図２に示すように、この例では、画素（画素の位置）毎に色の成分値が連続的に格納されている。

画像取得部１２は、画像格納部１１に対して画像要求信号を送り、画像格納部１１から画像を取得し、取得した画像を色エッジ抽出部１３に出力する機能部である。色エッジ抽出部１３は、画像取得部１２から受け取った画像に対して色エッジ抽出処理を実施し、その結果を色エッジペア抽出部１４に渡す機能部である。色エッジペア抽出部１４は、色エッジ抽出処理結果から色エッジペア候補を特定するとともに、ペア性判定部１５を用いて、色エッジペア候補から色エッジペアを抽出し、それを入出力部１６に渡す機能部である。

なお、画像特徴抽出装置１は、CPUと、メモリやハードディスク等の記憶装置とを含む一般的なコンピュータに、本実施の形態で説明する処理に対応するプログラムを実行させることにより実現されるものであり、上述した各機能部は、コンピュータに当該プログラムが実行されて実現される機能部である。従って、例えば、各機能部間での情報のやりとりは、実際にはメモリ等の記憶装置を介して行われるものである。上記プログラムは、メモリ等の記録媒体に格納し、そこからコンピュータにインストールすることもできるし、ネットワーク上のサーバからダウンロードするようにしてもよい。

＜画像特徴抽出装置１の動作＞
以下、図３に示すフローチャートに沿って、画像特徴抽出装置１の動作について説明する。

まず、画像取得部１２が、例えば入出力部１６から入力される情報に基づき、処理対象となる画像を要求する画像要求信号を画像格納部１１に対して送ることにより、画像格納部１１から画像を取得し、当該画像を色エッジ抽出部１３に渡す(ステップ１）。

なお、ここで取得した画像が動画像であった場合には、画像取得部１２は、動画像から各フレームを抽出する処理を行い、抽出した各フレームを色エッジ抽出部１３に出力し、以下の処理が各フレーム（画像）毎に行われることになる。

続いて、色エッジ抽出部１３は、画像取得部１２から受け取った画像から色エッジを抽出し、色エッジ情報として色エッジペア抽出部１４に渡す処理を行う（ステップ２）。

色エッジの抽出技術としては、色情報が不連続に変化する部分を特徴として抽出することが可能な技術を利用する。このような技術としては、従来から提案されている多くのエッジ抽出技術を利用することができる。例えば、単純差分及びその絶対値を用いるエッジ抽出技術、DoG（微分ガウシアン）演算子を用いるエッジ抽出技術、ソーベルやプレウィット等のエッジ検出演算子を用いるエッジ抽出技術、ラプラシアン演算子を用いるエッジ抽出技術、MAX-MIN演算子を用いるエッジ抽出技術、等のうちのいずれも利用できる。もちろん、ここに挙げていない技術を用いてもよい。

一例として、ソーベル演算子（３×３）と絶対値を組み合わせた方法を採用する場合において、縦縞エッジの抽出を行う場合の色エッジ抽出部１３の処理例を説明する。

ある注目画素（成分値e）の近傍の画素（成分値a〜i）がサブブロックにおいて図４（Ａ）に示すように配置されている場合に、色エッジ抽出部１３は、このサブブロックに対して図４（Ｂ）に示す３×３ソーベル演算子を適用して絶対値をとることにより、｜ｃ−ａ｜＋２｜ｆ−ｄ｜＋｜ｉ−ｇ｜（｜・｜は・の絶対値）を計算し、これを注目画素の位置の特定の成分のエッジの値とする。なお、ここでの成分とは例えば色情報のＲ成分等である。

色エッジ抽出部１３は、画像の各画素の各色成分毎にエッジ抽出技術を適用して、画素毎に、色成分毎の色エッジ値を算出する。また、色エッジ抽出部１３は、画素毎に、各色成分の色エッジ値の和、もしくは各色成分の色エッジ値からなるベクトルの長さを求め、それを出力すべき色エッジ値とする。なお、各色成分の色エッジ値を１つの色エッジ値にする処理は上記のものに限られるわけではない。

そして、色エッジ抽出部１３は、画素の位置と色エッジ値との組み合わせを色エッジ情報として色エッジペア抽出部１４に渡す。

色エッジペア抽出部１４は、色エッジ抽出部１３から受け取った色エッジ情報から色エッジペアの候補となる２つの色エッジの組である色エッジペア候補の集合を生成し、メモリ等の記憶装置に保持しておく（ステップ３）。なお、元の画像の情報（画素位置と色成分の情報）はメモリ等に保持されており、処理の中で必要であれば適宜取得できるものとする。

色エッジペア候補を生成する処理において、色エッジペア抽出部１４は、例えば、２つの色エッジのエッジ値が閾値以上かつ、それらが予め定められた位置関係にある、かつ、２つの色エッジ間の距離が予め定めた値以下のものを色エッジペア候補として抽出する処理を行う。上記予め定められた位置関係とは、例えば、２つの色エッジが同一Ｙ座標位置上で左右に並んでいる、あるいは、同一Ｘ座標位置上で上下に並んでいる等である。

次に、色エッジペア抽出部１４は、ペア性判定部１５を用いたペア性判定処理に移る。

ここではまず、色エッジペア抽出部１４は、ステップ３において生成した色エッジペア候補の中にペア性が未判定のものがあるかどうかをチェックする（図３のステップ４）。未判定のものがない場合（ステップ４のＮｏ）、全ての色エッジペア候補に対するペア性判定が済んだことになるので処理を終了する（ステップ８）。

未判定のものがある場合（ステップ４のＹｅｓ）、未判定の色エッジペア候補の集合から１つの色エッジペア候補（色エッジ画素の位置を含む情報）を選択し、その色エッジペア候補をペア性判定部１５に渡し、ペア性判定部１５に当該色エッジペア候補のペア性を判定させる（ステップ５）。

ペア性判定部１５は、色エッジペア抽出部１４から受け取った色エッジペア候補が色エッジペアのペア性判定条件を満たしているかどうかを判定する。

ペア性判定条件としては、以下に示すペア性判定条件１〜３を用いる。本実施の形態では、これらのうちの少なくとも１つの条件を満たすものを色エッジペアであると判定する。なお、これらの条件は文字等の線図形の色が局所的には一定であるという性質に着目した条件である。また、ペア性判定条件は下記のものに限定されるわけではない。

ペア性判定条件１：色エッジペア候補を構成する２つの色エッジ（色エッジ部分の画素の点）について、相手の色エッジ側にある画素同士の色が類似していること。つまり、この条件は、色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、第１の色エッジの周囲にある画素のうち、第２の色エッジに近い側にある画素の色と、第２の色エッジの周囲にある画素のうち、第１の色エッジに近い側にある画素の色とが類似していることという条件である。

色が類似していると判定するための色の類似判定基準としては例えば以下のものがある。

・各画素の色情報の成分値の差の絶対値の和が一定値以下であること。これは例えば、（Ｒ成分値の差の絶対値）＋（Ｇ成分値の差の絶対値）＋（Ｇ成分値の差の絶対値）が一定値以下であるということである。

・各画素の色間の距離（例えば、ＲＧＢ空間でのユークリッド距離）が一定値以下であること。

ペア性判定条件１について図５（ａ）を参照して更に説明する。色エッジペア候補を構成する色エッジの画素１０１、１０４が図５（ａ）に示すように存在する場合において、画素１０１の相手の色エッジ（画素１０４）側にある画素は画素１０２であり、画素１０４の相手の色エッジ（画素１０１）側にある画素は画素１０３である。これらの画素１０２、１０３同士を相手の色エッジ側にある画素同士と称している。図５（ａ）に示す例では、各色エッジにおいて、当該色エッジの画素と、他方の色エッジに近い側の画素とは隣接しているが、必ずしも隣接している必要はない。例えば、画素１０１と画素１０２との間、及び画素１０３と画素１０４との間は、それぞれ１〜数画素分離れていてもよい。

図５（ａ）に示す例においては、画素１０２、１０３の色が類似している場合に、ペア性判定部１５は、色エッジペア候補１０１、１０４はペア性判定条件を満たしていると判定する。

対象の線図形が文字である場合において、このペア性判定条件１を用いることにより、文字を構成する線の輪郭に色エッジペアが集中して抽出される。ここで、色エッジペア候補選定において、色エッジペア候補間の距離を文字の大きさや文字線の太さに応じて適切に設定することにより、文字の周辺以外に検出される色エッジペアを抑制することもできる。

ペア性判定条件２：色エッジペア候補の各色エッジの近傍の画素における色の変化ベクトルがほぼ逆方向であること。つまり、この条件は、色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、第１の色エッジ近傍における色の変化ベクトルと、第２の色エッジ近傍における変化ベクトルとがほぼ逆方向となっていることという条件である。

なお、例えば、ＲＧＢ色空間の中で、Ｒ成分、Ｇ成分、Ｂ成分が全て０の画素から、Ｒ成分が２５５、Ｇ成分とＢ成分が０の画素に向けた色の変化ベクトルは、Ｒ成分が２５５、Ｇ成分、Ｂ成分ともに０のベクトルである。このベクトルと逆ベクトルとは、Ｒ成分が−２５５、Ｇ成分、Ｂ成分が０のベクトルである。

色エッジの近傍の画素とは、例えば、色エッジペア候補を構成する２つの色エッジペアのうちの一方の色エッジ（開始点色エッジと呼ぶ）から他方の色エッジ（終点色エッジと呼ぶ）に向かうベクトルの方向に並ぶ２つの画素であって、開始点色エッジ側においては、開始点色エッジから上記ベクトルと垂直方向に引いた線上において開始点色エッジの近傍に存在する画素（開始点色エッジを含む）と当該画素の上記ベクトルの方向側に並ぶ画素との２つの画素であり、終点色エッジ側においては、終点色エッジから上記ベクトルと垂直方向に引いた線上において終点色エッジの近傍に存在する画素（終点色エッジを含む）と当該画素の上記ベクトルの方向の逆方向側に並ぶ画素との２つの画素である。そして、色エッジの近傍の画素の色の変化ベクトルとは、例えば、開始点色エッジ側においては、上記近傍の画素のうちの開始点色エッジ側に存在する画素の色から、近傍の画素のうちの終点色エッジ側に存在する画素の色への変化ベクトルであり、終点色エッジ側においては、近傍の画素のうちの開始点色エッジ側に存在する画素の色から、近傍の画素のうちの終点エッジ側に存在する画素の色への変化ベクトルである。

また、色エッジの近傍の画素の色の変化ベクトルとして、開始点色エッジ側において、開始点色エッジから上記ベクトルと垂直方向に引いた線上において開始点色エッジの近傍に存在する複数の画素（例えば開始点色エッジとその上下にある２つの画素の３画素）の色の平均から、当該複数の画素のそれぞれについて上記ベクトルの方向側に並ぶ複数の画素（例えば上記３画素に隣接して上記ベクトルの方向側に並ぶ３画素）の色の平均への変化ベクトルを用い、終点色エッジ側において、終点色エッジから上記ベクトルと垂直方向に引いた線上において終点色エッジの近傍に存在する複数の画素（例えば終点色エッジとその上下にある２つの画素の３画素）の色の平均から、当該複数の画素のそれぞれについて上記ベクトルの逆方向側に並ぶ複数の画素（例えば上記３画素に隣接して上記ベクトルの逆方向側に並ぶ３画素）の色の平均を引いた変化ベクトルを用いてもよい。

図５（ａ）に示す例では、色エッジペア候補の一方の色エッジ１０１の近傍で、画像の画素の色が黒から黄に変化しており、色エッジペア候補の他方の色エッジ１０４の近傍では色が黄から黒に変化しており、ペア性判定条件２を満たすため、ペア性判定部１５は、色エッジペア候補１０１、１０４は色エッジペアであると判定する。なお、もちろん、画素１０１から画素１０２への色の変化ベクトルと、画素１０３から画素１０４への色の変化ベクトルとをペア性判定条件２におけるペア性判定に用いてよい。

また、上述したように、図５（ｂ）における画素２０１、１０１、３０１の色の平均から画素２０２、１０２、３０２の色の平均への変化ベクトルと、画素２０３、１０３、３０３の色の平均から画素２０４、１０４、３０４の色の平均への変化ベクトルとをペア性判定に用いてもよい。

ペア性判定条件３：色ヘッジペア候補の２つの色エッジ間での色の変化量が小さいこと。
例えば、この条件は、色エッジペア候補の２つの色エッジ間を結ぶ線分上の画素の各色成分の最大値、最小値の差が予め定めた値以下であることである。また、例えば、色エッジペア候補の２つの色エッジ間を結ぶ線分上の画素の色間の距離（ＲＧＢ空間でのユークリッド距離等）の最大値が予め定めた値以下であることである。

上記のペア性判定条件に基づきペア性判定を行ったペア性判定部１５は、色エッジペア抽出部１４から受け取った色エッジペア候補に対するペア性判定結果を色エッジペア抽出部１４に返し、色エッジペア抽出部１４は、ペア性判定部１５から色エッジペア候補のペア性判定結果を受け取る。ペア性判定結果を満たしていた場合（図３のステップ６のＹｅｓ）、色エッジペア抽出部１４は、その色エッジペアを色エッジペア抽出結果として入出力部１６に渡す。色エッジペア抽出結果には、色エッジペアに含まれる２つの色エッジの位置（画素の位置）、色成分の値、色エッジ値が含まれる。

ペア性判定結果を満たしていない場合（ステップ６のＮｏ）、色エッジペア抽出部１４は、ステップ４の処理に戻り、未判定の色エッジペア候補があればその色エッジペア候補に対して上述したペア性判定処理を行うことになる。

色エッジペア抽出部１４から色エッジペア抽出結果を受け取った入出力部１６は、色エッジペア抽出結果を色エッジペア情報として出力する（ステップ７）。この出力は画像等の形で可視化してもよいし、リスト等の形で他の機能部に入力してさらに処理を付加することとしてもよい。そして、ステップ４に処理を戻す。

なお、上記の例では、色エッジペア抽出部１４は、色エッジペア候補一組毎にペア性判定部１５を利用したペア性判定処理を行っているが、色エッジペア候補を全てペア性判定部１５に渡し、ペア性を満たす全ての色エッジペアの情報をペア性判定部１５から受信し、その情報に基づき、全ての色エッジペア抽出結果を生成し、出力することとしてもよい。

（第２の実施の形態）
以下、第１の実施の形態における処理方法により抽出された特徴量（色エッジペアの色エッジ）の利用方法の一例として、当該特徴量をテロップ文字列領域抽出に用いる例について説明する。ここで説明する構成を用いることにより、第１の実施の形態において抽出される画像特徴を効果的に活用しつつ、精度高くテロップ文字列領域を抽出することができる。

＜装置構成＞
図６に、本実施の形態におけるテロップ文字列領域抽出装置２０の機能構成図を示す。図６に示すように、本実施の形態におけるテロップ文字列領域抽出装置２０は、データ格納部２１、画像取得部２２、特徴量抽出部２３、テロップ文字列領域形状取得部２４、密集度算出用情報取得部２５、テロップ文字列領域抽出部２６、及び入出力部２７を有する。

データ格納部２１は、本実施の形態における処理で用いられるデータを格納するとともに、各機能部からデータ要求を受信し、当該データ要求に係るデータを要求元の機能部に返す機能部である。図７に、本実施の形態においてデータ格納部２１に格納されるデータの例を示す。図７に示すように、データ格納部２１には、画像IDと対応付けて、画像データ（単に"画像"と呼ぶことにする）とテロップ文字列領域形状情報を保持するテーブル（図７（ａ））と、テロップ文字列領域形状情報に対応付けて密集度算出領域形状情報と重み係数分布情報を保持するテーブル（図７（ｂ））とが格納されている。各情報の内容については、装置動作の説明の際に説明する。

データ格納部２１は、テロップ文字列領域抽出装置２０として使用されるコンピュータにおける磁気ディスク装置、光ディスク装置、メモリ等で構成される。また、データ格納部２１をテロップ文字列領域抽出装置２０内部に備えることに代えて、テロップ文字列領域抽出装置２０とは別の装置としてネットワーク上に配置することとしてもよい。例えば、データ格納部２１として、テロップ文字列領域抽出装置２０とネットワークを介して接続されるサーバ装置を用いることができる。

なお、本実施の形態においても、"画像"は映像（動画像）でもよいし、静止画像でもよい。

画像取得部２２は、データ格納部２１に対して画像要求信号を送り、データ格納部２１から画像を取得し、取得した画像を特徴量抽出部２３に出力する機能部である。特徴量抽出部２３は、画像取得部２２から受け取った画像に対して特徴量抽出処理を実施し、その結果と画像IDとをテロップ文字列領域形状取得部２４に渡す機能部である。

本実施の形態では、特徴量抽出部２３は、第１の実施の形態における色エッジ抽出部１３、色エッジペア抽出部１４、ペア性判定部１５を含み、特徴量抽出処理結果として、色エッジペア情報を出力する。

テロップ文字列領域形状取得部２４は、データ格納部２１からテロップ文字列領域形状情報を取得する機能部である。

また、密集度算出用情報取得部２５は、データ格納部２１から密集度算出に必要な情報を取得し、その情報等をテロップ文字列領域抽出部２６に渡す機能部である。テロップ文字列領域抽出部２６は、密集度算出用情報取得部２５から受け取った情報等を用いて、特徴量抽出処理結果からテロップ文字列領域を抽出する機能部である。また、テロップ文字列領域抽出部２６は、更に、密集度算出用情報取得部２５から受け取った情報を用いて、テロップ文字列領域における領域終端の精密抽出を行う機能も有している。入出力部２７は、データの入出力をするための機能部である。

なお、テロップ文字列領域抽出装置２０は、CPUと、メモリやハードディスク等の記憶装置とを含む一般的なコンピュータに、本実施の形態で説明する処理に対応するプログラムを実行させることにより実現されるものであり、上述した各機能部は、コンピュータに当該プログラムが実行されて実現される機能部である。従って、例えば、各機能部間での情報のやりとりは、実際にはメモリ等の記憶装置を介して行われるものである。上記プログラムは、メモリ等の記録媒体に格納し、そこからコンピュータにインストールすることもできるし、ネットワーク上のサーバからダウンロードするようにしてもよい。

＜テロップ文字列領域抽出装置２０の動作＞
次に、本実施の形態におけるテロップ文字列領域抽出装置２０の動作について、図８に示すフローチャートに沿って説明する。

まず、画像取得部２２は、取得するべき画像を示す画像IDを、入力情報として入出力部２７から受信する。そして、画像取得部２２は、データ格納部２１から当該画像IDに対応する画像を取得し、その画像を特徴量抽出部２３に渡す（ステップ１１）。なお、ここで取得した画像が動画像であった場合には、画像取得部２２は、動画像から各フレームを抽出する処理を行い、抽出した各フレームを特徴量抽出部２３に出力し、以下の処理が各フレーム（画像）毎に行われることになる。

特徴量抽出部２３は、画像取得部２２から渡された画像に対して第１の実施の形態で説明した色エッジペア情報を取得する特徴量抽出処理を実施し、特徴量抽出処理結果（色エッジペア情報）と画像IDとをテロップ文字列領域形状取得部２４に渡す（ステップ１２）。

続いて、テロップ文字列領域形状取得部２４は、特徴量抽出部２３から受け取った画像IDを用い、データ格納部２１から当該画像IDに対応するテロップ文字列領域形状情報を取得し、テロップ文字列領域形状情報、及び特徴量抽出結果を密集度算出用情報取得部２５に渡す（ステップ１３）。

テロップ文字列領域形状情報とは、抽出しようとしているテロップ文字列領域の形状を示す情報である。本実施の形態では、テロップ文字列領域として矩形（長方形）を用いることとしており、テロップ文字列領域形状情報は、抽出対象のテロップ文字列領域を包含（外接）する矩形が縦長であるか、横長であるかを示す情報である。テロップ文字列領域形状情報は、例えば、「縦」もしくは「横」を示す１ビットの情報である。

続いて、密集度算出用情報取得部２５は、テロップ文字列領域形状取得部２４から受け取ったテロップ文字列領域形状情報を用いて、データ格納部２１から当該テロップ文字列領域形状情報に対応する密集度算出領域形状情報を取得し、当該密集度算出領域形状情報と特徴量抽出結果とをテロップ文字列領域抽出部２６に渡す（ステップ１４）。密集度算出領域形状情報は、後述する密集度算出に用いるサブブロック（局所領域）の形状を示す情報であり、例えば、サブブロックの縦方向の画素数と横方向の画素数を有する情報である。そして、本実施の形態において、当該サブブロックは、テロップ文字列領域形状情報が「横」を示す情報である場合は、横に長い長方形であり、テロップ文字列領域形状情報が「縦」を示す情報である場合は、縦に長い長方形であることとしている。サブブロックが横に長い長方形である場合、その長方形は例えば縦１×横１０の比率の長方形であり、例えば、縦１０画素×横１００画素の長方形である。このようなサブブロックを採用することにより、テロップ文字列が連続する方向の特徴量の連続性を優先的に考慮した密集度算出が可能となり、テロップ文字列領域の抽出精度を向上させることができる。

続いてテロップ文字列領域抽出部２６は、テロップ文字列領域抽出処理を行う（ステップ１５）。ここでは、テロップ文字列領域抽出部２６は、特徴量抽出結果（各画素の値が色エッジ値である画像）の各画素に対して、密集度算出領域形状情報に対応するサブブロックを適用し、サブブロック内に含まれる各画素の特徴量（色エッジ値）の和を算出する。この和を、各画素に対する密集度と呼ぶ。つまり、ある画素に注目した場合、その注目画素を中心とするサブブロックに含まれる各画素の特徴量の和が、その注目画素における密集度になる。

この密集度を特徴量抽出結果の全画素について求める。なお、全画素について密集度を求める代わりに、予め定めた間隔の画素毎に求めることとしてもよい。また、テロップ文字列が存在しないことがわかっている部分を除く予め定めた位置の画素についてだけ密集度を求めることとしてもよい。

そして、テロップ文字列領域抽出部２６は更に、密集度算出結果に対してクラスタリング処理を実施し、密集度がある閾値より高い画素が一定以上の面積に集合している領域を検出する。そして、クラスタ（密集度がある閾値より高い画素のまとまり)を形成する画素数が予め定めた閾値以上の場合に、そのクラスタをテロップ文字列領域であると判断する。

続いて、テロップ文字列領域抽出部２６は、テロップ文字列領域であると判断された領域に対してその外接矩形を求める等の整形処理を実施し、整形処理後のテロップ文字列領域をテロップ文字列領域抽出結果とする。テロップ文字列領域抽出結果には、整形後の領域の輪郭を示す情報、例えば、長方形（矩形）であれば４つの頂点の座標値を含む。

このテロップ文字列領域抽出結果をそのまま出力することとしてもよいが、本実施の形態では、テロップ文字列領域をより精密に求めるために、多値傾斜重みによる領域終端の精密抽出処理（以下、精密抽出処理と呼ぶ）を行うこととしている（ステップ１６）。この精密抽出処理を図９のフローチャートに沿って説明する。

また、以下では、テロップ文字列領域形状情報が「横」を示す情報である場合を例にとって説明を行う。更に、図８のステップ１５で求められたテロップ文字列領域の左上の頂点の座標値が（Xl、Yu）、右下の頂点の座標値が（Xr、Yd)であるものとする。なお、この時点で、テロップ文字列領域抽出結果、特徴量抽出結果、テロップ文字列領域形状情報等はメモリ等の記憶装置に保持されており、以下の処理では当該記憶装置から必要なデータが適宜読み出されて処理が行われる。

精密抽出処理において、まず、密集度算出用情報取得部２５は、テロップ文字列領域形状情報に対応する重み係数分布情報をデータ格納部２１から取得する（ステップ６１）。

本実施の形態では、テロップ文字列領域形状情報が「横」を示す情報である場合、図８のステップ１５で抽出されたテロップ文字列領域（横長の長方形）の左端部分と右端部分に対して、領域終端の精密抽出処理を行い、テロップ文字列領域形状情報が「縦」を示す情報である場合は、上端部分と下端部分に対して、領域終端の精密抽出処理を行うこととしている。従って、データ格納部２１には、図７（ｂ）に示すように、テロップ文字列領域形状情報「横」に対して、左端部分に対応する重み係数分布情報と右端部分に対応する重み係数分布情報が格納され、テロップ文字列領域形状情報「縦」に対して、上端部分に対応する重み係数分布情報と下端部分に対応する重み係数分布情報が格納されている。

本例では、テロップ文字列領域形状情報は「横」であるから、ステップ６１において、密集度算出用情報取得部２５は、左端部分に対応する重み係数分布情報と右端部分に対応する重み係数分布情報をデータ格納部２１から取得する。

テロップ文字列領域形状情報が「横」の場合、後述する精密抽出処理用領域として、テロップ文字列領域の縦方向と同じ画素数を縦方向の画素数として持ち、横方向の画素数として重み係数分布情報により指定される画素数を持つ領域を用いる。つまり、テロップ文字列領域形状情報が「横」の場合における重み係数分布情報は、この精密抽出処理用領域の横方向の長さ（画素数、wとする）と、横方向における重みの分布の情報を含む。例えば、重み係数分布情報は、精密抽出処理用領域の横方向の長さ（画素数）が５画素であり、左から数えて最初の画素位置（画素１）の重み係数が５、２番目の重み係数が４、３番目の重み係数が３、４番目の重み係数が２、５番目の重み係数が１、等の情報を含む。

以下、この重み係数分布情報の例に基づき、左端部分の領域終端精密抽出処理について説明する。なお、右端部分の領域終端精密抽出処理についても行われるが、左端部分の領域終端精密抽出処理と同様（方向が反対になるだけ）であるので、以下では左端部分の領域終端精密抽出処理のみを説明するものである。
図９のステップ６１において密集度算出用情報取得部２５が取得した左端部分に対応する重み係数分布情報はテロップ文字列領域抽出部２６に渡される。

テロップ文字列領域抽出部２６は、当該重み係数分布情報を用いて、テロップ文字列領域の縦方向と同じ画素数を縦方向の画素数として持ち、重み係数分布情報で指定される画素数と同じ画素数を横方向の画素数として持つ精密抽出処理用領域を設け、重み係数分布情報を用いて、精密抽出処理用領域における重み係数分布を、左側の重みが重くなるように設定する（ステップ６２）。なお、右端の精密抽出を行う場合には精密抽出処理用領域における重み係数分布を、右側の重みが重くなるように設定する。つまり、テロップ文字列領域中心側に比べてテロップ文字列領域終端側の重みが大きくなるように重み付けをする。

図１０は、本例における精密抽出処理を説明するための図であり、図１０の上段の６０２は、精密抽出処理用領域における重み係数分布の例を示している。また、図１０の６０３は、本例における横方向の長さが５の精密抽出処理用領域（精密抽出処理においては、この領域を横方向に移動させながら重み付き密集度を求めることになる）を示している。また、６０１として、色エッジペアを構成する色エッジ点の集合が示されている。

テロップ文字列領域の抽出に使用したサブブロックの横の画素数をbとした場合に、テロップ文字列領域抽出部２６は、精密抽出処理用領域の左上端の座標値を、例えば（Xl−ｂ／２、Yu）として、処理対象の特徴量画像における各画素の特徴量値（色エッジ値）と、精密抽出処理用領域に対応する画素位置にある重み値との積を精密抽出処理用領域内にある全ての画素に対して算出し、それらの和を算出する（ステップ６３）。この和を重み付き密集度と呼ぶ。

テロップ文字列領域抽出部２６は、精密抽出処理用領域の左上端の座標値を(Xl−ｂ／2,Yu)〜（Xl＋ｂ／２、Yu）まで１画素分の幅ずつ移動させながら、重み付き密集度を順次算出する（ステップ６３）。なお、上記の例では開始点を（Xl−ｂ／２、Yu）とし、終了点を（Xl＋ｂ／２、Yu）としているが、この幅をもっと広くとってよいことはいうまでもない。例えば、（Xl−ｂ、Yu）から（Xl＋ｂ、Yu）まで重み付き密集度を順次算出してもよい。

そして、テロップ文字列領域抽出部２６は、この重み付き密集度の値が予め設定した閾値を越える（又は閾値以上となる）ときの精密抽出処理用領域の左上端の座標値を（X0、Yu)とし、このときのテロップ文字列領域の左側の座標値をXlからX0に変更する（ステップ６４）。つまり、テロップ文字列領域の左端を、このときの精密抽出処理用領域の左端の位置とする。図１０の下段には、精密抽出処理用領域を横にずらしながら算出した重み付き密集度がグラフの形で表示されており、６０５の位置で重み付き密集度が閾値を超えたことが示されている。

テロップ文字列領域抽出部２６は、図８のステップ１５で得られた全てのテロップ文字列領域に対して、上下もしくは左右の端の精密抽出を実施後のテロップ文字列領域情報と画像IDとを入出力部２７に渡し、入出力部２７がこれらの情報を出力する（図８のステップ１７）。

なお、左右端、上下端の精密抽出を行うことのほか、例えば、左下隅の端を精密に検出する場合には、精密抽出処理用領域において左下の重みを大きくし、左下から離れるに従って重みを小さくした重み分布を用いることにより、左下隅の特徴量の変化を感度良くとらえ、左下隅の端を精度良く検出することも可能である。

なお、上述した例では、テロップ文字列領域形状情報が、予めデータ格納部２１に格納されている場合の処理例を示しているが、テロップ文字列領域形状を抽出する処理を用いてテロップ文字列領域形状情報を取得してもよい。例えば、予めいくつかの方向（例えば、縦方向及び横方向）を定めておき、それぞれの方向に応じた形状の局所領域を用いてテロップ文字列領域を抽出した後、どの方向に応じた形状の局所領域を用いて抽出した結果が最も良い結果かを判定し、その方向をテロップ文字列領域形状情報として出力する処理を行ってテロップ文字列領域形状情報を取得してもよい。

（本発明の実施の形態の効果について）
従来技術ではエッジを抽出するために輝度を用いていたため、背景と線図形の輝度が類似する場合に輝度エッジペアの抽出に失敗することがあったが、本発明の実施の形態では、輝度が類似している場合でも色情報を積極的に用いて色の違いを検出することで、色情報が不連続に変化するような特徴である色エッジを抽出し、ペア性判定条件を適用して色エッジペアの抽出が可能となっている。

つまり、２次元以上（多くの場合３次元）の高次元情報である色情報を積極的に用いることにより、輝度が類似する場合でも線図形と背景とを分離することができる。

また、従来技術において輝度エッジペアを作成する場合には、輝度の勾配方向を用いて上り勾配のエッジと下り勾配のエッジとをペアとするように処理していたが、高次元情報である色情報においては、勾配の上り下りの定義が困難であるため、従来の方法ではペアの判定ができない。そこで、本実施の形態では、色エッジペアを作成するためのペア性判定条件を新しく導入し、これにより、色エッジに対してもペアを作成することが可能となる。

以上のように、本実施の形態では、輝度ではなく色情報を用いることで、輝度が類似した背景の場合でもエッジペア（色エッジペア）を抽出でき、それにより線図形領域を抽出することが可能となり、背景領域から線図形領域を分離することが可能となる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

画像特徴抽出装置１の機能構成図である。 画像データの画像格納部１１への格納方法の例を示す図である。 画像特徴抽出装置１の動作を説明するためのフローチャートである。 エッジ抽出の例を説明するための図である。 ペア性判定条件を説明するための図である。 テロップ文字列領域抽出装置２０の機能構成図である。 データ格納部２１に格納されるデータの例を示す図である。 テロップ文字列領域抽出装置２０の動作を説明するためのフローチャートである。 精密抽出処理のフローチャートである。 精密抽出処理の例を説明するための図である。

符号の説明

１ 画像特徴抽出装置
１１ 画像格納部
１２ 画像取得部
１３ 色エッジ抽出部
１４ 色エッジペア抽出部
１５ ペア性判定部
１６ 入出力部
２０ テロップ文字列領域抽出装置
２１ データ格納部
２２ 画像取得部
２３ 特徴量抽出部
２４ テロップ文字列領域形状取得部
２５ 密集度算出用情報取得部
２６ テロップ文字列領域抽出部
２７ 入出力部

Claims (6)

1. 線図形を含む画像から色エッジペアを抽出するための画像特徴抽出装置であって、
   画像格納手段から前記画像を取得する画像取得手段と、
   前記画像から色エッジを絶対値として抽出する色エッジ抽出手段と、
   前記色エッジ抽出手段により抽出された色エッジの中から色エッジペア候補集合を抽出し、線図形が局所的に類似する色を有するという性質に基づく色エッジペア抽出条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する色エッジペア抽出手段と、を備え、
   前記色エッジペア抽出条件は、
   色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、前記第１の色エッジの周囲にある画素のうち、前記第２の色エッジに近い側にある画素の色と、前記第２の色エッジの周囲にある画素のうち、前記第１の色エッジに近い側にある画素の色とが類似していることという条件である
   ことを特徴とする画像特徴抽出装置。
2. 線図形を含む画像から色エッジペアを抽出するための画像特徴抽出装置であって、
   画像格納手段から前記画像を取得する画像取得手段と、
   前記画像から色エッジを抽出する色エッジ抽出手段と、
   前記色エッジ抽出手段により抽出された色エッジの中から色エッジペア候補集合を抽出し、線図形が局所的に類似する色を有するという性質に基づく色エッジペア抽出条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する色エッジペア抽出手段と、を備え、
   前記色エッジペア抽出条件は、
   色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、前記第１の色エッジの周囲にある画素のうち、前記第２の色エッジに近い側にある画素の色と、前記第２の色エッジの周囲にある画素のうち、前記第１の色エッジに近い側にある画素の色とが類似していることという条件、
   前記第１の色エッジ近傍における色の変化ベクトルと、前記第２の色エッジ近傍における色の変化ベクトルとがほぼ逆方向となっていることという条件、及び
   前記第１の色エッジと前記第２の色エッジの間にある複数の画素間の色の変化量が小さいことという条件
   の３つの条件を含み、
   前記色エッジペア抽出手段は、前記３つの条件のうちの少なくとも１つの条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する
   ことを特徴とする画像特徴抽出装置。
3. 線図形を含む画像から色エッジペアを抽出するための画像特徴抽出装置が実行する画像特徴抽出方法であって、
   画像格納手段から前記画像を取得する画像取得ステップと、
   前記画像から色エッジを絶対値として抽出する色エッジ抽出ステップと、
   前記色エッジ抽出ステップにおいて抽出された色エッジの中から色エッジペア候補集合を抽出し、線図形が局所的に類似する色を有するという性質に基づく色エッジペア抽出条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する色エッジペア抽出ステップと、を備え、
   前記色エッジペア抽出条件は、
   色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、前記第１の色エッジの周囲にある画素のうち、前記第２の色エッジに近い側にある画素の色と、前記第２の色エッジの周囲にある画素のうち、前記第１の色エッジに近い側にある画素の色とが類似していることという条件である
   ことを特徴とする画像特徴抽出方法。
4. 線図形を含む画像から色エッジペアを抽出するための画像特徴抽出装置が実行する画像特徴抽出方法であって、
   画像格納手段から前記画像を取得する画像取得ステップと、
   前記画像から色エッジを抽出する色エッジ抽出ステップと、
   前記色エッジ抽出ステップにおいて抽出された色エッジの中から色エッジペア候補集合を抽出し、線図形が局所的に類似する色を有するという性質に基づく色エッジペア抽出条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する色エッジペア抽出ステップと、を備え、
   前記色エッジペア抽出条件は、
   色エッジペア候補を構成する第１の色エッジと第２の色エッジにおいて、前記第１の色エッジの周囲にある画素のうち、前記第２の色エッジに近い側にある画素の色と、前記第２の色エッジの周囲にある画素のうち、前記第１の色エッジに近い側にある画素の色とが類似していることという条件、
   前記第１の色エッジ近傍における色の変化ベクトルと、前記第２の色エッジ近傍における色の変化ベクトルとがほぼ逆方向となっていることという条件、及び
   前記第１の色エッジと前記第２の色エッジの間にある複数の画素間の色の変化量が小さいことという条件
   の３つの条件を含み、
   前記色エッジペア抽出ステップにおいて、前記画像特徴抽出装置は、前記３つの条件のうちの少なくとも１つの条件を満足する色エッジペア候補を、色エッジペアとして前記色エッジペア候補集合の中から抽出する
   ことを特徴とする画像特徴抽出方法。
5. 請求項３又は４に記載の画像特徴抽出方法における各ステップを、前記画像特徴抽出装置として使用されるコンピュータに実行させるためのプログラム。
6. 請求項５に記載されたプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images