JP5624702B2

JP5624702B2 - 画像特徴量算出装置および画像特徴量算出プログラム

Info

Publication number: JP5624702B2
Application number: JP2010255964A
Authority: JP
Inventors: 吉彦河合; 藤井　真人; 真人藤井
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2014-11-12
Anticipated expiration: 2030-11-16
Also published as: JP2012108656A

Description

本発明は、入力された画像の画像特徴量を算出する画像特徴量算出装置および画像特徴量算出プログラムに関する。

テレビジョンにおける字幕データは、映像へのメタデータ付与や内容解析などにおいて非常に有用な情報である。従来、テレビジョンの字幕検出（文字検出）における画像特徴量に関しては、以下のような技術が用いられていた。例えば、非特許文献１では、ニュース映像等の中で時間的に連続するエッジ成分が密集している領域を字幕領域（文字領域）として検出する技術が提案されている。

また、非特許文献２では、どの方向のエッジがどの程度ずつ領域内に存在するかという特徴に基づいたエッジ方向ヒストグラムを画像特徴量として用いることが提案されている。このエッジ方向ヒストグラムは、エッジ方向を数パターンに量子化し、各パターンの出現頻度を求めることで算出される。

鷲尾, 有木, 緒方, "クロスメディア・パッセージ検索−テロップやＣＧフリップ文字列を検索質問とした発話文書に対する検索方式−", 電子情報通信学会論文誌, Vol.J84-D-II, no.8, pp.1809-1816, 2001 K.Levi and Y.Weiss， "Learning object detection from small number of examples : the importance of good features."Computer Vision and Pattern Recognition, Vol.2, pp.53-60, 2004

しかしながら、非特許文献１で提案された技術は、映像中に字幕以外にもエッジが密集する領域が存在すると、適切な画像特徴量を算出することができず、字幕領域の誤検出が発生するという問題があった。さらに、非特許文献１で提案された技術は、時間的な連続性を考慮する必要があるため、単一の画像から画像特徴量を算出することができないという問題があった。

また、非特許文献２で提案された技術は、エッジ同士がどのような位置関係にあるか、どのようにつながっているか等、エッジ間の関係を考慮せずに画像特徴量を算出しているため、文字らしさを判定する際の判定精度が低いという問題があった。

本発明はかかる点に鑑みてなされたものであって、単一の画像から画像特徴量を容易に算出することができるとともに、エッジ間の関係を考慮することで、従来用いられていた画像特徴量よりも、文字らしさ等の判定精度が高い画像特徴量を算出することができる画像特徴量算出装置および画像特徴量算出プログラムを提供することを課題とする。

前記課題を解決するために請求項１に係る画像特徴量算出装置は、入力された画像の画像特徴量を算出する画像特徴量算出装置であって、エッジ検出手段と、エッジパターン検出手段と、エッジパターン集計手段と、を備える構成とした。

このような構成によれば、画像特徴量算出装置は、エッジ検出手段によって、画像に含まれるエッジを検出し、エッジパターン検出手段によって、エッジが検出された画素の周囲の画素におけるエッジの有無を示すエッジパターンを検出し、エッジパターン集計手段によって、画像中におけるエッジパターンの出現頻度をパターンの種類ごとに集計し、集計された出現頻度に基づき画像特徴量を算出する。すなわち、画像特徴量算出装置は、入力された画像中の各画素について、その周囲におけるエッジの分布パターンを求めて各パターンの出現頻度ヒストグラムを算出し、これを画像特徴量とする。

このとき、エッジパターン検出手段が、エッジが検出された画素の周囲８近傍の画素におけるエッジの有無を示すエッジパターンを検出する。

また、請求項２に係る画像特徴量算出装置は、文字が含まれる正例の画像の出現頻度ヒストグラムと前記文字が含まれない負例の画像の出現頻度ヒストグラムとを予め学習済みのサポートベクタマシンに対して、前記画像特徴量を入力することで、前記入力された画像に文字が含まれるか否かを判定する文字判定手段をさらに備える。これにより、文字検出装置を構築することもできる。

また、前記課題を解決するために請求項３に係る画像特徴量算出プログラムは、入力された画像の画像特徴量を算出するために、コンピュータを、エッジ検出手段、エッジパターン検出手段、エッジパターン集計手段、として機能させる構成とした。

このような構成によれば、画像特徴量算出プログラムは、エッジ検出手段によって、画像に含まれるエッジを検出し、エッジパターン検出手段によって、エッジが検出された画素の周囲の画素におけるエッジの有無を示すエッジパターンを検出し、エッジパターン集計手段によって、画像中におけるエッジパターンの出現頻度をパターンの種類ごとに集計し、集計された出現頻度に基づき画像特徴量を算出する。すなわち、画像特徴量算出プログラムは、入力された画像中の各画素について、その周囲におけるエッジの分布パターンを求めて各パターンの出現頻度ヒストグラムを算出し、これを画像特徴量とする。

また、請求項４に係る画像特徴量算出プログラムは、文字が含まれる正例の画像の出現頻度ヒストグラムと前記文字が含まれない負例の画像の出現頻度ヒストグラムとを予め学習済みのサポートベクタマシンに対して、前記画像特徴量を入力することで、前記入力された画像に文字が含まれるか否かを判定する文字判定手段をさらに備える。これにより、文字検出プログラムを構築することもできる。

請求項１および請求項３に係る発明によれば、単一の画像から画像特徴量を容易に算出することができるとともに、エッジ間の関係を考慮することで、従来用いられていた画像特徴量よりも、文字らしさ等の判定精度が高い画像特徴量を算出することができる。

本発明の実施形態に係る画像特徴量算出装置の全体構成を示すブロック図である。本発明の実施形態に係る画像特徴量算出装置が備えるエッジパターン検出手段における処理内容を示す概略図であって、（ａ）は、注目画素がエッジ画素である場合の処理を示す図、（ｂ）は、注目画素が非エッジ画素である場合の処理を示す図、である。本発明の実施形態に係る画像特徴量算出装置が備えるエッジパターン集計手段によって算出した画像特徴量（出現頻度ヒストグラム）の一例を示す図であり、（ａ）は、入力された画像に文字が含まれている場合における正例の出現頻度ヒストグラム、（ｂ）は、入力された画像に文字が含まれていない場合における負例の出現頻度ヒストグラム、である。本発明の実施形態に係る画像特徴量算出装置を備える文字検出装置の全体構成を示すブロック図である。本発明の実施形態に係る画像特徴量算出装置の動作を説明するためのフローチャートである。本発明の実施形態に係る画像特徴量算出装置の実施例を説明するための図であり、（ａ）は、実験に使用した正例の画像データを示す図、（ｂ）は、実験に使用した負例の画像データを示す図、である。

本発明の実施形態に係る画像特徴量算出装置および画像特徴量算出プログラムについて、図面を参照しながら説明する。なお、以下の説明において、同一の構成については同一の名称及び符号を付し、詳細説明を省略する。また、以下の説明では、画像特徴量算出装置および画像特徴量算出プログラムの具体的な一例として、入力された画像が文字らしいか否か（入力された画像に文字（字幕）が含まれているか否か）を判定する際に用いられる画像特徴量を算出する画像特徴量算出装置および画像特徴量算出プログラムについて説明する。

［画像特徴量算出装置］
画像特徴量算出装置１は、図１に示すように、入力された画像から画像特徴量（特徴ベクトル）を算出するものである。画像特徴量算出装置１には、例えば、映像を構成するフレーム画像から切り出した１６ピクセル×１６ピクセル程度のブロック画像が入力される。

エッジ検出手段１０は、入力された画像に含まれるエッジを検出するものである。すなわち、エッジ検出手段１０は、入力された画像中における画素を走査し、例えば、輝度値の変化が予め定めた閾値を超える画素をエッジとして検出するものである。エッジ検出手段１０において行われる具体的なエッジの検出方法は、画像からエッジを検出することができれば特に限定されず、ｓｏｂｅｌ法やＣａｎｎｙ法等の公知の手法を用いることができる。

エッジ検出手段１０には、図１に示すように、画像特徴量の算出対象となる画像が入力される。そして、エッジ検出手段１０は、前記した手法によって画像に含まれるエッジを検出してエッジ画像を生成し、当該エッジ画像をエッジパターン検出手段２０に出力する。

エッジパターン検出手段２０は、入力されたエッジ画像からエッジパターンを検出するものである。エッジパターン検出手段２０は、具体的には、エッジ検出手段１０によって生成されたエッジ画像の全画素を、例えば左上から右下まで全て走査する。そして、その走査の過程において、着目画素がエッジ画素（エッジが含まれる画素）である場合は、当該着目画素の周囲の画素を走査してエッジパターンを検出し、着目画素が非エッジ画素（エッジが含まれない画素）である場合は、当該非エッジ画素の数をカウントする。なお、着目画素の周囲の画素とは、ここでは、着目画素に直接隣接する画素のみならず、着目画素から数画素離れた画素も含んでいる。

エッジパターン検出手段２０は、具体的には、着目画素Ａがエッジ画素である場合、図２（ａ）上図に示すように、当該着目画素Ａを中心とした周囲８近傍の画素を反時計回りで走査し、図２（ａ）下図に示すように、エッジの有無を２値化したエッジパターンとして検出する。なお、図２における黒いマスはエッジ画素を示し、白いマスは非エッジ画素を示している。

ここで、エッジパターンとは、図２（ａ）下図に示すように、着目画素の周囲の画素におけるエッジの有無を１と０の２値で示したものである。エッジパターンは、本実施形態のように着目画素Ａを中心とした周囲８近傍の画素のエッジを走査することとすると、全部で２５６種類のパターンとなる。

また、エッジパターン検出手段２０は、着目画素Ａが非エッジ画素である場合、図２（ｂ）に示すように、着目画素Ａの周囲の画素を走査せず、当該非エッジ画素の数を図示しない計数手段によってカウントする。

エッジパターン検出手段２０には、図１に示すように、エッジ検出手段１０からエッジ画像が入力される。そして、エッジパターン検出手段２０は、前記した手法によってエッジ画素周辺のエッジパターンを検出するとともに、非エッジ画素の数をカウントし、図１に示すように、当該エッジパターンおよび非エッジ画素の数をエッジパターン集計手段３０に出力する。

エッジパターン集計手段３０は、エッジパターンの数を集計して画像特徴量を算出するものである。エッジパターン集計手段３０は、具体的には、エッジパターン検出手段２０が検出した画像中におけるエッジパターンの出現頻度をパターンの種類ごとに集計するとともに、エッジパターン検出手段２０がカウントした非エッジ画素の数を集計し、当該集計されたエッジパターンおよび非エッジ画素の出現頻度に基づいた出現頻度ヒストグラムを算出する。そして、エッジパターン集計手段３０は、この出現頻度ヒストグラムを入力された画像の画像特徴量として、当該入力された画像ごとに算出して出力する。

エッジパターン集計手段３０は、例えば、図３に示すような出現頻度ヒストグラムを算出する。ここで、図３（ａ）は、入力された画像に文字が含まれている場合における正例の出現頻度ヒストグラムであり、図３（ｂ）は、入力された画像に文字が含まれていない場合における負例の出現頻度ヒストグラムである。また、図３における横軸は、エッジパターン等の種類を示している。図３における横軸の目盛の数は、例えば前記したように着目画素Ａを中心とした周囲８近傍の画素のエッジパターンを検出した場合、２５６種類のエッジパターンと、１種類の非エッジ画素と、を足し合わせた２５７目盛となる。また、図３における縦軸は、エッジパターンと非エッジ画素のそれぞれの数を示している。このように、図３に示す出現頻度ヒストグラムは、着目画素Ａを中心とした周囲８近傍の画素のエッジパターンを検出した場合、２５７次元のベクトルデータとなる。

エッジパターン集計手段３０には、図１に示すように、エッジパターン検出手段２０からエッジパターンおよび非エッジ画素の数が入力される。そして、エッジパターン集計手段３０は、前記した手法によって画像特徴量（出現頻度ヒストグラム）を算出し、これを出力する。

以上のような構成を備える画像特徴量算出装置１は、入力された画像中の各画素について、その周囲におけるエッジの分布パターンを求めて各パターンの出現頻度ヒストグラムを算出し、これを画像特徴量とする。従って、画像特徴量算出装置１は、単一の画像から画像特徴量を容易に算出することができるとともに、エッジ間の関係を考慮することで、従来用いられていた画像特徴量よりも、文字らしさ等の判定精度が高い画像特徴量を算出することができる。

なお、図４に示すように、画像特徴量算出装置１に文字判定手段４０を追加することによって、図４に示すような文字検出装置１００を構築することも可能である。文字判定手段４０は、画像特徴量算出装置１が算出した画像特徴量が文字を示すものであるか否か（画像特徴量算出装置１に入力された画像に文字が含まれるか否か）を判定するものであり、例えばサポートベクタマシン（Support vector machine（ＳＶＭ））等を用いることができる。

文字判定手段４０としてサポートベクタマシンを用いた場合、当該サポートベクタマシンに、予め文字が含まれる正例の画像の出現頻度ヒストグラム（図３（ａ）参照）と文字が含まれない負例の画像の出現頻度ヒストグラム（図３（ｂ）参照）を学習させる。そして、学習済みのサポートベクタマシンに対して、画像特徴量算出装置１によって算出された画像特徴量を入力することで、入力された画像が正例か負例かを判定することができる。

［画像特徴量算出装置の動作］
以下、画像特徴量算出装置１の動作について、図５を参照しながら簡単に説明する。

まず、エッジ検出手段１０によって、例えばｓｏｂｅｌ法やＣａｎｎｙ法等を用いて、入力された画像に含まれるエッジを検出する（ステップＳ１）。そして、画像の全画素のエッジ検出が終了した場合（ステップＳ２でＹｅｓ）、ステップＳ３に進む。一方、画像の全画素のエッジ検出が終了していない場合、（ステップＳ２でＮｏ）、ステップＳ１に戻ってエッジ検出を継続する。

次に、エッジパターン検出手段２０によって、着目画素がエッジ画素である場合は、当該着目画素の周囲８近傍の画素を走査してエッジパターンを検出する（ステップＳ３）。なお、エッジパターン検出手段２０は、着目画素が非エッジ画素である場合は、当該非エッジ画素の数をカウントする。そして、画像の全画素のエッジパターン検出が終了した場合（ステップＳ４でＹｅｓ）、ステップＳ５に進む。一方、画像の全画素のエッジパターン検出が終了していない場合、（ステップＳ４でＮｏ）、ステップＳ３に戻ってエッジパターン検出を継続する。

次に、エッジパターン集計手段３０によって、エッジパターン検出手段２０が検出した画像中におけるエッジパターンの出現頻度をパターンの種類ごとに集計するとともに、エッジパターン検出手段２０がカウントした非エッジ画素の数を集計し、当該集計されたエッジパターンおよび非エッジ画素の出現頻度に基づいた出現頻度ヒストグラムを画像特徴量として算出する（ステップＳ５）。

［画像特徴量算出プログラム］
ここで、画像特徴量算出装置１は、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

以下、本発明に係る画像特徴量算出装置の効果を確認する実施例について、図６を参照しながら詳細に説明する。本実施例では、本発明に係る画像特徴量算出装置によって算出した画像特徴量を利用して字幕画像とそれ以外の画像を分類する実験を行った。

実験では、実際に放送された２番組分の映像から１６ピクセル×１６ピクセルのブロック画像を切り出し、一方の番組映像から切り出したブロック画像を学習データとし、サポートベクタマシンによる識別器を学習した。そして、もう一方の番組映像から切り出したブロック画像をテストデータとし、本発明に係る画像特徴量算出装置に入力して画像特徴量を算出した上で、当該画像特徴量の分類精度をサポートベクタマシンによって評価した。

学習データのブロック画像は、字幕が含まれる正例を２４９２枚、字幕が含まれない負例を２５０５枚用いた。また、テストデータのブロック画像は、字幕が含まれる正例を２４８０枚、字幕が含まれない負例を２３３７枚用いた。実験に利用したブロック画像は、例えば正例が図６（ａ）に示すような画像であり、負例が図６（ｂ）に示すような画像である。

実験では、図６（ｃ）に示すように、従来のエッジ方向ヒストグラムの画像特徴量（非特許文献２）を利用した場合（図中、ＥＯＨ）と、本発明に係る画像特徴量算出装置で算出した画像特徴量を利用した場合（図中、本発明）と、従来のエッジ方向ヒストグラムの画像特徴量と本発明に係る画像特徴量算出装置で算出した画像特徴量を連結した画像特徴量を利用した場合（図中、ＥＯＨ＋本技術）と、３通りの評価を行なった。また、分類精度の評価には、下記式（１）で算出される識別率を用いた。なお、下記式（１）において、Ｎｃはテストデータのうち正しく識別されたデータの総数、Ｎはテストデータの総数を示している。

識別率＝Ｎｃ／Ｎ・・・式（１）

サポートベクタマシンによる本発明に係る画像特徴量算出装置で算出した画像特徴量の分類精度の評価結果である図６（ｃ）を参照すると、本発明に係る画像特徴量算出装置で算出された画像特徴量を利用した場合、従来のエッジ方向ヒストグラムの画像特徴量を利用する場合と比較して、識別率が３％向上することがわかる。また、従来のエッジ方向ヒストグラムの画像特徴量と本発明に係る画像特徴量算出装置で算出した画像特徴量を連結した画像特徴量を利用した場合、従来のエッジ方向ヒストグラムの画像特徴量のみを利用する場合と比較して、識別率が６％向上することがわかる。従って、この実験によって、本発明に係る画像特徴量算出装置で算出した画像特徴量を利用すると、字幕画像の分類精度が向上することが確認できた。

以上、本発明に係る画像特徴量算出装置および画像特徴量算出プログラムについて、発明を実施するための形態および実施例により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。

例えば、画像特徴量算出装置に入力される画像は、フレーム画像から切り出したブロック画像ではなく、フレーム画像そのものでも構わない。すなわち、本発明に係る画像特徴量算出装置は、入力される画像のサイズの大小に関わらず、画像特徴量を算出することができる。

また、画像特徴量算出装置は、画像に文字が含まれるか否かを判定するための画像特徴量のみならず、例えば画像に人間の顔が含まれるか否か等、様々な対象を分類するための画像特徴量として用いることができる。

また、エッジパターン検出手段は、着目画素の周囲８近傍ではなく、例えば周囲２４近傍の画素を走査してエッジパターンを検出してもよい。また、エッジパターン検出手段が、着目画素の周囲の画素を走査する順序は、前記した前記したサポートベクタマシンに予め入力される出現頻度ヒストグラムを構成するエッジパターンの走査順序と一致していればよく、反時計回り以外の順序でも構わない。

１画像特徴量算出装置
１０エッジ検出手段
２０エッジパターン検出手段
３０エッジパターン集計手段
４０文字判定手段
１００文字検出装置

Claims

番組映像を構成する画像が入力され、入力された前記画像の画像特徴量を算出する画像特徴量算出装置であって、
前記画像に含まれるエッジを検出するエッジ検出手段と、
前記エッジが検出された画素の周囲の画素におけるエッジの有無を示すエッジパターンを検出するエッジパターン検出手段と、
前記画像中における前記エッジパターンの出現頻度をパターンの種類ごとに集計し、集計された前記出現頻度に基づき画像特徴量を算出するエッジパターン集計手段と
を備え、
前記エッジパターン検出手段は、前記エッジが検出された画素の周囲８近傍の画素におけるエッジの有無を示すエッジパターンを検出することを特徴とする画像特徴量算出装置。
文字が含まれる正例の画像の出現頻度ヒストグラムと前記文字が含まれない負例の画像の出現頻度ヒストグラムとを予め学習済みのサポートベクタマシンに対して、前記画像特徴量を入力することで、前記入力された画像に文字が含まれるか否かを判定する文字判定手段、をさらに備えることを特徴とする請求項１に記載の画像特徴量算出装置。
番組映像を構成する画像が入力され、入力された前記画像の画像特徴量を算出するために、コンピュータを、
前記画像に含まれるエッジを検出するエッジ検出手段、
前記エッジが検出された画素の周囲の画素におけるエッジの有無を示すエッジパターンを検出するエッジパターン検出手段、
前記画像中における前記エッジパターンの出現頻度をパターンの種類ごとに集計し、集計された前記出現頻度に基づき画像特徴量を算出するエッジパターン集計手段、
として機能させ、
前記エッジパターン検出手段は、前記エッジが検出された画素の周囲８近傍の画素におけるエッジの有無を示すエッジパターンを検出することを特徴とする画像特徴量算出プログラム。
文字が含まれる正例の画像の出現頻度ヒストグラムと前記文字が含まれない負例の画像の出現頻度ヒストグラムとを予め学習済みのサポートベクタマシンに対して、前記画像特徴量を入力することで、前記入力された画像に文字が含まれるか否かを判定する文字判定手段、をさらに備えることを特徴とする請求項３に記載の画像特徴量算出プログラム。