JP4054125B2

JP4054125B2 - 動画像オブジェクト抽出装置

Info

Publication number: JP4054125B2
Application number: JP05516299A
Authority: JP
Inventors: 慎一境田; 善明鹿喰; 保明金次
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1999-03-03
Filing date: 1999-03-03
Publication date: 2008-02-27
Anticipated expiration: 2019-03-03
Also published as: JP2000251079A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置に係り、特に動画像から動画像オブジェクトを抽出する動画像オブジェクト抽出装置に関する。
【０００２】
【従来の技術】
動画像から動いている部分、すなわち動画像オブジェクトを抽出する方法は、画像の連続するフレーム間の差分を利用する方法と、背景となる画像を準備し入力される動画像との比較をする方法とに大別される（例えば、安居院、長尾、「画像の処理と認識」、pp. １６０−１６４、昭晃堂より１９９４年初版第３刷発行を参照のこと）。
【０００３】
画像の連続するフレーム間の差分を利用する方法は、動いている部分の差分値が大きく、静止部分の差分値は小さくなるため、適当なしきい値を設けることで動画像オブジェクトを抽出することが可能である。しかし、動いている部分の速度が遅かったり、その表面の模様が少ないと差分の画像が必ずしも動いている部分を表さなくなることがある。
【０００４】
一方、背景となる画像を準備し入力される動画像との比較をする方法では、上述したフレーム間の差分を利用する方法での問題点は解決される。しかし、抽出する動画像オブジェクトを含まない画像を背景画像として準備しなければならない。一つの方法として、動画像オブジェクトが無い条件であらかじめ画像を撮影し蓄えておく方法がある。ただし、これは工業部品の検査や監視システムなどの限られた用途で、かつ照明などの撮影条件が制約されている場合に限られ、一般の自然画像に対する汎用的な方法とは言えない。
【０００５】
上記２つの方法とは別に、自然画像やすでに撮影済みの画像など、予め背景画像を準備できない場合に、処理対象の動画像から背景画像を作成する方法がある（塩、スクランスキー、「動画像からの歩行者検出法」、情処研報、Vol.９１，No. １０１、９１−ＣＶ−７５−５，１９９１を参照のこと）。この方法は、長時間にわたる動画像を時間方向に統計処理して背景画像を生成するもので、背景に相当する静止部分においては、時間方向輝度ヒストグラムの頻度が最も高くなることを利用している。しかし、撮影時の照明条件の時間変動により、必ずしも輝度ヒストグラムの最頻値のみが背景になるという保証はない。
【０００６】
また、１枚のフレーム画像、すなわち静止画像内でのオブジェクト抽出手法に用いられる方法には、watershed 法に代表される領域成長法がある。特に、マーカ付きwatershed 法は、単純なwatershed 法に比べて計算量を削減できるため利用されることが多い。文献（苗村、水谷、和泉、「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」、映像メディア処理シンポジウム、Ｉ−３．１５，１９９７）では、watershed のためのマーカ選択方法を提案している。これは、スポーツシーンの場合のグラウンドの芝の色や選手のユニフォームの色を代表領域として予め手動により抽出して、その色範囲をヒストグラムに利用してマーカを決定する方法である。
【０００７】
【発明が解決しようとする課題】
上述したように、作成した背景画像をもとに自然画像から動画像オブジェクトを抽出しようとしても、作成した背景画像に照明条件などの時間方向の変動があるため、精度良く動画像オブジェクトを抽出することは困難であった。
【０００８】
本発明の目的は、上記照明条件などの時間方向の変動を考慮した動画像オブジェクト抽出装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明動画像オブジェクト抽出装置は、動画像の各画素の時間方向輝度ヒストグラムを生成する輝度ヒストグラム生成回路と、前記輝度ヒストグラム生成回路によって生成された各画素の時間方向輝度ヒストグラムの最頻値となる輝度レベルの上下方向に存在するそれぞれの輝度レベルを、輝度ヒストグラム値がゼロになるまで探索してゼロになったレベルの手前のレベルまでを、その画素における背景の輝度レベル分布範囲として決定する背景画像輝度レベル範囲決定回路と、前記背景画像輝度レベル範囲決定回路によって決定された背景の輝度レベル分布範囲を予め定められた拡大率で拡大し、拡大させた範囲の補集合部分の輝度レベル分布範囲を、その画素における動画像オブジェクトの輝度レベル分布範囲として決定する動画像オブジェクト輝度レベル範囲決定回路と、各フレーム画像の画素のうち前記決定した背景の輝度レベル分布範囲に含まれる画素の集合領域を各フレーム画像の背景画像領域として抽出する背景画像領域抽出回路と、各フレーム画像の画素のうち前記決定した動画像オブジェクトの輝度レベル分布範囲に含まれる画素の集合領域を各フレーム画像の動画像オブジェクト画像領域として抽出する動画像オブジェクト画像領域抽出回路と、前記背景画像領域抽出回路の出力に対して数画素からなる小領域を除去する第１の小領域除去回路と、前記動画像オブジェクト画像領域抽出回路の出力に対して数画素からなる小領域を除去する第２の小領域除去回路と、前記第１および第２の小領域除去回路の出力中の背景画像領域および前記動画像オブジェクト画像領域のいずれの画像領域でもない未決定画像領域を抽出する未決定画像領域抽出回路と、前記未決定画像領域抽出回路で抽出された未決定画像領域を、フレーム画像内でエッジ画像抽出回路の信号を利用してwatershed アルゴリズムを用いて前記背景画像領域および前記動画像オブジェクト画像領域を成長させることにより、前記背景画像領域または前記動画像オブジェクト画像領域のいずれかの画像領域に属させる画像領域成長回路とを具えてなることを特徴とするものである。
【００１１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は本発明動画像オブジェクト抽出装置の一実施形態をブロック図にて示している。
なお、本実施形態においては、動画像撮影時のカメラないしレンズの移動（ドリー、パン、チルト、ズームなど）は無いか、または予め補償されているものとする。
【００１２】
図１において、１は輝度ヒストグラム生成回路、２は背景画像輝度レベル範囲決定回路、３は動画像オブジェクト輝度レベル範囲決定回路、４はメモリ、５は背景画像領域抽出回路、６は動画像オブジェクト画像領域抽出回路、７−１，７−２は小領域除去回路、８は未決定画像領域抽出回路、９はエッジ画像抽出回路、および１０は画像領域成長回路である。
【００１３】
動作につき説明する。
Ｎ（例えば３００）フレーム分の動画像信号は時間方向輝度ヒストグラムを生成する輝度ヒストグラム生成回路１に供給され、動画像の各画素毎に輝度ヒストグラムを生成する。具体的には、動画像中のある位置の注目画素について、Ｎフレーム全部にわたってその輝度レベルを測定し、その分布を輝度ヒストグラムに生成する。図２（Ａ），（Ｂ）は、時間方向輝度ヒストグラム生成の説明図である。また、図２（Ｂ）に、図２（Ａ）に示す動画像内のその注目画素の時間方向輝度ヒストグラムの例が示されている。輝度レベルが８ビットで表せる場合、図２（Ｂ）に示すように、２５６レベルの輝度レベルに対してそれぞれの出現頻度をプロットすることができる。これを画像中の全画素について行うと、例えば、画像サイズがＸ画素（横方向）×Ｙライン（縦方向）であれば、Ｘ×Ｙ個の時間方向の輝度ヒストグラムが生成される。この生成されたヒストグラムは、背景画像輝度レベル範囲決定回路２と動画像オブジェクト輝度レベル範囲決定回路３に供給される。
【００１４】
背景画像輝度レベル範囲決定回路２では、輝度ヒストグラムの最頻値となる画像の輝度レベルを、その画素位置の背景画像の輝度レベルとみなす。もし、この画素位置が動画像のＮフレームの全部にわたって背景であるならば、輝度ヒストグラムはある１つの輝度レベル値のみに集中する筈である。しかし、実際にはその画素位置の照明の変動などにより、同じ背景であっても輝度レベルは多少の変動をする。輝度ヒストグラム上では、最頻値の近傍の範囲にも分布が生ずる。そこで、その画素位置の時間方向の照明などの変動を考慮するために、最頻値近傍の輝度レベル分布範囲（図２（Ｂ）で、ａの範囲）を背景画像の輝度レベル分布範囲として決定する。
【００１５】
ここで最頻値近傍の輝度レベル分布範囲は、以下のようにして決定する。
すなわち、輝度ヒストグラム生成回路１で生成された輝度ヒストグラムにおいて、最頻値の輝度レベルの上下方向に存在するそれぞれの輝度レベルを、輝度ヒストグラム値がゼロになるまで探索し、ゼロになったレベルの手前のレベルまで（特許請求の範囲において、最頻値近傍の輝度レベル分布範囲と称している）を背景画像となる輝度レベル分布範囲であると決定する。
【００１６】
次に、動画像オブジェクト輝度レベル範囲決定回路３では、背景画像レベル範囲決定回路２におけると同様、輝度ヒストグラム生成回路１から輝度ヒストグラムの供給を受けて動画像オブジェクトの輝度レベルの分布範囲を決定する。ここでも、上述した背景画像の決定方法と同様、動画像オブジェクトに対して輝度ヒストグラム上で対応する輝度レベルにピーク値が存在すると仮定して範囲を定めることがまず考えられる。しかし、この場合には背景画像と異なり、その画素位置に動画像オブジェクトが存在するかどうかは不明であり、そのため背景画像とは別のレベルにピーク値が必ず存在するという保証はない。また動画像オブジェクトが１つの動画像中に複数存在し、同じ画素位置に時間的に複数回現れる可能性もある。この場合には、背景画像以外のピーク値が複数存在することになる。
【００１７】
さらに、動画像オブジェクトの画像が一様な輝度レベルを有していない場合、オブジェクトが動くことによって、ある画素位置での１つの動画像オブジェクトに対する輝度ヒストグラムは様々な輝度レベルに分散する可能性もある。以上述べたことから、動画像オブジェクト輝度レベル範囲の決定に、背景画像の場合と全く同じ処理を適用することはできない。
【００１８】
そこで、本発明では、動画像オブジェクトの輝度レベル分布範囲は背景画像の輝度レベル分布範囲外に存在するということを利用する。すなわち、上述の背景画像輝度レベル範囲決定回路２で決定した輝度ヒストグラム上の背景画像の輝度レベル分布範囲外の輝度レベル分布範囲を動画像オブジェクトの画像の輝度レベル分布範囲候補と考えることができる。ただし、図２（Ｂ）に示すように、背景画像輝度レベル範囲決定回路２で定めた背景画像の輝度レベル分布範囲（図２（Ｂ）で、ａの範囲）の近傍にも輝度ヒストグラムの分布があり、これらの輝度レベル（上記分布範囲外とした輝度レベル）に対応する画素は背景である可能性も残っているので、これら画素をすべて動画像オブジェクトと決定することは危険である。そこで、まず、輝度ヒストグラムの背景画像の輝度レベル分布範囲を拡大する（図２（Ｂ）で、ｂの範囲）。そして、この拡大率は背景画像の輝度レベル分布範囲を基準としてその何倍とするかを予め定めておく。この範囲外の輝度レベル分布範囲、すなわち、図２（Ｂ）にｂで示される範囲（特許請求の範囲において、最頻値近傍の輝度レベル分布範囲を拡大させた範囲と称している）の補集合部分（図２（Ｂ）で、ｃの範囲）を背景ではない画像、すなわち、動画像オブジェクト画像の輝度レベル分布範囲として決定する。
【００１９】
一方、本発明装置の入力信号である動画像信号は、メモリ４にも供給される。メモリ４はＮフレーム全部の動画像を蓄えておき、後の処理のために、１枚１枚の各フレーム毎に出力ができるように構成されている。
【００２０】
上述したようにして、画素ごとに決定された背景画像の輝度レベル分布範囲（背景画像輝度レベル範囲決定回路２の出力）は、メモリ４から出力されるＮフレーム分の動画像のうちの１枚１枚の各フレームの画像信号とともに背景画像領域抽出回路５に供給される。背景画像領域抽出回路５では、各画素に対応した背景画像の輝度レベル分布範囲ａ（図２（Ｂ）参照）内に入っている輝度値を有するすべての画素に対して背景画像の画像領域であるとのラベルを付ける。
【００２１】
同様に、画素ごとに決定された動画像オブジェクトの輝度レベル分布範囲（動画像オブジェクト輝度レベル範囲決定回路３の出力）は、メモリ４から出力されるＮフレーム分の動画像のうちの１枚１枚の各フレームの画像信号とともに動画像オブジェクト画像領域抽出回路６に供給される。動画像オブジェクト画像領域抽出回路６では、各画素に対応した動画像オブジェクトの輝度レベル分布範囲ｃ（図２（Ｂ）参照）内に入っている輝度値を有するすべての画素に対して動画像オブジェクトの画像領域であるとのラベルを付ける。
【００２２】
背景画像領域抽出回路５および動画像オブジェクト画像領域抽出回路６からの各出力は、フレーム内での小領域を除去するためそれぞれ小領域除去回路７−１，７−２に供給される。これら小領域除去回路は、多数決フィルタのようにモルフォロジカル処理により予め定められた大きさを有する小領域を除去するように動作する（「画像解析ハンドブック」、pp. ６７６−６７７、東京大学出版会より１９９１年第２刷発行を参照のこと）。この小領域除去の効果を本発明による画像処理の中で説明すると、例えば、本発明の動作を実際の画像での例で示す図３において、（ａ）は原画像、（ｂ）は背景決定画像、（ｃ）は動画像オブジェクト決定画像、（ｄ）は未決定画像、（ｅ）はエッジ画像、および（ｆ）は抽出結果をそれぞれ示しているが、小領域除去の施された背景信号と動画像オブジェクト信号は、図３（ｂ）と（ｃ）（ともに、白色の部分）に示されている。
【００２３】
小領域除去回路７−１および７−２からの各出力は、それぞれ図１に示すように、未決定画像領域抽出回路８と画像領域成長回路１０に供給される。未決定画像領域抽出回路８では、それぞれ回路７−１および７−２の出力である背景画像信号および動画像オブジェクト信号中の背景画像の画像領域であるとも、また動画像オブジェクトの画像領域であるともいずれのラベルも付けられていない画像領域に新たなラベルを付ける。これら新たにラベルが付けられた分布範囲は未決定画像領域として扱う。実際の画像での例は、図３（ｄ）である。
【００２４】
未決定画像領域抽出回路８の出力は、上記回路７−１および７−２の出力とともに画像領域成長回路１０に供給されるが、同成長回路１０には、メモリ４から読み出された１枚のフレーム画像からエッジ画像（図３（ｅ）参照）を抽出するエッジ画像抽出回路９の出力（エッジ画像信号）も供給される。
【００２５】
画像領域成長回路１０では、それぞれ回路７−１，７−２の出力である背景画像信号と動画像オブジェクト信号以外の未決定画像領域信号（未決定画像領域抽出回路８の出力）を背景画像または動画像オブジェクトに属させる処理を施す。この処理にはマーカ付きwatershed 法に関する上述の文献（苗村、水谷、和泉、「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」、映像メディア処理シンポジウム、Ｉ−３．１５，１９９７）を使用する。この文献におけるマーカの選択方法は、ヒストグラムに利用する点で本発明における背景画像および動画像オブジェクトの範囲決定処理と類似しているが、以下の点で異なっている。
【００２６】
すなわち、苗村、水谷、和泉の文献においては、スポーツシーンにおけるオブジェクトの抽出を行うために、抽出対象となるオブジェクトであるグラウンドの芝の色と選手のユニフォームの色の２種類の色範囲を代表値として手動で予め抽出しておき、その色範囲を１フレーム内のカラーヒストグラムを参照してオブジェクトを抽出するようにしている。これに対し、本発明では、輝度ヒストグラムを各画素位置ごとに時間方向に計算し、そして背景に該当する輝度レベル分布範囲を自動的に決定する。さらに、動画像オブジェクトの範囲については背景として決定した範囲も利用している。そのため背景と前景（動画像オブジェクト）のそれぞれに対して輝度レベル分布範囲を別々に設定する必要はない。
【００２７】
また、同文献の方法では、芝あるいは選手のユニフォームの色について、２段階のしきい値を設けているが、これは、ノイズの影響で余分な画素が含まれることを避けるために用いているのであって、本発明が時間方向輝度ヒストグラムを２回にわたって範囲を決定し、背景と前景（動画像オブジェクト）を決定しているのとはその目的が異なる。本発明では、背景画像の照明などによる時間変動を考慮するために背景画像用に最頻値近傍の輝度レベル分布範囲を決定し、動画像オブジェクトを背景輝度レベル分布範囲以外とする際に、背景画像の不確定性を考慮するために２回範囲を定めているのである。
【００２８】
このように、本発明は同文献の方法に対して、手動で輝度レベル分布範囲の代表値を設定する必要がないこと、抽出対象となる背景と前景（動画像オブジェクト）のそれぞれに輝度レベル分布範囲を設定する必要が無いこと、およびヒストグラムに２段階のしきい値を設ける目的が別であることにおいて異なっている。
【００２９】
watershed 法は、画像を地形的な構造と見なして、その地形の標高の低い部分から水を注入していき、盆地を区切る分水嶺（watershed)にダムを仮想的に築いて領域を分ける方法である。図４にwatershed 法の例を示す。マーカ付きwatershed 法は処理の対象となる部分にマーカを設けて、その部分にのみ水を注入することで全ての画像に対して処理をするより計算時間を短縮することができる方法である。本発明では、地形的構造と見なす画像には画像の空間内輝度勾配であるエッジ画像（図３（ｅ）参照）をエッジ画像抽出回路９により生成し利用する。
【００３０】
本発明においては、このwatershed 法を使用することによって、未決定画像の領域内の画素をエッジ画像を参照して背景と動画像オブジェクトのいずれかに振り分けることができる。
以上の処理によって、画像領域成長回路１０（図１参照）の出力側から、最終的に図３（ｆ）に示す動画像オブジェクト信号が抽出されることになる。
【００３１】
最後に、本発明動画像オブジェクト抽出装置は、図１を参照して説明した実施形態のものに限られるものでないことを説明する。
すなわち、本発明は、入力動画像信号から生成された輝度ヒストグラムの最頻値近傍の輝度レベル分布範囲を拡大させた範囲（図２（Ｂ）で、ｂの範囲）の補集合部分が動画像オブジェクトの輝度レベル分布範囲であるという原理に基づいているため、本発明動画像オブジェクト抽出装置は、最小限、図１に示す輝度ヒストグラム生成回路１、動画像オブジェクト輝度レベル範囲決定回路３および動画像オブジェクト画像領域抽出回路６によって構成することができ、これら３つの回路１，３，６の最終段である回路６の出力として本発明の目的とする動画像オブジェクトを抽出することができる。
【００３２】
【発明の効果】
本発明によれば、動画像からの動画像オブジェクト抽出を背景画像との差分をもとに行うに際して、背景画像の輝度に時間方向の変動がある場合にも、その変動を考慮して背景画像を決定することができる。その結果、動画像オブジェクトを従来の手法より精度良く抽出することが可能になる。
【図面の簡単な説明】
【図１】本発明動画像オブジェクト抽出装置の一実施形態をブロック図にて示している。
【図２】時間方向輝度ヒストグラム生成の説明図である。
【図３】本発明の動作を実際の画像での例で示している。
【図４】 watershed 法の例を示している。
【符号の説明】
１輝度ヒストグラム生成回路
２背景画像輝度レベル範囲決定回路
３動画像オブジェクト輝度レベル範囲決定回路
４メモリ
５背景画像領域抽出回路
６動画像オブジェクト画像領域抽出回路
７−１，７−２小領域除去回路
８未決定画像領域抽出回路
９エッジ画像抽出回路
10 画像領域成長回路

Claims

動画像の各画素の時間方向輝度ヒストグラムを生成する輝度ヒストグラム生成回路と、
前記輝度ヒストグラム生成回路によって生成された各画素の時間方向輝度ヒストグラムの最頻値となる輝度レベルの上下方向に存在するそれぞれの輝度レベルを、輝度ヒストグラム値がゼロになるまで探索してゼロになったレベルの手前のレベルまでを、その画素における背景の輝度レベル分布範囲として決定する背景画像輝度レベル範囲決定回路と、
前記背景画像輝度レベル範囲決定回路によって決定された背景の輝度レベル分布範囲を予め定められた拡大率で拡大し、拡大させた範囲の補集合部分の輝度レベル分布範囲を、その画素における動画像オブジェクトの輝度レベル分布範囲として決定する動画像オブジェクト輝度レベル範囲決定回路と、
各フレーム画像の画素のうち前記決定した背景の輝度レベル分布範囲に含まれる画素の集合領域を各フレーム画像の背景画像領域として抽出する背景画像領域抽出回路と、
各フレーム画像の画素のうち前記決定した動画像オブジェクトの輝度レベル分布範囲に含まれる画素の集合領域を各フレーム画像の動画像オブジェクト画像領域として抽出する動画像オブジェクト画像領域抽出回路と、
前記背景画像領域抽出回路の出力に対して数画素からなる小領域を除去する第１の小領域除去回路と、
前記動画像オブジェクト画像領域抽出回路の出力に対して数画素からなる小領域を除去する第２の小領域除去回路と、
前記第１および第２の小領域除去回路の出力中の背景画像領域および前記動画像オブジェクト画像領域のいずれの画像領域でもない未決定画像領域を抽出する未決定画像領域抽出回路と、
前記未決定画像領域抽出回路で抽出された未決定画像領域を、フレーム画像内でエッジ画像抽出回路の信号を利用してwatershed アルゴリズムを用いて前記背景画像領域および前記動画像オブジェクト画像領域を成長させることにより、前記背景画像領域または前記動画像オブジェクト画像領域のいずれかの画像領域に属させる画像領域成長回路と、
を具えてなることを特徴とする動画像オブジェクト抽出装置。