JPWO2007129591A1

JPWO2007129591A1 - 遮蔽物映像識別装置及び方法

Info

Publication number: JPWO2007129591A1
Application number: JP2008514440A
Authority: JP
Inventors: 岩村　宏; 宏岩村
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2006-05-09
Filing date: 2007-04-26
Publication date: 2009-09-17
Anticipated expiration: 2027-04-26
Also published as: WO2007129591A1; EP2017788A1; JP4913801B2; EP2017788A4; US20090180670A1; US8311269B2

Abstract

映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析し、その周波数解析結果に応じて画素単位又はブロック単位で動きレベル又はぼけレベルを算出し、そのレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する。

Description

本発明は、映像中の遮蔽物を識別する遮蔽物映像識別装置及び方法に関する。

ビデオカメラは一般ユーザに広く浸透しており、様々な行事や旅行などで多くの人が撮影を楽しんでいる。ところで、その撮影されたコンテンツをその後どうするかというと、せいぜい１回見るか見ないかでそのまましまい込んでしまう例が多く見受けられる。その主な理由の１つとして、撮影しただけではまだあくまでも「素材」であり、そのままでは観賞に適さないとういうことがある。観賞に適さない理由としては、撮影中にビデオカメラの直前を人が横切ったり、画面下部に人の頭が入り込んだりして見苦しいシーンが多く含まれていることが挙げられる。観賞に適する魅力あるコンテンツにするには、どうしても編集作業が必要になる。しかしながら、それには時間も手間もかかるため編集を諦め、結局撮りっぱなしになってしまうのである。

編集を行う場合には、先ず、最初に撮影した映像を全てチェックし、残すシーンと削除する不要シーンとを選別することが必要である。その後、必要であれば補正や加工を行い、最終的にテロップを入れたり繋ぎ目にトランジッション効果を加えたりすることが行われる。最後のテロップの挿入、及びトランジッション効果の追加の作業はクリエイティブで楽しい面も多いのだが、最初のシーン選別は、編集対象の撮影した映像全てを見る必要があり、大変時間もかかり面白みもない。そのため、この段階で嫌になって編集することを諦めてしまう場合も多い。

編集作業のうちの映像からの不要シーンの映像の選別を容易に行うためには、映像中における遮蔽物、すなわち被写体の手前を遮る物体を識別することが必要である。そのような遮蔽物として移動体を識別する従来方法としては、カメラで撮像されて得られた画像信号を記憶する画像メモリを設け、画像フレーム間での画像の動きのベクトル量（動きベクトル）を計測して動きのある移動領域を検出し、検出した移動領域のカメラ画像上の座標を実空間座標に変換し、該実空間座標に変換された物体の大きさ、縦横比または移動速度の少なくとも１つを予め複数の物体の特徴を登録したテーブルと照合し、該当する移動物体の種類を識別する方法がある（特許文献１）。

また、映像中の動きのある物体についての動きベクトルを抽出し、動き指標に基づき物体ブロックを抽出し、その統計量を求め、基準値と比較して目標移動体を判別する方法が公知である（特許文献２参照）。

更に、撮像された画像のぼけ領域を識別する方法としては、コントラスト比に応じて合焦状態が所定のレベル以下の領域についてその面積を検出し、検出した面積が所定の面積以上であればぼけ領域と判定する方法が公知である（特許文献３参照）。
特開２００２−０２７４４９号公報特開平０９−２５２４６７号公報特開２００５−１３６７２７号公報

しかしながら、かかる従来の移動物体やぼけ部分の識別方法においては、カメラの情報が必要であったり特徴点の抽出・追跡が必要であり、一般的な映像信号から十分な精度で遮蔽物を識別することができないという欠点があった。

本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、映像信号から映像中の遮蔽物を正確に識別することができる遮蔽物映像識別装置及び方法、並びに遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムを提供することが本発明の目的である。

請求項１に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を２値化する２値化手段と、フレーム毎に前記２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出手段と、前記２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、前記大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定手段と、を備えたことを特徴としている。

請求項８に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、
映像信号をフレーム毎に画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、前記ぼけレベルの算出値を２値化する２値化手段と、フレーム毎に前記２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出手段と、前記２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、前記大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定手段と、を備えたことを特徴としている。

請求項１５に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を２値化する第１の２値化手段と、フレーム毎に前記第１の２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第１の２次元連続領域検出手段と、前記第１の２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第１の大領域抽出手段と、前記第１の大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する第１の判定手段と、画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、前記ぼけレベルの算出値を２値化する第２の２値化手段と、フレーム毎に前記第２の２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第２の２次元連続領域検出手段と、前記第２の２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第２の大領域抽出手段と、前記第２の大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する第２の判定手段と、を備えたことを特徴としている。

請求項２０に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽物映像識別方法であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、前記動きレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。

請求項２１に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽物映像識別方法であって、映像信号をフレーム毎に画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出ステップと、前記ぼけレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。

請求項２２に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、前記動きレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。

請求項２３に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、映像信号をフレーム毎に画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出ステップと、前記ぼけレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。

本発明の実施例を示すブロック図である。動きレベルの算出を説明するための図である。ぼけレベルの算出を説明するための図である。動き遮蔽物が存在する映像についての判定動作の際の装置各部の状態を示す図である。カメラパン時の映像についての判定動作の際の装置各部の状態を示す図である。ぼけ遮蔽物が存在する映像についての判定動作の際の装置各部の状態を示す図である。本発明の他の実施例を示すブロック図である。本発明の実施例として動き遮蔽物判定系の構成だけを備えた遮蔽物映像識別装置を示すブロック図である。本発明の実施例としてぼけ遮蔽物判定系の構成だけを備えた遮蔽物映像識別装置を示すブロック図である。本発明の他の実施例を示すブロック図である。

符号の説明

１２Ｄ−ＤＣＴ回路
２動き遮蔽物判定系
３ぼけ遮蔽物判定系
４判定結果統合部
５検出枠拡大部

請求項１に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを動きレベル算出手段によって算出し、動きレベルの算出値を２値化した後、２次元連続領域検出手段によって２次元連続領域を検出し、更にその領域のうちの大領域を抽出して判定手段によって大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定することが行われる。また、請求項２０に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出し、動きレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１におけるその大領域を遮蔽物部分として判定することが行われる。更に、請求項２２に係る発明によれば請求項２０に係る発明の遮蔽物映像識別方法と同様の方法がコンピュータによって実行される。

よって、請求項１、２０及び２１に係る発明によれば、映像信号から映像中の動きがある遮蔽物を正確に識別することができる。

請求項１の動きレベル算出手段は、周波数解析手段と、周波数解析結果に応じて垂直方向の最高周波数成分のパワー比を動きレベルの値とする。周波数解析手段は、複数の画素からなるブロック単位でＤＣＴ（２次元離散コサイン変換）又はＤＦＴ（離散フーリエ変換）を行う。請求項１の２次元連続領域検出手段は、フレーム毎に２値化手段の出力値に対するラベリング処理を行う。

請求項１の判定手段は、大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、を備えている。

所定の条件は、２次元連続領域検出手段によって検出された１フレーム内の領域の数が所定数以下である条件を含む。

請求項８に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位でぼけレベルをぼけレベル算出手段によって算出し、ぼけレベルの算出値を２値化した後、２次元連続領域検出手段によって２次元連続領域を検出し、更にその領域のうちの大領域を抽出して判定手段によって大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定することが行われる。また、請求項２１に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位でぼけレベルを算出し、ぼけレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定することが行われる。更に、請求項２３に係る発明によれば請求項２１に係る発明の遮蔽物映像識別方法と同様の方法がコンピュータによって実行される。

よって、請求項８、２１及び２３に係る発明によれば、映像信号から映像中の非合焦の遮蔽物を正確に識別することができる。

請求項８のぼけレベル算出手段は、周波数解析手段と、周波数解析結果に応じて低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比をぼけレベルの値とする。周波数解析手段は、複数の画素からなるブロック単位でＤＣＴ又はＤＦＴを行う。請求項８の２次元連続領域検出手段は、フレーム毎に２値化手段の出力値に対するラベリング処理を行う。

請求項８の判定手段は、大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、を備えている。

所定の条件は、前記２次元連続領域検出手段によって検出された１フレーム内の領域の数が所定数以下である条件を含む。

請求項１５に係る発明によれば、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析し、その周波数解析結果に応じて画素単位又はブロック単位で動きレベルを算出し、動きレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定し、周波数解析結果に応じて画素単位又はブロック単位でぼけレベルを算出し、ぼけレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定することが行われる。よって、映像信号から映像中の動きがある遮蔽物及び非合焦の遮蔽物を共に正確に識別することができる。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は本発明による遮蔽物映像識別装置を示している。この遮蔽物映像識別装置は、２Ｄ−ＤＣＴ（２次元離散コサイン変換）回路１、動き遮蔽物判定系２、ぼけ遮蔽物判定系３、判定結果統合部４及び検出枠拡大部５を備えている。

２Ｄ−ＤＣＴ回路１には入力映像信号が供給される。入力映像信号は７２０×４８０ピクセルの解像度の映像を示すとする。２Ｄ−ＤＣＴ回路１は入力映像信号の１フレームを１６×１６ピクセルのブロックでＤＣＴ変換を行う。入力映像信号がインタレース方式の映像信号の場合には２フィールドを１フレームとする。また、プログレッシブ映像信号の場合には、１フレームの奇数フィールドとその次のフレームの偶数フィールドとを合わせて１フレームとする。奇数・偶数フィールドの組合わせは逆でも良いし、連続するフレームからではなく、数フレーム飛越して組合わせても良い。組合わせるフィールド同士の時間差が大きくなると、遅い動き物体にも反応するようになるが、その時間内の移動距離が処理ブロックの大きさを超えると逆に検出できなくなるので、通常数フレーム以内が望ましい。また、入力信号のプログレッシブ・インタレースにかかわらず、隣接フレームの奇数・偶数フィールドを組合わせるようにしても良い。こうすることにより、入力信号がプログレッシブであろうとインタレースであろうと検出できるようになる。さらに、奇数フィールド同士、偶数フィールド同士を組合わせても良い。

２Ｄ−ＤＣＴ回路１の出力に動き遮蔽物判定系２及びぼけ遮蔽物判定系３が接続されている。動き遮蔽物判定系２は、動きレベル算出部２１、２値化部２２、ラベリング部２３、大領域抽出部２４、面積比判定部２５、形状判定部２６、位置判定部２７、ラベル数判定部２８、及び総合属性判定部２９を備えている。

動きレベル算出部２１は、ＤＣＴ結果のＤＣＴ係数に応じて動き映像のブロックを検出するために動きの大きさを示す動きレベルを算出する。図３(a)に示すように、水平方向の画素数がｍ、垂直方向の画素数がｎのブロックをＤＣＴすると、図３(b)に示すように、水平方向ｕの空間周波数と垂直方向ｖの空間周波数からなる変換空間座標において動きレベルは、次式によって算出される。なお、ＤＣＴ係数はＸ_０，０〜Ｘ_{Ｎ−１，Ｎ−１}であり、Ｎ＝１６である。

２値化部２２は、動きレベル算出部２１の出力に接続され、動きレベル算出部２１によって算出された動きレベルを所定の閾値で２値化する。

ラベリング部２３は、２値化部２２の出力に接続され、２値化した動きレベルをラベリング処理する。ラベリング処理とは、２値化した動きレベルが同一値の上下左右の４方向及び斜めの４方向のいずれかにおいて隣接するブロックを１つの領域（又はグループ）とし、同一領域のブロックに同一のラベルを付加して分類することである。例えば、２値化した動きレベルが明るいブロックが隣接しているならば、その塊が１つの領域（グループ）となり、その領域内の各ブロックに同一のラベルが付加される。ラベリング部２３は領域の情報を大領域抽出部２４に出力すると共にラベルを付加した数、すなわちラベル数をラベル数判定部２８に出力する。

大領域抽出部２４はラベリング処理の結果、作成された領域のうちのその面積が所定の面積以上の大領域を抽出する。所定の面積は、例えば、１フレームの面積の１／３０の大きさである。大領域抽出部２４は最大面積の領域を大領域として抽出しても良い。大領域抽出部２４の出力に面積比判定部２５、形状判定部２６、及び位置判定部２７が接続されている。

面積比判定部２５は、フレーム毎に１フレームにおける所定の面積以上の面積の大領域の外接矩形面積と領域面積との比＝外接矩形面積／領域面積を検出し、その比が第１所定の範囲の値（例えば、０．５以上１．０未満）であるときそのフレームの面積比判定条件を満足すると判定する。形状判定部２６は、１フレームにおける所定の面積以上の面積の大領域の形状に応じてフレームの形状判定条件を満足するか否かを判定する。大領域の横幅／縦幅が第２所定の範囲の値（例えば、０．７以上７以下）であるとき形状判定条件を満たすと判定する。位置判定部２７は、１フレームにおける大領域の位置に応じてフレームの位置判定条件を満足するか否かを判定する。大領域の重心の垂直方向座標が画面全体の下方２／３の部分にあるとき位置判定条件を満足すると判定する。

ラベル数判定部２８は、ラベリング部２３で付加されたラベルの数に応じてフレームが遮蔽物検出対象である否かを判定する。ラベル数が所定数（１０）以下のときフレームが遮蔽物検出対象であると判定する。

総合属性判定部２９は、面積比判定部２５、形状判定部２６、位置判定部２７、及びラベル数判定部２８各々の出力に接続され、フレーム毎に面積比判定部２５による面積比判定結果、形状判定部２６による形状判定結果、位置判定部２７による位置判定結果、及びラベル数判定部２８によるラベル数判定結果に応じて遮蔽物の存在を判定する。すなわち、ラベル数判定部２８によって遮蔽物検出対象と判定され、かつ面積比判定条件、形状判定条件及び位置判定条件の各々が満足されているならば、総合属性判定部２９では遮蔽物が存在すると判定される。

ぼけ遮蔽物判定系３は、ぼけレベル算出部３１、２値化部３２、ラベリング部３３、大領域抽出部３４、面積比判定部３５、形状判定部３６、位置判定部３７、ラベル数判定部３８、及び総合属性判定部３９を備えている。

ぼけレベル算出部３１は、ＤＣＴ変換結果のＤＣＴ係数に応じて非合焦のブロックを検出するために非合焦の程度を示すぼけレベルを算出する。

図３(a)に示すように、水平方向の画素数がｍ、垂直方向の画素数がｎのフレームをＤＣＴ変換すると、図３(b)に示すように、水平方向ｕの空間周波数と垂直方向ｖの空間周波数からなる変換空間座標において低域のＤＣＴ係数パワーを

とすると、ぼけレベルは、次式によって算出される。

かかる算出式から分かるように、ぼけレベルは低域のＤＣＴ係数パワーとそれを除く高域のＤＣＴ係数パワーとの比で表されているので、ブロックが非合焦であるほど大きな値となる。

２値化部３２、ラベリング部３３、大領域抽出部３４、面積比判定部３５、形状判定部３６、位置判定部３７、ラベル数判定部３８、及び総合属性判定部３９は、上記の動き遮蔽物判定系２の２値化部２２、ラベリング部２３、大領域抽出部２４、面積比判定部２５、形状判定部２６、位置判定部２７、ラベル数判定部２８、及び総合属性判定部２９と同一である。

２値化部３２は、ぼけレベル算出部３１の出力に接続され、ぼけレベル算出部３１によって算出されたぼけレベルを所定の閾値で２値化する。ラベリング部３３は、２値化部３２の出力に接続され、２値化したぼけレベルをラベリング処理する。大領域抽出部３４はラベリング処理の結果、作成された領域のうちのその面積が所定の面積以上の大領域を抽出する。面積比判定部３５は、フレーム毎に面積比判定条件を満足するか否かと判定する。形状判定部３６は、フレーム毎に形状判定条件を満足するか否かと判定する。位置判定部３７は、１フレーム毎に位置判定条件を満足するか否かを判定する。ラベル数判定部３８は、ラベリング部３３で付加されたラベルの数に応じてフレームが遮蔽物検出対象である否かを判定する。総合属性判定部３９は面積比判定部２５、形状判定部２６、位置判定部２７、及びラベル数判定部２８各々の判別結果に応じて遮蔽物の存在を判定する。

総合属性判定部２９及び３９の出力に判定結果統合部４が接続されている。判定結果統合部４は総合属性判定部２９及び３９のいずれか一方によって１つのフレームについて遮蔽物の存在が判別されたときそのフレームには遮蔽物が存在すると判定する。

検出枠拡大部５は、遮蔽物が存在すると判定されたフレームの前後のフレームを遮蔽物存在フレームと判定する。

かかる構成の遮蔽物映像識別装置においては、先ず、入力映像信号の１フレームのソース映像に図４(a)に示すよう、被写体の前を遮るように右側から人が入り込んできた場合について説明する。このような１フレームの映像に対して動きレベル算出部２１ではブロック毎に動きレベルが算出される。図４(b)は２値化器２２によって２値化された動きレベルの算出値を示している。黒の部分が動き部分である。この２値化後の映像はラベリング部２３によってラベリング処理される。ラベリング処理では、図４(b)の黒の部分のブロックのうちの上下左右の４方向及び斜めの４方向のいずれかにおいて隣接するブロックが１つの領域とされる。図４(c)はラベリング処理の結果を示している。この例ではラベル数は５(Label #1〜#5)である。ラベリング部２３では複数の領域が検出された場合にはその複数の領域のうちから大領域が大領域抽出部２４によって抽出される。図４(c)のラベリング処理の結果に対して図４(d)に示すように、図４(a)の右側の動きのある人物に対応した領域が大領域として抽出される。その抽出領域は、面積比判定部２５、形状判定部２６、位置判定部２７、及びラベル数判定部２８各々の判定条件を満足すれば、総合属性判定部２９によって図４(e)に示すように、動きのある遮蔽物として検出される。すなわち、現フレームは動きのある遮蔽物が含まれたフレームと判定される。よって、被写体の前を横切る人が含まれるような映像を識別することができる。

この例のようにカメラ前を人が横切った場合、突然入ってくるのであるから比較的速いスピードで移動しており、動きのある２次元連続領域として検出される。また、被写体とカメラの間を横切るのであるから当然その２次元連続領域面積は大きい。従って、上記の処理によって「カメラ前を横切った人」が検出される。被写体の後方を通った場合は、動き領域が被写体によって分断されるため、大きな連続領域とはならない。遠くを動く物体も同様である。また誤検出を防ぐため「領域属性判定」で、画面上部に重心がある領域、極端に横長な領域（＝人間らしくない）、重心が画面中央にある（＝被写体の可能性が高い）場合は検出しないなどの条件を設定することにより、「カメラ前を人が横切った場合」を精度良く検出することができる。「領域属性判定」は、その領域の支配色や明度なども条件に加えることもできる。

カメラが動いた場合、画面全体に渡って動き領域が存在してしまうことがあるが、これも「領域属性判定」で、ほぼ画面全体が一つの領域として検出された場合、領域数がある閾値以上ある（＝小さな領域が画面全体に散らばっている）場合は検出しないなどの条件を設定することにより、カメラワークによる動きと遮蔽物による動きを区別することもできる。カメラワークとの区別は、カメラワーク検出を別に行って、その結果を参照するようにしても良い。

ビデオカメラがパンしたことにより、図５(a)に示すように、動きのある人物や物体が多数存在するソース映像となった場合には、動きレベルの算出値は画面全体で大きくなり、２値化器２２によって２値化された動きレベルは図５(b)のようになる。更に、図５(c)はラベリング処理の結果を示しており、検出された領域数（＝ラベル数、Label #1〜#50）が多いことが分かる。この多数の領域から最大面積の領域が図５(d)に示すように抽出されても、ラベル数が所定数より多いので、ラベル数判定部２８がその大領域を遮蔽物検出対象とは判定しない。よって、ビデオカメラがパンしたときの映像では、図５(e)に示すように動きのある遮蔽物が含まれたフレームとしては判定されない。

一方、入力映像信号の１フレームのソース映像に図６(a)に示すよう、左下部に非合焦の人の頭が存在する場合には、ぼけレベル算出部３１ではブロック毎にぼけレベルが算出される。図６(b)は２値化器３２によって２値化されたぼけレベルの算出値を示している。黒の部分がぼけ部分である。この２値化後の映像はラベリング部３３によってラベリング処理される。ラベリング処理では、図６(b)の黒の部分のブロックのうちの上下左右の４方向及び斜めの４方向のいずれかにおいて隣接するブロックが１つの領域とされる。図６(c)はラベリング処理の結果を示している。この例ではラベル数は８(Label #1〜#8)である。その複数の領域のうちから大領域が大領域抽出部２４によって図６(d)に示すように抽出される。その抽出領域は、面積比判定部３５、形状判定部３６、位置判定部３７、及びラベル数判定部３８各々の判定条件を満足すれば、総合属性判定部２９によって図６(e)に示すように、ぼけ遮蔽物として検出される。すなわち、現フレームはぼけ遮蔽物が含まれたフレームと判定される。よって、被写体の前を人の頭が遮るような映像を識別することができる。

この例のように画面下部に頭が入り込んだ場合、その場合の「頭」はピントの合ってないボケた比較的大きい２次元連続領域であるので、上記の処理によって「頭」が検出される。ボケレベル検出を周波数解析によって行った場合は、例えば空などの平坦部もボケ領域として誤検出されてしまうことがあるが、「領域属性判定」で画面上部に重心がある領域、極端に横長な領域（＝人間らしくない）は検出しないなどの条件を設定することにより、「頭が入り込んだ場合」を精度良く検出することができる。「領域属性判定」は、その領域の支配色や明度なども条件に加えることもできる。

また、カメラが動いた場合に画面全体がボケたりすることがあるが、これも「領域属性判定」で、ほぼ画面全体が一つの領域として検出された場合、領域数がある閾値以上ある（＝小さな領域が画面全体に散らばっている）場合は検出しないなどの条件を設定することにより、カメラワークによるボケと遮蔽物によるボケを区別することもできる。カメラワークとの区別は、カメラワーク検出を別に行って、その結果を参照するようにしても良い。

このように遮蔽物が存在するフレームが判定されると、その判定されたフレームとその前後のフレームとが遮蔽物存在フレームとして検出枠拡大部５によって判定される。

なお、上記した実施例においては、２Ｄ−ＤＣＴ回路１によって映像信号を周波数解析し、その周波数解析した結果を用いて動きレベル及びぼけレベルを算出しているが、図７に示すように、映像信号を動きレベル算出部２１及びぼけレベル算出部３１に直接供給して映像信号に応じて動きレベル及びぼけレベルを別々の方法で算出しても良い。すなわち、動きレベル算出部２１による動きレベル算出方法及びぼけレベル算出部３１によるぼけレベル算出方法は上記した実施例に限定されない。

また、上記した実施例においては、動き遮蔽物判定系２とぼけ遮蔽物判定系３とが備えられ、判定結果統合部４においてその判定結果の論理和をとっているが、動き遮蔽物判定系２及びぼけ遮蔽物判定系３のうちのいずれか一方だけを備えても良い。すなわち、図８に示すように上記の動き遮蔽物判定系２の構成だけを備えた遮蔽物映像識別装置としても良いし、図９に示すように上記のぼけ遮蔽物判定系３の構成だけを備えた遮蔽物映像識別装置としても良い。

また、ぼけ遮蔽物判定系は、例えば、図１０に示すように、検出枠拡大部５の出力信号を総合属性判定部３９に入力する構成にすることにより、動き遮蔽物判定系で遮蔽物が検出された周辺ブロックのみや、動き遮蔽物判定系で遮蔽物が検出された後一定時間内に検出された場合だけぼけ遮蔽物判定し続けるようにしても良い。こうすることで、被写体の前を横切りそのままその場に留まってしまった遮蔽物を精度良く認識し、他のぼけ領域を遮蔽物として誤認識するのを避けることができる。

上記した実施例においては、面積比判定部２５（３５）、形状判定部２６（３６）及び位置判定部２７（３７）の各々の判定条件を全て満足しなければ、遮蔽物としての判定が決定されないが、その全ての判定条件のうちの少なくとも１の判定条件を満足すれば、大領域が遮蔽物部分と判定しても良い。また、ラベル数判定部２８（３８）のラベル数の判定はなくても良い。

また、上記した実施例においては、２Ｄ−ＤＣＴ回路１によって映像信号をＤＣＴしているが、変換方式としてはＤＣＴではなく、ＤＦＴ（離散フーリエ変換）を用いても良い。

更に、上記した実施例においては、遮蔽物の判定のために映像信号を１フレーム毎にブロック単位で処理したが、映像信号を１フレーム毎に画素単位で処理しても良い。また、ブロックとしては１６画素×１６画素に限らず、８画素×８画素等の画素数でも良い。

また、動きレベルの算出方法及びぼけレベルの算出方法について上記した実施例に限定されない。動きレベルとしてはMPEG符号化で用いられるような、ブロックマッチングによる動きベクトルから算出しても良いし、オプティカルフローから求めても良い。ぼけレベルは、ブロック単位のコントラストから求めても良い。

上記した動き遮蔽物判定系２及びぼけ遮蔽物判定系３を個別の又は単一のコンピュータによって構成しても良い。すなわち、動き遮蔽物判定系２の各部の行程を実行するコンピュータ読取可能なプログラム及びぼけ遮蔽物判定系３の各部の行程を実行するコンピュータ読取可能なプログラムをメモリに保存しておき、そのプログラムをコンピュータが実行することにより動き遮蔽物判定系２及びぼけ遮蔽物判定系３の各部の機能を達成させるのである。

以上の如く、本発明によれば、映像信号から映像中の動きがある遮蔽物及び非合焦の遮蔽物を共に正確に識別することができ、編集作業の際に映像からの不要シーンの映像の選別を容易に行うことができる。

請求項１に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を２値化する２値化手段と、フレーム毎に前記２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出手段と、前記２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、前記大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、前記大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも１が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定手段と、を備えたことを特徴としている。

請求項７に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段と、前記周波数解析手段による周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出手段と、前記ぼけレベルの算出値を２値化する２値化手段と、フレーム毎に前記２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出手段と、前記２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、前記大領域抽出手段によって抽出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定手段と、を備えたことを特徴としている。

請求項１３に係る発明の遮蔽物映像識別装置は、映像中の遮蔽物を識別する遮蔽物映像識別装置であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、前記動きレベルの算出値を２値化する第１の２値化手段と、フレーム毎に前記第１の２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第１の２次元連続領域検出手段と、前記第１の２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第１の大領域抽出手段と、前記第１の大領域抽出手段によって抽出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する第１の判定手段と、画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、前記ぼけレベルの算出値を２値化する第２の２値化手段と、フレーム毎に前記第２の２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第２の２次元連続領域検出手段と、前記第２の２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第２の大領域抽出手段と、前記第２の大領域抽出手段によって抽出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する第２の判定手段と、を備え、前記ぼけレベル算出手段は、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段を有し、前記周波数解析手段による周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を前記ぼけレベルの算出値とすることを特徴としている。

請求項１８に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽物映像識別方法であって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、前記動きレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定ステップと、前記大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定ステップと、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定ステップと、前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも１が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定ステップと、を備えたことを特徴としている。

請求項１９に係る発明の遮蔽物映像識別方法は、映像中の遮蔽物を識別する遮蔽物映像識別方法であって、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析ステップと、前記周波数解析ステップによる周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出ステップと、前記ぼけレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて抽出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。

請求項２０に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、前記動きレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定ステップと、前記大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定ステップと、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定ステップと、前記面積比判定条件、前記形状判定条件及び前記位置判定条件のうちの少なくとも１が満足されたとき前記大領域を遮蔽物部分として判定する遮蔽物判定ステップと、を備えたことを特徴としている。

請求項２１に係る発明のプログラムは、映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析ステップと、前記周波数解析ステップによる周波数解析結果に応じて画素単位又はブロック単位で低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を映像のぼけレベルの算出値とするぼけレベル算出ステップと、前記ぼけレベルの算出値を２値化する２値化ステップと、フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、前記大領域抽出ステップにおいて抽出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴としている。

請求項１に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを動きレベル算出手段によって算出し、動きレベルの算出値を２値化した後、２次元連続領域検出手段によって２次元連続領域を検出し、更にその領域のうちの大領域を抽出して面積比判定部によってその大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定し、形状判定部によって大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定し、位置判定部によって大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定し、遮蔽物判定手段によって面積比判定条件、形状判定条件及び位置判定条件のうちの少なくとも１が満足されたときその大領域を遮蔽物部分として判定することが行われる。また、請求項１８に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出し、動きレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出してその大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定し、大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定し、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定し、面積比判定条件、形状判定条件及び位置判定条件のうちの少なくとも１が満足されたときその大領域を遮蔽物部分として判定することが行われる。更に、請求項２０に係る発明によれば請求項１８に係る発明の遮蔽物映像識別方法と同様の方法がコンピュータによって実行される。

よって、請求項１、１８及び２０に係る発明によれば、映像信号から映像中の動きがある遮蔽物を正確に識別することができる。

請求項１の動きレベル算出手段は、周波数解析手段の周波数解析結果に応じて垂直方向の最高周波数成分のパワーと、直流成分を除いた全成分のパワーの和との比を動きレベルの値とする。周波数解析手段は、複数の画素からなるブロック単位でＤＣＴ（２次元離散コサイン変換）又はＤＦＴ（離散フーリエ変換）を行う。請求項１の２次元連続領域検出手段は、フレーム毎に２値化手段の出力値に対するラベリング処理を行う。

請求項７に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位でぼけレベルをぼけレベル算出手段によって算出し、ぼけレベルの算出値を２値化した後、２次元連続領域検出手段によって２次元連続領域を検出し、更にその領域のうちの大領域を抽出して判定手段によって大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定することが行われる。また、請求項１９に係る発明によれば、映像信号をフレーム毎に画素単位又はブロック単位でぼけレベルを算出し、ぼけレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定することが行われる。更に、請求項２１に係る発明によれば請求項１９に係る発明の遮蔽物映像識別方法と同様の方法がコンピュータによって実行される。

よって、請求項７、１９及び２１に係る発明によれば、映像信号から映像中の非合焦の遮蔽物を正確に識別することができる。

請求項７のぼけレベル算出手段は、周波数解析手段と、周波数解析結果に応じて低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比をぼけレベルの値とする。周波数解析手段は、複数の画素からなるブロック単位でＤＣＴ又はＤＦＴを行う。請求項７の２次元連続領域検出手段は、フレーム毎に２値化手段の出力値に対するラベリング処理を行う。

請求項７の判定手段は、大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、を備えている。

請求項１３に係る発明によれば、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析し、その周波数解析結果に応じて画素単位又はブロック単位で動きレベルを算出し、動きレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定し、周波数解析結果に応じて画素単位又はブロック単位でぼけレベルを算出し、ぼけレベルの算出値を２値化した後、２次元連続領域を検出し、更にその領域のうちの大領域を抽出して大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定することが行われる。よって、映像信号から映像中の動きがある遮蔽物及び非合焦の遮蔽物を共に正確に識別することができる。

動きレベル算出部２１は、ＤＣＴ結果のＤＣＴ係数に応じて動き映像のブロックを検出するために動きの大きさを示す動きレベルを算出する。図２(a)に示すように、水平方向の画素数がｍ、垂直方向の画素数がｎのブロックをＤＣＴすると、図２(b)に示すように、水平方向ｕの空間周波数と垂直方向ｖの空間周波数からなる変換空間座標において動きレベルは、次式によって算出される。なお、ＤＣＴ係数はＸ_０，０〜Ｘ_{Ｎ−１，Ｎ−１}であり、Ｎ＝１６である。

２値化部３２は、ぼけレベル算出部３１の出力に接続され、ぼけレベル算出部３１によって算出されたぼけレベルを所定の閾値で２値化する。ラベリング部３３は、２値化部３２の出力に接続され、２値化したぼけレベルをラベリング処理する。大領域抽出部３４はラベリング処理の結果、作成された領域のうちのその面積が所定の面積以上の大領域を抽出する。面積比判定部３５は、フレーム毎に面積比判定条件を満足するか否かと判定する。形状判定部３６は、フレーム毎に形状判定条件を満足するか否かと判定する。位置判定部３７は、１フレーム毎に位置判定条件を満足するか否かを判定する。ラベル数判定部３８は、ラベリング部３３で付加されたラベルの数に応じてフレームが遮蔽物検出対象である否かを判定する。総合属性判定部３９は面積比判定部３５、形状判定部３６、位置判定部３７、及びラベル数判定部３８各々の判別結果に応じて遮蔽物の存在を判定する。

Claims

映像中の遮蔽物を識別する遮蔽物映像識別装置であって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、
前記動きレベルの算出値を２値化する２値化手段と、
フレーム毎に前記２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出手段と、
前記２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、
前記大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定手段と、を備えたことを特徴とする遮蔽物映像識別装置。
前記動きレベル算出手段は、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段を有し、前記周波数解析手段による周波数解析結果に応じて垂直方向の最高周波数成分のパワー比を前記動きレベルの値とすることを特徴とする請求項１記載の遮蔽物映像識別装置。
前記周波数解析手段は、複数の画素からなるブロック単位でＤＣＴ（２次元離散コサイン変換）又はＤＦＴ（離散フーリエ変換）を行うことを特徴とする請求項１記載の遮蔽物映像識別装置。
前記２次元連続領域検出手段は、フレーム毎に前記２値化手段の出力値に対するラベリング処理を行うことを特徴とする請求項１記載の遮蔽物映像識別装置。
前記判定手段は、前記大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、前記大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、を備えたことを特徴とする請求項１記載の遮蔽物映像識別装置。
前記所定の条件は、前記２次元連続領域検出手段によって検出された１フレーム内の領域の数が所定数以下である条件を含むことを特徴とする請求項１記載の遮蔽物映像識別装置。
前記判定手段によって前記大領域が遮蔽物部分であると判定されたフレームと、その前後の所定フレーム区間とを、遮蔽物部分が存在する区間であると判定する検出枠拡大手段を有することを特徴とする請求項１記載の遮蔽物映像識別装置。
映像中の遮蔽物を識別する遮蔽物映像識別装置であって、
映像信号をフレーム毎に画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、
前記ぼけレベルの算出値を２値化する２値化手段と、
フレーム毎に前記２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出手段と、
前記２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出手段と、
前記大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定手段と、を備えたことを特徴とする遮蔽物映像識別装置。
前記ぼけレベル算出手段は、映像信号をフレーム毎に画素単位又は複数の画素からなるブロック単位で周波数解析する周波数解析手段を有し、前記周波数解析手段による周波数解析結果に応じて低域の周波数成分パワーとそれを除く高域の周波数成分パワーとの比を前記ぼけレベルの値とすることを特徴とする請求項８記載の遮蔽物映像識別装置。
前記周波数解析手段は、複数の画素からなるブロック単位でＤＣＴ又はＤＦＴを行うことを特徴とする請求項８記載の遮蔽物映像識別装置。
前記２次元連続領域検出手段は、フレーム毎に前記２値化手段の出力値に対するラベリング処理を行うことを特徴とする請求項８記載の遮蔽物映像識別装置。
前記判定手段は、前記大領域の外接矩形面積と領域面積との比が第１所定の範囲の値であるとき面積比判定条件を満足すると判定する面積比判定部と、前記大領域の横幅と縦幅との比が第２所定の範囲の値であるとき形状判定条件を満たすと判定する形状判定部と、前記大領域の重心の垂直方向座標が画面全体の所定の下方部分にあるとき位置判定条件を満足すると判定する位置判定部と、を備えたことを特徴とする請求項８記載の遮蔽物映像識別装置。
前記所定の条件は、前記２次元連続領域検出手段によって検出された１フレーム内の領域の数が所定数以下である条件を含むことを特徴とする請求項８記載の遮蔽物映像識別装置。
前記判定手段によって前記大領域が遮蔽物部分であると判定されたフレームと、その前後の所定フレーム区間とを、遮蔽物部分が存在する区間であると判定する検出枠拡大手段を有することを特徴とする請求項８記載の遮蔽物映像識別装置。
映像中の遮蔽物を識別する遮蔽物映像識別装置であって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出手段と、
前記動きレベルの算出値を２値化する第１の２値化手段と、
フレーム毎に前記第１の２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第１の２次元連続領域検出手段と、
前記第１の２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第１の大領域抽出手段と、
前記第１の大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する第１の判定手段と、
画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出手段と、
前記ぼけレベルの算出値を２値化する第２の２値化手段と、
フレーム毎に前記第２の２値化手段の出力値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する第２の２次元連続領域検出手段と、
前記第２の２次元連続領域検出手段によって検出された領域のうちで所定の面積以上の領域を大領域として抽出する第２の大領域抽出手段と、
前記第２の大領域抽出手段によって検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する第２の判定手段と、を備えたことを特徴とする遮蔽物映像識別装置。
前記第１の判定手段の判定結果と前記第２の判定手段の判定結果を元に、所定の条件を満たしたときを最終判定結果とする判定結果統合手段を有することを特徴とする請求項１５記載の遮蔽物映像識別装置。
上記判定結果統合手段は、前記第１の判定手段の判定結果と、前記第２の判定手段の判定結果との論理和をとることを特徴とする請求項１５記載の遮蔽物映像識別装置。
前記判定結果統合手段によって遮蔽物部分であると判定されたフレームと、その前後の所定フレーム区間とを、遮蔽物部分が存在する区間であると判定する検出枠拡大手段を有することを特徴とする請求項１５記載の遮蔽物映像識別装置
前記第２の判定手段は、上記検出枠拡大手段で拡大された検出枠区間のみ、遮蔽物部分として判定することを特徴とする請求項１５記載の遮蔽物映像識別装置。
映像中の遮蔽物を識別する遮蔽物映像識別方法であって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、
前記動きレベルの算出値を２値化する２値化ステップと、
フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、
前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴とする遮蔽物映像識別方法。
映像中の遮蔽物を識別する遮蔽物映像識別方法であって、
映像信号をフレーム毎に画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出ステップと、
前記ぼけレベルの算出値を２値化する２値化ステップと、
フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、
前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴とする遮蔽物映像識別方法。
映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、
映像信号をフレーム毎に画素単位又はブロック単位で動きレベルを算出する動きレベル算出ステップと、
前記動きレベルの算出値を２値化する２値化ステップと、
フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、
前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴とするプログラム。
映像中の遮蔽物を識別する遮蔽物映像識別方法を実行するコンピュータ読取可能なプログラムであって、
映像信号をフレーム毎に画素単位又はブロック単位で映像のぼけレベルを算出するぼけレベル算出ステップと、
前記ぼけレベルの算出値を２値化する２値化ステップと、
フレーム毎に前記２値化ステップにおいて２値化された値が同一値をとった画素又はブロック間で隣接した連続的な領域を検出する２次元連続領域検出ステップと、
前記２次元連続領域検出ステップにおいて検出された領域のうちで所定の面積以上の領域を大領域として抽出する大領域抽出ステップと、
前記大領域抽出ステップにおいて検出された大領域における面積比、形状及び位置の少なくとも１に基づいてその大領域を遮蔽物部分として判定する判定ステップと、を備えたことを特徴とするプログラム。