JP4036321B2 - 映像の検索装置および検索プログラム - Google Patents
映像の検索装置および検索プログラム Download PDFInfo
- Publication number
- JP4036321B2 JP4036321B2 JP2002065913A JP2002065913A JP4036321B2 JP 4036321 B2 JP4036321 B2 JP 4036321B2 JP 2002065913 A JP2002065913 A JP 2002065913A JP 2002065913 A JP2002065913 A JP 2002065913A JP 4036321 B2 JP4036321 B2 JP 4036321B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- video
- image
- color distribution
- specific color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は映像の検索装置に関し、特に、映像データまたは動画像データからアナウンサ等の人物検出を効率的に行うことができる映像の検索装置および検索プログラムに関する。
【０００２】
【従来の技術】
例えば、ニュース映像からアナウンサ画面を自動検出する従来例を、図１０を参照して説明する。図において、映像入力部１２は、制御部１０からの制御により、ニュース映像などの映像データを蓄積装置１１から順次取り出してセグメント検出部１３に入力させる。セグメント検出部１３は、入力映像のシーンの切り替わりを検出し、切り替わり点の画面データとその時刻をセグメント相関部１４に出力する。
【０００３】
セグメント相関部１４は、セグメント先頭画面間の相関値を測定する。相関値の測定方法としては、画面間の色ヒストグラムの相関値測定を行うなどの方法があり、特開平０８−２４９４６７号公報に記されている発明「類似画像の検索装置および方法」を用いることができる。この方法は、図１２に示されているように、第１セグメントをキー画像として、第１セグメントと第２〜第ｎセグメント間のセグメント先頭画面間の相関測定を行い、次に第２セグメントと第３〜第ｎセグメント間の相関測定を行い、以下、第３セグメントと第４〜第ｎセグメント間の相関測定、・・・、第（ｎ−１）セグメントと第ｎセグメントの相関測定を行う。そして、相関値が所定値以上のセグメント数をカウントする。
【０００４】
これらセグメント相関情報は、人物画像決定部１５に入力される。人物画像決定部１５は、カウントされたセグメント数が最も大きいセグメントをアナウンサセグメントと決定する。
【０００５】
【発明が解決しようとする課題】
上記の従来技術では、限られた時間の映像に存在する全てのセグメント間の相関値を測定することは可能である。しかし、長時間の映像の場合には、セグメント数が膨大になり、全てのセグメント間の相関を測定することは非常に困難でかつ大量の処理時間を要する。
【０００６】
本発明の目的は、前記した従来技術の課題を解消し、入力映像中の人物を効率的に検出する映像の検索装置および検索プログラムを提供することにある。また、他の目的は、長時間映像からも、効果的にアナウンサなどの人物を検出できる映像の検索装置および検索プログラムを提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、映像データを入力する手段と、該映像データからセグメントを分割する手段と、該分割されたセグメント内の動き情報を抽出する手段と、該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、前記特定色分布を検出されたセグメントを人物画像が存在するセグメントと判定する人物画像判定手段とを具備し、前記映像データから人物検出を行うようにした点、または前記の各手段を、コンピュータで機能させるようにした点に第１の特徴がある。
【０００８】
この特徴によれば、映像中のアナウンサなどの人物を効率的に検出することが可能になり、また、長時間映像からも効果的に検出することができるようになる。
【０００９】
また、本発明は、前記映像の検索装置に、さらに、セグメント長測定処理、テロップ検出処理、小領域色変化測定処理をそれぞれ追加するようにした点に、第２、第３、第４の特徴がある。該第２の特徴によれば、映像中からの人物検出を高速化でき、また該第３，第４の特徴によれば、映像中からの人物検出精度を向上することができる。
【００１０】
さらに、本発明は、特定の時間内の映像を記録する手段と、該記録された映像を映像データとし、前記映像の検索装置のいずれかを用いて検出された人物画像間の相関を測定する手段と、該相関の測定結果を用いて特定の人物画像群を選択する手段とを具備した点に第５の特徴がある。この特徴によれば、比較的短い特定時間の蓄積映像データから、短時間にかつ高精度で、人物画像の検出を行えるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。
【００１２】
図１において、蓄積装置１１には、長時間の映像、例えばユーザが不在中に記録した１日あるいは半日のテレビ映像（映像データ）が蓄積されているとする。映像入力部１２は、制御部１０からの制御によりニュース映像などを含む映像データを蓄積装置１１から順次取り出してセグメント検出部１３に入力させる。
【００１３】
セグメント検出部１３は、入力映像のシーンの切り替えを検出する。セグメント切り替えとしてはビデオシーンの切り替わりを示すショット切替やオーディオシーンの切り替わりを用いることができる。前者については、本出願人による発明である「動画像のカット画面検出方法」（特開平１０−２２４７４１号公報）などを利用することができる。また、後者については、本出願人による発明である「オーディオ情報分類装置」（特開平１０−２４７０９３号公報）等を利用することができる。
【００１４】
例えば、無音から有音に切り替わった時刻や無音を含む非音声から音声に切り替わった時刻を検出することができる。また、ビデオのカット点とオーディオのシーン切り替えを組み合わせても良い。例えば、ビデオカット点後に検出されたオーディオシーン切り替わり点をセグメント切り替わり点としてもよい。セグメント検出部１３で検出されたセグメント切り替わり点の時刻と映像データは動き抽出部１７に入力され、各セグメントの動き情報が抽出される。
【００１５】
動き情報としては、セグメント先頭画面と次の画面の画面間差分値を用いることができる。画面間差分値としては、たとえば輝度値の画面間絶対差分和を用いることができる。また、セグメント内の特定の連続する画面間や特定の画面間の差分値を用いてもよい。
【００１６】
動き情報抽出の変形例としては、ある特定の２画面における画面間差分値のほかに、セグメント内の画面間差分値の平均や偏差を用いることができる。この場合、ある特定の画面間差分値が小さい場合に、セグメント内の画面間差分値の平均や偏差を求めてセグメント内の動き情報とすることができる。さらに画面間差分値としては、画面内全体の画面間差分値を用いるほかに画面内の特定の領域の画面間差分値を用いることもできる。たとえば、画面を縦３分割、横３分割し、そのうちのある領域のみを用いて画面間差分を測定することも可能である。
【００１７】
これらの動き情報は特定色分布検出部１８に入力される。特定色分布検出部１８ではセグメント内の特定色分布を検出する。特定色分布の検出方法としては、特定色分布画像とセグメント内の特定の画像との相関値を測定して検出することができる。たとえば、セグメント先頭画像と特定色分布画像を比較して相関値を求め、相関値の高い場合に特定色分布が存在するものと判定することができる。相関値の測定の仕方としては、画面の色成分のヒストグラムを生成し、画面間のヒストグラムを比較して測定することができる。ヒストグラムの比較方法としては、画面間ヒストグラム絶対差分和を用いることができる。またこの変形例として、色成分の画面間絶対差分和を用いることも可能である。
【００１８】
これらの相関測定は、測定位置を限定することにより検出精度を向上させることができる。たとえば、ニュース番組におけるアナウンサは上半身だけが画面に現れるため、顔の高さは中央より上に現れる。このため、特定色分布画像と入力画像を比較する場合、入力画像の特定位置で比較することによって、人物の検出精度と検出速度を向上させることができる。
【００１９】
さらに、入力画像のいくつかの位置の中で、特定色分布画像と最も相関が高くなる位置における相関値を用いることにより、人物画像検出精度をさらに向上させることができる。たとえば、特定色分布画像を特定位置を中心として上下左右に移動した位置で、入力画像と相関値測定を行うことができる。特定位置の中心は、いくつかのＴＶニュースで出現するアナウンサセグメントの顔の肌色部分の中心または重心の位置の平均値を用いることができる。また、移動させる領域については、前述した複数の顔領域の中心または重心位置の標準備差などを用いたり、一定の画素数を元に窓領域を設定して移動させることも可能である。
【００２０】
なお、特定色分布画像としては、複数の人物の顔の色分布を平均したものを利用することができる。あるいは、特定の顔画像を色分布画像として用いることも可能である。
【００２１】
これらの画像として、入力画像を実倍したものを用いることも可能であるが、縮小画像を用いることも可能である。縮小画像ではデータ数が少なくなるため、処理速度を向上させることが可能になる。縮小画像の取得の仕方としては、画素データを周期的に間引く方法などを用いることが可能である。また、ＤＣＴやウェーブレット（Wavelet）などの周波数変換を行い、低周波成分のみを抽出することにより容易に縮小画像を生成することが可能である。
【００２２】
また、ＭＰＥＧなどの圧縮された動画像の場合、縮小画像は低周波画像を用いて高速に取得することができる。たとえば、本出願人による発明「動画像のカット点画像検出装置」（特開平９−８３８６４号公報）では、ＭＰＥＧデータからＤＣ成分のみを取得して各画面の縮小画像を生成している。ＤＣ成分の抽出はＭＰＥＧデータの部分復号で得ることが可能なため、圧縮画像から高速な画像検索を行うことが可能となる。
【００２３】
さらに、高速化を行うために特定の画面のみを用いることも可能である。たとえばＭＰＥＧでは画面内符号化画像（Ｉ−ピクチャ）が０．５秒から１秒間隔で挿入されているため、画面内符号化画像のみを用いることも可能である。この画面は前後の画面と独立して符号化されているため、この画面の情報のみを用いて容易に縮小画像を生成することが可能である。
【００２４】
また、画面間符号化画像を用いる場合、該画面間符号化画像を、画面内符号化画像の低周波成分を用いて生成した縮小画像と、画面間符号化画像で得られる動き情報を用いて縮小された縮小画像間とから生成することが可能である。この場合、縮小画像サイズに合わせて動きベクトルサイズを変換し、変換した動きベクトルを用いて縮小された画面内符号化画像に対して動き補償予測を行って、縮小画像上で画面間符号化画像の予測画像を生成する。さらに、画面間符号化画像データとして得られる予測誤差情報からＤＣ成分を抽出し、このＤＣ成分を先の予測画像と加えることによって、画面間符号化画像の縮小画像を得ることができる。
【００２５】
前記特定色分布検出部１８で得られた特定色分布情報は前記動き情報と共に、人物画像決定部１５に入力される。人物画像決定部１５では、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定する。セグメント内の動きは、前述した特定の２画面の画面間差分が閾値よりも小さい場合に、動きが小さいと判定することができる。また、特定色分布画像との相関が閾値以上の入力画像が存在する場合に、セグメント内に特定色分布画像が存在すると決定することができる。
【００２６】
図２は、第１の実施形態の動作の一例を示すフローチャートである。この実施形態では、ステップＳ１で蓄積装置１１から映像が入力される。ステップＳ２では、入力された映像はセグメント検出され、ステップＳ３に進んで、セグメント内の動き情報が抽出される。ステップＳ４では、該動き情報からセグメント内の動き量が求められ、該動き量がある閾値Ｔｈ１より小さい場合のみ、ステップＳ５に進んで特定色分布検出を行う。該動き量が該閾値Ｔｈ１以上の場合にはステップＳ５に進むことなくステップＳ１に戻り、次の映像が入力される。
【００２７】
ステップＳ５で、特定色分布が検出された場合は、結果を前記人物画像決定部１５に出力して次の画像を入力させるが。特定色分布が検出されなかった場合は、ステップＳ１に戻って次の映像が入力される。
【００２８】
以上のように、この実施形態によれば、前記動き抽出部１７と特定色分布検出部１８とを設け、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定するようにしたので、映像中の人物を効率的に検出することが可能になる。また、前記ステップＳ４の処理を設けて、セグメント内の動きが小さい場合のみ特定色分布を検出する処理を行うようにすると、ステップＳ４の判断をしない場合に比べて短時間で人物検出処理を行うことが可能となる。
【００２９】
次に、本発明の第２の実施形態を、図３のブロック図を参照して説明する。なお、図３において、図１と同一または同等物には、同じ符号が付けられている。
【００３０】
この実施形態が、前記第１の実施形態と違う所は、前記セグメント検出部１３の後段にセグメント長測定部１９が入っていることである。
【００３１】
図４は、本実施形態の概略の動作の一例を示すフローチャートである。この実施形態では、前記セグメント長測定部１９でセグメント長を測定し、該セグメント長が予め定められた第２の閾値Ｔｈ２より大きければ（ステップＳ１１が肯定）人物が存在すると仮判定して、次のステップＳ３の処理に進む。しかしながら、該セグメント長が前記第２の閾値Ｔｈ２以下の場合には、映像中に人物が存在しないと判定して、ステップＳ１に戻り、次の映像を入力する。
【００３２】
この結果、この実施形態は、前記第１実施形態より、より短時間に人物検出処理を行うことが可能となる。
【００３３】
次に、本発明の第３の実施形態を、図５のブロック図を参照して説明する。なお、図５において、図１、図３と同一または同等物には、同じ符号が付けられている。
【００３４】
この実施形態が、前記第２の実施形態と違う所は、前記特定色分布検出部１８の後段にテロップ検出部２０が入っていることである。テロップ検出方法としては、本出願人による発明「動画像内のテロップ領域検出装置」（特願２０００−２４８７９４号）を用いることができる。
【００３５】
図６は、本実施形態の動作の一例を示すフローチャートである。この実施形態では、ステップＳ１２を設けて、テロップの有無を人物の検出条件としている。例えば、ニュースの番組では、テロップが出る映像が多いから、テロップがあれば、映像に人物が存在すると判定し、テロップがなければ、人物が存在しないと判定する。この実施形態によれば、人物の有無の判定精度を向上させることができる。
【００３６】
次に、本発明の第４の実施形態を、図７のブロック図を参照して説明する。この実施形態が、前記第３の実施形態と違う所は、前記テロップ検出部２０の後段に小領域色変化測定部２１が入った点である。小領域色変化量としては小領域内の輝度成分、色差成分、または輝度と色差成分の平均や偏差を用いることができる。また、小領域については上記特定色分布と関連する位置における領域を用いることができる。
【００３７】
たとえば、アナウンサ画像では顔領域を特定色分検出で検出を行い、服装については特定色分布の下の領域について上記小領域色変化測定を用いて服装領域と判定することができる。小領域色変化の判定としては、もし色変化が小さい場合、すなわち色成分の平均や偏差が小さい場合を判定条件とする。
【００３８】
図８は、該第４の実施形態の動作の一例を示すフローチャートである。ステップＳ１３では、小領域色変化が、予め定められた第３の閾値Ｔｈ３より小さいか否かの判断がなされ、この判断が肯定の場合には映像中に人物が存在すると判定し、否定の場合には存在しないと判断してステップＳ１に戻る。
【００３９】
この実施形態によれば、人物画像の判定に小領域色変化の条件を加えたので、該人物画像の判定の精度を高めることができる。
【００４０】
次に、本発明の第５の実施形態を、図９のブロック図を参照して説明する。この実施形態の特徴は、映像入力部１２の前段に特定時間蓄積部３１を設けた点、および人物画像決定部１５の後段に、相関測定部３２と人物画像群選択部３３を入れた点である。
【００４１】
図９において、映像入力部１２は、制御部１０からの制御により、特定時間蓄積装置３１からニュース映像などの映像データを順次取り出して、セグメント検出部１３に入力させる。セグメント検出部１３は、入力映像のシーンの切り替わりを検出する。
【００４２】
特定時間蓄積装置３１には、特定時間内の映像が蓄積されている。特定時間としては、３０分単位や１時間単位などの特定の時間単位を想定することができる。セグメント検出部１３で検出されたカット点の時刻と映像データは動き抽出部１７に入力され、各セグメントの動き情報が抽出される。これらの動き情報は特定色分布検出部１８に入力される。特定色分布検出部１８では、セグメント内の特定色分布を検出する。上記動き情報と特定色分布情報は、人物画像決定部１５に入力される。人物画像決定部１５は、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを人物画像が存在するセグメントと決定する。
【００４３】
次に、相関測定部３２には、人物画像決定部１５で決定された人物画像セグメントが入力される。相関測定部３２は、セグメントの代表画面としてセグメント先頭画面を用いて、各セグメントとの相関を測定する。まず、第１人物画像セグメントと、第２、第３、・・・、第ｎ人物画像セグメントとの相関を測定する。第２人物画像セグメントについては、該第２人物画像セグメントと、第３、第４、・・・、第ｎ人物画像セグメントとの相関を測定する。なお、相関測定としては、画像の色ヒストグラムを求め、画像間の色ヒストグラム絶対差分和を用いることが可能である。変形例としては、色ヒストグラム相関を用いることも可能である。さらに、セグメントの代表画面としては、セグメント長の半分の位置にある画像を用いることも可能である。また、セグメント内の各画面の色ヒストグラムの平均を求め、この平均値と各画面の色ヒストグラムとの絶対差分和が最小値となる画面を用いることも可能である。
【００４４】
また、相関測定の変形例としては、逐次相関測定画像を更新することも可能である。この場合、たとえば以下のような更新方法を用いることができる。
【００４５】
第１人物画像セグメントと第２人物画像セグメントの相関測定は上記のとおり行う。次に、第１人物画像セグメントと第３人物画像セグメントの相関測定の場合、第１人物画像を第２人物画像を用いて更新する。更新方法としては、第１人物画像と第２人物画像の特徴量の平均値を用いることが可能である。１例としては、第１人物画像の色ヒストグラムと第２人物画像の色ヒストグラムの平均色ヒストグラムを用いることができる。次に、第１人物画像セグメントと第４人物画像セグメントの相関測定の場合、第１人物画像セグメントは第２，第３人物画像セグメントを用いて更新したものを用いる。
【００４６】
上記相関値は人物画像群選択部３３に入力される。人物画像群選択部３３は、相関の高い画像群を求め、最も大きな画像群を選択する。この場合、まず相関値がある閾値以上を有する画像群を求める。画像群の大きさを比べ、最も大きな画像群を有する画像群を人物画像群として結果出力部１６に出力する。
【００４７】
この実施形態によれば、１時間、２時間等の比較的短い特定時間の蓄積映像データからの人物画像の検出を、短時間にかつ高精度で行えるようになる。
【００４８】
前記した実施形態１〜４についても、上記実施形態５と同様に、特定時間蓄積装置３１を映像入力部１２の前に置いて特定時間内の人物画像の決定を行い、さらに相関測定部３２と人物画像群選択部３３を用いて、人物画像群を決定することも可能である。
【００４９】
以上のように、本発明では、セグメント検出、動き抽出、特定色分布検出、テロップ検出、輝度変化測定等を行うことにより、長時間録画された映像から人物画像を効率的に検出することが可能となり、たとえば２４時間分録画されたＴＶ映像から、アナウンサが出現するセグメントをすべて検出することができた。また、それぞれの処理を階層的に行うことにより、処理効率を高めて高速に検出することができた。
【００５０】
前記した各実施形態の処理は、コンピュータを用いてソフト的に処理するのが好適である。図１１は、本発明をコンピュータを用いて処理する場合のシステム図である。図において、図１と同符号は同一又は同等物を示す。
【００５１】
まず、蓄積装置１１に蓄積された映像データは、映像入力装置１２により、ＲＡＭやキャッシュメモリ等の高速で書き込みおよび読み出しのできる映像蓄積メモリ４３に読み込まれる。ＲＯＭ等の不揮発性のメモリで構成されたメインメモリ４２には、中央処理装置（ＣＰＵ）４１に指令を出す制御プログラムや、本発明の実行に必要なプログラム、例えば、セグメント検出プログラム、動き抽出プログラム、特定色分布検出プログラムが記憶されている。また、必要に応じて、さらに、セグメント長測定プログラム、テロップ検出プログラム、小領域色変化測定プログラム等が記憶されている。
【００５２】
そこで、中央処理装置４１は、メインメモリ４２からのセグメント検出プログラムに従って映像からセグメント検出を行い、次いで動き抽出プログラムに従って動き情報が抽出される。次に、図２に示されているように、該動き情報である動き量がある閾値Ｔｈ１より小さいか否かの判断処理がされ、小さい場合には、前記特定色分布検出プログラムに従って特定色分布の検出が行われる。次に、中央処理装置４１は、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定し、その結果を出力装置４４に出力する。
【００５３】
また、中央処理装置４１は、必要に応じて、さらに、前記セグメント長測定プログラム、テロップ検出プログラム、小領域色変化測定プログラム等の実行によって得られた、セグメント長、テロップ検出、小領域色変化などを人物検索の条件に加味することができる。これにより、前記した第１、第２，第３、第４および第５の実施形態をコンピュータを用いて実行することができるようになる。
【００５４】
【発明の効果】
以上の説明から明らかなように、請求項１〜２２の発明によれば、セグメント検出部の後段に動き抽出部と特定色分布検出部とを設け、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定するようにしたので、映像中の人物を効率的に検出することが可能になる。また、長時間映像からも、効果的にアナウンサなどの人物を検出することができるようになる。
【００５５】
請求項２の発明によれば、セグメント長測定部をさらに設け、セグメント長が所定長より短ければ、映像中に人物が存在しないと判定して次の映像を入力するようにしたので、より短時間に人物検出処理を行うことが可能となる。
【００５６】
請求項３の発明によれば、テロップ検出部をさらに設け、テロップがあれば映像に人物が存在すると判定し、テロップがなければ人物が存在しないと判定するようにしたので、人物の有無の判定精度を向上させることができる。
【００５７】
請求項４の発明によれば、小領域色変化測定部をさらに設け、小領域色変化が、所定値より小さい場合には映像中に人物が存在すると判定し、大きい場合には存在しないと判断するようにしたので、人物画像の判定の精度を高めることができる。
【００５８】
さらに、請求項１６の発明によれば、比較的短い特定時間の蓄積映像データからの人物画像の検出を、短時間にかつ高精度で行えるようになる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態の構成を示すブロック図である。
【図２】 第１実施形態の動作を説明するフローチャートである。
【図３】 本発明の第２実施形態の構成を示すブロック図である。
【図４】 第２実施形態の動作を説明するフローチャートである。
【図５】 本発明の第３実施形態の構成を示すブロック図である。
【図６】 第３実施形態の動作を説明するフローチャートである。
【図７】 本発明の第４実施形態の構成を示すブロック図である。
【図８】 第４実施形態の動作を説明するフローチャートである。
【図９】 本発明の第５実施形態の構成を示すブロック図である。
【図１０】 従来装置の構成を示すブロック図である。
【図１１】 本発明をコンピュータを用いて実施する場合のシステム構成を示すブロック図である。
【図１２】 従来の類似セグメント測定方法の説明図である。
【符号の説明】
１０・・・制御部、１１・・・蓄積装置、１２・・・映像入力部、１３・・・セグメント検出部、１５・・・人物画像決定部、１６・・・結果出力部、１７・・・動き抽出部、１８・・・特定色分布検出部、１９・・・セグメント長測定部、２０・・・テロップ検出部、２１・・・小領域色変化測定部、３１・・・特定時間蓄積装置、３２・・・相関測定部、３３・・・人物画像群選択部。
【発明の属する技術分野】
本発明は映像の検索装置に関し、特に、映像データまたは動画像データからアナウンサ等の人物検出を効率的に行うことができる映像の検索装置および検索プログラムに関する。
【０００２】
【従来の技術】
例えば、ニュース映像からアナウンサ画面を自動検出する従来例を、図１０を参照して説明する。図において、映像入力部１２は、制御部１０からの制御により、ニュース映像などの映像データを蓄積装置１１から順次取り出してセグメント検出部１３に入力させる。セグメント検出部１３は、入力映像のシーンの切り替わりを検出し、切り替わり点の画面データとその時刻をセグメント相関部１４に出力する。
【０００３】
セグメント相関部１４は、セグメント先頭画面間の相関値を測定する。相関値の測定方法としては、画面間の色ヒストグラムの相関値測定を行うなどの方法があり、特開平０８−２４９４６７号公報に記されている発明「類似画像の検索装置および方法」を用いることができる。この方法は、図１２に示されているように、第１セグメントをキー画像として、第１セグメントと第２〜第ｎセグメント間のセグメント先頭画面間の相関測定を行い、次に第２セグメントと第３〜第ｎセグメント間の相関測定を行い、以下、第３セグメントと第４〜第ｎセグメント間の相関測定、・・・、第（ｎ−１）セグメントと第ｎセグメントの相関測定を行う。そして、相関値が所定値以上のセグメント数をカウントする。
【０００４】
これらセグメント相関情報は、人物画像決定部１５に入力される。人物画像決定部１５は、カウントされたセグメント数が最も大きいセグメントをアナウンサセグメントと決定する。
【０００５】
【発明が解決しようとする課題】
上記の従来技術では、限られた時間の映像に存在する全てのセグメント間の相関値を測定することは可能である。しかし、長時間の映像の場合には、セグメント数が膨大になり、全てのセグメント間の相関を測定することは非常に困難でかつ大量の処理時間を要する。
【０００６】
本発明の目的は、前記した従来技術の課題を解消し、入力映像中の人物を効率的に検出する映像の検索装置および検索プログラムを提供することにある。また、他の目的は、長時間映像からも、効果的にアナウンサなどの人物を検出できる映像の検索装置および検索プログラムを提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、映像データを入力する手段と、該映像データからセグメントを分割する手段と、該分割されたセグメント内の動き情報を抽出する手段と、該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、前記特定色分布を検出されたセグメントを人物画像が存在するセグメントと判定する人物画像判定手段とを具備し、前記映像データから人物検出を行うようにした点、または前記の各手段を、コンピュータで機能させるようにした点に第１の特徴がある。
【０００８】
この特徴によれば、映像中のアナウンサなどの人物を効率的に検出することが可能になり、また、長時間映像からも効果的に検出することができるようになる。
【０００９】
また、本発明は、前記映像の検索装置に、さらに、セグメント長測定処理、テロップ検出処理、小領域色変化測定処理をそれぞれ追加するようにした点に、第２、第３、第４の特徴がある。該第２の特徴によれば、映像中からの人物検出を高速化でき、また該第３，第４の特徴によれば、映像中からの人物検出精度を向上することができる。
【００１０】
さらに、本発明は、特定の時間内の映像を記録する手段と、該記録された映像を映像データとし、前記映像の検索装置のいずれかを用いて検出された人物画像間の相関を測定する手段と、該相関の測定結果を用いて特定の人物画像群を選択する手段とを具備した点に第５の特徴がある。この特徴によれば、比較的短い特定時間の蓄積映像データから、短時間にかつ高精度で、人物画像の検出を行えるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。
【００１２】
図１において、蓄積装置１１には、長時間の映像、例えばユーザが不在中に記録した１日あるいは半日のテレビ映像（映像データ）が蓄積されているとする。映像入力部１２は、制御部１０からの制御によりニュース映像などを含む映像データを蓄積装置１１から順次取り出してセグメント検出部１３に入力させる。
【００１３】
セグメント検出部１３は、入力映像のシーンの切り替えを検出する。セグメント切り替えとしてはビデオシーンの切り替わりを示すショット切替やオーディオシーンの切り替わりを用いることができる。前者については、本出願人による発明である「動画像のカット画面検出方法」（特開平１０−２２４７４１号公報）などを利用することができる。また、後者については、本出願人による発明である「オーディオ情報分類装置」（特開平１０−２４７０９３号公報）等を利用することができる。
【００１４】
例えば、無音から有音に切り替わった時刻や無音を含む非音声から音声に切り替わった時刻を検出することができる。また、ビデオのカット点とオーディオのシーン切り替えを組み合わせても良い。例えば、ビデオカット点後に検出されたオーディオシーン切り替わり点をセグメント切り替わり点としてもよい。セグメント検出部１３で検出されたセグメント切り替わり点の時刻と映像データは動き抽出部１７に入力され、各セグメントの動き情報が抽出される。
【００１５】
動き情報としては、セグメント先頭画面と次の画面の画面間差分値を用いることができる。画面間差分値としては、たとえば輝度値の画面間絶対差分和を用いることができる。また、セグメント内の特定の連続する画面間や特定の画面間の差分値を用いてもよい。
【００１６】
動き情報抽出の変形例としては、ある特定の２画面における画面間差分値のほかに、セグメント内の画面間差分値の平均や偏差を用いることができる。この場合、ある特定の画面間差分値が小さい場合に、セグメント内の画面間差分値の平均や偏差を求めてセグメント内の動き情報とすることができる。さらに画面間差分値としては、画面内全体の画面間差分値を用いるほかに画面内の特定の領域の画面間差分値を用いることもできる。たとえば、画面を縦３分割、横３分割し、そのうちのある領域のみを用いて画面間差分を測定することも可能である。
【００１７】
これらの動き情報は特定色分布検出部１８に入力される。特定色分布検出部１８ではセグメント内の特定色分布を検出する。特定色分布の検出方法としては、特定色分布画像とセグメント内の特定の画像との相関値を測定して検出することができる。たとえば、セグメント先頭画像と特定色分布画像を比較して相関値を求め、相関値の高い場合に特定色分布が存在するものと判定することができる。相関値の測定の仕方としては、画面の色成分のヒストグラムを生成し、画面間のヒストグラムを比較して測定することができる。ヒストグラムの比較方法としては、画面間ヒストグラム絶対差分和を用いることができる。またこの変形例として、色成分の画面間絶対差分和を用いることも可能である。
【００１８】
これらの相関測定は、測定位置を限定することにより検出精度を向上させることができる。たとえば、ニュース番組におけるアナウンサは上半身だけが画面に現れるため、顔の高さは中央より上に現れる。このため、特定色分布画像と入力画像を比較する場合、入力画像の特定位置で比較することによって、人物の検出精度と検出速度を向上させることができる。
【００１９】
さらに、入力画像のいくつかの位置の中で、特定色分布画像と最も相関が高くなる位置における相関値を用いることにより、人物画像検出精度をさらに向上させることができる。たとえば、特定色分布画像を特定位置を中心として上下左右に移動した位置で、入力画像と相関値測定を行うことができる。特定位置の中心は、いくつかのＴＶニュースで出現するアナウンサセグメントの顔の肌色部分の中心または重心の位置の平均値を用いることができる。また、移動させる領域については、前述した複数の顔領域の中心または重心位置の標準備差などを用いたり、一定の画素数を元に窓領域を設定して移動させることも可能である。
【００２０】
なお、特定色分布画像としては、複数の人物の顔の色分布を平均したものを利用することができる。あるいは、特定の顔画像を色分布画像として用いることも可能である。
【００２１】
これらの画像として、入力画像を実倍したものを用いることも可能であるが、縮小画像を用いることも可能である。縮小画像ではデータ数が少なくなるため、処理速度を向上させることが可能になる。縮小画像の取得の仕方としては、画素データを周期的に間引く方法などを用いることが可能である。また、ＤＣＴやウェーブレット（Wavelet）などの周波数変換を行い、低周波成分のみを抽出することにより容易に縮小画像を生成することが可能である。
【００２２】
また、ＭＰＥＧなどの圧縮された動画像の場合、縮小画像は低周波画像を用いて高速に取得することができる。たとえば、本出願人による発明「動画像のカット点画像検出装置」（特開平９−８３８６４号公報）では、ＭＰＥＧデータからＤＣ成分のみを取得して各画面の縮小画像を生成している。ＤＣ成分の抽出はＭＰＥＧデータの部分復号で得ることが可能なため、圧縮画像から高速な画像検索を行うことが可能となる。
【００２３】
さらに、高速化を行うために特定の画面のみを用いることも可能である。たとえばＭＰＥＧでは画面内符号化画像（Ｉ−ピクチャ）が０．５秒から１秒間隔で挿入されているため、画面内符号化画像のみを用いることも可能である。この画面は前後の画面と独立して符号化されているため、この画面の情報のみを用いて容易に縮小画像を生成することが可能である。
【００２４】
また、画面間符号化画像を用いる場合、該画面間符号化画像を、画面内符号化画像の低周波成分を用いて生成した縮小画像と、画面間符号化画像で得られる動き情報を用いて縮小された縮小画像間とから生成することが可能である。この場合、縮小画像サイズに合わせて動きベクトルサイズを変換し、変換した動きベクトルを用いて縮小された画面内符号化画像に対して動き補償予測を行って、縮小画像上で画面間符号化画像の予測画像を生成する。さらに、画面間符号化画像データとして得られる予測誤差情報からＤＣ成分を抽出し、このＤＣ成分を先の予測画像と加えることによって、画面間符号化画像の縮小画像を得ることができる。
【００２５】
前記特定色分布検出部１８で得られた特定色分布情報は前記動き情報と共に、人物画像決定部１５に入力される。人物画像決定部１５では、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定する。セグメント内の動きは、前述した特定の２画面の画面間差分が閾値よりも小さい場合に、動きが小さいと判定することができる。また、特定色分布画像との相関が閾値以上の入力画像が存在する場合に、セグメント内に特定色分布画像が存在すると決定することができる。
【００２６】
図２は、第１の実施形態の動作の一例を示すフローチャートである。この実施形態では、ステップＳ１で蓄積装置１１から映像が入力される。ステップＳ２では、入力された映像はセグメント検出され、ステップＳ３に進んで、セグメント内の動き情報が抽出される。ステップＳ４では、該動き情報からセグメント内の動き量が求められ、該動き量がある閾値Ｔｈ１より小さい場合のみ、ステップＳ５に進んで特定色分布検出を行う。該動き量が該閾値Ｔｈ１以上の場合にはステップＳ５に進むことなくステップＳ１に戻り、次の映像が入力される。
【００２７】
ステップＳ５で、特定色分布が検出された場合は、結果を前記人物画像決定部１５に出力して次の画像を入力させるが。特定色分布が検出されなかった場合は、ステップＳ１に戻って次の映像が入力される。
【００２８】
以上のように、この実施形態によれば、前記動き抽出部１７と特定色分布検出部１８とを設け、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定するようにしたので、映像中の人物を効率的に検出することが可能になる。また、前記ステップＳ４の処理を設けて、セグメント内の動きが小さい場合のみ特定色分布を検出する処理を行うようにすると、ステップＳ４の判断をしない場合に比べて短時間で人物検出処理を行うことが可能となる。
【００２９】
次に、本発明の第２の実施形態を、図３のブロック図を参照して説明する。なお、図３において、図１と同一または同等物には、同じ符号が付けられている。
【００３０】
この実施形態が、前記第１の実施形態と違う所は、前記セグメント検出部１３の後段にセグメント長測定部１９が入っていることである。
【００３１】
図４は、本実施形態の概略の動作の一例を示すフローチャートである。この実施形態では、前記セグメント長測定部１９でセグメント長を測定し、該セグメント長が予め定められた第２の閾値Ｔｈ２より大きければ（ステップＳ１１が肯定）人物が存在すると仮判定して、次のステップＳ３の処理に進む。しかしながら、該セグメント長が前記第２の閾値Ｔｈ２以下の場合には、映像中に人物が存在しないと判定して、ステップＳ１に戻り、次の映像を入力する。
【００３２】
この結果、この実施形態は、前記第１実施形態より、より短時間に人物検出処理を行うことが可能となる。
【００３３】
次に、本発明の第３の実施形態を、図５のブロック図を参照して説明する。なお、図５において、図１、図３と同一または同等物には、同じ符号が付けられている。
【００３４】
この実施形態が、前記第２の実施形態と違う所は、前記特定色分布検出部１８の後段にテロップ検出部２０が入っていることである。テロップ検出方法としては、本出願人による発明「動画像内のテロップ領域検出装置」（特願２０００−２４８７９４号）を用いることができる。
【００３５】
図６は、本実施形態の動作の一例を示すフローチャートである。この実施形態では、ステップＳ１２を設けて、テロップの有無を人物の検出条件としている。例えば、ニュースの番組では、テロップが出る映像が多いから、テロップがあれば、映像に人物が存在すると判定し、テロップがなければ、人物が存在しないと判定する。この実施形態によれば、人物の有無の判定精度を向上させることができる。
【００３６】
次に、本発明の第４の実施形態を、図７のブロック図を参照して説明する。この実施形態が、前記第３の実施形態と違う所は、前記テロップ検出部２０の後段に小領域色変化測定部２１が入った点である。小領域色変化量としては小領域内の輝度成分、色差成分、または輝度と色差成分の平均や偏差を用いることができる。また、小領域については上記特定色分布と関連する位置における領域を用いることができる。
【００３７】
たとえば、アナウンサ画像では顔領域を特定色分検出で検出を行い、服装については特定色分布の下の領域について上記小領域色変化測定を用いて服装領域と判定することができる。小領域色変化の判定としては、もし色変化が小さい場合、すなわち色成分の平均や偏差が小さい場合を判定条件とする。
【００３８】
図８は、該第４の実施形態の動作の一例を示すフローチャートである。ステップＳ１３では、小領域色変化が、予め定められた第３の閾値Ｔｈ３より小さいか否かの判断がなされ、この判断が肯定の場合には映像中に人物が存在すると判定し、否定の場合には存在しないと判断してステップＳ１に戻る。
【００３９】
この実施形態によれば、人物画像の判定に小領域色変化の条件を加えたので、該人物画像の判定の精度を高めることができる。
【００４０】
次に、本発明の第５の実施形態を、図９のブロック図を参照して説明する。この実施形態の特徴は、映像入力部１２の前段に特定時間蓄積部３１を設けた点、および人物画像決定部１５の後段に、相関測定部３２と人物画像群選択部３３を入れた点である。
【００４１】
図９において、映像入力部１２は、制御部１０からの制御により、特定時間蓄積装置３１からニュース映像などの映像データを順次取り出して、セグメント検出部１３に入力させる。セグメント検出部１３は、入力映像のシーンの切り替わりを検出する。
【００４２】
特定時間蓄積装置３１には、特定時間内の映像が蓄積されている。特定時間としては、３０分単位や１時間単位などの特定の時間単位を想定することができる。セグメント検出部１３で検出されたカット点の時刻と映像データは動き抽出部１７に入力され、各セグメントの動き情報が抽出される。これらの動き情報は特定色分布検出部１８に入力される。特定色分布検出部１８では、セグメント内の特定色分布を検出する。上記動き情報と特定色分布情報は、人物画像決定部１５に入力される。人物画像決定部１５は、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを人物画像が存在するセグメントと決定する。
【００４３】
次に、相関測定部３２には、人物画像決定部１５で決定された人物画像セグメントが入力される。相関測定部３２は、セグメントの代表画面としてセグメント先頭画面を用いて、各セグメントとの相関を測定する。まず、第１人物画像セグメントと、第２、第３、・・・、第ｎ人物画像セグメントとの相関を測定する。第２人物画像セグメントについては、該第２人物画像セグメントと、第３、第４、・・・、第ｎ人物画像セグメントとの相関を測定する。なお、相関測定としては、画像の色ヒストグラムを求め、画像間の色ヒストグラム絶対差分和を用いることが可能である。変形例としては、色ヒストグラム相関を用いることも可能である。さらに、セグメントの代表画面としては、セグメント長の半分の位置にある画像を用いることも可能である。また、セグメント内の各画面の色ヒストグラムの平均を求め、この平均値と各画面の色ヒストグラムとの絶対差分和が最小値となる画面を用いることも可能である。
【００４４】
また、相関測定の変形例としては、逐次相関測定画像を更新することも可能である。この場合、たとえば以下のような更新方法を用いることができる。
【００４５】
第１人物画像セグメントと第２人物画像セグメントの相関測定は上記のとおり行う。次に、第１人物画像セグメントと第３人物画像セグメントの相関測定の場合、第１人物画像を第２人物画像を用いて更新する。更新方法としては、第１人物画像と第２人物画像の特徴量の平均値を用いることが可能である。１例としては、第１人物画像の色ヒストグラムと第２人物画像の色ヒストグラムの平均色ヒストグラムを用いることができる。次に、第１人物画像セグメントと第４人物画像セグメントの相関測定の場合、第１人物画像セグメントは第２，第３人物画像セグメントを用いて更新したものを用いる。
【００４６】
上記相関値は人物画像群選択部３３に入力される。人物画像群選択部３３は、相関の高い画像群を求め、最も大きな画像群を選択する。この場合、まず相関値がある閾値以上を有する画像群を求める。画像群の大きさを比べ、最も大きな画像群を有する画像群を人物画像群として結果出力部１６に出力する。
【００４７】
この実施形態によれば、１時間、２時間等の比較的短い特定時間の蓄積映像データからの人物画像の検出を、短時間にかつ高精度で行えるようになる。
【００４８】
前記した実施形態１〜４についても、上記実施形態５と同様に、特定時間蓄積装置３１を映像入力部１２の前に置いて特定時間内の人物画像の決定を行い、さらに相関測定部３２と人物画像群選択部３３を用いて、人物画像群を決定することも可能である。
【００４９】
以上のように、本発明では、セグメント検出、動き抽出、特定色分布検出、テロップ検出、輝度変化測定等を行うことにより、長時間録画された映像から人物画像を効率的に検出することが可能となり、たとえば２４時間分録画されたＴＶ映像から、アナウンサが出現するセグメントをすべて検出することができた。また、それぞれの処理を階層的に行うことにより、処理効率を高めて高速に検出することができた。
【００５０】
前記した各実施形態の処理は、コンピュータを用いてソフト的に処理するのが好適である。図１１は、本発明をコンピュータを用いて処理する場合のシステム図である。図において、図１と同符号は同一又は同等物を示す。
【００５１】
まず、蓄積装置１１に蓄積された映像データは、映像入力装置１２により、ＲＡＭやキャッシュメモリ等の高速で書き込みおよび読み出しのできる映像蓄積メモリ４３に読み込まれる。ＲＯＭ等の不揮発性のメモリで構成されたメインメモリ４２には、中央処理装置（ＣＰＵ）４１に指令を出す制御プログラムや、本発明の実行に必要なプログラム、例えば、セグメント検出プログラム、動き抽出プログラム、特定色分布検出プログラムが記憶されている。また、必要に応じて、さらに、セグメント長測定プログラム、テロップ検出プログラム、小領域色変化測定プログラム等が記憶されている。
【００５２】
そこで、中央処理装置４１は、メインメモリ４２からのセグメント検出プログラムに従って映像からセグメント検出を行い、次いで動き抽出プログラムに従って動き情報が抽出される。次に、図２に示されているように、該動き情報である動き量がある閾値Ｔｈ１より小さいか否かの判断処理がされ、小さい場合には、前記特定色分布検出プログラムに従って特定色分布の検出が行われる。次に、中央処理装置４１は、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定し、その結果を出力装置４４に出力する。
【００５３】
また、中央処理装置４１は、必要に応じて、さらに、前記セグメント長測定プログラム、テロップ検出プログラム、小領域色変化測定プログラム等の実行によって得られた、セグメント長、テロップ検出、小領域色変化などを人物検索の条件に加味することができる。これにより、前記した第１、第２，第３、第４および第５の実施形態をコンピュータを用いて実行することができるようになる。
【００５４】
【発明の効果】
以上の説明から明らかなように、請求項１〜２２の発明によれば、セグメント検出部の後段に動き抽出部と特定色分布検出部とを設け、セグメント内の動きが小さくかつ特定色分布がセグメント内に存在するセグメントを、人物画像が存在するセグメントと決定するようにしたので、映像中の人物を効率的に検出することが可能になる。また、長時間映像からも、効果的にアナウンサなどの人物を検出することができるようになる。
【００５５】
請求項２の発明によれば、セグメント長測定部をさらに設け、セグメント長が所定長より短ければ、映像中に人物が存在しないと判定して次の映像を入力するようにしたので、より短時間に人物検出処理を行うことが可能となる。
【００５６】
請求項３の発明によれば、テロップ検出部をさらに設け、テロップがあれば映像に人物が存在すると判定し、テロップがなければ人物が存在しないと判定するようにしたので、人物の有無の判定精度を向上させることができる。
【００５７】
請求項４の発明によれば、小領域色変化測定部をさらに設け、小領域色変化が、所定値より小さい場合には映像中に人物が存在すると判定し、大きい場合には存在しないと判断するようにしたので、人物画像の判定の精度を高めることができる。
【００５８】
さらに、請求項１６の発明によれば、比較的短い特定時間の蓄積映像データからの人物画像の検出を、短時間にかつ高精度で行えるようになる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態の構成を示すブロック図である。
【図２】 第１実施形態の動作を説明するフローチャートである。
【図３】 本発明の第２実施形態の構成を示すブロック図である。
【図４】 第２実施形態の動作を説明するフローチャートである。
【図５】 本発明の第３実施形態の構成を示すブロック図である。
【図６】 第３実施形態の動作を説明するフローチャートである。
【図７】 本発明の第４実施形態の構成を示すブロック図である。
【図８】 第４実施形態の動作を説明するフローチャートである。
【図９】 本発明の第５実施形態の構成を示すブロック図である。
【図１０】 従来装置の構成を示すブロック図である。
【図１１】 本発明をコンピュータを用いて実施する場合のシステム構成を示すブロック図である。
【図１２】 従来の類似セグメント測定方法の説明図である。
【符号の説明】
１０・・・制御部、１１・・・蓄積装置、１２・・・映像入力部、１３・・・セグメント検出部、１５・・・人物画像決定部、１６・・・結果出力部、１７・・・動き抽出部、１８・・・特定色分布検出部、１９・・・セグメント長測定部、２０・・・テロップ検出部、２１・・・小領域色変化測定部、３１・・・特定時間蓄積装置、３２・・・相関測定部、３３・・・人物画像群選択部。
Claims (22)
- 映像データを入力する手段と、
該映像データからセグメントを分割する手段と、
該分割されたセグメント内の動き情報を抽出する手段と、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、
前記特定色分布を検出されたセグメントを人物画像が存在するセグメントと判定する人物画像判定手段とを具備し、
前記映像データから人物検出を行うことを特徴とする映像の検索装置。 - 映像データを入力する手段と、
該映像データからセグメントを分割する手段と、
該分割されたセグメントのセグメント長を測定する手段と、
該セグメント長が第２の所定値より大きい場合に、該分割されたセグメント内の動き情報を抽出する手段と、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、
前記特定色分布を検出されたセグメントを人物画像が存在するセグメントと判定する人物画像判定手段とを具備し、
前記映像データから人物検出を行うことを特徴とする映像の検索装置。 - 映像データを入力する手段と、
該映像データからセグメントを分割する手段と、
該分割されたセグメント内のセグメント長を測定する手段と、
該セグメント長が第２の所定値より大きい場合に、該分割されたセグメント内の動き情報を抽出する手段と、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、
該特定色分布が検出された場合に、該分割されたセグメント内のテロップ検出を行う手段と、
前記テロップを検出されたセグメントを人物画像が存在するセグメントと判定する人物画像判定手段とを具備し、
前記映像データから人物検出を行うことを特徴とする映像の検索装置。 - 映像データを入力する手段と、
映像データからセグメントを分割する手段と、
該分割されたセグメントのセグメント長を測定する手段と、
該セグメント長が第２の所定値より大きい場合に、該分割されたセグメント内の動き情報を抽出する手段と、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、
該特定色分布が検出された場合に、該分割されたセグメント内のテロップ検出を行う手段と、
該テロップが検出された場合に、該分割されたセグメント内の前記特定色分布に関連する小領域の色変化を測定する手段と、
前記小領域の色変化が第３の所定値以下のセグメントを人物画像が存在するセグメントと判定する人物画像判定手段とを具備し、
前記映像データから人物検出を行うことを特徴とする映像の検索装置。 - 請求項１ないし４のいずれかに記載の映像の検索装置において、
前記映像データからセグメントを分割する手段は、該セグメントの切り替わり点として映像のカット点またはオーディオシーンの切り替わり点を用いることを特徴とする映像の検索装置。 - 請求項５に記載の映像の検索装置において、
前記オーディオシーンの切り替わり点として、無音と有音の切り替わり点または無音を含む非音声と音声との切り替わり点を用いることを特徴とする映像の検索装置。 - 請求項１ないし４のいずれかに記載の映像の検索装置において、
前記セグメント内の動き情報として、セグメント内の特定の２画面のフレーム間差分値、セグメント内のフレーム間差分値のセグメント内統計量、および画面内の特定の部分領域のみの動き情報の少なくとも一つを用いることを特徴とする映像の検索装置。 - 請求項７に記載の映像の検索装置において、
前記セグメント内のフレーム間差分値のセグメント内統計量は、セグメント内の特定の２画面のフレーム間差分値が小さい場合に測定されることを特徴とする映像の検索装置。 - 請求項１ないし８のいずれかに記載の映像の検索装置において、
前記特定色分布の検出は、顔画像である特定色分布画像と入力画像の相関値、または顔領域の色成分平均値を用いて行うことを特徴とする映像の検索装置。 - 請求項９に記載の映像の検索装置において、
前記相関値は、色成分ヒストグラム絶対差分和または色成分絶対差分和を用いることを特徴とする映像の検索装置。 - 請求項９または１０に記載の映像の検索装置において、
前記相関値として、特定色分布画像と特定位置における入力画像の相関値または入力画像の特定位置およびその周辺における相関値を用いることを特徴とする映像の検索装置。 - 請求項１ないし４のいずれかに記載の映像の検索装置において、
前記分割されたセグメント内の特定色分布を検出する手段の入力画像として、周波数変換された画像データの低周波成分を用いて構成される画像データ、または圧縮された画像データを一部復号して得られる画像データの低周波成分を用いて構成される画像データを用いることを特徴とする映像の検索装置。 - 請求項１２に記載の映像の検索装置において、
前記画像データとして、縮小画像データを用いることを特徴とする映像の検索装置。 - 特定の時間内の映像を記録する手段と、
該記録された映像を映像データとし、前記請求項１ないし１３の映像の検索装置のいずれかを用いて検出された人物画像間の相関を測定する手段と、
該相関の測定結果を用いて特定の人物画像群を選択する手段とを具備したことを特徴とする映像の検索装置。 - 請求項１４に記載の映像の検索装置において、
前記人物画像間の相関は、色成分ヒストグラム間絶対差分和を用いて求めることを特徴とする映像の検索装置。 - 請求項１４または１５に記載の映像の検索装置において、
前記人物画像間の相関は、セグメント先頭画像の相関、またはセグメント中心画像の相関を用いることを特徴とする映像の検索装置。 - 請求項１６に記載の映像の検索装置において、
前記セグメント中心画像は、セグメント長の半分の位置にある画像、またはセグメント内色ヒストグラム平均に最も近い画像を用いることを特徴とする映像の検索装置。 - 請求項１４ないし１７のいずれかに記された映像の検索装置において、
前記人物画像間の相関を測定する手段は、複数の人物画像の特徴量を平均化したものを利用することを特徴とする映像の検索装置。 - 映像から人物検出を行うためにコンピュータを、
映像データを入力する手段、
該映像データからセグメントを分割する手段、
該分割されたセグメント内の動き情報を抽出する手段、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段、および、
前記特定色分布が存在するセグメントを人物画像が存在するセグメントと決定する手段として機能させるための映像の検索プログラム。 - 映像から人物検出を行うためにコンピュータを、
映像データを入力する手段と、
該映像データからセグメントを分割する手段と、
該分割されたセグメントのセグメント長を測定する手段と、
該セグメント長が第２の所定値より大きい場合に、該分割されたセグメント内の動き情報を抽出する手段と、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段、および、
前記特定色分布が存在するセグメントを人物画像が存在するセグメントと決定する手段として機能させるための映像の検索プログラム。 - 映像から人物検出を行うためにコンピュータを、
映像データを入力する手段と、
該映像データからセグメントを分割する手段と、
該分割されたセグメント内のセグメント長を測定する手段と、
該セグメント長が第２の所定値より大きい場合に、該分割されたセグメント内の動き情報を抽出する手段と、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、
該特定色分布が検出された場合に、該分割されたセグメント内のテロップ検出を行う手段、および、
前記テロップが存在するセグメントを人物画像が存在するセグメントと決定する手段として機能させるための映像の検索プログラム。 - 映像から人物検出を行うためにコンピュータを、
映像データを入力する手段と、
映像データからセグメントを分割する手段と、
該分割されたセグメントのセグメント長を測定する手段と、
該セグメント長が第２の所定値より大きい場合に、該分割されたセグメント内の動き情報を抽出する手段と、
該動き情報から得られる動き量が第１の所定値より小さい場合に、該分割されたセグメント内の特定色分布を検出する手段と、
該特定色分布が検出された場合に、該分割されたセグメント内のテロップ検出を行う手段と、
該テロップが検出された場合に、該分割されたセグメント内の前記特定色分布に関連する小領域の色変化を測定する手段、および、
前記小領域の色変化が第３の所定値以下のセグメントを人物画像が存在するセグメントと決定する手段として機能させるための映像の検索プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065913A JP4036321B2 (ja) | 2002-03-11 | 2002-03-11 | 映像の検索装置および検索プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002065913A JP4036321B2 (ja) | 2002-03-11 | 2002-03-11 | 映像の検索装置および検索プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003264757A JP2003264757A (ja) | 2003-09-19 |
| JP4036321B2 true JP4036321B2 (ja) | 2008-01-23 |
Family
ID=29197984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002065913A Expired - Fee Related JP4036321B2 (ja) | 2002-03-11 | 2002-03-11 | 映像の検索装置および検索プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4036321B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4577774B2 (ja) * | 2005-03-08 | 2010-11-10 | Ｋｄｄｉ株式会社 | スポーツ映像の分類装置およびログ生成装置 |
| US7305128B2 (en) | 2005-05-27 | 2007-12-04 | Mavs Lab, Inc. | Anchor person detection for television news segmentation based on audiovisual features |
| JP4618166B2 (ja) | 2006-03-07 | 2011-01-26 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JPWO2007114241A1 (ja) * | 2006-03-29 | 2009-08-13 | パイオニア株式会社 | 映像処理装置 |
| JP2008172318A (ja) * | 2007-01-09 | 2008-07-24 | Noritsu Koki Co Ltd | 画像処理装置 |
| US9020259B2 (en) | 2009-07-20 | 2015-04-28 | Thomson Licensing | Method for detecting and adapting video processing for far-view scenes in sports video |
-
2002
- 2002-03-11 JP JP2002065913A patent/JP4036321B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003264757A (ja) | 2003-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4559935B2 (ja) | 画像記憶装置及び方法 | |
| US6940910B2 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| US20100302453A1 (en) | Detection of gradual transitions in video sequences | |
| JPH11252509A (ja) | 動画像のカット点検出装置 | |
| KR101414669B1 (ko) | 적응형 비디오 표현을 위한 방법 및 디바이스 | |
| US8947600B2 (en) | Methods, systems, and computer-readable media for detecting scene changes in a video | |
| JP2005243035A (ja) | アンカーショット決定方法及び決定装置 | |
| EP3175621B1 (en) | Video-segment identification systems and methods | |
| CN116233479B (zh) | 基于数据处理的直播信息内容审核系统及方法 | |
| JP2011205599A (ja) | 信号処理装置 | |
| JP4036321B2 (ja) | 映像の検索装置および検索プログラム | |
| JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
| KR100963701B1 (ko) | 영상 식별 장치 | |
| JP2978039B2 (ja) | 動画像のカット画面検出方法 | |
| Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
| KR101667011B1 (ko) | 입체 영상의 장면 전환 검출 장치 및 방법 | |
| JPWO2010084738A1 (ja) | 照合加重情報抽出装置 | |
| Smeaton et al. | An evaluation of alternative techniques for automatic detection of shot boundaries in digital video | |
| JP2005536937A (ja) | 一連のビデオ画像中でのコンテンツ特性の検出用のユニット及び方法 | |
| JPH10224741A (ja) | 動画像のカット点検出方法 | |
| JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
| JP2940469B2 (ja) | 動画像解析装置及び動画像解析方法 | |
| JP4225503B2 (ja) | 動画像のカット点検出装置 | |
| KR20020010847A (ko) | 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및분할방법 | |
| JP2002203245A (ja) | 動画像内の特定物体認識方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071025 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |