JP3997501B2 - 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 - Google Patents
被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 Download PDFInfo
- Publication number
- JP3997501B2 JP3997501B2 JP24980698A JP24980698A JP3997501B2 JP 3997501 B2 JP3997501 B2 JP 3997501B2 JP 24980698 A JP24980698 A JP 24980698A JP 24980698 A JP24980698 A JP 24980698A JP 3997501 B2 JP3997501 B2 JP 3997501B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- macroblocks
- determination
- boundary
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は被写体認識装置及び自動追尾装置に関し、例えば圧縮符号化した映像信号について被写体認識処理を行う被写体認識装置及びこれを用いた自動追尾装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、監視用途等に用いられる自動追尾ビデオカメラがあり、この種の自動追尾ビデオカメラでは撮像部が上下（チルト）及び左右（パン）に可動する回転台に載置され、制御部が被写体の動き量にもとづいて回転台の回転を制御することにより、撮像部の光軸を被写体に自動追尾させるようになされている。
【０００３】
【発明が解決しようとする課題】
このような自動追尾ビデオカメラにおいては、映像信号が示す画像から被写体の特徴を抽出して被写体認識を行う。この被写体認識処理には膨大な計算処理量が必要であるため、入力された映像信号の画素を間引いて低解像度の画像を生成し、この低解像度の画像を用いて被写体認識処理を行う。
【０００４】
このためこのような自動追尾ビデオカメラでは、入力された映像信号の画素を間引いて低解像度の画像を生成する間引き回路が必要であり、これにより構成が複雑になるという問題を有していた。
【０００５】
本発明は以上の点を考慮してなされたもので、簡易な構成による被写体認識装置及びこれを用いた自動追尾装置を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、映像信号に対して所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリーム生成し、得られた複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成し、複数のマクロブロックに対してＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数のマクロブロックについて互いに隣接したマクロブロック間における動きベクトルの差分値と予め決められた閾値とを比較することによりマクロブロック間の隣接した境界が被写体と背景との境い目であるか否かを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより総合的に被写体を認識するようにした。
本願発明の自動追尾装置においては、映像信号に対して所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリーム生成し、得られた複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成し、複数のマクロブロックに対してＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数のマクロブロックについて互いに隣接したマクロブロック間における動きベクトルの差分値と予め決められた閾値とを比較することによりマクロブロック間の隣接した境界が被写体と背景との境い目であるか否かを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより総合的に被写体を認識し、認識された上記被写体に基づいて当該被写体の左方向、右方向、上方向又は下方向への移動量を算出することによって被写体が表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させるようにした。ことにより、撮像装置の光軸を常に被写体に追尾することができるので、撮像装置の自動追尾を高い精度で行うことができる。
【０００７】
この結果、本願発明の被写体認識装置では、隣接した複数の全てのマクロブロックについて被写体と背景との境界であるか否かを高い精度で判定することができ、かくして被写体を高い精度で認識することができる。
本願発明の自動追尾装置においては、撮像装置の光軸を常に被写体に追尾することができるので、撮像装置の自動追尾を高い精度で行うことができる。
【０００８】
【発明の実施の形態】
以下図面について本発明の一実施の形態を詳述する。
【０００９】
（１）自動追尾ビデオカメラの構成
図１において、１は全体として自動追尾ビデオカメラを示し、撮像部６で撮像した画像およびマイクロホン７で集音した音声をＭＰＥＧ２（Moving Picture Experts Group Phase 2）方式により圧縮符号化して外部に送出するようになされている。
【００１０】
すなわちマイクロホン７は、集音した音声を音声信号Ｓ７としてアナログ／ディジタル変換部１３に送出する。アナログ／ディジタル変換部１３は音声信号Ｓ５をアナログ／ディジタル変換し、ディジタル音声信号Ｓ１３として音声符号化部１４に送出する。そして音声符号化部１４は、ディジタル音声信号Ｓ１３をＭＰＥＧ２方式を用いて圧縮符号化し、オーディオエレメンタリーストリームＳ１４として多重化部１５に送出する。同時に撮像部６は、レンズ（図示せず）により集光された撮像光を受光して映像信号Ｓ６を生成し、これをアナログ／ディジタル変換部１１に送出する。アナログ／ディジタル変換部１１は、映像信号Ｓ６をアナログ／ディジタル変換し、ディジタル映像信号Ｓ１１として映像符号化部１２に送出する。そして映像符号化部１２はディジタル映像信号Ｓ１１をＭＰＥＧ２方式を用いて圧縮符号化し、ビデオエレメンタリーストリームＳ１２として多重化部１５及び被写体追尾部２０に送出する。映像符号化部１２及び音声符号化部１４は、標準的なＭＰＥＧ２エンコーダＬＳＩである。
【００１１】
被写体追尾部２０は、ビデオエレメンタリーストリームＳ１２を用いて被写体認識を行い、この認識結果を基に自動追尾ビデオカメラ１の光軸すなわち撮像部６の光軸を被写体に追尾させるようになされている。
【００１２】
被写体追尾部２０において、ビデオエレメンタリーストリームＳ１２は部分復号化部３０に入力される。図２において、３０は全体として部分復号化部を示し、映像符号化部１２から供給されるビデオエレメンタリーストリームＳ１２を階層解析部３１に入力する。
【００１３】
階層解析部３１は、ビデオエレメンタリーストリームＳ１２を構成するＧＯＰ層、ピクチャ層、スライス層、マクロブロック層及びブロック層の各データ階層を解析して後段の回路に出力する。すなわち階層解析部３１は、ＧＯＰ層、ピクチャ層及びスライス層のヘッダから量子化スケール等のデータを得て、これらを復号制御部３２に出力するとともに、マクロブロック層から各マクロブロックの動きベクトルＭＶを得て、これを可変長復号化部３３に出力し、さらにブロック層から各ブロックのＤＣＴ係数におけるＤＣ（直流）係数Ｓ３１（輝度Ｙ及び色差Ｃｒ，Ｃｂ）を得て、これらを可変長復号化部３４に出力する。なお、各ブロックのＡＣ（交流）係数は使用せず廃棄する。
【００１４】
可変長復号化部３３は、動きベクトルＭＶを可変長復号化して逆量子化部３５に出力する。逆量子化部３５は、復号制御部３２から供給される量子化スケールＱに基づいて動きベクトルＭＶを逆量子化し、予測復号化部３７及び被写体認識部２２（図１）に出力する。また可変長復号部３４は、ＤＣ係数Ｓ３１を可変長復号化して逆量子化部３６に出力する。逆量子化部３６は、復号制御部３２から供給される量子化スケールＱに基づいてＤＣ係数Ｓ３１を逆量子化して予測復号化部３７に出力する。そして予測復号化部３７は、ＤＣ係数Ｓ３１を動きベクトルＭＶを用いて動き補償して予測復号化し、フレームバッファ３８に一時蓄積したのち順次被写体認識部２２に出力する。
【００１５】
かくして部分復号化部３０は、ビデオエレメンタリーストリームＳ１２を部分的に復号化し、ＤＣ係数Ｓ３１及び動きベクトルＭＶを被写体認識部２２に出力する。このとき部分復号化部３０は、復号に要する計算量が多いＡＣ係数の復号を行わないため、復号に要する処理時間を最小限に抑えることができる。
【００１６】
被写体認識部２２（図１）は、ＤＣ係数Ｓ３１及び動きベクトルＭＶを用いて被写体の特徴抽出すなわち被写体認識処理を行う。
【００１７】
ここで、映像符号化部１２に入力されるディジタル映像信号Ｓ１１は、ＭＰＥＧ２方式におけるＭＰ＠ＭＬ（Main Profile at Main Level）と呼ばれる７２０×４８０画素の解像度を有している。ＭＰＥＧ２方式では、映像信号を８×８画素のブロックと呼ばれる単位毎にＤＣＴ（Discreat Cosine Transform ）変換してＤＣＴ係数を生成することにより映像を圧縮符号化するとともに、このブロックを４個一組にしたマクロブロック（１６×１６画素）毎に動きベクトルを算出し、この動きベクトルを用いて動き補償処理による予測符号化を行っている。ＤＣＴ係数におけるＤＣ係数は、８×８画素のブロックについての輝度及び色差の直流成分を表しており、このブロックを一つの大きな画素として考えた場合、ＤＣ係数はこの大きな画素の輝度及び色差を表していることになる。
【００１８】
被写体認識部２２は、マクロブロックを一つの画素とする低解像度画像について、各マクロブロックの輝度及び色差による被写体認識及び各マクロブロックの動きベクトルによる被写体認識を行い、これら２種類の画像認識の結果を併用して総合的な被写体認識を行う。元の画像（ディジタル映像信号Ｓ１１）の解像度は７２０×４８０画素であるから元の画像は４５×３０個のマクロブロックを有しており、このため低解像度画像の解像度は４５×３０画素になる。
【００１９】
図３（Ａ）は被写体認識部２２における被写体認識処理を示し、被写体認識部２２はまずＤＣ係数Ｓ３１を用いて輝度及び色差による被写体認識を行う。すなわち各マクロブロックについて、記憶されている被写体の色モデルとのマッチングを行い、被写体である可能性を次に示す３段階で評価する。
【００２０】
すなわち、色モデルとのマッチングが高く、目的の被写体である可能性が高い場合、これを「Yes 」とし、色モデルとのマッチングが低く、目的の被写体である可能性が低い場合、これを「No」とし、どちらとも言えない、中間の評価（判断保留）の場合、これを「Doubt 」とする。
【００２１】
続いて被写体認識部２２は、動きベクトルによる被写体認識を行う。図４は低解像度画像の一部を示し、基本的に各マクロブロックはそれぞれ動きベクトルを有しているが、動きベクトルの値が０のマクロブロックや、フレーム内符号化を行ったために動きベクトルを有さないマクロブロック（ＮＡ:Not Available、動きベクトル無し) も存在している。被写体認識部２２は隣り合うマクロブロック毎の動きベクトルの差分値を算出し、この差分値と所定の閾値とを比較することにより、被写体と思われる領域を囲い込むように分割する。すなわち、差分値が閾値よりも大きい場合、この隣り合うマクロブロックの境界は被写体と背景との境界であるものとし、差分値が閾値よりも小さい場合、この隣り合うマクロブロックの境界は被写体と背景との境界ではないものとする。この境界が前のフレームにおける被写体をうまく囲い込むように閾値を調整する。このとき被写体認識部２２は、輝度及び色差による被写体認識によって得られた被写体の中心を基準に囲い込み処理を開始する。
【００２２】
被写体認識部２２は、このようにして被写体と思われる領域を囲い込み、この囲い込みに基づいて各マクロブロックが被写体である可能性を３段階評価する。基本的に、囲い込みの内部を「Yes 」とし、囲い込みの外部を「No」と判定する。
【００２３】
動き補償における動きベクトルは、常に正しいものが得られるとは限らない。例えば大きく一様な絵柄の被写体が動いた場合、この被写体の内部のマクロブロックでは動きベクトルが０となる場合がある。このため、動きベクトルが０であるマクロブロックの周囲全てが「Yes 」の場合、このマクロブロックを「Yes 」と判定する。また、動きベクトルが０であるマクロブロックが被写体領域の境界にある場合、判定を保留して「Doubt （判定保留）」とする。
【００２４】
あるマクロブロックの符号化において予測符号化の効率が悪いと判断された場合、フレーム内符号化が選択され動きベクトルの算出は行われない（図４に示すＮＡ）。このＮＡのマクロブロックについては、周囲４近傍に「Yes 」が有る場合は「Doubt 」とし、それ以外は「No」と判定する。
【００２５】
被写体認識部２２は、輝度及び色差による３段階評価及び動きベクトルによる３段階評価を用い、図３（Ｂ）に示す表に基づいて、被写体認識の総合判定を行う。すなわち、輝度及び色差による判定及び動きベクトルによる判定の双方が「Yes 」の場合、及び一方が「Yes 」で他方が「Doubt 」の場合は総合判定を「Yes 」とする。輝度及び色差による判定及び動きベクトルによる判定の双方が「No」の場合、及び一方が「No」で他方が「Doubt 」の場合は総合判定を「No」とする。また、一方が「Yes 」で他方が「No」の場合、及び双方が「Doubt 」の場合は「Continuity（連続性による判定）」とし、周囲全てのマクロブロックが「Yes 」の場合にのみ総合判定を「Yes 」とし、それ以外は「No」とする。
【００２６】
被写体認識部２２は、かくして得られた「Yes 」または「No」の総合判定を用いて、４５×３０画素の解像度を有する、被写体（すなわち「Yes 」の画素）のみが明るく、背景（すなわち「No」の画素）が暗い２値画像を生成し、これを認識映像信号Ｓ２２として追尾サーボ部４０に送出するとともに、認識映像信号Ｓ２２をＭＰＥＧ２方式により圧縮符号化し、これを認識映像ビデオエレメンタリーストリームＳ２０として多重化部１５に送出する。この圧縮符号化処理に関しては、各画素の輝度をそのままＤＣ係数に符号化するだけであり、ＡＣ係数の符号化や予測符号化は行わないため、計算処理量が非常に少ない。
【００２７】
追尾サーボ部４０は、認識映像信号Ｓ２２を基に被写体が常に画面中央に位置するように駆動部２４に対して駆動信号Ｓ２３を送出する。すなわち図５において４０は追尾サーボ部を示し、認識映像信号Ｓ２２をパン演算部４１Ｘ及びチルト演算部４１Ｙに入力する。
【００２８】
パン演算部４１Ｘは、認識映像信号Ｓ２２における被写体の左右方向の移動量を算出し、これをパン制御部４２Ｘに出力する。パン制御部４２Ｘはこの移動量に応じてパン駆動信号Ｓ４２Ｘを生成し、駆動部２４が有するパンモータ２４Ｘに出力する。同様にチルト演算部４１Ｙは、認識映像信号Ｓ２２における被写体の上下方向の移動量を算出し、これをチルト制御部４２Ｙに出力する。チルト制御部４２Ｙはこの移動量に応じてチルト駆動信号Ｓ４２Ｙを生成し、駆動部２４が有するチルトモータ２４Ｙに出力する。かくして被写体追尾部２０は、自動追尾型ビデオカメラ１の光軸を被写体に自動追尾させる。
【００２９】
多重化部１５は、ビデオエレメンタリーストリームＳ１２、オーディオエレメンタリーストリームＳ１４及び認識映像ビデオエレメンタリーストリームＳ２０をＭＰＥＧ２方式を用いて多重化し、トランスポートストリームＳ１５として外部に出力する。このとき、ビデオエレメンタリーストリームＳ１２、オーディオエレメンタリーストリームＳ１４及び認識映像ビデオエレメンタリーストリームＳ２０の同期が取れるようにこれらにタイムスタンプを挿入する。
【００３０】
（２）復号再生装置の構成
自動追尾ビデオカメラ１の出力（トランスポートストリームＳ１５）は、一般的なＭＰＥＧ２デコーダを有する装置であれば音声及び映像は復号できるが、認識映像を復号するには専用の装置が必要となる。図６において、５０は全体として復号再生装置を示し、トランスポートストリームＳ１５を分離部５１に入力する。分離部５１はトランスポートストリームＳ１５をビデオエレメンタリーストリームＳ１２、オーディオエレメンタリーストリームＳ１４及び認識映像ビデオエレメンタリーストリームＳ２０に分離し、それぞれを映像復号化部５２、音声復号化部５４及び認識映像復号化部５６に出力する。
【００３１】
音声復号化部５４は、オーディオエレメンタリーストリームＳ１４をＭＰＥＧ２方式により復号化し、音声信号Ｓ５４として遅延部５５に出力する。遅延部５５は音声信号Ｓ５４を一時蓄積し、分離部５１から供給されるタイムスタンプに応じて音声信号Ｓ５４をスピーカ６０に出力し再生する。
【００３２】
映像復号化部５２は、ビデオエレメンタリーストリームＳ１２をＭＰＥＧ２方式により復号化し、映像信号Ｓ５２として遅延部５３に出力する。遅延部５３は映像信号Ｓ５２を一時蓄積し、分離部５１から供給されるタイムスタンプに応じて映像信号Ｓ５２を演算部５８に出力する。
【００３３】
認識映像復号化部５６は、認識映像ビデオエレメンタリーストリームＳ２０をＭＰＥＧ２方式により復号化し、認識映像信号Ｓ５６として遅延部５７に出力する。遅延部５７は認識映像信号Ｓ５７を一時蓄積し、分離部５１から供給されるタイムスタンプに応じて認識映像信号Ｓ５７を演算部５８に出力する。
【００３４】
演算部５８は、映像信号Ｓ５２及び認識映像信号Ｓ５６を合成し、合成映像信号Ｓ５８としてモニタ５９に出力し再生する。このモニタ５９で再生される映像は、撮像部６（図１）で撮影した映像における映像において、被写体認識部（図１）で認識された被写体の部分がブロック状に明るく表示された映像となる。
【００３５】
（３）動作及び効果
以上の構成において、部分復号化部３０は、撮像信号Ｓ６を圧縮符号化してなるビデオエレメンタリーストリームＳ１２について、ブロック毎のＤＣ係数及びマクロブロック毎の動きベクトルのみを復号化し、被写体認識部２２に出力する。
【００３６】
被写体認識部２２は、マクロブロックを一つの画素とする低解像度画像について、各マクロブロックの輝度及び色差による被写体認識処理及び各マクロブロックの動きベクトルによる被写体認識処理を行い、さらにこれら２種類の被写体認識の結果を併用して総合的な被写体認識処理を行う。
【００３７】
そして被写体認識部２２は被写体認識処理により認識された被写体の移動量を算出し、追尾サーボ部４０がこの被写体移動量に応じて駆動部２４を駆動することにより、自動追尾ビデオカメラ１の光軸は常に被写体に自動追尾する。
【００３８】
以上の構成によれば、撮像信号Ｓ６を圧縮符号化してなるビデオエレメンタリーストリームＳ１２を部分復号して低解像度画像を生成し、この低解像度画像について輝度及び色差による被写体認識処理及び動きベクトルによる被写体認識処理を行い被写体の移動量を算出し、さらに被写体移動量に応じて駆動部２４を駆動するようにしたことにより、簡易な構成で高精度な被写体追尾を行い得る。
【００３９】
なお上述の実施の形態においては、映像符号化部１２及び音声符号化部１４に市販のＭＰＥＧ２エンコーダＬＳＩを使い、ビデオエレメンタリーストリームＳ１２を部分復号してＤＣ係数及び動きベクトルを得たが、本発明はこれに限らず、例えば映像符号化部１２から直接ＤＣ係数及び動きベクトルを被写体認識部に出力するようにしても良い。この場合、映像符号化部１２のＭＰＥＧ２エンコーダＬＳＩは専用ＬＳＩとなりコストは上昇するが、部分復号化部を省くことができ構成をより簡単にすることができる。
【００４０】
また上述の実施の形態においては、部分復号化部３０においてＤＣ係数及び動きベクトルを復号し、これらを用いて被写体認識処理を行ったが、本発明はこれに限らず、ＤＣ係数のみ、または動きベクトルのみを復号し、これを用いて被写体認識処理を行うようにしても良い。
【００４１】
【発明の効果】
上述のように本発明によれば、映像信号に対して圧縮符号化処理を施すことにより得られたビデオエレメンタリーストリームの複数のマクロブロックについて、輝度と色素のＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数の互いに隣接したマクロブロック間における動きベクトル差分値と閾値とを比較することによりマクロブロック間の互いに隣接した境界が被写体と背景との境い目であるか否かであるかを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に被写体を認識するようにしたことにより、隣接したマクロブロック間において被写体と背景との境界を高い精度で判定することができるので、被写体を高い精度で認識することができ、かくして映像信号において精度の高い被写体認識を行うことができる被写体認識装置を実現することができる。
また本発明によれば、映像信号に対して圧縮符号化処理を施すことにより得られたビデオエレメンタリーストリームの複数のマクロブロックについて、輝度と色素のＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数の互いに隣接したマクロブロック間における動きベクトル差分値と閾値とを比較することによりマクロブロック間の互いに隣接した境界が被写体と背景との境い目であるか否かであるかを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に被写体を認識し、認識した被写体の移動量を算出し、被写体が常に表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させるようにしたことにより、高い精度で認識された被写体に対し被写体の撮像装置の光軸が常に被写体に追尾することができ、かくして撮像装置の自動追尾を高い精度で行うことができる自動追尾装置を実現できる。
【図面の簡単な説明】
【図１】本発明による自動追尾ビデオカメラの一実施の形態を示すブロック図である。
【図２】部分復号部を示すブロック図である。
【図３】被写体認識処理を示す略線図及び表である。
【図４】動きベクトルによる被写体認識を示す略線図である。
【図５】追尾サーボ部を示すブロック図である。
【図６】復号再生装置を示すブロック図である。
【符号の説明】
１……自動追尾カメラ、６……撮像部、７……マイクロホン、１２……映像符号化部、１４……音声符号化部、１５……多重化部、２２……被写体認識部、２４……駆動部、３０……部分復号部、４０……追尾サーボ部。
【発明の属する技術分野】
本発明は被写体認識装置及び自動追尾装置に関し、例えば圧縮符号化した映像信号について被写体認識処理を行う被写体認識装置及びこれを用いた自動追尾装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、監視用途等に用いられる自動追尾ビデオカメラがあり、この種の自動追尾ビデオカメラでは撮像部が上下（チルト）及び左右（パン）に可動する回転台に載置され、制御部が被写体の動き量にもとづいて回転台の回転を制御することにより、撮像部の光軸を被写体に自動追尾させるようになされている。
【０００３】
【発明が解決しようとする課題】
このような自動追尾ビデオカメラにおいては、映像信号が示す画像から被写体の特徴を抽出して被写体認識を行う。この被写体認識処理には膨大な計算処理量が必要であるため、入力された映像信号の画素を間引いて低解像度の画像を生成し、この低解像度の画像を用いて被写体認識処理を行う。
【０００４】
このためこのような自動追尾ビデオカメラでは、入力された映像信号の画素を間引いて低解像度の画像を生成する間引き回路が必要であり、これにより構成が複雑になるという問題を有していた。
【０００５】
本発明は以上の点を考慮してなされたもので、簡易な構成による被写体認識装置及びこれを用いた自動追尾装置を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、映像信号に対して所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリーム生成し、得られた複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成し、複数のマクロブロックに対してＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数のマクロブロックについて互いに隣接したマクロブロック間における動きベクトルの差分値と予め決められた閾値とを比較することによりマクロブロック間の隣接した境界が被写体と背景との境い目であるか否かを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより総合的に被写体を認識するようにした。
本願発明の自動追尾装置においては、映像信号に対して所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリーム生成し、得られた複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成し、複数のマクロブロックに対してＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数のマクロブロックについて互いに隣接したマクロブロック間における動きベクトルの差分値と予め決められた閾値とを比較することによりマクロブロック間の隣接した境界が被写体と背景との境い目であるか否かを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより総合的に被写体を認識し、認識された上記被写体に基づいて当該被写体の左方向、右方向、上方向又は下方向への移動量を算出することによって被写体が表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させるようにした。ことにより、撮像装置の光軸を常に被写体に追尾することができるので、撮像装置の自動追尾を高い精度で行うことができる。
【０００７】
この結果、本願発明の被写体認識装置では、隣接した複数の全てのマクロブロックについて被写体と背景との境界であるか否かを高い精度で判定することができ、かくして被写体を高い精度で認識することができる。
本願発明の自動追尾装置においては、撮像装置の光軸を常に被写体に追尾することができるので、撮像装置の自動追尾を高い精度で行うことができる。
【０００８】
【発明の実施の形態】
以下図面について本発明の一実施の形態を詳述する。
【０００９】
（１）自動追尾ビデオカメラの構成
図１において、１は全体として自動追尾ビデオカメラを示し、撮像部６で撮像した画像およびマイクロホン７で集音した音声をＭＰＥＧ２（Moving Picture Experts Group Phase 2）方式により圧縮符号化して外部に送出するようになされている。
【００１０】
すなわちマイクロホン７は、集音した音声を音声信号Ｓ７としてアナログ／ディジタル変換部１３に送出する。アナログ／ディジタル変換部１３は音声信号Ｓ５をアナログ／ディジタル変換し、ディジタル音声信号Ｓ１３として音声符号化部１４に送出する。そして音声符号化部１４は、ディジタル音声信号Ｓ１３をＭＰＥＧ２方式を用いて圧縮符号化し、オーディオエレメンタリーストリームＳ１４として多重化部１５に送出する。同時に撮像部６は、レンズ（図示せず）により集光された撮像光を受光して映像信号Ｓ６を生成し、これをアナログ／ディジタル変換部１１に送出する。アナログ／ディジタル変換部１１は、映像信号Ｓ６をアナログ／ディジタル変換し、ディジタル映像信号Ｓ１１として映像符号化部１２に送出する。そして映像符号化部１２はディジタル映像信号Ｓ１１をＭＰＥＧ２方式を用いて圧縮符号化し、ビデオエレメンタリーストリームＳ１２として多重化部１５及び被写体追尾部２０に送出する。映像符号化部１２及び音声符号化部１４は、標準的なＭＰＥＧ２エンコーダＬＳＩである。
【００１１】
被写体追尾部２０は、ビデオエレメンタリーストリームＳ１２を用いて被写体認識を行い、この認識結果を基に自動追尾ビデオカメラ１の光軸すなわち撮像部６の光軸を被写体に追尾させるようになされている。
【００１２】
被写体追尾部２０において、ビデオエレメンタリーストリームＳ１２は部分復号化部３０に入力される。図２において、３０は全体として部分復号化部を示し、映像符号化部１２から供給されるビデオエレメンタリーストリームＳ１２を階層解析部３１に入力する。
【００１３】
階層解析部３１は、ビデオエレメンタリーストリームＳ１２を構成するＧＯＰ層、ピクチャ層、スライス層、マクロブロック層及びブロック層の各データ階層を解析して後段の回路に出力する。すなわち階層解析部３１は、ＧＯＰ層、ピクチャ層及びスライス層のヘッダから量子化スケール等のデータを得て、これらを復号制御部３２に出力するとともに、マクロブロック層から各マクロブロックの動きベクトルＭＶを得て、これを可変長復号化部３３に出力し、さらにブロック層から各ブロックのＤＣＴ係数におけるＤＣ（直流）係数Ｓ３１（輝度Ｙ及び色差Ｃｒ，Ｃｂ）を得て、これらを可変長復号化部３４に出力する。なお、各ブロックのＡＣ（交流）係数は使用せず廃棄する。
【００１４】
可変長復号化部３３は、動きベクトルＭＶを可変長復号化して逆量子化部３５に出力する。逆量子化部３５は、復号制御部３２から供給される量子化スケールＱに基づいて動きベクトルＭＶを逆量子化し、予測復号化部３７及び被写体認識部２２（図１）に出力する。また可変長復号部３４は、ＤＣ係数Ｓ３１を可変長復号化して逆量子化部３６に出力する。逆量子化部３６は、復号制御部３２から供給される量子化スケールＱに基づいてＤＣ係数Ｓ３１を逆量子化して予測復号化部３７に出力する。そして予測復号化部３７は、ＤＣ係数Ｓ３１を動きベクトルＭＶを用いて動き補償して予測復号化し、フレームバッファ３８に一時蓄積したのち順次被写体認識部２２に出力する。
【００１５】
かくして部分復号化部３０は、ビデオエレメンタリーストリームＳ１２を部分的に復号化し、ＤＣ係数Ｓ３１及び動きベクトルＭＶを被写体認識部２２に出力する。このとき部分復号化部３０は、復号に要する計算量が多いＡＣ係数の復号を行わないため、復号に要する処理時間を最小限に抑えることができる。
【００１６】
被写体認識部２２（図１）は、ＤＣ係数Ｓ３１及び動きベクトルＭＶを用いて被写体の特徴抽出すなわち被写体認識処理を行う。
【００１７】
ここで、映像符号化部１２に入力されるディジタル映像信号Ｓ１１は、ＭＰＥＧ２方式におけるＭＰ＠ＭＬ（Main Profile at Main Level）と呼ばれる７２０×４８０画素の解像度を有している。ＭＰＥＧ２方式では、映像信号を８×８画素のブロックと呼ばれる単位毎にＤＣＴ（Discreat Cosine Transform ）変換してＤＣＴ係数を生成することにより映像を圧縮符号化するとともに、このブロックを４個一組にしたマクロブロック（１６×１６画素）毎に動きベクトルを算出し、この動きベクトルを用いて動き補償処理による予測符号化を行っている。ＤＣＴ係数におけるＤＣ係数は、８×８画素のブロックについての輝度及び色差の直流成分を表しており、このブロックを一つの大きな画素として考えた場合、ＤＣ係数はこの大きな画素の輝度及び色差を表していることになる。
【００１８】
被写体認識部２２は、マクロブロックを一つの画素とする低解像度画像について、各マクロブロックの輝度及び色差による被写体認識及び各マクロブロックの動きベクトルによる被写体認識を行い、これら２種類の画像認識の結果を併用して総合的な被写体認識を行う。元の画像（ディジタル映像信号Ｓ１１）の解像度は７２０×４８０画素であるから元の画像は４５×３０個のマクロブロックを有しており、このため低解像度画像の解像度は４５×３０画素になる。
【００１９】
図３（Ａ）は被写体認識部２２における被写体認識処理を示し、被写体認識部２２はまずＤＣ係数Ｓ３１を用いて輝度及び色差による被写体認識を行う。すなわち各マクロブロックについて、記憶されている被写体の色モデルとのマッチングを行い、被写体である可能性を次に示す３段階で評価する。
【００２０】
すなわち、色モデルとのマッチングが高く、目的の被写体である可能性が高い場合、これを「Yes 」とし、色モデルとのマッチングが低く、目的の被写体である可能性が低い場合、これを「No」とし、どちらとも言えない、中間の評価（判断保留）の場合、これを「Doubt 」とする。
【００２１】
続いて被写体認識部２２は、動きベクトルによる被写体認識を行う。図４は低解像度画像の一部を示し、基本的に各マクロブロックはそれぞれ動きベクトルを有しているが、動きベクトルの値が０のマクロブロックや、フレーム内符号化を行ったために動きベクトルを有さないマクロブロック（ＮＡ:Not Available、動きベクトル無し) も存在している。被写体認識部２２は隣り合うマクロブロック毎の動きベクトルの差分値を算出し、この差分値と所定の閾値とを比較することにより、被写体と思われる領域を囲い込むように分割する。すなわち、差分値が閾値よりも大きい場合、この隣り合うマクロブロックの境界は被写体と背景との境界であるものとし、差分値が閾値よりも小さい場合、この隣り合うマクロブロックの境界は被写体と背景との境界ではないものとする。この境界が前のフレームにおける被写体をうまく囲い込むように閾値を調整する。このとき被写体認識部２２は、輝度及び色差による被写体認識によって得られた被写体の中心を基準に囲い込み処理を開始する。
【００２２】
被写体認識部２２は、このようにして被写体と思われる領域を囲い込み、この囲い込みに基づいて各マクロブロックが被写体である可能性を３段階評価する。基本的に、囲い込みの内部を「Yes 」とし、囲い込みの外部を「No」と判定する。
【００２３】
動き補償における動きベクトルは、常に正しいものが得られるとは限らない。例えば大きく一様な絵柄の被写体が動いた場合、この被写体の内部のマクロブロックでは動きベクトルが０となる場合がある。このため、動きベクトルが０であるマクロブロックの周囲全てが「Yes 」の場合、このマクロブロックを「Yes 」と判定する。また、動きベクトルが０であるマクロブロックが被写体領域の境界にある場合、判定を保留して「Doubt （判定保留）」とする。
【００２４】
あるマクロブロックの符号化において予測符号化の効率が悪いと判断された場合、フレーム内符号化が選択され動きベクトルの算出は行われない（図４に示すＮＡ）。このＮＡのマクロブロックについては、周囲４近傍に「Yes 」が有る場合は「Doubt 」とし、それ以外は「No」と判定する。
【００２５】
被写体認識部２２は、輝度及び色差による３段階評価及び動きベクトルによる３段階評価を用い、図３（Ｂ）に示す表に基づいて、被写体認識の総合判定を行う。すなわち、輝度及び色差による判定及び動きベクトルによる判定の双方が「Yes 」の場合、及び一方が「Yes 」で他方が「Doubt 」の場合は総合判定を「Yes 」とする。輝度及び色差による判定及び動きベクトルによる判定の双方が「No」の場合、及び一方が「No」で他方が「Doubt 」の場合は総合判定を「No」とする。また、一方が「Yes 」で他方が「No」の場合、及び双方が「Doubt 」の場合は「Continuity（連続性による判定）」とし、周囲全てのマクロブロックが「Yes 」の場合にのみ総合判定を「Yes 」とし、それ以外は「No」とする。
【００２６】
被写体認識部２２は、かくして得られた「Yes 」または「No」の総合判定を用いて、４５×３０画素の解像度を有する、被写体（すなわち「Yes 」の画素）のみが明るく、背景（すなわち「No」の画素）が暗い２値画像を生成し、これを認識映像信号Ｓ２２として追尾サーボ部４０に送出するとともに、認識映像信号Ｓ２２をＭＰＥＧ２方式により圧縮符号化し、これを認識映像ビデオエレメンタリーストリームＳ２０として多重化部１５に送出する。この圧縮符号化処理に関しては、各画素の輝度をそのままＤＣ係数に符号化するだけであり、ＡＣ係数の符号化や予測符号化は行わないため、計算処理量が非常に少ない。
【００２７】
追尾サーボ部４０は、認識映像信号Ｓ２２を基に被写体が常に画面中央に位置するように駆動部２４に対して駆動信号Ｓ２３を送出する。すなわち図５において４０は追尾サーボ部を示し、認識映像信号Ｓ２２をパン演算部４１Ｘ及びチルト演算部４１Ｙに入力する。
【００２８】
パン演算部４１Ｘは、認識映像信号Ｓ２２における被写体の左右方向の移動量を算出し、これをパン制御部４２Ｘに出力する。パン制御部４２Ｘはこの移動量に応じてパン駆動信号Ｓ４２Ｘを生成し、駆動部２４が有するパンモータ２４Ｘに出力する。同様にチルト演算部４１Ｙは、認識映像信号Ｓ２２における被写体の上下方向の移動量を算出し、これをチルト制御部４２Ｙに出力する。チルト制御部４２Ｙはこの移動量に応じてチルト駆動信号Ｓ４２Ｙを生成し、駆動部２４が有するチルトモータ２４Ｙに出力する。かくして被写体追尾部２０は、自動追尾型ビデオカメラ１の光軸を被写体に自動追尾させる。
【００２９】
多重化部１５は、ビデオエレメンタリーストリームＳ１２、オーディオエレメンタリーストリームＳ１４及び認識映像ビデオエレメンタリーストリームＳ２０をＭＰＥＧ２方式を用いて多重化し、トランスポートストリームＳ１５として外部に出力する。このとき、ビデオエレメンタリーストリームＳ１２、オーディオエレメンタリーストリームＳ１４及び認識映像ビデオエレメンタリーストリームＳ２０の同期が取れるようにこれらにタイムスタンプを挿入する。
【００３０】
（２）復号再生装置の構成
自動追尾ビデオカメラ１の出力（トランスポートストリームＳ１５）は、一般的なＭＰＥＧ２デコーダを有する装置であれば音声及び映像は復号できるが、認識映像を復号するには専用の装置が必要となる。図６において、５０は全体として復号再生装置を示し、トランスポートストリームＳ１５を分離部５１に入力する。分離部５１はトランスポートストリームＳ１５をビデオエレメンタリーストリームＳ１２、オーディオエレメンタリーストリームＳ１４及び認識映像ビデオエレメンタリーストリームＳ２０に分離し、それぞれを映像復号化部５２、音声復号化部５４及び認識映像復号化部５６に出力する。
【００３１】
音声復号化部５４は、オーディオエレメンタリーストリームＳ１４をＭＰＥＧ２方式により復号化し、音声信号Ｓ５４として遅延部５５に出力する。遅延部５５は音声信号Ｓ５４を一時蓄積し、分離部５１から供給されるタイムスタンプに応じて音声信号Ｓ５４をスピーカ６０に出力し再生する。
【００３２】
映像復号化部５２は、ビデオエレメンタリーストリームＳ１２をＭＰＥＧ２方式により復号化し、映像信号Ｓ５２として遅延部５３に出力する。遅延部５３は映像信号Ｓ５２を一時蓄積し、分離部５１から供給されるタイムスタンプに応じて映像信号Ｓ５２を演算部５８に出力する。
【００３３】
認識映像復号化部５６は、認識映像ビデオエレメンタリーストリームＳ２０をＭＰＥＧ２方式により復号化し、認識映像信号Ｓ５６として遅延部５７に出力する。遅延部５７は認識映像信号Ｓ５７を一時蓄積し、分離部５１から供給されるタイムスタンプに応じて認識映像信号Ｓ５７を演算部５８に出力する。
【００３４】
演算部５８は、映像信号Ｓ５２及び認識映像信号Ｓ５６を合成し、合成映像信号Ｓ５８としてモニタ５９に出力し再生する。このモニタ５９で再生される映像は、撮像部６（図１）で撮影した映像における映像において、被写体認識部（図１）で認識された被写体の部分がブロック状に明るく表示された映像となる。
【００３５】
（３）動作及び効果
以上の構成において、部分復号化部３０は、撮像信号Ｓ６を圧縮符号化してなるビデオエレメンタリーストリームＳ１２について、ブロック毎のＤＣ係数及びマクロブロック毎の動きベクトルのみを復号化し、被写体認識部２２に出力する。
【００３６】
被写体認識部２２は、マクロブロックを一つの画素とする低解像度画像について、各マクロブロックの輝度及び色差による被写体認識処理及び各マクロブロックの動きベクトルによる被写体認識処理を行い、さらにこれら２種類の被写体認識の結果を併用して総合的な被写体認識処理を行う。
【００３７】
そして被写体認識部２２は被写体認識処理により認識された被写体の移動量を算出し、追尾サーボ部４０がこの被写体移動量に応じて駆動部２４を駆動することにより、自動追尾ビデオカメラ１の光軸は常に被写体に自動追尾する。
【００３８】
以上の構成によれば、撮像信号Ｓ６を圧縮符号化してなるビデオエレメンタリーストリームＳ１２を部分復号して低解像度画像を生成し、この低解像度画像について輝度及び色差による被写体認識処理及び動きベクトルによる被写体認識処理を行い被写体の移動量を算出し、さらに被写体移動量に応じて駆動部２４を駆動するようにしたことにより、簡易な構成で高精度な被写体追尾を行い得る。
【００３９】
なお上述の実施の形態においては、映像符号化部１２及び音声符号化部１４に市販のＭＰＥＧ２エンコーダＬＳＩを使い、ビデオエレメンタリーストリームＳ１２を部分復号してＤＣ係数及び動きベクトルを得たが、本発明はこれに限らず、例えば映像符号化部１２から直接ＤＣ係数及び動きベクトルを被写体認識部に出力するようにしても良い。この場合、映像符号化部１２のＭＰＥＧ２エンコーダＬＳＩは専用ＬＳＩとなりコストは上昇するが、部分復号化部を省くことができ構成をより簡単にすることができる。
【００４０】
また上述の実施の形態においては、部分復号化部３０においてＤＣ係数及び動きベクトルを復号し、これらを用いて被写体認識処理を行ったが、本発明はこれに限らず、ＤＣ係数のみ、または動きベクトルのみを復号し、これを用いて被写体認識処理を行うようにしても良い。
【００４１】
【発明の効果】
上述のように本発明によれば、映像信号に対して圧縮符号化処理を施すことにより得られたビデオエレメンタリーストリームの複数のマクロブロックについて、輝度と色素のＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数の互いに隣接したマクロブロック間における動きベクトル差分値と閾値とを比較することによりマクロブロック間の互いに隣接した境界が被写体と背景との境い目であるか否かであるかを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に被写体を認識するようにしたことにより、隣接したマクロブロック間において被写体と背景との境界を高い精度で判定することができるので、被写体を高い精度で認識することができ、かくして映像信号において精度の高い被写体認識を行うことができる被写体認識装置を実現することができる。
また本発明によれば、映像信号に対して圧縮符号化処理を施すことにより得られたビデオエレメンタリーストリームの複数のマクロブロックについて、輝度と色素のＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第１の被写体判定処理と、複数の互いに隣接したマクロブロック間における動きベクトル差分値と閾値とを比較することによりマクロブロック間の互いに隣接した境界が被写体と背景との境い目であるか否かであるかを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に被写体を認識し、認識した被写体の移動量を算出し、被写体が常に表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させるようにしたことにより、高い精度で認識された被写体に対し被写体の撮像装置の光軸が常に被写体に追尾することができ、かくして撮像装置の自動追尾を高い精度で行うことができる自動追尾装置を実現できる。
【図面の簡単な説明】
【図１】本発明による自動追尾ビデオカメラの一実施の形態を示すブロック図である。
【図２】部分復号部を示すブロック図である。
【図３】被写体認識処理を示す略線図及び表である。
【図４】動きベクトルによる被写体認識を示す略線図である。
【図５】追尾サーボ部を示すブロック図である。
【図６】復号再生装置を示すブロック図である。
【符号の説明】
１……自動追尾カメラ、６……撮像部、７……マイクロホン、１２……映像符号化部、１４……音声符号化部、１５……多重化部、２２……被写体認識部、２４……駆動部、３０……部分復号部、４０……追尾サーボ部。
Claims (17)
- 映像信号における所定の被写体を認識する被写体認識装置において、
上記映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化手段と、
上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成する部分復号化手段と、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記ＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第１の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理手段と
を具えることを特徴とする被写体認識装置。 - 上記第２の被写体判定処理は、上記複数のマクロブロックについて互いに隣接した上記マクロブロック間における動きベクトルの上記差分値が上記予め決められた閾値よりも大きい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目であると判定し、上記差分値が上記閾値よりも小さい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目ではないと判定する
ことを特徴とする請求項１に記載の被写体認識装置。 - 上記被写体と思われる領域を囲い込むことにより上記輝度及び上記色差による３段階の評価及び上記動きベクトルによる３段階の評価を行う上記被写体の認識判定を行う
ことを特徴とする請求項１に記載の被写体認識装置。 - 上記動きベクトルによる上記３段階の評価は、上記動きベクトルが０である上記マクロブロックの周囲全てがＹｅｓの場合、Ｙｅｓと判定し、上記動きベクトルが０である上記マクロブロックの周囲が上記被写体領域の上記境界である場合又は上記動きベクトルが生成されず上記マクロブロック周囲４近傍がＹｅｓの場合、判定保留と判定し、上記動きベクトルが生成されず上記マクロブロック周囲４近傍がＹｅｓでない場合、Ｎｏと判定する
ことを特徴とする請求項３に記載の被写体認識装置。 - 上記輝度及び上記色差による上記３段階の評価は、色モデルとのマッチングが高く、目的の被写体である可能性が高い場合、Ｙｅｓと判定し、色モデルとのマッチングが低く、目的の被写体である可能性が低い場合、Ｎｏと判定し、その他の場合、判断保留と判定する
ことを特徴とする請求項３に記載の被写体認識装置。 - 上記動きベクトルによる上記３段階の評価と上記輝度及び上記色差による上記３段階の評価とによる総合的な判定を行う
ことを特徴とする請求項４及び請求項５に記載の被写体認識装置。 - 上記動きベクトル及び上記輝度及び上記色差による判定がＹｅｓの場合及び一方がＹｅｓで他方が判定保留の場合、総合判定をＹｅｓとし、上記動きベクトル及び上記輝度及び上記色差による双方の判定がＮｏの場合及び一方がＮｏで他方が判定保留の場合、総合判定をＮｏとし、上記動きベクトル及び上記輝度及び上記色差による判定で一方がＹｅｓで 他方がＮｏの場合及び双方が判定保留の場合、周囲全てのマクロブロックがＹｅｓであるときＹｅｓとし、その他はＮｏと判定する
ことを特徴とする請求項６に記載の被写体認識装置。 - 映像信号における所定の被写体を認識する被写体認識方法において、
映像符号化手段によって上記映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化ステップと、
部分復号化手段によって上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成する部分復号化ステップと、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記ＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第１の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理ステップと
を具えることを特徴とする被写体認識方法。 - 撮像装置の光軸を被写体に追尾させる自動追尾装置において、
上記撮像装置から出力される映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化手段と、
上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成する部分復号化手段と、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記ＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第１の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理手段と、
上記被写体認識処理手段により認識された上記被写体に基づいて当該被写体の左方向、右方向、上方向又は下方向への移動量を算出する移動量算出手段と、
上記移動量算出手段により算出した上記被写体の上記移動量に基づき上記被写体が表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させる追尾手段と
を具えることを特徴とする自動追尾装置。 - 上記第２の被写体判定処理は、上記複数のマクロブロックについて互いに隣接した上記マクロブロック間における動きベクトルの上記差分値が上記予め決められた閾値よりも大きい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目であると判定し、上記差分値が上記閾値よりも小さい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目ではないと判定する
ことを特徴とする請求項９に記載の自動追尾装置。 - 上記被写体と思われる領域を囲い込むことにより上記輝度及び上記色差による３段階の 評価及び上記動きベクトルによる３段階の評価を行う上記被写体の認識判定を行う
ことを特徴とする請求項９に記載の自動追尾装置。 - 上記動きベクトルによる上記３段階の評価は、上記動きベクトルが０である上記マクロブロックの周囲全てがＹｅｓの場合、Ｙｅｓと判定し、上記動きベクトルが０である上記マクロブロックの周囲が上記被写体領域の上記境界である場合又は上記動きベクトルが生成されず上記マクロブロック周囲４近傍がＹｅｓの場合、判定保留と判定し、上記動きベクトルが生成されず上記マクロブロック周囲４近傍がＹｅｓでない場合、Ｎｏと判定する
ことを特徴とする請求項１１に記載の自動追尾装置。 - 上記輝度及び上記色差による上記３段階の評価は、色モデルとのマッチングが高く、目的の被写体である可能性が高い場合、Ｙｅｓと判定し、色モデルとのマッチングが低く、目的の被写体である可能性が低い場合、Ｎｏと判定し、
その他の場合、判断保留と判定する
ことを特徴とする請求項１１に記載の自動追尾装置。 - 上記動きベクトルによる上記３段階の評価と上記輝度及び上記色差による上記３段階の評価とによる総合的な判定を行う
ことを特徴とする請求項１２及び請求項１３に記載の自動追尾装置。 - 上記動きベクトル及び上記輝度及び上記色差による判定がＹｅｓの場合及び一方がＹｅｓで他方が判定保留の場合、総合判定をＹｅｓとし、上記動きベクトル及び上記輝度及び上記色差による双方の判定がＮｏの場合及び一方がＮｏで他方が判定保留の場合、総合判定をＮｏとし、上記動きベクトル及び上記輝度及び上記色差による判定で一方がＹｅｓで他方がＮｏの場合及び双方が判定保留の場合、周囲全てのマクロブロックがＹｅｓであるときＹｅｓとし、その他はＮｏと判定する
ことを特徴とする請求項１４に記載の自動追尾装置。 - 上記被写体認識手段により認識された上記被写体に対して上記被写体のみが明るく、背景が暗い２値画像を生成し、生成された当該画像の信号を上記追尾信号として上記追尾手段へ送出する
ことを特徴とする請求項９に記載の自動追尾装置。 - 撮像装置の光軸を被写体に追尾させる自動追尾方法において、
映像符号化手段によって上記撮像装置から出力される映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化ステップと、
部分復号化手段によって上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すＤＣ係数及び動きベクトルを生成する部分復号化ステップと、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記ＤＣ係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第１の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第２の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理ステップと、
上記被写体に基づいて当該被写体の左方向、右方向、上方向又は下方向への移動量を算出する移動量算出ステップと、
上記被写体の上記移動量に基づき上記被写体が表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させる追尾ステップと
を具えることを特徴とする自動追尾方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24980698A JP3997501B2 (ja) | 1998-09-03 | 1998-09-03 | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24980698A JP3997501B2 (ja) | 1998-09-03 | 1998-09-03 | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000078563A JP2000078563A (ja) | 2000-03-14 |
| JP3997501B2 true JP3997501B2 (ja) | 2007-10-24 |
Family
ID=17198496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24980698A Expired - Fee Related JP3997501B2 (ja) | 1998-09-03 | 1998-09-03 | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3997501B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102014545B1 (ko) * | 2018-07-11 | 2019-08-26 | 이노뎁 주식회사 | 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6646676B1 (en) * | 2000-05-17 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Networked surveillance and control system |
| KR100878190B1 (ko) * | 2002-03-11 | 2009-01-13 | 주식회사 엘지이아이 | 객체 인식 방법 |
| JP4890918B2 (ja) * | 2006-04-07 | 2012-03-07 | オリンパスイメージング株式会社 | 再生装置、再生画像の選択方法、プログラム |
| JP2010130403A (ja) * | 2008-11-28 | 2010-06-10 | Sharp Corp | 映像制御装置およびそれを備えた撮像装置、表示装置 |
| JP4519933B2 (ja) | 2008-11-28 | 2010-08-04 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法 |
| JP5644862B2 (ja) * | 2010-12-10 | 2014-12-24 | 富士通株式会社 | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム |
| JP7269134B2 (ja) * | 2019-08-28 | 2023-05-08 | Kddi株式会社 | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
-
1998
- 1998-09-03 JP JP24980698A patent/JP3997501B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102014545B1 (ko) * | 2018-07-11 | 2019-08-26 | 이노뎁 주식회사 | 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000078563A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9554142B2 (en) | Encoding of video stream based on scene type | |
| KR100904649B1 (ko) | 서브-프레임 메타데이터를 이용한 적응적 비디오 프로세싱회로 및 플레이어 | |
| KR100289586B1 (ko) | 동화상 부호화 방법과 장치 및 동화상 복호화 방법과 장치 | |
| EP2094018B1 (en) | Encoding apparatus for high frame rate videos, method and program | |
| KR100701443B1 (ko) | 코드화된 비디오 신호의 트랜스코딩 방법 및 움직임 벡터 선택의 트랜스코더 | |
| US10165274B2 (en) | Encoding of video stream based on scene type | |
| JPH05268594A (ja) | 動画像の動き検出装置 | |
| JP3997501B2 (ja) | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 | |
| KR20040060980A (ko) | 압축되지 않은 디지털 비디오로부터 인트라-코딩된화상들을 검출하고 인트라 ｄｃｔ 정확도 및매크로블록-레벨 코딩 파라메터들을 추출하는 방법 및시스템 | |
| JP2007134755A (ja) | 動画像符号化装置及び画像記録再生装置 | |
| JP3221785B2 (ja) | 撮像装置 | |
| JP3592025B2 (ja) | 撮影画像記録装置 | |
| US20070269120A1 (en) | Video image compression using model plus difference image | |
| US20210297687A1 (en) | Encoding apparatus, encoding method, decoding apparatus, and decoding method | |
| US20080310739A1 (en) | Moving picture compression coding apparatus | |
| JP2009027693A (ja) | 動画像圧縮符号化装置 | |
| JP2009111647A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| US8306116B2 (en) | Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus | |
| JP2004180345A (ja) | 撮影画像記録装置 | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
| JP2003333370A (ja) | 信号処理装置 | |
| JP2001145011A (ja) | 映像信号符号化装置 | |
| EP1630744A1 (en) | Method and apparatus for improved encoding of video signals using additional encoder information items, and corresponding storage medium | |
| JP2005197879A (ja) | 映像信号符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070726 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |