JP3997501B2 - 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 - Google Patents
被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 Download PDFInfo
- Publication number
- JP3997501B2 JP3997501B2 JP24980698A JP24980698A JP3997501B2 JP 3997501 B2 JP3997501 B2 JP 3997501B2 JP 24980698 A JP24980698 A JP 24980698A JP 24980698 A JP24980698 A JP 24980698A JP 3997501 B2 JP3997501 B2 JP 3997501B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- macroblocks
- determination
- boundary
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は被写体認識装置及び自動追尾装置に関し、例えば圧縮符号化した映像信号について被写体認識処理を行う被写体認識装置及びこれを用いた自動追尾装置に適用して好適なものである。
【0002】
【従来の技術】
従来、監視用途等に用いられる自動追尾ビデオカメラがあり、この種の自動追尾ビデオカメラでは撮像部が上下(チルト)及び左右(パン)に可動する回転台に載置され、制御部が被写体の動き量にもとづいて回転台の回転を制御することにより、撮像部の光軸を被写体に自動追尾させるようになされている。
【0003】
【発明が解決しようとする課題】
このような自動追尾ビデオカメラにおいては、映像信号が示す画像から被写体の特徴を抽出して被写体認識を行う。この被写体認識処理には膨大な計算処理量が必要であるため、入力された映像信号の画素を間引いて低解像度の画像を生成し、この低解像度の画像を用いて被写体認識処理を行う。
【0004】
このためこのような自動追尾ビデオカメラでは、入力された映像信号の画素を間引いて低解像度の画像を生成する間引き回路が必要であり、これにより構成が複雑になるという問題を有していた。
【0005】
本発明は以上の点を考慮してなされたもので、簡易な構成による被写体認識装置及びこれを用いた自動追尾装置を提案しようとするものである。
【0006】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、映像信号に対して所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリーム生成し、得られた複数のマクロブロックにおける輝度及び色差の直流成分を表すDC係数及び動きベクトルを生成し、複数のマクロブロックに対してDC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第1の被写体判定処理と、複数のマクロブロックについて互いに隣接したマクロブロック間における動きベクトルの差分値と予め決められた閾値とを比較することによりマクロブロック間の隣接した境界が被写体と背景との境い目であるか否かを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第2の被写体判定処理とを併用することにより総合的に被写体を認識するようにした。
本願発明の自動追尾装置においては、映像信号に対して所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリーム生成し、得られた複数のマクロブロックにおける輝度及び色差の直流成分を表すDC係数及び動きベクトルを生成し、複数のマクロブロックに対してDC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第1の被写体判定処理と、複数のマクロブロックについて互いに隣接したマクロブロック間における動きベクトルの差分値と予め決められた閾値とを比較することによりマクロブロック間の隣接した境界が被写体と背景との境い目であるか否かを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第2の被写体判定処理とを併用することにより総合的に被写体を認識し、認識された上記被写体に基づいて当該被写体の左方向、右方向、上方向又は下方向への移動量を算出することによって被写体が表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させるようにした。ことにより、撮像装置の光軸を常に被写体に追尾することができるので、撮像装置の自動追尾を高い精度で行うことができる。
【0007】
この結果、本願発明の被写体認識装置では、隣接した複数の全てのマクロブロックについて被写体と背景との境界であるか否かを高い精度で判定することができ、かくして被写体を高い精度で認識することができる。
本願発明の自動追尾装置においては、撮像装置の光軸を常に被写体に追尾することができるので、撮像装置の自動追尾を高い精度で行うことができる。
【0008】
【発明の実施の形態】
以下図面について本発明の一実施の形態を詳述する。
【0009】
(1)自動追尾ビデオカメラの構成
図1において、1は全体として自動追尾ビデオカメラを示し、撮像部6で撮像した画像およびマイクロホン7で集音した音声をMPEG2(Moving Picture Experts Group Phase 2)方式により圧縮符号化して外部に送出するようになされている。
【0010】
すなわちマイクロホン7は、集音した音声を音声信号S7としてアナログ/ディジタル変換部13に送出する。アナログ/ディジタル変換部13は音声信号S5をアナログ/ディジタル変換し、ディジタル音声信号S13として音声符号化部14に送出する。そして音声符号化部14は、ディジタル音声信号S13をMPEG2方式を用いて圧縮符号化し、オーディオエレメンタリーストリームS14として多重化部15に送出する。同時に撮像部6は、レンズ(図示せず)により集光された撮像光を受光して映像信号S6を生成し、これをアナログ/ディジタル変換部11に送出する。アナログ/ディジタル変換部11は、映像信号S6をアナログ/ディジタル変換し、ディジタル映像信号S11として映像符号化部12に送出する。そして映像符号化部12はディジタル映像信号S11をMPEG2方式を用いて圧縮符号化し、ビデオエレメンタリーストリームS12として多重化部15及び被写体追尾部20に送出する。映像符号化部12及び音声符号化部14は、標準的なMPEG2エンコーダLSIである。
【0011】
被写体追尾部20は、ビデオエレメンタリーストリームS12を用いて被写体認識を行い、この認識結果を基に自動追尾ビデオカメラ1の光軸すなわち撮像部6の光軸を被写体に追尾させるようになされている。
【0012】
被写体追尾部20において、ビデオエレメンタリーストリームS12は部分復号化部30に入力される。図2において、30は全体として部分復号化部を示し、映像符号化部12から供給されるビデオエレメンタリーストリームS12を階層解析部31に入力する。
【0013】
階層解析部31は、ビデオエレメンタリーストリームS12を構成するGOP層、ピクチャ層、スライス層、マクロブロック層及びブロック層の各データ階層を解析して後段の回路に出力する。すなわち階層解析部31は、GOP層、ピクチャ層及びスライス層のヘッダから量子化スケール等のデータを得て、これらを復号制御部32に出力するとともに、マクロブロック層から各マクロブロックの動きベクトルMVを得て、これを可変長復号化部33に出力し、さらにブロック層から各ブロックのDCT係数におけるDC(直流)係数S31(輝度Y及び色差Cr,Cb)を得て、これらを可変長復号化部34に出力する。なお、各ブロックのAC(交流)係数は使用せず廃棄する。
【0014】
可変長復号化部33は、動きベクトルMVを可変長復号化して逆量子化部35に出力する。逆量子化部35は、復号制御部32から供給される量子化スケールQに基づいて動きベクトルMVを逆量子化し、予測復号化部37及び被写体認識部22(図1)に出力する。また可変長復号部34は、DC係数S31を可変長復号化して逆量子化部36に出力する。逆量子化部36は、復号制御部32から供給される量子化スケールQに基づいてDC係数S31を逆量子化して予測復号化部37に出力する。そして予測復号化部37は、DC係数S31を動きベクトルMVを用いて動き補償して予測復号化し、フレームバッファ38に一時蓄積したのち順次被写体認識部22に出力する。
【0015】
かくして部分復号化部30は、ビデオエレメンタリーストリームS12を部分的に復号化し、DC係数S31及び動きベクトルMVを被写体認識部22に出力する。このとき部分復号化部30は、復号に要する計算量が多いAC係数の復号を行わないため、復号に要する処理時間を最小限に抑えることができる。
【0016】
被写体認識部22(図1)は、DC係数S31及び動きベクトルMVを用いて被写体の特徴抽出すなわち被写体認識処理を行う。
【0017】
ここで、映像符号化部12に入力されるディジタル映像信号S11は、MPEG2方式におけるMP@ML(Main Profile at Main Level)と呼ばれる720×480画素の解像度を有している。MPEG2方式では、映像信号を8×8画素のブロックと呼ばれる単位毎にDCT(Discreat Cosine Transform )変換してDCT係数を生成することにより映像を圧縮符号化するとともに、このブロックを4個一組にしたマクロブロック(16×16画素)毎に動きベクトルを算出し、この動きベクトルを用いて動き補償処理による予測符号化を行っている。DCT係数におけるDC係数は、8×8画素のブロックについての輝度及び色差の直流成分を表しており、このブロックを一つの大きな画素として考えた場合、DC係数はこの大きな画素の輝度及び色差を表していることになる。
【0018】
被写体認識部22は、マクロブロックを一つの画素とする低解像度画像について、各マクロブロックの輝度及び色差による被写体認識及び各マクロブロックの動きベクトルによる被写体認識を行い、これら2種類の画像認識の結果を併用して総合的な被写体認識を行う。元の画像(ディジタル映像信号S11)の解像度は720×480画素であるから元の画像は45×30個のマクロブロックを有しており、このため低解像度画像の解像度は45×30画素になる。
【0019】
図3(A)は被写体認識部22における被写体認識処理を示し、被写体認識部22はまずDC係数S31を用いて輝度及び色差による被写体認識を行う。すなわち各マクロブロックについて、記憶されている被写体の色モデルとのマッチングを行い、被写体である可能性を次に示す3段階で評価する。
【0020】
すなわち、色モデルとのマッチングが高く、目的の被写体である可能性が高い場合、これを「Yes 」とし、色モデルとのマッチングが低く、目的の被写体である可能性が低い場合、これを「No」とし、どちらとも言えない、中間の評価(判断保留)の場合、これを「Doubt 」とする。
【0021】
続いて被写体認識部22は、動きベクトルによる被写体認識を行う。図4は低解像度画像の一部を示し、基本的に各マクロブロックはそれぞれ動きベクトルを有しているが、動きベクトルの値が0のマクロブロックや、フレーム内符号化を行ったために動きベクトルを有さないマクロブロック(NA:Not Available、動きベクトル無し) も存在している。被写体認識部22は隣り合うマクロブロック毎の動きベクトルの差分値を算出し、この差分値と所定の閾値とを比較することにより、被写体と思われる領域を囲い込むように分割する。すなわち、差分値が閾値よりも大きい場合、この隣り合うマクロブロックの境界は被写体と背景との境界であるものとし、差分値が閾値よりも小さい場合、この隣り合うマクロブロックの境界は被写体と背景との境界ではないものとする。この境界が前のフレームにおける被写体をうまく囲い込むように閾値を調整する。このとき被写体認識部22は、輝度及び色差による被写体認識によって得られた被写体の中心を基準に囲い込み処理を開始する。
【0022】
被写体認識部22は、このようにして被写体と思われる領域を囲い込み、この囲い込みに基づいて各マクロブロックが被写体である可能性を3段階評価する。基本的に、囲い込みの内部を「Yes 」とし、囲い込みの外部を「No」と判定する。
【0023】
動き補償における動きベクトルは、常に正しいものが得られるとは限らない。例えば大きく一様な絵柄の被写体が動いた場合、この被写体の内部のマクロブロックでは動きベクトルが0となる場合がある。このため、動きベクトルが0であるマクロブロックの周囲全てが「Yes 」の場合、このマクロブロックを「Yes 」と判定する。また、動きベクトルが0であるマクロブロックが被写体領域の境界にある場合、判定を保留して「Doubt (判定保留)」とする。
【0024】
あるマクロブロックの符号化において予測符号化の効率が悪いと判断された場合、フレーム内符号化が選択され動きベクトルの算出は行われない(図4に示すNA)。このNAのマクロブロックについては、周囲4近傍に「Yes 」が有る場合は「Doubt 」とし、それ以外は「No」と判定する。
【0025】
被写体認識部22は、輝度及び色差による3段階評価及び動きベクトルによる3段階評価を用い、図3(B)に示す表に基づいて、被写体認識の総合判定を行う。すなわち、輝度及び色差による判定及び動きベクトルによる判定の双方が「Yes 」の場合、及び一方が「Yes 」で他方が「Doubt 」の場合は総合判定を「Yes 」とする。輝度及び色差による判定及び動きベクトルによる判定の双方が「No」の場合、及び一方が「No」で他方が「Doubt 」の場合は総合判定を「No」とする。また、一方が「Yes 」で他方が「No」の場合、及び双方が「Doubt 」の場合は「Continuity(連続性による判定)」とし、周囲全てのマクロブロックが「Yes 」の場合にのみ総合判定を「Yes 」とし、それ以外は「No」とする。
【0026】
被写体認識部22は、かくして得られた「Yes 」または「No」の総合判定を用いて、45×30画素の解像度を有する、被写体(すなわち「Yes 」の画素)のみが明るく、背景(すなわち「No」の画素)が暗い2値画像を生成し、これを認識映像信号S22として追尾サーボ部40に送出するとともに、認識映像信号S22をMPEG2方式により圧縮符号化し、これを認識映像ビデオエレメンタリーストリームS20として多重化部15に送出する。この圧縮符号化処理に関しては、各画素の輝度をそのままDC係数に符号化するだけであり、AC係数の符号化や予測符号化は行わないため、計算処理量が非常に少ない。
【0027】
追尾サーボ部40は、認識映像信号S22を基に被写体が常に画面中央に位置するように駆動部24に対して駆動信号S23を送出する。すなわち図5において40は追尾サーボ部を示し、認識映像信号S22をパン演算部41X及びチルト演算部41Yに入力する。
【0028】
パン演算部41Xは、認識映像信号S22における被写体の左右方向の移動量を算出し、これをパン制御部42Xに出力する。パン制御部42Xはこの移動量に応じてパン駆動信号S42Xを生成し、駆動部24が有するパンモータ24Xに出力する。同様にチルト演算部41Yは、認識映像信号S22における被写体の上下方向の移動量を算出し、これをチルト制御部42Yに出力する。チルト制御部42Yはこの移動量に応じてチルト駆動信号S42Yを生成し、駆動部24が有するチルトモータ24Yに出力する。かくして被写体追尾部20は、自動追尾型ビデオカメラ1の光軸を被写体に自動追尾させる。
【0029】
多重化部15は、ビデオエレメンタリーストリームS12、オーディオエレメンタリーストリームS14及び認識映像ビデオエレメンタリーストリームS20をMPEG2方式を用いて多重化し、トランスポートストリームS15として外部に出力する。このとき、ビデオエレメンタリーストリームS12、オーディオエレメンタリーストリームS14及び認識映像ビデオエレメンタリーストリームS20の同期が取れるようにこれらにタイムスタンプを挿入する。
【0030】
(2)復号再生装置の構成
自動追尾ビデオカメラ1の出力(トランスポートストリームS15)は、一般的なMPEG2デコーダを有する装置であれば音声及び映像は復号できるが、認識映像を復号するには専用の装置が必要となる。図6において、50は全体として復号再生装置を示し、トランスポートストリームS15を分離部51に入力する。分離部51はトランスポートストリームS15をビデオエレメンタリーストリームS12、オーディオエレメンタリーストリームS14及び認識映像ビデオエレメンタリーストリームS20に分離し、それぞれを映像復号化部52、音声復号化部54及び認識映像復号化部56に出力する。
【0031】
音声復号化部54は、オーディオエレメンタリーストリームS14をMPEG2方式により復号化し、音声信号S54として遅延部55に出力する。遅延部55は音声信号S54を一時蓄積し、分離部51から供給されるタイムスタンプに応じて音声信号S54をスピーカ60に出力し再生する。
【0032】
映像復号化部52は、ビデオエレメンタリーストリームS12をMPEG2方式により復号化し、映像信号S52として遅延部53に出力する。遅延部53は映像信号S52を一時蓄積し、分離部51から供給されるタイムスタンプに応じて映像信号S52を演算部58に出力する。
【0033】
認識映像復号化部56は、認識映像ビデオエレメンタリーストリームS20をMPEG2方式により復号化し、認識映像信号S56として遅延部57に出力する。遅延部57は認識映像信号S57を一時蓄積し、分離部51から供給されるタイムスタンプに応じて認識映像信号S57を演算部58に出力する。
【0034】
演算部58は、映像信号S52及び認識映像信号S56を合成し、合成映像信号S58としてモニタ59に出力し再生する。このモニタ59で再生される映像は、撮像部6(図1)で撮影した映像における映像において、被写体認識部(図1)で認識された被写体の部分がブロック状に明るく表示された映像となる。
【0035】
(3)動作及び効果
以上の構成において、部分復号化部30は、撮像信号S6を圧縮符号化してなるビデオエレメンタリーストリームS12について、ブロック毎のDC係数及びマクロブロック毎の動きベクトルのみを復号化し、被写体認識部22に出力する。
【0036】
被写体認識部22は、マクロブロックを一つの画素とする低解像度画像について、各マクロブロックの輝度及び色差による被写体認識処理及び各マクロブロックの動きベクトルによる被写体認識処理を行い、さらにこれら2種類の被写体認識の結果を併用して総合的な被写体認識処理を行う。
【0037】
そして被写体認識部22は被写体認識処理により認識された被写体の移動量を算出し、追尾サーボ部40がこの被写体移動量に応じて駆動部24を駆動することにより、自動追尾ビデオカメラ1の光軸は常に被写体に自動追尾する。
【0038】
以上の構成によれば、撮像信号S6を圧縮符号化してなるビデオエレメンタリーストリームS12を部分復号して低解像度画像を生成し、この低解像度画像について輝度及び色差による被写体認識処理及び動きベクトルによる被写体認識処理を行い被写体の移動量を算出し、さらに被写体移動量に応じて駆動部24を駆動するようにしたことにより、簡易な構成で高精度な被写体追尾を行い得る。
【0039】
なお上述の実施の形態においては、映像符号化部12及び音声符号化部14に市販のMPEG2エンコーダLSIを使い、ビデオエレメンタリーストリームS12を部分復号してDC係数及び動きベクトルを得たが、本発明はこれに限らず、例えば映像符号化部12から直接DC係数及び動きベクトルを被写体認識部に出力するようにしても良い。この場合、映像符号化部12のMPEG2エンコーダLSIは専用LSIとなりコストは上昇するが、部分復号化部を省くことができ構成をより簡単にすることができる。
【0040】
また上述の実施の形態においては、部分復号化部30においてDC係数及び動きベクトルを復号し、これらを用いて被写体認識処理を行ったが、本発明はこれに限らず、DC係数のみ、または動きベクトルのみを復号し、これを用いて被写体認識処理を行うようにしても良い。
【0041】
【発明の効果】
上述のように本発明によれば、映像信号に対して圧縮符号化処理を施すことにより得られたビデオエレメンタリーストリームの複数のマクロブロックについて、輝度と色素のDC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第1の被写体判定処理と、複数の互いに隣接したマクロブロック間における動きベクトル差分値と閾値とを比較することによりマクロブロック間の互いに隣接した境界が被写体と背景との境い目であるか否かであるかを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第2の被写体判定処理とを併用することにより、総合的に被写体を認識するようにしたことにより、隣接したマクロブロック間において被写体と背景との境界を高い精度で判定することができるので、被写体を高い精度で認識することができ、かくして映像信号において精度の高い被写体認識を行うことができる被写体認識装置を実現することができる。
また本発明によれば、映像信号に対して圧縮符号化処理を施すことにより得られたビデオエレメンタリーストリームの複数のマクロブロックについて、輝度と色素のDC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより被写体の認識判定を行う第1の被写体判定処理と、複数の互いに隣接したマクロブロック間における動きベクトル差分値と閾値とを比較することによりマクロブロック間の互いに隣接した境界が被写体と背景との境い目であるか否かであるかを判定し、境い目であると判定した境界を有するマクロブロックを囲い込むことによって被写体の認識判定を行う第2の被写体判定処理とを併用することにより、総合的に被写体を認識し、認識した被写体の移動量を算出し、被写体が常に表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させるようにしたことにより、高い精度で認識された被写体に対し被写体の撮像装置の光軸が常に被写体に追尾することができ、かくして撮像装置の自動追尾を高い精度で行うことができる自動追尾装置を実現できる。
【図面の簡単な説明】
【図1】本発明による自動追尾ビデオカメラの一実施の形態を示すブロック図である。
【図2】部分復号部を示すブロック図である。
【図3】被写体認識処理を示す略線図及び表である。
【図4】動きベクトルによる被写体認識を示す略線図である。
【図5】追尾サーボ部を示すブロック図である。
【図6】復号再生装置を示すブロック図である。
【符号の説明】
1……自動追尾カメラ、6……撮像部、7……マイクロホン、12……映像符号化部、14……音声符号化部、15……多重化部、22……被写体認識部、24……駆動部、30……部分復号部、40……追尾サーボ部。
Claims (17)
- 映像信号における所定の被写体を認識する被写体認識装置において、
上記映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化手段と、
上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すDC係数及び動きベクトルを生成する部分復号化手段と、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記DC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第1の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第2の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理手段と
を具えることを特徴とする被写体認識装置。 - 上記第2の被写体判定処理は、上記複数のマクロブロックについて互いに隣接した上記マクロブロック間における動きベクトルの上記差分値が上記予め決められた閾値よりも大きい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目であると判定し、上記差分値が上記閾値よりも小さい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目ではないと判定する
ことを特徴とする請求項1に記載の被写体認識装置。 - 上記被写体と思われる領域を囲い込むことにより上記輝度及び上記色差による3段階の評価及び上記動きベクトルによる3段階の評価を行う上記被写体の認識判定を行う
ことを特徴とする請求項1に記載の被写体認識装置。 - 上記動きベクトルによる上記3段階の評価は、上記動きベクトルが0である上記マクロブロックの周囲全てがYesの場合、Yesと判定し、上記動きベクトルが0である上記マクロブロックの周囲が上記被写体領域の上記境界である場合又は上記動きベクトルが生成されず上記マクロブロック周囲4近傍がYesの場合、判定保留と判定し、上記動きベクトルが生成されず上記マクロブロック周囲4近傍がYesでない場合、Noと判定する
ことを特徴とする請求項3に記載の被写体認識装置。 - 上記輝度及び上記色差による上記3段階の評価は、色モデルとのマッチングが高く、目的の被写体である可能性が高い場合、Yesと判定し、色モデルとのマッチングが低く、目的の被写体である可能性が低い場合、Noと判定し、その他の場合、判断保留と判定する
ことを特徴とする請求項3に記載の被写体認識装置。 - 上記動きベクトルによる上記3段階の評価と上記輝度及び上記色差による上記3段階の評価とによる総合的な判定を行う
ことを特徴とする請求項4及び請求項5に記載の被写体認識装置。 - 上記動きベクトル及び上記輝度及び上記色差による判定がYesの場合及び一方がYesで他方が判定保留の場合、総合判定をYesとし、上記動きベクトル及び上記輝度及び上記色差による双方の判定がNoの場合及び一方がNoで他方が判定保留の場合、総合判定をNoとし、上記動きベクトル及び上記輝度及び上記色差による判定で一方がYesで 他方がNoの場合及び双方が判定保留の場合、周囲全てのマクロブロックがYesであるときYesとし、その他はNoと判定する
ことを特徴とする請求項6に記載の被写体認識装置。 - 映像信号における所定の被写体を認識する被写体認識方法において、
映像符号化手段によって上記映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化ステップと、
部分復号化手段によって上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すDC係数及び動きベクトルを生成する部分復号化ステップと、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記DC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第1の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第2の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理ステップと
を具えることを特徴とする被写体認識方法。 - 撮像装置の光軸を被写体に追尾させる自動追尾装置において、
上記撮像装置から出力される映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化手段と、
上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すDC係数及び動きベクトルを生成する部分復号化手段と、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記DC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第1の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第2の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理手段と、
上記被写体認識処理手段により認識された上記被写体に基づいて当該被写体の左方向、右方向、上方向又は下方向への移動量を算出する移動量算出手段と、
上記移動量算出手段により算出した上記被写体の上記移動量に基づき上記被写体が表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させる追尾手段と
を具えることを特徴とする自動追尾装置。 - 上記第2の被写体判定処理は、上記複数のマクロブロックについて互いに隣接した上記マクロブロック間における動きベクトルの上記差分値が上記予め決められた閾値よりも大きい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目であると判定し、上記差分値が上記閾値よりも小さい場合、上記マクロブロック間の境界が上記被写体と上記背景との境い目ではないと判定する
ことを特徴とする請求項9に記載の自動追尾装置。 - 上記被写体と思われる領域を囲い込むことにより上記輝度及び上記色差による3段階の 評価及び上記動きベクトルによる3段階の評価を行う上記被写体の認識判定を行う
ことを特徴とする請求項9に記載の自動追尾装置。 - 上記動きベクトルによる上記3段階の評価は、上記動きベクトルが0である上記マクロブロックの周囲全てがYesの場合、Yesと判定し、上記動きベクトルが0である上記マクロブロックの周囲が上記被写体領域の上記境界である場合又は上記動きベクトルが生成されず上記マクロブロック周囲4近傍がYesの場合、判定保留と判定し、上記動きベクトルが生成されず上記マクロブロック周囲4近傍がYesでない場合、Noと判定する
ことを特徴とする請求項11に記載の自動追尾装置。 - 上記輝度及び上記色差による上記3段階の評価は、色モデルとのマッチングが高く、目的の被写体である可能性が高い場合、Yesと判定し、色モデルとのマッチングが低く、目的の被写体である可能性が低い場合、Noと判定し、
その他の場合、判断保留と判定する
ことを特徴とする請求項11に記載の自動追尾装置。 - 上記動きベクトルによる上記3段階の評価と上記輝度及び上記色差による上記3段階の評価とによる総合的な判定を行う
ことを特徴とする請求項12及び請求項13に記載の自動追尾装置。 - 上記動きベクトル及び上記輝度及び上記色差による判定がYesの場合及び一方がYesで他方が判定保留の場合、総合判定をYesとし、上記動きベクトル及び上記輝度及び上記色差による双方の判定がNoの場合及び一方がNoで他方が判定保留の場合、総合判定をNoとし、上記動きベクトル及び上記輝度及び上記色差による判定で一方がYesで他方がNoの場合及び双方が判定保留の場合、周囲全てのマクロブロックがYesであるときYesとし、その他はNoと判定する
ことを特徴とする請求項14に記載の自動追尾装置。 - 上記被写体認識手段により認識された上記被写体に対して上記被写体のみが明るく、背景が暗い2値画像を生成し、生成された当該画像の信号を上記追尾信号として上記追尾手段へ送出する
ことを特徴とする請求項9に記載の自動追尾装置。 - 撮像装置の光軸を被写体に追尾させる自動追尾方法において、
映像符号化手段によって上記撮像装置から出力される映像信号に対し所定の圧縮符号化方法による圧縮符号化処理を施すことにより所定の画素数によって構成された複数のマクロブロックからなるビデオエレメンタリーストリームを生成する映像符号化ステップと、
部分復号化手段によって上記ビデオエレメンタリーストリームから上記複数のマクロブロックにおける輝度及び色差の直流成分を表すDC係数及び動きベクトルを生成する部分復号化ステップと、
上記部分復号化手段により得られた上記複数のマクロブロックに対して上記DC係数を用いて予め記憶されている被写体の色モデルとマッチングを行うことにより上記被写体の認識判定を行う第1の被写体判定処理と、上記複数のマクロブロックに対して互いに隣接した上記複数のマクロブロック間における上記動きベクトルの差分値と予め決められた閾値とを比較することにより上記マクロブロック間の隣接した境界が上記被写体と背景との境い目であるか否かを判定し、当該境い目であると判定した境界を有するマクロブロックを囲い込むことによって上記被写体の認識判定を行う第2の被写体判定処理とを併用することにより、総合的に上記被写体を認識する被写体認識処理ステップと、
上記被写体に基づいて当該被写体の左方向、右方向、上方向又は下方向への移動量を算出する移動量算出ステップと、
上記被写体の上記移動量に基づき上記被写体が表示画面内の中央部分に位置するように上記撮像装置の光軸を上記被写体に対して追尾させる追尾ステップと
を具えることを特徴とする自動追尾方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24980698A JP3997501B2 (ja) | 1998-09-03 | 1998-09-03 | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24980698A JP3997501B2 (ja) | 1998-09-03 | 1998-09-03 | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000078563A JP2000078563A (ja) | 2000-03-14 |
JP3997501B2 true JP3997501B2 (ja) | 2007-10-24 |
Family
ID=17198496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24980698A Expired - Fee Related JP3997501B2 (ja) | 1998-09-03 | 1998-09-03 | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3997501B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102014545B1 (ko) * | 2018-07-11 | 2019-08-26 | 이노뎁 주식회사 | 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6646676B1 (en) * | 2000-05-17 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Networked surveillance and control system |
KR100878190B1 (ko) * | 2002-03-11 | 2009-01-13 | 주식회사 엘지이아이 | 객체 인식 방법 |
JP4890918B2 (ja) * | 2006-04-07 | 2012-03-07 | オリンパスイメージング株式会社 | 再生装置、再生画像の選択方法、プログラム |
JP4519933B2 (ja) | 2008-11-28 | 2010-08-04 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法 |
JP2010130403A (ja) * | 2008-11-28 | 2010-06-10 | Sharp Corp | 映像制御装置およびそれを備えた撮像装置、表示装置 |
JP5644862B2 (ja) * | 2010-12-10 | 2014-12-24 | 富士通株式会社 | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム |
JP7269134B2 (ja) * | 2019-08-28 | 2023-05-08 | Kddi株式会社 | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
-
1998
- 1998-09-03 JP JP24980698A patent/JP3997501B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102014545B1 (ko) * | 2018-07-11 | 2019-08-26 | 이노뎁 주식회사 | 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2000078563A (ja) | 2000-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9554142B2 (en) | Encoding of video stream based on scene type | |
KR100904649B1 (ko) | 서브-프레임 메타데이터를 이용한 적응적 비디오 프로세싱회로 및 플레이어 | |
KR100289586B1 (ko) | 동화상 부호화 방법과 장치 및 동화상 복호화 방법과 장치 | |
EP2094018B1 (en) | Encoding apparatus for high frame rate videos, method and program | |
KR100701443B1 (ko) | 코드화된 비디오 신호의 트랜스코딩 방법 및 움직임 벡터 선택의 트랜스코더 | |
US10165274B2 (en) | Encoding of video stream based on scene type | |
JPH05268594A (ja) | 動画像の動き検出装置 | |
JP3997501B2 (ja) | 被写体認識装置、被写体認識方法、自動追尾装置及び自動追尾方法 | |
KR20040060980A (ko) | 압축되지 않은 디지털 비디오로부터 인트라-코딩된화상들을 검출하고 인트라 dct 정확도 및매크로블록-레벨 코딩 파라메터들을 추출하는 방법 및시스템 | |
US20210297687A1 (en) | Encoding apparatus, encoding method, decoding apparatus, and decoding method | |
JP2007134755A (ja) | 動画像符号化装置及び画像記録再生装置 | |
JP3221785B2 (ja) | 撮像装置 | |
JP3592025B2 (ja) | 撮影画像記録装置 | |
US20070269120A1 (en) | Video image compression using model plus difference image | |
US20080310739A1 (en) | Moving picture compression coding apparatus | |
JP2009027693A (ja) | 動画像圧縮符号化装置 | |
US8306116B2 (en) | Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus | |
JP2009111647A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JPH08275049A (ja) | 撮像装置 | |
JP2004180345A (ja) | 撮影画像記録装置 | |
JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
JP2003333370A (ja) | 信号処理装置 | |
JP2001145011A (ja) | 映像信号符号化装置 | |
EP1630744A1 (en) | Method and apparatus for improved encoding of video signals using additional encoder information items, and corresponding storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070726 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |