JP3641219B2 - 動画像内の特定物体検出方法及び装置 - Google Patents
動画像内の特定物体検出方法及び装置 Download PDFInfo
- Publication number
- JP3641219B2 JP3641219B2 JP2001087522A JP2001087522A JP3641219B2 JP 3641219 B2 JP3641219 B2 JP 3641219B2 JP 2001087522 A JP2001087522 A JP 2001087522A JP 2001087522 A JP2001087522 A JP 2001087522A JP 3641219 B2 JP3641219 B2 JP 3641219B2
- Authority
- JP
- Japan
- Prior art keywords
- specific
- image signal
- moving
- determined
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像内の特定物体検出方法及び装置に係り、特に動画像符号化装置または動画像復号化装置の出力から特定物体を検出する方法及び装置に関する。
【０００２】
【従来の技術】
動画像内に存在する特定の物体を検出するためには、一般に画素値を調べる必要がある。しかし、画素値に関わる処理は実際には非常に多くの計算量を必要とする。例えば、動画像圧縮の国際標準であるＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素×縦２８８画素の１０１，３７６画素という非常に多くの画素について処理を行う必要がある。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があり、コスト面でも大きな問題があった。
【０００３】
検出しようとする物体が移動物体の場合については、特開平９−２５２４６７号公報「移動物体検出装置」に示されるように動画像符号化装置で作られた動きベクトルを利用して動画像中の移動物体を検出する手法が提案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを移動物体の検出に流用できるので、移動物体検出のために特別に画素の動きを調べる必要がなく、必要な計算量を大幅に減らすことができる。
【０００４】
しかし、このような動きベクトルを利用した移動物体検出方法では、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また移動物体の内部のブロックでも、書き換わっていないブロックが存在することがあるため、移動物体の監視などに適用することを考えた場合、必ずしも必要な映像を得ることができない。
【０００５】
一方、動画像中の特定色の物体を検出する手法としては、例えば特願平１０−０３７２３８６号に記載されているように動画像符号化装置あるいは動画像復号化装置と組み合わせて特定色の判定を行うことにより探索範囲を限定し、計算量を大幅に削減する提案がなされている。
【０００６】
このように色を検出する場合には、照明条件や撮影するカメラによっても微妙に違いがあり、正確に検出を行うためには適切な検出範囲の色空間を設定してやる必要がある。しかし、これまでのＹＣｂＣｒ空間やＲＧＢ空間での色空間の設定では、少ないパラメータで適切な検出範囲の色空間を指定することが難しく、類似した複数の色を区別して検出することは難しい面があった。
さらに、この従来技術では移動物体と色物体を別々に検出しており、これらを同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことはできなかった。
【０００７】
【発明が解決しようとする課題】
上述したように、個々の画素値を調べて特定の物体を検出する方法では膨大な計算量を必要とし、また計算量を減らすために動画像符号化装置で求められた動きベクトルを用いて移動物体を検出する方法では検出精度に問題があり、さらに動画像符号化装置や動画像復号化装置と組み合わせて特定色を判定を行う方法では少ないパラメータで適切な検出範囲の色空間を設定することが難しく、しかも移動物体と色物体を同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことができないという問題点があった。
【０００８】
そこで、本発明は高速かつ安定して精度よく特定の物体を検出するために、色と動きを同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことを可能とした動画像内の特定物体検出方法及び装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの態様では、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域（例えば、マクロブロック）毎の符号化モード情報（例えば、ＣＯＤＥＤ／ＮＯＴ＿ＣＯＤＥＤ）と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の移動物体を判定する。一方、再生画像信号及び符号化モード情報を参照して再生画像信号における所定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する。そして、これら移動物体及び特定色についての二つの判定結果から動画像内の特定物体を判定する。このようにして判定された特定物体の画像は、再生画像信号による動画像に合成して表示される。
【００１０】
本発明の他の態様によると、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の移動物体を判定する。また、局部復号画像及び符号化モード情報を参照して局部復号画像信号における特定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する。そして、これら移動物体及び特定色についての二つの判定結果から動画像内の特定物体を判定する。このようにして判定された特定物体の画像は、局部復号画像信号による動画像に合成して表示される。
【００１１】
このように本発明では、動画像符号化／復号化技術を利用し、復号化や符号化において得られる画像信号や符号化モード情報を用いて動画像中の移動物体及び動画像中の指定された特定色を少ない計算量で確実に判定でき、これら移動物体と特定色の両判定結果を用いて特定物体の検出を少ない計算量で高速かつ安定して精度よく行うことができる。
【００１２】
特定物体の判定に際しては、特定物体の画面上の大きさを指定することが好ましく、これによりカメラ全体の動きや微風などによる細かい物体の振動を排除することができ、より細かい設定が可能となる。
【００１３】
また、特定色の判定に際しては、色相、彩度及び明度によって色を指定することが望ましく、このような指定によるとＹＣｂＣｒ空間や、ＲＧＢ空間での指定と異なって、視覚的にパラメータ毎に選択しやすくなり、複数色の指定も容易になる。
【００１４】
さらに、特定物体の判定は、（ａ）移動物体と判定され、かつ該移動物体のうち特定色と判定された部分を特定物体として判定する、（ｂ）移動物体と判定された物体と、特定色と判定された物体を特定物体として判定する、及び（ｃ）移動物体と判定され、かつ特定色と判定された部分を含む移動物体を特定物体として判定する、のうちの少なくとも一つの判定を行うことが望ましく、これにより目的に応じた特定物体の検出が可能となる。
【００１５】
また、本発明によるとコンピュータに動画像内の特定物体を検出する処理を実行させるためのプログラムであって、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の符号化モード情報と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の移動物体を判定する移動物体判定処理と、前記再生画像信号及び符号化モード情報を参照して前記再生画像信号における所定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する特定色判定処理と、前記移動物体判定処理及び特定色判定処理の判定結果から、動画像内の特定物体を判定する特定物体判定処理とをコンピュータに実行させるためのプログラム、あるいは該プログラムを記録した記録媒体が提供される。
【００１６】
さらに、本発明によるとコンピュータに動画像内の特定物体を検出する処理を実行させるためのプログラムであって、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の移動物体を判定する移動物体判定処理と、前記局部復号画像及び符号化モード情報を参照して前記局部復号画像信号における特定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する特定色判定処理と、前記移動物体判定処理及び特定色判定処理の判定結果から、動画像内の特定物体を判定する特定物体判定処理とをコンピュータに実行させるためのプログラム、あるいは該プログラムを記録した記録媒体が提供される。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
［第１の実施の形態］
図１に、本発明の第１の実施形態に係る動画像内特定物体検出装置の構成を示す。この動画像内特定物体検出装置は、大きく動画像復号化部１００と特定物体検出部１１０の２つの部分からなっている。以下、動画像復号化部１００及び特定物体検出部１１０について順次説明する。なお、以下の説明はＭＰＥＧ方式に基づく動画像復号化装置に本発明を適用した場合であり、単位領域はＭＰＥＧ方式でいうマクロブロックに相当する。
【００１８】
（動画像復号化部１００について）
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１９】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、符号化モード情報及び動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００２０】
可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体検出部１１０内の移動物体合成表示部１１５に入力される。
【００２１】
一方、可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００２２】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体検出部１１０内の移動物体合成表示部１１５に入力される。
【００２３】
（特定物体検出部１１０について）
一方、特定物体検出部１１０においては、動画像復号化部１００内の可変長符号化部１０３から出力される符号化モード情報と、加算器１０６から出力される再生画像信号及びフレームメモリ１０７から出力される参照画像信号を入力し、マクロブロック移動物体判定部１１１で注目マクロブロックが移動物体かどうかの判定を行い、その判定結果をマクロブロック特定色判定部１１２及び特定物体判定部１１３に送る。
【００２４】
マクロブロック特定色判定部１１２は、符号化モード情報と再生画像信号からマクロブロック毎に特定色の物体が含まれるかどうかの判定を行い、判定結果を特定物体判定部１１３に送る。特定物体判定部１１３は、マクロブロック移動物体判定部１１１及びマクロブロック特定色判定部１１２の判定結果に基づき、動画像内の特定物体を検出する。
【００２５】
特定物体条件判定部１１４は、特定物体判定部１１３によって判定する特定物体の条件、例えば物体の大きさ及び特定色を指定する。具体的には、特定物体の大きさとして例えば画面上の物体のマクロブロック数の最大値Object Maxと最小値Object Minを指定する。また、特定色としては次式に示すようにＨＳＶ（色相、彩度、明度）色空間上で色の範囲を指定する。この特定色指定信号は、マクロブロック特定色判定部１１２に入力される。
Ｄ１［ｉ］＜Ｈ＜Ｄ２［ｉ］
Ｄ３［ｉ］＜Ｓ＜Ｄ４［ｉ］
Ｄ５［ｉ］＜Ｖ＜Ｄ６［ｉ］
ｉ＝１…Ｎ
ここで、Ｄ１［ｉ］〜Ｄ６［ｉ］は閾値である。Ｄ１［ｉ］〜Ｄ４［ｉ］は０から２５５までの整数値、Ｄ５［ｉ］，Ｄ６［ｉ］は０から３５９までの整数値であり、Ｎは色数である。
【００２６】
（マクロブロック移動物体判定部１１１の構成）
図２は、マクロブロック移動物体判定部１１１の具体的な構成を示すブロック図である。このマクロブロック移動物体判定部１１１では可変長符号化部１０３からの符号化モード情報と、加算器１０６から出力される再生画像信号とフレームメモリ１０７から出力される参照画像信号との相関を計算する第１の相関計算器２０２の出力と、再生画像信号と背景メモリ２０４からの背景画像信号との相関を計算する第２の相関計算器２０３の出力から、マクロブロック毎の背景／非背景の判定を行い、非背景マクロブロックを移動物体と判定して、その判定結果を特定物体判定部１１３に送る。背景メモリ２０４に保持されている背景画像信号は、マクロブロック背景判定部２０１の判定結果に応じてオン・オフされる背景メモリ更新スイッチ２０５を介して再生画像信号により更新される。
【００２７】
図３は、本実施形態における１フレーム毎の特定物体検出処理の流れを示している。ここで、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＢＭはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブロックか否かの情報を蓄える配列であり、ＴＲＵＥならば非背景物体マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。なお、配列Ｍの初期値はＦＡＬＳＥであり、ステップＳ１０１により設定される。このようにして、ステップＳ１０２〜Ｓ１０６のループで各マクロブロック毎にステップＳ１０４のマクロブロック判定処理が実行される。具体的には、後に図７及び図８で説明する特定物体検出処理が行われる。
【００２８】
（マクロブロック移動物体判定部１１１の処理）
図４は、図２に構成を示したマクロブロック移動物体判定部１１１の処理の流れを示している。図３と同様に、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブロックか否かの情報を蓄える配列であり、ＴＲＵＥならば非背景物体マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。なお、配列Ｍの初期値はＦＡＬＳＥである。この処理では、注目マクロブロックが背景マクロブロックか非背景マクロブロックかの判定を行い、非背景マクロブロックを移動物体が存在するマクロブロック（移動物体マクロブロック）と判定する。
【００２９】
まず、マクロブロック背景判定部２０１においてマクロブロック毎に可変長復号化部１０３からの符号化モード情報ＭＯＤＥの判定を行う（ステップＳ２０１）。この判定の結果、注目マクロブロックの符号化モードがＣＯＤＥＤ（符号化＝ＤＣＴ係数有り）ならば、第１の相関計算器２０２により加算器１０６を介して得られるＣＯＤＥＤマクロブロックの再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値を計算し、この相関値と閾値ＴＨ１との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０３）。
【００３０】
この比較の結果、もし第１の相関計算器２０２で計算された相関値が閾値ＴＨ１よりも大きい場合、マクロブロック背景判定部２０１は注目マクロブロックが非背景マクロブロック（移動体マクロブロック）であると判定し、２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入する（ステップＳ２０６）。第１の相関計算器２０２で計算された相関値が閾値ＴＨ１以下の場合、さらに注目マクロブロックが背景マクロブロックか非背景マクロブロックかを判定するためにステップＳ２０４へ移行する。
【００３１】
一方、ステップＳ２０１による判定の結果、注目マクロブロックの符号化モードがＮＯＴ＿ＣＯＤＥＤ（非符号化、ＤＣＴ係数無し）ならば、マクロブロック背景判定部２０１は注目マクロブロックと同じ位置の１フレーム前のマクロブロックの判定結果が背景マクロブロックであったかどうか、つまり２次元配列Ｍ［ｉ］［ｊ］がＦＡＬＳＥかどうかを判定する（ステップＳ２０３）。このステップＳ２０３による判定の結果、注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックだったならば、注目マクロブロックも背景マクロブロックであると判定し、２次元配列Ｍ［ｉ］［ｊ］にＦＡＬＳＥを代入する（ステップＳ２０７）。
【００３２】
ステップＳ２０３による判定の結果、もし注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックでない場合は、次に注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０４内に存在するかのチェックを行う（ステップＳ２０４）。
【００３３】
ここで、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０４に存在しない場合、注目マクロブロックを新たな背景マクロブロックであると判定してステップＳ２０７へ移行する。また、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０４内に存在する場合は、第２の相関計算器２０４により注目マクロブロックの画像信号と背景メモリ２０４内の注目マクロブロックに対応する位置の背景画像信号との相関値を計算し、その相関値と閾値ＴＨ２との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０５）。
【００３４】
ステップＳ２０５での比較の結果、第２の相関計算器２０４より計算された相関値が閾値ＴＨ２よりも大きい場合、注目マクロブロックは非背景マクロブロック（移動体マクロブロック）であると判定して２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入し（ステップＳ２０６）、相関値が閾値ＴＨ２以下の場合は、注目マクロブロックは背景マクロブロックであると判定してステップＳ２０９へ移行する。背景マクロブロックと判定した注目マクロブロックについては、背景メモリ２０４内の注目マクロブロックに対応する位置の背景画像信号の更新を行う（ステップＳ２０８）。
【００３５】
本実施形態では、第１、第２の相関計算器２０２，２０４での相関値の計算として、正規化相関値を用いる方法を例として示す。正規化相関値は、次式によって求められる。
【００３６】
【数１】
【００３７】
ここで、Ｆc (i,j)は注目マクロブロックの再生画像信号の各画素の輝度値、Ｆr (i,j)は相関演算の対象となるフレームの同一位置のマクロブロックの各画素の輝度値である。また、μc ，μr ，σc ，σr はそれぞれのマクロブロック内の各画素の輝度の平均値及び標準偏差である。
【００３８】
なお、第１の相関計算器２０２での加算器１０６より出力される再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値の計算に当たっては、再生画像信号と１フレーム前の参照画像信号との相関値を直接計算してもよいが、可変長復号化部１０３からの動きベクトル情報及びＤＣＴ係数情報から、注目マクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値と比較を行う方法であってもよい。この場合、動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜が閾値よりも大きい場合、非背景マクロブロックと判定する。
【００３９】
（背景メモリ２０４の更新処理）
図５は、図４中の背景メモリ更新ステップＳ２０８の処理手順を示している。図５において、Ｆc (i,j)は加算器１０６から出力される注目マクロブロックの再生画像信号の各画素の輝度値、Ｂ(i,j)は背景メモリ２０４内の背景画像信号の各画素の輝度値をそれぞれ表す。
【００４０】
まず、既に背景メモリ２０４に注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれているか否かを判定し（ステップＳ３０１）、書き込まれている場合にはステップＳ３０２〜Ｓ３０６のループにより、注目マクロブロックの再生画像信号の各画素の輝度値Ｆc (i,j)を重み係数ｗ（０以上、１以下の実数）で重み付け平均して、背景メモリ２０４内のＢ(i,j)に足し込む（ステップＳ３０４）。
【００４１】
一方、背景メモリ２０４にまだ注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれていない場合には、ステップＳ３０７〜Ｓ３１１のループにより、注目マクロブロックの再生画像信号Ｆc (i,j)を背景メモリ２０４内のＢ(i,j)に書き込む（ステップＳ３０９）。
【００４２】
（マクロブロック特定色判定部１１２の処理）
図６は、図１中のマクロブロック特定色判定部１１２の処理の流れを示している。図３及び図４と同様に、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表している。まず、マクロブロック毎の符号化モードを調べる（ステップＳ４０１）。符号化モードがＮＯＴ＿ＣＯＤＥＤならば判定処理を終了し、ＮＯＴ＿ＣＯＤＥＤでないならば注目マクロブロックの画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し（ステップＳ４０２）、図１の特定物体条件指定部１１４によって指定された色空間（ＨＳＶ空間）の範囲に入っているかどうかチェックする（ステップＳ４０３）。特定物体条件指定部１１４によって複数色が指定されている場合は、全ての色のＨＳＶ空間内の指定範囲についてチェックを行う。
【００４３】
ここで、注目マクロブロックのＨＳＶ空間に変換された画素値が特定物体条件指定部１１４による指定範囲に入っていれば、特定色マクロブロックと判定し、Ｍ［ｉ］［ｊ］をＴＲＵＥに書き換え（ステップＳ４０４）、指定範囲に入っていなければ、特定色はなかったと判定し、Ｍ［ｉ］［ｊ］をＦＡＬＳＥに書き換える（ステップＳ４０５）。なお、ステップＳ４０２のＹＣｂＣｒ→ＨＳＶ変換は次式に従って行えばよい。
【００４４】
【数２】
【００４５】
ＹＣｂＣｒ→ＨＳＶ変換は、この式の例に限られず、他の式のＨＳＶ変換のものでも問題ない。また、ここではＨＳＶ空間の区間データで色指定を行う方法を示したが、ＹｃｂＣｒ空間から一意に変換できる色空間ならば、どのような色空間で指定しても実行できる。
【００４６】
（特定物体判定部１１３について）
次に、図７〜図９を用いて特定物体判定部１１３においてマクロブロック移動物体判定部１１１の処理とマクロブロック特定色判定部１１２の処理の結果から特定物体を判定する処理について説明する。
【００４７】
図７は、特定物体判定部１１３で移動物体でかつ特定色の物体を特定物体として判定する場合の処理の流れを示している。まず、マクロブロック移動物体判定処理を行い（ステップＳ５０１）、この処理により移動物体と判定された部分についてのみ、マクロブロック特定色判定処理を行い（ステップＳ５０３）、その後、特定物体包含処理を行う（ステップＳ５０４）。
【００４８】
図８は、特定物体判定部１１３で移動物体及び特定色部分を特定物体として判定する場合の処理の流れを示している。まず、マクロブロック移動物体判定処理を行い（ステップＳ６０１）、その結果、移動物体と判定されなかった部分についてのみマクロブロック特定色判定処理を行い（ステップＳ６０３）、その後、特定物体包含処理を行う（ステップＳ６０４）。
【００４９】
図９は、特定物体判定部１１３で特定色を含む移動物体を特定物体として判定する場合の処理の流れを示している。この場合は、マクロブロック移動物体判定処理を行い（ステップＳ１００１）、さらにマクロブロック特定色判定処理を行う（ステップＳ１００２）。ただし、これらの検出結果は別々に保持しておくため、色物体の検出結果は配列Ｍ２に貯えられているものとする。その後、特定物体包含処理を行う（ステップＳ１００３）。
【００５０】
図１０〜図１４は、図７のステップＳ５０４または図８のステップＳ６０４における特定物体包含処理の具体的な流れを示した図である。ここで、ｎは特定物体の数を示すカウンタ、Ｓ１〜Ｓ４は特定物体を包含する長方形を探索する範囲を示すパラメータであり、Ｓ１，Ｓ２は垂直方向のアドレスの始点と終点、Ｓ３，Ｓ４は水平方向のアドレスの始点と終点である。
【００５１】
図１０に示すように、探索範囲としてフレーム全体を指定するように初期化を行う（ステップＳ７０１）。次に、指定された探索範囲で特定物体を包含する最小の長方形を探索する関数Rectangularを呼び出す（ステップＳ７０２）。
【００５２】
図１１〜図１４は、関数Rectangular（ステップＳ７０２）の処理内容を示している。関数Rectangularは、探索範囲Ｓ１〜Ｓ４、特定物体の数ｎ、各マクロブロックの静動判定結果の格納された２次元配列Ｍを入力とし、探索結果の長方形のアドレスを格納した１次元配列Ｂ１〜Ｂ４と特定物体の数ｎを出力とする。
【００５３】
ここで、１次元配列ＨＶは垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列であり、１次元配列ＨＨは水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列である。また、変数ＶＦＬＡＧは水平方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグであり、変数ＨＦＬＡＧは垂直方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグである。
【００５４】
まず、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ１〜Ｓ２の範囲を値０で初期化する（ステップＳ８０１）。次のＬＯＯＰ１とＬＯＯＰ２の２重ループ（Ｓ８０２〜Ｓ８０７）内では、探索範囲での垂直方向の動マクロブロックの数のヒストグラムＨＶ［ｉ］を作成している。すなわち、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ８０４）、値がＴＵＲＥ、つまり動マクロブロックならばＨＶ［ｉ］をプラス１し（ステップＳ８０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。
【００５５】
次に、垂直方向のヒストグラムＨＶ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＶＦＬＡＧをＦＡＬＳＥにセットする（ステップＳ８０８）。次に、探索範囲Ｓ１からＳ２の順序で、ヒストグラムＨＶ［ｉ］が０でなく、ＶＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ８１０）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の垂直方向の始点の候補となるので、１次元配列Ｂ１［ｎ］にアドレスｉを格納し、ＶＦＬＡＧをＴＵＲＥにセットする（ステップＳ８１１）。
【００５６】
次に、ヒストグラムＨＶ［ｉ］が０あるいは探索範囲の終点で、ＶＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ８１２）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の垂直方向の終点の候補となるので、もしヒストグラムＨＶ［ｉ］が０の場合は１次元配列Ｂ２［ｎ］にアドレスｉ−１を格納し（ステップＳ８１４）、そうでない場合は１次元配列Ｂ２［ｎ］にアドレスｉを格納する（ステップＳ８１５）。そして、ＶＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ８１１）。
【００５７】
次に、今度は水平方向の動マクロブロックの数のヒストグラムＨＨ［ｉ］を作成するための作業配列ＨＶの探索範囲であるＳ３〜Ｓ４の範囲を値０で初期化する（ステップＳ８１７）。次のＬＯＯＰ４とＬＯＯＰ５の２重ループ（Ｓ８１８〜Ｓ８２３）では、探索範囲での水平方向の動マクロブロックの数のヒストグラムＨＨ［ｉ］を作成している。すなわち、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ８０４）、値がＲＵＲＥ、つまり動マクロブロックならば、ＨＨ［ｉ］をプラス１し（ステップＳ８０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。次に、水平方向のヒストグラムＨＨ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＨＦＬへＧをＦＡＬＳＥにセットする（ステップＳ８２４）。
【００５８】
次に、探索範囲Ｓ３からＳ４の順序で、ヒストグラムＨＨ［ｉ］が０でなく、ＨＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ８２６）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の水平方向の始点の候補となるので、１次元配列Ｂ３［ｎ］にアドレスｊを格納し、ＨＦＬＡＧをＴＵＲＥにセットする（ステップＳ８２７）。
【００５９】
次に、ヒストグラムＨＨ［ｉ］が０あるいは探索範囲の終点で、ＨＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ８２８）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の水平方向の終点の候補となるので、もしヒストグラムＨＨ［ｉ］が０の場合は１次元配列Ｂ４［ｎ］にアドレスｊ−１を格納し（ステップＳ８３０）、そうでない場合は１次元配列Ｂ４［ｎ］にアドレスｊを格納する（ステップＳ８３１）。そして、ＨＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ８３２）。
【００６０】
ここで、一通りの垂直方向のヒストグラムＨＶ［ｉ］と水平方向のヒストグラムＨＨ［ｉ］による探索が終了したので、次に探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致するかどうかをチェックし（ステップＳ８３３）、一致する場合は長方形の面積ObjectSizeを計算する（ステップＳ８３４）。もし、この値が予め設定されていた物体の最小値ObjectMinより小さい場合や、物体の最大値ObjectMaxよりも大きい場合は、オブジェクトと判定しない。それ以外の場合は、もうこれ以上探索する範囲がないので、最小の長方形が求まっていると判定し、物体と判定する（ステップＳ８２６）。そして、特定物体の数を表すｎをプラス１して（ステップＳ８３７）、次の特定物体の探索に移る。
【００６１】
探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致しない場合は、探索した結果の範囲にまだ複数の特定物体が存在するので、探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］をＳ１〜Ｓ４に移し替えて（ステップＳ８３８）、再び関数Rectangularを呼び出す（ステップＳ８３９）。
【００６２】
なお、ステップＳ８３５においては、物体の大きさで物体の判定を行っているが、大きさ以外のパラメータ、例えば、物体の形や物体中に特定の色を含むかなどの条件を設定することにより、検出を行うことも可能である。
【００６３】
図１５は、このようにして特定物体判定部１１３で得られる判定結果の一例である。ここでは、２つの特定物体を判定している。マクロブックのアドレスの原点をフレームの左上とすると、それぞれの判定結果はＢ１［０］〜Ｂ４［０］とＢ１［１］〜Ｂ４［１］のような配置で特定物体を判定している。
【００６４】
図１６は、特定色を含む移動物体の検出を行う場合の図７のステップＳ１００３における特定物体包含処理の具体的な流れを示した図であり、図１４におけるステップＳ８３４〜Ｓ８３７の部分に相当する処理を示している。その他の処理は、図１１〜図１４と同様である。
【００６５】
まず、変数ｃｈｅｃｋをＦＡＬＳＥで初期化する（ステップＳ１０１１）。次に、移動物体を包含する長方形の内部を探索するようにＬＯＯＰ１〜ＬＯＯＰ２（ステップＳ１０１２，Ｓ１０１３）を構成し、色物体の検出結果の配列Ｍ２をチェックする（ステップＳ１０１４）。ここで、移動物体を包含する内部に色物体が検出されていた場合、変数ｃｈｅｃｋをＴＲＵＥにし（ステップＳ１０１５）、ＬＯＯＰ１，ＬＯＯＰ２を脱出する。ＬＯＯＰ１，ＬＯＯＰ２の終了後（ステップＳ１０１６，Ｓ１０１７）、変数ｃｈｅｃｋがＴＲＵＥか否かを調べ（ステップＳ１０１８）、ＴＵＲＥならば特定色を含む移動物体として判定する（ステップＳ１０１９）。そして、特定物体の数を表すｎをプラス１して（ステップＳ１０２０）、次の特定物体の探索に移る。
【００６６】
（特定物体合成表示部１１５について）
特定物体合成表示部１１５では、特定物体判定部１１３で判定した特定物体の領域と再生画像信号を合成した画像を作成して表示する。図１７は、その具体的な流れ図である。ここで、ｎは特定物体判定部１１３で判定されたフレーム内の特定物体数を示している。処理の流れとしては、特定物体毎にＢ１［ｉ］〜Ｂ４［ｉ］が特定物体の４角のマクロブロックを表しているので、それを囲むような長方形を描き、再生画像と合成する（ステップＳ９０２）。
【００６７】
図１８は、このようにして特定物体合成表示部１１５によって作成され表示された画像の例であり、再生画像中に３つの移動物体（この例では人間）が表示され、これらのうち指定された特定色の二つの移動物体を特定物体として他の物体と区別できるように、例えば白抜きの長方形枠で囲まれている。
【００６８】
［第２の実施の形態］
図１９は、本発明の第２の実施形態に係る動画像内特定物体検出装置の構成を示す。この動画像内特定物体検出装置は、大きく動画像符号化部３００と特定物体検出部３２０の２つの部分からなっている。
【００６９】
図１９において、動画像符号化部３００に入力された入力動画像信号は、まずブロック化部３０１でマクロブロックに分割される。各マクロブロックの入力動画像信号は減算器３０２に入力され、ここで予測画像信号との差分がとられて予測残差信号が生成される。この予測残差信号とブロック化部３０１からの入力動画像信号のいずれか一方が符号化モード選択スイッチ３０３によって選択され、ＤＣＴ（離散コサイン変換）部３０４により離散コサイン変換される。ＤＣＴ部３０４で得られＤＣＴ係数データは、量子化部３０５で量子化される。量子化部３０５で量子化されたＤＣＴ係数データは二分岐され、一方は可変長符号化部３１４で可変長符号化される。
【００７０】
量子化部３０５で量子化され二分岐されたＤＣＴ係数データの他方は、逆量子化部３０６及びＩＤＣＴ（逆離散コサイン変抜）部３０７により量子化部３０５及びＤＣＴ部３０４の処理と逆の処理を順次受けた後、加算器３０８でスイッチ３１３を介して入力される予測画像信号と加算されることにより、局部復号画像信号が生成される。局部復号画像信号はフレームメモリ３０９に蓄えられ、フレームメモリ３０９から動き補償部３１０に入力される。動き補償部３１０では、予測画像信号を生成するとともに、符号化モード選択部３１２に必要な情報を送る。
【００７１】
符号化モード選択部３１２では、マクロブロック単位に動き補償部３１０からの予測情報Ｐに基づいて、フレーム間符号化を行うマクロブロックとフレーム内符号化を行うマクロブロックを選択する。フレーム内符号化（イントラ符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。符号化モード選択スイッチ３０３は符号化モード選択スイッチ情報Ｐに基づいて切り換えられ、またスイッチ３１１はスイッチ情報Ｓに基づいて切り換えられる。
【００７２】
ここで、符号化モードとしてイントラ符号化モード（ＩＮＴＲＡ）、インター符号化モード（ＩＮＴＥＲ）及び非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、これらの符号化モードが各マクロブロック毎に対応付けられている。ＩＮＴＲＡマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤマクロブロックは符号化不要の画像領域である。
【００７３】
一方、特定物体検出部３２０においては、まず可変長符号化部３１４に入力された符号化モード情報をマクロブロック移動物体判定部３２１とマクロブロック特定色判定部３２２に入力し、その判定結果を特定物体判定部３２３に入力する。特定色判定部３２３の判定結果は、特定物体合成表示部３２５に入力されるとともに、動画像符号化部３００の多重化部３１５に入力される。特定物体合成部３２５では、動画像符号化部３００によって作成された局部復号画像信号と特定物体の合成画像を作成して表示する。
【００７４】
マクロブロック移動物体判定部３２１、マクロブロック特定色判定部３２２及び特定物体合成表示部３２５の具体的な処理内容は、第１の実施形態で説明した処理と同一であるため、説明を省略する。
【００７５】
符号化制御部３１４は、符号化部３１７（動画像符号化部３００のうち多重化部３１５より前の部分）での符号化情報と出力バッファ３１６のバッファ量を基に符号化部３１７における量子化部３０５での量子化ステップサイズ等のパラメータを制御する。可変長符号化部３１４で符号化された符号化データは、特定物体判定部３２３からの特定物体判定結果とともに多重化部３１５で多重化され後、出力バッファ３１６で送信レートが平滑化され、伝送系または蓄積系に伝送される。
【００７６】
［第３の実施形態］
図２０に、本発明の第３の実施形態に係る動画像内特定物体検出装置の構成を示す。この動画像内特定物体検出装置は、図１９に示した動画像符号化部３００と特定物体検出部３２０を組み合わせた第２の実施形態に係る動画像内特定物体検出装置から伝送系または蓄積系を介して伝送されてきた符号化データを受け、この符号化データに基づき動画像内の特定物体を検出する装置であり、動画像復号化部４００に特定物体合成表示部４１０を組み合わせて構成される。
【００７７】
まず、動画像復号化部４００において、伝送路または蓄積系から受信した符号化データは入力バッファ４０１に一度蓄えられ、多重化分離部４０２によりフレーム毎にシンタクスに基づいて分離され、可変長復号化部４０３に出力される。可変長復号化部４０３では、各シンタクスの情報の可変長符号が復号される。
【００７８】
符号化モード切替スイッチ４０９は可変長復号化部４０３から出力されるマクロブロック毎の符号化モード情報に従って制御され、符号化モードがＩＮＴＲＡならばオフとなる。このとき、可変長復号化部４０３で復号化された量子化ＤＣＴ係数情報は逆量子化部４０４で逆量子化され、ＩＤＣＴ部４０５で逆離散コサイン変換処理されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ４０７に参照画像信号として蓄積されるとともに、特定物体合成表示部４１０に入力される。
【００７９】
マクロブロックの符号化モードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、符号化モード切替スイッチ４０９はオンとなり、可変長復号化部４０３で復号化された量子化ＤＣＴ係数情報は逆量子化部４０４で逆量子化され、ＩＤＣＴ部４０５で逆離散コサイン変換処理された後、加算器４０６に入力され、ここで可変長復号化部４０３で復号化された動きベクトル情報に基づいて動き補償部４０８においてフレームメモリ４０７から読み出される参照画像信号を動き補償した信号と関されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ４０７に参照画像信号として蓄積されるとともに、特定物体合成表示部４１０に入力される。
【００８０】
一方、多重化分離部４０２で分離された特定物体判定結果も特定物体合成表示部４１０に入力される。これにより特定物体合成表示部４１０では、再生画像上に特定物体が合成表示される。
【００８１】
なお、以上の実施形態においては、マクロブロック単位に処理を行う例を示したが、それよりの小さな単位での処理でも、大きな単位での処理でも同様の方法ができることは言うまでもない。また、以上の実施形態では動画像符号化方式としてＤＣＴと動き補償及び可変長符号化を組み合わせた方式を例に説明したが、その他の圧縮符号化技術、例えばウェーブレット変換等を用いた場合でも同様に本発明に基づく動画像内の特定物体検出を適用することができる。
【００８２】
【発明の効果】
以上説明したように、本発明によれば色と動きを同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことにより、高速かつ安定して精度よく動画像内の特定物体を検出することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態に係る動画像内特定物体検出装置の構成を示すブロック図
【図２】 同実施形態におけるマクロブロック移動物体判定部の構成を示すブロック図
【図３】 同実施形態における特定物体検出処理の概略的な流れを示すフローチャート
【図４】 同実施形態におけるマクロブロック移動物体判定処理の流れを示すフローチャート
【図５】 同実施形態におけるマクロブロック移動物体判定部内の背景メモリの更新動作を示すフローチャート
【図６】 同実施形態におけるマクロブロック特定色判定部の処理の流れを示すフローチャート
【図７】 同実施形態における特定物体判定部において移動物体でかつ色物体を検出する場合の処理の流れを示すフローチャート
【図８】 同実施形態における特定物体判定部において移動物体または色物体を検出する場合の処理の流れを示すフローチャート
【図９】 同実施形態における特定物体判定部において特定色を含む移動物体の検出を行う場合の処理の流れを示すフローチャート
【図１０】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１１】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１２】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１３】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１４】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１５】 同実施形態における特定物体判定部の判定結果の例を示す図
【図１６】 同実施形態における特定物体判定部の特定物体包含処理の図１４との相違部分を示すフローチャート
【図１７】 同実施形態における特定物体合成表示部の動作を示すフローチャート
【図１８】 本発明の特定物体合成表示部の表示例を示す図
【図１９】 本発明の第２の実施形態に係る動画像内特定物体検出装置の構成を示すブロック図
【図２０】 本発明の第３の実施形態に係る動画像内特定物体検出装置の構成を示すブロック図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…符号化モード切替スイッチ
１１０…特定物体検出部
１１１…マクロブロック移動物体判定部
１１２…マクロブロック特定色判定部
１１３…特定物体判定部
１１４…特定物体条件指定部
１１５…特定物体合成表示部
２０１…マクロブロック背景判定部
２０２…相関計算部
２０３…相関計算部
２０４…背景メモリ
２０５…スイッチ
３００…動画像符号化部
３０１…ブロック化部
３０２…減算器
３０３…符号化モード選択スイッチ
３０４…ＤＣＴ部
３０５…量子化部
３０６…逆量子化部
３０７…ＩＤＣＴ部
３０８…加算器
３０９…フレームメモリ
３１０…動き補償部
３１１…スイッチ
３１２…符号化モード選択部
３１３…符号化制御部
３１４…可変長符号化部
３１５…多重化部
３１６…出力バッファ
３１７…符号化部
３１９…マクロブロック移動物体判定部
３２０…マクロブロック特定色判定部
３２１…特定物体判定部
３２２…特定物体条件指定部
３２３…特定物体合成表示部
３２４…特定物体検出部
４００…動画像復号化部
４０１…入力バッファ
４０２…多重化分離部
４０３…可変長復号化部
４０４…逆量子化部
４０５…ＩＤＣＴ部
４０６…加算器
４０７…フレームメモリ
４０８…動き補償部
４０９…符号化モード切替スイッチ
４１０…特定物体合成表示部
【発明の属する技術分野】
この発明は、動画像内の特定物体検出方法及び装置に係り、特に動画像符号化装置または動画像復号化装置の出力から特定物体を検出する方法及び装置に関する。
【０００２】
【従来の技術】
動画像内に存在する特定の物体を検出するためには、一般に画素値を調べる必要がある。しかし、画素値に関わる処理は実際には非常に多くの計算量を必要とする。例えば、動画像圧縮の国際標準であるＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素×縦２８８画素の１０１，３７６画素という非常に多くの画素について処理を行う必要がある。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があり、コスト面でも大きな問題があった。
【０００３】
検出しようとする物体が移動物体の場合については、特開平９−２５２４６７号公報「移動物体検出装置」に示されるように動画像符号化装置で作られた動きベクトルを利用して動画像中の移動物体を検出する手法が提案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを移動物体の検出に流用できるので、移動物体検出のために特別に画素の動きを調べる必要がなく、必要な計算量を大幅に減らすことができる。
【０００４】
しかし、このような動きベクトルを利用した移動物体検出方法では、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また移動物体の内部のブロックでも、書き換わっていないブロックが存在することがあるため、移動物体の監視などに適用することを考えた場合、必ずしも必要な映像を得ることができない。
【０００５】
一方、動画像中の特定色の物体を検出する手法としては、例えば特願平１０−０３７２３８６号に記載されているように動画像符号化装置あるいは動画像復号化装置と組み合わせて特定色の判定を行うことにより探索範囲を限定し、計算量を大幅に削減する提案がなされている。
【０００６】
このように色を検出する場合には、照明条件や撮影するカメラによっても微妙に違いがあり、正確に検出を行うためには適切な検出範囲の色空間を設定してやる必要がある。しかし、これまでのＹＣｂＣｒ空間やＲＧＢ空間での色空間の設定では、少ないパラメータで適切な検出範囲の色空間を指定することが難しく、類似した複数の色を区別して検出することは難しい面があった。
さらに、この従来技術では移動物体と色物体を別々に検出しており、これらを同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことはできなかった。
【０００７】
【発明が解決しようとする課題】
上述したように、個々の画素値を調べて特定の物体を検出する方法では膨大な計算量を必要とし、また計算量を減らすために動画像符号化装置で求められた動きベクトルを用いて移動物体を検出する方法では検出精度に問題があり、さらに動画像符号化装置や動画像復号化装置と組み合わせて特定色を判定を行う方法では少ないパラメータで適切な検出範囲の色空間を設定することが難しく、しかも移動物体と色物体を同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことができないという問題点があった。
【０００８】
そこで、本発明は高速かつ安定して精度よく特定の物体を検出するために、色と動きを同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことを可能とした動画像内の特定物体検出方法及び装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの態様では、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域（例えば、マクロブロック）毎の符号化モード情報（例えば、ＣＯＤＥＤ／ＮＯＴ＿ＣＯＤＥＤ）と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の移動物体を判定する。一方、再生画像信号及び符号化モード情報を参照して再生画像信号における所定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する。そして、これら移動物体及び特定色についての二つの判定結果から動画像内の特定物体を判定する。このようにして判定された特定物体の画像は、再生画像信号による動画像に合成して表示される。
【００１０】
本発明の他の態様によると、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の移動物体を判定する。また、局部復号画像及び符号化モード情報を参照して局部復号画像信号における特定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する。そして、これら移動物体及び特定色についての二つの判定結果から動画像内の特定物体を判定する。このようにして判定された特定物体の画像は、局部復号画像信号による動画像に合成して表示される。
【００１１】
このように本発明では、動画像符号化／復号化技術を利用し、復号化や符号化において得られる画像信号や符号化モード情報を用いて動画像中の移動物体及び動画像中の指定された特定色を少ない計算量で確実に判定でき、これら移動物体と特定色の両判定結果を用いて特定物体の検出を少ない計算量で高速かつ安定して精度よく行うことができる。
【００１２】
特定物体の判定に際しては、特定物体の画面上の大きさを指定することが好ましく、これによりカメラ全体の動きや微風などによる細かい物体の振動を排除することができ、より細かい設定が可能となる。
【００１３】
また、特定色の判定に際しては、色相、彩度及び明度によって色を指定することが望ましく、このような指定によるとＹＣｂＣｒ空間や、ＲＧＢ空間での指定と異なって、視覚的にパラメータ毎に選択しやすくなり、複数色の指定も容易になる。
【００１４】
さらに、特定物体の判定は、（ａ）移動物体と判定され、かつ該移動物体のうち特定色と判定された部分を特定物体として判定する、（ｂ）移動物体と判定された物体と、特定色と判定された物体を特定物体として判定する、及び（ｃ）移動物体と判定され、かつ特定色と判定された部分を含む移動物体を特定物体として判定する、のうちの少なくとも一つの判定を行うことが望ましく、これにより目的に応じた特定物体の検出が可能となる。
【００１５】
また、本発明によるとコンピュータに動画像内の特定物体を検出する処理を実行させるためのプログラムであって、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の符号化モード情報と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の移動物体を判定する移動物体判定処理と、前記再生画像信号及び符号化モード情報を参照して前記再生画像信号における所定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する特定色判定処理と、前記移動物体判定処理及び特定色判定処理の判定結果から、動画像内の特定物体を判定する特定物体判定処理とをコンピュータに実行させるためのプログラム、あるいは該プログラムを記録した記録媒体が提供される。
【００１６】
さらに、本発明によるとコンピュータに動画像内の特定物体を検出する処理を実行させるためのプログラムであって、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の移動物体を判定する移動物体判定処理と、前記局部復号画像及び符号化モード情報を参照して前記局部復号画像信号における特定の符号化モードの単位領域における予め指定された少なくとも一つの特定色の有無を判定する特定色判定処理と、前記移動物体判定処理及び特定色判定処理の判定結果から、動画像内の特定物体を判定する特定物体判定処理とをコンピュータに実行させるためのプログラム、あるいは該プログラムを記録した記録媒体が提供される。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
［第１の実施の形態］
図１に、本発明の第１の実施形態に係る動画像内特定物体検出装置の構成を示す。この動画像内特定物体検出装置は、大きく動画像復号化部１００と特定物体検出部１１０の２つの部分からなっている。以下、動画像復号化部１００及び特定物体検出部１１０について順次説明する。なお、以下の説明はＭＰＥＧ方式に基づく動画像復号化装置に本発明を適用した場合であり、単位領域はＭＰＥＧ方式でいうマクロブロックに相当する。
【００１８】
（動画像復号化部１００について）
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１９】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、符号化モード情報及び動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００２０】
可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体検出部１１０内の移動物体合成表示部１１５に入力される。
【００２１】
一方、可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００２２】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体検出部１１０内の移動物体合成表示部１１５に入力される。
【００２３】
（特定物体検出部１１０について）
一方、特定物体検出部１１０においては、動画像復号化部１００内の可変長符号化部１０３から出力される符号化モード情報と、加算器１０６から出力される再生画像信号及びフレームメモリ１０７から出力される参照画像信号を入力し、マクロブロック移動物体判定部１１１で注目マクロブロックが移動物体かどうかの判定を行い、その判定結果をマクロブロック特定色判定部１１２及び特定物体判定部１１３に送る。
【００２４】
マクロブロック特定色判定部１１２は、符号化モード情報と再生画像信号からマクロブロック毎に特定色の物体が含まれるかどうかの判定を行い、判定結果を特定物体判定部１１３に送る。特定物体判定部１１３は、マクロブロック移動物体判定部１１１及びマクロブロック特定色判定部１１２の判定結果に基づき、動画像内の特定物体を検出する。
【００２５】
特定物体条件判定部１１４は、特定物体判定部１１３によって判定する特定物体の条件、例えば物体の大きさ及び特定色を指定する。具体的には、特定物体の大きさとして例えば画面上の物体のマクロブロック数の最大値Object Maxと最小値Object Minを指定する。また、特定色としては次式に示すようにＨＳＶ（色相、彩度、明度）色空間上で色の範囲を指定する。この特定色指定信号は、マクロブロック特定色判定部１１２に入力される。
Ｄ１［ｉ］＜Ｈ＜Ｄ２［ｉ］
Ｄ３［ｉ］＜Ｓ＜Ｄ４［ｉ］
Ｄ５［ｉ］＜Ｖ＜Ｄ６［ｉ］
ｉ＝１…Ｎ
ここで、Ｄ１［ｉ］〜Ｄ６［ｉ］は閾値である。Ｄ１［ｉ］〜Ｄ４［ｉ］は０から２５５までの整数値、Ｄ５［ｉ］，Ｄ６［ｉ］は０から３５９までの整数値であり、Ｎは色数である。
【００２６】
（マクロブロック移動物体判定部１１１の構成）
図２は、マクロブロック移動物体判定部１１１の具体的な構成を示すブロック図である。このマクロブロック移動物体判定部１１１では可変長符号化部１０３からの符号化モード情報と、加算器１０６から出力される再生画像信号とフレームメモリ１０７から出力される参照画像信号との相関を計算する第１の相関計算器２０２の出力と、再生画像信号と背景メモリ２０４からの背景画像信号との相関を計算する第２の相関計算器２０３の出力から、マクロブロック毎の背景／非背景の判定を行い、非背景マクロブロックを移動物体と判定して、その判定結果を特定物体判定部１１３に送る。背景メモリ２０４に保持されている背景画像信号は、マクロブロック背景判定部２０１の判定結果に応じてオン・オフされる背景メモリ更新スイッチ２０５を介して再生画像信号により更新される。
【００２７】
図３は、本実施形態における１フレーム毎の特定物体検出処理の流れを示している。ここで、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＢＭはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブロックか否かの情報を蓄える配列であり、ＴＲＵＥならば非背景物体マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。なお、配列Ｍの初期値はＦＡＬＳＥであり、ステップＳ１０１により設定される。このようにして、ステップＳ１０２〜Ｓ１０６のループで各マクロブロック毎にステップＳ１０４のマクロブロック判定処理が実行される。具体的には、後に図７及び図８で説明する特定物体検出処理が行われる。
【００２８】
（マクロブロック移動物体判定部１１１の処理）
図４は、図２に構成を示したマクロブロック移動物体判定部１１１の処理の流れを示している。図３と同様に、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブロックか否かの情報を蓄える配列であり、ＴＲＵＥならば非背景物体マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。なお、配列Ｍの初期値はＦＡＬＳＥである。この処理では、注目マクロブロックが背景マクロブロックか非背景マクロブロックかの判定を行い、非背景マクロブロックを移動物体が存在するマクロブロック（移動物体マクロブロック）と判定する。
【００２９】
まず、マクロブロック背景判定部２０１においてマクロブロック毎に可変長復号化部１０３からの符号化モード情報ＭＯＤＥの判定を行う（ステップＳ２０１）。この判定の結果、注目マクロブロックの符号化モードがＣＯＤＥＤ（符号化＝ＤＣＴ係数有り）ならば、第１の相関計算器２０２により加算器１０６を介して得られるＣＯＤＥＤマクロブロックの再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値を計算し、この相関値と閾値ＴＨ１との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０３）。
【００３０】
この比較の結果、もし第１の相関計算器２０２で計算された相関値が閾値ＴＨ１よりも大きい場合、マクロブロック背景判定部２０１は注目マクロブロックが非背景マクロブロック（移動体マクロブロック）であると判定し、２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入する（ステップＳ２０６）。第１の相関計算器２０２で計算された相関値が閾値ＴＨ１以下の場合、さらに注目マクロブロックが背景マクロブロックか非背景マクロブロックかを判定するためにステップＳ２０４へ移行する。
【００３１】
一方、ステップＳ２０１による判定の結果、注目マクロブロックの符号化モードがＮＯＴ＿ＣＯＤＥＤ（非符号化、ＤＣＴ係数無し）ならば、マクロブロック背景判定部２０１は注目マクロブロックと同じ位置の１フレーム前のマクロブロックの判定結果が背景マクロブロックであったかどうか、つまり２次元配列Ｍ［ｉ］［ｊ］がＦＡＬＳＥかどうかを判定する（ステップＳ２０３）。このステップＳ２０３による判定の結果、注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックだったならば、注目マクロブロックも背景マクロブロックであると判定し、２次元配列Ｍ［ｉ］［ｊ］にＦＡＬＳＥを代入する（ステップＳ２０７）。
【００３２】
ステップＳ２０３による判定の結果、もし注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックでない場合は、次に注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０４内に存在するかのチェックを行う（ステップＳ２０４）。
【００３３】
ここで、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０４に存在しない場合、注目マクロブロックを新たな背景マクロブロックであると判定してステップＳ２０７へ移行する。また、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０４内に存在する場合は、第２の相関計算器２０４により注目マクロブロックの画像信号と背景メモリ２０４内の注目マクロブロックに対応する位置の背景画像信号との相関値を計算し、その相関値と閾値ＴＨ２との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０５）。
【００３４】
ステップＳ２０５での比較の結果、第２の相関計算器２０４より計算された相関値が閾値ＴＨ２よりも大きい場合、注目マクロブロックは非背景マクロブロック（移動体マクロブロック）であると判定して２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入し（ステップＳ２０６）、相関値が閾値ＴＨ２以下の場合は、注目マクロブロックは背景マクロブロックであると判定してステップＳ２０９へ移行する。背景マクロブロックと判定した注目マクロブロックについては、背景メモリ２０４内の注目マクロブロックに対応する位置の背景画像信号の更新を行う（ステップＳ２０８）。
【００３５】
本実施形態では、第１、第２の相関計算器２０２，２０４での相関値の計算として、正規化相関値を用いる方法を例として示す。正規化相関値は、次式によって求められる。
【００３６】
【数１】
ここで、Ｆc (i,j)は注目マクロブロックの再生画像信号の各画素の輝度値、Ｆr (i,j)は相関演算の対象となるフレームの同一位置のマクロブロックの各画素の輝度値である。また、μc ，μr ，σc ，σr はそれぞれのマクロブロック内の各画素の輝度の平均値及び標準偏差である。
【００３８】
なお、第１の相関計算器２０２での加算器１０６より出力される再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値の計算に当たっては、再生画像信号と１フレーム前の参照画像信号との相関値を直接計算してもよいが、可変長復号化部１０３からの動きベクトル情報及びＤＣＴ係数情報から、注目マクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値と比較を行う方法であってもよい。この場合、動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜が閾値よりも大きい場合、非背景マクロブロックと判定する。
【００３９】
（背景メモリ２０４の更新処理）
図５は、図４中の背景メモリ更新ステップＳ２０８の処理手順を示している。図５において、Ｆc (i,j)は加算器１０６から出力される注目マクロブロックの再生画像信号の各画素の輝度値、Ｂ(i,j)は背景メモリ２０４内の背景画像信号の各画素の輝度値をそれぞれ表す。
【００４０】
まず、既に背景メモリ２０４に注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれているか否かを判定し（ステップＳ３０１）、書き込まれている場合にはステップＳ３０２〜Ｓ３０６のループにより、注目マクロブロックの再生画像信号の各画素の輝度値Ｆc (i,j)を重み係数ｗ（０以上、１以下の実数）で重み付け平均して、背景メモリ２０４内のＢ(i,j)に足し込む（ステップＳ３０４）。
【００４１】
一方、背景メモリ２０４にまだ注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれていない場合には、ステップＳ３０７〜Ｓ３１１のループにより、注目マクロブロックの再生画像信号Ｆc (i,j)を背景メモリ２０４内のＢ(i,j)に書き込む（ステップＳ３０９）。
【００４２】
（マクロブロック特定色判定部１１２の処理）
図６は、図１中のマクロブロック特定色判定部１１２の処理の流れを示している。図３及び図４と同様に、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表している。まず、マクロブロック毎の符号化モードを調べる（ステップＳ４０１）。符号化モードがＮＯＴ＿ＣＯＤＥＤならば判定処理を終了し、ＮＯＴ＿ＣＯＤＥＤでないならば注目マクロブロックの画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し（ステップＳ４０２）、図１の特定物体条件指定部１１４によって指定された色空間（ＨＳＶ空間）の範囲に入っているかどうかチェックする（ステップＳ４０３）。特定物体条件指定部１１４によって複数色が指定されている場合は、全ての色のＨＳＶ空間内の指定範囲についてチェックを行う。
【００４３】
ここで、注目マクロブロックのＨＳＶ空間に変換された画素値が特定物体条件指定部１１４による指定範囲に入っていれば、特定色マクロブロックと判定し、Ｍ［ｉ］［ｊ］をＴＲＵＥに書き換え（ステップＳ４０４）、指定範囲に入っていなければ、特定色はなかったと判定し、Ｍ［ｉ］［ｊ］をＦＡＬＳＥに書き換える（ステップＳ４０５）。なお、ステップＳ４０２のＹＣｂＣｒ→ＨＳＶ変換は次式に従って行えばよい。
【００４４】
【数２】
ＹＣｂＣｒ→ＨＳＶ変換は、この式の例に限られず、他の式のＨＳＶ変換のものでも問題ない。また、ここではＨＳＶ空間の区間データで色指定を行う方法を示したが、ＹｃｂＣｒ空間から一意に変換できる色空間ならば、どのような色空間で指定しても実行できる。
【００４６】
（特定物体判定部１１３について）
次に、図７〜図９を用いて特定物体判定部１１３においてマクロブロック移動物体判定部１１１の処理とマクロブロック特定色判定部１１２の処理の結果から特定物体を判定する処理について説明する。
【００４７】
図７は、特定物体判定部１１３で移動物体でかつ特定色の物体を特定物体として判定する場合の処理の流れを示している。まず、マクロブロック移動物体判定処理を行い（ステップＳ５０１）、この処理により移動物体と判定された部分についてのみ、マクロブロック特定色判定処理を行い（ステップＳ５０３）、その後、特定物体包含処理を行う（ステップＳ５０４）。
【００４８】
図８は、特定物体判定部１１３で移動物体及び特定色部分を特定物体として判定する場合の処理の流れを示している。まず、マクロブロック移動物体判定処理を行い（ステップＳ６０１）、その結果、移動物体と判定されなかった部分についてのみマクロブロック特定色判定処理を行い（ステップＳ６０３）、その後、特定物体包含処理を行う（ステップＳ６０４）。
【００４９】
図９は、特定物体判定部１１３で特定色を含む移動物体を特定物体として判定する場合の処理の流れを示している。この場合は、マクロブロック移動物体判定処理を行い（ステップＳ１００１）、さらにマクロブロック特定色判定処理を行う（ステップＳ１００２）。ただし、これらの検出結果は別々に保持しておくため、色物体の検出結果は配列Ｍ２に貯えられているものとする。その後、特定物体包含処理を行う（ステップＳ１００３）。
【００５０】
図１０〜図１４は、図７のステップＳ５０４または図８のステップＳ６０４における特定物体包含処理の具体的な流れを示した図である。ここで、ｎは特定物体の数を示すカウンタ、Ｓ１〜Ｓ４は特定物体を包含する長方形を探索する範囲を示すパラメータであり、Ｓ１，Ｓ２は垂直方向のアドレスの始点と終点、Ｓ３，Ｓ４は水平方向のアドレスの始点と終点である。
【００５１】
図１０に示すように、探索範囲としてフレーム全体を指定するように初期化を行う（ステップＳ７０１）。次に、指定された探索範囲で特定物体を包含する最小の長方形を探索する関数Rectangularを呼び出す（ステップＳ７０２）。
【００５２】
図１１〜図１４は、関数Rectangular（ステップＳ７０２）の処理内容を示している。関数Rectangularは、探索範囲Ｓ１〜Ｓ４、特定物体の数ｎ、各マクロブロックの静動判定結果の格納された２次元配列Ｍを入力とし、探索結果の長方形のアドレスを格納した１次元配列Ｂ１〜Ｂ４と特定物体の数ｎを出力とする。
【００５３】
ここで、１次元配列ＨＶは垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列であり、１次元配列ＨＨは水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列である。また、変数ＶＦＬＡＧは水平方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグであり、変数ＨＦＬＡＧは垂直方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグである。
【００５４】
まず、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ１〜Ｓ２の範囲を値０で初期化する（ステップＳ８０１）。次のＬＯＯＰ１とＬＯＯＰ２の２重ループ（Ｓ８０２〜Ｓ８０７）内では、探索範囲での垂直方向の動マクロブロックの数のヒストグラムＨＶ［ｉ］を作成している。すなわち、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ８０４）、値がＴＵＲＥ、つまり動マクロブロックならばＨＶ［ｉ］をプラス１し（ステップＳ８０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。
【００５５】
次に、垂直方向のヒストグラムＨＶ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＶＦＬＡＧをＦＡＬＳＥにセットする（ステップＳ８０８）。次に、探索範囲Ｓ１からＳ２の順序で、ヒストグラムＨＶ［ｉ］が０でなく、ＶＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ８１０）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の垂直方向の始点の候補となるので、１次元配列Ｂ１［ｎ］にアドレスｉを格納し、ＶＦＬＡＧをＴＵＲＥにセットする（ステップＳ８１１）。
【００５６】
次に、ヒストグラムＨＶ［ｉ］が０あるいは探索範囲の終点で、ＶＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ８１２）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の垂直方向の終点の候補となるので、もしヒストグラムＨＶ［ｉ］が０の場合は１次元配列Ｂ２［ｎ］にアドレスｉ−１を格納し（ステップＳ８１４）、そうでない場合は１次元配列Ｂ２［ｎ］にアドレスｉを格納する（ステップＳ８１５）。そして、ＶＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ８１１）。
【００５７】
次に、今度は水平方向の動マクロブロックの数のヒストグラムＨＨ［ｉ］を作成するための作業配列ＨＶの探索範囲であるＳ３〜Ｓ４の範囲を値０で初期化する（ステップＳ８１７）。次のＬＯＯＰ４とＬＯＯＰ５の２重ループ（Ｓ８１８〜Ｓ８２３）では、探索範囲での水平方向の動マクロブロックの数のヒストグラムＨＨ［ｉ］を作成している。すなわち、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ８０４）、値がＲＵＲＥ、つまり動マクロブロックならば、ＨＨ［ｉ］をプラス１し（ステップＳ８０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。次に、水平方向のヒストグラムＨＨ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＨＦＬへＧをＦＡＬＳＥにセットする（ステップＳ８２４）。
【００５８】
次に、探索範囲Ｓ３からＳ４の順序で、ヒストグラムＨＨ［ｉ］が０でなく、ＨＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ８２６）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の水平方向の始点の候補となるので、１次元配列Ｂ３［ｎ］にアドレスｊを格納し、ＨＦＬＡＧをＴＵＲＥにセットする（ステップＳ８２７）。
【００５９】
次に、ヒストグラムＨＨ［ｉ］が０あるいは探索範囲の終点で、ＨＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ８２８）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の水平方向の終点の候補となるので、もしヒストグラムＨＨ［ｉ］が０の場合は１次元配列Ｂ４［ｎ］にアドレスｊ−１を格納し（ステップＳ８３０）、そうでない場合は１次元配列Ｂ４［ｎ］にアドレスｊを格納する（ステップＳ８３１）。そして、ＨＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ８３２）。
【００６０】
ここで、一通りの垂直方向のヒストグラムＨＶ［ｉ］と水平方向のヒストグラムＨＨ［ｉ］による探索が終了したので、次に探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致するかどうかをチェックし（ステップＳ８３３）、一致する場合は長方形の面積ObjectSizeを計算する（ステップＳ８３４）。もし、この値が予め設定されていた物体の最小値ObjectMinより小さい場合や、物体の最大値ObjectMaxよりも大きい場合は、オブジェクトと判定しない。それ以外の場合は、もうこれ以上探索する範囲がないので、最小の長方形が求まっていると判定し、物体と判定する（ステップＳ８２６）。そして、特定物体の数を表すｎをプラス１して（ステップＳ８３７）、次の特定物体の探索に移る。
【００６１】
探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致しない場合は、探索した結果の範囲にまだ複数の特定物体が存在するので、探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］をＳ１〜Ｓ４に移し替えて（ステップＳ８３８）、再び関数Rectangularを呼び出す（ステップＳ８３９）。
【００６２】
なお、ステップＳ８３５においては、物体の大きさで物体の判定を行っているが、大きさ以外のパラメータ、例えば、物体の形や物体中に特定の色を含むかなどの条件を設定することにより、検出を行うことも可能である。
【００６３】
図１５は、このようにして特定物体判定部１１３で得られる判定結果の一例である。ここでは、２つの特定物体を判定している。マクロブックのアドレスの原点をフレームの左上とすると、それぞれの判定結果はＢ１［０］〜Ｂ４［０］とＢ１［１］〜Ｂ４［１］のような配置で特定物体を判定している。
【００６４】
図１６は、特定色を含む移動物体の検出を行う場合の図７のステップＳ１００３における特定物体包含処理の具体的な流れを示した図であり、図１４におけるステップＳ８３４〜Ｓ８３７の部分に相当する処理を示している。その他の処理は、図１１〜図１４と同様である。
【００６５】
まず、変数ｃｈｅｃｋをＦＡＬＳＥで初期化する（ステップＳ１０１１）。次に、移動物体を包含する長方形の内部を探索するようにＬＯＯＰ１〜ＬＯＯＰ２（ステップＳ１０１２，Ｓ１０１３）を構成し、色物体の検出結果の配列Ｍ２をチェックする（ステップＳ１０１４）。ここで、移動物体を包含する内部に色物体が検出されていた場合、変数ｃｈｅｃｋをＴＲＵＥにし（ステップＳ１０１５）、ＬＯＯＰ１，ＬＯＯＰ２を脱出する。ＬＯＯＰ１，ＬＯＯＰ２の終了後（ステップＳ１０１６，Ｓ１０１７）、変数ｃｈｅｃｋがＴＲＵＥか否かを調べ（ステップＳ１０１８）、ＴＵＲＥならば特定色を含む移動物体として判定する（ステップＳ１０１９）。そして、特定物体の数を表すｎをプラス１して（ステップＳ１０２０）、次の特定物体の探索に移る。
【００６６】
（特定物体合成表示部１１５について）
特定物体合成表示部１１５では、特定物体判定部１１３で判定した特定物体の領域と再生画像信号を合成した画像を作成して表示する。図１７は、その具体的な流れ図である。ここで、ｎは特定物体判定部１１３で判定されたフレーム内の特定物体数を示している。処理の流れとしては、特定物体毎にＢ１［ｉ］〜Ｂ４［ｉ］が特定物体の４角のマクロブロックを表しているので、それを囲むような長方形を描き、再生画像と合成する（ステップＳ９０２）。
【００６７】
図１８は、このようにして特定物体合成表示部１１５によって作成され表示された画像の例であり、再生画像中に３つの移動物体（この例では人間）が表示され、これらのうち指定された特定色の二つの移動物体を特定物体として他の物体と区別できるように、例えば白抜きの長方形枠で囲まれている。
【００６８】
［第２の実施の形態］
図１９は、本発明の第２の実施形態に係る動画像内特定物体検出装置の構成を示す。この動画像内特定物体検出装置は、大きく動画像符号化部３００と特定物体検出部３２０の２つの部分からなっている。
【００６９】
図１９において、動画像符号化部３００に入力された入力動画像信号は、まずブロック化部３０１でマクロブロックに分割される。各マクロブロックの入力動画像信号は減算器３０２に入力され、ここで予測画像信号との差分がとられて予測残差信号が生成される。この予測残差信号とブロック化部３０１からの入力動画像信号のいずれか一方が符号化モード選択スイッチ３０３によって選択され、ＤＣＴ（離散コサイン変換）部３０４により離散コサイン変換される。ＤＣＴ部３０４で得られＤＣＴ係数データは、量子化部３０５で量子化される。量子化部３０５で量子化されたＤＣＴ係数データは二分岐され、一方は可変長符号化部３１４で可変長符号化される。
【００７０】
量子化部３０５で量子化され二分岐されたＤＣＴ係数データの他方は、逆量子化部３０６及びＩＤＣＴ（逆離散コサイン変抜）部３０７により量子化部３０５及びＤＣＴ部３０４の処理と逆の処理を順次受けた後、加算器３０８でスイッチ３１３を介して入力される予測画像信号と加算されることにより、局部復号画像信号が生成される。局部復号画像信号はフレームメモリ３０９に蓄えられ、フレームメモリ３０９から動き補償部３１０に入力される。動き補償部３１０では、予測画像信号を生成するとともに、符号化モード選択部３１２に必要な情報を送る。
【００７１】
符号化モード選択部３１２では、マクロブロック単位に動き補償部３１０からの予測情報Ｐに基づいて、フレーム間符号化を行うマクロブロックとフレーム内符号化を行うマクロブロックを選択する。フレーム内符号化（イントラ符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。符号化モード選択スイッチ３０３は符号化モード選択スイッチ情報Ｐに基づいて切り換えられ、またスイッチ３１１はスイッチ情報Ｓに基づいて切り換えられる。
【００７２】
ここで、符号化モードとしてイントラ符号化モード（ＩＮＴＲＡ）、インター符号化モード（ＩＮＴＥＲ）及び非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、これらの符号化モードが各マクロブロック毎に対応付けられている。ＩＮＴＲＡマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤマクロブロックは符号化不要の画像領域である。
【００７３】
一方、特定物体検出部３２０においては、まず可変長符号化部３１４に入力された符号化モード情報をマクロブロック移動物体判定部３２１とマクロブロック特定色判定部３２２に入力し、その判定結果を特定物体判定部３２３に入力する。特定色判定部３２３の判定結果は、特定物体合成表示部３２５に入力されるとともに、動画像符号化部３００の多重化部３１５に入力される。特定物体合成部３２５では、動画像符号化部３００によって作成された局部復号画像信号と特定物体の合成画像を作成して表示する。
【００７４】
マクロブロック移動物体判定部３２１、マクロブロック特定色判定部３２２及び特定物体合成表示部３２５の具体的な処理内容は、第１の実施形態で説明した処理と同一であるため、説明を省略する。
【００７５】
符号化制御部３１４は、符号化部３１７（動画像符号化部３００のうち多重化部３１５より前の部分）での符号化情報と出力バッファ３１６のバッファ量を基に符号化部３１７における量子化部３０５での量子化ステップサイズ等のパラメータを制御する。可変長符号化部３１４で符号化された符号化データは、特定物体判定部３２３からの特定物体判定結果とともに多重化部３１５で多重化され後、出力バッファ３１６で送信レートが平滑化され、伝送系または蓄積系に伝送される。
【００７６】
［第３の実施形態］
図２０に、本発明の第３の実施形態に係る動画像内特定物体検出装置の構成を示す。この動画像内特定物体検出装置は、図１９に示した動画像符号化部３００と特定物体検出部３２０を組み合わせた第２の実施形態に係る動画像内特定物体検出装置から伝送系または蓄積系を介して伝送されてきた符号化データを受け、この符号化データに基づき動画像内の特定物体を検出する装置であり、動画像復号化部４００に特定物体合成表示部４１０を組み合わせて構成される。
【００７７】
まず、動画像復号化部４００において、伝送路または蓄積系から受信した符号化データは入力バッファ４０１に一度蓄えられ、多重化分離部４０２によりフレーム毎にシンタクスに基づいて分離され、可変長復号化部４０３に出力される。可変長復号化部４０３では、各シンタクスの情報の可変長符号が復号される。
【００７８】
符号化モード切替スイッチ４０９は可変長復号化部４０３から出力されるマクロブロック毎の符号化モード情報に従って制御され、符号化モードがＩＮＴＲＡならばオフとなる。このとき、可変長復号化部４０３で復号化された量子化ＤＣＴ係数情報は逆量子化部４０４で逆量子化され、ＩＤＣＴ部４０５で逆離散コサイン変換処理されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ４０７に参照画像信号として蓄積されるとともに、特定物体合成表示部４１０に入力される。
【００７９】
マクロブロックの符号化モードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、符号化モード切替スイッチ４０９はオンとなり、可変長復号化部４０３で復号化された量子化ＤＣＴ係数情報は逆量子化部４０４で逆量子化され、ＩＤＣＴ部４０５で逆離散コサイン変換処理された後、加算器４０６に入力され、ここで可変長復号化部４０３で復号化された動きベクトル情報に基づいて動き補償部４０８においてフレームメモリ４０７から読み出される参照画像信号を動き補償した信号と関されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ４０７に参照画像信号として蓄積されるとともに、特定物体合成表示部４１０に入力される。
【００８０】
一方、多重化分離部４０２で分離された特定物体判定結果も特定物体合成表示部４１０に入力される。これにより特定物体合成表示部４１０では、再生画像上に特定物体が合成表示される。
【００８１】
なお、以上の実施形態においては、マクロブロック単位に処理を行う例を示したが、それよりの小さな単位での処理でも、大きな単位での処理でも同様の方法ができることは言うまでもない。また、以上の実施形態では動画像符号化方式としてＤＣＴと動き補償及び可変長符号化を組み合わせた方式を例に説明したが、その他の圧縮符号化技術、例えばウェーブレット変換等を用いた場合でも同様に本発明に基づく動画像内の特定物体検出を適用することができる。
【００８２】
【発明の効果】
以上説明したように、本発明によれば色と動きを同時に検出したり、色と動きを統一的に使った特定の物体の検出を行うことにより、高速かつ安定して精度よく動画像内の特定物体を検出することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態に係る動画像内特定物体検出装置の構成を示すブロック図
【図２】 同実施形態におけるマクロブロック移動物体判定部の構成を示すブロック図
【図３】 同実施形態における特定物体検出処理の概略的な流れを示すフローチャート
【図４】 同実施形態におけるマクロブロック移動物体判定処理の流れを示すフローチャート
【図５】 同実施形態におけるマクロブロック移動物体判定部内の背景メモリの更新動作を示すフローチャート
【図６】 同実施形態におけるマクロブロック特定色判定部の処理の流れを示すフローチャート
【図７】 同実施形態における特定物体判定部において移動物体でかつ色物体を検出する場合の処理の流れを示すフローチャート
【図８】 同実施形態における特定物体判定部において移動物体または色物体を検出する場合の処理の流れを示すフローチャート
【図９】 同実施形態における特定物体判定部において特定色を含む移動物体の検出を行う場合の処理の流れを示すフローチャート
【図１０】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１１】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１２】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１３】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１４】 同実施形態における特定物体判定部の特定物体包含処理を示すフローチャート
【図１５】 同実施形態における特定物体判定部の判定結果の例を示す図
【図１６】 同実施形態における特定物体判定部の特定物体包含処理の図１４との相違部分を示すフローチャート
【図１７】 同実施形態における特定物体合成表示部の動作を示すフローチャート
【図１８】 本発明の特定物体合成表示部の表示例を示す図
【図１９】 本発明の第２の実施形態に係る動画像内特定物体検出装置の構成を示すブロック図
【図２０】 本発明の第３の実施形態に係る動画像内特定物体検出装置の構成を示すブロック図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…符号化モード切替スイッチ
１１０…特定物体検出部
１１１…マクロブロック移動物体判定部
１１２…マクロブロック特定色判定部
１１３…特定物体判定部
１１４…特定物体条件指定部
１１５…特定物体合成表示部
２０１…マクロブロック背景判定部
２０２…相関計算部
２０３…相関計算部
２０４…背景メモリ
２０５…スイッチ
３００…動画像符号化部
３０１…ブロック化部
３０２…減算器
３０３…符号化モード選択スイッチ
３０４…ＤＣＴ部
３０５…量子化部
３０６…逆量子化部
３０７…ＩＤＣＴ部
３０８…加算器
３０９…フレームメモリ
３１０…動き補償部
３１１…スイッチ
３１２…符号化モード選択部
３１３…符号化制御部
３１４…可変長符号化部
３１５…多重化部
３１６…出力バッファ
３１７…符号化部
３１９…マクロブロック移動物体判定部
３２０…マクロブロック特定色判定部
３２１…特定物体判定部
３２２…特定物体条件指定部
３２３…特定物体合成表示部
３２４…特定物体検出部
４００…動画像復号化部
４０１…入力バッファ
４０２…多重化分離部
４０３…可変長復号化部
４０４…逆量子化部
４０５…ＩＤＣＴ部
４０６…加算器
４０７…フレームメモリ
４０８…動き補償部
４０９…符号化モード切替スイッチ
４１０…特定物体合成表示部
Claims (8)
- 動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報と１フレーム前の再生画像信号である参照画像信号を参照して、前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合と前記符号化モード情報が「非符号化」でかつ前記参照画像信号が第２の閾値より大きい場合は前記単位領域を非背景領域と判定し、該非背景領域を動画像内の移動物体と判定する移動物体判定ステップと、
前記再生画像信号及び符号化モード情報を参照して、前記再生画像信号における前記符号化モード情報が「符号化」の単位領域の画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し、変換後の画素値が指定された範囲に入っているかどうかにより、予め指定された少なくとも一つの特定色の有無を判定する特定色判定ステップと、
（ａ）前記移動物体判定ステップで移動物体と判定され、かつ該移動物体のうち前記特定色判定ステップで特定色と判定された部分を前記特定物体として判定する、（ｂ）前記移動物体判定ステップで移動物体と判定された物体と、前記特定色判定ステップで特定色と判定された物体を前記特定物体として判定する、及び（ｃ）前記移動物体判定ステップで移動物体と判定され、かつ前記特定色判定ステップで特定色と判定された部分を含む移動物体を前記特定物体として判定する、のうちの少なくとも一つの判定を行うことにより動画像内の特定物体を判定する特定物体判定ステップとを有する動画像内の特定物体検出方法。 - 動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して、「符号化」か「非符号化」かを示す符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して、前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合と前記符号化モード情報が「非符号化」でかつ前記参照画像信号が第２の閾値より大きい場合は前記単位領域を非背景領域と判定し、該非背景領域を動画像内の移動物体と判定する移動物体判定ステップと、
前記局部復号画像及び符号化モード情報を参照して、前記局部復号画像信号における前記符号化モード情報が「符号化」の単位領域の画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し、変換後の画素値が指定された範囲に入っているかどうかにより、予め指定された少なくとも一つの特定色の有無を判定する特定色判定ステップと、
（ａ）前記移動物体判定ステップで移動物体と判定され、かつ該移動物体のうち前記特定色判定ステップで特定色と判定された部分を前記特定物体として判定する、（ｂ）前記移動物体判定ステップで移動物体と判定された物体と、前記特定色判定ステップで特定色と判定された物体を前記特定物体として判定する、及び（ｃ）前記移動物体判定ステップで移動物体と判定され、かつ前記特定色判定ステップで特定色と判定された部分を含む移動物体を前記特定物体として判定する、のうちの少なくとも一つの判定を行うことにより動画像内の特定物体を判定する特定物体判定ステップとを有する動画像内の特定物体検出方法。 - 前記再生画像信号または前記局部復号画像信号を用いて動画像を表示するとともに、該動画像に合成して前記特定物体判定ステップで判定された特定物体の画像を表示するステップをさらに有する請求項１または２記載の動画像内の特定物体検出方法。
- 動画像を圧縮符号化した符号化データを復号して少なくとも再生画像信号及び単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報と１フレーム前の再生画像信号である参照画像信号を生成する動画像復号化部と、
前記再生画像信号、符号化モード情報及び参照画像信号を参照して、前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合と前記符号化モー ド情報が「非符号化」でかつ前記参照画像信号が第２の閾値より大きい場合は前記単位領域を非背景領域と判定し、該非背景領域を動画像内の移動物体と判定する移動物体判定部と、
前記再生画像信号及び符号化モード情報を参照して、前記再生画像信号における前記符号化モード情報が「符号化」の単位領域の画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し、変換後の画素値が指定された範囲に入っているかどうかにより、予め指定された少なくとも一つの特定色の有無を判定する特定色判定部と、
（ａ）前記移動物体判定ステップで移動物体と判定され、かつ該移動物体のうち前記特定色判定ステップで特定色と判定された部分を前記特定物体として判定する、（ｂ）前記移動物体判定ステップで移動物体と判定された物体と、前記特定色判定ステップで特定色と判定された物体を前記特定物体として判定する、及び（ｃ）前記移動物体判定ステップで移動物体と判定され、かつ前記特定色判定ステップで特定色と判定された部分を含む移動物体を前記特定物体として判定する、のうちの少なくとも一つの判定を行うことにより動画像内の特定物体を判定する特定物体判定部とを有する動画像内の特定物体検出装置。 - 動画像を圧縮符号化して符号化データを出力すると共に該圧縮符号化の過程で局部復号画像信号及び単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を生成する動画像符号化部と、
前記局部復号画像信号、符号化モード情報及び参照画像信号を参照して、前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合と前記符号化モード情報が「非符号化」でかつ前記参照画像信号が第２の閾値より大きい場合は前記単位領域を非背景領域と判定し、該非背景領域を動画像内の移動物体と判定する移動物体判定部と、
前記局部復号画像及び符号化モード情報を参照して、前記局部復号画像信号における前記符号化モード情報が「符号化」の単位領域の画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し、変換後の画素値が指定された範囲に入っているかどうかにより、予め指定された少なくとも一つの特定色の有無を判定する特定色判定部と、
（ａ）前記移動物体判定ステップで移動物体と判定され、かつ該移動物体のうち前記特定色判定ステップで特定色と判定された部分を前記特定物体として判定する、（ｂ）前記移動物体判定ステップで移動物体と判定された物体と、前記特定色判定ステップで特定色と判定された物体を前記特定物体として判定する、及び（ｃ）前記移動物体判定ステップで移動物体と判定され、かつ前記特定色判定ステップで特定色と判定された部分を含む移動物体を前記特定物体として判定する、のうちの少なくとも一つの判定を行うことにより動画像内の特定物体を判定する特定物体判定部とを有する動画像内の特定物体検出装置。 - 前記再生画像信号または前記局部復号画像信号を用いて動画像を表示するとともに、該動画像に合成して前記特定物体判定部で判定された特定物体の画像を表示する表示部をさらに有する請求項４または５記載の動画像内の特定物体検出装置。
- コンピュータに動画像内の特定物体を検出する処理を実行させるためのプログラムであって、
動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報と１フレーム前の再生画像信号である参照画像信号を参照して、前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合と前記符号化モード情報が「非符号化」でかつ前記参照画像信号が第２の閾値より大きい場合は前記単位領域を非背景領域と判定し、該非背景領域を動画像内の移動物体と判定する移動物体判定処理と、
前記再生画像信号及び符号化モード情報を参照して、前記再生画像信号における前記符号化モード情報が「符号化」の単位領域の画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し、変換後の画素値が指定された範囲に入っているかどうかにより、予め指定された少なくとも一つの特定色の有無を判定する特定色判定処理と、
（ａ）前記移動物体判定ステップで移動物体と判定され、かつ該移動物体のうち前記特定色判定ステップで特定色と判定された部分を前記特定物体として判定する、（ｂ）前記移動物体判定ステップで移動物体と判定された物体と、前記特定色判定ステップで特定色と判定された物体を前記特定物体として判定する、及び（ｃ）前記移動物体判定ステップで移動物体と判定され、かつ前記特定色判定ステップで特定色と判定された部分を含む移動物体を前記特定物体として判定する、のうちの少なくとも一つの判定を行うことにより動画像内の特定物体を判定する特定物体判定処理とをコンピュータに実行させるためのプログラム。 - コンピュータに動画像内の特定物体を検出する処理を実行させるためのプログラムであって、
動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して、「符号化」か「非符号化」かを示す符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して、前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合と前記符号化モード情報が「非符号化」でかつ前記参照画像信号が第２の閾値より大きい場合は前記単位領域を非背景領域と判定し、該非背景領域を動画像内の移動物体と判定する移動物体判定処理と、
前記局部復号画像及び符号化モード情報を参照して、前記局部復号画像信号における前記符号化モード情報が「符号化」の単位領域の画素値をＹＣｂＣｒ空間からＨＳＶ空間に変換し、変換後の画素値が指定された範囲に入っているかどうかにより、予め指定された少なくとも一つの特定色の有無を判定する特定色判定処理と、
（ａ）前記移動物体判定ステップで移動物体と判定され、かつ該移動物体のうち前記特定色判定ステップで特定色と判定された部分を前記特定物体として判定する、（ｂ）前記移動物体判定ステップで移動物体と判定された物体と、前記特定色判定ステップで特定色と判定された物体を前記特定物体として判定する、及び（ｃ）前記移動物体判定ステップで移動物体と判定され、かつ前記特定色判定ステップで特定色と判定された部分を含む移動物体を前記特定物体として判定する、のうちの少なくとも一つの判定を行うことにより動画像内の特定物体を判定する特定物体判定処理とをコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001087522A JP3641219B2 (ja) | 2000-03-31 | 2001-03-26 | 動画像内の特定物体検出方法及び装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000099960 | 2000-03-31 | ||
| JP2000-99960 | 2000-03-31 | ||
| JP2001087522A JP3641219B2 (ja) | 2000-03-31 | 2001-03-26 | 動画像内の特定物体検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001346224A JP2001346224A (ja) | 2001-12-14 |
| JP3641219B2 true JP3641219B2 (ja) | 2005-04-20 |
Family
ID=26589298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001087522A Expired - Fee Related JP3641219B2 (ja) | 2000-03-31 | 2001-03-26 | 動画像内の特定物体検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3641219B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6282193B2 (ja) * | 2014-07-28 | 2018-02-21 | クラリオン株式会社 | 物体検出装置 |
-
2001
- 2001-03-26 JP JP2001087522A patent/JP3641219B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001346224A (ja) | 2001-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108012155B (zh) | 预拼接图像的视频编码方法、视频解码方法和相关的装置 | |
| KR101589334B1 (ko) | 압축 동화상 부호화 장치, 압축 동화상 복호화 장치, 압축 동화상 부호화 방법 및 압축 동화상 복호화 방법 | |
| JP5195032B2 (ja) | 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム | |
| JPH1075457A (ja) | 動画像内の移動物体検出装置 | |
| TWI511531B (zh) | 影像編碼裝置、影像編碼方法及影像編碼程式 | |
| JP4157234B2 (ja) | 動画像内の移動物体検出装置 | |
| JP2004336529A (ja) | 動画データ処理装置及び方法並びにプログラム | |
| JP5209572B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JP3641219B2 (ja) | 動画像内の特定物体検出方法及び装置 | |
| JP2010226528A (ja) | 符号化装置およびその方法 | |
| KR20050098292A (ko) | 코딩된 잔류 모션 벡터 데이터의 존재를 통지하는 플래그를포함한 모션 벡터들의 예측 인코딩 | |
| JP3732760B2 (ja) | 物体認識装置及び物体認識方法 | |
| JP2008053848A (ja) | 画像処理装置及び画像処理方法 | |
| JP3711022B2 (ja) | 動画像内の特定物体認識方法及び装置 | |
| JP5442039B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| JP5206070B2 (ja) | 復号装置および復号方法 | |
| JP3253595B2 (ja) | 動画像特定色検出装置及び検出方法 | |
| JP3595238B2 (ja) | 動画像解析方法及び装置 | |
| JP3548028B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JP3873000B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JP5693628B2 (ja) | 画像復号装置 | |
| JP5931160B2 (ja) | 画像符号化装置およびビットストリーム | |
| JP3637259B2 (ja) | 動画像解析処理方法及び装置 | |
| JP2015019319A (ja) | 符号化装置、符号化方法及びプログラム | |
| JP2014179921A (ja) | 動画像符号化装置及びその制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |