JP3549175B2 - 動きベクトル検出方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像信号の記録・通信・伝送および放送等に用いられる動画像符号化装置に係り、特に符号化対象画面である検出対象画面の部分領域が参照画面のどの部分領域から動いたかを表す動きベクトルを検出する動きベクトル検出方法および装置に関する。
【０００２】
【従来の技術】
動画像信号は情報量が膨大であるため、単にディジタル化して伝送や記録を行おうとすると、極めて広帯域の伝送路や、大容量の記録媒体を必要とする。そこで、テレビ電話、テレビ会議、ＣＡＴＶおよび画像ファイル装置等では、動画像信号を少ないデータ量に圧縮符号化する技術が用いられる。
【０００３】
動画像信号の圧縮符号化技術の一つとして、動き補償予測符号化方式が知られている。動き補償予測符号化方式では、符号化済みの画面を参照画面とし、入力画面の部分領域に対して参照画面の最も相関の高い部分領域を検出することにより、入力画面の部分領域が参照画面のどの部分領域から動いたものかを表す動きベクトルを求め、入力画面の部分領域と動きベクトルにより示される参照画面の部分領域との差分である予測誤差信号を符号化する。
【０００４】
動きベクトル検出方法には種々あるが、参照画面から符号化対象画面の複数画素で構成される単位ブロックとその単位ブロックの各対応画素との差の絶対値和（マッチング誤差）が最小となる参照ブロックの位置を探索する方法が知られている。この検出方法は、映画などのようなフェードインやフェードアウト処理された画像では、画面間の輝度変化が大きく、近似した参照ブロックでも各対応画素の差分が同様に大きくなり、マッチング誤差も大きくなるために、一部の対応画素の差分が小さくなる参照ブロックが存在すると動きベクトルの誤検出を生じるという問題がある。
【０００５】
このような画像の輝度変化による動きベクトルの誤検出を避けるため、参照画面の画像および動きベクトルの検出対象画面（符号化対象画面）の画像として、エッジ抽出を行って得られる特徴画像を用いて動きベクトルを検出する方法が知られている（特開平２−２９４１８１）。しかし、この方法では画面上で輝度が一様に変化しているようなエッジ情報をあまり含まない画像の場合は、エッジが十分に抽出されないために、動きベクトルの検出が難しい。さらに、参照画像と符号化対象画像のそれぞれのエクジ抽出のための減算回路を必要とし、かつエッジ抽出後の画像は画素値のダイナミックレンジが増加するため、符号化対象画素と参照画素の両方の入力レジスタのビット数が増加し、回路規模の増大を招いていた。
【０００６】
一方、動き補償予測符号化方式の動画像符号化装置においては、符号化効率を高めるために、符号化する際の画面順序を入れ替えることにより、時間的に前に入力された画面からだけではなく、時間的に後に入力される画面からの予測も用いて動き補償を行う場合がある。前者を前方予測符号化、後者を後方予測符号化と呼び、またこれら予測符号化に用いられる動きベクトルを検出する動作を前方予測動きベクトル検出および後方予測動きベクトル検出と呼ぶ。
【０００７】
図１８は、この動き補償予測符号化方式の動画像符号化装置に適用される従来の動きベクトル検出装置の構成例を示すブロック図である。この動きベクトル検出装置は、前方予測動きベクトル検出部、つまり時間的に前に入力された画面を参照画面として検出対象画面の部分領域（検出対象ブロック）の動きベクトルの候補を検出する動作を基本とする第１の動きベクトル検出部１００１と、後方予測動きベクトル検出部、つまり時間的に後に入力される画面を参照画面として検出対象ブロックの動きベクトルの候補を検出する動作を基本とする第２の動きベクトル検出部１００２と、これらの動きベクトル候補の中から最適な高精度の動きベクトルを検出する第３の動きベクトル検出部１００３と、画像メモリ１００４と、第１および第２の動きベクトル検出部１００１，１００２からの動きベクトル候補を一時記憶するためのバッファ１００５，１００６、第１の動きベクトル検出部１００１からの動きベクトル候補と共に予測誤差を一時記憶するバッファ１００７および遅延回路１００８からなる。
【０００８】
図１９は、画面の入力順序に対する符号化順序および予測方向の関係を示す図であり、また図２０および図２１は第１〜第３の動きベクトル検出部１００１〜１００３の動作を示す図である。さらに、図２２は入力の画面変化（シーンチェンジ）が生じた場合の第１〜第３の動きベクトル検出部１００１〜１００３の動作を示す図である。図１９〜図２２において、Ｉはイントラ符号化が時用される画面、Ｐは前方予測符号化が適用される画面、Ｂは両方向予測符号化が適用される画面であり、画面Ｉ，Ｐだけが動きベクトル検出時に参照画面として使用され、画面Ｂは参照画面として使用されない。
【０００９】
図１８において、入力端子１１から入力された画像信号１２は画像メモリ１００４に記憶される。第１および第２の動きベクトル検出部１００１，１００２により、画像メモリ１００４から参照画面の画像信号と検出対象ブロックの画像信号が読み出されると共に、図１９に示すような符号化順序に従って検出対象画面の画像信号が読み出されて遅延回路１００８に入力される。
【００１０】
ここでは１画面前の検出対象ブロックについて検出された動きベクトル候補に基づいて、探索範囲を限定して第１および第２の動きベクトル検出部１００１，１００２で検出対象ブロックの動きベクトル候補を検出するため、検出対象画面および参照画面の画像信号は、図２０（ａ）（ｂ）または図２１（ａ）（ｂ）に示すような画面順序で読み出される。なお、図２０（ａ）（ｂ）は参照画面間隔が３に固定の場合、また図２１（ａ）（ｂ）は参照画面間隔が可変（１〜３）の場合である。なお、図１９においても、画面の入力順序に対する符号化順序および予測方向の関係を参照画面間隔が３に固定の場合と可変（１〜３）の場合について示している。
【００１１】
第１の動きベクトル検出部１００１は、図２０（ａ）または図２１（ａ）に示されるように、検出対象画面に対して常に時間的に前に入力された画面を参照画面として動きベクトル候補を検出する前方予測動きベクトル検出を行う。
【００１２】
第２の動きベクトル検出部１００２は、図２０（ｂ）または図２１（ｂ）に示されるように、参照画面として使用されない検出対象画面（Ｂ）に対しては、時間的に後に入力される画面を参照画面として動きベクトル候補を検出する後方予測動きベクトル検出を行うが、参照画面として使用される検出対象画面（ＩまたはＰ）に対しては、第１の動きベクトル検出部１００１と同様に前方予測動きベクトル検出を行う。この際、第２の動きベクトル検出部１００２は第１の動きベクトル検出部１００１と異なる探索精度またはマッチング精度で動きベクトル検出を行うことにより、第１および第２の動きベクトル検出部１００１，１００２全体として動きベクトルの検出精度を向上させている。
【００１３】
第３の動きベクトル検出部１００３は、このようにして検出された動きベクトル候補に基づいて、図示しない符号化部内の画像メモリに記憶された参照画面の画像信号を図２０（ｃ）または図２１（ｃ）に示すような順序で読み出して、高精度な最適動きベクトルを検出する。
【００１４】
しかし、この従来の動きベクトル検出装置では、検出対象画面がＢ０やＢ３などの場合、図２０（ｂ）（ｃ）または図２１（ｂ）（ｃ）に示されるように、動きベクトル候補の検出時刻が図１９中の符号化順序で示した符号化時刻よりも１画面分以上の時間遅れるため、入力された画像信号が実際に符号化されるまでの時間、すなわち符号化遅延が大きくなってしまうと共に、符号化時刻に合わせて動きベクトル候補を一時記憶するためのバッファ１００６，１００７や、検出対象画面の画像信号を遅延させるための遅延回路１００８として大容量のメモリが必要となり、ハードウェア規模が大きなものとなってしまう。
【００１５】
また、図２１に示すように参照画面間隔が一定でない場合には、第２の動きベクトル検出部１００２は第１の動きベクトル検出部１００１より１画面分以上時間的に遅れて同じ検出対象画面に対する動きベクトル検出を行うことになる。その場合、第１の動きベクトル検出部１００１で求められた１６×８のマッチングサイズの予測誤差と、第２の動きベクトル検出部１００２で求められた１６×８のマッチングサイズの予測誤差の和で１６×１６のマッチングサイズの予測誤差を生成して動きベクトル検出精度を向上させるためには、第１の動きベクトル検出部１００１で求められた予測誤差を１画面の全ブロックの全動きベクトル探索点についてバッファ１００７で記憶する必要があり、バッファ１００７として大容量のメモリが必要となる。
【００１６】
また、単独で２画素精度の探索を行う第１の動きベクトル検出部１００１と第２の動きベクトル検出部１００２とで、動きベクトル探索点の位相を異ならせて１画素精度の検出を行うためには、画像メモリ１００４から検出対象画面の同一の画像信号を１画素分だけずれた異なるタイミングで読み出す必要があり、メモリアクセス速度の負担が大きくなる。
【００１７】
さらに、従来の動きベクトル検出装置では、図２２（ａ）の記号↓で示す位置で画面が切り替わっている場合には、Ｂ３・Ｂ４・Ｐ５・Ｂ７・Ｐｂの検出対象画面に対する、時間的に前に入力された画面を参照画面とする動きベクトル検出や、Ｂ６・Ｂ９・Ｂａの検出対象画面に対する、時間的に後に入力される画面を参照画面とする動きベクトル検出を行っても、符号化効率の高い動きベクトル検出を行うことができず、動きベクトル検出部で無駄な電力を消費することになってしまう。
【００１８】
また、従来の別の動きベクトル検出装置は、図２３に示すように動きベクトルの探索範囲内の参照画素を供給する参照画素供給部２００１と、探索範囲内の各動きベクトル候補に対応する複数種類の遅延量の符号化対象画素データを得るための符号化対象画素データ遅延部２００２と、入力される参照画素と符号化対象画素との差分の絶対値和の算出により各動きベクトル候補に対応するマッチング誤差を算出するマッチング誤差算出部２００３と、マッチング誤差算出部２００３から出力されるマッチング誤差の最小値を検出して動きベクトルを決定するための最小誤差位置検出部２００４とで構成されている。
【００１９】
このような動きベクトル検出装置を用いた場合の探索範囲を拡大する方法として、図２４に示すように符号化対象画素を１ブロック期間遅延させる符号化対象画素遅延部３００１〜３００３と複数の動きベクトル検出ユニット３００４〜３００７と動きベクトル検出装置を構成し、動きベクトル検出ユニット３００４〜３００７に供給する参照画素を共通にして、動きベクトル検出ユニット３００４〜３００７に供給する符号化対象ブロックの供給タイミングをずらせることにより、探索範囲を拡大する方法が知られている（特開平７−２８８８１８）。
【００２０】
しかし、この探索範囲の拡大手法では、動きベクトル検出装置の内部と外部に同じ遅延回路を重複して用いており、しかも動きベクトル検出ユニット３００４〜３００７から出力される動きベクトル候補から最適な動きベクトルを検出するための回路も必要になる。従って、図２４に示した従来の探索範囲の拡大手法においては、符号化対象画素を再度入力するか符号化対象画素の記憶用のメモリを追加する必要があり、複数の動きベクトル検出結果からの再検出も必要であるために、回路規模と消費電力の増加が大きい。
【００２１】
【発明が解決しようとする課題】
上述したように、画像の輝度変化による誤検出を避けるために、参照画面および検出対象画面の画像としてエッジ抽出を行って得られる特徴画像を用いて動きベクトルを検出する方法では、画面上で輝度が一様に変化しているような画像の場合は、エッジが抽出されないために、動きベクトルの検出が難しいという問題があった。しかも、参照画像と符号化対象画像のそれぞれのエッジ抽出のための減算回路を必要とし、符号化対象画素と参照画素の双方の入力レジスタのビット数が増加するために、回路規摸が増大するという問題を生じていた。
【００２５】
本発明の目的は、画像の輝度変化による誤検出がなく、しかも画面上で輝度が一様に変化しているような画像についても動きベクトルを検出でき、また小回路規模で構成可能な動きベクトル検出方法および装置を提供することにある。
【００２９】
【課題を解決するための手段】
本発明は上記目的を達成するため、参照画面の画像に対する検出対象画面の画像の動きベクトルを検出する動きベクトル検出装置において、参照画面の画像および検出対象画面の画像の各々の平均輝度を検出し、さらに参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いた画像を特徴画像として生成し、この特徴画像を用いて動きベクトルを検出するようにしたことを特徴とする。
【００３０】
このように参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像を用いて動きベクトルを検出すると、画像の輝度変化による動きベクトルの誤検出を回避できるとともに、画面上で輝度が一様に変化しているような画像の場合でも、エッジ情報が保存された特徴画像が得られるため、動きベクトルを正しく検出することが可能となる。
【００３１】
また、本発明は参照画面の画像および検出対象画面の画像の各々の平均輝度の差が所定値以上か否かを判定し、この平均輝度の差が所定値未満と判定されたときは参照画面の画像および検出対象画面の画像を用いて動きベクトルを検出し、所定値以上と判定されたときは参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像を用いて動きベクトルを検出するようにしたことを特徴とする。
【００３２】
参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像は、例えば参照画面の画像に対して検出対象画面の画像が局部的に変化した場合、平均輝度も変化してしまうため、特徴画像を用いて動きベクトルを検出すると動きベクトル検出が輝度変化の影響を受けてしまう。そこで、参照画面の画像および検出対象画面の画像の各々の平均輝度の差が所定値未満のときは、特徴画像でなく通常の参照画面の画像および検出対象画面の画像を用いて動きベクトルを検出することにより、このような画像の局部的な変化が生じたときでも輝度変化の影響のない動きベクトル検出が可能となる。
【００３３】
さらに、本発明は参照画面と検出対象画面の平均輝度の差を該検出対象画面の画像中の検出対象画素に加算し、この加算により得られる検出対象画素で構成される単位ブロックの各画素と近似する参照ブロックの位置を参照画面から検出して動きベクトルを検出するようにしたことを特徴とする。
【００３４】
このように動きベクトル検出用検出対象画素で構成される単位ブロックの各画素と対応する参照画素との差を算出することにより、検出対象画面および参照画面の平均輝度が差し引かれた画素値の差を算出でき、画面間の輝度変化のみが除去された状態で動きベクトル検出されるため、画面内の隣接画素の輝度差が一様であっても誤検出を生じることが非常に少なくなる上、ビット拡張が必要になるのは検出対象画素のための一時記憶部のレジスタのみで、参照領域の記憶のためのレジスタや参照画素の切替回路のビット拡張が不要になる。
【００４８】
さらに、本発明は第１の参照画面と検出対象画面の平均輝度の差を該検出対象画面の画像中の対象画素に加算して第１の動きベクトル検出用検出対象画素を生成し、この第１の動きベクトル検出用検出対象画素で構成される単位ブロックの各画素と近似する参照ブロックの位置を第１の参照画面から検出して第２の動きベクトル検出用検出対象画素を生成し、この第２の動きベクトル検出用検出対象画素によりそれぞれ構成される単位ブロックの各画素と近似する参照ブロックの位置を第２の参照画面から検出して動きベクトルを検出するようにしたことを特徴とする。
【００４９】
このように第１の動きベクトル検出用検出対象画素を修正して第２の動きベクトル検出用検出対象画素を生成することにより、参照画面の切り換えにおいても動きベクトル検出用検出対象画素を生成する前の検出対象ブロックを外部に記憶して再入力する必要が無く、画面間の輝度変化による誤検出を生じない動きベクトル検出装置が小回路規模で実現することが可能となる。
【００５０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００５１】
（第１の実施形態）
図１〜図３を用いて本発明の第１の実施形態を説明する。図１は、本実施形態に係る動きベクトル検出装置を含む動画像符号化装置を示す図である。入力端子１１からの動画像の画像信号１２は動きベクトル検出装置１００に入力される。動きベクトル検出装置１００には符号化部２００が接続されている。動きベクトル検出装置１００は、画像メモリ１０１、平均輝度検出部１０２、平均輝度差算出部１０３、減算器１０４、判定部１０５、切替器１０６、第１および第２の動きベクトル検出部１０７，１０８によって構成される。
【００５２】
画像メモリ１０１は、入力端子１１からの画像信号１２の例えば１フレーム分を一時記憶する。平均輝度検出部１０２は、入力端子１１からの画像信号１２および画像メモリ１０１から読み出される画像信号を入力とし、参照画面の画像および検出対象画面の画像信号の画像毎の平均輝度（輝度信号の平均値）を検出して、平均輝度差算出部１０３および減算器１０４に出力する。
【００５３】
減算器１０４は、画像メモリ１０３から読み出される参照画面の画像信号および検出対象画面の画像信号から、平均輝度検出部１０２で検出された各々の平均輝度を差し引くことによって、特徴画像信号を生成する。
【００５４】
平均輝度差算出部１０３は、平均輝度検出部１０２で検出された参照画面の画像信号の平均輝度と検出対象画面の画像信号の平均輝度との差（平均輝度差）を検出対象画面の部分領域（検出対象ブロック）毎に求めて判定部１０５に出力する。判定部１０５は、平均輝度差算出部１０３で求められた平均輝度差が所定値以上か否かを判定し、その判定結果に基づいて切替器１０６を制御する。切替器１０６は、判定部１０５で平均輝度差が所定値未満と判定されたときは画像メモリ１０１から読み出された参照画面の画像信号および検出対象画面の画像信号を選択し、平均輝度差が所定値以上と判定されたときは減算器１０４で生成された特徴画像信号を選択して、それを第１の動きベクトル検出部１０７に供給する。
【００５５】
第１の動きベクトル検出部１０７は、切替器１０６を介して入力された画像信号を用いて、検出対象画面の検出対象ブロックに対する参照画面からの動きベクトル候補を検出し、第２の動きベクトル検出部１０８に供給する。第２の動きベクトル検出部１０８は、第１の動きベクトル検出部１０７からの動きベクトル候補に基づいて、画像メモリ１０１からの検出対象画面の検出対象ブロックの高精度な最適動きベクトルを符号化部２００内の画像メモリに記憶された局部復号画像信号を参照画面の画像信号として検出し、符号化部２００に出力する。
【００５６】
図２に、符号化部２００の構成を示す。この符号化部２００は、動き補償予測とＤＣＴ（離散コサイン変換）および可変長符号化を組み合わせた公知の動画像符号化装置である。入力端子２０１からの画像信号２０４は、まず動き補償適応予測が行われる。すなわち、動き補償適応予測器２０７において入力端子２０３からの動きベクトルを用いて画像メモリ２１８からの参照画面の画像信号に対して動き補償が行われることにより、予測画像信号２０８が作成される。但し、動き補償適応予測器２０７では動き補償予測と入力画像信号２０４をそのまま符号化に用いるフレーム内符号化（予測信号＝０）のうち、最適な予測モードが選択され、その予測モードに対応する予測画像信号２０８および予測モード信号２２０が出力される。
【００５７】
次に、減算器２０６において入力の画像信号２０４から予測画像信号２０８が減算され、予測誤差信号２０９が生成される。予測誤差信号２０９は、ＤＣＴ回路２１０により一定の大きさのブロック単位で離散コサイン変換される。この離散コサイン変換により得られたＤＣＴ係数は量子化器２１１で量子化され、量子化されたＤＣＴ係数データは二分岐される。
【００５８】
二分岐されたＤＣＴ係数データの一方は、可変長符号化器２２１で符号化された後、多重化器２２４において可変長符号化器２２２で符号化された予測モード信号および可変長符号化器２２３で符号化された動きベクトル情報と多重化される。多重化器２２４で多重化された符号化データ１３は、出力端子１４より図示しない蓄積媒体または伝送路へ送出される。
【００５９】
また、二分岐されたＤＣＴ係数データの他方は、逆量子化器２１３で逆量子化された後、逆ＤＣＴ回路２１４で逆離散コサイン変換される。逆ＤＣＴ回路２１４からは予測誤差信号２０９とほぼ同じ出力信号２１５が得られ、これが加算器２１６で予測画像信号２０８と加算されることによって局部復号画像信号２１７が生成され、画像メモリ２１８に参照画面の画像信号として記憶される。なお、画像メモリ２１８に参照画面の画像信号が記憶されるのは、入力端子１１に入力される画像信号１２が参照画面として用いられる画面（ＩまたはＰ）の画像信号の場合である。
【００６０】
図１と図２の対応を説明すると、図２の入力端子２０１には図１の画像メモリ１０１から画像信号が入力され、図２の入力端子２０２には図１の第２の動きベクトル検出部１０８からの動きベクトル２０５が入力される。また、図１の第２の動きベクトル検出部１０８には、図２の画像メモリ２１８から端子２０３を介して参照画面の画像信号２１９が入力される。
【００６１】
次に、図３に示すフローチャートを用いて、本実施形態における動きベクトル検出の手順を説明する。
【００６２】
まず、参照画面および検出対象画面について画面毎の画像の平均輝度を検出する（ステップＳ１）。
【００６３】
次に、ステップＳ１で求められた参照画面の画像信号の平均輝度と検出対象画面の画像信号の平均輝度との差を検出する（ステップＳ２）。
【００６４】
次に、ステップＳ２で求められた平均輝度差が所定値以上か否かを判定し（ステップＳ３）、平均輝度差が所定値以上のときはステップＳ４で生成された特徴画像信号を、また平均輝度差が所定値未満のときは参照画面の画像信号および検出対象画面の画像信号をそれぞれ用いて動きベクトル検出を行い、１画素精度の動きベクトル検出候補を検出する（ステップＳ５）。
【００６５】
次に、ステップＳ５で検出された１画素精度の動きベクトル候補に基づいて、局部復号画像信号を用いて１／２画素精度の動きベクトル検出を行う（ステップＳ６）。
【００６６】
以上述べたように、本実施形態の動きベクトル検出装置によると、参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像を用いて動きベクトルを検出することにより、画像の輝度変化による動きベクトルの誤検出を回避できるとともに、画面上で輝度が一様に変化しているような画像の場合でも、エッジ情報が保存された特徴画像が得られるため、動きベクトルを正しく検出することが可能となる。
【００６７】
また、参照画面の画像および検出対象画面の画像の各々の平均輝度の差が所定値以上か否かを判定部１０５で判定し、この平均輝度差が所定値未満と判定されたときは参照画面の画像および検出対象画面の画像を用いて動きベクトルを検出し、所定値以上と判定されたときは減算器１０４により参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像を用いて動きベクトルを検出することによって、常に画像の輝度変化による動きベクトルの誤検出を避けることができる。
【００６８】
すなわち、参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像は、例えば参照画面の画像に対して検出対象画面の画像が局部的に変化した場合に平均輝度も変化してしまう。従って、このような場合には特徴画像を用いて動きベクトルを検出すると、動きベクトル検出が輝度変化の影響を受けることになる。
【００６９】
これに対し、本実施形態のように参照画面の画像および検出対象画面の画像の各々の平均輝度差が所定値未満のときは、特徴画像でない参照画面の画像および検出対象画面の画像を用いて動きベクトルを検出することにより、このような画像の局部的な変化に対しても輝度変化の影響のない確実な動きベクトル検出を行うことが可能となる。
【００７０】
さらに、本実施形態の構成では、特徴画像信号を通常の画像と別に記憶する必要がないため、画像メモリ１０１の容量を従来の半分程度に削減できる。
【００７１】
なお、特徴画像生成部で予め特徴画像を生成して記憶しておき、平均輝度差が所定値以上か否かにより、第１の動きベクトル検出部１０７に入力する画像信号の切り替えを行ってもよい。
【００７２】
（第２の実施形態）
図４は、本発明の第２の実施形態に動きベクトル検出装置を含む動画像符号化装置の構成を示すブロック図である。符号化部２００は、第１の実施形態と同様に例えば図２のように構成されているので、その説明を省略する。
【００７３】
本実施形態における動きベクトル検出装置３００は、時間的に前に入力された画面を参照画面として検出対象画面の部分領域（検出対象ブロック）の動きベクトルの候補を検出する第１の動きベクトル検出部（前方予測動きベクトル検出部）３０１と、時間的に後に入力される画面を参照画面として検出対象ブロックの動きベクトルの候補を検出する第２の動きベクトル検出部（後方予測動きベクトル検出部）３０２と、動きベクトル候補の中から最適な動きベクトルを検出する第３の動きベクトル検出部３０３と、画像メモリ３０４と、第１および第２の動きベクトル検出部３０１，３０２からの動きベクトル候補を一時記憶するバッファ３０５，３０６からなる。
【００７４】
図５および図６は第１〜第３の動きベクトル検出部３０１〜３０３の動作を示す図であり、図５は参照画面間隔が３に固定の場合、図６は参照画面間隔が可変（１〜３）の場合である。図５および図６において、Ｉはイントラ符号化が時用される画面、Ｐは前方予測符号化が適用される画面、Ｂは両方向予測符号化が適用される画面であり、画面Ｉ，Ｐだけが動きベクトル検出時に参照画面として使用され、画面Ｂは参照画面として使用されない。
【００７５】
入力端子１１からの画像信号１２は、画像メモリ３０４に動きベクトルの検出対象画面の画像信号として記憶される。この画像メモリ３０４に記憶された画像信号のうち、画面Ｉ，Ｐの画像信号は参照画面の画像としても用いられる。
【００７６】
第１の動きベクトル検出部３０１は、図５（ａ）または図６（ａ）に示されるように、画像メモリ３０４から検出対象画面の部分領域（検出対象ブロック）の画像信号を画像信号１２の入力画面順序と同じ順序で読み出し、さらに参照画面の部分領域（参照ブロック）の画像信号を読み出して、前方予測動きベクトル検出（時間的に前に入力された画面を参照画面とする動きベクトル検出）を行い、前方予測の動きベクトル候補を検出する。第１の動きベクトル検出部３０１で検出された動きベクトル候補は、バッファ３０５に記憶される。
【００７７】
第２の動きベクトル検出部３０２は、図５（ｂ）または図６（ｂ）に示されるように、画像メモリ３０４から検出対象画面の検出対象ブロックの画像信号を画像信号１２の入力画面順序と入れ換えて読み出し、さらに画像メモリ３０４に記憶されている参照画面の参照ブロックの信号を読み出して、後方予測動きベクトル検出（時間的に後に入力される画面を参照画面とする動きベクトル検出）または前方予測動きベクトル検出を行い、後方予測または前方予測の動きベクトル候補を検出する。第２の動きベクトル検出部３０２で検出された動きベクトル候補は、バッファ３０６に記憶される。
【００７８】
ここで、従来では第２の動きベクトル検出部１００２は、例えば図１６に示したように参照画面として用いられる画面Ｉ２・Ｐ５・Ｐ８・Ｐｂ…の画像信号が入力されるとき、前方予測動きベクトル検出を行っていたの対して、本実施形態における第２の動きベクトル検出部３０２は、参照画面として用いられる画面、例えば図５（ａ）または図６（ａ）における検出対象画面として画面Ｉ２・Ｐ５・Ｐ８・Ｐｂ…の画像信号が入力されるとき、図５（ｂ）または図６（ｂ）に示されるように、これらの画面Ｉ２・Ｐ５・Ｐ８・Ｐｂ…を参照画面として、それより時間的に前に入力された検出対象画面Ｂ１・Ｂ４・Ｂ７・Ｂａ…の検出対象ブロックの動きベクトルを検出する後方予測動きベクトル検出を行う。
【００７９】
そして、画面Ｉ２・Ｐ５・Ｐ８・Ｐｂ…の１画面前の画面Ｂ１・Ｂ４・Ｂ７・Ｂａ…の画像信号が入力されるときは、第２の動きベクトル検出部３０２は後方予測動きベクトル検出を行う必要がないため、第１の動きベクトル検出部３０１と同様に前方予測動きベクトル検出を行う。
【００８０】
このように第２の動きベクトル検出部３０２が前方予測動きベクトル検出を行う場合、画像メモリ３０４から読み出される参照画面の参照ブロックは、第１の動きベクトル検出部３０１で１画面前に検出された動きベクトル候補に基づいて決定される。このために、第１の動きベクトル検出部３０１で検出された動きベクトル候補は第２の動きベクトル検出部３０２にも入力される。さらに、第１の動きベクトル検出部３０１から第２の動きベクトル検出部３０２には、必要に応じてブロックマッチング時の予測誤差の情報も入力される。
【００８１】
第３の動きベクトル検出部３０３は、画像メモリ３０４に記憶された画像信号のうち検出対象画面の検出対象ブロックの信号を図５（ｃ）または図６（ｃ）の上側に示されるような画面順序で読み出すと共に、第１および第２の動きベクトル検出部３０１，３０２で検出されバッファ３０５，３０６に記憶された動きベクトル候補に基づいて、画像メモリ３０４に記憶された参照画面の画像信号の参照ブロックの信号を図５（ｃ）または図６（ｃ）の上側に示されるような画面順序で読み出して両方向予測動きベクトル検出を行い、両方向予測による高精度な最適動きベクトルを検出する。
【００８２】
このように本実施形態においては、参照画面として使用される画面の画像信号が入力されるとき、第２の動きベクトル検出部３０２が後方予測動きベクトル検出を行うため、第２の動きベクトル検出部３０２は動きベクトル検出を従来より早期に行うことができ、符号化遅延の短縮と、動きベクトル検出に必要なメモリ容量の削減を図ることができる。
【００８３】
前述したように、例えば画面Ｂ１・Ｂ４・Ｂ７・Ｂａ…の画像信号が入力されるときのように、後方予測動きベクトル検出を行う必要がない場合は、第２の動きベクトル検出部３０２が第１の動きベクトル検出部３０１と同様に前方予測動きベクトル検出を行う。この場合、第１および第２の動きベクトル検出部３０１，３０２が全体として動きベクトルの検出精度を向上させるように、同一の検出対象画面に対して異なる異なる動きベクトル検出動作を行うようにすることができる。
【００８４】
すなわち、後方予測動きベクトル検出を行う必要がない場合、第２の動きベクトル検出部３０２が第１の動きベクトル検出部３０１から入力される動きベクトル候補に基づいて探索点の位相を第１の動きベクトル検出部３０１の探索点の位相と異ならせて同時に探索を行うようにすれば、動きベクトルの探索精度を向上させることができる。この場合、第１および第２の動きベクトル検出部３０１，３０２の検出対象ブロックは共通となるので、動きベクトル検出部３０１，３０２による画像メモリ３０４に対するメモリアクセス速度の負担増加を生じることがなく、消費電力が減少する。
【００８５】
さらに、後方予測動きベクトル検出を行う必要がない場合、第１の動きベクトル検出部３０１で求めた１６×８のマッチングサイズの予測誤差を第２の動きベクトル検出部３０２に入力して、第２の動きベクトル検出部３０２で求めた１８×８のマッチングサイズの予測誤差の和で生成した１６×１６のマッチングサイズの予測誤差の最小の動きベクトル候補を第２の動きベクトル検出部３０２で検出すれば、動きベクトルの探索精度を向上させることができる。この場合、第１の動きベクトル検出部３０１で求められた予測誤差は、第２の動きベクトル検出部３０２ですぐに使用されるので、多くの予測誤差を記憶するためのバッファは不要である。
【００８６】
（第３の実施形態）
図７は、本発明の第３の実施形態に係る動きベクトル検出装置を含む動画像符号化装置の構成を示すブロック図であり、図４に示した第２の実施形態の構成に対して、第２の動きベクトル検出部３０２への入力を入力端子１１からの画像信号１２と画像メモリ３０４から読み出した画像信号のいずれかに切り替える切替器３０７が追加されている点が異なる。以下、第２の実施形態との相違点を説明する。
【００８７】
本実施形態においては、第２の動きベクトル検出部３０２は、図５（ｂ）または図６（ｂ）に示されるように、画像メモリ３０４から検出対象画面の検出対象ブロックの画像信号を画像信号１２の入力画面順序と入れ換えて読み出し、さらに画像メモリ３０４に記憶されている参照画面の参照ブロックの信号を読み出して、後方予測動きベクトル検出または前方予測動きベクトル検出を行う際、切替器３０７を画像メモリ３０４側に切り替え、画像メモリ３０４からの検出対象ブロックの画像信号を切替器３０７を介して第２の動きベクトル検出部３０２に入力する。
【００８８】
そして、第２の動きベクトル検出部３０２が参照画面として用いられる画面Ｉ２・Ｐ５・Ｐ８・Ｐｂ…が入力されるとき、図５（ｂ）または図６（ｂ）に示されるように画面Ｉ２・Ｐ５・Ｐ８・Ｐｂ…を参照画面として検出対象画面Ｂ１・Ｂ４・Ｂ７・Ｂａ…の検出対象ブロックの動きベクトルを検出する後方予測動きベクトル検出を行う際、切替器３０７を入力端子１１側に切り替え、入力端子１１からの画像信号を検出対象ブロックの画像信号として第２の動きベクトル検出部３０２に入力する。
【００８９】
このように本実施形態では、第２の動きベクトル検出部３０２が後方予測動きベクトル検出を行う場合、検出対象ブロックの画像信号が画像メモリ３０４を介さず、入力端子１１から動きベクトル検出部３０２に直接入力されるので、第２の実施形態の効果に加えて、画像メモリ３０４に対するメモリアクセス速度の負担がさらに軽減されるという利点がある。
【００９０】
図８は、第２または第３の実施形態における第２の動きベクトル検出部３０２の動作を示すものである。この動作例は、図６の動作例に比べてできるだけ参照画面となる検出対象画面に対する動きベクトルの探索精度を向上させ、容量符号化効率を向上できるようにしたもので、画面Ｂ９の代わりに参照画面として使用される画面Ｐ８に対する動きベクトルの検出精度を向上させている。
【００９１】
なお、第１の動きベクトル検出部３０１に対する参照画面の切り替え信号に基づいて、第２の動きベクトル検出部３０２が前方予測動きベクトルを検出する際の検出対象画面を決定することができる。
【００９２】
（第４の実施形態）
図９は、本発明の第４の実施形態に係る動きベクトル検出装置を含む動画像符号化装置の構成を示すブロック図である。符号化部２００は、第１の実施形態と同様に例えば図２のように構成されているので、その説明を省略する。
【００９３】
本実施形態における動きベクトル検出装置４００は、時間的に前に入力された画面を参照画面として検出対象画面の部分領域（検出対象ブロック）の動きベクトルの候補を検出する第１の動きベクトル検出部（前方予測動きベクトル検出部）４０１と、時間的に後に入力される画面を参照画面として検出対象ブロックの動きベクトルの候補を検出する第２の動きベクトル検出部（後方予測動きベクトル検出部）４０２と、動きベクトル候補の中から最適な動きベクトルを検出する第３の動きベクトル検出部４０３と、画像メモリ４０４と、第１および第２の動きベクトル検出部４０１，４０２からの動きベクトル候補を一時記憶するバッファ４０５，４０６と、入力される画面（入力の画像信号１２によって表される画面）の場面変化、すなわちシーンチェンジを検出する場面変化検出部４０７とからなる。場面変化検出部４０７は、場面変化検出により時間的に前に入力された画面または時間的に後に入力される画面を参照画面とする動きベクトル検出の必要性を検出対象画面毎に判断するものであり、それに基づいて第１および第２の動きベクトル検出部４０１，４０２の制御を行う。
【００９４】
図１０は第１〜第３の動きベクトル検出部４０１〜４０３の動作を示す図である。図１０において、Ｉはイントラ符号化が時用される画面、Ｐは前方予測符号化が適用される画面、Ｂは両方向予測符号化が適用される画面であり、画面Ｉ，Ｐだけが動きベクトル検出時に参照画面として使用され、画面Ｂは参照画面として使用されない。
【００９５】
第１の動きベクトル検出部４０１は、場面変化検出部４０７による制御を受けて、図１０（ａ）に示されるように、画像メモリ４０４から検出対象画面の部分領域（検出対象ブロック）の画像信号を画像信号１２の入力画面順序と同じ順序で読み出し、さらに参照画面の部分領域（参照ブロック）の画像信号を読み出して、前方予測動きベクトル検出（時間的に前に入力された画面を参照画面とする動きベクトル検出）を行い、前方予測の動きベクトル候補を検出する。第１の動きベクトル検出部４０１で検出された動きベクトル候補は、バッファ４０５に記憶される。
【００９６】
なお、図１０（ａ）の破線枠で示される画面（Ｂ０・Ｂ４・Ｂ７）では、第２の動きベクトル検出部４０２を介してバッファ４０６に記憶された動きベクトル候補に基づいて、第１の動きベクトル検出部４０１も後方予測動きベクトル検出を行って後方予測の動きベクトル候補を検出しており、その場合、第１の動きベクトル検出部４０１で検出された後方予測の動きベクトル候補も第２の動きベクトル検出部４０２を介して動きベクトル候補のバッファ４０６に記憶される。
【００９７】
第２の動きベクトル検出部４０２は、場面変化検出部４０７による制御を受けて、図１０（ｂ）に示されるように、画像メモリ３０４から検出対象画面の検出対象ブロックの画像信号を画像信号１２の入力画面順序と入れ換えて読み出し、さらに画像メモリ３０４に記憶されている参照画面のバッファ４０６に記憶された動きベクトル候補に基づく参照ブロックの信号を読み出して、後方予測動きベクトル検出（時間的に後に入力される画面を参照画面とする動きベクトル検出）行い、後方予測の動きベクトル候補を検出する。第２の動きベクトル検出部４０２で検出された動きベクトル候補はバッファ４０６に記憶される。
【００９８】
なお、図１０（ｂ）の破線枠で示された画面（Ｉ２・Ｂ６・Ｂ９・Ｂａ・Ｐｂ・Ｂｄ・Ｐｅ）では、第１の動きベクトル検出部４０１を介してバッファ４０５に記憶された動きベクトル候補に基づいて、第２の動きベクトル検出部４０２も前方予測動きベクトル検出を行って前方予測の動きベクトル候補を検出しており、その場合、第２の動きベクトル検出部４０２で検出された前方予測の動きベクトル候補も第１の動きベクトル検出部４０１を介して動きベクトル候補のバッファ４０５に記憶される。
【００９９】
場面変化検出部４０７は、第１の動きベクトル検出部４０１によって所定値以下の予測誤差となる前方予測の動きベクトル候補が１画面に対して所定数以上検出されなかった場合に、その画面から場面が変化していると判断する。図１８に示した例では、次の検出対象画面から次の参照画面となる検出対象画面（Ｂ４・Ｐ５・Ｐ８）に対する時間的に前に入力された画面を参照画面とする前方予測動きベクトル検出や、検出対象画面（Ｂ６・Ｂ９・Ｂａ）に対する時間的に後に入力される画面を参照画面とする後方予測動きベクトル検出を不要と判断する。このような場合には、場面変化検出部４０７は第１および第２の動きベクトル検出部４０１，４０２が図１０（ａ）（ｂ）に示すような検出対象画面と参照画面の画像信号を読み出すように制御を行う。
【０１００】
また、場面変化検出部４０７は、時間的に前に入力された画面を参照画面とする前方予測動きベクトル検出が不要と判断した検出対象画面に対しては、第１の動きベクトル検出部４０１を介してその旨を示す制御情報をバッファ４０５に記憶させ、時間的に後に入力される画面を参照画面とする後方予測動きベクトル検出が不要と判断した検出対象画面に対しては、第２の動きベクトル検出部４０２を介してその旨を示す制御情報をバッファ４０６に記憶させる。
【０１０１】
第３の動きベクトル検出部４０３は、画像メモリ４０４に記憶された画像信号のうち検出対象画面の検出対象ブロックの信号を図１０（ｃ）の上側に示されるような画面順序で読み出すと共に、第１および第２の動きベクトル検出部４０１，４０２で検出されバッファ４０５，４０６に記憶された動きベクトル候補に基づいて、画像メモリ４０４に記憶された参照画面の画像信号の参照ブロックの信号を図１０（ｃ）の上側に示されるような画面順序で読み出して前方予測および後方予測の動きベクトル検出、あるいは前方予測または後方予測の一方の動きベクトル検出を行い、高精度な最適動きベクトルを検出する。また、第３の動きベクトル検出部４０３は、前方予測または後方予測のいずれか一方の動きベクトル検出を行う場合は、複数の動きベクトル候補に基づいて最適動きベクトルを検出することにより検出性能を向上させる。
【０１０２】
ここで、第１の動きベクトル検出部４０１と第２の動きベクトル検出部４０２とで検出対象画面および参照画面が同一になる場合は、第２〜第４の実施形態の場合と同様に、これら２つの動きベクトル検出部４０１，４０２が全体として検出精度が向上するように異なる動きベクトル検出動作を行うようにする。
【０１０３】
すなわち、動きベクトルの探索精度向上により検出精度を向上させる場合は、第１および第２の動きベクトル検出部４０１，４０２の探索点の位相を異ならせて同時に探索を行う。そして、前方予測動きベクトル検出時は、第２の動きベクトル検出部４０２で検出された動きベクトル候補とその予測誤差が第１の動きベクトル検出部４０１に入力され、第１の動きベクトル検出部４０１で検出された動きベクトル候補と共に、予測誤差が最小となる動きベクトル候補が検出されてバッファ４０５に記憶される。
【０１０４】
また、後方予測動きベクトル検出時は、第１の動きベクトル検出部４０１で検出された動きベクトル候補とその予測誤差が第２の動きベクトル検出部４０２に入力され、第２の動きベクトル検出部４０２で検出された動きベクトル候補と共に、予測誤差が最小となる動きベクトル候補が検出されてバッファ４０６に記憶される。この場合、第１および第２の動きベクトル検出部４０１，４０２の検出対象ブロックは共通となるので、動きベクトル検出部４０１，４０２による画像メモリ４０４に対するメモリアクセス速度が若干減少し、その分消費電力も減少する。
【０１０５】
さらに、マッチング精度の向上により動きベクトルの検出精度を向上させる場合において、まず前方予測動きベクトル検出時は第２の動きベクトル検出部４０２で求められた１６×８のマッチングサイズの予測誤差が第１の動きベクトル検出部４０１に入力され、第１の動きベクトル検出部３で求められた１６×８のマッチングサイズの予測誤差との和で生成された１６×１６のマッチングサイズの予測誤差の最小の動きベクトル候補が第１の動きベクトル検出部４０１によって検出される。
【０１０６】
そのとき、第２の動きベクトル検出部４０２では１６×８のマッチングサイズの予測誤差が最小の動きベクトル候補を検出し、第１の動きベクトル検出部４０１に出力する。この場合、第１および第２の動きベクトル検出部４０１，４０２で検出された動きベクトル候補が第１の動きベクトル検出部４０１から出力されてバッファメモリ４０５に記憶される。
【０１０７】
また、マッチング精度の向上により動きベクトルの検出精度を向上させる場合において、後方予測動きベクトル検出時は第１の動きベクトル検出部４０１で求められた１６×８のマッチングサイズの予測誤差が第２の動きベクトル検出部４０２に入力され、第２の動きベクトル検出部４０２で求められた１６×８のマッチングサイズの予測誤差との和で生成した１６×１６のマッチングサイズの予測誤差の最小の動きベクトル候補が第２の動きベクトル検出部４０２によって検出される。
【０１０８】
そのとき、第１の動きベクトル検出部４０１では、１６×８のマッチングサイズの予測誤差が最小の動きベクトル候補を検出し、第２の動きベクトル検出部４０２に出力する。この場合には、第１および第２の動きベクトル検出部４０１，４０２で検出された動きベクトル候補が第２の動きベクトル検出部４０２から出力されてバッファメモリ４０６に記憶される。
【０１０９】
図１１は、第４の実施形態における第２の動きベクトル検出部４０２の他の動作例を示すものである。図１０に示した動作例は、できるだけ参照画面となる符号化画面に対する動きベクトルの探索精度を向上させ、より符号化効率を向上できるようにした例であるが、図１１の動作例はできるだけ符号化遅延を少なくする例である。
【０１１０】
図１２および図１３は、本実施形態におけるさらに別の動作例であり、場面変化検出部４０７で動きベクトル検出動作が不要と判断した動きベクトル検出部の動作を所定期間停止させる場合の例である。
【０１１１】
すなわち、場面変化検出部１１は前述したように前方予測動きベクトル検出が不要と判断した検出対象画面に対しては、第１の動きベクトル検出部４０１を介してその旨を示す制御情報をバッファ４０５に記憶させ、後方予測動きベクトル検出が不要と判断した検出対象画面に対しては、第２の動きベクトル検出部４０２を介してその旨を示す制御情報をバッファ４０６に記憶させる。
【０１１２】
図１２の動作例では、この制御情報に基づいて前方予測動きベクトル検出および後方予測動きベクトル検出のいずれの動きベクトル検出の不要な場合、例えば図１２（ｃ）の参照画面で“止”と表示している期間は、第３の動きベクトル検出部４０２の動きベクトル検出動作を停止させている。これにより、第３の動きベクトル検出部４０３の無用な電力消費を削減させることができる。但し、その場合でも符号化部２００での符号化モード判定や符号化動作は停止しないで、動き補償を使用しない方法で符号化動作を行う。
【０１１３】
図１３の動作例は、さらに場面変化検出部４０７から入力される制御情報に基づいて、図１０（ａ）の検出対象画面Ｂ１のように同一画面に対して異なる時間で２回動きベクトルを探索することを無くし、第１の動きベクトル検出部４０１や第２の動きベクトル検出部４０２の動作を停止させることにより、電力消費を削減するものである。
【０１１４】
（第５の実施形態）
図１４は、本発明の第５の実施形態に係る動きベクトル検出装置の構成を示す図である。この動きベクトル検出装置は、参照画素供給部５０１、符号化対象画素遅延部５０２、動きベクトル（ＭＶ）候補マッチング誤差算出部５０３、最小誤差位置検出部５０４、補数化部５０５、入力切替器５０６および加算器５０７により構成される。
【０１１５】
参照領域画素入力端子２１には参照領域画素データが入力され、符号化対象画素入力端子２２には符号化対象画素データ（ｃｉ）が入力される。参照画素供給部５０１は、参照領域画素入力端子２１より入力される参照領域画素データから探索範囲内の各動きベクトル候補に対応する参照画素データを切り出し、ＭＶ候補マッチング誤差算出部５０３に供給する。補数化部５０５は、符号化対象画素入力端子２２より入力される符号化対象画素データ（ｃｉ）を符号反転した符号化対象画素データ（−ｃｉ）を出力する。
【０１１６】
入力切替器５０６は、単位ブロックの画素データの入力期間は補数化部５０５から供給される符号反転された符号化対象画素データ（−ｃｉ）を出力し、単位ブロックの画素データの入力終了後は符号化対象画素データ遅延部５０２で所定期間遅延されたデータを出力して、加算器５０７に供給する。
【０１１７】
平均輝度差入力端子２３には、単位ブロックの画素数の入力期間だけ参照画面Ａの平均輝度Ｍａと符号化対象画面Ｃの平均輝度Ｍｃとの差（Ｍｃ−Ｍａ）（以下、平均輝度差という）が入力される。加算器５０７は、この平均輝度差（Ｍｃ−Ｍａ）を入力切替器５０６から出力される符号反転された符号化対象画素データ（−ｃｉ）に加算したデータ（−ｃｉ＋Ｍｃ−Ｍａ）を生成し、第１のＭＶ検出用符号化対象画素として符号化対象画素データ遅延部５０２に供給する。
【０１１８】
また、同一の符号化対象ブロックに対して、さらに別の参照画面Ｂからの動きベクトルの探索を行う場合は、最初に入力された参照画面Ａの平均輝度Ｍａと別の参照画面Ｂの平均輝度Ｍｂの差（Ｍａ−Ｍｂ）が単位ブロックの画素数の入力期間だけ平均輝度差入力端子２３から入力される。その場合、加算器５０７は平均輝度差（Ｍａ−Ｍｂ）を入力切替器５０６から出力される第１のＭＶ検出用符号化対象画素（−ｃｉ＋Ｍｃ−Ｍａ）に加算したデータ（−ｃｉ＋Ｍｃ−Ｍａ）を生成し、これを第２のＭＶ検出用符号化対象画素として符号化対象画素データ遅延部５０２に供給する。
【０１１９】
符号化対象画素データ遅延部５０２は、参照画素供給部５０１からの参照画素の供給タイミングに対応する複数種類の遅延量のＭＶ検出用符号化対象画素データを出力する。ＭＶ候補マッチング誤差算出部５０３は、参照画素供給部５０１から供給される参照画素と符号化対象画素データ遅延部５０２から供給される補数化されたＭＶ検出用符号化対象画素データとの和の絶対値和を算出することにより、探索範囲内の各動きベクトル候補に対応するマッチング誤差を算出して出力する。
【０１２０】
最小誤差位置検出部５０４は、ＭＶ候補マッチング誤差算出部５０３から供給される動きベクトル候補に対応するマッチング誤差から最小誤差となるＭＶ候補を検出し、これを動きベクトルとして出力する。
【０１２１】
このように本実施形態では、符号化対象画素データ遅延部５０２から供給される第１のＭＶ検出用符号化対象画素を修正することで、画面全体の輝度変化を除去した第２のＭＶ検出用符号化対象画素を生成しており、探索範囲の拡大や参照画面の変更においても符号化対象ブロックを外部に記憶して再入力する必要が無く、画面間の輝度変化の影響で誤検出を生じることの無い動きベクトル検出装置を小回路規模で実現することが可能となる。
【０１２２】
（第６の実施形態）
図１５は、本発明の第６の実施形態に係る動きベクトル検出装置の構成を示す図であり、図１４に示した第５の実施形態における補数化部５０５、入力切替器５０６および加算器５０７を除去し、代わって減算器５０８を設けた構成となっている。
【０１２３】
本実施形態においては、第５の実施形態と同様に参照領域画素入力端子２１に参照領域画素データが入力され、符号化対象画素入力端子２２に符号化対象画素データ（ｃｉ）が入力され、平均輝度差入力端子２３に単位ブロックの画素数の入力期間だけ参照画面Ａの平均輝度Ｍａと符号化対象画面Ｃの平均輝度Ｍｃとの差である平均輝度差（Ｍｃ−Ｍａ）が入力される。参照画素供給部５０１は、参照領域画素入力端子２１より入力される参照領域画素データから探索範囲内の各動きベクトル候補に対応する参照画素データを切り出し、ＭＶ候補マッチング誤差算出部５０３に供給する。
【０１２４】
一方、減算器５０８は符号化対象画素データ（ｃｉ）と平均輝度差（Ｍｃ−Ｍａ）との差（−ｃｉ＋Ｍｃ−Ｍａ）を算出し、ＭＶ検出用符号化対象画素として符号化対象画素データ遅延部５０２に供給する。符号化対象画素データ遅延部５０２は、参照画素供給部５０１からの参照画素の供給タイミングに対応する複数種類の遅延量のＭＶ検出用符号化対象画素データを出力する。
【０１２５】
ＭＶ候補マッチング誤差算出部５０３は、参照画素供給部５０１から供給される参照画素データと符号化対象画素データ遅延部５０２から供給される補数化されたＭＶ検出用符号化対象画素データとの和の絶対値和を算出することにより、探索範囲内の各動きベクトル候補に対応するマッチング誤差を算出して出力する。最小誤差位置検出部５０４は、ＭＶ候補マッチング誤差算出部５０３から供給される動きベクトル候補に対応するマッチング誤差から最小誤差となるＭＶ候補を検出し、これを動きベクトルとして出力する。
【０１２６】
本実施形態では、輝度平均を除去した参照画像データと符号化画像データの両方を記憶する必要が無いため、画面間の輝度変化の影響で誤検出を生じることの無い動きベクトル検出装置を小回路規模で実現することが可能となる。
【０１２７】
（第７の実施形態）
図１６は、本発明の第７の実施形態に係る動きベクトル検出装置の構成を示す図である。本実施形態は、図１４に示した第５の実施形態から加算器５０７を除去し、ＭＶ候補マッチング誤差算出部５０３から出力されるＭＶ検出用符号化対象画素を再利用することで探索範囲を拡大するようにしたものであり、図１４に示した第５の実施形態における加算器５０７を除去し、入力切替器５０６の出力を直接ＭＶ候補マッチング誤差算出部５０３に入力する構成となっている。
【０１２８】
本実施形態においては、第５の実施形態と同様に参照領域画素入力端子２１に参照領域画素データが入力され、符号化対象画素入力端子２２に符号化対象画素データ（ｃｉ）が入力される。参照画素供給部５０１は、参照領域画素入力端子２１より入力される参照領域画素データから探索範囲内の各動きベクトル候補に対応する参照画素データを切り出し、ＭＶ候補マッチング誤差算出部５０３に供給する。補数化部５０５は、符号化対象画素入力端子２２から入力される符号化対象画素データ（ｃｉ）を符号反転したデータ（−ｃｉ）を出力する。
【０１２９】
入力切替器５０６は、単位ブロックの画素データの入力期間は補数化部５０５から供給される符号反転された符号化対象画素データ（−ｃｉ）を出力し、単位ブロックの画素データの入力終了後は符号化対象画素データ遅延部５０２で所定期間遅延されたデータを出力して、加算器５０７に供給する。
【０１３０】
符号化対象画素データ遅延部５０２は、参照画素供給部５０１からの参照画素の供給タイミングに対応する複数種類の遅延量のＭＶ検出用符号化対象画素データを出力する。
【０１３１】
ＭＶ候補マッチング誤差算出部５０３は、参照画素供給部５０１から供給される参照画素データと符号化対象画素データ遅延部５０２から供給される補数化されたＭＶ検出用符号化対象画素データとの和の絶対値和を算出することにより、探索範囲内の各動きベクトル候補に対応するマッチング誤差を算出して出力する。最小誤差位置検出部５０４は、ＭＶ候補マッチング誤差算出部５０３から供給される動きベクトル候補に対応するマッチング誤差から最小誤差となるＭＶ候補を検出し、これを動きベクトルとして出力する。
【０１３２】
本実施形態によれば、符号化対象画素データ遅延部５０２から供給されるＭＶ検出用符号化対象画素を再利用することで探索範囲を拡大できるので、符号化対象ブロックのデータを外部で記憶して再入力する必要が無く、探索範囲を拡大できる動きベクトル検出装置を小回路規模で実現することが可能となる。
【０１３３】
（第８の実施形態）
図１７は、本発明の第８の実施形態に係る動きベクトル検出装置の構成を示す図である。
【０１３４】
参照領域画素入力端子２１には参照領域画素データが入力され、符号化対象画素入力端子２２に符号化対象画素データ（ｃｉ）が入力され、平均輝度差入力端子２３に単位ブロックの画素数の入力期間だけ参照画面Ａの平均輝度Ｍａと符号化対象画面Ｃの平均輝度Ｍｃとの差である平均輝度差（Ｍｃ−Ｍａ）が入力される。参照画素供給部５０１は、参照領域画素入力端子２１より入力される参照領域画素データから探索範囲内の各動きベクトル候補に対応する参照画素データを切り出し、ＭＶ候補マッチング誤差算出部５０３に供給する。
【０１３５】
減算器５０８は、符号化対象画素データ（ｃｉ）と平均輝度差（Ｍｃ−Ｍａ）との差（−ｃｉ＋Ｍｃ−Ｍａ）を算出し、ＭＶ検出用符号化対象画素データとして入力切替器５０６に供給する。
【０１３６】
入力切替器５０６は、単位ブロックの画素データの入力期間は減算器５０８から供給されるＭＶ検出用符号化対象画素データ（−ｃｉ＋Ｍｃ−Ｍａ）を出力し、単位ブロックの画素データの入力終了後は符号化対象画素データ遅延部５０２で所定期間遅延されたデータを出力して、符号化対象画素データ遅延部５０２に供給する。
【０１３７】
符号化対象画素データ遅延部５０２は、参照画素供給部５０１からの参照画素の供給タイミングに対応する複数種類の遅延量のＭＶ検出用符号化対象画素データを出力する。
【０１３８】
ＭＶ候補マッチング誤差算出部５０３は、参照画素供給部５０１から供給される参照画素データと符号化対象画素データ遅延部５０２から供給される補数化されたＭＶ検出用符号化対象画素データとの和の絶対値和を算出することにより、探索範囲内の各動きベクトル候補に対応するマッチング誤差を算出して出力する。最小誤差位置検出部５０４は、ＭＶ候補マッチング誤差算出部５０３から供給される動きベクトル候補に対応するマッチング誤差から最小誤差となるＭＶ候補を検出し、これを動きベクトルとして出力する。
【０１３９】
本実施形態によれば、符号化対象画素データ遅延部５０２から供給されるＭＶ検出用符号化対象画素を再利用することで、符号化対象ブロックのデータを外部で記憶して再入力することなく探索範囲を拡大でき、さらに画面間の輝度変化の影響で誤検出を生じることの無い動きベクトル検出装置を小回路規模で実現することが可能である。
【０１４０】
【発明の効果】
本発明によれば、参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像を用いて動きベクトルを検出することにより、画像の輝度変化による動きベクトルの誤検出を回避できるとともに、画面上で輝度が一様に変化しているような画像の場合でも、エッジ情報が保存された特徴画像が得られるため、動きベクトルを正しく検出することが可能となる。
【０１４１】
また、参照画面の画像および検出対象画面の画像の各々の平均輝度の差が所定値以上か否かを判定し、この平均輝度の差が所定値未満のときは参照画面の画像および検出対象画面の画像を用いて動きベクトルを検出し、所定値以上のときは参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像を用いて動きベクトルを検出することにより、参照画面の画像および検出対象画面の画像から各々の平均輝度を差し引いて得られた特徴画像の平均輝度が検出対象画面の画像の局部的な変化等により変化した場合、特徴画像でなく通常の参照画面の画像および検出対象画面の画像を用いて動きベクトルを検出することで輝度変化の影響のない動きベクトル検出が可能となる。
【０１５０】
さらに、第１の参照画面と検出対象画面の平均輝度の差を該検出対象画面の画像中の対象画素に加算して第１の動きベクトル検出用検出対象画素を生成し、この第１の動きベクトル検出用検出対象画素で構成される単位ブロックの各画素と近似する参照ブロックの位置を第１の参照画面から検出して第２の動きベクトル検出用検出対象画素を生成し、この第２の動きベクトル検出用検出対象画素によりそれぞれ構成される単位ブロックの各画素と近似する参照ブロックの位置を第２の参照画面から検出して動きベクトルを検出することによって、第１の動きベクトル検出用検出対象画素を修正して第２の動きベクトル検出用検出対象画素を生成し、参照画面の切り換えにおいても動きベクトル検出用検出対象画素を生成する前の検出対象ブロックを外部に記憶して再入力する必要が無く、画面間の輝度変化よる誤検出を生じない動きベクトル検出装置が小回路規模で実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動きベクトル検出装置を含む動画像符号化装置の構成を示すブロック図
【図２】動画像符号化装置の符号化部の構成を示すブロック図
【図３】第１の実施形態における動きベクトル検出手順を示すフローチャート
【図４】本発明の第２の実施形態に係る動きベクトル検出装置を含む動画像符号化装置の構成を示すブロック図
【図５】第２の実施形態における参照画面間隔が固定の場合の動きベクトル検出動作例を説明するための図
【図６】第２の実施形態における参照画面間隔が可変の場合の動きベクトル検出動作例を説明するための図
【図７】本発明の第３の実施形態に係る動きベクトル検出装置を含む動画像符号化装置の構成を示すブロック図
【図８】第２および第２の実施形態における他の動きベクトル検出動作例を説明するための図
【図９】本発明の第４の実施形態に係る動きベクトル検出装置を含む動画像符号化装置の構成を示すブロック図
【図１０】第４の実施形態における動きベクトル検出動作例を説明するための図
【図１１】第４の実施形態における他の動きベクトル検出動作例を説明するための図
【図１２】第４の実施形態における場面変化検出部が動きベクトル検出動作を不要と判断した場合の動作例を説明するための図
【図１３】第４の実施形態における場面変化検出部が動きベクトル検出動作を不要と判断した場合の他の動作例を説明するための図
【図１４】本発明の第５の実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１５】本発明の第６の実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１６】本発明の第７の実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１７】本発明の第８の実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１８】従来の動きベクトル検出装置の構成を示すブロック図
【図１９】動画像符号化装置における符号化画面順序の並べ替え例を示す図
【図２０】従来の動きベクトル検出装置における参照画面間隔が固定の場合の動きベクトル検出動作を説明するための図
【図２１】従来の動きベクトル検出装置における参照画面間隔が可変の場合の動きベクトル検出動作を説明するための図
【図２２】従来の動きベクトル検出装置における場面変化が生じた場合の動きベクトル検出動作の問題点を説明するための図
【図２３】従来の他の動きベクトル検出装置の構成を示すブロック図
【図２４】従来の別の動きベクトル検出装置の構成を示すブロック図
【符号の説明】
１１…入力端子
１２…画像信号
１３…符号化データ
１４…出力端子
２１…参照領域画素入力端子
２２…符号化対象画素入力端子
２３…平均輝度差入力端子
２４…動きベクトル出力端子
１００…動きベクトル検出装置
１０１…画像メモリ
１０２…平均輝度検出部
１０３…平均輝度差算出部
１０４…減算器（特徴画像生成部）
１０５…判定部
１０６…切替器
１０７…第１の動きベクトル検出部
１０８…第２の動きベクトル検出部
２００…符号化部
２０１…画像信号入力端子
２０２…動きベクトル入力端子
２０３…参照画像信号出力端子
２０４…動画像信号
２０５…動きベクトル
２０６…減算器
２０７…予測器
２０８…予測信号
２０９…予測誤差信号
２１０…ＤＣＴ回路
２１１…量子化器
２１２…量子化ＤＣＴ係数
２１３…逆量子化器
２１４…逆ＤＣＴ回路
２１５…予測誤差信号
２１６…加算器
２１７…局部復号画像信号
２１８…画像メモリ
２１９…参照画像信号
２２０…予測モード信号
２２１〜２２３…可変長符号化器
２２４…多重化器
３００，３００′…動きベクトル検出装置
３０１〜３０３…第１〜第３の動きベクトル検出部
３０４…画像メモリ
３０５，３０６…動きベクトル候補バッファ
３０７…切替器
４００…動きベクトル検出装置
４０１〜４０３…第１〜第３の動きベクトル検出部
４０４…画像メモリ
４０５，４０６…動きベクトル候補バッファ
４０７…場面変化検出部
５０１…参照画素供給部
５０２…符号化対象画素遅延部
５０３…動きベクトル候補マッチング誤差算出部
５０４…最小誤差位置検出部
５０５…補数化部
５０６…入力切替器
５０７…加算器
５０８…減算器

Claims (2)

1. 参照画面の画像に対する検出対象画面の画像の動きベクトルを検出する動きベクトル検出方法において、
   前記参照画面の画像および検出対象画面の画像の各々の平均輝度を検出するステップと、
   前記参照画面の画像および検出対象画面の画像から前記各々の平均輝度を差し引いた特徴画像を生成するステップと、
   前記参照画面の画像および検出対象画面の画像の各々の平均輝度の差を求めるステップと、
   前記平均輝度の差が所定値以上か否かを判定するステップと、
   このステップにより前記各々の平均輝度の差が所定値未満と判定されたときは前記参照画面の画像および検出対象画面の画像を用いて前記動きベクトルを検出し、所定値以上と判定されたときは前記特徴画像生成手段により生成された特徴画像を用いて前記動きベクトルを検出するステップとを備えたことを特徴とする動きベクトル検出方法。
2. 参照画面の画像に対する検出対象画面の画像の動きベクトルを検出する動きベクトル検出装置において、
   前記参照画面の画像および検出対象画面の画像の各々の平均輝度を検出する平均輝度検出手段と、
   前記参照画面の画像および検出対象画面の画像から前記各々の平均輝度を差し引いた特徴画像を生成する特徴画像生成手段と、
   前記参照画面の画像および検出対象画面の画像の各々の平均輝度の差を求める平均輝度差算出手段と、
   前記平均輝度の差が所定値以上か否かを判定する判定手段と、
   この判定手段により前記各々の平均輝度の差が所定値未満と判定されたときは前記参照画面の画像および検出対象画面の画像を用いて前記動きベクトルを検出し、所定値以上と判定されたときは前記特徴画像生成手段により生成された特徴画像を用いて前記動きベクトルを検出する動きベクトル検出手段とを備えたことを特徴とする動きベクトル検出装置。

Images