JP2934156B2 - 階層型動き検出方法と装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデジタル動画像における
階層型動き検出方法と装置に関する。具体的には、高能
率符号化に適した階層型動き検出において使用される改
良された各階層の動き量検出方法と装置を提供しようと
するものである。

【０００２】

【従来の技術】動画像の動き補償予測符号化では、被符
号化画像と参照画像の間で動き量を検出し、この動き量
を用いて参照画像から被符号化画像を動き補償予測し、
予測誤差および動き量に関する情報を符号化することに
より、元の動画像に比べ情報量を大幅に圧縮可能にして
いる。

【０００３】図３には、被符号化画像と参照画像の間の
動き量検出手法として古くから知られているブロック・
マッチング法を示している。ブロック・マッチング法で
は、まず、被符号化画像３０１を水平方向ＮＸ画素、垂
直方向ＮＹ画素（通常はＮＸ＝ＮＹ＝１６画素の場合が
多い）の被符号化ブロック３０３に分割する。この被符
号化ブロック３０３に対し、参照画像３０２内で被符号
化ブロック３０３と同じ位置に相当する部分に同じ大き
さのブロック３０４を設定する。

【０００４】この参照画像３０２のブロック３０４の近
傍にあらかじめ設定した範囲のサーチ・レンジ３０５内
を水平および垂直の各々１画素ごとにずらしながら、被
符号化ブロック３０３とサーチ・レンジ３０５内の参照
ブロック３０６の間で、対応する各画素ごとに輝度値の
絶対値差分をとり、これを参照ブロック３０６内の全画
素で行い、絶対値差分の総和を動き量を判定するための
評価値とする。サーチ・レンジ３０５内における被符号
化ブロック３０３と参照ブロック３０６の位置関係のず
れ各々について評価値を求め、評価値が最小となる時の
参照ブロック３０６の水平および垂直方向のブロック３
０４からのずれをこの被符号化ブロック３０３の動き量
とする。この手法を被符号化画像３０１内の全てのブロ
ックで行うことにより、被符号化画像の全てのブロック
の動き量が検出される。

【０００５】図４には動き量検出装置の回路構成が示さ
れている。通常の動き量検出では、被符号化画像生成器
２０１からの被符号化画像と、参照画像生成器２０２か
らの参照画像から、動き量検出回路２１０によって１画
素精度の動き量２１９を求めた後に、１／２画素精度動
き量検出回路２２０によって、１／２画素精度内挿器２
２１で１／２画素精度の画像を得て、それにより１／２
画素精度の動き量２２９を求め、この値を動き補償予測
で用いる動き量としている。評価値検出器２１２および
２２２は前述した評価値の検出手段であり、最小評価値
判定器２１３および２２３は設定したサーチ・レンジ３
０５内において評価値が最小となる時の参照ブロック３
０６のブロック３０４からの動き量を出力する手段を示
している。

【０００６】しかしブロック・マッチング法による動き
量検出では、動き量を判定する手段は評価値の最小値の
みであるため、検出誤りの発生頻度が高く、完全に本来
の動きを検出するまでには至っていない。また検出処理
は、参照画像３０２内のブロック３０６を１画素ずつず
らしながらサーチ・レンジ３０５内の全ての画素の組合
わせについて、被符号化ブロック３０３と参照ブロック
３０６内の画素値の絶対値差分の総和を評価値として求
めていく（全探索）ため膨大な処理量を要し、実時間処
理をするためには何らかの処理量削減を行う必要があっ
た。

【０００７】図５には処理量削減の１つの手法である階
層型動き検出の原理が示されている。被符号化画像３１
７と参照画像３１８の各々について、画素数を縮小した
ｎＬ階層の低解像度の画像を作成し、ｎＬ階層の低解像
度の被符号化画像３２１と参照画像３２２の間で前述の
「全探索」によって大まかな動き量を検出し、この動き
量を階層間の解像度の違いに合わせてスケールの変更を
するスケーリングによって（ｎ−１）Ｌ階層の画像にお
ける動き量の初期値とし、さらに（ｎ−１）Ｌ階層の被
符号化画像３１９と参照画像３２０の間の動き量の再検
出を行い、これを繰り返していって最終階層ｍＨ（通常
画像より高解像度側）の被符号化画像３１５と参照画像
３１６との間における動き量を求める「階層型動き検
出」であり、次の文献１に開示されている。

【０００８】文献１“階層画素情報を用いた動画像にお
ける動き量検出方式”信学論文誌 Ｄ−II．Ｖｏｌ. Ｊ７２−Ｄ−II，Ｎｏ．３， ３９５
−４０３頁 １９８９年３月

【０００９】図６には階層型動き検出装置の回路構成を
示している。そこでは高解像度側の処理を含め、ｎ＋ｍ
＋１階層を構成している。原解像度の階層の動き量検出
回路１０−０、低解像度階層の動き量検出回路１０−１
Ｌ〜１０−ｎＬ、高解像度階層の動き量検出回路１０−
１Ｈ〜１０−ｍＨの基本的な回路構成は同じである。

【００１０】図７には動き量検出回路１０−０，１０−
１Ｈ〜１０−ｍＨ，１０−１Ｌ〜１０−ｎＬを代表して
表す動き量検出回路１０Ｃの回路構成が示されている。
被符号化画像生成器１１では前段から受けた被符号化画
像信号１１５から、その階層で必要な解像度の被符号化
画像信号１３および次段用の被符号化画像信号１５を、
アップ・サンプルにより高解像度の画像として、あるい
はサブ・サンプルにより低解像度の画像として、またノ
ーマル・サンプルにより原解像度の画像として得てい
る。

【００１１】参照画像生成器１２では前段から受けた参
照画像信号１１６から、その階層で必要な解像度の参照
画像信号１４および次段用の参照画像信号１６を、アッ
プ・サンプルにより高解像度の画像として、あるいはサ
ブ・サンプルにより低解像度の画像として、またノーマ
ル・サンプルにより原解像度の画像として得ている。

【００１２】すなわち、原解像度の０階層の動き量検出
回路１０−０においては、図示されてはいない被符号化
画像用のバッファからの被符号化画像信号１１５を被符
号化画像生成器１１に受け、図示されてはいない参照用
バッファからの参照画像信号１１６を参照画像生成器１
２に受けており、被符号化画像信号１３および参照画像
信号１４はノーマル・サンプルにより得て、高解像度の
１Ｈ階層の動き量検出回路１０−１Ｈに対する被符号化
画像信号１５−０Ｈと参照画像信号１６−０Ｈはアップ
・サンプルにより得ている。また、低解像度の１Ｌ階層
の動き量検出回路１０−１Ｌに対する被符号化画像信号
１５−０Ｌと参照画像信号１６−０Ｌはサブ・サンプル
により得ている。図７においては、被符号化画像信号１
５−０Ｈおよび１５−０Ｌを被符号化画像信号１５で代
表して表し、参照画像信号１６−０Ｈおよび１６−０Ｌ
を参照画像信号１６で代表して表している。

【００１３】高解像度の階層の動き量検出回路、例えば
１０−（ｍ−１）Ｈにおいては、（ｍ−２）Ｈ階層から
の被符号化画像信号１５−（ｍ−２）Ｈを被符号化画像
信号１１５として被符号化画像生成器１１に受け、（ｍ
−２）Ｈ階層からの参照画像信号１６−（ｍ−２）Ｈを
参照画像信号１１６として参照画像生成器１２に受け、
被符号化画像信号１３，１５および参照画像信号１４，
１６をアップ・サンプルにより得て、高解像度のｍＨ階
層に対して被符号化画像信号１５を１５−（ｍ−１）Ｈ
として、参照画像信号１６を１６−（ｍ−１）Ｈとして
出力している。

【００１４】低解像度の階層の動き量検出回路、例えば
１０−（ｎ−１）Ｌにおいては、（ｎ−２）Ｌ階層から
の被符号化画像信号１５−（ｎ−２）Ｌを被符号化画像
信号１１５として被符号化画像生成器１１に受け、（ｎ
−２）Ｌ階層からの参照画像信号１６−（ｎ−２）Ｌを
参照画像信号１１６として参照画像生成器１２に受け、
被符号化画像信号１３，１５および参照画像信号１４，
１６をサブ・サンプルにより得て、低解像度のｎＬ階層
に対して被符号化画像信号１５を１５−（ｎ−１）Ｌと
して、参照画像信号１６を１６−（ｎ−１）Ｌとして出
力している。

【００１５】スケーリング器７１では、低解像度側の階
層の出力である動き量６４を動き量１６４として受け
て、これを当該階層の動き量の初期値および動き量設定
のための動き量７４を出力している。ｎＬ階層の動き量
検出回路１０−ｎＬにおいては、より低解像度側の階層
は存在しないため、動き量１６４として０を入力する。

【００１６】被符号化画像信号１３と参照信号１４およ
び動き量７４を受けた評価値検出部２０では、評価値検
出器２１２または２２２（図４）と同様の動作により、
動き量２１および評価値２２を得ている。

【００１７】重み付け部４０Ｃには重み関数Ｗ（ｄ）を
発生する重み関数発生器４１があり、重み関数４３を乗
算器４２に印加している。乗算器４２では、重み関数４
３と評価値２２とを乗算して当該階層の評価値５９を得
ている。ここに、重み関数Ｗ（ｄ）のｄは、例えば参照
ブロック３０６の中心のサーチ・レンジ３０５の中心か
らの距離を表わしている。なお、後述の動き量の精度の
改善手法を行わない場合は、重み関数Ｗ（ｄ）は常に１
である。

【００１８】最小評価値判定器６０は最小評価値判定器
２１３または２２３（図４）と同様の動作により、評価
値５９および動き量２１を動き量５８として受けて、動
き量６４を出力している。この動き量６４はより高解像
度側の階層においては動き量１６４としてスケーリング
器７１に印加される。スケーリング器７１では階層間の
解像度の違いに合わせてスケールの変更をするスケーリ
ングにより、スケーリング後の動き量７４を得る。最も
高解像度のｍＨ階層からの動き量６４−ｍＨは、図６の
装置からの最終の結果である。

【００１９】なお図６において、通常の場合は高解像度
側の階層はｍ＝１までの場合が大半であり、ｍ＝１の階
層の動き量検出回路１０−１Ｈは図４における１／２画
素精度動き量検出回路２２０に相当する。

【００２０】図６および図７に示した単純な階層型動き
検出装置では、階層型でない図４の全探索に比べて動き
量の精度が低下するため、文献１では“階層近傍ブロッ
クの参照”、“評価関数に対する重み付け”等の動き量
の精度の改善手法が提案されている。

【００２１】図８には“階層近傍ブロックの参照”の原
理を示すブロック関係が示されている。図８（ａ）のｎ
＝ｈ＋１階層（低解像度側）の斜線を施した参照画像中
のブロック３４９における動き量から、同図（ｂ）のｎ
＝ｈ階層（（ａ）より１つ高解像度側）における参照画
像中のブロック３５９の動き量を求める際に、周囲のブ
ロック３５０〜３５３で求めた動き量も参照することに
より、ｎ＝ｈ＋１階層（低解像度側の階層）においてブ
ロック内に動きの領域が２つ以上存在する場合でも、ｎ
＝ｈ階層の各ブロックで動きに追従した検出が可能とな
る。

【００２２】すなわち、ｈ階層の丸印のブロック３５９
はｈ＋１階層のブロック３４９を４分割した左肩の部分
に対応しているので、ブロック３５９の動き量はブロッ
ク３４９の左肩の部分に接したブロック３５０，３５１
の動き量と密接な関係を有している。従って、ブロック
３５９の動き量を検出する場合に、ｈ＋１階層のブロッ
ク３４９で得られる動き量がｈ階層のブロック３５９の
真の動き量と異なる場合でも、ブロック３５０，３５１
の動き量を参照することにより、誤った動き量を補正す
ることが可能になる。

【００２３】また、“評価関数に対する重み付け”は、
各階層の動き量を判定するための評価値に対して、評価
値を求めているブロックのサーチの中心からの距離ｄに
応じた、重み関数Ｗ（ｄ）を乗算（図７の乗算器４２）
して、サーチの中心点となる動き量を優先して選ぶよう
にすることにより、検出精度の向上を図っている。

【００２４】

【発明が解決しようとする課題】図５〜図７により示さ
れた階層型動き検出装置において、文献１の“評価関数
に対する重み付け”による動き量の精度改善手法を実行
するために、重み関数Ｗ（ｄ）の乗算を動き量検出回路
１０Ｃの重み付け部４０Ｃにおいて各階層の各ブロック
ごとに行うが、乗算処理は回路構成上加算処理より特に
負担が大きいため、この手法を実現する際の解決される
べき課題となっている。

【００２５】また、階層によって動き量検出に用いる画
像の画素間相関などの性質が異なるにもかかわらず、サ
ーチの中心点からの距離ｄが同一であるブロックの動き
量の評価値に対する重み付けは、どの階層においても同
一の重みＷ（ｄ）を乗算するため、階層によっては不適
切な重み付けを行っている場合もあり、これも解決され
るべき課題である。

【００２６】さらに、最も高解像度側の階層となる最終
階層（通常の場合、１／２画素精度）の動き量検出は非
常に処理負担が大きいが、画像によっては最終階層のサ
ーチ・レンジの内、特定の動き量についてはほとんど選
ばれることのない動き量があり、動き量検出処理に無駄
が生じているという未解決の課題がある。

【００２７】

【課題を解決するための手段】階層型動き検出装置にお
いて、評価値に対する重み関数Ｗの演算を乗算ではな
く、各階層独立な、所定値の加算（あるいは減算）に置
き換えた。これにより、演算処理における負担を小さく
した。

【００２８】また、各階層における重み関数Ｗの値は動
き量に応じて複数持つことができるので、演算処理にお
ける負担が小さいまま、文献１の“評価関数に対する重
み付け”と同様な検出精度向上効果を得ることも可能と
なった。

【００２９】本発明の評価値に対する重み関数Ｗの加算
処理では、たとえばサーチの中心点や、当該ブロックに
隣接しているブロックで得られる動き量など、特定の動
き量に対しては重み関数Ｗ＝０とする（減算では逆に、
特定の動き量のＷを最大にする）ことにより、特定の動
き量を選びやすくした。

【００３０】一方、最終階層（通常の場合、１／２画素
精度）の動き量検出のように非常に処理負担が大きいと
ころで、サーチ・レンジ内の特定の動き量がほとんど選
ばれない階層があり、そのほとんど選ばれない動き量に
対して、評価値の検出および最小評価値の判定は行わな
いようにした。

【００３１】

【作用】重み関数の演算を各階層独立な所定値の加算
（あるいは減算）により実施するようにしたため、演算
処理の負担が軽減されることになった。

【００３２】各階層における重み関数Ｗの値は動き量に
応じて複数準備することができるため、演算処理の負担
を増加することなく動き量の検出精度の向上が得られ
た。

【００３３】特定の動き量に対しては重み関数Ｗ＝０と
する（減算ではＷを最大値とする）ことにより、特定の
動き量を選びやすくした。

【００３４】この特定の動き量のとり方により、動き量
の検出精度を向上するばかりでなく、符号化時における
動き量情報に関する符号量の削減も可能になった。

【００３５】また、特定の動き量以外の評価値に対して
加算（特定の動き量の評価値に対して減算）する重み関
数Ｗは各階層ごとに任意に設定できるため、各階層にお
いて最適な重み関数Ｗを選ぶことが可能となった。

【００３６】さらに、ほとんど選ばれない動き量に対し
ては、評価値の検出および最小評価値の判定を行わない
ようにしたため、動き量検出処理がさらに軽減されるこ
とになった。

【００３７】

【実施例】本発明の実施例を説明する。本発明は図６の
動き量検出装置の構成を有し、それを構成している図７
の動き量検出回路１０Ｃの改良に関するものである。な
お、以下の説明はいずれも図７の重み付け部４０Ｃの重
み付けを加算器によって実現しているが、重み関数を変
更することにより、減算器による重み付けによっても同
様に実現可能である。

【００３８】図１に本発明の第１の実施例を示す。図７
の場合と同様に高解像度側の処理を含め、ｎ＋ｍ＋１階
層の各階層において使用される動き量検出回路１０−
０，１０−１Ｈ〜１０−ｍＨ，１０−１Ｌ〜１０−ｎＬ
を代表して表す動き量検出回路１０の回路構成が示され
ている。被符号化画像生成器１１では前段から受けた被
符号化画像信号１１５から、その階層で必要な解像度の
被符号化画像信号１３および次段用の被符号化画像信号
１５を、アップ・サンプルにより高解像度の画像とし
て、あるいはサブ・サンプルにより低解像度の画像とし
て、またノーマル・サンプルにより原解像度の画像とし
て得ている。

【００３９】参照画像生成器１２では前段から受けた参
照画像信号１１６から、その階層で必要な解像度の参照
画像信号１４および次段用の参照画像信号１６を、アッ
プ・サンプルにより高解像度の画像として、あるいはサ
ブ・サンプルにより低解像度の画像として、またノーマ
ル・サンプルにより原解像度の画像として得ている。

【００４０】すなわち、原解像度の０階層の動き量検出
回路１０−０においては、図示されてはいない被符号化
画像用のバッファからの被符号化画像信号１１５を被符
号化画像生成器１１に受け、図示されてはいない参照用
バッファからの参照画像信号１１６を参照画像生成器１
２に受けており、被符号化画像信号１３および参照画像
信号１４はノーマル・サンプルにより得て、高解像度の
１Ｈ階層の動き量検出回路１０−１Ｈに対する被符号化
画像信号１５−０Ｈと参照画像信号１６−０Ｈはアップ
・サンプルにより得ている。また、低解像度の１Ｌ階層
の動き量検出回路１０−１Ｌに対する被符号化画像信号
１５−０Ｌと参照画像信号１６−０Ｌはサブ・サンプル
により得ている。図７においては、被符号化画像信号１
５−０Ｈおよび１５−０Ｌを被符号化画像信号１５で代
表して表し、参照画像信号１６−０Ｈおよび１６−０Ｌ
を参照画像信号１６で代表して表している。

【００４１】高解像度の階層の動き量検出回路、例えば
１０−（ｍ−１）Ｈにおいては、（ｍ−２）Ｈ階層から
の被符号化画像信号１５−（ｍ−２）Ｈを被符号化画像
信号１１５として被符号化画像生成器１１に受け、（ｍ
−２）Ｈ階層からの参照画像信号１６−（ｍ−２）Ｈを
参照画像信号１１６として参照画像生成器１２に受け、
被符号化画像信号１３，１５および参照画像信号１４，
１６をアップ・サンプルにより得て、高解像度のｍＨ階
層に対して被符号化画像信号１５を１５−（ｍ−１）Ｈ
として、参照画像信号１６を１６−（ｍ−１）Ｈとして
出力している。

【００４２】低解像度の階層の動き量検出回路、例えば
１０−（ｎ−１）Ｌにおいては、（ｎ−２）Ｌ階層から
の被符号化画像信号１５−（ｎ−２）Ｌを被符号化画像
信号１１５として被符号化画像生成器１１に受け、（ｎ
−２）Ｌ階層からの参照画像信号１６−（ｎ−２）Ｌを
参照画像信号１１６として参照画像生成器１２に受け、
被符号化画像信号１３，１５および参照画像信号１４，
１６をサブ・サンプルにより得て、低解像度のｎＬ階層
に対して被符号化画像信号１５を１５−（ｎ−１）Ｌと
して、参照画像信号１６を１６−（ｎ−１）Ｌとして出
力している。

【００４３】スケーリング器７１では、低解像度側の階
層の出力である動き量６４を動き量１６４として受け
て、これを当該階層の動き量の初期値設定用にスケーリ
ングしてスケーリングされた動き量７４を出力してい
る。ｎＬ階層の動き量検出回路１０−ｎＬにおいては、
より低解像度側の階層は存在しないため、動き量１６４
として０を入力する。

【００４４】被符号化画像信号１３と参照信号１４およ
びスケーリングされた動き量７４を受けた評価値検出部
２０では、動き量７４の示す値を初期値にし、動き量２
１および評価値２２を得ている。

【００４５】重み付け部４０には重み関数ｗ１〜ｗｋを
発生する重み関数発生器ｗ１〜ｗｋがあり、そのうちの
１つを動き量２１にもとづいてスイッチＳＷ１で選択
し、選択された１つの重み関数４６を加算器４５に印加
している。加算器４５では、重み関数４６と評価値２２
とを加算して当該階層の評価値５９を得ている。ここ
に、重み関数ｗ１〜ｗｋは各階層において最適値に定め
られる。

【００４６】最小評価値判定器６０は評価値５９および
動き量２１を動き量５８として受けて、動き量６４を出
力している。この動き量６４はより高解像度側の階層に
おいては動き量１６４としてスケーリング器７１に印加
される。最も高解像度のｍＨ階層からの動き量６４−ｍ
Ｈは、図６の装置からの最終の結果である。

【００４７】本発明を特徴づける部分についてさらに詳
細に説明する。評価値検出部２０では、当該階層の１つ
低解像度側の階層で求めた動き量６４をスケーリング
し、スケーリングされた１つ低解像度側の階層の動き量
をサーチの中心とし、被符号化画像信号１３と参照画像
信号１４との間で、設定されたサーチ・レンジ３０５の
内部をサーチし、各サーチしたブロックごとに、サーチ
したブロックにおける画像間のずれを表す動き量２１お
よび誤差関数である評価値２２が出力される。評価値検
出部２０の１つの出力である動き量２１は重み付け部４
０のスイッチＳＷ１に入力され、動き量２１に応じて重
み関数発生器ｗ１〜ｗｋからの出力を選択して加算器４
５に供給し、評価値検出部２０のもう１つの出力である
評価値２２との間で加算を行う。重み関数ｗ１〜ｗｋの
うちの１つが加算された評価値５９および動き量２１と
同一である動き量５８が最小評価値判定器６０に入力さ
れ、評価値５９が最小となる動き量６４が当該階層の動
き量として出力される。

【００４８】なお、各階層における重み関数発生器ｗ１
〜ｗｋの発生する重み関数ｗ１〜ｗｋの値は各々その階
層に最適な任意の値を設定できるようになっているが、
必ずしも全ての値が異なる必要はなく、重み関数ｗ１〜
ｗｋの一部あるいは全部が同一である組合せも可能であ
る。また各階層における重み関数ｗ１〜ｗｋの値の数も
複数持つようになっているが、重み関数の値をｗ１，ｗ
２の２つ（特定の動き量でｗ１＝０とし、それ以外の動
き量の場合はｗ２の値を０より大きな一定値とする）と
してもよい。なお、値が１つのみの場合は重み付けをし
ない場合と同一の効果となる。

【００４９】図２は本発明の第２の実施例であり、ｍ＝
１、すなわち１／２画素精度の画像の１Ｈ階層までの例
で、このうち、最も高解像度な画像の階層である１／２
画素精度の画像の階層の動き量検出回路１０−１Ｈの回
路構成を示している。

【００５０】１／２画素精度の画像の１Ｈ階層では、通
常はスケーリングされた前階層の動き量をサーチの中心
として、水平、垂直方向各±１画素の範囲をサーチする
が、水平、垂直方向共に１／２画素精度の点となるサー
チ・レンジ３０５の４隅の点は他のサーチ点よりも選ば
れにくいため、４隅の点をサーチしなくても、予測効率
の低下による画質の劣化は極めて小さい。

【００５１】その４隅の点をサーチしない場合の予測効
率の低下による画質の劣化に関するデータを次に示す。
このデータは国際標準化機構（ＩＳＯ）により標準化が
審議されている画像符号化フォーマットである“ＭＰＥ
Ｇ２”（ＩＳＯ／ＩＥＣ １３８１８−２）フォーマッ
トにより、符号化レート４Ｍｂｐｓ、Ｍ＝３、Ｎ＝１５
で符号化した時の結果である。なおＭおよびＮは予測符
号化における周期パラメータで、Ｍは巡回予測となる画
像の間隔、Ｎは予測画像のリフレッシュのために挿入さ
れる。フレーム内符号化を行う画像の間隔を示してい
る。１Ｈ階層のサーチ・レンジ３０５以外の条件を同一
にして符号化を行った場合にサーチ・レンジ３０５内の
全てのブロックをサーチする場合（Ａ１，Ａ２）と、４
隅のブロックはサーチしない場合（Ｂ１，Ｂ２）の輝度
（Ｙ信号）の信号対雑音比（ＳＮＲ）をある２つの種類
の画像１および２の６０フレームについて得たデータで
ある。

【００５２】画像１において、 Ａ１では ＳＮＲは ３０．１６ｄＢ Ｂ１では ＳＮＲは ３０．１５ｄＢ 画像２において、 Ａ２では ＳＮＲは ２８．１８ｄＢ Ｂ２では ＳＮＲは ２８．１７ｄＢ を得ている。すなわち、４隅のブロックをサーチしない
場合でも、ＳＮＲの実質的な低下は認められない。

【００５３】一方、回路構成や処理量など処理負担の面
で考えると、１Ｈ階層の１／２画素精度の動き量検出の
処理量は全階層における動き量検出処理全体に占める割
合が大きいため、画質の劣化を最小限に押さえながら処
理負担を有効に削減することは、装置全体の処理効率の
改善を可能にする。

【００５４】１／２画素精度の１Ｈ階層では、参照画像
１１６のみ参照画像生成器１２Ｂでアップ・サンプルし
て、原解像度画像から１／２画素精度の参照画像１４が
作成される。０階層で求めた動き量１６４がスケーリン
グ器７１によってスケーリングされ、動き量７４が評価
値検出部２０Ｂに含まれた動き量設定器２５の入力とな
る。評価値検出部２０Ｂの内部の処理が第１の実施例と
は異なっているのでこれについて詳しく述べる。

【００５５】評価値検出部２０Ｂの処理は大別して、ス
ケーリングされた前階層の動き量をサーチの中心とし
て、サーチ・レンジ３０５内の被符号化ブロック３０３
と参照ブロック３０６の位置関係のずれ、すなわち動き
量を、サーチ・レンジ３０５内の全てのブロックの組合
せについて順次設定する動き量設定器２５と、被符号化
ブロック３０３と参照ブロック３０６の対応する各画素
ごとに輝度値の絶対値差分をとり、絶対値差分の総和を
評価値として出力する評価値検出器２７に分けられる。

【００５６】図２においては、動き量設定器２５と、評
価値検出器２７との間にスイッチＳＷ２があり、サーチ
・レンジ３０５の４隅のブロックといった特定の動き量
の場合は、スイッチＳＷ２をオフにして評価値検出を行
わず、この場合は評価値検出部２０Ｂに含まれた動き量
設定器２５から出力される動き量２１を重み付け部４０
Ｂに含まれたスイッチＳＷ１が判定して、重み付け部４
０Ｂに含まれた最大値発生器ＭＡＸから非常に大きな値
を最小評価値判定器６０に、重み付け部４０Ｂに含まれ
たスイッチＳＷ３を介して出力することにより、最小評
価値判定器６０による評価値の判定も行わない。

【００５７】一方それ以外の動き量の場合は図１の場合
と同様で、サーチの対象となる各ブロックの動き量ごと
に評価値の検出が評価値検出器２７において行われ、動
き量２１および、誤差関数である評価値２２が出力され
る。動き量２１はスイッチＳＷ１に入力され、動き量２
１に応じて重み関数発生器ｗ１〜ｗｋから選択される重
み関数ｗ１〜ｗｋを加算器４５に供給し、評価値検出器
２７の出力である評価値２２との間で加算を行う。重み
関数が加算された評価値５９がスイッチＳＷ３を介し
て、また動き量２１が動き量５８として最小評価値判定
器６０に入力され、評価値が最小となる動き量がこの階
層型動き検出回路の出力である１Ｈ階層の動き量６０−
１Ｈとして出力される。

【００５８】図２の例は、１／２画素精度の階層におけ
るものであったが、他の階層においても同様な手法を採
用することにより、評価値検出処理量を削減することが
できる。また評価値検出を行わずに最大値発生器ＭＡＸ
の出力を評価値として用いる場合に該当する動き量５８
についてもサーチ・レンジ３０５の４隅の点に限らず、
処理量削減に有効な任意の値を用いることが可能であ
る。

【００５９】

【発明の効果】重み関数の演算を各階層独立な所定値の
加算（あるいは減算）により実施するようにしたため、
演算処理の負担が軽減されることになった。

【００６０】各階層における重み関数の値は動き量に応
じて複数準備することができるため、演算処理の負担を
増加することなく動き量の検出精度の向上が得られた。

【００６１】特定の動き量に対しては重み関数を０とす
る（減算では最大値とする）ことにより、特定の動き量
を選びやすくした。

【００６２】この特定の動き量のとり方により、動き量
の検出精度を向上するばかりでなく、符号化時における
動き量情報に関する符号量の削減も可能になった。

【００６３】また、特定の動き量以外の評価値に対して
加算（特定の動き量の評価値に対して減算）する重み関
数は各階層ごとに任意に設定できるため、各階層におい
て最適な重み関数を選ぶことが可能となった。

【００６４】さらに、ほとんど選ばれない動き量に対し
ては、評価値の検出および最小評価値の判定を行わない
ようにしたため、動き量検出処理がさらに軽減されるこ
とになった。したがって、本発明の効果は極めて大き
い。

【図面の簡単な説明】

【図１】本発明の一実施例を示す回路構成図である。

【図２】本発明の他の実施例を示す回路構成図である。

【図３】従来のブロック・マッチング法による動き検出
の動作を説明するための画像図である。

【図４】従来の動き検出装置の回路構成図である。

【図５】従来の階層型動き検出の原理を説明するための
画像図である。

【図６】従来の階層型動き検出装置の回路構成図であ
る。

【図７】図６の構成要素である動き量検出回路の回路構
成図である。

【図８】従来の階層型動き検出における周囲ブロックと
の関係を示すブロック配置図である。

【符号の説明】

１０，１０Ｃ 動き量検出回路 １１ 被符号化画像生成器 １２ 参照画像生成器 １３，１５ 被符号化画像信号 １４，１６ 参照画像信号 ２０，２０Ｂ 評価値検出部 ２１ 動き量 ２２ 評価値 ２５ 動き量設定器 ２７ 評価値検出器 ４０，４０Ｂ 重み付け部 ４１ 重み関数発生器 ４２ 乗算器 ４３ 重み関数 ４５ 加算器 ４６ 重み関数 ５８ 動き量 ５９ 評価値 ６０ 最小評価値判定器 ６４ 動き量 ７１ スケーリング器 ７４ 動き量 １１５ 被符号化画像信号 １１６ 参照画像信号 １６４ 動き量 ２０１ 被符号化画像生成器 ２０２ 参照画像生成器 ２１０ 動き量検出回路 ２１２ 評価値検出器 ２１３ 最小評価値判定器 ２１７ 動き量 ２１８ 評価値 ２１９ １画素精度の動き量 ２２０ １／２画素精度動き量検出回路 ２２１ １／２画素精度内挿器 ２２２ 評価値検出器 ２２３ 最小評価値判定器 ２２７ 動き量 ２２８ 評価値 ２２９ １／２画素精度の動き量 ３０１ 被符号化画像 ３０２ 参照画像 ３０３ 被符号化ブロック ３０４ ブロック ３０５ サーチ・レンジ ３０６ 参照ブロック ３１５，３１７，３１９，３２１ 被符号化画像 ３１６，３１８，３２０，３２２ 参照画像 ３４９〜３５３，３５９ 画像ブロック ＭＡＸ 最大値発生器 ＳＷ１〜ＳＷ３ スイッチ ｗ１〜ｗｋ 重み関数発生器

フロントページの続き (72)発明者 大山 公一 東京都渋谷区代々木４丁目36番19号 株 式会社 グラフィックス・コミュニケー ション・ラボラトリーズ 内 (56)参考文献 特開 平１−202083（ＪＰ，Ａ) 電子情報通信学会論文誌Ｄ−▲ＩＩ ▼、第Ｊ72−Ｄ−▲ＩＩ▼巻、第３号、 1989年３月、ｐ．395−403 ＳＰＩＥ Ｖｏｌ．1001 Ｖｉｓｕａ ｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａ ｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎ ｇ’88，1988年，ｐ．864−874 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 被符号化画像（１３）の一部をなす被符
   号化ブロック（３０３）と参照画像（１４）の一部をな
   す参照ブロック（３０６）との間の動き量（２１）と評
   価値（２２）を得るための評価値検出処理（２０）と、 前記動き量（２１）に応じて前記評価値（２２）に重み
   付けをして重み付け後の評価値（５９）を得るための重
   み付け処理（４０）と、 前記重み付け後の評価値のうち最小の評価値を判定して
   この最小の評価値を示したときの動き量を当該階層にお
   ける判定動き量（６４）として出力して、必要に応じて
   次の階層に渡す動き量情報（１６４）として使用するた
   めの最小評価値判定処理（６０）とを含む動き量検出処
   理（１０）を画像の解像度により階層化した各階層にお
   いて実施する階層型動き検出方法において、 前記評価値検出処理（２０）が、 前記次の階層に渡す動き量情報（１６４）から前記動き
   量（２１）を設定するための動き量設定処理（２５）
   と、 前記被符号化画像（１３）の一部をなす被符号化ブロッ
   ク（３０３）と前記参照画像（１４）の一部をなす参照
   ブロック（３０６）との間の動き量（２１）と評価値
   （２２）を得る場合に、前記動き量（２１）が階層ごと
   に定めた特定の値に該当する場合には前記評価値（２
   ２）の検出をしないように限定する限定評価値検出処理
   （２７）とを含み、 前記重み付け処理（４０）が、 少なくとも１つの所定の重み関数（ｗ１〜ｗｋ）から前
   記動き量（２１）に応じて１つの重み関数（４６）を選
   択する選択処理（ｗ１〜ｗｋ，ＳＷ１）と、 前記評価値（２２）に前記１つの重み関数（４６）を加
   減算して加減算後の評価値を得る加減算処理（４５）
   と、 前記動き量（２１）が前記特定の値に該当する場合には
   十分に大きな値（ＭＡＸ）を前記重み付け後の評価値
   （５９）として出力し、前記特定の値に該当しない場合
   は前記加減算後の評価値を前記重み付け後の評価値（５
   ９）として出力する評価値処理（ＳＷ３）とを含む階層
   型動き検出方法。
2. 【請求項２】 被符号化画像（１３）の一部をなす被符
   号化ブロック（３０３）と参照画像（１４）の一部をな
   す参照ブロック（３０６）との間の動き量（２１）と評
   価値（２２）を得るための評価値検出手段（２０）と、 前記動き量（２１）に応じて前記評価値（２２）に重み
   付けをして重み付け後の評価値（５９）を得るための重
   み付け手段（４０）と、 前記重み付け後の評価値のうち最小の評価値を判定して
   この最小の評価値を示したときの動き量を当該階層にお
   ける判定動き量（６４）として出力して、必要に応じて
   次の階層に渡す動き量情報（１６４）として使用するた
   めの最小評価値判定手段（６０）とを含む動き量検出手
   段（１０）を画像の解像度により階層化した各階層にお
   いて実施する階層型動き検出装置において、 前記評価値検出手段（２０）が、 前記次の階層に渡す動き量情報（１６４）から前記動き
   量（２１）を設定するための動き量設定手段（２５）
   と、 前記被符号化画像（１３）の一部をなす被符号化ブロッ
   ク（３０３）と前記参照画像（１４）の一部をなす参照
   ブロック（３０６）との間の動き量（２１）と評価値
   （２２）を得る場合に、前記動き量（２１）が階層ごと
   に定めた特定の値に該当する場合には前記評価値（２
   ２）の検出をしないように限定する限定評価値検出手段
   （２７）とを含み、 前記重み付け手段（４０）が、 少なくとも１つの所定の重み関数（ｗ１〜ｗｋ）から前
   記動き量（２１）に応じて１つの重み関数（４６）を選
   択する選択手段（ｗ１〜ｗｋ，ＳＷ１）と、 前記評価値（２２）に前記１つの重み関数（４６）を加
   減算して加減算後の評価値を得る加減算手段（４５）
   と、 前記動き量（２１）が前記特定の値に該当する場合には
   十分に大きな値（ＭＡＸ）を前記重み付け後の評価値
   （５９）として出力し、前記特定の値に該当しない場合
   は前記加減算後の評価値を前記重み付け後の評価値（５
   ９）として出力する評価値手段（ＳＷ３）とを含む階層
   型動き検出装置。