JP3269031B2 - 動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の動き補償
符号化の際に行う動きベクトル検出を、効率良く実行す
るための技術に関するものである。

【０００２】

【従来の技術】動画像から動きベクトルを検出する手法
として、ブロックマッチング法が一般的に用いられる。
図８はブロックマッチング法を示す概念図である。図８
に示すように、ブロックマッチング法では、まず、動き
ベクトル検出の対象となる符号化対象ブロックと、探索
範囲内の符号化対象ブロックと同一サイズの各候補ブロ
ックとの間で、それぞれ、画像の相関度を示す評価値を
演算する。そして、符号化対象ブロックと同一位置のブ
ロックから、評価値が示す相関度が最も高い候補ブロッ
クまでの変位を、動きベクトルとして求める。相関度の
評価値としては、例えば、ブロック同士で対応する画素
の差分絶対値の総和を用いる。この場合には、画像の相
関度が高いほど評価値は小さくなる。

【０００３】ブロックマッチング法では、一の符号化対
象ブロックに対し、探索範囲の各候補ブロックとの評価
値演算を行うので、評価値演算全体としては膨大な演算
量が必要になる。このため、動きベクトル検出装置の消
費電力もまた、膨大なものになる。

【０００４】ブロックマッチング法を用いた動きベクト
ル検出において、評価値演算の演算量を削減して消費電
力を低減させるために、いくつかの手法がある。その１
つとして、サブサンプル（間引き）手法がある。サブサ
ンプル手法は、符号化対象ブロックおよび探索範囲にお
いて画素の間引きを行い、間引き後の画像に対し、ブロ
ックマッチング法による動きベクトル検出を行うもので
ある。このサブサンプル手法を用いると、符号化対象ブ
ロックの画素数が間引きによって１／Ｎ（Ｎは正数）に
なったとき、評価値演算の演算量もまた１／Ｎになるた
め、消費電力もほぼ１／Ｎになる。

【０００５】

【発明が解決しようとする課題】しかしながら、サブサ
ンプル手法を用いると、符号化対象ブロックおよび探索
範囲において画素が間引かれるために、間引き後の画像
には、原画像の細部の特徴が残らない可能性がある。こ
のため、サブサンプル手法を用いない場合に比べて、評
価値演算の演算量は削減できるものの、動きベクトル検
出の性能の面では劣ることになる。一方、動きベクトル
検出の性能が多少低下しても、評価値演算の演算量を削
減して消費電力を低減する方が好ましい場合も、場合に
よってはあり得る。

【０００６】前記の問題に鑑み、本発明は、動きベクト
ル検出において、検出性能および消費電力の面から、サ
ブサンプルの設定を従来よりも適切に実行可能にするこ
とを課題とする。

【０００７】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、動きベクト
ル検出装置として、符号化対象ブロックの画像を格納す
る第１の画像格納手段と、探索範囲の画像を格納する第
２の画像格納手段と、符号化対象ブロックと探索範囲内
の候補ブロックとの相関度を演算する複数の相関度演算
ブロックを有し、各相関度演算ブロックは、それぞれ、
符号化対象ブロックの画素のうちの相異なる画素群が前
記第１の画像格納手段から供給されるとともに、この供
給された画素群に対応する候補ブロックの画素群が前記
第２の画像格納手段から供給され、供給された画素群同
士で相関度演算を行う相関度演算手段と、前記相関度演
算手段に対し、前記複数の相関度演算ブロックのうちの
少なくとも１つを選択して動作させる制御を行う制御部
と、前記制御部の制御によって動作した相関度演算ブロ
ックの出力に基づいて、符号化対象ブロックと候補ブロ
ックとの相関度を求める相関度決定手段とを備えたもの
である。

【０００８】請求項１の発明によると、動作させる相関
度演算ブロックを制御部によって選択し、動作させた相
関度演算ブロックの出力に基づいて、符号化対象ブロッ
クと候補ブロックとの相関度を求めるので、必要最小限
の電力で動きベクトル検出を行うことができる。

【０００９】請求項２の発明では、前記請求項１の動き
ベクトル検出装置における相関度決定手段は、前記各相
関度演算ブロックの出力を入力とし、前記制御部の制御
によって動作した相関度演算ブロックの出力を選択して
出力する選択器と、前記選択器の出力に基づいて、符号
化対象ブロックと候補ブロックとの相関度を演算する演
算器とを備えたものとする。

【００１０】請求項３の発明では、前記請求項１の動き
ベクトル検出装置における制御部は、動きベクトル検出
の際にサブサンプルを行うときは、前記複数の相関度演
算ブロックの一部を動作させる一方、サブサンプルを行
わないときは、前記複数の相関度演算ブロックの全てを
動作させるものとする。

【００１１】請求項４の発明では、前記請求項１の動き
ベクトル検出装置における制御部は、前記相関度演算ブ
ロックの選択を、符号化対象ブロックの画像特徴情報に
応じて行うものとする。

【００１２】請求項５の発明では、前記請求項４の動き
ベクトル検出装置における画像特徴情報は、当該符号化
対象ブロックの画像の周波数成分とする。

【００１３】請求項６の発明では、前記請求項１の動き
ベクトル検出装置における制御部は、前記相関度演算ブ
ロックの選択を、当該動きベクトル検出装置の使用状況
情報に応じて行うものとする。

【００１４】請求項７の発明では、前記請求項６の動き
ベクトル検出装置における使用状況情報は、この動きベ
クトル検出装置に対する電力供給の情報とする。

【００１５】請求項８の発明では、前記請求項１〜７の
いずれかの動きベクトル検出装置における複数の相関度
演算ブロックの個数は、４とする。

【００１６】また、請求項９の発明が講じた解決手段
は、動きベクトル検出方法として、対象フレームの符号
化対象ブロックと、探索フレームの探索範囲における各
候補ブロックとの相関度を演算する第１のステップと、
前記第１のステップにおいて演算した相関度を基にし
て、前記符号化対象ブロックの動きベクトルを検出する
第２のステップとを備え、前記第１のステップは、符号
化対象ブロックの画素を複数の相異なる画素群に分け、
サブサンプルの設定に応じて前記複数の画素群から少な
くとも１つの画素群を選択し、選択した画素群とこれに
対応する候補ブロックの画素群とで相関度演算を行うも
のであり、かつ、相関度演算の際のサブサンプルの設定
を、符号化対象ブロックの画像特徴情報を基にして行う
ものである。

【００１７】請求項１０の発明では、前記請求項９の動
きベクトル検出方法は、前記符号化対象ブロックの周波
数成分を、前記画像特徴情報として用いるものとする。

【００１８】請求項１１の発明では、前記請求項９の動
きベクトル検出方法は、対象フレームの前フレームにお
ける当該符号化対象ブロックと同一位置または近傍のブ
ロックのＤＣＴ成分を、前記画像特徴情報として用いる
ものとする。

【００１９】請求項１２の発明では、前記請求項９の動
きベクトル検出方法は、対象フレームの前フレームにお
ける当該符号化対象ブロックと同一位置または近傍のブ
ロックの動きベクトルを、前記画像特徴情報として用い
るものとする。

【００２０】請求項１３の発明では、前記請求項９の動
きベクトル検出方法におけるサブサンプルの設定を、前
記画像特徴情報に加えて、当該方法を実施する装置の使
用状況情報を基にして行うものとする。

【００２１】請求項１４の発明では、前記請求項１３の
動きベクトル検出方法は、当該方法を実施する装置が携
帯されているか据え置きされているかを示す情報を、前
記使用状況情報として用いるものとする。

【００２２】請求項１５の発明では、前記請求項１３の
動きベクトル検出方法は、当該方法を実施する装置の電
源となる電池の残量を、前記使用状況情報として用いる
ものとする。

【００２３】また、請求項１６の発明が講じた解決手段
は、動きベクトル検出方法として、対象フレームの符号
化対象ブロックと、探索フレームの探索範囲における各
候補ブロックとの相関度を演算する第１のステップと、
前記第１のステップにおいて演算した相関度を基にし
て、前記符号化対象ブロックの動きベクトルを検出する
第２のステップとを備え、前記第１のステップは、符号
化対象ブロックの画素を複数の相異なる画素群に分け、
サブサンプルの設定に応じて前記複数の画素群から少な
くとも１つの画素群を選択し、選択した画素群とこれに
対応する候補ブロックの画素群とで相関度演算を行うも
のであり、かつ、相関度演算の際のサブサンプルの設定
を、当該方法を実施する装置の使用状況情報を基にして
行うものである。

【００２４】請求項１７の発明では、前記請求項１６の
動きベクトル検出方法は、当該方法を実施する装置が携
帯されているか据え置きされているかを示す情報を、前
記使用状況情報として用いるものとする。

【００２５】請求項１８の発明では、前記請求項１６の
動きベクトル検出方法は、当該方法を実施する装置の電
源となる電池の残量を、前記使用状況情報として用いる
ものとする。

【００２６】また、請求項１９の発明が講じた解決手段
は、動画像の動き補償符号化を行う画像符号化装置とし
て、対象フレームの符号化対象ブロックと探索フレーム
の探索範囲における各候補ブロックとの相関度を演算
し、演算した相関度を基にして、前記符号化対象ブロッ
クの動きベクトルを検出する動きベクトル検出部を備
え、前記動きベクトル検出部は、符号化対象ブロックの
画素を複数の相異なる画素群に分け、サブサンプルの設
定に応じて前記複数の画素群から少なくとも１つの画素
群を選択し、選択した画素群とこれに対応する候補ブロ
ックの画素群とで相関度演算を行うものであり、かつ、
相関度演算の際のサブサンプルの設定を、符号化対象ブ
ロックの画像特徴情報を基にして行うものである。

【００２７】請求項２０の発明では、前記請求項１９の
画像符号化装置は、画像に対し、離散コサイン変換を行
うＤＣＴ部を備え、前記動きベクトル検出部は、前記Ｄ
ＣＴ部によって求めた，対象フレームの前フレームにお
ける当該符号化対象ブロックと同一位置または近傍のブ
ロックのＤＣＴ成分を、前記画像特徴情報として用い
て、サブサンプルの設定を行うものとする。

【００２８】請求項２１の発明では、前記請求項１９の
画像符号化装置における動きベクトル検出部は、対象フ
レームの前フレームにおける当該符号化対象ブロックと
同一位置または近傍のブロックの動きベクトルを、前記
画像特徴情報として用いてサブサンプルの設定を行うも
のとする。

【００２９】

【発明の実施の形態】図１は本発明の一実施形態に係る
動きベクトル検出装置の構成を示すブロック図である。
図１において、１１は符号化対象ブロックの画像を格納
する第１の画像格納手段、１２は探索範囲の画像を格納
する第２の画像格納手段である。１３は符号化対象ブロ
ックと探索範囲内の候補ブロックとの相関度を演算する
４個の相関度演算ブロック１３ａ〜１３ｄからなる相関
度演算手段である。第１〜第４の相関度演算ブロック１
３ａ〜１３ｄはそれぞれ、符号化対象ブロックの画素の
うち相異なる画素群が第１の画像格納手段１１から供給
されるとともに、この供給された画素群に対応する候補
ブロックの画素群が第２の画像格納手段１２から供給さ
れ、供給された画素群同士で相関度演算を行う。相関度
の評価値としては、画素の差分絶対値の総和を用いる。

【００３０】本実施形態では、画素のサブサンプルを水
平・垂直方向ともに１画素おきに行うことを可能にして
いる。このため、第１の画像格納手段１１に格納された
符号化対象ブロックの各画素は、画素○群、画素◇群、
画素●群、画素◆群の４種類に分けられる。画素○群は
第１の相関度ブロック１３ａに供給され、画素◇群は第
２の相関度ブロック１３ｂに供給され、画素●群は第３
の相関度ブロック１３ｃに供給され、画素◆群は第４の
相関度ブロック１３ｄに供給される。第２の画素格納手
段１２に格納された探索範囲の各画素群の供給先は、候
補ブロックの設定に応じて変化する。第２の画素格納手
段１２のアドレス指定はアドレス生成部１５によって行
われる。

【００３１】２０は相関度演算手段１３に対し、第１〜
第４の相関度演算ブロック１３ａ〜１３ｄのうちの全て
またはその一部をイネーブル信号ＥＮによって選択して
動作させる制御部である。制御部２０は符号化対象ブロ
ックの画像特徴情報Ｓ１または動きベクトル検出装置の
使用状況情報Ｓ２に応じて、第１〜第４の相関度演算ブ
ロック１３ａ〜１３ｄの全てを動作させるモードと一部
を動作させるモードとのいずれかを選択する。動きベク
トル検出の際にサブサンプルを行わないときは第１〜第
４の相関度演算ブロック１３ａ〜１３ｄの全てを動作さ
せる一方、サブサンプルを行うときはその一部を動作さ
せる。

【００３２】１４は制御部２０の制御によって動作した
第１〜第４の相関度演算ブロック１３ａ〜１３ｄの出力
ＥＣ１〜ＥＣ４に基づいて、符号化対象ブロックと候補
ブロックとの相関度を求める相関度決定手段である。相
関度決定手段１４は、符号化対象ブロックと各候補ブロ
ックとの相関度を基にして動きベクトルＭＶを出力す
る。

【００３３】図２は図１に示す相関度決定手段１４の構
成を示すブロック図である。１４ａは第１〜第４の相関
度演算ブロック１３ａ〜１３ｄの出力ＥＣ１〜ＥＣ４ま
たは数値“０”をイネーブル信号ＥＮによって選択出力
する選択器、１４ｂは選択器１４ａの出力値を加算する
演算器としての加算器、１４ｃは加算器１４ｂの出力か
ら最小値を検出する最小値検出回路である。

【００３４】図１および図２に示す動きベクトル検出装
置の動作を以下に説明する。符号化対象ブロックの画像
および探索範囲の画像が、第１および第２の画像格納手
段１１，１２から、画素○群、画素◇群、画素●群、画
素◆群ごとに、第１〜第４の相関度演算ブロック１３ａ
〜１３ｄにそれぞれ供給される。第１〜第４の相関度演
算ブロック１３ａ〜１３ｄは、制御部２０からのイネー
ブル信号ＥＮによって動作を指示されたとき、供給され
た符号化対象ブロックの画素群と探索範囲の画素群との
間で、画素の差分絶対値の総和を演算する。これによ
り、第１の相関度演算ブロック１３ａは動作時には画素
○群同士の差分絶対値の総和ＥＣ１を出力し、同様に、
第２の相関度演算ブロック１３ｂは動作時には画素◇群
同士の差分絶対値の総和ＥＣ２を、第３の相関度演算ブ
ロック１３ｃは動作時には画素●群同士の差分絶対値の
総和ＥＣ３を、第４の相関度演算ブロック１３ｄは動作
時には画素◆群同士の差分絶対値の総和ＥＣ４を出力す
る。

【００３５】相関度決定手段１４は、図２に示すよう
に、選択器１４ａが第１〜第４の相関度演算ブロック１
３ａ〜１３ｄの出力ＥＣ１〜ＥＣ４または“０”をイネ
ーブル信号ＥＮに従って選択し、この選択値を加算器１
４ｂが加算する。このとき、選択器１４ａは、第１〜第
４の相関度演算ブロック１３ａ〜１３ｄのうち動作した
ものの出力のみを選択し、動作しなかったものについて
はその出力の代わりに“０”を選択する。このため、加
算器１４ｂからは、第１〜第４の相関度演算ブロック１
３ａ〜１３ｄのうち動作したものの出力の総和が出力さ
れる。ここで、画素Ａ群同士の差分絶対値の総和と画素
Ｂ群同士の差分絶対値の総和との加算値は、画素Ａ群お
よび画素Ｂ群に含まれる画素同士の差分絶対値の総和に
相当する。したがって、加算器１４ｂの出力は、動作し
た相関度演算ブロックに供給された画素群に含まれる画
素同士の差分絶対値の総和すなわち相関度評価値に相当
する。

【００３６】最小値検出回路１４ｃは加算器１４ｂから
出力された相関度評価値の中から最小値を検出するとと
もに、相関度評価値が最小になる候補ブロックに対応す
る動きベクトルを検出する。

【００３７】制御部２０は、符号化対象ブロックの画像
特徴情報Ｓ１および動きベクトル検出装置の使用状況情
報Ｓ２を基にして、相関度評価値の演算に必要になる画
素群を選択する。そして、必要になる画素群が供給され
る相関度演算ブロックのみをイネーブル信号ＥＮによっ
て動作させる。

【００３８】このように、本実施形態に係る動きベクト
ル検出装置は、画像特徴情報Ｓ１および使用状況情報Ｓ
２を基にして、符号化対象ブロックおよび探索範囲のう
ち相関度評価値の演算に必要になる画素群を選択し、こ
の選択した画素群のみについて相関度評価値の演算を行
い、動きベクトルを検出する。言い換えると、選択され
なかった画素群は符号化対象ブロックおよび探索範囲か
ら間引かれたことになり、したがって、サブサンプルを
用いた動きベクトル検出が可能になる。

【００３９】また、選択しなかった不要な画素群が供給
される相関度演算ブロックは動作させないので、動きベ
クトル検出を必要最小限の電力で行うことができる。

【００４０】図３は図１に示す動きベクトル検出装置を
備えた画像符号化装置の一例を示すブロック図である。
図３において、１は画像データから符号化データを生成
する画像符号化装置、４１は画像符号化装置１の電源と
なる電池、４２は画像符号化装置１を制御するＣＰＵ、
４３は画像符号化装置１に入力される画像データを前処
理する前処理部、４４は画像符号化装置１から出力され
た画像データを格納するフレームメモリである。

【００４１】画像符号化装置１は、処理ブロックとし
て、画像入力部３１、動きベクトル検出部１０、離散コ
サイン変換（ＤＣＴ）部３２、量子化部３３、可変長符
号化（ＶＬＣ）部３４およびローカル再生部３５を備え
ている。動きベクトル検出部１０は図１に示すような構
成からなる。ローカル再生部３５は量子化後データに対
して逆量子化および逆ＤＣＴを行って画像を再構成す
る。コントローラ３０は各処理ブロックを制御するもの
であり、メモリインターフェイス（Ｉ／Ｆ）部３６は各
処理ブロックとフレームメモリ４４との間のデータ転送
を行う。

【００４２】図１の制御部２０の機能は、図３の構成で
はコントローラ３０およびＣＰＵ４２が実現する。すな
わち、ＤＣＴ部３２もしくは動きベクトル検出部１０ま
たは前処理部４３から画像特徴情報Ｓ１を受け取るとと
もに、電池４１の残量などを使用状況情報Ｓ２として受
け取り、これらの情報Ｓ１，Ｓ２を基にして、動きベク
トル検出部１０におけるサブサンプルの設定を制御す
る。

【００４３】次に、画像特徴情報Ｓ１および使用状況情
報Ｓ２を基にしたサブサンプルの設定を、以下に説明す
る。

【００４４】図４（ａ），（ｂ）は画像と周波数成分と
の関係を示す図であり、横軸は画素の位置を、縦軸は各
画素の値を表している。同図中、（ａ）は各画素が画素
値Ａ，Ｂを１画素おきに有する画像を示す図である。こ
の画像は画素間隔２個分を周期とする周波数成分を有す
る。また図４（ｂ）は図４（ａ）の画像に対して１画素
おきのサブサンプルを行った結果の画像である。図４
（ａ），（ｂ）を比較すると、図４（ａ）の画像が有す
る，１画素おきに画素値が異なるという特徴が、１画素
おきのサブサンプルによって消えていることがわかる。

【００４５】また、画像によっては、その特徴が、サブ
サンプルの方向に応じて、消えたり消えなかったりする
場合がある。例えば、図５（ａ）に示すような符号化対
象ブロックの画像に対して水平方向に１画素おきのサブ
サンプルを行うと、図５（ｂ）のようになる。この場合
には、元の符号化対象ブロックの画像特徴はサブサンプ
ル後にも残っているので、動きベクトル検出の性能はさ
ほど低下しない。ところが図５（ａ）の画像に対して垂
直方向に１画素おきのサブサンプルを行うと、図５
（ｃ）に示すように、サブサンプル後には元の符号化対
象ブロックの画像特徴は残らない。この場合には、動く
ベクトル検出の性能は低下し、誤った動きベクトルを検
出するおそれがある。

【００４６】すなわち、サブサンプルを用いる場合、サ
ブサンプル後に元の画像の特徴が残っていないときは、
誤った動きベクトルを検出してしまうおそれがある。し
たがって、本実施形態では、符号化対象ブロックの周波
数成分を画像特徴情報Ｓ１として用いて、サブサンプル
の設定を行う。

【００４７】図１の構成において、画像の垂直方向に着
目したとき、画素○群および画素◇群（または画素●群
および画素◆群）を用いた評価値演算を行うことはサブ
サンプルなしの動きベクトル検出を行うことに相当し、
画素○群のみを用いた評価値演算を行うことは、１画素
おきのサブサンプルを行う動きベクトル検出を行うこと
に相当する。

【００４８】そこで例えば、符号化対象ブロックの画像
が、垂直方向において周期が画素間隔２個分の周波数成
分を有するときは、その周波数成分が消えないように、
垂直方向のサブサンプルは行わない。したがって、画素
○群および画素◇群（または画素●群および画素◆群）
を用いた評価値演算を行う。一方、符号化対象ブロック
の画像が、垂直方向において周期が画素間隔２個分の周
波数成分を有しないときは、画素○群のみを用いた評価
値演算を行う。画像の水平方向に着目したときにも、同
様にサブサンプルの設定を行えばよい。

【００４９】使用状況情報Ｓ２としては、画像符号化装
置が、携帯されて使用されているか、または据え置きで
使用されているかという情報が考えられる。すなわち、
据え置きで使用されている場合は、通常、電力を安定供
給することが可能であるので、サブサンプルを用いない
で、動きベクトル検出の性能を最大限に高めるのが好ま
しい。一方、携帯されて使用されている場合は、電池の
残量や、残りの使用予定時間に応じて、サブサンプルを
行う方が好ましいときがある。

【００５０】サブサンプルの設定について、具体的に説
明する。図６は本実施形態に係るサブサンプル設定処理
の流れを示すフローチャートである。

【００５１】ステップＳ１１において、ＣＰＵ４２は、
電池４１の残量を使用状況情報Ｓ２として受け取り、予
め設定されている使用時間などの情報と合わせて、消費
電力を低減する必要があるか否かを画像符号化装置１に
指示する。消費電力を低減する必要がないときは、消費
電力の低減よりも動きベクトル検出の性能を重視して、
サブサンプルを行わないで動きベクトル検出を実行す
る。

【００５２】消費電力を低減する必要があるときは、コ
ントローラ３０は画像特徴情報Ｓ１に基づいてサブサン
プルの設定を行う。ここでは、符号化対象ブロックに対
してＤＣＴ部３２によって求められたＤＣＴ成分を画像
特徴情報Ｓ１として用いる。離散コサイン変換はコサイ
ン関数を基底関数とした直交変換であり、その変換対象
に含まれる周波数成分を求める演算である。

【００５３】図７は符号化対象ブロックに対するＤＣＴ
成分の一例である。図７に示すようなＤＣＴ成分はこの
符号化対象ブロックの周波数成分の分布を表している。
すなわち図７において、左上に近い成分の値が大きいほ
ど、低周波成分が多いことを表し、反対に右下に近い成
分の値が大きいほど、高周波成分が多いことを表してい
る。

【００５４】また、横方向の成分値の変化が水平方向の
周波数分布を示しており、縦方向の成分値の変化が垂直
方向の周波数分布を示している。図７の例では、水平方
向の周波数は低く、垂直方向の周波数は高いので、水平
方向のサブサンプルは行うが、垂直方向のサブサンプル
は行わないのが好ましい。この場合には、図１の構成に
おいて、第１および第２の相関度演算ブロック１３ａ，
１３ｂのみを動作させることによって消費電力の低減を
実現する。

【００５５】ここでは、最上行の最左の２個の成分値の
和を水平周波数値ΣｆＨとし、最左行の最上の２個の成
分値の和を垂直周波数値ΣｆＶとする。そして、水平周
波数値ΣｆＨおよび垂直周波数値ΣｆＶを用いて、サブ
サンプルの設定を、垂直方向と水平方向においてそれぞ
れ行う。

【００５６】ステップＳ１２において、水平周波数値Σ
ｆＨが所定の値Ｈ０以上のときは、符号化対象ブロック
の水平方向の周波数は低いと判断して、水平方向のサブ
サンプルを行うものとする（Ｓ１３）。一方、水平周波
数値ΣｆＨが所定の値Ｈ０よりも小さいときは、符号化
対象ブロックの水平方向の周波数は高いと判断して、水
平方向のサブサンプルは行わない。

【００５７】ステップＳ１４において、垂直周波数値Σ
ｆＶが所定の値Ｖ０以上のときは、符号化対象ブロック
の垂直方向の周波数は低いと判断して、垂直方向のサブ
サンプルを行うものとする（Ｓ１５）。一方、垂直周波
数値ΣｆＶが所定の値Ｖ０よりも小さいときは、符号化
対象ブロックの垂直方向の周波数は高いと判断して、垂
直方向のサブサンプルは行わない。

【００５８】ステップＳ１６において、設定したサブサ
ンプルを用いて、動きベクトル検出を行う。

【００５９】動きベクトル検出を行う画像符号化装置
は、通常、ＤＣＴ部を備えているので、ＤＣＴ成分の演
算のために新たな機能を設ける必要はない。ただし、通
常の画像符号化処理のフローでは、ＤＣＴ演算は動きベ
クトル検出の後に行われる。このため本実施形態のよう
に、サブサンプルの設定のためにＤＣＴ成分を用いよう
とすると、元々実行することになっているＤＣＴ演算の
他に、サブサンプル設定のためのＤＣＴ演算を実行する
必要がある。このことは演算量の増大につながり、好ま
しくない。

【００６０】そこで、前処理部４３によって、符号化対
象ブロックのＤＣＴ成分などの画像特徴を予め抽出し、
これによりサブサンプルの設定を行ってもよい。例えば
ＣＰＵ４２が、前処理部４３から供給された画像特徴情
報Ｓ１を基にして、コントローラ３０を介して動きベク
トル検出におけるサブサンプルのモードを設定してもよ
い。またコントローラ３０が、前処理部４３から画像入
力部３１を介して供給された画像特徴情報Ｓ１を基にし
て、動きベクトル検出におけるサブサンプルのモードを
設定してもよい。

【００６１】または、動画像であっても、短時間におけ
る画像変化はほとんどないので、すでに演算されてい
る，対象フレームの前フレームにおける符号化対象ブロ
ックと同一位置のブロックに対するＤＣＴ成分を、サブ
サンプルの設定のために用いてもかまわない。また、あ
るブロックとその近傍のブロックとは、大抵の場合、同
様の画像特徴を有するので、符号化対象ブロックの近傍
のブロック、または対象フレームの前フレームにおける
符号化対象ブロックと同一位置の近傍のブロックのＤＣ
Ｔ成分を、サブサンプルの設定のために用いてもよい。

【００６２】また画像特徴情報Ｓ１としては、周波数成
分の他に、画像の動きの情報を利用することも考えられ
る。すなわち、人間の目の解像度は動きが速いものに対
しては低下するという性質を利用して、符号化対象ブロ
ックの動きが大きいときはサブサンプルを行い、小さい
ときはサブサンプルを行わないようにしてもよい。符号
化対象ブロックの動きを表す画像特徴情報Ｓ１として
は、すでに検出されている，対象フレームの前フレーム
における当該符号化対象ブロックと同一位置または近傍
のブロックの動きベクトルを用いればよい。

【００６３】なお、本実施形態では、符号化対象ブロッ
クおよび探索範囲の画像を４種類の画素群に分け、相関
度演算手段１３を４個の相関度演算ブロックによって構
成するものしたが、本発明はこのような構成に限られる
ものではない。例えば、サブサンプルにおける画素の間
引き方を、水平方向は１つおき、垂直方向は２つおきと
すると、符号化対象ブロックおよび探索範囲の画像を６
（＝２×３）種類の画素群に分ける必要がある。この場
合には、各画素群に応じて６個の相関度演算ブロックを
設ければよい。また、複数の画素群について、相関度演
算ブロックを共用してもかまわない。この場合には、相
関度演算ブロックの個数は画素群の個数よりも少なくな
る。

【００６４】ここで、動きベクトル検出部１０の演算量
は、画像符号化装置１の他の処理ブロックの演算量の１
００〜１０００倍程度になる。具体的な数値で示すと次
のようになる。ブロックマッチング法における評価値演
算の演算量は、（１画素当たりの演算数）×（符号化対
象ブロックの画素数）×（候補ブロック数）となる。１
画素当たりの演算（差分絶対値演算）に要する演算数を
３とし、符号化対象ブロックの画素数を２５６（＝１６
×１６）とし、候補ブロック数を１０２４とすると、符
号化対象ブロック１個当たりに要する演算量は「７８６
４３２」となる。水平７２０画素、垂直４８０画素で毎
秒３０画像表示される動画像には、１６×１６の符号化
対象ブロックが１秒間に４０５００個存在する。この結
果、動きベクトル検出部１０は約３１ＧＯＰもの莫大な
演算を行う必要があり、このために、膨大な電力を消費
する。すでに発表されている画像符号化ＬＳＩのレイア
ウトに鑑み、動きベクトル検出部１０の消費電力は、装
置全体の約１／２〜１／４に相当すると考えられる。

【００６５】このため、本願発明者は、画像符号化装置
全体の低消費電力化を実現するために、特に消費電力の
大きい動きベクトル検出部１０に着目した。そして、動
きベクトル検出の低消費電力化の手法の１つであるサブ
サンプルを採用し、さらに、画像符号化装置の使用状況
や画像の特徴に応じて適応的にサブサンプルを設定可能
にした。すなわち、携帯機器において電池残量が少なく
なったときのような消費電力の低減を要する場合には、
原則としてはサブサンプルを用いるが、高周波成分を有
する画像に対しては画質劣化を避けるためにサブサンプ
ルを用いないようにすることによって、画質を維持しつ
つ、消費電力の低減を実現したことが本発明の特徴であ
る。したがって、例えば、携帯機器などの電池を搭載し
た装置において、長時間モードや電池残量に応じた消費
電力制御などに、本発明は有効である。

【００６６】

【発明の効果】以上のように本発明によると、サブサン
プルの設定を、符号化対象ブロックの周波数成分などの
画像特徴情報や電池の残量などの使用状況情報に基づい
て行うので、検出性能や消費電力の面で、従来よりも適
切な動きベクトル検出が実行可能になる。また、動作さ
せる相関度演算ブロックをサブサンプルの設定に応じて
設定するので、動きベクトル検出を必要最小限の電力で
実行することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る動きベクトル検出装
置の構成を示すブロック図である。

【図２】図１に示す相関度決定手段の構成を示すブロッ
ク図である。

【図３】図１に示す動きベクトル検出装置を備えた画像
符号化装置の一例を示すブロック図である。

【図４】（ａ），（ｂ）は画像と周波数成分との関係を
示す図である。

【図５】（ａ）は符号化対象ブロックの画像の一例を示
す図、（ｂ）は（ａ）の画像に対し水平方向１画素おき
のサブサンプルを行った結果を示す図、（ｃ）は（ａ）
の画像に対し垂直方向１画素おきのサブサンプルを行っ
た結果を示す図である。

【図６】本発明の一実施形態に係るサブサンプル設定処
理の流れを示すフローチャートである。

【図７】符号化対象ブロックに対するＤＣＴ成分の一例
である。

【図８】ブロックマッチング法を示す概念図である。

【符号の説明】

１０ 動きベクトル検出部 １１ 第１の画像格納手段 １２ 第２の画像格納手段 １３ 相関度演算手段 １３ａ〜１３ｄ 第１〜第４の相関度演算ブロック １４ 相関度決定手段 １４ａ 選択器 １４ｂ 加算器（演算器） ２０ 制御部 ３０ コントローラ ３２ ＤＣＴ部 ４２ ＣＰＵ Ｓ１ 画像特徴情報 Ｓ２ 使用状況情報 ＭＶ 動きベクトル

フロントページの続き (56)参考文献 特開 昭63−296583（ＪＰ，Ａ) 特開 平５−49023（ＪＰ，Ａ) 特開 平２−33286（ＪＰ，Ａ) 特開 平９−23422（ＪＰ，Ａ) 特開 平９−162747（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (21)

(57)【特許請求の範囲】
1. 【請求項１】 符号化対象ブロックの画像を格納する第
   １の画像格納手段と、 探索範囲の画像を格納する第２の画像格納手段と、 符号化対象ブロックと探索範囲内の候補ブロックとの相
   関度を演算する複数の相関度演算ブロックを有し、各相
   関度演算ブロックは、それぞれ、符号化対象ブロックの
   画素のうちの相異なる画素群が前記第１の画像格納手段
   から供給されるとともに、この供給された画素群に対応
   する候補ブロックの画素群が前記第２の画像格納手段か
   ら供給され、供給された画素群同士で相関度演算を行う
   相関度演算手段と、 前記相関度演算手段に対し、前記複数の相関度演算ブロ
   ックのうちの少なくとも１つを選択して動作させる制御
   を行う制御部と、 前記制御部の制御によって動作した相関度演算ブロック
   の出力に基づいて、符号化対象ブロックと候補ブロック
   との相関度を求める相関度決定手段とを備えた動きベク
   トル検出装置。
2. 【請求項２】 請求項１記載の動きベクトル検出装置に
   おいて、 前記相関度決定手段は、 前記各相関度演算ブロックの出力を入力とし、前記制御
   部の制御によって動作した相関度演算ブロックの出力を
   選択して出力する選択器と、 前記選択器の出力に基づいて、符号化対象ブロックと候
   補ブロックとの相関度を演算する演算器とを備えたこと
   を特徴とする動きベクトル検出装置。
3. 【請求項３】 請求項１記載の動きベクトル検出装置に
   おいて、 前記制御部は、 動きベクトル検出の際にサブサンプルを行うときは、前
   記複数の相関度演算ブロックの一部を動作させる一方、
   サブサンプルを行わないときは、前記複数の相関度演算
   ブロックの全てを動作させることを特徴とする動きベク
   トル検出装置。
4. 【請求項４】 請求項１記載の動きベクトル検出装置に
   おいて、 前記制御部は、前記相関度演算ブロックの選択を、符号
   化対象ブロックの画像特徴情報に応じて行うものである
   ことを特徴とする動きベクトル検出装置。
5. 【請求項５】 請求項４記載の動きベクトル検出装置に
   おいて、 前記画像特徴情報は、当該符号化対象ブロックの画像の
   周波数成分であることを特徴とする動きベクトル検出装
   置。
6. 【請求項６】 請求項１記載の動きベクトル検出装置に
   おいて、 前記制御部は、前記相関度演算ブロックの選択を、当該
   動きベクトル検出装置の使用状況情報に応じて行うもの
   であることを特徴とする動きベクトル検出装置。
7. 【請求項７】 請求項６記載の動きベクトル検出装置に
   おいて、 前記使用状況情報は、この動きベクトル検出装置に対す
   る電力供給の情報であることを特徴とする動きベクトル
   検出装置。
8. 【請求項８】 請求項１〜７のいずれか記載の動きベク
   トル検出装置において、前記複数の相関度演算ブロック
   の個数は、４であることを特徴とする動きベクトル検出
   装置。
9. 【請求項９】対象フレームの符号化対象ブロックと、探
   索フレームの探索範囲における各候補ブロックとの相関
   度を演算する第１のステップと、 前記第１のステップにおいて演算した相関度を基にし
   て、前記符号化対象ブロックの動きベクトルを検出する
   第２のステップとを備え、 前記第１のステップは、符号化対象ブロックの画素を複
   数の相異なる画素群に分け、サブサンプルの設定に応じ
   て前記複数の画素群から少なくとも１つの画素群を選択
   し、選択した画素群とこれに対応する候補ブロックの画
   素群とで相関度演算を行うものであり、かつ、 相関度演算の際のサブサンプルの設定を、符号化対象ブ
   ロックの画像特徴情報を基にして行うことを特徴とする
   動きベクトル検出方法。
10. 【請求項１０】 請求項９記載の動きベクトル検出方法
    において、 前記符号化対象ブロックの周波数成分を、前記画像特徴
    情報として用いることを特徴とする動きベクトル検出方
    法。
11. 【請求項１１】 請求項９記載の動きベクトル検出方法
    において、 対象フレームの前フレームにおける当該符号化対象ブロ
    ックと同一位置または近傍のブロックのＤＣＴ成分を、
    前記画像特徴情報として用いることを特徴とする動きベ
    クトル検出方法。
12. 【請求項１２】 請求項９記載の動きベクトル検出方法
    において、 対象フレームの前フレームにおける当該符号化対象ブロ
    ックと同一位置または近傍のブロックの動きベクトル
    を、前記画像特徴情報として用いることを特徴とする動
    きベクトル検出方法。
13. 【請求項１３】 請求項９記載の動きベクトル検出方法
    において、 サブサンプルの設定を、前記画像特徴情報に加えて、当
    該方法を実施する装置の使用状況情報を基にして行うこ
    とを特徴とする動きベクトル検出方法。
14. 【請求項１４】 請求項１３記載の動きベクトル検出方
    法において、 当該方法を実施する装置が携帯されているか据え置きさ
    れているかを示す情報を、前記使用状況情報として用い
    ることを特徴とする動きベクトル検出方法。
15. 【請求項１５】 請求項１３記載の動きベクトル検出方
    法において、 当該方法を実施する装置の電源となる電池の残量を、前
    記使用状況情報として用いることを特徴とする動きベク
    トル検出方法。
16. 【請求項１６】対象フレームの符号化対象ブロックと、
    探索フレームの探索範囲における各候補ブロックとの相
    関度を演算する第１のステップと、 前記第１のステップにおいて演算した相関度を基にし
    て、前記符号化対象ブロックの動きベクトルを検出する
    第２のステップとを備え、 前記第１のステップは、符号化対象ブロックの画素を複
    数の相異なる画素群に分け、サブサンプルの設定に応じ
    て前記複数の画素群から少なくとも１つの画素群を選択
    し、選択した画素群とこれに対応する候補ブロックの画
    素群とで相関度演算を行うものであり、かつ相関度演算
    の際のサブサンプルの設定を、当該方法を実施する装置
    の使用状況情報を基にして行うことを特徴とする動きベ
    クトル検出方法。
17. 【請求項１７】 請求項１６記載の動きベクトル検出方
    法において、 当該方法を実施する装置が携帯されているか据え置きさ
    れているかを示す情報を、前記使用状況情報として用い
    ることを特徴とする動きベクトル検出方法。
18. 【請求項１８】 請求項１６記載の動きベクトル検出方
    法において、 当該方法を実施する装置の電源となる電池の残量を、前
    記使用状況情報として用いることを特徴とする動きベク
    トル検出方法。
19. 【請求項１９】動画像の動き補償符号化を行う画像符号
    化装置であって、 対象フレームの符号化対象ブロックと探索フレームの探
    索範囲における各候補ブロックとの相関度を演算し、演
    算した相関度を基にして、前記符号化対象ブロックの動
    きベクトルを検出する動きベクトル検出部を備え、 前記動きベクトル検出部は、符号化対象ブロックの画素
    を複数の相異なる画素群に分け、サブサンプルの設定に
    応じて前記複数の画素群から少なくとも１つの画素群を
    選択し、選択した画素群とこれに対応する候補ブロック
    の画素群とで相関度演算を行うものであり、かつ、相関
    度演算の際のサブサンプルの設定を、符号化対象ブロッ
    クの画像特徴情報を基にして行う画像符号化装置。
20. 【請求項２０】 請求項１９記載の画像符号化装置にお
    いて、 離散コサイン変換を行うＤＣＴ部を備え、 前記動きベクトル検出部は、 前記ＤＣＴ部によって求めた，対象フレームの前フレー
    ムにおける当該符号化対象ブロックと同一位置または近
    傍のブロックのＤＣＴ成分を、前記画像特徴情報として
    用いて、サブサンプルの設定を行うものであることを特
    徴とする画像符号化装置。
21. 【請求項２１】 請求項１９記載の画像符号化装置にお
    いて、 前記動きベクトル検出部は、 対象フレームの前フレームにおける当該符号化対象ブロ
    ックと同一位置または近傍のブロックの動きベクトル
    を、前記画像特徴情報として用いて、サブサンプルの設
    定を行うものであることを特徴とする画像符号化装置。