JP6114990B2 - 動画像符号化処理装置、プログラムおよび集積回路 - Google Patents

Description

本発明は、動き補償を用いる動画像符号化技術に関し、特に、動きベクトルの予測効率を向上させる技術に関する。

Ｈ．２６４に代表される動画像符号化方式では、動きベクトルの予測符号化処理を行うことで、動きベクトルを効率的に符号化し、効率良く動画像符号化処理を行う。具体的には、処理対象ブロックの周辺のブロックの動きベクトル値から、当該処理対象ブロックの予測動きベクトルｐｍｖ（ｐｒｅｄｉｃｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）が求められる。そして、当該予測動きベクトルｐｍｖに基づいて、探索範囲が決定され、当該探索範囲を探索することで（動き探索処理を実行することで）、処理対象ブロックの動きベクトルを決定する。

このように処理することで、Ｈ．２６４等の動画像符号化方式では、高精度かつ高速に動きベクトルが検出され、その結果、効率の良い動画像符号化処理が実現される。

動く物体の大きさが大きく変動しない動画像において、Ｈ．２６４等の動き探索処理を実行すると、効率良く動きベクトルを検出することができる。

一方、カメラズーム中の動画像等、動く物体の大きさが変動する動画像において、Ｈ．２６４等の動き探索処理を実行すると、効率良く動きベクトルを検出することができない場合がある。

そこで、カメラズーム中の動画像等においても、適切に動き探索処理を実行させるための技術が提案されている。

例えば、特許文献１の技術では、第１ブロックと、第１ブロックの中心から放射線状に延びる半直線上に位置する第２ブロックとの２つのブロックを用いて、リファレンスピクチャとカレントピクチャとの間で、ブロックマッチング処理を行うことで、カメラズーム中の動画像に対しても適切に動き探索処理を実行することができる。

特開２００９−４２９１５号公報

しかしながら、特許文献１の技術では、２つのブロックによるブロックマッチング処理を行うため、周辺の探索済みブロックの動きベクトルを参照することが困難である。そのため、特許文献１の技術では、カメラズーム中の動画像等に対して適切に動き探索処理を実行しようとすると、探索範囲を広くする必要があり、その結果、演算量が多くなり、処理時間を短くすることが困難となる。

そこで、本発明は、上記問題点に鑑み、カメラズーム中の動画像等においても、少ない演算量で、精度の高い動きベクトルの探索処理を実行することができる動画像符号化処理装置、プログラムおよび集積回路を実現することを目的とする。

上記課題を解決するために、第１の発明は、複数のフレーム画像からなる動画像信号を符号化する動画像符号化装置であって、ズームベクトル取得部と、物体動きベクトル取得部と、探索初期点算出部と、動き推定部と、を備える。

ズームベクトル取得部は、ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームによる動きを示すズームベクトルを取得する。

物体動きベクトル取得部は、フレーム画像上の処理対象ブロックの周辺ブロックの各ブロックについて決定された動きベクトルから、各ブロックについて決定されたズームベクトルを減算することで、周辺ブロックのブロックごとに、物体動きベクトルを取得する。

探索初期点算出部は、物体動きベクトル取得部により取得された周辺ブロックの物体動きベクトルと、処理対象ブロックのズームベクトルとに基づいて、処理対象ブロックの動き探索処理の初期点を決定する。

動き推定部は、探索初期点算出部により決定された初期点に基づいて、処理対象ブロックの動き探索処理を実行することで、処理対象ブロックの動きベクトルを推定する。

この動画像符号化装置では、物体動きベクトル取得部により、周辺ブロックのブロックごとに決定された動きベクトルから、ズームに動きを示すズームベクトルを（ベクトル）減算することで取得した物体動きベクトルが取得される。そして、この動画像符号化装置では、探索初期点算出部により、周辺ブロックの物体動きベクトルと、処理対象ブロックのズームベクトルとに基づいて、処理対象ブロックの動き探索処理の初期点が決定される。

これにより、処理対象ブロックの動き探索処理の初期点が精度よく決定される。つまり、周辺ブロックの物体動きベクトルは、ズームによる動きの影響を排除した動きを示すベクトルであるため、上記処理により、決定された処理対象ブロックの動き探索処理の初期点は精度のよいものとなる。

そして、この動画像符号化装置では、動き推定部により、精度の高い動き探索処理の初期点から動き探索処理が実行されるため、演算量を少なく抑えつつ、高精度に動き探索処理を実行することができる。

つまり、この動画像符号化装置では、ズームされているシーンが動画像として入力された場合であっても、ズーム情報に基づいて、ズームによる動きと、純粋な物体の動きとの両方を適切に把握し、動き予測を適切に行うことができる。

したがって、この動画像符号化装置では、例えば、カメラズーム中の動画像等においても、少ない演算量で、精度の高い動きベクトルの探索処理を実行することができ、効率のよい動画像符号化処理を実現することができる。

なお、「ブロック」とは、複数の画素から構成される。

第２の発明は、第１の発明であって、周辺ブロックは、処理対象ブロックが含まれるフレーム画像と同一フレーム画像に含まれ、フレーム画像上において、処理対象ブロックの左上に隣接するブロックと、上に隣接するブロックと、左に隣接するブロックとを含む。

これにより、処理対象ブロックと同一フレーム画像に含まれる、上記位置の隣接ブロックを用いて、動画像符号化処理を実行することができる。

第３の発明は、第２の発明であって、周辺ブロックは、さらに、右上に隣接するブロックを含む。

これにより、上記位置の隣接ブロックを用いて、動画像符号化処理を実行することができる。

第４の発明は、第１から第３のいずれかの発明であって、ズーム機能を有するカメラ部をさらに備える。

ズームベクトル取得部は、カメラ部において設定されている、ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームベクトルを取得する。

これにより、カメラ部において設定されている、ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームベクトルを取得することができる。

第５の発明は、複数のフレーム画像からなる動画像信号を符号化する動画像符号化方法をコンピュータに実行させるためのプログラムである。動画像符号化方法は、ズームベクトル取得ステップと、物体動きベクトル取得ステップと、探索初期点算出ステップと、動き推定ステップと、を備える。

ズームベクトル取得ステップは、ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームによる動きを示すズームベクトルを取得する。

物体動きベクトル取得ステップは、フレーム画像上の処理対象ブロックの周辺ブロックの各ブロックについて決定された動きベクトルから、各ブロックについて決定されたズームベクトルを減算することで、周辺ブロックのブロックごとに、物体動きベクトルを取得する。

探索初期点算出ステップは、物体動きベクトル取得部により取得された周辺ブロックの物体動きベクトルと、処理対象ブロックのズームベクトルとに基づいて、処理対象ブロックの動き探索処理の初期点を決定する。

動き推定ステップは、探索初期点算出部により決定された初期点に基づいて、処理対象ブロックの動き探索処理を実行することで、処理対象ブロックの動きベクトルを推定する。

これにより、第１の発明と同様の効果を奏する動画像符号化方法をコンピュータに実行させるためのプログラムを実現することができる。

第６の発明は、複数のフレーム画像からなる動画像信号を符号化する動画像符号化処理を行うための集積回路であって、ズームベクトル取得部と、物体動きベクトル取得部と、探索初期点算出部と、動き推定部と、を備える。

ズームベクトル取得部は、ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームによる動きを示すズームベクトルを取得する。

物体動きベクトル取得部は、フレーム画像上の処理対象ブロックの周辺ブロックの各ブロックについて決定された動きベクトルから、各ブロックについて決定されたズームベクトルを減算することで、周辺ブロックのブロックごとに、物体動きベクトルを取得する。

探索初期点算出部は、物体動きベクトル取得部により取得された周辺ブロックの物体動きベクトルと、処理対象ブロックのズームベクトルとに基づいて、処理対象ブロックの動き探索処理の初期点を決定する。

動き推定部は、探索初期点算出部により決定された初期点に基づいて、処理対象ブロックの動き探索処理を実行することで、処理対象ブロックの動きベクトルを推定する。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、カメラズーム中の動画像等においても、少ない演算量で、かつ、短い処理時間で、精度の高い動きベクトルの探索処理を実行することができる動画像符号化処理装置、プログラムおよび集積回路を実現することができる。

第１実施形態に係る動画像符号化システム１０００の概略構成図。 第１実施形態に係る動画像符号化装置Ｄ１の概略構成図。 探索初期点決定部２の概略構成図。 入力動画像（第Ｎフレーム画像および第Ｎ＋１フレーム画像）の一例を模式的に示す図。 入力動画像（第Ｎフレーム画像および第Ｎ＋１フレーム画像）におけるズーム処理について説明するための図。 入力動画像（第Ｎフレーム画像および第Ｎ＋１フレーム画像）におけるズーム処理について説明するための図。 入力動画像（第Ｎフレーム画像および第Ｎ＋１フレーム画像）において、周辺ブロックの動きベクトルについて説明するための図。 入力動画像（第Ｎフレーム画像および第Ｎ＋１フレーム画像）において、動き探索処理の初期点の決定方法について説明するための図。 入力動画像（第Ｎフレーム画像および第Ｎ＋１フレーム画像）において、動き探索処理の初期点の決定方法について説明するための図。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

＜１．１：動画像符号化処理システムの構成＞
図１は、第１実施形態に係る動画像符号化システム１０００の概略構成図である。

図２は、第１実施形態に係る動画像符号化システム１０００の動画像符号化装置Ｄ１の概略構成図である。

図３は、第１実施形態に係る動画像符号化装置Ｄ１の探索初期点決定部２の概略構成図である。

動画像符号化システム１０００は、図１に示すように、被写体光を集光し撮像することで撮像画像（動画像）信号を取得するカメラ部Ｃ１と、カメラ部Ｃ１により撮像された動画像信号に対してカメラ信号処理を実行するカメラ信号処理部Ｃ２と、カメラ部Ｃ１およびカメラ信号処理部Ｃ２を制御するカメラ制御部Ｃ３と、カメラ信号処理部Ｃ２から出力された動画像信号に対して、動画像符号化処理を実行し符号化信号Ｄｏｕｔを取得する動画像符号化装置Ｄ１と、を備える。

カメラ部Ｃ１は、被写体光を集光する光学系と、光学系により集光された被写体光を光電変換により、電気信号に変換する撮像素子と、を備える。

光学系は、例えば、ズームレンズ、フォーカスレンズ等の複数のレンズと、絞り等から構成され、カメラ制御部Ｃ３からの制御信号によりズーム機能やフォーカス調整機能を実現することができる。

撮像素子は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、光学系により集光された被写体光を電気信号に変換し、変換した電気信号を、動画像信号（撮像信号）として、カメラ信号処理部Ｃ２に出力する。

カメラ信号処理部Ｃ２は、カメラ部Ｃ１から出力される動画像信号（撮像信号）を入力し、入力された動画像信号に対して、カメラ信号処理（例えば、ホワイトバランス処理、ガンマ処理、輝度／色差信号への変換、輪郭強調の処理等）を実行する。そして、カメラ信号処理部Ｃ２は、カメラ信号処理後の動画像信号Ｄｉｎを、動画像符号化装置Ｄ１に出力する。

カメラ制御部Ｃ３は、カメラ部Ｃ１およびカメラ信号処理部Ｃ２の各機能部を制御する。カメラ制御部Ｃ３は、カメラ部Ｃ１の光学系の光学ズームの制御を行うとともに、光学ズームの状態についての情報であるズーム情報（ズーム倍率および画像上のズーム中心位置についての情報）ＺｏｏｍＩｎｆｏを動画像符号化装置Ｄ１の探索初期点決定部２に出力する。

動画像符号化装置Ｄ１は、図１に示すように、符号化部１と、探索初期点決定部２とを備える。

符号化部１は、図２に示すように、イントラ予測部１０１と、セレクタ１０２と、減算器１０３と、直交変換部１０４と、量子化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算器１０８と、記憶部１０９と、動き推定部１１０と、動き補償部１１１と、を備える。また、符号化部１は、図２に示すように、動きベクトル記憶部１１２と、動きベクトル予測処理部１１３と、減算器１１４と、可変長符号化部１１５と、を備える。

以下では、説明便宜のため、動画像信号Ｄｉｎ（複数の画像から構成される動画像を形成する信号）のうちの第Ｎ＋１番目（Ｎ：整数）のフレーム画像（第Ｎ＋１フレーム画像）を形成する画像信号が、動画像符号化装置Ｄ１の符号化部１に入力されている場合を例に説明する。

イントラ予測部１０１は、カメラ信号処理部Ｃ２から出力される動画像信号Ｄｉｎ（入力画像信号Ｄｉｎ）を入力する。イントラ予測部１０１は、入力画像信号Ｄｉｎに対して、同一画面内の符号化後の画素を用いて画面内予測を行い、予測画像信号を取得する。そして、イントラ予測部１０１は、取得した予測画像信号をセレクタ１０２に出力する。

セレクタ１０２は、イントラ予測部１０１からの出力と、動き補償部１１１からの出力とを、入力とし、切替信号ＳＷに基づいて、両者のいずれか一方を選択し、減算器１０３に出力する。具体的には、セレクタ１０２は、符号化部１において、イントラ符号化処理が実行される場合、イントラ予測部１０１からの出力を選択し、一方、インター符号化処理が実行される場合、動き補償部１１１からの出力を選択し、減算器１０３に出力する。

減算器１０３は、カメラ信号処理部Ｃ２から出力される動画像信号Ｄｉｎと、セレクタ１０２からの出力とを入力する。減算器１０３は、符号化部１において、イントラ符号化処理が実行される場合、入力画像信号Ｄｉｎと、イントラ予測部１０１から出力されるイントラ予測画像信号との差分画像信号である予測誤差信号ｄｉｆｆを取得し、取得した予測誤差信号ｄｉｆｆを直交変換部１０４に出力する。一方、減算器１０３は、符号化部１において、インター符号化処理が実行される場合、入力画像信号Ｄｉｎと、動き補償部１１１から出力される動き補償後の画像信号Ｄ＿ＭＣとの差分画像信号である予測誤差信号ｄｉｆｆを取得し、取得した予測誤差信号ｄｉｆｆを直交変換部１０４に出力する。

直交変換部１０４は、減算器１０３から出力される予測誤差信号ｄｉｆｆを入力する。直交変換部１０４は、入力された予測誤差信号ｄｉｆｆに対して、マクロブロック単位で直交変換（例えば、整数変換や離散コサイン変換（ＤＣＴ））を実行し、直交変換後の信号を量子化部１０５に出力する。

量子化部１０５は、直交変換部１０４から出力される直交変換後の信号を入力する。量子化部１０５は、直交変換部１０４から出力される直交変換後の信号に対して、量子化処理を実行し、量子化処理後の信号を、逆量子化部１０６および可変長符号化部１１５に出力する。

逆量子化部１０６は、量子化部１０５から出力される信号を入力し、当該信号に対して、逆量子化処理を実行する。そして、逆量子化部１０６は、逆量子化処理部後の信号を逆直交変換部１０７に出力する。

逆直交変換部１０７と、逆量子化部１０６から出力される信号を入力し、当該信号に対して、逆直交変換処理を実行する。これにより、逆直交変換部１０７は、直交変換部１０４に入力された予測誤差信号ｄｉｆｆと同様の信号（予測誤差信号ｄｉｆｆ’）を取得する。そして、逆直交変換部１０７は、逆直交変換処理後の信号（予測誤差信号ｄｉｆｆ’）を加算器１０８に出力する。

なお、予測誤差信号ｄｉｆｆ’は、予測誤差信号ｄｉｆｆを、直交変換、量子化処理、逆量子化処理、および、逆直交変換処理を行うことで取得される信号であり、直交変換、量子化処理等に伴う誤差を含む信号である。

加算器１０８は、逆直交変換部１０７から出力される信号と、セレクタ１０２から出力される信号とを入力とし、両者を加算する。これにより減算器１０３に入力される動画像信号Ｄｉｎと同様の動画像信号Ｄｉｎ’が取得される。加算器１０８は、取得した動画像信号Ｄｉｎ’を記憶部１０９に出力する。

記憶部１０９は、例えば、複数フレーム分の動画像信号（データ）を記憶することができるフレームメモリである。記憶部１０９は、加算器１０８から出力される動画像信号Ｄｉｎ’を記憶する。また、記憶部１０９は、基準フレーム（例えば、現フレームの１フレーム前のフレーム）の動画像信号Ｄ＿ｂａｓｅを動き推定部１１０および動き補償部１１１に出力する。

動き推定部１１０は、現フレームの動画像信号Ｄｉｎと、記憶部１０９から出力される基準フレームの動画像信号Ｄ＿ｂａｓｅと、探索初期点決定部２から出力される動き探索処理の初期点についての情報とを入力とする。動き推定部１１０は、現フレーム画像と基準フレーム画像とを用いて、探索初期点を探索初期点決定部２により決定された初期点として、動き探索処理を行い、例えば、マクロブロックごとに、動きベクトルを決定する（詳細は後述）。そして、動き推定部１１０は、決定した動きベクトルに関する情報と基準フレームに関する情報とを動き補償部１１１に出力する。また、動き推定部１１０は、決定した動きベクトルに関する情報を動きベクトル記憶部１１２および減算器１１４に出力する。

動き補償部１１１は、動き推定部１１０から出力される動きベクトルに関する情報および基準フレームに関する情報と、記憶部１０９から出力される基準フレームの動画像信号Ｄ＿ｂａｓｅとを入力する。動き補償部１１１は、基準フレーム画像の各画像領域を、動き推定部１１０に決定された動きベクトルに基づいて、シフトさせることで、動き補償後のフレーム画像を取得する。そして、動き補償部１１１は、動き補償後のフレーム画像を形成することができる動画像信号（動き補償後の動画像信号）Ｄ＿ＭＣを、セレクタ１０２に出力する。

動きベクトル記憶部１１２は、動き推定部１１０から出力される動きベクトルに関する情報を入力し、当該動きベクトルに関する情報を記憶する。そして、動きベクトル記憶部１１２に記憶された動きベクトルに関する情報は、探索初期点決定部２、および／または、動きベクトル予測処理部１１３から読み出すことができる。

動きベクトル予測処理部１１３は、動きベクトル記憶部１１２から、処理対象ブロック（フレーム画像（動画像）に含まれるブロック）の周辺のブロック（フレーム画像上において、処理ブロックの周辺のブロック）の動きベクトルに関する情報を読み出し、処理対象ブロックの予測動きベクトルｐｍｖ（ｐｒｅｄｉｃｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を取得する。そして、動きベクトル予測処理部１１３は、取得した予測動きベクトルｐｍｖに関する情報を減算器１１４に出力する。

減算器１１４は、動き推定部１１０から出力される動きベクトルに関する情報ＭＶ（処理対象ブロックの動きベクトルＭＶ）と、動きベクトル予測処理部１１３から出力される予測動きベクトルｐｍｖに関する情報とを入力する。減算器は、処理対象ブロックの動きベクトルＭＶと、予測動きベクトルｐｍｖとの差分ベクトルｄｉｆｆ＿ＭＶを取得し、取得した差分ベクトルｄｉｆｆ＿ＭＶに関する情報を可変長符号化部１１５に出力する。

可変長符号化部１１５は、量子化部１０５から出力される信号と減算器１１４から出力される差分ベクトルｄｉｆｆ＿ＭＶに関する情報とを入力する。可変長符号化部１１５は、量子化部１０５から入力され信号（量子化信号）および差分ベクトルｄｉｆｆ＿ＭＶに関する情報に対して可変長符号化処理（エントロピー符号化処理（例えば、ハフマン符号化処理や算術符号化処理））を行う。そして、可変長符号化部１１５は、可変長符号化処理後の信号Ｄｏｕｔを出力する。

探索初期点決定部２は、図３に示すように、ズームベクトル取得部２１と、物体動きベクトル取得部２２と、探索初期点算出部２３と、を備える。なお、探索初期点決定部２は、符号化部１から、処理対象ブロックについての情報を取得できるものとする。

ズームベクトル取得部２１は、カメラ制御部Ｃ３から出力されるズーム情報（ズーム倍率および画像上のズーム中心位置についての情報）ＺｏｏｍＩｎｆｏを入力し、当該ズーム情報ＺｏｏｍＩｎｆｏから、処理対象ブロックについてのズームによる動きベクトル（ズームによる動き量）を取得する。そして、ズームベクトル取得部２１は、取得した処理対象ブロックについてのズームによる動きベクトルに関する情報を探索初期点算出部２３に出力する。

物体動きベクトル取得部２２は、動きベクトル記憶部１１２から、処理対象ブロックの周辺ブロックの動きベクトルに関する情報を取得する。物体動きベクトル取得部２２は、周辺ブロックの各ブロックにおいて、動きベクトルからズームによる動きベクトルを減算したベクトル（これを「物体動きベクトル」という。）を取得する。そして、物体動きベクトル取得部２２は、周辺ブロックの各ブロックについて取得した物体動きベクトルに関する情報を探索初期点算出部２３に出力する。

探索初期点算出部２３は、ズームベクトル取得部２１から出力される処理対象ブロックについてのズームによる動きベクトルに関する情報と、物体動きベクトル取得部２２から出力される周辺ブロックの各ブロックについて取得した物体動きベクトルに関する情報とを入力する。探索初期点算出部２３は、処理対象ブロックについてのズームによる動きベクトルと、周辺ブロックの各ブロックについて取得した物体動きベクトルとに基づいて、動き探索処理の初期点を決定する。そして、探索初期点算出部２３は、決定した、処理対象ブロックについての動き探索処理の初期点についての情報を、符号化部１の動き推定部１１０に出力する。

＜１．２：動画像符号化システムの動作＞
以上のように構成された動画像符号化システム１０００の動作について、以下、説明する。

以下では、動画像符号化システム１０００のカメラ部Ｃ１において、球状の物体が水平方向に移動するシーンを撮像する場合を例に説明する。

図４は、上記シーンをカメラ部Ｃ１により撮像した動画像の第Ｎ番目と第Ｎ＋１番目のフレーム画像の５ブロック×５ブロックからなる画像領域を模式的に示す図である。なお、１ブロックは、例えば、１６画素×１６画素から構成される。

図４（ａ）に示すように、第Ｎフレーム画像において、球状の物体Ｊ１は、その中心点がα０点となる位置に存在している。そして、図４（ｂ）に示すように、第Ｎ＋１フレーム画像において、球状の物体Ｊ１は、その中心点がα１点となる位置に移動している。つまり、物体Ｊ１は、第Ｎフレームから第Ｎ＋１フレームの間に水平方向に移動している。

図４で示したシーンを、第Ｎフレームでは、ズーム倍率を１倍とし、第Ｎ＋１フレームでは、ズーム中心位置を図４のＦ点とし、ズーム倍率を１．５倍として、カメラ部Ｃ１により撮像した場合について、図５および図６を用いて説明する。

図５（ｂ）に示すように、ズームにより、α０点は、α２点に移動する。点ｘから点ｙへのベクトルをＶｅｃ（ｘ，ｙ）と表記すると、点Ｆから点α２へのベクトルＶｅｃ（Ｆ，α２）は、
Ｖｅｃ（Ｆ，α２）＝１．５×Ｖｅｃ（Ｆ，α０）
となる。

また、第Ｎフレームから第Ｎ＋１フレームまでの間にズーム倍率が「１」のまま、変化しない場合、物体Ｊ１の中心点の移動を示すベクトルは、Ｖｅｃ（α０，α１）である。第Ｎフレームから第Ｎ＋１フレームまでの間にズーム倍率を「１」から「１．５」にした場合、物体Ｊ１の中心点の移動量もＶｅｃ（α０，α１）のノルムの１．５倍となる。

つまり、上記の場合、点ｘの位置を示すベクトルをＰ（ｘ）と表記すると、
Ｐ（α３）＝Ｐ（Ｆ）＋１．５×Ｖｅｃ（Ｆ，α０）＋１．５×Ｖｅｃ（α０，α１）
となる。つまり、ズーム中心をＦ点とし、第Ｎフレームから第Ｎ＋１フレームまでの間にズーム倍率を「１」から「１．５」にした場合、物体Ｊ１の中心点は、α０点からα３点に移動することになる。つまり、図６に示す状態となる。

以下では、図６に示す場合、すなわち、第Ｎフレームにおいて、ズーム倍率が「１」であり、第Ｎ＋１フレームにおいて、ズーム中心がＦ点で、ズーム倍率が「１．５」である場合について、説明する。つまり、第Ｎフレームに対応する時刻において、カメラ部Ｃ１において、図６（ａ）に示す画像が、ズーム倍率「１」で撮像され、次のフレーム、つまり、第Ｎ＋１フレームに対応する時刻において、カメラ部Ｃ１において、図６（ｂ）に示す画像が、ズーム倍率「１．５」で撮像された場合について、以下、説明する。また、以下では、動画像符号化装置Ｄ１において、インター符号化処理が実行されているものとして、説明する。

カメラ部Ｃ１により撮像された第Ｎ＋１フレーム画像を形成する動画像信号は、カメラ信号処理部Ｃ２を経て、動画像符号化装置Ｄ１に入力される。

第Ｎ＋１フレームの動画像信号Ｄｉｎは、符号化部１の減算器１０３と、動き推定部１１０とに入力される。

現マクロブロック（処理対象マクロブロック）がインター符号化処理される場合、セレクタ１０２では、制御信号ＳＷにより、図１の「０」端子側が選択される。この場合、減算器１０３では、動画像信号Ｄｉｎから、動き補償部１１１から出力される動き補償後の動画像信号Ｄ＿ＭＣを減算することで、予測誤差信号ｄｉｆｆが取得される。すなわち、減算器１０３では、
ｄｉｆｆ＝Ｄｉｎ−Ｄ＿ＭＣ
に相当する処理（差分画像を取得する処理）が実行される。

直交変換部１０４では、予測誤差信号ｄｉｆｆに対して、直交変換（例えば、整数変換やＤＣＴ）が実行される。そして、直交変換後の信号が量子化部１０５に出力される。

量子化部１０５では、直交変換後の信号に対して、量子化処理が実行される。

量子化部１０５により量子化された信号は、可変長符号化部１１５および逆量子化部１０６に出力される。

量子化部１０５により量子化された信号は、逆量子化部１０６により逆量子化され、さらに、逆直交変換部１０７により逆直交変換が実行される。

逆直交変換された信号ｄｉｆｆ’は、加算器１０８に入力され、加算器１０８にて、セレクタ１０２からの出力Ｄ＿ＭＣと加算される。つまり、加算器１０８では、
Ｄｉｎ’＝ｄｉｆｆ’＋Ｄ＿ＭＣ
により動画像信号Ｄｉｎ’が取得される。

そして、動画像信号Ｄｉｎ’は、加算器１０８から記憶部１０９に出力される。

記憶部１０９では、加算器１０８から出力される動画像信号Ｄｉｎ’が記憶される。

探索初期点決定部２のズームベクトル取得部２１では、カメラ制御部Ｃ３から入力されたズーム情報ＺｏｏｍＩｎｆｏから、現フレーム（第Ｎ＋１）フレームでのズーム中心点およびズーム倍率の情報が入力される。本実施形態では、ズーム中心は、図６に示すＦ点であり、現フレーム（第Ｎ＋１）フレームでのズーム倍率は１．５倍である。

なお、説明便宜のために、処理対象ブロックは、図７に示すＭＢ４、つまり、第Ｎフレーム画像において、物体Ｊ１の中心点α０点を含むブロックであるものとする。また、処理対象ブロックＭＢ４の周辺ブロックを、図７のブロックＭＢ０（処理対象ブロックの左上のブロック）、ＭＢ１（処理対象ブロックの上のブロック）、ＭＢ２（処理対象ブロックの右上のブロック）、ＭＢ３（処理対象ブロックの左のブロック）として、以下説明する。

ズームベクトル取得部２１では、処理対象ブロックＭＢ４のズームによる移動量を取得する。つまり、ズームによる移動ベクトルＡ４を取得する。つまり、図５を用いて説明したように、ＭＢ４の中心点であるα０点は、ズームにより、α２点に移動するので、ズームによる移動ベクトルＡ４は、
Ａ４＝Ｖｅｃ（α０，α２）
となる。

上記のようにして取得した処理対象ブロックＭＢ４のズームによる移動ベクトルＡ４についての情報は、探索初期点算出部２３に出力される。

物体動きベクトル取得部２２では、既に処理済みの周辺ブロックＭＢ０〜ＭＢ３の動きベクトルＣ０〜Ｃ３およびズームベクトルＡ０〜Ａ３が、動きベクトル記憶部１１２から読み出される。

なお、ブロックＭＢｘのズームによる移動ベクトル（以下、「ズームベクトル」という。）を「Ａｘ」と表記し、ブロックＭＢｘの動きベクトルを「Ｃｘ」と表記し、動きベクトルＣｘからズームベクトルＡｘを減算したベクトル（物体動きベクトル）を「Ｂｘ」と表記する。

また、動きベクトル記憶部１１２には、各ブロックの動きベクトルＣｘの他にズームベクトルＡｘも記憶されているものとする。

物体動きベクトル取得部２２では、以下のベクトル演算により、既に処理済みの周辺ブロックＭＢ０〜ＭＢ３の物体動きベクトルＢ０〜Ｂ３を取得する。

Ｂ０＝Ｃ０―Ａ０
Ｂ１＝Ｃ１―Ａ１
Ｂ２＝Ｃ２―Ａ２
Ｂ３＝Ｃ３―Ａ３
そして、上記ベクトル演算により取得した周辺ブロックＭＢ０〜ＭＢ３の物体動きベクトルＢ０〜Ｂ３についての情報は、探索初期点算出部２３に出力される。

探索初期点算出部２３では、処理対象ブロックＭＢ４のズームベクトルＡ４と、周辺ブロックＭＢ０〜ＭＢ３の物体動きベクトルＢ０〜Ｂ３とに基づいて、動き探索処理の初期点を算出する。具体的には、探索初期点算出部２３は、物体動きベクトルＢ０〜Ｂ３の平均ベクトルＢａｖｅを取得し、取得したＢａｖｅを、処理対象ブロックＭＢ４のズームベクトルＡ４にベクトル加算することで、動き探索処理の初期点を算出する。すなわち、動き探索処理の初期点を点Ｓとし、点Ｓの位置を示すベクトルをＰ（Ｓ）とすると、下記のベクトル演算により、動き探索処理の初期点Ｓを決定する。

Ｐ（Ｓ）＝Ｐ（α０）＋Ａ４＋Ｂ４＿ｉｎｉｔ
Ｂ４＿ｉｎｉｔ＝Ｂａｖｅ
上記により決定された動き探索処理の初期点Ｓについての情報は、符号化部１の動き推定部１１０に出力される。

なお、探索初期点算出部２３は、ベクトル（Ａ４＋Ｂ４＿ｉｎｉｔ（＝Ａ４＋Ｂａｖｅ））についての情報を、符号化部１の動き推定部１１０に出力するようにしてもよい。

動き推定部１１０では、現フレーム画像（第Ｎ＋１フレーム画像）と記憶部１０９から読み出された基準フレーム画像（本実施形態では、第Ｎフレーム画像とする。）とを用いて、動き探索処理が実行される。そして、当該動き探索処理の初期点は、探索初期点決定部２から出力された初期点Ｓとする。なお、探索初期点決定部２から出力される情報が、ベクトル（Ａ４＋Ｂ４＿ｉｎｉｔ（＝Ａ４＋Ｂａｖｅ））についての情報であるときは、動き推定部１１０は、処理対象ブロックの中心点（点α０）に上記ベクトル（Ａ４＋Ｂ４＿ｉｎｉｔ（＝Ａ４＋Ｂａｖｅ））をベクトル加算することで、初期点Ｓを算出する。

動き推定部１１０では、上記初期点Ｓを探索初期点として、探索範囲（例えば、±ｋ画素（ｋ：自然数）の領域）において、動き探索処理が実行される。具体的には、参照フレーム（第Ｎ＋１フレーム）において、基準フレーム（第Ｎフレーム）の処理対象ブロックＭＢ４と類似する画像領域を、上記初期点Ｓを中心とする上記探索範囲において、上記初期点Ｓに近い領域から探索する。つまり、基準フレーム（第Ｎフレーム）の処理対象ブロックＭＢ４と探索した画像領域とのを用いてコスト計算し（例えば、ＳＡＤ（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）値を算出し）、算出したコストが所定の閾値以下となる画像領域を決定する。そして、決定した画像領域と処理対象ブロックＭＢ４との位置のずれから動きベクトルを決定する。このようにして決定した動きベクトルを処理対象ブロックの動きベクトルについての情報は、動き推定部１１０から動きベクトル記憶部１１２および減算器１１４に出力される。

なお、動き推定部１１０は、処理対象ブロックＭＢ４の動きベクトルＭＶの情報として、動きベクトルＣ４と、ズームベクトルＡ４とに関する情報を、動きベクトル記憶部１１２に出力する。

そして、動きベクトル記憶部１１２では、処理対象ブロックＭＢ４の動きベクトルＭＶに関する情報として、動きベクトルＣ４およびズームベクトルＡ４を特定できる状態で（特定できるデータとして）記憶する。

ここで、動き推定部１１０での具体的な処理について、図７を用いて、説明する。

図７に示すように、基準フレーム（第Ｎフレーム）のＭＢ０と類似する参照フレーム（第Ｎ＋１フレーム）の画像領域は、図７（ｂ）の画像領域ＭＢ０’である。

また、基準フレーム（第Ｎフレーム）のＭＢ１と類似する参照フレーム（第Ｎ＋１フレーム）の画像領域は、図７（ｂ）の画像領域ＭＢ１’である。

また、基準フレーム（第Ｎフレーム）のＭＢ２と類似する参照フレーム（第Ｎ＋１フレーム）の画像領域は、図７（ｂ）の画像領域ＭＢ２’である。

また、基準フレーム（第Ｎフレーム）のＭＢ３と類似する参照フレーム（第Ｎ＋１フレーム）の画像領域は、図７（ｂ）の画像領域ＭＢ３’である。

したがって、ＭＢ０〜ＭＢ３の動きベクトルは、図７（ｂ）に示す、ベクトルＣ０〜Ｃ３である。

図８は、第Ｎ＋１フレームにおける周辺ブロックＭＢ０〜ＭＢ３の動きベクトルＣ０〜Ｃ３と、ズームベクトルＡ０〜Ａ３と、物体動きベクトルＢ０〜Ｂ３とを明示した図である。

第Ｎフレームから第Ｎ＋１フレームまでの間にズーム倍率は、１倍から１．５倍に変化するので、図８（ｂ）に示すように、ズームベクトルは、ズーム中心点Ｆから各ＭＢの中心点へのベクトルを１．５倍にしたベクトルから、ズーム中心点Ｆから各ＭＢの中心点までのベクトルを減算したベクトルとなる。つまり、図８（ｂ）に示す、ベクトルＡ０〜Ａ４が、ブロックＭＢ０〜ＭＢ４のズームベクトルとなる。

そして、処理対象ブロックＭＢ４の周辺ブロックＭＢ０〜ＭＢ３の物体動きベクトルＢ０〜Ｂ３は、
Ｂ０＝Ｃ０−Ａ０
Ｂ１＝Ｃ１−Ａ１
Ｂ２＝Ｃ２−Ａ２
Ｂ３＝Ｃ３−Ａ３
により、図８（ｂ）に示すベクトルＢ０〜Ｂ３となる。

そして、探索初期点決定部２の探索初期点算出部２３により、処理対象ブロックＭＢ４の周辺ブロックＭＢ０〜ＭＢ３の物体動きベクトルＢ０〜Ｂ３の平均ベクトルＢａｖｅが算出され、ベクトルＢ＿ｉｎｉｔとして設定される。

Ｂ＿ｉｎｉｔ＝Ｂａｖｅ
そして、処理対象ブロックＭＢ４のズームベクトルＡ４に、上記ベクトルＢ＿ｉｎｉｔ（＝Ｂａｖｅ）を加算することで、動き探索処理の初期点Ｓが決定される。

図８（ｂ）に、処理対象ブロックＭＢ４のズームベクトルＡ４および上記ベクトルＢ＿ｉｎｉｔ（＝Ｂａｖｅ）を示す。図８（ｂ）から分かるように、処理対象ブロックＭＢ４のズームベクトルＡ４とベクトルＢ＿ｉｎｉｔ（＝Ｂａｖｅ）を加算したベクトルの先は、ほぼα３点と一致する。つまり、上記処理により決定された処理対象ブロックＭＢ４についての動き探索処理の初期点Ｓは、α３点とほぼ一致する点となる。

そして、動き推定部１１０では、上記Ｓ点から、処理対象ブロックＭＢ４についての動き探索処理を開始するので、すぐに、コストが所定の閾値以下となる画像領域を決定することができる。つまり、上記処理により決定された動き探索処理の初期点Ｓが、第Ｎ＋１フレーム画像において、物体Ｊ１の中心点（処理対象ブロックＭＢ４の中心点）α３とほぼ一致するため、少ない演算量で、動き探索処理を終了させることができる。その結果、高速かつ高精度に動き探索処理を実行することができる。

ちなみに、図９に、処理対象ブロックＭＢ４の周辺ブロックＭＢ０〜ＭＢ３の動きベクトルＣ０〜Ｃ３を平均したベクトルＣ４２により、処理対象ブロックＭＢ４の動き探索処理の初期点を求めた場合について示す。図９（ｂ）から分かるように、この場合、動き探索処理の初期点は、図９（ｂ）のα４点となり、α３点から、かなり離れた点になってしまう。したがって、α４点を初期点として動き探索処理が実行されるので、探索処理回数（コスト計算の回数）が多くなり、高速に処理を行うことができない。

これは、ズームに起因する画像の変化に適切に対応できないためである。

それに対して、本実施形態の探索初期点決定部２および動き推定部１１０では、ズームに起因する画像の変化を考慮しているため、少ない演算量で、高精度の動き探索処理が実現できる。すなわち、探索初期点決定部２では、処理対象ブロックＭＢ４の周辺ブロック（処理済みブロック）の動きベクトルＣ０〜Ｃ３から、それぞれのズームベクトルＡ０〜Ａ３を減算することで、純粋に物体の動きだけを反映させた物体動きベクトルＢ０〜Ｂ３が取得される。そして、物体動きベクトルＢ０〜Ｂ３を用いて予測したベクトルＢ４＿ｉｎｉｔ（上記では、Ｂ０〜Ｂ３の平均ベクトルＢａｖｅ）に基づいて、動き探索処理の初期点が決定される。

つまり、本実施形態の探索初期点決定部２および動き推定部１１０では、動きベクトルからズームによる移動量を排除して、純粋に、物体の動きを示すベクトルを取得することで、ズームされている場合であっても、高精度に、動き探索処理の初期点を予測することができる。

以上のようにして、決定された処理対象ブロックＭＢ４の動きベクトルＭＶの情報（動きベクトルＣ４およびズームベクトルＡ４に関する情報）は、動きベクトル記憶部１１２および減算器１１４に出力される。

動きベクトル予測処理部では、動きベクトル記憶部に記憶されている処理済みの周辺ブロックの動きベクトルを用いて、予測動きベクトルｐｍｖが取得される。予測動きベクトルｐｍｖは、例えば、処理済みの周辺ブロックの動きベクトルの中間値により決定される。

減算器１１４では、動きベクトル予測処理部により取得された予測動きベクトルｐｍｖと、処理対象ブロックの動きベクトルとの差分ベクトルｄｉｆｆ＿ＭＶが算出される。そして、算出された差分ベクトルｄｉｆｆ＿ＭＶに関する情報は、可変長符号化部１１５に出力される。

可変長符号化部１１５では、量子化部１０５から入力され信号（量子化信号）および差分ベクトルｄｉｆｆ＿ＭＶに関する情報に対して可変長符号化処理（エントロピー符号化処理（例えば、ハフマン符号化処理や算術符号化処理））が実行される。そして、可変長符号化処理後の信号Ｄｏｕｔが、可変長符号化部１１５から出力される。

以上のように、動画像符号化システム１０００では、カメラ部Ｃ１によりズームされているシーンが動画像として入力された場合であっても、ズーム情報に基づいて、ズームによる動きと、純粋な物体の動きとの両方を適切に把握し、動き予測を適切に行うことができる。

したがって、動画像符号化システム１０００では、カメラズーム中の動画像等においても、少ない演算量で、かつ、短い処理時間で、精度の高い動きベクトルの探索処理を実行することができる。そして、動画像符号化システム１０００では、精度の高い動きベクトルを探索できることにより、符号化効率を向上させることができる。

［他の実施形態］
上記実施形態では、処理対象ブロックの動き探索処理の初期点を、同一フレーム画像内の処理済みの周辺ブロックの動きベクトルの平均値（平均化した動きベクトル）に基づいて、予測する場合について、説明した。しかし、これに限定されることはなく、例えば、処理対象ブロックの動き探索処理の初期点を、同一フレーム画像内の処理済みの周辺ブロックの動きベクトルの中央値（メディアン値）に基づいて、予測するようにしてもよい。

また、上記実施形態では、処理対象ブロックの動き探索処理の初期点を決定する処理について、前方予測による処理を前提に説明したが、これに限定されることはなく、例えば、後方予測による処理や、両方向予測による処理により、処理対象ブロックの動き探索処理の初期点を決定する処理を実行するようにしてもよい。

また、上記実施形態では、処理対象ブロックＭＢ４の周辺ブロックをＭＢ０〜ＭＢ３として説明したが、これに限定されることはなく、例えば、処理対象ブロックの左上のブロック（ＭＢ０に対応）、上のブロック（ＭＢ１に対応）、および、左のブロック（ＭＢ３に対応）を周辺ブロックにしてもよい。

また、処理対象ブロックの大きさは、１６画素×１６画素、１６画素×８画素、８画素×１６画素、８画素×８画素等であってもよい。また、処理対象ブロックの大きさは、これら以外の大きさにしてもよい。

また、上記実施形態の動画像符号化装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る動画像符号化装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１０００ 動画像符号化システム
Ｃ１ カメラ部
Ｄ１ 動画像符号化装置
１ 符号化部
１１０ 動き推定部
２ 探索初期点決定部
２１ ズームベクトル取得部
２２ 物体動きベクトル取得部
２３ 探索初期点算出部

Claims (6)

1. 複数のフレーム画像からなる動画像信号を符号化する動画像符号化装置であって、
   ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームによる動きを示すズームベクトルを取得するズームベクトル取得部と、
   前記フレーム画像上の処理対象ブロックの周辺ブロックの各ブロックについて決定された動きベクトルから、前記各ブロックについて決定されたズームベクトルを減算することで、前記周辺ブロックのブロックごとに、物体動きベクトルを取得する物体動きベクトル取得部と、
   前記物体動きベクトル取得部により取得された前記周辺ブロックの前記物体動きベクトルと、前記処理対象ブロックのズームベクトルとに基づいて、前記処理対象ブロックの動き探索処理の初期点を決定する探索初期点算出部と、
   前記探索初期点算出部により決定された前記初期点に基づいて、前記処理対象ブロックの動き探索処理を実行することで、前記処理対象ブロックの動きベクトルを推定する動き推定部と、
   を備える動画像符号化装置。
2. 前記周辺ブロックは、前記処理対象ブロックが含まれるフレーム画像と同一フレーム画像に含まれ、前記フレーム画像上において、前記処理対象ブロックの左上に隣接するブロックと、上に隣接するブロックと、左に隣接するブロックとを含む、
   請求項１に記載の動画像符号化装置。
3. 前記周辺ブロックは、さらに、右上に隣接するブロックを含む、
   請求項２に記載の動画像符号化装置。
4. ズーム機能を有するカメラ部をさらに備え、
   前記ズームベクトル取得部は、前記カメラ部において設定されている、ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、前記ズームベクトルを取得する、
   請求項１から３のいずれかに記載の動画像符号化装置。
5. 複数のフレーム画像からなる動画像信号を符号化する動画像符号化方法をコンピュータに実行させるためのプログラムであって、
   ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームによる動きを示すズームベクトルを取得するズームベクトル取得ステップと、
   前記フレーム画像上の処理対象ブロックの周辺ブロックの各ブロックについて決定された動きベクトルから、前記各ブロックについて決定されたズームベクトルを減算することで、前記周辺ブロックのブロックごとに、物体動きベクトルを取得する物体動きベクトル取得ステップと、
   前記物体動きベクトル取得ステップにより取得された前記周辺ブロックの前記物体動きベクトルと、前記処理対象ブロックのズームベクトルとに基づいて、前記処理対象ブロックの動き探索処理の初期点を決定する探索初期点算出ステップと、
   前記探索初期点算出ステップにより決定された前記初期点に基づいて、前記処理対象ブロックの動き探索処理を実行することで、前記処理対象ブロックの動きベクトルを推定する動き推定ステップと、
   を備える動画像符号化方法をコンピュータに実行させるためのプログラム。
6. 複数のフレーム画像からなる動画像信号を符号化する動画像符号化処理を行うための集積回路であって、
   ズーム倍率と、フレーム画像上のズーム中心位置とに基づいて、ズームによる動きを示すズームベクトルを取得するズームベクトル取得部と、
   前記フレーム画像上の処理対象ブロックの周辺ブロックの各ブロックについて決定された動きベクトルから、前記各ブロックについて決定されたズームベクトルを減算することで、前記周辺ブロックのブロックごとに、物体動きベクトルを取得する物体動きベクトル取得部と、
   前記物体動きベクトル取得部により取得された前記周辺ブロックの前記物体動きベクトルと、前記処理対象ブロックのズームベクトルとに基づいて、前記処理対象ブロックの動き探索処理の初期点を決定する探索初期点算出部と、
   前記探索初期点算出部により決定された前記初期点に基づいて、前記処理対象ブロックの動き探索処理を実行することで、前記処理対象ブロックの動きベクトルを推定する動き推定部と、
   を備える集積回路。