JPWO2014155543A1 - 符号化装置、方法、プログラム、コンピュータシステム、記録媒体 - Google Patents

Abstract

画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減する。符号化装置（１００）は、４種類のＤｅｐｔｈ候補のうち、参照フレーム（ｒＦ）から分割される複数のＤｅｐｔｈ候補の中から、ＣＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。続けて、符号化装置（１００）は、対象フレーム（ｔＦ）から分割されるＣＵの動きベクトルを検出する際に、特定したＣＵのサイズに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレーム（ｔＦ）を分割するいずれかのＤｅｐｔｈ候補を選択する。

Description

本発明は、符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体に関する。

従来、動画像のうちの符号化対象となる対象フレームを分割した対象ブロックに類似するブロックを参照先となる参照フレームから探索し、対象ブロックから類似するブロックまでの空間的な位置の差を対象ブロックの動きベクトルとして検出する技術がある。また、符号化後の動画像の画質の劣化を抑制するために、対象ブロックのブロックサイズを可変にして動きベクトルを検出する技術がある。

関連する先行技術としては、たとえば、縮小符号化対象画像と縮小参照画像とを生成し、縮小符号化対象画像を複数個の領域に分割した縮小分割領域画像の領域動きベクトルの大きさと信頼度とに基づいて、符号化対象ブロックのサイズの候補を絞り込むものがある。また、動き補償予測方式の入力信号にフィルタ処理をした信号と動画像信号との差分情報から生成した評価値を基に選択した複数のブロックサイズについて差分情報から新たな評価値を算出し、新たな評価値を基に最適なブロックサイズを選択する技術がある。（たとえば、下記特許文献１、２を参照。）

特開２００６−１８０１９６号公報 特開２００７−０６０１６４号公報

しかしながら、従来技術によれば、対象ブロックのブロックサイズを可変にして、ブロックサイズの候補となるブロックサイズ候補ごとに動きベクトルの候補を求めると、動きベクトル検出にかかる演算量が増大する。

１つの側面では、本発明は、画質の劣化を抑制しつつ、動きベクトル検出にかかる演算量を削減することができる符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体を提供することを目的とする。

本発明の一側面によれば、一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、ブロックの動きベクトルが検出された際のブロックサイズを特定し、対象フレームから分割されるブロックの動きベクトルを検出する際に、特定したブロックサイズに基づいて、複数のブロックサイズ候補のうちの対象フレームを分割するいずれかのブロックサイズ候補を選択する符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体が提案される。

本発明の一態様によれば、画質の劣化を抑制しつつ、動きベクトル検出にかかる演算量を削減することを図ることができるという効果を奏する。

図１は、本実施の形態にかかる符号化装置の動作例を示す説明図である。 図２は、コンピュータシステムのハードウェアの一例を示すブロック図である。 図３は、符号化装置のハードウェア構成例を示すブロック図である。 図４は、ＣＴＢとＣＵの関係の一例を示す説明図である。 図５は、ＣＵの種類の一例を示す説明図である。 図６は、ＰＵの種類の一例を示す説明図である。 図７は、符号化装置の機能例を示すブロック図である。 図８は、参照フレームのＤｅｐｔｈの一例を示す説明図である。 図９は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第１の例を示す説明図である。 図１０は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第２の例を示す説明図である。 図１１は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第３の例を示す説明図である。 図１２は、対象フレームにおける動きベクトル検出処理手順の第１の例を示すフローチャートである。 図１３は、対象フレームにおける動きベクトル検出処理手順の第２の例を示すフローチャートである。 図１４は、第１動きベクトル検出処理手順の一例を示すフローチャートである。 図１５は、第２動きベクトル検出処理手順の一例を示すフローチャートである。

以下に図面を参照して、開示の符号化装置、コンピュータシステム、符号化方法、符号化プログラム、および記録媒体の実施の形態を詳細に説明する。

図１は、本実施の形態にかかる符号化装置の動作例を示す説明図である。符号化装置１００は、動きベクトルを検出するコンピュータである。符号化装置１００は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が定める規格に従って、フレームが分割されたブロックごとに動画像を符号化する。

ＨＥＶＣより前の規格である、Ｈ．２６４やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２は、動画像を構築する各フレームを、１６×１６［画素］のブロックで分割し、分割したブロックごとに、符号化処理を行う。これに対し、ＨＥＶＣは、分割するブロックのブロックサイズの自由度を高めた手法を提供する。

具体的に、ＨＥＶＣにおいて、フレームは、Ｎを整数として、Ｎ×Ｎ［画素］の正方形のブロックに分割される。Ｎ×Ｎ［画素］の正方形のブロックは、ＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼称される。ＨＥＶＣでは、Ｎを、６４とする。さらに、ＨＥＶＣにおいて、ＬＣＵは、ＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）に分割される。ＣＴＢは、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）というブロックに分割される。ＣＴＢとＣＵの関係は、図４にて後述する。ＣＵの複数のブロックサイズ候補としては、６４×６４［画素］と、３２×３２［画素］と、１６×１６［画素］と、８×８［画素］という４種類がある。

６４×６４［画素］のＣＵは、Ｄｅｐｔｈ０と定義される。３２×３２［画素］のＣＵは、Ｄｅｐｔｈ１と定義される。１６×１６［画素］のＣＵは、Ｄｅｐｔｈ２と定義される。８×８［画素］のＣＵは、Ｄｅｐｔｈ３と定義される。

以下、ＣＵのサイズを、「Ｄｅｐｔｈ」と称する。また、ＣＵのブロックサイズ候補を、以下、単に「Ｄｅｐｔｈ候補」と称する。図５にて、Ｄｅｐｔｈについて説明する。また、ＨＥＶＣにおいて、ＣＵは、さらに、フレーム間予測を行う単位として、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に分割される。ＰＵの種類については、図６にて後述する。

圧縮符号化方式における動きベクトル検出処理は、符号化対象の対象フレームにおいて、あるブロックの参照フレームに対する物体の位置座標が評価され、最も類似するブロックの位置座標が検出される。動きベクトルは、あるブロックの位置座標から最も類似するブロックの位置座標までを表す。

ここで、ＨＥＶＣが定める規格に従って符号化する装置は、複数のＤｅｐｔｈ候補の各々のＤｅｐｔｈ候補ごとにＣＵの動きベクトル候補を決定する処理を行う。そして、符号化する装置は、Ｄｅｐｔｈ候補ごとのＣＵの動きベクトル候補から、最も類似する動きベクトル候補を動きベクトルとして検出する。なお、具体的には、ＣＵが分割されたＰＵごとに動きベクトルが決定されることになるが、図１では、説明の簡略化のため、「ＣＵの動きベクトルを検出」と記述する。

具体的に、符号化を行う装置は、各々のＤｅｐｔｈ候補に従って分割したブロックの画素値と、参照フレーム上の探索範囲内の、動きベクトル候補が示す参照ブロックの画素値との差分を表す評価値を算出する。そして、符号化を行う装置は、評価値が最も小さい動きベクトル候補を、各々のＤｅｐｔｈ候補ごとのブロックの動きベクトル候補とする。続けて、符号化を行う装置は、各々のＤｅｐｔｈ候補ごとのブロックの動きベクトル候補から、評価値が最も小さい動きベクトル候補を、動きベクトルとして検出する。評価値の具体例については、図１４にて後述する。

これにより、ＨＥＶＣが定める規格に従って符号化する装置は、ＣＴＢ内のエッジ部分の近傍部分は詳細な単位となるＣＵのサイズで符号化するとともに、変化が平坦な部分は大きな単位となるＣＵのサイズで符号化する、ということが可能になる。しかしながら、ＨＥＶＣが定める規格に従って符号化すると、ＣＵのサイズごとに動きベクトル候補を求めるため、動きベクトル検出処理にかかる演算量が増大することになる。

そこで、本実施の形態にかかる符号化装置１００は、対象フレームのブロックの動きベクトル検出を行う際に、参照フレームのブロックの動きベクトル検出時に採用したブロックサイズに近似するブロックサイズを用いる。これにより、符号化装置１００は、符号化後の動画像の画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減することができる。

図１では、一連のフレームにおける符号化対象の対象フレームｔＦと、対象フレームｔＦの参照先となる参照フレームｒＦと、を表示する。一連のフレームは、空等の変化の少ないものを写した動画像であるとする。参照フレームｒＦは、既に符号化済のフレームである。図１に示す対象フレームｔＦは、図１に示す参照フレームｒＦに映った雲が左方向に移動した状態を写したものである。このように、参照フレームｒＦと対象フレームｔＦとは、似たような画像になる可能性が高い。

符号化装置１００は、参照フレームｒＦの、あるＣＴＢについて、４種類のＤｅｐｔｈ候補のうち、Ｄｅｐｔｈ１である３２×３２［画素］で分割されたブロックの動きベクトル候補が最も類似したとする。

そして、符号化装置１００は、参照フレームｒＦから分割される複数のＤｅｐｔｈ候補の中から、ＣＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。図１の例では、符号化装置１００は、ＣＵのサイズとしてＤｅｐｔｈを特定する。

続けて、符号化装置１００は、対象フレームｔＦから分割されるＣＵの動きベクトルを検出する際に、特定したＣＵのサイズに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。いずれかのＤｅｐｔｈ候補は、１つでもよいし、複数でもよい。

図１の例では、符号化装置１００は、複数のＤｅｐｔｈ候補のうちの、Ｄｅｐｔｈ１に近似する、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２をいずれかのＤｅｐｔｈ候補として選択する。Ｄｅｐｔｈ候補を選択後、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補ごとに、選択したＣＵのサイズで分割したＣＵごとに動きベクトル候補を決定する。

このように、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補の動きベクトル候補に絞って動きベクトル候補を求めることにより、画質の劣化を抑制して、動きベクトル検出にかかる演算量を削減することができる。ここで、複数のＤｅｐｔｈ候補の動きベクトル候補を決定して、動きベクトルを検出する処理を、第１動きベクトル検出処理とする。また、複数のＤｅｐｔｈ候補のうちの選択したいずれかのＤｅｐｔｈ候補の動きベクトル候補を決定して、動きベクトルを検出する処理を、第２動きベクトル検出処理とする。以下、図２〜図１５を用いて、符号化装置１００について説明する。

（コンピュータシステム２００のハードウェア構成例）
次に、符号化装置１００が適用されるコンピュータシステム２００のハードウェアの一例について説明する。コンピュータシステム２００は、たとえば、動画像を記録・再生する機能を有するシステムであり、具体的には、たとえば、パーソナル・コンピュータ、テレビジョン、レコーダ、スマートフォン、ビデオカメラ、デジタルカメラなどである。

図２は、コンピュータシステムのハードウェアの一例を示すブロック図である。図２において、コンピュータシステム２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、を含む。また、コンピュータシステム２００は、撮像素子２０４と、撮像素子Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）２０５と、操作パネル２０６と、記録メディア２０７と、外部Ｉ／Ｆ２０８と、符号化装置１００とを含む。

また、コンピュータシステム２００は、ディスプレイ２０９と、ディスプレイ出力Ｉ／Ｆ２１０とを含む。また、ＣＰＵ２０１〜ＲＡＭ２０３と、撮像素子Ｉ／Ｆ２０５と、外部Ｉ／Ｆ２０８と、ディスプレイ出力Ｉ／Ｆ２１０と、符号化装置１００とは、バス２１１で相互に接続される。

ＣＰＵ２０１は、コンピュータシステム２００の全体の制御を司る演算処理装置である。ＲＯＭ２０２は、コンピュータシステム２００のブートプログラムなどのプログラムを記憶する不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される揮発性メモリである。

撮像素子２０４は、対象物から発した光を電気信号に変換する装置である。たとえば、撮像素子２０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。

撮像素子Ｉ／Ｆ２０５は、記録時に撮像素子２０４を制御することにより、撮像素子２０４からの信号を画像フォーマットに変換してＲＡＭ２０３に格納する装置である。操作パネル２０６は、コンピュータシステム２００が有する液晶タッチパネルや操作ボタンである。記録メディア２０７は、フラッシュＲＯＭ等といった記憶装置である。また、記録メディア２０７は、本実施の形態にかかる符号化プログラムを記録してもよい。外部Ｉ／Ｆ２０８は、操作パネル２０６、および記録メディア２０７を制御する。また、外部Ｉ／Ｆ２０８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介して、コンピュータシステム２００以外の他の装置に接続されてもよい。

ディスプレイ２０９は、撮像素子２０４が記録した画像フォーマットを表示する。ディスプレイ出力Ｉ／Ｆ２１０は、ディスプレイ２０９の制御を行う。

図３は、符号化装置のハードウェア構成例を示すブロック図である。符号化装置１００は、予測誤差信号生成部３０１と、整数変換部３０２と、量子化部３０３と、エントロピー符号化部３０４と、逆量子化部３０５と、逆整数変換部３０６と、参照フレーム生成部３０７と、ループフィルタ処理部３０８を有する。さらに符号化装置１００は、フレームメモリ３０９と、フレーム内予測部３１０と、動き検出部３１１と、動き補償部３１２と、予測画像選択部３１３とを有する。

入力動画像は、動画像を形成する各フレームの分割に四分木ブロック分割が採用されたものとする。予測誤差信号生成部３０１は、入力動画像のうちの対象フレームｔＦと予測画像信号とが入力され、対象フレームｔＦと予測フレームとなる参照フレームｒＦの差分を演算することにより、予測誤差信号を生成する。

整数変換部３０２は、予測誤差信号生成部３０１からの予測誤差信号を整数変換した信号を出力する。量子化部３０３は、整数変換部３０２からの出力信号を量子化する。量子化部３０３の処理により、予測誤差信号の符号量が低減される。

エントロピー符号化部３０４は、量子化部３０３からの量子化データと、フレーム内予測部３１０からの出力データと、動き検出部３１１から出力される動きベクトルの情報とをエントロピー符号化し、対象フレームｔＦに対する符号化画像データを出力する。入力動画像の各フレームに対して符号化画像データを出力したデータが、出力動画像となる。ここで、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方式を指す。

逆量子化部３０５は、量子化部３０３からの量子化データを逆量子化する。逆整数変換部３０６は、逆量子化部３０５からの出力データに逆整数変換処理を施す。逆整数変換部３０６の処理により、符号化前の予測誤差信号と同程度の信号を得ることができる。

参照フレーム生成部３０７は、動き補償部３１２により動き補償されたＰＵの画素値と、逆量子化部３０５および逆整数変換部３０６によって復号された予測誤差信号とを加算する。参照フレーム生成部３０７の処理により、動き補償された参照フレームｒＦのＰＵの画素値が生成される。

ループフィルタ処理部３０８は、ＰＵの画素値に対してデブロッキングフィルタ、サンプル・アダプティプ・オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）と適応型ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）処理を行って、ブロックノイズの発生を抑制した後、フレームメモリ３０９に蓄積する。

フレーム内予測部３１０は、同じフレームにおける周辺画素から、予測画像のマクロブロックを生成する。動き検出部３１１は、入力動画像の画素値と、フレームメモリ３０９から読み込んだ参照フレームｒＦのデータを基に動きベクトルを算出し、出力する。動き検出部３１１の詳細は、図７にて後述する。

動き補償部３１２は、動き検出部３１１から出力された動きベクトルに基づいて、フレームメモリ３０９から読み込んだ参照フレームｒＦのデータに対して動き補償することにより、動き補償された予測画像のＰＵを生成する。

予測画像選択部３１３は、フレーム内予測部３１０または動き補償部３１２のどちらか一方から出力される予測画像のマクロブロックを選択し、予測誤差信号生成部３０１および参照フレーム生成部３０７に出力する。次に、ＨＥＶＣにて定義されたＣＴＢと、ＣＵと、ＰＵとについて、図４〜図６を用いて説明する。

図４は、ＣＴＢとＣＵの関係の一例を示す説明図である。ＬＣＵは、変換や量子化などを行うサブブロックであるＣＴＢに分割される。ＣＴＢは、１６×１６［画素］と、３２×３２［画素］と、６４×６４［画素］の３種類がある。ＣＴＢが１６×１６［画素］である場合、ＣＵが取り得るＤｅｐｔｈは、Ｄｅｐｔｈ２とＤｅｐｔｈ３となる。また、ＣＴＢが３２×３２［画素］である場合、ＣＵが取り得るＤｅｐｔｈは、Ｄｅｐｔｈ１〜Ｄｅｐｔｈ３となる。

ＣＴＢは、画像データの特徴に合わせて、四分木（Ｑｕａｄ Ｔｒｅｅ）ブロック分割により再帰的に分割される。具体的に、ＣＴＢは、４つの領域に分割され、分割した領域がさらに４つの領域に細分される、という処理が繰り返される。この分割による領域が、ＣＵと呼ばれる。ＣＵが符号化処理の基本単位となる。四分木ブロック分割を採用した動画像は、画像中の変化が激しいエッジ部や、エッジ部分の近傍部分は詳細な単位のブロックで符号化され、変化が平坦な部分は大きな単位のブロックで符号化される、ということが可能となる。たとえば、四分木ブロック分割による符号化を行う装置は、符号化対象の動画像のある画像内の、物体の輪郭などが表示された箇所を細かな単位でより詳細に符号化し、空等の変化が少ない箇所を大まかな単位で符号化する、ということが可能である。ＣＵの種類について、図５を用いて説明する。

図５は、ＣＵの種類の一例を示す説明図である。ＣＵの種類は、図５に示すように、Ｄｅｐｔｈ０である６４×６４［画素］と、Ｄｅｐｔｈ１である３２×３２［画素］と、Ｄｅｐｔｈ２である１６×１６［画素］と、Ｄｅｐｔｈ３である８×８［画素］という４種類がある。ＣＵは、ＰＵという単位でフレーム間予測を行う。ＰＵの種類について、図６を用いて説明する。

図６は、ＰＵの種類の一例を示す説明図である。ＰＵは、ＣＵのＤｅｐｔｈごとに３つの種類がある。ＣＵは、一つ以上のＰＵを含む。ＰＵは、ＣＵと同一サイズと、横方向に２分割と、縦方向に２分割と、という３種類から選択することができる。

たとえば、ＣＵがＤｅｐｔｈ０の場合、ＰＵは、６４×６４［画素］と、６４×３２［画素］と、３２×６４［画素］という３種類がある。図６に示すように、ＰＵは、８×８［画素］から６４×６４［画素］までの１２種類がある。また、ＰＵのサイズを、「ＰＵサイズ」と呼称する。

（符号化装置１００の機能）
次に、符号化装置１００の機能について説明する。図７は、符号化装置の機能例を示すブロック図である。符号化装置１００は、判断部７０１と、特定部７０２と、選択部７０３と、算出部７０４と、検出部７０５と、を含む。

なお、判断部７０１〜検出部７０５は、記憶装置に記憶されたプログラムをＣＰＵ２０１が実行することにより、判断部７０１〜検出部７０５の機能を実現してもよい。記憶装置とは、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、記録メディア２０７などである。

また、符号化装置１００は、Ｄｅｐｔｈ候補テーブル７１１にアクセス可能である。Ｄｅｐｔｈ候補テーブル７１１は、符号化装置１００内の記憶領域、またはＲＯＭ２０２、ＲＡＭ２０３、記録メディア２０７、といった記憶装置に格納される。Ｄｅｐｔｈ候補テーブル７１１の記憶内容の一例は、図９〜図１１に示す。

判断部７０１は、対象フレームｔＦが一連のフレームにおける所定の順番のフレームであるか否かを判断する。また、判断部７０１は、対象フレームｔＦの画素値と、参照フレームｒＦの画素値との差分を表す値が所定の閾値未満か否かを判断してもよい。ここで、所定の順番や所定の閾値は、符号化装置１００の開発者または符号化装置１００の利用者によって指定される数値である。

たとえば、所定の順番は、２番目〜９番目、１１番目〜１９番目、…、となる。また、判断部７０１は、対象フレームｔＦが一連のフレームにおける所定の順番のフレームでないか否かを判断してもよい。このとき、所定の順番は、１番目、１０番目、２０番目、…となる。また、たとえば、判断部７０１は、対象フレームｔＦの画素値の平均と、参照フレームｒＦの画素値の平均との差分が、所定の閾値未満か否かを判断する。より詳細については、図１３にて後述する。なお、判断結果は、符号化装置１００内の記憶領域に記憶される。

特定部７０２は、参照フレームｒＦについて、参照フレームｒＦから分割されるブロックの複数のＤｅｐｔｈ候補の中から、ＣＵ内の各ＰＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。

また、特定部７０２は、判断部７０１によって対象フレームｔＦが所定の順番のフレームであると判断された場合、参照フレームｒＦから分割されるＤｅｐｔｈを特定してもよい。たとえば、特定部７０２は、判断部７０１が所定の順番として、２番目〜９番目、１１番目〜１９番目、…、のフレームであるとは判断した場合、参照フレームｒＦから分割されるＤｅｐｔｈを特定してもよい。なお、判断部７０１が、特定部７０２を実行しない場合を判断してもよい。

また、特定部７０２は、判断部７０１によって値が所定の閾値未満であると判断された場合、ブロックサイズを特定してもよい。なお、特定されたＤｅｐｔｈは、符号化装置１００内の記憶領域に記憶される。

選択部７０３は、対象フレームｔＦから分割されるＣＵ内の各ＰＵの動きベクトルを検出する際に、特定部７０２によって特定されたＤｅｐｔｈに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。具体的な選択手順は、図９〜図１１にて後述する。

また、特定部７０２によって参照フレームｒＦが分割されたブロックの動きベクトルが検出された際にＤｅｐｔｈが複数特定される場合がある。このとき、選択部７０３は、複数のＤｅｐｔｈの各々のＤｅｐｔｈのうちの相対的に小さいＤｅｐｔｈに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択してもよい。また、Ｄｅｐｔｈが複数特定された場合、選択部７０３は、複数のＤｅｐｔｈの各々のＤｅｐｔｈに従って分割されたＣＵの個数に基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択してもよい。なお、Ｄｅｐｔｈが複数特定された場合については、図８にて後述する。また、選択されたＤｅｐｔｈ候補は、符号化装置１００内の記憶領域に記憶される。

算出部７０４は、選択部７０３によって選択されたいずれかのＤｅｐｔｈ候補に対応して、対象フレームｔＦからいずれかのＤｅｐｔｈ候補に従って分割される各ＣＵの画素値と参照フレームｒＦ上の探索範囲内のブロックの画素値との差分を表す評価値を算出する。具体的な評価値の算出例は、後述する（２）式にて説明する。

検出部７０５は、算出部７０４によって算出されたいずれかのブロックサイズ候補に従って分割した各ブロックの評価値に基づいて、対象フレームｔＦが分割されたブロックの動きベクトルを検出する。具体的な検出の例は、図１４と図１５にて後述する。なお、算出された動きベクトルは、符号化装置１００内の記憶領域に記憶される。

図８は、参照フレームのＤｅｐｔｈの一例を示す説明図である。符号化装置１００は、参照フレームｒＦのＣＴＢに含まれるＣＵに基づいて、参照フレームｒＦのＤｅｐｔｈ結果を特定する。このとき、参照フレームｒＦのＤｅｐｔｈ結果が複数特定された場合について、図８の（ａ）と図８の（ｂ）について説明する。

図８の（ａ）では、符号化装置１００が、参照フレームｒＦのＣＴＢに含まれるＣＵのうちの、最もサイズが小さいＣＵに基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する例について説明する。図８の（ｂ）では、参照フレームｒＦのＣＴＢに含まれるＣＵのうちの、最も個数が多いＣＵに基づいて、対象フレームｔＦを分割するいずれかのブロックサイズ候補を選択する例について説明する。

図８の（ａ）が示すＣＴＢは、Ｄｅｐｔｈ１である３２×３２［画素］の３個のＣＵと、Ｄｅｐｔｈ２である１６×１６［画素］の４個のＣＵと、を含む。符号化装置１００は、Ｄｅｐｔｈが最も小さいＤｅｐｔｈ２に基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。

図８の（ｂ）が示すＣＴＢは、Ｄｅｐｔｈ１である３２×３２［画素］の２個のＣＵと、Ｄｅｐｔｈ２である１６×１６［画素］の７個のＣＵと、Ｄｅｐｔｈ３である８×８［画素］の４個のＣＵと、を含む。符号化装置１００は、最も個数が多いＤｅｐｔｈ２に基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。

次に、図９〜図１１を用いて、具体的なＤｅｐｔｈ候補の選択例を３つ説明する。図９〜図１１に示すＤｅｐｔｈ候補テーブル７１１は、ＤｅｐｔｈごとのＤｅｐｔｈ候補を記憶するテーブルである。図９〜図１１に示すＤｅｐｔｈ候補テーブル７１１は、表示の簡略化のため、各レコードの“Ｄｅｐｔｈ”を省略してある。Ｄｅｐｔｈ候補テーブル７１１の説明は、図９にて行う。

図９は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第１の例を示す説明図である。図９に示すＤｅｐｔｈ候補テーブル７１１は、レコード９０１−１〜レコード９０１−４を有する。

Ｄｅｐｔｈ候補テーブル７１１は、参照フレームＤｅｐｔｈと、対象フレームＤｅｐｔｈ候補という２つのフィールドを有する。参照フレームＤｅｐｔｈフィールドには、検索キーとなる参照フレームｒＦのＤｅｐｔｈ結果が格納される。対象フレームＤｅｐｔｈ候補フィールドは、図８にて説明した、特定した参照フレームＤｅｐｔｈに対応する、対象フレームｔＦのＤｅｐｔｈ候補の値が格納される。

たとえば、レコード９０１−２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ０〜Ｄｅｐｔｈ２であることを示す。

レコード９０１−２とレコード９０１−３は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ小さいＤｅｐｔｈと１つ大きいＤｅｐｔｈとを記憶する。

レコード９０１−１は、参照フレームＤｅｐｔｈが、Ｄｅｐｔｈが最も大きいＤｅｐｔｈ０であるため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２を記憶する。また、レコード９０１−１は、参照フレームＤｅｐｔｈフィールドにＤｅｐｔｈ０を記憶し、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０と、Ｄｅｐｔｈ１とを記憶してもよい。

図１０は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第２の例を示す説明図である。図１０に示すＤｅｐｔｈ候補テーブル７１１は、レコード１００１−１〜レコード１００１−４を有する。たとえば、レコード１００１−２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ０〜Ｄｅｐｔｈ２であることを示す。

レコード１００１−３とレコード１００１−４は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ大きいＤｅｐｔｈと２つ大きいＤｅｐｔｈとを記憶する。

レコード１００１−２は、参照フレームＤｅｐｔｈよりＤｅｐｔｈが２つ大きいＤｅｐｔｈがないため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２を記憶する。また、レコード１００１−２は、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０と、Ｄｅｐｔｈ１とを記憶してもよい。

このように、図１０に示すＤｅｐｔｈ候補テーブル７１１は、Ｄｅｐｔｈが大きくなるようにＤｅｐｔｈ候補を選択するため、符号化対象となる動画像が空等の変化の少ないものを撮影したものであれば、画質の劣化をより抑えることができる。

図１１は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第３の例を示す説明図である。図１１に示すＤｅｐｔｈ候補テーブル７１１は、レコード１１０１−１〜レコード１１０１−４を有する。たとえば、レコード１１０１−２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ１〜Ｄｅｐｔｈ３であることを示す。

レコード１１０１−１とレコード１１０１−２は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ小さいＤｅｐｔｈと２つ小さいＤｅｐｔｈとを記憶する。

レコード１１０１−３は、参照フレームＤｅｐｔｈより２つ小さいＤｅｐｔｈがないため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ１〜Ｄｅｐｔｈ３を記憶する。また、レコード１１０１−３は、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ２と、Ｄｅｐｔｈ３とを記憶してもよい。

このように、図１１に示すＤｅｐｔｈ候補テーブル７１１は、Ｄｅｐｔｈが小さくなるようにＤｅｐｔｈ候補を選択するため、符号化対象となる動画像がエッジが多い、変化の多いものを撮影したものであれば、画質の劣化をより抑えることができる。

図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１は、ＣＴＢが６４×６４［画素］であるときの記憶内容を示す。たとえば、ＣＴＢが３２×３２［画素］である場合、Ｄｅｐｔｈ候補テーブル７１１の対象フレームＤｅｐｔｈ候補フィールドには、２つのＤｅｐｔｈ、または１つのＤｅｐｔｈが格納される。

ここで、図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１の違いについて説明する。まず、図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１を採用した際の画質の劣化の抑制度合いについて説明する。画質の劣化をより抑制できる場合とは、第２動きベクトル検出処理により決定されたＤｅｐｔｈと第１動きベクトル検出処理により決定されたＤｅｐｔｈとが一致する確率が高いときである。符号化装置１００が図９と図１０とが示したＤｅｐｔｈ候補テーブル７１１を採用した場合、符号化装置１００が図１１で示すＤｅｐｔｈ候補テーブル７１１を採用した場合よりも、一致する確率が高くなる、という実験結果が得られた。

また、図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１のうち、符号化装置１００がどのＤｅｐｔｈ候補テーブル７１１を使用するかは、符号化装置１００の開発者が指定してもよいし、符号化装置１００の利用者が指定してもよい。

符号化装置１００の利用者が指定する場合、たとば、符号化装置１００は、ディスプレイ２０９に設定画面を表示して、Ｄｅｐｔｈ候補テーブル７１１のうち、使用するＤｅｐｔｈ候補テーブル７１１を選択するダイアログを表示する。そして、符号化装置１００は、符号化装置１００の利用者が符号化対象となる動画像の内容に応じて指定したＤｅｐｔｈ候補テーブル７１１の識別情報を受け付ける。たとえば、符号化対象となる動画像が、空等を撮影した動画像であれば、符号化装置１００の利用者は、図１０で示したＤｅｐｔｈ候補テーブル７１１を指定し、エッジが多い動画像であれば、図１１で示したＤｅｐｔｈ候補テーブル７１１を指定する。次に、図１２〜図１５を用いて、符号化装置１００が実行するフローチャートについて説明する。

まず、図１２と図１３とを用いて、対象フレームｔＦにおける動きベクトル検出処理のフローチャートを説明する。符号化装置１００は、図１２で示すフローチャートか図１３で示すフローチャートかのいずれかを採用して、動きベクトルを検出する。

図１２は、対象フレームにおける動きベクトル検出処理手順の第１の例を示すフローチャートである。対象フレームにおける動きベクトル検出処理は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出する処理である。

符号化装置１００は、対象フレームｔＦ内の、先頭のＬＣＵを選択する（ステップＳ１２０１）。次に、符号化装置１００は、対象フレームｔＦが先頭のフレームまたはリフレッシュされるフレームか否かを判断する（ステップＳ１２０２）。ここで、リフレッシュされるフレームとは、所定の順番以外のフレームである。

対象フレームｔＦが先頭のフレームまたはリフレッシュされるフレームである場合（ステップＳ１２０２：Ｙｅｓ）、符号化装置１００は、選択したＬＣＵ内の先頭のＣＴＢを選択する（ステップＳ１２０３）。次に、符号化装置１００は、第１動きベクトル検出処理を実行する（ステップＳ１２０４）。第１動きベクトル検出処理の詳細は、図１４にて後述する。続けて、符号化装置１００は、ＬＣＵ内の全てのＣＴＢを選択したか否かを判断する（ステップＳ１２０５）。まだ選択していないＣＴＢがある場合（ステップＳ１２０５：Ｎｏ）、符号化装置１００は、次のＣＴＢを選択する（ステップＳ１２０６）。そして、符号化装置１００は、ステップＳ１２０４の処理に移行する。

対象フレームｔＦが先頭のフレームでなく、かつ、リフレッシュされるフレームでない場合（ステップＳ１２０２：Ｎｏ）、符号化装置１００は、選択したＬＣＵ内の先頭のＣＴＢを選択する（ステップＳ１２０７）。次に、符号化装置１００は、第２動きベクトル検出処理を実行する（ステップＳ１２０８）。第２動きベクトル検出処理の詳細は、図１５にて後述する。続けて、符号化装置１００は、ＬＣＵ内の全てのＣＴＢを選択したか否かを判断する（ステップＳ１２０９）。まだ選択していないＣＴＢがある場合（ステップＳ１２０９：Ｎｏ）、符号化装置１００は、次のＣＴＢを選択する（ステップＳ１２１０）。そして、符号化装置１００は、ステップＳ１２０８の処理に移行する。

全てのＣＴＢを選択した場合（ステップＳ１２０５：Ｙｅｓ、ステップＳ１２０９：Ｙｅｓ）、符号化装置１００は、対象フレームｔＦ内の全てのＬＣＵを選択したか否かを判断する（ステップＳ１２１１）。まだ選択していないＬＣＵがある場合（ステップＳ１２１１：Ｎｏ）、符号化装置１００は、次のＬＣＵを選択する（ステップＳ１２１２）。そして、符号化装置１００は、ステップＳ１２０２の処理に移行する。

全てのＬＣＵを選択した場合（ステップＳ１２１１：Ｙｅｓ）、符号化装置１００は、対象フレームｔＦにおける動きベクトル検出処理を終了する。対象フレームにおける動きベクトル検出処理を実行することにより、符号化装置１００は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出することができる。

図１３は、対象フレームにおける動きベクトル検出処理手順の第２の例を示すフローチャートである。対象フレームにおける動きベクトル検出処理は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出する処理である。また、ステップ図１３に示すステップＳ１３０１、ステップＳ１３０３〜ステップＳ１３１２は、ステップＳ１２０１、ステップＳ１２０３〜ステップＳ１２１２と同一の処理であるため、説明を省略する。

ステップＳ１３０１、またはステップＳ１３１２の処理終了後、符号化装置１００は、ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度−参照フレームｒＦのＬＣＵの平坦度）が所定の閾値より大きいか否かを判断する（ステップＳ１３０２）。ここで、ＡＢＳ（）は、引数の絶対値を返す関数である。また、平坦度は、下記（１）式により求められる。

平坦度＝（ΣＡＢＳ（ＬＣＵ内の画素値−ＬＣＵ内の画素平均値））／ＬＣＵ内の総画素数 …（１）

ＬＣＵ内の画素値は、たとえば、輝度信号Ｙとなる。また、ＬＣＵ内の画素値は、色差信号Ｃｂ、Ｃｒでもよい。ＬＣＵ内の総画素数は、４０９６となる。また、（１）式の代わりに、平坦度は、ＬＣＵ内の画素値の平均でもよいし、ＬＣＵ内の画素値の分散でもよいし、ＬＣＵ内の画素値の標準偏差でもよい。

ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度−参照フレームｒＦのＬＣＵの平坦度）が所定の閾値より大きい場合（ステップＳ１３０２：Ｙｅｓ）、符号化装置１００は、ステップＳ１３０３の処理を実行する。一方、ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度−参照フレームｒＦのＬＣＵの平坦度）が所定の閾値以下の場合（ステップＳ１３０２：Ｎｏ）、符号化装置１００は、ステップＳ１３０７の処理に移行する。

対象フレームにおける動きベクトル検出処理を実行することにより、符号化装置１００は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出することができる。さらに、符号化装置１００は、平坦度の差分を比較することにより、対象フレームｔＦが参照フレームｒＦから大きく変化した場合に第１動きベクトル検出処理を行うことになる。したがって、参照フレームｒＦと対象フレームｔＦが類似しない場合に、全てのＤｅｐｔｈに対する動きベクトル検出処理を行うことになるため、符号化装置１００は、図１３に示すフローチャートより画質の劣化を抑制することができる。

図１４と図１５とでは、ＰＵの評価値とＣＵの評価値とを算出する。ＰＵの評価値とＣＵの評価値とは、ＭＥ（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）コストを評価値として用いる。ＭＥコストとは、動きベクトルの符号量や参照画像を指定するための符号量を見積もったものである。ＭＥコストであるＣｏｓｔの算出式は、下記（２）式となる。

Ｃｏｓｔ（Ｍｏｄｅ∈Ω）＝ＳＡＤ＋λ＊Ｒ …（２）

ただし、Ωは、当該ＰＵを符号化するための候補モードの全体集合である。ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）は、動きベクトル検出対象ブロックと参照フレームｒＦ中のブロックの各々対応する位置にある画素の値の差分絶対値を合計した差分絶対値和を示す。λは、量子化パラメータの関数として与えられるＬａｇｒａｎｇｅ未定乗数である。また、Ｒは、当該モードＭｏｄｅで符号化した場合の総符号量である。また、評価値には（２）式に限らず、ＳＡＤ、ＳＳＥ（Ｓｕｍｍａｔｉｏｎ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を使用してもよい。

図１４は、第１動きベクトル検出処理手順の一例を示すフローチャートである。第１動きベクトル検出処理は、全てのＤｅｐｔｈ候補の評価値を算出して、動きベクトルを決定する処理である。また、図１４では、ＣＴＢが６４×６４［画素］であるとする。

符号化装置１００は、Ｄｅｐｔｈ０の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０１）。具体的に、符号化装置１００は、６４×６４［画素］のＰＵの評価値と、６４×３２［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、３２×６４［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。評価値は、（２）式を用いて算出された値である。また、６４×３２［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「６４×３２［画素］のＰＵの評価値」とする。同様に、３２×６４［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「３２×６４［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ０の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ０のＰＵサイズを決定する（ステップＳ１４０２）。具体的に、符号化装置１００は、６４×６４［画素］のＰＵの評価値と、６４×３２［画素］のＰＵの評価値と、３２×６４［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ０のＰＵサイズに決定する。また、最小となった評価値を、Ｄｅｐｔｈ０の評価値とする。

続けて、符号化装置１００は、Ｄｅｐｔｈ１の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０３）。具体的に、符号化装置１００は、３２×３２［画素］のＰＵの評価値と、３２×１６［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、１６×３２［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ１は、４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０３の処理を４回繰り返す。また、３２×１６［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「３２×１６［画素］のＰＵの評価値」とする。同様に、１６×３２［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「１６×３２［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ１の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ１のＰＵサイズを決定する（ステップＳ１４０４）。具体的に、符号化装置１００は、３２×３２［画素］のＰＵの評価値と、３２×１６［画素］のＰＵの評価値と、１６×３２［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ１のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ１の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ１は、４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０４の処理を４回繰り返す。

続けて、符号化装置１００は、Ｄｅｐｔｈ２の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０５）。具体的に、符号化装置１００は、１６×１６［画素］のＰＵの評価値と、１６×８［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、８×１６［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ２は、１６個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０５の処理を１６回繰り返す。また、１６×８［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「１６×８［画素］のＰＵの評価値」とする。同様に、８×１６［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「８×１６［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ２の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ２のＰＵサイズを決定する（ステップＳ１４０６）。具体的に、符号化装置１００は、１６×１６［画素］のＰＵの評価値と、１６×８［画素］のＰＵの評価値と、８×１６［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ２のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ２の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ２は、１６個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０６の処理を１６回繰り返す。

続けて、符号化装置１００は、Ｄｅｐｔｈ３の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０７）。具体的に、符号化装置１００は、８×８［画素］のＰＵの評価値と、８×４［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、４×８［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ３は、６４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０７の処理を６４回繰り返す。また、８×４［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「８×４［画素］のＰＵの評価値」とする。同様に、４×８［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「４×８［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ３の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ３のＰＵサイズを決定する（ステップＳ１４０８）。具体的に、符号化装置１００は、８×８［画素］のＰＵの評価値と、８×４［画素］のＰＵの評価値と、４×８［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ３のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ３の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ３は、６４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０８の処理を６４回繰り返す。

続けて、符号化装置１００は、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ３の決定したＰＵサイズの評価値に基づいて、動きベクトルを検出する（ステップＳ１４０９）。具体的に、符号化装置１００は、ステップＳ１４０２、ステップＳ１４０４、ステップＳ１４０６、ステップＳ１４０８の処理にて得たＤｅｐｔｈ０〜Ｄｅｐｔｈ３の評価値のうち、評価値が最小となるＤｅｐｔｈを選択する。そして、符号化装置１００は、最小となったＤｅｐｔｈの決定したＰＵサイズの動きベクトル候補を、動きベクトルとして検出する。

具体的に、符号化装置１００は、選択したＣＴＢ内において、Ｄｅｐｔｈ３の左上に位置する４つのＣＵの評価値の和と、Ｄｅｐｔｈ３の４つのＣＵを結合した領域と同領域となるＤｅｐｔｈ２の１つのＣＵの評価値とを比較する。Ｄｅｐｔｈ２の１つのＣＵの評価値が小さい場合、符号化装置１００は、Ｄｅｐｔｈ２の左上に位置する４つのＣＵの評価値の和と、Ｄｅｐｔｈ１の４つのＣＵを結合した領域と同領域となるＤｅｐｔｈ１の１つのＣＵの評価値との大小を比較する。たとえば、Ｄｅｐｔｈ２の左上に位置する４つのＣＵの評価値の和が小さい場合、符号化装置１００は、選択したＣＴＢ内の左上の領域を、Ｄｅｐｔｈ２の４つのＣＵで分割する。そして、符号化装置１００は、残りの領域についても同様に処理する。このようにして、符号化装置１００は、選択したＣＴＢを、複数のＤｅｐｔｈのＣＵで分割する。

ステップＳ１４０９の処理終了後、符号化装置１００は、第１動きベクトル検出処理を終了する。第１動きベクトル検出処理を実行することにより、符号化装置１００は、評価値が最小となる動きベクトルを検出することができる。

なお、図１４に示したフローチャートは、ＣＴＢが６４×６４［画素］である場合について示した。たとえば、ＣＴＢが３２×３２［画素］である場合、符号化装置１００は、ステップＳ１４０３〜ステップＳ１４０９の処理を実行する。

図１５は、第２動きベクトル検出処理手順の一例を示すフローチャートである。第２動きベクトル検出処理は、参照フレームＤｅｐｔｈに近似するＤｅｐｔｈ候補の評価値を算出して、動きベクトルを決定する処理である。

符号化装置１００は、参照フレームｒＦの同位置のＣＴＢのＤｅｐｔｈを特定する（ステップＳ１５０１）。具体的な参照フレームｒＦの同位置のＣＴＢのＤｅｐｔｈ特定手順は、図８にて記述した。次に、符号化装置１００は、Ｄｅｐｔｈ候補テーブル７１１を参照して、参照フレームｒｆの同位置のＣＴＢのＤｅｐｔｈに対応するいずれかのＤｅｐｔｈ候補を選択する（ステップＳ１５０２）。続けて、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補のうちの先頭のＤｅｐｔｈ候補を選択する（ステップＳ１５０３）。

次に、符号化装置１００は、選択したＤｅｐｔｈ候補の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１５０４）。続けて、符号化装置１００は、選択したＤｅｐｔｈ候補の各ＰＵの評価値に基づいて、選択したＤｅｐｔｈのＰＵサイズを決定する（ステップＳ１５０５）。ステップＳ１５０４の処理の内容と、ステップＳ１５０５の処理の内容は、選択したＤｅｐｔｈによって変わることになる。

具体的に、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ０であれば、ステップＳ１５０４の処理として、ステップＳ１４０１の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０２の処理と同一の処理を行う。また、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ１であれば、ステップＳ１５０４の処理として、ステップＳ１４０３の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０４の処理と同一の処理を行う。

同様に、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ２であれば、ステップＳ１５０４の処理として、ステップＳ１４０５の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０６の処理と同一の処理を行う。また、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ３であれば、ステップＳ１５０４の処理として、ステップＳ１４０７の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０８の処理と同一の処理を行う。

次に、符号化装置１００は、いずれかのＤｅｐｔｈ候補の全てのＤｅｐｔｈ候補を選択したか否かを判断する（ステップＳ１５０６）。いずれかのＤｅｐｔｈ候補のうちまだ選択していないＤｅｐｔｈ候補がある場合（ステップＳ１５０６：Ｎｏ）、符号化装置１００は、いずれかのＤｅｐｔｈ候補のうちの次のＤｅｐｔｈ候補を選択する（ステップＳ１５０７）。ステップＳ１５０７の処理終了後、符号化装置１００は、ステップＳ１５０４の処理に移行する。

いずれかのＤｅｐｔｈ候補全てを選択した場合（ステップＳ１５０６：Ｙｅｓ）、符号化装置１００は、いずれかのＤｅｐｔｈ候補全ての決定したＰＵサイズの評価値に基づいて、動きベクトルを検出する（ステップＳ１５０８）。ステップＳ１５０８の処理終了後、符号化装置１００は、第２動きベクトル検出処理を終了する。第２動きベクトル検出処理を実行することにより、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈに近似する、いずれかのＤｅｐｔｈ候補の中から評価値が最小となる動きベクトルを検出することができる。

以上説明したように、符号化装置１００によれば、対象フレームのブロックの動きベクトル検出を行う際に、参照フレームのブロックの動きベクトル検出時に採用したブロックサイズと同等のブロックサイズを用いる。これにより、符号化装置１００は、符号化後の動画像の画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減することができる。

具体的に、符号化装置１００は、４つのＤｅｐｔｈに対して動きベクトル検出処理を行う処理に対して、３つのＤｅｐｔｈに対して動きベクトル検出処理を行うため、動きベクトル検出処理にかかる演算量を、２５％削減することができる。

また、符号化装置１００によれば、全てのＤｅｐｔｈ候補のうちの選択したＤｅｐｔｈ候補に対して評価値を算出して、動きベクトルを検出してもよい。これにより、符号化装置１００は、選択したＤｅｐｔｈ候補に対して評価値を算出するため、画質の劣化を抑制しつつ動きベクトルの検出にかかる演算量を削減することができる。

また、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈとして特定する個数として、１つのＤｅｐｔｈを特定してもよいし、２つ以上のＤｅｐｔｈを特定してもよい。たとえば、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈが、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２である場合、参照フレームｒＦのＤｅｐｔｈとしてＤｅｐｔｈ１を特定してもよいし、Ｄｅｐｔｈ０とＤｅｐｔｈ１とを特定してもよい。参照フレームｒＦのＤｅｐｔｈが２つ特定される可能性がある場合、Ｄｅｐｔｈ候補テーブル７１１が、参照フレームｒＦのＤｅｐｔｈが２つのレコードと、を記憶しておけばよい。

また、符号化装置１００によれば、参照フレームｒＦの動きベクトルが検出された際に複数のＤｅｐｔｈが特定された場合、複数のＤｅｐｔｈの各々のＤｅｐｔｈに基づいて、参照フレームｒＦのＤｅｐｔｈを特定してもよい。たとえば、符号化装置１００は、複数のＤｅｐｔｈのうちの最も小さいＤｅｐｔｈを、参照フレームｒＦのＤｅｐｔｈとして特定してもよい。参照フレームｒＦにて小さく分割されたＤｅｐｔｈがあると、対象フレームｔＦでも小さく分割される可能性が高い。そこで、符号化装置１００は、最も小さいＤｅｐｔｈを参照フレームｒＦのＤｅｐｔｈとして特定しておくことにより、画質の劣化を抑制することができる。

また、符号化装置１００によれば、参照フレームｒＦの動きベクトルが検出された際に複数のＤｅｐｔｈが特定された場合、複数のＤｅｐｔｈの各々のＤｅｐｔｈに従って分割されたＣＵの個数に基づいて、いずれかのＤｅｐｔｈ候補を選択してもよい。たとえば、符号化装置１００は、複数のＤｅｐｔｈのうちのＣＵサイズの個数が最も多いＤｅｐｔｈを、参照フレームｒＦのＤｅｐｔｈとして特定してもよい。これにより、符号化装置１００は、参照フレームｒＦが分割されたＤｅｐｔｈに最も近似するＤｅｐｔｈに絞り込んで動きベクトル検出を行うことになるため、画質の劣化を抑制することができる。また、符号化装置１００は、ＣＵサイズが小さい程、ＣＵサイズの個数が多くなるため、ＣＵサイズの大きさという重み付けを行ったＣＵサイズの個数に基づいて、参照フレームｒＦのＤｅｐｔｈを特定してもよい。

また、符号化装置１００によれば、対象フレームｔＦが一連のフレームにおける所定の順番のフレームであれば第２動きベクトル検出処理を行い、対象フレームｔＦがる所定の順番のフレーム以外であれば第１動きベクトル検出処理を行ってもよい。たとえば、一連のフレームのいずれかのフレームにてシーンチェンジ等をした結果、参照フレームｒＦと対象フレームｔＦとが類似しない状態があるとする。このとき、符号化装置１００は、対象フレームｔＦが所定の順番のフレーム以外の時に第１動きベクトル検出処理を行うため、画像の内容に適したブロックサイズで符号化を行うことができ、画質の劣化を抑制することができる。

また、符号化装置１００によれば、対象フレームｔＦの平坦度と参照フレームｒＦの平坦度との差分が所定の閾値以下であれば第２動きベクトル検出処理を行い、所定の閾値より大きければ第１動きベクトル検出処理を行ってもよい。たとえば、参照フレームｒＦから対象フレームにかけてシーンチェンジがあったとする。このとき、対象フレームｔＦの平坦度と参照フレームｒＦの平坦度とが大きく変化することになるため、符号化装置１００は、第１動きベクトル検出処理を行うことになる。このように、符号化装置１００は、参照フレームｒＦと対象フレームｔＦとが類似しなくなったときに、第１動きベクトル検出処理を行うため、画質の劣化を抑制することができる。

また、本実施の形態では、フレーム間予測単位となるＰＵの計算対象を減らして、動きベクトル検出処理にかかる演算量を削減したが、直交変換の単位となるＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）の選択可能なブロックサイズを削減してもよい。ＴＵは、４×４［画素］と、８×８［画素］と、１６×１６［画素］と、３２×３２［画素］との４種類がある。直交変換とは、画像圧縮を行う前処理の段階において、画像圧縮をしやすくするために、変換前の画像の画素値を低周波成分と高周波成分に分解する仕組みのことである。

なお、本実施の形態で説明した符号化方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本符号化プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本符号化プログラムは、インターネット等のネットワークを介して配布してもよい。

また、本実施の形態で説明した符号化装置１００は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣ（以下、単に「ＡＳＩＣ」と称す。）やＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によっても実現することができる。具体的には、たとえば、上述した符号化装置１００の判断部７０１〜検出部７０５と、Ｄｅｐｔｈ候補テーブル７１１とをＨＤＬ記述によって機能定義し、ＨＤＬ記述を論理合成してＡＳＩＣやＰＬＤに与えることにより、符号化装置１００を製造することができる。

ｔＦ 対象フレーム
ｒＦ 参照フレーム
１００ 符号化装置
２００ コンピュータシステム
７０１ 判断部
７０２ 特定部
７０３ 選択部
７０４ 算出部
７０５ 検出部

本発明は、符号化装置、符号化方法、および符号化プログラムに関する。

従来、動画像のうちの符号化対象となる対象フレームを分割した対象ブロックに類似するブロックを参照先となる参照フレームから探索し、対象ブロックから類似するブロックまでの空間的な位置の差を対象ブロックの動きベクトルとして検出する技術がある。また、符号化後の動画像の画質の劣化を抑制するために、対象ブロックのブロックサイズを可変にして動きベクトルを検出する技術がある。

関連する先行技術としては、たとえば、縮小符号化対象画像と縮小参照画像とを生成し、縮小符号化対象画像を複数個の領域に分割した縮小分割領域画像の領域動きベクトルの大きさと信頼度とに基づいて、符号化対象ブロックのサイズの候補を絞り込むものがある。また、動き補償予測方式の入力信号にフィルタ処理をした信号と動画像信号との差分情報から生成した評価値を基に選択した複数のブロックサイズについて差分情報から新たな評価値を算出し、新たな評価値を基に最適なブロックサイズを選択する技術がある。（たとえば、下記特許文献１、２を参照。）

特開２００６−１８０１９６号公報 特開２００７−０６０１６４号公報

しかしながら、従来技術によれば、対象ブロックのブロックサイズを可変にして、ブロックサイズの候補となるブロックサイズ候補ごとに動きベクトルの候補を求めると、動きベクトル検出にかかる演算量が増大する。

１つの側面では、本発明は、画質の劣化を抑制しつつ、動きベクトル検出にかかる演算量を削減することができる符号化装置、符号化方法、および符号化プログラムを提供することを目的とする。

本発明の一側面によれば、一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、ブロックの動きベクトルが検出された際のブロックサイズを特定し、対象フレームから分割されるブロックの動きベクトルを検出する際に、特定したブロックサイズに基づいて、複数のブロックサイズ候補のうちの対象フレームを分割するいずれかのブロックサイズ候補を選択する符号化装置、符号化方法、および符号化プログラムが提案される。

本発明の一態様によれば、画質の劣化を抑制しつつ、動きベクトル検出にかかる演算量を削減することを図ることができるという効果を奏する。

図１は、本実施の形態にかかる符号化装置の動作例を示す説明図である。 図２は、コンピュータシステムのハードウェアの一例を示すブロック図である。 図３は、符号化装置のハードウェア構成例を示すブロック図である。 図４は、ＣＴＢとＣＵの関係の一例を示す説明図である。 図５は、ＣＵの種類の一例を示す説明図である。 図６は、ＰＵの種類の一例を示す説明図である。 図７は、符号化装置の機能例を示すブロック図である。 図８は、参照フレームのＤｅｐｔｈの一例を示す説明図である。 図９は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第１の例を示す説明図である。 図１０は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第２の例を示す説明図である。 図１１は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第３の例を示す説明図である。 図１２は、対象フレームにおける動きベクトル検出処理手順の第１の例を示すフローチャートである。 図１３は、対象フレームにおける動きベクトル検出処理手順の第２の例を示すフローチャートである。 図１４は、第１動きベクトル検出処理手順の一例を示すフローチャートである。 図１５は、第２動きベクトル検出処理手順の一例を示すフローチャートである。

以下に図面を参照して、開示の符号化装置、符号化方法、符号化プログラムの実施の形態を詳細に説明する。

図１は、本実施の形態にかかる符号化装置の動作例を示す説明図である。符号化装置１００は、動きベクトルを検出するコンピュータである。符号化装置１００は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が定める規格に従って、フレームが分割されたブロックごとに動画像を符号化する。

ＨＥＶＣより前の規格である、Ｈ．２６４やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２は、動画像を構築する各フレームを、１６×１６［画素］のブロックで分割し、分割したブロックごとに、符号化処理を行う。これに対し、ＨＥＶＣは、分割するブロックのブロックサイズの自由度を高めた手法を提供する。

具体的に、ＨＥＶＣにおいて、フレームは、Ｎを整数として、Ｎ×Ｎ［画素］の正方形のブロックに分割される。Ｎ×Ｎ［画素］の正方形のブロックは、ＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼称される。ＨＥＶＣでは、Ｎを、６４とする。さらに、ＨＥＶＣにおいて、ＬＣＵは、ＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）に分割される。ＣＴＢは、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）というブロックに分割される。ＣＴＢとＣＵの関係は、図４にて後述する。ＣＵの複数のブロックサイズ候補としては、６４×６４［画素］と、３２×３２［画素］と、１６×１６［画素］と、８×８［画素］という４種類がある。

６４×６４［画素］のＣＵは、Ｄｅｐｔｈ０と定義される。３２×３２［画素］のＣＵは、Ｄｅｐｔｈ１と定義される。１６×１６［画素］のＣＵは、Ｄｅｐｔｈ２と定義される。８×８［画素］のＣＵは、Ｄｅｐｔｈ３と定義される。

以下、ＣＵのサイズを、「Ｄｅｐｔｈ」と称する。また、ＣＵのブロックサイズ候補を、以下、単に「Ｄｅｐｔｈ候補」と称する。図５にて、Ｄｅｐｔｈについて説明する。また、ＨＥＶＣにおいて、ＣＵは、さらに、フレーム間予測を行う単位として、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に分割される。ＰＵの種類については、図６にて後述する。

圧縮符号化方式における動きベクトル検出処理は、符号化対象の対象フレームにおいて、あるブロックの参照フレームに対する物体の位置座標が評価され、最も類似するブロックの位置座標が検出される。動きベクトルは、あるブロックの位置座標から最も類似するブロックの位置座標までを表す。

ここで、ＨＥＶＣが定める規格に従って符号化する装置は、複数のＤｅｐｔｈ候補の各々のＤｅｐｔｈ候補ごとにＣＵの動きベクトル候補を決定する処理を行う。そして、符号化する装置は、Ｄｅｐｔｈ候補ごとのＣＵの動きベクトル候補から、最も類似する動きベクトル候補を動きベクトルとして検出する。なお、具体的には、ＣＵが分割されたＰＵごとに動きベクトルが決定されることになるが、図１では、説明の簡略化のため、「ＣＵの動きベクトルを検出」と記述する。

具体的に、符号化を行う装置は、各々のＤｅｐｔｈ候補に従って分割したブロックの画素値と、参照フレーム上の探索範囲内の、動きベクトル候補が示す参照ブロックの画素値との差分を表す評価値を算出する。そして、符号化を行う装置は、評価値が最も小さい動きベクトル候補を、各々のＤｅｐｔｈ候補ごとのブロックの動きベクトル候補とする。続けて、符号化を行う装置は、各々のＤｅｐｔｈ候補ごとのブロックの動きベクトル候補から、評価値が最も小さい動きベクトル候補を、動きベクトルとして検出する。評価値の具体例については、図１４にて後述する。

これにより、ＨＥＶＣが定める規格に従って符号化する装置は、ＣＴＢ内のエッジ部分の近傍部分は詳細な単位となるＣＵのサイズで符号化するとともに、変化が平坦な部分は大きな単位となるＣＵのサイズで符号化する、ということが可能になる。しかしながら、ＨＥＶＣが定める規格に従って符号化すると、ＣＵのサイズごとに動きベクトル候補を求めるため、動きベクトル検出処理にかかる演算量が増大することになる。

そこで、本実施の形態にかかる符号化装置１００は、対象フレームのブロックの動きベクトル検出を行う際に、参照フレームのブロックの動きベクトル検出時に採用したブロックサイズに近似するブロックサイズを用いる。これにより、符号化装置１００は、符号化後の動画像の画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減することができる。

図１では、一連のフレームにおける符号化対象の対象フレームｔＦと、対象フレームｔＦの参照先となる参照フレームｒＦと、を表示する。一連のフレームは、空等の変化の少ないものを写した動画像であるとする。参照フレームｒＦは、既に符号化済のフレームである。図１に示す対象フレームｔＦは、図１に示す参照フレームｒＦに映った雲が左方向に移動した状態を写したものである。このように、参照フレームｒＦと対象フレームｔＦとは、似たような画像になる可能性が高い。

符号化装置１００は、参照フレームｒＦの、あるＣＴＢについて、４種類のＤｅｐｔｈ候補のうち、Ｄｅｐｔｈ１である３２×３２［画素］で分割されたブロックの動きベクトル候補が最も類似したとする。

そして、符号化装置１００は、参照フレームｒＦから分割される複数のＤｅｐｔｈ候補の中から、ＣＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。図１の例では、符号化装置１００は、ＣＵのサイズとしてＤｅｐｔｈを特定する。

続けて、符号化装置１００は、対象フレームｔＦから分割されるＣＵの動きベクトルを検出する際に、特定したＣＵのサイズに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。いずれかのＤｅｐｔｈ候補は、１つでもよいし、複数でもよい。

図１の例では、符号化装置１００は、複数のＤｅｐｔｈ候補のうちの、Ｄｅｐｔｈ１に近似する、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２をいずれかのＤｅｐｔｈ候補として選択する。Ｄｅｐｔｈ候補を選択後、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補ごとに、選択したＣＵのサイズで分割したＣＵごとに動きベクトル候補を決定する。

このように、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補の動きベクトル候補に絞って動きベクトル候補を求めることにより、画質の劣化を抑制して、動きベクトル検出にかかる演算量を削減することができる。ここで、複数のＤｅｐｔｈ候補の動きベクトル候補を決定して、動きベクトルを検出する処理を、第１動きベクトル検出処理とする。また、複数のＤｅｐｔｈ候補のうちの選択したいずれかのＤｅｐｔｈ候補の動きベクトル候補を決定して、動きベクトルを検出する処理を、第２動きベクトル検出処理とする。以下、図２〜図１５を用いて、符号化装置１００について説明する。

（コンピュータシステム２００のハードウェア構成例）
次に、符号化装置１００が適用されるコンピュータシステム２００のハードウェアの一例について説明する。コンピュータシステム２００は、たとえば、動画像を記録・再生する機能を有するシステムであり、具体的には、たとえば、パーソナル・コンピュータ、テレビジョン、レコーダ、スマートフォン、ビデオカメラ、デジタルカメラなどである。

図２は、コンピュータシステムのハードウェアの一例を示すブロック図である。図２において、コンピュータシステム２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、を含む。また、コンピュータシステム２００は、撮像素子２０４と、撮像素子Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）２０５と、操作パネル２０６と、記録メディア２０７と、外部Ｉ／Ｆ２０８と、符号化装置１００とを含む。

また、コンピュータシステム２００は、ディスプレイ２０９と、ディスプレイ出力Ｉ／Ｆ２１０とを含む。また、ＣＰＵ２０１〜ＲＡＭ２０３と、撮像素子Ｉ／Ｆ２０５と、外部Ｉ／Ｆ２０８と、ディスプレイ出力Ｉ／Ｆ２１０と、符号化装置１００とは、バス２１１で相互に接続される。

ＣＰＵ２０１は、コンピュータシステム２００の全体の制御を司る演算処理装置である。ＲＯＭ２０２は、コンピュータシステム２００のブートプログラムなどのプログラムを記憶する不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される揮発性メモリである。

撮像素子２０４は、対象物から発した光を電気信号に変換する装置である。たとえば、撮像素子２０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。

撮像素子Ｉ／Ｆ２０５は、記録時に撮像素子２０４を制御することにより、撮像素子２０４からの信号を画像フォーマットに変換してＲＡＭ２０３に格納する装置である。操作パネル２０６は、コンピュータシステム２００が有する液晶タッチパネルや操作ボタンである。記録メディア２０７は、フラッシュＲＯＭ等といった記憶装置である。また、記録メディア２０７は、本実施の形態にかかる符号化プログラムを記録してもよい。外部Ｉ／Ｆ２０８は、操作パネル２０６、および記録メディア２０７を制御する。また、外部Ｉ／Ｆ２０８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介して、コンピュータシステム２００以外の他の装置に接続されてもよい。

ディスプレイ２０９は、撮像素子２０４が記録した画像フォーマットを表示する。ディスプレイ出力Ｉ／Ｆ２１０は、ディスプレイ２０９の制御を行う。

図３は、符号化装置のハードウェア構成例を示すブロック図である。符号化装置１００は、予測誤差信号生成部３０１と、整数変換部３０２と、量子化部３０３と、エントロピー符号化部３０４と、逆量子化部３０５と、逆整数変換部３０６と、参照フレーム生成部３０７と、ループフィルタ処理部３０８を有する。さらに符号化装置１００は、フレームメモリ３０９と、フレーム内予測部３１０と、動き検出部３１１と、動き補償部３１２と、予測画像選択部３１３とを有する。

入力動画像は、動画像を形成する各フレームの分割に四分木ブロック分割が採用されたものとする。予測誤差信号生成部３０１は、入力動画像のうちの対象フレームｔＦと予測画像信号とが入力され、対象フレームｔＦと予測フレームとなる参照フレームｒＦの差分を演算することにより、予測誤差信号を生成する。

整数変換部３０２は、予測誤差信号生成部３０１からの予測誤差信号を整数変換した信号を出力する。量子化部３０３は、整数変換部３０２からの出力信号を量子化する。量子化部３０３の処理により、予測誤差信号の符号量が低減される。

エントロピー符号化部３０４は、量子化部３０３からの量子化データと、フレーム内予測部３１０からの出力データと、動き検出部３１１から出力される動きベクトルの情報とをエントロピー符号化し、対象フレームｔＦに対する符号化画像データを出力する。入力動画像の各フレームに対して符号化画像データを出力したデータが、出力動画像となる。ここで、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方式を指す。

逆量子化部３０５は、量子化部３０３からの量子化データを逆量子化する。逆整数変換部３０６は、逆量子化部３０５からの出力データに逆整数変換処理を施す。逆整数変換部３０６の処理により、符号化前の予測誤差信号と同程度の信号を得ることができる。

参照フレーム生成部３０７は、動き補償部３１２により動き補償されたＰＵの画素値と、逆量子化部３０５および逆整数変換部３０６によって復号された予測誤差信号とを加算する。参照フレーム生成部３０７の処理により、動き補償された参照フレームｒＦのＰＵの画素値が生成される。

ループフィルタ処理部３０８は、ＰＵの画素値に対してデブロッキングフィルタ、サンプル・アダプティプ・オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）と適応型ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）処理を行って、ブロックノイズの発生を抑制した後、フレームメモリ３０９に蓄積する。

フレーム内予測部３１０は、同じフレームにおける周辺画素から、予測画像のマクロブロックを生成する。動き検出部３１１は、入力動画像の画素値と、フレームメモリ３０９から読み込んだ参照フレームｒＦのデータを基に動きベクトルを算出し、出力する。動き検出部３１１の詳細は、図７にて後述する。

動き補償部３１２は、動き検出部３１１から出力された動きベクトルに基づいて、フレームメモリ３０９から読み込んだ参照フレームｒＦのデータに対して動き補償することにより、動き補償された予測画像のＰＵを生成する。

予測画像選択部３１３は、フレーム内予測部３１０または動き補償部３１２のどちらか一方から出力される予測画像のマクロブロックを選択し、予測誤差信号生成部３０１および参照フレーム生成部３０７に出力する。次に、ＨＥＶＣにて定義されたＣＴＢと、ＣＵと、ＰＵとについて、図４〜図６を用いて説明する。

図４は、ＣＴＢとＣＵの関係の一例を示す説明図である。ＬＣＵは、変換や量子化などを行うサブブロックであるＣＴＢに分割される。ＣＴＢは、１６×１６［画素］と、３２×３２［画素］と、６４×６４［画素］の３種類がある。ＣＴＢが１６×１６［画素］である場合、ＣＵが取り得るＤｅｐｔｈは、Ｄｅｐｔｈ２とＤｅｐｔｈ３となる。また、ＣＴＢが３２×３２［画素］である場合、ＣＵが取り得るＤｅｐｔｈは、Ｄｅｐｔｈ１〜Ｄｅｐｔｈ３となる。

ＣＴＢは、画像データの特徴に合わせて、四分木（Ｑｕａｄ Ｔｒｅｅ）ブロック分割により再帰的に分割される。具体的に、ＣＴＢは、４つの領域に分割され、分割した領域がさらに４つの領域に細分される、という処理が繰り返される。この分割による領域が、ＣＵと呼ばれる。ＣＵが符号化処理の基本単位となる。四分木ブロック分割を採用した動画像は、画像中の変化が激しいエッジ部や、エッジ部分の近傍部分は詳細な単位のブロックで符号化され、変化が平坦な部分は大きな単位のブロックで符号化される、ということが可能となる。たとえば、四分木ブロック分割による符号化を行う装置は、符号化対象の動画像のある画像内の、物体の輪郭などが表示された箇所を細かな単位でより詳細に符号化し、空等の変化が少ない箇所を大まかな単位で符号化する、ということが可能である。ＣＵの種類について、図５を用いて説明する。

図５は、ＣＵの種類の一例を示す説明図である。ＣＵの種類は、図５に示すように、Ｄｅｐｔｈ０である６４×６４［画素］と、Ｄｅｐｔｈ１である３２×３２［画素］と、Ｄｅｐｔｈ２である１６×１６［画素］と、Ｄｅｐｔｈ３である８×８［画素］という４種類がある。ＣＵは、ＰＵという単位でフレーム間予測を行う。ＰＵの種類について、図６を用いて説明する。

図６は、ＰＵの種類の一例を示す説明図である。ＰＵは、ＣＵのＤｅｐｔｈごとに３つの種類がある。ＣＵは、一つ以上のＰＵを含む。ＰＵは、ＣＵと同一サイズと、横方向に２分割と、縦方向に２分割と、という３種類から選択することができる。

たとえば、ＣＵがＤｅｐｔｈ０の場合、ＰＵは、６４×６４［画素］と、６４×３２［画素］と、３２×６４［画素］という３種類がある。図６に示すように、ＰＵは、８×８［画素］から６４×６４［画素］までの１２種類がある。また、ＰＵのサイズを、「ＰＵサイズ」と呼称する。

（符号化装置１００の機能）
次に、符号化装置１００の機能について説明する。図７は、符号化装置の機能例を示すブロック図である。符号化装置１００は、判断部７０１と、特定部７０２と、選択部７０３と、算出部７０４と、検出部７０５と、を含む。

なお、判断部７０１〜検出部７０５は、記憶装置に記憶されたプログラムをＣＰＵ２０１が実行することにより、判断部７０１〜検出部７０５の機能を実現してもよい。記憶装置とは、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、記録メディア２０７などである。

また、符号化装置１００は、Ｄｅｐｔｈ候補テーブル７１１にアクセス可能である。Ｄｅｐｔｈ候補テーブル７１１は、符号化装置１００内の記憶領域、またはＲＯＭ２０２、ＲＡＭ２０３、記録メディア２０７、といった記憶装置に格納される。Ｄｅｐｔｈ候補テーブル７１１の記憶内容の一例は、図９〜図１１に示す。

判断部７０１は、対象フレームｔＦが一連のフレームにおける所定の順番のフレームであるか否かを判断する。また、判断部７０１は、対象フレームｔＦの画素値と、参照フレームｒＦの画素値との差分を表す値が所定の閾値未満か否かを判断してもよい。ここで、所定の順番や所定の閾値は、符号化装置１００の開発者または符号化装置１００の利用者によって指定される数値である。

たとえば、所定の順番は、２番目〜９番目、１１番目〜１９番目、…、となる。また、判断部７０１は、対象フレームｔＦが一連のフレームにおける所定の順番のフレームでないか否かを判断してもよい。このとき、所定の順番は、１番目、１０番目、２０番目、…となる。また、たとえば、判断部７０１は、対象フレームｔＦの画素値の平均と、参照フレームｒＦの画素値の平均との差分が、所定の閾値未満か否かを判断する。より詳細については、図１３にて後述する。なお、判断結果は、符号化装置１００内の記憶領域に記憶される。

特定部７０２は、参照フレームｒＦについて、参照フレームｒＦから分割されるブロックの複数のＤｅｐｔｈ候補の中から、ＣＵ内の各ＰＵの動きベクトルが検出された際のＤｅｐｔｈを特定する。

また、特定部７０２は、判断部７０１によって対象フレームｔＦが所定の順番のフレームであると判断された場合、参照フレームｒＦから分割されるＤｅｐｔｈを特定してもよい。たとえば、特定部７０２は、判断部７０１が所定の順番として、２番目〜９番目、１１番目〜１９番目、…、のフレームであるとは判断した場合、参照フレームｒＦから分割されるＤｅｐｔｈを特定してもよい。なお、判断部７０１が、特定部７０２を実行しない場合を判断してもよい。

また、特定部７０２は、判断部７０１によって値が所定の閾値未満であると判断された場合、ブロックサイズを特定してもよい。なお、特定されたＤｅｐｔｈは、符号化装置１００内の記憶領域に記憶される。

選択部７０３は、対象フレームｔＦから分割されるＣＵ内の各ＰＵの動きベクトルを検出する際に、特定部７０２によって特定されたＤｅｐｔｈに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。具体的な選択手順は、図９〜図１１にて後述する。

また、特定部７０２によって参照フレームｒＦが分割されたブロックの動きベクトルが検出された際にＤｅｐｔｈが複数特定される場合がある。このとき、選択部７０３は、複数のＤｅｐｔｈの各々のＤｅｐｔｈのうちの相対的に小さいＤｅｐｔｈに基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択してもよい。また、Ｄｅｐｔｈが複数特定された場合、選択部７０３は、複数のＤｅｐｔｈの各々のＤｅｐｔｈに従って分割されたＣＵの個数に基づいて、複数のＤｅｐｔｈ候補のうちの対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択してもよい。なお、Ｄｅｐｔｈが複数特定された場合については、図８にて後述する。また、選択されたＤｅｐｔｈ候補は、符号化装置１００内の記憶領域に記憶される。

算出部７０４は、選択部７０３によって選択されたいずれかのＤｅｐｔｈ候補に対応して、対象フレームｔＦからいずれかのＤｅｐｔｈ候補に従って分割される各ＣＵの画素値と参照フレームｒＦ上の探索範囲内のブロックの画素値との差分を表す評価値を算出する。具体的な評価値の算出例は、後述する（２）式にて説明する。

検出部７０５は、算出部７０４によって算出されたいずれかのブロックサイズ候補に従って分割した各ブロックの評価値に基づいて、対象フレームｔＦが分割されたブロックの動きベクトルを検出する。具体的な検出の例は、図１４と図１５にて後述する。なお、算出された動きベクトルは、符号化装置１００内の記憶領域に記憶される。

図８は、参照フレームのＤｅｐｔｈの一例を示す説明図である。符号化装置１００は、参照フレームｒＦのＣＴＢに含まれるＣＵに基づいて、参照フレームｒＦのＤｅｐｔｈ結果を特定する。このとき、参照フレームｒＦのＤｅｐｔｈ結果が複数特定された場合について、図８の（ａ）と図８の（ｂ）について説明する。

図８の（ａ）では、符号化装置１００が、参照フレームｒＦのＣＴＢに含まれるＣＵのうちの、最もサイズが小さいＣＵに基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する例について説明する。図８の（ｂ）では、参照フレームｒＦのＣＴＢに含まれるＣＵのうちの、最も個数が多いＣＵに基づいて、対象フレームｔＦを分割するいずれかのブロックサイズ候補を選択する例について説明する。

図８の（ａ）が示すＣＴＢは、Ｄｅｐｔｈ１である３２×３２［画素］の３個のＣＵと、Ｄｅｐｔｈ２である１６×１６［画素］の４個のＣＵと、を含む。符号化装置１００は、Ｄｅｐｔｈが最も小さいＤｅｐｔｈ２に基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。

図８の（ｂ）が示すＣＴＢは、Ｄｅｐｔｈ１である３２×３２［画素］の２個のＣＵと、Ｄｅｐｔｈ２である１６×１６［画素］の７個のＣＵと、Ｄｅｐｔｈ３である８×８［画素］の４個のＣＵと、を含む。符号化装置１００は、最も個数が多いＤｅｐｔｈ２に基づいて、対象フレームｔＦを分割するいずれかのＤｅｐｔｈ候補を選択する。

次に、図９〜図１１を用いて、具体的なＤｅｐｔｈ候補の選択例を３つ説明する。図９〜図１１に示すＤｅｐｔｈ候補テーブル７１１は、ＤｅｐｔｈごとのＤｅｐｔｈ候補を記憶するテーブルである。図９〜図１１に示すＤｅｐｔｈ候補テーブル７１１は、表示の簡略化のため、各レコードの"Ｄｅｐｔｈ"を省略してある。Ｄｅｐｔｈ候補テーブル７１１の説明は、図９にて行う。

図９は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第１の例を示す説明図である。図９に示すＤｅｐｔｈ候補テーブル７１１は、レコード９０１−１〜レコード９０１−４を有する。

Ｄｅｐｔｈ候補テーブル７１１は、参照フレームＤｅｐｔｈと、対象フレームＤｅｐｔｈ候補という２つのフィールドを有する。参照フレームＤｅｐｔｈフィールドには、検索キーとなる参照フレームｒＦのＤｅｐｔｈ結果が格納される。対象フレームＤｅｐｔｈ候補フィールドは、図８にて説明した、特定した参照フレームＤｅｐｔｈに対応する、対象フレームｔＦのＤｅｐｔｈ候補の値が格納される。

たとえば、レコード９０１−２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ０〜Ｄｅｐｔｈ２であることを示す。

レコード９０１−２とレコード９０１−３は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ小さいＤｅｐｔｈと１つ大きいＤｅｐｔｈとを記憶する。

レコード９０１−１は、参照フレームＤｅｐｔｈが、Ｄｅｐｔｈが最も大きいＤｅｐｔｈ０であるため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２を記憶する。また、レコード９０１−１は、参照フレームＤｅｐｔｈフィールドにＤｅｐｔｈ０を記憶し、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０と、Ｄｅｐｔｈ１とを記憶してもよい。

図１０は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第２の例を示す説明図である。図１０に示すＤｅｐｔｈ候補テーブル７１１は、レコード１００１−１〜レコード１００１−４を有する。たとえば、レコード１００１−２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ０〜Ｄｅｐｔｈ２であることを示す。

レコード１００１−３とレコード１００１−４は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ大きいＤｅｐｔｈと２つ大きいＤｅｐｔｈとを記憶する。

レコード１００１−２は、参照フレームＤｅｐｔｈよりＤｅｐｔｈが２つ大きいＤｅｐｔｈがないため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２を記憶する。また、レコード１００１−２は、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ０と、Ｄｅｐｔｈ１とを記憶してもよい。

このように、図１０に示すＤｅｐｔｈ候補テーブル７１１は、Ｄｅｐｔｈが大きくなるようにＤｅｐｔｈ候補を選択するため、符号化対象となる動画像が空等の変化の少ないものを撮影したものであれば、画質の劣化をより抑えることができる。

図１１は、対象フレームの動きベクトル検出を行うＤｅｐｔｈ候補の第３の例を示す説明図である。図１１に示すＤｅｐｔｈ候補テーブル７１１は、レコード１１０１−１〜レコード１１０１−４を有する。たとえば、レコード１１０１−２は、参照フレームＤｅｐｔｈがＤｅｐｔｈ１であった場合に、対象フレームＤｅｐｔｈ候補がＤｅｐｔｈ１〜Ｄｅｐｔｈ３であることを示す。

レコード１１０１−１とレコード１１０１−２は、対象フレームＤｅｐｔｈ候補フィールドに、近似するＤｅｐｔｈとして、参照フレームＤｅｐｔｈと同一サイズのＤｅｐｔｈと、１つ小さいＤｅｐｔｈと２つ小さいＤｅｐｔｈとを記憶する。

レコード１１０１−３は、参照フレームＤｅｐｔｈより２つ小さいＤｅｐｔｈがないため、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ１〜Ｄｅｐｔｈ３を記憶する。また、レコード１１０１−３は、対象フレームＤｅｐｔｈ候補フィールドに、Ｄｅｐｔｈ２と、Ｄｅｐｔｈ３とを記憶してもよい。

このように、図１１に示すＤｅｐｔｈ候補テーブル７１１は、Ｄｅｐｔｈが小さくなるようにＤｅｐｔｈ候補を選択するため、符号化対象となる動画像がエッジが多い、変化の多いものを撮影したものであれば、画質の劣化をより抑えることができる。

図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１は、ＣＴＢが６４×６４［画素］であるときの記憶内容を示す。たとえば、ＣＴＢが３２×３２［画素］である場合、Ｄｅｐｔｈ候補テーブル７１１の対象フレームＤｅｐｔｈ候補フィールドには、２つのＤｅｐｔｈ、または１つのＤｅｐｔｈが格納される。

ここで、図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１の違いについて説明する。まず、図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１を採用した際の画質の劣化の抑制度合いについて説明する。画質の劣化をより抑制できる場合とは、第２動きベクトル検出処理により決定されたＤｅｐｔｈと第１動きベクトル検出処理により決定されたＤｅｐｔｈとが一致する確率が高いときである。符号化装置１００が図９と図１０とが示したＤｅｐｔｈ候補テーブル７１１を採用した場合、符号化装置１００が図１１で示すＤｅｐｔｈ候補テーブル７１１を採用した場合よりも、一致する確率が高くなる、という実験結果が得られた。

また、図９〜図１１で示したＤｅｐｔｈ候補テーブル７１１のうち、符号化装置１００がどのＤｅｐｔｈ候補テーブル７１１を使用するかは、符号化装置１００の開発者が指定してもよいし、符号化装置１００の利用者が指定してもよい。

符号化装置１００の利用者が指定する場合、たとば、符号化装置１００は、ディスプレイ２０９に設定画面を表示して、Ｄｅｐｔｈ候補テーブル７１１のうち、使用するＤｅｐｔｈ候補テーブル７１１を選択するダイアログを表示する。そして、符号化装置１００は、符号化装置１００の利用者が符号化対象となる動画像の内容に応じて指定したＤｅｐｔｈ候補テーブル７１１の識別情報を受け付ける。たとえば、符号化対象となる動画像が、空等を撮影した動画像であれば、符号化装置１００の利用者は、図１０で示したＤｅｐｔｈ候補テーブル７１１を指定し、エッジが多い動画像であれば、図１１で示したＤｅｐｔｈ候補テーブル７１１を指定する。次に、図１２〜図１５を用いて、符号化装置１００が実行するフローチャートについて説明する。

まず、図１２と図１３とを用いて、対象フレームｔＦにおける動きベクトル検出処理のフローチャートを説明する。符号化装置１００は、図１２で示すフローチャートか図１３で示すフローチャートかのいずれかを採用して、動きベクトルを検出する。

図１２は、対象フレームにおける動きベクトル検出処理手順の第１の例を示すフローチャートである。対象フレームにおける動きベクトル検出処理は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出する処理である。

符号化装置１００は、対象フレームｔＦ内の、先頭のＬＣＵを選択する（ステップＳ１２０１）。次に、符号化装置１００は、対象フレームｔＦが先頭のフレームまたはリフレッシュされるフレームか否かを判断する（ステップＳ１２０２）。ここで、リフレッシュされるフレームとは、所定の順番以外のフレームである。

対象フレームｔＦが先頭のフレームまたはリフレッシュされるフレームである場合（ステップＳ１２０２：Ｙｅｓ）、符号化装置１００は、選択したＬＣＵ内の先頭のＣＴＢを選択する（ステップＳ１２０３）。次に、符号化装置１００は、第１動きベクトル検出処理を実行する（ステップＳ１２０４）。第１動きベクトル検出処理の詳細は、図１４にて後述する。続けて、符号化装置１００は、ＬＣＵ内の全てのＣＴＢを選択したか否かを判断する（ステップＳ１２０５）。まだ選択していないＣＴＢがある場合（ステップＳ１２０５：Ｎｏ）、符号化装置１００は、次のＣＴＢを選択する（ステップＳ１２０６）。そして、符号化装置１００は、ステップＳ１２０４の処理に移行する。

対象フレームｔＦが先頭のフレームでなく、かつ、リフレッシュされるフレームでない場合（ステップＳ１２０２：Ｎｏ）、符号化装置１００は、選択したＬＣＵ内の先頭のＣＴＢを選択する（ステップＳ１２０７）。次に、符号化装置１００は、第２動きベクトル検出処理を実行する（ステップＳ１２０８）。第２動きベクトル検出処理の詳細は、図１５にて後述する。続けて、符号化装置１００は、ＬＣＵ内の全てのＣＴＢを選択したか否かを判断する（ステップＳ１２０９）。まだ選択していないＣＴＢがある場合（ステップＳ１２０９：Ｎｏ）、符号化装置１００は、次のＣＴＢを選択する（ステップＳ１２１０）。そして、符号化装置１００は、ステップＳ１２０８の処理に移行する。

全てのＣＴＢを選択した場合（ステップＳ１２０５：Ｙｅｓ、ステップＳ１２０９：Ｙｅｓ）、符号化装置１００は、対象フレームｔＦ内の全てのＬＣＵを選択したか否かを判断する（ステップＳ１２１１）。まだ選択していないＬＣＵがある場合（ステップＳ１２１１：Ｎｏ）、符号化装置１００は、次のＬＣＵを選択する（ステップＳ１２１２）。そして、符号化装置１００は、ステップＳ１２０２の処理に移行する。

全てのＬＣＵを選択した場合（ステップＳ１２１１：Ｙｅｓ）、符号化装置１００は、対象フレームｔＦにおける動きベクトル検出処理を終了する。対象フレームにおける動きベクトル検出処理を実行することにより、符号化装置１００は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出することができる。

図１３は、対象フレームにおける動きベクトル検出処理手順の第２の例を示すフローチャートである。対象フレームにおける動きベクトル検出処理は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出する処理である。また、ステップ図１３に示すステップＳ１３０１、ステップＳ１３０３〜ステップＳ１３１２は、ステップＳ１２０１、ステップＳ１２０３〜ステップＳ１２１２と同一の処理であるため、説明を省略する。

ステップＳ１３０１、またはステップＳ１３１２の処理終了後、符号化装置１００は、ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度−参照フレームｒＦのＬＣＵの平坦度）が所定の閾値より大きいか否かを判断する（ステップＳ１３０２）。ここで、ＡＢＳ（）は、引数の絶対値を返す関数である。また、平坦度は、下記（１）式により求められる。

平坦度＝（ΣＡＢＳ（ＬＣＵ内の画素値−ＬＣＵ内の画素平均値））／ＬＣＵ内の総画素数 …（１）

ＬＣＵ内の画素値は、たとえば、輝度信号Ｙとなる。また、ＬＣＵ内の画素値は、色差信号Ｃｂ、Ｃｒでもよい。ＬＣＵ内の総画素数は、４０９６となる。また、（１）式の代わりに、平坦度は、ＬＣＵ内の画素値の平均でもよいし、ＬＣＵ内の画素値の分散でもよいし、ＬＣＵ内の画素値の標準偏差でもよい。

ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度−参照フレームｒＦのＬＣＵの平坦度）が所定の閾値より大きい場合（ステップＳ１３０２：Ｙｅｓ）、符号化装置１００は、ステップＳ１３０３の処理を実行する。一方、ＡＢＳ（対象フレームｔＦのＬＣＵの平坦度−参照フレームｒＦのＬＣＵの平坦度）が所定の閾値以下の場合（ステップＳ１３０２：Ｎｏ）、符号化装置１００は、ステップＳ１３０７の処理に移行する。

対象フレームにおける動きベクトル検出処理を実行することにより、符号化装置１００は、対象フレームｔＦに含まれる各ＰＵの動きベクトルを検出することができる。さらに、符号化装置１００は、平坦度の差分を比較することにより、対象フレームｔＦが参照フレームｒＦから大きく変化した場合に第１動きベクトル検出処理を行うことになる。したがって、参照フレームｒＦと対象フレームｔＦが類似しない場合に、全てのＤｅｐｔｈに対する動きベクトル検出処理を行うことになるため、符号化装置１００は、図１３に示すフローチャートより画質の劣化を抑制することができる。

図１４と図１５とでは、ＰＵの評価値とＣＵの評価値とを算出する。ＰＵの評価値とＣＵの評価値とは、ＭＥ（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）コストを評価値として用いる。ＭＥコストとは、動きベクトルの符号量や参照画像を指定するための符号量を見積もったものである。ＭＥコストであるＣｏｓｔの算出式は、下記（２）式となる。

Ｃｏｓｔ（Ｍｏｄｅ∈Ω）＝ＳＡＤ＋λ＊Ｒ …（２）

ただし、Ωは、当該ＰＵを符号化するための候補モードの全体集合である。ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）は、動きベクトル検出対象ブロックと参照フレームｒＦ中のブロックの各々対応する位置にある画素の値の差分絶対値を合計した差分絶対値和を示す。λは、量子化パラメータの関数として与えられるＬａｇｒａｎｇｅ未定乗数である。また、Ｒは、当該モードＭｏｄｅで符号化した場合の総符号量である。また、評価値には（２）式に限らず、ＳＡＤ、ＳＳＥ（Ｓｕｍｍａｔｉｏｎ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を使用してもよい。

図１４は、第１動きベクトル検出処理手順の一例を示すフローチャートである。第１動きベクトル検出処理は、全てのＤｅｐｔｈ候補の評価値を算出して、動きベクトルを決定する処理である。また、図１４では、ＣＴＢが６４×６４［画素］であるとする。

符号化装置１００は、Ｄｅｐｔｈ０の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０１）。具体的に、符号化装置１００は、６４×６４［画素］のＰＵの評価値と、６４×３２［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、３２×６４［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。評価値は、（２）式を用いて算出された値である。また、６４×３２［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「６４×３２［画素］のＰＵの評価値」とする。同様に、３２×６４［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「３２×６４［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ０の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ０のＰＵサイズを決定する（ステップＳ１４０２）。具体的に、符号化装置１００は、６４×６４［画素］のＰＵの評価値と、６４×３２［画素］のＰＵの評価値と、３２×６４［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ０のＰＵサイズに決定する。また、最小となった評価値を、Ｄｅｐｔｈ０の評価値とする。

続けて、符号化装置１００は、Ｄｅｐｔｈ１の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０３）。具体的に、符号化装置１００は、３２×３２［画素］のＰＵの評価値と、３２×１６［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、１６×３２［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ１は、４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０３の処理を４回繰り返す。また、３２×１６［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「３２×１６［画素］のＰＵの評価値」とする。同様に、１６×３２［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「１６×３２［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ１の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ１のＰＵサイズを決定する（ステップＳ１４０４）。具体的に、符号化装置１００は、３２×３２［画素］のＰＵの評価値と、３２×１６［画素］のＰＵの評価値と、１６×３２［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ１のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ１の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ１は、４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０４の処理を４回繰り返す。

続けて、符号化装置１００は、Ｄｅｐｔｈ２の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０５）。具体的に、符号化装置１００は、１６×１６［画素］のＰＵの評価値と、１６×８［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、８×１６［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ２は、１６個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０５の処理を１６回繰り返す。また、１６×８［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「１６×８［画素］のＰＵの評価値」とする。同様に、８×１６［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「８×１６［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ２の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ２のＰＵサイズを決定する（ステップＳ１４０６）。具体的に、符号化装置１００は、１６×１６［画素］のＰＵの評価値と、１６×８［画素］のＰＵの評価値と、８×１６［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ２のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ２の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ２は、１６個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０６の処理を１６回繰り返す。

続けて、符号化装置１００は、Ｄｅｐｔｈ３の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１４０７）。具体的に、符号化装置１００は、８×８［画素］のＰＵの評価値と、８×４［画素］の上のＰＵの評価値および下のＰＵの評価値の和と、４×８［画素］の左のＰＵの評価値および右のＰＵの評価値の和と、を算出する。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ３は、６４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０７の処理を６４回繰り返す。また、８×４［画素］の上のＰＵの評価値および下のＰＵの評価値の和を、「８×４［画素］のＰＵの評価値」とする。同様に、４×８［画素］の左のＰＵの評価値および右のＰＵの評価値の和を、「４×８［画素］のＰＵの評価値」とする。

次に、符号化装置１００は、Ｄｅｐｔｈ３の各ＰＵの評価値に基づいて、Ｄｅｐｔｈ３のＰＵサイズを決定する（ステップＳ１４０８）。具体的に、符号化装置１００は、８×８［画素］のＰＵの評価値と、８×４［画素］のＰＵの評価値と、４×８［画素］のＰＵの評価値とのうち、最小の評価値となるＰＵを、Ｄｅｐｔｈ３のＰＵサイズに決定する。また、符号化装置１００は、最小となった評価値を、Ｄｅｐｔｈ３の評価値とする。また、ＣＴＢが６４×６４［画素］であれば、Ｄｅｐｔｈ３は、６４個のＣＵを含むことができるため、符号化装置１００は、ステップＳ１４０８の処理を６４回繰り返す。

続けて、符号化装置１００は、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ３の決定したＰＵサイズの評価値に基づいて、動きベクトルを検出する（ステップＳ１４０９）。具体的に、符号化装置１００は、ステップＳ１４０２、ステップＳ１４０４、ステップＳ１４０６、ステップＳ１４０８の処理にて得たＤｅｐｔｈ０〜Ｄｅｐｔｈ３の評価値のうち、評価値が最小となるＤｅｐｔｈを選択する。そして、符号化装置１００は、最小となったＤｅｐｔｈの決定したＰＵサイズの動きベクトル候補を、動きベクトルとして検出する。

具体的に、符号化装置１００は、選択したＣＴＢ内において、Ｄｅｐｔｈ３の左上に位置する４つのＣＵの評価値の和と、Ｄｅｐｔｈ３の４つのＣＵを結合した領域と同領域となるＤｅｐｔｈ２の１つのＣＵの評価値とを比較する。Ｄｅｐｔｈ２の１つのＣＵの評価値が小さい場合、符号化装置１００は、Ｄｅｐｔｈ２の左上に位置する４つのＣＵの評価値の和と、Ｄｅｐｔｈ１の４つのＣＵを結合した領域と同領域となるＤｅｐｔｈ１の１つのＣＵの評価値との大小を比較する。たとえば、Ｄｅｐｔｈ２の左上に位置する４つのＣＵの評価値の和が小さい場合、符号化装置１００は、選択したＣＴＢ内の左上の領域を、Ｄｅｐｔｈ２の４つのＣＵで分割する。そして、符号化装置１００は、残りの領域についても同様に処理する。このようにして、符号化装置１００は、選択したＣＴＢを、複数のＤｅｐｔｈのＣＵで分割する。

ステップＳ１４０９の処理終了後、符号化装置１００は、第１動きベクトル検出処理を終了する。第１動きベクトル検出処理を実行することにより、符号化装置１００は、評価値が最小となる動きベクトルを検出することができる。

なお、図１４に示したフローチャートは、ＣＴＢが６４×６４［画素］である場合について示した。たとえば、ＣＴＢが３２×３２［画素］である場合、符号化装置１００は、ステップＳ１４０３〜ステップＳ１４０９の処理を実行する。

図１５は、第２動きベクトル検出処理手順の一例を示すフローチャートである。第２動きベクトル検出処理は、参照フレームＤｅｐｔｈに近似するＤｅｐｔｈ候補の評価値を算出して、動きベクトルを決定する処理である。

符号化装置１００は、参照フレームｒＦの同位置のＣＴＢのＤｅｐｔｈを特定する（ステップＳ１５０１）。具体的な参照フレームｒＦの同位置のＣＴＢのＤｅｐｔｈ特定手順は、図８にて記述した。次に、符号化装置１００は、Ｄｅｐｔｈ候補テーブル７１１を参照して、参照フレームｒｆの同位置のＣＴＢのＤｅｐｔｈに対応するいずれかのＤｅｐｔｈ候補を選択する（ステップＳ１５０２）。続けて、符号化装置１００は、選択したいずれかのＤｅｐｔｈ候補のうちの先頭のＤｅｐｔｈ候補を選択する（ステップＳ１５０３）。

次に、符号化装置１００は、選択したＤｅｐｔｈ候補の各ＰＵの動きベクトル候補検出を行い、各ＰＵの評価値を算出する（ステップＳ１５０４）。続けて、符号化装置１００は、選択したＤｅｐｔｈ候補の各ＰＵの評価値に基づいて、選択したＤｅｐｔｈのＰＵサイズを決定する（ステップＳ１５０５）。ステップＳ１５０４の処理の内容と、ステップＳ１５０５の処理の内容は、選択したＤｅｐｔｈによって変わることになる。

具体的に、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ０であれば、ステップＳ１５０４の処理として、ステップＳ１４０１の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０２の処理と同一の処理を行う。また、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ１であれば、ステップＳ１５０４の処理として、ステップＳ１４０３の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０４の処理と同一の処理を行う。

同様に、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ２であれば、ステップＳ１５０４の処理として、ステップＳ１４０５の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０６の処理と同一の処理を行う。また、符号化装置１００は、選択したＤｅｐｔｈがＤｅｐｔｈ３であれば、ステップＳ１５０４の処理として、ステップＳ１４０７の処理と同一の処理を行い、ステップＳ１５０５の処理として、ステップＳ１４０８の処理と同一の処理を行う。

次に、符号化装置１００は、いずれかのＤｅｐｔｈ候補の全てのＤｅｐｔｈ候補を選択したか否かを判断する（ステップＳ１５０６）。いずれかのＤｅｐｔｈ候補のうちまだ選択していないＤｅｐｔｈ候補がある場合（ステップＳ１５０６：Ｎｏ）、符号化装置１００は、いずれかのＤｅｐｔｈ候補のうちの次のＤｅｐｔｈ候補を選択する（ステップＳ１５０７）。ステップＳ１５０７の処理終了後、符号化装置１００は、ステップＳ１５０４の処理に移行する。

いずれかのＤｅｐｔｈ候補全てを選択した場合（ステップＳ１５０６：Ｙｅｓ）、符号化装置１００は、いずれかのＤｅｐｔｈ候補全ての決定したＰＵサイズの評価値に基づいて、動きベクトルを検出する（ステップＳ１５０８）。ステップＳ１５０８の処理終了後、符号化装置１００は、第２動きベクトル検出処理を終了する。第２動きベクトル検出処理を実行することにより、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈに近似する、いずれかのＤｅｐｔｈ候補の中から評価値が最小となる動きベクトルを検出することができる。

以上説明したように、符号化装置１００によれば、対象フレームのブロックの動きベクトル検出を行う際に、参照フレームのブロックの動きベクトル検出時に採用したブロックサイズと同等のブロックサイズを用いる。これにより、符号化装置１００は、符号化後の動画像の画質の劣化を抑制しつつ、動きベクトル検出処理にかかる演算量を削減することができる。

具体的に、符号化装置１００は、４つのＤｅｐｔｈに対して動きベクトル検出処理を行う処理に対して、３つのＤｅｐｔｈに対して動きベクトル検出処理を行うため、動きベクトル検出処理にかかる演算量を、２５％削減することができる。

また、符号化装置１００によれば、全てのＤｅｐｔｈ候補のうちの選択したＤｅｐｔｈ候補に対して評価値を算出して、動きベクトルを検出してもよい。これにより、符号化装置１００は、選択したＤｅｐｔｈ候補に対して評価値を算出するため、画質の劣化を抑制しつつ動きベクトルの検出にかかる演算量を削減することができる。

また、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈとして特定する個数として、１つのＤｅｐｔｈを特定してもよいし、２つ以上のＤｅｐｔｈを特定してもよい。たとえば、符号化装置１００は、参照フレームｒＦのＤｅｐｔｈが、Ｄｅｐｔｈ０〜Ｄｅｐｔｈ２である場合、参照フレームｒＦのＤｅｐｔｈとしてＤｅｐｔｈ１を特定してもよいし、Ｄｅｐｔｈ０とＤｅｐｔｈ１とを特定してもよい。参照フレームｒＦのＤｅｐｔｈが２つ特定される可能性がある場合、Ｄｅｐｔｈ候補テーブル７１１が、参照フレームｒＦのＤｅｐｔｈが２つのレコードと、を記憶しておけばよい。

また、符号化装置１００によれば、参照フレームｒＦの動きベクトルが検出された際に複数のＤｅｐｔｈが特定された場合、複数のＤｅｐｔｈの各々のＤｅｐｔｈに基づいて、参照フレームｒＦのＤｅｐｔｈを特定してもよい。たとえば、符号化装置１００は、複数のＤｅｐｔｈのうちの最も小さいＤｅｐｔｈを、参照フレームｒＦのＤｅｐｔｈとして特定してもよい。参照フレームｒＦにて小さく分割されたＤｅｐｔｈがあると、対象フレームｔＦでも小さく分割される可能性が高い。そこで、符号化装置１００は、最も小さいＤｅｐｔｈを参照フレームｒＦのＤｅｐｔｈとして特定しておくことにより、画質の劣化を抑制することができる。

また、符号化装置１００によれば、参照フレームｒＦの動きベクトルが検出された際に複数のＤｅｐｔｈが特定された場合、複数のＤｅｐｔｈの各々のＤｅｐｔｈに従って分割されたＣＵの個数に基づいて、いずれかのＤｅｐｔｈ候補を選択してもよい。たとえば、符号化装置１００は、複数のＤｅｐｔｈのうちのＣＵサイズの個数が最も多いＤｅｐｔｈを、参照フレームｒＦのＤｅｐｔｈとして特定してもよい。これにより、符号化装置１００は、参照フレームｒＦが分割されたＤｅｐｔｈに最も近似するＤｅｐｔｈに絞り込んで動きベクトル検出を行うことになるため、画質の劣化を抑制することができる。また、符号化装置１００は、ＣＵサイズが小さい程、ＣＵサイズの個数が多くなるため、ＣＵサイズの大きさという重み付けを行ったＣＵサイズの個数に基づいて、参照フレームｒＦのＤｅｐｔｈを特定してもよい。

また、符号化装置１００によれば、対象フレームｔＦが一連のフレームにおける所定の順番のフレームであれば第２動きベクトル検出処理を行い、対象フレームｔＦがる所定の順番のフレーム以外であれば第１動きベクトル検出処理を行ってもよい。たとえば、一連のフレームのいずれかのフレームにてシーンチェンジ等をした結果、参照フレームｒＦと対象フレームｔＦとが類似しない状態があるとする。このとき、符号化装置１００は、対象フレームｔＦが所定の順番のフレーム以外の時に第１動きベクトル検出処理を行うため、画像の内容に適したブロックサイズで符号化を行うことができ、画質の劣化を抑制することができる。

また、符号化装置１００によれば、対象フレームｔＦの平坦度と参照フレームｒＦの平坦度との差分が所定の閾値以下であれば第２動きベクトル検出処理を行い、所定の閾値より大きければ第１動きベクトル検出処理を行ってもよい。たとえば、参照フレームｒＦから対象フレームにかけてシーンチェンジがあったとする。このとき、対象フレームｔＦの平坦度と参照フレームｒＦの平坦度とが大きく変化することになるため、符号化装置１００は、第１動きベクトル検出処理を行うことになる。このように、符号化装置１００は、参照フレームｒＦと対象フレームｔＦとが類似しなくなったときに、第１動きベクトル検出処理を行うため、画質の劣化を抑制することができる。

また、本実施の形態では、フレーム間予測単位となるＰＵの計算対象を減らして、動きベクトル検出処理にかかる演算量を削減したが、直交変換の単位となるＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）の選択可能なブロックサイズを削減してもよい。ＴＵは、４×４［画素］と、８×８［画素］と、１６×１６［画素］と、３２×３２［画素］との４種類がある。直交変換とは、画像圧縮を行う前処理の段階において、画像圧縮をしやすくするために、変換前の画像の画素値を低周波成分と高周波成分に分解する仕組みのことである。

なお、本実施の形態で説明した符号化方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本符号化プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本符号化プログラムは、インターネット等のネットワークを介して配布してもよい。

また、本実施の形態で説明した符号化装置１００は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣ（以下、単に「ＡＳＩＣ」と称す。）やＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によっても実現することができる。具体的には、たとえば、上述した符号化装置１００の判断部７０１〜検出部７０５と、Ｄｅｐｔｈ候補テーブル７１１とをＨＤＬ記述によって機能定義し、ＨＤＬ記述を論理合成してＡＳＩＣやＰＬＤに与えることにより、符号化装置１００を製造することができる。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定する特定部と、
前記対象フレームから分割されるブロックの動きベクトルを検出する際に、前記特定部によって特定された前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する選択部と、
を有することを特徴とする符号化装置。

（付記２）前記選択部によって選択された前記いずれかのブロックサイズ候補に対応して、前記対象フレームから前記いずれかのブロックサイズ候補に従って分割される各ブロックの画素値と前記参照フレーム上の探索範囲内の参照ブロックの画素値との差分を表す評価値を算出する算出部と、
前記算出部によって算出された前記いずれかのブロックサイズ候補に従って分割した各ブロックの評価値に基づいて、前記対象フレームが分割されたブロックの動きベクトルを検出する検出部と、
を有することを特徴とする付記１に記載の符号化装置。

（付記３）前記選択部は、
前記特定部によって前記参照フレームが分割されたブロックの動きベクトルが検出された際に前記ブロックのブロックサイズが複数特定された場合、複数のブロックサイズの各々のブロックサイズのうちの相対的に小さいブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択することを特徴とする付記１または２に記載の符号化装置。

（付記４）前記選択部は、
前記特定部によって前記参照フレームが分割されたブロックの動きベクトルが検出された際に前記ブロックのブロックサイズが複数特定された場合、複数のブロックサイズの各々のブロックサイズに従って分割されたブロックの個数に基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択することを特徴とする付記１〜３のいずれか一つに記載の符号化装置。

（付記５）前記対象フレームが前記一連のフレームにおける所定の順番のフレームであるか否かを判断する判断部を有し、
前記特定部は、
前記判断部によって前記対象フレームが前記所定の順番のフレームであると判断された場合、前記ブロックサイズを特定することを特徴とする付記１〜４のいずれか一つに記載の符号化装置。

（付記６）前記対象フレームの画素値と、前記参照フレームの画素値との差分を表す値が所定の閾値未満か否かを判断する判断部を有し、
前記特定部は、
前記判断部によって前記値が前記所定の閾値未満であると判断された場合、前記ブロックサイズを特定することを特徴とする付記１〜５のいずれか一つに記載の符号化装置。

（付記７）一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定する特定部と、
前記対象フレームから分割されるブロックの動きベクトルを検出する際に、前記特定部によって特定された前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する選択部と、
を有するコンピュータを含むことを特徴とするコンピュータシステム。

（付記８）コンピュータが、
一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
処理を実行することを特徴とする符号化方法。

（付記９）コンピュータに、
一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
処理を実行させることを特徴とする符号化プログラム。

（付記１０）一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
処理をコンピュータに実行させる符号化プログラムを記録したことを特徴とする記録媒体。

ｔＦ 対象フレーム
ｒＦ 参照フレーム
１００ 符号化装置
２００ コンピュータシステム
７０１ 判断部
７０２ 特定部
７０３ 選択部
７０４ 算出部
７０５ 検出部

Claims (10)

1. 一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定する特定部と、
   前記対象フレームから分割されるブロックの動きベクトルを検出する際に、前記特定部によって特定された前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する選択部と、
   を有することを特徴とする符号化装置。
2. 前記選択部によって選択された前記いずれかのブロックサイズ候補に対応して、前記対象フレームから前記いずれかのブロックサイズ候補に従って分割される各ブロックの画素値と前記参照フレーム上の探索範囲内の参照ブロックの画素値との差分を表す評価値を算出する算出部と、
   前記算出部によって算出された前記いずれかのブロックサイズ候補に従って分割した各ブロックの評価値に基づいて、前記対象フレームが分割されたブロックの動きベクトルを検出する検出部と、
   を有することを特徴とする請求項１に記載の符号化装置。
3. 前記選択部は、
   前記特定部によって前記参照フレームが分割されたブロックの動きベクトルが検出された際に前記ブロックのブロックサイズが複数特定された場合、複数のブロックサイズの各々のブロックサイズのうちの相対的に小さいブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択することを特徴とする請求項１または２に記載の符号化装置。
4. 前記選択部は、
   前記特定部によって前記参照フレームが分割されたブロックの動きベクトルが検出された際に前記ブロックのブロックサイズが複数特定された場合、複数のブロックサイズの各々のブロックサイズに従って分割されたブロックの個数に基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択することを特徴とする請求項１〜３のいずれか一つに記載の符号化装置。
5. 前記対象フレームが前記一連のフレームにおける所定の順番のフレームであるか否かを判断する判断部を有し、
   前記特定部は、
   前記判断部によって前記対象フレームが前記所定の順番のフレームであると判断された場合、前記ブロックサイズを特定することを特徴とする請求項１〜４のいずれか一つに記載の符号化装置。
6. 前記対象フレームの画素値と、前記参照フレームの画素値との差分を表す値が所定の閾値未満か否かを判断する判断部を有し、
   前記特定部は、
   前記判断部によって前記値が前記所定の閾値未満であると判断された場合、前記ブロックサイズを特定することを特徴とする請求項１〜５のいずれか一つに記載の符号化装置。
7. 一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定する特定部と、
   前記対象フレームから分割されるブロックの動きベクトルを検出する際に、前記特定部によって特定された前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する選択部と、
   を有するコンピュータを含むことを特徴とするコンピュータシステム。
8. コンピュータが、
   一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
   前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
   処理を実行することを特徴とする符号化方法。
9. コンピュータに、
   一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
   前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
   処理を実行させることを特徴とする符号化プログラム。
10. 一連のフレームにおける符号化対象の対象フレームの参照先となる参照フレームについて、前記参照フレームから分割されるブロックの複数のブロックサイズ候補の中から、前記ブロックの動きベクトルが検出された際のブロックサイズを特定し、
    前記対象フレームから分割されるブロックの動きベクトルを検出する際に、特定した前記ブロックサイズに基づいて、前記複数のブロックサイズ候補のうちの前記対象フレームを分割するいずれかのブロックサイズ候補を選択する、
    処理をコンピュータに実行させる符号化プログラムを記録したことを特徴とする記録媒体。

Images