JP5144545B2 - 動画像コーデック装置及びその方法 - Google Patents

Description

本発明は、復号化時に補間フレームを生成可能な動画像コーデック装置に関し、特に、補間フレーム生成に必要な動きベクトル検出の演算量及びハードウェア規模を低減し、最適なコスト、かつ、画質劣化最小で実現可能な動画像コーデック装置及びその方法に関する。

動画像データを再生する際に、動画像フレームの間を補間して、フレーム数を増やして表示する用途がある。例えば、ビデオカメラなどの用途では、撮影した動画像データの再生時に、補間フレームを生成し、再生時間を延ばして表示することで、なめらかなスロー再生を実現する用途がある。また、液晶ディスプレイを用いたテレビなどの用途では、ディスプレイの時間的な動画解像度を向上させる目的で、補間フレームを生成して、そのままの再生時間で表示する用途がある。つまり、高フレームレートで表示が可能となる。さらに、モバイル機器では、低フレームレートで記録された動画像データを再生する際に、補間フレームを生成して表示することで、通常のフレームレートと同等の表示を実現する用途がある。

図１０及び図１１は、補間フレーム生成に関する概念図である。図１０は、スロー再生を目的とした補間フレーム生成を示す図である。図１１は、高フレームレートの表示を目的とした補間フレーム生成を示す図である。各図の実線のフレームが復号化フレーム、点線のフレームが補間フレームである。図１０では、補間フレームを挿入した動画像列を元の復号化動画像と同じフレームレートで再生することでスロー再生表示される。図１１では、補間フレームを挿入した動画像フレームを、２倍のフレームレートで再生することで、高フレームレートで再生表示される。

以上のように、補間フレームを復号化フレームに内挿する際になめらかに表示できるように、復号化フレームから動きベクトルを算出し、復号化フレームを動き補償することで補間フレームを生成する。

こうした用途を実現するために、動きベクトルを検出して補間フレームを生成する装置に関する従来例として、特許文献１に示される技術がある。

図１２は、特許文献１に示すコーデック装置の構成を示すブロック図である。同図のコーデック装置は、符号化装置２１０と、復号化装置２２０と、補間フレーム作成装置２３０とを備える。

符号化装置２１０は、入力画像を符号化し、符号化ストリームを出力する装置である。符号化装置２１０は、差分器２１１と、直交変換・量子化部２１２と、可変長符号化部２１３と、逆直交変換・逆量子化部２１４と、加算器２１５と、フレームメモリ２１６と、動きベクトル検出部２１７とを備える。

復号化装置２２０は、入力された符号化ストリームを復号化し、復号化された動画像ストリームを補間フレーム作成装置２３０に出力する。

補間フレーム作成装置２３０は、復号化された動画像ストリームの動きベクトルを検出することで補間フレームを作成し、動画像ストリームに挿入する。補間フレーム作成装置２３０は、補間フレーム作成部２３１を備える。さらに、補間フレーム作成装置２３０と符号化装置２１０とは、フレームメモリ２１６と動きベクトル検出部２１７とを共有する。

次に、図１２の従来のコーデック装置の動作について説明する。まずは、符号化時の動作について説明する。

入力画像は、フレームメモリ２１６に格納されると同時に、予測符号化の場合は、差分器２１１によって動き補償画像との差分が計算され、差分画像が直交変換・量子化部２１２に入力される。

直交変換・量子化部２１２は、差分画像を直交変換係数に変換し、所定のパラメータに基づいて直交変換係数を量子化する。そして、量子化変換係数情報として、可変長符号化部２１３及び逆直交変換・逆量子化部２１４に出力する。可変長符号化部２１３は、量子化係数情報を可変長符号化し、出力ストリームとして出力する。

逆直交変換・逆量子化部２１４は、動き補償するためのローカル復号化画像を生成するために、量子化変換係数情報を逆量子化及び逆直交変換して、差分画像を生成する。差分画像は、加算器２１５によって動き補償画像に加算されて、動きベクトル検出のための参照画像として、フレームメモリ２１６に格納される。

動きベクトル検出部２１７は、フレームメモリ２１６から、入力画像と参照画像とを読み出して動きベクトルを検出し、動き補償を実行して、動き補償画像を出力する。

次に、復号化時に補間フレームを生成する場合の動作について説明する。

符号化された入力ストリームが、復号化装置２２０に入力される。復号化装置２２０は、入力ストリームを復号化し、復号化画像を符号化装置２１０のフレームメモリ２１６及び補間フレーム作成部２３１に出力する。

動きベクトル検出部２１７は、フレームメモリ２１６に格納された複数の復号化画像を読み出して、補間フレームを生成する際に用いる動きベクトルを検出し、動きベクトル情報を補間フレーム作成部２３１に出力する。

補間フレーム作成部２３１は、複数の復号化画像と動きベクトル情報とに基づいて、復号化画像のフレーム間を補間する補間フレームを作成し、出力画像として出力する。

特許文献１に示す技術では、動きベクトル検出部２１７が、符号化時と復号化・補間フレーム作成時とで共用化され、符号化時も復号化・補間フレーム作成時も同じ動きベクトル検出処理を用いる構成となっている。
特開２００５−６２７５号公報

しかしながら、上記従来技術においては、補間フレーム生成のために検出される動きベクトルが必ずしも適した動きベクトルであるとは限らないために、生成された補間フレームの画質が必ずしも最適であるとは限らないという課題があった。

上記従来技術では、動きベクトル検出に関わるハードウェア資源を削減するために、符号化時と復号化・補間フレーム生成時とで動きベクトル検出機能を共用化する。しかしながら、動画像符号化部の動きベクトル検出機能を共用するために、動きベクトル検出に用いるコスト導出方式も共用される。これにより、検出された動きベクトルが必ずしも、復号化時の補間フレーム生成のための動きベクトルとして適切な動きベクトルとは限らない。したがって、生成された補間フレームの画質が最適となるとは限らない。

そこで、本発明は、符号化時と補間フレーム生成時とでそれぞれ最適な動きベクトルが検出され、符号化時の符号化効率の向上と復号化・補間フレーム生成時の補間フレームの高画質化とを実現することができる動画像コーデック装置及びその方法を提供することを目的とする。

上記課題を解決するために、本発明の動画像コーデック装置は、動画像データを符号化及び復号化し、復号化時に補間フレームを生成する動画像コーデック装置であって、予め定められた導出方式に従って、画像間の相関を評価するための評価値を導出し、導出した評価値を用いて前記動画像データの第１動きベクトルを検出する第１動きベクトル検出部と、前記第１動きベクトルを用いて前記動画像データを符号化し、符号化ストリームを出力する符号化部と、前記符号化ストリームを復号化し、前記復号化により生成された動画像フレームを出力する復号化部と、前記第１動きベクトルと前記動画像フレームとを用いて補間フレームを生成するフレーム補間部と、符号化処理中の動きベクトル検出処理及び補間フレーム生成処理中の動きベクトル検出処理のいずれが実行されているかに応じて前記導出方式を変更する導出方式変更部とを備え、前記第１動きベクトル検出部は、前記符号化処理と前記補間フレーム生成処理とで兼用され、前記導出方式変更部によって変更された導出方式に従って前記評価値を導出し、導出した評価値を用いて前記第１動きベクトルを検出する。

これにより、符号化時と補間フレーム生成時とでそれぞれ最適な動きベクトルが検出され、符号化時の符号化効率の向上と復号化・補間フレーム生成時の補間フレームの高画質化とを実現することができる。

また、前記導出方式は、前記第１動きベクトルの符号量に関する前記評価値を導出するための第１導出方式と、前記第１動きベクトルの検出に用いられる動画像フレーム間の相関に関する前記評価値を導出するための第２導出方式とを含み、前記導出方式変更部は、前記符号化処理が実行されている場合は、前記第１導出方式を選択し、前記補間フレーム生成処理が実行されている場合は、前記第２導出方式を選択してもよい。

これにより、符号化時には符号量を重視し、補間フレーム生成時には実際の動きをより正確に検出することができる。

また、前記第１導出方式では、前記符号量が小さいほど前記評価値が小さくなり、前記第２導出方式では、前記相関が高いほど前記評価値が小さくなり、前記第１動きベクトル検出部は、前記導出方式変更部により選択された導出方式に従って導出される評価値が小さくなる第１動きベクトルを検出してもよい。

これにより、符号化時には符号量を小さくすることができ、補間フレーム生成時には実際の動きに近い補間フレームを生成することができる。

また、前記動画像コーデック装置は、さらに、前記符号化処理と前記補間フレーム生成処理とで兼用され、前記第１動きベクトルに基づいて、動き補償画像フレームを生成する動き補償部を備え、前記符号化部は、さらに、前記動き補償画像フレームを用いて前記動画像データを符号化し、前記復号化部は、さらに、前記動き補償画像フレームを用いて補間フレームを生成してもよい。

これにより、ハードウェア資源を節約しつつ、補間フレームを生成することができる。

また、前記動画像コーデック装置は、さらに、前記第１動きベクトルより詳細な動きを示す第２動きベクトルを検出する第２動きベクトル検出部を備え、前記フレーム補間部は、前記第２動きベクトルを用いて補間フレームを生成してもよい。例えば、前記第１動きベクトル検出部は、ブロック単位の動きベクトルを検出し、前記第２動きベクトル検出部は、画素単位の動きベクトルを検出する。

これにより、より実際の動きに近い補間フレームを生成することができる。

また、前記動画像コーデック装置は、さらに、前記第１動きベクトルより高精度な第３動きベクトルを検出する第３動きベクトル検出部を備え、前記符号化部は、前記第３動きベクトルを用いて前記動画像データを符号化してもよい。

これにより、補間フレームの生成に必要以上に詳細な精度を有する動きベクトルを利用せずに、必要な精度を有する動きベクトルを利用することができるため、ハードウェア資源を節約しつつ、補間フレームを生成することができる。

なお、本発明は装置として実現できるだけではなく、その装置を構成する処理手段をステップとする方法として実現することができ、また、それらステップをコンピュータに実行させるプログラムとして実現することができる。また、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）から構成されているとしてもよい。

本発明の動画像コーデック装置によれば、符号化時と補間フレーム生成時とでそれぞれ最適な動きベクトルが検出され、符号化時の符号化効率の向上と復号化・補間フレーム生成時の補間フレームの高画質化とを実現することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本実施の形態の動画像コーデック装置１００のブロック図である。同図の動画像コーデック装置１００は、動きベクトルの検出機能を、符号化時と復号化時の補間フレーム生成時とで共有する。このとき、動作モードに応じて、動きベクトルの検出の際に画像間の相関を評価するためのコスト（評価値）を導出するコスト導出方式を変更する。動作モードは、符号化モードと補間フレーム生成モードとである。図１の動画像コーデック装置１００は、動画像符号化部１１０と、動画像復号化部１２０と、フレーム補間部１３０と、コスト導出方式変更部１４０とを備える。

動画像符号化部１１０は、動画像データを符号化して符号化ストリームを出力する。動画像符号化部１１０は、差分器１１１と、直交変換・量子化部１１２と、可変長符号化部１１３と、逆直交変換・逆量子化部１１４と、加算器１１５と、フレームメモリ１１６と、動きベクトル検出部１１７と、動き補償部１１８とを備える。ここで、動画像符号化部１１０とフレーム補間部１３０とは、フレームメモリ１１６と動きベクトル検出部１１７とを共有する。

差分器１１１は、動画像符号化部１１０に入力された入力画像と動き補償画像との差分を算出し、直交変換・量子化部１１２に出力する。

直交変換・量子化部１１２は、差分器１１１から入力された差分画像を直交変換し、所定のパラメータに基づいて直交変換係数を量子化する。そして、量子化された直交変換係数を、量子化変換係数情報として、可変長符号化部１１３及び逆直交変換・逆量子化部１１４に出力する。

可変長符号化部１１３は、量子化変換係数情報を可変長符号化し、出力ストリームとして出力する。

逆直交変換・逆量子化部１１４は、動き補償に用いられるローカル復号化画像を生成するために、量子化変換係数情報を逆量子化及び逆直交変換することで、差分画像を復元する。

加算器１１５は、復元された差分画像を動き補償画像に加算し、動きベクトルの検出のための参照画像としてフレームメモリ１１６に格納する。

フレームメモリ１１６は、動画像符号化部１１０に入力される入力画像及び加算器１１５から入力される参照画像などの複数の動画像フレームを記憶する。

動きベクトル検出部１１７は、フレームメモリ１１６から読み出した動画像フレーム間の動きベクトルを検出する。動きベクトル検出部１１７は、フレームメモリ１１６から入力画像と参照画像とを読み出して、コスト導出方式変更部１４０によって決定されるコスト導出方式に従って、この２つの画像間の動きベクトルを検出し、動き補償部１１８に出力する。

動き補償部１１８は、動きベクトルと参照画像とを用いて動き補償を実行することで動き補償画像を生成し、生成した動き補償画像を差分器１１１及び加算器１１５に出力する。

動画像復号化部１２０は、符号化ストリームを復号化することで、復号化により生成された動画像フレームをフレーム補間部１３０に出力する。

フレーム補間部１３０は、複数の動画像フレームに基づいて動きベクトルを検出することで補間フレームを生成し、生成した補間フレームを用いて出力される動画像ストリームのフレーム間を補間する。フレーム補間部１３０は、補間フレーム生成部１３１を備える。また、上述したように、フレーム補間部１３０は、フレームメモリ１１６と動きベクトル検出部１１７とを、動画像符号化部１１０と共有する。

補間フレーム生成部１３１は、復号化された複数の動画像フレームと、動きベクトル検出部１１７が出力する動きベクトル情報とに基づいて補間フレームを生成する。例えば、時間的に連続する２枚の動画像フレーム間から検出された動きベクトルを、半分に分割し、分割した動きベクトルを用いて動き補償を実行する。これにより、２枚の動画像フレームの時間的に中間に当たる補間フレームを生成する。

コスト導出方式変更部１４０は、動画像コーデック装置１００が、符号化モードであるか補間フレーム生成モードであるかを判別することで、各モードに最適なコスト導出方式を決定する。そして、決定されたコスト導出方式に変更するための制御信号を動きベクトル検出部１１７に出力する。

次に、本実施の形態の動画像コーデック装置１００の動作について説明する。本実施の形態では、符号化動作と復号化及び補間フレーム生成動作との２つの動作モードがある。まずは、符号化動作について説明する。

入力画像は、フレームメモリ１１６に格納されると同時に、予測符号化の場合は、差分器１１１によって動き補償画像との差分が計算され、差分画像が直交変換・量子化部１１２に入力される。

直交変換・量子化部１１２は、差分画像を直交変換係数に変換し、所定のパラメータに基づいて直交変換係数を量子化する。そして、量子化変換係数情報として、可変長符号化部１１３及び逆直交変換・逆量子化部１１４に出力する。可変長符号化部１１３は、量子化変換係数情報を可変長符号化し、出力ストリームとして出力する。

逆直交変換・逆量子化部１１４は、動き補償するためのローカル復号化画像を生成するために、量子化変換係数情報を逆量子化及び逆直交変換して、差分画像を復元する。復元された差分画像は、加算器１１５によって動き補償画像に加算されて、動きベクトル検出のための参照画像として、フレームメモリ１１６に格納される。

動きベクトル検出部１１７は、フレームメモリ１１６から、入力画像と参照画像とを読み出して、動きベクトルを検出し、動き補償部１１８に出力する。動き補償部１１８は、動き補償を実行して、動き補償画像を出力する。

次に、復号化時に補間フレームを生成する場合の動作について説明する。

符号化された入力ストリームが、動画像復号化部１２０に入力される。動画像復号化部は、入力ストリームを復号化し、得られた復号化画像をフレームメモリ１１６及び補間フレーム生成部１３１に出力する。

動きベクトル検出部１１７は、フレームメモリ１１６に格納された複数の復号化画像を読み出して、補間フレームを生成する際に用いる動きベクトルを検出し、動きベクトル情報を補間フレーム生成部１３１に出力する。補間フレーム生成部１３１は、複数の復号化画像と動きベクトル情報とに基づいて、復号化画像のフレーム間を補間する補間フレームを生成し、出力画像として出力する。

以上のように、本実施の形態では、動きベクトル検出部１１７は、符号化動作と復号化及び補間フレーム生成動作とで兼用される。そこで、本実施の形態では、コスト導出方式変更部１４０が、動きベクトルの検出の際に画像間の相関を評価するためのコスト（評価値）の導出方式を動作モードに応じて変更する。これにより、符号化動作ではより符号量を少なくし、復号化及び補間フレーム生成動作ではより最適な画質の補間フレームを生成することができる。

図２は、コスト導出方式変更部１４０の動作を示すフローチャートである。

まず、コスト導出方式変更部１４０は、動画像コーデック装置１００の動作モードを取得する（Ｓ１０１）。例えば、動画像コーデック装置１００を制御する制御部（図示せず）から、本装置が符号化動作モードであるのか、補間フレーム生成動作モードであるのかを取得する。なお、コスト導出方式変更部１４０が、本装置の動作モードを検出する構成としてもよい。

次に、取得した動作モードに応じてコスト導出方式を決定する（Ｓ１０２）。図３は、動作モードとコスト導出方式との関係の一例を示す図である。同図に示すように、補間フレーム生成動作モードの場合は、参照画像と符号化対象画像との相関に重点の置かれたコスト導出方式を決定する。これは、時間的に前後するフレームの動きにより近い補間フレームを生成するためには、相関を高くすることが重要であるためである。コスト導出方式の例として、式１が挙げられる。

（式１） Ｃ ＝ ｘ

式１において、Ｃはコスト（評価値）、ｘは差分絶対値和及び差分二乗和など、２つのブロックの画素データ間の相関を示す。動きベクトル検出部１１７は、例えば、式１を用いることで、コストＣが最小となる動きベクトル、すなわち、相関が最も高い動きベクトルを検出することができる。

また、符号化動作モードの場合は、動きベクトルの符号量に重点の置かれたコスト導出方式を決定する。これは、符号化動作においては、符号化効率を高めるためには符号量を少なくすることが重要であるためである。コスト導出方式の例として、式２が挙げられる。

（式２） Ｃ ＝ ｘ ＋ ａ・ｙ

式２において、Ｃはコスト（評価値）、ｘは差分絶対値和などをベースにした差分符号量に相当する値、ｙは動きベクトル符号量に相当する値、ａは調整パラメータである。調整パラメータａを調整することで、動きベクトル符号量を重視する程度を変更することができる。

なお、式１は、式２においてａ＝０とした場合である。このため、コスト導出方式変更部１４０は、動作モードに応じてａの値を変更してもよい。また、このとき、補間フレーム生成動作モードの場合であっても、必ずしもａ＝０としなくてもよい。

最後に、コスト導出方式変更部１４０は、決定したコスト導出方式を変更するための制御信号を動きベクトル検出部１１７に出力する（Ｓ１０３）。動きベクトル検出部１１７は、制御信号に応じて変更されたコスト導出方式に基づいて、動きベクトルを検出する。例えば、動きベクトル検出部１１７は、コスト導出方式が示すコストＣが最小となる動きベクトルを検出する。

図４は、コスト導出方式の差異に基づく動きベクトルの選択を説明する図である。図４（ａ）は、参照フレーム、図４（ｂ）は符号化対象フレームである。なお、補間フレーム生成動作モードにおいては、参照フレーム及び符号化対象フレームをそれぞれ、時間的に連続する動画像フレームの先行フレーム及び対象フレームとする。

図４（ｂ）の符号化対象フレーム内の太線枠内が動きベクトル検出の対象ブロックである。本実施の形態では、動きベクトル検出対象ブロック内の丸のオブジェクトを前フレームから動き補償予測することを想定する。参照フレームのＡ、Ｂに対応する位置が、符号化対象フレームでのＡ’、Ｂ’の２つの点線の丸オブジェクトの位置である。参照フレームのＡのオブジェクトが、符号化対象フレームの動きベクトル検出対象ブロックに移動したと仮定する。すなわち、図４（ｂ）に示す動きベクトルＡが、実際に動いた様子を示している。また、Ｂのオブジェクトは、Ａのオブジェクトと類似したオブジェクトと仮定する。

Ａのオブジェクトは、動きベクトル検出対象ブロック内のオブジェクトと最も相関が高い。しかし、位置が離れているため、動きベクトル（動きベクトルＡ）は大きい。Ｂのオブジェクトは、動きベクトル検出対象ブロックと類似しており、Ａのオブジェクトに比べて相関は高くない。しかし、隣接しているため、動きベクトル（動きベクトルＢ）は小さくなる。

本装置の動作モードが、補間フレーム生成動作モードである場合、コスト導出方式変更部１４０は、例えば、式１のコスト導出方式に変更する。動きベクトル検出部１１７は、決定されたコスト導出方式に基づいて相関の最も高い動きベクトルを検出する。これにより、図４の例では、動きベクトルＡが検出される。

本装置の動作モードが、符号化動作モードである場合、コスト導出方式変更部１４０は、例えば、式２のコスト導出方式に変更する。動きベクトル検出部１１７は、決定されたコスト導出方式に基づいて、符号量が最も小さくなる動きベクトルを検出する。これにより、図４の例では、動きベクトルＢが検出される（ただし、動きベクトルＡを用いた場合に比べて動きベクトルＢを用いた場合の符号量が少ないとする）。

以上のように、本実施の形態の動画像コーデック装置は、動きベクトル検出機能を共用化することにより、ハードウェア資源を節約し、かつ、補間フレーム生成を実現できると同時に、符号化時と復号化・補間フレーム生成時とで動きベクトル検出のコスト導出方式を適応的に変更することで用途に応じて適切に動きベクトルを検出することができる。すなわち、符号化時の符号化効率の向上と復号化・補間フレーム生成時の補間フレームの高画質化とを両立することが可能となる。

（実施の形態の変形例）
なお、本実施の形態では、以下のようにいくつかの変形例が考えられる。

例えば、図５は、本実施の形態の動画像コーデック装置の変形例を示すブロック図である。同図の動画像コーデック装置１００ａでは、動画像符号化部１１０とフレーム補間部１３０とは、動きベクトル検出部１１７に加えて、動き補償部１１８も共用する。これにより、さらに、ハードウェア資源を節約することができる。

また、図６は、本実施の形態の動画像コーデック装置のさらに異なる変形例を示すブロック図である。同図の動画像コーデック装置１００ｂには、図１に示す装置の動きベクトル検出部１１７の代わりに、動きベクトル検出部１５１が加えられている。動画像符号化部１１０とフレーム補間部１３０とは、動きベクトル検出部１５１を共有する。さらに、動画像符号化部１１０は、新たに高精度動きベクトル検出部１５２を備える。

動きベクトル検出部１５１は、フレームメモリ１１６から読み出した動画像フレーム間の動きベクトルを検出する。動きベクトル検出部１５１は、例えば、整数精度の動きベクトルを検出する。

高精度動きベクトル検出部１５２は、動きベクトル検出部１５１によって検出される動きベクトルより精度が高い動きベクトルを検出する。高精度動きベクトル検出部１５２は、例えば、小数精度の動きベクトルを検出する。

補間フレーム生成部１３１は、動きベクトル検出部１５１から出力される動きベクトルのみを用いて補間フレームを生成する。

これにより、符号化時に動きベクトルの検出を２段階にすることで、より精度の高い符号化を行うことができる。さらに、補間フレームの生成に必要以上に詳細な精度を有する動きベクトルを利用せずに、必要な精度を有する動きベクトルを利用することができる。

また、図７は、本実施の形態の動画像コーデック装置のさらに異なる変形例を示すブロック図である。同図の動画像コーデック装置１００ｃには、図１に示す装置の動きベクトル検出部１１７の代わりに、動きベクトル検出部１６１が加えられている。動画像符号化部１１０とフレーム補間部１３０とは、動きベクトル検出部１６１を共有する。さらに、フレーム補間部１３０は、新たに詳細動きベクトル検出部１６２を備える。

動きベクトル検出部１６１は、フレームメモリ１１６から読み出した動画像フレーム間の動きベクトルを検出する。動きベクトル検出部１６１は、例えば、ブロック単位で動きベクトルを検出する。

詳細動きベクトル検出部１６２は、動きベクトル検出部１６１によって検出される動きベクトルを利用して、さらに詳細な動きを示す動きベクトルを検出する。詳細動きベクトル検出部１６２は、例えば、画素単位で動きベクトルを検出する。

補間フレーム生成部１３１は、詳細動きベクトルを用いて補間フレームを生成する。

これにより、補間フレーム生成時には、実際の動きにより近い動きベクトルを検出し利用することができる。したがって、より画質の良い補間フレームを生成することができる。

以上、本発明の動画像コーデック装置及び動画像コーデック方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、実施の形態の別形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、本実施の形態では、動画像コーデック装置１００は、符号化モードと補間フレーム生成モードとの２つの動作モードがある場合について説明したが、これら２つのモードは、動きベクトル検出処理を除いて並列化してもよい。

具体的には、コスト導出方式変更部１４０は、動きベクトル検出部１１７が符号化処理中の動きベクトル検出処理を行うのか、補間フレーム生成処理中の動きベクトル検出処理を行うのかに従って、コスト導出方式を決定してもよい。すなわち、動きベクトル検出部１１７が符号化処理中の動きベクトル検出処理を行う場合は、符号量を重視するコスト導出方式（例えば、式２）を選択する。あるいは、動きベクトル検出部１１７が補間フレーム生成処理中の動きベクトル検出処理を行う場合は、相関を重視するコスト導出方式（例えば、式１）を選択する。

図８は、コスト導出方式変更部１４０と動きベクトル検出部１１７との動作の一例を示すフローチャートである。

動きベクトル検出処理を行う場合、コスト導出方式変更部１４０は、動きベクトル検出処理が、補間フレーム生成処理中の動きベクトル検出処理であるか、又は、符号化処理中の動きベクトル検出処理であるかを判定する（Ｓ２０１）。

動きベクトル検出処理が、補間フレーム生成処理中である場合（Ｓ２０１で“補間フレーム生成”）、コスト導出方式変更部１４０は、式１に示すような相関重視のコスト導出方式を選択する（Ｓ２０２）。動きベクトル検出処理が、符号化処理中である場合（Ｓ２０１で“符号化”）、コスト導出方式変更部１４０は、式２に示すような符号量重視のコスト導出方式を選択する（Ｓ２０３）。コスト導出方式変更部１４０は、選択したコスト導出方式に変更するための制御信号を動きベクトル検出部１１７に出力する。

動きベクトル検出部１１７は、コスト導出方式変更部１４０から入力される制御信号に従ってコスト導出方式を決定し、決定したコスト導出方式に従って動きベクトルを検出する（Ｓ２０４）。

これにより、符号化処理と補間フレーム生成処理とで兼用される動きベクトル検出処理以外の処理を並列化することができる。つまり、動画像コーデック装置１００は、符号化処理と補間フレーム生成処理とのいずれか一方しか実行できないのではなく、符号化処理と補間フレーム生成処理とを並列化することができる。例えば、カメラなどで撮影することで得られる画像データを符号化して記録すると同時に、補間フレームを生成して再生するように、符号化処理と補間フレーム生成処理とを並列化することができる。

なお、本実施の形態で用いたコスト導出方式は、式１及び式２に限らず、符号化及び復号化・補間フレーム生成に適した動きベクトルが検出可能な導出方式であればいかなる方式でもよい。

また、本実施の形態では、動きベクトル検出部１１７は、複数のコスト導出方式を保持しており、コスト導出方式変更部１４０から入力される制御信号に基づいて切り替えられたコスト導出方式に従って動きベクトルの検出を行う構成とした。これに対して、コスト導出方式変更部１４０が複数のコスト導出方式を保持しており、動きベクトル検出部１１７に動作モードに応じて適したコスト導出方式を出力する構成としてもよい。この場合、動きベクトル検出部１１７は、入力されたコスト導出方式に従って動きベクトルの検出を行う。

また、本実施の形態では、動きベクトル検出部１１７はコスト導出方式が示すコストが最小となる動きベクトルを検出する構成とした。これに対して、コストの閾値を定めることで、定めた閾値より小さい動きベクトルを検出する構成としてもよい。

また、図６及び図７に示す動画像コーデック装置の変形例では、動きベクトルの検出を２段階とした。これに対して、２段階以上の動きベクトルの検出を行い、１段階以上の動きベクトルの検出機能を符号化時と補間フレーム生成時とで共有してもよい。

また、図７の動画像コーデック装置１００では、動きベクトルの検出をブロック単位と画素単位との２段階とした。これはあくまで一例であって、例えば、１段階目の動きベクトルの検出を８×８のブロック単位で行い、２段階目の動きベクトルの検出を４×４のブロック単位で行ってもよい。すなわち、１段階目より詳細な動きを示す動きベクトルを２段階目で検出する構成であればいかなる構成でもよい。

また、本発明は、上述したように、動画像コーデック装置及び動画像コーデック方法として実現できるだけではなく、本実施の形態の動画像コーデック方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、動画像コーデック装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

本発明の動画像コーデック装置及びその方法は、復号化時に補間フレームを生成するコーデック装置に利用でき、特に図９Ａ又は図９Ｂに示すように、滑らかなスロー再生を実現するデジタルビデオカメラや、時間軸上の動画像の解像度を向上させて液晶ディスプレイに表示するデジタルテレビなどに利用することができる。

本実施の形態の動画像コーデック装置の構成を示すブロック図である。 コスト導出方式変更部の動作を示すフローチャートである。 動作モードとコスト導出方式との関係の一例を示す図である。 コスト導出方式の差異に基づく動きベクトルの選択を説明する図である。 本実施の形態の動画像コーデック装置の変形例を示すブロック図である。 本実施の形態の動画像コーデック装置の変形例を示すブロック図である。 本実施の形態の動画像コーデック装置の変形例を示すブロック図である。 コスト導出方式変更部と動きベクトル検出部との動作の一例を示すフローチャートである。 本発明の動画像コーデック装置を備えるテレビの例を示す図である。 本発明の動画像コーデック装置を備えるカメラの例を示す図である。 スロー再生を目的とした補間フレーム生成に関する概念図である。 高フレームレートを目的とした補間フレーム生成に関する概念図である。 従来の補間フレーム生成装置の構成を示すブロック図である。

１００、１００ａ、１００ｂ、１００ｃ 動画像コーデック装置
１１０ 動画像符号化部
１１１、２１１ 差分器
１１２、２１２ 直交変換・量子化部
１１３、２１３ 可変長符号化部
１１４、２１４ 逆直交変換・逆量子化部
１１５、２１５ 加算器
１１６、２１６ フレームメモリ
１１７、１５１、１６１、２１７ 動きベクトル検出部
１１８ 動き補償部
１２０ 動画像復号化部
１３０ フレーム補間部
１３１ 補間フレーム生成部
１４０ コスト導出方式変更部
１５２ 高精度動きベクトル検出部
１６２ 詳細動きベクトル検出部
２１０ 符号化装置
２２０ 復号化装置
２３０ 補間フレーム作成装置
２３１ 補間フレーム作成部

Claims (9)

1. 動画像データを符号化及び復号化し、復号化時に補間フレームを生成する動画像コーデック装置であって、
   予め定められた導出方式に従って、画像間の相関を評価するための評価値を導出し、導出した評価値を用いて前記動画像データの第１動きベクトルを検出する第１動きベクトル検出部と、
   前記第１動きベクトルを用いて前記動画像データを符号化し、符号化ストリームを出力する符号化部と、
   前記符号化ストリームを復号化し、前記復号化により生成された動画像フレームを出力する復号化部と、
   前記第１動きベクトルと前記動画像フレームとを用いて補間フレームを生成するフレーム補間部と、
   符号化処理中の動きベクトル検出処理及び補間フレーム生成処理中の動きベクトル検出処理のいずれが実行されているかに応じて前記導出方式を変更する導出方式変更部とを備え、
   前記第１動きベクトル検出部は、前記符号化処理と前記補間フレーム生成処理とで兼用され、前記導出方式変更部によって変更された導出方式に従って前記評価値を導出し、導出した前記評価値を用いて前記第１動きベクトルを検出し、
   前記導出方式は、
   前記第１動きベクトルの符号量に関する前記評価値を導出するための第１導出方式と、
   前記第１動きベクトルの検出に用いられる動画像フレーム間の相関に関する前記評価値を導出するための第２導出方式とを含み、
   前記導出方式変更部は、前記符号化処理が実行されている場合は、前記第１導出方式を選択し、前記補間フレーム生成処理が実行されている場合は、前記第２導出方式を選択する
   ことを特徴とする動画像コーデック装置。
2. 前記第１導出方式では、前記符号量が小さいほど前記評価値が小さくなり、
   前記第２導出方式では、前記相関が高いほど前記評価値が小さくなり、
   前記第１動きベクトル検出部は、前記導出方式変更部により選択された導出方式に従って導出される評価値が小さくなる第１動きベクトルを検出する
   ことを特徴とする請求項１記載の動画像コーデック装置。
3. 前記動画像コーデック装置は、さらに、
   前記符号化処理と前記補間フレーム生成処理とで兼用され、前記第１動きベクトルに基づいて動き補償画像フレームを生成する動き補償部を備え、
   前記符号化部は、さらに、前記動き補償画像フレームを用いて前記動画像データを符号化し、
   前記復号化部は、さらに、前記動き補償画像フレームを用いて補間フレームを生成する
   ことを特徴とする請求項２記載の動画像コーデック装置。
4. 前記動画像コーデック装置は、さらに、
   前記第１動きベクトルより詳細な動きを示す第２動きベクトルを検出する第２動きベクトル検出部を備え、
   前記フレーム補間部は、前記第２動きベクトルを用いて補間フレームを生成する
   ことを特徴とする請求項２記載の動画像コーデック装置。
5. 前記第１動きベクトル検出部は、ブロック単位の動きベクトルを検出し、
   前記第２動きベクトル検出部は、画素単位の動きベクトルを検出する
   ことを特徴とする請求項４記載の動画像コーデック装置。
6. 前記動画像コーデック装置は、さらに、
   前記第１動きベクトルより高精度な第３動きベクトルを検出する第３動きベクトル検出部を備え、
   前記符号化部は、前記第３動きベクトルを用いて前記動画像データを符号化する
   ことを特徴とする請求項２記載の動画像コーデック装置。
7. 動画像データを符号化及び復号化し、復号化時に補間フレームを生成する動画像コーデック方法であって、
   予め定められた導出方式に従って、画像間の相関を評価するための評価値を導出し、導出した評価値を用いて前記動画像データの第１動きベクトルを検出する第１動きベクトル検出ステップと、
   前記第１動きベクトルを用いて前記動画像データを符号化し、符号化ストリームを出力する符号化ステップと、
   前記符号化ストリームを復号化し、前記復号化により生成された動画像フレームを出力する復号化ステップと、
   前記第１動きベクトルと前記動画像フレームとを用いて補間フレームを生成するフレーム補間ステップと、
   符号化処理中の動きベクトル検出処理及び補間フレーム生成処理中の動きベクトル検出処理のいずれが実行されているかに応じて前記導出方式を変更する導出方式変更ステップとを含み、
   前記第１動きベクトル検出ステップでは、
   前記導出方式変更ステップで変更された導出方式に従って前記評価値を導出し、導出した前記評価値を用いて前記第１動きベクトルを検出し、
   前記導出方式は、
   前記第１動きベクトルの符号量に関する前記評価値を導出するための第１導出方式と、
   前記第１動きベクトルの検出に用いられる動画像フレーム間の相関に関する前記評価値を導出するための第２導出方式とを含み、
   前記導出方式変更ステップでは、前記符号化処理が実行されている場合は、前記第１導出方式を選択し、前記補間フレーム生成処理が実行されている場合は、前記第２導出方式を選択する
   ことを特徴とする動画像コーデック方法。
8. 動画像データを符号化及び復号化し、復号化時に補間フレームを生成する動画像コーデック装置のためのプログラムであって、
   予め定められた導出方式に従って、画像間の相関を評価するための評価値を導出し、導出した評価値を用いて前記動画像データの第１動きベクトルを検出する第１動きベクトル検出ステップと、
   前記第１動きベクトルを用いて前記動画像データを符号化し、符号化ストリームを出力する符号化ステップと、
   前記符号化ストリームを復号化し、前記復号化により生成された動画像フレームを出力する復号化ステップと、
   前記第１動きベクトルと前記動画像フレームとを用いて補間フレームを生成するフレーム補間ステップと、
   符号化処理中の動きベクトル検出処理及び補間フレーム生成処理中の動きベクトル検出処理のいずれが実行されているかに応じて前記導出方式を変更する導出方式変更ステップとを含み、
   前記第１動きベクトル検出ステップでは、
   前記導出方式変更ステップで変更された導出方式に従って前記評価値を導出し、導出した前記評価値を用いて前記第１動きベクトルを検出し、
   前記導出方式は、
   前記第１動きベクトルの符号量に関する前記評価値を導出するための第１導出方式と、
   前記第１動きベクトルの検出に用いられる動画像フレーム間の相関に関する前記評価値を導出するための第２導出方式とを含み、
   前記導出方式変更ステップでは、前記符号化処理が実行されている場合は、前記第１導出方式を選択し、前記補間フレーム生成処理が実行されている場合は、前記第２導出方式を選択する
   ことをコンピュータに実行させるプログラム。
9. 動画像データを符号化及び復号化し、復号化時に補間フレームを生成する集積回路であって、
   予め定められた導出方式に従って、画像間の相関を評価するための評価値を導出し、導出した評価値を用いて前記動画像データの第１動きベクトルを検出する第１動きベクトル検出部と、
   前記第１動きベクトルを用いて前記動画像データを符号化し、符号化ストリームを出力する符号化部と、
   前記符号化ストリームを復号化し、前記復号化により生成された動画像フレームを出力する復号化部と、
   前記第１動きベクトルと前記動画像フレームとを用いて補間フレームを生成するフレーム補間部と、
   符号化処理中の動きベクトル検出処理及び補間フレーム生成処理中の動きベクトル検出処理のいずれが実行されているかに応じて前記導出方式を変更する導出方式変更部とを備え、
   前記第１動きベクトル検出部は、前記符号化処理と前記補間フレーム生成処理とで兼用され、前記導出方式変更部によって変更された導出方式に従って前記評価値を導出し、導出した前記評価値を用いて前記第１動きベクトルを検出し、
   前記導出方式は、
   前記第１動きベクトルの符号量に関する前記評価値を導出するための第１導出方式と、
   前記第１動きベクトルの検出に用いられる動画像フレーム間の相関に関する前記評価値を導出するための第２導出方式とを含み、
   前記導出方式変更部は、前記符号化処理が実行されている場合は、前記第１導出方式を選択し、前記補間フレーム生成処理が実行されている場合は、前記第２導出方式を選択する
   ことを特徴とする集積回路。

Images