JP6872412B2 - 映像符号化装置及びプログラム - Google Patents

Description

本発明は、映像を圧縮符号化する映像符号化装置及びプログラムに関する。本発明は、例えば、低いフレームレート（例えば、６０Ｈｚ）の映像に対してフレーム内挿を行いながら符号化処理を行うことで高いフレームレート（例えば、１２０Ｈｚ）の映像の符号化ストリームを生成する映像符号化装置に関する。

放送番組を構成する映像のフレームレートとして、６０Ｈｚ（６０／１．００１Ｈｚを指すこともある）が現在主流である。今後普及が見込まれる超高精細テレビジョンでは、映像のフレームレートは、１２０Ｈｚ（１２０／１．００１Ｈｚを指すこともある）も使用され、将来は１２０Ｈｚに移行が進んでいくと考えられる。１２０Ｈｚの映像に完全に移行されるまで、コンテンツの素材として１２０Ｈｚの映像と６０Ｈｚの映像とが混在することになる。１２０Ｈｚの映像信号を処理するための映像システム（以下、１２０Ｈｚシステム）には、素材として６０Ｈｚの映像信号が入力されるケースが想定される。即ち、１２０Ｈｚシステムでは、１２０Ｈｚの映像信号と６０Ｈｚの映像信号とが混在する場合や、６０Ｈｚの映像信号のフレームを繰り返して疑似的に得られる１２０Ｈｚの映像信号が入力される場合がある。

大久保 榮監修，「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」，株式会社インプレスジャパン，２０１３年１０月２１日，初版，ｐ４７−５９

６０Ｈｚの映像信号を１２０Ｈｚシステムへの入力信号として扱うためには、予め６０Ｈｚの映像信号を１２０Ｈｚの映像信号に変換（アップコンバート）しておく必要がある。フレームレートを変換するためには、変換装置（アップコンバータ）を別途付加しておかなければならない。
フレームレートの変換を高い画質で行うためには、動き検出など映像の内容に応じた高度な処理を必要とする。そのため、設備の規模が大きくなりがちである。反面、簡易な機器では、変換処理としてフレームの繰り返しなどの簡易な処理にならざるを得ない。簡易な機器により得られる映像の品質は、１２０Ｈｚの映像として十分ではない。

他方、映像のデータ圧縮において、動き補償フレーム間予測を行う符号化方式を用いることが一般的である。かかる映像符号化方式として、例えば、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｉｚａｔｉｏｎ Ｓｅｃｔｏｒ；国際電気通信連合 電気通信標準化部門）Ｈ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、以下、ＨＥＶＣと呼ぶ）方式が現在主流である。その他、映像符号化処理では、符号化効率を高めるための様々な信号処理が採用されている。

従来の映像符号化方式では、入力映像信号に対する符号化歪（例えば、差分のエネルギー）がより小さくなるように動きベクトルや予測残差を符号化する。しかし、６０Ｈｚの映像を構成するフレームを繰り返して生成されるフレームは、もともと存在していなかったフレームである。たとえ１２０Ｈｚの映像の動きベクトルや予測残差をフレーム毎に符号化歪が小さくなるように忠実に符号化しても、符号化により得られる符号化ストリームに基づく復号映像の主観的な品質は必ずしも高くならない。このように、従来の符号化処理では、入力映像（原映像）との符号化歪がより小さい映像ほど、符号化効率の観点において優れた復号映像になることを前提としており、映像符号化処理を構成する信号処理を活用した主観的な品質の向上は考慮されていなかった。繰り返して生成されるフレームのように、もともと存在していなかったタイミングのフレームに対しては、必ずしも符号化歪を最小とする復号映像を生成する必要はない。このような場合には、符号化歪の大きさに関わらず、復号映像の主観的な品質を向上させることが期待される。

本発明は上記の点に鑑みてなされたものであり、疑似的に生成された入力映像信号から品質が高い映像の復号を可能とする符号化ストリームを生成することができる映像符号化装置及びプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、入力映像のブロック毎に動きベクトルを検出し、前記動きベクトルに基づく動き補償を行って得られる予測映像と前記入力映像との予測残差と、前記動きベクトルとを符号化する映像符号化装置であって、前記入力映像のうち、前記入力映像よりもフレームレートが低い原映像が繰り返された低フレームレート映像を検出する低フレームレート検出部と、前記入力映像の第１フレームの復号映像を参照して前記低フレームレート映像が検出されない第２フレームの動きベクトルを生成し、前記動きベクトルと、前記第１フレームから前記第２フレームまでの第１期間に対する前記第１フレームから前記低フレームレート映像を含む第３フレームまでの第２期間の比に基づいて、前記第３フレームの動きベクトルを生成する動きベクトル生成部と、前記第３フレームにおいて、前記予測残差の符号化を行わず、前記第３フレームの動きベクトルを符号化する符号化部と、を備える映像符号化装置である。

［１］の構成によれば、原映像が繰り返された第３フレームにおける映像の動きが、第２フレームにおける映像の動きを示す動きから、動きベクトルを生成する際に参照された第１フレームから第２フレームまでの第１期間に対する第１フレームから第３フレームまでの第２期間の比で推定される。そのため、予測残差の大きさに関わらず第３フレームの映像の動きとして、円滑な動きを示す動きベクトルが符号化される。従って、従来の映像復号装置と同様の構成で主観的な品質が高い映像を復号可能とする符号化ストリームを生成することができる。

［２］本発明の一態様は、上述の映像符号化装置であって、前記低フレームレート検出部は、前記ブロック毎に前記低フレームレート映像の有無を判定し、前記動きベクトル生成部は、前記低フレームレート映像を有するブロックである低フレームレートブロックにおいて、前記第３フレームの動きベクトルを生成し、前記符号化部は、前記低フレームレートブロックにおいて、前記予測残差の符号化を行わず、前記低フレームレートブロックの動きベクトルを符号化することを特徴とする。

［２］の構成によれば、入力映像を参照せずに映像の動きを推定する空間的領域が、低フレームレート映像が含まれる低フレームレートブロックからなるフレームの一部の領域に限定される。他方、低フレームレート映像が含まれないその他の領域は、通常フレームと同様に入力映像の参照先フレームを参照して映像の動きが推定される。そのため、低フレームレート映像の領域の変化に応じて、入力映像を参照せずに映像の動きを推定する空間的領域を追従させることができる。

［３］本発明の一態様は、上述の映像符号化装置であって、前記動きベクトル生成部は、
前記第２フレームのブロック毎に、生成した動きベクトルで参照される方向に前記第３フレームに投影される投影領域を定め、前記投影領域のうち、前記第３フレームの符号化対象ブロックに重複する領域が最も大きい前記投影領域に投影される前記第２フレームのブロックの動きベクトルを選択することを特徴とする。

［３］の構成によれば、フレーム毎に分割されたブロックの区分が異なる場合でも第３フレームの符号化対象ブロックに最も空間的に近接した投影領域に係る動きベクトルが特定される。そのため、符号化対象の第３フレームにおいて、ブロック毎に異なる映像の動きの確実な符号化と符号量の低減を両立することができる。

［４］本発明の一態様は、コンピュータに、入力映像のブロック毎に動きベクトルを検出し、前記動きベクトルに基づく動き補償を行って得られる予測映像と前記入力映像との予測残差と、前記動きベクトルとを符号化する映像符号化装置であって、前記入力映像のうち、前記入力映像よりもフレームレートが低い原映像が繰り返された低フレームレート映像を検出する低フレームレート検出部と、前記入力映像の第１フレームの復号映像を参照して前記低フレームレート映像が検出されない第２フレームの動きベクトルを生成し、前記動きベクトルと、前記第１フレームから前記第２フレームまでの第１期間に対する前記第１フレームから前記低フレームレート映像を含む第３フレームまでの第２期間の比に基づいて、前記第３フレームの動きベクトルを生成する動きベクトル生成部と、前記第３フレームにおいて、前記予測残差の符号化を行わず、前記第３フレームの動きベクトルを符号化する符号化部と、を備える映像符号化装置として機能させるためのプログラムである。

［４］の構成によれば、原映像が繰り返された第３フレームにおける映像の動きが、第２フレームにおける映像の動きを示す動きから、動きベクトルを生成する際に参照された第１フレームから第２フレームまでの第１期間に対する第１フレームから第３フレームまでの第２期間の比で推定される。そのため、第３フレームの映像の動きとして、円滑な動きを示す動きベクトルが符号化される。従って、従来の映像復号装置と同様の構成で主観的な品質が高い映像を復号可能とする符号化ストリームを生成することができる。

本発明によれば、疑似的に生成された入力映像信号から復号装置の機能を変更せずに品質が高い映像を復号することができる符号化ストリームを生成することができる。

本実施形態に係る映像符号化装置の全体構成を示す概略ブロック図である。 ＬＦＲフレームの検出例を示す図である。 本実施形態に係る符号化処理部の構成を示すブロック図である。 本実施形態に係る動きベクトルの生成方法の説明図である。 ＳＯＰの例を示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る映像符号化装置１の全体構成を示す概略ブロック図である。
映像符号化装置１は、符号化処理部１０と、ＬＦＲ（Ｌｏｗ Ｆｒａｍｅ Ｒａｔｅ；低フレームレート）検出部２０と、を備える。

符号化処理部１０には、映像符号化装置１の外部から映像信号が入力され（映像入力）、ＬＦＲ検出部２０からＬＦＲ検出信号が入力される。以下の説明では、映像符号化装置１に入力される映像信号を、入力映像信号と呼ぶ。ＬＦＲ検出信号は、入力映像信号のフレームが、そのフレームレート（例えば、１２０Ｈｚ）よりも低いフレームレート（例えば、６０Ｈｚ）の原映像を素材として生成された映像であることを示す信号である。ＬＦＲ検出信号は、低いフレームレートの原映像のフレーム、又はその原映像のフレームを繰り返して（フレームリピート）生成されたフレームを示す。以下の説明では、低いフレームレートの原映像のフレームを繰り返して生成されたフレームをＬＦＲフレームと呼び、ＬＦＲフレーム以外のフレームを通常フレームを呼ぶ。通常フレームには、繰り返しに用いられた低いフレームレートの原映像のフレームの他、フレームレートを変換せずに入力された映像のフレームが含まれる。なお、以下の説明では、主に、入力映像信号のフレームレート、低いフレームレートが、それぞれ１２０Ｈｚ、６０Ｈｚである場合を例にする。また、フレームレートが１２０Ｈｚ、６０Ｈｚである映像もしくは映像信号を、それぞれ「１２０Ｈｚ映像」、「６０Ｈｚ映像」と呼ぶ。６０Ｈｚ映像を素材として生成された１２０Ｈｚ映像では、通常フレームとＬＦＲフレームが交互に繰り返される。以下の説明では、通常フレーム、ＬＦＲフレームをそれぞれ偶数フレーム、奇数フレームと呼ぶことがある。

符号化処理部１０は、入力された映像信号が示すフレーム毎の映像を複数の部分領域（ブロック）に区分する。符号化処理部１０は、ＬＦＲ検出信号に基づいてフレームの種類を判定し、判定したフレームの種類に応じた動作モードで処理を行う。ここで、通常フレームにおける動作モードを「通常モード」、ＬＦＲフレームにおける動作モードを「ＬＦＲモード」と呼ぶ。通常モードでは、符号化処理部１０は、従来の符号化処理と同様の処理を行う。即ち、符号化処理部１０は、符号化済みのフレームにおいて復号された映像信号を参照して、符号化対象の通常フレームのブロック毎に生成した動きベクトルに基づく動き補償を行って予測映像信号を生成する。符号化処理部１０は、生成した予測映像信号と入力された映像信号との差分である予測残差信号と、生成した動きベクトルを符号化する。符号化処理部１０は、符号化により得られた符号からなる符号化ストリームを映像符号化装置１の外部に出力する。

ＬＦＲモードでは、符号化処理部１０は、符号化対象のＬＦＲフレームを基準とする所定の期間内の通常フレームから生成した動きベクトルを内挿又は外挿して、符号化対象のＬＦＲフレームにおける動きベクトルをブロック毎に生成する。符号化処理部１０は、生成した動きベクトルを符号化し、予測残差信号の符号化を行わない。符号化処理部１０は、符号化により得られた符号からなる符号化ストリームを映像符号化装置１の外部に出力する。符号化処理部１０の構成については、後述する。

ＬＦＲ検出部２０には、映像符号化装置１の外部から入力される１２０Ｈｚ映像の映像信号から、フレームレートがより低い６０Ｈｚ映像に基づいて生成された区間（以下、６０Ｈｚ区間）のフレームを検出する。ＬＦＲ検出部２０は、６０Ｈｚ区間を検出する際、例えば、入力映像信号から時間的に互いに隣接するフレーム間で信号値の類似度を示す指標値を算出する。指標値は、例えば、フレーム間における映像信号の差分の電力（差分電力）である。差分電力は、信号値の差分の画素間における平方和である。差分電力は、その値が小さいほどフレーム間での類似度が高いことを示す指標値である。ＬＦＲ検出部２０は、類似度が所定の類似度の閾値よりも高いと判定されるフレーム同士を、６０Ｈｚ映像区間のフレームとして判定する。ＬＦＲ検出部２０は、互いに類似度が高い判定した一組のフレームのうち、表示順が早いフレーム、遅いフレームを、それぞれ通常フレーム、そのフレームを繰り返して生成されたＬＦＲフレームとして判定する。ＬＦＲ検出部２０は、ＬＦＲフレームと判定したフレームについて、そのフレームがＬＦＲフレームであることを示すＬＦＲ検出信号を映像符号化装置１に出力し、その他のフレームについては、ＬＦＲ検出信号を出力しない。

なお、入力映像信号のフレームレートに対する原映像のフレームレートの比は、必ずしも２：１になるとは限らない。そこで、ＬＦＲ検出部２０が行う処理は、次のように一般化されてもよい。ＬＦＲ検出部２０は、フレーム毎に入力映像信号から時間的に互いに隣接するフレーム間で信号値の類似度を示す指標値を算出する。ＬＦＲ検出部２０は、隣接するフレーム間で類似度が所定の閾値よりも高いフレームが連続する区間を特定する。ＬＦＲ検出部２０は、特定した各区間において、表示順が最初のフレームを通常フレームとし、その区間内の他のフレームをＬＦＲフレームとして判定する。

また、映像コンテンツの制作、編集においては、複数の系統の映像信号を素材として、１系統の映像信号を生成することがある。よりフレームレートが低い原映像を素材として生成される入力映像信号には、主に次のケースＣ１、Ｃ２がある。
（Ｃ１）各フレームの全領域について、よりフレームレートが低い原映像（例えば、６０Ｈｚ映像）を素材として生成された区間が一部又は全部の時間帯であるケース
（Ｃ２）一部の空間的領域（例えば、小窓）において、よりフレームレートが低い原映像（例えば、６０Ｈｚ映像）を素材とし、その他の領域における素材の映像についてフレームレートを変更しないケース

（Ｃ１）のケースでは、ＬＦＲ検出部２０は、よりフレームレートが低い原映像から生成された区間（以下、低フレームレート区間）をフレーム単位で検出し、検出したフレームの種別がＬＦＲフレームであることを示すＬＦＲ検出信号を映像符号化装置１に出力する。
（Ｃ２）のケースでは、ＬＦＲ検出部２０は、低フレームレート区間をブロック単位で検出し、検出した区間において、そのブロックの種別を示すＬＦＲ検出信号を映像符号化装置１に出力する。より具体的には、ＬＦＲ検出部２０は、各フレームの空間的領域を区分した複数のブロックのそれぞれについて、そのブロックが、原映像のブロック（以下、通常ブロック）であるか、原映像を繰り返して生成されたブロック（以下、ＬＦＲブロック）であるかを判定する。ＬＦＲ検出部２０は、ブロック毎の映像の種別として、低フレームレート区間においてＬＦＲブロックと判定したブロックについて、そのブロックの種類がＬＦＲブロックであることを示すＬＦＲ検出信号を生成する。ブロックとして、例えば、ＨＥＶＣに規定された予測単位（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）などの処理単位が適用されてもよい。
符号化処理部１０は、ＬＦＲ検出部２０から入力されたＬＦＲ検出信号に基づいて各ブロックの種類を判定し、判定したブロックの種類に応じた動作モードで符号化処理を行う。ここで、符号化処理部１０は、通常ブロックについて、通常モードで符号化処理を実行し、ＬＦＲブロックについてＬＦＲモードで符号化処理を実行する。

（ＬＦＲフレームの検出例）
次に、ＬＦＲフレームの検出例について説明する。図２は、ＬＦＲフレームの検出例を示す図である。ここで、映像符号化装置１は、１２０Ｈｚ映像の符号化処理を実行する１２０Ｈｚシステムであり、フレーム単位でフレームの種別を判定するものとする。また、入力素材として３系統の映像信号から１系統の映像信号が選択され、選択された映像信号が放送番組の映像信号として映像符号化装置１に入力される場合を仮定する。

選択される映像信号は、シーン１、シーン２、シーン３の順番で切り替えられる（映像スイッチング）。シーン１、シーン３の映像信号は、それぞれ１２０Ｈｚ映像として構成される。そのため、シーン１、シーン３の映像信号は、１２０Ｈｚシステムとしての映像符号化装置１にそのまま入力可能である。他方、シーン２の映像信号は、６０Ｈｚ映像を原映像としてフレームリピートを行うことで１２０Ｈｚ映像として疑似的に構成された映像信号である。フレームリピートにおいて、各フレームの原映像を繰り返して複製された映像が、１／１２０ｓ後の新たなフレームとして構成される。１／１２０ｓは、疑似的に構成された１２０Ｈｚ映像のフレーム間隔に相当し、原映像のフレーム間隔を繰り返し回数である２で除算して得られる期間に相当する。従って、シーン２の映像信号は、フレームレートが６０Ｈｚである原映像のフレームが、２フレームずつ繰り返して構成される。

図２において、Ｔ１は、シーン１からシーン２への切り替え時刻、Ｔ２は、シーン２からシーン３への切り替え時刻を示す。映像符号化装置１には、時刻Ｔ１よりも前の期間ではシーン１の映像信号が入力され、時刻Ｔ２よりも後の期間ではシーン３の映像信号が入力される。これらの期間では、６０Ｈｚ映像が検出されないため、ＬＦＲ検出部２０は、ＬＦＲ検出信号を出力しない。従って、符号化処理部１０は、シーン１、シーン３の映像信号について通常モード（１２０Ｈｚ）で符号化処理を行う。
他方、時刻Ｔ１から時刻Ｔ２の間では、シーン２が映像符号化装置１に入力される。この期間では、通常フレームとＬＦＲフレームが交互に繰り返される。従って、ＬＦＲ検出部２０は、この期間内のフレームのうち、フレームの種類がＬＦＲフレームと判定したフレームについてＬＦＲフレームを示すＬＦＲ検出信号を符号化処理部１０に出力する。従って、この期間では、符号化処理部１０は、シーン２の映像信号に実行する符号化処理の動作モードとして、通常モードとＬＦＲモードを６０Ｈｚで交互に繰り返す。

（符号化処理部の構成）
次に、本実施形態に係る符号化処理部１０の構成について説明する。図３は、本実施形態に係る符号化処理部１０の構成を示すブロック図である。次の説明では、符号化処理部１０がＨＥＶＣで規定された映像復号方式を用いて復号するための符号化データを生成し、ＬＦＲ検出部２０がフレーム単位でＬＦＲフレームを検出する場合を例にする。

符号化処理部１０は、ブロック分割部１０２、減算部１０４、変換部１０６、量子化部１０８、逆量子化部１１０、逆変換部１１２、加算部１１４、フレームメモリ１１６、動き検出部１１８、動き補償予測部１２０、動きベクトルメモリ１２２、動きベクトル生成部１２４、切替部１２６、１２８、及びエントロピー符号化部１３０、１３２を含んで構成される。

ブロック分割部１０２は、入力映像信号が示す映像の各フレームの領域を複数のブロックに分割する。ブロック分割部１０２は、ブロック分割の方式として、任意の方式を用いることができる。ブロック分割部１０２は、例えば、各フレームの映像をそれぞれ一定のブロックサイズを有する複数のブロックに分割してもよいし、公知の映像符号化方式で採用されている方式を用いてもよい。例えば、ＨＥＶＣでは、ブロックの階層的な分割構造（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）が採用され、複数の階層にわたってブロック分割がなされる。分割されるブロックには、符号化単位（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、予測単位（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換単位（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）がある。ＣＵは、映像信号の符号化を行う単位である。ＨＥＶＣでは、各ＣＵのブロックサイズは、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素のいずれかである。ＰＵは、動き検出もしくは動き補償予測を行う単位であり、ＣＵよりも細分化された単位である。ＰＵの形状は、正方形に限られず矩形にもなりうる。ＴＵは、予測残差信号に対して直交変換がなされる単位であり、ＰＵとは独立にＣＵよりも細分化された単位である。ブロック分割部１０２は、ブロック分割を行う際、符号化処理を試行して得られるコスト値が、より少なくなるようにブロックを定めてもよい。そのため、分割されたブロック間では、位置の他、形状やブロックサイズが異なりうる。コスト値として、例えば、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）コストを用いる（ＲＤ最適化）。ＲＤコストは、予測残差の大きさと符号化により得られる符号化データの情報量（符号量）を重み付け加算して得られる値である。一般に、分割されるブロックが小さいほど部位によって異なる動きに適応した動きベクトルの符号化がなされるので予測残差が小さくなる一方で、符号化対象の動きベクトルなどの符号量が大きくなる。なお、以下の説明では、特に断らない限りＣＵ、ＰＵ及びＴＵをブロックと総称する。ブロック分割部１０２は、分割により得られたブロック毎に映像信号を減算部１０４、動き検出部１１８及び動きベクトル生成部１２４に出力する。以下の説明では、ブロック分割部１０２が出力するブロック毎の映像信号を入力映像ブロックと呼ぶ。

減算部１０４は、ブロック分割部１０２から入力される入力映像ブロック内の画素値から動き補償予測部１２０から入力される予測映像ブロック内の画素値を画素毎に減算する。減算部１０４は、減算により画素毎に得られた信号値からなる予測残差ブロックを変換部１０６に出力する。

変換部１０６は、減算部１０４から入力される予測残差ブロック内の信号値について直交変換を行って直交変換係数を算出する。直交変換として、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又は離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）が用いられる。変換部１０６は、算出した直交変換係数を量子化部１０８に出力する。

量子化部１０８は、変換部１０６から入力される直交変換係数について所定の量子化パラメータを用いて量子化し、量子化直交変換係数を算出する。量子化部１０８は、算出した量子化直交変換係数を示す符号を逆量子化部１１０と切替部１２６に出力する。

逆量子化部１１０は、量子化部１０８から入力される量子化直交変換係数の符号について所定の量子化パラメータを用いて逆量子化を行い、量子化直交変換係数を算出する。逆量子化部１１０は、算出した量子化直交変換係数を逆変換部１１２に出力する。

逆変換部１１２は、逆量子化部１１０から入力される量子化直交変換係数について逆直交変換を行い、復号残差映像ブロックを生成する。逆直交変換は、変換部１０６が行った直交変換の逆演算である。復号残差映像ブロック内の画素毎の信号値は、予測残差ブロック内の画素毎の信号値を量子化して得られる量子化値に相当する。逆変換部１１２は、復号残差映像ブロックを加算部１１４に出力する。

加算部１１４は、逆変換部１１２から入力される復号残差映像ブロック内の信号値と、動き補償予測部１２０から入力される予測映像ブロック内の信号値を画素毎に加算する。加算部１１４は、加算により画素毎に得られた信号値からなる復号映像ブロックをフレームメモリ１１６に出力する。

フレームメモリ１１６には、加算部１１４から入力される復号映像ブロックがブロック毎に順次記憶される。従って、フレームメモリ１１６には、複数の復号映像ブロックがフレーム毎に統合され、復号映像信号が形成される。

動き検出部１１８は、その時点のフレーム（現フレーム）が通常フレームであるときに動き検出を行う。動き検出部１１８は、フレームメモリ１１６に記憶された所定のフレーム（参照先フレーム）の復号映像信号を参照して、ブロック分割部１０２から入力される入力映像ブロックが表す映像の動きの大きさと方向を検出する。

より具体的には、動き検出部１１８は、入力映像ブロックが表す画像に最も近似する画像を表す参照先フレームの領域（参照ブロック）を復号映像信号から探索する。動き検出部１１８は、近似の度合いを示すコスト値として、例えば、入力映像ブロックと参照ブロックの候補となる領域（候補ブロック）における画素毎の画素値の絶対差分和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、平方差分和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）などを用いることができる。動き検出部１１８は、入力映像ブロックの座標から探索された参照ブロックの座標の差分を動きベクトルとして算出する。算出された動きベクトルは、参照先フレームにおける参照ブロックから現フレームにおける入力映像ブロックの領域内に到来する映像の移動量と移動方向を示す。動き検出において複数のフレーム間における参照関係を示す参照情報をＳＯＰ（Ｓｔｒｕｃｔｕｒｅ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ぶこととする。参照先のフレームは、現フレームよりも前の表示順（過去）のフレーム（順方向予測）と現フレームよりも後の表示順（未来）のフレームの一方又は両方となりうる。動き検出部１１８は、入力映像ブロックについて算出した動きベクトルを動き補償予測部１２０、動きベクトルメモリ１２２及び切替部１２６に出力する。ＳＯＰの例については、後述する。

動き補償予測部１２０は、動き検出部１１８から入力された動きベクトルの算出に用いられた参照ブロックについて、その動きベクトルに基づいて動き補償予測を行い、予測画像ブロックを生成する。より具体的には、動き補償予測部１２０は、フレームメモリ１１６に記憶された復号映像信号から、動きベクトルに対応する参照ブロックを参照先のフレームの復号映像信号から抽出する。参照ブロックの位置は、入力映像ブロックから動きベクトルで参照される位置、即ち、動きベクトルが示す空間的な方向とは逆方向であって、その動きベクトルの大きさに相当する距離だけ変位した位置となる。また、参照ブロックの領域の大きさは、入力映像ブロックと等しい。動き補償予測部１２０は、抽出した参照ブロックを処理対象のブロックにおける予測ブロックとする。動き補償予測部１２０は、生成した予測画像ブロックを減算部１０４及び加算部１１４に出力する。

動きベクトルメモリ１２２には、動き検出部１１８から入力される動きベクトルがブロック毎に順次記憶される。上述したように、動きベクトルは、通常フレームにおいてブロック毎に生成される。従って、動きベクトルメモリ１２２には、各通常フレームについてブロック毎に動きベクトルが蓄積される。

動きベクトル生成部１２４は、現フレームがＬＲＦフレームであるとき、動きベクトル生成処理を行う。ここで、動きベクトル生成部１２４は、ブロック分割部１０２から入力される現フレームの入力画像ブロックにおける動きベクトルを、フレームメモリ１１６に既に記憶された通常フレームである第２フレームにおけるブロック毎の動きベクトルに基づいて生成する。現フレームは、第２フレーム及び第２フレームにおける動きベクトルを生成する際に参照した参照先フレームである第１フレームとは別個の第３フレームとなる。

より具体的には、動きベクトル生成部１２４は、第２フレームのブロック毎に、そのブロックにおいて算出された動きベクトルで参照される方向に、第３フレームに投影される領域（投影領域）を特定する。動きベクトルで参照される方向は、空間的にはその動きベクトルの方向とは逆方向であり、時間的には第２フレームから第１フレームへの方向となる。動きベクトル生成部１２４は、第３フレームにおいて特定された投影領域のうち、その一部又は全部が符号化対象のブロックである入力画像ブロックの領域と重複する投影領域に投影する第２フレームのブロックの動きベクトルを特定する。動きベクトル生成部１２４は、特定した動きベクトルを、第１フレームから第２フレームまでの第１期間に対する第１フレームから第３フレームまでの第２期間の比を乗じて算出される動きベクトルを、入力画像ブロックに対する動きベクトルとして定める。動きベクトル生成部１２４は、定めた動きベクトルを切替部１２６に出力する。

切替部１２６は、ＬＦＲ検出部２０（図１）からのＬＦＲ検出信号の入力状態に基づいて量子化部１０８から入力される量子化直交変換係数を示す符号をエントロピー符号化部１３０に出力するか否かを制御する。切替部１２６は、端子ａ、ｂ、ｃと切片を備える。切片の一端は端子ａ、ｂのいずれか一方に接続され、切片の他端が端子ｃに接続される。ＬＦＲフレームを示すＬＦＲ検出信号が入力される場合、切替部１２６は、切片の一端を端子ａに接続させる。この場合、端子ａには信号が入力されないので、端子ｃからエントロピー符号化部１３０には信号が出力されない。他方、ＬＦＲフレームを示すＬＦＲ検出信号が入力されない場合、切替部１２６は、切片の一端を端子ｂに接続させる。この場合、端子ｂを介して量子化部１０８から入力される量子化直交変換係数を示す符号が端子ｃからエントロピー符号化部１３０に出力される。

切替部１２８は、ＬＦＲ検出部２０（図１）からのＬＦＲ検出信号の入力状態に基づいて、動き検出部１１８から入力される動きベクトルと、動きベクトル生成部１２４から入力される動きベクトルのいずれをエントロピー符号化部１３２に出力するかを制御する。切替部１２８は、端子ｄ、ｅ、ｆと切片を備える。切片の一端は端子ｄ、ｅのいずれか一方に接続され、切片の他端が端子ｆに接続される。ＬＦＲフレームを示すＬＦＲ検出信号が入力されない場合、切替部１２８は、切片の一端を端子ｄに接続させる。この場合、端子ｄを介して動き検出部１１８から入力される動きベクトルが端子ｆからエントロピー符号化部１３２に出力される。他方、ＬＦＲフレームを示すＬＦＲ検出信号が入力される場合、切替部１２８は、切片の一端を端子ｅに接続させる。この場合、端子ｅを介して動きベクトル生成部１２４から入力される動きベクトルが端子ｄからエントロピー符号化部１３２に出力される。

エントロピー符号化部１３０は、切替部１２６から入力される量子化変換係数の符号を含むデータ列に対してエントロピー符号化を行って、符号化ストリームを生成する。エントロピー符号化として、例えば、コンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が用いられる。エントロピー符号化部１３０は、生成した符号化ストリームを映像符号化装置１の外部に出力する（符号出力）。

エントロピー符号化部１３２は、切替部１２８から入力される動きベクトルの符号を含むデータ列に対してエントロピー符号化を行って、符号化ストリームを生成する。エントロピー符号化部１３２は、生成した符号化ストリームを映像符号化装置１の外部に出力する（符号出力）。

なお、切替部１２６、１２８は、互いに一体化された単一の切替部として構成されてもよい。エントロピー符号化部１３０、１３２は、互いに一体化して単一のエントロピー符号化部として構成されてもよい。一体化されたエントロピー符号化部は、フレームの種類が通常フレームである場合、量子化変換係数の符号と動きベクトルを示す符号とを統合して形成されるデータ列に対してエントロピー符号化を行ってもよい。

この点、本実施形態に係る映像符号化装置１は、フレームの種別が通常フレームであるとき、入力映像信号に基づいて動き検出を行って動きベクトルを生成する。そして、映像符号化装置１は、予測残差に基づく量子化変換係数の符号と、参照先フレームから現フレームまでの動きを示す動きベクトルの符号を出力する。
他方、映像符号化装置１は、フレームの種別がＬＦＲフレームであるとき、既に生成された動きベクトルにもとづいて算出処理を行い、そのフレームの動きベクトルを生成する。ＬＦＲフレームにおける動きベクトルは、通常フレームにおける動きベクトルを、参照先フレームからその通常フレームまでの第１期間に対する、参照先フレームから符号化対象のＬＦＲフレームまでの第２期間との比を乗じて得られる。また、映像符号化装置１は、予測残差に基づく量子化変換係数の符号を出力せず、通常フレームにおいて検出された動きベクトルから算出される動きベクトルを示す符号を出力する。

そのため、フレームの種別がＬＦＲフレームであるとき、符号化対象の動きベクトルは、通常フレームにおける動きベクトルを内分又は外分して算出される。内分比又は外分比が参照先フレームから通常フレームまでの第１期間に対する参照先フレームからＬＦＲフレームまでの第２期間の比に相当する。そのため、映像符号化装置１から出力される符号によれば、従来の映像符号化により得られる符号よりも復号映像の動きを円滑にすることができる。従って、映像符号化装置１は、映像符号化処理に含まれる動き検出処理を活用して、復号される１２０Ｈｚ映像の主観的な品質を向上させることができる。即ち、ＬＦＲフレームにおける動きベクトルは、入力映像信号との符号化歪にかかわらず、そのフレームよりも時間的に前もしくは後の通常フレームにおいて生成された動きベクトルに基づいて生成される。後述するように、その通常フレームは、表示順がＬＦＲフレームの直後のフレームもしくは直前のフレームでなくともよい。

映像符号化装置１から出力される符号化ストリームを復号する映像復号装置の構成は、従来の映像復号装置の構成と同様であってもよい。映像復号装置（図示せず）は、エントロピー復号部、逆量子化部、逆直交変換部、加算部、フレームメモリ及び動き補償予測部を備える。エントロピー復号部は、映像符号化装置１から出力される符号化ストリームを復号してデータ列を生成する。エントロピー復号部は、生成したデータ列に含まれるブロック毎の動きベクトルを動きベクトルメモリに出力する。データ列に量子化変換係数の符号が含まれるフレームにおいて、エントロピー復号部は、その符号を逆量子化部に出力する。データ列に量子化変換係数の符号が含まれないフレームにおいて、逆量子化部には、量子化変換係数の符号が入力されない。逆直交変換部により得られる予測残差信号を構成する各画素の画素値は０となる。なお、逆量子化部、逆直交変換部、加算部、フレームメモリ、動きベクトルメモリ及び動き補償部が行う処理は、映像符号化装置１の逆量子化部１１０、逆変換部１１２、加算部１１４、フレームメモリ１１６及び動き補償予測部１２０が行う処理と、それぞれ同様であればよい。映像復号装置の加算部から出力される復号画像ブロックをブロック間で統合することで、復号映像信号が得られる。従って、映像符号化装置１は、従来の映像復号装置の機能に変更を行うことなく、映像を復号することができる符号化ストリームを生成することができる。

（動きベクトルの生成方法）
次に、動きベクトル生成部１２４による動きベクトルの生成方法について説明する。図４は、本実施形態に係る動きベクトルの生成方法の説明図である。
図４に示す例では、通常フレームＰｖにおいて符号化処理の過程で得られた動きベクトルを用いて、ＬＲＦフレームＰｉ内の１つのＰＵにおける動きベクトルを生成する場合を仮定する。このＰＵが符号化対象ブロックとなる。通常フレームＰｖにおける動きベクトルの生成において、参照先フレームＰｒが参照される。

図４において、上下方向の線分は、各フレームを示し、左右方向の線分は、それぞれＰＵ間の境界を示す。各フレームの水平方向は、図面に対して奥行方向に相当するため図示が省略されている。図４（ａ）、（ｃ）では、左右方向は各フレームの表示順を示す。符号化対象のＬＲＦフレームＰｉの表示順は、参照先フレームＰｒと通常フレームＰｖの間の表示順となる。参照先フレームＰｒ、ＬＲＦフレームＰｉ、通常フレームＰｖのそれぞれに付された四角形で囲まれた数値０、３、２は、図５に例示するＳＯＰにおける各フレームの符号化の順序を示す。その数値が小さいほど符号化の順序が早く、その数値が大きいほど符号化の順序が遅いことを示す。破線の四角形は、符号化対象のＬＲＦフレームＰｉが含まれるＳＯＰよりも先に符号化された別個のＳＯＰを示す。従って、ＬＲＦフレームＰｉにおいて符号化処理が行われる時点では、参照先フレームＰｒと通常フレームＰｖにおいて、いずれも符号化処理が完了済である。また、図５に例示するＳＯＰは、参照先フレームＰｒ（フレーム０）は、通常フレームＰｖ（フレーム３）、ＬＲＦフレームＰｉ（フレーム２）それぞれの参照先であること示す。また、参照先フレームＰｒのフレームの種別も、通常フレームである。

動きベクトル生成部１２４は、次に説明する手順（Ｓ１）〜（Ｓ６）を実行することで、符号化対象のＬＲＦフレームＰｉのＰＵにおける動きベクトルを定める。
（Ｓ１）動きベクトル生成部１２４は、通常フレームＰｖの各ＰＵにおける動きベクトルＭＶに対し、参照先フレームＰｒから通常フレームＰｖまでの期間（フレーム間隔）に対する参照先フレームＰｒからＬＲＦフレームＰｉまでの期間の比を乗じる。この乗算により、各ＰＵにおける動きベクトルＭＶが、参照先フレームＰｒから通常フレームＰｖまでの期間がＬＲＦフレームＰｉの表示順にしたがった期間の比で内分され、内分により動きベクトルＭＶ’が算出される。図４（ａ）は、動きベクトルＭＶ_Ａ、ＭＶ_Ｂが、それぞれＰＵｖ_Ａ、ＰＵｖ_Ｂの動きベクトルを示す。矢印は、動きベクトルＭＶ_Ａ、ＭＶ_Ｂで参照される参照方向を示す。

（Ｓ２）動きベクトル生成部１２４は、算出した動きベクトルＭＶ’に基づいて、通常フレームＰｖのＰＵからＬＲＦフレームＰｉ上に投影される投影領域の位置と大きさを記録する。投影領域の位置は、その通常フレームＰｖのＰＵから動きベクトルＭＶ’とは逆方向に、その大きさだけ変位した位置となる。投影領域の大きさは、投影元のＰＵの大きさと等しい。図４（ａ）に示す例では、ＰＵｖ_Ａ、ＰＵｖ_Ｂから、それぞれ動きベクトルＭＶ_Ａ、ＭＶ_Ｂで参照される方向に投影される投影領域が上下方向の太線で表わされる。
（Ｓ３）動きベクトル生成部１２４は、（Ｓ１）、（Ｓ２）の処理を通常フレームＰｖのＰＵ毎に繰り返す。

（Ｓ４）動きベクトル生成部１２４は、ＬＲＦフレームＰｉから符号化対象ＰＵを選択する。
（Ｓ５）動きベクトル生成部１２４は、（Ｓ２）の処理により特定されたＬＲＦフレームＰｉ上の投影領域のうち、符号化対象ＰＵの領域と重複する面積が最大となる投影領域を特定する。動きベクトル生成部１２４は、特定した投影領域の投影元である通常フレームＰｖ内のＰＵの動きベクトルＭＶを選択する。図４（ｂ）に示す例では、S_Ａ、S_Ｂは、動きベクトルＭＶ_Ａ、ＭＶ_Ｂに基づいて特定される投影領域と、符号化対象ＰＵの領域と重複する領域の面積を示す。面積S_Ａ、S_Ｂのうち、面積S_Ａが最大となるので、動きベクトルＭＶ_Ａが選択される。
なお、ＰＵは各フレームにおいて独立に定められるため、符号化対象ＰＵの領域と重複する投影領域の数が１個の場合もある。その場合には、動きベクトル生成部１２４は、その１個の投影領域を与える動きベクトルＭＶを選択する。
（Ｓ６）動きベクトル生成部１２４は、選択した動きベクトルＭＶについて、（Ｓ１）の処理において算出された動きベクトルＭＶ’を符号化対象ＰＵの動きベクトルとして定める。図４（ｃ）に示す例では、選択された動きベクトルＭＶ_Ａに基づく動きベクトルＭＶ_Ａ’が符号化対象ＰＵの動きベクトルとして定められる。

なお、図４は、符号化対象のＬＲＦフレームＰｉの表示順が、参照先フレームＰｒから通常フレームＰｖまでの期間内にある場合を例としているが、これには限らない。符号化対象のＬＲＦフレームＰｉの表示順は、参照先フレームＰｒから通常フレームＰｖまでの期間よりも先であってもよいし、後であってもよい。その場合には、（Ｓ１）の処理において、動きベクトルＭＶについて、その期間をＬＲＦフレームＰｉの表示時刻で外分して動きベクトルＭＶ’が算出される。但し、符号化対象のＬＲＦフレームＰｉの表示順は、その期間から所定の範囲内の期間（例えば、同一又は隣接ＳＯＰ）内にあることが望ましい。

また、図４は、ＬＲＦフレームＰｉにおける動きベクトルＭＶ’の予測に用いられる通常フレームＰｖの数が１個である場合を例にしているが、複数であってもよい。その場合、動きベクトル生成部１２４は、例えば、複数の通常フレームＰｖのそれぞれにおいて生成された動きベクトルＭＶから定められたＬＲＦフレームＰｉの動きベクトルＭＶ’を候補とし、符号量が最も少ない動きベクトルＭＶ’を選択してもよい。符号量を低減することで、符号化効率が向上する。
また、動きベクトル生成部１２４は、複数の通常フレームＰｖのそれぞれにおいて生成された動きベクトルＭＶから定められたＬＲＦフレームＰｉの動きベクトルＭＶ’を候補とする。動きベクトル生成部１２４は、候補した動きベクトルのうち予測距離、即ちその絶対値が最も小さい動きベクトルＭＶ’を選択してもよい。選択される動きベクトルＭＶ’の予測距離が小さくなるので、動きベクトルＭＶ’の符号量が低減することができる。従って、この手法によっても符号化効率を向上させることができる。
なお、エントロピー符号化部１３２は、これらの候補の動きベクトルのうちエントロピー符号化により得られる符号の符号量が最も少ない動きベクトルＭＶ’の符号を採用し、その他の候補の符号を棄却してもよい。

上述した動きベクトルの生成処理の例は、フレーム単位の処理である場合を主としているが、上記のケース（Ｃ２）で述べたようにＰＵ（ブロック）単位の処理に適用されてもよい。このケースでは、ＬＦＲ検出部２０は、入力映像信号よりもフレームレートが低い原映像から生成された区間をＰＵ単位で検出し、検出した区間においてブロックの種別がＬＦＲブロックであるＰＵについて、ＬＦＲブロックを示すＬＦＲ検出信号を映像符号化装置１に出力する。
ＬＦＲ検出部２０からＬＦＲ検出信号が通知されないＰＵは、通常ブロックであるので、動き検出部１１８は、そのＰＵについて動き検出を行って動きベクトルを生成する。他方、ＬＦＲ検出部２０からＬＦＲ検出信号が通知されるＰＵは、ＬＦＲブロックであるので、動きベクトル生成部１２４は、そのＰＵについて上述の（Ｓ１）〜（Ｓ６）の処理を行って動きベクトルを定める。なお、符号化対象の各ＬＦＲフレームについて（Ｓ１）〜（Ｓ３）の処理が少なくとも１回行われていれば、そのＬＦＲフレーム内のＰＵ毎に（Ｓ１）〜（Ｓ３）の処理が繰り返されなくてもよい。

エントロピー符号化部１３２は、ブロックの種類が通常ブロックであるＰＵについて、動き検出部１１８が定めた動きベクトルを符号化し、ブロックの種別がＬＦＲブロックであるＰＵについて、動きベクトル生成部１２４が定めた動きベクトルを符号化する。
そして、エントロピー符号化部１３０は、そのＰＵと重複する領域を有する予測残差ブロックに基づく量子化変換係数の符号に対してエントロピー符号化を行い、エントロピー符号化により得られた符号化ストリームを出力する。エントロピー符号化部１３０は、ブロックの種別がＬＦＲブロックであるＰＵと重複する領域を有する予測残差ブロックに基づく量子化変換係数の符号に対してエントロピー符号化を行わない。

（ＳＯＰの例）
次に、ＳＯＰの例について説明する。図５は、ＳＯＰの例を示す図である。図５に示すＳＯＰは、１６フレームの相互間の参照関係を示す４階層（Ｌ＝４）構造を有する。図５において左右方向は、各フレームの表示順を示し、上下方向は階層を示す。四角形で囲まれる数値は、符号化順を示す。矢印の起点、終点は、参照元の符号化対象のフレーム、参照先の符号化済のフレームを示す。最下位の階層（第０層）に属するフレーム０を除き、より上位の階層に属する各フレームの参照先フレームは、そのフレームよりも下位の符号化済みのフレームとなる。図５に示す例では、符号化順が第１、３、…番目である奇数フレームでの動き検出において、符号化順が第２、４、…、番目である符号化済みの偶数フレームが参照される。奇数フレームでは符号化順と表示順が一致し、最上位の階層に属する。

他方、偶数フレームの符号化順と表示順は、必ずしも一致しない。例えば、１６フレームのうち、表示順が最後となるフレーム０が最初に符号化される。フレーム０の予測処理において、参照先のフレームとして、そのフレーム０自体と、直前のＳＯＰのフレーム０が用いられる。符号化処理部１０は、そのフレーム０自体を参照する予測処理としてフレーム内予測（イントラ予測）を行う。従って、LＲＦフレームがフレーム０以外のフレームとなることが望ましい。また、ＬＲＦフレームがより高い階層のフレームとなることがより好ましい。

そこで、符号化処理部１０は、ＬＦＲ検出部２０から入力されるＬＦＲ検出信号とＳＯＰを同期させる同期部（図示せず）を備えてもよい。同期部は、例えば、ＬＦＲ検出信号が示すフレームの種別が通常フレームとなるフレームを偶数フレームとし、フレームの種別がＬＦＲフレームとなるフレームを奇数フレームとするようにＳＯＰを同期させる。同期部は、同期させたＳＯＰを動き検出部１１８と動きベクトル生成部１２４に設定する。

以上に説明したように、本実施形態に係る映像符号化装置１は、入力映像のブロック毎に動きベクトルを検出し、動きベクトルに基づく動き補償を行って得られる予測映像と入力映像との予測残差と、動きベクトルとを符号化する映像符号化装置であって、ＬＦＲ検出部２０と、動きベクトル生成部１２４と、エントロピー符号化部１３０、１３２を備える。ＬＦＲ検出部２０は、入力映像のうち、入力映像よりもフレームレートが低い原映像が繰り返されたＬＦＲ映像を検出する。動きベクトル生成部１２４は、入力映像の参照先フレームの復号映像を参照してＬＦＲ映像が検出されない通常フレームの動きベクトルを生成し、生成した通常フレームの動きベクトルと、参照先フレームから通常フレームまでの第１期間に対する参照先フレームから低フレームレート映像を含むＬＦＲフレームまでの第２期間の比に基づいて、ＬＦＲフレームの動きベクトルを生成する。エントロピー符号化部１３０、１３２は、ＬＦＲフレームにおいて、予測残差の符号化を行わず、動きベクトルを符号化する。

この構成により、原映像が繰り返されたＬＦＲフレームにおける映像の動きが、通常フレームにおける映像の動きを示す動きから、動きベクトルを生成する際に参照された参照先フレームから通常フレームまでの第１期間に対する参照先フレームからＬＦＲフレームまでの第２期間の比で推定される。そのため、予測残差の大きさに関わらずＬＦＲフレームの映像の動きとして、円滑な動きを示す動きベクトルが符号化される。従って、従来の映像復号装置と同様の構成で主観的な品質が高い映像を復号可能とする符号化ストリームを生成することができる。例えば、６０Ｈｚ映像を素材として疑似的に制作された１２０Ｈｚ映像に対し、符号化処理の過程を利用して、主観的品質が高い１２０Ｈｚ映像を生成することができる符号化ストリームが得られる。

また、ＬＦＲ検出部２０は、ブロック毎にＬＦＲ映像の有無を判定する。動きベクトル生成部１２４は、ＬＦＲ映像を有するブロックであるＬＦＲブロックにおいて、通常フレームの動きベクトルと、参照先フレームから通常フレームまでの第１期間に対する参照先フレームからＬＦＲブロックを含むＬＦＲフレームまでの第２期間の比に基づいて生成する。
この構成によれば、入力映像を参照せずに映像の動きを推定する空間的領域が、ＬＦＲ映像が含まれるＬＦＲブロックからなるフレームの一部の領域に限定される。他方、ＬＦＲ映像が含まれないその他の領域は、通常フレームと同様に入力映像の参照先フレームを参照して映像の動きが推定される。そのため、ＬＦＲ映像の領域の変化に応じて、入力映像を参照せずに映像の動きを推定する空間的領域を追従させることができる。

また、動きベクトル生成部１２４は、通常フレームのブロック毎に、生成した動きベクトルで参照される方向にＬＦＲフレームに投影される投影領域を定める。動きベクトル生成部１２４は、定めた投影領域のうち、ＬＦＲフレームの符号化対象ブロックに重複する領域が最も大きい投影領域に投影される通常フレームのブロックの動きベクトルを選択する。
この構成によれば、フレーム毎に分割されたブロックの区分が異なる場合でもＬＦＲフレームの符号化対象ブロックに最も空間的に近接した投影領域に係る動きベクトルが特定される。そのため、符号化対象のＬＦＲフレームのブロック毎に異なる映像の動きの確実な符号化と符号量の低減を実現することができる。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、映像符号化装置１は、入力される原映像のフレームレートをより高いフレームレートに変換する変換装置（図示せず）の一部として構成されてもよい。変換装置は、さらにフレームリピート部と、映像復号部を備える。フレームリピート部は、現映像を構成する各フレームについてフレームリピートを行い、フレームレートがより高い映像信号を生成する。映像符号化装置１には、フレームリピート部が生成した映像信号が、入力映像信号として入力される。映像復号部は、映像符号化装置１から入力される符号化ストリームに対して映像復号処理を行って得られる復号映像信号を変換装置の外部に出力する。この変換装置によれば、例えば、６０Ｈｚ映像を素材として符号化処理の過程を利用して、主観的品質が高い１２０Ｈｚ映像を生成することができる。

また、上述した実施形態では、図１に示すＬＦＲ検出部２０が入力映像信号から、よりフレームレートが低い原映像を素材とする区間から通常フレームとＬＦＲフレームを検出する場合を例にしたが、これには限られない。ＬＦＲ検出部２０は、映像信号を制作する制作装置から入力されたＬＦＲ検出信号を中継し、符号化処理部１０に出力してもよい。ここで、制作装置は、原映像を構成する各フレームの映像を繰り返して新たなフレームの映像を制作する際、原映像のフレームと繰り返して生成したフレームのうち、繰り返して生成したフレームについて、ＬＦＲフレームを示すＬＦＲ検出信号を生成する。

また、上述の実施形態では、主に符号化処理部１０に入力映像信号のフレームレートと入力映像信号の素材として用いられる原映像のフレームレートの比が２：１である場合を例にしたが、これには限らない。例えば、入力映像信号のフレームレートと原映像のフレームレートの比は、４：１、８：１など任意の整数比であってもよい。

例えば、入力映像信号のフレームレートと原映像のフレームレートとの比が４：１の場合を仮定する。この場合には、図５に示すＳＯＰにおいて、同期部は、通常フレームを表示順が０、４、８、１２の各フレームに割り当てるようにＬＦＲフレームを同期させればよい。また、入力映像信号のフレームレートと原映像のフレームレートとの比が８：１の場合を仮定する。この場合には、同期部は、通常フレームを表示順が０、８の各フレームに割り当てるようにＳＯＰを同期させればよい。
また、１個のＳＯＰに含まれるフレーム数は１６フレームに限られず、例えば、８フレームであってもよいし、可変であってもよい。

また、映像符号化装置１は、入力映像信号のフレームレートが原映像のフレームレートの２のべき乗ではない場合、例えば、入力映像信号のフレームレートと原映像のフレームレートとの比が３：１である場合に適用されてもよい。その場合、同期部は、ＬＦＲ検出信号が示すフレームの種類が通常フレームとなるフレームをフレーム０とし、より多くのＬＦＲフレームがより高い階層のフレームに割り当てられるようにＳＯＰを同期させてもよい。

なお、上述した映像符号化装置１をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、映像符号化装置１の一部に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における映像符号化装置１の一部または全部をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。映像符号化装置１の一部の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１…映像符号化装置、１０…符号化処理部、２０…ＬＦＲ検出部、１０２…ブロック分割部、１０４…減算部、１０６…変換部、１０８…量子化部、１１０…逆量子化部、１１２…逆変換部、１１４…加算部、１１６…フレームメモリ、１１８…動き検出部、１２０…動き補償予測部、１２２…動きベクトルメモリ、１２４…動きベクトル生成部、１２６、１２８…切替部、１３０、１３２…エントロピー符号化部

Claims (4)

1. 入力映像のブロック毎に動きベクトルを検出し、前記動きベクトルに基づく動き補償を行って得られる予測映像と前記入力映像との予測残差と、前記動きベクトルとを符号化する映像符号化装置であって、
   前記入力映像のうち、前記入力映像よりもフレームレートが低い原映像が繰り返された低フレームレート映像を検出する低フレームレート検出部と、
   前記入力映像の第１フレームの復号映像を参照して前記低フレームレート映像が検出されない第２フレームの動きベクトルを生成し、
   前記動きベクトルと、前記第１フレームから前記第２フレームまでの第１期間に対する前記第１フレームから前記低フレームレート映像を含む第３フレームまでの第２期間の比に基づいて、前記第３フレームの動きベクトルを生成する動きベクトル生成部と、
   前記第３フレームにおいて、前記予測残差の符号化を行わず、前記第３フレームの動きベクトルを符号化する符号化部と、
   を備える映像符号化装置。
2. 前記低フレームレート検出部は、前記ブロック毎に前記低フレームレート映像の有無を判定し、
   前記動きベクトル生成部は、前記低フレームレート映像を有するブロックである低フレームレートブロックにおいて、前記第３フレームの動きベクトルを生成し、
   前記符号化部は、前記低フレームレートブロックにおいて、前記予測残差の符号化を行わず、前記低フレームレートブロックの動きベクトルを符号化する
   ことを特徴とする請求項１に記載の映像符号化装置。
3. 前記動きベクトル生成部は、
   前記第２フレームのブロック毎に、生成した動きベクトルで参照される方向に前記第３フレームに投影される投影領域を定め、
   前記投影領域のうち、前記第３フレームの符号化対象ブロックに重複する領域が最も大きい前記投影領域に投影される前記第２フレームのブロックの動きベクトルを選択することを特徴とする請求項１又は請求項２に記載の映像符号化装置。
4. コンピュータに、入力映像のブロック毎に動きベクトルを検出し、前記動きベクトルに基づく動き補償を行って得られる予測映像と前記入力映像との予測残差と、前記動きベクトルとを符号化する映像符号化装置であって、
   前記入力映像のうち、前記入力映像よりもフレームレートが低い原映像が繰り返された低フレームレート映像を検出する低フレームレート検出部と、
   前記入力映像の第１フレームの復号映像を参照して前記低フレームレート映像が検出されない第２フレームの動きベクトルを生成し、
   前記動きベクトルと、前記第１フレームから前記第２フレームまでの第１期間に対する前記第１フレームから前記低フレームレート映像を含む第３フレームまでの第２期間の比に基づいて、前記第３フレームの動きベクトルを生成する動きベクトル生成部と、
   前記第３フレームにおいて、前記予測残差の符号化を行わず、前記第３フレームの動きベクトルを符号化する符号化部と、
   を備える映像符号化装置として機能させるためのプログラム。

Images