JP6499334B2 - 双方向動きベクトル予測装置、映像符号化装置、映像復号装置、及びこれらのプログラム - Google Patents

Description

本発明は、高フレームレートの映像を伝送する技術に関し、特に、高フレームレートの映像伝送における伝送効率を改善するための、双方向動きベクトル予測装置、映像符号化装置、映像復号装置、及びこれらのプログラムに関する。

ＨＥＶＣ／Ｈ.２６５やＡＶＣ／Ｈ.２６４に代表される映像符号化は、動き予測・動き補償やエントロピー符号化など多様な演算処理が必要となる。スーパーハイビジョンやデジタルシネマの分野では、従来のハイビジョン放送の縦横２倍から４倍といった超高精細映像を、最大１２０Ｈｚのフレーム周波数で映像符号化する技術が必要とされている。しかしながら、このシステムは非常に高いスループットが要求され、コストや回路規模の面で実現が困難な状況にある。以下、このような高いフレームレートが要求される映像を「高フレームレート映像」と称する。

モバイル端末など帯域や演算処理能力に制限のある端末を対象とした映像配信では、あらかじめフレームを一定量間引き、低いフレームレートに変換してから符号化、伝送を行うことが知られている（例えば、特許文献１参照）。しかし、スポーツなどの動きの多い映像に対しては、動きが不自然になるジャダーが発生する原因となる。このジャダーを軽減するため、受信側で高いフレームレートヘと変換する技法が知られている（例えば、非特許文献１参照）。この技法では、受信側で、受信した低いフレームレートの映像のみを用いて新しいフレームを補間することにより高いフレームレートヘと変換することにより、ジャダーの発生を抑制する。

一方、高フレームレート映像の符号化技法として、既存の低フレームレート用のコーデックを並列運転し、処理するコーデックをフレーム単位で振り分けることにより実現する技法が知られている（例えば、非特許文献２参照）。この技法では容易に整数倍のフレームレートの映像を符号化することが可能である。

特開２０１２−２４４５６６号公報

B.‐D. Choi, J.‐W. Han, C.-S. Kim, and S.‐J. Ko, "Motion‐ Compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive Overlapped Block Matching Compensation," IEEE Trans. on Circuits and Systems for Video Technology, vol.17, no.4, Apr. 2007. S. Sakaida," Chapter VI: Super Hi-Vision and Its Encoding System," in M. Mrak, M. Grgic, and M. Kunt, "High-Quality Visual Experience," Springer, Jul. 2010

特許文献１の技法のように、高フレームレート映像について低いフレームレートの映像に変換してから符号化して伝送する技法ではジャダーが発生する。このジャダーの発生を抑制するために、非特許文献１の技法では、受信側では受信した低いフレームレートの映像のみを用いて新しいフレームを補間することにより高いフレームレートヘと変換するように構成しているが、正しく補間が出来ずに劣化が目立つことがある。例えば、複雑な動きや雑音の多い映像、オクリュージョン、アンカバー領域が多い映像では正しく補間が出来ず、劣化が目立つことになる。

また、非特許文献２の技法のように、高フレームレート映像の符号化技法として、既存の低フレームレート用のコーデックを並列運転し、処理するコーデックをフレーム単位で振り分けるように構成した場合には、コーデックが複数必要である上、それらのコーデック間の相関は考慮されていない。このため、高フレームレート映像単体の符号化処理に比べ符号化効率が著しく低下する問題がある。

したがって、高フレームレート映像の伝送に関して、既存の低フレームレート用コーデックを並列使用することなく、伝送効率を改善するとともに、ジャダーを抑制する技法が望まれる。

本発明の目的は、上述の問題を鑑みて為されたものであり、高フレームレート映像について低いフレームレートの映像に変換してから符号化して伝送する場合ではジャダーを抑制可能としつつ、これに限らず、このようなジャダーの抑制を目的とする以外でも、高フレームレート映像などの所定の映像の伝送に関して伝送効率を改善する、双方向動きベクトル予測装置、映像符号化装置、映像復号装置、及びこれらのプログラムを提供することにある。

即ち、本発明の双方向動きベクトル予測装置は、所定の映像に関して時間的に連続する複数のフレームのうち予め定めた複数のメイン映像のフレームを参照して、双方向動き予測により当該複数のメイン映像のフレーム間に位置するサブ映像のフレームのブロックを予測する双方向動きベクトル予測装置であって、当該複数のメイン映像のフレームにてそれぞれ参照する入力ブロック間の双方向動き予測を行うことにより当該サブ映像のフレームのブロックを予測する際に、当該サブ映像のフレームのブロックを予測対象とする予測対象ブロックについて、誤差として最小点に相当する動きベクトル候補と、前記最小点以外の周辺誤差に対して最小となる極小点に相当する動きベクトル候補とを含む複数の動きベクトル候補を決定する動きベクトル予測手段を備え、前記動きベクトル予測手段は、当該連続するメイン映像のフレームにてそれぞれ参照する入力ブロック間の動き予測を行うことにより、前記予測対象ブロックに関する誤差マップを生成する動き予測手段と、前記誤差マップ全体の最小点を探索して抽出し、抽出した最小点座標を第１の動きベクトル候補として決定する最小点探索手段と、前記誤差マップに対して所定値で閾値処理を施すことにより新たな閾値処理後の前記予測対象ブロックに関する誤差マップを生成する閾値設定・処理手段と、前記閾値処理により区分された誤差マップに形成される各領域のうち前記最小点座標を含む領域を除く領域について最小点を探索して抽出し、抽出した最小点座標を第２以降の動きベクトル候補として決定する領域別最小点探索手段と、前記閾値設定・処理手段及び前記領域別最小点探索手段の動作を１回以上の指定回数で動作させることにより得られる前記第２以降の動きベクトル候補と、前記第１の動きベクトル候補とを含む複数の動きベクトル候補を蓄積する動きベクトル蓄積手段と、を備えることを特徴とする。

更に、本発明の映像符号化装置は、本発明の双方向動きベクトル予測装置と、当該サブ映像のフレームの予測対象ブロックを補間対象ブロックとし、前記補間対象ブロックを除き前記所定の映像に関して時間的に連続する複数のフレームを符号化して外部に出力する映像符号化手段と、前記符号化した複数のフレームのうち予め定めた複数のメイン映像から、それぞれ局部復号したメイン映像を生成する局部復号手段と、前記局部復号した複数のメイン映像と、前記双方向動きベクトル予測装置により予測した複数の動きベクトル候補を用いた動き補償により、当該予測対象ブロックについて複数の動きベクトル候補に対応するそれぞれの補間映像ブロックを生成する補間手段と、それぞれの補間映像ブロックと、対応する当該サブ映像の原フレームのブロックとを比較して、当該複数の動きベクトル候補のうち最も差分の少ない補間映像に対応する動きベクトルを決定する比較手段と、当該決定した動きベクトルのインデックスを、当該サブ映像のフレームの補間対象ブロックに関するサイド情報として生成し外部に出力する出力手段と、を備えることを特徴とする。

更に、本発明の映像復号装置は、本発明の映像符号化装置によって前記補間対象ブロックを除き符号化された当該複数のフレームを入力して復号処理を施す映像復号手段と、当該複数のフレームの復号処理により復号した複数のメイン映像を基に、前記補間対象ブロックに対応する当該サブ映像のフレームの予測対象ブロックに関する複数の動きベクトル候補を生成する、本発明の双方向動きベクトル予測装置と、本発明の映像符号化装置によって生成された前記サイド情報を入力する入力手段と、前記サイド情報を参照し前記インデックスに従って前記複数の動きベクトル候補をもつ当該予測対象ブロックに対して１つの動きベクトルを選択する動きベクトル選択手段と、当該複数のフレームの復号処理により復号した複数のメイン映像と、当該選択した動きベクトルを用いて、前記予測対象ブロックに対応する補間対象ブロックを生成する補間手段と、当該複数のフレームの復号処理により復号した複数のフレームを、該補間対象ブロックで補間することによりフレーム合成を行い、前記所定の映像を復元するフレーム合成手段と、を備えることを特徴とする。

更に、本発明による一態様のプログラムは、コンピュータを、本発明の双方向動きベクトル予測装置として機能させるためのプログラムである。

また、本発明による別態様のプログラムは、コンピュータを、本発明の映像符号化装置として機能させるためのプログラムである。

また、本発明による更に別態様のプログラムは、コンピュータを、本発明の映像復号装置として機能させるためのプログラムである。

本発明によれば、伝送するビットストリームの情報量を削減し伝送効率を改善することができる。特に、送信側で複数の動きベクトル候補の補間結果を予め原画と比較し、最適な動きベクトルのインデックスのみをメイン映像とともに伝送するように構成することで、動きベクトルそのものを伝送する必要はなく、サイド情報の情報量を削減することができる。

本発明による一実施形態のフレーム間引き装置の概略を示すブロック図である。 本発明による一実施形態のフレーム補間装置の概略を示すブロック図である。 本発明による一実施形態のフレーム間引き装置及びフレーム補間装置における好適例の双方向動きベクトル予測部の概略を示すブロック図である。 本発明に係る双方向動きベクトル予測部における動き予測処理の好適例を示すフローチャートである。 本発明に係る双方向動き予測部による双方向動き予測の一例を示す図である。 （Ａ），（Ｂ）は、本発明に係る双方向動き予測部による誤差マップの閾値処理を説明する図である。 （Ａ）〜（Ｄ）は、本発明に係る双方向動き予測部による誤差マップの閾値処理により各領域の最小点座標の抽出法を説明する図である。 本発明による一実施形態の映像符号化装置の概略を示すブロック図である。 本発明による一実施形態の映像復号装置の概略を示すブロック図である。 本発明に係る双方向動き予測部による双方向動き予測の別の一例を示す図である。

まず、本発明による第１実施形態のフレーム間引き装置及びフレーム補間装置について説明する。

〔第１実施形態〕
（フレーム間引き装置）
図１は、本発明による第１実施形態のフレーム間引き装置１の概略を示すブロック図である。フレーム間引き装置１は、所定の映像に関してフレーム群を間引いて伝送する装置であり、フレーム分割部１１、双方向動きベクトル予測部１２、フレーム補間部１３、比較部１４及びサイド情報符号化部１５を備える。

フレーム分割部１１は、高フレームレート映像などの入力映像を、受信側へ伝送するフレーム群（メイン映像）と伝送しないフレーム群（サブ映像）に分割し、メイン映像についてはメインストリームとして外部に出力し、サブ映像については比較部１４に出力する。これにより、伝送するメインストリームの情報量を削減することができる。尚、メインストリームで出力するメイン映像は、所定のメモリ（図示せず）に一時記憶することが可能であり、双方向動きベクトル予測部１２及びフレーム補間部１３で読み出し可能な態様で一時記憶される。

双方向動きベクトル予測部１２は、復元するサブ映像のフレームに対し時間的に連続するメイン映像のフレーム（好適には、時間的に前後に位置するメイン映像のフレーム）を参照して、双方向動き予測により当該サブ映像を復元するための予測対象ブロックのもつ動きベクトルを複数予測し、複数の動きベクトル候補をフレーム補間部１３に出力する。

より具体的には、双方向動きベクトル予測部１２は、当該連続するメイン映像のフレームにてそれぞれ参照する入力ブロック間（好適には、同一座標の２つの入力ブロック間）の双方向動き予測を行うことにより、これらの入力ブロックを参照して補間するブロック内の当該予測対象ブロックについて、誤差として最小点に相当する動きベクトル候補と、この最小点以外の周辺誤差に対して最小となる極小点に相当する動きベクトル候補とを含む複数の動きベクトル候補を決定する。ここで、連続するメイン映像のフレームにてそれぞれ参照する２つの入力ブロックは、間引かれたサブ映像のフレームを復元するための全ての座標で上記と同様に設定し、これらの入力ブロックを参照して補間するブロック内の全ての領域に当該予測対象ブロックを設定することで、間引かれたサブ映像のフレームを復元するのに十分な予測対象ブロックごとの複数の動きベクトル候補を決定することができる。尚、入力ブロックｂ１，ｂ２を用いる双方向動き予測の原理についての更なる詳細は、例えば非特許文献１等を参照されたい。したがって、双方向動きベクトル予測部１２は、原画のサブ映像を用いることなく、メイン映像のみを参照して、動きベクトルの予測を行う。この双方向動きベクトル予測部１２の動作の好適例の詳細は後述する。

フレーム補間部１３は、メイン映像と予測した複数の動きベクトル候補を用いた動き補償により、複数の動きベクトル候補に対応するそれぞれの補間映像を生成し、比較部１４に出力する。

比較部１４は、それぞれの補間映像と原画のサブ映像とを比較して、最も原画と差分の少ない補間映像を選定することにより、当該複数の動きベクトル候補のうち当該選定した補間映像に対応する動きベクトルを決定し、決定した動きベクトルのインデックスをサイド情報としてサイド情報符号化部１５に出力する。より具体的には、比較部１４は、補間映像における予測対象ブロックとフレーム分割部１１により分割された原画のサブ映像における当該予測対象ブロックの座標位置に対応するブロックとの誤差として最も小さいものを最適な動きベクトルとし、この動きベクトルのインデックスをサイド情報としてサイド情報符号化部１５に出力する。

サイド情報符号化部１５は、各予測対象ブロックの最適な動きベクトルのインデックスを示すサイド情報を既存の可逆符号化を用いて符号化しビットストリーム（サイドストリーム）として外部に出力する。尚、サイド情報に関して符号化しない場合には、サイド情報符号化部１５の機能は不要であり、比較部１４から直接、サイド情報をサイドストリームとして外部に出力するように構成することができる。

このように、フレーム間引き装置１は、所定のサイド情報とともに、所定の映像に関してフレーム群を間引いて伝送する。

（フレーム補間装置）
図２は、本発明による第１実施形態のフレーム補間装置５の概略を示すブロック図である。フレーム補間装置５は、所定の映像に関してフレーム群が間引かれた間引き映像からフレームを補間して当該所定の映像を復元する装置であり、双方向動きベクトル予測部５１、サイド情報復号部５２、動きベクトル選択部５３、フレーム補間部５４及びフレーム合成部５５を備える。

双方向動きベクトル予測部５１は、メインストリームとして伝送される、高フレームレート画像などの所定の映像に関して間欠的にフレームが間引かれた間引き映像（即ち、フレーム間引き装置１から出力されるメイン映像）のうち、復元するサブ映像のフレームに対し時間的に連続するメイン映像のフレーム（好適には、時間的に前後に位置するメイン映像のフレーム）を参照して、当該サブ映像を復元するための予測対象ブロックのもつ動きベクトルを複数予測し、複数の動きベクトル候補を動きベクトル選択部５３に出力する。

より具体的には、双方向動きベクトル予測部５１は、送信側の双方向動きベクトル予測部１２と同様に、連続するメイン映像のフレームにてそれぞれ参照する２つの入力ブロック間の双方向動き予測を行うことにより、これらの入力ブロックを参照して補間するブロック内の当該予測対象ブロックについて、誤差として最小点に相当する動きベクトル候補と、この最小点以外の周辺誤差に対して最小となる極小点に相当する動きベクトル候補とを含む複数の動きベクトル候補を決定する。尚、この双方向動きベクトル予測部５１の動作の好適例は、フレーム間引き装置１における双方向動きベクトル予測部１２の例と同一であり、その詳細は後述する。

サイド情報復号部５２は、サイドストリームとして伝送される、当該サブ映像を復元するための予測対象ブロックに関するサイド情報（フレーム間引き装置１から出力される符号化されたサイド情報）を、送信側の符号化処理に対応する復号処理で復号することにより、当該予測対象ブロックの最適な動きベクトルのインデックスを示すサイド情報を取得し、動きベクトル選択部５３に出力する。尚、サイド情報に関して符号化されていない場合には、サイド情報復号部５２の機能は不要であり、動きベクトル選択部５３がサイドストリームから直接、サイド情報を取得するように構成することができる。

動きベクトル選択部５３は、当該各予測対象ブロックの最適な動きベクトルのインデックスを示すサイド情報を参照して、双方向動きベクトル予測部５１によって生成した複数の動きベクトル候補の中から、このインデックスに従って１つの動きベクトルを選択し、フレーム補間部５４に出力する。

フレーム補間部５４は、当該受信したメイン映像と当該選択した動きベクトルを用いて、当該サブ映像に相当する補間映像のフレームを復元し、復元後サブ映像をフレーム合成部５５に出力する。

フレーム合成部５５は、当該受信したメイン映像と復元後サブ映像とを、送信側で間引かれた順序に従ってフレーム合成を行い、当該高フレームレート画像などの所定の映像を復元した復元映像を外部に出力する。

（双方向動きベクトル予測部の好適例の構成）
図３は、本発明による第１実施形態のフレーム間引き装置１及びフレーム補間装置５における好適例の双方向動きベクトル予測部１２，５１の概略を示すブロック図である。双方向動きベクトル予測部１２，５１は、送信側（フレーム間引き装置１側）と受信側（フレーム補間装置５側）で共通した処理を行う。受信側の双方向動きベクトル予測部５１の入力となるメイン映像は、送信側と共通であるため、予測する複数の動きベクトル候補は送信側と受信側で一致する。

双方向動きベクトル予測部１２，５１は、サブ映像を復元するための予測対象ブロックのフレームに時間的に連続するメイン映像のフレーム群（好適には、時間的に前後に位置するメイン映像のフレーム群）にてそれぞれ参照する２つの入力ブロックｂ１，ｂ２間の双方向動き予測を行ない、複数の動きベクトル候補を決定する機能部であり、双方向動き予測部３１、最小点探索部３２、閾値設定・処理部３３、ラベリング部３４、領域別最小点探索部３５及び動きベクトル蓄積部３６を備える。

双方向動き予測部３１は、当該連続するメイン映像のフレームにてそれぞれ参照する２つの入力ブロック（参照ブロック）ｂ１，ｂ２間の双方向動き予測を行い、誤差マップを生成して最小点探索部３２及び閾値設定・処理部３３に出力する。ここで、誤差マップとは、図５を参照して詳細に後述するが、サブ映像を復元するための予測対象ブロックと時間的に前後に位置するメイン映像のフレーム上に設定される入力ブロックｂ１，ｂ２内で、補間したいブロック（予測対象ブロック）を基準に点対称で探索ブロックを動かした際に現れる、入力ブロックｂ１，ｂ２内の探索ブロック間の誤差の分布を表わしたものである。

最小点探索部３２は、誤差マップ全体の最小点を探索して抽出し、この最小点座標を対応する動きベクトル候補として動きベクトル蓄積部３６に出力するとともに、誤差マップの最小値の情報を閾値設定・処理部３３で用いる閾値の初期値として出力する。この最小点座標は、入力ブロックｂ１，ｂ２内の探索ブロックの位置座標を示すものであり、入力ブロックｂ１，ｂ２内の探索ブロック間で最も誤差が小さくなる予測対象ブロックの座標点を示す。

閾値設定・処理部３３は、誤差マップにおける最小点もしくはその他の極小点の抽出に用いた閾値の情報を保存しておき、この閾値から所定値でシフトした閾値レベルで閾値を設定（更新）し、この設定（更新）した閾値で誤差マップに対して閾値処理を施すことにより新たな閾値処理後の誤差マップを生成し、保存した最小点座標の情報とともにラベリング部３４に出力する。この閾値処理後の誤差マップでは、その閾値処理により区分された領域が複数現れる。

このような閾値更新型の閾値処理は、指定回数で、誤差マップにおける最小点もしくはその他の極小点抽出時の閾値から所定値でシフトした閾値レベルで閾値を更新し、この更新した閾値で誤差マップに対して閾値処理を施すように構成される。

ラベリング部３４は、動きベクトル蓄積部３６が管理するラベルを取得して、閾値処理後の誤差マップで得られる各領域のうち、当該保存した最小点座標を含む領域を除外した領域毎に、ラベルを付すことによりラベリングを実行し、ラベル付きの誤差マップを領域別最小点探索部３５に出力する。尚、このラベルは、動きベクトル候補毎に割り当てられるインデックスを示すものであれば如何なる態様でもよい。

領域別最小点探索部３５は、ラベル付きの誤差マップに対して、ラベル別に（領域毎に）、誤差マップにおける各領域の最小点を探索して抽出し、各領域の最小点座標を対応する動きベクトル候補として動きベクトル蓄積部３６に出力する。その後、領域別最小点探索部３５は、当該新たな閾値処理後の誤差マップに対する複数の動きベクトル候補を保存した旨を閾値設定・処理部３３に通知する。通知を受けた閾値設定・処理部３３は、指定回数で繰り返し閾値を更新して閾値処理を実行し、更なる動きベクトル候補の決定動作を制御する。

動きベクトル蓄積部３６は、最小点探索部３２と領域別最小点探索部３５によって得られた複数の動きベクトルを蓄積し、補間するサブ映像に相当するフレーム上の補間したいブロック（予測対象ブロック）に対する複数の動きベクトル候補として外部に出力する。尚、動きベクトル蓄積部３６は、当該保存した最小点座標に対応する動きベクトル候補についてもラベルを付して管理することにより、複数の動きベクトル候補の各々についてラベル付きの動きベクトルとして出力することができ、複数の動きベクトル候補の各々は、各ラベルのインデックスにより識別することが可能となる。

（双方向動きベクトル予測部の好適例の動作）
双方向動きベクトル予測部１２，５１の好適例の動作について、より具体的な例を挙げて詳細に説明する。ここで、メイン映像を入力映像の偶数番目のフレーム群、サブ映像を入力映像の奇数番目のフレーム群とした場合の一例を主に説明する。

図４は、双方向動きベクトル予測部１２，５１における動き予測処理の好適例を示すフローチャートである。まず、双方向動き予測部３１により、連続するメイン映像のフレームにてそれぞれ参照する２つの入力ブロックｂ１，ｂ２間の双方向動き予測を行い、予測対象ブロックに関する誤差マップを生成する（ステップＳ１１）。

双方向動き予測部３１による双方向動き予測の例を図５に示す。復元するサブ映像におけるフレーム上の予測対象ブロックと同一座標を中心に位置する探索範囲を、当該予測対象ブロックと時間的に前後に位置するメイン映像のフレーム上に設定し（入力ブロックｂ１，入力ブロックｂ２）、入力ブロックｂ１，ｂ２内で当該予測対象ブロックを基準に点対称に探索ブロックを動かす。各探索ブロック位置（ｉ,ｊ）における入力ブロックｂ１，ｂ２内の探索ブロック間の誤差（二乗誤差や絶対誤差など）をそれぞれ算出することにより、予測対象ブロックに関する誤差マップを生成する。

次に、最小点探索部３２により、双方向動き予測部３１で生成した誤差マップに対して、誤差マップ全体の最小点を探索して抽出し、その最小点座標を対応する動きベクトル候補とする（ステップＳ１２）。この最小点座標に対応する動きベクトル候補は動きベクトル蓄積部３６で保存する。また、抽出した最小点に相当する誤差マップに対する閾値を閾値設定・処理部３３で用いる閾値の初期値に設定する。

次に、設定した閾値について更新し新たな動きベクトル候補を抽出する際に（ステップＳ１３：Ｙｅｓ）、閾値設定・処理部３３により、閾値の初期値（ｔｈ_０）から所定値（ステップ幅：ＳＴＥＰ）でシフトした閾値レベルで閾値（ｔｈ_１）を設定（更新）する（ステップＳ１４）。続いて、閾値設定・処理部３３は、この設定（更新）した閾値で誤差マップに対して閾値処理を施すことにより、新たな閾値処理後の誤差マップを生成する（ステップＳ１５）。

次に、ラベリング部３４により、動きベクトル蓄積部３６が管理するラベルを取得して、閾値処理後の誤差マップで得られる各領域のうち、当該保存した最小点座標を含む領域を除外した領域毎にラベルを付すことによりラベリングを実行し、ラベル付きの誤差マップを形成する（ステップＳ１６）。

次に、領域別最小点探索部３５により、ラベル付きの誤差マップに対して、ラベル別に（領域毎に）、誤差マップにおける各領域の最小点を探索して抽出し、各領域の最小点座標を対応する動きベクトル候補とする（ステップＳ１７）。この最小点座標は動きベクトル蓄積部３６で保存する。この各領域の最小点座標は、元の誤差マップに対する極小点座標に相当する。ここで、動きベクトル蓄積部３６は、所定の個数以上の動きベクトル候補を保持したか、または誤差マップにてラベリングすべき領域（所定サイズの領域）がなくなったと判断したとき、当該予測対象ブロックに対する全ての動きベクトル候補が決定されたものとして処理するよう構成することができる。

ここで、誤差マップの各領域の最小点座標の抽出方法として、誤差マップに対して行う閾値処理及びラベリング処理について詳述する。図６（Ａ），（Ｂ）は、本発明に係る誤差マップの閾値処理を説明するための図であり、メイン映像の第１参照フレームにおける入力ブロックｂ１内の探索ブロック位置（ｉ,ｊ）を基準に、メイン映像の第２参照フレームにおける入力ブロックｂ２内の探索ブロックに対する誤差から、時間的且つ空間座標的に当該第１参照フレーム及び第２参照フレームの各探索ブロックの間に位置するサブ映像のフレーム内の補間したいブロック（予測対象ブロック）に相当する誤差量についてマッピングした誤差マップの一例を示している。最小点を含む複数の極小点を持つ誤差マップ（図６（Ａ）参照）に対し、閾値処理を行うと、最小点を含む領域の他に複数の領域が生じる（図６（Ｂ）参照）。これらの領域をそれぞれラベリングし、ラベル毎に最小点探索を行う。これにより、誤差マップの極小点について演算量を少なく探索することが可能となる。閾値の設定情報はブロック毎や映像毎に設定しサイド情報として伝送してもよいし、送信側と受信側との間で予め閾値の設定手順について予め定めておくこともできる。一例として、予測対象ブロックの最小点探索時に得られる閾値初期値（ｔｈ_０）に対し、所定値（ステップ幅：ＳＴＥＰ）でシフトする閾値レベルを、送信側と受信側との間で予め定めておくようにする。更新すべき閾値の値に応じて、所定値（ステップ幅：ＳＴＥＰ）を変更するように構成する場合も、閾値の値に応じたステップ幅の関数とするなど、送信側と受信側との間で予め定めておけばよい。

また、閾値を更に更新することで、より精度の高い極小点探索が可能である。即ち、この更新型の閾値処理は、指定回数で、最小点探索部３２による最小点抽出時の閾値から所定値でシフトした閾値レベルで閾値を更新し、この更新した閾値で誤差マップに対して閾値処理を施す。

例えば、図４において、設定した閾値について更に更新し、更なる動きベクトル候補を抽出する際に（ステップＳ１３：Ｙｅｓ）、閾値（ｔｈ_１）から所定値（ステップ幅：ＳＴＥＰ）でシフトした閾値レベルで閾値（ｔｈ_２）を更新する（ステップＳ１４）。続いて、閾値設定・処理部３３は、この更新した閾値で誤差マップに対して閾値処理を施すことにより、新たな閾値処理後の誤差マップを生成する（ステップＳ１５）。

続いて、ラベリング部３４により、動きベクトル蓄積部３６が管理するラベルを取得して、閾値処理後の誤差マップで得られる各領域のうち、既に保存した最小点座標（閾値ｔｈ_０，ｔｈ_１で保存した最小点座標）を含む領域を除外した領域毎にラベルを付すことによりラベリングを実行し、ラベル付きの誤差マップを形成する（ステップＳ１６）。

続いて、領域別最小点探索部３５により、ラベル付きの誤差マップに対して、ラベル別に（領域毎に）、誤差マップにおける各領域の最小点を探索して抽出し、各領域の最小点座標を対応する動きベクトル候補とする（ステップＳ１７）。この領域別の最小点座標に対応する動きベクトル候補は動きベクトル蓄積部３６で保存する。

そして、この更新型の閾値処理を指定回数で繰り返した後、双方向動きベクトル予測部１２，５１における動き予測処理を終了する（ステップＳ１３：Ｎｏ）。

図７を参照して、閾値を２回更新する例を簡潔に説明する。双方向動きベクトル予測部１２，５１は、まず、誤差マップ（図７（Ａ）参照）について、誤差マップ全体の最小値を探索し（図７（Ｂ）参照）、この最小点座標を対応する動きベクトル候補として動きベクトル蓄積部３６で保存する。また、抽出した最小点に相当する誤差マップに対する閾値を閾値ｔｈ_０として設定する。続いて、閾値ｔｈ_０に所定値（ステップ幅ＳＴＥＰ）を加えたもので閾値（ｔｈ_１＝ｔｈ_０＋ＳＴＥＰ）を更新し、閾値処理及びラベリング処理を行った誤差マップを形成する（図７（Ｃ）参照）。この誤差マップで形成された複数の領域のうち、既に動きベクトル蓄積部３６で保存された最小点座標を含む領域は除外領域とする。続いて、双方向動きベクトル予測部１２，５１は、除外領域以外の各領域について、最小点探索を行い、新たに取得した最小点座標を対応する新たな動きベクトル候補として動きベクトル蓄積部３６で保存する。

更に閾値ｔｈ_１に所定値（ステップ幅ＳＴＥＰ）を加えたもので閾値（ｔｈ_２＝ｔｈ_１＋ＳＴＥＰ）を更新し、閾値処理及びラベリング処理を行った誤差マップを形成する（図７（Ｄ）参照）。この誤差マップで形成された複数の領域のうち、既に動きベクトル蓄積部３６で保存された最小点座標を含む領域は除外領域とし、双方向動きベクトル予測部１２，５１は、除外領域以外の各領域について、最小点探索を行い、新たに取得した最小点座標を対応する新たな動きベクトル候補として動きベクトル蓄積部３６で保存する。これにより、誤差マップの極小点について演算量を少なく探索することが可能となる。なお、誤差マップの極小点探索は他の既存の技法を用いてもよいが、他の既存の技法では、あらゆる極小点を対象として対応する動きベクトル候補を決定しうるが、上記の好適例による方法であれば、誤差マップに対する閾値処理を利用することにより、送信側と受信側とで高精度に一致する極小点探索を可能とし、更に極小点探索の演算負担を低減することができる。

このように、本発明による第１実施形態のフレーム間引き装置１及びフレーム補間装置５では、高フレームレート映像のフレーム群を間引いて伝送することでメインストリームの情報量を削減し伝送効率を改善するとともに、双方向動き予測・動き補償によりジャダーを低減させることができる。特に、送信側で複数のベクトル候補の補間結果を予め原画と比較し、最適な動きベクトルのインデックスのみをメイン映像とともに伝送するように構成することで、動きベクトルそのものを伝送する必要はなく、サイド情報の情報量を削減することができる。

次に、本発明による第２実施形態の映像符号化装置及び映像復号装置について説明する。

〔第２実施形態〕
（映像符号化装置）
図８は、本発明による第２実施形態の映像符号化装置１０の概略を示すブロック図である。映像符号化装置１０は、所定の映像に関してフレーム群を間引いて符号化し伝送する装置であり、フレーム分割部１１、双方向動きベクトル予測部１２、フレーム補間部１３、比較部１４、サイド情報符号化部１５、映像符号化部１６及び局部復号部１７を備える。図８において、図１と同様な構成要素には、同一の参照番号を付している。

フレーム分割部１１は、高フレームレート映像などの入力映像を、受信側へ伝送するフレーム群（メイン映像）と伝送しないフレーム群（サブ映像）に分割し、メイン映像については映像符号化部１６に出力し、サブ映像については比較部１４に出力する。

映像符号化部１６は、メイン映像を符号化し、ビットストリーム（メインストリーム）として局部復号部１７及び外部に出力する。

局部復号部１７は、メインストリームから局部復号したメイン映像を生成し、所定のメモリ（図示せず）に一時記憶する。この局部復号したメイン映像は、双方向動きベクトル予測部１２及びフレーム補間部１３で読み出し可能な態様で一時記憶される。

双方向動きベクトル予測部１２は、復元するサブ映像のフレームに対し時間的に連続する局部復号したメイン映像のフレーム（好適には、時間的に前後に位置するメイン映像のフレーム）を参照して、双方向動き予測により当該サブ映像を復元するための予測対象ブロックのもつ動きベクトルを複数予測し、複数の動きベクトル候補をフレーム補間部１３に出力する。この双方向動きベクトル予測部１２の構成及び動作は、第１実施形態と同様とすることができる。

フレーム補間部１３は、局部復号したメイン映像と予測した複数の動きベクトル候補を用いた動き補償により、複数の動きベクトル候補に対応するそれぞれの補間映像を生成し、比較部１４に出力する。

比較部１４は、第１実施形態と同様に、それぞれの補間映像と原画のサブ映像とを比較して、最も原画と差分の少ない補間映像を選定し、当該複数の動きベクトル候補のうち当該選定した補間映像に対応する動きベクトルを決定し、決定した動きベクトルのインデックスをサイド情報としてサイド情報符号化部１５に出力する。

サイド情報符号化部１５は、第１実施形態と同様に、サイド情報を既存の可逆符号化を用いて符号化しビットストリーム（サイドストリーム）として外部に出力する。尚、サイド情報に関して符号化しない場合には、サイド情報符号化部１５の機能は不要であり、比較部１４から直接、サイド情報をサイドストリームとして外部に出力するように構成することができる。

このように、フレーム間引き装置１は、所定のサイド情報とともに、所定の映像に関してフレーム群を間引いて伝送する。

（映像復号装置）
図９は、本発明による第２実施形態の映像復号装置５０の概略を示すブロック図である。映像復号装置５０は、所定の映像に関してフレーム群が間引かれ符号化された映像を復号しフレームを補間して当該所定の映像を復元する装置であり、双方向動きベクトル予測部５１、サイド情報復号部５２、動きベクトル選択部５３、フレーム補間部５４、フレーム合成部５５及び映像復号部５６を備える。図９において、図２と同様な構成要素には、同一の参照番号を付している。

映像復号部５６は、メインストリームとして伝送される、高フレームレート画像などの所定の映像に関して間欠的にフレームが間引かれ符号化された映像（即ち、映像符号化装置１０から出力されるメイン映像）を、送信側の符号化処理に対応する復号処理で復号して双方向動きベクトル予測部５１及びフレーム合成部５５に出力する。

双方向動きベクトル予測部５１は、復元するサブ映像のフレームに対し時間的に連続する復号後メイン映像のフレーム（好適には、時間的に前後に位置する復号後メイン映像のフレーム）を参照して、当該サブ映像を復元するための予測対象ブロックのもつ動きベクトルを複数予測し、複数の動きベクトル候補を動きベクトル選択部５３に出力する。この双方向動きベクトル予測部５１の構成及び動作は、第１実施形態と同様とすることができる。

サイド情報復号部５２は、第１実施形態と同様に、サイドストリームとして伝送されるサイド情報（映像符号化装置１０から出力される符号化されたサイド情報）を、送信側の符号化処理に対応する復号処理で復号することにより、当該予測対象ブロックの最適な動きベクトルのインデックスを示すサイド情報を取得し、動きベクトル選択部５３に出力する。尚、サイド情報に関して符号化されていない場合には、サイド情報復号部５２の機能は不要であり、動きベクトル選択部５３がサイドストリームから直接、サイド情報を取得するように構成することができる。

動きベクトル選択部５３は、第１実施形態と同様に、各予測対象ブロックの最適な動きベクトルのインデックスを示すサイド情報を参照して、双方向動きベクトル予測部５１によって生成した複数の動きベクトル候補の中から、このインデックスに従って１つの動きベクトルを選択し、フレーム補間部５４に出力する。

フレーム補間部５４は、第１実施形態と同様に、当該受信したメイン映像と当該選択した動きベクトルを用いて、当該サブ映像に相当する補間映像のフレームを復元し、復元後サブ映像をフレーム合成部５５に出力する。

フレーム合成部５５は、当該復号したメイン映像と復元後サブ映像とを、送信側で間引かれた順序に従ってフレーム合成を行い、当該高フレームレート画像などの所定の映像を復元した復元映像を外部に出力する。

したがって、本発明による第２実施形態の映像符号化装置１０及び映像復号装置５０においても、第１実施形態と同様の利点を得ることができる。また、第２実施形態では、高フレームレート映像などの所定の映像についてフレームを間引いて符号化し伝送する際に、高フレームレート映像の符号化を既存の低いフレームレート用コーデック単体で行うため、既存の低フレームレート用コーデックを並列使用する態様よりも符号化効率を改善することができる。

以上、特定の実施例を挙げて本発明を説明したが、本発明は前述の各実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、間引くフレームの間隔を２フレームに１フレームとした例を記述したが、間引くフレームの頻度は自由に設定してよい。また、間引く頻度をフレーム３枚中で２枚とした場合も、上記例と同様に、双方向動きベクトル予測部１２，５１によって、予測対象ブロックのもつ動きベクトルを時間的に前後に位置する復号後メイン映像から予測する。その際、図１０に示すように、双方向動き予測の探索ブロックは点対称に移動せず非対称に移動し、これによって誤差マップを取得することができる。同様に、予測対象ブロックのもつ動きベクトルを時間的に前方にある２枚の復号後メイン映像から予測してもよい。したがって、動き予測について双方向とする代わりに、予測対象ブロックのもつ動きベクトル候補を決定するにあたり、当該予測対象ブロックのフレームに対し時間的に連続するメイン映像（又は復号後メイン映像）のフレームを複数用いて予測する動き予測とすることができる。このように、間引くサブ映像のフレームに対し「時間的に前後に位置する」メイン映像のフレームを参照する場合に限らず、「時間的に連続する」メイン映像のフレームを参照して、動き予測により当該サブ映像を復元するための予測対象ブロックのもつ動きベクトルを複数予測し、複数の動きベクトル候補を決定するように構成することができる。

また上記例では間引く間隔は均等としたが、均等でなくてもよい。その場合、送信側と受信側で予め設定した間引き方によって間引いてもよいし、間引き手順をサイド情報として伝送してもよい。

また上記例では、２枚のメイン映像（復号後メイン映像）間の双方向動き予測により複数の動きベクトル候補を生成したが、３枚以上のメイン映像（復号後メイン映像）間での双方向動き予測により複数の動きベクトル候補を生成してもよい。

また上記例では、サイド情報の伝送に関して、サイド情報ストリームとして伝送する例を説明したが、例えば画像信号の伝送に関するメインストリームに対して多重するなど、既存の伝送システムに適合させた形態で実現することができる。

また、各実施形態のフレーム間引き装置１及びフレーム補間装置５、並びに映像符号化装置１０及び映像復号装置５０のそれぞれの各構成要素の機能は、コンピュータにより実現することができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで実行することにより、各実施形態の装置のそれぞれの各構成要素の機能をそれぞれコンピュータにより実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

本発明によれば、所定の映像についてフレームを間引くことで伝送する際に、メインストリームの情報量を削減し伝送効率を改善するとともに、本発明に係る双方向動き予測・動き補償によりジャダーを低減することができるため、高いフレームレートの映像について伝送する用途に有用である。

１ フレーム間引き装置
５ フレーム補間装置
１０ 映像符号化装置
１１ フレーム分割部
１２ 双方向動きベクトル予測部
１３ フレーム補間部
１４ 比較部
１５ サイド情報符号化部
１６ 映像符号化部
１７ 局部復号部
３１ 双方向動き予測部
３２ 最小点探索部
３３ 閾値設定・処理部
３４ ラベリング部
３５ 領域別最小点探索部
３６ 動きベクトル蓄積部
５０ 映像復号装置
５１ 双方向動きベクトル予測部
５２ サイド情報復号部
５３ 動きベクトル選択部
５４ フレーム補間部
５５ フレーム合成部
５６ 映像復号部

Claims (6)

1. 所定の映像に関して時間的に連続する複数のフレームのうち予め定めた複数のメイン映像のフレームを参照して、双方向動き予測により当該複数のメイン映像のフレーム間に位置するサブ映像のフレームのブロックを予測する双方向動きベクトル予測装置であって、
   当該複数のメイン映像のフレームにてそれぞれ参照する入力ブロック間の双方向動き予測を行うことにより当該サブ映像のフレームのブロックを予測する際に、当該サブ映像のフレームのブロックを予測対象とする予測対象ブロックについて、誤差として最小点に相当する動きベクトル候補と、前記最小点以外の周辺誤差に対して最小となる極小点に相当する動きベクトル候補とを含む複数の動きベクトル候補を決定する動きベクトル予測手段を備え、
   前記動きベクトル予測手段は、
   当該連続するメイン映像のフレームにてそれぞれ参照する入力ブロック間の動き予測を行うことにより、前記予測対象ブロックに関する誤差マップを生成する動き予測手段と、
   前記誤差マップ全体の最小点を探索して抽出し、抽出した最小点座標を第１の動きベクトル候補として決定する最小点探索手段と、
   前記誤差マップに対して所定値で閾値処理を施すことにより新たな閾値処理後の前記予測対象ブロックに関する誤差マップを生成する閾値設定・処理手段と、
   前記閾値処理により区分された誤差マップに形成される各領域のうち前記最小点座標を含む領域を除く領域について最小点を探索して抽出し、抽出した最小点座標を第２以降の動きベクトル候補として決定する領域別最小点探索手段と、
   前記閾値設定・処理手段及び前記領域別最小点探索手段の動作を１回以上の指定回数で動作させることにより得られる前記第２以降の動きベクトル候補と、前記第１の動きベクトル候補とを含む複数の動きベクトル候補を蓄積する動きベクトル蓄積手段と、
   を備えることを特徴とする双方向動きベクトル予測装置。
2. 請求項１に記載の双方向動きベクトル予測装置と、
   当該サブ映像のフレームの予測対象ブロックを補間対象ブロックとし、前記補間対象ブロックを除き前記所定の映像に関して時間的に連続する複数のフレームを符号化して外部に出力する映像符号化手段と、
   前記符号化した複数のフレームのうち予め定めた複数のメイン映像から、それぞれ局部復号したメイン映像を生成する局部復号手段と、
   前記局部復号した複数のメイン映像と、前記双方向動きベクトル予測装置により予測した複数の動きベクトル候補を用いた動き補償により、当該予測対象ブロックについて複数の動きベクトル候補に対応するそれぞれの補間映像ブロックを生成する補間手段と、
   それぞれの補間映像ブロックと、対応する当該サブ映像の原フレームのブロックとを比較して、当該複数の動きベクトル候補のうち最も差分の少ない補間映像に対応する動きベクトルを決定する比較手段と、
   当該決定した動きベクトルのインデックスを、当該サブ映像のフレームの補間対象ブロックに関するサイド情報として生成し外部に出力する出力手段と、
   を備えることを特徴とする映像符号化装置。
3. 請求項２に記載の映像符号化装置によって前記補間対象ブロックを除き符号化された当該複数のフレームを入力して復号処理を施す映像復号手段と、
   当該複数のフレームの復号処理により復号した複数のメイン映像を基に、前記補間対象ブロックに対応する当該サブ映像のフレームの予測対象ブロックに関する複数の動きベクトル候補を生成する、請求項１又は２に記載の双方向動きベクトル予測装置と、
   請求項２に記載の映像符号化装置によって生成された前記サイド情報を入力する入力手段と、
   前記サイド情報を参照し前記インデックスに従って前記複数の動きベクトル候補をもつ当該予測対象ブロックに対して１つの動きベクトルを選択する動きベクトル選択手段と、
   当該複数のフレームの復号処理により復号した複数のメイン映像と、当該選択した動きベクトルを用いて、前記予測対象ブロックに対応する補間対象ブロックを生成する補間手段と、
   当該複数のフレームの復号処理により復号した複数のフレームを、該補間対象ブロックで補間することによりフレーム合成を行い、前記所定の映像を復元するフレーム合成手段と、
   を備えることを特徴とする映像復号装置。
4. コンピュータを、請求項１に記載の双方向動きベクトル予測装置として機能させるためのプログラム。
5. コンピュータを、請求項２に記載の映像符号化装置として機能させるためのプログラム。
6. コンピュータを、請求項３に記載の映像復号装置として機能させるためのプログラム。

Images