JP5017223B2 - 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法 - Google Patents

Description

この発明は、圧縮符号化方式を用いた映像処理装置に係り、特に映像の倍速再生技術に関する。

本来、Ｈ．２６４／ＡＶＣ（非特許文献１参照）等の圧縮符号化方式による映像記録再生装置では、映像コンテンツを符号化し記録するとき、再生時に順序通りに全てのフレームを復号することを前提としている。そのため、早送り再生で数フレームおきに飛ばしながら表示する場合でも、全フレームの復号が必要である。例えば、３倍速表示の場合には、３倍速で復号して１つのフレームを表示し、残り２フレームは表示しないような動作となる。

表示しないフレームまでも復号しなければならない理由は、符号化アルゴリズムにおいて、フレーム間の差分を用いて情報量削減を行っているためである。すなわち、１つのフレームを正しく復号するためには、差分計算をした参照フレームが必要となり、参照フレームを生成するために全てのフレームを順序通りに復号しなければならない。

そこで、従来の映像記録再生装置では、早送り再生時に、全てのフレームを復号せずに、数フレームおきに存在するＩフレームのみを復号表示することで、処理負荷の低減を図ってきた。Ｉフレームの復号では、参照フレームを必要とせずに単独で復号できるからである。

Ｉフレームの位置は、ランダムアクセスポイントと呼ばれて、復号の開始点となる。表示はランダムアクセスポイントの数フレーム先であっても、ランダムアクセスポイントから復号を始めて、表示開始位置まで、順序通りに全ての復号を行う必要がある。

以上の理由で、従来の装置では、Ｎ倍速再生時には処理負荷がＮ倍となってしまい、負荷低減のためＩフレームのみ再生させるようにするとコマ落ちになってしまう。さらに、再生開始がランダムアクセスポイントから離れている時に、表示までにタイムラグが生じて問題となっている。同様なことが、ランダム再生でも生じている。

尚、従来の倍速再生処理方法として、特許文献１には、倍速再生における倍速度の指定の下にフレーム間予測符号化による圧縮処理を行う場合に、倍速再生する際に再生の対象となるフレーム画像だけを、動き予測するための参照画像として用いることで、圧縮された動画像データを倍速再生する際に、実際には再生されないフレーム画像を参照画像として無駄に伸張しなくても済むようした画像処理装置の構成が開示されている。

その他、特許文献２には、参照フレームに近傍の復号フレームを代替として使う方法が開示されている。また、特許文献３には、符号化時に可変速再生で復号が必要なフレーム情報を作成する方法が開示されている。また、特許文献４には、ランダムアクセスポイントの参照フレームを制限する方法が開示されている。また、特許文献５には、次のアクセスポイントを復号するのに必要なフレームに属性情報を付加する方法が開示されている。
大久保監修：改訂版H.264/AVC教科書、インプレス標準教科書シリーズ2006 特開２００７−０４９６５１公報 特開２００６−３３３２４９公報 特開２００４−２４２２８６公報 特開２００７−２１５２１７公報 特開２００７−１１６７２９公報

上記したように既存の技術では、倍速再生時またはランダム再生時において、負荷低減のためＩフレームのみ再生させるようにすると、コマ落ちになっていた。さらに、再生開始がランダムアクセスポイントから離れている時には、表示までにタイムラグが生じるという問題もあった。

この発明は上記事情によりなされたもので、その目的は、倍速再生時またはランダム再生時に必要なフレームのみを負荷をかけずに復号することができ、再生開始のレスポンス速度を向上させることのできる映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法を提供することにある。

上記目的を達成するためにこの発明の一態様によれば、映像入力から参照フレームとの残差信号を生成して符号化出力するもので、前記参照フレームとして、基本フレームまたは直前復号フレームからイントラ／インターモードによって選択的に生成される差分フレームが配列されるようにし、復号再生時に倍速再生またはランダム再生を行う場合に、前記圧縮符号化に際して前記倍速再生またはランダム再生の順序から予め表示フレームを決定し、当該表示フレーム復号時の参照フレームの状態から必要な被参照フレームの履歴を求め、前記表示フレームと前記被参照フレームとを合計した復号フレーム数が少なくなるように、前記符号化出力のフレーム構成と被参照フレームの選択を行う。

上記構成では、映像の符号化時に、早送り再生やランダム再生時に全てのフレームをデコードしなくてもよいように、フレーム構成と、参照メモリに格納するフレーム（被参照フレーム）の選択を行う手段を講じて、倍速再生時やランダム再生時に必要なフレームのみ復号するようにし、これによって処理負荷の低減と再生開始のレスポンス速度向上を図るようにしている。

この発明によれば、倍速再生時またはランダム再生時に必要なフレームのみを負荷をかけずに復号することができ、再生開始のレスポンス速度を向上させることのできる映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法を提供することを提供することができる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は、本発明が適用される映像圧縮符号化装置（エンコーダ）の一実施形態の構成を示すブロック図である。図１において、映像入力は、減算器１１によって予測画像生成器１２で生成される予測画像が減算される。このようにして生成された残差信号は、ＤＣＴ変換量子化器１３でＤＣＴ（Discrete Cosine Transform）変換された後に量子化され、続いてエントロピー符号化器１４で可変長符号化されて、Ｈ．２６４データとして出力される。

一方、上記ＤＣＴ変換量子化器１３の出力は逆量子化逆ＤＣＴ変換器１５で映像ストリームに戻された後、加算器１６で上記予測画像が加算され、デブロッキング・フィルタ１７によってブロック歪が抑圧され、参照フレームとしてメモリ１８に格納される。動き予測器１９は、メモリ１８に格納された参照フレームを映像入力のフレームに同期して読み出し、映像入力とメモリ１８からの参照フレームとを比較してインター（フレーム間）動き予測を行うもので、その予測結果はモード選択器２０に供給される。

ここで、符号化モード制御部２１は、予め与えられる符号化パラメータ２７に基づいて次フレームの符号化モードを決定し、所定の指示を動き予測器１９、モード選択器２０及びイントラ予測器２２に出力する。上記モード選択器１８は、イントラ予測器２２で映像入力から得られたイントラ（フレーム内）動き予測結果が供給され、符号化モード制御部２１からのフレーム間予測モード、フレーム内予測モードの選択指示に従っていずれか一方の予測結果を予測画像生成器１１に送る。この予測画像生成器１１は、映像入力を取り込んで予測結果に基づく重み付けを行って次の予測画像を生成する。

以上のように構成される映像圧縮符号化装置において、本発明では通常のＨ．２６４エンコード処理に以下の処理を加える。

まず、テーブル作成部２３は、符号化開始時に、符号化パラメータＭ、Ｎ、Ｒを元に参照フレームメモリ履歴テーブル２４を作成する。その後に、早送り再生で指示可能とする全速度について、復号装置側での処理負荷（ここでは１ＧＯＰでのデコードフレーム数）が許容範囲内となるように、参照フレームメモリ１８へ保存するフレームのエンコードパラメータＤ，Ｓを決定する。Ｄは画質を優先して０〜Ｎ−１の範囲で最小値を選択して、Ｓを０〜Ｄ−１の範囲で変化させて、デコードフレーム数が許容範囲内となる値を求める。このようにして、各再生速度でのデコードフレーム数が復号装置（デコーダ）側の許容範囲内となるＤとＳを決定し、上記テーブル２４を更新する。

一方、参照フレームメモリ１８の前段には参照フレームセレクタ２５を配置し、符号化モード制御部２１内にセレクタ制御部２６を追加する。セレクタ制御部２６は、参照フレーム履歴テーブル２４を参照して、決められたフレームのみを参照フレームメモリ１８へ保存するように、参照フレームセレクタ２５を制御する。

図２は、本発明が適用される映像復号再生装置（デコーダ）の一実施形態の構成を示すブロック図である。図２において、参照フレーム履歴テーブル作成部３１は、Ｈ．２６４データを取り込んで、エンコーダ側と同様に、参照フレーム履歴テーブルを作成するもので、再生倍速に応じた復号フレームのリストが作成される。そして、処理負荷に応じて表示フレームの削減が行われる。最終的なリストには、表示するかどうかが示される。データ再構築部３２は、前述の復号フレームリストに基づいて、デコーダ３３でエラーとならないようにヘッダやデータの整合性を取る処理が行われる。

上記デコーダ３３では最大２倍速で復号処理が行われる。デコード性能向上のために複数のデコーダを並列で動作させることも可能である。その場合は、ＧＯＰ単位でデータの振り分けを行う。フレームバッファ３４は、一定期間のフレームを保持できるバッファで、表示フレームを選択して一定フレームレートで出力する。表示フレームが削除された場合は、直前のフレームをリピートして出力する。タイミングコントローラ３５は、全体の動作タイミングの整合を取る。スイッチ（ＳＷ）３６は、再生速度が２倍速以下ならば入力側のデータをデコーダ３３に導出し、２倍速より大きい場合は、データ再構築のデータをデコーダ３３に導出する。上記参照フレーム履歴テーブル作成部３１、データ再構築部３２、デコーダ３３及びフレームバッファ３４は、タイミングコントローラ３５により、ユーザの再生速度指示に従って適宜制御されるものである。

すなわち、上記構成による映像復号再生装置において、データ再構築部３２では、参照フレーム履歴テーブル生成部１で生成される参照フレーム履歴テーブルとタイミングコントローラ３５からの再生速度の情報から、表示フレームとデコードフレームを決定する。デコードフレーム数がデコーダ３３の許容処理負荷を超える場合は、表示フレームの削減を行うことで、デコードフレーム数を抑制する。エンコード時に、エンコードパラメータ調整により、処理負荷が許容範囲ないとするようにした場合は、表示フレームの削減は不要であり、コマ落ちのない滑らかな特殊再生映像が得られる。本発明では、エンコード時のパラメータ調整が許容処理負荷以下にできなかったケースや、調整を行わないエンコーダのデータへも対応させるために、表示フレームの削減機能を持たしている。

上記データ再構築部３２において、デコーダ３３に送るＮＡＬユニットの該当フレームの扱いを通知するために、ＮＡＬ（Network Abstraction Layer：ネットワーク抽象レイヤ）ユニットヘッダのピクチャタイプ（nal_unit_type）の書き換えを行う。Ｈ．２６４において、未定義である２４〜３１の値とすることで、それを受け取ったデコーダ３３がデコードフレームと表示フレームの識別を行い、デコードフレームではないＮＡＬユニットを破棄する。表示フレームの場合は、デコード結果をフレームバッファ３４へ出力する。デコードフレームであり、表示フレームではないフレームのデコード結果は、フレームバッファ３４へ出力しない。

尚、デコード性能向上のために、複数のデコーダを並列で動作させることが可能である。その場合は、ＧＯＰ単位でデータの振り分けをデータ再構築部３２で行う。

上記フレームバッファ３４は、一定期間のフレームを保持できるバッファで、表示フレームを選択して一定フレームレートで出力する。表示フレームが削除された場合は、直前のフレームを繰り返し出力する。また、上記タイミングコントローラ３５は、全体の動作タイミングの整合を取る。スイッチ（ＳＷ）３６は、再生速度が２倍速以下ならば入力側のデータをデコーダ３３へ与え、２倍速より大きい場合は、データ再構築部３２で再構築されたデータをデコーダ３３へ与える。

以下、上記構成による映像圧縮符号化装置、映像復号再生装置それぞれの処理について説明する。

図３は、図２に示す映像復号再生装置の参照フレームメモリ履歴テーブル作成部３１におけるテーブル作成方法を示すフローチャートである。尚、図３では、説明を簡略化するために、フレーム順序入替が発生するＢフレームへの対応を除いている。フレームの表示順入替に対する処理を追加することで、Ｂフレームへ対応することができる。ここでは復号装置側の処理を示しているが、符号化装置側での処理の違いは後述する。

尚、以下の説明において、各変数の定義を以下のものとする。
RefTable[i][j]：参照フレーム履歴テーブルの配列を示す。ｉは横方向の添え字、ｊは縦方向の添え字で、それぞれの最大値はエンコードパラメータＮである。ｉ番目のフレームの表示をするためには、RefTable[i][j] = trueのフレームのデコードが必要である。
RefPicList[k]：参照フレーム状態を示す。ｋは参照フレーム番号で、最大値はエンコードパラメータＲである。
Nal_Ref_Idc：Ｈ．２６４のＮＡＬユニットヘッダにあるパラメータで、参照フレームのときに「１」となる。
Nal_Unit_Type：Ｈ．２６４のＮＡＬユニットヘッダにあるパラメータで、種類を表す。
参照フレームリスト数：エンコードパラメータＲである。デコーダ側での処理の場合、シーケンスパラメータセット（ＳＰＳ）という非スライスのＮＡＬユニットに存在するＨ．２６４データのパラメータnum_ref_framesの値である。
ＧＯＰのフレーム数：エンコードパラメータＮである。デコーダ側の処理の場合は、スライスヘッダを解析して分かるPicType = IDRとなるフレームの間隔である。

図３において、まず、ユーザの処理開始指示が与えられると、初期化処理として、参照フレーム履歴テーブル［RefTable］を全てメモリ［false］１８に格納し、参照フレームリスト［RefPicList］を全て無効値に設定する（ステップＳ１）。次に、ＮＡＬユニットをＨ．２６４の入力バッファから取り出して（ステップＳ２）、ＮＡＬユニットヘッダを解析し、パラメータ値を内部変数のNal_Ref_IdcとNal_Unit_Typeに代入する（ステップＳ３）。この時点で、Nal_Unit_TypeからＮＡＬユニットのＲＢＳＰ（Raw Byte Sequence Payload：動画像圧縮された生データ）データが画像を含むスライスのものか、それ以外の非スライスであるかを判断する（ステップＳ４）。ＲＢＳＰデータが「非スライス」ならば（Ｎｏ）、次のＮＡＬユニットの解析までスキップする。

上記判断ステップＳ４で、ＲＢＳＰデータが「スライス」ならば（Ｙｅｓ）、ＮＡＬユニットのＲＢＳＰデータにあるスライスヘッダを解析し、スライスのピクチャタイプを示すパラメータがＩＤＲ（Instantaneous Decoding Refresh：デコーダ復号動作の瞬時リフレッシュ），Ｉ，Ｐのいずれかであるかを判別し、内部変数のピクチャタイプ（PicType）を決定する（ステップＳ５）。尚、ここではフレーム内のスライスのタイプは同一とする。

次に、ステップＳ５で決定されたピクチャタイプがＩＤＲピクチャか否かを判断し（ステップＳ６）、ＩＤＲピクチャならば（Ｙｅｓ）、全ての参照フレームリストをクリア（初期化：RefPicListを全て無効値に設定）し（ステップＳ７）、参照フレームリストの１番目を更新（現在のフレーム番号→RefPicList[0]）する（ステップＳ８）。

ステップＳ６でＩＤＲピクチャでないと判断された場合（Ｎｏ）には、Ｉピクチャか否かを判断する（ステップＳ９）。Ｉピクチャの場合には（Ｙｅｓ）、他の参照フレームを必要とせずに、それ自身のみで再生できるので、参照フレーム履歴テーブルの更新は行わないが、それ以外（ピクチャタイプがＰピクチャである）の場合は図４に示すフローチャートに従って参照フレーム履歴テーブルの更新を行う（ステップＳ１０）。

次に、内部変数のNal_Ref_Idcが「１」か否かを判断し（ステップＳ１１）、「１」ならば（Ｙｅｓ）参照フレームリストを更新する（ステップＳ１２）。すなわち、参照フレームリストの更新処理において、Nal_Ref_Idc＝１の場合は、参照フレームリストで空きがあれば、最も小さい参照フレーム番号ｋのパラメータRef_Pic_List [k]に現在のフレーム番号を代入し、空きがなければ最も小さなフレーム番号へ現在のフレーム番号を上書きする。ステップＳ１１の判断で内部変数Nal_Ref_Idcが「０」ならば（Ｎｏ）、参照フレームリストの更新処理は行わない。最終的に、ＧＯＰの全フレームが終了したか判断し（ステップＳ１３）、終了でない（Ｎｏ）と判断した場合には、ステップＳ２に戻って一連の処理を継続し、終了と判断した場合には（Ｙｅｓ）、一連の処理を終了する。

但し、以上述べたテーブルとリストの更新処理はフレーム毎に行い、以前処理したのと同じフレームに属するＮＡＬユニットの場合はスキップするものとする。また、エンコーダ側では、参照フレーム履歴テーブルを作成する場合、パラメータＮ、Ｍ、Ｒ、Ｄ、ＳよりNal_Ref_Idc、Nal_Unit_Type、PicType（スライスの場合のみ）の内部変数をエンコードするスライスの数だけ生成し、ＮＡＬユニットヘッダとスライスヘッダの解析は行わないようにする。

続いて、図４に示すフローチャートを参照して、上記参照フレーム履歴テーブルの更新処理（Ｓ１０）について説明する。

まず、現在のフレーム番号をｉにセットし（ステップＳ２１）、参照フレームリストの参照フレーム番号に「ｋ」をセットし（ステップＳ２２）、参照フレームリスト数が「ｋ」か否かを判断する（ステップＳ２３）。「ｋ」ならば（Ｙｅｓ）一連の処理を終了する。参照フレームリスト数が「ｋ」でなかった場合、参照フレームリストをチェックして、RefPicList[k]は有効なフレーム番号か否かを判断する（ステップＳ２４）。有効でなければ（Ｎｏ）、「ｋ＋１」を「ｋ」に置き換えて（ステップＳ２５）ステップＳ２３に戻る。有効ならば（Ｙｅｓ）、参照フレーム履歴テーブルを更新する（True→RefTable[i][RefPicList [k]]（ステップＳ２６）。

次に、フレーム番号に「ｊ」をセットし（ステップＳ２７）、ＧＯＰのフレーム数が「ｊ」か否かを判断する（ステップＳ２８）。「ｊ」ならば（Ｙｅｓ）、ステップＳ２５に移行して「ｋ＋１」を「ｋ」に置き換えてステップＳ２３に戻る。「ｊ」でなければ（Ｎｏ）、前の参照フレーム履歴テーブルが正しいか否かをチェックする（RefTable[RefPicList[k]][j]=true?）（ステップＳ２９）。正しい場合には（Ｙｅｓ）、参照フレーム履歴テーブルを更新し（True→RefTable[i][j]）（ステップＳ３０）、誤りならば更新処理Ｓ３０をスキップする。その後、「ｊ＋１」を「ｊ」に置き換えて（ステップＳ３１）ステップＳ２８の判断に戻り、一連の処理を続ける。

以下、倍速再生について、従来の場合と比較して具体的に説明する。

図５は従来の映像復号再生装置における３倍速再生の場合の１ＧＯＰ内の復号フレームと表示フレームとの関係を示している。図５から分かるように、表示は３フレームにつき１フレームのみであるが、単独で再生可能なＩフレーム以外は参照フレームもデコードしなければならず、全てを復号している。そのため復号処理の負荷も３倍となる。

図６は従来装置の３倍速再生において、処理負荷を減らすために、Ｉフレームのみを復号した場合の１ＧＯＰ内の復号フレームと表示フレームとの関係を示している。図６から分かるように、この方法では、５フレームに渡って同じ画面が表示されるので、コマ落としとなってしまう。

図７は、図１に示した映像圧縮符号化装置で生成された符号化映像を図２に示した映像復号再生装置で３倍速再生する場合の１ＧＯＰ内の復号フレームと表示フレームとの関係を示している。本発明では、図７から分かるように、エンコーダ側で、予め、符号化時に全てを復号しなくても３倍速の表示フレームが得られるように、フレーム構成と被参照フレームの選択を行っている。このため、復号フレーム数を２／３に削減することができている。

尚、ここでは３倍速の表示フレーム全てを復号しているが、処理負荷が目標以下とならない場合は、フレーム単位で復号を省略し、直前と同じフレームを表示させてコマ落としとする。表示フレームの時間的間隔が変動すると、動きの滑らかさが損なわれる。このような場合、例えば、１３→１０→７→４の順で省略するよりも、１３→４→７→１０のほうが視覚的に良い結果が得られることが期待できる。

図８にフレーム構成決定パラメータを示し、図９に被参照フレーム選択に関するパラメータを示す。全てを復号することなく早送り再生を行うには、符号化時にどのようなフレーム構成にして、被参照フレームを選択すればよいかに影響する。図８に示すパラメータのＮとＭは、ＭＰＥＧ符号化方式で一般的に使われているもので、それぞれＩフレームの周期と、ＩまたはＰフレームの現れる周期を示す。図９に示すパラメータのＲは参照フレームメモリの数である。ＭＰＥＧ２では、前１、後ろ１の固定数であったが、Ｈ．２６４ではレベルの制約内で幾つでも持つことができる。図９に示すパラメータのＤとＳは、全てのＰフレームを参照メモリに格納せずに一部のみにするためのものである。ＳはＩピクチャから数えて、何番目のＰピクチャから参照フレームメモリへ格納するかを示す。ＤはＰピクチャの何枚につき１枚のピクチャを格納するかを示す。

表示倍速より表示フレームが決まると、これらのパラメータの選び方により復号に必要なフレームが決定される。但し、図１０に示すように、７．５倍速特殊再生時の表示タイミングは、１５フレームに２フレームだけ行う。７フレームと８フレームの中間がジャストなタイミングであるが、中間画像は生成せずにどちらかで代用する。

以上、本発明の処理負荷の低減と再生開始のレスポンス速度向上のポイントをまとめると、以下の点があげられる。

(1) 記録時に早送り倍速数（複数の速度を考える）から表示するフレームを決めて、その表示フレーム復号時の参照メモリ状態から、必要な被参照フレームの履歴を求める。表示フレーム数と被参照フレーム数の合計（以降、復号フレーム数）が少なくなるように、フレーム構成と被参照フレームの選択を行う。

(2) 上記(1)の表示フレーム決定時に、割り切れない位置の表示フレーム（例えば１５フレーム中２フレームを表示）ならば、復号フレーム数が少なくなる方を選択する。

(3) 再生時に(1)と同様な方法によって早送り再生時の復号フレーム数を求めて、処理負荷の限界値を超える場合はコマ落としにして処理負荷を下げる。

(4) 再生時に(1)と同様な方法によって早送り再生時のデータ量を求めて、処理負荷の限界を超える場合はコマ落としにして処理負荷を下げる。

(5) 上記(3),(4)のコマ落とし方法は、表示フレームの時間的間隔が可能な限り等しくなるように行う。

(6) 再生時に(1)〜(5)によって復号が必要なフレームを決めて、復号フレームのリストを作成し、それに従って復号し、表示フレームのみ表示する。

(7) ランダムアクセスを行う場合に、表示開始フレーム復号時の参照メモリ状態から、必要な被参照フレーム履歴のリストを求め、表示開始フレームまでリストに従って復号のみを行い、表示開始フレームから表示を行う。

(8) ストリーミングによる早送り再生の場合、送信側でリストに従って必要なフレームの送信を行い、受信側で復号した結果のうち表示フレームのみを表示する。

(9) ストリーミングによるランダムアクセスの場合、送信側で表示開始前の必要なフレームのみを送信を行い、受信側で復号のみを行い表示開始フレームから通常動作を行う。

図１１は、上記ポイント(1)の被参照フレームの履歴を求めるために作成する参照フレーム履歴テーブル、図１２はＨ．２６４データ構造を示している。参照フレーム履歴テーブルは、アルフレームをデコードするのに必要な全てのフレームを記録するテーブルである。項目としては、符号化順序、表示順序、NalRelIdcパラメータ、フレーム番号、参照フレーム状態（最大数num_ref_frames）がある。図中‘ｏ’は、表示順序の番号で参照フレームを作るために必要なフレームを示している。作成するタイミングは、符号化パラメータのＮ，Ｍ，Ｒ，Ｓ，Ｄを決定する時と、再生時に処理負荷を計算する時である。

Ｂフレームがある場合は、符号化順序と表示順序が異なる。符号化順序はデータの順序と等しい。このため、参照フレーム履歴テーブルは、符号化順序でデータを調べながら作成する。参照フレーム数は、符号化時に決定されてnum_ref_framesというＨ．２６４シンタックス要素で伝送される。参照フレームであるか否かは、図１２に示すＨ．２６４データ構造でいうと、ＮＡＬユニットのNalRefIdcというシンタックス要素で伝送される。NalRefIdcが‘１’である場合は、それは参照フレームであるので参照フレーム状態を更新する。図１１では、表示順序０のNalRefIdcが‘１’であるので、次のフレームの参照フレーム状態に‘０’を設定している。参照フレーム数はnum_ref_framesによって有限に決められているため、設定時に他の値が入っている場合は、参照メモリ管理方法に従ってどれを上書きすればよいか決める。一般的には、移動窓管理方法が用いられて、最も古い参照フレームを上書きする（詳細については非特許文献１のpp171参照）。

次にテーブルの更新方法について説明する。表示順序‘４’を例にとると、この時の参照フレームは、‘６’と‘３’なので‘４’を再生するのにはこれら復号されていることが必要であることを示す。したがって、テーブルの‘６’と‘３’を‘ｘ’から‘ｏ’へ変更する。次に‘６’と‘３’を復号する時にどのフレームが必要かを調べる。どちらとも‘０’を参照フレームとして使っているために‘０’を‘ｘ’から‘ｏ’へ変更する。このように、まず、（１）現在の参照フレームをチェックし、（２）参照フレームの過去の履歴をチェックして、（３）NalRefIdc=1 ならば参照フレームを更新する。

‘６’は、‘３’を参照フレームとして使っているが、既に‘ｏ’なので何もしない。こうして完成したテーブルを行方向に見ると、該当フレームを復号するのに必要なフレームが調べられる。例えば、再生３倍速によって表示フレームが０,３,６,９,１２，…と決まれば、テーブルの‘ｏ’となっているフレームの合計が復号フレーム数である。符号化パラメータの決定は１回のみ行えばよいが、再生時には再生速度が変わる時に行う必要がある。通常は、１フレームを先頭としてＮフレーム毎にまとまっているために、その単位（以降ＧＯＰ）で行う。

再生時に、通常再生の表示フレームレートが３０fpsで、復号可能なフレームレートが６０fpsでビットレートが８０Mbpsの場合、２倍速で、元のビットレートが４０Mbpsの再生までは、特殊な処理を行わなくても再生可能である。３倍速となると全フレームの復号は９０fpsとなり、処理負荷が高くなり再生不可能である。よって、３倍速動作開始時に参照フレーム履歴テーブルを作成し、表示フレームから復号フレーム数を求めて６０fps以下であるかどうか調べる。

６０fpsを超える場合は、ポイント(2),(3),(5)に基づいて表示フレームを減らす。その結果の合計のデータ量を調べて、80Mbpsを超える場合は、ポイント(4)により表示フレームを減らす。ポイント(5)のフレーム時間間隔の均等化は、必須ではなく処理負荷の低減が優先される。符号化時に、符号化パラメータを最大復号フレーム数と最大ビットレートの制約事項の元に選んだ場合は、表示フレームの削除を行わなくてもよい。符号化パラメータを復号フレーム数の考慮をしないで選択した場合は、最悪として図６に示したような１フレームのみ再生となる。符号化時に特殊な処理を行わなくても、最低限の動作は保証されている。

したがって、上記実施形態の構成によれば、映像の符号化時に、早送り再生やランダム再生時に全てのフレームをデコードしなくてもよいように、フレーム構成と、参照メモリに格納するフレーム（被参照フレーム）の選択を行っているので、早送り再生時やランダム再生時には必要なフレームのみ復号すればよく、処理負荷の低減と再生開始のレスポンス速度向上を合わせて実現することができる。

尚、上記実施形態では、映像復号再生装置側で参照フレーム履歴テーブルを作成するようにしたが、ストリーミング対応の装置ならば、ストリーム配信サーバ側で参照フレーム履歴テーブルを作成し、映像データと合わせて伝送するようにしてもよい。

図１３は、再生をネットワークストリーミングに対応させた再生系のシステム構成を示すものである。

一般的なＨ．２６４データの転送には、ＲＴＰ（Real-Time Transport Protocol)を用いた方法などがあり、ＩＥＴＦ（Intemet Engineering Task Force）によってＲＦＣ３９８４のように規格化されている。再生の開始や停止の制御は、ＲＴＳＰ（RealTime Streaming Protocol）、ＲＦＣ２３２６にて規格化されている。この実施例では、送信側にて復号フレームの決定を行うために、映像ストリームだけではなく復号フレームリストを送信する必要がある。送信タイミングとしては、ＲＴＳＰのセッションコントロールが適当である（非特許文献１、pp227参照）。送信側で不要なフレームデータの削除を行うことにより、ネットワーク帯域の削減にもつながる。

目的をこのようなストリーミングとする場合には、符号化パラメータを選択するポイント(1)の制約条件として、ネットワーク帯域を追加する。受信側から送信側に対して、再生速度などの条件を指定して再生要求が出される。早送り再生や、ランダムアクセスの場合は、図２と同様にして、参照フレーム履歴テーブル作成部４１及びデータ再構築部４２で、タイミングコントローラ４５の制御に従い、参照フレーム履歴テーブルが作成され、データ再構築が行われる。そして、スイッチ（ＳＷ）４３によって、可変速再生やランダムアクセス開始時に復号フレームリストが、パケット化部４４でパケット化されてネットワーク４６を通じてデパケット化部４７に送られる。デパケット化部４７では受信された信号から復号フレームリストが取り出される。リスト内容が確認されると、送信側にＯＫ応答が返される。

その後に、Ｈ．２６４の再構築データがパケット化部４４でパケット化されてネットワーク４６を通じてデパケット化部４７へ送られる。デパケット化部４７で受信されたデータは、デコーダ４８でデコードされて、フレームバッファ４９にいったん格納される。タイミングコントローラ５０は、復号フレームリストに従って表示フレームだけを決められたタイミングで出力するようにフレームバッファ４９をコントロールする。

上記構成によれば、例えばサーバからストリーム形式でＨ．２６４データが再生出力され、ネットワークを通じて再生端末に伝送され再生処理されるシステムにおいて、端末側からサーバ側に倍速再生が要求されたとき、サーバ側で参照フレーム履歴テーブルを作成し、データ再構築を行って復号フレームリストを作成し、端末側に提供することが可能となる。

尚、この発明は上記実施の形態に限定されるものではない。また、本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。さらに、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

本発明が適用される映像圧縮符号化装置（エンコーダ）の一実施形態の構成を示すブロック図。 本発明が適用される映像復号再生装置（デコーダ）の一実施形態の構成を示すブロック図。 図２に示す映像復号再生装置の参照フレームメモリ履歴テーブル作成部におけるテーブル作成方法を示すフローチャート。 図２に示すフロー中の参照フレーム履歴テーブルの更新処理の流れを示すフローチャート。 従来の映像復号再生装置における３倍速再生の場合の１ＧＯＰ内の復号フレームと表示フレームとの関係を示す図。 従来装置の３倍速再生において、処理負荷を減らすために、Ｉフレームのみを復号した場合の１ＧＯＰ内の復号フレームと表示フレームとの関係を示す図。 上記実施形態において、３倍速再生する場合の１ＧＯＰ内の復号フレームと表示フレームとの関係を示す図。 図１に示すエンコーダ側のフレーム構成決定パラメータを示す図。 図１に示すエンコーダ側の被参照フレーム選択に関するパラメータを示す図。 上記実施形態において、７．５倍速特殊再生時の表示タイミングを示す図。 上記実施形態において、被参照フレームの履歴を求めるために作成する参照フレーム履歴テーブルを具体的に示す図。 本発明に用いられるＨ．２６４データ構造を示す図。 本発明の他の実施形態として、再生をネットワークストリーミングに対応させた再生系のシステム構成を示すブロック図。

符号の説明

１１…減算器、１２…予測画像生成器、１３…ＤＣＴ変換量子化器、１４…エントロピー符号化器、１５…逆量子化逆ＤＣＴ変換器、１６…加算器、１７…デブロッキング・フィルタ、１８…参照フレームとしてメモリ、１９…動き予測器、２０…モード選択器、２１…符号化モード制御部、２２…イントラ予測器、２３…テーブル作成部、２４…参照フレームメモリ履歴テーブル、２５…参照フレームセレクタ、２６…セレクタ制御部、２７…符号化パラメータ、３１…参照フレーム履歴テーブル作成部、３２…データ再構築部、３３…デコーダ、３４…フレームバッファ、３５…タイミングコントローラ、３６…スイッチ（ＳＷ）、４１…参照フレーム履歴テーブル作成部、４２…データ再構築部、４３…スイッチ（ＳＷ）、４４…パケット化部、４５…タイミングコントローラ、４６…ネットワーク、４７…デパケット化部、４８…デコーダ、４９…フレームバッファ、５０…タイミングコントローラ。

Claims (19)

1. 映像入力から参照フレームとの残差信号を生成して符号化出力するもので、前記参照フレームとして、基本フレームまたは直前復号フレームからイントラ／インターモードによって選択的に生成される差分フレームが配列されるようにし、復号再生時に倍速再生またはランダム再生を行う映像処理装置において、
   前記圧縮符号化に際して前記倍速再生またはランダム再生の順序から予め複数の倍速値それぞれに対応する表示フレームを決定し、当該表示フレーム復号時の参照フレームの状態から必要な被参照フレームの履歴を求め、前記表示フレームと前記被参照フレームとを合計した復号フレーム数が少なくなるように、かつ前記複数の倍速値の全てについて復号時の処理負荷が許容範囲となるように符号化パラメータを決定して前記符号化出力のフレーム構成と被参照フレームの選択を行うことを特徴とする映像処理装置。
2. 前記表示フレームの決定時に存在しない位置のフレームならば、その前後のフレームのうち前記復号フレーム数が少なくなる方を選択することを特徴とする請求項１記載の映像処理装置。
3. 前記倍速再生時に前記復号フレーム数を求めて、前記処理負荷の限界値を超える場合には前フレームを表示してコマ落としを実行することを特徴とする請求項１記載の映像処理装置。
4. 前記倍速再生時に、前記復号フレームのデータ量を求めて、前記処理負荷の限界値を超える場合には前フレームを表示してコマ落としを実行することを特徴とする請求項１記載の映像処理装置。
5. 前記コマ落としの処理は、前記表示フレームの時間的間隔が均等になるように行うことを特徴とする請求項３または４記載の映像処理装置。
6. 前記倍速再生を行う場合に、復号が必要なフレームを予め決めて復号フレームのリストを作成し、前記倍速再生時にそのリストに従って復号し、表示フレームのみ表示することを特徴とする請求項１記載の映像処理装置。
7. 前記ランダム再生を行う場合に、表示開始フレーム復号時の参照フレームのピクチャタイプから必要な被参照フレーム履歴のリストを予め作成しておき、ランダム再生時に表示開始フレームまで前記リストに従って復号のみを行い、表示開始フレームから表示を行うことを特徴とする請求項１記載の映像処理装置。
8. 前記符号化出力をストリーミングで端末装置に送信する場合に、送信側で前記倍速再生時に復号が必要なフレームを予め決めて復号フレームのリストを作成しておき、前記端末装置から送信側に送られる倍速再生要求に応答して、前記送信側でリストに従って必要なフレームの送信を行い、前記端末装置側で復号した結果のうち表示フレームのみを表示することを特徴とする請求項１記載の映像処理装置。
9. 前記符号化出力をストリーミングで端末装置に送信する場合に、送信側で表示開始前の必要なフレームのみ送信を行い、受信側で復号のみを行い表示開始フレームから通常動作を行う請求項１記載の映像処理装置。
10. 映像入力から参照フレームとの残差信号を生成して符号化出力するもので、前記参照フレームとして、基本フレームまたは直前復号フレームからイントラ／インターモードによって選択的に差分フレームを生成し配列する映像圧縮符号化装置において、
    前記圧縮符号化に際して前記符号化出力の復号再生時の倍速再生またはランダム再生の順序から予め複数の倍速値それぞれに対応する表示フレームを決定する決定手段と、
    前記表示フレーム復号時の参照フレームの状態から必要な被参照フレームの履歴を求める履歴作成手段と、
    前記表示フレームと前記被参照フレームとを合計した復号フレーム数が少なくなるように、かつ前記複数の倍速値の全てについて復号時の処理負荷が許容範囲となるように符号化パラメータを決定して前記符号化出力のフレーム構成と被参照フレームの選択を行う選択手段と
    を具備することを特徴とする映像圧縮符号化装置。
11. 前記決定手段は、前記表示フレームの決定時に存在しない位置のフレームならば、その前後のフレームのうち前記復号フレーム数が少なくなる方を選択することを特徴とする請求項１０記載の映像圧縮符号化装置。
12. 請求項１０の映像圧縮符号化装置から出力される映像符号化信号を取り込み、倍速再生の要求時に前記復号フレーム数を求めて、処理負荷の限界値を超える場合には前フレームを表示してコマ落としを実行することを特徴とする映像復号再生装置。
13. 請求項１０の映像圧縮符号化装置から出力される映像符号化信号を取り込み、前記倍速再生の要求時に、前記復号フレームのデータ量を求めて、処理負荷の限界値を超える場合には前フレームを表示してコマ落としを実行することを特徴とする映像復号再生装置。
14. 前記コマ落としの処理は、前記表示フレームの時間的間隔が均等になるように行うことを特徴とする請求項１２または１３記載の映像復号再生装置。
15. 請求項１０の映像圧縮符号化装置から出力される映像符号化信号を取り込み、前記倍速再生の要求時に、復号が必要なフレームを予め決めて復号フレームのリストを作成し、前記倍速再生時にそのリストに従って復号し、表示フレームのみ表示することを特徴とする映像復号再生装置。
16. 請求項１０の映像圧縮符号化装置から出力される映像符号化信号を取り込み、前記ランダム再生の要求時に、表示開始フレーム復号時の参照フレームのピクチャタイプから必要な被参照フレーム履歴のリストを予め作成しておき、ランダム再生時に表示開始フレームまで前記リストに従って復号のみを行い、表示開始フレームから表示を行うことを特徴とする映像復号再生装置。
17. ストリーミングで送信される圧縮符号化された映像信号を受け取って復号再生する映像復号再生装置において、
    前記映像信号の送信側で、倍速再生時に復号が必要なフレームを予め決めて復号フレームのリストが作成され、倍速再生要求に応答して、前記リストに従って必要なフレームの送信が行われるとき、
    前記送信側に倍速再生要求を出力し、前記送信側から送られてくるフレームを復号した結果のうち表示フレームのみを表示することを特徴とする映像復号再生装置。
18. ストリーミングで送信される圧縮符号化された映像信号を受け取って復号再生する映像復号再生装置において、
    前記映像信号の送信側で、ランダム再生時に表示開始前の必要なフレームのみの送信が行われるとき、
    前記送信側にランダム再生要求を出力し、表示開始フレーム前は前記送信側から送られてくるフレームの復号のみを行い、表示開始フレームから通常の復号再生を行うことを特徴とする映像復号再生装置。
19. 映像入力から参照フレームとの残差信号を生成して符号化出力する際に、前記参照フレームとして、基本フレームまたは直前復号フレームからイントラ／インターモードによって選択的に生成される差分フレームが配列されるようにし、復号再生時に倍速再生またはランダム再生を行う映像再生方法において、
    前記圧縮符号化に際して前記倍速再生またはランダム再生の順序から予め複数の倍速値それぞれに対応する表示フレームを決定し、当該表示フレーム復号時の参照フレームの状態から必要な被参照フレームの履歴を求め、前記表示フレームと前記被参照フレームとを合計した復号フレーム数が少なくなるように、かつ前記複数の倍速値の全てについて復号時の処理負荷が許容範囲となるように符号化パラメータを決定して前記符号化出力のフレーム構成と被参照フレームの選択を行うことを特徴とする映像再生方法。

Images