WO2005025226A1 - 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム - Google Patents

Abstract

本発明は、簡易な構成で、映像符号化処理のオーバーランによる映像の表示品質劣化を回避し得る映像符号化装置を実現する。映像をフレーム毎に第1の符号化処理する符号化手段と、フレームの符号化処理に要した符号化実処理時間を検出する処理時間検出手段と、符号化処理に与えられる符号化予想処理時間と符号化実処理時間とに基づいてフレームの符号化処理の処理遅延時間を算出する遅延算出手段と、フレームについての処理遅延時間が所定の閾値以上のとき、第1の符号化処理方法よりも処理負荷の低い第2の符号化処理方法で次のフレームを符号化処理さえる符号化負荷制御手段とを映像符号化装置に設けたことにより、オーバーラン発生後のフレームの処理時間を短縮してオーバーランを回復し、オーバーラン発生によるフレームスキップを防止して映像の表示品質劣化を回避することができる。

Description

明 細 書 映像符号化装置、 映像符号化制御方法及び映像符号化制御プログラム 技術分野

本発明は、 映像符号化装置、 映像符号化制御方法及び映像符号化制御プロダラ ムに関し、 ソフトウエア符号化を行う映像符号化装置に適用して好適なものであ る。 背景技術

従来、 映像信号の圧縮符号化 ·復号装置においては、 専用の映像処理用ハード ウェアを用いて符号化処理 （エンコーディング） ゃ復号処理 （コーディング） を 行っていた。 これをハードウェアコーデックと呼ぶ （例えば、 特許文献 1参照） これに対して、 近年のコンピュータ技術の発達に伴い、 汎用の CPU ( C e n t r a l P r o c e s s i n g Un i t) 上で映像処理プログラムを 実行することにより、 上述した符号化処理ゃ復号処理を行うこと （これをソブト ウェアコーデックと呼ぶ） が実用化されている。

かかるソフトウェアコーデックにおいては、 上述したハードウヱアコ一デック とは異なり、 映像処理プログラムを変更するだけで、 MP EG (Mo v i n g P i c t u r e E p e r t s G r o u p) 1 / 2 / 4や J P E G 2000 等の国際標準化された圧縮符号化方式、 あるいはその他の種々の圧縮符号化方法 に容易に対応できるという利点がある。 また、 新たな圧縮符号化方法が開発され た場合でも、 これに応じて映像処理プログラムを更新するだけで、 容易に最新の 圧縮符号化方法に対応することができる。 特許文献 1 特開 200 3— 6 1 097公報。 ソフトウェアエンコーディングにおいては、 C P Uは映像の符号化処理 （映像 符号化スレッ ドないしはプロセス） と音声の符号化処理 （音声符号化スレッ ドな いしはプロセス） とを時分割で交互に処理していく。 音声はその遅延や欠落がュ 一ザに感知されやすいため、 音声符号化スレツ ドが優先的に処理されることが一 般的である。 例えば 1フレーム期間 （1 3 0秒） の間に、 まず 1フレーム分の 音声を処理し、 その後に画像 1フレームを処理する。 ·

図 8はソフトウエアェンコ一ディングの処理状態を示し、 外部から入力された 映像データ及ぴ音声データは、 それぞれ一旦映像入カバッファ及ぴ音声入カバッ ファに格納される。' C P Uは、 まず音声符号化スレッ ドを実行し、 音声入力バッ ファから 1フレーム分の音声データを読み出して圧縮符号化した後出'力する。 続 いて C P Uは映像符号化スレツドを実行し、 映像入力バッファから映像データを 1フレーム読み出して圧縮符号化した後出力する。 このようにして C P Uは、 映 像データ及ぴ音声データを 1フレーム期間毎に時分割で順次符号化していく。 ここで、 音声の圧縮符号化処理においては、 その処理時間があまり変化しない のに対し、 映像の圧縮符号化処理においては、 符号化しょうとする入力映像の複 雑度 （絵柄や動き等） に応じて、 その処理時間が大幅に変化する。

例えば、 空や壁面等の、 比較的平坦な部分が多ぐ動きの少ない映像では処理時 間が短いのに対し、 スポーツ中継等の、 絵柄が複雑で動きが速く、 しかも適度な 速度でパンやズームを行うような映像では、 処理時間が増大する。 この処理時間 の増大によって、 1フレーム期間内に符号化処理を完了できなくなる場合がある

。 このような処理遅延をオーバーランと呼ぶ。

すなわち図 8において、 N番目のフレームが極端に複雑で、 1フレーム期間内 に符号化が完了しなかったものとする （オーバーランの発生） 。 この場合 C P U は、 オーバーランを生じた N番目のフレームに対する符号化処理の完了が、 N + 1番目のフレームを符号化すべきタイミングにまで食い込んでしまう。 尚、 ビデ ォ、 オーディォの各符号化スレッドの切換えは、 通常、 O S ( O p e r a t— i n g S y s t e m) によもコンテクスト ·スィツチにより行われる。

ここでこのフレーム期間は、 本来は N + 1番目のフレームを処理すべき期間で あるが、 オーバーランを生じたフレームを処理したがために、 N + 1番目のフレ ームを処理することができない。 このため C P Uは、 当該 N + 1番目のフレーム に対する符号化処理をスキップし、 次の N + 2番目のフレームから符号化処理を 行う。

このように従来のソフトウエアェンコ一ディングにおいては、 画像符号化処理 においてオーバーランが発生した場合、 次のフレームに対する符号化をスキップ するようになされている。 しかしながら、 このようなフレームスキップが発生す ると、 表示される映像がコマ送り状態となり、 映像の表示品質が損なわれる'とい う問題がある。

かかるオーバーランを回避するために'は、 複数の C P Uを並列動作さ^:たり、 C P Uの動作クロックを上昇する等が考えられるが、 これにより装置全体が複雑 化したり、 消費電力が上昇してしまうという問題がある。 発明の開示

本発明は以上の点を考慮してなされたもので、 簡易な構成で、 映像符号化処理 のオーバーランによる映像の表示品質劣化を回避し得る映像符号化装置、 映像符 号化制御方法及び映像符号化制御プログラムを提案しようとするものである。 かかる課題を解 ¾するため本発明においては、 映像をフレーム毎に第 1の符号 化処理方法で符号化処理する符号化手段と、 フレームの符号化処理に要した符号 化実処理時間を検出する処理時間検出手段と、 符号化処理に与えられる所定の符 号化予想処理時間と符号化実処理時間とに基づいてフレームの符号化処理の処理 遅延時間を算出する遅延算出手段と、 フレームについての処理遅延時間が所定の 閾値以上のとき、 第 1の符号化処理方法より符号化処理負荷の低い第 2の符号化 処理方法で次のフレームを符号化処理するよう符号化手段に指示する符号化負荷 制御手段とを映像符号化装置に設けるようにする。 符号化処理の遅延発生に応じて、 次フレームの符号化負荷が低減するように制 御することにより、 オーバーラン発生後のフレームの処理時間を短縮してオーバ 一ランを回復し、 オーバーラン発生によるフレームスキップを防止して映像の表 示品質劣化を回避することができる。

また本発明においては、 連続する複数のフレームについての処理遅延時間の累 積値が所定の閾値以上のとき、 当該連続する複数のフレームの次のフレームに対 して、 第 2の符号化処理方法よりも符号化処理負荷の低い第 3の符号化処理方法 で符号化処理するようにした。

オーバーランの値が大きく、 1フレームでは当該オーバーランを回復し得なか つた場合でも、 以降のフレームの符号化処理負荷をさらに低減することで、 数フ レームの間に確実にオーバーランを回復することができる。

上述のように本発明によれば、 映像符号化処理の遅延発生に応じて、 次フレー ムの符号化負荷が低減するように制御することにより、 オーバーラン発生後のフ レームの処理時間を短縮してオーバーランを回復し、 オーバーラン ¾生によるフ レームスキップを防止して映像の表示品質劣化を回避し得る映像符号化装置、 映 像符号化制御方法並びに映像符号化制御プログラムを実現することができる。 図面の簡単な説明

図 1は、 本発明による信号処理装置の全体構成を示すプロック図である。 図 2は、 信号処理装置のシステムダイアグラムを示すプロック図である。 図 3は、 本発明によるオーバーランリカバリの説明に供するタイミングチヤ一 トである。

図 4は、 ノーマルェンコ一ディングの処理ダイヤグラムを示すブロック図であ る。

図 5は、 リカバリェンコーディングモード 1の処理ダイヤグラムを示すブロッ ク図である。

図 6は、 リカバリエンコーディングモード 2の処理ダイヤグラムを示すブロッ ク図である。

図 7は、 本発明によるオーバーランリカパリ処理手順を示すフローチャートで ある。

図 8は、 オーバーランによるフレームスキップの説明に供するタイミングチヤ 一トである。 発明を実施するための最良の形態

以下、 図面について、 本発明の，実施の形態を詳述する。

(1) 信号処理装置の全体構成

図 1において、 1は全体として本発明による映像符号化装置としての信号処理 装置を示し、 当該信号処理装置 1を統括的に制御する CPU 2に対して、 ロー力 ルメモリ 3、 信号入出力部 4及びネットワークインターフェース 5が接続されて いる。 CPU 2とローカルメモリ 3の間は、 高速のローカルパスで直結されてい る。

そして信号処理装置 1においては、 図示しない ROMに格納されたコーデック プログラムを CPU 2が読み出して実行することにより、 映像及び音声信号に対 する符号化及ぴ復号をソフトウエアで処理するように'なされている。

すなわち信号処理装置 1は映像及び音声の符号化時において、 外部から入力さ れたアナログ映像信号及びアナログ音声信号を、 信号入出力部 4の A/D ( An a 1 o g/D i g i t a 1 ) コンパータ 4 Aでディジタル変換してディジタ ル映像データ及びディジタル音声データ （以下、 映像データ及び音声データと省 略する） を生成し、 これを一旦ローカルメモリ 3に格納する。

CPU 2は、 ローカルメモリ 3に格納した映像データ及ぴ音声データを順次読 み出し、 上述したコーデックプログラムに従って、 例えば MP EG 1,2/4等 の国際標準化された圧縮方式、 あるいはその他の種々の映像音声圧縮方式で圧縮 符号化して符号化映像データ及ぴ符号化音声データを生成する。

そして CPU 2は、 この符号化映像データ及び符号化音声データを一旦ロー力 ルメモリ 3に格納した後順次読み出し、 ネットワークインタ一フェース 5に供給 する。 ネットワークインターフェース 5は、 符号化映像データ及び符号化音声デ —タを所定のフォーマットに従ってパケット化 （バケツタイズ） 'し、 これを外部 の記憶媒体や伝送先の機器に送出する。

一方、 信号処理装置 1は映像及び音声の復号時において、 外部の記憶媒体や伝 送元の機器から供給される、 バケツト化された符号化映像データ及び符号化音声 データをネットワークインターフェース 5で復元 （デバケツタイズ） し、 これを 一旦ローカルメモリ 3に格納する。

符号化手段としての C P U 2は、 ローカルメモリ 3に格納した圧縮映像データ 及び圧縮音声データを順次読み出し、 上述したコーデックプログラムに従って復 号して映像データ及ぴ音声データを生成する。

そして C P U 2は、 この映像データ及び音声データをー且ローカルメモリ 3に 格納した後順次読み出し、 信号入出力部 4に供給する。 信号入出力部 4の DZA (D i g i t a l /A n a 1 o g ) コンバータ 4 Bは映像データ及ぴ音声データ をアナログ変換してアナログ映像信号及びアナログ音声信号を生成し、 これらを' 外部に出力する。 '

かくして信号処理装置 1は、 ソフトウヱアコ一デックによって映像信号及び音 声信号に対する符号化処理及び復号処理を実行する。

次に、 上述した信号処理装置 1におけるソフトウヱアコ一デックによる映像信 号及び音声信号に対する符号化処理及び復号処理を、 図 2に示すシステムダイァ グラムを用いて詳細に説明する。

符号化時において、 信号入出力部 4の A/Dコンバータ 4 A (図 1 ) から供給 された映像データ及び音声データは、 ローカルメモリ 3のビデオ入力バッファ 3 A及びオーディオ入力バッファ 3 Bにそれぞれ格納される。

図 2において、. C P U 2によつて実行されるコーデックプログラムのうちのビ デォ入力バッファコントローラ 1 0 Aは、 ビデオ入力バッファ 3 Aを常に監視し ており、 2フレーム分のサイズをもつ当該ビデオ入力バッファ 3 Aに 1フレーム 分の映像データが蓄積されると、 これに応じて、 コーデックプログラムのうちの ビデオ符号化スレツド 1 1 Aに対してスタートコマンドを送出するとともに、 ビ デォ入力バッファ 3 Aから 1フレーム分の映像データをビデオ符号化スレツド 1 1 Aに転送させる。

ビデオ符号化スレッ ド 1 1 Aは、 ビデオ入力パッファコントローラ 1 O Aから 供給されるスタートコマンドに応じて、 ビデオ入力バッファ 3 Aから 1フレーム 分の映像データを読み出し、 これを圧縮符号化してローカルメモリ 3のビデオス トリーム出力バッファ 3 Cに出力するとともに、 ビデオ入力バッファコントロー ラ 1 0 Aに対して終了サインとしてのフィードバックメッセージを返送してスレ ッドを終了する。

同様に、 コー^ックプログラムのうちのオーディォ入力バッファコントローラ 1 0 Bは、 オーディオ入力バッファ 3 Bを常に監視しており、 当該オーディォ入 '力バッファ 3 Bに 1フレーム分の音声データが蓄積されると、 これに応じてコー デックプログラムのうちのオーディオ符号化スレツ ド 1 1 Bにスタートコマンド を送出するとともに、 オーディオ入力バッファ 3 Bから 1フレーム分の音声デー タをオーディオ符号化スレツド 1 1 Bに転送させる。

オーディオ符号化スレツド 1 1 Bは、 オーディオ入力バッファコントローラ 1 0 Bから供給されるスタートコマンドに応じて、 オーディオ入力バッファ 3 Bか ら 1フレーム分の音声データを読み出し、 これを圧縮符号化してローカルメモリ 3のオーディオストリーム出力バッファ 3 Dに出力するとともに、 オーディオ入 力バッファコントローラ 1 0 Bに対して終了サインとしてのフィードバックメッ セージを返送してスレツドを終了する。 ―

ここで、 オーディオ符号化スレッ ド 1 1 Bはビデオ符号化スレッ ド 1 1 Aより も優先して処理される。

そして、 ネットワークインターフェース 5のバケツタイザ 5 Aは、 ビデオス ト リーム出力バッファ 3 C及びオーディォストリーム出力バッファ 3 Dから符号化 映像データ及び符号化音声データを読み出してバケツト化し出力する。 一方、 復号時において、 ネットワークインターフェース 5のデバケツタイザ 5 Bは、 外部から供給されるバケツトから符号化映像データ及び符号化音声データ を復元して、 ローカルメモリ 3のビデオストリーム入力バッファ 3 E及びオーデ ィォス トリーム入力バッファ 3 Fに格納する。

C P U 2によって実行されるコーデックプログラムのうちのビデオストリーム 入力バッファコントローラ 1 0 Cは、 ビデオストリーム入力バッファ 3 Eを常に 監視しており、 当該ビデオストリーム入力バッファ 3 Eに 1アクセスュニット分 の符号化映像データが蓄積されると、 これに応じて、 C P U 2によって実行され るコーデックプログラムのうちのビデオ復号スレツド 1 2 Aに対してスタートコ マンドを送出するとともに、 ビデオストリーム入力バッファ 3 Eから 1アクセス ュニット分の符号化映像データをビデオ復号スレツド 1 2 Aに転送させる。

ビデオ復号スレツド 1 2 Aは、 ビデオストリーム入力バッファコントローラ 1 0 Cから供給されるスタートコマンドに応じて、 ビデオストリーム入力バッファ 3 Eから 1アクセスュニット分の符号化映像データを読み出し、 これを復号して ローカルメモリ 3のビデオ出力バッファ 3 Gに出力するとともに、 ビデオストリ ーム入力バッファコントローラ 1 0 Cに対して終了サインとしてのフィードバッ クメッセージを返送してスレツドを終了する。

同様に、 コーデックプログラムのうちのオーディオストリーム入力バッファコ ントローラ 1 0 Dはオーディオス トリーム入力バッファ 3 Fを常に監視しており 、 当該オーディォストリーム入力バッファ 3 Fに 1アクセスュニット分の符号化 音声データが蓄積されると、 これに応じて， コーデックプログラムのうちのォー ディォ復号スレツド 1 2 Bに対してスタートコマンドを送出するとともに、 ォー ディォストリーム入力バッファ 3 Fから 1アクセスュニット分の符号化音声デー タをオーディオ復号スレッ ド 1 2 Bに転送させる。

オーディオ復号スレツド 1 2 Bは、 オーディォストリーム入力バッファコント ローラ 1 0 Dから供給されるスタートコマンドに応じて、 オーディオストリーム 入力バッファ 3 Fから 1アクセスュニット分の符号化音声データを読み出し、 こ れを復号してローカルメモリ 3のオーディオ出力バッファ 3 Hに出力するととも に、 オーディオストリーム入力バッファコントローラ 1 O Dに対して終了サイン としてのフィードバックメッセージを返送してスレツドを終了する。

( 2 ) 本発明によるオーバーランリカバリ ,

上述したようにこの信号処理装置 1では、 符号化時において、 オーディオ符号 化スレツドを優先しながら、 1フレーム期間にオーディオ符号化スレツド及ぴビ デォ符号化スレツドを交互にそれぞれ 1フレーム分実行して符号化処理を行うよ うに されている。

これに加えてこの信号処理装置 1では、 映像符号化処理において符号化遅延 （ オーバーラン） が発生した場合、 スレッ ド実行順序の変更や映像符号化処理の負 荷を低減することにより、 符号化スキップを行うことなくオーバーランを回復 ( 以下、 これをオーバーランリ力パリと呼ぶ） するようになされている。

すなわち処理時間検出手段としての C P U 2は、 映像符号化スレツドの開始タ ィミング及び終了タイミングにおける時間情報をシステムタイムクロック (図示 せず） から取得し、 この開始タイミング及び終了タイミングの時間差から 1フレ ーム当たりの符号化実処理時間を算出する。 さらに遅延算出手段としての C P U 2は、 この符号化実処理時間からあらかじめ予想されている符号化予想処理時間 を減算した処理遅延時間を算出する。' '

そして符号化負荷制御手段としての C P U 2 ·は、 この処理遅延時間が 「0」 よ り大きい場合、 オーバーランが発生しているものとしてオーバーランリカパリを 実行する。

次に、 このオーバーランリカバリの処理例を、 図 3に示すタイミングチャート を用いて説明する。 図 3において、 N番目のフレームが極端に複雑で、 1フレー ム期間内に符号化が完了しなかったものとする （オーバーランの発生） 。 この場 合 C P U 2は従来と同様に、 オーバーランを生じた N番目のフレームに対する符 号化処理を中断し、 次のフレーム期間において、 まず N + 1番目のフレームに対 応する音声データを符号化した後、 オーバーランが生じた N番目のフレームの映 像データの符号化を再開することにより、 当該 N番目のフレームの符号化を完了 する。 .

再開した N番目のフレームの符号化完了に続いて CPU 2は、 即座に N+ 1番 '目のフレームに対する符号化処理を開始する。 このとき符号化負荷制御手段とし ての CPU2は、 この N+ 1番目のフレームに対して、 通常の符号化処理よりも 処理負荷の低い符号化処理方法を適用する。 この、 通常よりも負荷の低い符号化 処理方法をリカパリェンコ一ディングモード 1と呼ぶ。 これに対して通常の符号 化処理方法をノーマルェンコ一ディングと呼ぶ。 図 4及び図 5に、 ノーマルェン コーディング及ぴリカバリエンコーディングモード 1の処理ダイヤグラムを示す このリカパリェンコ一ディングモード 1において C P U 2は、 予測符号化にお ける動きべクトルの捜索範囲をノーマルェンコ一ディングょりも狭めることによ つて動きべクトル探索の処理サイクルを削減して処理負荷を低減し、 これにより 1フレーム当たりの符号化処理時間を短縮する。

このようにリカバリエンコーディングモード 1を適用して符号化処理時間を短 縮した結果、 1フレーム期間内に当該 N+ 1番目のフレームの符号化処理が完了 した場合 （図示せず） 、 C PU 2は次の N+ 2番目以降のフレームに対し、 ノー マルェンコ一ディングを適用して処理を行う。

これに対して図 3に示すように、 リカバリエンコーディングモード 1を適用し て処理時間短縮を図ったものの、 N+ 1番目のフレームが 1フレーム期間内で符 号化が完了しなかった （オーバーランを回復できなかった） 場合、 CPU 2は、 当該 N+ 1番目のフレームに対する符号化を一旦中断し、 次のフレーム期間にお いて、 まず N+ 1番目のフレームに対応する音声データを符号化した後、 N+ 1 番目のフレームの映像データの符号化を再開する。

そして、 再開した N+ 1番目のフレームの符号化完了に続いて CPU2は、 次 の N+ 2番目のフレームに対する符号化処理を開始する。 このとき符号化負荷制 御手段としての CPU 2は、 この N + 2番目のフレームに対して、 リカパリェン コーディングモード 1よりもさらに処理負荷の低い符号化処理方法を適用する。 この符号化処理方法をリカバリエンコーディングモ ド 2と呼ぶ。

このリカバリェンコーディングモード 2において C PU 2は、 図 6に示す処理 ダイヤグラムのように、 逆量子化〜逆変換符号化〜動き補償によるフレームの再 生の一連の戻り処理系を停止する。 この戻り処理系は、 次のフレームを予測する ために参照フレームをフレームメモリ上に再構築する処理である。 CPU 2はリ カバリェンコーディングモード 2において、 この戻り処理系を停止することによ り、 キード 1に比べてさらに符号化処理時間を短縮する。

かくして C PU 2は図 3に示すように、 リカバリェンコーディングモード 1を 適用してもオーバーランを回復できなかった場合、 次のフレームに対してさちに 処理負荷の低いモード 2を適用することにより、 オーバーランの発生から 3フレ ーム期間以内で確実にオーバーランを回復するようになされている。

ここで、 オーバーランリカバリのためにリカバリエンコーディングモード 2を 適用した場合、 フレームメモリには動き予測用の参照フレームが記録されない状 態となり、 これにより次のフレームはこの参照フレームを用いた動き予測を行う ことができなくなる。

このため C PU 2はリカバリエンコーディングモード 2を適用した場合、 その 次のフレームを、 動き予測を行わない Iピクチャ （イントラ符号化ピクチャ） と して符号化するとともに、 このフレームを起点として GO P (G r o u p O f P i c t u r e) を再構築する。

次に、 上述したコーデックプログラムにおけるオーバーランリカパリの処理手 順を、 図 7に示すフローチャードを用いて説明する。 信号処理装置 1の CPU2 は、 ルーチン RT 1の開始ステップから入って次のステップ S P 1へ移る。

ステップ S P 1において CPU 2は、 一つ前の映像フレームに対する符号化ス レツ ド終了タイミングと、 現在の映像フレームに対する符号化スレツ ド開始タイ ミングを OS (O p e r a t i n g S y s t em) あるいはハードウ土ァから 直接取得し、 それぞれ記憶する。 そして CPU 2は、 既に記憶してある、 一つ前 のフレームの開始時刻と終了時刻との差分をとることで、 一つ前のフレームの符 母化に要した処理遅延時間 TNを算出し、 当該 TNをオーバーラン累積処理時間 に加算し、 S P 2に移る。 ここで、 累積処理遅延時間は処理開始時においては 「 0」 に」 設定されている。

ステップ S P 2において C PU 2は、 算出した累積処理遅延時間とォーパーラ ンカウンタの値から、 オーバーラン発生の有無を判定する。

ステップ S P 2において、 累積処理遅延時間をオーバーランカウンタ値で割つ た値がシステム起動時にビデオ符号化スレツドとして与えられる目標時間 TGT (T a r G e t T i me) よりも小さい場合、 このことはオーバーランが発生 していないことを表しており、 このとき CPU2はステップ S P 3に移り、 この フレームをノーマルエンコードで符号化するとともに、 累積処理遅延時間を 「0 J にリセット、 同時にオーバーランカウンタを 「1」 にリセットしてステップ S P 1に戻る。

これに対してステップ S P 2において、 累積処理遅延時間をオーバーラン力ゥ ンタ値で割った値がシステム起動時にビデオ符号化スレ'ッドとして与えられる目 標時間 TGT (T a r G e t T i m e ) よりも大きい場合、 このことはオーバ 一ランが発生していることを表しており、 このとき CPU 2はステップ S P 4に 移り、 オーバーランの発生フレーム数をカウントするためのオーバーランカウン タの値に 「1」 を加算して、 次のステップ S P 5に移る。

ステップ S P 5において CPU 2は、 オーバーランカウンタのカウント値に基 づいて、 オーバーランしたフレーム数を判定する。

ステップ S P 5において、 オーバーランしたフレーム数が 1回であると判定し た場合、 CPU 2はステップ S P 6に移り、. 次のフレームにリカバリエンコーデ ィングモード 1を適用して符号化を実行し、 ステップ S P 1に戻る。

これに対してステップ S P 5において、 オーバーランしたフレーム数が 1回で はないと判定した場合、 CPU 2はステップ S P 7に移り、 次のフレームにリカ バリエンコーディングモード 2を適用して符号化を実行し、 さらに、 その次のフ レームに対して Iピクチャでの符号化を指定するとともに G O Pを再構築してス テツプ S P 1に戻る。

( 3 ) 動作及ぴ効果

以上の構成において、 この信号処理装置 1は、 オーディオ符号化スレッ ドを優 先しながら、 1フレーム期間にオーディオ符号化スレツド及ぴビデオ符号化スレ ッドを交互にそれぞれ 1フレーム分ずつ実行して映像及び音声を符号化していく そして信号処理装置 1は、 ビデオ符号化スレツドにおいてオーバーランが発生 したことを検出すると、 これに応じて、 当該オーバーランが発生したフレームに 続いて、 即座に次のフレームを符号化開始する。 このとき信号処理装置 1は、 次 のフレームに対して処理負荷の軽いリカバリエンコーディングモード 1を適用す ることにより、 1フレーム当たりの符号化処理時間を短縮してオーバーランを回 復しょう,とする。

さらに信号処理装置 1は、 次のフレームにリカバリエンコーディングモード 1 を適用したにもかかわらずオーバーランを回復できなかった場合、 さらにその次 のフレームに対して、 より一層処理負荷の軽いリカバリエンコーディングモード

2を適用することにより、 オーバーランによるフレームスキップを起こすことな く、 オーバーラン発生から有限フレーム期間内 （例えば、 3フレーム期間以内） で確実にオーバーランを回復することができる。 .

また信号処理装置 1は、 このようにしてオーバーランによるフレームスキップ を回避することができるため、 C P U 2や周辺装置の処理能力や動作クロック等 を低減することができ、 システム全体の構成や消費電力を低減することができる 以上の構成によれば、 信号処理装置 1は、 オーバーランの発生に応じて以降の フレームに対する符号化処理負荷を低減することにより、 フレームスキップによ る映像の表示品質劣化を回避することができる。

( 4 ) 他の実施の形態 なお上述の実施の形態に¹'おいては、 オーバーランの発生に応じて、 まず動きべ クトルの操索範囲を狭めたリカパリエンコーディングモード 1を適用し、 これに よってもオーバーランから回復できない場合、 次のフレームに対してさらに処理 負荷の軽いモード 2を適用することにより、 オーバーラン発生から 3フレーム期 間以内でォ一パーランを回復し得るようにしたが、 この回復期間は 3フレーム期 間に限らない。 また、 モード 1を複数回連続して適用したり、 あるいはオーバー ラン発生直後からモード 2を適用するなど、 様々なパターンを用いてオーバーラ ン発生以降の映像符号化処理負荷を低減することができる。

また上述の実施の形態においては、 動きべク トルの探索範囲を狭めたモード 1 と、 フレーム間予測のための参照フレーム再構築処理を省いたモード 2の 2種類 のリカバリエンコーディングを用いるようにしたが、 本発明はこれに限らず、 こ の他種々の処理負荷を低減した符号化処理を組み合わせて用いても良い。

さらに上述の実施の形態においては、 映像及び音声に対する符号化及び復号の 両機能を有する信号処理装置に本発明を適用した場合について述べたが、 本発明 はこれに限らず、 符号化機能のみ、 あるいは復号化機能のみを有する信号符号化 装置に適用してもよい。 産業上の利用可能性

本発明の映像符号化装置、 映像符号化制御方法及び映像符号化制御プログラム は、 例えばデジタル化されたコンテンツあるいはアナ口グ映像信号をデジタル化 した後に圧縮符号化してィンターネットを介した動画のリアルタイム配信または 受信、 家庭内あるいは限定されたネットワーク環境でのリアルタイム配信そして 受信、 タイムシフティング （P VR ： P e r s o n a l V i d e o R e c o r d i n g) などの録画再生装置等の用途に適用することができる。

Claims

請 求 の 範 囲

1 . 映像をフレーム毎に第 1の符号化処理方法で符号化処理する符号化手段と、 上記フレームの符号化処理に要した符号化実処理時間を検出する処理時間検出 手段と、

上記符号化処理に与えられる所定の符号化予想処理時間と上記符号化実処理時 間とに基づいて、 上記フレームの符号化処理の処理遅延時間を算出する遅延算出 手段と、

上記フレームについての上記処理遅延時間が所定の閾値以上のとき、 上記第 1 の符号化処理方法より符号化処理負荷の低い第 2の符号化処理方法で次のフレー ムを符号化処理するよう上記符号化手段に指示する符号化負荷制御手段と を具えることを特徴とする映像符号化装置。 ·

2 . 上記遅延算出手 Sは、 上記符号化処理に与えられる上記符号化予想処理時間 を上記符号化実処理時間.から減算'することにより、 上記処理遅延時間を算出する ことを特徴とする請求の範囲第 1項に記載の映像符号化装置。

3 . 上記符号化負荷制御手段は、 連続する複数の上記フレームについての上記処 理遅延時間の累積値が所定の閾値以上のとき、 当該連続する複数のフレームの次 のフレームに対して、 上記第 2の符号化処理方法よりも符号化処理負荷の低い第 3の符号化処理方法で符号化処理するよう上記符号化手段に指示する

ことを特徴とする請求の範囲第 1項に記載の映像符号化装置。

4 . 上記符号化負荷制御手段は、 上記フレームについての上記処理遅延時間が所 定の閾値以上のとき、 上記符号化手段に当該フレームに対する符号化処理の終了 後、 連続して次のフレームの符号化処理を開始させる

ことを特徴とする請求の範囲第 1項に記載の映像符号化装置。

5 . 映像をフレーム毎に符号化処理する符号化ステップと、

上記フレームの符号化処理に要した符号化実処理時間を検出する処理時間検出 ステップと、

上記符号化処理に与えられる所定の符号化予想処理時聞と上記符号化実処理時 間とに基づいて、 上記フレームの符号化処理の処理遅延時間を算出する遅延算出 ステップと、

上記フレームについての上記処理遅延時間の平均が所定の予想処理時間を超え る場合、 次の上記フレームに対する符号化処理負荷を低減する符号化負荷制御ス テツプと .

を具えることを特徵とする映像符号化制御方法。

6 . 映像符号化装置に、

映像をフレーム毎に符号化処理する符号化ステップと、

上記フレームの符号化処理に要した符号化実処理時間を検出する処理時間検出' ステップと、

上記符号化処理に与えられる所定の符号化予想処理時間と上記符号化実処理時 間とに基づいて、 上記フレームの符号化処理の処理遅延時間を算出する遅延算出 ステップと、

上記フレームについての上記処理遅延時間の平均が所定の予想処理時間を超え る場合、 次の上記フレームに対する符号化処理負荷を低減する符号化負荷制御ス テツプと

を実行させる映像符号化制御プログラム。