JP5825976B2 - 符号化装置及び方法 - Google Patents

Description

本発明は符号化装置及び方法に関し、特に動画像を圧縮符号化する符号化装置及び方法に関する。

デジタルビデオカメラには動画像を圧縮する動画圧縮装置が組み込まれている。動画圧縮のための符号化方式として、ＭＰＥＧ２とＨ．２６４等が知られている。これらの圧縮符号化方式では、エンコーダが、画像をマクロブロックと呼ばれる１６×１６画素のブロックに分割し、動き補償予測及び直交変換を行い、さらにその変換係数を量子化及びエントロピー符号化する。そして、デコーダが、これらの逆の処理により圧縮データを復号化又は伸長する。

良好な動作のためには、デコーダの前段に設けられた入力バッファがアンダーフロー又はオーバーフローしないのが好ましい。ＭＰＥＧ２規格では、エンコーダにデコーダの入力バッファを想定した仮想的な動画バッファ検証器（以下、ＶＢＶバッファと呼ぶ）を設け、このＶＢＶバッファが破綻しないように発生符号量を制御することが規定されている。

一方、ビデオカメラでは、複数のシーンを細切れで撮影（記録）することが多いが、再生時には、連続して、即ち、シーンの切り替わり目でコマ落ちする事なく再生できることが望まれる。シーンとは、撮影開始から停止までの一つの連続する動画像を指す。

特許文献１には、複数のシーンの符号化データを結合し、ひとつの符号化データとしてデコードを行い、この結合部分でＶＢＶバッファが破綻しないようにすることが記載されている。具体的には、第１のシーンの符号データ（圧縮データ）と第２のシーンの符号データ（圧縮データ）との間に、黒画像等の画面内予測符号化データ、又は、前画像を繰り返し表示するリピートピクチャデータを挿入する。これにより、ＶＢＶバッファの破綻を回避しつつ、第１のシーンに第２のシーンを結合できる。

特開平１１−２０５７３４号公報

特許文献１に記載の技術では、第１のシーンと第２のシーンの間に挿入した画像が、再生時に視覚的に認識可能であり、その結果、つなぎ目部分で視覚上、不自然な再生画像となってしまう。

本発明は、このような課題に鑑みてなされたものであり、ＶＢＶバッファの破綻を回避しつつ、シーン継ぎ目に不自然な再生画像が出現しないようにした符号化装置及び方法を提示することを目的とする。

上記課題を解決するため、本発明に係る符号化装置は、動画像信号を圧縮符号化する符号化手段であって、前記動画像信号のピクチャ毎の発生符号量を出力する符号化手段と、前記ピクチャ毎の発生符号量と、予め設定されたストリームのビットレートとからＶＢＶバッファ占有量を算出するＶＢＶバッファ占有量算出手段と、符号化開始指示及び符号化停止指示に従い、前記符号化手段の符号化の開始と停止をそれぞれ制御する制御手段であって、前記符号化停止指示に従い、符号化停止指示の時点における前記ＶＢＶバッファ占有量算出手段による前記ＶＢＶバッファ占有量が所定閾値以上か否かを判定し、前記所定閾値以上の場合に、符号化を停止するように前記符号化手段を制御し、前記所定閾値未満の場合に、所定数の画像を前記符号化停止指示より前の目標符号量よりも低い目標符号量で符号化した後に符号化を停止するように前記符号化手段を制御する制御手段とを有することを特徴とする。

本発明に係る符号化方法は、動画像信号を圧縮符号化する符号化ステップと、前記符号化ステップにおいて前記動画像信号のピクチャ毎の発生符号量を算出するステップと、前記ピクチャ毎の発生符号量と、予め設定されたストリームのビットレートとからＶＢＶバッファ占有量を算出するＶＢＶバッファ占有量算出ステップと、符号化停止指示に従い、符号化停止指示の時点における前記ＶＢＶバッファ占有量算出ステップによる前記ＶＢＶバッファ占有量が所定閾値以上か否かを判定するステップと、前記ＶＢＶバッファ占有量が前記所定閾値以上の場合に、前記符号化停止指示に従い前記動画像信号の符号化を停止するステップと、前記ＶＢＶバッファ占有量が前記所定閾値未満の場合に、所定数の画像を前記符号化停止指示より前の目標符号量よりも低い目標符号量で追加的に符号化し、その後に符号化を停止するステップとを有することを特徴とする。

本発明によれば、ＶＢＶバッファを破綻させること無しに、２つのシーンを続けて再生する際の視覚上の不自然さを解消できる。

本発明の一実施例の概略構成ブロック図である。 ＶＢＶバッファ占有量の推移例である。 ＶＢＶバッファ占有量の別の推移例である。 図３に示す推移例に対する対策となるＶＢＶバッファ占有量の推移例である。 図３に示す推移例に対する別の対策となるＶＢＶバッファ占有量の推移例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。

撮像部１０１は、光学像を電気信号に変換する撮像素子と、撮像素子に被写体像を結像する撮影レンズからなる。撮像信号処理部１０２は、撮像部１０１により得られた撮像信号をＡ／Ｄ変換し、色マトリクス変換及びガンマ補正などの処理を行い、動画像信号を構成する各画像信号を生成する。撮像信号処理部１０２から出力された動画像信号は、符号化部１０３に入力される。

符号化部１０３は、Ｈ．２６４又はＭＰＥＧ２方式等の符号化方式により撮像信号処理部１０２からの動画像信号を符号化する。符号化部１０３は、マクロブロックと呼ばれる１６×１６画素のブロックに各画像を分割し、このブロックを単位に各画像を圧縮符号化する。符号化の機能要素として、動き補償予測、直交変換、直交変換による変換係数の量子化処理、及びエントロピー符号化がある。また、フレーム内符号を行うＩピクチャ、前方予測符号を行うＰピクチャ、及び双方向予測を行うＢピクチャがあり、これらピクチャが時間軸方向でＧＯＰ（Group Of Pictures）と呼ばれるグループ単位でまとめられる。

記録部１０４は、符号化部１０３により生成された符号データを記録媒体１０５に記録する。

制御部１０６は、符号化部１０３を含む全体を制御し、ＶＢＶバッファとしての機能を有する。すなわち、制御部１０６は、符号化部１０３での発生符号量を監視しながら、ＶＢＶバッファが破綻することがないように目標符号量を符号化部１０３に指示する。制御部１０６は、符号化部１０３からの所定の画像単位（例えばピクチャ毎）の発生符号量と予め設定されたストリームのビットレートとからＶＢＶバッファ占有量を算出するＶＢＶバッファ占有量算出機能を具備する。

制御部１０６はまた、非図示の操作手段によるユーザ操作に応じて、符号化部１０３の符号化の開始・停止を制御する。制御部１０６及び符号化部１０３の動作を詳細に説明する。ユーザから第１のシーンの記録開始の操作がなされると、制御部１０６に記録開始指示信号が入力する。この記録開始指示信号は符号化開始指示信号でもあり、制御部１０６は、符号化部１０３に符号化開始を指示し、符号化部１０３は第１のシーンの符号化を開始する。制御部１０６は、符号化が行われている間、符号化部１０３から発生符号量をピクチャ単位で取得してＶＢＶバッファの占有量を算出し、ＶＢＶバッファが破綻しないような発生符号量を符号化部１０３に指示する。符号化部１０３は、制御部１０６から指示される発生符号量を目標符号量として、符号化を実行する。

ユーザからの第１のシーンの記録停止の操作がなされると、制御部１０６に記録停止指示信号が入力する。この記録停止指示信号は符号化停止指示信号でもあり、制御部１０６は、第１のシーンの最終ピクチャの発生符号量を取得した時点のＶＢＶバッファ占有量に応じて、次のように動作する。すなわち、制御部１０６は、ＶＢＶバッファ占有量が所定閾値以上か否かを判定する。ＶＢＶバッファ占有量が所定閾値以上の場合、その時点で符号化を停止するよう符号化部１０３に指示する。ＶＢＶバッファ占有量が所定閾値未満の場合、制御部１０６は、数ピクチャ分の符号化を追加して行うように符号化部１０３に指示する。その際、その追加分の目標符号量は、通常よりも低い値とする。なお、所定閾値は、後に符号化される第２のシーンの符号化が第１のシーンの符号化の直後に継続すると仮定した場合に、第２のシーンの符号化の最初のピクチャに十分な符号量が割り当て可能となる値とする。

具体例に基づいて、制御部１０６による符号化部１０３の制御動作を説明する。図２、図３及び図４は、制御部１０６内のＶＢＶバッファのバッファ占有量の推移例を示す。

図２において、２０２は第１のシーンの符号化の最終ピクチャを示す。２０３は、最終ピクチャの符号量を取得した時点のＶＢＶバッファ占有量を示す。２０４は、第２のシーンの符号化が直後に継続した場合の、第２のシーンの符号化の最初のピクチャへ割り当て可能な符号量を示す。この場合、第２のシーンの最初のピクチャに十分な符号量が割り当て可能であるので、制御部１０６は、第１のシーンの符号化をピクチャ２０２で停止するように符号化部１０３を制御する。

図３に示す例で説明する。３０２は第１のシーンの符号化の最終ピクチャを示す。３０３は、第１のシーンの符号化の最終ピクチャの時点でのＶＢＶバッファ占有量を示す。３０４は、第２のシーンの符号化が直後に継続した場合の、第２のシーンの符号化の最初のピクチャへ割り当て可能な符号量を示す。図３に示す例では、割当て可能符号量３０４が、画質を維持するには低過ぎる状態になっている。これは、ＶＢＶバッファ占有量３０３が所定閾値未満になっている状態である。

このとき、制御部１０６は、第１のシーンの符号化をピクチャ３０２の時点では停止させずに、数ピクチャ分を継続して追加的に符号化するように符号化部１０３を制御する。制御部１０６はまた、追加されたピクチャに対して目標符号量を低くするように符号化部１０３を制御する。図４は、そのような制御に対するＶＢＶバッファのバッファ占有量の推移例を示す。図４に示す例では、１つのＰピクチャ４０１と２つのＢピクチャ４０２，４０３が追加されている。ピクチャ４０１，４０２，４０３の追加により、ＶＢＶバッファ占有量は、符号４０４に示す値まで高くなる。この結果、第２のシーンの符号化の最初のピクチャに割り当て可能な符号量も、符号４０５で示すように高くすることができる。これにより、第２のシーンの最初のピクチャの画質劣化を防止できる。

ユーザからの第２のシーンの記録開始の操作がなされると、制御部１０６に記録開始指示信号が入力する。この記録開始指示信号に従い、制御部１０６は、符号化部１０３に符号化開始を指示し、符号化部１０３は第２のシーンの符号化を開始する。この時、制御部１０６は、ＶＢＶバッファ占有量４０４を用いて、第２のシーンの符号化の最初のピクチャの目標符号量を指示する。以降の動作は前記第１のシーンの符号と同様である。

第２のシーンの記録停止の操作に対する制御部１０６の動作は、第１のシーンの記録停止の操作に対する制御部１０６のそれと同じであり、以降、同様となる。

以上、説明したように、本実施例では、第１のシーンから第２のシーンへの移行過程においてＶＢＶバッファが破綻しない連続した符号データを生成できる。これにより、再生装置は、第１のシーンから第２のシーンに連続的な再生が可能となる。第１のシーンに追加される所定数の画像は撮像信号処理部１０２からの画像信号であるので、視覚上の不自然さのない再生画像を得ることができる。

制御部１０６による第１のシーンの符号化を停止する際の別の制御方法を説明する。

ユーザにより第１のシーンの記録開始の操作がなされた場合の動作は、実施例１と同様であるので、説明は省略する。

ユーザにより第１のシーンの記録停止の操作がなされると、制御部１０６は、第１のシーンの符号化の最終ピクチャの発生符号量を取得した時点のＶＢＶバッファ占有量に応じて、次のように動作する。すなわち、ＶＢＶバッファ占有量が所定閾値以上の場合、制御部１０６は、その時点で符号化を停止するように符号化部１０３に指示する。これは、実施例１と同様である。ＶＢＶバッファ占有量が所定閾値未満の場合、制御部１０６は、ＧＯＰ単位で符号化を追加して行うように符号化部１０３に指示する。追加分に対する目標符号量は、通常よりも低くする。なお、所定閾値は、第２のシーンが第１のシーンの直後に継続すると仮定した場合に、第２のシーンの符号化の最初のピクチャに十分な符号量を割り当て可能となるＶＢＶバッファ占有量である。

ＶＢＶバッファ占有量が所定閾値未満となる場合の動作を、図５を参照して、さらに詳しく説明する。図５は、図３に示す例に対して本実施例を適用した場合の、ＶＢＶバッファ占有量の変化例を示す。

図３に示す例に対し、制御部１０６は、図５に示すように、１ＧＯＰ分のピクチャ５０１〜５０９を追加して符号化するように符号化部１０３を制御する。こうすることによって、ＶＢＶバッファの占有量は、図５に符号５１０で示すように高くなる。これにより、第２のシーンの符号化の最初のピクチャに割り当てられる符号量も、符号５１１で示すように、高くなる。この結果、第２のシーンの符号化の最初のピクチャの画質劣化を防止できる。

ユーザによる第２のシーンの記録開始の操作がなされると、制御部１０６は、第２のシーンの符号化を開始するように符号化部１０３を制御する。この時、制御部１０６は、第１のシーンに追加された画像の符号化が完了した時点のＶＢＶバッファ占有量５１０を用いて、第２のシーンの符号化の最初のピクチャの目標符号量を決定し、符号化部１０３に指示する。

第２のシーンの記録停止の操作に対する制御部１０６の動作は、第１のシーンの記録停止の操作に対する制御部１０６のそれと同じであり、以降、同様となる。

以上、説明したように、実施例２でも、第１のシーンから第２のシーンへの移行過程においてＶＢＶバッファが破綻しない連続した符号データを生成できる。これにより、再生装置は、第１のシーンから第２のシーンに連続的な再生が可能となる。第１のシーンに追加される画像信号は撮像信号処理部１０２からの画像信号であるので、視覚上の不自然さのない再生画像を得ることができる。符号化に追加する画像はＧＯＰ単位であるので、通常の符号化ストリームと同一のＧＯＰ構造を保つ事ができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 動画像信号を圧縮符号化する符号化手段であって、前記動画像信号のピクチャ毎の発生符号量を出力する符号化手段と、
   前記ピクチャ毎の発生符号量と、予め設定されたストリームのビットレートとからＶＢＶバッファ占有量を算出するＶＢＶバッファ占有量算出手段と、
   符号化開始指示及び符号化停止指示に従い、前記符号化手段の符号化の開始と停止をそれぞれ制御する制御手段であって、前記符号化停止指示に従い、符号化停止指示の時点における前記ＶＢＶバッファ占有量算出手段による前記ＶＢＶバッファ占有量が所定閾値以上か否かを判定し、前記所定閾値以上の場合に、符号化を停止するように前記符号化手段を制御し、前記所定閾値未満の場合に、所定数の画像を前記符号化停止指示より前の目標符号量よりも低い目標符号量で符号化した後に符号化を停止するように前記符号化手段を制御する制御手段
   とを有することを特徴とする符号化装置。
2. 前記所定数の画像がＧＯＰ単位であることを特徴する請求項１に記載の符号化装置。
3. 動画像信号を圧縮符号化する符号化ステップと、
   前記符号化ステップにおいて前記動画像信号のピクチャ毎の発生符号量を算出するステップと、
   前記ピクチャ毎の発生符号量と、予め設定されたストリームのビットレートとからＶＢＶバッファ占有量を算出するＶＢＶバッファ占有量算出ステップと、
   符号化停止指示に従い、符号化停止指示の時点における前記ＶＢＶバッファ占有量算出ステップによる前記ＶＢＶバッファ占有量が所定閾値以上か否かを判定するステップと、
   前記ＶＢＶバッファ占有量が前記所定閾値以上の場合に、前記符号化停止指示に従い前記動画像信号の符号化を停止するステップと、
   前記ＶＢＶバッファ占有量が前記所定閾値未満の場合に、所定数の画像を前記符号化停止指示より前の目標符号量よりも低い目標符号量で追加的に符号化し、その後に符号化を停止するステップ
   とを有することを特徴とする符号化方法。
4. 前記所定数の画像がＧＯＰ単位であることを特徴する請求項２に記載の符号化方法。
5. コンピュータを、請求項１又は２に記載の符号化装置の各手段として機能させることを特徴とするプログラム。

Images