JP4423214B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関し、特には動画像データの符号化処理可変長符号化を用いて動画を圧縮し記録する際の、カメラ撮影による動画と外部入力動画の符号化ビットレート制御に関する。

近年、ＶＴＲに代わり、ハードディスクやＤＶＤなどのディスク媒体などに動画像信号をデジタルデータとして記録再生するディスクレコーダがテレビジョン放送の録画に用いられるようになってきた。これらの装置では、デジタル動画データをＭＰＥＧ２などの可変長符号化によって符号化し、その膨大な情報量を圧縮することによって一枚のディスクメディアに記録することを可能としている。

可変長符号化による圧縮では、入力画像の複雑さや動きに応じて符号化データのデータレート（ビットレート）が随時変化する。そこで、通常はバッファオーバーフロー、アンダーフロー防止や記録容量の制限を満たすため、フィードバック制御によって符号化データ量を所定の値に近づける符号化ビットレート制御が行われている（例えば特許文献１参照）。

この様な可変長符号化処理においては、符号化ビットレートの制御方式の違いにより、発生符号量をほぼ一定に保つ固定ビットレート（ＣＢＲ：Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）符号化と、符号化ビットレートの平均値を目標値に近づけながらも、動画の各フレームにおいては画像の複雑さや動きの激しさに応じて最適な符号量配分を行う可変ビットレート（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）符号化の２種類の符号化方式がある。

ＶＢＲ符号化においては、符号化すべき動画像データ全体に渡っての発生符号量見積もりを行った後、実際の符号化を行う２パス構成をとることで、理想的な符号量配分が可能となる。そのため、従来は、符号化すべき動画像データを一度蓄積した後、ソフトウェアでのオフライン処理によってＶＢＲ符号化を行っていた。

近年、このＶＢＲ符号化をリアルタイムで行うハードウェアの開発が進み、現在、前述の如きディスクレコーダでは、画質に有利なリアルタイムＶＢＲ符号化が行われることが一般的になってきた。符号化すべき動画像データについて事前に符号量を配分して符号化を行う２パスエンコードに対し、これらのリアルタイムのビットレート制御技術は１パスエンコードと呼ばれる。

１パスエンコードによるＶＢＲ符号化時の符号化ビットレート制御においては、動画像のフレームごとの複雑さや動きの激しさといった局所的な特性に左右されず、２パスエンコードによる理想に近い符号量配分を実現するために、所定期間の符号化ビットレートを平均し、その平均値を目標とする符号化ビットレートに合わせるよう、徐々に符号量を制御していくことが考えられている。この平均ビットレートを目標値へ漸近させる制御の傾きによって目標とする符号化ビットレートへの収束時間が決定する。

図１４は、この様に目標ビットレートを設定してＶＢＲ符号化により動画像データを符号化した場合の符号化ビットレートの変化の例を示す図である。Ｌ１４０１は単位時間あたりの符号化ビットレート変化を示す。Ｌ１４０１では収束時間Ｔの間に緩やかに目標ビットレートＢＲに収束している。

ＶＢＲ符号化において所定の収束時間で目標ビットレートとなるよう制御する方法については、符号化開始からの経過時間と現在までの平均ビットレートに基づき、目標ビットレートに対応する収束カーブを選択することによって、画質への影響を少なくしながらも、所定の収束時間で目標ビットレートに収束させる実施例が知られている（例えば特許文献２参照）。

ディスクレコーダなどでテレビ放送を受信して記録する場合には、動画像の局所的特性への依存を排除して理想的な配分に近づける目的から、ＶＢＲ符号化における目標ビットレートへの収束時間として、１０分前後とすることが理想と考えられている。

また、その際、記録開始からの総ビットレートの平均を算出し、その結果を目標とする符号化ビットレートに合わせるよう制御することにより、トータルの記録データ量を所定の精度で保証することができる。従って、テレビ放送の予約録画など、メディアの空き容量と記録時間が規定される場合に有効である。

また、近年では、ＤＶＤを記録メディアとしたビデオカメラも登場している。ビデオカメラにおいては、通常、記録開始から記録停止までの一つのシーンが１分以下であることが多い。そして、前述の様に、ＶＢＲ符号化の際に長時間にわたって目標ビットレートとなるよう符号量制御を行うと、目標レートに収束する前に記録停止となる場合が多くなるため、ビデオカメラなどでは１分以下の短い期間で目標ビットレートに収束するよう、ＶＢＲ符号化時の符号量を制御することが考えられる。

更に、ビデオカメラにおいては、家庭用ディスクレコーダなどに比べて記録時間の保証の要求が低いため、記録開始からの総平均ビットレートを用いた厳密な記録容量の合わせこみは行わない場合もある。
特開２０００−１９７０４８号公報 特開２０００−１９７０４８号公報

前述の如きビデオカメラにおいては、カメラで撮影された動画像データだけでなく、外部入力端子を介してカメラ外部から送信された動画像データを受信して符号化し、記録する機能を持つ。

しかしながら、ＶＢＲ符号化方式により動画像データを符号化して記録するビデオカメラにおいては、ビデオカメラ外部入力された動画像データを記録する場合にも、カメラからの動画像データを符号化する場合と同様にビットレートの制御を行うため、外部入力端子にＴＶチューナなどを接続し、テレビ放送番組をビデオカメラにて記録するような場合においては、家庭用ディスクレコーダに比べて番組トータルでの符号量配分が最適とは言えず、画質や記録容量について不利になっている。

また、前述のように総平均ビットレートを用いた記録容量の合わせこみを行わないビデオカメラの場合、外部から入力された動画像データを符号化する場合においても同様のビットレート制御が行われているため、記録開始時の録画可能時間表示に対して実記録時間を保証できていない。

本発明はこのような問題を解決し、入力ソースに応じた最適な符号量制御が可能な装置を提供することを目的とする。

以上の問題を解決するため、本発明は、第１の動画像データを入力する第１の入力手段と、第２の動画像データを入力する第２の入力手段と、前記第１の動画像データと前記第２の動画像データの一方を選択する選択手段と、符号化すべき前記動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により、前記選択手段により選択された前記第１の動画像データまたは前記第２の動画像データを符号化する符号化手段と、前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、前記符号化手段により出力される符号化動画像データの発生符号量を制御することにより、前記符号化動画像データのデータレートを目標データレートに収束させる符号量制御手段と、前記選択手段の選択結果に応じて、前記符号量制御手段が前記符号化動画像データのデータレートを目標データレートに収束させるまでの前記動画像データの記録開始からの目標時間を変更する変更手段とを備える。

本発明によれば、入力ソースに応じて符号量制御の処理を変更することで、記録画質、あるいは、記録時間などを優先した符号量制御の処理を柔軟に切り替えることが可能となる。

図１は本発明の第１の実施形態の概略構成を示す図である。

図１において、１０１はレンズ光学系及びＣＣＤ等の光電変換からなるカメラ部である、１０１で撮像されたアナログ動画信号はＡ／Ｄ変換回路１０２でデジタル画像信号に変換された後、カメラ信号処理部１０３によって画素補間、色変換、γ変換等の処理を受け、符号化すべき画像フォーマットのデータとしてスイッチ１０８に供給される。

一方、外部入力端子１０４に入力された外部機器からの映像信号は、バッファアンプ１０５によって所定の信号レベルに変換された後、Ａ／Ｄ変換回路１０６でデジタル画像信号に変換される。ここで外部入力端子がデジタル信号端子である場合は１０５、１０６での処理は不要である。外部入力信号処理回路１０７は外部からの映像信号に対して色空間変換、画素数変換などの必要な処理を行い、符号化処理に適した形態に変換し、スイッチ１０８に供給する。スイッチ１０８は入力選択スイッチ１２４の設定に基づき、入力選択回路１２５によって制御され、カメラもしくは外部入力からのデジタル動画信号が選択される。ユーザは、入力選択スイッチ１２４を任意に切り替えることにより、カメラ１０１からの動画像と外部入力端子１０４からの動画像のうちの一方を選択して記録することができる。

選択された動画信号は画面並べ替え回路１０９において、符号化すべき順序に応じて並べ替えられる。例えば、ＭＰＥＧ２符号化においては、Ｂピクチャと呼ばれる双方向予測フレームは、前後のフレームが符号化された後に符号化すべきものであるため、画面並べ替え回路１０９における並べ変え処理は、入力した動画像データの画面順を符号化すべき順序に並べ変えてから処理することに相当する。

差分回路１１０では、スイッチ１２３の選択により、Ｉピクチャの符号化時には並べ変え回路１０９から出力された画像データそのものを出力し、Ｐピクチャ及びＢピクチャの符号化時には、動き補償予測回路１２１から出力された予測画像データと並べ変え回路１０９からの画像データとの差分値をＤＣＴ回路１１１に供給される。ＤＣＴ回路１１１は入力された画像データに対し公知のＤＣＴ処理を施す。ＤＣＴ係数に変換された画像データは量子化回路１１２において、レート制御回路１２７により設定される量子化スケールＱによって量子化される。このＱ値を変化させることによって量子化後の係数値は大きく変化し、これによって発生符号量が変化する。

可変長符号化回路１１３は量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファ１１４は符号化レート制御のために発生符号化データを一時保存する。バッファに貯められた符号化データは、所定のレートで読み出され、メディア記録回路によってパケット化、多重化、記録変調などが行われ、メディア１１６に記録される。

一方、量子化回路１１２で量子化された係数データは、予測画像データを得るために逆量子化回路１１７で逆量子化され、逆ＤＣＴ回路１１８でＤＣＴ逆変換される。

加算回路１１９ではスイッチ１２２の選択によって、Ｉピクチャ符号化時には逆ＤＣＴ変換後のデータをそのまま出力し、またＰピクチャもしくはＢピクチャの符号化時において動き補償予測回路１２１から出力された予測画像データと加算され局部復号画像としてビデオメモリ１２０に保存される。

動き補償予測回路１２１ではビデオメモリ１２０に蓄えられた局部復号画像と入力画像を比較することにより、動き補償を行った予測画像データを生成し、差分回路１１０に供給するとともに、次の局部復号のための予測画像として加算回路１１９にも供給する。

本実施形態の特徴であるレート制御設定回路１２６は、入力選択回路１２５による選択結果に基づき、レート制御回路１２７の符号化レート制御パラメータを変更する。制御パラメータ変更の詳細については後述する。

レート制御回路１２７はバッファ１１４から得られる、発生符号量、バッファ充填率などの情報を用いて、量子化回路１１２における量子化スケールＱの値を制御し、発生符号量を目標ビットレートに近づける。本形態においては、レート制御設定回路１２６により、選択スイッチ１２４により選択された動画像信号の種類に応じて、符号量制御のためのパラメータ設定する。

図２は本実施形態による、符号化ビットレート制御の切り替えに伴って生成される動画像データの符号化ビットレートの様子を示す図である。

本実施形態では、カメラ１０１からの動画像信号を選択した場合と、外部入力端子からの動画像信号を選択した場合とで、符号化ビットレートを目標ビットレートに収束させるまでの収束時間を切り替えている。Ｌ２０１は外部入力端子１０４からの動画像信号を選択した場合の、単位時間あたりの符号化ビットレート変化を示す。Ｌ２０１では収束時間Ｔ１の間に符号化ビットレートが目標ビットレートＢＲに収束している。一方、Ｌ２０２はカメラ部１０１からの動画像信号を選択した場合の、単位時間あたりの符号化ビットレート変化を示したもので、Ｔ１に比べて十分に短い収束時間Ｔ２以内に符号化ビットレートが目標ビットレートに収束している。

図３は、レート制御回路１２７において、このような制御を行うために設定する平均ビットレートの閾値を示す図である。Ｌ３０１は収束時間をＴ１とした場合に設定する所定期間の平均ビットレートについての閾値を示しており、現在の平均ビットレートが経過時間に対してＬ３０１より上にある場合は、目標とするビットレートに対して発生符号量が多すぎるため、量子化スケールを大きくするよう制御することによって目標ビットレートに対して収束させていく。

Ｌ３０２は収束時間をＴ２とした場合に設定する所定期間の平均ビットレートの閾値を示している。Ｌ３０１と同様の制御を行うことによって収束時間Ｔ２で、目標ビットレートに収束させる。本形態では、カメラ１０１からの動画像信号と外部から入力された動画像信号のうち、入力選択回路１２５の選択結果に応じてレート制御設定回路１２６がレート制御回路１２７における目標ビットレートの制御動作を設定する。

即ち、カメラからの動画像信号を選択した場合は図３のＬ３０２を選択し、外部からの動画像信号を選択した場合はＬ３０１を選択するよう、レート制御回路１２７に設定することにより、入力信号に応じて目標ビットレートに達するまでの収束時間を制御することができる。

図４は本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示スイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、カメラ部１０１からの動画像が選択されているか否かを判別する（Ｓ４０１）。カメラ部１０１からの動画像が選択されていた場合、レート制御設定回路１２６は、平均ビットレートの閾値として図３のＬ３０２を選択するよう、レート制御回路１２７を制御する（Ｓ４０２）。

次に、目標ビットレートとは別に、最大転送速度など記録上の上限を越えないよう現在の量子化スケールを制御する最大ビットレート保証処理（Ｓ４０３）、ＭＰＥＧ２におけるＶＢＶと呼ばれる仮想バッファがオーバーフロー／アンダーフローを起こさないよう現在の量子化スケールを制御するＶＢＶバッファ補償処理を行う（Ｓ４０４）。なお、可変ビットレート符号化においては、オーバーフローは原理的に発生しない。これらＳ４０３、Ｓ４０４の符号化制御処理は一般的なものであり、前記特許文献１にも一例が記載されているため詳細な説明は省略する。

そして、記録開始からの経過時間とＬ３０２とに基づいて平均ビットレートの閾値を設定し（Ｓ４０５）、設定された平均ビットレートの閾値と算出した平均ビットレートとを比較して、発生符号量を制御する（Ｓ４０６）。そして、記録停止の指示があるまで、Ｓ４０３からＳ４０６のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４０７）。

このとき、Ｌ３０２においては、経過時間に対する目標ビットレートの閾値の変化の度合いがＬ３０１に比べて大きいため、符号量制御の際に量子化スケールの値を大きく変化させながら、発生符号量を制御することになる。

一方、Ｓ４０１において、カメラ部１０１からの動画像ではなく外部入力の動画像が選択されていた場合、レート制御設定回路１２６は平均ビットレートの閾値として図３のＬ３０１を選択するよう、レート制御回路１２７を制御する（Ｓ４０８）。

そして、最大ビットレート保証処理（Ｓ４０９）、ＶＢＶバッファ補償処理を行い（Ｓ４１０）、記録開始からの経過時間とＬ３０１とに基づいて平均ビットレートの閾値を設定し（Ｓ４１１）、設定された平均ビットレートの閾値と現在までの平均ビットレートとを比較して、発生符号量を制御する（Ｓ４１２）。記録停止の指示があるまで、Ｓ４０９からＳ４１２のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４１３）。

この様に、本実施形態においては、カメラからの動画像を記録する場合は、短時間の間に符号化ビットレートを目標ビットレートに収束させるので、比較的短時間の撮影を繰り返した場合でも記録時間が大幅に変動することがない。また、外部入力の動画像を記録する場合は、長期間で符号化ビットレートを目標ビットレートに収束させるので、最適な符号量配分が期待でき、記録時間と画質を両立させることが可能となる。

次に、第２の実施形態を説明する。

図５、図６は第２の実施形態による符号化ビットレート制御の結果発生する符号化データのビットレートの様子を示す図である。

本実施形態では、カメラからの動画像を記録する場合と外部入力の動画像を記録する場合とで、符号化難易度を用いて符号量制御を行うか否かを切り替えている。具体的には、後述の様に、外部入力の動画像データを記録する際には、画像の状態（符号化難易度）に拘らず符号化動画像データのデータレートが目標データレートとなるよう符号量を制御するが、カメラ入力の動画像データを記録する場合には、画像に動きなどが少なく、符号化難易度が低い状態の場合には目標データレートとなるよう符号量を制御するが、符号化難易度が高くなった場合、目標データレートの設定値を高く変更し、強制的に所定の目標データレートに収束させることを避けるようにした。尚、本実施形態においても記録装置の構成は図１と同様であるため、詳細な説明は省略する。

図５は符号化対象の動画像の符号化難易度に拘らず目標ビットレートを一定値ＢＲと設定した場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｌ５０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ５０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。

従って、この場合には、符号化動画像データのデータレートを一定にすることができる。

一方、図６は符号化対象の動画像の符号化難易度が高い場合に目標ビットレートを変更し、Ｂｒ（Ｄｐｒｄ）とした場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｄｐｒｄは符号化難易度Ｄについての予測値であり、過去の発生符号量や画像の特徴量などを用いて推定する。Ｌ６０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ６０２は符号化難易度を示す。

ここでは、符号化難易度が所定のレベル以下の場合は、目標ビットレートを図５と同様に一定値に設定するが、符号化難易度が高く変化すると、それに応じて目標ビットレートＢｒ（Ｄｐｒｄ）を変更する。そのため、発生符号量（圧縮率）は変化するが、符号化難易度による画質劣化の違いが少なくなるよう、目標ビットレートを制御することが可能である。

本実施形態では、カメラ部からの入力動画像を記録する場合には図６の様に符号化難易度により目標ビットレートを変更しながら符号量を制御し、外部からの入力動画像を記録する場合には図５の様に一定の目標ビットレートによって符号量を制御するよう、レート制御設定回路１２６によって、レート制御回路１２７による、これら２種類の目標ビットレート制御特性を切り替えて設定する。

図７は、本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示スイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、カメラ部１０１からの動画像が選択されているか否かを判別する（Ｓ７０１）。カメラ部１０１からの動画像が選択されていた場合、レート制御設定回路１２６は、図６の如く符号化難易度に応じて目標ビットレートを変更する目標レート可変モードを選択し、レート制御回路１２７に対して設定する（Ｓ７０２）。

そして、図４と同様、最大ビットレート保証処理（Ｓ７０３）、ＶＢＶバッファ保証処理（Ｓ７０４）を実行する。そして、レート制御回路１２７は、過去の発生符号量、画像の特徴量などから符号化難易度を予測しＤｐｒｄを求め（Ｓ７０５）、このＤｐｒｄに基づき符号化難易度に応じたＢｒ（Ｄｐｒｄ）を求めて目標ビットレートに設定する（Ｓ７０６）。そして、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７０７）。以上のＳ７０３からＳ７０７までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７０８）。

一方、Ｓ７０１でカメラ入力ではなく、外部入力の動画像が選択されていた場合、レート制御設定回路１２６は、図５の如く目標ビットレートを一定の値に設定する目標レート固定モードを選択し、レート制御回路１２７に対して設定する（Ｓ７０９）。

そして、図４と同様、最大ビットレート保証処理（Ｓ７１０）、ＶＢＶバッファ保証処理（Ｓ７１１）を実行する。そして、レート制御回路１２７は、符号化難易度に拘らず目標ビットレートを所定値ＢＲに設定し（Ｓ７１２）、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７１３）。以上のＳ７０９からＳ７１３までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７１４）。

この様に、本実施形態によれば、カメラからの入力画像を記録する場合は、符号化難易度が変化した場合にも、画像によらず画質劣化がほぼ一定の符号化動画像データを記録することができ、また、外部の入力画像を記録する場合は、符号化ビットレートを一定の目標レートとすることで、記録時間を保証することができる。

次に、第３の実施形態を説明する。

図８は第３の実施形態による制御の結果発生する符号化ビットレートの様子を示す図である。

本実施形態では、カメラからの動画像を記録する場合と外部からの入力動画像を記録する場合とで、記録開始からの平均ビットレートが目標値となるよう発生符号量を制御するか、あるいは、所定期間の平均ビットレートが目標値となるよう発生符号量を制御するかを切り替えている。尚、本実施形態においても記録装置の構成は図１となるため、詳細な説明は省略する。

図８において、Ｌ８０１は外部入力端子１０４からの動画像を選択した場合に前述の様に発生符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示す図である。Ｌ８０１では、時間Ｔ２の時点で符号化ビットレートが目標ビットレートＢＲに近づくが、目標ビットレートに対する記録開始からのトータルの発生符号量のオーバー分をキャンセルし、記録開始からのトータルの発生符号量を目標ビットレートＢＲ×記録開始から現時点Ｔ１までの期間に近づけるため、Ｔ２経過後も発生符号量を抑圧し、記録開始から現時点Ｔ１までのトータルの平均ビットレートがＢＲとなるように制御している。

一方、Ｌ８０２はカメラ部１０１からの入力を選択した場合に前述の様に符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示した図である。Ｌ８０２では、時間Ｔ２で符号化ビットレートが目標ビットレートに収束した後は、それ以上発生符号量を抑えること無く目標ビットレートＢＲ近傍となるよう符号化ビットレートを制御している。

図９は、このような制御を行うため、レート制御回路１２７により設定する平均ビットレートの算出期間とそのときに発生する符号量の様子を示す図である。

Ｌ９０１は記録開始から現在までの期間ＳＴ１におけるトータルの平均ビットレートを目標ビットレートＢＲと比較して符号化を行った際の記録開始時からの発生符号量の合計を示している。時刻Ｔ２において、発生符号量の傾きは目標符号量増加の傾きに等しくなっているが、トータルの発生符号量は目標符号量を上回っているため、Ｔ２後もＬ８０１で示したように符号量は抑制される。

一方、Ｌ９０２は、所定期間ＳＴ２毎の平均ビットレートと目標ビットレートとを比較して符号化を行った場合にＳＴ２の間に発生する符号量の様子を示す図である。Ｌ９０２では、期間ＳＴ２の平均ビットレートが目標ビットレートに到達した後は、発生符号量はＬ８０１の様に目標ビットレートよりも大幅に抑制されることはない。

図１０は本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、カメラ部１０１からの動画像が選択されているか否かを判別する（Ｓ１００１）。カメラ部１０１からの動画像が選択されていた場合、レート制御設定回路１２６は、所定期間ＳＴ２毎に平均ビットレートを算出するよう、レート制御回路１２７に対して設定する（Ｓ１００２）。

そして、図４と同様、最大ビットレート保証処理（Ｓ１００３）、ＶＢＶバッファ保証処理（Ｓ１００４）を実行する。そして、レート制御回路１２７は、設定されたＳＴ２期間毎に平均ビットレートを算出し（Ｓ１００５）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１００６）。以上のＳ１００３からＳ１００６までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１００７）。

一方、Ｓ１００１でカメラ入力ではなく、外部入力の動画像が選択されていた場合、レート制御設定回路１２６は、記録開始から現在までの期間ＳＴ１の平均ビットレートを算出して符号量制御を行うよう、レート制御回路１２７に対して設定する（Ｓ１００８）。

そして、図４と同様、最大ビットレート保証処理（Ｓ１００９）、ＶＢＶバッファ保証処理（Ｓ１０１０）を実行する。そして、レート制御回路１２７は、記録開始から現時点までの期間ＳＴ１の平均ビットレートを算出し（Ｓ１０１１）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１０１２）。以上のＳ１００９からＳ１０１２までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１０１３）。

この様に、本実施形態によれば、カメラからの動画像を記録する場合は、ビットレートが目標ビットレートに収束した後に画質の落ち込みの無い、高画質な動画像を記録でき、また、外部からの入力画像を記録する場合は、記録時間を保証した符号化を行うことが可能となる。

次に、第４の実施形態を説明する。

本実施形態では、カメラからの動画像を記録する場合と外部から入力された動画像を記録する場合とで、符号化データのデータレートを目標ビットレートへ収束させる制御を行うかどうかを切り替えている。尚、本実施例においても記録装置の概略構成図は、前述の図１となるため、構成図の説明は省略する。

図１１は、短期の符号量制御である目標ビットレートレンジ保証と、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を併用した場合における、単位時間あたりの符号化ビットレートの変化を示す図である。

Ｌ１１０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１１０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。

また、本形態では、目標ビットレートＢＲに基づいて、符号化動画像データのビットレートの上限目標ＢＲ＋と下限目標ＢＲ−とを設定し、これらの間の目標ビットレートレンジ内に符号化動画像データのデータレートが収まるよう、短期的な制御を行うビットレートレンジ保証処理を実行する。なお、ここで言う上限目標ＢＲ＋とは、目標ビットレートの値に応じて許容レンジとして設定するものであり、前述の実施形態にて実行していた最大ビットレート保証処理において保証しているメディアの最大記録レートや伝送レートによって定められる最大ビットレートとは別のものである。

一方、図１２は短期の符号量制御である目標ビットレートレンジ保証処理のみを用い、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を行わない場合における、単位時間あたりの符号化ビットレートの変化を示す図である。

Ｌ１２０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１２０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は目標ビットレートレンジＢＲ＋〜ＢＲ−の間で変動するが、目標ビットレートＢＲに対する符号化データレートの収束処理は行われない。

本発明では、前述のレート制御設定回路１２６によって、これら２種類の目標ビットレート制御特性を切り替えて設定する。即ち、カメラからの入力動画像が選択された場合は図１２に示す制御を実行し、外部からの入力画像が選択された場合は図１１に示す制御を実行するよう、レート制御回路１２７に設定することにより、入力信号に応じた目標ビットレート制御が行える。

図１３は本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、カメラ部１０１からの動画像が選択されているか否かを判別する（Ｓ１３０１）。カメラ部１０１からの動画像が選択されていた場合、レート制御設定回路１２６は、レート制御回路１２７に対し、図１２に示した様にビットレートレンジの保証処理のみを行うモードを設定する。

レート制御回路１２７は、図４と同様、最大ビットレート保証処理（Ｓ１３０２）、ＶＢＶバッファ保証処理（Ｓ１３０３）を実行する。そして、目標ビットレートＢＲに対して設定されたビットレート許容レンジＢＲ＋〜ＢＲ−の間に符号化データのデータレートが収まるよう、例えばピクチャ単位、ＧＯＰ単位での短期的な符号量制御を行うビットレート保証処理を実行する（Ｓ１３０４）。以上のＳ１３０２からＳ１３０４までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３０５）。

一方、Ｓ１３０１でカメラ入力ではなく、外部入力の動画像が選択されていた場合、レート制御設定回路１２６は、レート制御回路１２７に対し、図１１に示した様にビットレートレンジの保証処理に加えて目標ビットレートに対する収束処理も行うモードを設定する。

そして、レート制御回路１２７は、図４と同様、最大ビットレート保証処理（Ｓ１３０６）、ＶＢＶバッファ保証処理（Ｓ１３０７）、ビットレートレンジ保証処理を実行する（Ｓ１３０８）。そして、レート制御回路１２７は、所定の収束時間で符号化動画像データのデータレートを目標ビットレートに収束させるよう符号量制御処理を実行する（Ｓ１３０９）。以上のＳ１３０６からＳ１３０９までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３１０）。

この様に、本実施形態によれば、カメラからの動画像を記録する場合に、符号化データのデータレートを目標ビットレートそのものに収束させずに、符号化難易度に応じてビットレートを許容レンジ内で変化させることにより、画像によらず画質劣化がほぼ一定な画像を記録することができ、また、外部からの入力画像を記録する場合は、据え置き型のレコーダと同様の、記録時間の精度を優先した録画が可能となる。

なお、前述の各実施形態では、カメラにより撮影された動画像データと外部からの動画像データを選択的に符号化、記録する装置について説明したが、これに限らず、複数の入力ソースを持ち、各入力ソースからの動画像データを符号化して記録する構成であれば本発明を容易に適用でき、同様の効果をもつ。

本発明を適用した記録装置の概略構成図である。 本発明の実施形態によるビットレート制御の例を示す図である。 本発明の実施形態によるビットレート制御の例を示す図である。 本発明の実施形態におけるビットレート制御の動作を示すフローチャートである。 第２の実施形態によるビットレート制御の例を示す図である。 第２の実施形態によるビットレート制御の例を示す図である。 第２の実施形態におけるビットレート制御の動作を示すフローチャートである。 第３の実施形態によるビットレート制御の例を示す図である。 第３の実施形態によるビットレート制御の例を示す図である。 第３の実施形態におけるビットレート制御の動作を示すフローチャートである。 第４の実施形態によるビットレート制御の例を示す図である。 第４の実施形態によるビットレート制御の例を示す図である。 第４の実施形態におけるビットレート制御の動作を示すフローチャートである。 従来のビットレート制御の例を示す図である。

Claims (8)

1. 第１の動画像データを入力する第１の入力手段と、
   第２の動画像データを入力する第２の入力手段と、
   前記第１の動画像データと前記第２の動画像データの一方を選択する選択手段と、
   符号化すべき前記動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により、前記選択手段により選択された前記第１の動画像データまたは前記第２の動画像データを符号化する符号化手段と、
   前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
   前記符号化手段により出力される符号化動画像データの発生符号量を制御することにより、前記符号化動画像データのデータレートを目標データレートに収束させる符号量制御手段と、
   前記選択手段の選択結果に応じて、前記符号量制御手段が前記符号化動画像データのデータレートを目標データレートに収束させるまでの前記動画像データの記録開始からの目標時間を変更する変更手段とを備える画像処理装置。
2. 第１の動画像データを入力する第１の入力手段と、
   第２の動画像データを入力する第２の入力手段と、
   前記第１の動画像データと前記第２の動画像データの一方を選択する選択手段と、
   符号化すべき前記動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により、前記選択手段により選択された前記第１の動画像データまたは前記第２の動画像データを符号化する符号化手段と、
   前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
   前記符号化手段により出力される符号化動画像データの発生符号量に基づいて前記符号化動画像データのデータレートを変化させて目標データレートに近づけるよう前記符号化手段を制御する符号量制御手段と、
   前記選択手段の選択結果に応じて、前記符号量制御手段が前記符号化動画像データのデータレートを変化させる際の変化量に関する符号量パラメータを変更する変更手段とを備える画像処理装置。
3. 第１の動画像データを入力する第１の入力手段と、
   第２の動画像データを入力する第２の入力手段と、
   前記第１の動画像データと前記第２の動画像データの一方を選択する選択手段と、
   符号化すべき前記動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により、前記選択手段により選択された前記第１の動画像データまたは前記第２の動画像データを符号化する符号化手段と、
   前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
   前記符号化動画像データのデータレートを所定の比較値と比較した比較結果に基づいて前記符号化動画像データのデータレートを変化させるよう前記符号化手段を制御する符号量制御手段と、
   前記比較値を記録開始の指示に応じて所定値から徐々に目標データレートに対応した値まで変化させると共に、前記比較値を前記目標データレートに対応した値まで変化させるまでの期間を前記選択手段の選択結果に応じて変更する変更手段とを備える画像処理装置。
4. 第１の動画像データを入力する第１の入力手段と、
   第２の動画像データを入力する第２の入力手段と、
   前記第１の動画像データと前記第２の動画像データの一方を選択する選択手段と、
   前記選択手段により選択された前記第１の動画像データまたは前記第２の動画像データを符号化する符号化手段と、
   前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
   前記符号化動画像データのデータレートが目標データレートとなるように前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、
   前記選択手段の選択結果に応じて、前記符号化動画像データのデータレートの算出期間を変更する変更手段とを備える画像処理装置。
5. 前記変更手段は前記選択手段の選択結果に応じて、前記符号化動画像データのデータレートの算出期間の長さを変更することを特徴とする請求項４記載の画像処理装置。
6. 前記変更手段は、前記選択手段の選択結果に応じて、記録開始の指示からの全ての期間である第１の期間と、前記第１の期間よりも短い第２の期間のうちの一方を選択することを特徴とする請求項４記載の画像処理装置。
7. 前記第１の入力手段は撮像手段であり、前記第２の入力手段は装置外部から前記第２の動画像データを入力する手段であることを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 撮像手段により得られた動画像データと装置外部から入力された動画像データのうちの一方を選択して符号化し、この符号化された動画像データを記録媒体に記録する装置であって、
   前記外部から入力された動画像データを記録する場合には記録開始後第１の期間で前記符号化された動画像データのデータレートを目標データレートに収束させるよう前記符号化処理における符号量制御を行い、前記撮像手段により得られた動画像データを記録する場合には記録開始後前記第１の期間よりも短い第２の期間で前記符号化された動画像データのデータレートを前記目標データレートに収束させるよう前記符号化処理における符号量制御を行うことを特徴とする撮像装置。

Images