JP4423216B2

JP4423216B2 - 画像処理装置

Info

Publication number: JP4423216B2
Application number: JP2005047444A
Authority: JP
Inventors: 芳季石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-02-23
Filing date: 2005-02-23
Publication date: 2010-03-03
Anticipated expiration: 2025-02-23
Also published as: JP2006237847A

Description

本発明は画像処理装置に関し、動画像データの符号化処理に関する。

近年、ＶＴＲに代わり、ハードディスクやＤＶＤなどのディスク媒体などに動画像信号をデジタルデータとして記録再生するディスクレコーダがテレビジョン放送の録画に用いられるようになってきた。これらの装置では、デジタル動画データをＭＰＥＧ２などの可変長符号化によって符号化し、その膨大な情報量を圧縮することによって一枚のディスクメディアに記録することを可能としている。

可変長符号化による圧縮では、入力画像の複雑さや動きに応じて符号化データのデータレート（ビットレート）が随時変化する。そこで、通常はバッファオーバーフロー、アンダーフロー防止や記録容量の制限を満たすため、フィードバック制御によって符号化データ量を所定の値に近づける符号化ビットレート制御が行われている（例えば特許文献１参照）。

この様な可変長符号化処理においては、符号化ビットレートの制御方式の違いにより、発生符号量をほぼ一定に保つ固定ビットレート（ＣＢＲ：ＣｏｎｓｔａｎｔＢｉｔＲａｔｅ）符号化と、符号化ビットレートの平均値を目標値に近づけながらも、動画の各フレームにおいては画像の複雑さや動きの激しさに応じて最適な符号量配分を行う可変ビットレート（ＶａｒｉａｂｌｅＢｉｔＲａｔｅ）符号化の２種類の符号化方式がある。

ＶＢＲ符号化においては、符号化すべき動画像データ全体に渡っての発生符号量見積もりを行った後、実際の符号化を行う２パス構成をとることで、理想的な符号量配分が可能となる。そのため、従来は、符号化すべき動画像データを一度蓄積した後、ソフトウェアでのオフライン処理によってＶＢＲ符号化を行っていた。

近年、このＶＢＲ符号化をリアルタイムで行うハードウェアの開発が進み、現在、前述の如きディスクレコーダでは、画質に有利なリアルタイムＶＢＲ符号化が行われることが一般的になってきた。符号化すべき動画像データについて事前に符号量を配分して符号化を行う２パスエンコードに対し、これらのリアルタイムのビットレート制御技術は１パスエンコードと呼ばれる。

１パスエンコードによるＶＢＲ符号化時の符号化ビットレート制御においては、動画像のフレームごとの複雑さや動きの激しさといった局所的な特性に左右されず、２パスエンコードによる理想に近い符号量配分を実現するために、所定期間の符号化ビットレートを平均し、その平均値を目標とする符号化ビットレートに合わせるよう、徐々に符号量を制御していくことが考えられている。この平均ビットレートを目標値へ漸近させる制御の傾きによって目標とする符号化ビットレートへの収束時間が決定する。

図１４は、この様に目標ビットレートを設定してＶＢＲ符号化により動画像データを符号化した場合の符号化ビットレートの変化の例を示す図である。Ｌ１４０１は単位時間あたりの符号化ビットレート変化を示す。Ｌ１４０１では収束時間Ｔの間に緩やかに目標ビットレートＢＲに収束している。

ＶＢＲ符号化において所定の収束時間で目標ビットレートとなるよう制御する方法については、符号化開始からの経過時間と現在までの平均ビットレートに基づき、目標ビットレートに対応する収束カーブを選択することによって、画質への影響を少なくしながらも、所定の収束時間で目標ビットレートに収束させる実施例が知られている（例えば特許文献２参照）。

ディスクレコーダなどでテレビ放送を受信して記録する場合には、動画像の局所的特性への依存を排除して理想的な配分に近づける目的から、ＶＢＲ符号化における目標ビットレートへの収束時間として、１０分前後とすることが理想と考えられている。

また、その際、記録開始からの総ビットレートの平均を算出し、その結果を目標とする符号化ビットレートに合わせるよう制御することにより、トータルの記録データ量を所定の精度で保証することができる。従って、テレビ放送の予約録画など、メディアの空き容量と記録時間が規定される場合に有効である。

また、近年では、ＤＶＤを記録メディアとしたビデオカメラも登場している。ビデオカメラにおいては、通常、記録開始から記録停止までの一つのシーンが１分以下であることが多い。そして、前述の様に、ＶＢＲ符号化の際に長時間にわたって目標ビットレートとなるよう符号量制御を行うと、目標レートに収束する前に記録停止となる場合が多くなるため、ビデオカメラなどでは１分以下の短い期間で目標ビットレートに収束するよう、ＶＢＲ符号化時の符号量を制御することが考えられる。

更に、ビデオカメラにおいては、家庭用ディスクレコーダなどに比べて記録時間の保証の要求が低いため、記録開始からの総平均ビットレートを用いた厳密な記録容量の合わせこみは行わない場合もある。
特開２０００−１９７０４８号特開２０００−１９７０４８号

しかしながら、前述のようなＶＢＲ符号化モードを備えたビデオカメラにおいては、セレモニーの撮影のような、長時間連続して撮影するような場合においては、家庭用ＤＶＤレコーダに比べて全体での符号量配分が最適とは言えず、画質や記録容量について不利になっている。

また、前述のように総平均ビットレートを用いた記録容量の合わせこみを行わないビデオカメラの場合、長時間連続して記録した場合において、記録開始時の録画可能時間表示に対して実記録時間を保証できていない。

本発明はこのような問題を解決し、記録目的に応じた最適な符号量制御が可能な装置を提供することを目的とする。

以上の問題点を解決するため、本発明は、動画像データを入力する入力手段と、符号化すべき動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記入力手段により入力された動画像データを符号化する符号化手段と、前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、前記符号化手段により出力される符号化動画像データの発生符号量を制御することにより、前記符号化動画像データのデータレートを目標データレートに収束させる符号量制御手段と、複数の符号化モードより、任意の符号化モードを選択する選択手段と、前記選択手段の選択結果に応じて、前記符号量制御手段が前記符号化動画像データのデータレートを目標データレートに収束させるまでの前記動画像データの記録開始からの目標時間を変更する変更手段とを備える。

本発明によれば、可変ビットレート符号化により動画像を符号化して記録する際に、符号量制御手順を任意に選択可能としたことで、記録画質、あるいは、記録時間などを優先した符号量制御の処理をユーザが任意に切り替えることが可能となる。

図１は本発明の第１の実施形態の概略構成を示す図である。

図１において、１０１はレンズ光学系及びＣＣＤ等の撮像素子からなるカメラ部である、１０１で撮像されたアナログ動画信号はＡ／Ｄ変換回路１０２でデジタル画像信号に変換された後、カメラ信号処理部１０３によって画素補間、色変換、γ変換等の処理を受け、符号化すべき画像フォーマットのデータとして画面並べ替え回路１０９に供給される。

入力された動画信号は、画面並べ替え回路１０９において符号化すべき順序に並べ替えられる。例えば、ＭＰＥＧ２符号化においては、Ｂピクチャと呼ばれる双方向予測フレームは、前後のフレームが符号化された後に符号化すべきものであるため、画面並べ替え回路１０９はこの様に入力された動画像データのフレーム順序を符号化すべき順序に並べ替えて出力する。

差分回路１１０では、スイッチ１２３の選択により、Ｉピクチャを符号化する場合には並べ替え回路１０９からの画像データをそのまま出力し、Ｐピクチャ及びＢピクチャの符号化時には動き補償予測回路１２１から出力された予測画像データとの差分値を求めて出力する。ＤＣＴ回路１１１は差分回路１１０から出力された画像データに対して公知のＤＣＴ処理を施してＤＣＴ係数を出力する。ＤＣＴ回路１１１によりＤＣＴ係数に変換された画像データは量子化回路１１２において所定の量子化スケールＱによって量子化される。このＱ値を変化させることによって量子化後の係数値は大きく変化し、これによって可変長符号化後の発生符号量が変化する。

可変長符号化回路１１３は量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファ１１４は符号化レート制御のために発生符号化データを一時保存する。バッファに貯められた符号化データは、所定のレートで読み出され、メディア記録回路１１５によってパケット化、多重化、記録変調などが行われ、メディア１１６に記録される。本実施形態では、記録メディアとして光ディスクを用いる。

一方、量子化回路１１２で量子化された係数データは、予測画像データを得るために逆量子化回路１１７で逆量子化され、逆ＤＣＴ回路１１８でＤＣＴ逆変換される。

加算回路１１９ではスイッチ１２２の選択によって、Ｉピクチャの符号化時には逆ＤＣＴ変換後のデータをそのまま出力し、またＰピクチャもしくはＢピクチャの符号化時には、動き補償予測回路１２１からの予測画像データと加算され局部復号画像データとしてビデオメモリ１２０に保存される。

動き補償予測回路１２１ではビデオメモリ１２０に蓄えられた局部復号画像と入力画像を比較することにより、動き補償を行った予測画像データを生成し、差分回路１１０に供給するとともに、次の局部復号のための予測画像として加算回路１１９にも供給する。

記録モード選択回路１２５はスイッチ１２４の設定により、モード１、モード２の二つのモードのうちの一方を選択する。

レート制御設定回路１２６は、記録モード選択回路１２５からの指示に基づき、選択された記録モードに応じて、レート制御回路１２７の符号化レート制御パラメータを変更する。制御パラメータ変更の詳細については後述する。

レート制御回路１２７はバッファ１１４から得られる、発生符号量、バッファ充填率などの情報を用いて量子化スケール値Ｑを制御して、発生符号量を制御する。具体的には、レート制御設定回路１２６によって、この制御のためのパラメータを各記録モードに合わせて設定し、符号化された動画像データのデータレートを目標ビットレートに収束させる。

本実施形態では、ユーザがスイッチ１２４を任意に切り替えることにより、二つの記録モード（符号化モード）のうちの一方を選択する。

図２は本実施形態による、符号化ビットレート制御の切り替えに伴って生成される動画像データの符号化ビットレートの様子を示す図である。

本実施形態では、第１の記録モードと第２の記録モードとで、符号化ビットレートを目標ビットレートに収束させるまでの収束時間を切り替えている。Ｌ２０１は第１のモードを選択した場合の、単位時間あたりの符号化ビットレート変化を示す。Ｌ２０１では収束時間Ｔ１の間に符号化ビットレートが目標ビットレートＢＲに収束している。

一方、Ｌ２０２は第２のモードを選択した場合の、単位時間あたりの符号化ビットレート変化を示したもので、Ｔ１に比べて十分に短い収束時間Ｔ２以内に符号化ビットレートが目標ビットレートに収束している。

図３は、レート制御回路１２７において、このような制御を行うために設定する平均ビットレートの閾値を示す図である。Ｌ３０１は収束時間をＴ１とした場合に設定する所定期間の平均ビットレートについての閾値を示しており、現在の平均ビットレートが経過時間に対してＬ３０１より上にある場合は、目標とするビットレートに対して発生符号量が多すぎるため、量子化スケールを大きくするよう制御することによって目標ビットレートに対して収束させていく。

Ｌ３０２は収束時間をＴ２とした場合に設定する所定期間の平均ビットレートの閾値を示している。Ｌ３０１と同様の制御を行うことによって収束時間Ｔ２で、目標ビットレートに収束させる。本形態では、スイッチ１２４の選択結果に応じてレート制御設定回路１２６がレート制御回路１２７における目標ビットレートの制御動作を設定する。

即ち、第１のモードを選択した場合は図３のＬ３０１を選択し、第２のモードを選択した場合はＬ３０２を選択するよう、レート制御回路１２７に設定することにより、ユーザが撮影したい状況に応じて任意に目標ビットレートに達するまでの収束時間を制御することができる。

図４は本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、何れのモードが選択されているかを判別する（Ｓ４０１）。第１のモードが選択されていた場合、レート制御設定回路１２６は、平均ビットレートの閾値として図３のＬ３０１を選択するよう、レート制御回路１２７を制御する（Ｓ４０２）。

次に、目標ビットレートとは別に、記録メディア１１６の最大転送速度など記録上の上限を越えないよう現在の量子化スケールを制御する最大ビットレート保証処理（Ｓ４０３）、ＭＰＥＧ２におけるＶＢＶと呼ばれる仮想バッファがオーバーフロー／アンダーフローを起こさないよう現在の量子化スケールを制御するＶＢＶバッファ補償処理を行う（Ｓ４０４）。なお、可変ビットレート符号化においては、オーバーフローは原理的に発生しない。これらＳ４０３、Ｓ４０４の符号化制御処理は一般的なものであり、前記特許文献１にも一例が記載されているため詳細な説明は省略する。

そして、記録開始からの経過時間とＬ３０１とに基づいて平均ビットレートの閾値を設定し（Ｓ４０５）、設定された平均ビットレートの閾値と算出した平均ビットレートとを比較して、発生符号量を制御する（Ｓ４０６）。そして、記録停止の指示があるまで、Ｓ４０３からＳ４０６のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４０７）。

このとき、Ｌ３０１においては、経過時間に対する目標ビットレートの閾値の変化の度合いがＬ３０２に比べて小さいため、符号量制御の際に量子化スケールの値を小さく変化させながら、発生符号量を制御することになる。

一方、Ｓ４０１において、第２のモードが選択されていた場合、レート制御設定回路１２６は平均ビットレートの閾値として図３のＬ３０２を選択するよう、レート制御回路１２７を制御する（Ｓ４０８）。

そして、最大ビットレート保証処理（Ｓ４０９）、ＶＢＶバッファ補償処理を行い（Ｓ４１０）、記録開始からの経過時間とＬ３０２とに基づいて平均ビットレートの閾値を設定し（Ｓ４１１）、設定された平均ビットレートの閾値と現在までの平均ビットレートとを比較して、発生符号量を制御する（Ｓ４１２）。記録停止の指示があるまで、Ｓ４０９からＳ４１２のビットレート制御の処理を所定期間毎に繰り返すことによって、動画像データの符号化ビットレートを目標ビットレートに収束させる（Ｓ４１３）。

この様に、本実施形態においては、符号化ビットレートを目標ビットレートに収束させる間での時間が異なる二つのモードより、ユーザが任意に記録モードを選択可能とした。

そのため、例えば、比較的短時間の撮影を繰り返した場合でも記録時間を大幅に変動させたくない場合には収束時間が短い第２のモードを選択し、最適な符号量配分を期待する場合や、記録時間と画質を両立させることを期待する場合などには、長期間で符号化ビットレートを目標ビットレートに収束させる第１のモードを選択する、といった使い分けが可能となる。

次に、第２の実施形態を説明する。

図５、図６は第２の実施形態による符号化ビットレート制御の結果発生する符号化データのビットレートの様子を示す図である。

本実施形態では、選択された記録モードに応じて、符号化難易度を用いて符号量制御を行うか否かを切り替えている。

具体的には、後述の様に、第１の記録モードにおいては、画像の状態（符号化難易度）に拘らず符号化動画像データのデータレートが目標データレートとなるよう符号量を制御するが、第２の記録モードにおいては、画像に動きなどが少なく、符号化難易度が低い状態の場合には所定の目標データレートとなるよう符号量を制御するが、符号化難易度が高くなった場合、目標データレートの設定値を高く変更し、強制的に所定の目標データレートに収束させることを避けるようにした。尚、本実施形態においても記録装置の構成は図１と同様であるため、詳細な説明は省略する。

図５は符号化対象の動画像の符号化難易度に拘らず目標ビットレートを一定値ＢＲと設定した場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｌ５０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ５０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。

従って、この場合には、符号化動画像データのデータレートを一定にすることができる。

一方、図６は符号化対象の動画像の符号化難易度が高い場合に目標ビットレートを変更し、Ｂｒ（Ｄｐｒｄ）とした場合の、単位時間あたりの符号化ビットレートの変化を示す図である。Ｄｐｒｄは符号化難易度Ｄについての予測値であり、過去の発生符号量や画像の特徴量などを用いて推定する。Ｌ６０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ６０２は符号化難易度を示す。

ここでは、符号化難易度が所定のレベル以下の場合は、目標ビットレートを図５と同様に一定値に設定するが、符号化難易度が高く変化すると、それに応じて目標ビットレートＢｒ（Ｄｐｒｄ）を変更する。そのため、発生符号量（圧縮率）は変化するが、符号化難易度による画質劣化の違いが少なくなるよう、目標ビットレートを制御することが可能である。

本実施形態では、第１の記録モードが選択された場合には図５の様に一定の目標ビットレートによって符号量を制御し、第２の記録モードが選択された場合には図６の様に符号化難易度により目標ビットレートを変更しながら符号量を制御するよう、レート制御設定回路１２６によって、レート制御回路１２７による、これら２種類の目標ビットレート制御特性を切り替えて設定する。

図７は、本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示スイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、何れのモードが選択されているか否かを判別する（Ｓ７０１）。第１のモードが選択されていた場合、レート制御設定回路１２６は、図４と同様、最大ビットレート保証処理（Ｓ７０２）、ＶＢＶバッファ保証処理（Ｓ７０３）を実行する。そして、レート制御回路１２７は、符号化難易度に拘らず目標ビットレートを所定値ＢＲに設定し（Ｓ７０４）、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７０５）。以上のＳ７０２からＳ７０５までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７０６）。

一方、第２のモードが選択された場合、図４と同様、最大ビットレート保証処理（Ｓ７０７）、ＶＢＶバッファ保証処理（Ｓ７０８）を実行する。そして、レート制御回路１２７は、過去の発生符号量、画像の特徴量などから符号化難易度を予測しＤｐｒｄを求め（Ｓ７０９）、このＤｐｒｄに基づき符号化難易度に応じたＢｒ（Ｄｐｒｄ）を求めて目標ビットレートに設定する（Ｓ７１０）。そして、符号化ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ７１１）。以上のＳ７０７からＳ７１１までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ７１２）。

この様に、本実施形態によれば、符号化ビットレートを一定の目標レートとすることで、記録時間を保証することができる第１のモードと、符号化難易度が変化した場合にも、画像によらず画質劣化がほぼ一定の符号化動画像データを記録することができる第２のモードとを、撮影状況によって任意に切り替えることができる。

次に、第３の実施形態を説明する。

図８は第３の実施形態による制御の結果発生する符号化ビットレートの様子を示す図である。

本実施形態では、選択されたモードに応じて、記録開始からの平均ビットレートが目標値となるよう発生符号量を制御するか、あるいは、所定期間の平均ビットレートが目標値となるよう発生符号量を制御するかを切り替えている。尚、本実施形態においても記録装置の構成は図１となるため、詳細な説明は省略する。

図８において、Ｌ８０１は第１のモードを選択した場合に前述の様に発生符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示す図である。Ｌ８０１では、時間Ｔ２の時点で符号化ビットレートが目標ビットレートＢＲに近づくが、目標ビットレートに対する記録開始からのトータルの発生符号量のオーバー分をキャンセルし、記録開始からのトータルの発生符号量を目標ビットレートＢＲ×記録開始から現時点Ｔ１までの期間に近づけるため、Ｔ２経過後も発生符号量を抑圧し、記録開始から現時点Ｔ１までのトータルの平均ビットレートがＢＲとなるように制御している。

一方、Ｌ８０２は第２のモードを選択した場合に前述の様に符号量を制御した結果発生する、単位時間あたりの符号化ビットレートの変化の例を示した図である。Ｌ８０２では、時間Ｔ２で符号化ビットレートが目標ビットレートに収束した後は、それ以上発生符号量を抑えること無く目標ビットレートＢＲ近傍となるよう符号化ビットレートを制御している。

図９は、このような制御を行うため、レート制御回路１２７により設定する平均ビットレートの算出期間とそのときに発生する符号量の様子を示す図である。

Ｌ９０１は記録開始から現在までの期間ＳＴ１におけるトータルの平均ビットレートを目標ビットレートＢＲと比較して符号化を行った際の記録開始時からの発生符号量の合計を示している。時刻Ｔ２において、発生符号量の傾きは目標符号量増加の傾きに等しくなっているが、トータルの発生符号量は目標符号量を上回っているため、Ｔ２後もＬ８０１で示したように符号量は抑制される。

一方、Ｌ９０２は、所定期間ＳＴ２毎の平均ビットレートと目標ビットレートとを比較して符号化を行った場合にＳＴ２の間に発生する符号量の様子を示す図である。Ｌ９０２では、期間ＳＴ２の平均ビットレートが目標ビットレートに到達した後は、発生符号量はＬ８０１の様に目標ビットレートよりも大幅に抑制されることはない。

図１０は本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、何れのモードが選択されているかを判別する（Ｓ１００１）。第１のモードが選択されていた場合、記録開始から現在までの期間ＳＴ１の平均ビットレートを算出して符号量制御を行うよう、レート制御回路１２７に対して設定する（Ｓ１００２）。

そして、図４と同様、最大ビットレート保証処理（Ｓ１００３）、ＶＢＶバッファ保証処理（Ｓ１００４）を実行する。そして、レート制御回路１２７は、記録開始から現時点までの期間ＳＴ１の平均ビットレートを算出し（Ｓ１００５）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１００６）。以上のＳ１００３からＳ１００６までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１００７）。

一方、Ｓ１００１でカメラ入力ではなく、外部入力の動画像が選択されていた場合、レート制御設定回路１２６は、レート制御設定回路１２６は、所定期間ＳＴ２毎に平均ビットレートを算出するよう、レート制御回路１２７に対して設定する（Ｓ１００８）。

そして、図４と同様、最大ビットレート保証処理（Ｓ１００９）、ＶＢＶバッファ保証処理（Ｓ１０１０）を実行する。そして、レート制御回路１２７は、設定されたＳＴ２期間毎に平均ビットレートを算出し（Ｓ１０１１）、この平均ビットレートが目標ビットレートとなるよう、発生符号量を制御する（Ｓ１０１２）。以上のＳ１００９からＳ１０１２までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１０１３）。

この様に、本実施形態によれば、ビットレートが目標ビットレートに収束した後に画質の落ち込みの無い、高画質な動画像を記録できるモードと、記録時間を保証した符号化を行うことが可能なモードとを、撮影状況に応じて任意に選択することが可能となる。

次に、第４の実施形態を説明する。

本実施形態では、選択されたモードに応じて、符号化データのデータレートを目標ビットレートへ収束させる制御を行うかどうかを切り替えている。尚、本実施例においても記録装置の概略構成図は、前述の図１となるため、構成図の説明は省略する。

図１１は、短期の符号量制御である目標ビットレートレンジ保証と、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を併用した場合における、単位時間あたりの符号化ビットレートの変化を示す図である。

Ｌ１１０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１１０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は一時変化するが、所定の収束時間を経過すると目標ビットレートＢＲに収束して行く。

また、本形態では、目標ビットレートＢＲに基づいて、符号化動画像データのビットレートの上限目標ＢＲ＋と下限目標ＢＲ−とを設定し、これらの間の目標ビットレートレンジ内に符号化動画像データのデータレートが収まるよう、短期的な制御を行うビットレートレンジ保証処理を実行する。なお、ここで言う上限目標ＢＲ＋とは、目標ビットレートの値に応じて許容レンジとして設定するものであり、前述の実施形態にて実行していた最大ビットレート保証処理において保証しているメディアの最大記録レートや伝送レートによって定められる最大ビットレートとは別のものである。

一方、図１２は短期の符号量制御である目標ビットレートレンジ保証処理のみを用い、所定期間の発生符号量平均値を目標ビットレートに収束させる収束制御を行わない場合における、単位時間あたりの符号化ビットレートの変化を示す図である。

Ｌ１２０１は単位時間あたりの符号化ビットレートの変化を示し、Ｌ１２０２は符号化難易度を示す。符号化難易度が変化すると、発生符号量は目標ビットレートレンジＢＲ＋〜ＢＲ−の間で変動するが、目標ビットレートＢＲに対する符号化データレートの収束処理は行われない。

本発明では、前述のレート制御設定回路１２６によって、これら２種類の目標ビットレート制御特性を切り替えて設定する。即ち、カメラからの入力動画像が選択された場合は図１２に示す制御を実行し、外部からの入力画像が選択された場合は図１１に示す制御を実行するよう、レート制御回路１２７に設定することにより、入力信号に応じた目標ビットレート制御が行える。

図１３は本実施形態におけるビットレート制御処理を示すフローチャートである。

不図示のスイッチにより記録開始の指示があるとフローがスタートし、まず、選択スイッチ１２４により、何れのモードが選択されているかを判別する（Ｓ１３０１）。第１のモードが選択されていた場合、レート制御回路１２７に対し、図１１に示した様にビットレートレンジの保証処理に加えて目標ビットレートに対する収束処理も行うモードを設定する。

レート制御回路１２７は、図４と同様、最大ビットレート保証処理（Ｓ１３０２）、ＶＢＶバッファ保証処理（Ｓ１３０３）を実行する。そして、目標ビットレートＢＲに対して設定されたビットレート許容レンジＢＲ＋〜ＢＲ−の間に符号化データのデータレートが収まるよう、例えばピクチャ単位、ＧＯＰ単位での短期的な符号量制御を行うビットレート保証処理を実行する（Ｓ１３０４）。そして、レート制御回路１２７は、所定の収束時間で符号化動画像データのデータレートを目標ビットレートに収束させるよう符号量制御処理を実行する（Ｓ１３０５）。以上のＳ１３０２からＳ１３０５までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３０６）。

一方、Ｓ１３０１でカメラ入力ではなく、外部入力の動画像が選択されていた場合、レート制御設定回路１２６は、レート制御設定回路１２６は、レート制御回路１２７に対し、図１２に示した様にビットレートレンジの保証処理のみを行うモードを設定する。

そして、レート制御回路１２７は、図４と同様、最大ビットレート保証処理（Ｓ１３０７）、ＶＢＶバッファ保証処理（Ｓ１３０８）、ビットレートレンジ保証処理を実行する（Ｓ１３０９）。以上のＳ１３０７からＳ１３０９までの処理を、記録停止の指示があるまで所定期間毎に実行する（Ｓ１３１０）。

この様に、本実施形態によれば、符号化データのデータレートを目標ビットレートそのものに収束させずに、符号化難易度に応じてビットレートを許容レンジ内で変化させることにより、画像によらず画質劣化がほぼ一定な画像を記録することができるモードと、据え置き型のレコーダと同様の、記録時間の精度を優先した録画が可能となるモードのうち、ユーザが撮影状況に応じたモードを選択することができる。

本発明を適用した記録装置の概略構成図である。本発明の実施形態によるビットレート制御の例を示す図である。本発明の実施形態によるビットレート制御の例を示す図である。本発明の実施形態におけるビットレート制御の動作を示すフローチャートである。第２の実施形態によるビットレート制御の例を示す図である。第２の実施形態によるビットレート制御の例を示す図である。第２の実施形態におけるビットレート制御の動作を示すフローチャートである。第３の実施形態によるビットレート制御の例を示す図である。第３の実施形態によるビットレート制御の例を示す図である。第３の実施形態におけるビットレート制御の動作を示すフローチャートである。第４の実施形態によるビットレート制御の例を示す図である。第４の実施形態によるビットレート制御の例を示す図である。第４の実施形態におけるビットレート制御の動作を示すフローチャートである。従来のビットレート制御の例を示す図である。

Claims

動画像データを入力する入力手段と、
符号化すべき動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記入力手段により入力された動画像データを符号化する符号化手段と、
前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
前記符号化手段により出力される符号化動画像データの発生符号量を制御することにより、前記符号化動画像データのデータレートを目標データレートに収束させる符号量制御手段と、
複数の符号化モードより、任意の符号化モードを選択する選択手段と、
前記選択手段の選択結果に応じて、前記符号量制御手段が前記符号化動画像データのデータレートを目標データレートに収束させるまでの前記動画像データの記録開始からの目標時間を変更する変更手段とを備える画像処理装置。
動画像データを入力する入力手段と、
符号化すべき動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記入力手段により入力された動画像データを符号化する符号化手段と、
前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
前記符号化手段により出力される符号化動画像データの発生符号量に基づいて前記符号化動画像データのデータレートを変化させて目標データレートに近づけるよう前記符号化手段を制御する符号量制御手段と、
複数の符号化モードより、任意の符号化モードを選択する選択手段と、
前記選択手段の選択結果に応じて、前記符号量制御手段が前記符号化動画像データのデータレートを変化させる際の変化量に関する符号量パラメータを変更する変更手段とを備える画像処理装置。
動画像データを入力する入力手段と、
符号化すべき動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記入力手段により入力された動画像データを符号化する符号化手段と、
前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
前記符号化動画像データのデータレートを所定の比較値と比較した比較結果に基づいて前記符号化動画像データのデータレートを変化させるよう前記符号化手段を制御する符号量制御手段と、
複数の符号化モードより、任意の符号化モードを選択する選択手段と、
前記比較値を記録開始の指示に応じて所定値から徐々に目標データレートに対応した値まで変化させると共に、前記比較値を前記目標データレートに対応した値まで変化させるまでの期間を前記選択手段の選択結果に応じて変更する変更手段とを備える画像処理装置。
動画像データを入力する入力手段と、
符号化すべき動画像データの状態に応じて符号量の割り当てを変更する可変ビットレート符号化方式により前記入力手段により入力された動画像データを符号化する符号化手段と、
前記符号化手段により出力された符号化動画像データを記録媒体に記録する記録手段と、
前記符号化動画像データのデータレートが目標データレートとなるように前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、
複数の符号化モードより、任意の符号化モードを選択する選択手段と、
前記選択手段の選択結果に応じて、前記符号化動画像データのデータレートの算出期間を変更する変更手段とを備える画像処理装置。
前記変更手段は前記選択手段の選択結果に応じて、前記符号化動画像データのデータレートの算出期間の長さを変更することを特徴とする請求項４記載の画像処理装置。
前記変更手段は、前記選択手段の選択結果に応じて、記録開始の指示からの全ての期間である第１の期間と、前記第１の期間よりも短い第２の期間のうちの一方を選択することを特徴とする請求項４記載の画像処理装置。
撮像手段により得られた動画像データを符号化処理し、前記符号化処理された動画像データを記録媒体に記録する装置であって、
記録開始後第１の期間で前記符号化された動画像データのデータレートを目標データレートに収束させるよう前記符号化処理における符号量制御を行う第１の記録モードと、記録開始後前記第１の期間よりも短い第２の期間で前記符号化された動画像データのデータレートを前記目標データレートに収束させるよう前記符号化処理における符号量制御を行う第２の記録モードのうちの一方を任意に選択可能としたことを特徴とする撮像装置。