JP3586069B2 - 動画像符号化方法および装置 - Google Patents
動画像符号化方法および装置 Download PDFInfo
- Publication number
- JP3586069B2 JP3586069B2 JP14190597A JP14190597A JP3586069B2 JP 3586069 B2 JP3586069 B2 JP 3586069B2 JP 14190597 A JP14190597 A JP 14190597A JP 14190597 A JP14190597 A JP 14190597A JP 3586069 B2 JP3586069 B2 JP 3586069B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- motion vector
- encoded data
- frame
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術の分野】
本発明は、同一もしくは実質的に同一の動画像信号に対して少なくとも２回の符号化を行い、ハードディスクや光ディスク等の蓄積メディアに記録する動画像符号化方法および装置に関する。
【０００２】
【従来の技術】
動画像符号化方式の国際標準であるＭＰＥＧ２を用いたアプリケーションは、再生専用光ディスクや、ディスクアレイを用いたビデオサーバ、通信衛星を用いたディジタル放送等に幅広く普及しつつある。
【０００３】
ＭＰＥＧ２方式では、符号化効率を向上させるために前方予測あるいは両方向予測フレーム間符号化が用いられ、また可変レート符号化等により適応的な符号量配分がなされることもある。固定レート符号化においても、予測構造や画像の周波数特性、動き量等に応じて、一定期間で一定の符号化レートとなる条件の中で、フレーム単位の符号量が適応的に配分されて符号化が行われるのが一般的である。つまり、固定レート符号化、可変レート符号化を問わず、ＭＰＥＧ２方式では、平均符号化レートが同じであっても符号化のレート制御方法が主観的な画質を左右する。
【０００４】
再生専用光ディスクのような蓄積系のアプリケーションでは、同じ入力動画像信号に対して２回符号化を行い、第１の符号化で動画像シーケンス全体の特性を分析して記録しておき、第２の符号化で最適な符号化レート制御を行う方法も知られている。その場合、動画像全体のマクロブロックレベルの詳細な性質を分析し、分析データを収集して記録するためには、一般的に専用のハードウエアが必要になる。
【０００５】
一方、未編集の動画像データに対して編集および符号化を行う際に上述した２回符号化を適用する場合には、編集作業の後に上述した第１、第２の符号化を行う必要があり、作業時間がかかる。さらに、編集作業の効率化を図るために、まず動画像データをモーションＪＰＥＧのようなイントラ符号化により符号化してハードディスクに記録し、ハードディスク上でコンピュータ処理により編集作業を行うノンリニア編集を行う場合は、動画像データをハードディスクに記録するための符号化（取り込み符号化という）を別途行う必要があり、合計で３回の符号化が必要となる。
【０００６】
【発明が解決しようとする課題】
上述したように、複数回の符号化を行って符号化効率を上げる従来の動画像符号化方式では、入力動画像の分析および分析データの収集のための専用のハードウエアが必要となり、またノンリニア編集等を用いる場合は、取り込み符号化を別途に行う必要があった。
【０００７】
本発明は、このような従来の問題点を解消するためになされたもので、ハードウエアの大幅な増加なしに複数回の符号化による符号化効率の向上を達成でき、またノンリニア編集作業を行う場合の総符号化回数を削減できる動画像符号化方法および装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明は同一の入力動画像信号について動き補償フレーム間符号化またはフレーム内符号化により少なくとも第１の符号化および第２の符号化の２回の符号化を行い、得られた符号化データを記録する動画像符号化に際して、第１の符号化時に動き補償フレーム間符号化対象の画像信号およびフレーム内符号化対象の画像信号の両方について動きベクトルを検出して動きベクトル情報を符号化データに多重化し、この動きベクトル情報が多重化された符号化データを記録し、この記録した符号化データから動きベクトル情報を抽出して動画像の動き量を検出し、少なくとも該動き量を用いて第２の符号化時の符号化レートを制御することを特徴とする。
【０００９】
このように第１の符号化時に、動き補償フレーム間符号化対象の画像信号のみでなく、フレーム内符号化対象の画像信号についても動きベクトルを検出して、その動きベクトル情報を符号化データに多重化して記録することにより、この記録した符号化データから予測構造によらず常に動きベクトル情報を抽出することが可能である。従って、この動きベクトル情報から動画像の動き量を的確に検出し、それに基づいて第２の符号化時の符号化レートを制御することで、最適な符号量配分を行って、符号化効率を上げることができる。この場合、基本的には第１の符号化時に得られた動きベクトルから動き量を抽出し、それに基づいて最適な符号量配分値を決定できるため、第１の符号化で得られた符号化データの分析のための専用の複雑なハードウェアを必要としない。
【００１０】
また、本発明は入力動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第１の符号化を行い、この第１の符号化により得られた符号化データを記録し、この記録した符号化データを復号して得られた動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第２の符号化を行う際、第１の符号化時に動き補償フレーム間符号化対象の画像信号およびフレーム内符号化対象の画像信号の両方について動きベクトルを検出して動きベクトル情報を符号化データに多重化し、この動きベクトル情報が多重化された符号化データを記録し、この記録した符号化データを復号して該符号化データから動きベクトル情報を抽出して動画像の動き量を検出し、少なくとも該動き量を用いて第２の符号化時の符号化レートを制御することを特徴とする。
【００１１】
この場合、第１の符号化で得られた符号化データをハードディスクのような蓄積メディアに記録してノンリニア編集を行い、編集後の符号化データを復号して得られた動画像信号を用いて第２の符号化を行うことにより、第１の符号化の際に符号化データに多重化された動きベクトル情報から動画像の動き量を的確に検出し、それに基づいて第２の符号化時の符号化レートを制御することで、最適な符号量配分を行って、符号化効率を上げることができる。
【００１２】
このようにすると、従来では編集のための取り込み符号化の後に第１、第２の符号化を行うことにより合計３回の符号化が必要であったアプリケーションにおいて、取り込み符号化と第１の符号化を共通化させて、取り込み符号化の際に動きベクトル情報の多重化を合わせて行うことで、総符号化回数を３回から２回に減少させることが可能となる。
【００１３】
一般に、ノンリニア編集ではフレーム内符号化あるいはランダムアクセス単位が数フレームというＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ：グループ・オブ・ピクチャ）で符号化することが望ましいが、本発明ではフレーム内符号化対象の画像信号にも動きベクトル情報の多重化を行い、多重化されたベクトル情報を用いた最適な符号化レート制御を行うため、ノンリニア編集のアクセス性の要求と、符号化効率改善の要求の両者を満たすことができる。
【００１４】
第１の符号化に際しては、フレーム内符号化のみを用いて入力動画像信号を符号化してもよく、その場合、第１の符号化時に全てのフレーム内符号化対象の画像信号について動きベクトルを検出して動きベクトル情報を符号化データに多重化すればよい。こうすることによって、ノンリニア編集における総符号化回数の削減と、高画質化が可能となる。
【００１５】
本発明における符号化レートの制御は、具体的には、例えば（ａ） 第２の符号化により得られる符号化データの符号量配分値、（ｂ） 該符号量配分値に対して与える重み係数、（ｃ） 第２の符号化における量子化時の量子化スケール値および（ｄ） 該量子化スケール値に対して与える量子化重み係数の少なくとも一つを含むレート制御パラメータを決定して行うことができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る動画像符号化装置の構成を示す。入力動画像信号１０１は、同じ信号を繰り返し複数回再生可能なＶＴＲのようなビデオ記録再生機器によって再生される信号であり、この入力動画像信号１０１に対して動き補償フレーム間予測符号化またはフレーム内符号化が行われる。
【００１７】
すなわち、入力動画像信号１０１はまず動き検出器１０に入力される。この動き検出器１０では、入力動画像信号１０１と参照画像フレームメモリ１７に記憶されている既に符号化がなされたフレームの局部復号信号からなる参照画像信号との間のマクロブロック単位の動きベクトルが検出される。具体的には、入力動画像信号１０１のマクロブロックに対して参照画像信号の最も相関の高いマクロブロックを検出することにより、入力動画像信号１０１のマクロブロックが参照画像信号のどのマクロブロックから動いたものかを示す情報が動きベクトルとして検出され、動きベクトル情報１０６が出力される。
【００１８】
動き補償予測器１８では、この動きベクトル情報１０６を用いて参照画像信号に対して動き補償が行われ、予測信号１０２が生成される。また、動き補償予測器１８においては、動き補償フレーム間予測と入力動画像信号１０１をそのまま符号化するフレーム内符号化（予測信号＝０）のうち、好適な方の予測モードが選択され、その予測モードに対応する予測信号１０２が出力される。
【００１９】
入力動画像信号１０１は、減算器１１にも入力される。この減算器１１では、入力動画像信号１０１と動き補償予測器１８からの予測信号１０２との差がとられ、予測誤差信号１０３が生成される。この予測誤差信号１０３は、離散コサイン（ＤＣＴ）変換器１２により一定の大きさのブロック単位で離散コサイン変換される。離散コサイン変換により得られたＤＣＴ係数データは、量子化器１３で量子化される。量子化器１３で量子化されたＤＣＴ係数データは二分岐され、一方で可変長符号化器１９に入力され、他方で逆量子化器１４により逆量子化された後、さらに逆離散コサイン（ＩＤＣＴ）変換器１５で逆離散コサイン変換（逆ＤＣＴ）される。
【００２０】
逆離散コサイン変換器１５からの出力は加算器１６で予測信号１０２と加算されて局部復号信号１０５となり、参照画像フレームメモリ１７に参照画像信号として記憶される。参照画像フレームメモリ１７に記憶された参照画像信号は、動き補償予測器１８に読み出され、動き補償フレーム間予測が行われる。
【００２１】
動きベクトル検出部１０から出力される動きベクトルの情報と動き補償予測器１８からの出力される予測モードの情報は、可変長符号化器１９に入力される。可変長符号化器１９においては、量子化されたＤＣＴ係数データと動きベクトルおよび予測モードの情報がそれぞれ可変長符号化され、符号化データ１０８となる。この符号化データ１０８は、例えばハードディスクのような蓄積メディアに記録される。
【００２２】
本実施形態では、同一の入力動画像信号１０１に対して、第１の符号化と第２の符号化の２回の符号化が上述した動作により行われる。ここで、第１の符号化時には、可変長符号化器１９から符号化データ１０８と共に符号化データ１０８の発生符号量を示す発生符号量情報１０９も出力され、レート制御部２３に入力される。レート制御部２３は、第１の符号化時には発生符号量情報１０９に基づいて、符号化データ１０８が所定の符号化ビットレートとなるように、フィードバック制御により量子化器１３の量子化スケール値（量子化ステップ幅または量子化幅ともいう）を制御する。
【００２３】
さらに、本実施形態では文法解析部２１と符号化統計量分析部２２が設けられる。すなわち、第２の符号化時には第１の符号化時に蓄積メディア２０に記録された符号化データから、文法解析部２１により少なくとも発生符号量情報および動きベクトル情報を含む符号化データが抽出され、符号化統計量分析部２２に入力される。符号化統計量分析部２２では、文法解析部２１により抽出された符号化データの分析が行われ、それに基づき第２の符号化時の符号化データでの最適な符号量配分が決定される。
【００２４】
そして第２の符号化には、第１の符号化時に符号化統計量分析部２２で決定された符号量配分を示す符号量配分値１１０に基づいて、レート制御部２３で符号化レート制御が行われる。符号化レート制御は、本実施形態では量子化器１３における量子化スケール値の制御によって行われる。
【００２５】
ここで、第１の符号化における動きベクトルの検出は、従来の２回符号化では動き補償フレーム間予測符号化を行うフレーム（動き補償フレーム符号化対象の画像信号）のみについて行われていたのに対し、本発明ではさらにフレーム内符号化を行うフレーム（フレーム内符号化対象の画像信号）についても動きベクトル検出器１０により動きベクトル検出を行い、動きベクトル情報１０６を出力する。
【００２６】
このフレーム内符号化対象の画像信号の動きベクトル情報は、伝送路で発生したデータ誤りを補償するために記録されるコンシールメントベクトルの情報として、可変長符号化器１９で生成される符号化データに多重化される。こうしてコンシールメントベクトルとして符号化データに多重化され記録された動きベクトル情報は、第２の符号化時に文法解析部２１においてフレーム間符号化対象の画像信号の動きベクトル情報と同様に、第２の符号化時の最適符号量配分のために符号化データから抽出される。
【００２７】
図２および図３を用いて、コンシールメントベクトルについて説明する。ＭＰＥＧ２方式では、コンシールメントベクトルは図２に示すように、ピクチャ単位に多重されるヘッダのｐｉｃｔｕｒｅ−ｃｏｄｉｎｇ−ｅｘｔｅｎｓｉｏｎ（）内のｃｏｎｃｅａｌｍｅｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒｅｓ フラグを“１”として、イントラ符号化（フレーム内符号化）マクロブロックにおいても、ベクトル情報を多重化する枠組みが規定されている。コンシールメントベクトルの本来の利用目的は、伝送誤りに対する耐性を強化することにある。
【００２８】
例えば、図３に示す映像フレームＦで伝送路における誤りにより、マクロブロックＭＢ２が再生不能となった場合、その１マクロブロックライン分さかのぼるマクロブロックライン上で、同一水平位置にあるマクロブロックＭＢ１に多重された動きベクトルを用いて、マクロブロックＭＢ２の参照画像からの動き補償予測を行い、予測画像をそのまま再生画像にマッピングしてマクロブロックＭＢ２の画像を再生する。
【００２９】
ここで、マクロブロックＭＢ１がイントラ符号化マクロブロックである場合、通常はベクトル情報が多重化されないが、ここにコンシールメントベクトルを多重化しておくことにより、マクロブロックＭＢ２で発生した誤りの補償を行うことが可能となる。従って、コンシールメントベクトルとしては、１マクロブロックライン下のマクロブロックに対する動きベクトルの情報が多重化される。
【００３０】
一方、後述するようにマクロブロック単位での動きベクトルを用いた最適符号量配分を行う場合は、イントラ符号化マクロブロックにおいても、本来の動きベクトルを多重化することが望ましい。そこで、第１の符号化において、イントラ符号化マクロブロックにおけるコンシールメントベクトルは、１マクロブロックライン下のマクロブロックに対する動きベクトルではなく、符号化マクロブロックにおける動きベクトルを多重化する構成とすることで、より精度のよい符号量配分の実現が可能なる。但し、フレーム内の大局的な動きを検出するためには、通常のコンシールメントベクトルで、１マクロブロックライン下のマクロブロックにおける動きベクトルを多重したものでも、有意なベクトルとして用いることが可能である。
【００３１】
動きベクトル情報や発生符号量情報は、専用フォーマットで符号化データ中に多重化してもよいし、専用のデータパスを用いて出力してもよいが、符号化データ中に多重化し、オフラインでソフトウエアによる文法解析を行うことにより、符号化装置に専用ハードウエアの追加なしに、所望のデータの出力を行うことが可能となる。
【００３２】
また、動きベクトルの他にも、入力動画像のアクティビティや予測誤差の大きさを含む統計デ一タを符号化デ一タに多重化して、あるいは専用のデータパスで出力し、最適符号量配分のための動画像分析に用いる構成としてもよい。
【００３３】
（第２の実施形態）
次に、図４を用いて本発明の第２の実施形態に係る動画像符号化装置について説明する。
【００３４】
図４において図１と同一部分に同一符号を付して第１の実施形態との相違点を述べると、本実施形態では第１の実施形態における文法解析部２１が文法解析機能を有する復号部２４に置き換えられ、さらに復号部２４により復号された復号動画像信号１１１と入力動画像信号１０１とを切り替えて符号化部に入力する入力信号切替部２５が付加された構成となっている。従って、本実施形態では第１の符号化による符号化データを復号して、復号された動画像信号を再度符号化することが可能である。第１の符号化を行う場合は、第１の実施形態と同様にフレーム内符号化画像においても、符号化データへの動きベクトル情報の多重化を行う。
【００３５】
さらに、本実施形態では蓄積メディア２０上に記録された符号化データに対して、コンピュータを利用した編集機２６によりノンリニア編集を行うことが可能となっている。
【００３６】
本実施形態においては、入力動画像信号１０１に対して第１の符号化を行い、第１の符号化で得られた符号化データに基づく最適符号量配分の下で、蓄積メディア２０に記録された符号化データを再生し復号して再符号化（第２の符号化）を行うことが可能である。従って、入力動画像画像１０１は第１および第２の符号化を通して一度入力するだけで済むので、入力動画像信号１０１の発生源としてはＶＴＲ等の複数回再生可能なメディアに限定されず、例えばビデオカメラで撮像して得られた動画像信号や、通信系で送られてくる動画像信号を直接入力することも可能である。
【００３７】
また、本実施形態では第１の符号化で得られた符号化データをハードディスクのような高速なランダムアクセスが容易な蓄積メディア２０上に記録することで、編集機２６により符号化データ上での動画像シーケンスの時間方向での切り貼り等のノンリニア編集を容易に行うことが可能となる。フレーム単位のノンリニア編集の自由度は、符号化におけるフレーム間予測構造に大きく依存したものとなる。
【００３８】
そこで、図５を用いてフレーム間予測構造の例を説明する。
ＭＰＥＧ２方式では、符号化効率を上げるために、図５（ａ）に示すようにフレーム内符号化（イントラ符号化）画像（Ｉピクチャ）、前方予測画像（Ｐピクチャ）および両方向予測画像（Ｂピクチャ）をおりまぜた予測構造を構成し、予測のリフレッシュを複数のフレームで構成されるＧＯＰ単位に行う構成とするのが一般的である。この場合、ランダムアクセスはＧＯＰ単位に行う必要があり、符号化データレベルでの編集作業の自由度は、ＧＯＰ長（１ＧＯＰに含まれるピクチャ数）に依存する。
【００３９】
本実施形態における第１の符号化の目的は、（１）入力動画像信号１０１についての動画像分析、（２）動画像信号の入力作業を１回で済ませるようにする、（３）ノンリニア編集を可能とする、の３つであり、これらの目的を満たすために、圧縮率のある程度の犠牲を許容している。編集の自由度を上げる一つの方法としては、上述のようにＧＯＰ長を短くすることが挙げられ、例えば図５（ｂ）に示すようにＧＯＰ長を３フレーム程度のＧＯＰにするか、あるいは図５（ｃ）のように全てのフレームをＩピクチャとする、つまりＧＯＰ長を１フレームとすることで、編集の自由度は向上する。
【００４０】
一方、フレーム内符号化時に動きベクトル検出を行わない場合、上記（１）の動画像分析の際に動き情報の分析が困難となる。しかし、本発明によれば伝送路の誤り耐性が本来の目的であるコンシールメントベクトルの枠組みで、フレーム内符号化対象画像の画像信号についても動きベクトルの検出と、それにより得られた動きベクトル情報の符号化データへの多重化を行い、符号化終了後に符号化データを解析することで、動き情報の分析を行うことができるため、上記（１）〜（３）の全ての目的を達成することが可能となる。
【００４１】
（最適符号量配分方法について）
次に、上述した第１および第２の実施形態に共通する最適符号量配分方法について、図６〜図１１を用いて説明する。
通常、符号化画像の画質は符号化における量子化スケール値と密接な関係にあり、図６（ａ）に示すように符号化データを復号して得られた復号画像のＳＮ比（以下、ＳＮＲと記す）は、量子化スケール値の増加に対して単調減少の関係にある。また、この関係は一般に画像の性質には大きく依存しない。さらに、発生符号量も同様に、図６（ｂ）に示すように量子化スケール値に対して単調減少の関係にある。
【００４２】
但し、ＭＰＥＧ２方式では、エントロピー符号化に基づいた情報圧縮を行うため、発生符号量は入力動画像信号の複雑さに応じて変化する。従って、復号した画像がＳＮＲの面で均一で安定した画質となるようにするためには、量子化スケール値を均一化して符号量配分を画像の性質に応じて変化させる必要がある。
【００４３】
本発明の実施形態においては、第１の符号化で得られた符号化データからフレーム単位あるいはマクロブロック単位の発生符号量と量子化スケール値をそれぞれ抽出することで、図６（ｂ）に示した各画像の性質に固有の量子化スケール値と発生符号量との関係が算出でき、それにより量子化スケール値の変動が小さくなるように、つまり復号画像のＳＮＲが均一となるように符号量配分のベース値を決定することができる。
【００４４】
次に、こうして求まった符号量配分のベース値に対して、動画像の動きと画像の性質に依存する人間の視覚特性を考慮した適応符号量配分を行う。この点について、以下に説明する。
人間の視覚特性は、図７（ａ）に示すように、動きの速さが一定以上になると急激に視覚の感度が低下し、それに伴い符号化歪みが知覚されにくくなる性質がある。また、符号化歪みはランダム性の高い信号となるため、図７（ｂ）に示すように、原画像そのものがランダム性の高い、つまりアクティビティの大きい画像である場合、符号化歪みはそれにマスクされて知覚されにくくなるという性質もある。従って、動きが速い画像やアクティビティが大きい画像では、相対的に符号量を少なくしてＳＮＲの低い符号化を行い、それ以外の知覚されやすい部分に多くの符号量を適応的に割り当てることで、主観的な画質を向上させることが可能となる。
【００４５】
また、フレーム間動き補償予測符号化に起因する問題として、シーンチェンジ等の映像内容の変化に対しては、動き補償予測の予測効率が一時的に急激に低下し、画質の乱れが生じることがある。この画質の乱れを防止または低減させるためには、シ−ンチェンジを検出し、シーンチェンジ直後の画像をフレーム内符号化に変更するか、あるいは符号量配分を多くして動き補償フレーム間符号化を行えばよい。シーンチェンジは、動きベクトル値のフレーム内分散、アクティビティの時間変化、平均輝度値または色差信号値の時間変化、動き補償予測誤差値の少なくとも一つから求めることが可能である。
【００４６】
図８は、上述した符号量配分法に基づく符号化制御部の構成を示すブロック図であり、図１における文法解析部２１と符号化統計量分析部２２、あるいは図４における文法解析機能を有する復号部２４と符号化統計量分析部２２の要部を詳しく示したものである。
【００４７】
蓄積メディア２０から読み出された符号化データ３００は、図１における文法解析部２１または図４における復号部２４に相当するパーサ／デコーダ３０に入力され、符号化データ３００からマクロブロック単位の動きベクトルとアクティビティを示す動きベクトル情報３０２およびアクティビティ情報３０３が抽出される。また、パーサ／デコーダ３０の出力３０４から、発生符号量／量子化スケール値抽出部３３によりフレーム単位およびマクロブロック単位の発生符号量および量子化スケール値を示す発生符号量／量子化スケール値情報３１０が抽出される。
【００４８】
パーサ／デコーダ３０により抽出されたマクロブロック単位の動きベクトル情報３０２は動きベクトル統計分析部３１に入力され、ここで隣接マクロブロックの動きベクトル値の相関を用いた領域分割とその領域内の動きベクトル平均値を示す領域分割／動きベクトル平均値情報３０５と、動きベクトルのフレーム内分散を示すフレーム内動きベクトル分散情報３０６、および動きベクトルのフレーム内絶対値平均を示すフレーム内動きベクトル絶対値平均情報３０７が求められる。
【００４９】
パーサ／デコーダ３０により抽出されるアクティビティ情報３０３は、符号化データ３００にユーザデータとして第１の符号化時に多重されているか、あるいは符号化データ３００中のＤＣＴ係数の分布から算出される。また、符号化の際に符号化データとは別にアクティビティデータ３０１を保存しておき、それを破線で示すようにアクティビティ情報３０３に代えて入力するようにしてもよい。このアクティビティ情報３０３またはアクティビティデータ３０１はアクティビティ分析部３２に入力され、マクロブロック単位のアクティビティを示すアクティビティ情報３０８と、マクロブロック単位のアクティビティのフレーム内平均値を示すフレーム内アクティビティ平均値情報３０９が出力される。
【００５０】
動き領域抽出部３４では、動きベクトル統計分析部３１からの領域分割／動きベクトル平均値情報３０５に基づいて画像の動き量が求められ、この動き量で領域分割した領域とその平均動き量を示す領域分割／平均動き量情報３１１が出力される。
【００５１】
シーンチェンジ検出部３５では、動きベクトル統計分析部３１からのフレーム内動きベクトル分散情報３０６とアクティビティ分析部３２からのアクティビティ情報３０８に基づき、動きベクトルのフレーム内分散の時間変化およびフレーム内平均アクティビティの時間変化からシーンチェンジ位置が検出され、シーンチェンジ位置情報３１２が出力される。
【００５２】
フレーム内符号量配分算出部３６では、発生符号量／量子化スケール値抽出部３３からの発生符号量／量子化スケール値情報３１０に基づいて、前述した発生符号量と量子化スケール値の関係から画像の符号化特性を算出し、量子化スケール値の変動が小さくなり、且つ所望のビットレートなるように、全動画像シーケンスにわたる各フレームの符号量配分のベ一ス値を算出する。
【００５３】
フレーム内量子化重み算出部３７では、動き領域抽出部３４からの領域分割／平均動き量情報３１１とアクティビティ分析部３２からのマクロブロック単位のアクティビティ情報３０８に基づいて、動きが激しい部分およびアクティビティが高い部分での量子化をフレーム内の他の部分の量子化より荒くするような量子化重み付けを各フレームのマクロブロック単位に決定し、その係数を表す量子化重み係数３１３を出力する。
【００５４】
フレーム内符号量配分補正部３８では、動きベクトル統計分析部３１からのフレーム内動きベクトル絶対値平均情報３０７と、アクティビティ分析部３２からのフレーム内アクティビティ平均値情報３０９と、シーンチェンジ検出部３５からのシーンチェンジ位置情報３１２に基づいて、（１）フレーム内の平均的な動き量に応じて動きの激しいフレームでは符号量を削減する、（２）フレーム内のアクティビティが平均的に大きい場合は同様に符号量を削減する、（３）シーンチェンジが検出された場合は、その直後のフレームの符号量を増加させる、といった（１）〜（３）に対応するフレーム符号量配分に対して与える重み係数を動画像シーケンスにわたる各フレーム毎に計算する。そして、フレーム内符号量配分算出部３６で算出された各フレーム毎の符号量配分のベース値に対して、これらの重み係数に応じた補正を加えて各フレームの符号量配分を決定し、フレーム内符号量配分値３１４を出力する。
【００５５】
こうして第１の符号化においてフレーム内量子化重み算出部３７で求められる量子化重み係数３１３と、フレーム内符号量配分補正部３８で求められるフレーム内符号量配分値３１４は、それぞれ符号化制御用データとして全動画像シーケンスにわたって記録される。符号化制御データ生成部３９では、記録されたフレーム内量子化重み係数３１３とフレーム内符号量配分値３１４に基づいて、符号化制御データ３１５を生成する。
【００５６】
この符号化データ制御データ３１５は、図１または図４における符号化レート制御部２３に供給され、符号化レート制御部２３では、これに基づいて図１または図４中の量子化器１３での量子化スケール値を制御する。これにより、符号量配分を最適化した第２の符号化が行われる。
【００５７】
図９は、上述した符号量配分の具体例を示したものである。図９（ａ）は、第１の符号化において一定の量子化スケール値で符号化した場合のフレーム単位の発生符号量、アクティビティおよび平均動き量のそれぞれの時間変化と、シーンチェンジ位置ＳＣ１，ＳＣ２を示している。図９（ｂ）は、所望の符号化ビットレートの下での第１の符号化による発生符号量に応じたフレーム単位の符号量配分のベース値を示している。図９（ｃ）は、図９（ｂ）のベース値に対してシーンチェンジ直後のフレームにおける符号量増加の補正を加えたものである。図９（ｄ）は、図９（ｃ）に加えてアクティビティに応じた補正を加えたものを示している。図９（ｅ）は、図９（ｄ）に加えて平均動き量による補正を加えた最終的なフレーム単位の符号量配分の時間変化を示したものである。
【００５８】
図１０は、フレーム内量子化重み算出部３７によるフレーム内の動き量およびアクティビティに基づく量子化重み付けについての説明図である。
図１０（ａ）に示すように、動きの速さが小さく、且つ動きベクトルの分散が小さい領域、すなわちゆっくりと一定の方向に動くか、あるいは停止している部分では量子化を細かくするよう量子化重み係数３１３を決定して符号化歪みを低減し、符号化ＳＮＲを高くする。一方、動きの速い部分、あるいは動きベクトルの分散が高く、すなわちランダムな動きをしている部分等では、量子化を荒くするように量子化重み係数３１３を決定する。後者の場合、符号化ＳＮＲは低下する。
【００５９】
また、図１０（ｂ）に示すように、マクロブロック単位のアクティビティが高い場合は荒く量子化するように量子化重み係数３１３を決定し、逆にアクティビティが低い部分については量子化を細かくするように量子化重み係数３１３を決定する。符号化ＳＮＲは、前者の場合は低くなり、後者の場合は高くなる。
【００６０】
図１１は、フレームに対してマクロブロック毎の動き量に基づく領域分割を行い、それぞれの領域毎に量子化重み付けを行った量子化重み係数３１３の例を示したものである。第２の符号化における各マクロブロックの量子化の際には、通常の符号化レート制御で求まるマクロブロック単位の量子化スケール値に対し、これらの重み係数を乗算して補正した量子化スケール値を用いて符号化を行うものとする。すなわち、補正係数が１以下の部分は相対的に高いＳＮＲで、また補正係数が１以上の部分は相対的に低いＳＮＲで符号化されることになる。
【００６１】
本発明は、上記実施形態に限られるものではなく、次のように種々変形して実施することができる。
（１）第２の実施形態では、第１の符号化時に第１の実施形態と同様に動き補償フレーム間符号化とフレーム内符号化を併用したが、フレーム内符号化のみを用い、全てのフレーム内符号化対象の画像信号について動きベクトルの検出と動きベクトル情報の多重化を行ってもよい。このようにすると、第１の符号化時の符号化効率は若干低下するが、ノンリニア編集の自由度が上がり、かつ第２の符号化を高画質化できる。
【００６２】
（２）実施形態で説明した最適符号量配分方法においては、（ａ） 第２の符号化により得られる符号化データの符号量配分値、（ｂ） 該符号量配分値に対して与える重み係数、（ｃ） 第２の符号化における量子化時の量子化スケール値および（ｄ） 該量子化スケール値に対して与える量子化重み係数をレート制御パラメータとして決定して符号化レートを制御するようにしたが、これら（ａ） 〜（ｄ） の１つ乃至〜３つをレート制御パラメータとしてもよい。
【００６３】
（３）本発明では、動画像符号化の処理を全てハードウェアで実現するようにしてもよいし、一部の処理または多くの部分の処理をプロセッサによるソフトウェアで実行することも可能である。
【００６４】
【発明の効果】
以上説明したように、本発明によれば符号化効率改善のための同一動画像信号に対する複数回の符号化において、第１の符号化時にフレーム内符号化画像においても動きベクトルを検出して符号化データに多重化し、第１の符号化で得られた符号化データから動きベクトル情報を抽出してマクロブロックレベルの詳細な動き情報をハードウエアの増加なしに、しかも予測構造によらず常に検出することができる。
【００６５】
そして、このように検出された動き情報に基づいて、動きの速さや、動きベクトルのランダム性から、人間の視覚特性と符号化歪み低減の両者に基づいた最適な符号量配分を行い、この最適化された符号量配分の下で第２の符号化を行うことによって、一定の符号化ビットレートの下での高画質化を実現することが可能となる。
【００６６】
また、第１の符号化において全てのフレームをフレーム内符号化とした場合においても、動き情報の抽出が可能となるため、第１の符号化データによりフレーム単位のノンリニア編集と最適符号量配分を共通化して行うことが可能となり、ノンリニア編集・符号化システムにおいて総符号化回数を削減し、かつ高画質の符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】ＭＰＥＧ２のビデオシンタックスの一部を示す図
【図３】ＭＰＥＧ２におけるコンシールメントベクトルを説明する図
【図４】本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図
【図５】フレーム間予測構造についての説明図
【図６】量子化スケール値に対する符号化特性を示す図
【図７】動画像の性質に関する視覚感度特性を示す図
【図８】本発明における符号化制御部の構成例を示すブロック図
【図９】本発明における最適符号量配分の例を示す図
【図１０】本発明における動きに応じたフレーム内量子化重み付けを説明する図
【図１１】本発明におけるフレーム内量子化重み付けの具体例を示す図
【符号の説明】
１０…動きベクトル検出器
１１…減算器
１２…離散コサイン変換器
１３…量子化器
１４…逆量子化器
１５…逆離散コサイン変換器
１６…加算器
１７…参照画像フレームメモリ
１８…動き補償予測器
１９…可変長符号化器
２０…蓄積メディア
２１…文法解析部
２２…符号化統計データ分析部
２３…レート制御部
２４…文法解析機能を有する復号部
２５…入力信号切替部
２６…編集機
３０…文法解析部または復号部
３１…動きベクトル統計分析部
３２…アクティビティ分析部
３３…発生符号量／量子化スケール値抽出部
３４…動き領域抽出部
３５…シーンチェンジ検出部
３６…フレーム内符号量配分算出部
３７…フレーム内量子化重み算出部
３８…フレーム内符号量配分補正部
３９…符号化制御データ生成部
１０１…入力動画像信号
１０２…予測信号
１０３…予測誤差信号
１０４…ＤＣＴ係数データ
１０５…局部復号信号
１０６…動きベクトル情報
１０７…予測モード情報
１０８…符号化データ
１０９…発生符号量情報
１１０…符号化統計量情報
１１１…復号動画像信号
３００…符号化データ
３０１…アクティビティデータ
３０２…マクロブロック単位の動きベクトル情報
３０３…マクロブロック単位のアクティビティ情報
３０５…領域分割／動きベクトル平均値情報
３０６…フレーム内動きベクトル分散情報
３０７…フレーム内動きベクトル絶対値平均情報
３０８…マクロブロック単位のアクティビティ情報
３０９…マクロブロック単位のフレーム内アクティビティ平均値情報
３１０…発生符号量／量子化スケール値情報
３１１…動き領域分割／平均動き量情報
３１２…シーンチェンジ位置情報
３１３…フレーム内量子化重み係数情報
３１４…フレーム内符号量配分値
３１５…符号化制御データ
【発明の属する技術の分野】
本発明は、同一もしくは実質的に同一の動画像信号に対して少なくとも２回の符号化を行い、ハードディスクや光ディスク等の蓄積メディアに記録する動画像符号化方法および装置に関する。
【０００２】
【従来の技術】
動画像符号化方式の国際標準であるＭＰＥＧ２を用いたアプリケーションは、再生専用光ディスクや、ディスクアレイを用いたビデオサーバ、通信衛星を用いたディジタル放送等に幅広く普及しつつある。
【０００３】
ＭＰＥＧ２方式では、符号化効率を向上させるために前方予測あるいは両方向予測フレーム間符号化が用いられ、また可変レート符号化等により適応的な符号量配分がなされることもある。固定レート符号化においても、予測構造や画像の周波数特性、動き量等に応じて、一定期間で一定の符号化レートとなる条件の中で、フレーム単位の符号量が適応的に配分されて符号化が行われるのが一般的である。つまり、固定レート符号化、可変レート符号化を問わず、ＭＰＥＧ２方式では、平均符号化レートが同じであっても符号化のレート制御方法が主観的な画質を左右する。
【０００４】
再生専用光ディスクのような蓄積系のアプリケーションでは、同じ入力動画像信号に対して２回符号化を行い、第１の符号化で動画像シーケンス全体の特性を分析して記録しておき、第２の符号化で最適な符号化レート制御を行う方法も知られている。その場合、動画像全体のマクロブロックレベルの詳細な性質を分析し、分析データを収集して記録するためには、一般的に専用のハードウエアが必要になる。
【０００５】
一方、未編集の動画像データに対して編集および符号化を行う際に上述した２回符号化を適用する場合には、編集作業の後に上述した第１、第２の符号化を行う必要があり、作業時間がかかる。さらに、編集作業の効率化を図るために、まず動画像データをモーションＪＰＥＧのようなイントラ符号化により符号化してハードディスクに記録し、ハードディスク上でコンピュータ処理により編集作業を行うノンリニア編集を行う場合は、動画像データをハードディスクに記録するための符号化（取り込み符号化という）を別途行う必要があり、合計で３回の符号化が必要となる。
【０００６】
【発明が解決しようとする課題】
上述したように、複数回の符号化を行って符号化効率を上げる従来の動画像符号化方式では、入力動画像の分析および分析データの収集のための専用のハードウエアが必要となり、またノンリニア編集等を用いる場合は、取り込み符号化を別途に行う必要があった。
【０００７】
本発明は、このような従来の問題点を解消するためになされたもので、ハードウエアの大幅な増加なしに複数回の符号化による符号化効率の向上を達成でき、またノンリニア編集作業を行う場合の総符号化回数を削減できる動画像符号化方法および装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明は同一の入力動画像信号について動き補償フレーム間符号化またはフレーム内符号化により少なくとも第１の符号化および第２の符号化の２回の符号化を行い、得られた符号化データを記録する動画像符号化に際して、第１の符号化時に動き補償フレーム間符号化対象の画像信号およびフレーム内符号化対象の画像信号の両方について動きベクトルを検出して動きベクトル情報を符号化データに多重化し、この動きベクトル情報が多重化された符号化データを記録し、この記録した符号化データから動きベクトル情報を抽出して動画像の動き量を検出し、少なくとも該動き量を用いて第２の符号化時の符号化レートを制御することを特徴とする。
【０００９】
このように第１の符号化時に、動き補償フレーム間符号化対象の画像信号のみでなく、フレーム内符号化対象の画像信号についても動きベクトルを検出して、その動きベクトル情報を符号化データに多重化して記録することにより、この記録した符号化データから予測構造によらず常に動きベクトル情報を抽出することが可能である。従って、この動きベクトル情報から動画像の動き量を的確に検出し、それに基づいて第２の符号化時の符号化レートを制御することで、最適な符号量配分を行って、符号化効率を上げることができる。この場合、基本的には第１の符号化時に得られた動きベクトルから動き量を抽出し、それに基づいて最適な符号量配分値を決定できるため、第１の符号化で得られた符号化データの分析のための専用の複雑なハードウェアを必要としない。
【００１０】
また、本発明は入力動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第１の符号化を行い、この第１の符号化により得られた符号化データを記録し、この記録した符号化データを復号して得られた動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第２の符号化を行う際、第１の符号化時に動き補償フレーム間符号化対象の画像信号およびフレーム内符号化対象の画像信号の両方について動きベクトルを検出して動きベクトル情報を符号化データに多重化し、この動きベクトル情報が多重化された符号化データを記録し、この記録した符号化データを復号して該符号化データから動きベクトル情報を抽出して動画像の動き量を検出し、少なくとも該動き量を用いて第２の符号化時の符号化レートを制御することを特徴とする。
【００１１】
この場合、第１の符号化で得られた符号化データをハードディスクのような蓄積メディアに記録してノンリニア編集を行い、編集後の符号化データを復号して得られた動画像信号を用いて第２の符号化を行うことにより、第１の符号化の際に符号化データに多重化された動きベクトル情報から動画像の動き量を的確に検出し、それに基づいて第２の符号化時の符号化レートを制御することで、最適な符号量配分を行って、符号化効率を上げることができる。
【００１２】
このようにすると、従来では編集のための取り込み符号化の後に第１、第２の符号化を行うことにより合計３回の符号化が必要であったアプリケーションにおいて、取り込み符号化と第１の符号化を共通化させて、取り込み符号化の際に動きベクトル情報の多重化を合わせて行うことで、総符号化回数を３回から２回に減少させることが可能となる。
【００１３】
一般に、ノンリニア編集ではフレーム内符号化あるいはランダムアクセス単位が数フレームというＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ：グループ・オブ・ピクチャ）で符号化することが望ましいが、本発明ではフレーム内符号化対象の画像信号にも動きベクトル情報の多重化を行い、多重化されたベクトル情報を用いた最適な符号化レート制御を行うため、ノンリニア編集のアクセス性の要求と、符号化効率改善の要求の両者を満たすことができる。
【００１４】
第１の符号化に際しては、フレーム内符号化のみを用いて入力動画像信号を符号化してもよく、その場合、第１の符号化時に全てのフレーム内符号化対象の画像信号について動きベクトルを検出して動きベクトル情報を符号化データに多重化すればよい。こうすることによって、ノンリニア編集における総符号化回数の削減と、高画質化が可能となる。
【００１５】
本発明における符号化レートの制御は、具体的には、例えば（ａ） 第２の符号化により得られる符号化データの符号量配分値、（ｂ） 該符号量配分値に対して与える重み係数、（ｃ） 第２の符号化における量子化時の量子化スケール値および（ｄ） 該量子化スケール値に対して与える量子化重み係数の少なくとも一つを含むレート制御パラメータを決定して行うことができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る動画像符号化装置の構成を示す。入力動画像信号１０１は、同じ信号を繰り返し複数回再生可能なＶＴＲのようなビデオ記録再生機器によって再生される信号であり、この入力動画像信号１０１に対して動き補償フレーム間予測符号化またはフレーム内符号化が行われる。
【００１７】
すなわち、入力動画像信号１０１はまず動き検出器１０に入力される。この動き検出器１０では、入力動画像信号１０１と参照画像フレームメモリ１７に記憶されている既に符号化がなされたフレームの局部復号信号からなる参照画像信号との間のマクロブロック単位の動きベクトルが検出される。具体的には、入力動画像信号１０１のマクロブロックに対して参照画像信号の最も相関の高いマクロブロックを検出することにより、入力動画像信号１０１のマクロブロックが参照画像信号のどのマクロブロックから動いたものかを示す情報が動きベクトルとして検出され、動きベクトル情報１０６が出力される。
【００１８】
動き補償予測器１８では、この動きベクトル情報１０６を用いて参照画像信号に対して動き補償が行われ、予測信号１０２が生成される。また、動き補償予測器１８においては、動き補償フレーム間予測と入力動画像信号１０１をそのまま符号化するフレーム内符号化（予測信号＝０）のうち、好適な方の予測モードが選択され、その予測モードに対応する予測信号１０２が出力される。
【００１９】
入力動画像信号１０１は、減算器１１にも入力される。この減算器１１では、入力動画像信号１０１と動き補償予測器１８からの予測信号１０２との差がとられ、予測誤差信号１０３が生成される。この予測誤差信号１０３は、離散コサイン（ＤＣＴ）変換器１２により一定の大きさのブロック単位で離散コサイン変換される。離散コサイン変換により得られたＤＣＴ係数データは、量子化器１３で量子化される。量子化器１３で量子化されたＤＣＴ係数データは二分岐され、一方で可変長符号化器１９に入力され、他方で逆量子化器１４により逆量子化された後、さらに逆離散コサイン（ＩＤＣＴ）変換器１５で逆離散コサイン変換（逆ＤＣＴ）される。
【００２０】
逆離散コサイン変換器１５からの出力は加算器１６で予測信号１０２と加算されて局部復号信号１０５となり、参照画像フレームメモリ１７に参照画像信号として記憶される。参照画像フレームメモリ１７に記憶された参照画像信号は、動き補償予測器１８に読み出され、動き補償フレーム間予測が行われる。
【００２１】
動きベクトル検出部１０から出力される動きベクトルの情報と動き補償予測器１８からの出力される予測モードの情報は、可変長符号化器１９に入力される。可変長符号化器１９においては、量子化されたＤＣＴ係数データと動きベクトルおよび予測モードの情報がそれぞれ可変長符号化され、符号化データ１０８となる。この符号化データ１０８は、例えばハードディスクのような蓄積メディアに記録される。
【００２２】
本実施形態では、同一の入力動画像信号１０１に対して、第１の符号化と第２の符号化の２回の符号化が上述した動作により行われる。ここで、第１の符号化時には、可変長符号化器１９から符号化データ１０８と共に符号化データ１０８の発生符号量を示す発生符号量情報１０９も出力され、レート制御部２３に入力される。レート制御部２３は、第１の符号化時には発生符号量情報１０９に基づいて、符号化データ１０８が所定の符号化ビットレートとなるように、フィードバック制御により量子化器１３の量子化スケール値（量子化ステップ幅または量子化幅ともいう）を制御する。
【００２３】
さらに、本実施形態では文法解析部２１と符号化統計量分析部２２が設けられる。すなわち、第２の符号化時には第１の符号化時に蓄積メディア２０に記録された符号化データから、文法解析部２１により少なくとも発生符号量情報および動きベクトル情報を含む符号化データが抽出され、符号化統計量分析部２２に入力される。符号化統計量分析部２２では、文法解析部２１により抽出された符号化データの分析が行われ、それに基づき第２の符号化時の符号化データでの最適な符号量配分が決定される。
【００２４】
そして第２の符号化には、第１の符号化時に符号化統計量分析部２２で決定された符号量配分を示す符号量配分値１１０に基づいて、レート制御部２３で符号化レート制御が行われる。符号化レート制御は、本実施形態では量子化器１３における量子化スケール値の制御によって行われる。
【００２５】
ここで、第１の符号化における動きベクトルの検出は、従来の２回符号化では動き補償フレーム間予測符号化を行うフレーム（動き補償フレーム符号化対象の画像信号）のみについて行われていたのに対し、本発明ではさらにフレーム内符号化を行うフレーム（フレーム内符号化対象の画像信号）についても動きベクトル検出器１０により動きベクトル検出を行い、動きベクトル情報１０６を出力する。
【００２６】
このフレーム内符号化対象の画像信号の動きベクトル情報は、伝送路で発生したデータ誤りを補償するために記録されるコンシールメントベクトルの情報として、可変長符号化器１９で生成される符号化データに多重化される。こうしてコンシールメントベクトルとして符号化データに多重化され記録された動きベクトル情報は、第２の符号化時に文法解析部２１においてフレーム間符号化対象の画像信号の動きベクトル情報と同様に、第２の符号化時の最適符号量配分のために符号化データから抽出される。
【００２７】
図２および図３を用いて、コンシールメントベクトルについて説明する。ＭＰＥＧ２方式では、コンシールメントベクトルは図２に示すように、ピクチャ単位に多重されるヘッダのｐｉｃｔｕｒｅ−ｃｏｄｉｎｇ−ｅｘｔｅｎｓｉｏｎ（）内のｃｏｎｃｅａｌｍｅｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒｅｓ フラグを“１”として、イントラ符号化（フレーム内符号化）マクロブロックにおいても、ベクトル情報を多重化する枠組みが規定されている。コンシールメントベクトルの本来の利用目的は、伝送誤りに対する耐性を強化することにある。
【００２８】
例えば、図３に示す映像フレームＦで伝送路における誤りにより、マクロブロックＭＢ２が再生不能となった場合、その１マクロブロックライン分さかのぼるマクロブロックライン上で、同一水平位置にあるマクロブロックＭＢ１に多重された動きベクトルを用いて、マクロブロックＭＢ２の参照画像からの動き補償予測を行い、予測画像をそのまま再生画像にマッピングしてマクロブロックＭＢ２の画像を再生する。
【００２９】
ここで、マクロブロックＭＢ１がイントラ符号化マクロブロックである場合、通常はベクトル情報が多重化されないが、ここにコンシールメントベクトルを多重化しておくことにより、マクロブロックＭＢ２で発生した誤りの補償を行うことが可能となる。従って、コンシールメントベクトルとしては、１マクロブロックライン下のマクロブロックに対する動きベクトルの情報が多重化される。
【００３０】
一方、後述するようにマクロブロック単位での動きベクトルを用いた最適符号量配分を行う場合は、イントラ符号化マクロブロックにおいても、本来の動きベクトルを多重化することが望ましい。そこで、第１の符号化において、イントラ符号化マクロブロックにおけるコンシールメントベクトルは、１マクロブロックライン下のマクロブロックに対する動きベクトルではなく、符号化マクロブロックにおける動きベクトルを多重化する構成とすることで、より精度のよい符号量配分の実現が可能なる。但し、フレーム内の大局的な動きを検出するためには、通常のコンシールメントベクトルで、１マクロブロックライン下のマクロブロックにおける動きベクトルを多重したものでも、有意なベクトルとして用いることが可能である。
【００３１】
動きベクトル情報や発生符号量情報は、専用フォーマットで符号化データ中に多重化してもよいし、専用のデータパスを用いて出力してもよいが、符号化データ中に多重化し、オフラインでソフトウエアによる文法解析を行うことにより、符号化装置に専用ハードウエアの追加なしに、所望のデータの出力を行うことが可能となる。
【００３２】
また、動きベクトルの他にも、入力動画像のアクティビティや予測誤差の大きさを含む統計デ一タを符号化デ一タに多重化して、あるいは専用のデータパスで出力し、最適符号量配分のための動画像分析に用いる構成としてもよい。
【００３３】
（第２の実施形態）
次に、図４を用いて本発明の第２の実施形態に係る動画像符号化装置について説明する。
【００３４】
図４において図１と同一部分に同一符号を付して第１の実施形態との相違点を述べると、本実施形態では第１の実施形態における文法解析部２１が文法解析機能を有する復号部２４に置き換えられ、さらに復号部２４により復号された復号動画像信号１１１と入力動画像信号１０１とを切り替えて符号化部に入力する入力信号切替部２５が付加された構成となっている。従って、本実施形態では第１の符号化による符号化データを復号して、復号された動画像信号を再度符号化することが可能である。第１の符号化を行う場合は、第１の実施形態と同様にフレーム内符号化画像においても、符号化データへの動きベクトル情報の多重化を行う。
【００３５】
さらに、本実施形態では蓄積メディア２０上に記録された符号化データに対して、コンピュータを利用した編集機２６によりノンリニア編集を行うことが可能となっている。
【００３６】
本実施形態においては、入力動画像信号１０１に対して第１の符号化を行い、第１の符号化で得られた符号化データに基づく最適符号量配分の下で、蓄積メディア２０に記録された符号化データを再生し復号して再符号化（第２の符号化）を行うことが可能である。従って、入力動画像画像１０１は第１および第２の符号化を通して一度入力するだけで済むので、入力動画像信号１０１の発生源としてはＶＴＲ等の複数回再生可能なメディアに限定されず、例えばビデオカメラで撮像して得られた動画像信号や、通信系で送られてくる動画像信号を直接入力することも可能である。
【００３７】
また、本実施形態では第１の符号化で得られた符号化データをハードディスクのような高速なランダムアクセスが容易な蓄積メディア２０上に記録することで、編集機２６により符号化データ上での動画像シーケンスの時間方向での切り貼り等のノンリニア編集を容易に行うことが可能となる。フレーム単位のノンリニア編集の自由度は、符号化におけるフレーム間予測構造に大きく依存したものとなる。
【００３８】
そこで、図５を用いてフレーム間予測構造の例を説明する。
ＭＰＥＧ２方式では、符号化効率を上げるために、図５（ａ）に示すようにフレーム内符号化（イントラ符号化）画像（Ｉピクチャ）、前方予測画像（Ｐピクチャ）および両方向予測画像（Ｂピクチャ）をおりまぜた予測構造を構成し、予測のリフレッシュを複数のフレームで構成されるＧＯＰ単位に行う構成とするのが一般的である。この場合、ランダムアクセスはＧＯＰ単位に行う必要があり、符号化データレベルでの編集作業の自由度は、ＧＯＰ長（１ＧＯＰに含まれるピクチャ数）に依存する。
【００３９】
本実施形態における第１の符号化の目的は、（１）入力動画像信号１０１についての動画像分析、（２）動画像信号の入力作業を１回で済ませるようにする、（３）ノンリニア編集を可能とする、の３つであり、これらの目的を満たすために、圧縮率のある程度の犠牲を許容している。編集の自由度を上げる一つの方法としては、上述のようにＧＯＰ長を短くすることが挙げられ、例えば図５（ｂ）に示すようにＧＯＰ長を３フレーム程度のＧＯＰにするか、あるいは図５（ｃ）のように全てのフレームをＩピクチャとする、つまりＧＯＰ長を１フレームとすることで、編集の自由度は向上する。
【００４０】
一方、フレーム内符号化時に動きベクトル検出を行わない場合、上記（１）の動画像分析の際に動き情報の分析が困難となる。しかし、本発明によれば伝送路の誤り耐性が本来の目的であるコンシールメントベクトルの枠組みで、フレーム内符号化対象画像の画像信号についても動きベクトルの検出と、それにより得られた動きベクトル情報の符号化データへの多重化を行い、符号化終了後に符号化データを解析することで、動き情報の分析を行うことができるため、上記（１）〜（３）の全ての目的を達成することが可能となる。
【００４１】
（最適符号量配分方法について）
次に、上述した第１および第２の実施形態に共通する最適符号量配分方法について、図６〜図１１を用いて説明する。
通常、符号化画像の画質は符号化における量子化スケール値と密接な関係にあり、図６（ａ）に示すように符号化データを復号して得られた復号画像のＳＮ比（以下、ＳＮＲと記す）は、量子化スケール値の増加に対して単調減少の関係にある。また、この関係は一般に画像の性質には大きく依存しない。さらに、発生符号量も同様に、図６（ｂ）に示すように量子化スケール値に対して単調減少の関係にある。
【００４２】
但し、ＭＰＥＧ２方式では、エントロピー符号化に基づいた情報圧縮を行うため、発生符号量は入力動画像信号の複雑さに応じて変化する。従って、復号した画像がＳＮＲの面で均一で安定した画質となるようにするためには、量子化スケール値を均一化して符号量配分を画像の性質に応じて変化させる必要がある。
【００４３】
本発明の実施形態においては、第１の符号化で得られた符号化データからフレーム単位あるいはマクロブロック単位の発生符号量と量子化スケール値をそれぞれ抽出することで、図６（ｂ）に示した各画像の性質に固有の量子化スケール値と発生符号量との関係が算出でき、それにより量子化スケール値の変動が小さくなるように、つまり復号画像のＳＮＲが均一となるように符号量配分のベース値を決定することができる。
【００４４】
次に、こうして求まった符号量配分のベース値に対して、動画像の動きと画像の性質に依存する人間の視覚特性を考慮した適応符号量配分を行う。この点について、以下に説明する。
人間の視覚特性は、図７（ａ）に示すように、動きの速さが一定以上になると急激に視覚の感度が低下し、それに伴い符号化歪みが知覚されにくくなる性質がある。また、符号化歪みはランダム性の高い信号となるため、図７（ｂ）に示すように、原画像そのものがランダム性の高い、つまりアクティビティの大きい画像である場合、符号化歪みはそれにマスクされて知覚されにくくなるという性質もある。従って、動きが速い画像やアクティビティが大きい画像では、相対的に符号量を少なくしてＳＮＲの低い符号化を行い、それ以外の知覚されやすい部分に多くの符号量を適応的に割り当てることで、主観的な画質を向上させることが可能となる。
【００４５】
また、フレーム間動き補償予測符号化に起因する問題として、シーンチェンジ等の映像内容の変化に対しては、動き補償予測の予測効率が一時的に急激に低下し、画質の乱れが生じることがある。この画質の乱れを防止または低減させるためには、シ−ンチェンジを検出し、シーンチェンジ直後の画像をフレーム内符号化に変更するか、あるいは符号量配分を多くして動き補償フレーム間符号化を行えばよい。シーンチェンジは、動きベクトル値のフレーム内分散、アクティビティの時間変化、平均輝度値または色差信号値の時間変化、動き補償予測誤差値の少なくとも一つから求めることが可能である。
【００４６】
図８は、上述した符号量配分法に基づく符号化制御部の構成を示すブロック図であり、図１における文法解析部２１と符号化統計量分析部２２、あるいは図４における文法解析機能を有する復号部２４と符号化統計量分析部２２の要部を詳しく示したものである。
【００４７】
蓄積メディア２０から読み出された符号化データ３００は、図１における文法解析部２１または図４における復号部２４に相当するパーサ／デコーダ３０に入力され、符号化データ３００からマクロブロック単位の動きベクトルとアクティビティを示す動きベクトル情報３０２およびアクティビティ情報３０３が抽出される。また、パーサ／デコーダ３０の出力３０４から、発生符号量／量子化スケール値抽出部３３によりフレーム単位およびマクロブロック単位の発生符号量および量子化スケール値を示す発生符号量／量子化スケール値情報３１０が抽出される。
【００４８】
パーサ／デコーダ３０により抽出されたマクロブロック単位の動きベクトル情報３０２は動きベクトル統計分析部３１に入力され、ここで隣接マクロブロックの動きベクトル値の相関を用いた領域分割とその領域内の動きベクトル平均値を示す領域分割／動きベクトル平均値情報３０５と、動きベクトルのフレーム内分散を示すフレーム内動きベクトル分散情報３０６、および動きベクトルのフレーム内絶対値平均を示すフレーム内動きベクトル絶対値平均情報３０７が求められる。
【００４９】
パーサ／デコーダ３０により抽出されるアクティビティ情報３０３は、符号化データ３００にユーザデータとして第１の符号化時に多重されているか、あるいは符号化データ３００中のＤＣＴ係数の分布から算出される。また、符号化の際に符号化データとは別にアクティビティデータ３０１を保存しておき、それを破線で示すようにアクティビティ情報３０３に代えて入力するようにしてもよい。このアクティビティ情報３０３またはアクティビティデータ３０１はアクティビティ分析部３２に入力され、マクロブロック単位のアクティビティを示すアクティビティ情報３０８と、マクロブロック単位のアクティビティのフレーム内平均値を示すフレーム内アクティビティ平均値情報３０９が出力される。
【００５０】
動き領域抽出部３４では、動きベクトル統計分析部３１からの領域分割／動きベクトル平均値情報３０５に基づいて画像の動き量が求められ、この動き量で領域分割した領域とその平均動き量を示す領域分割／平均動き量情報３１１が出力される。
【００５１】
シーンチェンジ検出部３５では、動きベクトル統計分析部３１からのフレーム内動きベクトル分散情報３０６とアクティビティ分析部３２からのアクティビティ情報３０８に基づき、動きベクトルのフレーム内分散の時間変化およびフレーム内平均アクティビティの時間変化からシーンチェンジ位置が検出され、シーンチェンジ位置情報３１２が出力される。
【００５２】
フレーム内符号量配分算出部３６では、発生符号量／量子化スケール値抽出部３３からの発生符号量／量子化スケール値情報３１０に基づいて、前述した発生符号量と量子化スケール値の関係から画像の符号化特性を算出し、量子化スケール値の変動が小さくなり、且つ所望のビットレートなるように、全動画像シーケンスにわたる各フレームの符号量配分のベ一ス値を算出する。
【００５３】
フレーム内量子化重み算出部３７では、動き領域抽出部３４からの領域分割／平均動き量情報３１１とアクティビティ分析部３２からのマクロブロック単位のアクティビティ情報３０８に基づいて、動きが激しい部分およびアクティビティが高い部分での量子化をフレーム内の他の部分の量子化より荒くするような量子化重み付けを各フレームのマクロブロック単位に決定し、その係数を表す量子化重み係数３１３を出力する。
【００５４】
フレーム内符号量配分補正部３８では、動きベクトル統計分析部３１からのフレーム内動きベクトル絶対値平均情報３０７と、アクティビティ分析部３２からのフレーム内アクティビティ平均値情報３０９と、シーンチェンジ検出部３５からのシーンチェンジ位置情報３１２に基づいて、（１）フレーム内の平均的な動き量に応じて動きの激しいフレームでは符号量を削減する、（２）フレーム内のアクティビティが平均的に大きい場合は同様に符号量を削減する、（３）シーンチェンジが検出された場合は、その直後のフレームの符号量を増加させる、といった（１）〜（３）に対応するフレーム符号量配分に対して与える重み係数を動画像シーケンスにわたる各フレーム毎に計算する。そして、フレーム内符号量配分算出部３６で算出された各フレーム毎の符号量配分のベース値に対して、これらの重み係数に応じた補正を加えて各フレームの符号量配分を決定し、フレーム内符号量配分値３１４を出力する。
【００５５】
こうして第１の符号化においてフレーム内量子化重み算出部３７で求められる量子化重み係数３１３と、フレーム内符号量配分補正部３８で求められるフレーム内符号量配分値３１４は、それぞれ符号化制御用データとして全動画像シーケンスにわたって記録される。符号化制御データ生成部３９では、記録されたフレーム内量子化重み係数３１３とフレーム内符号量配分値３１４に基づいて、符号化制御データ３１５を生成する。
【００５６】
この符号化データ制御データ３１５は、図１または図４における符号化レート制御部２３に供給され、符号化レート制御部２３では、これに基づいて図１または図４中の量子化器１３での量子化スケール値を制御する。これにより、符号量配分を最適化した第２の符号化が行われる。
【００５７】
図９は、上述した符号量配分の具体例を示したものである。図９（ａ）は、第１の符号化において一定の量子化スケール値で符号化した場合のフレーム単位の発生符号量、アクティビティおよび平均動き量のそれぞれの時間変化と、シーンチェンジ位置ＳＣ１，ＳＣ２を示している。図９（ｂ）は、所望の符号化ビットレートの下での第１の符号化による発生符号量に応じたフレーム単位の符号量配分のベース値を示している。図９（ｃ）は、図９（ｂ）のベース値に対してシーンチェンジ直後のフレームにおける符号量増加の補正を加えたものである。図９（ｄ）は、図９（ｃ）に加えてアクティビティに応じた補正を加えたものを示している。図９（ｅ）は、図９（ｄ）に加えて平均動き量による補正を加えた最終的なフレーム単位の符号量配分の時間変化を示したものである。
【００５８】
図１０は、フレーム内量子化重み算出部３７によるフレーム内の動き量およびアクティビティに基づく量子化重み付けについての説明図である。
図１０（ａ）に示すように、動きの速さが小さく、且つ動きベクトルの分散が小さい領域、すなわちゆっくりと一定の方向に動くか、あるいは停止している部分では量子化を細かくするよう量子化重み係数３１３を決定して符号化歪みを低減し、符号化ＳＮＲを高くする。一方、動きの速い部分、あるいは動きベクトルの分散が高く、すなわちランダムな動きをしている部分等では、量子化を荒くするように量子化重み係数３１３を決定する。後者の場合、符号化ＳＮＲは低下する。
【００５９】
また、図１０（ｂ）に示すように、マクロブロック単位のアクティビティが高い場合は荒く量子化するように量子化重み係数３１３を決定し、逆にアクティビティが低い部分については量子化を細かくするように量子化重み係数３１３を決定する。符号化ＳＮＲは、前者の場合は低くなり、後者の場合は高くなる。
【００６０】
図１１は、フレームに対してマクロブロック毎の動き量に基づく領域分割を行い、それぞれの領域毎に量子化重み付けを行った量子化重み係数３１３の例を示したものである。第２の符号化における各マクロブロックの量子化の際には、通常の符号化レート制御で求まるマクロブロック単位の量子化スケール値に対し、これらの重み係数を乗算して補正した量子化スケール値を用いて符号化を行うものとする。すなわち、補正係数が１以下の部分は相対的に高いＳＮＲで、また補正係数が１以上の部分は相対的に低いＳＮＲで符号化されることになる。
【００６１】
本発明は、上記実施形態に限られるものではなく、次のように種々変形して実施することができる。
（１）第２の実施形態では、第１の符号化時に第１の実施形態と同様に動き補償フレーム間符号化とフレーム内符号化を併用したが、フレーム内符号化のみを用い、全てのフレーム内符号化対象の画像信号について動きベクトルの検出と動きベクトル情報の多重化を行ってもよい。このようにすると、第１の符号化時の符号化効率は若干低下するが、ノンリニア編集の自由度が上がり、かつ第２の符号化を高画質化できる。
【００６２】
（２）実施形態で説明した最適符号量配分方法においては、（ａ） 第２の符号化により得られる符号化データの符号量配分値、（ｂ） 該符号量配分値に対して与える重み係数、（ｃ） 第２の符号化における量子化時の量子化スケール値および（ｄ） 該量子化スケール値に対して与える量子化重み係数をレート制御パラメータとして決定して符号化レートを制御するようにしたが、これら（ａ） 〜（ｄ） の１つ乃至〜３つをレート制御パラメータとしてもよい。
【００６３】
（３）本発明では、動画像符号化の処理を全てハードウェアで実現するようにしてもよいし、一部の処理または多くの部分の処理をプロセッサによるソフトウェアで実行することも可能である。
【００６４】
【発明の効果】
以上説明したように、本発明によれば符号化効率改善のための同一動画像信号に対する複数回の符号化において、第１の符号化時にフレーム内符号化画像においても動きベクトルを検出して符号化データに多重化し、第１の符号化で得られた符号化データから動きベクトル情報を抽出してマクロブロックレベルの詳細な動き情報をハードウエアの増加なしに、しかも予測構造によらず常に検出することができる。
【００６５】
そして、このように検出された動き情報に基づいて、動きの速さや、動きベクトルのランダム性から、人間の視覚特性と符号化歪み低減の両者に基づいた最適な符号量配分を行い、この最適化された符号量配分の下で第２の符号化を行うことによって、一定の符号化ビットレートの下での高画質化を実現することが可能となる。
【００６６】
また、第１の符号化において全てのフレームをフレーム内符号化とした場合においても、動き情報の抽出が可能となるため、第１の符号化データによりフレーム単位のノンリニア編集と最適符号量配分を共通化して行うことが可能となり、ノンリニア編集・符号化システムにおいて総符号化回数を削減し、かつ高画質の符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】ＭＰＥＧ２のビデオシンタックスの一部を示す図
【図３】ＭＰＥＧ２におけるコンシールメントベクトルを説明する図
【図４】本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図
【図５】フレーム間予測構造についての説明図
【図６】量子化スケール値に対する符号化特性を示す図
【図７】動画像の性質に関する視覚感度特性を示す図
【図８】本発明における符号化制御部の構成例を示すブロック図
【図９】本発明における最適符号量配分の例を示す図
【図１０】本発明における動きに応じたフレーム内量子化重み付けを説明する図
【図１１】本発明におけるフレーム内量子化重み付けの具体例を示す図
【符号の説明】
１０…動きベクトル検出器
１１…減算器
１２…離散コサイン変換器
１３…量子化器
１４…逆量子化器
１５…逆離散コサイン変換器
１６…加算器
１７…参照画像フレームメモリ
１８…動き補償予測器
１９…可変長符号化器
２０…蓄積メディア
２１…文法解析部
２２…符号化統計データ分析部
２３…レート制御部
２４…文法解析機能を有する復号部
２５…入力信号切替部
２６…編集機
３０…文法解析部または復号部
３１…動きベクトル統計分析部
３２…アクティビティ分析部
３３…発生符号量／量子化スケール値抽出部
３４…動き領域抽出部
３５…シーンチェンジ検出部
３６…フレーム内符号量配分算出部
３７…フレーム内量子化重み算出部
３８…フレーム内符号量配分補正部
３９…符号化制御データ生成部
１０１…入力動画像信号
１０２…予測信号
１０３…予測誤差信号
１０４…ＤＣＴ係数データ
１０５…局部復号信号
１０６…動きベクトル情報
１０７…予測モード情報
１０８…符号化データ
１０９…発生符号量情報
１１０…符号化統計量情報
１１１…復号動画像信号
３００…符号化データ
３０１…アクティビティデータ
３０２…マクロブロック単位の動きベクトル情報
３０３…マクロブロック単位のアクティビティ情報
３０５…領域分割／動きベクトル平均値情報
３０６…フレーム内動きベクトル分散情報
３０７…フレーム内動きベクトル絶対値平均情報
３０８…マクロブロック単位のアクティビティ情報
３０９…マクロブロック単位のフレーム内アクティビティ平均値情報
３１０…発生符号量／量子化スケール値情報
３１１…動き領域分割／平均動き量情報
３１２…シーンチェンジ位置情報
３１３…フレーム内量子化重み係数情報
３１４…フレーム内符号量配分値
３１５…符号化制御データ
Claims (5)
- 同一の入力動画像信号について動き補償フレーム間符号化またはフレーム内符号化により少なくとも第１の符号化および第２の符号化の２回の符号化を行う符号化手段と、
前記第１の符号化時に動き補償フレーム間符号化対象の画像信号およびフレーム内符号化対象の画像信号の両方について動きベクトルを検出して動きベクトル情報を得る動きベクトル検出手段と、
前記動きベクトル情報を前記第１の符号化により得られる符号化データに多重化する多重化手段と、
この多重化手段により前記動きベクトル情報が多重化された符号化データを記録する記録手段と、
この記録手段により記録された符号化データから前記動きベクトル情報を抽出して動画像の動き量を検出し、少なくとも該動き量を用いて前記第２の符号化時の符号化レートを制御する制御手段とを有し、
前記制御手段は、少なくとも前記動き量を用いて、 (a) 前記第２の符号化により得られる符号化データの符号量配分値、 (b) 該符号量配分値に対して与える重み係数、 (c) 前記第２の符号化における量子化時の量子化スケール値および (d) 該量子化スケール値に対して与える量子化重み係数の少なくとも一つを含むレート制御パラメータを決定して前記符号化レートを制御することを特徴とする動画像符号化装置。 - 入力動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第１の符号化を行い、この第１の符号化により得られた符号化データを記録し、この記録した符号化データを復号して得られた動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第２の符号化を行う動画像符号化装置において、
前記第１の符号化時に動き補償フレーム間符号化対象の画像信号およびフレーム内符号化対象の画像信号の両方について動きベクトルを検出して動きベクトル情報を得る動きベクトル検出手段と、
前記動きベクトル情報を前記第１の符号化により得られる符号化データに多重化する多重化手段と、
この多重化手段により前記動きベクトルが多重化された符号化データを記録する記録手段と、
この記録手段により記録された符号化データの復号時に該符号化データから前記動きベクトル情報を抽出して動画像の動き量を検出し、少なくとも該動き量を用いて前記第２の符号化時の符号化レートを制御する制御手段とを有し、
前記制御手段は、少なくとも前記動き量を用いて、 (a) 前記第２の符号化により得られる符号化データの符号量配分値、 (b) 該符号量配分値に対して与える重み係数、 (c) 前記第２の符号化における量子化時の量子化スケール値および (d) 該量子化スケール値に対して与える量子化重み係数の少なくとも一つを含むレート制御パラメータを決定して前記符号化レートを制御することを特徴とする動画像符号化装置。 - 入力動画像信号についてフレーム内符号化により第１の符号化を行い、この第１の符号化により得られた符号化データを記録し、この記録した符号化データを復号して得られた動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第２の符号化を行う動画像符号化方法において、
前記第１の符号化時に全てのフレーム内符号化対象の画像信号について動きベクトルを検出して動きベクトル情報を符号化データに多重化し、
この動きベクトル情報が多重化された符号化データを記録し、
この記録した符号化データを復号して該符号化データから前記動きベクトル情報を抽出して動画像の動き量を検出し、
少なくとも該動き量を用いて前記第２の符号化時の符号化レートを制御することを特徴とする動画像符号化方法。 - 入力動画像信号についてフレーム内符号化により第１の符号化を行い、この第１の符号化により得られた符号化データを記録し、この記録した符号化データを復号して得られた動画像信号について動き補償フレーム間符号化またはフレーム内符号化により第２の符号化を行う動画像符号化装置において、
前記第１の符号化時に全てのフレーム内符号化対象の画像信号について動きベクトルを検出して動きベクトル情報を得る動きベクトル検出手段と、
前記動きベクトル情報を前記第１の符号化により得られる符号化データに多重化する多重化手段と、
この多重化手段により前記動きベクトルが多重化された符号化データを記録する記録手段と、
この記録手段により記録された符号化データの復号時に該符号化データから前記動きベクトル情報を抽出して動画像の動き量を検出し、少なくとも該動き量を用いて前記第２の符号化時の符号化レートを制御する制御手段とを有することを特徴とする動画像符号化装置。 - 前記制御手段は、少なくとも前記動き量を用いて、(a) 前記第２の符号化により得られる符号化データの符号量配分値、(b) 該符号量配分値に対して与える重み係数、(c) 前記第２の符号化における量子化時の量子化スケール値および(d) 該量子化スケール値に対して与える量子化重み係数の少なくとも一つを含むレート制御パラメータを決定して前記符号化レートを制御することを特徴とする請求項４に記載の動画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14190597A JP3586069B2 (ja) | 1997-05-30 | 1997-05-30 | 動画像符号化方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14190597A JP3586069B2 (ja) | 1997-05-30 | 1997-05-30 | 動画像符号化方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10336675A JPH10336675A (ja) | 1998-12-18 |
| JP3586069B2 true JP3586069B2 (ja) | 2004-11-10 |
Family
ID=15302894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14190597A Expired - Fee Related JP3586069B2 (ja) | 1997-05-30 | 1997-05-30 | 動画像符号化方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3586069B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6834080B1 (en) | 2000-09-05 | 2004-12-21 | Kabushiki Kaisha Toshiba | Video encoding method and video encoding apparatus |
| JP4709179B2 (ja) * | 2007-05-14 | 2011-06-22 | 日本電信電話株式会社 | 符号化パラメータ選択方法，符号化パラメータ選択装置，符号化パラメータ選択プログラムおよびその記録媒体 |
| JP4709187B2 (ja) * | 2007-07-10 | 2011-06-22 | 日本電信電話株式会社 | 符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP5762026B2 (ja) * | 2011-02-01 | 2015-08-12 | キヤノン株式会社 | 画像処理装置 |
| JP7079080B2 (ja) * | 2017-11-06 | 2022-06-01 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
1997
- 1997-05-30 JP JP14190597A patent/JP3586069B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10336675A (ja) | 1998-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1151681C (zh) | 具有mpeg编码解码器的数字记录和回放装置及其方法 | |
| KR100564896B1 (ko) | 화상부호화방법 및 장치와 기록매체 | |
| KR100599017B1 (ko) | 영상 데이터 압축 장치 및 그 방법 | |
| US7792193B2 (en) | Image encoding/decoding method and apparatus therefor | |
| IL164176A (en) | Method and device for specifying number parameters in an encrypted video system | |
| KR101096827B1 (ko) | 각기 다수의 매크로블록을 포함하는 예측 및 비예측 화상을이용하여 화상 시퀀스를 인코딩하는 방법 및 장치 | |
| KR20070007295A (ko) | 비디오 인코딩 방법 및 장치 | |
| US20100020883A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| US6907071B2 (en) | Selective prediction for intra-coding video data block | |
| JP3586069B2 (ja) | 動画像符号化方法および装置 | |
| JPH0998427A (ja) | 動画像符号化装置 | |
| JP4421734B2 (ja) | 符号化データ変換方法，及びデータ記録媒体 | |
| JP3895414B2 (ja) | 映像復号化装置 | |
| JP5472094B2 (ja) | 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム | |
| JPH08149413A (ja) | 可変ビットレート符号化装置および記録装置および記録媒体 | |
| JP2003023637A (ja) | 画像符号化方法および画像符号化装置 | |
| JPH0951538A (ja) | 画像信号の符号化方法 | |
| JP3399472B2 (ja) | 記録装置、記録方法、および記録媒体 | |
| JP2957340B2 (ja) | ディジタル録画装置 | |
| JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
| JP4765961B2 (ja) | デジタル動画像記録装置 | |
| JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
| JP4000581B2 (ja) | 画像符号化装置および方法 | |
| JP3922581B2 (ja) | 可変転送レート符号化方法および装置 | |
| KR100335435B1 (ko) | 영상 신호의 압축 부호화기 및/또는 복호화기와 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |