JPH0965332A

JPH0965332A - 画像符号化装置とその方法

Info

Publication number: JPH0965332A
Application number: JP7214894A
Authority: JP
Inventors: Nariaki Tagami; 就章田上; Hiroaki Seto; 浩昭瀬戸
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-08-23
Filing date: 1995-08-23
Publication date: 1997-03-07

Abstract

(57)【要約】【課題】所定容量の記録領域に可変レート符号化により
画像データを記録する画像符号化装置においては、各画
像データのデータ量を検出するための符号化部が別に必
要となり、装置が複雑になり規模が大きくなる。【解決手段】第１の符号化部１００で、入力動画像デー
タに対して動き補償予測符号化を行いＤＣＴを行って圧
縮し、目標とする圧縮率よりも十分低い圧縮率になるよ
うな所定の固定量子化ステップで量子化し、可変長符号
化して記憶部２００に記憶する。また、その際の各画像
のデータ発生量を求め、同時に記憶部２００に記憶す
る。第２の符号化部３００で、そのデータ発生量に基づ
いて各画像データに対してデータ量を割り当て、各画像
データごとに量子化ステップを決め第１の符号化部１０
０で符号化された画像データに対して再度量子化を行
い、所望のレートで符号化された画像データを得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、連続的な画像デー
タを可変レート符号化する画像符号化装置およびその方
法に関する。

【０００２】

【従来の技術】画像を符号化する方法を、データ量の制
御という点で考えると、固定レート符号化と可変レート
符号化に分類される。図４は、ある番組データを固定レ
ート符号化および可変レート符号化により各々符号化し
た際の、再生時間と符号化ビットレートの関係を示す図
である。図４に示すように、固定レート符号化では、ビ
ットレートは常に一定である。また、可変レート符号化
においては、画像データの複雑さによりビットレートが
変化する。期間ａは比較的難しい画像データの期間なの
で発生データ量が大きくなっており、期間ｂ₁,ｂ₂は比
較的簡単な画像データの期間なので低いビットレートで
符号化できている。

【０００３】このように、可変レート符号化では、複雑
な画像にはデータ量を多く割り当て、簡単な画像にはデ
ータ量を少なく割り当てるため、均質な画像を維持しな
がら符号化が行える。一方、固定レート符号化では、情
報発生量が多い期間ａにおいては、図４の領域Ａに示す
ように情報が不足しており、情報発生量の少ない期間ｂ
₁,ｂ₂においては図４の領域Ｂに示すように過剰な情報
を符号化していることになる。したがって、画質に着目
すると、一般的には可変レート符号化の方が有効な符号
化方法と言える。

【０００４】ところで、ある記録時間の画像データを、
たとえばディジタル・ビデオ・ディスク（ＤＶＤ）装置
などの記録容量に制限のある記録媒体に記録しようとす
ると、符号化レートを制御して、その画像データがその
記録媒体に記録できるようにしなければならない。その
ような場合に、固定レート符号化を行うのであれば、式
１を満たすようなビットレートＲ_fを求め、このビット
レートＲ_fで画像データ全体を符号化することになる。

【０００５】

【数１】Ｒ_f× Ｔ ≦ Ｓ・・・（１）ただし、Ｒ_fは、符号化ビットレート、Ｔは、画像デー
タの記録時間、Ｓは、記録メディアの容量である。

【０００６】また、可変レート符号化を行う場合には、
その番組データが全て記録できるように、記録容量から
逆算して各画像データに記録領域を割り当て、それに基
づいて各画像の符号化ビットレートを求め、そのビット
レートで符号化をすることになる。具体的には、たとえ
ば図５に示すように、画像データを時間ｔ_sceneごとの
場面に分割し、各場面ｉごとにその場面に適したデータ
量ｄ（ｉ）を設定し、そのデータ量ｄ（ｉ）の全画像デ
ータの中に占める割合に基づいて、たとえば式２を満足
するようなビットレートを各場面について求め、そのビ
ットレートでその場面の符号化を行うことになる。

【０００７】

【数２】Ｒ_v(i) ×ｔ_scene ≦ （Ｓ×(d(i)/Ｄ) ）・・・（２）ただし、Ｒ_v(i) は、場面ｉの画像データの符号化ビッ
トレート、ｔ_sceneは、場面ｉの時間、Ｓは、記録メデ
ィアの容量、ｉは、場面の番号、ｄ(i) は、場面ｉの画
像データの符号化データ量、Ｄは、全画像データのデー
タ量でＤ＝Σｄ(i)である。

【０００８】

【発明が解決しようとする課題】しかし、このような、
所定の記録容量を有する記録媒体に可変レート符号化に
より画像データを記録する画像符号化装置においては、
実際の符号化に先立って各画像データごとのデータ発生
量を求めるための符号化を行う符号化部が必要となり、
装置が複雑になり規模が大きくなるという問題があっ
た。また、そのデータ量を割り当てるための符号化と、
実際に画像データを記録するための符号化の各々の段階
においてソース画像データを再生入力しなければならな
いために、その画像データの再生時間の約２倍の処理時
間が実質的に必要になるという問題も生じた。

【０００９】さらに、たとえばそのソース画像データが
ＶＴＲテープに記録された画像データであれば巻き戻し
などの処理を行わなければならず、処理が煩雑になると
いう問題も生じた。これらの問題は、映画などの番組を
順次ＤＶＤなどの記録媒体に記録する場合に特に重要と
なり、その作業を効率よく行えないという問題を生じて
いた。

【００１０】したがって本発明の目的は、より簡単な装
置構成で、供給された画像データを所定のデータ量以下
に可変レート符号化することのできる画像符号化装置を
提供することにある。また、本発明の他の目的は、供給
された画像データを所定のデータ量以下に可変レート符
号化する処理を、効率よく行うことのできる画像符号化
方法を提供することにある。

【００１１】

【課題を解決するための手段】前記課題を解決するため
に、目的とする符号化処理の途中段階でデータ発生量を
検出し、その検出したデータ発生量に基づいて各画像デ
ータに符号化データ量を割り当て、その割り当てられた
データ量以下に各画像データが符号化されるように前記
符号化処理を引き続き行うようにした。

【００１２】すなわち、本発明の画像符号化装置におい
ては、第１の符号化手段において、少なくとも画像の冗
長性を削除する圧縮を各画像に施して、供給された連続
的な画像データを符号化する。そして、符号化データ量
割り当て手段において、その圧縮された各画像データの
データ発生量を検出し、各画像データに符号化データ量
を割り当てる。そして、第２の符号化手段において、前
記各画像データのデータ量が前記割り当てられた符号化
データ量以下になるように、前記第１の符号化手段で符
号化された画像データをさらに符号化する。

【００１３】

【発明の実施の形態】本発明の好適な一実施形態を図１
〜図３を参照して説明する。本例に示す動画像符号化装
置は、ディジタル・ビデオ・ディスク（ＤＶＤ）などの
所定の記録容量を有する記録媒体、換言すれば記録容量
が制限されている記録媒体に、動画像データを記録する
ための動画像符号化装置であり、入力された動画像に対
してＭＰＥＧ２(Moving Picture coding Experts Group
による動画像符号化方式) に基づいて、圧縮、量子化、
可変レート符号化などを行い、画像ビットストリームを
生成する。

【００１４】まず、本例の動画像符号化装置の構成につ
いて説明する。図１は、本例の動画像符号化装置の構成
を示すブロック図である。動画像符号化装置１０は、第
１の符号化部１００、記憶部２００、第２の符号化部３
００を有する。

【００１５】第１の符号化部１００は、入力された画像
データを圧縮符号化し、さらに、各画像データの符号化
されたデータ量を求め、その符号化された画像データ、
および、その各画像データごとのデータ量を記憶部２０
０に出力する。第１の符号化部１００の構成について、
図２を参照して説明する。図２は、第１の符号化部１０
０の構成を示すブロック図である。第１の符号化部１０
０は、演算部１０１、ＤＣＴ部１０２、第１の量子化部
１０３、第１の可変長符号化部１０４、逆量子化部１０
５、逆ＤＣＴ部１０６、加算器１０７、フレームメモリ
１０８、動き検出部１０９、動き補償部１１０、切り換
え回路１１１、第１の外部インターフェイス１１２およ
び第１の制御部１１３を有する。

【００１６】第１の符号化部１００に入力された画像デ
ータは、演算部１０１において切り換え回路１１１から
の入力との差分が求められ、その差分がＤＣＴ部１０２
に出力される。イントラピクチャモードの時には、切り
換え回路１１１からは有意な画像が入力されないので、
加算器１０１に入力された画像データがそのままＤＣＴ
部１０２に出力される。動き補償予測モードの時には、
切り換え回路１１１からはその前の再生画像に基づいた
画像データが入力されるので、その差分を加算器１０１
で求め、その誤差をＤＣＴ部１０２に入力する。

【００１７】ＤＣＴ部１０２は、加算器１０１から入力
された画像信号に対して、離散コサイン変換（ＤＣＴ:D
iscrete Cosine Transform）を行い、得られた変換結果
を第１の量子化部１０３に出力する。第１の量子化部１
０３は、第１の制御部１１３より入力される所定の量子
化レートに従って、ＤＣＴ部１０２により得られた変換
結果の量子化を行い、第１の可変長符号化部１０４およ
び逆量子化部１０５に出力する。

【００１８】第１の可変長符号化部１０４は、量子化さ
れた変換結果を可変長符号化し、画像ビットストリーム
を生成し、その画像ビットストリームを記憶部２００
に、その画像ビットストリームの各画像データごとのデ
ータ量を第１の外部インターフェイス１１２に各々出力
する。第１の外部インターフェイス１１２は、第１の符
号化部１００と記憶部２００とのインターフェイス回路
であり、第１の可変長符号化部１０４より入力された画
像ビットストリームの各画像データごとのデータ量を、
記憶部２００に出力する。第１の制御部１１３は、第１
の量子化部１０３への量子化レートの指示、後述するフ
レームメモリ１０８への画像データの記録、切り換え回
路１１１の切り換え、および、第１の符号化部１００を
構成する各部の制御などを行う制御手段である。

【００１９】第１の量子化部１０３で量子化された変換
結果は、逆量子化部１０５において逆量子化され、さら
に、逆ＤＣＴ部１０６において逆離散コサイン変換（逆
ＤＣＴ）される。そして、動き補償予測を行うモードだ
った時には、加算器１０７で、その逆ＤＣＴが行われた
画像信号と前記動き補償予測により得られた画像信号を
加算して元の画像信号に戻し、フレームメモリ１０８に
記録する。イントラピクチャモードの時には、逆ＤＣＴ
部１０６で逆ＤＣＴされた画像信号がそのままフレーム
メモリ１０８に記録される。

【００２０】動き補償予測を行う場合には、このフレー
ムメモリ１０８に記録されている画像信号を用いる。す
なわち、フレームメモリ１０８に記録されている画像信
号に基づいて、次のフレームの入力画像信号より動き検
出部１０９において動き検出を行い、動きベクトルを検
出する。さらに、その動きベクトルに基づいて、動き補
償部１１０において動き補償予測を行う。そして、この
動き補償予測により得られた画像信号を切り換え回路１
１１を介して加算器１０１に出力し、入力された次のフ
レームの入力画像信号との差分を求める。

【００２１】動画像符号化装置１０の記憶部２００は、
第１の符号化部１００で符号化された画像ビットストリ
ーム、および、その画像ビットストリームの各画像デー
タのデータ発生量を記録する手段であり、本実施の形態
においてはハード磁気ディスク装置である。記憶部２０
０に記録されたデータは、第２の符号化部３００より適
宜読み出し可能である。

【００２２】第２の符号化部３００は、第１の符号化部
１００で符号化され、記憶部２００に記録されている各
画像データのデータ発生量に基づいて、各画像データに
対してデータ量を割り当て、同じく記憶部２００に記録
されている画像ビットストリームをさらに符号化して、
前記割り当てられたデータ量まで圧縮する。第２の符号
化部３００の構成について、図３を参照して説明する。
図３は、第２の符号化部３００の構成を示すブロック図
である。第２の符号化部３００は、復号化部３０１、第
２の量子化部３０３、第２の可変長符号化部３０４、第
２の外部インターフェイス３１２および第２の制御部３
１３を有する。

【００２３】記憶部２００から読み込まれた画像ビット
ストリームは、復号化部３０１に入力され、第１の符号
化部１００の第１の可変長符号化部１０４で行われた符
号化が復号化される。復号化された画像データは、第１
の符号化部１００で動き補償予測符号化され、ＤＣＴが
行われ、所定の固定量子化ステップで量子化された結果
のデータである。復号化されたデータは、第２の量子化
部３０３に出力される。

【００２４】また、記憶部２００に記録されている第１
の符号化部１００で符号化した際の各画像データのデー
タ発生量は、第２の外部インターフェイス３１２により
読み込まれ、第２の制御部３１３に出力される。第２の
制御部３１３は、第２の外部インターフェイス３１２よ
り入力された各画像のデータ発生量に基づいて、各画像
の量子化レートを算出し、最終的にその量子化レートで
画像データが符号化されるように、第２の量子化部３０
３の量子化レートを各画像ごとに制御する。具体的に
は、第２の制御部３１３は、各画像のデータ発生量と、
記録しようとする記録媒体の記録容量とに基づいて、ま
ず式３に基づいて各画像に対して符号化データ量を割り
当てる。本実施形態においては、所定の時間ｔごとに、
式３に基づいて、その時間内の画像データの符号化デー
タ量を決定する。

【００２５】

【数３】 dd(i) ＝Ｓ×(d(i)/Ｄ) ・・・（３）ただし、dd(i) は、割り当てデータ量、ｉは、時間ｔご
との期間の番号、Ｓは、記録メディアの容量、ｄ(i)
は、期間ｉの画像データの符号化時のデータ発生量、Ｄ
は、全画像データの符号化時のデータ発生量、である。

【００２６】そして、式３により割り当てられたデータ
量に基づいて式４により符号化ビットレートを決定す
る。

【００２７】

【数４】Ｒ_v(i) ≦ dd(i) ／ｔ・・・（４）ただし、ｉは、時間ｔごとの期間の番号、Ｒ_v(i) は、
期間ｉの画像データの符号化ビットレート、dd(i) は、
割り当てられたデータ量、である。

【００２８】そして、第２の制御部３１３は、符号化ビ
ットレートが最終的に式４により求められた値以下にな
るように、第２の量子化部３０３において行われる量子
化のビットレートを決定する。

【００２９】第２の量子化部３０３は、第２の制御部３
１３より入力される前記量子化レートに従って、復号化
部３０１で復号された画像ビットストリームを量子化す
る。量子化された画像データは、第２の可変長符号化部
３０４に出力される。

【００３０】第２の可変長符号化部３０４は、量子化さ
れた変換結果を可変長符号化し、画像ビットストリーム
を生成し、その画像ビットストリームを動画像符号化装
置１０における符号化ビット列として出力する。

【００３１】次に、動画像符号化装置１０の動作につい
て説明する。動画像符号化装置１０には、図示せぬ外部
の再生装置により画像データが再生され入力される。入
力された番組データは、第１の符号化部１００において
順次ＤＣＴ変換され、所定の固定レートで量子化され、
可変長符号化されて、画像ビットストリームが生成され
る。そして、生成された画像ビットストリーム、およ
び、各画像データごとのデータ発生量は、記憶部２００
に記録される。

【００３２】一連の画像データの再生が終了し、第１の
符号化部１００における符号化が終了したら、第２の符
号化部３００は、まず各画像データごとのデータ発生量
を記憶部２００から読み出し、記録しようとするＤＶＤ
の記録容量に基づいて、各画像データごとにデータ量を
割り当て、量子化レートを決定する。そして、第１の符
号化部１００において符号化された画像データを適宜読
み出し、第１の符号化部１００で行われた可変長符号化
を復号化し、その復号化されたデータに対して各画像デ
ータが、その割り当てられたデータ量になるように、各
画像データごとに量子化レートを決定し、量子化してい
く。量子化された画像データは、再び可変長符号化され
画像ビットストリームが生成され、その画像ビットスト
リームを、図示せぬ記録装置によりＤＶＤに記録する。

【００３３】このように、動画像符号化装置１０におい
ては、第１の符号化部１００において一度符号化を行
い、その際の各画像のデータ発生量を求め、そのデータ
発生量に基づいて各画像データに対してデータ量を割り
当てて、第２の符号化部において符号化を行っている。
したがって、各画像データに対して画質を維持した適切
な可変レート符号化を行った上で、ＤＶＤなどの記録容
量に制限のある記録媒体にその画像データを記録容量内
で適切に記録することができる。

【００３４】そして特に本例の動画像符号化装置１０に
おいては、第１の符号化部１００において、まず画像に
対して、ＤＣＴ、量子化、さらに動き補償などを行っ
て、空間的および時間的冗長度を削減する圧縮をし、さ
らに目的とする圧縮率よりも十分低い圧縮率になるよう
な所定の固定量子化ステップで量子化し、可変長符号化
して記憶部２００に記憶している。そして、第２の符号
化部３００において、各画像データごとに決められた量
子化ステップを用いて、各画像データを再度量子化する
ことにより、所望のレートで符号化された画像データを
得るようにしている。したがって、第２の符号化部３０
０としては、ＤＣＴ部、動き検出部、動き補償部などの
構成部が必要なく、第１の符号化部１００のような符号
化部を重複して設けなければならない場合に比べて装置
構成が大幅に簡単になる。さらに、第２の符号化部３０
０による符号化は、第１の符号化部１００の符号化結果
の画像データを用いているので、元の画像データの再生
は１回行えばよく処理の煩雑さが解消される。

【００３５】また、その第１の符号化部１００による処
理結果の画像データは、最終的に目的とする圧縮率より
も低いものの、元の入力画像データに比べれば十分少な
いデータ量に圧縮されているので、たとえばハード磁気
ディスク装置などの記録媒体にも記録することができ
る。そしてその結果、第２の符号化部３００による符号
化処理は、元の画像データを再生して行うよりも高速に
行うことができ、符号化処理全体の処理時間が短縮でき
る。少なくとも、元の画像データの再生時間の２倍より
も短い時間で符号化が行える。

【００３６】さらに、複数の番組データに対して順次符
号化を行う場合には、新たな画像データに対する第１の
符号化部における符号化と、最終的に記録される画像ビ
ットストリームを生成する第２の符号化部における符号
化とを同時的に行うことができるので、１回の番組デー
タの再生時間ごとに順次番組データの符号化が行われ
る。すなわち、複数の番組データを順次符号化し記録す
る場合には、高速に処理することができる。

【００３７】なお、本発明は本実施形態にのみ限られる
ものではなく、種々の改変が可能である。たとえば、本
例においては、第１の符号化部１００において検出され
た各画像データのデータ発生量に基づいて、符号化デー
タ量を割り当て、符号化ビットレートを決定する処理
を、第２の符号化部３００の第２の制御部３１３におい
て行っていた。しかし、この処理は、たとえば第１の符
号化部１００の第２の制御部３１３で行うようにしても
よいし、第１の符号化部１００および第２の符号化部３
００とは別の演算手段により行うようにしてもよい。

【００３８】また、本実施形態においては、符号化する
ソースの画像データはＶＴＲテープに記録されている画
像データを用いるものとしたが、その他、ハード磁気デ
ィスク（ＨＤ）、光磁気ディスク（ＭＯ）、ディジタル
ビデオディスク（ＤＶＤ）などの、任意の媒体を用いて
よい。また、動画像符号化装置１０としてそのような媒
体の再生装置を包含するような構成であっても何ら差し
支えない。また、第１の符号化部１００における符号化
方法も、本実施形態においては、図２で示したようなＭ
ＰＥＧに従った符号化方法としたがこれに限られない。
たとえば、ＤＣＴ以外の変換符号化方法、たとえばHada
mard、フーリエ変換などを用いるような方法でもよい。

【００３９】また、本実施形態の動画像符号化装置にお
いて動画像データの記録された記録媒体には、これまで
と同じ形式で動画像データが記録されている。したがっ
て、再生装置においては、これまでと同じ動画像再生装
置を使用することができ、互換性を維持できる。

【００４０】

【発明の効果】本発明によれば、連続的な画像データを
所定の容量で適切に可変レート符号化することができる
画像符号化装置を、より簡単な装置構成で提供できる。
そして、その画像符号化装置を用いれば、より簡単で高
速に、画像データをＤＶＤなどの記録容量に制限のある
記録媒体に適切に記録できる。また、本発明の画像符号
化方法によれば、供給された画像データを所定のデータ
量以下に可変レート符号化する処理をより効率よく行う
ことができる。

【図面の簡単な説明】

【図１】本発明の一実施形態の動画像符号化装置の構成
を示すブロック図である。

【図２】図１に示した動画像符号化装置の第１の符号化
部の構成を示すブロック図である。

【図３】図１に示した動画像符号化装置の第２の符号化
部の構成を示すブロック図である。

【図４】固定レート符号化と可変レート符号化のビット
レートを示す図である。

【図５】可変レート符号化におけるビットレートの決定
方法を説明する図である。

【符号の説明】

１０…動画像符号化装置１００…第１の符号化部１０１…演算部１０２…ＤＣＴ部１０３…第１の量子化部１０４…第１の可変長
符号化部１０５…逆量子化部１０６…逆ＤＣＴ部１０７…加算器１０８…フレームメモ
リ１０９…動き検出部１１０…動き補償部１１１…切り換え回路１１２…第１の外部イ
ンターフェイス１１３…第１の制御部２００…記憶部３００…第２の符号化部３０１…復号化部３０３…第２の量子化
部３０４…第２の可変長符号化部３１２…第２の外部イ
ンターフェイス３１３…第２の制御部

Claims

【特許請求の範囲】

【請求項１】連続的な画像データを、該画像データ全体
が所定のデータ量以下になるように圧縮符号化する画像
符号化装置であって、前記連続的な画像データの各画像データを、当該画像デ
ータを前記所定のデータ量以下に圧縮符号化する際の圧
縮率より低い圧縮率で符号化する第１の符号化手段と、前記画像データ全体に対する所定のデータ量と、前記符
号化された各画像データのデータ発生量に基づいて、前
記各画像データに符号化データ量を割り当てる符号化デ
ータ量割り当て手段と、前記各画像データのデータ発生量が前記割り当てられた
符号化データ量以下になるように、前記第１の符号化手
段で符号化された画像データをさらに符号化する第２の
符号化手段とを有する画像符号化装置。
【請求項２】前記第１の符号化手段は、前記連続的な画
像データを圧縮する圧縮手段と、該圧縮された画像デー
タを所定の量子化ステップ幅で量子化する第１の量子化
手段とを有し、前記第２の符号化手段は、前記第１の符号化手段で符号
化された画像データを各画像データごとに異なる量子化
ステップ幅でさらに量子化する第２の量子化手段を有す
る請求項１記載の画像符号化装置。
【請求項３】前記第１の符号化手段は、さらに、前記第１の量子化手段により量子化された信号
を可変長符号化する可変長符号化手段と、前記量子化さ
れた信号を逆量子化する逆量子化手段と、該逆量子化さ
れた信号を伸長する伸長手段と、該伸長された信号に基
づいて画像間の動きを検出する動き検出手段と、該検出
された動きに基づいて動き補償を行う動き補償手段と、
該動き補償された信号に基づいて前記連続的な画像デー
タの各画像データの予測誤差を求める演算手段とを有
し、前記第２の符号化手段は、前記第２の量子化手段の前段に設けられ前記可変長符号
化手段により可変長符号化された信号を復号化する復号
化手段と、該復号化された信号を量子化する前記量子化
手段の後段に設けられ該量子化された信号を可変長符号
化する可変長符号化手段とを有する請求項２記載の画像
符号化装置。
【請求項４】一連の画像データが所定記録容量の記録媒
体にほぼ満杯に記録されるように、該画像データを前記
記録容量以下であって該記録容量に近いデータ量に符号
化する請求項１〜３いずれか記載の画像符号化装置。
【請求項５】連続的な画像データを、該画像データ全体
が所定のデータ量以下になるように圧縮符号化する画像
符号化方法であって、前記連続的な画像データの各画像データを圧縮する工
程、前記圧縮された画像データを、当該画像データ全体のデ
ータ量が前記所定のデータ量より大きくなるような所定
の固定量子化ステップ幅で量子化する工程、前記量子化された画像データの各画像データのデータ発
生量に基づいて、該画像データ全体が前記所望のデータ
量以下になるように、当該各画像データに符号化データ
量を割り当てる工程、前記各画像データのデータ量が前記割り当てられた符号
化データ量以下になるように、前記圧縮された各画像デ
ータ各々を異なる量子化ステップ幅でさらに量子化する
工程を有する画像符号化方法。