JP3826123B2 - 画像符号化方法及び装置 - Google Patents

Description

本発明は、デジタル画像データを高能率に符号化する画像符号化方法及び装置に関するものである。

従来、画像データを符号化するに際しては、可変長符号化と固定長符号化とがあり、特に可変長符号化において、予測符号化等の符号化も知られている。

しかしながら、こうした可変長符号化方式は、圧縮効率において優れているのに対し、伝送路上で圧縮データに誤りが発生すると、その後の復号が全くできなくなる。その結果、圧縮データに誤りが発生した以降の画像が乱れ、大変見苦しい状態になることがあった。

本発明は上記問題点に鑑みてなされたもので、本願発明の特徴は、圧縮データを復号して再生する時、画像データのエラーによる画像の乱れを軽減できるようにした画像符号化方法及び装置を提供することにある。

本発明の画像符号化装置は以下の様な構成を備える。即ち、
画像データを入力し可変長符号化を行なう画像符号化装置であって、
画像データを構成する輝度信号と色差信号を夫々複数の輝度信号ブロックと複数の色差信号ブロックに分割する分割手段と、
前記輝度信号ブロック及び色差信号ブロックのそれぞれを可変長符号化する符号化手段と、
所定数の前記輝度信号ブロックを輝度信号のリシンクブロックとし、所定数の前記色差信号ブロックを色差信号のリシンクブロックとして、伝送ブロック内に、１画面分に満たない所定数の前記輝度信号のリシンクブロックの符号化データと、当該所定数の前記輝度信号のリシンクブロックと画像空間上で同一領域にある所定数の前記色差信号のリシンクブロックの符号化データとを一単位にして、前記単位を前記画像空間上における領域の配置順に複数配列し、かつ、配列された各リシンクブロックの間に、伝送誤りが発生した際に境界を検出するために用いる識別コードを挿入して出力する出力手段と、を有することを特徴とする。

又、本発明の画像符号化方法は以下の様な工程を備える。即ち、
画像データを入力し可変長符号化を行なう画像符号化方法であって、
画像データを構成する輝度信号と色差信号を夫々複数の輝度信号ブロックと複数の色差信号ブロックに分割する分割工程と、
前記輝度信号ブロック及び色差信号ブロックのそれぞれを可変長符号化する工程と、
所定数の前記輝度信号ブロックを輝度信号のリシンクブロックとし、所定数の前記色差信号ブロックを色差信号のリシンクブロックとして、伝送ブロック内に、１画面分に満たない所定数の前記輝度信号のリシンクブロックの符号化データと、当該所定数の前記輝度信号のリシンクブロックと画像空間上で同一領域にある所定数の前記色差信号のリシンクブロックの符号化データとを一単位にして、前記単位を前記画像空間上における領域の配置順に複数配列し、かつ、配列された各リシンクブロックの間に、伝送誤りが発生した際に境界を検出するために用いる識別コードを挿入して出力する出力工程と、を有することを特徴とする。

本発明によれば、所定数の輝度信号ブロックを輝度信号のリシンクブロックとし、所定数の色差信号ブロックを色差信号のリシンクブロックとして、伝送ブロック内には、１画面分に満たない所定数の輝度信号のリシンクブロックの符号化データと、当該所定数の輝度信号のリシンクブロックと画像空間上で同一領域にある所定数の前記色差信号のリシンクブロックの符号化データとを一単位にして、前記単位を前記画像空間上における領域の配置順に複数配列し、かつ、配列された各リシンクブロックの間に、伝送誤りが発生した際に境界を検出するために用いる識別コードを挿入しているので、符号化データを復号して再生する際、符号化された画像データにエラーが発生しても画像の乱れを少なくして再生できるという効果がある。

以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。

図６は本実施の形態の画像符号化装置の概略構成を示すブロック図である。

図６において、端子１０１より入力された画像データは、Ａ／Ｄコンバータ１０２においてアナログ信号からデジタル信号に変換される。この変換されたデジタル信号は、符号化部１０３において可変長で圧縮符号化される。そして、符号化されたコードは、誤り訂正符号化部１０４において、後のエラー訂正のためのパリティコードが付加されて伝送路１０５へ送出される。この伝送路１０５から受信したデータはメモリ部１０６に一旦蓄えられ、誤り訂正部１０７において誤りが訂正される。復号化部１０８は、メモリ１０６より読み出された可変長データを伸長して復号しており、この復号された信号はＤ／Ａコンバータ１０９でデジタル信号からアナログ信号に変換された後、端子１１０より画像信号として出力される。

この図６における符号化部１０３のカラー画像の圧縮方式としては、数々の方式が提案されているが、カラー画像符号化方式の代表的なものにＡＤＣＴ方式と呼ばれる方式がある。このＡＤＣＴ方式に関しては、テレビジョン学会誌（Vol.44. NO.2(1990)）斉藤隆弘氏らの“静止画像の符号化方式”、昭和63年画像電子学会全国大会予稿14における越智宏氏らの“静止画像符号化の国際標準動向”等において詳しく説明されている。

図７は、このＡＤＣＴ方式を用いた符号化部１０３の構成概念を示す図である。

入力される画像は、図６のＡ／Ｄコンバータ１０２より出力される、８ビット、即ち２５６階調／色に変換されたデータとし、色数についてはＲＧＢ，ＹＵＶ，ＹＰbＰr，ＹＭＣＫ等の３色もしくは４色とする。ここで、入力画像は直ちに８×８画素のサブブロック単位で２次元の離散コサイン変換（以下、ＤＣＴと記す）がなされ、その後、線形量子化部２０２で変換係数の線形量子化が行なわれる。この量子化時において、量子化のステップサイズは各変換係数毎に異なり、各変換係数に対する量子化ステップサイズは、量子化雑音に対する視感度の変換係数毎の相違を考慮した８×８の量子化マトリックス要素を２^S倍した値とする。ここで、Ｓは０または正負の整数であり、スケーリングファクタと呼ばれる。このＳの値により、画質や発生データ量が制御される。表１に量子化マトリックス要素の１例を示す。

量子化後、直流変換成分（以下、ＤＣ成分と記す）については、２０３で近傍サブブロック間で１次元予測され、２０４でその予測誤差をハフマン符号化する。ここでは、予測誤差の量子化出力をグループに分け、まず予測誤差の所属するグループの識別番号をハフマン符号化し、続いてグループ内のいずれかの値であるかを等長符号で表わす。
一方、ＤＣ成分以外の交流変換成分（以下、ＡＣ成分と記す）は、この量子化出力を、２０５で図８に示す様に低周波成分から高周波成分へとジグザグ走査しながら符号化する。即ち、量子化出力が“０”でない変換係数（以下、有意係数と記す）は、その値によりグループに分類され、２０６において、そのグループ識別番号と、直前の有意変換係数との間に挟まれた量子化出力が“０”の変換係数（以下、無効係数と記す）の個数とを組にしてハフマン符号化される。続いてグループ内のいずれの値であるかが等長符号で表わされる。

図１−１は本実施の形態の画像符号化装置の概略構成を示すブロック図である。

複数種の信号からなる画像信号Ｙ，Ｐｂ，Ｐｒのそれぞれが、端子１ａ，１ｂ，１ｃより入力される。ここでは複数の信号として、カラー画像信号の輝度信号Ｙと、色差信号Ｐｂ，Ｐｒの３つの信号が入力されるものとしている。各入力信号は、それぞれＡ／Ｄコンバータ３ａ，３ｂ，３ｃに入力されてデジタル信号に変換される。この実施の形態では、輝度信号Ｙは、色差信号Ｐｂ，Ｐｒの２倍のサンプリングレートでサンプリングされ、また図示しない線順次化回路で、色差信号は線順次化されるものとする。これにより、Ａ／Ｄ変換後の各信号のデータ量を比べると、輝度信号Ｙが“４”に対し、色差信号Ｐｂ、Ｐｒはそれぞれ“１”の割合となっている。

次に、このデジタル化された各データは、ブロック化回路５ａ，５ｂ，５ｃのそれぞれで、例えば８×８のブロック毎にまとめられる。各データは前述のように、４：１：１のデータ量比になっているため、生成される各ブロックの画面上での大きさは、輝度信号Ｙの１に対し、色差信号Ｐｂ，Ｐｒは４倍の大きさとなる。こうしてブロック化された各データは、従来技術で述べたような可変長圧縮方式により、符号化器７ａ，７ｂ，７ｃのそれぞれにおいて可変長圧縮符号化されるが、この実施の形態においては、特にここで各信号毎にそれぞれ画像データを複数の領域に分割し、これら各領域において閉じた可変長符号化を行なうようにしている。これらの領域としては、例えば前述の８×８のブロックを４０個集めたデータ量からなる領域とする。

上記のようにして、各信号毎に、又各領域毎に圧縮符号化された生成符号群はメモリ９に書込まれ、読み出し時に１つのデータ列にまとめられる。ここでは、アドレスコントローラ１１により、メモリ９よりのデータの読み出し順が制御されており、本実施の形態においては、前記複数の信号毎に、即ち、輝度信号Ｙ、色差信号Ｐｂ，Ｐｒ毎に、符号化された生成符号群が、画面上で同一の位置に属する領域毎、又は近傍位置に属する領域毎に時系列的にまとめて読み出される。この読み出し順については詳しく後述する。

メモリ９から読み出されたデータ列は、シンクコード付加部１３においてシンクコードが所定位置に挿入され、更に伝送ＩＤ付加部１５において伝送ＩＤが挿入される。１７は境界情報付加部であり、前述のように分割された領域に対する生成符号の区切りの情報をデータ列に、例えばマーカーコードのような形で挿入する。これより受信側でも各生成符号の区切りが検出でき、可変長符号の復号が、これら分割領域毎に確実に行なえるようになる。

更に、圧縮符号化された生成符号に対して、誤り検出・訂正符号化回路１９において誤り訂正符号化が行なわれ、誤り検出・訂正符号のパリティビットが前記データ列の所定位置に挿入されて伝送される。

２１は伝送路で、即時伝送であれば光ファイバ・衛星・マイクロ波等の地上電波・光空間等の伝送媒体であるし、蓄積伝送であれば、デジタルＶＴＲやＤＡＴ等のテープ上の媒体・フロッピー（登録商標）ディスクや光ディスク等の円板状の媒体・半導体メモリ等の固体の媒体等の記憶媒体となる。この伝送レートについては、元の画像の情報量と圧縮率と要求する伝送時間とにより決定され、数十キロビット／秒から数十メガビット／秒まで様々である。

次に受信側の動作について図１−２を参照して説明する。

伝送路２１から受信したデータは、まずシンクコード検出部２３において同期検出され、伝送ＩＤ検出部２５において、ＩＤによりそのデータの属性が検出されて、その情報をもとにしたアドレスコントローラ２７の制御により、一旦メモリ２９に蓄えられる。メモリ２９のデータに対しては、誤り検出・訂正部３１において、データの誤り検出及び訂正が実施され、可能な限り伝送中に付加された誤りが取り除かれる。また、訂正しきれなかった誤りがある場合は、そのデータ群にフラグを立てておき、後段の補間回路３７ａ，３７ｂ，３７ｃにおいて補間処理が行なわれる。

そして、境界情報検出部３３により、分割された領域の圧縮符号部の境を検出し、その情報をもとにアドレスコントローラ２７により、メモリ２９からの読み出しアドレスを制御して、データを複数の信号、即ち本実施の形態においては輝度信号Ｙ，色差信号Ｐｂ，Ｐｒ毎に区分けし、かつ分割された領域毎に区分けしてメモリ２９から読み出す。こうして区分けされてメモリ２９より読み出されたデータは、復号器３５ａ，３５ｂ，３５ｃにおいてそれぞれ伸長・復号され、補間回路３７ａ，３７ｂ，３７ｃにおいて、訂正しきれなかった誤りが含まれるデータ群に対して分割領域単位で補間処理が実施される。補間処理の具体的方法としては、前フレームデータを用いた補間などがある。さらに、補間処理された後、データは逆ブロック回路３９ａ，３９ｂ，３９ｃで各信号毎に元の信号伝送順に戻され、色信号Ｐｂ，Ｐｒについては図示しない同時化回路で、線順次化されているデータが復元される。

そして各信号は、Ｄ／Ａ変換回路４１ａ，４１ｂ，４１ｃでアナログデータに変換されて、端子４３ａ，４３ｂ，４３ｃよりそれぞれ輝度信号Ｙ，色差信号Ｐｂ，Ｐｒの画像信号として出力される。ここで、復号器３５ａ，３５ｂ，３５ｃにおける可変長符号の伸長・復号に際しては、従来のように符号化された領域分割がなされていない場合には、一度誤りを起こすと、それ以降の復号処理が全く行なわれなくなってしまう。しかし、この実施の形態では前述したように、符号化時に画像データの領域を分割しており、その境界情報を付加して伝送しているために、復号処理よりの復帰を迅速に行なうことができる。

次に、図２、図３、図４、図５を参照して本実施の形態を更に詳しく説明する。

図２（Ａ）（Ｂ）は伝送対象の画像データの一例を示す図で、図２（Ａ）は１枚の画像の輝度信号Ｙを、横１２８０画素、縦１０８８画素、各画素を８ビットでＡ／Ｄ変換した画像とする。この場合における輝度信号Ｙの１枚当たりのデータ容量は、
１，２８０×１，０８８×８（ビット）＝ １１，１４１，１２０ビット
となる。

一方、前述のように色差信号Ｐｂ，Ｐｒのそれぞれは、輝度信号Ｙに対して１／２のサンプリングレートでサンプルされ、さらに色差線順次化しているため、１枚当たりのデータ容量は図２（Ｂ）に示すように、
６４０×５４４×８（ビット）＝ ２，７８５，２８０ビット
となる。

従って、輝度信号Ｙ，色差信号Ｐｂ，Ｐｒの合計では、１６，７１１，６８０（=11,141,120+2,785,280 ×2)ビットにより、１枚の画像が構成されていることになる。

さて、ここで（横８画素）×（縦８画素）をＤＣＴサブブロックとし、図２に示すように、伝送対象の１画像を各信号毎に、４０ＤＣＴサブブロックを１リシンクブロック（横３２０画素×縦８画素）として分割する。これを本実施の形態の分割領域として、各分割領域内で閉じた可変長符号化を行なう。尚、かかる分割領域は、本実施の形態に限らず他の分割方法であっても良い。

この場合、輝度信号Ｙに対しては、１画面分のデータはリシンクブロックにより、横４、縦１３６からなる合計５４４の領域に分割される。一方、色差信号Ｐｂ，Ｐｒに関しては、横２、縦６８の合計１３６の領域に各々分割される。ここで、１リシンクブロック当たりのデータ容量は、各信号とも、４０×８×８×８＝２０，４８０（ビット）であるが、１リシンクブロックの画面上でにおける大きさは、図２に示すように、（輝度信号リシンクブロック）：（色差信号ブロック）＝１：４となる。

図３は本実施の形態における伝送フォーマットの一例を示す図である。

前述したようにして符号化された符号化データは、リシンクブロック単位で区別することができるように、本実施の形態の境界情報（マーカーコード）が付加されるが、ここではリシンクブロックとリシンクブロックの境界にマーカーコードを挿入する場合の例を示している。なお、マーカーコードとしては、符号化データでは発生しえないビットパターンを割当てる必要がある。

このようにして境界情報が付加された符号化データは、更に誤り検出・訂正符号化されるが、ここでは１２８シンボル（以降、１シンンボル＝８ビットとする）のデータに対し、４シンボルのパリテイビットが付加されるものとする。このデータにシンクコード２シンボル、伝送ＩＤ２シンボルを付加したものが、伝送単位となっている。

ここで、符号化データは可変長符号化されているため、１リシンクブロック毎の符号化データ列の長さは一定ではなく、それぞれがまちまちの長さとなるため、１つのリシンクブロックのデータが、複数の誤り検出・訂正ブロックに跨がる場合もあり得る。逆に１つの誤り検出・訂正符号のブロックが、いくつものリシンクブロックのデータより構成される場合もあり、その数も一定とはならない。そして、１つの誤り検出・訂正符号のブロックが複数のリシンクブロックより構成される場合には、この誤り検出・訂正ブロック中の誤りが訂正不能となった時には、その影響は複数のリシンクブロックにまたがることとなり、当該複数のリシンクブロックが前述のような補間処理を施されることとなる。

本実施の形態においては、上記のように訂正不能の誤りが発生した場合においても、その影響が小さくなるように、符号化データの伝送順も規定している。

いま、図４−１及び図４−２のように各信号毎にリシンクブロックをナンバリングしたとすると、各信号毎のデータ量を考慮して、輝度信号Ｙの４リシンクブロックに対し、色差信号Ｐｂ，Ｐｒをそれぞれ１リシンクブロック伝送するため、例えば、
Ｙ（０，０），Ｙ（０，１），Ｐｂ（０，０），
Ｙ（０，２），Ｙ（０，３），Ｐｒ（０，０），
Ｙ（１，０），Ｙ（１，３），Ｐｂ（０，１），
Ｙ（１，２），Ｙ（１，３），Ｐｒ（０，１），……
と伝送したとすると、仮にＹ（０，２），Ｙ（０，３），Ｐｒ（０，０）が同一誤り検出・訂正ブロックに含まれ、その誤り検出・訂正ブロックが訂正不能となった場合には、画面上での補間領域が分散されてしまうこととなる。

そこで、本実施の形態においては、図５のように、
例えば、
Ｙ（０，０），Ｙ（０，１），Ｐｂ（０，０），
Ｙ（１，０），Ｙ（１，１），Ｐｒ（０，０），
Ｙ（０，２），Ｙ（０，３），Ｐｂ（０，１），
Ｙ（１，２），Ｙ（１，３），Ｐｒ（０，１），……
または、
Ｙ（０，０），Ｙ（０，１），Ｙ（１，０），
Ｙ（１，１），Ｐｂ（０，０），Ｐｒ（０，０），
Ｙ（０，２），Ｙ（０，３），Ｙ（１，２），
Ｙ（１，３），Ｐｒ（０，１），Ｐｒ（０，１），……
のように、画面上で同一位置もしくは、近傍位置にあるリシンクブロックをまとめて伝送するように、アドレスコントローラ１１を制御する。

これにより、当該誤り検出・訂正ブロックが訂正不能となっても、前述のように画面上での補間領域が分割される確率が少なくなる。

なお、本実施の形態においては、画像データを構成する複数種の信号は、輝度信号Ｙ，色差信号Ｐｂ，Ｐｒに限定されるものではなく、例えば、ＲＧＢ，ＹＵＶ，ＹＭＣＫ等の信号により構成されていてもよい。さらに、画像データを分割する領域の構成方法も、本実施の形態にあげた分割方法に限定されるものではない。

尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用しても良い。又、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。

以上説明したように本実施の形態によれば、圧縮効率において優れている可変長符号化方式の特徴を損なうことなく、伝送路に混入した誤りを、誤り検出・訂正符号で訂正しきれない場合においても、その影響を最小限に抑えることが可能となる。

即ち、伝送路上でデータに誤りが発生し、受信側でその誤りを訂正しきれない場合においても、その影響はリシンクブロック毎に収束させることができる。

更に、誤りを訂正しきれなかつた際に行なう補間処理については、補間処理が施されるリシンクブロックを画面上で位置的に分散させることなく、同一位置あるいは近傍位置にまとめることができ、画像データの劣化を最小限に抑えることが可能となり、人間の視覚上、劣化が気ならない、極めて良好な画像を再生できる画像符号化装置を提供することができる。

本実施の形態の画像符号化装置の概略構成を示すブロック図である。 本実施の形態の画像符号化装置の概略構成を示すブロック図である。 本実施の形態において符号化される画像データの構成を示す図である。 本実施の形態における伝送フォーマットの一例を示す図である。 本実施の形態における輝度信号Ｙのリシンクブロックの番号構成例を示す図である。 本実施の形態における色差信号のリシンクブロックの番号構成例を示す図である。 本実施の形態におけるリシンクブロックの伝送順序を示す図である。 本実施の形態の画像符号化装置の概略構成を示すブロック図である。 図６の可変長符号化方式を説明するための図である。 図６の可変長符号化方式を説明するための図である。

Claims (2)

1. 画像データを入力し可変長符号化を行なう画像符号化装置であって、
   画像データを構成する輝度信号と色差信号を夫々複数の輝度信号ブロックと複数の色差信号ブロックに分割する分割手段と、
   前記輝度信号ブロック及び色差信号ブロックのそれぞれを可変長符号化する符号化手段と、
   所定数の前記輝度信号ブロックを輝度信号のリシンクブロックとし、所定数の前記色差信号ブロックを色差信号のリシンクブロックとして、伝送ブロック内に、１画面分に満たない所定数の前記輝度信号のリシンクブロックの符号化データと、当該所定数の前記輝度信号のリシンクブロックと画像空間上で同一領域にある所定数の前記色差信号のリシンクブロックの符号化データとを一単位にして、前記単位を前記画像空間上における領域の配置順に複数配列し、かつ、配列された各リシンクブロックの間に、伝送誤りが発生した際に境界を検出するために用いる識別コードを挿入して出力する出力手段と、
   を有することを特徴とする画像符号化装置。
2. 画像データを入力し可変長符号化を行なう画像符号化方法であって、
   画像データを構成する輝度信号と色差信号を夫々複数の輝度信号ブロックと複数の色差信号ブロックに分割する分割工程と、
   前記輝度信号ブロック及び色差信号ブロックのそれぞれを可変長符号化する工程と、
   所定数の前記輝度信号ブロックを輝度信号のリシンクブロックとし、所定数の前記色差信号ブロックを色差信号のリシンクブロックとして、伝送ブロック内に、１画面分に満たない所定数の前記輝度信号のリシンクブロックの符号化データと、当該所定数の前記輝度信号のリシンクブロックと画像空間上で同一領域にある所定数の前記色差信号のリシンクブロックの符号化データとを一単位にして、前記単位を前記画像空間上における領域の配置順に複数配列し、かつ、配列された各リシンクブロックの間に、伝送誤りが発生した際に境界を検出するために用いる識別コードを挿入して出力する出力工程と、
   を有することを特徴とする画像符号化方法。

Images