JP3556363B2

JP3556363B2 - 画像通信方法

Info

Publication number: JP3556363B2
Application number: JP33550095A
Authority: JP
Inventors: 応一小山田; 晋一平田
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 1995-12-22
Filing date: 1995-12-22
Publication date: 2004-08-18
Anticipated expiration: 2015-12-22
Also published as: JPH09181895A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を圧縮して伝送する画像通信方法に係り、特に回線品質の悪い通信路であってもある程度の精度を保持しながら効率よく画像を伝送できる画像通信方法に関する。
【０００２】
【従来の技術】
まず、従来の画像通信装置について図６を使って説明する。図６は、従来の画像通信装置の構成ブロック図である。
従来の画像通信装置は、図６に示すように、送信側が離散コサイン変換器１と、量子化器２と、ハフマン符号化器３と、誤り検出符号化器５を内部に有する通信制御部４′と、変調器６とから構成され、受信側が復調器７と、誤り検出復号化器９を内部に有する通信制御部８′と、ハフマン復号化器１０と、逆量子化器１１と、逆離散コサイン変換器１２とから構成され、送信側と受信側とが通信路を介して接続されている。
【０００３】
次に、従来の画像通信装置の各部について説明する。
離散コサイン変換器１は、デジタル変換された入力画像データを符号化ブロック（例えば８×８画素や１６×１６画素で、以降は単にブロックと記述する）単位で離散コサイン（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：ＤＣＴ）変換してＤＣＴ係数を出力する変換符号化を行うものである。
量子化器２は、離散コサイン変換器１で変換符号化されたＤＣＴ係数を量子化して有効係数の数を削減した量子化係数を出力するものである。
ハフマン符号化器３は、量子化器２で量子化された量子化係数をエントロピー符号化して情報源符号化データ（符号化データ）を出力するもので、エントロピー符号化の一例としてはハフマン符号化が知られている。
【０００４】
誤り検出符号化器５は、ハフマン符号化器３から出力される符号化データに、伝送誤りを検出するための誤り検出符号を付加するもので、誤り検出符号の例としては、誤りが独立して起こる独立誤り、及び誤りが連続して起こるバースト誤りの両方を検出できることで知られているＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋｓ）符号があり、ＣＲＣの生成多項式は一般的にＩＴＵ−Ｔのｘ^１６＋ｘ^１２＋ｘ^５＋１が用いられる。ＣＲＣに関する詳細は「コンピュータ通信とネットワーク」福永邦雄著共立出版株式会社ｐ７８〜ｐ８２に記載されている。
【０００５】
通信制御部４′は、誤り検出符号化器５で誤り検出符号が付加されたデータを伝送制御手順に則った伝送フレームに組み込んで変調器６に出力するものである。尚、１つの伝送フレーム内には、１つ又は複数のブロックの情報源符号化データが組み込まれる。
【０００６】
ここで、伝送制御手順の例としては、ビット単位で可変長のデータを伝送することができ、誤り検出時に再送要求を行うことにより信頼性の高い伝送が可能な同期式手順であるＨＤＬＣ（ＨｉｇｈｌｅｖｅｌＤａｔａＬｉｎｋＣｏｎｔｒｏｌ）手順が一般的である。
【０００７】
ＨＤＬＣ手順における伝送単位である伝送フレームは、図７に示すように、フレームの開始を検出するためのフラグと、伝送先のアドレスと、手順に則ったコマンドやレスポンスを設定するコントロールと、伝送したい可変長のデータ、つまりここでは画像データ（情報源符号化データ）と、誤り訂正符号（ここではＣＲＣ符号）と、フレームの終了を検出するためのフラグとから構成されている。図７は、ＨＤＬＣ手順の伝送フレームフォーマットを示す説明図である。尚、ＨＤＬＣ手順の詳細は、「コンピュータ通信とネットワーク」福永邦雄著共立出版株式会社ｐ１１３〜ｐ１３０に記載されている。
【０００８】
そして、ＨＤＬＣ手順においては、受信側でフレーム単位の誤りが検出されると、再送要求が送信されるので、通信制御部４′では、受信側からの再送要求に対応して、フレームの再送動作も行うものである。
【０００９】
変調器６は、伝送データを通信路に適した信号に変調して通信路に送出するものである。
復調器７は、通信路から受信した伝送データを復調して通信制御部８′に出力するものである。
【００１０】
誤り検出復号化器９は、復調された受信データの誤り検出を行うものである。
通信制御部８′は、通信制御手順に則った処理を行い、特に誤りが検出された場合は、ＨＤＬＣ手順に則って再送要求を送信して誤りのないデータを受信できるまでやりとりを行うようになっている。そして、誤りのないデータについては、情報源符号化データ部分を取り出してハフマン復号化器１０に出力するものである。
【００１１】
ハフマン復号化器１０は、通信制御部８′から受け取った誤りのない符号化データをエントロピー復号化して量子化係数を出力するものであり、逆量子化器１１は、ハフマン復号化器１０からの量子化係数を逆量子化してＤＣＴ係数を出力するものであり、逆離散コサイン変換器１２は、逆量子化器１１からのＤＣＴ係数を逆離散コサイン変換して情報源復号化された画像データを出力するものである。
【００１２】
次に、従来の画像通信装置における動作について、図６を用いて説明する。
従来の画像通信装置では、送信側に伝送する画像の画像データが入力されると、離散コサイン変換器１で離散コサイン変換され、量子化器２で量子化され、ハフマン符号化器３でエントロピー符号化されて情報源符号化され、更に通信制御部４′において誤り検出符号化器５で誤り検出符号が付加され、ＨＤＬＣフレームに組み込まれ、変調器６で変調されて通信路に送出される。
【００１３】
そして受信側では、通信路から受信したデータが復調器７で復調され、通信制御部８′において誤り検出復号化器９で誤り検出が行われ、誤りが検出されたフレームについては再送要求が復調器７を介して送信側に送出され、変調器６を介して再送要求を受信した通信制御部４′が再送要求のあったフレームを再送する。
【００１４】
また、通信制御部８′において誤り検出復号化器９で誤りが検出されなかったフレームについては情報源符号化データ部分が取り出され、ハフマン復号化器１０でエントロピー復号化され、逆量子化器１１で逆量子化され、逆離散コサイン変換器１２で逆離散コサイン変換されて情報源復号化され、画像データが出力されるようになっている。
【００１５】
【発明が解決しようとする課題】
しかしながら、上記従来の画像通信装置では、無線等の誤り率の大きい通信路で画像を伝送する場合再送頻度が多く、通信時間が非常に長くなり、実用的でないという問題点があった。
【００１６】
本発明は上記実情に鑑みて為されたもので、誤り率の大きい通信路であってもある程度の精度を保持しながら、短時間で効率よく画像を伝送できる画像通信方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記従来例の問題点を解決するための本発明は、画像通信方法において、送信側で原画像を符号化ブロックに分割し、前記符号化ブロック毎に輪郭を含む輪郭ブロックと、輪郭を含まない非輪郭ブロックに選別し、前記輪郭ブロックは情報源符号化を行って誤り訂正符号化して伝送し、前記非輪郭ブロックは情報源符号化を行って誤り検出符号化して伝送し、受信側で前記輪郭ブロックの情報源符号化データの誤り訂正を行って情報源復号化して輪郭ブロックを再生し、前記非輪郭ブロックの情報源符号化データの誤り検出を行い、誤りが検出されなければ情報源復号化して非輪郭ブロックを再生し、誤りが検出されると補間により非輪郭ブロックを再生することを特徴としており、伝送誤りに対して再送は行わず、誤り訂正又は補間で対応するので、誤り率の大きい通信路であってもある程度の精度を保持しながら、短時間で効率よく画像を伝送できる。
【００１８】
【発明の実施の形態】
請求項に係る発明について、その実施の形態を図面を参照しながら説明する。
本発明に係る画像通信方法は、原画像から符号化ブロック単位で輪郭を含むブロック（輪郭ブロック）とそれ以外（非輪郭ブロック）とを選別し、それぞれ情報源符号化し、輪郭ブロックについては誤り訂正符号化して送信し、非輪郭ブロックについては誤り検出符号化して送信し、受信側で誤りが検出されたならば情報源復号化の後に、周囲の画素から補間するものなので、再生画像の精度をある程度保持しながら、伝送効率を向上できるものである。
【００１９】
まず、本発明に係る画像通信方法を実現する画像通信装置（本装置）の構成について図１を使って説明する。図１は、本発明に係る画像通信方法を実現する画像通信装置の構成ブロック図である。尚、図６と同様の構成をとる部分については同一の符号を付して説明する。
【００２０】
本装置は、図６に示した従来の画像通信装置と基本的に同様の部分として、送信側が離散コサイン変換器１と、量子化器２と、ハフマン符号化器３と、変調器６とから構成され、受信側が復調器７と、ハフマン復号化器１０と、逆量子化器１１と、逆離散コサイン変換器１２とから構成され、更に本発明の特徴部分として、送信側に輪郭ブロック選別器１３と、誤り検出符号化器５と誤り訂正符号化器１６とを有する通信制御部４が設けられ、受信側に誤り検出復号化器９と誤り訂正復号化器１７とを有する通信制御部８と、輪郭ブロック選別器１４と、補間器１５とが設けられている。
【００２１】
次に、本装置の各部について具体的に説明するが、離散コサイン変換器１と、量子化器２と、ハフマン符号化器３と、誤り検出符号化器５と、変調器６と、復調器７と、誤り検出復号化器９と、ハフマン復号化器１０と、逆量子化器１１と、逆離散コサイン変換器１２については、従来と全く同様であるのでここでは説明を省略する。
【００２２】
輪郭ブロック選別器１３は、原画像を符号化ブロック単位で輪郭を含む符号化ブロック（輪郭ブロック）と、輪郭を含まない符号化ブロック（非輪郭ブロック）とに選別する輪郭選別を行うものである。
具体的に輪郭ブロック選別器１３は、入力される原画像の画像データを１画面分記憶し、符号化ブロック単位で輪郭ブロックであるか否かを判定し、判定結果を値に置き換えた輪郭判定テーブルを作成する。
【００２３】
そして、１画面分の判定が終了した時点で、まず輪郭判定テーブルを通信制御部４に出力し、続いて符号化ブロック単位でまず輪郭ブロックの画像データを予め定めた順（例えば、左から右、上から下）に離散コサイン変換器１に出力し、その後非輪郭ブロックの画像データを予め定めた順（例えば、左から右、上から下）に離散コサイン変換器１に出力するものである。
【００２４】
ここで、輪郭ブロックの判定方法は、通常知られているラプラシアンオペレータ等の手法を用いて、原画像の画素値分布ｌ（ｘ，ｙ）から、例として図２に示すフィルタのカーネルｈ（ｋ，ｌ）を用いて、次式により輪郭画像Ｅ（ｘ，ｙ）を得る。
Ｅ（ｘ，ｙ）＝ΣΣｌ（ｘ＋ｋ，ｙ＋ｌ）＊ｈ（ｋ，ｌ）
但し、図２（ａ）の場合ｋ，ｌ＝−１，０，１、図２（ｂ）の場合ｋ，ｌ＝−２，−１，０，１，２である。
尚、輪郭画像を求める処理は、カラー画像ならば、ＲＧＢの一成分、又は輝度（Ｙ）、色差（Ｃｒ，Ｃｂ）に変換したときの輝度成分の一成分についてのみ行えばよい。
図２は、本装置で用いたフィルタのカーネルｈ（ｋ，ｌ）の具体例を示す説明図である。
【００２５】
そして、原画像の各符号化ブロックに対して、対応する輪郭画像Ｅを調べ、画素値の大きい画素が隣り合って例えば１０個以上なら輪郭ブロックと判定し、さもなければ輪郭ブロック以外と判定するようになっている。
【００２６】
輪郭判定テーブルは、符号化ブロック毎の輪郭の判定結果を示すテーブルで、例えば、６４０ ×４８０画素の画像を１６×１６画素ブロック単位で符号化して伝送する場合、各符号化ブロックの判定結果を１ビットで表し、輪郭を含む部分を１、輪郭を含まない部分を０として表すと、輪郭判定テーブルの大きさは１２００ビットとなる。
【００２７】
通信制御部４は、送信側の通信制御を行うもので、具体的には、まず輪郭ブロック選別器１３からの輪郭判定テーブルを記憶すると共に、輪郭判定テーブルを誤り訂正符号化器１６で誤り訂正符号化して伝送制御手順に則った伝送フレームを作成して変調器６に出力する。
【００２８】
そして、ハフマン符号化器３から輪郭ブロックの符号化データを受け取ると、記憶している輪郭テーブルを参照して画像内での位置を確認し、位置を示す番号（ブロック番号）を付加し、誤り訂正符号化器１６で誤り訂正符号化し、伝送フレームを作成して変調器６に出力する。
また、ハフマン符号化器３から非輪郭ブロックの符号化データを受け取ると、記憶している輪郭テーブルを参照して画像内での位置を確認し、位置を示す番号（ブロック番号）を付加し、誤り検出符号化器５で誤り検出符号化し、伝送フレームを作成して変調器６に出力するようになっている。
【００２９】
誤り訂正符号化器１６は、輪郭ブロック選別器１３からの輪郭判定テーブルと、ハフマン符号化器３からの輪郭ブロックの符号化データを誤り訂正符号化するものである。
誤り訂正符号としては、ＢＣＨ（ＢｏｓｅＣｈａｕｄｈｕｒｉＨｏｃｑｕｅｎｇｈｅｍ）符号が知られており、例としてＢＣＨ（１６，８）で符号化すると、データ８ビットに対して誤り訂正符号が８ビット付加されることになり、生成多項式がｘ^８＋ｘ^７＋ｘ^６＋ｘ^４＋ｘ^２＋ｘ＋１を持つＢＣＨ（１７，９）を短縮することによって得られ、広く用いられているものである。
【００３０】
また、誤り訂正符号化された輪郭判定テーブル及び輪郭ブロックの画像データの送信フレームは図３に示すようなものになる。図３は、本発明の画像通信装置における輪郭判定テーブル及び輪郭ブロックの画像データの送信フレームフォーマットを示す説明図である。
【００３１】
通信制御部８は、受信側の通信制御を行うもので、具体的には、まず復調器７で復調された輪郭判定テーブルについて、誤り訂正復号化器１７で誤り訂正復号化し、通信制御部８内部に記憶すると共に輪郭ブロック選別器１４に出力する。
そして、続いて復調器７で復調された輪郭ブロックの画像データについて誤り訂正復号化器１７で誤り訂正復号化し、ハフマン復号化器１０に出力する。
【００３２】
そして、復調器７で復調された非輪郭ブロックの画像データについて誤り検出復号化器９で誤り検出を行い、誤りが検出されなかった場合はハフマン復号化器１０に出力し、誤りが検出された場合はデータを廃棄し、代わりに前後に正常受信したブロックのブロック番号から誤りが発生したブロック番号を求め、そのブロック番号を誤り情報として補間器１５に出力するようになっている。
【００３３】
輪郭ブロック選別器１４は、逆離散コサイン変換器１２で復号化された画像データを適正な位置に格納するもので、具体的には、通信制御部８から出力される輪郭判定テーブルを記憶し、逆離散コサイン変換器１２からブロック単位で画像データを受け取ると、記憶している輪郭判定テーブルを参照して輪郭ブロックと非輪郭ブロックのブロック位置を特定し、補間器１５の内部メモリの対応するブロック位置に画像データを格納するようになっている。
【００３４】
補間器１５は、通信制御部８からの誤り情報に基づいて、誤りが発生した非輪郭ブロックの画像を周囲の正常受信した画像データから補間するもので、１画面分の画像データを記憶する内部メモリを有している。
【００３５】
ここで、補間処理の一例について図４を使って説明する。図４は、本発明の画像通信装置における補間処理方法の一例を示す説明図である。
補間処理方法の一例は、誤りが発生したブロック（図４灰色部分で８×８画素のブロックの例）の画素値ｘは、受信された輪郭ブロックの周囲４画素の画素値ａ，ｂ，ｃ，ｄを用いて数式［数１］によって算出する。
【００３６】
【数１】

【００３７】
尚、補間方法については、この例に限定せず、隣接ブロックの画素値をコピーする簡単な方法から曲線式を用いて補間計算する曲線補間まで処理速度と補間精度のかねあいで補間方法を選択すればどのような方法を用いても構わない。
【００３８】
次に、本発明の画像通信装置における動作について、図１を用いて説明する。本発明の画像通信装置では、送信側に伝送する画像（原画像）の画像データが入力されると、輪郭ブロック選別器１３で１画面分記憶され、符号化ブロック単位で輪郭判定が為されて輪郭ブロックと非輪郭ブロックとに選別される。そして、１画面分の輪郭判定結果を示す輪郭判定テーブルが通信制御部４に出力されて誤り訂正符号化器１６で誤り訂正符号化され、伝送フレームに組み込まれ、変調器６で変調されて通信路に送出される。
【００３９】
次に、輪郭ブロックの画像データが輪郭ブロック選別器１３から順に離散コサイン変換器１に出力され、離散コサイン変換器１で離散コサイン変換され、量子化器２で量子化され、ハフマン符号化器３でエントロピー符号化されて通信制御部４に出力され、誤り訂正符号化器１６で誤り訂正符号化され、伝送フレームに組み込まれ、変調器６で変調されて通信路に送出される。
【００４０】
次に、非輪郭ブロックの画像データが輪郭ブロック選別器１３から順に離散コサイン変換器１に出力され、離散コサイン変換器１で離散コサイン変換され、量子化器２で量子化され、ハフマン符号化器３でエントロピー符号化されて通信制御部４に出力され、誤り検出符号化器５で誤り検出符号化され、ＨＤＬＣフレームに組み込まれ、変調器６で変調されて通信路に送出される。
【００４１】
そして、受信側では、まず輪郭判定テーブルの伝送データが復調器７で復調され、通信制御部８において誤り訂正復号化器１７で誤り訂正復号化され、通信制御部８に記憶されると共に、輪郭ブロック選別器１４に出力されて記憶される。
【００４２】
次に、輪郭ブロックの伝送データが復調器７で復調され、通信制御部８において誤り訂正復号化器１７で誤り訂正復号化され、ハフマン復号化器１０でエントロピー復号化され、逆量子化器１１で逆量子化され、逆離散コサイン変換器１２で逆離散コサイン変換され情報源復号化されて、画像データが輪郭ブロック選別器１４に出力される。
【００４３】
次に、非輪郭ブロックの伝送データが復調器７で復調され、通信制御部８において誤り検出復号化器９で誤り検出が行われ、誤りが検出された場合は、データは廃棄されて誤り情報が補間器１５に出力される。
一方、非輪郭ブロックの伝送データで誤りが検出されなかった場合は、ハフマン復号化器１０でエントロピー復号化され、逆量子化器１１で逆量子化され、逆離散コサイン変換器１２で逆離散コサイン変換され情報源復号化されて、画像データが輪郭ブロック選別器１４に出力される。
【００４４】
そして、輪郭ブロック選別器１４では輪郭判定テーブルの情報に従って逆離散コサイン変換器１２からの画像データが補間器１５の内部メモリの適正な位置に格納され、１画面分の画像データが格納された時点で、補間器１５で誤り情報を元に誤りのあった非輪郭ブロックの画素値について補間が行われるようになっている。
【００４５】
本発明の画像通信方法を用いて画像を伝送する場合と、従来の方法とを通信路の誤り率と通信時間との関係で比較してみると、図５に示すように、本発明の画像通信方法の場合、再送は行わないので通信時間が一定で、誤り率の大きいところでは従来の方法に比べてかなり通信時間が小さくなり、安定した伝送が行えることが分かる。図５は、通信路の誤り率と通信時間との関係を示す説明図である。
【００４６】
本発明の画像通信方法によれば、原画像において輪郭ブロックと非輪郭ブロックを選別して、輪郭ブロックは誤り訂正を行い、非輪郭ブロックは誤りに対して情報源復号化後に周囲の画素から補間するので、重要な輪郭部分は誤り訂正である程度の精度を保持して伝送し、それ以外の非輪郭ブロックは誤りが発生しても補間により再生するので、全体の通信時間は短縮でき、誤り率の大きい通信路であっても、ある程度の精度を保持しながら短時間で効率よく安定して画像を伝送できる効果がある。
【００４７】
【発明の効果】
本発明によれば、送信側で原画像の輪郭ブロックは誤り訂正符号化して伝送し、非輪郭ブロックは誤り検出符号化して伝送し、受信側で非輪郭ブロックに誤りが検出されたなら補間により再生する画像通信方法としているので、伝送誤りに対して再送は行わず、輪郭ブロックは誤り訂正し、非輪郭ブロックは補間で対応するので、誤り率の大きい通信路であっても、ある程度の精度を保持しながら短時間で効率よく画像を伝送できる効果がある。
【図面の簡単な説明】
【図１】本発明に係る画像通信方法を実現する画像通信装置の構成ブロック図である。
【図２】本発明の画像通信装置で用いたフィルタのカーネルｈ（ｋ，ｌ）の具体例を示す説明図である。
【図３】本発明の画像通信装置における輪郭判定テーブル及び輪郭ブロックの画像データの送信フレームフォーマットを示す説明図である。
【図４】本発明の画像通信装置における補間処理方法の一例を示す説明図である。
【図５】通信路の誤り率と通信時間との関係を示す説明図である。
【図６】従来の画像通信装置の構成ブロック図である。
【図７】ＨＤＬＣ手順の伝送フレームフォーマットを示す説明図である。
【符号の説明】
１…離散コサイン変換器、２…量子化器、３…ハフマン符号化器、４，４′，８，８′…通信制御部、５…誤り検出符号化器、６…変調器、７…復調器、９…誤り検出復号化器、１０…ハフマン復号化器、１１…逆量子化器、１２…逆離散コサイン変換器、１３，１４…輪郭ブロック選別器、１５…補間器、１６…誤り訂正符号化器、１７…誤り訂正復号化器

Claims

送信側で原画像を符号化ブロックに分割し、前記符号化ブロック毎に輪郭を含む輪郭ブロックと、輪郭を含まない非輪郭ブロックに選別し、前記輪郭ブロックは情報源符号化を行って誤り訂正符号化して伝送し、前記非輪郭ブロックは情報源符号化を行って誤り検出符号化して伝送し、受信側で前記輪郭ブロックの情報源符号化データの誤り訂正を行って情報源復号化して輪郭ブロックを再生し、前記非輪郭ブロックの情報源符号化データの誤り検出を行い、誤りが検出されなければ情報源復号化して非輪郭ブロックを再生し、誤りが検出されると補間により非輪郭ブロックを再生することを特徴とする画像通信方法。