JP3642737B2

JP3642737B2 - 画像符号化装置及び画像復号化装置

Info

Publication number: JP3642737B2
Application number: JP2001027624A
Authority: JP
Inventors: 端内海; 慶一日比
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-02-05
Filing date: 2001-02-05
Publication date: 2005-04-27
Anticipated expiration: 2017-03-28
Also published as: JP2001258024A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報を符号化し通信回線を介して他の装置へ伝送する画像符号化装置、及び、伝送された符号化データを復号し元の画像情報を復元する画像復号化装置に関し、特に、無線通信網等、伝送誤り率の高い環境で符号化データの通信を行う画像符号化装置及び画像復号化装置に関するものである。
【０００２】
【従来の技術】
近年、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）やディジタルセルラー等の無線通信網を利用した画像通信サービスが期待され、実用化が進められつつある。
【０００３】
現状では、これらの無線通信網は伝送容量が大きくないため、音声、画像など情報量の多いマルチメディア情報を伝送する際には、符号化することによって伝送するデータ量を削減する。
【０００４】
ところで、無線通信での問題点の一つに伝送誤り率の高いことが挙げられる。上記のように符号化したデータは、元の情報から様々な冗長度を削減しているため、ビットあたりの情報量が符号化前のデータに比べて大きく、伝送中に生じた少量の誤りが復元後の品質に対して重大な影響を与える可能性がある。従って、これらの無線通信網を利用した画像通信においては、この伝送誤りによる情報の品質の劣化を防ぐための対策が非常に重要である。
【０００５】
図４に従来の画像通信で用いられている符号化器と復号化器とを備えたシステムの構成を示す。入力画像信号４１は、情報源符号化部４２で符号化されデータ量を削減される。符号化された画像データ４３は、送信制御部４４へ送られ、通信回線の伝送速度に従って符号化データ４５として順次送信される。
【０００６】
一方、通信回線から受信した符号化データ４５は、受信制御部４６に格納され、この受信制御部４６から符号化信号４７として符号化された単位毎に順次情報源復号化部４８へ送られる。そして、この情報源復号化部４８で復号され、画像信号４９として出力される。
【０００７】
以下に、図４における符号化器（以下の説明では符号化装置と称す）の動作について、図４及び図５を参照しながら説明する。図５に図４の情報源符号化部４２の構成例を示す。
【０００８】
図５に示すように、入力画像信号４１は、そのまま、または前フレームの符号化再生信号との差分が算出されて、変換／量子化部５１に送られる。変換／量子化部５１で画像信号の空間的な冗長度の除去を行い、その符号化信号４３を外部のバッファなどへ送信すると共に、逆量子化／逆変換部５２へ送る。
【０００９】
逆量子化／逆変換部５２では、前記変換／量子化部５１と逆の処理を行い復号化差分信号５３を生成する。復号化差分信号５３は、フレームメモリ５４に蓄積されている前フレームの復元信号５５と加算され、新たにフレームメモリ５４に格納される。
【００１０】
フレームメモリ５４に格納された復元画像信号５５は、次のフレームの入力画像信号４１との差分をとることで、時間的な冗長度の削減に使用される。
【００１１】
また、図４に示すように、情報源符号化部４２からの符号化信号４３は送信制御部４４に送られる。送信制御部４４では、符号化の条件等を示すヘッダ情報を符号化信号に付加し、通信回線の送信速度に合わせてバッファリングを行い順次送信する。
【００１２】
次に、図４における復号化器（以下の説明では復号化装置と称す）の動作について、図４及び図６を参照して説明する。図４に示すように、受信した符号化データ列は、受信制御部４６でヘッダ情報と画像情報とに分割され、画像情報は情報源復号化部４８へ送られる。
【００１３】
図６にこの情報源復号化部４８の構成例を示す。受信した画像情報の符号化信号４７は、逆量子化／逆変換部６１で復号される。ここで生成された復号化差分信号６２は、フレームメモリ６３に蓄積されている前フレームの復元信号６４と加算され新たにフレームメモリ６３に格納されると共に、外部へ送信される。この出力信号４９が、復元された画像信号である。
【００１４】
前述のように、画像信号は送信データ量を削減するために符号化されて送信されるが、さらに符号化の効率を上げるため通常可変長符号化される。可変長符号化されると、符号化データ量は例えば画像のフレーム毎にそれぞれ異なり一定にはならない。
【００１５】
そこで、復号化装置側で画像フレームの開始位置等の判断を行うために、符号化装置側で符号化データ列中に同期ワードを挿入する。この同期ワードは、固定パターンであり他の画像情報の符号とは一致することのないユニークなコードが割り付けられ、検出のミスが無いように配慮されている。
【００１６】
この同期ワードがあることで、復号化装置は連続して受信する符号化データ列の中から画像情報の境界を判断することが可能になり、正しく画像信号を復元することができる。
【００１７】
ところで、画像信号の符号化を行う場合、符号化処理の遅延を低減するため、画像信号はブロック単位に分割して処理を行う。そのブロックの分割単位を図７に示す。画像の１フレームはいくつかのＧＯＢ（グループオブブロック）に分割される。ＧＯＢはさらにいくつかの１６画素×１６ライン単位のマクロブロックに分割される。
【００１８】
マクロブロックは、４つの輝度信号ブロックと２つの色差信号ブロックとに分割される。それぞれのブロックは８画素×８ラインのサイズである。なお、水平方向に１列分のマクロブロックの集合を指して、マクロブロックラインと呼ぶこともある。図７の場合は、１ＧＯＢが１マクロブロックラインに相当する。
【００１９】
符号化されたこれらのデータは、画像フレームの左上から右下へ向かってＧＯＢ単位に、ＧＯＢ内はマクロブロック単位に、マクロブロック内はブロック単位に、順次送信される。
【００２０】
この時、フレームの先頭及び各ＧＯＢの先頭毎に同期ワードを挿入し、復号化装置側でフレームとＧＯＢの位置が特定できるようになっている。マクロブロックとブロックとは、ＧＯＢのヘッダに続くマクロブロックのヘッダとブロック内のデータによって識別を行う。
【００２１】
このように、同期ワードを設定しているため、復号化装置側でそのパターンをサーチしていれば、途中で符号化データ内にエラーがあっても必ずＧＯＢの先頭で同期がとれるため、エラーの影響を後に波及させないようにすることができる。
【００２２】
【発明が解決しようとする課題】
しかしながら、復号化装置側では確実に同期をとるために常に同期ワードのサーチを行う必要があり、その分処理のオーバーヘッドが増すことになる。さらに、伝送誤りなどで、本来フレームやＧＯＢの先頭でないにもかかわらず、たまたま同じパターンが現れてしまったり、同期ワード自体に誤りが生じて別の符号として認識されてしまうような可能性があり、そのような場合は、その後の符号の復号に影響が及んでしまい、復元画像の甚だしい劣化を引き起こす結果になる。
【００２３】
本発明は、上記問題に鑑みてなされたものであり、符号化データの伝送中に誤りが生じた場合に、復号化装置側で誤りの検出を容易にし、復元画像への影響を軽減することが可能な画像符号化装置及び画像復号化装置を提供するものである。
【００２４】
【課題を解決するための手段】
第１の発明は、入力された画像情報の符号化を行う符号化手段と、前記符号化手段からの符号化データ列中に、画像符号化データの境界を示すための同期ワードを挿入する同期ワード挿入手段と、前記同期ワード挿入手段により同期ワードが挿入された符号化データを、通信回線を介して送信する送信手段とを備えた画像符号化装置において、前記画像情報のフォーマット及び前記通信回線の伝送速度に応じて、前記符号化データのビット数で表されるデータ長を決定する決定手段を備え、前記同期ワード挿入手段は、前記同期ワードを挿入する間隔が前記決定手段により決定された前記データ長を超えないように、前記同期ワードを挿入することを特徴とする。
【００２５】
第２の発明は、画像情報の境界を示す同期ワードを含む符号化データを受信する受信手段と、前記受信手段により受信した符号化データ列から、画像符号化データの境界を示すための同期ワードを検索する同期ワード検出手段と、前記符号化データを復号して元の画像情報に復元する復号化手段とを備えた画像復号化装置において、前記画像情報のフォーマット及び前記通信回線の伝送速度に応じて、前記符号化データのビット数で表されるデータ長を決定する決定手段を備え、前記同期ワード検出手段は、前記決定手段により決定された前記データ長を超えないような間隔で挿入された前記同期ワードを検索することを特徴とする。
【００２６】
【発明の実施の形態】
以下に、本発明の一実施形態について、図面を参照しながら説明する。なお、以下の説明において、上記した従来例と同一部分には、同一符号を付して説明する。また、以下の説明において、符号化装置及び復号化装置とは、それぞれ単独に存在するものばかりでなく、一つの符号化システムに備えられる符号化器及び復号化器も含むものとする。
【００２７】
図１は本発明による符号化装置の構成を示すブロック図である。１０は符号化制御部、１１は同期ワード挿入間隔選択部、１２は同期ワード挿入部、４２は情報源符号化部、４４は送信制御部である。
【００２８】
上記符号化装置において、符号化データの送信開始時に、同期ワード挿入間隔選択部１１は、入力画像信号のフォーマット及び通信回線の伝送速度から、１マクロブロックライン分のおおよそのデータ長Ｎを決定し、同期ワード挿入部１２に通知する。
【００２９】
この時、決定するデータ長Ｎは、予め統計的に求めておいたものをテーブルに保存しておいても良いし、符号化の条件が決定した時に算出することも可能である。算出に必要な条件は、通信開始時に復号化装置側へも送信しておく。
【００３０】
データ長Ｎを通知された同期ワード挿入部１２は、各同期ワードの先頭からデータ長のカウントを開始し、データ長Ｎだけ経過した位置の前後で最も近傍のマクロブロックの先頭位置に同期ワードを挿入する。
【００３１】
ここで、同期ワードを挿入する位置は、各同期ワードからデータ長Ｎが経過した後最初に現れるマクロブロックの先頭か、または各同期ワードからデータ長Ｎの範囲内で最後に現れるマクロブロックの先頭のどちらかに決定する。
【００３２】
図２に本発明による復号化装置の構成図を示す。２０は復号化制御部、２１は同期ワード検出部、２２は同期ワード挿入間隔判定部、４６は受信制御部、４８は情報源復号化部である。
【００３３】
この復号化装置において、同期ワード挿入間隔判定部２２は、通信回線の伝送速度と受信した符号化データを復号した画像情報のフォーマットとから１マクロブロックラインのおおよその長さのデータ長Ｎを決定し、同期ワード検出部２１へ通知する。
【００３４】
このとき決定するデータ長Ｎは、予め統計的に求めておいたものをテーブルに保存しておいても良いし、通信先の符号化装置から通知された符号化の条件から算出することも可能であるが、いずれにしても、符号化装置側の同期ワード挿入間隔選択部１１と同一のアルゴリズムを採用する。
【００３５】
データ長Ｎを通知された同期ワード検出部２１は、各同期ワードの先頭からデータ長のカウントを開始し、データ長Ｎだけ経過した時から、正方向または逆方向に同期ワードの検索を開始する。
【００３６】
正方向と逆方向のどちらにサーチを開始するかは、符号化装置の動作と合わせて予め定めておいても良いし、両方向にサーチしてデータ長Ｎの位置からより近い位置に現れた同期ワードを採用することも可能である。
【００３７】
この復号化装置において、同期ワードが上記の位置に検出できなかった場合は伝送エラーが起きている状態と考えられるが、この時、復号化装置は、同期ワードの出現が予想される前後のマクロブロックを復号に使用しないことで、伝送エラーの復元画像に与える影響を軽減させることが可能である。
【００３８】
図３に上記符号化装置による符号化データ列の一例を示す。ＰＳＣ３１は、フレームの先頭を示すピクチャスタートコードである。ＳＹＮＣ３２は、同期ワードで、各同期ワード間の距離はＮ±α（α＝１マクロブロック分以内のデータ長）となっている。
【００３９】
以上のように、上記符号化装置によれば、同期ワード挿入間隔選択部１１は、通信回線の伝送速度と入力画像信号の条件から適切な同期ワード挿入用のデータ長間隔を決定し、同期ワード挿入部１２に通知する。同期ワード挿入部１２は、符号化データのデータ長をカウントするとともに、前記同期ワード挿入間隔選択部１１から通知されたデータ長Ｎに従って求められるマクロブロックの境界位置に同期ワードを挿入する。
【００４０】
このとき、データ長Ｎは一応の目安であり、実際に同期ワードを挿入する位置はマクロブロックの先頭とする。同期ワード挿入の位置をデータ長Ｎより後にするか前にするかは、予め決定しておくか、よりデータ長Ｎから近い方に決定するという条件を定めておくものとする。
【００４１】
また、上記復号化装置によれば、同期ワード挿入間隔判定部２２は、前記同期ワード挿入間隔選択部１１と同様のアルゴリズムで同期ワードのデータ長間隔を決定し、同期ワード検出部２１に通知する。同期ワード検出部２１は、符号化データのデータ長をカウントするとともに、前記同期ワード挿入間隔判定部２２から通知されたデータ長Ｎに従って、同期ワードの検出を実施する。
【００４２】
【発明の効果】
以上のように、本発明の画像符号化装置及び画像復号化装置によれば、画像情報のフォーマット及び通信回線の伝送速度に応じて決定した符号化データ列中の適当なマクロブロック境界の位置に、同期ワードを挿入するので、符号化データ列中に同期ワードを半固定の間隔で、かつ必ずマクロブロックの境界位置に挿入することで、従来のブロック単位の処理手順は変えることなく、復号化装置側での同期ワードの位置の特定が容易になり、伝送エラーによる同期ワードの誤検出を減少させることができるとともに、その結果、伝送エラーによる復元画像の劣化を軽減することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像符号化装置の一実施形態を示すブロック図である。
【図２】本発明に係る画像復号化装置の一実施形態を示すブロック図である。
【図３】本発明に係る画像符号化装置の一実施形態による符号化データ列の構成を説明するための概念図である。
【図４】従来の符号化装置及び復号化装置の構成を示すブロック図である。
【図５】符号化装置における情報源符号化部の構成を示すブロック図である。
【図６】復号化装置における情報源復号化部の構成を示すブロック図である。
【図７】画像信号の符号化ブロックの構成を説明するための概念図である。
【符号の説明】
１１同期ワード挿入間隔選択部
１２同期ワード挿入部
２１同期ワード検出部
２２同期ワード挿入間隔判定部
３２同期ワード

Claims

入力された画像情報の符号化を行う符号化手段と、前記符号化手段からの符号化データ列中に、画像符号化データの境界を示すための同期ワードを挿入する同期ワード挿入手段と、前記同期ワード挿入手段により同期ワードが挿入された符号化データを、通信回線を介して送信する送信手段とを備えた画像符号化装置において、前記画像情報のフォーマット及び前記通信回線の伝送速度に応じて、前記符号化データのビット数で表されるデータ長を決定する決定手段を備え、前記同期ワード挿入手段は、前記同期ワードを挿入する間隔が前記決定手段により決定された前記データ長を超えないように、前記同期ワードを挿入することを特徴とする画像符号化装置。
画像情報の境界を示す同期ワードを含む符号化データを受信する受信手段と、前記受信手段により受信した符号化データ列から、画像符号化データの境界を示すための同期ワードを検索する同期ワード検出手段と、前記符号化データを復号して元の画像情報に復元する復号化手段とを備えた画像復号化装置において、前記画像情報のフォーマット及び前記通信回線の伝送速度に応じて、前記符号化データのビット数で表されるデータ長を決定する決定手段を備え、前記同期ワード検出手段は、前記決定手段により決定された前記データ長を超えないような間隔で挿入された前記同期ワードを検索することを特徴とする画像復号化装置。