JP5200854B2 - 符号化装置、復号装置、及び画像処理システム - Google Patents

Description

本発明は、符号化装置、復号装置、及び画像処理システムに関する。

特許文献１では、符号化に先立って、符号化対象となる画像データをプリスキャンして参照画素パターン毎に各カラーシンボルの色順位が設定された色順位テーブルを作成し、入力されたカラー画素データに基づいて対象カラー画素データに対する参照画素データを出力し、対象カラー画素データ及びその参照画素データに基づいて色順位テーブルから対応するカラーシンボルの色順位データを読み出して出力し、出力された色順位データを符号化データに変換して出力するデータ符号化装置が提案されている。
特開平７−１７７３５７号公報

本発明は、入力される画像情報の種類に関わらず適応性の高い符号化及び復号を行うことができる符号化装置、復号装置、及び画像処理システムを提供することを目的とする。

上記目的を達成するために、第１の発明の符号化装置は、複数の参照値と該参照値の各々に対応する統計的処理により得られた注目画素の予測値とを記憶する記憶手段と、前記注目画素の周辺画素の画素値から該注目画素に対応する参照値を生成する生成手段と、前記生成手段で生成された参照値と前記記憶手段の記憶内容とに基づいて、生成された参照値に対応する前記記憶手段に記憶された予測値を読み出す読出手段と、前記読出手段から予測値を読み出した後に、前記生成手段で生成された参照値に対応して前記記憶手段に記憶された予測値を、前記注目画素の画素値に更新する更新手段と、前記読出手段により読み出された予測値と前記注目画素の画素値との差の１つまたは複数を用いて符号化する符号化手段とを含んで構成されている。

また、第２の発明の符号化装置は、注目画素の周辺画素の画素値から該注目画素に対応する参照値を生成する生成手段と、画像データに含まれる各画素の画素値を統計的処理することにより、該画像データにおいて想定される参照値毎に得られた該参照値に対応する注目画素の複数の予測値を予め定めた順位まで記憶した記憶手段と、前記生成手段で生成された参照値と前記記憶手段の記憶内容とに基づいて、生成された参照値に対応する前記記憶手段に記憶された複数の予測値の中に前記注目画素の画素値と一致する予測値がある場合には、一致する予測値の順位を読み出し、一致する予測値がない場合には、予め定めた順位に対応する予測値を読み出す読出手段と、前記読出手段から予測値を読み出した後に、前記生成手段で生成された参照値に対応して前記記憶手段に記憶された複数の予測値のいずれか１つを、前記注目画素の画素値に更新する更新手段と、前記読出手段により順位が読み出された場合には、該順位の１つまたは複数を用いて符号化し、前記読出手段により予測値が読み出された場合には、該予測値と前記注目画素の画素値との差の１つまたは複数を用いて符号化する符号化手段とを含んで構成されている。

また、第１の発明の符号化装置の前記符号化手段は、複数の差を用いて符号化する際に、予め定めた値の差が複数個連続する場合には、連続する複数の前記差を予め定めた値に対応する他の値に変換してから符号化するようにすることができる。

また、第２の発明の符号化装置の前記符号化手段は、複数の差または順位を用いて符号化する際に、予め定めた値の差または順位が複数個連続する場合には、連続する複数の前記差または前記順位を予め定めた値に対応する他の値に変換してから符号化するようにすることができる。

また、第１または第２の発明の符号化装置は、入力された画像データが多値画像か否かを識別する識別手段と、前記注目画素の周辺画素の画素値及び予め定めた予測式に基づいて、前記注目画素の予測値を算出する算出手段とを含み、前記読出手段は、前記識別手段で前記入力された画像データが多値画像と識別された場合には、前記算出手段で算出された予測値を読み出すようにすることができる。

また、第１の発明の復号装置は、複数の参照値と該参照値の各々に対応する統計的処理により得られた注目画素の予測値とを記憶する記憶手段と、前記注目画素の周辺画素の画素値から該注目画素に対応する参照値を生成する生成手段と、前記生成手段で生成された参照値と前記記憶手段の記憶内容とに基づいて、生成された参照値に対応する前記記憶手段に記憶された予測値を読み出す読出手段と、前記読出手段から予測値を読み出した後に、前記生成手段で生成された参照値に対応して前記記憶手段に記憶された予測値を、前記注目画素の画素値に更新する更新手段と、前記注目画素に対応する符号化データを復号した復号データに前記読出手段により読み出された予測値を加算して画像データに復号する復号手段とを含んで構成されている。

また、第２の発明の復号装置は、注目画素の周辺画素の画素値から該注目画素に対応する参照値を生成する生成手段と、画像データに含まれる各画素の画素値を統計的処理することにより、該画像データにおいて想定される参照値毎に得られた該参照値に対応する注目画素の複数の予測値を予め定めた順位まで記憶した記憶手段と、前記生成手段で生成された参照値と前記記憶手段の記憶内容とに基づいて、前記注目画素に対応する符号化データが順位を表している場合には、生成された参照値及び前記符号化データが表す順位に対応する前記記憶手段に記憶された予測値を読み出し、前記注目画素に対応する符号化データが予測値と注目画素の画素値との差を表している場合には、予め定めた順位に対応する予測値を読み出す読出手段と、前記読出手段から予測値を読み出した後に、前記生成手段で生成された参照値に対応して前記記憶手段に記憶された複数の予測値のいずれか１つを、前記注目画素の画素値に更新する更新手段と、前記符号化データが表す順位に基づいて前記読出手段により予測値が読み出された場合には、読み出された予測値をそのまま画像データとし、予め定めた順位に基づいて前記読出手段により予測値が読み出された場合には、読み出された予測値に前記符号化データを復号した復号データを加算して画像データに復号する復号手段とを含んで構成されている。

また、第１の発明の復号装置の前記復号手段は、連続する複数の差を予め定めた値に対応する他の値に変換してから符号化された符号化データを復号する際に、前記他の値を前記予め定めた値に変換してから復号するようにすることができる。

また、第２の発明の復号装置の前記復号手段は、連続する複数の差または順位を予め定めた値に対応する他の値に変換してから符号化された符号化データを復号する際に、前記他の値を前記予め定めた値に変換してから復号するようにすることができる。

また、第１または第２の発明の復号装置は、復号された画像データが多値画像か否かを識別する識別手段と、前記注目画素の周辺画素の画素値及び予め定めた予測式に基づいて、前記注目画素の予測値を算出する算出手段とを含み、前記読出手段は、前記識別手段で前記復号された画像データが多値画像と識別された場合には、前記算出手段で算出された予測値を読み出すようにすることができる。

また、第１の発明の画像処理システムは、第１の発明の符号化装置と、第１の発明の復号装置とを含んで構成されている。

また、第２の発明の画像処理システムは、第２の発明の符号化装置と、第２の発明の復号装置とを含んで構成されている。

請求項１記載の符号化装置によれば、入力される画像情報の種類に関わらず適応性の高い符号化及び復号を行うことができる。

請求項２記載の符号化装置によれば、上記効果に加え、符号化の圧縮率を向上させることができる。

請求項３記載の符号化装置によれば、更に適応性を高めることができる。

請求項４記載の復号装置によれば、入力される画像情報の種類に関わらず適応性の高い符号化及び復号を行うことができる。

請求項５記載の復号装置によれば、上記効果に加え、圧縮率を向上させた符号化データの復号も行うことができる。

請求項６記載の復号装置によれば、更に適応性を高めることができる。

請求項７記載の画像処理システムによれば、入力される画像情報の種類に関わらず適応性の高い符号化及び復号を行うことができる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

［第１の実施の形態］

図１に第１の実施の形態の画像処理システム１０の概略構成を示す。画像処理システム１０は、入力された画像データを符号化する符号化装置２０と、入力された符号化データを復号する復号装置６０とで構成されている。

符号化装置２０は、入力された画像データからコンテクストを生成するコンテクスト生成部３０と、コンテクスト毎に注目画素の予測値として最近値を記憶した最近値テーブル３３と、最近値テーブル３３の内容を更新するテーブル更新部３４と、注目画素のコンテクストに応じて最近値テーブル３３から注目画素の予測値を読み出す読出部３２と、注目画素の画素値と読出部３２から読み出された予測値との誤差を算出する誤差算出部４０と、誤差算出部で算出された誤差をエントロピー符号化するエントロピー符号化部５０とで構成されている。

コンテクスト生成部３０は、記憶手段としてのメモリを含んで構成されている。メモリには、注目画素及び注目画素を符号化する際に参照する注目画素周辺の参照画素の画素値が記憶される。例えば、図２に示すような画像データが左上の画素から順に入力される場合で、注目画素Ｘについて、画素Ａ、Ｂ及びＣを参照画素とする場合、少なくとも図中破線で囲まれた画素の画素値が記憶手段に記憶される。

また、コンテクスト生成部３０は、メモリに記憶された画素値に基づいてコンテクストを生成し、生成したコンテクストを読出部３２へ出力する。図２の場合において、画素Ａの画素値がａ、画素Ｂの画素値がｂ、画素Ｃの画素値がｃ（各画素値ａ、ｂ、ｃは８ビット）であるとすると、例えば、注目画素ＸのコンテクストＣｘは、
Ｃｘ＝（ａ，ｂ，ｃ）
として生成することができる。コンテクストＣｘとしては、注目画素Ｘの画素値を予測するために、注目画素Ｘの状態を表す値が算出できればよく、上記以外にも、

Ｃｘ＝（ａ−ｂ，ｂ−ｃ，ｃ−ａ）、
Ｃｘ＝（ａ＋ｂ＋ｃ）／３
などのように生成してもよい。

最近値テーブル３３は、記憶手段としてのメモリに記憶され、例えば、図３に示すように、コンテクスト毎にそのコンテクストが直近で出現したときの対応する注目画素の画素値（最近値）を予測値として規定している。最近値テーブル３３は、画像データの符号化に先立って生成される。「コンテクスト」列には、想定されるすべてのコンテクストがエントリされる。上記のように注目画素Ｘのコンテクストを、Ｃｘ＝（ａ，ｂ，ｃ）として生成する場合には、３×２^８個のコンテクストが存在しうるため、最下段Ｃｎのｎは、３×２^８＝７６８となる。「予測値（最近値）」列には、「コンテクスト」列のコンテクストに対応した最近値が規定される。最近値は、後述するように画像データの符号化処理において更新されるが、初期値としては、画像データの全部または一部をプレスキャンして得られる値を用いる。

読出部３２は、コンテクスト生成部３０で生成されたコンテクストに対応する最近値を最近値テーブル３３から読み出して、誤差算出部４０へ出力する。

テーブル更新部３４は、入力された注目画素の画素値を保持し、読出部３２での最近値の読み出しが終了すると、読み出された画素値が規定されている最近値テーブル３３の部分を保持していた注目画素の画素値に置き換えることにより、最近値テーブル３３を更新する。

誤差算出部４０は、読出部３２から読み出された注目画素の予測値と注目画素の画素値との誤差を算出してエントロピー符号化部５０へ出力する。なお、ここでは予測値と注目画素の画素値との誤差を算出する場合について説明したが、論理演算などの他の処理でもよい。

エントロピー符号化部５０では、誤差算出部４０から出力された予測値と注目画素の画素値との誤差をエントロピー符号化して出力する。エントロピー符号化としては、ハフマン符号化、算術符号化、ゴロムライス符号化、ＬＺ符号化などの周知の技術を用いることができる。また、可変長符号化方式に限らず、固定長符号化方式を適用してもよい。

復号装置６０は、基本的には符号化装置２０による処理と反対の処理を行うためのもので、入力された符号化データを復号して復号データを出力するエントロピー復号部９０と、入力された符号化データに対応する注目画素のコンテクストを生成するコンテクスト生成部７０と、コンテクスト毎に注目画素の予測値として最近値を記憶した最近値テーブル７３と、最近値テーブル７３の内容を更新するテーブル更新部７４と、注目画素のコンテクストに応じて最近値テーブル７３から注目画素の予測値を読み出す読出部７２と、エントロピー復号部９０で復号された復号データと読出部７２から読み出された予測値とを加算して画像データに復号する誤差加算部８０とで構成されている。

符号化時の最近値テーブル３３は、画像データをプレスキャンして最近値の初期値を求めるため、符号化データの復号に先立って最近値テーブル７３を生成することができない。そこで、符号化データに初期の最近値テーブルのデータを付加する必要がある。なお、後述するように符号化データの復号処理において最近値テーブル７３の最近値は更新されるが、上記のように初期の最近値テーブルを符号化時と一致させておけば、最近値テーブル更新のタイミング及び更新内容を符号化時と同期させることができる。

以上のような構成の画像処理システム１０の符号化装置２０及び復号装置６０の各部は、専用ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｅｄ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を中心としたハードウエア回路によって構成する。後述する第２〜第５の実施の形態についても同様である。

次に、第１の実施の形態の画像処理システム１０の作用について説明する。

符号化装置２０に入力された画像データは、１画素ずつコンテクスト生成部３０、テーブル更新部３４及び誤差算出部４０へ入力される。ここでは、図２の画素Ｘが入力されることとする。

コンテクスト生成部３０では、入力された画素Ｘを注目画素として、メモリに記憶されている注目画素Ｘ周辺の参照画素Ａの画素値ａ、参照画素Ｂの画素値ｂ、参照画素Ｃの画素値ｃに基づいて、コンテクストＣｘ＝（ａ，ｂ，ｃ）を生成する。生成されたコンテクストＣｘは、読出部３２へ出力される。

読出部３２では、入力されたコンテクストＣｘに対応する予測値を最近値テーブル３３から読み出して誤差算出部４０へ出力する。ここでは、最近値「１００」が注目画素Ｘの予測値として出力される。最近値の読み出しが終了すると、テーブル更新部３４により、最近値テーブル３３のコンテクストＣｘに対応する「最近値」列の値を、注目画素Ｘの画素値に置き換える。画素Ｘの画素値が「１０１」の場合、コンテクストＣｘに対応する最近値が「１００」から「１０１」に更新される。

誤差算出部４０に読出部３２から読み出された予測値が入力されると、誤差算出部４０では、注目画素Ｘの画素値と入力された予測値との誤差を算出して、エントロピー符号化部５０へ出力する。ここで、注目画素Ｘの値を「１０１」とすると、誤差「１」が出力される。エントロピー符号化部５０では、入力された誤差「１」をエントロピー符号に変換して出力する。この処理を最終画素まで繰り返すことにより、画像データ全てを符号化する。

また、上記のように符号化された符号化データが復号装置６０に入力されると、符号化データは、１画素に対応する符号化データずつエントロピー復号部９０へ入力される。エントロピー復号部９０へ入力された１画素に対応する符号化データは復号されて復号データとなって、誤差加算部８０へ出力される。この復号データは、対応する画素を符号化した際の予測値と画素値との誤差を示すものである。ここでは、画素Ｘの符号化データが入力されたものとすると、復号データは「１」である。

これと並行して、符号化データに対応する注目画素Ｘの画素番号がコンテクスト生成部７０に通知され、コンテクスト生成部７０では、注目画素Ｘのコンテクストを生成して読出部７２へ出力する。読出部７２では、最近値テーブル７３から注目画素Ｘのコンテクストに対応する予測値「１００」を読み出して誤差加算部８０へ出力する。

誤差加算部８０にエントロピー復号部９０から出力された復号データ、及び読出部７２から出力された予測値が入力されると、誤差加算部８０では、復号データ、すなわち画素Ｘを符号化した際の予測値と画素値との誤差「１」に、入力された予測値「１００」を加算して画像データ（注目画素の画素値「１０１」）に復号して出力すると共に、復号された画像データをコンテクスト生成部７０及びテーブル更新部７４へ入力する。

コンテクスト生成部７０へ入力された画像データはコンテクスト生成部７０内のメモリに記憶され、次以降に入力される符号化データを復号する際のコンテクスト生成に用いられる。テーブル更新部７４では、最近値テーブル７３のコンテクストＣｘに対応する「最近値」列の値「１００」を、注目画素Ｘの画素値「１０１」に置き換えて更新する。この処理を最終符号化データまで繰り返すことにより、符号化データ全てを復号する。

以上説明したように、第１の実施の形態の画像処理システムによれば、注目画素のコンテクストに対応した最近値を予測値として用い、注目画素の画素値との差を符号化するため、構成及び処理が煩雑になることを抑えつつ、入力される画像情報の種類に関わらない適応性の高い符号化及び復号を行うことができる。

なお、第１の実施の形態では、予測値としてコンテクスト毎の最近値を用いる場合について説明したが、コンテクスト毎に集計した画素値の平均値や最頻値などを用いてもよい。

［第２の実施の形態］

次に、図４を参照して、第２の実施の形態の画像処理システム１１０について説明する。第２の実施の形態の画像処理システム１１０は、入力された画像データの種別によって注目画素の予測値の求め方を選択する点が、第１の実施の形態の画像処理システム１０と異なっており、その他の点は第１の実施の形態の画像処理システム１０と同様であるため、説明を省略する。

２値画像の場合には、予測符号化方式のように予め定めた予測式で予測値を算出する場合に比べて、マルコフモデル符号化のような統計的処理により注目画素の予測値を求める方が予測値の予測精度が高くなるため、適している。一方、多値画像の場合には、予測式で予測値を算出する場合と比べて、統計的処理により予測値を算出した場合でも、さほど予測精度が向上しないため、より簡易な処理により予測値を算出することができる予測符号化方式の方が適している。この点を考慮して、画像処理システム１１０は、画像種別に基づいて、より適した予測値算出方式を選択するように構成する。

画像処理システム１１０は、入力された画像データを符号化する符号化装置１２０と、入力された符号化データを復号する復号装置１６０とで構成されている。

符号化装置１２０は、入力された画像データが２値画像か多値画像かを識別する画像種別識別部１５６と、画像種別識別部１５６により２値画像と識別された場合に、注目画素のコンテクストを生成するコンテクスト生成部１３０と、コンテクスト毎に注目画素の予測値として最近値を記憶した最近値テーブル１３３と、最近値テーブル１３３の内容を更新するテーブル更新部１３４と、画像種別識別部１５６で多値画像と識別された場合に、注目画素周辺の参照画素及び予め定めた予測式に基づいて注目画素の予測値を算出する予測値算出部１３６と、最近値テーブル１３３または予測値算出部１３６から注目画素の予測値を読み出す読出部１３２と、注目画素の画素値と読出部１３２から読み出された予測値との誤差を算出する誤差算出部１４０と、誤差算出部で算出された誤差をエントロピー符号化するエントロピー符号化部１５０とで構成されている。

画像種別識別部１５６には、画像種別を識別するために必要な単位毎に画像データが入力される。画像種別識別部１５６では、入力された画像データのビット深さやタグ情報に基づいて、画像データに基づく画像が２値画像か多値画像かを識別する。２値画像であると識別した場合には、コンテクスト生成部１３０及び予測値算出部１３６へ１画素ずつ出力すると共に、コンテクスト生成部１３０に対して、コンテクスト生成の指示を出力する。多値画像であると識別した場合には、コンテクスト生成部１３０及び予測値算出部１３６へ１画素ずつ出力すると共に、予測値算出部１３６に対して、予測値算出の指示を出力する。なお、コンテクスト生成部１３０及び予測値算出部１３６の双方に画素を出力するのは、次以降入力される注目画素の参照画素とするため、各々のメモリへ画素値を記憶するためである。

予測値算出部１３６は、記憶手段としてのメモリを含んで構成されている。メモリの所定領域には、注目画素及び注目画素の予測値を算出する際に参照する注目画素周辺の参照画素の画素値が記憶される。また、予測値算出部１３６のメモリの他の領域には、参照画素の画素値に基づいて注目画素の予測値を算出するための予測式が記憶されている。予測式は例えば、画素Ａの画素値ａ、画素Ｂの画素値ｂを用いて、
予測値＝（ａ＋ｂ）／２
のような式を用いる。予測値算出部１３６は、画像種別識別部１５６から入力された注目画素に対応する参照画素の画素値を上式に代入して予測値を算出する。

読出部１３２は、画像種別識別部１５６の識別結果に基づいて、最近値テーブル１３３または予測値算出部１３６から予測値を読み出して誤差算出部１４０へ出力する。この際、最近値テーブル１３３または予測値算出部１３６のいずれの予測値を読み出したかという種別情報を予測値に付加して出力する。

復号装置６０は、符号化データに付加された種別情報に基づいて、復号される画像データが２値画像か多値画像かを識別する画像種別識別部１９６と、入力された符号化データを復号して復号データを出力するエントロピー復号部１９０と、画像種別識別部１９６により２値画像と識別された場合に、注目画素のコンテクストを生成するコンテクスト生成部１７０と、コンテクスト毎に注目画素の予測値として最近値を記憶した最近値テーブル１７３と、最近値テーブル１７３の内容を更新するテーブル更新部１７４と、画像種別識別部１９６により多値画像と識別された場合に、注目画素周辺の参照画素及び予め定めた予測式に基づいて注目画素の予測値を算出する予測値算出部１７６と、最近値テーブル１７３または予測値算出部１７６から注目画素の予測値を読み出す読出部１７２と、エントロピー復号部１９０で復号された復号データと読出部７２から読み出された予測値とを加算して画像データに復号する誤差加算部１８０とで構成されている。

次に、第２の実施の形態の画像処理システム１１０の作用について説明する。

符号化装置１２０に入力された画像データは、画像種別を識別するために必要な単位毎に画像種別識別部１５６へ入力される。また、入力された画像データは、１画素ずつテーブル更新部１３４及び誤差算出部１４０へ入力される。

画像種別識別部１５６では、画像データが２値画像か多値画像かを識別し、２値画像であると識別した場合には、コンテクスト生成部１３０及び予測値算出部１３６へ１画素ずつ出力すると共に、コンテクスト生成部１３０に対して、コンテクスト生成の指示を出力する。多値画像であると識別した場合には、コンテクスト生成部１３０及び予測値算出部１３６へ１画素ずつ出力すると共に、予測値算出部１３６に対して、予測値算出の指示を出力する。

コンテクスト生成の指示が入力されると、コンテクスト生成部１３０では、入力された画素を注目画素として、メモリに記憶されている注目画素周辺の参照画素の画素値に基づいて、コンテクストを生成する。

予測値算出の指示が入力されると、予測値算出部１３６では、入力された画素を注目画素として、メモリに記憶されている注目画素周辺の参照画素の画素値及び予め定めた予測式に基づいて、注目画素の予測値を算出する。

読出部３２は、画像種別識別部１５６で２値画像と識別された場合には、入力されたコンテクストに対応する予測値を最近値テーブル１３３から読み出して、２値画像に対応した予測値（最近値テーブル１３３から読み出した予測値）である旨の種別情報を付加して誤差算出部１４０へ出力する。画像種別識別部１５６で多値画像と識別された場合には、予測値算出部１３６で算出された予測値を読み出して、多値画像に対応した予測値（予測値算出部１３６から読み出した予測値）である旨の種別情報を付加して誤差算出部１４０へ出力する。

誤差算出部１４０は、注目画素の画素値と入力された予測値との誤差を算出して、誤差に種別情報を付加してエントロピー符号化部１５０へ出力する。エントロピー符号化部１５０は、入力された誤差をエントロピー符号に変換して、種別情報を付加して出力する。この処理を最終画素まで繰り返すことにより、画像データ全てを符号化する。

また、上記のように符号化された符号化データが復号装置１６０に入力されると、入力された符号化データに対応する注目画素の画素番号、及び符号化データに付加された種別情報を画像種別識別部１９６へ入力する。また、符号化データは、１画素に対応する符号化データずつエントロピー復号部９０へ入力され、復号されて復号データとなって誤差加算部１８０へ出力される。

画像種別識別部１９６では、入力された種別情報に基づいて、符号化データが復号された際の画像データが２値画像か多値画像かを識別する。２値画像の場合には、注目画素の画素番号をコンテクスト生成部１７０へ出力し、多値画像の場合には、注目画素の画素番号を予測値算出部１７６へ出力する。

コンテクスト生成部１７０では、注目画素のコンテクストを生成して読出部１７２へ出力する。予測値算出部１７６では、注目画素の予測値を算出する。読出部１７２は、画像種別識別部１９６の識別結果に基づいて、最近値テーブル１７３または予測値算出部１７６から注目画素の予測値を読み出して誤差加算部１８０へ出力し、誤差加算部１８０で画像データに復号して出力すると共に、復号された画像データを予測値算出部１７６、コンテクスト生成部１７０及びテーブル更新部１７４へ入力する。

予測値算出部１７６及びコンテクスト生成部１７０へ入力された画像データは、各々のメモリに記憶され、次以降に入力される符号化データを復号する際の予測値算出またはコンテクスト生成に用いられる。

以上説明したように、第２の実施の形態の画像処理システムによれば、入力された画像データが２値画像か多値画像かにより、注目画素の予測値の求め方を選択するため、より適応性の高い符号化及び復号を行うことができる。

なお、第２の実施の形態では、読出部、誤差算出部、誤差加算部、エントロピー符号化部及びエントロピー復号部を、最近値テーブルから予測値を読み出す場合と、予測値算出部で予測値を算出する場合とで共通化している場合について説明したが、これらを個別に設ける構成でもよい。例えば、２値画像用にはその隣接画素間の関係性から、誤差算出部及び誤差加算部の処理の代わりに排他的論理和を用いることができる。また、多値画像用には、エントロピー符号化部での処理としてハフマン符号化を用い、２値画像用にはマルコフモデル符号化を生かした適応的なエントロピー符号化として、ゴロムライス符号化や算術符号化を用いることができる。このように構成することで、より画像特性に応じた処理を行うことができる。

［第３の実施の形態］

図５に第３の実施の形態の画像処理システム１０の概略構成を示す。第３の実施の形態の画像処理システム２１０は、コンテクスト毎の所定順位までの注目画素の予測値を規定した予測値順位テーブルを用いて、注目画素の画素値と予測値との誤差または順位を符号化する点が、第１の実施の形態の画像処理システム１０と異なっており、その他の点は第１の実施の形態の画像処理システム１０と同様であるため、説明を省略する。

画像処理システム２１０は、入力された画像データを符号化する符号化装置２２０と、入力された符号化データを復号する復号装置２６０とで構成されている。

符号化装置２２０は、入力された画像データからコンテクストを生成するコンテクスト生成部２３０と、コンテクスト毎に注目画素の予測値を所定順位まで記憶した予測値順位テーブル２３３と、予測値順位テーブル２３３の内容を更新するテーブル更新部２３４と、注目画素のコンテクスト及び画素値に応じて予測値順位テーブル２３３から注目画素の予測値または順位を読み出す読出部２３２と、読出部２３２で予測値が読み出された場合に、注目画素の画素値と予測値との誤差を算出する誤差算出部２４０と、読出部２３２で読み出された順位または誤差算出部で算出された誤差をエントロピー符号化するエントロピー符号化部２５０とで構成されている。

予測値順位テーブル２３３は、記憶手段としてのメモリに記憶され、例えば、図６に示すように、コンテクスト毎に所定順位（ここでは、１位〜４位）までの予測値を規定している。予測値順位テーブル２３３は、画像データの符号化に先立って生成される。「コンテクスト」列には、想定されるすべてのコンテクストがエントリされる。予測値は、後述するように画像データの符号化処理において更新されるが、初期値としては、画像データの全部または一部をプレスキャンして得られる値を用いる。例えば、第１の実施の形態のように、コンテクスト毎の最近値を１位の予測値とし、そのコンテクストについて最近値の前に出現した注目画素の画素値を２位、更にその前を３位、更にその前を４位の予測値として規定する。また、コンテクストに対する注目画素の画素値の出現頻度をカウントして、出現頻度が高い順に１位〜４位の予測値としてもよい。

読出部２３２は、コンテクスト生成部２３０で生成されたコンテクストに対応する１位〜４位の予測値に、注目画素の画素値と一致する予測値がある場合には、その予測値の順位を読み出して、エントロピー符号化部２５０へ出力する。一致する予測値がない場合には、予め定めた順位（例えば、１位）の予測値を読み出して、誤差算出部２４０へ出力する。

テーブル更新部２３４は、入力された注目画素の画素値を保持し、読出部２３２での予測値の読み出しが終了すると、例えば、公知のＲｅｃｅｎｃｙ−Ｒａｎｋ方式などによって予測値順位テーブル２３３を更新する。具体的には、保持していた注目画素の画素値を１位とし、それ以外の画素値の順位を順次繰り下げる。また、もっと更新を穏やかにするために、保持していた注目画素の画素値を４位の予測値と置き換えるようにしてもよい。また、各画素値の出現頻度をカウントし、その出現頻度に応じた順位付けにより予測値を更新するような一般的統計処理を用いてもよい。

復号装置２６０は、基本的には符号化装置２０による処理と反対の処理を行うためのもので、入力された符号化データを復号して復号データを出力するエントロピー復号部２９０と、入力された符号化データに対応する注目画素のコンテクストを生成するコンテクスト生成部２７０と、コンテクスト毎に注目画素の予測値を所定順位まで記憶した予測値順位テーブル２７３と、予測値順位テーブル２７３の内容を更新するテーブル更新部２７４と、注目画素のコンテクスト及び復号データに基づいて予測値順位テーブル２７３から注目画素の予測値を読み出す読出部２７２と、エントロピー復号部２９０で復号された復号データと読出部２７２から読み出された予測値とを加算して画像データに復号する誤差加算部２８０とで構成されている。

次に、第３の実施の形態の画像処理システム２１０の作用について説明する。

コンテクスト生成部２３０で生成されたコンテクストが読出部２３２へ入力されるところまでは、第１の実施の形態と同様である。ここでは、注目画素２のコンテクストＣ２（図６参照）が入力されたものとする。

読出部２３２では、予測値順位テーブル２３３を参照して、入力されたコンテクストに対応する１位〜４位の予測値に注目画素の画素値と一致する予測値があるか否かを判断する。一致する予測値がある場合には、その予測値の順位を読み出して、エントロピー符号化部２５０へ出力する。一致する予測値がない場合には、予め定めた順位（例えば、１位）の予測値を読み出して、誤差算出部２４０へ出力する。例えば、注目画素２の画素値が「２５０」であれば、３位の予測値が一致しているため「３」をエントロピー符号化部２５０へ出力する。注目画素２の画素値が「２５２」であれば、一致する予測値がないため、１位の予測値「２５５」を誤差算出部２４０へ出力する。

予測値が読み出された場合には、誤差算出部２４０で、予測値と注目画素の画素値との誤差を算出してエントロピー符号化部２５０へ出力する。エントロピー符号化部２５０では、誤差または順位をエントロピー符号化して出力する。

また、上記のように符号化された符号化データが復号装置２６０に入力されると、符号化データは、１画素に対応する符号化データずつエントロピー復号部９０へ入力される。エントロピー復号部９０へ入力された１画素に対応する符号化データは復号されて復号データとなる。

復号データが誤差を表している場合には、復号データを誤差加算部２８０へ出力し、それと並行して、読出部２７２にコンテクスト生成部２７０で生成されたコンテクストが入力され、コンテクストに対応した所定順位（例えば、１位）の予測値が読み出されて、誤差加算部２８０へ出力される。

復号データが順位を表している場合には、復号データを読出部２７２へ出力し、それと並行して、読出部２７２にコンテクスト生成部２７０で生成されたコンテクストが入力され、コンテクスト及び復号データが表す順位に対応した予測値が読み出されて、そのまま注目画素の画素値として出力される。

以上説明したように、第３の実施の形態の画像処理システムによれば、符号化の対象となるデータを予測値の順位または予測値と注目画素の画素値との誤差としているため、圧縮率の向上が図れる。また、順位と誤差とを併用することにより、コンテクスト毎の予測値を規定した予測値順位テーブルのサイズを、順位のみで規定する場合に比べて小さくすることができる。

［第４の実施の形態］

図７に第４の実施の形態の画像処理システム３１０の概略構成を示す。第４の実施の形態の画像処理システム３１０は、読出部により読み出された順位をエントロピー符号化部へ出力する前にソースコーダとしてランレングス符号化を行う点が、第３の実施の形態の画像処理システム２１０と異なっており、その他の点は第３の実施の形態の画像処理システム２１０と同様であるため、説明を省略する。

マルコフモデル符号化のように統計的処理により、符号化するデータである順位を偏らせることが可能であるが、順位が偏りすぎるとエントロピー符号化の方式によっては符号化効率が低下する場合がある。例えば、ハフマン符号化は最低でも１ｂｉｔを出力するため、１／２を越える出現確率を持つような入力に対しては、符号化効率が低下する。そこで、画像処理システム３１０は、順位に応じたソースコーダとしてランレングス符号化を加えることにより、符号化効率の向上が図れるように構成する。

画像処理システム３１０は、入力された画像データを符号化する符号化装置３２０と、入力された符号化データを復号する復号装置３６０とで構成されている。

符号化装置３２０は、コンテクスト生成部３３０と、読出部３３２と、予測値順位テーブル３３３と、テーブル更新部３３４と、読出部３３２で読み出された順位をランレングス符号化するランレングス符号化部３３８と、誤差算出部３４０と、エントロピー符号化部３５０とで構成されている。

また、復号装置３６０は、エントロピー復号部３９０と、コンテクスト生成部３７０と、読出部３７２と、予測値順位テーブル３７３と、テーブル更新部３７４と、エントロピー復号部３７８で復号された復号データをランレングス伸張するランレングス伸張部３７８と、誤差加算部３８０とで構成されている。

ランレングス符号化部３３８は、読出部３３２により連続して順位が読み出された場合には、読み出された連続する複数の順位をランレングス符号化して、エントロピー符号化部３５０へ出力する。ランレングス符号化については、公知技術のため説明を省略する。 ランレングス伸張部３７８は、エントロピー復号部３９０で復号された復号データがランレングスデータの場合には、ランレングス伸張して、１画素ずつ読出部３７２に出力する。

次に、第４の実施の形態の画像処理システム３１０の作用について説明する。

読出部３３２により順位または予測値が読み出されるところまでは、第３の実施の形態と同様である。

読出部３３２で読み出された順位がランレングス符号化部３３８に入力されると、ランレングス符号化部３３８では、この順位を一旦保持する。次に読出部３３２で読み出されたのが再び順位であれば、ランレングス符号化部３３８ではこれも保持する。以降、読出部３３２で予測値が読み出されるまで、連続して読み出される順位を順次保持する。

読出部３３２で予測値が読み出されることにより、連続していた順位の読み出しが途切れた場合には、ランレングス符号化部３３８は、保持していいた連続して読み出された複数の順位をランレングス符号化してランレングスデータとして、エントロピー符号化部３５０へ出力する。エントロピー符号化部３５０では、ランレングスデータをエントロピー符号化して出力する。

上記のように符号化された符号化データが復号装置３６０へ入力されると、符号化データは、エントロピー復号部３９０で復号されて復号データとなる。この復号データがランレングスデータの場合には、ランレングスデータをランレングス伸張部３７８へ出力して、ランレングス伸張部３７８でランレングス伸張して連続する順位のデータに変換して、１つずつ読出部３７２へ出力する。

以上説明したように、第４の実施の形態の画像処理システムによれば、ランレングス符号化によって過度に出現確率が高い順位は、より出現確率が低いラン表現に変換され、エントロピー符号化されるため、ハフマン符号化のような１対１符号による符号化を適用しても、圧縮率の低下を防止することができる。

なお、第４の実施の形態では、順位が読み出されたときには、すべてランレングス符号化を行う場合について説明したが、連続して順位が読み出された場合の連続数が所定数以上の場合のみランレングス符号化を行ったり、所定の順位が連続して出力された場合のみランレングス符号化を行ったりするようにしてもよい。

また、ソースコーダとしては、ランレングス符号化に限らず、連続する複数の順位に新たなシンボルを割り当てるような方法をとってもよい。例えば、「１位−１位−１位」を「Ａ」、「１位−２位」を「Ｂ」のようにシンボルを割り当てることができる。これは一部の順位だけに適用するので限定的ではあるが、いわゆる一種の情報源の拡大とみなすことができる。このとき拡大は非対称に行ってもよい。シンボルの割当ては、圧縮率が高くなるように選択することが望ましい。さらに、例えば１位はランレングス符号化、２位と３位は限定的な情報源拡大を行う、というようなハイブリッドな方式としてもよい。

また、第４の実施の形態では、順位をランレングス符号化する場合について説明したが、誤差算出部により算出された誤差をランレングス符号化するようにしてもよい。

［第５の実施の形態］

図８に第５の実施の形態の画像処理システム４１０の概略構成を示す。第５の実施の形態の画像処理システム４１０は、読出部により読み出された順位をエントロピー符号化部へ出力する前にソースコーダとして新たなシンボルを割り当て、このシンボルを更に順位変換する点が、第４の実施の形態の画像処理システム３１０と異なっており、その他の点は第４の実施の形態の画像処理システム３１０と同様であるため、説明を省略する。

画像処理システム４１０は、入力された画像データを符号化する符号化装置４２０と、入力された符号化データを復号する復号装置４６０とで構成されている。

符号化装置４２０は、コンテクスト生成部４３０と、読出部４３２と、予測値順位テーブル４３３と、テーブル更新部４３４と、読出部４３２で読み出された順位にシンボルを割り当ててシンボル化するシンボル化部４３８と、誤差算出部４４０と、シンボル化部４３８及び誤差算出部４４０から出力されたシンボル及び誤差を順位変換するシンボル順位変換部４４２と、エントロピー符号化部４５０とで構成されている。

また、復号装置４６０は、エントロピー復号部４９０と、コンテクスト生成部４７０と、読出部４７２と、予測値順位テーブル４７３と、テーブル更新部４７４と、エントロピー復号部４７８で復号された復号データをシンボルまたは誤差に変換する順位シンボル変換部４８２と、順位シンボル変換部４８２で変換されたシンボルを順位に復号するシンボル復号部４７８と、誤差加算部４８０とで構成されている。

シンボル化部４３８は、読出部４３２により読み出される順位に対して、例えば、「１位−１位−１位」を「Ａ」、「１位−２位」を「Ｂ」のようにシンボルを割り当てる。

シンボル順位変換部４４２は、シンボル化部４３８で割り当てられたシンボル、及び誤差算出部４４０で算出された誤差を順位に変換する。例えば、１位−「Ａ」、２位−「Ｂ」のような固定的な順位変換を行う。なお、順位変換において、上記実施の形態の最近値テーブルや予測値順位テーブルのように、順位を適応的に更新したり、コンテクストを用いたりしてもよいが、コンテクストの違いによる情報源のばらつきは最近値テーブルまたは予測値順位テーブルを用いた予測の段階で大部分が取り除かれることが期待できる。そこで、ここでは、処理を簡略化するため固定的な順位変換を行う。

順位シンボル変換部４８２は、エントロピー復号部４９０で復号された復号データをシンボル順位変換部４４２の処理と逆の処理により変換する。変換されたデータが誤差の場合には、誤差加算部４８０へ出力し、シンボルの場合には、シンボル復号部４７８へ出力する。シンボル復号部４７８では、シンボル化部４３８の処理と逆の処理により、シンボルを順位に変換する。

次に、第４の実施の形態の画像処理システム４１０の作用について説明する。

読出部４３２により順位または予測値が読み出されるところまでは、第４の実施の形態と同様である。

読出部４３２で読み出された順位がシンボル化部４３８に入力されると、シンボル化部４３８では、この順位を一旦保持する。次に読出部４３２で読み出されたのが再び順位であれば、この連続する順位に対応するシンボルが割り当てられているか否かを判断する。シンボルが割り当てられている場合には、そのシンボルをシンボル順位変換部４４２へ出力する。シンボルが割り当てられていない場合には、その順位も一旦保持する。以降、読出部４３２で連続して読み出される順位について、シンボル変換を行う。

シンボル順位変換部４４２に、シンボル化部４３８からシンボルまたは誤差算出部４４０から誤差が入力されると、シンボルまたは誤差を、予めシンボル及び誤差に対応して定めた順位に変換してエントロピー符号化部４５０へ出力する。

以上説明したように、第５の実施の形態の画像処理システムによれば、シンボル化及び更なる順位変換を行うことによって、圧縮率の向上が図れる。

第１の実施の形態の画像処理システムの概略構成を示すブロック図である。 参照画素及びコンテクストを説明するための図である。 最近値テーブルの一例を示す図である。 第２の実施の形態の画像処理システムの概略構成を示すブロック図である。 第３の実施の形態の画像処理システムの概略構成を示すブロック図である。 予測値順位テーブルの一例を示す図である。 第４の実施の形態の画像処理システムの概略構成を示すブロック図である。 第５の実施の形態の画像処理システムの概略構成を示すブロック図である。

符号の説明

１０ 画像処理システム
２０ 符号化装置
３０ 符号化装置のコンテクスト生成部
３２ 符号化装置の読出部
３３ 符号化装置の最近値テーブル
３４ 符号化装置のテーブル更新部
４０ 誤差算出部
５０ エントロピー符号化部
６０ 復号装置
７０ 復号装置のコンテクスト生成部
７２ 復号装置の読出部
７３ 復号装置の最近値テーブル
７４ 復号装置のテーブル更新部
８０ 誤差加算部
９０ エントロピー復号部

Claims (7)

1. 注目画素の周辺画素の画素値から該注目画素に対応する参照値を生成する生成手段と、
   画像データに含まれる各画素の画素値を統計的処理することにより、該画像データにおいて想定される参照値毎に得られた該参照値に対応する注目画素の複数の予測値を予め定めた順位まで記憶した記憶手段と、
   前記生成手段で生成された参照値と前記記憶手段の記憶内容とに基づいて、生成された参照値に対応する前記記憶手段に記憶された複数の予測値の中に前記注目画素の画素値と一致する予測値がある場合には、一致する予測値の順位を読み出し、一致する予測値がない場合には、予め定めた順位に対応する予測値を読み出す読出手段と、
   前記読出手段から予測値を読み出した後に、前記生成手段で生成された参照値に対応して前記記憶手段に記憶された複数の予測値のいずれか１つを、前記注目画素の画素値に更新する更新手段と、
   前記読出手段により順位が読み出された場合には、該順位の１つまたは複数を用いて符号化し、前記読出手段により予測値が読み出された場合には、該予測値と前記注目画素の画素値との差の１つまたは複数を用いて符号化する符号化手段と、
   を含む符号化装置。
2. 前記符号化手段は、複数の差または順位を用いて符号化する際に、予め定めた値の差または順位が複数個連続する場合には、連続する複数の前記差または前記順位を予め定めた値に対応する他の値に変換してから符号化する請求項１記載の符号化装置。
3. 入力された画像データが多値画像か否かを識別する識別手段と、
   前記注目画素の周辺画素の画素値及び予め定めた予測式に基づいて、前記注目画素の予測値を算出する算出手段と、を含み、
   前記読出手段は、前記識別手段で前記入力された画像データが多値画像と識別された場合には、前記算出手段で算出された予測値を読み出す、
   請求項１または請求項２記載の符号化装置。
4. 注目画素の周辺画素の画素値から該注目画素に対応する参照値を生成する生成手段と、
   画像データに含まれる各画素の画素値を統計的処理することにより、該画像データにおいて想定される参照値毎に得られた該参照値に対応する注目画素の複数の予測値を予め定めた順位まで記憶した記憶手段と、
   前記生成手段で生成された参照値と前記記憶手段の記憶内容とに基づいて、前記注目画素に対応する符号化データが順位を表している場合には、生成された参照値及び前記符号化データが表す順位に対応する前記記憶手段に記憶された予測値を読み出し、前記注目画素に対応する符号化データが予測値と注目画素の画素値との差を表している場合には、予め定めた順位に対応する予測値を読み出す読出手段と、
   前記読出手段から予測値を読み出した後に、前記生成手段で生成された参照値に対応して前記記憶手段に記憶された複数の予測値のいずれか１つを、前記注目画素の画素値に更新する更新手段と、
   前記符号化データが表す順位に基づいて前記読出手段により予測値が読み出された場合には、読み出された予測値をそのまま画像データとし、予め定めた順位に基づいて前記読出手段により予測値が読み出された場合には、読み出された予測値に前記符号化データを復号した復号データを加算して画像データに復号する復号手段と、
   を含む復号装置。
5. 前記復号手段は、連続する複数の差または順位を予め定めた値に対応する他の値に変換してから符号化された符号化データを復号する際に、前記他の値を前記予め定めた値に変換してから復号する請求項４記載の符号化装置。
6. 復号された画像データが多値画像か否かを識別する識別手段と、
   前記注目画素の周辺画素の画素値及び予め定めた予測式に基づいて、前記注目画素の予測値を算出する算出手段と、を含み、
   前記読出手段は、前記識別手段で前記復号された画像データが多値画像と識別された場合には、前記算出手段で算出された予測値を読み出す、
   請求項４または請求項５記載の復号装置。
7. 請求項１記載の符号化装置と、
   請求項４記載の復号装置と、
   を含む画像処理システム。

Images