JP4262145B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は画像データの圧縮符号化、復号技術を用いた画像処理技術に関するものである。

静止画像データの国際標準符号化方式であるＪＰＥＧでは、離散コサイン変換（ＤＣＴ）を利用した非可逆符号化方式として、各色成分８ビットのカラー画像データと１２ビットのカラー画像データの符号化・復号化処理が規定されており、８ビット画像はベースラインＪＰＥＧ、８ビットを含む１２ビット画像は拡張ＪＰＥＧとして区別されている（非特許文献１）。

この非特許文献の付属書ＢのＢ．２．２節の表Ｂ．２にフレームヘッダパラメータのサイズと値が規定されており、符号化・復号化する画像データのビット数が２番目のパラメータＰとして規定されている。シーケンシャルＤＣＴのベースラインは８ビット画像のみに限定され、シーケンシャルＤＣＴの拡張とプログレッシブＤＣＴは８ビットと１２ビット画像の符号化・復号化ができるようになっている。画像データ中の符号化したビット数が前記フレームヘッダパラメータに記述され、復号時は該パラメータに基づいて復号処理を行うので、いずれのビット数であっても符号化したビット数と、復号後の画像データのビット数は同じである。

これまでのカラー画像入力機器は、技術的な課題やコスト上の理由から、各色８ビット以下の精度でデータを生成しており、ＪＰＥＧ圧縮と言えば、８ビットデータの圧縮を行うベースラインＪＰＥＧが一般的であった。

ところが、現在では、より高画質化の要望が高くなってきており、メーカーは機器の高画質化のために、８ビットを超えた多ビットデータを扱える機器の開発を始めている。例えば、デジタルカメラやスキャナの一部の製品では、各色成分を８ビットを超える精度を有する画像データの生成が手軽にできるようになっている。
ＩＴＵ−Ｔ勧告書Ｔ．８１（ＩＳＯ／ＩＥＣ １０９１８−１）

画像入力装置が各色成分を８ビットを越える多ビットの精度で入力し、一方の、画像出力装置が８ビットの精度で出力する場合、ビットの丸め処理が必要になる。ここで、後者の画像出力装置が８ビットの精度のデータしか受けつけない場合、前者である画像入力装置上で８ビットにして出力することになる。この場合、画像入力装置では、入力される多ビットを一旦８ビットに変換し、その上で画像圧縮処理を行い、出力装置に出力することになるが、これでは画像入力装置の多ビット入力機能は生かされず、実質的に意味のないものとなる。

本発明はかかる問題点に鑑みなされたものであり、画像入力機器から画像出力機器間に転送する画像データを圧縮符号化しながらも、高精度で高品位な復号画像を生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
１画素の各色成分がＭビットで表現される画像データを入力する画像入力部、及び、１画素の各色成分がＮビット（Ｎ＜Ｍ）で表現される画像データを出力する画像出力部を備える画像処理装置であって、
前記画像入力部より入力された画像データを符号化する符号化手段と、
該符号化手段で生成された符号化データを復号し、前記画像出力部に供給する復号手段とを備え、
前記符号化手段は、
前記画像入力部より入力された画像データを直交変換する直交変換手段と、
前記Ｎビットの復号画像を生成する際の量子化ステップ値Ｑ₀ｉと定義したとき、
Ｑｉ＝Ｑ₀ｉ×２^M-N
なる量子化ステップ値Ｑｉを用いて、前記直交変換手段で得られた係数を量子化する量子化手段と、
該量子化手段による量子化後の直交変換係数をエントロピー符号化を行うエントロピー符号化手段とを備え、
前記復号手段は、
前記エントロピー符号化手段で符号化したデータを、エントロピー復号するエントロピー復号手段と、
エントロピー復号して得られたデータを、前記量子化ステップ値Ｑ₀ｉで逆量子化する逆量子手段と、
該逆量子化手段で得られたデータを、逆直交変換する逆直交変換手段とを備える。

本発明によれば、画像入力機器から出力機器間に転送する画像データを圧縮符号化しながらも、高精度で高品位な復号画像を生成することが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
第１の実施形態では、各色成分が１６ビットで表現される画像データをＪＰＥＧ符号化処理して符号ビットストリームを得て、さらにその符号ビットストリームを復号して各色成分が８ビットの画像を出力する場合を説明する。

図５は、本実施の形態における画像処理装置（複写機）のブロック構成図である。

同図において、５０１が原稿画像を各色成分について１６ビットの精度で読取るスキャン部、５０２が符号化部、５０３が復号部、５０４が各色成分について８ビットの画像を入力して印刷する印刷部である。なお、複写機の場合、符号化部５０２と復号部５０３との間には、複数の画像が蓄積可能なバッファメモリ（半導体メモリでもよいし、容量当たりのコストが低いハードディスクでも構わない）が介在することになるが、図示では、省略している。

図１は、実施形態における符号化部５０２のブロック図である。

同図において、１０１はスキャン部５０１から出力された各色成分１６ビットのフルカラー画像データである。１０３は色変換部であって、実施形態ではイメージスキャナからの画像をＪＰＥＧ符号化する例であるので、１６ビットのレンジでのＲＧＢ→ＹＣｂＣｒ色空間変換となる。

この色変換は、ＩＴＵ−Ｒ ＢＴ．６０１に準拠した以下の式１が一般的に用いられる。
Ｙ ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｂ＝（−０．２９９×Ｒ−０．５８７×Ｇ＋０．８８６×Ｂ）×０．５６４＋ｋ
Ｃｒ＝（０．７０１×Ｒ−０．５８７×Ｇ−０．１１４×Ｂ）×０．７１３＋ｋ …式１
各色成分が８ビットの場合にはｋ＝１２８であるが、実施形態ではＲ、Ｇ、Ｂはそれぞれ１６ビットであるため、ｋ＝３２７６８という値を用いる。

１０５はＤＣＴ（直交変換）部であり、やはり１６ビットレンジで直交変換を行う。１０７は直交変換して得られた係数を量子化ステップで除算することで量子化する量子化部、１０９はハフマン符号化部、１１３は符号化処理で生成された符号データである。

ここで量子化部１０７における量子化ステップＱｉであるが、次のようにして求めた。
Ｑｉ＝Ｑ₀ｉ×２^(ｎ−ｍ)
（ここでｘ＾ｙは、ｘのｙ乗を示す）
直交変換が８×８画素単位に行うとしたとき、ｉ＝０、１、…６３であり、Ｑ₀ｉは８ビット画像を符号化する際に用いる量子化ステップ値、ｎは入力画像の各色成分のビット数、ｍは復号した際の画像の各色成分のビット数である。

実施形態では各色成分が１６ビットで表わされ、復号部５０３では各色成分につき８ビットで復号する例を説明しているので、ｎ＝１６、ｍ＝８となり、量子化部１０７で使用する量子化ステップ値Ｑｉは、
Ｑｉ＝Ｑ₀ｉ×２５６
となる。つまり、Ｑｉは、Ｑ₀ｉを左（上位）へ８ビットシフトしたものとも言える。

色変換部１０３、ＤＣＴ部１０５では１６ビットレンジで演算するので、上記のように８ビット画像用の量子化ステップＱ₀ｉの２５６倍でＤＣＴ変換係数をＱｉで除算することで、結果的に８ビットの量子化値を得ることと等価になる。ここで注目する点は、各色成分が１６ビットの画像データ１０１を、色変換部１０３に入力する前段階で８ビット化するのではなく、色変換部１０３、ＤＣＴ部１０５では１６ビットのまま演算している点であり、８ビット演算時と比較して高い精度で演算できることである。

ハフマン符号化部１０９は、前記量子化値を不図示のハフマンテーブルに基づき、ハフマン符号化して符号１１３を生成する。

図２は、図５における復号部５０３のブロック構成図である。

同図において、２０１はハフマン復号部であって、図１の符号データを入力し、エントロピー復号を行う。２０２は逆量子化部であり、エントロピー復号部を量子化ステップ値Ｑ₀ｉにて逆量子化する。２０３は逆ＤＣＴ部、２０４は逆色変換部、２０５は丸め処理部である。

ハフマン復号部２０１は、不図示のハフマンテーブルに基づき、受信した符号１１３をハフマン復号して量子化値を生成し、逆量子化部２０２に送信する。逆量子化部２０２は、量子化ステップをＱ₀ｉとして逆量子化し、ＤＣＴ係数を生成する（ここまでは整数演算となる）。続いて、逆ＤＣＴ部２０３は、ここで得られたＤＣＴ係数を逆ＤＣＴして、色変換データＹＣｂＣｒの画像データを生成する。そして、色逆変換部２０４は、色変換データを色変換することになるが、実施形態では、印刷を目的としているので、ＲＧＢではなく、ＹＭＣ色空間へ変換する。そして、得られたＹＭＣの各成分の濃度データを、丸め処理部２０５にて、小数点以下を丸め処理（小数点以下を四捨五入等）して記録用画像を生成する。

以上の結果、符号化する際には、各色成分ＲＧＢとも１６ビットの精度で入力し、色変換、ＤＣＴ変換を行い、その結果を８ビット画像用の量子化ステップ値Ｑ₀ｉの２５６倍にて量子化して符号化することになり、色変換、ＤＣＴ変換の精度は８ビット画像の２倍の精度で演算することになる。また、量子化後のデータは、８ビット画像の符号化時のそれと同様の形式となるが、全く同じ値になるとは限らない。理由は、ＤＣＴ変換までを１６ビットで演算しているので、８ビットのＤＣＴ変換と比較して、演算ロスは少ないので、当然、量子化後のデータにもその高い精度が反映されるからである。

次に、実施形態における具体的装置構成と処理手順を説明する。

図７は実施形態における複写機のブロック構成図を示してる。図示において、１は装置全体の制御を司るＣＰＵであり、２はＣＰＵの処理手順（プログラム）を格納しているＲＯＭ、３はＣＰＵ１のワークエリアとして使用されるＲＡＭである。

４は画像ファイルを一時的に格納するハードディスク装置（ＨＤＤ）であり、５は液晶表示器や各種ボタン（スイッチ）を搭載する操作パネルである。６は原稿読取るイメージリーダであって、ＲＧＢの各色成分を１６ビットの精度で読取るものである。なお、このイメージリーダ６には、ＡＤＦ（オートドキュメントフィーダ）を搭載しており、複数の画像を順に読取ることが可能になっておいる。

７は画像を符号化する符号化部であり、図５における符号化部５０２（図１）に対応する。８は復号部であって、図５における復号部５０３（図２）に対応する。９はプリンタエンジン部であり、インクジェットプリンタ、レーザビームプリンタ等、その記録方式は問わない。

１０はネットワークに接続するためのネットワークインタフェースであり、実施形態における複写機が、ネットワークスキャナ、ネットワークプリンタとして機能することが可能となっている。

上記構成において、複写対象の原稿（複数枚可）をイメージリーダ６のＡＤＦにセットし、複写開始指示を操作部５より入力すると、イメージリーダ６はＲＧＢ各色成分につき１６ビットの精度で原稿を順に読取り、その結果をＨＤＤ４に一時的にファイルとして格納していく。

ＨＤＤ４には各ページの画像データの格納されいくが、ＣＰＵ１は、格納処理が完了した先頭画像ファイルから順に、符号化部５０２により圧縮符号化を行わせる。

符号化部５０２は先の図１に示す構成を有するので、ＣＰＵ１より指示された画像ファイルを画像データ１０１として入力し、色変換部１０３、ＤＣＴ部１０５はそれぞれ１６ビットレンジで処理を行う。そして、量子化部１０７では、８ビット符号データを生成する際に用いる量子化ステップ値Ｑ₀ｉの２５６倍の量子化ステップＱｉを用いて量子化を行って、ハフマン符号化部１０９でエントロピー符号化処理を行い、その結果をベースラインＪＰＥＧファイルとしてＨＤＤ４に格納する。このとき、符号化前の原画像データ（各色成分が１６ビットの画像データ）ファイルは、処理済みであるので、ＨＤＤ４から削除する。

一方、印刷プロセスは、上記の原稿読取り／符号化とは非同期に実行される。この印刷プロセスは、ＨＤＤ４に圧縮符号化ファイルが存在するか否かを監視し、もしそれが存在すれば復号処理して、プリンタエンジン部９にて印刷処理を行い、印刷済み圧縮符号化ファイルを削除することを繰り返す。

以上の結果、ＨＤＤ４には、読取った画像は順に圧縮符号化されて蓄積することになり、且つ、蓄積された圧縮符号化画像データは復号処理を行って印刷することになり、ＨＤＤ４は大容量の記憶領域を必要とせず、場合によってはＲＡＭで構成することも可能となる。上記処理を図８、図９のフローチャートに従って説明する。

先ず、原稿複写時における原稿読取りプロセスを図８のフローチャートに従って説明する。この処理は、操作部５より複写開始指示が入力された場合に起動するものである。

先ず、ステップＳ１で原稿がセットされているか否かを判断する。この判断は、ＡＤＦに設けられた不図示のセンサからの信号に基づくものとする。

原稿有りと判断すると、１枚原稿を読取面に搬送し、原稿画像を読取る。この読取りは、ＲＧＢ各１６ビットの精度で読取り、その画像データをＨＤＤ４に一時的に格納する。１枚の画像の読取りが終わると、ステップＳ３にて、ＲＧＢ→ＹＣｂＣｒ色変換、ステップＳ４でＤＣＴ変換を行う。ステップＳ３、Ｓ４の演算処理は１６ビットレンジである。

この後、ステップＳ６に進んで、エントロピー符号化を行い、ステップＳ７にて符号データをベースラインＪＰＥＧファイル（圧縮画像ファイル）としてＨＤＤ４に格納する。この格納処理は終わると、圧縮以前の原画像データは不要となるので削除し（ステップＳ８）、ステップＳ１に戻る。従って、複数原稿をＡＤＦにセットして複写指示を行うと、セットされた原稿枚数だけステップＳ２乃至Ｓ８の処理が行われることになる。

次に、実施形態における印刷プロセスを図９のフローチャートに従って説明する。

ステップＳ１１では、圧縮画像ファイルがＨＤＤ４に格納されているか否かを判定し、格納されるのを待つ。

格納されていると判定した場合には、ステップＳ１２に進んで、そのファイルを復号部８で復号を行わせる。復号部８では、先ず、エントロピー復号を行い、その復号結果を量子化ステップ値Ｑ₀ｉを乗算することで逆量子化する。次いで、ステップＳ１４にて逆ＤＣＴ変換を行うことで、ＹＣｂＣｒ色空間の画像データを得る。実施形態では、印刷出力をその目的としているので、ステップＳ１５にてＹＭＣ（更にＵＣＲ処理を行ってブラック成分Ｋを生成しても構わない）色空間のデータを生成する。この段階では、小数点を含むので、ステップＳ１６にて小数点以下の丸め処理（実施形態では小数点第１位を四捨五入）する。この結果、記録色成分のＹＭＣ（各８ビット）が出来上るので、ステップＳ１７にてプリンタエンジン部９に所定のタイミングで出力し、印刷処理を行わせる。この印刷が完了すると、印刷に使用した圧縮画像ファイルは不要となるので、ＨＤＤ４から削除し、ステップＳ１１以降の処理を行うことになる。

以上説明したように、本実施形態によれば、画像入力部（実施形態ではイメージリーダ）における各色成分のビット数が、画像出力部（実施形態ではプリンタ）の各色成分のビット数より多い装置において、標準的なベースラインＪＰＥＧ形式の符号化データを画像出力部に対して転送しつつも、画像入力部の扱うビット数を最大限に生かした高品位画像を復号可能な符号化データを生成することが可能となる。また、ベースラインＪＰＥＧ符号化データの生成、及び復号において丸め処理は、復号する際の出力色空間への変換後の実質的に１回とすることも可能となる。

なお、実施形態では、画像入力装置としてイメージリーダ、画像出力装置としてプリンタを例にしたが、画像入力装置としてデジタルカメラ（ＲＡＷ画像データを記憶可能とする）、画像出力装置として表示装置でも構わない。特に画像出力装置として表示装置を採用する場合、図２の色変換部２０４では、ＹＣｂＣｒ→ＲＧＢ色空間への変換を行えば良いことになるので、必ずしも出力色空間はＹＭＣに限るものでもない。

＜第２の実施形態＞
上記第１の実施形態では、画像入力装置側の処理ビット数が、画像出力装置における処理ビット数より多い場合についてのものであった。

本第２の実施形態では、この関係が逆の場合を説明する。すなわち、８ビットの入力画像を符号化して、得られた画像符号化データ（ベースラインＪＰＥＧ符号化データ）を復号して、１６ビットの画像を生成する場合である。

通常、上記のような復号画像を得るためには、先ず、各色成分につき８ビットの復号画像を生成し、その後で、各色成分を８ビット分だけ左シフト（上位方向シフト）することになるが、生成された１６ビットの下位８ビットは全て０となるだけで、画質的には８ビットの復号結果と何ら変わらない。

そこで、本第２の実施形態では、各色成分が８ビットの符号化データ（ベースラインＪＰＥＧデータ）を高精度に、各色成分１６ビットの画像を復号する例を説明する。

図６は、本第２の実施形態における画像処理装置のブロック構成図である。

同図において、６０１がスキャン部、６０２が符号化部，６０３が復号部，６０４が印字部である。

図３は、上記符号化部６０２のブロック図である。同図において、３０１は入力される各色８ビットのフルカラー画像データ、３０３は色変換部、３０５はＤＣＴ変換部、３０７は量子化部、３０９はハフマン符号化部、３１３は符号化処理で生成された符号データである。

符号化部６０２において、量子化部３０７以外の処理部については、扱うデータが１６ビットから８ビットになるだけで、処理内容はほぼ同じであるので、これらの処理の説明を割愛する。

量子化部３０７は、８ビット画像用の量子化ステップ値Ｑ₀ｉを用いて量子化処理を実行する。ここで、ｉはＤＣＴ係数の通し番号で、通常８×８画素単位にＤＣＴ変換を行うものであるので、ｉ＝０、１、…６３となる。

以上が本第２の実施形態における符号化部６０２の処理の説明である。引き続き、復号部６０３の説明に移る。

図４は、上記復号部５０３のブロック構成図である。同図において、４０１はハフマン復号部、４０２は逆量子化部、４０３は逆ＤＣＴ部、４０４は色変換部である。

これらの処理部に関して、逆量子化部４０２以外は、第１の実施形態における復号部とほぼ同じ動作を行うので、これらの説明を割愛する。

逆量子化部４０２は、８ビット画像用の量子化ステップ値Ｑ₀ｉの２５６倍の量子化ステップ値Ｑｉを使って、逆量子化を実施する。

この逆量子化により、１６ビットのＤＣＴ係数を得ることができる。この後、色変換部４０４色変換で色変換を行い、丸め処理部４０５にて小数点以下を丸め処理することで、下位８ビットにも有意なビットを持つ１６ビットデータを生成することが可能となり、画質的にも高品位な画像を生成することが可能となる。

なお、上記第２の実施形態を複写機に適用するのであれば、第１の実施形態と同様、符号化部と復号部との間には符号化データを蓄積する記憶装置が介在することになる。

以上、第１、第２の実施形態では、多ビット処理装置が扱うデータを１６ビットとして説明したが、上記実施形態に限らず、９乃至１５ビットであっても構わない。

また、実施形態では複写機を例にして説明したが、符号化部、復号部を有する装置であれば良いので、複写機に限定されるものでもない。

第１の実施形態における符号化部のブロック構成図である。 第１の実施形態における復号部のブロック構成図である。 第２の実施形態における符号化部のブロック構成図である。 第２の実施形態における復号部のブロック構成図である。 第１の実施形態における装置全体のブロック構成図である。 第１の実施形態における装置全体のブロック構成図である。 第１の実施形態が適用する複写機のブロック構成図である。 第１の実施形態における原稿読取りプロセスの処理手順を示すフローチャートである。 第１の実施形態における印刷プロセスの処理手順を示すフローチャートである。

Claims (3)

1. １画素の各色成分がＭビットで表現される画像データを入力する画像入力部、及び、１画素の各色成分がＮビット（Ｎ＜Ｍ）で表現される画像データを出力する画像出力部を備える画像処理装置であって、
   前記画像入力部より入力された画像データを符号化する符号化手段と、
   該符号化手段で生成された符号化データを復号し、前記画像出力部に供給する復号手段とを備え、
   前記符号化手段は、
   前記画像入力部より入力された画像データを直交変換する直交変換手段と、
   前記Ｎビットの復号画像を生成する際の量子化ステップ値Ｑ₀ｉと定義したとき、
   Ｑｉ＝Ｑ₀ｉ×２^M-N
   なる量子化ステップ値Ｑｉを用いて、前記直交変換手段で得られた係数を量子化する量子化手段と、
   該量子化手段による量子化後の直交変換係数をエントロピー符号化を行うエントロピー符号化手段とを備え、
   前記復号手段は、
   前記エントロピー符号化手段で符号化したデータを、エントロピー復号するエントロピー復号手段と、
   エントロピー復号して得られたデータを、前記量子化ステップ値Ｑ₀ｉで逆量子化する逆量子手段と、
   該逆量子化手段で得られたデータを、逆直交変換する逆直交変換手段とを備える
   ことを特徴とする画像処理装置。
2. 更に、前記符号化手段と前記復号手段との間に介在し、符号化データを格納する格納手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. １画素の各色成分がＭビットで表現される画像データを入力する画像入力部、及び、１画素の各色成分がＮビット（Ｎ＜Ｍ）で表現される画像データを出力する画像出力部を備える画像処理装置の制御方法であって、
   前記画像入力部より入力された画像データを符号化する符号化工程と、
   該符号化工程で生成された符号化データを復号し、前記画像出力部に供給する復号工程とを備え、
   前記符号化工程は、
   前記画像入力部より入力された画像データを直交変換する直交変換工程と、
   前記Ｎビットの復号画像を生成する際の量子化ステップ値Ｑ₀ｉと定義したとき、
   Ｑｉ＝Ｑ₀ｉ×２^M-N
   なる量子化ステップ値Ｑｉを用いて、前記直交変換工程で得られた係数を量子化する量子化工程と、
   該量子化工程による量子化後の直交変換係数をエントロピー符号化を行うエントロピー符号化工程とを備え、
   前記復号工程は、
   前記エントロピー符号化工程で符号化したデータを、エントロピー復号するエントロピー復号工程と、
   エントロピー復号して得られたデータを、前記量子化ステップ値Ｑ₀ｉで逆量子化する逆量子工程と、
   該逆量子化工程で得られたデータを、逆直交変換する逆直交変換工程とを備える
   ことを特徴とする画像処理装置の制御方法。

Images