JP4910049B2 - 印刷走査チャンネルを通じて処理されたディジタル画像を再構成するための補助情報 - Google Patents

Description

背景
印刷画像は、ディジタルフォーマットへと慣例的に走査され、その結果、該印刷画像を、コンピュータによって操作することが可能になる。しかしながら、その結果として生じた走査画像は、印刷走査チャンネル内における固有の不完全性のため、印刷画像を作成するために使用されたオリジナルのディジタル画像とは異なる。具体的には、ディジタル画像を物理領域に印刷して、その印刷画像をディジタル領域へと戻すように走査するプロセスによって、歪、エラー（誤差）、及び、走査画像に現れる他の欠陥が挿入される。

印刷走査チャンネルによって挿入される、走査画像内の歪を補正するために、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）のような市販のソフトウェアパッケージが利用可能である。しかしながら、このタイプの大抵の手動画像再構成システムは、対応する走査画像からのオリジナルのディジタル画像を手動で再構成するためにそれら手動画像再構成システムが使用可能になる前に、資金、時間、及び労力のかなりの出資を必要とする。ユーザが、手動画像再構成システムを使用することに熟練した後でさえも、走査画像を編集するプロセスは、典型的には、時間を消費し、労力集約的である。走査画像コンテンツを自動的に再構成するための幾つかのアプローチが提案されてきたが、これらのアプローチは、典型的には、オリジナルのディジタル画像に対する高品質な近似を生み出すことができない一般的な補正ルーチンを用いている。

印刷走査チャンネルを通じて処理されたディジタル画像の高品質な近似を再構成することが可能な方法及びシステムが必要とされている。

概要
一態様において、基準ピクセルの値を含む補助情報が、入力画像から抽出されることによる画像処理方法を、本発明は特徴とする。該補助情報は、補助データ構成にエンコードされる。入力画像の表現を含む出力画像データが生成される。少なくとも１つの物理記憶媒体内に、前記補助データ構成が、前記出力画像データに関連付けられて格納される。

一態様において、入力画像を含む出力画像データのハードコピーから走査画像データが取得されることによる画像処理方法を、本発明は特徴とする。前記出力画像データに関連付けられた補助データ構成がデコードされて、デコード補助情報が生成される。走査画像データ内の入力画像のコーナーのロケーションが推定される。該推定されたコーナロケーション内における走査画像データがゆがめられて（ワープされて）、走査画像データ内のサンプル点が取得される。推定されたコーナロケーション内における走査画像データの一部分が、デコード補助情報内の複数の基準ピクセル値と、走査画像データ内における対応するロケーションにおける複数のサンプル点の値との間の対応関係（相関性）に基づいて、記録される。補助データ構成内の複数の基準ピクセル値のうちの（１つ以上の）基準ピクセル値と、前記記録された画像の複数サンプル点のうちの対応する（１つ以上の）サンプル点の値との間の色変換が導出される。該色変換が、該記録された画像に対して適用されて、色補正された画像が得られる。

別の態様において、補助情報処理構成要素と、エンコーディング処理構成要素と、出力画像処理構成要素とを含む画像処理システムを、本発明は特徴とする。該補助情報処理構成要素は、基準ピクセルの値を含む補助情報を、入力画像から抽出する。エンコーディング処理構成要素は、該補助情報を、補助データ構成内へとエンコードする。出力画像処理構成要素は、入力画像の表現を含む出力画像データを生成する。該エンコーディング処理構成要素と該出力画像処理構成要素とのうちの少なくとも一方が、補助データ構成を、出力画像データに関連付けて、少なくとも１つの物理記憶媒体内に格納する。

本発明の他の特徴と利点とが、図面及び特許請求の範囲を含む以下の説明から明らかになってくるであろう。

例示的な一アプリケーション環境内における、入力画像処理システムの一実施形態、及び走査画像再構成システムの一実施形態のブロック図である。 入力画像処理方法の一実施形態の流れ図である。 補助情報処理構成要素の一実施形態のブロック図である。 入力画像全体にわたるピクセルの一定間隔のブロックの対応するセットの境界を定めるブロック境界のセットが上に重ね合わされている例示的な一入力画像の図面である。 入力画像全体にわたる一定間隔のピクセルサンプル点の対応するセットの境界を定める境界のセットが上に重ね合わされている、図４Ａ内に示された入力画像の図面である。 入力画像をエンコードする方法の一実施形態の流れ図である。 本発明の一実施形態による、変換係数の分布、量子化された変換係数のセットについての確率質量関数、及び、量子化された変換係数から導出された剰余指数の確率質量関数を示す図である。 ブロック変換をコーディングする方法の一実施形態の概略図である。 走査画像処理方法の一実施形態の流れ図である。 走査画像データの入力画像部分を記録する方法の一実施形態の流れ図である。 本発明の一実施形態による、変換係数の分布、確率分布、及び、剰余指数のデコーディングの一例を示す図である。

詳細な説明
以下の説明において、同様の参照符号は、同様の要素を同定するために用いられる。更に、図面は、例示的な実施形態の主要な特徴を図式的に説明するように意図されている。図面は、実際の実施形態における全ての特徴を図示するようには意図されておらず、図示された要素の相対的な寸法を図示するようにも意図されておらず、一定の縮尺に従うようには描かれてはいない。破線で示された要素は、そのような要素が組み込まれた図示された実施形態内におけるオプションの要素である。

Ｉ．序論
本明細書内において詳細に説明される実施形態に従って、ディジタル入力画像から補助情報が抽出される。該補助情報は、入力画像の基準特徴（リファレンス特徴）を、記述するか又は別様には取り込む。印刷走査チャンネルを通じて処理された複数入力画像のうちの（１つ以上の）入力画像を再構成することにおいて、該補助情報は使用される。以下で詳細に説明されるように、該補助情報によって、これらの実施形態が、オリジナルのディジタル入力画像の高品質な近似を、再構成することが可能になる。

ＩＩ．例示的な一アプリケーション環境内における入力画像処理システム及び走査画像処理システムの概要
図１は、データベース１６と印刷走査チャンネル１８とを含む例示的な一アプリケーション環境１４内における入力画像処理システム１０及び走査画像処理システム１２の一実施形態を示す。入力画像処理システム１０は、補助情報処理構成要素２０、エンコーディング処理構成要素２２、及び出力画像処理構成要素２３を備える。走査画像処理構成要素１２は、デコーディング処理構成要素２４、及び画像再構成処理構成要素２６を備える。印刷走査チャンネル１８は、印刷ステージ２８、文書ハンドリングステージ３０、及び走査ステージ３２を含む。

作動中、入力画像処理システム１０は、ディジタル入力画像３４を処理して、出力画像データ３６を生成する。該出力画像データ３６は、印刷走査チャンネル１８の印刷ステージ２８に送られる。入力画像２０は、任意のタイプのディジタル画像に対応することができる。該任意のタイプのディジタル画像には、画像センサ（例えば、ディジタルビデオカメラか、ディジタル静止画像カメラか、又は光学スキャナ）によってキャプチャーされたオリジナル画像（例えば、ビデオキーフレームか、静止画像か、又は走査された画像）か、或いは、このようなオリジナル画像が処理された（例えば、サブサンプリングされたか、フィルタリングされたか、再フォーマットされたか、強調されたか、又は別様に変更された）バージョンが含まれる。

入力画像３４を処理する過程において、補助情報処理構成要素２０は、入力画像３４の基準特徴を記述するか又は別様には取り込む補助情報３８を、入力画像３４から抽出する。エンコーディング処理構成要素２２は、補助情報３８を、補助データ構成４０（例えば、テーブルか、リストか、又はエンコードされた特徴ベクトルのセット）内にエンコードする。幾つかの実施形態において、エンコーディング処理構成要素２２は、補助データ構成４０をデータベース１６内に格納する。該補助データ構成４０は、識別子（例えば、ラベルか、又はアドレス、統一資源識別子（ＵＲＩ）など）を含むインデックスを含む。該識別子をデータベース１６内へのインデックスとして使用して、該識別子により、補助データ構成４０が検索されることが可能になる。これらの実施形態において、出力画像処理構成要素２３が、補助データ構成４０の識別子を、出力画像データ３６内へと組み込む。他の実施形態では、エンコーディング処理構成要素２２が、補助データ構成４０を、出力画像処理構成要素２３に送り、出力画像処理構成要素２３が、該補助データ構成４０を出力画像データ３６内へと組み込む。

印刷走査チャンネル１８内において、出力画像データ３６は、印刷ステージ２８によって１つか又は複数のハードコピー４２へと変換される。出力画像データ３６のハードコピー４２が印刷された後のある時に、走査ステージ３２によって電子走査画像データ４４へと変換される前に、ハードコピー４２が、ハンドリングステージ３０を通じて処理される。

出力画像データ３６を、従来のプリンタ（例えば、米国カリフォルニア州パロアルトのヒューレット・パッカード・カンパニーから入手可能なＬａｓｅｒＪｅｔ（登録商標）プリンタ）か、又は専用のラベル印刷装置によって印刷することができる。ハードコピー４２は、多種多様な印刷物のうちの任意の１つの形態とすることができる。該多種多様な印刷物には、写真プリント、引き出し可能の許可署名のグラフィカルバーコードを伴った銀行為替手形（又は銀行小切手）、実物認証のグラフィカルバーコードを伴った株券又は債券、及び郵便料金別納郵便証のグラフィカルバーコードを伴った封筒が含まれる。補助データ構成４０が出力画像データ３６内に組み込まれる実施形態において、補助データ構成４０を、（例えば、１次元又は２次元のバーコードか、グラフィカルバーコードか、又は透かし模様における）印刷画像データにエンコードすることができる。これらの実施形態のうちの幾つかにおいて、補助データ構成４０に対応する出力画像データ３６の一部分が、入力画像３４に対応する出力画像データ３６の一部分として、印刷媒体（例えば、１枚の用紙）の裏側上に印刷される。

ハンドリングステージ３０を通過した後、ハードコピー４２を、高品質のデスクトップ光学スキャナによって走査することができる。一般的には、該スキャナの解像度は、１つか又は複数のハードコピー４２内の詳細部を解像することができるように、出力画像データ３６が印刷される解像度と少なくとも一致すべきである。走査解像度は、典型的には、入力画像３４上のピクセル数（例えば、５メガピクセル）と、物理的な印刷サイズ（例えば、０．１０１６ｍ（４インチ）×０．１５２４ｍ（６インチ）に依存する。６００ドット毎インチ（ｄｐｉ）の走査解像度（以下、１インチは、０．０２５４ｍ）は、典型的には、走査画像処理システム１２が出力画像データ３６の典型的なハードコピーから入力画像３４を適正に再構成するのに十分である。走査ステージ３２は、走査画像データ４４を、処理するために走査画像処理システム１２に送る。走査画像処理システム１２によって取得される走査画像データ４４は、オリジナル入力３４の劣化したバージョンである。これらの劣化は、印刷ステージ２８（例えば、色歪）、ハンドリングステージ３０（例えば、劣化部、しみ、折り目、留め金、及びマーキングをコピーすること）、並びに、走査ステージ３２（例えば、色歪及び記録歪）を含む、印刷走査チャンネル１８内におけるステージのうちの、１つか又は複数のステージにおいて、生じられる可能性がある。

走査画像処理システム１２は、走査画像データ４４を処理して、入力画像３４の高品質な近似に対応する出力画像４６を生成する。走査画像データ４４を処理する過程において、デコーディング処理構成要素２４は、エンコードされた補助データ構成４０を、データベース１６か又は走査画像データ４４のいずれかから検索して、補助データ構成４０をデコードして、デコード補助情報４８を生成する。以下で詳細に説明するように、画像再構成処理構成要素２６は、走査画像データ４４から出力画像４６を生成するプロセスにおいて、該デコード補助情報４８を使用する。

一般には、入力画像処理システム１０及び走査画像処理システム１２の各々を、いかなる特定のハードウェア構成か、ファームウェア構成か、又はソフトウェア構成にも制限されない１つか又は複数のディスクリートな処理構成要素（又はモジュール）によって実現することができる。図示された実施形態では、処理構成要素２０、２２、２３、２４、２６を、ディジタル電子回路構成（例えば、ディジタル信号プロセッサ（ＤＳＰ）のような特定用途向け集積回路）におけるか或いはコンピュータハードウェアか、ファームウェアか、デバイスドライバか、若しくはソフトウェアにおけることを含む任意のコンピューティング環境内か又はデータ処理環境内において実現することができる。幾つかの実施形態において、処理構成要素２０、２２、２３、２４、２６のうちの複数の処理構成要素の機能が、単一の処理構成要素に結合される。幾つかの実施形態において、１つか又は複数の処理構成要素２０、２２、２３、２４、２６のうちの各々の処理構成要素の各機能は、複数の処理構成要素のそれぞれのセットによって実行される。

幾つかの実施形態において、入力画像処理システム１０と走査画像処理システム１２とによって実行される方法を実施するためのコンピュータ処理命令、並びに、それらシステムが生成するデータは、１つか又は複数のマシン可読媒体内に格納される。これらの命令及びデータを明白に具現化するために適合可能な記憶装置は、全ての形態の不揮発性メモリを含む。該全ての形態の不揮発性メモリには、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイス、内蔵ハードディスク及び着脱可能ハードディスクのような磁気ディスク、光磁気ディスク、ＤＶＤ−ＲＯＭ／ＲＡＭ、並びにＣＤ−ＲＯＭ／ＲＡＭが含まれる。

ＩＩＩ．入力画像処理システム及びその構成要素の例示的な実施形態
Ａ．序論
図２は、入力画像処理システム１０によって実施される方法の一実施形態を示す。この方法に従って、補助情報処理構成要素２０は、（複数の）基準ピクセルの値を含む補助情報３８を、入力画像３４から抽出する（図２のブロック５０）。エンコーディング処理構成要素２２は、補助情報３８を補助データ構成４０内へとエンコードする（図２のブロック５２）。出力画像処理構成要素２３は、入力画像３４の表現を含む出力画像データ３６を生成する（図２のブロック５４）。エンコーディング処理構成要素２２と出力画像処理構成要素２３とのうちの少なくとも一方が、補助データ構成４０を、出力画像データ３６に関連付けて、少なくとも１つの物理記憶媒体内に格納する（図２のブロック５６）。該少なくとも１つの物理記憶媒体は、電子メモリデバイス（例えば、コンピュータ可読記憶媒体）か、又は１つか又は複数の印刷媒体の集まり（例えば、複数枚の用紙）のうちの少なくとも一方とすることができる。

Ｂ．入力画像からの補助情報の抽出
補助情報処理構成要素２０は、（複数の）基準ピクセルの値を含む補助情報３８を、入力画像３４から抽出する（図２のブロック５０；図１を参照）。ディジタル入力画像３４から抽出されることが可能であり、且つ、印刷走査チャンネル１８を通じて出力画像データ３６を処理した結果として生じた走査画像データ４４からディジタル入力画像３４の近似を再構成することにおいて支援するために用いられることが可能な任意の情報を、一般に補助情報３８は含む。

図３は、Ｋ個の特徴抽出器のセットを含む補助情報処理構成要素２０の一実施形態を示す。ここで、Ｋは、少なくとも１つの整数値を有する。特徴抽出器のそれぞれは、ディジタル入力画像３４のそれぞれの基準特徴に対応する値を抽出する。図示された実施形態において、抽出された値は、Ｋ個の特徴ベクトルのセット５８の形態で出力される。これらＫ個の特徴ベクトルは、特徴ベクトルシーケンス６０に集約され、該特徴ベクトルシーケンスは、補助情報３８内に含められる。

ディジタル入力画像３４の水平ピクセル寸法及び垂直ピクセル寸法と、出力画像処理構成要素２３によって印刷走査チャンネル１８の印刷ステージ２８に対して指定される、入力画像３４における１つか又は複数のハードコピー４２についての物理的な印刷サイズと、入力画像３４における１つか又は複数の選択された基準ピクセルの値とを、例示的な基準特徴は含む。多重解像度基準情報もまた、実現可能であり、この場合には、異なる空間解像度における入力画像の領域の平均が特徴となる。ディジタル入力画像３４のピクセル寸法は、典型的には、ディジタル入力画像３４が格納されている電子ファイル（例えば、ＪＰＥＧファイル）に関連付けられるフレームセグメントのヘッダ、すなわち先頭から抽出される。入力画像３４の物理的な印刷サイズは、典型的には、入力画像処理システム１０のユーザによってか、又は幾つかの他の外部ソースによって、出力画像処理構成要素２３に対して指定される。（複数の）基準ピクセルは、典型的には、ロケーションを有する入力画像３４のピクセルであり、該ロケーションは、それらのピクセル座標値によってか、又は近傍ピクセルの値に対するそれらの値によって、識別されることが可能である。

幾つかの実施形態において、入力画像３４にわたる一定間隔のロケーションにおける基準ピクセルの値が、１つか又は複数の特徴ベクトル内に組み込まれる。該１つか又は複数の特徴ベクトルは補助情報３８に含まれる。基準ピクセルのロケーションが既知である場合にか、又は基準ピクセルのロケーションを走査画像処理システム１２によって単独で決定することができる場合には、これらのロケーションの指定を補助情報３８に含める必要はない。一方、基準ピクセルのロケーションが既知でなく、且つ、基準ピクセルのロケーションを走査画像処理システム１２によって単独で決定することができない場合には、これらの基準ピクセルのロケーションの指定が、補助情報３８内に含められる。

図４Ａ内に示されるように、基準ピクセルは、入力画像３４にわたって一定間隔のロケーションに分散された（クロスハッチングで示された）ブロック６２内のピクセルに対応することができる。一般には、ピクセルブロック６２のそれぞれは、Ａ個のピクセル高×Ｂ個のピクセル幅のサイズを有する。ここで、Ａ及びＢは、少なくとも１つの整数値を有し、ＡとＢとのうちの少なくとも一方は、少なくとも２つの値を有する。幾つかの実施形態において、入力画像３４にわたる一定間隔のロケーションにおけるブロック内におけるピクセルの輝度値（例えば、ＹＣｒＣｂ色空間の輝度値）が選択されて、補助情報３８内に含まれる特徴ベクトルが形成される。図４Ｂに示されるように、基準ピクセルはまた、入力画像３４にわたって分散される一定間隔のピクセルロケーション６４における個々のピクセルに対応することもできる。幾つかの実施形態において、入力画像３４にわたる一定間隔のピクセルロケーションにおけるピクセルの色値（例えば、ＲＧＢ色空間のＲＧＢ値か、又は、ＹＣｒＣｂ色空間内の赤及び青のクロミナンス値）が選択されて、補助情報３８内に含まれる１つか又は複数の特徴ベクトル５８が形成される。

幾つかの実施形態において、入力画像３４の基準ピクセルは、各々のインタレストオペレータ（関心演算子）によって実施される複数の特徴抽出器のうちの（１つ以上の）特徴抽出器によって識別される。該特徴抽出器は、基準ピクセルを、近傍ピクセルの値に対するそれら基準ピクセルの値に基づいて識別する。これらの実施形態において、識別された基準ピクセルの値及びロケーションは、典型的には、補助情報２８に含まれる１つか又は複数の特徴ベクトル５８を形成する。一般に、任意のタイプのインタレストオペレータを使用して、基準ピクセルを選択することができる。幾つかの実施形態において、１つか又は複数の記録インタレストオペレータが使用されて、記録基準ピクセルが識別される。該記録基準ピクセルの値は、走査画像データ４４を記録するための目印として機能する。幾つかの実施形態において、１つか又は複数の色補正インタレストオペレータが使用されて、色基準ピクセルが識別される。該色基準ピクセルの値は、走査画像データ４４を色補正するための色基準の役割を果たす。

記録インタレストオペレータは、典型的には、入力画像３４の顕著な（目立つ）特徴を識別するよう設計される。幾つかの実施形態において、１つか又は複数の記録インタレストオペレータを入力画像３４に対して適用することによって、局所的にユニークな視覚的特徴（例えば、コーナ、テクスチャ、エッジ、及び他の構造的要素）に関連付けられる、入力画像の高顕著性領域（例えば、ブロック）を、補助情報処理構成要素２０が識別する。一般に、任意の１つか又は複数の多種多様な様々なタイプの記録インタレストオペレータを、この目的のために使用することができる。記録インタレストオペレータは、統計的なものか、構造的なものか、又はシンタックス的なものとすることができる。入力画像３４内のコントラストのレベルと、入力画像３４内のピクセル値の大きさ（振幅）と、入力画像３４内のピクセル値のエネルギーと、入力画像３４内のピクセル値の分散と、入力画像内の勾配値分布の歪みと、入力画像のエッジ周波数と、のうちの１つか又は複数の検出に基づいて、記録インタレストオペレータは、高顕著性領域を識別することができる。例示的な記録インタレストオペレータは、コーナ検出インタレストオペレータ（例えば、Moravecインタレストオペレータのような輝度分散ベースのインタレストオペレータ、及び、入力画像３４にわたる局所的な領域に適用される自己相関関数のピークを識別する自己相関ベースのインタレストオペレータ）と、スケール不変特徴変換（ＳＩＦＴｓ）とを含む。記録インタレストオペレータを、個々のピクセルか、局所的な領域（例えば、ピクセルのブロック）か、又は入力画像３４の全ピクセルに適用することができる。

幾つかの色補正インタレストオペレータは、入力画像３４についての色範囲全体ボリュームに広がる色値を有するピクセルを識別する。これらの実施形態の幾つかにおいて、色補正インタレストオペレータは、入力画像３４の低テクスチャ領域内のピクセルを識別する。任意の多種多様な様々なテクスチャ感応インタレストオペレータを使用して、入力画像３４の低テクスチャ領域を識別することができ、該識別された低テクスチャ領域内の色基準ピクセルを選択することができる。

幾つかの実施形態において、補助情報処理構成要素２０は、入力画像３４から抽出されるコーディングされた変換係数を、補助情報３８内に、追加的に含む。これらの実施形態において、走査画像データ４４をサイド情報として用いて、走査画像処理システム１２によって入力画像３４の高品質な近似へと再構成されることが可能な入力画像３４の歪バージョンを、コーティングされた変換係数が表す。これらの実施形態のうちの幾つかにおいて、コーディングされた変換係数は、Ｗｙｎｅｒ−Ｚｉｖソースコーディングプロセスに従って入力画像３４から生成され、対応するＷｙｎｅｒ−Ｚｉｖサイド情報デコーディングプロセスに従って出力画像４６を生成するために使用される。

図５は、補助情報処理構成要素２０によって実行されて、コーディングされた変換係数を生成する方法の一実施形態を示す。この方法に従って、補助情報処理構成要素２０は、量子化された周波数領域ベクトルのシーケンスを、入力画像のブロックのシーケンスから生成する（図５のブロック７０）。補助情報処理構成要素２０は、周波数領域ベクトルの各々から、剰余指数（coset index）のそれぞれのセットを計算する（図５のブロック７２）。補助情報処理構成要素２０は、剰余指数の各セットのそれぞれのサブセットを、補助情報３８と共に出力する（図５のブロック７４）。

幾つかの実施形態において、入力画像３４は、Ｎ個の画像ブロックの母集団へと分割される。ここで、Ｎは、正の整数値を有する。幾つかの実施形態において、入力画像３４は、ラスタ／ブロック変換器によって８×８ピクセルの画像ブロックに分解される。該ラスタ／ブロック変換器を、補助情報処理構成要素２０内において組み込むことができるか、又は、入力画像処理システム１０の別個の処理構成要素とすることができる。

補助情報処理構成要素２０の順方向変換モジュールは、複数画像ブロックのうちのそれぞれの（１つ以上の）画像ブロックから周波数領域ベクトルを生成する。各周波数領域ベクトルは、複数画像ブロックのうちのそれぞれの（１つ以上の）画像ブロックから導出される変換係数のそれぞれのセットを含む。周波数領域ベクトルは、入力画像内の空間周波数情報に対応する。一般に、順方向の変換モジュールは、任意の種類のブロック変換を、画像ブロックに対して適用することができる。例示的なタイプのブロック変換には、コサイン変換、フーリエ変換、アダマール変換、ハールウェーブレット変換、及びウェーブレットベースの分解変換が含まれる。

該変換を計算した後、係数が、量子化され、次いで、それぞれの剰余指数にエンコードされる。幾つかの実施形態において、補助情報処理構成要素２０は、零にセンタリングされた指数での奇数モジュラス（奇数ＭＯＤ）の剰余類を計算することによって、量子化された変換係数をエンコードする。例えば、ｘが係数であり、その量子化された値が、不感帯（デッドゾーン）を有する可能性のある量子化ステップＱに基づいて、ｑ＝φ（ｘ，Ｑ）によって与えられる場合には、位数Ｍの剰余指数ｃ＝ψ（ｑ，Ｍ）が、次の式（１）に従って計算される。

ｘの分布が、一般化されたガウス分布（例えば、ラプラス分布）であると仮定すると、ｑの確率質量関数は、幾何学形状のようになる。具体的には、ｘ_ｌ（ｑ）が、量子化ｂｉｎ ｑの下限を示し、ｘ_ｈ（ｑ）が量子化ｂｉｎ ｑの上限を示し、ここで、ｑ∈Ω＝｛−ｑ_ｍａｘ，−ｑ_ｍａｘ＋１，・・・，−１，０，１，・・・，ｑ_ｍａｘ−１，ｑ_ｍａｘ｝である場合には、ｑ番目のｂｉｎの確率は、次式のようになる。

図６内に示されるように、奇数のＭについての剰余指数ψ（ｑ，Ｍ）の確率質量関数ｐ_Ｃ（ｃ）は、量子化された係数ｑの確率質量関数ｐ_Ｑ（ｑ）よりもかなり平坦であるが、それでも対称的であり、その最頻値（モード）として０を有し、大きさが増加すると共に減衰する。具体的には、次式のようになる。

この特徴によって、標準的なＪＰＥＧエントロピー符号化器（コーダ）により剰余指数が効果的にコーディングされることが可能になる。該ＪＰＥＧエントロピー符号化器を、エンコーディング処理構成要素２２の幾つかの実施形態内に含めることができる。しかしながら、より良い性能は、異なるエントロピー符号化器の利用によって達成されることになる。該異なるエントロピー符号化器は、具体的には、Ｍの知識を使用して、伝達される文字体系（アルファベット）のサイズを制約する。

幾つかの実施形態において、変換ブロックの全ての非ゼロの剰余指数のサブセットのみが、補助データ構成４０内に含まれる。詳細には、少数の低周波数係数のみが、各ブロックごとに送られる一方で、その残りは、下流の走査画像処理システム１２によって実行されるサイド情報生成動作によって完全に回復させられるために、そのまま残される。ジグザグ走査順序で送られる係数の個数は、ｎで示される。追加的には、ｑの計算に使用される量子化ステップサイズＱ、並びに、剰余指数ψ（ｑ，Ｍ）の計算に使用されるＭの値は、ブロック内の係数ごとに変更される。これらのステップサイズ及びモジュラス（ＭＯＤ）は、Ｑ_ｉｊ及びＭ_ｉｊとしてそれぞれ示される。ここで、ｉ，ｊ＝０，１，・・・，Ｂ−１，Ｂであり、ここで、Ｂはブロックサイズである。最も高い周波数は、所望の量に対応する量子化パラメータよりも細かく量子化され、剰余類モジュラスＭ_ｉｊのより小さな値でエンコードされる。ＤＣ係数については、剰余類の計算がされずに真値のみが、補助情報３８と共に出力される。クロミナンス成分についての係数もまた、同様にコーディングされるが、通常、輝度成分よりも、より少ない係数が伝達される。

デコーディングについては、量子化されないサイド情報ｙ及び受け取られた剰余指数ｃに基づく各係数ごとの最小二乗誤差（ＭＳＥ）再構成が、次式のように与えられる。

上記の条件付き分布ｆ_ｘ／ｙ（ｘ，ｙ）を評価するために、Ｘと、サイド情報Ｙとの間の相関のための適切なモデルが仮定される。上述のように、変換係数Ｘを、ラプラス分布（パラメータ１によって一般化されたガウス）によって綿密に近似することができる一方で、サイド情報を、Ｙ＝Ｘ＋Ｚとしてモデル化することができる。ここで、Ｚは、Ｘとは相関が無く、互いに独立で同一の分布に従った（i.i.d.）ガウス分布であると仮定される。Ｘの分散がσ_ｘ ^２であり、且つ、Ｚの分散がσ_ｚ ^２である場合には、上記の最適な再構成関数を、ｅｒｆ（ ）関数に対する多項式近似に基づいて、容易に近似的に計算することができる。

一般に、パラメータＱ_ｉｊ及びＭ_ｉｊは、第ｉｊ番目の係数周波数についての期待値σ_ｘ，ｉｊ及びσ_ｚ，ｉｊに基づいて最適に選択されるべきである。幾つかの実施形態において、このような最適な選択は、データの分散の予測と、デコーディング中に今後使用されることが期待されるある品質のスキャナについてのノイズの予測とに基づいて行われる。多くの場合に、このことは、量子化パラメータＱＰ_ｉｊ ^＊による正規の（非Ｗｙｎｅｒ−Ｚｉｖの）コーディングに対応する目標品質が与えられると、量子化パラメータＱＰ_ｉｊ及び剰余モジュラスＭ_ｉｊを選択することになる。

図７は、図５の変換係数変換エンコーディングプロセスの例示的な一実施形態を示す。この実施形態では、順方向の変換モジュールは、８×８ＤＣＴを適用して、各画像ブロックごとの変換係数７６を計算する。この説明例では、クロスハッチングされたブロックが、ＤＣ変換係数に対応し、灰色に満されたブロックが、非ゼロの剰余類値にマッピングされる変換係数に対応し、白色に満たされたブロックが、ゼロの剰余類値にマッピングされる変換係数に対応する。量子化モジュールは、順方向の変換係数を量子化して、量子化された変換係数７８を生成する。このプロセスにおいて、第ｉｊ番目の変換係数ｘ_ｉｊに使用される量子化パラメータＱＰ_ｉｊは、ＱＰ_ｉｊ＝ｆ_ＱＰ（ＱＰ^＊ _ｉｊ，σ_ｘ，ｉｊ，σ_ｚ，ｉｊ）によって与えられ、一方、最適な剰余類モジュラスは、Ｍ_ｉｊ＝ｆ_Ｍ（ＱＰ^＊ _ｉｊ，σ_ｘ，ｉｊ，σ_ｚ，ｉｊ）によって与えられる。ここで、ｆ_ＱＰ及びｆ_Ｍは、それぞれＱＰ及びＭについての最適パラメータ選択関数を表す。更に、ジグザグな順序で伝達された係数の個数ｎもまた、これらのパラメータの関数となり、間接的には、ある周波数の後以降、Ｍの最適な選択は１になる。これは、その係数についていかなるデータも送らないのと等価である。一般に、このことを、ｎ＝ｆ_ｎ（｛ＱＰ^＊ _ｉｊ｝，｛σ_ｘ，ｉｊ｝，｛σ_ｚ，ｉｊ｝）とみなすことができる。ここで、関数ｆ_ｎは、ブロック内の全ての目標の量子化パラメータ及び分散に依存する。

幾つかの実施形態において、走査画像処理システム１２によって受け取られたサイド情報ブロックが、オリジナルの画像ブロックに対していかに近くに一致する可能性があるのかの推定に基づいて、幾つかのタイプｓ＝｛０，１，２，…，Ｓ−１｝のうちの１つへとブロックを、更に分類することができる。入力画像３４から導出される様々なキュー（合図）を、この目的のために使用することができる。これらの実施形態の幾つかにおいて、補助情報処理構成要素２０は、エッジアクティビティ量（尺度）を使用して、あるブロックをＳ個のクラスのうちの１つに分類する。量子化パラメータＱＰ^＊ _ｉｊに対応する所与の目標品質のために、どのパラメータＱＰ_ｉｊ（ｓ）及びＭ_ｉｊ（ｓ）を選択することができるかに基づき、各ブロッククラスは、各周波数と共に、一対の分散｛σ_ｘ，ｉｊ（ｓ），σ_ｚ，ｉｊ（ｓ）｝に対応することになる。分類インデックスもまた、ｎ（ｓ）と、補助情報３８と共にジグザグ走査順序で出力される係数の個数とをもたらす一方で、係数の残りは、零として伝達される。

（矢印８２によって示されるように）ＤＣ変換係数をコピーして、（矢印８４によって示されるように）量子化された変換係数を剰余指数にマッピングして、（矢印８６によって示されるように）より高い周波数の量子化された変換係数の識別されたセットの剰余指数を零にすることによって、剰余指数のブロック８０が計算される。

Ｃ．補助情報の補助データ構成内へのエンコーディング
エンコーディング処理構成要素２２は、補助情報３８を補助データ構成４０内へとエンコードする（図２のブロック５２；図１を参照）。

幾つかの実施形態において、補助情報３８は、特徴ベクトル５８のシーケンス６０の形態で、補助情報処理構成要素２０から、エンコーディング処理構成要素２２に送られる。ここで、各特徴ベクトルは、関係した値のセットを含む。例えば、それぞれの特徴ベクトルには、入力画像３４のピクセル寸法についての値、入力画像３４における指定された印刷サイズ（例えば、高さ及び幅）の値、それぞれの特徴抽出器によって入力画像から抽出されたピクセル値、及びコーディングされた変換係数（例えば、剰余指数）の値を含めることができる。

エンコーディング処理構成要素２２は、１つか又は複数のエンコーディング方法を使用して、補助情報３８を、補助データ構成４０内へとエンコードする。幾つかの実施形態において、特徴ベクトル５８は、従来の圧縮アルゴリズムに従って圧縮されて、誤り訂正符号と共にエンコードされる。誤り訂正符号化によって、印刷走査チャンネル１８によって挿入される劣化に起因するエラーに対する堅牢性が提供される。バーストエラーに対する保護のために、誤り訂正符号をインターリーブすることもできる。幾つかの実施形態において、特徴ベクトル５８のうちの少なくとも１つ（すなわち、コーディングされた変換係数を含んでいる特徴ベクトル）が、エントロピー・エンコーディング技法（例えば、ハフマン符号化及び算術符号化）に従ってエンコードされる。

Ｄ．出力画像データに関連付けた補助データ構成の格納
エンコーディング処理構成要素２２と、出力画像処理構成要素２３とのうちの少なくとも一方は、少なくとも１つの物理記憶媒体内に、補助データ構成４０を、出力画像データ３６に関連付けて格納する（図２のブロック５６）。本明細書内において使用される時には、少なくとも１つの物理記憶媒体内に、出力画像データ３６に「関連付けて」格納されている該補助データ構成４０は、出力画像データ３６のハードコピーから補助データ構成４０が検索されることが可能になる方法で、補助データ構成４０が、物理的にか又電気的にか、或いは物理的と電気的との両方で、出力画像データ３６にリンクされていることを意味する。

幾つかの実施形態において、エンコーディング処理構成要素２２は、補助データ構成４０に割り当てられる識別子（例えば、ラベルか、又はアドレス、統一資源識別子（ＵＲＩ）など）を使用して補助データ構成４０が検索されることが可能になる方法で、補助データ構成４０をデータベース１６内に格納する。これらの実施形態において、出力画像処理構成要素２３は、該識別子を出力画像データ３６内に組み込み、その結果、走査画像処理システム１２は、走査画像データ４４の再構成中に、走査画像データ４４から識別子を検索することができることとなり、該検索した識別子を用いてデータベース１６から補助データ構成４０を検索することができることとなる。

他の実施形態において、出力画像処理構成要素２３は、入力画像３４と、補助データ構成４０とを、出力画像データ３６内へとマージし、該出力画像データ３６は、コンピュータ可読記憶媒体内に格納される。これらの実施形態において、出力画像データ３６は、印刷媒体における１つか又は複数のページ上の入力画像３４及び補助データ構成４０のレイアウトを表す。このレイアウトは、印刷媒体における単一シートの同じ面上にか、印刷媒体における単一シートの対向する両面上にか、又は印刷媒体の異なる複数のシート上に入力画像３４及び補助データ構成４０を提示することができる。幾つかの実施形態において、エンコーディング処理構成要素２２は、補助データ構成４０のグラフィカルエンコーディングに従って、入力画像３４の変調に基づいて出力画像データ３６を生成する。例示的なグラフィカルエンコーディング処理は、米国特許番号第６，７５１，３５２号及び第６，７２２，５６７号内に記載されている。補助データ構成４０を、バイナリ画像（例えば、明暗ドットパターン）か、多重レベルの画像（例えば、灰色レベル画像）か、又は多重レベルのカラー画像の形態において、入力画像３４の視覚的表現へとグラフィカルにエンコードすることができる。他の実施形態では、エンコーディング処理構成要素２２は、テキストか、ボーダーか、又は入力画像３４を取り囲んだ背景のグラフィカルデザインにおけるか、或いは、１次元か又は２次元のバーコードにおける、補助データ構成４０をエンコードする。

ＩＶ．走査画像処理システム及びその構成要素の例示的な実施形態
Ａ．概要
上述のように、走査画像処理システム１２は、走査画像データ４４と、出力画像データ３６に関連付けて格納された補助データ構成４０とに基づいて、オリジナルのディジタル入力画像３４の高品質な近似を再構成する（図１参照）。

走査画像処理システム１２によって実施されて、走査画像データ４４と補助データ構成４０とから入力画像３４を再構成する方法の、一実施形態を図８は示す。この方法に従って、デコーディング処理構成要素２４は、走査画像データ４４に関連付けられた補助データ構成をデコードして、デコード補助情報４８を生成する（図８のブロック９０）。画像再構成処理構成要素２６は、デコード補助情報３８内の基準ピクセル値と、走査画像データ４４内の対応するロケーションにおけるサンプル点の値との間の対応関係に基づいて、走査画像データ４４の入力画像部分を記録する（図８のブロック９４）。画像再構成処理構成要素２６は、デコードされた補助データ構成内の複数基準ピクセル値のうちの（１つ以上の）基準ピクセル値と、記録された画像の複数サンプル点のうちの対応する（１つ以上の）サンプル点の値との間の色変換を導出する（図８のブロック９６）。画像再構成処理構成要素２６は、記録された画像に対して色変換を適用して、色補正された出力画像４６を得る（図８のブロック９８）。

幾つかの実施形態において、記録及び色補正プロセス（図８のブロック９４、９６、９８）は、出力画像４６が再構成処理構成要素２６から出力される前に、指定された反復回数にわたって繰り返される。各反復の終了において、走査画像データ４４の入力画像部分が記録される前に、ブロック９８内において記録された画像に対して適用された色変換と同じ色変換を使用して、全ての走査画像データ４４が色変換される（図８のブロック９４）。

Ｂ．走査画像データの前処理
走査画像処理システム１２の幾つかの実施形態は、入力画像３４における走査されたバージョンのロケーションと、もしも存在するならば、補助データ構成４０の走査バージョンのロケーションとを、走査画像データ４４内において特定する前処理ステージを含む。この前処理ステージは、典型的には、走査画像データ４４から入力画像と補助データ構成の一部分をクロッピング及びトリミングして、その結果生じた画像データを画像再構成処理構成要素２６と、必要であれば、デコーディング処理構成要素２４とに送る前に、走査画像データ４４におけるトリミングされた部分の初期記録（例えば、スキューの除去（スキューイング））を行う。追加的には、前処理ステージは、典型的には、走査画像データ４４内の入力画像のコーナのロケーションの推定値を決定する。走査画像データ４４内における入力画像のコーナロケーションの初期推定値を提供するために用いられることが可能な、１つの例示的な四辺形検出方法が、米国特許出願公開番号第２００５／０１６９５３１号に記載されている。該米国特許出願公開番号第２００５／０１６９５３１号は、参照により本明細書内において組み込まれる。

Ｃ．走査画像データに関連付けられた補助データ構成のデコーディング
走査画像データ４４の受け取りに応答して、デコーディング処理構成要素２４は、出力画像データ３６に関連付けられた補助データ構成４０のロケーションを特定する。上述のように、補助データ構成４０を、出力画像データ３６内に組み込まれた識別子によってか、又は補助データ構成４０の出力画像データ３６内へのマージャ（マージ器）によって、出力画像データ３６に関連付けることができる。デコーディング処理構成要素２４が、走査画像データ４４内の識別子のロケーションを特定した場合には、デコーディング処理構成要素２４は、その識別子に対応するエントリをデータベース１６に照会することによって、補助データ構成４０を、データベース１６から検索する。走査画像データ４４内における補助データ構成４０の表現のロケーションをデコーディング処理構成要素２４が特定した場合には、該デコーディング処理構成要素２４は、走査画像データ４４内において補助データ構成４０を表すために用いられたプロセスに依存する抽出プロセスのタイプを使用して、補助データ構成を抽出する。例えば、補助データ構成が１次元か又は２次元のバーコードによって表されている場合には、デコーディング処理構成要素２４は、対応するバーコード読み取り方法を使用して、補助データ構成を抽出することができる。補助データ構成が、走査画像データ内においてグラフィカルにエンコードされている場合には、デコーディング処理構成要素２４は、対応するグラフィカルデコーディングプロセスを使用して、補助データ構成を抽出することができる。

補助データ構成４０を取得した後、デコーディング処理構成要素２４は、補助データ構成をデコードして、デコード補助情報４８を得る。デコーディング処理構成要素２４は、典型的には、補助情報３８を補助データ構成４０内へとエンコードするためにエンコーディング処理構成要素２２によって使用されたプロセスを反転させることによって、デコード補助情報４８を生成する。デコーディング処理構成要素２４は、デコード補助情報４８を画像再構成処理構成要素２６に送る。

Ｄ．走査画像データの入力画像部分の記録
画像再構成処理構成要素２６によって実行されて、走査画像データ４４の入力画像部分を記録する方法の一実施形態を図９は示す。

この実施形態によれば、走査画像データ４４の任意の初期前処理の後、画像再構成処理構成要素２６は、走査画像データ４４内における入力画像のコーナのロケーションの推定値を決定する（図９のブロック１００）。画像再構成処理構成要素２６は、前処理データから受け取ったデータからコーナのロケーション推定値を決定することができるか、又は上述の四辺形検出処理のようなコーナ特定プロセスを走査画像データ４４に提供することによってコーナのロケーション推定値を決定することができる。

画像再構成処理構成要素２６は、推定されたコーナロケーション内における走査画像データ４４を、入力画像３４のピクセル寸法に等しいサイズにゆがめて、走査画像データ内のサンプル点を取得する（図９のブロック１０２）。このプロセスでは、画像再構成処理構成要素２６は、デコード補助情報４８から、オリジナルの入力画像３４のピクセル寸法と入力画像３４のハードコピーの物理的な印刷サイズとを決定する。画像再構成処理構成要素２６は、走査画像データ４４内における入力画像のコーナロケーションの推定値と共にこの情報を使用して、入力画像３４のピクセルロケーションに対応する走査画像データ内のサンプル点のロケーションを推定する。

サンプル点のロケーションが特定された後、画像再構成処理構成要素２６は、デコード補助情報３８内の基準ピクセル値と、走査画像データ４４内における対応するサンプル点の値との間の対応関係に基づいて、推定されたコーナのロケーション内における走査画像データ４４の入力画像部分を記録する（図９のブロック１０４）。このプロセスにおいて、画像再構成処理構成要素２６は、基準ピクセル値と、走査画像データ４４内の対応するサンプル点の値との差分から誤差量（エラーメジャー）を計算する。

幾つかの実施形態において、画像再構成処理構成要素２６は、次いで、走査画像データ内における入力画像のコーナの推定されるロケーション（ｘ_ｉ，ｙ_ｉ）を反復的に最適化して、誤差を最小化する。この目的のため、画像再構成処理構成要素２６は、例えば、直接検索最適化プロセスを使用することができる。図９のブロック１００〜１０４の記録プロセスは、指定された反復終了述語が満たされるまで（例えば、指定された反復回数が実行されるまでか、或いは、測定された誤差が、指定された閾値未満に収束するか又は下まわるまで）繰り返される。各反復の期間中、画像再構成処理構成要素２６は、走査画像データ４４内における入力画像の４つのコーナのロケーションの推定値を更新して、走査画像データ４４を、オリジナルの入力画像３４のピクセル寸法と等しいサイズに再度ゆがめ及び再サンプリングして、基準ピクセル値と、走査画像データ４４内における対応するサンプル点の値との間の誤差に基づいて、推定されたコーナロケーション内における走査画像データの入力画像部分を再記録する。

Ｅ．記録された画像の色補正
走査画像データ４４の入力画像部分が記録された（図８のブロック９４）後に、画像再構成処理構成要素２６は、デコードされた補助データ構成内の複数基準ピクセル値のうちの（１つ以上の）基準ピクセル値と、記録された画像のサンプル点の複数値のうちの対応する（１つ以上の）サンプル点の値との間の色変換を導出する（図８のブロック９６）。

幾つかの実施形態において、画像再構成処理構成要素２６は、デコード補助情報４８内における色補正基準ピクセルの値を、記録された画像内における対応するロケーションにおけるサンプル点の値にマッピングする変換（Ｔ）を決定する（図７のブロック８４）。基準ピクセルと、対応する記録された画像サンプル点との間の関係は、次の式（６）内に数学的に表される。

ここで、Ｒ_ｒｅｆ、Ｇ_ｒｅｆ、及びＢ_ｒｅｆは、デコード補助情報内の基準ピクセルの色値を表し、Ｒ_ｒｅｇ、Ｇ_ｒｅｇ、及びＢ_ｒｅｇは、記録された画像における対応するサンプル点の色値を表す。変換Ｔの係数を、基準ピクセル値と、記録された画像の対応するサンプル点の値との間の誤差を最小化する最適化プロセスを用いて、決定することができる。幾つかの実施形態において、各色平面ごとに、色値を別のものにマッピングする１次元の参照テーブルが作成される。このプロセスでは、０〜２５５の範囲が一様にサンプリングされ、各サンプル点ごとに、対応するマッピングされた値が最適化される。単調性の制約条件が、最適化中に強制される。サンプル点の間に存在する色のマッピングは、滑らかな補間（例えば、スプライン補間）によって取得される。他の実施形態では、独立した１次元単調参照テーブルが、各色成分ごとに作成されて、線形変換か又は多変量多項式変換のいずれかによって後続される。

色変換が導出された（図８のブロック９６）後、画像再構成処理構成要素２６は、記録された画像に対して色変換（Ｔ）を適用して、色補正された出力画像４６を得る（図８のブロック９８）。

Ｆ．再構成の結果を改善する例示的な実施形態
幾つかの実施形態において、指定された回数の記録及び色補正の反復が実施された後に、画像再構成処理構成要素２６は、記録された及び色補正された画像を、出力画像４６として出力する。

他の実施形態において、画像再構成処理構成要素２６は、記録された及び色補正された画像をサイド情報として用いて、デコード補助情報４８内におけるコーディングされた変換係数から出力画像４６を生成する。これらの実施形態では、ｙとして受け取られ且つその剰余指数がｃとして伝達される係数ｘの最適な再構成を得るために、最小平均二乗誤差再構成関数が用いられる。

ここで、

と定義すると、最適な再構成関数を、次式のように記述することができる。

サイド情報Ｙをもたらすために、互いに独立で同一の分布に従った（i.i.d.）ガウス雑音Ｚが加算される、ガウスか又はラプラスのソースＸのような、データに関する多くの現実的なモデルについて、関数ｍ０及びｍ１を容易に近似することができることが分かる。他のケースでは、ｍ０及びｍ１についての事前に計算された２Ｄの参照テーブル上の補間を使用して、最適な再構成値を得ることができる。

図１０は、伝達された剰余指数が２であった場合のケースについてのデコーディング例を示す。図示されたようなｙが与えられると、最終的な再構成は、伝達された剰余指数が２であった場合の全てのｂｉｎについて上記の式（８）を計算することによって、

として得られる。サイド情報ｙを使用するこの最適な再構成関数を使用することができることによって、画像再構成処理構成要素２６が、目標品質よりも大きな量子化ステップサイズを使用することが可能となり、それにより、Ｗｙｎｅｒ−Ｚｉｖレイヤにおけるビットレートの節約が可能になる。

幾つかの実施形態において、補助情報３８内に含まれなかった（すなわち、零の剰余指数値として伝達された）変換係数を、該変換係数がサイド情報（すなわち、記録された及び色補正された画像）内に現われるように、画像再構成処理構成要素２６は、正確に再構成する。

Ｖ．入力画像処理システム及び走査画像処理システムの例示的な実施態様
幾つかの例示的な実施形態において、入力画像処理構成要素１０は、次のような補助データ構成を生成する。
１．オリジナルのディジタル入力画像のピクセルサイズ、及び印刷画像の物理的なサイズ。この情報は、サンプル点のロケーションを推測するのに役立ち、並びに、コーナの自動検出にも役立つ。
２．入力画像全体にわたって広がるＮｒ個のサブ画像ブロックのセットの輝度値が、それらのロケーション及びサイズと共に未処理（ＲＡＷ）のまま抽出されてエンコードされる。該サブ画像ブロックを選択するための１つの例示的なプロセスでは、画像は、Ｍ×Ｍのグリッドにわたって、Ｍ^２個の等しいサイズのサブ画像に分割される。ここで、Ｍは、１よりも大きな整数値（例えば、３）を有する。各サブ画像ブロック内において、オーバーラッピングしていない全てのＮ×Ｎ個のブロック（ここで、Ｎは、１よりも大きな整数値（例えば８）を有する）が検索されて、最も高い輝度分散を有するブロックが選択される。Ｎｒ＝Ｍ^２個のブロックのうちのそれぞれのサイズ及びロケーションは、これらのブロックのピクセルについての未処理（ＲＡＷ）の輝度データと共に、補助データ構成にエンコードされる。
３．Ｎｃ個の単一カラーピクセルのセットが、規則的なグリッドからか、又は十分に滑らかなロケーションから、のいずれかの未処理（ＲＡＷ）の入力画像データから抽出されて、それらのロケーションと共に補助データ構成内へと未処理（ＲＡＷ）のままエンコードされる。
４．オプションのＷｙｎｅｒ−Ｚｉｖレイヤ。ここで、オリジナル画像の少数の変換領域係数のみが、剰余類マッピングの後に補助データ構成内へとエンコードされる。

幾つかの例示的な実施形態において、走査画像処理構成要素１２は、次のように出力画像４６を生成する。
１．出力画像データに関連付けられた補助情報をデコードする。
２．出力画像データのハードコピーを、オリジナルの入力画像の解像度よりも高い解像度で高品質のスキャナによって走査する。
３．自動コーナ検出アルゴリズムを実行することか又は手動でのいずれかによって、前記高解像度走査において入力画像のコーナの近似のロケーションを取得する。
４．指定された反復回数の間、以下のステップ全体を繰り返す。すなわち、
（ａ）初期化点として上記で取得された近似のロケーションから開始して、４つのコーナにわたる座標に対応する８つの値にわたって最適化を行い、その結果、サイド情報内のオリジナルのＮｒ個の伝達されたブロックと、走査画像をゆがめて再サンプリングすることによって取得されたブロックとの間の誤差が、最小化される。走査領域内の４つのコーナ座標のセットが与えられると、これらのコーナ内における走査画像が、オリジナルの画像サイズに等しいサイズにゆがめられて再サンプリングされる。このゆがめられて再サンプリングされた画像から、サイド情報内の伝達されたブロックと、走査画像をゆがめた後に取得したブロックとの間の誤差が得られる。次いで、直接検索最適化メカニズムが用いられて、４つのコーナピクセルの８つのサンプル全体にわたる最適化が行われる。該最適化されたサンプルは、４つのコーナロケーションを更新するために用いられる。
（ｂ）最適な４つのコーナロケーションが取得されると、走査画像をゆがめて再サンプリングして、「記録された画像」を得る。
（ｃ）Ｎｃ個の色変換された記録された画像ピクセルと、指定されたロケーションにおけるサイド情報チャンネル内において伝達されたオリジナルピクセルの値との間の誤差を最小化することに基づいて、記録された画像からオリジナル画像への色変換についてのモデルのパラメータを最適化する。
（ｄ）色変換パラメータが最適化されると、記録された画像全体が、これらのパラメータが用いられて変換されて、色補正された記録された画像が得られる。
（ｅ）指定された反復回数を超えた場合には、ステップ５に進む。
（ｆ）ステップ４ｃ内において最適化された色変換パラメータと同じ色変換パラメータを使用して走査画像データを変換して、この新しい変換された画像で走査画像データを更新する。
（ｇ）プロセスを、ステップ４ａから開始して繰り返す。
５．Ｗｙｎｅｒ−Ｚｉｖレイヤが、デコード補助情報内に含まれる場合には、記録された及び色補正された画像に基づくチャンネルデコーディングによって、Ｗｙｎｅｒ−Ｚｉｖレイヤをデコードする。

ＶＩ．結論
本明細書内において詳細に説明されている実施形態に従って、補助情報が入力ディジタル画像から抽出される。該補助情報は、入力画像の特徴を、記述するか又は別様には取り込む。印刷走査チャンネルを通じて処理された複数入力画像のうちの（１つ以上の）入力画像を再構成することにおいて、該補助情報が用いられる。上記において詳細に説明したように、該補助情報によって、これらの実施形態が、オリジナルのディジタル入力画像の高品質な近似を再構成することが可能になる。

他の実施形態は、特許請求の範囲の範囲内にある。

Claims (10)

1. 複数基準ピクセルの値を含む補助情報（３８）を、入力画像（３４）から抽出し、
   前記補助情報（３８）を、補助データ構成（４０）内へとエンコードし、
   印刷を行うための出力画像データ（３６）を生成し、
   少なくとも１つの物理記憶媒体（１６、４２）内に、前記補助データ構成（４０）を、前記出力画像データ（３６）に関連付けて格納し、及び、
   前記出力画像データ（３６）のハードコピー（４２）から取得した走査画像データ（４４）から前記入力画像（３４）を再構成する
   ことを含む、画像処理方法であって、
   前記補助情報は、前記再構成することの支援に用いられ得る任意の情報を含み、
   前記複数基準ピクセルは、前記再構成する際の、前記入力画像の基準となる特徴を表す、前記入力画像のピクセルのうちの複数ピクセルであり、
   前記補助データ構成は、前記エンコードされた補助情報の構造化されたデータであり、
   前記出力画像データは、前記入力画像を表すデータを含み、
   前記補助情報（３８）を抽出することは、
   前記入力画像（３４）のブロックのシーケンスから、量子化された周波数領域ベクトルのシーケンスを生成し、
   前記周波数領域ベクトルの各々から、剰余指数のセットのそれぞれを計算し、及び、
   前記剰余指数のセットのそれぞれの各サブセットを、前記補助情報（３８）内に含める
   ことを更に含み、及び、
   前記量子化された周波数領域ベクトルの各々は、前記入力画像（３４）の各ブロックから導出された量子化された順方向変換係数のセットを含むことからなる、画像処理方法。
2. 前記入力画像（３４）にわたる一定間隔のサンプルロケーションにおけるピクセルを、前記複数基準ピクセルのうちの１つ以上の基準ピクセルとして識別することか、或いは、前記入力画像（３４）における目立つ領域を識別して、該目立つ領域内の複数ピクセルを前記複数基準ピクセルのうちの１つ以上の基準ピクセルとして選択することを、前記抽出することが含むことからなる、請求項１に記載の方法。
3. 指定された低テクスチャ閾値を満たすそれぞれのテクスチャ量によって特徴付けられた前記入力画像（３４）の領域を識別し、及び、該識別された領域内のピクセルを色基準ピクセルとして選択する、ことを前記抽出することが含み、及び、前記エンコードすることが、該色基準ピクセルの色値を前記補助データ構成（４０）内へとエンコードすることを含むことからなる、請求項１又は２に記載の方法。
4. 前記順方向変換における変換は、コサイン変換か、フーリエ変換か、アダマール変換か、ハールウェーブレット変換か、又はウェーブレットベースの変換のいずれかを含むことからなる、請求項１乃至３のいずれかに記載の方法。
5. 前記再構成することが、
   前記出力画像データ（３６）に関連付けられた前記補助データ構成（４０）をデコードして、デコード補助情報（４８）を生成し、
   前記走査画像データ（４４）内の前記入力画像（３４）のコーナのロケーションを推定し、
   前記推定されたコーナロケーション内における前記走査画像データ（４４）をゆがめて、該走査画像データ（４４）内のサンプル点を取得し、及び、
   前記デコード補助情報（４８）内の複数基準ピクセル値と、前記走査画像データ（４４）内の前記複数基準ピクセルのロケーションに対応するロケーションにおけるサンプル点のピクセル値との間の対応関係に基づいて、前記推定されたコーナロケーション内における前記走査画像データ（４４）の一部分を記録する
   ことを含むことからなる、請求項１乃至４のいずれかに記載の方法。
6. 前記補助データ構成（４０）内の前記複数基準ピクセル値のうちの１つ以上の基準ピクセル値と、前記記録された画像の複数サンプル点のうちの対応する１つ以上のサンプル点の値との間の色変換を導出し、及び、前記記録された画像に対して前記色変換を適用して、色補正された画像を得る、ことを前記再構成することが更に含むことからなる、請求項５に記載の方法。
7. 前記色補正された画像をサイド情報として用いて、前記デコード補助情報（４８）内の前記剰余指数の前記サブセットから出力画像（４６）を生成することを、前記再構成することが更に含むことからなる、請求項６に記載の方法。
8. 画像処理システムであって、
   基準ピクセルの値を含む補助情報（３８）を、入力画像（３４）から抽出する補助情報処理構成要素（２０）と、
   前記補助情報（３８）を補助データ構成（４０）内へとエンコードするエンコーディング処理構成要素（２２）と、
   印刷を行うための出力画像データ（３６）を生成する出力画像処理構成要素（２３）と、
   前記出力画像データ（３６）のハードコピー（４２）から取得した走査画像データ（４４）から前記入力画像（３４）を再構成するための走査画像処理システム（１２）
   とを備え、
   前記補助情報は、前記再構成することの支援に用いられ得る任意の情報を含み、
   前記複数基準ピクセルは、前記再構成する際の、前記入力画像の基準となる特徴を表す、前記入力画像のピクセルのうちの複数ピクセルであり、
   前記補助データ構成は、前記エンコードされた補助情報の構造化されたデータであり、
   前記出力画像データは、前記入力画像を表すデータを含み、
   前記エンコーディング処理構成要素（２２）と前記出力画像処理構成要素（２３）とのうちの少なくとも一方が、少なくとも１つの物理記憶媒体（１６、４２）内に、前記補助データ構成（４０）を前記出力画像データ（３６）に関連付けて格納し、
   前記補助情報処理構成要素（２０）が、前記補助情報を抽出することは、前記補助情報処理構成要素（２０）が、前記入力画像（３４）のブロックのシーケンスから、量子化された周波数領域ベクトルのシーケンスを生成して、該周波数領域ベクトルの各々から、剰余指数のセットのそれぞれを計算し、及び、該剰余指数のセットのそれぞれの各サブセットを前記補助情報（３８）内に更に含めることを更に含み、及び、
   前記量子化された周波数領域ベクトルの各々は、前記入力画像（３４）の各ブロックから導出された量子化された順方向変換係数のセットを含むことからなる、画像処理システム。
9. 前記走査画像処理システムが、
   前記出力画像データ（３６）に関連付けられた前記補助データ構成（４０）をデコードして、デコード補助情報（４８）を生成するためのデコーディング処理構成要素（２４）と、
   前記デコード補助情報の複数基準ピクセル値と、前記走査画像内のサンプル点におけるピクセルの値とに基づいて、前記走査画像を再構成するための画像再構成処理構成要素（２６）であって、該サンプル点は、前記入力画像内のロケーションにそれぞれ対応することからなる、画像再構成処理構成要素
   とを含むことからなる、請求項８に記載の画像処理システム。
10. 前記順方向変換における変換は、コサイン変換か、フーリエ変換か、アダマール変換か、ハールウェーブレット変換か、又はウェーブレットベースの変換のいずれかを含むことからなる、請求項８又は９に記載の画像処理システム。

Images