JP5701042B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は印刷物における傷に対する画像処理に関する。

インクジェットプリンタに用いられるインクとして、染料インクと顔料インクがある。染料インクは、一般に長期間の保存によって、濃度低下や変色等の変化（退色）を起こしやすい。印刷物に退色が発生した場合、大切な印刷物のときは、退色を可能な限り修復して画像を復元することが求められる。退色画像の復元方法について、特許文献１には、画像の退色劣化したプリント物に対して、退色した反射画像の反射濃度を透過濃度に変換し、変換した透過濃度に対する劣化前の透過濃度を予測する。そして、この透過濃度に基づいて透過復元画像を作成し、作成した透過復元画像の濃度を再度反射濃度に変換して、画像出力装置により出力することが記載されている。

他方で、顔料インクは染料に比べて退色しにくいため、写真やポスターなどの印刷に顔料インクのプリンタが用いられるようになってきている。しかしながら、顔料インクは、色材が紙面上に積層するため、外力による摩擦によって色材が剥がれやすく、傷になりやすいという特徴がある。

特開２００５−１０１７９０号公報

特許文献１の方法は、退色による色変化を予測するものであって、色材が剥がれたことなどによる傷については検知することができない。そして、その傷を修復することもできない。

そこで本発明は、印刷物の傷を判定することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、印刷媒体に印刷された画像上における傷の領域と該傷の領域の周辺領域とを含む複数の領域それぞれの正反射光及び拡散光を取得する反射光取得手段と、前記傷の領域と前記周辺領域とにおける前記正反射光と前記拡散光との関係に基づき、前記傷の領域であるか否かを判定する判定手段とを有する。

本発明によれば、印刷物の傷を判定することが可能となる。

実施例１の画像処理装置のシステム構成を示すブロック図である。 実施例１の画像処理装置のハードウェア構成を示すブロック図である。 実施例１のＵＩ画面を示す図である。 実施例１の修復印刷処理の流れを示すフローチャートである。 実施例１の傷検出処理の動作を示すフローチャートである。 インク特性データを示す図である。 実施例１のインク量推定処理の流れを示すフローチャートである。 実施例１の画像方向とフーリエ変換後のパワー成分との関係を表す模式図である。 実施例１の測色器の構成を示すブロック図である。 実施例１の修復印刷処理の動作を示すフローチャートである。

以下、添付の図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、以下の実施例に示す構成は一例に過ぎず、本発明は下記の構成に限定されるものではない。

実施例１では色材としてインクを用いた例について説明するが、色材はインクに限られるものでなく、トナーなど他の色材でもよい。

＜システムの構成＞
図１は、本実施例１に係る画像処理装置１０１を備えるシステムの構成を示したブロック図である。

まず、画像処理装置１０１の機能構成について説明する。出力部１０２は、画像データ及び表示部１１６にユーザーインターフェイス（ＵＩ）画面を表示するための表示データなどの各種データを出力する。入力部１０３は、画像処理装置１０１の外部から各種データを入力する。例えば、正反射光測色部１１１、拡散光測色部１１２で測定された色データなどを入力する。傷判定部１０４は、正反射光と拡散光の測定データから、印刷媒体に印刷された画像（印刷物）上に傷があるかどうかを判定する。方向判定部１０５は、画像上における傷の領域（以降、単に傷とも呼ぶ）と傷の周辺領域とからなる傷周辺の拡散光の測定データから、傷の方向を判定する。インク量推定部１０６は、正反射光と拡散光の測定データから、傷の修復に必要なインク量を推定する。傷修復画像データ生成部１０７は、傷を修復する印刷を行うのに必要な色材量データを含む画像データを生成する。インク特性記憶部１０８は、あらかじめ測定しておいたインク量毎の正反射光測定データ及び拡散光測定データを記憶する。測定データ記憶部１０９は、傷判定部１０４で傷と判定された傷の位置と測色結果とを対応付けて記憶する。ＵＩ部１１０は、ＵＩ画面などの表示データを介して、ユーザーからの指示を入力するユーザーインターフェイスを制御する。

次に、画像処理装置１０１に接続する各部について説明する。正反射光測色部１１１は印刷物の正反射光を、拡散光測色部１１２は印刷物の拡散光を測定する。ここで、図８に正反射光測色部１１１及び拡散光測色部１１２の構成を示す。光源８０１は印刷物に光を照射する。正反射光測色部１１１は光源８０１に対して正反射の角度に位置する。拡散光測色部１１２は、光源８０１に対して正反射の角度以外に位置する。ここで、各測色部は、光電変換素子によって光のセンサへの照射量を読み取るものであり、例えば、印刷媒体上の画像を光学的に読み取る分光放射輝度計、スキャナ、ＣＣＤカメラ等の画像入力装置によって実現される。測色位置制御部１１３は、正反射光測色部１１１及び拡散光測色部１１２の各測色部の位置を所望の位置に移動させる制御部である。例えば、各測色部は印刷面に対して縦横方向に動くステージ上に取り付けられており、縦横方向の２軸への移動は、各軸にリニアエンコーダーを備えることで、位置移動を高精度に制御する。また、各測色部の位置制御は画像出力機器１１５に備えている印刷ヘッド部（図示しない）の位置も合わせて把握しており、例えば印刷ヘッド部の相対位置を記憶している。外部記憶装置１１４は、ハードディスクやＣＤ−ＲＯＭ等の大容量記憶装置である。画像出力機器１１５は、例えばインクジェットプリンタなどの印刷機器である。表示部１１６は、画像処理装置１０１から出力された画像データやＵＩ画面データを表示する。ネットワーク１１７は、インターネット等のネットワークである。

なお、正反射光測色部１１１と拡散光測色部１１２は、１つの測定装置がそれぞれの測色部を備える構成としてもよい。

＜ハードウェアの構成＞
図２は、本実施例１に係る画像処理装置１のハードウェア構成を示したブロック図である。

ＣＰＵ２０１は、ＲＡＭ２０２及びＲＯＭ２０３に記憶されたプログラムに従って画像処理装置１全体の動作を制御する。ＲＡＭ２０２は、ＣＰＵ２０１のメインメモリとして使用され、ＣＰＵ２０１により実行されるプログラムがロードされる。またこのＲＡＭ２０２は、ＣＰＵ２０１による制御動作時に各種データを一時的に保存するワークエリアを提供する。ＲＯＭ２０３は、ブートプログラムや各種データを不揮発に記憶する。入力装置２０５は、キーボード、マウス等のポインティングデバイスを有し、ユーザーの操作（ユーザー指示）による各種データやコマンドの入力に使用される。表示部２０４は、ＣＲＴや液晶などの表示ユニットを有し、処理対象のデータやＵＩ画面等の表示に使用される。外部記憶装置（ＨＤ）２０６は大容量の記憶装置であり、ここにはＯＳ、各種アプリケーションプログラムやプリンタドライバ、及びデータなどが予めインストールされている。そして、そのプログラムの起動が指示されると、プログラムはＲＡＭ２０２にロードされて実行される。ネットワークインターフェース２０７は、ＬＡＮ等のネットワークとのインタフェースを制御している。入出力ポート２０８は、例えばＵＳＢやＩＥＥＥ１３９４などのインタフェースで、図１に示す外部機器１１１，１１２，１１４や外部装置などと接続している。

なお、図１に示す画像処理装置１の各機能は、本実施例においては、ＣＰＵ２０１とその制御プログラムにより達成されるが、これら機能を実現するための専用ハードウェアがそれぞれに設けられてもよい。また図１における記憶部１０８、１０９は、ＲＯＭ２０３又はＨＤ２０６に設けられているが、固定データの記憶部はＲＯＭ２０３に設けられてもよい。

＜ＵＩ＞
図３は、ＵＩ部１１０によって表示部１１６に表示された傷修復を行うためのＵＩ画面の一例を示す図である。以下、ユーザーが印刷サンプルの傷の修復印刷を行う操作について説明する。ユーザーは、図３に示す傷修復設定画面３０１において、傷検出ボタン３０２を押下する。プレビュー画面３０３に画像の全体像と検知された傷の箇所３０４が表示される。傷修復印刷ボタン３０５を押すとプリンタドライバによる印刷設定画面が開き、修復印刷処理が開始される。

＜全体の処理動作＞
図４は、本実施例における修復印刷処理を示すフローチャートである。

まず、ステップＳ４０１において、正反射光測色部１１１は、印刷サンプルの正反射光の色を測定する。測色値の形式は、ＲＧＢ、ＸＹＺ、Ｌ＊ａ＊ｂ＊、分光反射率など色情報を識別できるものであれば任意の形式で構わない。本実施形態ではＬ＊ａ＊ｂ＊が得られるとする。色情報を測定する場所は、傷を検出するために、印刷物上の複数の場所（領域）において行われる必要がある。測定データは印刷物上での測定値の変化が分かるよう、連続した二次元のデータであるとする。なお、本実施例における処理単位は画素であるが、これに限られるものではなく、所定画素数からなるブロックを単位としてもよい。

次にステップＳ４０２において、拡散光測色部１１２は、印刷サンプルの拡散光の色を測定する。測定値の形式は、ステップＳ４０１と同様に任意の形式で構わない。なお、ステップＳ４０１とステップＳ４０２とは予め行われていてもよく、その場合は、予め測定された測定データを取得する。

次にステップＳ４０３において、傷判定部１０４は、画像上の任意の領域が傷領域であるか否かを判定する。顔料インクで出力された印刷物の場合、傷が生じた箇所は、顔料の色材が削り取られる。色材が削り取られた箇所は傷の周辺に比べて表面形状が変化し、正反射光又は拡散光の測色値が変化する。そこで、傷の領域と傷の周辺領域それぞれにおける正反射光及び拡散光の測色値の変化量に対して、ある閾値によって変化量の大小関係を比較し、比較した結果から、傷が生じた箇所であるか否かの判定を行う。傷と判定されなければ処理は終了である。傷と判定された場合は、次のステップＳ４０４に進む。具体例として、色材インクとクリアインクを用いた印刷物の傷検出方法について以下で説明する。

次にステップＳ４０４において、傷判定部１０４は、ステップＳ４０３で傷と判定された印刷物上の位置を記憶する。傷の位置情報は、例えば、測色データを縦・横の２次元の位置座標として、測定データ記憶部１０９に記憶する。また、ここで、傷の位置（箇所）を画像データ上に表示し、ユーザーに報知してもよい。これにより、ユーザーは報知された傷が修正したいものであるか否かを判定することができるようになる。

次にステップＳ４０５において、インク量推定部１０６は、正反射光と拡散光の測色値と、あらかじめインク特性記憶部１０８に記憶しておいたインク特性データから傷修復前のインク量を推定する。図６に、インク特性記憶部１０８に記憶しておくインク特性データを示す。図６は、プリンタ入力する入力色データであるＲＧＢ入力信号値とＣＭＹＫのインク値、そして該インク値における正反射光と拡散光の測色データとの対応関係を保持する対応表（テーブル）である。図６において、入力信号値とインク値は０−２５５の８ビットで記憶しており、正反射光データ、拡散光データは０．００−１００．００の少数で記憶している。インク特性記憶部１０８に記憶された、ステップＳ４０１およびＳ４０２で測定した測色データから正反射光データと拡散光データとが近いインク値を複数個探索する。そして、探索した複数のインク値の線形補間処理によって、傷修復前の傷領域におけるインク値Ｃ_１Ｍ_１Ｙ_１Ｋ_１を推定する。推定処理の詳細については後述する。なお、本実施例ではＣＭＹＫインクを例に説明したが、これに限られず、他の色材色の有色色材（カラーインク）や無色色材（クリアインク）などを含んでいても構わない。

次にステップＳ４０６において、インク量推定部１０６は、傷修復後のインク量Ｃ_２Ｍ_２Ｙ_２Ｋ_２を推定する。傷修復後のインク量の推定方法の詳細については後述する。

次にステップＳ４０７において、インク量推定部１０６は、傷修復に必要なインク量を計算する。傷領域における現状のインク量と本来傷の無い状態で印刷されているべきインク量とから、修復に必要となるインク量を生成する。修復前の傷の箇所のインク量をＣ_１Ｍ_１Ｙ_１Ｋ_１、傷修復後の推定インク量をＣ_２Ｍ_２Ｙ_２Ｋ_２とすると傷修復に必要なインク量は、（傷修復のインク量）＝（傷部の修復後の推定インク量）−（傷部の修復前のインク量）となり、下記で表される。
ΔＣ＝Ｃ_２−Ｃ_１
ΔＭ＝Ｍ_２−Ｍ_１
ΔＹ＝Ｙ_２−Ｙ_１
ΔＫ＝Ｋ_２−Ｋ_１ 式（１）

次にステップＳ４０８において、傷修復画像データ生成部１０７は、修復データを生成する。ステップＳ４０７で生成した、各インクに対する修復量ΔＣ、ΔＭ、ΔＹ、ΔＫに基づいて、修復画像データを生成する。本実施例では修復画像データは８ビットのＣＭＹＫデータである。

次にステップＳ４０９において、傷修復画像データ生成部１０７は、画像ステップＳ４０８で生成した修復画像データを、出力部１０２を介して画像出力機器１１５に出力し、画像出力機器１１５により印刷が行われる。ステップＳ４０９の詳細な動作については後述する。ステップＳ４０８で作成された修復画像データは、図示しないが周知の手法により、例えばプリンタドライバにおいてガンマ修復処理及びハーフトーン処理が行われる。そして、プリンタにおいてドットを打つか打たないかのドット配置パターンである１ビットＣＭＹＫデータに変換されて、修復の印刷が行われる。

＜クリアインクと色材インクで構成される印刷物の傷検出の動作＞
ステップＳ４０３における、傷判定部１０４が行う傷判定処理の詳細な動作について、クリアインクと色材インクを含む場合を例に説明する。

一般的に、クリアインクは色材を含まないインクのことであり、印刷媒体における光沢感や質感を制御するのに用いられる。クリアインクは光沢に大きく影響を及ぼすため、クリアインクが剥がれた場合、傷の周辺領域と比較して傷領域の拡散光の変化は小さく、正反射光の変化は大きい。一方で、色材インクが剥がれた場合は、記録媒体における色材量が変化するため、傷の周辺領域と比較して傷領域の拡散光の変化が大きく、正反射光の変化は小さい。そして、光沢インクと色材インクの両方が剥がれた場合は、傷の周辺領域と比べて傷領域における正反射光と拡散光の両方の変化が大きくなる。これらの特性を利用すれば傷の検知を行うことができる。

傷の判定方法の動作について図５のフローチャートを用いて説明する。

ステップＳ１１０１において、正反射光の、画像上における２次元の測定データについて、着目領域（位置）での測定値と周辺領域（位置）での測定値との差分をとり、両位置における変化量を計算する。

同様に、ステップＳ１１０２において、拡散光の、画像上における２次元の測定データについて、着目位置での測定値と周辺位置での測定値との差分をとり、両位置における変化量を計算する。

次に、ステップＳ１１０３において、ステップＳ１１０１で求めた正反射光の変化が予め定められた所定の閾値以上かどうかを判定する。

ステップＳ１１０３において閾値以上と判定された場合は、ステップＳ１１０４において、ステップＳ１１０２で求めた拡散光の変化が予め定められた所定の閾値以上かどうかを判定する。閾値以上であれば、Ｓ１１０９において、クリアインクと色材インク両方に対する傷であると判定する。また、閾値より小さければ、Ｓ１１０８において、クリアインクの傷であると判定する。

また、ステップＳ１１０３において、ステップＳ１１０１で求めた正反射光の変化が閾値より下と判定された場合は、ステップＳ１１０５において、ステップＳ１１０２で求めた拡散光の変化が予め定められた所定の閾値以上かどうかを判定する。閾値以上であれば、ステップＳ１１０７において色材インクの傷であると判定する。閾値より下であれば、ステップＳ１１０６において傷ではないと判定し、補正の必要はなくなる。

以上でステップＳ４０３の傷判定の動作は終了である。

＜傷修復後のインク量推定の動作＞
ステップＳ４０６における、方向判定部１０５が行う傷修復後のインク量の推定について図７のフローチャートを用いて説明する。

ステップＳ６０１において、ステップＳ４０２で測定した拡散光の測定データに対して２次元フーリエ変換を行う。

ここで、ｋ：ｘ方向周波数、ｌ：ｙ方向周波数、Ｍ：ｘ方向要素数、Ｎ：ｙ方向要素数である。

次に、ステップＳ６０２において、パワー成分を算出し画像方向を特定する。ここでパワー成分は下記の式により算出する。

式（３）のパワー成分が大きいｋ、ｌの値から拡散光の測定データ上にもっとも多く含まれる画像方向を決定する。ここで、パワー成分と画像方向の関係について図８を用いて説明する。図８には、実画像とフーリエ変換後のパワー成分を示しており、白い部分で示した領域ほどパワー成分が強いことを表す。図８（ａ）のように、パワー成分のｌ軸上の成分が多い場合は、画像上ではｘ軸に平行な周期成分を多く含む。また、図８（ｂ）のように、パワー成分のｋ軸上の成分が多い場合は、ｙ軸上に平行な周期成分を多く含む。一般的に、実空間上における画像方向（画像に含まれる線とｘ軸のなす角度）を表す角度θは、最もパワー成分が多いｋ、ｌを用いて式（４）のように表される。

次に、ステップＳ６０３において、ステップＳ４０３において検出した傷領域に対してθ方向に、傷領域の周辺領域の拡散光、正反射光の測定データを補間する。例えば、横方向の画像成分を多く含む場合は、横方向の測定データを用いて補間する。

次に、ステップＳ６０４において、インク特性データに基づいて、ステップＳ６０３の補間処理によって算出した正反射光、拡散光の値からインク量を推定する。

以上でステップＳ４０６の処理を終了する。

なお、方向判定部における方向を判定するための方法は、２次元フーリエ変換以外の方法を用いても構わない。例えば、傷周辺の拡散光データに対して、複数方向の差分量を計算し、最も差分量が小さい方向を画像方向としてもよい。

＜傷修復印刷の動作＞
ステップＳ４０９の修復画像データを用いた印刷処理の動作の詳細について、図１０のフローチャートを用いて説明する。

ステップＳ１００１において、測定データ記憶部１０９から傷領域の修正位置に対する印字における位置とその周辺領域に対する位置とのそれぞれについて、ステップＳ４０１、Ｓ４０２で測定した測定データを取得する。

次に、ステップＳ１００２において、ステップＳ１００１で取得した修正位置に測色位置制御部１１３を介して印刷ヘッドを移動する。

次に、ステップＳ１００３において、ステップＳ１００２で印刷ヘッドを移動した位置において、正反射光、拡散光の測色を行う。

次に、ステップＳ１００４において、ステップＳ１００３で測色した結果とステップＳ４０１、Ｓ４０２で測定した結果が一致するか否かの判定を行う。判定の結果が一致すれば、ステップＳ１００５に進む。また、一致しないと判定された場合は、ステップＳ１００６に進む。

ステップＳ１００５において、ステップＳ４０８で作成された修正データの印字処理を行う。

ステップＳ１００６において、ステップＳ１００４で測色した位置がずれていると考えられるため、位置ずれ量を特定可能かどうか判断する。具体的には、ステップＳ１００３で測色した結果が、ステップＳ１００１で取得した周辺領域に対する位置において、ステップＳ１００１において取得した測定データに含まれるか否かを判断する。そして、含まれないと判断した位置と、含まれると判断した結果の位置との距離から位置ずれ量を算出する。位置ずれ量を求めたら、ステップＳ１００７に進む。

ステップＳ１００７において、ステップＳ１００６で求めたずれ量に応じて修正画像の位置データを移動する。

また、ステップＳ１００６で位置ずれ量が特定できないと判断された場合は、ステップＳ１００８に進み、現在の測色位置を変更し、Ｓ１００３に戻る。

以上により、傷修復印刷の動作が終了する。

以上説明したように、本実施例によれば、正反射光と拡散光のデータから傷の修復に必要なデータを予測し、同じ印刷サンプルに対して傷領域を再度印刷することによって、傷領域の画像劣化を補正することが可能となる。

なお、上記実施例では印刷物に生じた傷について説明しているが、インクの色材量の変化であれば、傷以外であっても検知・修正できる。例えば、インクジェットプリントにおけるインク滴の不吐によって、印刷媒体上にインクが打たれる箇所と打たれない箇所が混在し、所謂印刷すじや印刷むらが生じる。このような印刷すじや印刷むらに対しても本実施形態が適用できる。

＜他の実施例＞
上記実施例は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、アプリケーションソフトウェア等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。

Claims (10)

1. 印刷媒体に印刷された画像上における傷の領域と該傷の領域の周辺領域とを含む複数の領域それぞれの正反射光及び拡散光を取得する反射光取得手段と、
   前記傷の領域と前記周辺領域とにおける前記正反射光と前記拡散光との関係に基づき、前記傷の領域であるか否かを判定する判定手段と
   を有することを特徴とする画像処理装置。
2. 前記領域は、前記画像の画素であることを特徴とする請求項１に記載の画像処理装置。
3. 前記関係は、前記傷の領域と前記周辺領域とにおける前記正反射光の変化と、前記傷の領域と前記周辺領域とにおける前記拡散光の変化との関係であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記判定手段は、前記拡散光の変化により、前記領域における有色色材に対する傷であると判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段は、前記正反射光の変化が所定の値より大きく、かつ、前記拡散光の変化が所定の値より大きい場合は前記領域における無色色材に対する傷であると判定することを特徴とする請求項３に記載の画像処理装置。
6. 前記画像上において前記傷の領域と判定された箇所を記憶する記憶手段と、前記記憶された箇所を報知する報知手段とを更に有することを特徴とする請求項１乃至請求項５の何れか一項に記載の画像処理装置。
7. 画像データの入力色データと、該入力色データに対応する色材量データと、該色材量データに対応する前記正反射光及び前記拡散光との対応関係を保持する保持手段と、
   前記画像の画像データを取得する画像データ取得手段と、
   前記判定手段による判定結果と、
   前記判定手段により判定された傷の領域の方向を判定する方向判定手段と、
   前記方向判定手段による判定の結果と前記対応関係と前記画像データ取得手段により取得された画像データとに基づき、前記傷を修復した場合の色材量データを推定する推定手段と
   を更に有することを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
8. 前記推定手段により推定された色材量データと前記対応関係と前記画像データ取得手段により取得された画像データとに基づき、前記傷を修復するために必要な色材量データを算出する算出手段を更に有することを特徴とする請求項７に記載の画像処理装置。
9. コンピュータを、請求項１乃至請求項８の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
10. 印刷媒体に印刷された画像上における傷の領域と該傷の領域の周辺領域とを含む複数の領域それぞれの正反射光及び拡散光を取得する反射光取得手段と、
    前記傷の領域と前記周辺領域とにおける前記正反射光と前記拡散光との関係に基づき、前記傷の領域であるか否かを判定する判定手段と
    を有することを特徴とする画像処理方法。