JP6882063B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、任意の形状上に色を形成する画像処理技術に関する。

近年、美術品などの複製の分野において、美術品が持つ色情報だけでなく、油彩画や彫刻などが持つ凹凸形状と色とを同時に再現することが求められてきている。凹凸や立体物を形成する方法として、インクジェット記録方式を用いる方法が知られている。特許文献１では、対象物の位置毎の形状に応じてガマットマッピングに用いる色域を選択することで、凹凸形状上に好適な色を再現する技術を開示している。

特開２０１６−１１７１７６号公報

しかしながら、特許文献１に記載の技術では、凹凸層の上に着色層を形成する場合、着色層のインクの特性によって凹凸層上でインクが流動し、所望の表面形状が得られない場合がある。

本発明は、記録媒体上で凹凸の再現と色の再現とを両立するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、記録媒体上に対象物の形状を形成するための第１記録材の第１記録量と、前記記録媒体上に形成された前記形状の上に前記対象物の色を記録するための第２記録材の第２記録量と、を決定するための画像処理装置であって、前記対象物の位置ごとの前記色を表す色データを取得する第１取得手段と、前記対象物の位置ごとの前記形状の特性を表す形状特性データを取得する第２取得手段と、前記記録媒体上に記録された前記第１記録材の上に前記第２記録材を記録することによって形成された複数種類のパッチの色と形状特性とを測定することによって得られた測定結果、又は、前記測定結果に基づいて算出された関数、又は、前記関数に基づいて作成されたテーブルと、前記色データと、前記形状特性データと、に基づいて、前記第１記録量と前記第２記録量とを決定する決定手段と、を有することを特徴とする。

本発明によれば、記録媒体上で凹凸の再現と色の再現とを両立することができる。

凹凸形状に応じた色域の変化を説明するための概念図 画像処理システムのハードウェア構成例を示すブロック図 画像処理システムの機能構成を示すブロック図 画像処理装置２１が実行する処理のフローチャート 形状特性を算出する処理のフローチャート ウェーブレット変換の結果の一例を示した図 記録量データを算出する処理のフローチャート ＬＵＴの一例を示した図 ＬＵＴの作成方法のフローチャート ＬＵＴ作成時のインク量及び表面形状を算出する処理のフローチャート

実施例の説明に先立って、凹凸形状の違いに応じて色の再現性が変化することについて、図１を用いて説明する。一般に凹凸形状の周波数が高い場合にその凹凸形状上に色材（有色記録材）を塗布すると、平滑面上に塗布した場合と比較して色材の被覆率が低下するため発色性が低下する。このため、高周波成分を多く含む形状の色域は、低周波成分を多く含む形状に比べて色域の体積が小さくなる傾向がある。図１は凹凸に応じた色の再現範囲（以下、色域）の変動の概念図を示す。図１（ａ）は、横軸を彩度、縦軸を明度とした色域を表す。また、図１（ｂ）及び図１（ｃ）は、異なる形状の凹凸層に等量の色材を印字した結果を記録媒体の断面方向から観察した模式図であり、黒塗りの領域は着色層を表している。図１（ｂ）及び図１（ｃ）に示すように、凹凸層の形状によって色材の被覆率が異なり、図１（ｃ）に示す様に凹凸層の周波数及び振幅が大きい程、着色後の凹凸層の露出面積が大きくなる。したがって、図１（ｂ）に示す平滑面にて図１（ａ）の長鎖線で示す色域が得られていた場合でも、図１（ｃ）に示す形状では凹凸層である白色の露出により低明度部にて色域が縮小し、図１（ａ）の実線で示す色域となる。すなわち、異なる凹凸形状上に同一色を再現しようとすると、高周波な凹凸形状では彩度が低下して異なる色として再現されてしまうことがある。

一方、凹凸層の上に着色層を形成する場合、着色層の色材の特性によって凹凸層上で色材が流動し、最終的に所望の表面形状が得られない場合がある。

そこで以下で説明する実施例では、再現目標となる形状と色とに対応する、プリンタの出力に対応する情報を保持しておくことによって、色の再現と凹凸の再現とを両立することができる例を説明する。

以下、添付の図面を参照して、本発明を好適な実施例に基づいて詳細に説明する。尚以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
＜画像処理システムのハードウェア構成＞
図２は、本実施例における画像処理装置２１を含む画像処理システムのハードウェア構成例を示す図である。画像処理システムは、画像処理装置２１、シリアルバス２２、シリアルバス２６、入力デバイス２３、プリンタ２４、ディスプレイ２５、ハードディスクドライブ（ＨＤＤ）２７、汎用ドライブ２８を有する。画像処理装置２１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、汎用インタフェイス（Ｉ／Ｆ）２０４、シリアルＡＴＡ（ＳＡＴＡ）Ｉ／Ｆ２０５、ビデオカード（ＶＣ）２０６を有する。尚、図２の画像処理システムを含む構成を画像処理装置としてもよい。

ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２、ＨＤＤ２７、各種記録メディアに格納されたオペレーティングシステム（ＯＳ）や各種プログラムを実行し、システムバス２０７を介して各構成を制御する。尚、ＣＰＵ２０１が実行するプログラムには、後述する画像処理などのプログラムが含まれる。汎用Ｉ／Ｆ２０４は、例えばＵＳＢなどシリアルバスインタフェイスで、シリアルバス２２を介して、マウスやキーボードなどの入力デバイス２３やプリンタ２４などが接続される。シリアルＡＴＡ（ＳＡＴＡ）Ｉ／Ｆ１０５には、シリアルバス２６を介してＨＤＤ２７や各種記録メディアの読み書きを行う汎用ドライブ２８が接続される。ＣＰＵ２０１は、ＨＤＤ２７や汎用ドライブ２８にマウントされた各種記録メディアをデータの格納場所として読み書きに利用する。ＶＣ２０６は、ビデオインフェイスで、ディスプレイ２５が接続される。ＣＰＵ２０１は、プログラムが提供するユーザインタフェイス（ＵＩ）をディスプレイ２５に表示し、入力デバイス２３を介してユーザ指示を含むユーザ入力を受信する。

＜画像処理システムの機能構成＞
図３は、実施例１の画像処理システムの機能構成を示すブロック図である。画像処理システムにおいて画像処理装置２１は色データ取得部３０１、形状データ取得部３０２、決定部３０３、算出部３０４、保持部３０５を有する。また、ＨＤＤ２７は外部記憶部３０６を有し、プリンタ２４は出力部３０７を有する。

色データ取得部３０１は、外部記憶部３０６から再現対象物の位置ごとの色を表す色データを取得する。形状データ取得部３０２は、外部記憶部３０６から再現対象物の位置ごとの形状を表す形状データを取得する。算出部３０４は、形状データ取得部３０２で取得された形状データに対して周波数解析を行うことによって、形状特性を算出する。決定部３０３は、色データ取得部３０１で取得した色データと、算出部３０４で算出した形状特性と、に応じて保持部３０５に保持されている有色インクの記録量データと凹凸層の形状特性とを取得する。そして、有色インクの記録量と凹凸層を形成するためのインクの記録量とを決定し、それぞれの記録量を表す記録量データを出力部３０７に出力する。

＜画像処理装置２１が実行する処理＞
以下、本実施例で実行される処理について図４のフローチャートを用いて説明する。図４に示す処理は前述のように、ＣＰＵ２０１が、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２、ハードディスクドライブ（ＨＤＤ）２７に格納されたプログラムを実行することで実現される。

まず、ステップＳ４０１において色データ取得部３０１は、再現する対象物の位置ごとの色を表す色データを外部記憶部３０６から取得する。色データは、ＣＩＥＬＡＢ値からｓＲＧＢ変換式によって算出されるＲＧＢ値を画素ごとに有する画素群を示すデータである。色データが示す画像のことを色画像ともいう。尚、本実施例における色データの画素が有する画素値は、ｓＲＧＢ空間上において定義されるＲＧＢ値とするが、ＡｄｏｂｅＲＧＢ空間上で定義されるＲＧＢ値あるいはＬ^＊ａ^＊ｂ^＊空間上で定義されるＬ^＊ａ^＊ｂ^＊値や色の三刺激値であるＸＹＺ値、分光反射率といった他の形式であってもよい。

ステップＳ４０２において形状データ取得部３０２は、再現する対象物の位置ごとの形状を表す形状データを外部記憶部３０６から取得する。形状データは、基準面に対する高さを示す情報の２次元分布を記述した凹凸形状を示すデータである。形状データの主走査方向及び副走査方向のサイズは色データのサイズと同じであるものとする。尚、本実施例では、形状データは各位置における高さを例えば８ビットの画素値に変換したグレースケール画像を示すデータである。形状データが示す画像のことを形状画像ともいう。尚、後述するステップＳ４０３において形状特性を算出できる形状データであれば、画素値として深度を有していてもよいし、メッシュデータや点群データなどの他の形式であってもよい。

ステップＳ４０３において算出部３０４は、ステップＳ４０２で取得された形状データに基づいて、形状画像の各座標の形状の特性（例えば周波数）を示す形状特性データを算出する。尚、ステップＳ４０３の処理の詳細は後述する。

ステップＳ４０４において決定部３０３は、ステップＳ４０３で算出された形状特性データと保持部３０５に保持されている有色インクの記録量データおよび凹凸層の形状特性を取得し、有色インクの記録量と凹凸層を形成するためのインクの記録量を決定する。尚、ステップＳ４０４の詳細は後述する。

最後にステップＳ４０５において画像処理装置２１は、ステップＳ４０４で決定されたインクの記録量を表す記録量データを出力部３０７に出力する。

＜ステップＳ４０３の処理の詳細＞
以下、ステップＳ４０３の形状特性を算出する処理を図５のフローチャートを用いて説明する。冒頭で説明したように、高周波成分を多く含む形状の色域は、低周波成分を多く含む形状に比べて色材の被覆率が低下するため色域の体積が小さくなる傾向がある。ステップＳ４０３の処理では、この形状に応じた色域の変化に対応するために、形状画像の有する周波数特性を形状画像の座標ごとに算出する。尚、高周波成分と低周波成分とを共に多く含む形状では、再現される色域はより周波数の高い成分の振幅量に依存する。つまり、図１で説明したように、図１（ｂ）の低周波数成分の形状と図１（ｃ）の高周波成分の形状とを含む形状では、再現される色域は図１（ａ）の実線で示す高周波成分の形状に対応する色域となる。このため、高周波成分と低周波成分とを共に多く含む形状の場合に対応する色域は、その高周波成分のみを持つ形状と同等の色域とみなせる。従って、形状を示す周波数成分のうち、より高周波の振幅が把握できればその形状に対応する色域を予測することが可能である。そこで、ステップＳ４０３では高周波成分から処理を行い、座標ごとの周波数成分を算出する。

まず、ステップＳ５０１において算出部３０４は、ステップＳ４０２で取得された形状データが表す形状画像を周波数分解する。本実施例では周波数分解の一例として、位相情報を保持しながら周波数分解が可能な公知の離散ウェーブレット変換を行う。図６（ａ）は、ステップＳ５０１で実行されるレベル２の離散ウェーブレット変換の結果を示した図である。レベル２の離散ウェーブレット変換では図６（ａ）に示すように、形状画像は高周波成分Ｉ１、及び、低周波成分Ｉ２に分解される。そして、それぞれの成分は波形の方向に応じて高周波成分Ｉ_１１、Ｉ_１２、Ｉ_１３と、低周波成分Ｉ_２１、Ｉ_２２、Ｉ_２３に分けられる。例えば、高周波成分Ｉ_１１は、形状画像の主走査方向（図中の横方向）の高周波成分の信号と副走査方向（図中の縦方向）の低周波成分の信号とを示している。高周波成分Ｉ_１２は、形状画像の主走査方向（図中の横方向）の低周波成分の信号と副走査方向（図中の縦方向）の高周波成分の信号とを示している。高周波成分Ｉ_１３は、形状画像の主走査方向（図中の横方向）の高周波成分の信号と副走査方向（図中の縦方向）の高周波成分の信号とを示している。このように、高周波成分Ｉ１は波形の方向（縦方向、横方向、斜め方向）に応じた高周波成分Ｉ_１１、Ｉ_１２、Ｉ_１３に分けられる。高周波成分Ｉ_１１、Ｉ_１２、Ｉ_１３は、それぞれ対応する周波数の各位相位置における周波数成分の強さ（すなわち振幅値）を表すものである。高周波成分の位相位置は形状画像の画素位置に対応する。低周波成分Ｉ_２１、Ｉ_２２、Ｉ_２３についても同様である。

また、高周波成分Ｉ_１１、Ｉ_１２、Ｉ_１３は、元画像に対して２分の１の解像度となり、元画像の１画素に対して、２×２画素の領域が対応している。また、低周波成分Ｉ_２１、Ｉ_２２、Ｉ_２３は、元画像に対して４分の１の解像度となり、元画像１画素に対して４×４画素の領域が対応している。尚、本実施例では、説明のために離散ウェーブレットのレベルを２とするが、離散ウェーブレットのレベルは３以上であっても構わない。尚、その場合、図６（ｂ）に示すように１レベル低い周波数、Ｉ_３１、Ｉ_３２、Ｉ_３３へと分解される。このように、離散ウェーブレット変換によれば２のべき乗周期の縦横斜め成分に分解することができる。

ステップＳ５０２において算出部３０４は、変数ｍを初期値である１に設定する。尚、以降の処理は高周波成分から低周波成分に対して周波数ごとに繰り返し行われる処理であり、変数ｍは、繰り返し回数を表す変数である。前述のように、高周波成分において該当する形状特性（周波数及び振幅）が算出された場合には、低周波成分についての演算を行なわずにその形状特性を形状画像の対応する座標位置に設定すればよい。従って、本実施例では、高周波成分から低周波成分にかけて処理が行われる。

ステップＳ５０３において算出部３０４は、ウェーブレット変換後の周波数成分Ｉｍを取得する。例えば、ｍ＝１の場合、ステップＳ５０３で算出部３０４は最も周波数の高い周波数成分Ｉ_１１、Ｉ_１２、Ｉ_１３を取得する。

ステップＳ５０４において算出部３０４は、ステップＳ５０３で取得したウェーブレット変換後の周波数成分の位相（ｉ，ｊ）における波形方向ｋの振幅Ａ_ｍｋ（ｉ，ｊ）をステップＳ５０３で取得したウェーブレット変換後の周波数成分から取得する。尚、例えば振幅Ａ_１１（ｉ，ｊ）は、周波数成分Ｉ_１１における位相位置（ｉ，ｊ）の信号値の強さを示している。

ステップＳ５０５において算出部３０４は、式１により、ステップＳ５０４で取得された振幅の最大値Ａ（ｉ，ｊ）を算出する。
Ａ（ｉ，ｊ）＝ｍａｘ｛Ａ_ｍ１（ｉ，ｊ），Ａ_ｍ２（ｉ，ｊ），Ａ_ｍ３（ｉ，ｊ）｝ （式１）

ステップＳ５０６において算出部３０４は、式２及び式３により、ステップＳ５０５で算出された位相（ｉ，ｊ）における振幅の最大値Ａ（ｉ，ｊ）と閾値Ｔｈ_Ａ１及びＴｈ_Ａ２との閾値判定を行う。そして、該周波数成分に対応する周波数Ｆにおける位相（ｉ，ｊ）の振幅レベルを決定する。式２または式３を満たしていればステップＳ５０７へ進み、そうでなければステップＳ５１０へ進む。
Ａ（ｉ，ｊ）≧Ｔｈ_Ａ１ （式２）
Ｔｈ_Ａ２ ≦ Ａ（ｉ，ｊ） ≦ Ｔｈ_Ａ１ （式３）
ステップＳ５０７において算出部３０４は、処理対象の位相（ｉ，ｊ）は、周波数及び振幅が未設定の位相であるか否かを判定する。未設定の位相である場合ステップＳ５０８に進み、そうでない場合はステップＳ５１０に進む。

ステップＳ５０８において算出部３０４は、ステップＳ４０２で取得された形状画像の座標（２^ｍｉ，２^ｍｊ）、（２^ｍｉ＋１，２^ｍｊ）、・・・、（２^ｍｉ＋２^ｍ−１，２^ｍｊ＋２^ｍ−１）の振幅レベルを設定する。ステップＳ５０８において、式２を満たしていた場合、振幅レベルはＡ１、式３を満たしていた場合は、振幅レベルはＡ２となる。前述のようにウェーブレット変換後の周波数成分は、元画像の解像度よりも低くなる。ステップＳ５０８の処理は、ウェーブレット変換後の周波数成分のある位相に対応した元画像の位相（座標位置）を特定するための処理である。尚、ステップＳ５０８で設定される座標（２^ｍｉ，２^ｍｊ）、（２^ｍｉ＋１，２^ｍｊ）、・・・、（２^ｍｉ＋２^ｍ−１，２^ｍｊ＋２^ｍ−１）は、ウェーブレット変換後の周波数成分の位相（ｉ，ｊ）に対応している。

ステップＳ５０９において算出部３０４は、元画像の座標（２^ｍｉ，２^ｍｊ）、（２^ｍｉ＋１，２^ｍｊ）、・・・、（２^ｍｉ＋２^ｍ−１，２^ｍｊ＋２^ｍ−１）の周波数を離散ウェーブレット変換の結果得られる周波数Ｆに設定する。すなわち、ステップＳ５０３で取得した周波数成分に対応する周波数Ｆに設定する。

ステップＳ５１０において算出部３０４は、ステップＳ４０３で取得した周波数成分の全ての位相（ｉ，ｊ）に対して処理を終了したかを判定する。もし処理を終了していれば、ステップＳ５１２へ進み、そうでなければステップＳ５１１に進む。

ステップＳ５１１において算出部３０４は、位相情報（ｉ，ｊ）の値を更新し、ステップＳ５０３へ戻る。

ステップＳ５１２において算出部３０４は、ウェーブレット変換後の全ての周波数成分に対して処理を行ったかを判定する。もし、未処理の周波数成分があれば、ステップＳ５１３へ進み、そうでなければステップＳ５１４へ進む。

ステップＳ５１３において算出部３０４は、繰り返し回数を表す変数ｍを１つ増やし、ステップＳ５０３へ戻る。

ステップＳ５１４において算出部３０４は、周波数が未設定の位相の周波数を０に設定し、処理を終了する。周波数が未設定ということは凹凸がなく平坦な領域である。本実施例では、このような平坦な領域については周波数を０と設定する。

＜ステップＳ４０４の処理の詳細＞
続いて決定部３０３の動作であるステップＳ４０４について、図７を用いて説明する。本実施例では目標値となるＬ^＊ａ^＊ｂ^＊及び形状特性に対応したＣＭＹＫの有色インクの記録量データ及び凹凸層の形状特性データを予めＬＵＴとして記憶しているものとする。尚、本実施例の画像形成に用いる有色インクは、Ｃ（シアン）インク、Ｍ（マゼンタ）インク、Ｙ（イエロー）インク、Ｋ（ブラック）インクの４色であるが、上記一例に限定されない。Ｃインクと近い色相で、Ｃインクよりも濃度の低いライトシアンインクやＭインクと近い色相で、Ｍインクよりも濃度の低いライトマゼンタインクなどを用いても良い。また、本実施例における凹凸層を形成するための記録材は、紫外線（ＵＶ）が照射されることによって硬化するＵＶ硬化型インクとするが、これに限定されない。例えば、ＵＶ以外の光で硬化するインクであってもよいし、熱で硬化するインクであってもよい。また、白色や透明などの無彩色の樹脂インクを用いて凹凸を形成してもよい。また、削ることで凹凸を形成してもよく、樹脂以外に木材や金属を用いてもよい。

ステップＳ７０１において、決定部３０３は、色データ取得部３０１で取得した色データにおける画素ｎの色情報Ｉｎを取得し、再現対象の色情報であるＬ^＊ａ^＊ｂ^＊値に変換する。本実施例での色データは、再現する被写体の色情報であり、カメラやスキャナなどの撮影デバイスで撮影したＲＧＢ値であるとする。ＲＧＢからＬ^＊ａ^＊ｂ^＊への変換は、例えば撮影デバイスがｓＲＧＢの色に準拠していればｓＲＧＢの変換式を用いることで変換することができる。また、撮影デバイス固有の色変換が必要であれば、予め複数のパッチを撮影し、撮影したＲＧＢと測色したＬ^＊ａ^＊ｂ^＊値の対応をとり、下記の演算によって、Ｌ^＊ａ^＊ｂ^＊に変換すればよい。
Ｉ’＝（（Ｉ＋α）／β）^γ （式４）

式４において、ＩはＲＧＢの画素値を０−１で正規化した値である。また、式４のα、β、γおよび、式５のマトリクス内の係数は撮影デバイス特有の値であり、予め複数のパッチを撮影し、ＲＧＢと測色したＬ^＊ａ^＊ｂ^＊値の対応を取ることで係数を決定することができる。算出したＸＹＺ値からＣＩＥの規定式に基づき、Ｌ^＊ａ^＊ｂ^＊に変換することでＬ^＊ａ^＊ｂ^＊値を得られる。

ステップＳ７０２において、決定部３０３は、算出部３０４で算出した形状特性データの画素ｎにおける振幅Ａｎ及び周波数Ｆｎを取得する。

ステップＳ７０３において、決定部３０３は、再現対象の色情報Ｌ^＊ａ^＊ｂ^＊値と振幅Ａｎ、周波数Ｆｎに基づき、凹凸層の表面形状（振幅Ａｎ’及び周波数Ｆｎ’）と着色層を形成するためのＣＭＹＫインク量の値を算出する。算出には、保持部３０５に保持するＬＵＴ（ルックアップテーブル）を用いる。ここで、保持部３０５に保持するＬＵＴについて図８を用いて説明する。図８は再現対象の形状特性（振幅Ａ_１、周波数Ｆ_１）に対応するＬＵＴであり、他の形状特性におけるＬＵＴも複数保持するものとする。各ＬＵＴには、再現対象となるＬ^＊ａ^＊ｂ^＊値に応じて、凹凸層の表面形状の特性であるＡ’、Ｆ’と各ＣＭＹＫのインク量の対応関係が記載されている。ＬＵＴを用いた変換後のデータの取得方法は、まず、再現対象の表面形状である振幅Ａ_１および周波数特性Ｆ_１に対応したＬＵＴを選択する。次に再現対象のＬ^＊ａ^＊ｂ^＊値であるＬ＝Ｌｎ、ａ＝ａｎ、ｂ＝ｂｎに対応する凹凸層の表面形状特性（振幅Ａｎ’、周波数Ｆｎ’）と有色インク量（ＣＭＹＫ）を取得する。尚、ＬＵＴはこれに限定しない。例えば、凹凸層の表面形状特性の代わりに凹凸層を形成するためのインクの記録量を記述しておいても良い。ＬＵＴの作成方法については後述する。

ステップＳ７０４において、決定部３０３は、全ての画素に対して処理を終了したかどうかを判定する。処理を終了した場合はステップＳ７０６に進む。未処理の場合はステップＳ７０５に進み、ｎの値を更新しステップＳ７０１に戻る。

ステップＳ７０６において、決定部３０３は、振幅Ａｎ’、周波数Ｆｎ’に基づいて、凹凸層を形成するためのＵＶ硬化型インクの記録量データを算出し、有色インク及びＵＶ硬化型インクの記録量データを出力部３０７へ送信する。ＵＶ硬化型インクの記録量データの算出は、まず、形状特性データに対してウェーブレット逆変換により、画素毎の高さ情報を持つ形状データに変換する。そして、高さ情報からＵＶ硬化型インクの記録量データに変換する。ＵＶ硬化型インクの記録量データへの変換は図示しないが、高さとインクの記録量とが対応づけられたＬＵＴにより変換をすればよい。尚、形状特性から高さ情報への変換を行わず、形状特性（例えば、振幅と周波数）とＵＶ硬化型インクの記録量とが対応付けられたＬＵＴを用いて、形状特性を直接ＵＶ硬化型インクの記録量に変換してもよい。

尚、記録量データを用いた公知のハーフトーン処理及びパス分解により、インクのドット配置を表すドット配置データを生成した後に、当該ドット配置データを出力しても良い。尚、本ＬＵＴは凹凸層を形成する材料の種類に応じて持っているものとし、ユーザが凹凸層の材料を切り替える場合は、参照するＬＵＴを切り替えるものとする。

尚、本実施例ではウェーブレット変換を用いて形状特性を変換させたが、周波数分解の手法はこれに限らない。例えば、公知のフーリエ変換を領域ごとに行ってもよいし、ハイパスフィルタやローパスフィルタによって画像データを分離し、その成分を用いても良い。また、形状データに対して、平均高さを基準に凹部と凸部に分解して別々に処理を行っても良い。

また、本実施例では形状特性データとして振幅と周波数とを用いたがこれに限定しない。例えば、単位ピクセル毎の高さの変化率や標準偏差を用いたり、単位ピクセル毎の法線の変化率や標準偏差を用いたりしてもよい。また、ＪＩＳで規定されている表面粗さ（算術平均粗さ、最大高さ、重点平均粗さ）を用いたりしても良い。

また、本実施例においては、形状データを周波数分解することによって形状特性データを算出したが、上記一例には限定されない。例えば、形状特性データを予め外部記憶部３０６などに記憶させておき、記憶された形状特性データを取得することによってその後の処理に用いてもよい。

＜保持部３０５に保持するＬＵＴの作成方法＞
続いて、保持部３０５に保持しているＬＵＴの作成方法について説明する。図９は、保持部３０５に保持しているＬＵＴの作成方法を示すフローチャートである。ＬＵＴを作成するにあたり、予め表面形状特性（振幅、周波数）および有色インク量を変えながら形成した複数種類のパッチを含む印字サンプルに対して、色と形状とについて測定を行う。その測定結果に基づき、インク量（ＣＭＹＫ）及び凹凸層の形状特性（振幅、周波数）について、凹凸層と着色層とを組み合わせたときの色（Ｌ^＊ａ^＊ｂ^＊）及び形状特性（振幅、周波数）の関係性を取得しておく。

まず、ステップＳ１００１において、ＬＵＴの入力値（再現目標の値）である表面形状特性Ａｔ、Ｆｔを設定する。ステップＳ１００２において、ＬＵＴの入力値である色特性Ｌｔ、ａｔ、ｂｔを設定する。ステップＳ１００３において、上述の測定を行った結果を元に目標値（Ａｔ，Ｆｔ，Ｌｔ，ａｔ，ｂｔ）となるインク量ＣＭＹＫと、凹凸層の表面形状Ａ’，Ｆ’を算出する。この処理の詳細については後述する。

ステップＳ１００４において、全ての色についてＬＵＴを作成したかを判定する。未計算のＬ^＊ａ^＊ｂ^＊が存在する場合は、ステップＳ１００６で目標値の色特性を変更しステップＳ１００２に戻り、そうでなければステップＳ１００５に進む。次に、ステップＳ１００５において、全ての形状についてＬＵＴを作成したかを判定する。未計算の振幅および周波数が存在する場合は、ステップＳ１００７で、目標値となる表面形状特性を変更しステップＳ１００１に戻る。

＜ステップＳ１００３の有色インク量及び凹凸層の表面形状データの算出方法＞
ステップＳ１００３を実行するにあたり、予め測定データに基づき、色を評価する関数Ｃｏｌと形状を評価する関数Ｓｈを作成しておく。

＜色評価関数Ｃｏｌ＞
色評価関数Ｃｏｌについて説明する。
［Ｌ^＊ａ^＊ｂ^＊］＝Ｃｏｌ（Ｃ，Ｍ，Ｙ，Ｋ，Ａ’，Ｆ’） （式６）
式６に示す色評価関数Ｃｏｌは、記録量データのＣＭＹＫ、凹凸層の形状特性データの振幅Ａ’，周波数Ｆ’から凹凸層と着色層を組み合わせた場合の色情報（Ｌ^＊ａ^＊ｂ^＊）を計算する関数である。

以下、関数Ｃｏｌについて説明する。予め既知のＣＭＹＫのインク量に対応する測色値（反射率）を表す測色データ（反射率データ）を凹凸層の形状データ（振幅Ａ、周波数Ｆ）毎にＬＵＴとして保持しておく。このＬＵＴを用いて、式７に応じて、各インクの反射率データＲｃ、Ｒｍ，Ｒｙ、Ｒｋを取得する。
Ｒｃ＝ＬＵＴ＿Ｃｏｌ＿ｃ（Ｃ，Ａ’，Ｆ’）
Ｒｍ＝ＬＵＴ＿Ｃｏｌ＿ｍ（Ｍ，Ａ’，Ｆ’）
Ｒｙ＝ＬＵＴ＿Ｃｏｌ＿ｙ（Ｙ，Ａ’，Ｆ’）
Ｒｋ＝ＬＵＴ＿Ｃｏｌ＿ｋ（Ｋ，Ａ’，Ｆ’） （式７）
さらに、式８の３×４のマトリクス演算によりＸＹＺ値に変換する。マトリクス係数は測定データに基づき最適化によって求める。

さらに、算出したＸＹＺ値からＣＩＥの規定式に基づき、Ｌ^＊ａ^＊ｂ^＊に変換する。
尚、色評価関数はこれに限定しない。例えば、マトリクス演算ではなく多項式演算でも構わない。

＜形状評価関数Ｓｈ＞
次に、形状評価関数Ｓｈについて説明する。
［Ａ，Ｆ］＝Ｓｈ（Ｃ，Ｍ，Ｙ，Ｋ，Ａ’，Ｆ’） （式９）
式９に示す形状評価関数Ｓｈは記録量データのＣＭＹＫ，凹凸層の形状特性データのＡ’，Ｆ’から、凹凸層と着色層とを組み合わせた場合の形状特性（Ａ，Ｆ）を算出する関数である。

以下、関数Ｓｈについて説明する。まず、予め既知のＣＭＹＫのインク量に対応する形状特性のデータを凹凸層の形状データ（振幅Ａ、周波数Ｆ）毎にＬＵＴとして保持しておき、式１０に応じて、各インクの形状データに変換する。
［Ａｃ，Ｆｃ］＝ＬＵＴ＿Ｃｏｌ＿ｃ（Ｃ，Ａ’，Ｆ’）
［Ａｍ，Ｆｍ］＝ＬＵＴ＿Ｃｏｌ＿ｍ（Ｍ，Ａ’，Ｆ’）
［Ａｙ，Ｆｙ］＝ＬＵＴ＿Ｃｏｌ＿ｙ（Ｙ，Ａ’，Ｆ’）
［Ａｋ，Ｆｋ］＝ＬＵＴ＿Ｃｏｌ＿ｋ（Ｋ，Ａ’，Ｆ’） （式１０）
次に、式１１を用いて、各インクの形状データを逆フーリエ変換によって高さデータに変換し、加算する。
Ｄｅｐｔｈ＝ＩＦＦＴ（Ａｃ，Ｆｃ）＋ＩＦＦＴ（Ａｍ，Ｆｍ）
＋ＩＦＦＴ（Ａｙ，Ｆｙ）＋ＩＦＦＴ（Ａｋ，Ｆｋ） （式１１）
ここでＤｅｐｔｈは高さを表す。最後に、加算後の高さデータに対してウェーブレット変換を行い、形状特性Ａ，Ｆを得る。

続いて、図１０を用いてステップＳ１００３の動作について説明する。まずステップＳ１１０１では、まず目標となる形状特性Ａｔ，Ｆｔを凹凸層の形状特性の初期値として設定する。次に、ステップＳ１１０２では、色評価関数Ｃｏｌの逆変換を行うことで、目標色Ｌｔ，ａｔ，ｂｔ、目標形状Ａｔ，ＦｔでのＣＭＹＫ値を決定する。次に、ステップＳ１１０３では、形状評価関数Ｓｈにより算出した形状特性Ａ、Ｆの予測値と目標形状の形状特性との差分を算出する。目標形状との差が予め決められた閾値以下であればステップＳ１１０４に進み、そうでなければステップＳ１１０５に進む。尚、形状特性の差分についての閾値は、凹凸を見分ける最小視力としての副尺視力（約１０ｓ）を用いて設定することができる。視距離を３００ｍｍとした場合、式１２により、１４μｍが算出される。このため、画素値と当該画素値に応じて実際に記録媒体上に形成される形状の高さとの対応関係を予め保持しておき、１４μｍに対応する値を閾値とすればよい。本実施例においては、形状特性の差分を算出しているため、高さについての閾値を形状特性の値に上述の方法により変換して用いる。
３００ｍｍ×ｔａｎ（１０ｓ）＝１４μｍ （式１２）
また、通常の視力１．０（６０ｓ）を使用してもよい。この場合は、視距離３００ｍｍとした場合、式１３により、０．１ｍｍが算出されるため、０．１ｍｍに対応する値を閾値とする。
３００ｍｍ×ｔａｎ（６０ｓ）＝０．１ｍｍ （式１３）
このほかには、例えば、ＵＶ硬化型インクの吐出能力に基づいて設定することもできる。例えば、プリンタの最小吐出分解能が１ｍｍの場合、１ｍｍに対応する値を閾値とすればよい。

次に、ステップ１１０４では、色評価関数Ｃｏｌで算出したＬ^＊ａ^＊ｂ^＊値の予測値と目標色との差分（色差ΔＥ）を算出する。色差ΔＥが予め決められた閾値以下であれば終了であり、そうでなければステップＳ１１０５に進む。尚、色差ΔＥについての閾値は日本色彩学会が定める許容色差に基づいて設定する。例えば、隣接比較で色差が感じられるレベルにする場合は、閾値ΔＥを０．８〜１．６に設定する。また、離間比較でほとんど気づかないレベルにするには、閾値ΔＥを１．６〜３．２に設定する。さらに、印象レベルで同じ色として扱えるレベルにするには、閾値ΔＥを３．２〜６．５に設定する。尚、ΔＥはＬ^＊ａ^＊ｂ^＊色空間における２点間の距離である。尚、閾値の設定方法は上記一例に限定されず、公知の許容できる色差等を用いて設定してもよいし、１や２などの低い値に設定してもよい。

次に、ステップＳ１１０５では、全てのＣＭＹＫおよびＡ，Ｆの組み合わせで計算を行ったかどうかを判定する。すでに全組み合わせで計算を行った場合は、解が存在しないため、ＬＵＴの値は空（または０）の値とし、処理を終了する。他に計算の組み合わせが存在する場合は、ステップＳ１１０６で、ＣＭＹＫ，Ａ，Ｆの値を変更し、ステップＳ１１０３に戻る。

以上、本実施例によれば、再現目標となる形状と色とに対応する、プリンタの出力に対応する情報を保持しておくことによって、色の再現と凹凸の再現とを両立することができる。

尚、本実施例では形状評価関数Ｓｈにより算出した形状特性Ａ、Ｆの予測値と目標形状との差分と、色評価関数Ｃｏｌで算出したＬ^＊ａ^＊ｂ^＊値の予測値と目標色との差分と、が所定の閾値以下となるようにＬＵＴを作成したが、これに限定されない。例えば、上述した形状特性の差分と色の差分とが最少となるように最適化を行うことによって、凹凸層の形状特性と有色インクの記録量を決定してもよい。具体的には、形状特性の差分と色の差分との（加重）平均の値が最少となる凹凸層の形状特性と有色インクの記録量とをＬＵＴに格納するようにする。

尚、本実施例では色と形状の２つの評価関数を用いてＬＵＴのデータを作成したが、これに限定しない。たとえば、再現したい色および形状特性（Ａ，Ｆ）に近いデータを複数の測定データから探索し、複数の測定データの各ＣＭＹＫおよび形状特性を補間処理によって算出することも可能である。

尚、ＬＵＴが格納する値は測定データに応じて偏りが生じる場合があるため、補間処理を用いて、格納する値を等間隔にしてもよい。

尚、本実施例では色画像及び形状画像は同一の解像度であるものとして説明を行った。しかしながら、解像度は必ずしも同一である必要はない。その場合、色画像または形状画像に対して公知の解像度変換手法を用いて解像度変換を行い、解像度を合わせる処理を行えばよい。

尚、本実施例では、形状データを基準面における高さの２次元分布をとして扱った。しかしながら、高さの２次元分布に相当するデータであればこれに限らない。例えば、法線ベクトルの２次元分布であってもよい。この場合、積分を行うことにより法線ベクトルを高さデータへ変換すればよい。

尚、本実施例では説明のため振幅のレベルを２として説明を行ったが、振幅のレベルはこれに限定されない。振幅レベルが３以上である場合、ステップＳ５０６での閾値判定を振幅のレベルに対応した閾値を設けてその閾値の数だけ行うことになる。

尚、本実施例では周波数分解の手法としてウェーブレット変換を用いることとして説明をしたが、周波数分解の手法はこれに限らない。例えば、公知のフーリエ変換を領域ごとに行ってもよい。

尚、本実施例のステップＳ７０３においては、再現対象の色情報Ｌ^＊ａ^＊ｂ^＊値と振幅Ａｎ、周波数Ｆｎに基づき、凹凸層の表面形状（振幅Ａｎ’及び周波数Ｆｎ’）と着色層を形成するためのＣＭＹＫインク量の値をＬＵＴを用いて算出した。しかし、上記一例には限定されない。例えば、保持部３０５は、ＬＵＴではなく、上述した色評価関数Ｃｏｌ及び形状評価関数Ｓｈのデータを保持し、ＬＵＴの代わりに用いてもよい。また、ＬＵＴの代わりにパッチの測定データを用いてもよい。この場合上述したように、再現したい色および形状特性（Ａ，Ｆ）に近いデータを複数の測定データから探索し、複数の測定データの各ＣＭＹＫおよび形状特性を補間処理によって算出する。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 色データ取得部
３０２ 形状データ取得部
３０３ 決定部
３０４ 算出部
３０５ 保持部

Claims (19)

1. 記録媒体上に対象物の形状を形成するための第１記録材の第１記録量と、前記記録媒体上に形成された前記形状の上に前記対象物の色を記録するための第２記録材の第２記録量と、を決定するための画像処理装置であって、
   前記対象物の位置ごとの前記色を表す色データを取得する第１取得手段と、
   前記対象物の位置ごとの前記形状の特性を表す形状特性データを取得する第２取得手段と、
   前記記録媒体上に記録された前記第１記録材の上に前記第２記録材を記録することによって形成された複数種類のパッチの色と形状特性とを測定することによって得られた測定結果、又は、前記測定結果に基づいて算出された関数、又は、前記関数に基づいて作成されたテーブルと、前記色データと、前記形状特性データと、に基づいて、前記第１記録量と前記第２記録量とを決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記対象物の位置ごとの前記形状を表す形状データを取得する第３取得手段をさらに有し、
   前記第２取得手段は、前記形状データを解析することによって得られた前記特性を前記形状特性データとして取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２取得手段は、前記形状データに対して周波数分解を行うことによって得られた周波数と振幅とを前記形状特性データとして取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記第３取得手段は、前記対象物の位置ごとの基準面からの高さを表す前記形状データを取得し、
   前記第２取得手段は、前記形状データに基づいて算出された前記高さの変化率又は前記高さの標準偏差を前記形状特性データとして取得することを特徴とする請求項２に記載の画像処理装置。
5. 前記第３取得手段は、前記対象物の位置ごとの法線を表す前記形状データを取得し、
   前記第２取得手段は、前記形状データに基づいて算出された前記法線の変化率又は前記法線の標準偏差を前記形状特性データとして取得することを特徴とする請求項２に記載の画像処理装置。
6. 前記第２取得手段は、前記対象物の位置ごとの表面粗さを表す前記形状特性データを取得することを特徴とする請求項１に記載の画像処理装置。
7. 前記決定手段は、前記色データと前記形状特性データとに基づいて、前記第１記録量に基づいて前記第１記録材によって前記記録媒体上に形成される前記形状の特性と前記形状特性データが表す前記特性との差分と、前記第２記録量に基づいて前記第２記録材によって前記形状の上に記録される色と前記色データが表す色の差分と、が所定の閾値以下となるように、前記第１記録量と前記第２記録量とを決定することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
8. 前記決定手段は、
   前記色データが表す前記色及び前記形状特性データが表す前記特性と、前記第２記録量及び前記第１記録材によって前記記録媒体上に形成された前記形状の特性と、が対応づけられた前記テーブルを用いて、前記第２記録量及び前記第１記録材によって前記記録媒体上に形成された前記形状の特性を取得し、
   取得した前記第２記録量及び前記第１記録材によって前記記録媒体上に形成された前記形状の特性に基づいて、前記第１記録量と前記第２記録量とを決定することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
9. 前記決定手段は、前記色データが表す前記色及び前記形状特性データが表す前記特性と、前記第１記録量及び前記第２記録量と、が対応づけられた前記テーブルを用いて、前記第１記録量と前記第２記録量とを決定することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
10. 前記関数に基づいて、前記テーブルを作成する作成手段を有し、
    前記決定手段は、前記作成手段によって作成された前記テーブルと前記色データと前記形状特性データとに基づいて、前記第１記録量と前記第２記録量とを決定することを特徴とする請求項８又は請求項９に記載の画像処理装置。
11. 前記決定手段は、
    前記色データが表す前記色及び前記形状特性データが表す前記特性から、前記第２記録量及び前記第１記録材によって前記記録媒体上に形成された前記形状の特性を算出するための関数を用いて、前記第２記録量及び前記第１記録材によって前記記録媒体上に形成された前記形状の特性を算出し、
    算出した前記第２記録量及び前記第１記録材によって前記記録媒体上に形成された前記形状の特性に基づいて、前記第１記録量と前記第２記録量とを決定することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
12. 前記測定結果に基づいて、関数を算出する算出手段をさらに有し、
    前記決定手段は、前記算出手段によって算出された前記関数と前記色データと前記形状特性データとに基づいて、前記第１記録量と前記第２記録量とを決定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記決定手段は、
    前記複数種類のパッチを測定することによって得られた測色値と前記記録媒体上の表面形状特性の測定結果とから、前記色データが表す前記色と前記形状特性データが表す前記特性との探索を行い、
    前記探索の結果に基づいて、前記第１記録量と前記第２記録量とを決定することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
14. 前記第１記録量と前記第２記録量とに基づいて、前記形状を前記第１記録材を用いて前記記録媒体上に形成し、前記記録媒体上に形成された前記形状の上に、前記第２記録材を記録する出力手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. 前記第１記録量に基づいて、前記記録媒体上における前記第１記録材のドット配置に対応する第１ドット配置データを生成し、前記第２記録量に基づいて、前記記録媒体上における前記第２記録材のドット配置に対応する第２ドット配置データを生成する生成手段と、
    前記第１ドット配置データと前記第２ドット配置データとに基づいて、前記形状を前記第１記録材を用いて前記記録媒体上に形成し、前記記録媒体上に形成された前記形状の上に、前記第２記録材を記録する出力手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
16. 前記第１記録材は、光又は熱によって硬化する記録材又は、木材又は、金属であって、
    前記第２記録材は、有色記録材であることを特徴とする請求項１乃至請求項１５のいずれか一項に記載の画像処理装置。
17. 前記第１記録材は、紫外線を照射されることによって硬化するインクであって、
    前記第２記録材は、有色インクであることを特徴とする請求項１６に記載の画像処理装置。
18. コンピュータを、請求項１乃至請求項１７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
19. 記録媒体上に対象物の形状を形成するための第１記録材の第１記録量と、前記記録媒体上に形成された前記形状の上に前記対象物の色を記録するための第２記録材の第２記録量と、を決定するための画像処理方法であって、
    前記対象物の位置ごとの前記色を表す色データを取得する第１取得ステップと、
    前記対象物の位置ごとの前記形状の特性を表す形状特性データを取得する第２取得ステップと、
    前記記録媒体上に記録された前記第１記録材の上に前記第２記録材を記録することによって形成された複数種類のパッチの色と形状特性とを測定することによって得られた測定結果、又は、前記測定結果に基づいて算出された関数、又は、前記関数に基づいて作成されたテーブルと、前記色データと、前記形状特性データと、に基づいて、前記第１記録量と前記第２記録量とを決定する決定ステップと、
    を有することを特徴とする画像処理方法。

Images