JP6604744B2 - 画像処理装置、画像処理方法、画像形成システム及びプログラム - Google Patents

Description

本発明は、光学的異方性を有する画像を形成するための画像処理に関する。

近年、印刷画像の反射特性を制御する技術開発が進んでおり、光沢分布を制御して印刷物の意匠性を高める等の動きがある。
観察方向により印刷物の見え方が異なる光沢異方性（光沢の角度依存性）を印刷物で再現する技術として、非特許文献１に記載の技術がある。この技術は、先ず３Ｄプリンタで形状（高さ）を作り、その上にカラープリンタで色をつけることで、異方性のあるＢＲＤＦ（Bidirectional Reflectance Distribution Function：双方向反射率分布関数）を再現する技術である。この非特許文献１では、１画素を複数の微小領域（５×５×２＝５０）に分割し、ＢＲＤＦに基づいて各微小領域の表面形状（高さ情報）と色材情報とをそれぞれ決定している。

Yanxiang Lan, Yue Dong, Fabio Pellacini, Xin Tong、"Bi-Scale Appearance Fabrication"、ACM Transactions on Graphics (TOG) - SIGGRAPH 2013 Conference Proceedings TOG Homepage archive、Volume 32 Issue 4、July 2013

上記非特許文献１に記載の技術にあっては、光沢異方性を再現するために、微小領域毎にＢＲＤＦが所望の特性となるようプリンタの制御パラメータを決定しなければならない。具体的には、プリンタの制御パラメータから印刷物のＢＲＤＦを推定し、所望のＢＲＤＦとの誤差を最小化するよう当該制御パラメータを最適化するという複雑な処理が求められる。このように、イタレーションを伴う最適化により制御パラメータを決定する必要があるため、計算時間の増大を招いてしまう。
そこで、本発明は、計算機リソースの増大を招くことなく簡易に光学的異方性を再現することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、基材上において光学的な異方性を再現するために、前記基材上に画像を形成する際に用いる色材を制御するための色材制御情報と、前記画像の表面形状を表す形状情報と、を決定する画像処理装置であって、前記画像の画素ごとの光学的な異方性に関する異方性情報を取得する取得手段と、前記異方性情報に基づいて、前記画像の画素ごとの前記色材制御情報を決定する第一の決定手段と、前記異方性情報に基づいて、前記画像の画素ごとの前記形状情報を決定する第二の決定手段と、を備え、前記形状情報は、画素に対応する複数の格子点の高さを表す。

本発明によれば、計算機リソースの増大を招くことなく簡易に光学的異方性を再現することができる。

本実施形態の画像処理装置を備える画像処理システムの構成例である。 画像処理装置のハードウェア構成例である。 画像処理システムの動作を示すフローチャートである。 色材制御量及び形状制御量の説明図である。 色材制御量決定処理を示すフローチャートである。 色材ＬＵＴの一例である。 形状制御量決定処理を示すフローチャートである。 形状ＬＵＴの一例である。 ベース形状の一例である。 形状ＬＵＴを説明するための図である。 形状制御量の決定方法の別の例を説明する図である。 形状制御量の決定方法の別の例を説明する図である。 形状制御量決定処理の別の例を示すフローチャートである。 中心角θｘの説明図である。 形状制御量の一例を示す図である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における画像処理装置を備える画像形成システム１００の構成例である。画像形成システム１００は、画像処理装置１０と、画像形成装置２０とを備える。画像処理装置１０は、画像形成装置２０において画像を形成するための画像信号（制御量）を生成する。画像形成装置２０は、画像の表面の色を形成する表面色形成装置２０１と、画像の表面形状を形成する形状形成装置２０２とを備える。画像形成装置２０は、表面色形成装置２０１と形状形成装置２０２とを用いて１枚の画像を形成する。

表面色形成装置２０１は、例えば、シアン、マゼンタ、イエロー等の紫外線（ＵＶ）硬化インクをインクジェット方式により塗布し、紫外光を照射することにより当該インクを硬化させるＵＶプリンタである。また、形状形成装置２０２は、例えば、ＵＶ硬化樹脂をインクジェット方式で塗布し、紫外線を照射することにより当該樹脂を硬化させて３次元形状を形成する３Ｄプリンタである。なお、表面色形成装置２０１や形状形成装置２０２の方式やインクの種別等は、これに限定されるものではない。

画像処理装置１０は、例えば、パーソナルコンピュータ（ＰＣ）により構成されている。画像処理装置１０は、画像情報取得部１０１と、色材制御量決定部１０２と、形状制御量決定部１０３とを備える。画像情報取得部１０１は、画像形成装置２０で形成する画像（形成対象の画像）に関する画像情報を取得する。画像情報取得部１０１は、取得した画像情報を解析し、色材制御量決定部１０２へ画像情報の拡散成分を示す情報（ρ_d）と、スペキュラー強度成分を示す情報（ρ_s）とを出力する。また、画像情報取得部１０１は、取得した画像情報を解析し、形状制御量決定部１０３へ画像情報のスペキュラー拡がり成分を示す情報（α_x，α_y）と、回転角度情報（φ）とを出力する。

色材制御量決定部１０２は、画像情報取得部１０１から入力した情報に基づいて色材制御量（色材値ＲＧＢ）を決定し、これを表面色形成装置２０１に出力する。当該色材制御量は、表面色形成装置２０１において表面色を形成するための色材制御情報である。また、色材制御量決定部１０２は、上記色材制御量をもとに、当該色材制御量に対応するスペキュラー拡がり成分を示す情報（α_x´，α_y´）を決定し、これを形状制御量決定部１０３へ出力する。形状制御量決定部１０３は、画像情報取得部１０１及び色材制御量決定部１０３から入力した情報に基づいて形状制御量（高さ情報Ｈ）を決定し、これを形状形成装置２０２に出力する。当該形状制御量は、形状形成装置２０２において３次元曲面を有する表面形状を形成するための形状情報である。

図２は、画像処理装置１０のハードウェア構成例を示す図である。
画像処理装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、入力部１５と、表示部１６と、通信Ｉ／Ｆ１７と、システムバス１８とを備える。ＣＰＵ１１は、画像処理装置１０における動作を統括的に制御するものであり、システムバス１８を介して、各構成部（１２〜１７）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラム等をＲＡＭ１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ１４は、例えば、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１４には、例えば、ＣＰＵ１１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。入力部１５は、キーボードやマウス等のポインティングデバイスで構成され、画像処理装置１０のユーザは、入力部１５を介して当該画像処理装置１０に指示を与えることができるようになっている。表示部１６は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。通信Ｉ／Ｆ１７は、外部装置（ここでは、画像形成装置２０）と通信するためのインターフェースである。通信Ｉ／Ｆ１７は、例えばＬＡＮインターフェースである。システムバス１８は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４、入力部１５、表示部１６及び通信Ｉ／Ｆ１７を通信可能に接続する。
すなわち、図１に示す画像処理装置１０の各部の機能は、ＣＰＵ１１がＲＯＭ１２等に記憶されたプログラムを実行することで実現される。

次に、画像形成システム１００の動作について、図３を参照しながら具体的に説明する。図３の処理は、例えばユーザが画像形成の指示を行ったタイミングで開始される。但し、図３の処理の開始タイミングは、上記のタイミングに限らない。
先ずＳ１において、画像処理装置１０の画像情報取得部１０１は、画像情報を取得し、これをＲＡＭ１３等に記録する。以下、入力部１０４に入力される画像情報について説明する。画像情報は、例えば２次元の離散的な画像信号であり、画素ごとに異方性を示すＢＲＤＦ（ＳＶＢＲＤＦ：Spatially-Varying BRDF）をモデル化した関数のパラメータを有する。本実施形態では、ＢＲＤＦのモデルとして、次式で示す異方性のパラメトリックモデル（Ｗａｒｄモデル）を用いた例について説明する。なお、ＢＲＤＦのモデルはこれに限定されるものではなく、異方性を表現可能なモデルであれば、どのようなモデルであってもよい。

ここで、Ｌは光源の方向を示す光源ベクトル、Ｖは視線の方向を示す視線ベクトルである。また、θ_lは画素の法線ベクトルと光源ベクトルＬとのなす角、θ_vは画素の法線と視線ベクトルＶとのなす角、θ_hは画素の法線ベクトルと、光源ベクトルＬと視線ベクトルＶとのハーフベクトルとのなす角である。また、φ_hはハーフベクトルと画素の接ベクトル（ｘ軸）とのなす角である。さらに、ρ_dは拡散反射の強さを意味する拡散成分、ρ_sは鏡面反射の強さを意味するスペキュラー強度成分である。また、α_xは鏡面反射の接ベクトル方向の広がりを示すスペキュラー拡がり成分、α_yは鏡面反射の縦法線ベクトル方向の広がりを示すスペキュラー拡がり成分である。スペキュラー拡がり成分を接ベクトル方向（ｘ軸）と縦法線ベクトル方向（ｙ軸）との２次元で表すことにより、光学的な異方性を表現することができる。

各画素は、上記の４つのパラメータ（ρ_d，ρ_s，α_x，α_y）を、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３つの色情報に対してそれぞれ有する。また、接ベクトル（ｘ軸）は画素ごとに方向が異なるよう定義可能であり、各画素の接ベクトルと２次元画像平面の横軸との回転角φを画素ごとに有する。すなわち、各画素において、４パラメータ（ρ_d，ρ_s，α_x，α_y）×３色（Ｒ、Ｇ、Ｂ）＋１（回転角φ）の計１３の情報を有する。そこで、上記画像情報は、これらの情報を浮動小数点の上記１３次元を同時化した２次元画像情報として入力する。ただし、これらの情報の入力の仕方はこれに限るものではない。

次にＳ２では、画像処理装置１０の色材制御量決定部１０２は、Ｓ１において取得した画像情報に基づいて、所定の画素に対応する色材制御量を決定する色材制御量決定処理を実行する。色材制御量決定処理については、後で詳述する。また、Ｓ３では、画像処理装置１０の形状制御量決定部１０３は、Ｓ１において取得した画像情報とＳ２において決定した色材制御量とに基づいて、所定の画素に対応する形状制御量を決定する形状制御量決定処理を実行する。形状制御量決定処理については、後で詳述する。次にＳ４において、全画素について処理したか（色材制御量と形状制御量とを決定したか）を判定する。そして、処理していない画素が存在する場合には未処理の画素を選択してＳ２に戻り、全画素について処理が完了している場合にはＳ５に移行する。

図４（ａ）に示すように、Ｓ１において取得される画像情報の各画素３１は、（ｉ，ｊ）の２次元方向にタイル状に並んでいる。各画素３１は、画素情報として、それぞれ上記の１３次元の情報を有する。色材制御量決定部１０２は、図４（ｂ）に示すように、各画素３１に対応する位置３２に表面色を形成するための色材制御量として、例えば、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各８ビットが同時化された情報を決定する。表面色形成装置２０１は、このＲ，Ｇ、Ｂの色材制御量に対してシアン、マゼンタ、イエロー、ブラック等の色材量を決定し、所定の基材表面に所定のインクを塗布、定着させることで表面色を形成する。なお、本実施形態では、色材制御量としてＲ、Ｇ、Ｂ、を決定する場合について説明するが、これに限るものではなく、例えばＣＭＹＫや特色に対応した色情報を色材制御量としてもよい。

また、形状制御量決定部１０３は、図４（ｃ）に示すように、各画素３１に対応する形状制御量として、６×６の高さ情報を決定する。すなわち、画像情報の縦、横の画素数をそれぞれＮｉ、Ｎｊとすると、形状制御量決定部１０３が決定する形状制御量の格子点数は、縦６×Ｎｉ、横６×Ｎｊとなる。ここで、形状制御量決定部１０３は、形状制御量（高さ情報）として、例えば、格子点３３ごとに８ビットの情報を決定する。形状形成装置２０２は、その形状制御量に基づいて、樹脂等の所定の基材表面に凹凸形状を作成する。なお、本実施形態では、１画素に対して６×６の高さ情報を制御する場合について説明するが、これに限定されるものではなく、その格子点数やビット数を限定するものではない。
このように、各画素の形状と色材とを決定し、これらを制御することでＳＶＢＲＤＦを再現する。本実施形態では、ＳＶＢＲＤＦの１画素を、６×６の格子点の高さ情報（形状情報）と、１画素で均一な（全ポリゴンが同じ）色材値とで再現する。

図３のＳ５では、形状形成装置２０２は、Ｓ３において形状制御量決定部１０３が決定した形状制御量に基づく３次元形状を基材表面に有する画像を樹脂等で形成する。最後にＳ６では、表面色形成装置２０１は、Ｓ５において形状形成装置２０２によって形状された画像に対し、Ｓ２において色材制御量決定部１０２が決定した色材制御量に基づいて色付けする。
図３のＳ２では、図５に示す色材制御量決定処理を実行する。図５の処理は、画像処理装置１０のＣＰＵ１１が、ＲＯＭ１２等に記憶された必要なプログラムを読み出して実行することにより実現される。この色材制御量決定処理では、拡散成分を示すパラメータρ_dと、スペキュラー強度成分を示すρ_sとに基づいて、各画素の色材制御量としてＲＧＢ値（色材値）を決定する。本実施形態では、パラメータρ_d及びρ_sをもとに、色材ルックアップテーブル（色材ＬＵＴ）を参照し、色材制御量を決定する。色材ＬＵＴの一例を図６に示す。

図６に示すように、色材ＬＵＴには、ＢＲＤＦモデルの４つのパラメータρ_d，ρ_s，α_x，α_yが、ＲＧＢ値と対応付けられて記憶されている。図６の色材ＬＵＴにおいて、列４１はＲＧＢ値、列４２〜列４５は上記４つのパラメータの色ごとの値である。なお、この色材ＬＵＴは、列４１の色を有するパッチ画像データを作成し、これを表面色形成装置２０１に入力して形成した画像をゴニオフォトメータ等の所定の測定方法で測定することで作成可能である。
色材制御量決定部１０２は、図６に示すような色材ＬＵＴの全ての行に対し、画像情報取得部１０２が取得したパラメータρ_d及びρ_sと、色材ＬＵＴの列４２のρ_d及びρ_sとを比較する。そして、色材制御量決定部１０２は、最も類似度の高い行における列４１のＲＧＢ値を、色材制御量として決定する。

すなわち、色材制御量決定部１０２は、図５のＳ２１において、先ず外部メモリ１４等に記憶された色材ＬＵＴを読出し、Ｓ２２に移行する。Ｓ２２では、色材制御量決定部１０２は、色材ＬＵＴにおいて選択した所定の行について、上記類似度を算出する。本実施形態では、距離に基づく評価値Ｄを類似度として算出する。評価値Ｄは、次式をもとに算出する。
Ｄ＝ΔＥｄ＋ｋ・ΔＥｓ ………（３）
ここで、ｋは定数である。また、ΔＥｄ及びΔＥｓは、次式により求められる。

ここで、ρ_d＿ｒ，ρ_d＿ｇ，ρ_d＿ｂは、画像情報取得部１０１から入力した拡散成分ρ_dの各色情報（Ｒ、Ｇ、Ｂ）、ρ_s＿ｒ，ρ_s＿ｇ，ρ_s＿ｂは、画像情報取得部１０１から入力したスペキュラー強度成分ρ_sの各色情報（Ｒ、Ｇ、Ｂ）である。さらに、ρ_dLUT＿ｒ［ｍ］，ρ_dLUT＿ｇ［ｍ］，ρ_dLUT＿ｂ［ｍ］は、色材ＬＵＴのｍ行目における列４２のｒ，ｇ，ｂの値、ρ_sLUT＿ｒ［ｍ］，ρ_sLUT＿ｇ［ｍ］，ρ_sLUT＿ｂ［ｍ］は、色材ＬＵＴのｍ行目における列４３のｒ，ｇ，ｂの値である。

次にＳ２３では、色材制御量決定部１０２は、Ｓ２２において算出した評価値Ｄが、これまでに算出した評価値Ｄの中で最小であるか否かを判定する。そして、最小である場合にはＳ２４に移行して選択中の色材ＬＵＴの行における列４１のＲＧＢ値、列４４のパラメータα_x、及び列４５のパラメータα_yを記憶し、Ｓ２５に移行する。一方、Ｓ２３において評価値Ｄが最小ではないと判定した場合には、そのままＳ２５に移行する。Ｓ２５では、色材制御量決定部１０２は、評価値Ｄの算出及び判定処理を色材ＬＵＴの全点（全行）について行ったか否かを判定する。そして、評価値Ｄの算出及び判定処理を行っていない行がある場合にはＳ２２に戻り、色材ＬＵＴの全行について処理を行った場合には図３のＳ３に移行する。

このように、色材ＬＵＴを用い、評価値Ｄが最小となるＲＧＢ値を当該画素における色材制御量として決定する。また、このとき、決定した色材制御量に対応するスペキュラー拡がり成分α_x及びα_yも同時に記憶し、これらの値は、スペキュラー拡がり成分α_x´及びα_y´として形状制御量決定部１０３が参照できるようにする。ここで、スペキュラー拡がり成分α_x´及びα_y´は、決定した色材制御量に基づいて表面色形成装置２０１において表面色を形成したときのスペキュラー拡がり成分に相当する。なお、色材制御量の決定方法は、上記の方法に限定されるものではなく、既知の様々なカラーマッチングアルゴリズムを応用することが可能である。

図３のＳ３では、図７に示す形状制御量決定処理を実行する。図７の処理は、画像処理装置１０のＣＰＵ１１が、ＲＯＭ１２等に記憶された必要なプログラムを読み出して実行することにより実現される。この形状制御量決定処理では、スペキュラー拡がり成分α_x及びα_yと、回転角φと、スペキュラー拡がり成分α_x´及びα_y´とに基づいて、各画素の形状制御量として６×６の高さ情報を決定する。
先ず図７のＳ３１において、形状制御量決定部１０３は、輝度に対するスペキュラー拡がり成分を算出する。具体的には、パラメータα_x，α_y，α_x´，α_y´において、例えばＲ，Ｇ，Ｂの３色のカラー情報の加重平均をとるなどの方法を用いる。なお、形状制御量決定処理における以降の説明では、この加重平均された値をそれぞれパラメータα_x，α_y，α_x´，α_y´と表記する。

次にＳ３２では、形状制御量決定部１０３は、ｘ方向とｙ方向のそれぞれについて、スペキュラー拡がり成分の比率ＸｒａｔｉｏとＹｒａｔｉｏを算出する。
Ｘｒａｔｉｏ＝α_x／α_x´ ………（６）
Ｙｒａｔｉｏ＝α_y／α_y´ ………（７）
本実施形態では、比率Ｘｒａｔｉｏ及びＹｒａｔｉｏをもとに、形状ルックアップテーブル（形状ＬＵＴ）を参照し、形状制御量を決定する。
すなわち、Ｓ３３では、形状制御量決定部１０３は、外部メモリ１４等に記憶された形状ＬＵＴを読出し、Ｓ３４に移行する。Ｓ３４では、形状制御量決定部１０３は、比率Ｘｒａｔｉｏ及びＹｒａｔｉｏをもとに、形状ＬＵＴを参照し、形状制御量のベース形状を決定する。形状ＬＵＴの一例を図８に示す。

図８に示すように、形状ＬＵＴには、ベース形状情報が比率Ｘｒａｔｉｏ及びＹｒａｔｉｏと対応付けられて記憶されている。図８の形状ＬＵＴにおいて、列５１は比率Ｘｒａｔｉｏ及びＹｒａｔｉｏ、列５２はベース形状情報である。本実施形態では、１画素に対し、形状制御量として６×６の高さ情報を算出する。そのため、形状ＬＵＴには、６×６の以上の大きさの格子点について高さ情報ｈ（ｐ，ｑ）を記録したベース形状情報を複数設定しておく。図９（ａ）は、ベース形状情報の格子点の一例を示す図、図９（ｂ）は、ベース形状情報の３次元形状の一例を示す図である。このように、例えば、ｘ方向、ｙ方向に各１２点、計１２×１２＝１１４点の格子点を設定し、各格子点について高さ情報を設定しておく。
このように、出力する高さ情報である６×６よりも大きいサイズの格子点で高さ情報を設定することで、後述する回転処理（図７のＳ３６）を施しても６×６の出力サイズ範囲で高さ情報を算出することができる。なお、この格子点のサイズは、出力するサイズの１辺の格子点の√２倍以上のサイズであることが好ましい。

また、後述する回転処理があるため、形状ＬＵＴは、図１０に示すように上三角行列に対応するベース形状情報を保持すればよい。ここで、図１０に示すように、比率Ｘｒａｔｉｏ又はＹｒａｔｉｏが大きくなるほど形状の凹凸が大きくなるように設定することで、比率Ｘｒａｔｉｏ又はＹｒａｔｉｏが大きくなるほどスペキュラーの拡がりを大きく再現することができる。さらに、比率ＸｒａｔｉｏとＹｒａｔｉｏとが等しい対角線上は、スペキュラーの拡がりを等方的にするために、ｘ方向とｙ方向で同じ形状となるように設定することが好ましい。また、比率ＸｒａｔｉｏとＹｒａｔｉｏとの差が大きいほど、異方性を強く再現するために、ｘ方向とｙ方向とで形状が異なるよう設定することが好ましい。

このように図７のＳ３４でベース形状を決定したら、次にＳ３５において、形状制御量決定部１０３は、表面形状の法線の変化率を制限するための形状補正処理を実施する。形状情報の法線の変化に対し、色材のスペキュラー拡がり成分α_x´やα_y´が小さい場合、凹凸の法線方向に応じて複数の方向に正反射光が分離してしまう。そこで、このＳ３５では、色材のスペキュラー拡がり成分α_x´及びα_y´に応じて凹凸の法線の変化率を制限するようベース形状を補正する。

具体的には、ｘ方向に高さ情報の変化（微分値）を算出し、その値が、スペキュラー拡がり成分α_x´に応じて予め設定された閾値より大きい場合、高さ情報に１未満の値を乗算することで高さを低くする処理を繰返し行う。次に、ｙ方向についても同様に、ｙ方向に高さ情報の変化率（微分値）を算出し、その値がスペキュラー拡がり成分α_y´に応じて予め設定された閾値より大きい場合、高さ情報に１未満の値を乗算することで高さを低くする処理を繰返し行う。

最後に、Ｓ３６では、形状制御量決定部１０３は、Ｓ３５において補正されたベース形状を回転角φだけ回転させ、最終的に出力する６×６サイズの高さ情報を算出する。このＳ３６では、形状制御量決定部１０３は、先ずＳ３５において補正されたベース形状である１２×１２の高さ情報を、その中心座標（図９（ａ）では（ｘ，ｙ）＝（５．５，５．５））を中心にｘ、ｙを回転角φだけ回転させたｘ´、ｙ´座標を求める。つぎに、出力する６×６の高さ情報に相当するｘ、ｙ座標の高さｈをｘ´、ｙ´、ｈの空間から補間処理等にて算出する。図７（ａ）においては、中心座標を中心とする６×６の格子点（ｘ座標３〜８、ｙ座標３〜８）に対する高さをｘ´、ｙ´、ｈ空間から算出し、その高さ情報を当該画素の形状情報とする。

以上のように、画像処理装置１０は、形成対象の画像に関する画像情報として、画素ごとにＢＲＤＦに関する情報を取得する。そして、画像処理装置１０は、取得した画像情報に基づいて、表面色形成装置２０１において形成対象の画像の各画素の色を形成するための色材制御量（色材制御情報）を決定する。また、画像処理装置１０は、決定した色材制御量と、取得した画像情報におけるスペキュラー拡がり成分とに基づいて、形状形成装置２０２において形成対象の画像の各画素の形状を形成するための形状制御量（形状情報）を決定する。このように、本実施形態では、目的となるスペキュラー拡がり成分と、画素ごとの色材制御量とに基づいて、表面形状を形成するための形状制御量を一意に決定することができる。

また、画像処理装置１０は、１画素ごとに色材制御量を決定する。すなわち、１画素中の全ポリゴンにおいて色材値は同値とする。このように、ポリゴンごとではなく、１画素で均一な色材制御量を決定するので、色材制御量及び形状制御量の決定に必要な計算量を大幅に削減することができる。
また、形状制御量の決定に際し、画像処理装置１０は、入力した画像情報におけるスペキュラー拡がり成分（α_x，α_y）と、色材制御量に基づいて表面色形成装置２０１において色を形成したときのスペキュラー拡がり成分（α_x´，α_y´）とを用いる。具体的には、画像処理装置１０は、入力した画像情報におけるスペキュラー拡がり成分と、色材制御量に基づいて表面色形成装置２０１において色を形成したときのスペキュラー拡がり成分との比率に基づいて、形状制御量を決定する。したがって、表面色形成装置２０１によって表面に色材の層が作られることによるスペキュラー拡がりを考慮して、目的となるスペキュラーの拡がりを再現可能な形状制御量を決定することができる。

さらに、画像処理装置１０は、上記スペキュラー拡がり成分の比率と形状制御量との対応を示すルックアップテーブル（形状ＬＵＴ）を参照し、当該比率に基づいて形状制御量を決定する。このように、形状ＬＵＴを用いることで、簡易に入力情報の光学的異方性を再現するための形状制御量を決定することが可能となる。
このとき、画像処理装置１０は、色材制御量に基づいて表面色形成装置２０１において色を形成したときのスペキュラー拡がり成分に対する、入力した画像情報におけるスペキュラー拡がり成分の比率（α_x／α_x´，α_y／α_y´）を導出する。そして、画像処理装置１０は、当該比率が大きいほど、スペキュラー拡がりが大きくなるように形状制御量を決定する。したがって、適切に入力情報の光学的異方性を再現するための形状制御量を決定することが可能となる。

また、画像処理装置１０は、色材制御量と、当該色材制御量に基づいて表面色形成装置２０１において色を形成したときのスペキュラー拡がり成分（α_x´，α_y´）との対応を示すルックアップテーブル（色材ＬＵＴ）を予め保持する。そして、画像処理装置１０は、色材ＬＵＴを参照し、色材制御量に基づいてスペキュラー拡がり成分（α_x´，α_y´）を導出する。したがって、簡易にスペキュラー拡がり成分（α_x´，α_y´）を導出することができる。
ここで、スペキュラー拡がり成分を示す情報は、接ベクトル方向（ｘ軸）と縦法線ベクトル方向（ｙ軸）との２次元で表す。したがって、スペキュラー拡がりの異方性を適切に表現することができる。また、入力する画像情報は、複数の色（ＲＧＢ）ごとのＢＲＤＦに関する情報とするので、適切に形成対象の画像を形成することができる。

また、画像処理装置１０は、色材制御量に基づいて、形状形成装置２０２において形成される形状の法線の変化率を制限するための形状補正処理を形状制御量に対して施す。具体的には、画像処理装置１０は、色材制御量に基づいて表面色形成装置２０１において色を形成したときのスペキュラー拡がり成分（α_x´，α_y´）に応じて決定される閾値を用い、閾値処理により形状制御量を補正する。これにより、形状の法線の変化に対し、色材のスペキュラー拡がり成分（α_x´，α_y´）が小さくなることに起因する正反射光の分離を抑制することができる。
さらに、画像処理装置１０は、入力した画像情報におけるＢＲＤＦの拡散成分（ρ_d）とスペキュラー強度成分（ρ_s）とに基づいて、色材制御量を決定する。したがって、目的とする拡散反射の強さや鏡面反射の強さを適切に再現することができる。また、画像処理装置１０は、色材制御量の決定に際し、拡散成分（ρ_d）とスペキュラー強度成分（ρ_s）と色材制御量との対応を示すルックアップテーブル（色材ＬＵＴ）を用いる。したがって、簡易に色材制御量を決定することができる。
以上のように、本実施形態では、複雑な演算を行うことなく、適切に光学的異方性を有する画像を形成することができる。

（変形例１）
上記実施形態においては、図９（ａ）に示したように、ベース形状の格子点を正方格子として説明したが、これに限定されるものではない。例えば、図１１（ａ）に示すように、中心座標を中心に同心円状に格子点を配置させることも可能である。同心円状の格子点を用いてベース形状を決定することで、図１１（ｂ）に示すように、半球状の形状をより精度良く形成することが可能となる。この場合、ＢＲＤＦを再現する領域の単位である１画素の形を図１１（ａ）の符号６１に示すように正六角形としてもよい。この場合、正六角形の形状をもつ画素６１を、図１１（ｃ）に示すようにハニカム構造を有するよう並べることができる。これにより、正六角形のハニカム構造を構成する領域ごとにスペキュラー拡がり成分が変化するように設定することができる。したがって、ＢＲＤＦを再現する画素の密度が方向によって変化しないようにすることができる。
ＢＲＤＦを再現する画素の密度が方向によって変わってしまうと、観察距離を離して観察した場合など、複数の画素をまとめてみたときのマクロなＢＲＤＦに意図しない光沢異方性が出てしまうおそれがある。上記のように、方向によって密度が一定となるよう画素を配置することにより、そのような弊害が生じない高画質な画像を獲得できる。

（変形例２）
上記実施形態においては、表面色形成装置２０１によって表面に色材の層が作られることによる形状情報の変化を考慮して、形状制御量を決定するようにしてもよい。図１２（ａ）は、平滑な面に表面色形成装置２０１にて色材を塗布した後の形状を示している。図１２（ｂ）に示す形状情報を形状形成装置２０２によって形成した後、表面色形成装置２０１によって色の層を形成すると、図１２（ａ）と図１２（ｂ）との形状が合わさった図１２（ｃ）のような形状となる。
そこで、先ず色材制御量に基づいて、ルックアップテーブルや表面色形成装置２０１のハーフトーン処理情報等を用いて図１２（ａ）に該当する色の層の形状情報を算出する。次に、意図する図１２（ｃ）の形状情報から、上記の算出した色の層の形状情報を差し引く。これにより、図１２（ｂ）に該当する形状制御量を決定することができる。このようにすることで、最終的に意図する形状を有する画像を適切に形成することが可能となる。

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上記第一の実施形態においては、形状ＬＵＴを用いて形状制御量を決定する場合について説明した。これに対して、第二の実施形態では、形状ＬＵＴを用いずに形状制御量を決定する。図１３は、形状ＬＵＴを用いずに形状制御量を決定する形状制御量決定処理を示すフローチャートである。この図１３の処理は、図７におけるＳ３３及びＳ３４が、Ｓ３１１及びＳ３１２に置換されていることを除いては、図７の処理と同様である。したがって、以下、処理の異なる部分を中心に説明する。
Ｓ３１１では、形状制御量決定部１０３は、ｘ方向の中心角θｘと、ｙ方向の中心角θｙとをそれぞれ算出する。本実施形態では、スペキュラーの拡がりを、形状情報の微平面の法線の分布を制御することで再現する。具体的には、当該法線が分布する範囲が許容分布範囲内となるように形状制御量を決定する。中心角θｘ及びθｙは、許容分布範囲を決定するための円弧の中心角である。

図１４は、ｘ方向の中心角θｘを説明する図である。ｘ軸上の各格子点における高さ情報ｈは、円７１における円弧７２上に形成される。この円弧７２は、中心角θｘと格子点の範囲（図１１ではｘ＝０〜１１の範囲）が決定すれば描くことができる。すなわち、中心角θｘにより円弧７２を変化させることができる。換言すると、中心角θｘ及びθｙによって形状情報の法線の分布範囲を制御することができる。
図１３のＳ３１１では、形状制御量決定部１０３は、Ｓ３２において算出した比率Ｘｒａｔｉｏから中心角θｘを、比率Ｙｒａｔｉｏから中心角θｙをそれぞれ算出する。中心角θｘ及びθｙの算出には、例えば予め設定した関数や１次元ルックアップテーブル等を用いる。
次にＳ３１２では、形状制御量決定部１０３は、中心角θｘ及びθｙに応じた各格子点の高さ情報ｈ（ｘ，ｙ）を算出する。高さ情報ｈ（ｘ，ｙ）は、次式により算出することができる。

上記において、ｈ（ｘ，ｙ）＜０のときは、ｈ（ｘ，ｙ）＝０とする。
ここで、（ｃ_x，ｃ_y）は格子点の中心座標であり、図１３に示す例では（ｃ_x，ｃ_y）＝（５．５，５．５）となる。また、ｄ_x，ｄ_yは、円弧範囲を決定する定数であり、中心からの距離で与えられる。例えば、１画素の高さ情報を最終的に６×６のサイズで表す場合、ｄ_x，ｄ_yはそれぞれ６の半分の３に設定することができる。ただし、ｄ_x，ｄ_yの設定方法はこれに限るものではない。図１４は、上記の方法により形成される高さ情報の例である。この図１４では、ｄ_xを約２．５、ｄ_yを約５、θ_xを約１７９°、θ_yを約１２０°に設定したときの高さ情報を示している。
このように、形状ルックアップテーブルを用いない方法によれば、必要なメモリ容量が削減されるため、より低コストで光学的異方性のあるコンテンツを出力することが可能となる。

（その他の変形例）
上記実施形態では、図７や図１３のＳ３６において、回転角φに基づいてベース形状情報を回転させる回転処理を実施したが、これに限るものではない。すなわち、回転を無視できる場合、当該回転処理は省略可能である。
また、上記実施形態においては、画素ごとの法線ベクトルを入力するパラメータとして追加し、算出した形状情報に対して、法線ベクトルの向きが入力されたものと一致するよう形状を変形させる変形処理を実施するようにしてもよい。これにより、法線ベクトルが画素ごとに異なる画像であっても精度良く再現することが可能となる。
さらに、上記実施形態においては、スペキュラー拡がり成分として２次元のα_x，α_yを入力する場合について説明したが、異方性の再現が必要でない場合は、１次元のスペキュラー拡がり成分を入力するようにしてもよい。この場合、形状ルックアップテーブルは、α_x＝α_yとなる場所（図１０の対角要素）を参照するようにすればよい。
また、各画素の色情報、例えばＲＧＢ値などを、双方向反射率分布関数とは別に取得してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…画像処理装置、２０…画像形成装置、１００…画像形成システム、１０１…画像情報取得部、１０２…色材制御量決定部、１０３…形状制御量決定部、２０１…表面色形成装置、２０２…形状形成装置

Claims (16)

1. 基材上において光学的な異方性を再現するために、前記基材上に画像を形成する際に用いる色材を制御するための色材制御情報と、前記画像の表面形状を表す形状情報と、を決定する画像処理装置であって、
   前記画像の画素ごとの光学的な異方性に関する異方性情報を取得する取得手段と、
   前記異方性情報に基づいて、前記画像の画素ごとの前記色材制御情報を決定する第一の決定手段と、
   前記異方性情報に基づいて、前記画像の画素ごとの前記形状情報を決定する第二の決定手段と、を備え、
   前記形状情報は、画素に対応する複数の格子点の高さを表すことを特徴とする画像処理装置。
2. 前記異方性情報は、スペキュラー拡がり成分を示す第一の情報を含み、
   前記第二の決定手段は、
   前記色材制御情報に基づいて色材を記録した場合のスペキュラー拡がり成分を示す第二の情報を導出し、
   前記第一の情報と前記第二の情報とに基づいて、前記形状情報を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の情報と前記第二の情報との比率と、前記形状情報との対応を示すルックアップテーブルを保持する第一の保持手段をさらに備え、
   前記第二の決定手段は、
   前記比率に基づいて前記第一の保持手段が保持するルックアップテーブルを参照し、前記形状情報を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第二の決定手段は、
   前記第一の情報と前記第二の情報との比率に基づいて前記表面形状の法線の許容分布範囲を設定し、前記表面形状の法線が分布する範囲が前記許容分布範囲内となるように前記形状情報を決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記第二の決定手段は、前記第二の情報に対する前記第一の情報の比率が大きいほど、スペキュラー拡がりが大きくなるように前記形状情報を決定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記色材制御情報と、前記色材制御情報に基づいて前記色材を記録した場合の前記スペキュラー拡がり成分との対応を示すルックアップテーブルを保持する第二の保持手段をさらに備え、
   前記第二の決定手段は、
   前記色材制御情報に基づいて前記第二の保持手段が保持するルックアップテーブルを参照し、前記第二の情報を導出することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記第一の情報及び前記第二の情報は、スペキュラー拡がりの異方性を示す２次元の情報であることを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記異方性情報は、双方向反射率分布関数のパラメータを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第一の決定手段は、
   前記画像の各画素の双方向反射率分布関数における拡散成分とスペキュラー強度成分とに基づいて、前記色材制御情報を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記拡散成分と前記スペキュラー強度成分と前記色材制御情報との対応を示すルックアップテーブルを保持する第三の保持手段をさらに備え、
    前記第一の決定手段は、
    前記拡散成分と前記スペキュラー強度成分とに基づいて、前記第三の保持手段が保持するルックアップテーブルを参照し、前記色材制御情報を決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記第二の決定手段は、
    前記色材制御情報に基づいて、前記表面形状の法線の変化率を制限することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記第二の決定手段は、
    ハニカム構造を構成する正六角形の領域ごとに前記形状情報を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記光学的な異方性は、観察角度に応じて反射強度が変化する特性であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記色材制御情報と前記形状情報とに基づいて、前記基材上に前記画像を形成する形成手段をさらに備えることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 基材上において光学的な異方性を再現するために、前記基材上に画像を形成する際に用いる色材を制御するための色材制御情報と、前記画像の表面形状を表す形状情報と、を決定する画像処理方法であって、
    前記画像の画素ごとの光学的な異方性に関する異方性情報を取得するステップと、
    前記異方性情報に基づいて、前記画像の画素ごとの前記色材制御情報を決定するステップと、
    前記異方性情報に基づいて、前記画像の画素ごとの前記形状情報を決定するステップと、を含み、
    前記形状情報は、画素に対応する複数の格子点の高さを表すことを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images