JP7690336B2

JP7690336B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP7690336B2
Application number: JP2021110121A
Authority: JP
Inventors: 英希久保
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-07-01
Filing date: 2021-07-01
Publication date: 2025-06-10
Anticipated expiration: 2041-07-01
Also published as: JP2023007097A; US20230004768A1; US11675990B2

Description

本発明は、観察条件に応じて異なる明るさとなるインクを用いた画像形成を行うための画像処理技術に関する。

近年、金属粒子を含有し、被記録媒体上に金属光沢を付与することができるメタリックインクまたは光沢インクが、記録装置等を用いた印刷に使用されている。また、メタリックインクまたは光沢インクはカラーインクとも併用され、高品位のカラー印刷に金属光沢を追加させる印刷手法が種々提案されている。

例えば、特許文献１では、メタリックインクを用いる部分と用いない部分との光沢差で印刷物に立体感を付与している。また、メタリックインクを用いてグラデーション印刷をすることにより、印刷物に立体感を与える方法が記載されている。

特開２０１３－１２３８０９号公報

しかしながら、どのようなグラデーション与えるかは、予め決められたパターンから選択するか、またはユーザに設定させるものとしている。このため、画像として再現したいオブジェクトまたは被写体に対して、立体感を付与するためにどのような階調表現が適しているかわからず、好適な立体感を付与できない場合があった。

そこで本発明は、画像として再現したいオブジェクトまたは被写体に対して、好適に立体感を付与することを目的とする。

本発明の一態様に係る画像処理装置は、媒体上に付与された状態に対して所定の角度で光が入射した場合に拡散方向へ反射される光の強度に対する正反射方向への反射される光の強度が異なる第１インクと、前記第１インクと異なり、前記第１インクよりも、媒体上に付与された状態に対して所定の角度で光が入射した場合に拡散方向へ反射される光の強度に対する正反射方向への反射される光の強度の比が小さい第２インクと、を用いて記録媒体上に画像を形成するためのデータを生成する画像処理装置であって、印刷対象となる第一画像データを取得する第一取得手段と、前記第一画像データの被写体と同じ被写体を示し、前記第一画像データとは異なる幾何条件で表される第二画像データを取得する第二取得手段と、前記第一画像データと前記第二画像データとの明るさの差に基づき、画像の各位置の明るさの強度を示す偏角反射特性を決定する第一決定手段と、前記第一決定手段によって決定した前記偏角反射特性を用いて、前記第１インク、および前記第２インク、を含む各インクのインク量を決定する第二決定手段と、を有することを特徴とする。

本発明によれば、画像として再現したいオブジェクトまたは被写体に対して好適に立体感を付与することができる。

画像処理装置のハードウェア構成を示す図である。立体感知覚に関する原理を説明する概念図である。画像処理の効果を示す模式図である。プリント物の偏角反射特性を説明する模式図である。立体感知覚効果を得るためのメカニズムを説明する模式図である。画像処理装置の論理構成を示す図である。画像形成装置の構成図である。画像形成装置の動作説明図である。面積階調法により制御された画像の表現を表す模式図である。インク量を決定するフローチャートである。画像処理装置の論理構成を示す図である。インク量を決定するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜＜実施形態１＞＞
＜画像処理装置１のハードウェア構成＞
図１は、画像処理装置１のハードウェア構成を示す図である。画像処理装置１は、例えばコンピュータである。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、およびＮＩＣ（ネットワークインターフェースカード）１０７を備える。

ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２またはＨＤＤ（ハードディスクドライブ）１１３などに格納された、ＯＳ（オペレーティングシステム）または各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２またはＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスまたはキーボードなどの入力デバイス１１０、または画像形成装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３または各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３または汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）画面をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。

＜立体感知覚の原理＞
本実施形態においては、画像処理が適用されたプリント物が観察条件に応じて異なる明るさ分布を示すことを利用して観察者に立体感を知覚させる。

図２は、立体感知覚に関する原理を説明する概念図である。図２の平面図（ａ）は光源、被写体、およびカメラの関係を表している。ここで、被写体は四角柱であり、被写体の面Ａおよび面Ｂの法線は、光源およびカメラの方向に対して４５°傾いている。このとき面Ａおよび面Ｂの反射率が同じであれば、図２のカメラ画像（ｂ）に示すように、面Ａと面Ｂとの明るさは同じになる。図２の平面図（ｃ）は、平面図（ａ）の位置から光源が矢印の示す方向に移動していることを表す。このとき、カメラで撮った画像は、カメラ画像（ｄ）のようになる。光源は面Ｂに対して正対する方向に近づくため、カメラ画像（ｂ）と比較して面Ｂは明るく、また、面Ａは逆に暗くなる。

従来の二次元のプリントでは、画像のどの位置においても面法線がプリント物の鉛直方向と同一となる。このため、観察の際に光源の位置を変えても面Ａと面Ｂとの明るさが同じように変化してしまい前述したような明るさの変化による立体形状を認識することができない。本実施形態では、光源の位置の違いによる、被写体の法線に応じた明るさの変化を再現することを、プリント物における立体形状を認識するための一つの要素とする。

図３は、画像処理の効果を示す模式図である。本実施形態では、図２に例示したように光源位置など幾何条件の異なる二つのシーンを目標画像として入力する。プリント物は、図３に示すように、ある観察環境では目標画像１を、もう一つの観察環境では目標画像２を再現することで、シーンの幾何条件の変化を模擬し、立体感を付与する。より具体的には、目標画像１では、一般的な画像の観察環境である「主たる光源をプリント物に映り込ませない」観察環境を再現する。また、目標画像２では、意図的に「主たる光源をプリント物に映り込ませた」観察環境を再現させる。

メタリックインクは、プリント物等の媒体上に付与された状態に対して所定の角度で光が入射した場合に、拡散方向へ反射される光の強度に対する正反射方向への反射される光の強度が異なる。即ち、光を反射する方向に指向性が高く、正反射方向により多くの光を反射する。このため、メタリックインクを用いたプリント物の見えは、正反射方向に映し込んだものの明るさの影響を大きく受ける。本実施形態では、メタリックインクの量を変えることでプリント物の各位置での正反射方向の反射光量を制御する。観察者はプリント物を傾けながら光源を映し込んだり、はずしたりして観察することで、プリント物の各位置で異なる明るさの変化を知覚する。これにより、あたかも印刷物中の被写体へのライティングが変化しているかのように知覚することができ、プリント物に立体感を付与することができる。これに対し、ＣＭＹＫなどの色インクは、媒体上に付与された状態に対して所定の角度で光が入射した場合に拡散方向へ反射される光の強度に対する正反射方向への反射される光の強度の比が小さい。下記にて、メタリックインクおよび色インクの特性を、図４を用いて説明していく。

図４は、色インクとメタリックインクとを使ったプリント物における偏角反射特性を示す模式図である。偏角反射特性とは、異なる幾何条件での明るさの差を示す特性である。図４のパターン（ａ）～（ｉ）では、それぞれ異なる量の色インクおよびメタリックインク使った場合の偏角反射特性を示している。パターン（ａ）～（ｉ）は、色インクは矢印が右に行くほど量が増していることを示している。また、メタリックインクは、矢印が下に行くほど量が増していることを示している。破線の矢印はプリント物への入射光を示し、プリント物上の形状は光の入射点からそれぞれの角度に反射する光の強度を示している。左上のパターン（ａ）は、インクをプリントしていない紙白の偏角反射特性を示す。この分布は特定の方向への反射が強いなどの偏りが少なく、どの角度から見ても明るさの変化は少ない。パターン（ｃ）は、色インクのみで印刷した際の偏角反射特性を示す。パターン（ａ）と同様に、角度毎の偏りが少ないが、色インクが光を吸収するため、色インクの量が多くなるにつれて反射量が少なくなる。また、パターン（ｇ）はメタリックインクのみで印刷した際の偏角反射特性を示す。メタリックインクは指向性が高く正反射方向に強い光を反射する。このような特性により、観察角度を正反射光から拡散方向に同じだけ変えたときの明るさの変化は色インクよりもメタリックインクの方が大きい。このため、光源を映し込んで観察すると光源の明るさに応じて明るく見える。しかし、正反射方向以外に拡散する成分が少ないため光源を映し込まないと暗く見える。

色インクもメタリックインクもそれぞれ面積階調によりパターン（ｂ）、および（ｄ）のように中間的な特性を生成することが可能である。また、パターン（ｅ）、（ｆ）、（ｈ）、および（ｉ）のように色インクとメタリックインクとを混色した場合、それぞれの偏角反射特性を掛け合わせた特性を生成することができる。なお、実際には色インクのみのプリントでも他の方向に比べ正反射方向に若干強い反射を示すことが一般的であるが、メタリックインクと比べて反射の量が少ないので、説明を平易にするため省略する。またこうした偏角反射特性の違いは、双方向反射率分布関数（Bidirectional Reflectance Distribution Function）などでモデル化されており、市販されているＢＲＤＦ測定装置で計測することが可能である。

図５は、メタリックインクの偏角反射特性を利用して、プリント物に立体感を持たせるためのメカニズムを説明する模式図である。図５は、二次元プリント物上において、面Ａを表す領域には色インクのみを使って印刷し、面Ｂを表す領域には色インクとメタリックインクとの両方を使って印刷した例を示している。ここで、角度θ１から観察した場合の面Ａおよび面Ｂの明るさはほぼ同じである。一方、角度θ２から観察すると、メタリックインクが使われている面Ｂは、正反射方向に強い反射をするため、面Ａよりも明るく知覚される。このように明るさの変化とメタリックインクの印刷量を対応づけることにより、光源を映し込んだ際の明るさの変化が実シーンの幾何条件の変化を模したものとなり立体感を知覚することができる。

＜画像処理装置１の論理構成＞
図６は、画像処理装置１の論理構成を示す図である。画像処理装置１のＣＰＵ１０１は、第一画像取得部６０１、第二画像取得部６０２、色変換部６０３、偏角反射特性決定部６０４、メタリックインク量決定部６０５、色インク量決定部６０６と、および出力部６０７を有する。

第一画像取得部６０１は、被写体のある幾何条件でのシーンを表す第一画像データを取得する。第二画像取得部６０２は、第二画像データを取得する。第二画像データは、第一画像データと同一の被写体で、且つ第一画像データとは異なる幾何条件でのシーンを表す画像データである。色変換部６０３は、第一画像データおよび第二画像データの色情報を三刺激値ＸＹＺに変換する。偏角反射特性決定部６０４は、第一画像データおよび第二画像データの三刺激値から、二つの画像の明るさの差を決定する。メタリックインク量決定部６０５は、第一画像データおよび第二画像データの明るさの差からメタリックインク量を決定する。色インク量決定部６０６は、第一画像データおよびメタリックインク量に基づき色インク量を決定する。出力部６０７は、決定したメタリックインク量および色インク量を画像形成装置１１１に出力する。

＜画像形成装置１１１の構成＞
図７は、画像形成装置１１１の構成図である。本実施形態における画像形成装置１１１は、例えば、記録媒体上にインクの記録を行うことによって画像を形成するインクジェットプリンタである。

画像形成装置１１１は、ヘッドカートリッジ７０１、キャリッジ７０２、ガイドシャフト７０３、主走査モータ７０４、モータプーリ７０５、従動プーリ７０６、タイミングベルト７０７、記録媒体７０８、および搬送ローラ７０９を有する。また、画像形成装置１１１は、オートシートフィーダ（以下、ＡＳＦと呼ぶ）７１０、給紙モータ７１１ピックアップローラ７１２、ラインフィードモータ（以下、ＬＦモータと呼ぶ）７１３、ペーパエンドセンサ７１４、および制御部７２０を有する。

ヘッドカートリッジ７０１は、複数の吐出口からなる記録ヘッドと、この記録ヘッドにインクを供給するインクタンクとを有する。また、記録ヘッドの各吐出口を駆動する信号などを受信するためのコネクタが設けられている。インクタンクには、色インク（シアン、マゼンタ、イエロー、およびブラック）と、メタリックインクとの計５種類のインクが独立に充填されている。

ヘッドカートリッジ７０１はキャリッジ７０２に交換可能に搭載されており、キャリッジ７０２には、コネクタを介してヘッドカートリッジ７０１に駆動信号等を伝達するためのコネクタホルダが設けられている。キャリッジ７０２は、ガイドシャフト７０３に沿って往復移動可能となっている。具体的には、キャリッジ７０２は、主走査モータ７０４を駆動源としてモータプーリ７０５、従動プーリ７０６、およびタイミングベルト７０７等の駆動機構を介して駆動されるとともに、その位置及び移動が制御される。尚、本実施形態において、このキャリッジ７０２のガイドシャフト７０３に沿った移動を「主走査」と呼び、移動方向を「主走査方向」と呼ぶ。

プリント用紙等の記録媒体７０８は、ＡＳＦ７１０に載置されている。画像形成時、給紙モータ７１１の駆動によってギアを介してピックアップローラ７１２が回転し、ＡＳＦ７１０から記録媒体７０８が一枚ずつ分離され、給紙される。更に、記録媒体７０８は、搬送ローラ７０９の回転によりキャリッジ７０２上のヘッドカートリッジ７０１の吐出口面と対向する記録開始位置に搬送される。搬送ローラ７０９は、ＬＦモータ７１３を駆動源としてギアを介して駆動される。記録媒体７０８が給紙されたか否かの判定および給紙時位置の確定は、記録媒体７０８がペーパエンドセンサ７１４を通過した時点で行われる。キャリッジ７０２に搭載されたヘッドカートリッジ７０１は、吐出口面がキャリッジ７０２から下方へ突出して記録媒体７０８と平行になるように保持されている。制御部７２０は、ＣＰＵまたは記憶手段等から構成されており、上述した各層を形成するためのデータを外部から受け取り、当該データに基づいて画像形成装置１１１の各パーツの動作を制御する。

＜画像形成装置１１１の動作＞
以下、画像形成装置１１１における画像形成動作について説明する。本実施形態における記録媒体７０８には、一般的に用いられるインクジェット用紙を用いる。まず、記録媒体７０８が所定の記録開始位置に搬送されると、キャリッジ７０２がガイドシャフト７０３に沿って記録媒体７０８上を移動し、その移動の際に記録ヘッドの吐出口よりメタリックインクおよび色インクが吐出される。そして、キャリッジ７０２がガイドシャフト７０３の一端まで移動すると、搬送ローラ７０９が所定量だけ記録媒体７０８をキャリッジ７０２の主走査方向と垂直な方向に搬送する。本実施形態において、この記録媒体７０８の搬送を「紙送り」または「副走査」と呼び、この搬送方向を「紙送り方向」または「副走査方向」と呼ぶ。記録媒体７０８の所定量の搬送が終了すると、再度キャリッジ７０２はガイドシャフト７０３に沿って移動する。このように、記録ヘッドのキャリッジ７０２による走査と紙送りとを繰り返すことにより記録媒体７０８上に画像が形成される。

図８は、記録媒体７０８上を記録ヘッドが走査することによって画像を形成する動作を説明する図である。本実施形態では、図８（ａ）および（ｂ）に示すように、キャリッジ７０２による主走査で記録ヘッドの幅Ｌだけ層の形成を行い、１ラインの記録が終了する毎に記録媒体７０８を副走査方向に距離Ｌずつ搬送する。

尚、記録ヘッドの駆動精度に起因する周期ムラ等の画質劣化を抑制するために、いわゆるマルチパス印刷を行う場合がある。図８（ｃ）～（ｅ）に２パス記録の例を示す。この例では、キャリッジ７０２による主走査で記録ヘッドの幅Ｌだけ層の形成を行い、１ラインの記録が終了する毎に記録媒体７０８を副走査方向に距離Ｌ／２ずつ搬送する。領域Ａは記録ヘッドのｍ回目の主走査（図８（ｃ））と、ｍ＋１回目の主走査（図８（ｄ））とにより記録され、領域Ｂは記録ヘッドのｍ＋１回目の主走査（図８（ｄ））と、ｍ＋２回目の主走査（図８（ｅ））とにより記録される。

ここで、２パス記録の動作を説明したが、何回のパス数で記録するかは、所望の精度に応じて変えることができる。例えば、ｎパス記録を行う場合は、１ラインの記録が終了する毎に記録媒体７０８を副走査方向に距離Ｌ／ｎずつ搬送する。尚、記録媒体７０８は紙に限定されず、記録ヘッドによる層の形成に対応できるものであれば、各種の材料が利用可能である。

図９は、面積階調法により制御された画像の表現を表す模式図である。本実施形態における記録ヘッドは、説明を簡易にするため、インク滴を吐出するか否かの二値で制御されるものとする。また、本実施形態では、画像形成装置１１１の出力解像度で定義される画素毎にインクのオン・オフを制御するものとし、単位面積において全画素をオンにした状態をインクの記録量１００％として扱うものとする。尚、「オン」はインクを吐出することを表し、「オフ」はインクを吐出しないことを表す。このような二値プリンタでは、単一の画素では、インクの記録量を１００％または０％でしか表現することができないため、中間調は複数の画素の集合で表現する。

図９に示す例では、図中左下のように２５％の濃度で中間調表現を行う代わりに、右下のように１６画素（４×４画素）中の４画素にインクを吐出することで、面積的に２５％（４／１６）の表現を行っている。他の階調においても同様に表現することが可能である。尚、中間調を表現するための総画素数、またはオンになる画素のパターン等は上記の例に限定されるものではない。網点と呼ばれる周期的なスクリーン処理、または誤差拡散処理を用いてオンになる画素のパターンを決めることができる。尚、上述の二値化処理を変調可能な複数レベルへの多値化処理に拡張することによってインクの吐出量が変調可能な記録ヘッドにも適用可能であり、二値化に限定されるものではない。

＜画像処理装置１が実行するフローチャート＞
前述したように、プリント物において立体感を知覚させる主たる要素として、光源位置またはカメラの姿勢等の幾何条件が変化することで起こる明るさの変化を再現することが挙げられる。以下では、幾何条件の変化を再現するために使用するメタリックインクの適切な使用量を決定する方法を説明する。

図１０は、本実施形態において、画像処理装置１が、記録媒体上に画像を形成するためのデータを、画像形成装置１１１へ出力するまでの流れを示すフローチャートである。尚、図１０の各ステップにおける処理は、画像処理装置１のＣＰＵ１０１が、ＲＯＭ１０２に記憶されているプログラムコードを、ＲＡＭ１０３に展開し実行することにより行われる。また、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。

まず、Ｓ１００１において、第一画像取得部６０１は、ＨＤＤ１１３などの外部装置から、記録媒体上に形成する画像、即ち印刷対象である第一画像データを取得する。画素位置（ｘ，ｙ）の画素値をＲＧＢ₁（ｘ，ｙ）とする。第一画像データは、Ｒ（レッド）値、Ｇ（グリーン）値、およびＢ（ブルー）値の各色１６ビット、計４８ビットの色情報を画素ごとに有する画像である。本実施形態における第一画像データの画素値は、ｓＲＧＢ空間上において定義されるＲＧＢ値である。他にも一般的に使用されているＡｄｏｂｅＲＧＢで定義されるＲＧＢ画像、ＣＩＥＬＡＢに対応したＬａｂ画像、または色相、彩度、明度から成るＨＳＶ画像などが利用できる。尚、画素位置（ｘ，ｙ）は、画素の横方向の座標をｘ、画素の縦方向の座標をｙとした場合の、画像における画素位置を示す。

Ｓ１００２において第二画像取得部６０２は、ＨＤＤ１１３などの外部装置から記録媒体上に形成する画像を表す第二画像データＲＧＢ₂（ｘ，ｙ）を取得する。第二画像データは第一画像データと同様に各色１６ビットの、ｓＲＧＢ空間上において定義されるＲＧＢ値である。第一画像データおよび第二画像データは、前述のとおり同一被写体の異なる幾何条件のシーンを表す画像である。即ち、一方は正反射方向の光を映しこませた条件の画像であり、他方は拡散方向の光を映しこませた画像である。

Ｓ１００３において色変換部６０３は、第一画像取得部６０１が取得した第一画像データ、および第二画像取得部６０２が取得した第二画像データを、それぞれ三刺激値ＸＹＺに変換する。色変換部６０３は、ＲＧＢ値である画素値ＲＧＢ₁（ｘ，ｙ）およびＲＧＢ₂（ｘ，ｙ）を、ＣＩＥ１９１３ＸＹＺ色空間上において定義される三刺激値（ＸＹＺ値）に変換する。具体的には、下記の式（１）および式（２）に基づいて、変換後の画素値ＸＹＺ₁（ｘ，ｙ）およびＸＹＺ₂（ｘ，ｙ）を算出する。
Ｒ_L＝ｄｅｇａｍｍａ（Ｒ）
Ｇ_L＝ｄｅｇａｍｍａ（Ｇ）・・・式（１）
Ｂ_L＝ｄｅｇａｍｍａ（Ｂ）

ここで、Ｒ、Ｇ、Ｂは、それぞれＲＧＢ₁（ｘ，ｙ）およびＲＧＢ₂（ｘ，ｙ）を構成するＲ値、Ｇ値、Ｂ値である。ｓＲＧＢ空間上において定義されるＲＧＢ値には標準ディスプレイの特性に対応するガンマ特性がかかっている。degammaはこのＲＧＢ値を後述のＸＹＺ値と線形なリニアＲＧＢ値Ｒ_L、Ｇ_L、およびＢ_Lに変換する関数である。Ｘ、Ｙ、およびＺはそれぞれＸＹＺ₁（ｘ，ｙ）およびＸＹＺ₂（ｘ，ｙ）を構成するＸ値、Ｙ値、およびＺ値である。Ｍは、ｓＲＧＢ空間上において定義されるリニアＲＧＢ値を、ＣＩＥ１９１３ＸＹＺ色空間上において定義されるＸＹＺ値に変換する変換行列である。

Ｓ１００４において偏角反射特性決定部６０４は、第一画像データおよび第二画像データのそれぞれのＸＹＺ値のうち、明るさを表す値であるＹ値を用いて偏角反射特性を決定する。本実施形態においては、第一画像データから第二画像データに変化する際の明るさの差を算出する。したがって、下記の式（３）のように、第一画像データのＹ値から第二画像データのＹ値の差を求めることで、偏角反射特性ΔＹを算出することができる。
ΔＹ＝Ｙ₁―Ｙ₂・・・式（３）

Ｓ１００５においてメタリックインク量決定部６０５は、Ｙ₁（ｘ，ｙ）、Ｙ₂（ｘ，ｙ）、および式（３）で求めた偏角反射特性ΔＹに基づき、式（４）を用いてメタリックインク量Ｍｅ（ｘ，ｙ）を算出する。

ここで、ΔＹ_maxはΔＹ（ｘ，ｙ）の最大値、ΔＹ_minはΔＹ（ｘ，ｙ）の最小値である。また、式（４）は、一般的な正規化処理でありＭｅの最大値は１となり、最小値は０となる。最大値である１は、図９に示した面積階調において面積率１００％に相当し、また最小値である０は、面積率０％に相当する。つまり、第一画像データから第二画像データに変化する際、座標ごとの明るさに応じてメタリックインクの使用量を増加させる処理となる。即ち、明るくなる座標にメタリックインクを多く打ち、暗くなる座標にはメタリックインクを打たない処理となる。本実施形態では、ΔＹとメタリックインク量Ｍｅとの関係を線形としたが、適当な関数またはルックアップテーブル（ＬＵＴ）処理を用いて、階調特性の調整、またはメタリックインク量Ｍｅの最大値、および最小値の調整を行うことも可能である。

Ｓ１００６において色インク量決定部６０６は、色変換部６０３が決定した第一画像データのＸＹＺ値であるＸＹＺ₁と、メタリックインク量決定部６０５が決定したメタリックインク量Ｍｅとに基づき、色インク量ＣＭＹＫを決定する。ここでは、第一画像を正反射光の影響の少ない観察環境での目標値とし、先に決定されたメタリックインクの拡散色の影響を加味して色インクの量を決定する。まず、下記の式（５）により色インクにおけるＸＹＺ値であるＸＹＺ_colorを算出する。
ＸＹＺ_color＝ＸＹＺ₁／ＸＹＺ_Me・・・式（５）

ここで、ＸＹＺ_Meはメタリックインクの拡散色を表すＸＹＺ値である。ＸＹＺ_Meは、例えば正反射光の影響を除いた０°／４５°の測色計により、予めメタリックインク量Ｍｅと測色値との関係をＬＵＴとして保持しておくことにより決定することができる。また、プリント物のＸＹＺ値がメタリックインクのＸＹＺ値と色インクのＸＹＺ値との掛け合わせで求めることができる発色モデルが成り立つ場合、目標値であるＸＹＺ₁をＸＹＺ_Meで除することで、色インクにおける必要なＸＹＺ値を求めることができる。なお、このステップは、メタリックインクを入れた量により拡散光の明るさが下がってしまうため、色インクの量を調整するために行われる。ＸＹＺ_colorから色インク量ＣＭＹＫを決定するには、予め用意したＬＵＴを用いるなど一般的な方法を用いることができる。なお、決定されたＸＹＺ_colorが再現できない場合にはクリッピングするなどして再現範囲内に収めればよい。また、再現範囲に収めるためにメタリックインクの量を調整する方法も考えられる。

Ｓ１００７において出力部６０７は、メタリックインク量決定部６０５が決定したメタリックインク量Ｍｅ、および色インク量決定部６０６が決定した色インク量ＣＭＹＫを外部の画像形成装置１１１に出力し、処理を終了する。

以上説明したように、本実施形態によれば、画像として再現したいオブジェクトまたは被写体に対して好適に立体感を付与することができる。具体的には、上述のフローに基づき、メタリックインクを用いてプリント物を印刷することで、光源の位置の違いによる、被写体を反射する光の明るさの変化を再現することが可能となる。これにより、主たる光源を映り込ませない観察環境では、従来のプリント物と同じように第一画像データを再現し、意図的に主たる光源を映り込ませた観察環境においては、画像の場所毎に明るさの変化量を制御したプリント物を形成することが可能となる。よって、三次元のオブジェクトの幾何条件による明るさの変化を二次元画像において模擬することが可能となり、画像として再現したいオブジェクトまたは被写体に対して好適な立体感を付与することができる。

なお、式（２）よりＸＹＺ₁およびＸＹＺ₂を算出した段階で、予め用意されたＸ₁、Ｙ₁、Ｚ₁、Ｙ₂と、各インク量Ｃ、Ｍ、Ｙ、Ｋ、Ｍｅとの対応が記載されたＬＵＴを参照することで、各インク量ＣＭＹＫ、およびＭｅを決定してもよい。

＜＜実施形態２＞＞
実施形態１では、画像データを二つ入力し、その明るさの差分からメタリックインクを入れる量を決める例を記載した。本実施形態では、第一画像データから仮想的に幾何条件の異なる第二画像データを生成することによりインク量を決定する例について説明する。

実施形態１と共通する部分については説明を省略ないしは簡略化し、以下では差異を中心に説明するものとする。

＜画像処理装置１の論理構成＞
図１１は、本実施形態における画像処理装置１の論理構成を示す図である。画像処理装置１は、第一画像取得部１１０１、法線情報取得部１１０２、光源設定部１１０３、反射率決定部１１０４、第二画像決定部１１０５、色変換部１１０６、インク量決定部１１０７、および出力部１１０８を有する。

第一画像取得部１１０１は、被写体のある幾何条件でのシーンを表す第一画像データを取得する。法線情報取得部１１０２は第一画像データの被写体に対する法線情報を取得する。法線情報とは、第一画像上の各座標に再現されている三次元被写体の微小面がどの方向を向いているかを表す情報である。光源設定部１１０３は第一画像データおよび後述の第二画像データが表すシーンの光源情報を設定する。光源情報とは、被写体に対して光源がどちらの方向にあるかを表す情報である。反射率決定部１１０４は第一画像データ、法線情報、および光源情報から被写体の反射率を決定する。第二画像決定部１１０５は法線情報、光源情報および被写体の反射率から第二画像データを生成する。色変換部１１０６は、第一画像データおよび第二画像データの色情報を三刺激値ＸＹＺに変換する。インク量決定部１１０７は第一画像データおよび第二画像データの三刺激値から各色のインク量データを決定する。出力部１１０８は決定された各インク量データを画像形成装置１１１に出力する。

＜画像処理装置１が実行するフローチャート＞
図１２は、本実施形態における、画像処理装置１が記録媒体上に画像を形成するためのデータを画像形成装置１１１へ出力するまでの流れを示すフローチャートである。尚、図１２の各ステップにおける処理は、画像処理装置１のＣＰＵ１０１が、ＲＯＭ１０２に記憶されているプログラムコードを、ＲＡＭ１０３に展開し実行することにより行われる。また、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。

まず、Ｓ１２０１において第一画像取得部１１０１は第一画像データＲＧＢ₁（ｘ，ｙ）を取得する。第一画像取得部１１０１は実施形態１における第一画像取得部６０１と同じであるため詳しい説明は省略する。

Ｓ１２０２において法線情報取得部１１０２は、ＨＤＤ１１３などの外部装置から第一画像データに対応する法線ベクトル

を取得する。以下、ベクトルの矢印は省略してｎ（ｘ、ｙ）と表記する（式の表記は除く）。

ここで法線ｎは、第一画像上の各座標ｘ，ｙに再現されている三次元被写体の微小面がどの方向を向いているかを表す三次元のベクトルである。したがって法線情報は、例えばステレオカメラなどを使って第一画像の撮影と同時に得ることが可能である。または、３ＤＣＧモデルからレンダリング後の画像と合わせて法線情報を取得する方法も可能である。

Ｓ１２０３において光源設定部１１０３は、第一画像が表すシーンにおける光源ベクトル

を設定する。以下、ベクトルの矢印は省略してＬ₁と表記する（式の表記は除く）。光源ベクトルＬ₁は被写体に対して光源がどちらの方向からあたっているかを表す三次元のベクトルである。例えば、法線情報と同様に撮影時に魚眼レンズなどを利用し、シーンの全方位の輝度分布を取得しておくことで、主たる光源の方向を得ることが可能である。または、Ｓ１２０２でも言及したように３ＤＣＧモデルから情報を取得することも可能である。また、ユーザが任意の値を与える方法も考えられる。本実施形態においては、異なる幾何条件における明るさ変化を再現し立体感を知覚することができれば、必ずしも正確な情報でなくてもかまわない。例えば、光源方向は、カメラと同じ位置、つまり撮影した二次元画像に対して鉛直方向であるとするなど予め設定しておいてもよい。

Ｓ１２０４において反射率決定部１１０４は、第一画像の被写体の反射率Ｒｅｆ（ｘ，ｙ）を下記の式（６）を用いて算出する。

ここで、Ｉ₁は第一画像の明るさを表し、ＲＧＢ１を式（１）に基づき変換したリニアＲＧＢ値Ｒ_L、Ｇ_L、およびＢ_Lから構成される。反射率Ｒｅｆは、画像の明るさＩ₁のリニアＲＧＢ値Ｒ_L、Ｇ_L、およびＢ_Lの３チャンネルそれぞれに対する反射率Ｒ_RL、Ｒ_GL、およびＲ_BLで構成される。Ｌ₁・ｎは、光源ベクトルＬ₁と法線ベクトルｎとの内積を表す。これは、第一画像の明るさが「光源と法線とがなす角度」と「被写体の反射率」とのいわゆる拡散方向への反射光で決まるモデルを用いて、反射率を逆算することを意味している。

Ｓ１２０５において光源設定部１１０３は、第二画像データの光源ベクトルＬ₂を任意に設定する。前述の光源ベクトルＬ₁と同様に必ずしも正確な情報でなくてもよいため、光源ベクトルＬ₁から所定の角度をずらしたベクトルなどを予め設定しておくことも可能である。

Ｓ１２０６において第二画像決定部１１０５は、第二画像データＩ₂を下記の式（７）を用いて算出する。

ここで、Ｉ₂は第二画像の明るさを表し、リニアＲＧＢ値Ｒ_L、Ｇ_L、およびＢ_Lから構成される。

Ｓ１２０７においてインク量決定部１１０７は、色インク量ＣＭＹＫ、およびメタリックインク量Ｍｅを決定する。具体的にはまず、色変換部１１０６が、第一画像の明るさＩ₁および第二画像の明るさＩ₂を式（２）に基づきそれぞれＸＹＺ₁、ＸＹＺ₂に変換する。本実施形態では、予め用意されたＸ₁、Ｙ₁、Ｚ₁、Ｙ₂と、各インク量Ｃ、Ｍ、Ｙ、Ｋ、Ｍｅとの対応が記載されたＬＵＴを参照することで、各インク量ＣＭＹＫ、およびＭｅを決定する。なお、各インク量は、ＸＹＺ₁、ＸＹＺ₂を用いて実施形態１と同様の方法によって決定してもよい。

Ｓ１２０８において出力部１１０８は各インク量ＣＭＹＫ、およびＭｅを外部の画像形成装置１１１に出力する。

以上説明したように、本実施形態によれば、第一画像データから仮想的に幾何条件の異なる第二画像データを生成することにより、二つの画像データを入力することなく好適な立体感を付与することができる。

＜＜その他の実施形態＞＞
なお、前述の実施形態においては、偏角反射特性に偏りのあるインクとしてメタリックインクを用いた。その他、プリントの表面の平滑性を上げ、正反射光を強くするクリアインク、または屈折率の高い材料を用いて強い正反射光を得る高屈折率インクなど、いわゆる光沢制御インクを用いても同様の効果を得ることが可能である。

また、実施形態１では、色インク量の決定ステップにおいて、色インクによるＸＹＺ値を決定するにあたり、ＸＹＺ値の掛け合わせよる発色モデルを用いて説明した。この他、用いる画像形成装置に適した他の発色モデルや発色シミュレーションなどを使うことが可能である。

また、実施形態２では、反射光を決定するモデルとして光源ベクトル、法線ベクトルおよび反射率の単純なモデルを用いて説明した。他の方法として、コンピュータグラフィックスで用いられる鏡面反射光またはアンビエントと呼ばれる環境光を用いるなど、他のモデルを用いることも可能である。

また、実施形態２のインク量決定のステップにおいて、ＬＵＴへの入力をＸ₁、Ｙ₁、Ｚ₁、およびＹ₂としたが、Ｙ₂に代わってΔＹ、またΔＹを正規化したｎｏｒｍΔＹなどを用いることが可能である。また、明るさの情報の変化でなく、第二画像の色味も考慮してＸ₁、Ｙ₁、Ｚ₁、Ｘ₂、Ｙ₂、およびＺ₂を入力とするＬＵＴを用いる方法も考えられる。また、上記値を色変換したＬａｂ値、ＨＳＶ値、またはＲＧＢ値などを用いることが可能である。

本発明は、上述の実施形態の１以上の機能を動作可能なプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１画像処理装置
１１１画像形成装置
６０１第一画像取得部
６０２第二画像取得部
６０４偏角反射特性決定部
６０５メタリックインク量決定部
６０６色インク量決定部

Claims

記録媒体上に画像を形成するためのデータを生成する画像処理装置であって、
印刷対象となる第一画像データを取得する第一取得手段と、
前記第一画像データの被写体と同じ被写体を示し、前記第一画像データとは異なる幾何条件で表される第二画像データを取得する第二取得手段と、
前記第一画像データと前記第二画像データとの明るさの差に基づき、画像の各位置の明るさの強度を示す偏角反射特性を決定する第一決定手段と、
前記第一決定手段によって決定した前記偏角反射特性を用いて、第１インク、および第２インク、を含む各インクのインク量を決定する第二決定手段と、を有し、
前記画像は、前記記録媒体上に付与された前記第１インク上に所定の角度で光が入射した場合に拡散反射方向へ反射される光の強度と正反射方向へ反射される光の強度とが異なる前記第１インクと、前記第１インクと異なり、前記第１インクよりも、前記記録媒体上に付与された前記第２インク上に所定の角度で光が入射した場合に拡散反射方向へ反射される光の強度に対する正反射方向へ反射される光の強度の比が小さい前記第２インクと、を用いて形成されることを特徴とする画像処理装置。
前記偏角反射特性は、異なる幾何条件で表される少なくとも二つの画像データの明るさの情報を含むことを特徴とする請求項１に記載の画像処理装置。
前記第一決定手段は、前記第一画像データおよび前記第二画像データのうち、一方から正反射方向の明るさの情報を決定し、他方から拡散反射方向の明るさの情報を決定することを特徴とする請求項２に記載の画像処理装置。
前記第二決定手段は、前記偏角反射特性に基づき、前記第１インクのインク量を決定し、前記第一画像データまたは前記第二画像データと、前記決定した第１インクのインク量とに基づいて前記第２インクのインク量を決定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
前記第二取得手段は、前記第一画像データに含まれる明るさの情報と、前記第一画像データに対応する、光源情報および法線情報とから表すことができる反射率を用いて、光源が前記第一画像データの光源位置とは異なる任意の位置に設定された第二画像データを取得することを特徴とする請求項１に記載の画像処理装置。
前記第二決定手段は、前記第一画像データと、前記第二画像データの明るさの情報と、を入力とし、前記各インク量を出力する関数を備えたルックアップテーブルを用いて前記各インクのインク量を決定することを特徴とする請求項１または５に記載の画像処理装置。
前記第１インクは、メタリックインク、光沢制御インク、および高屈折率インクのうち少なくとも一つを含むことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
前記第２インクは、シアンインク、マゼンタインク、イエローインク、ブラックインクを含むカラーインクであることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
記録媒体上に画像を形成するためのデータを生成する画像処理装置の制御方法であって、
印刷対象となる第一画像データを取得する第一取得ステップと、
前記第一画像データの被写体と同じ被写体を示し、前記第一画像データとは異なる幾何条件で表される第二画像データを取得する第二取得ステップと、
前記第一画像データと前記第二画像データとの明るさの差に基づき、画像の各位置の明るさの強度を示す偏角反射特性を決定する第一決定ステップと、
前記第一決定ステップにおいて決定した前記偏角反射特性を用いて、第１インク、および第２インク、を含む各インクのインク量を決定する第二決定ステップと、を有し、
前記画像は、前記記録媒体上に付与された前記第１インク上に所定の角度で光が入射した場合に拡散反射方向へ反射される光の強度と正反射方向へ反射される光の強度とが異なる前記第１インクと、前記第１インクと異なり、前記第１インクよりも、前記記録媒体上に付与された前記第２インク上に所定の角度で光が入射した場合に拡散反射方向へ反射される光の強度に対する正反射方向へ反射される光の強度の比が小さい前記第２インクと、を用いて形成されることを特徴とする画像処理方法。
コンピュータに請求項１乃至８のいずれか一項に記載の画像処理装置における各手段として機能させるためのプログラム。