JP4677323B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、デジタル画像を、コンピュータやデジタルカメラ等でレタッチする際、ユーザが選択、変更した色情報を視覚的に理解しやすい表示を行う画像処理装置及び画像処理方法に関するものである。

デジタルカメラの普及が著しい昨今、家庭や業務においてデジタル画像を扱う機会が増えている。それに伴い、デジタル画像を好みの色あいに変更するといった、画像の加工を目的とするアプリケーションソフトウェアに対する機能向上が求められている。開発者はユーザの要望に応えるべく、現在、様々な機能を付加したソフトウェアを種々開発している。

このようなソフトウェアにおいて、デジタル画像の色を変更するための一般的なユーザインタフェースとしては、変更項目を色相、彩度、明度の３つの要素に分け、それぞれの要素を変更可能としたＧＵＩ(Graphical User Interface)が知られている（例えば、特許文献１を参照）。

そして、ユーザは、各要素の値を、例えば、左右への移動が可能なスライダーバーを動作させたり、色相、彩度、明度の数値を入力したりすることによって変更する。また、色の変更度合いを確認するには、変更を直ちに適用したデジタル画像を表示したり、色変更前、色変更後のデジタル画像を並べて画面表示したり、ユーザが選択した色を、専用の色パレット上で好みの色に変更させるといった手法が用いられている。

特開平８−１８６７２７号公報

しかしながら、従来のユーザインタフェースは、色相、彩度、明度の３要素をそれぞれ独立して変更する構成となっており、例えば色の変更を行う場合、３要素それぞれに備え付けられたスライダーバーを動作させる必要がある。そのため、三要素の関係性や変更可能な色の範囲についての情報をユーザは認識し難く、所望の色を見つけるのに時間を要する。また、変更前の色と変更後の色が、色空間の中でどのような関係になるのか視覚的に把握し難い。従来、色度図上に、変更前の色と変更後の色の一方を表示させるものはあるが、変更前の色と変更後の色を同時に表示させるものは存在しない。

本発明はこのような従来技術の問題点に鑑みなされたものであり、ユーザが選択、変更した色情報を視覚的に理解しやすい表示を行う画像処理装置及び画像処理方法を提供することを目的とする。

前記の課題を解決するために、本願発明の画像処理装置は、デジタル画像を表示する画像表示手段と、色相、彩度を示す色相・彩度平面図と、明度を表す明度平面図とからなる色度図を表示する色度図表示手段と、画像表示手段によって表示されたデジタル画像または色度図表示手段により表示された色度図で指定された色を選択する選択手段と、選択手段によって選択された色の色相及び彩度に対応する色オブジェクトを色相・彩度平面図上の対応する位置に、選択された色の明度に対応する色オブジェクトを明度平面図上の対応する位置に、それぞれ表示する色オブジェクト表示手段と、ユーザ操作に応答して、色オブジェクト表示手段により表示された色オブジェクトを、色度図上で移動させる、色オブジェクト移動手段であって、色相・彩度平面図上の色オブジェクトを移動させるユーザ操作がなされた場合は、当該操作に応じて色相・彩度平面図上の色オブジェクトを移動させると共に、色相・彩度平面図上の色オブジェクトの移動に応じて、明度平面図上の色オブジェクトを移動させる色オブジェクト移動手段とを有し、色オブジェクト表示手段は、色オブジェクト移動手段により移動された色オブジェクトについて、移動後の色オブジェクトと移動前の色オブジェクトとを、色度図表示手段において表示された色度図上に表示することを特徴とする。

さらに、本願発明によれば、上記画像処理装置に対応した画像処理方法が提供される。

このような構成により、本発明によれば、ユーザが選択、変更した色情報を視覚的に理解しやすい表示を行うことが可能となる。

以下、図面を参照して本発明の実施形態を詳細に説明する。
（第１の実施形態）
図２は、本発明の第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。
図２に示すように、本実施形態の画像処理装置は、パーソナルコンピュータとして市販されているような汎用コンピュータ装置により実現可能である。図において、２０１は画像処理装置の動作を制御する演算処理装置（ＣＰＵ）である。

２０２はメモリモジュールであり、プログラムや画像データはメモリモジュール上に展開される。プログラムは画像表示及び画像処理制御を行うプログラムコードであり、ＣＰＵを介して実行される。
２０３は、後述する画像処理プログラム（レタッチアプリケーション）を含むプログラムや、画像データ等のデジタルデータを記録するハードディスクドライブである。

２０４は、外部記憶媒体読込み及び書込み装置である。プログラムや画像データが、２０５の外部記憶媒体に記録されている場合は、外部記憶媒体読込み及び書込み装置を介してメモリモジュールへロードする。図２ではＤＶＤ−ＲＷドライブを例に挙げたが、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＡＭ等の光ディスクや、フレキシブルディスク、ＭＯ等の磁気ディスク、またフラッシュメモリ等の不揮発性メモリも含まれる。

２０６はネットワークカードであり、このデバイスを介して、２０７のＬＡＮやＷＷＷ等に接続することでアクセス可能な記録装置に記録されているプログラムや画像データをロードする。

本実施形態では、ハードディスクドライブに記録されたプログラムや画像データをメモリモジュールにロードし、ＣＰＵが実行することにより、コンピュータ装置を本実施形態の画像処理装置として機能させる形態を適用した。しかし、以下に説明する色変換処理の少なくとも一部を、デジタルカメラ本体や専用のハードウェアにより実現することも可能である。

２０８はビデオカードであり、画像データ等の映像信号を出力する。出力された信号は２０９のＣＲＴディスプレイや液晶パネル等の表示部（ディスプレイ）に入力され、画像データ等を表示する。

２１０、２１１は、ユーザ操作部にあたるキーボード、マウスである。
２１２は、ＰＣＩバス等、画像処理装置内部の各処理部を相互に接続するためのシステムバスである。

図１は、本実施形態の画像処理装置において、色変換処理を含む画像加工機能を有する画像処理プログラムを実行した際にディスプレイ２０９に提示されるユーザインタフェースの例を示す図である。ユーザは、キーボード２１０やマウス２１１を用いて図１に示すＧＵＩを操作し、画像処理装置に指示を入力することが可能である。ユーザ操作部は、マウスやキーボード、ジョイパッド、装置に取り付けられた操作ボタンやタッチパネル等、一般的に使用されているものを使用する。本実施形態では、マウス２１１を操作部とする形態を適用した。

図１において、１０１は元画像データである。元画像データは、例えば周知の方法で、ハードディスクドライブなどの記憶装置や、デジタルカメラ等の外部装置に記憶されたデジタル画像データから、ユーザが選択して読み込んだものである。ユーザは、ユーザ操作部を介して、元画像データの画素又は小領域を選択することにより、元画像データに含まれる任意の色を選択できる。

１０２は色度図である。本実施形態では、Ｌ＊ａ＊ｂ＊表色系の色度図を適用した。また、本実施形態の画像処理装置が提示する色度図１０２は、色相、彩度を示す色相・彩度平面図１０３と、明度を表す明度平面図１０４とから構成される。ユーザは、ユーザ操作部を介して、色相・彩度平面図１０３上にある任意の色を選択できる。また、色度図上に色オブジェクトを表示させる事ができる。色度図についての詳細は後述する。

１０５は、ユーザ操作部の動作に応じて移動するマウスポインタである。
１０６は、元画像データ１０１上にある任意の色を選択した時、または色度図上にある任意の色を選択した時に色相・彩度平面図１０３上に表示される色オブジェクトである。色オブジェクトの形は、円形、矩形等で表示される。本実施形態では、矩形表示を適用した。

１０７は、元画像データ１０１上の任意の色を選択した際に、明度平面図１０４に表示される色オブジェクトである。色オブジェクトの形は、円形、矩形等で表示される。本実施形態では、色オブジェクト１０６と同様に矩形表示を適用した。

色オブジェクト１０７は、
・色相・彩度平面図１０３の円の中心を通り上下方向に引かれた直線と、色相・彩度平面図１０３の円の中心と色オブジェクト１０６を通る直線とがなす角度
・明度平面図１０４の円の中心を通り上下方向に引かれた直線と、明度平面図１０４の円の中心と色オブジェクト１０７を通る直線とがなす角度
が、常に等しくなる位置に表示される。

１０８は、色相・彩度平面図１０３上で、マウスポインタ１０５を用いて色オブジェクト１０６を例えばドラッグドロップし、移動させた色オブジェクトである。この時、色オブジェクトの少なくとも一部の表示色は、移動先の色相・彩度平面図上の位置の色に変更される。

１０９は、移動した色オブジェクト１０８に対応して、明度平面図１０４上を移動した色オブジェクトである。
１１０は、明度平面図１０４上で、マウスポインタ１０５を用いて色オブジェクト１０９を移動させた色オブジェクトである。この時、色オブジェクトの少なくとも一部の色は、移動先の明度に対応した色に変更される。

１１１、１１２、１１３は、色オブジェクト１０６と色オブジェクト１０８、色オブジェクト１０７と色オブジェクト１０９、色オブジェクト１０９と色オブジェクト１１０を結ぶ線である。本実施形態では線分矢印を表示する形態を適用した。
１１４は、色度図上でのユーザ操作によって変更した色を、元画像に適応させた時の画像である。これを変更画像と呼ぶ。

ユーザは、図１の画面から、元画像の中で変更したい色を選択するか、または色度図上にある変更したい色を、例えばマウスポインタ１０５で選択する。これに応答して、画像処理装置は色オブジェクトを色度図１０２に表示する。そして、ユーザは色度図上に表示された色オブジェクトをマウスを用いて移動させることで色の変更操作を行い、画像を加工する。

次に、図３を用いて、本実施形態の画像処理装置が提示する色度図をさらに詳細に説明する。
本実施形態にて用いた色度図は、Ｌ＊ａ＊ｂ＊表色系を採用している。Ｌ＊ａ＊ｂ＊表色系とは、１９７６年に国際照明委員会（ＣＩＥ）で規格化され、日本でもＪＩＳ（ＪＩＳＺ８７２９）において採用された表色系である。Ｌ＊ａ＊ｂ＊表色系では、明度をＬ＊、色相と彩度をａ＊とｂ＊で表わす。

図３の色度図において、１０３は、色相・彩度平面図である。色相とは色味を示す指標であり、彩度は色の鮮やかさを示す指標である。彩度が高ければ色が鮮やかに、低ければ色が灰色に近づく。図の円中において、右方向は＋ａ＊を、左方向は−ａ＊を、上方向は＋ｂ＊を、下方向は−ｂ＊を示しており、Ｌ＊ａ＊ｂ＊表色系の色相環に準拠した色配置になっている。具体的に説明すると、Ａには赤色、Ｂには桃色、Ｃには青色、Ｄには水色、Ｅには緑色、Ｆには黄色、Ｇには灰色が、連続する形で配置されている。円の中心から近い程彩度が低くなり、遠ければ彩度が高くなる。

図３の色度図において、１０４は明度平面図である。明度とは、色の明るさを示す指標であり、明度が高ければ白に近づき、低ければ黒に近づく。明度平面図１０４では、円の中心に近づく程明度が低くなり、遠ければ明度が高くなる。

なお、同様の色度図は、Ｌ＊ａ＊ｂ＊表色系以外の表色系、例えば、ＸＹＺ表色系、マンセル表色系、ＲＧＢ表色系、ＵＣＳ表色系、Ｌ＊ｃ＊ｈ表色系等においても実現可能であり、任意の表色系による色度図を用いることができる。

なお、同様の色度図（色相・彩度図）は、L*a*b*表色系以外の表色系、例えば、マンセル表色系、オストワルト表色系、CIE準拠の表色系においても実現可能であり、任意の表色系による色度図を用いることができる。なぜならば、色度図を用いるのは表色系の概念がユーザにとって視覚的にわかりやすく感じるであろうと推測できるからである。つまり、本実施形態では円形で表現可能な色度図を用いたが、図１１に示すＸＹ色度図のように色度図から座標を取得することによって色を指定出来れば円形の色度図でなくてもよい。なお、明度図については図１と同様の形式のものを用いることができる。

次に、図４及び図５を用いて、本実施形態の画像処理装置の色変換処理動作と、色度図の表示状態の変化について説明する。
図４は本実施形態の画像処理装置の色変換処理動作を説明するフローチャートである。図５は、画像処理装置が、色変換処理時に提示する色度図の状態変化の例を示す図であり、色オブジェクトのユーザ操作とそれに対応した表示変化を詳細に示している。
まず、図４のステップＳ４０１において、ユーザが、表示された元画像１０１上の任意の色を選択した場合、または色度図１０２上の任意の色を選択した場合には、ステップＳ４０３に進む。そして、色度図の色相・彩度平面図１０３上に色オブジェクト５０１を、明度平面図１０４上に色オブジェクト５０２をそれぞれ表示する。

表示された元画像１０１上の任意の色が選択された場合、色オブジェクト５０１は、選択した色と色相・彩度平面図１０３上の色の位置が一致する地点に表示される（図５（ａ））。色度図１０２上の任意の色を選択した場合、その地点に色オブジェクト５０１が表示される（図５（ａ））。

明度平面図１０４上では、色相・彩度平面図１０３上に表示させた色オブジェクト５０１の場所に対応した場所に、色オブジェクト５０２が表示される（図５（ａ））。対応した場所とは、図１の色オブジェクト１０７の表示場所についての説明した通りである。また、後述するように、色オブジェクト５０２の表示色は、色オブジェクト５０１で示される色相・彩度平面図１０３上の色に対応している。従って、図５（ａ）の例では、色オブジェクト５０２は黄緑色で表示される。色オブジェクト５０２表示後、明度平面図１０４の円の中心と色オブジェクト５０２を結ぶ直線５０３、明度平面図１０４上の円の中心と色オブジェクト５０２を半径とする円を同時に表示する（図５（ａ））。

ステップＳ４０２では、元画像１０１又は色度図１０２から色が選択されなかった場合、既に表示されている色オブジェクトが選択されたかどうかを確認する。既に表示されている色オブジェクトが選択され場合、ステップＳ４０４に進む。

次に、ステップＳ４０４において、色相・彩度平面図１０３上に表示された色オブジェクトが、ユーザ操作部であるマウスポインタを用いてドラッグ操作されたかを確認する。色相・彩度平面図１０３上に表示された色オブジェクトがドラッグ操作された場合はステップＳ４０５へ、明度平面図１０４上に表示された色オブジェクトがドラッグ操作された場合はステップＳ４０８を経てステップＳ４０９に進む。

次に、色相・彩度平面図１０３上に表示された色オブジェクトが移動した場合に実行される、ステップＳ４０５について説明する。ユーザは色オブジェクト５０１を、図５（ｂ）のマウスポインタ５０５をドラッグ操作して移動させることができる。また、色オブジェクト５０１は、色相・彩度平面図１０３の円内であれば任意の場所に移動させることが可能である。ステップＳ４０５では、ユーザの操作に応じて、色相・彩度平面図１０３上で色オブジェクト５０１の表示位置を変更する（図５（ｂ））。

ステップＳ４０６において、図５（ａ）の明度平面図１０４上の色オブジェクト５０２の表示位置を、色オブジェクト５０１の移動に対応させて自動的に変更する（図５（ｂ））。ただし、色オブジェクト５０２の移動可能範囲は、図５（ａ）の円５０４の円周上に制限される。これは、色相・彩度が変更されても、明度は変更されないからである。
ステップＳ４０７において、色オブジェクトの移動が終わるまでステップＳ４０５、Ｓ４０６の処理を繰り返す。

例えば、図５（ｂ）に示すように、ユーザが色オブジェクト５０１を色オブジェクト５０６まで移動させた場合、これに対応して、色オブジェクト５０２を、図５（ｂ）に点線でしめすように、円５０４の円弧に沿って色オブジェクト５０７まで移動させる。ドラッグ処理が終了し、色オブジェクトの移動位置が定まった時点で、明度平面図１０４の円の中心と色オブジェクト５０７を通る直線５０８を表示する（図５（ｂ））。なお、移動後の色オブジェクト５０７の表示色は、後述するように、色相・彩度平面図１０３の対応する色オブジェクト５０６の示す色であり、図５（ｂ）では黄みがかった色となる。

次に、ステップＳ４０８において明度平面図１０４に表示された色オブジェクトがドラッグ操作された場合について説明する。明度平面図１０４上において表示された色オブジェクトは、明度平面図１０４の円の中心と色オブジェクトを結ぶ直線上を移動させることができる。例えば、色オブジェクト５０７は、図５（ｂ）の直線５０８上を移動することが可能である。ステップＳ４０９では、図５（ｃ）に点線で示すように、ユーザのドラッグ動作に応答して、色オブジェクトを直線５０８に沿って明度平面図１０４上で移動させる。ステップＳ４１０において、色オブジェクトの移動が終了するまでステップＳ４０９の処理は繰り返される。

移動が終了すると、移動した色オブジェクトと明度平面図１０４の円の中心を半径とする円を表示する（図５（ｃ））。例えば図５（ｃ）において、色オブジェクト５０７が色オブジェクト５１１まで移動された場合、円５１２を表示する。このステップでは、明度のみが変更されるため、色相・彩度平面図１０３上の色オブジェクト５０６は移動させない。

ステップＳ４０７、Ｓ４１０において、色オブジェクト移動の終了を確認すると、次のステップＳ４１１へ進む。ステップＳ４１１では、移動した色オブジェクトの表示色を、移動先の色オブジェクトの位置が示す色に変更する処理が行われる。つまり、色相・彩度平面図１０３上で色オブジェクトが移動された場合には、移動後の位置に対応する色で、明度平面図１０４上の対応する色オブジェクトを表示する。また、明度平面図１０４上で色オブジェクトが移動された場合には、移動後の色オブジェクトの表示色の明度を、対応する位置の明度に変更する。

ステップＳ４１２では、ステップＳ４０２、もしくはステップＳ４０３において選択、表示された色オブジェクトと、移動した色オブジェクトを結ぶ線分矢印５０９（図５（ｃ））、５１０（図５（ｃ））、５１３（図５（ｄ））を表示する処理が行われる。本実施形態では、線分矢印を表示する形態を適用したが、線分、点線分、点線分矢印等でもよい。

ステップＳ４１３において、最初に選択された色オブジェクトに対応する色（変更前の色）を、移動完了後の色オブジェクトに対応した色（変更後の色）に変更する処理を元画像に適用した変更画像を表示する。

色変換結果は、図１の画面では、変更画像１１４に相当する。ステップＳ４１４において、プログラムの終了が指示された場合はプログラムを終了し、そうでなければステップＳ４０１に戻り上述の処理を繰り返す。

以下、移動完了後の色オブジェクトに対応した色（変更後の色）に変更する処理を元画像に適用する、ステップＳ４１３の処理の詳細について、図１と、図８のフローチャートを用いて説明する。本実施形態では、色変換用の３次元ルックアップテーブル(以下3DLUT)を作成し、これを元画像に適用して色変換処理を行う。

まず、ステップＳ８０１において、ユーザがマウスを用いてマウスポインタ１０５を操作し、元画像１０１上の任意の点をクリックすると、色度図上に移動前の色オブジェクト１０６を表示する。そして、ユーザが色オブジェクト１０６をマウスによりドラッグし、色度図１０３上の所望の色がある位置へ移動させると、移動後の色オブジェクト１０８を表示する。その際、移動前の色オブジェクト１０６と移動後の色オブジェクト１０８が位置する色度図上の色情報を取得する。

色度図にはあらかじめ色情報が設定されている。具体的には、色オブジェクトが色度図上で移動可能な座標位置全てに、対応するＲＧＢ値が設定されている。図１に示す例では、Ｌａｂ表色系に準拠した色度図を含むＧＵＩを提示しているが、この場合でも、色度図の座標に対応して設定されている色情報はＲＧＢ値である。

Ｌ＊ａ＊ｂ＊色空間の座標を、ＲＧＢ色空間の座標に変換する方法は周知であるが、以下簡単に説明する。具体的には、Ｌ＊ａ＊ｂ＊→ＸＹＺ→ＲＧＢという手順で変換することができる。
Ｌ＊ａ＊ｂ＊表色系の明度指数Ｌ（０≦Ｌ≦１００）、知覚色度ａ（−１３４≦ａ≦２２０）、知覚色度ｂ（−１４０≦ａ≦１２２）とし、ＲＧＢ値のＲ値、Ｇ値、Ｂ値をそれぞれＲ（０≦Ｒ≦２５５）、Ｇ（０≦Ｇ≦２５５）、Ｂ（０≦Ｂ≦２５５）とし、ＸＹＺ表色系のＸ値、Ｙ値、Ｚ値をそれぞれＸ（０≦Ｘ≦１）、Ｙ（０≦Ｙ≦１）、Ｚ（０≦Ｚ≦１）とすると、

Ｌ＊ａ＊ｂ＊色度図上の各点について、式（１）及び式（２）の演算によりRGB値を求めて設定する。従って、色オブジェクトが現在位置する色度図上の地点に基づいて、対応するＲＧＢ値を取得することができる。

次に、ステップＳ８０２において、取得した移動前の色オブジェクト１０６のＲＧＢ値(Rs(i),Gs(i),Bs(i))と、移動後の色オブジェクト１０８のＲＧＢ値(Rd(i),Gd(i),Bd(i))とを対応付ける。もし、後述する図６のように、移動前の色オブジェクトと移動後の色オブジェクトが複数存在する場合には、個々の色変換における移動前及び移動後の色オブジェクトを対応付ける色変換リストを作成する。色変換リストの例を、図１０に示す。図１０の例では、ユーザが設定した、変換したい色の数がＣ個の場合を示している。従って、ｉ＝０〜Ｃ−１となる。

作成された色変換リストに基づいて、ステップＳ８０３において３ＤＬＵＴ（三次元ルックアップテーブル）が作成される。本実施形態においては、３ＤＬＵＴの容量を減らすため、ＲＧＢ各値の最小値（０）から最大値（２５５）までを８分割した、９×９×９の７２９の三次元代表格子点を用意し、３ＤＬＵＴを作成する。色変換テーブルである３ＤＬＵＴを元画像に適用する場合、代表格子点以外のＲＧＢ値に対する変換後のＲＧＢ値は、代表格子点に対するＲＧＢ値から補間により求める。補間処理については、後述する。

まず初めに、３ＤＬＵＴの基となる基準値が発生される。この値は、上述の通りＲＧＢそれぞれ３２ステップ刻みに(R(n),G(n),B(n))（ｎ＝０〜７２８）値を発生する。次に、発生した基準値(R(n),G(n),B(n))に近いＲＧＢ値を色変換リストから検索する。この検索では、以下の式を用いて、値差Ｅを用いて行われる。
E=((Rs(i)-R(n))^2+(Gs(i)-G(n))^2+(Bs(i)-B(n))^2)^0.5 …(式３)

Ｅの値が閾値Ｔｈより小さい場合は、移動前の色オブジェクトの色値と対応付けられた移動後の色オブジェクトの色値から、差分値ｄＲ，ｄＧ，ｄＢを求める。
dR(y)=Rs(i)-Rd(i)
dB(y)=Bs(i)-Bd(i)
dG(y)=Gs(i)-Gd(i) …(式４)

この検索を色変換リストにある全ての値（ｉ＝０〜Ｃ−１）において実行し、基準値との値差ＥがＴｈ以下となる全ての値におけるｄＲの平均値ｄＲａｖｅ、ｄＧの平均値ｄＧａｖｅ、ｄＢの平均値ｄＢａｖｅを求め、基準値との演算により基準値(R(n),G(n),B(n))に対する色変換パラメータRt(n),Gt(n),Bt(n)が求められる。
Rt(n)=R(n)-dRave
Gt(n)=G(n)-dGave
Bt(n)=B(n)-dBave …(式５)

またＥの値がＴｈより小さいものが一つも存在しない場合は、以下の式によりRt(n)、Gt(n)、Bt(n)が求められる。
Rt(n)=R(n)
Gt(n)=G(n)
Bt(n)=B(n) …(式６)
以上の処理をｎ＝７２８になるまで実行する。
以上のようにして、色変換リストを反映した色変換パラメータである３ＤＬＵＴが決定される。

次に、ステップＳ８０４にて元画像１０１に３ＤＬＵＴを適用する。適用方法は以下の通りである。
まず、３ＤＬＵＴの代表格子点以外の値の補間処理について説明する。元画像１０１のある画素のＲＧＢ値をＲ，Ｇ，Ｂとする。また、３ＤＬＵＴを適用して変換された変更画像１１４のＲＧＢ値をRout(R,G,B)、Gout(R,G,B)、Bout(R,G,B)とする。また、元画像１０１のＲＧＢ値Ｒ，Ｇ，Ｂそれぞれの値より小さく、かつ一番近い値の代表格子点の値をRi,Gi,Bi、この代表格子点に対応する出力値（変換後の値）をRout(Ri,Gi,Bi),Gout(Ri,Gi,Bi),Bout(Ri,Gi,Bi)、代表格子点のステップ幅をStep（本実施形態においてはStep=32）とする。

R=Ri+Rf
G=Gi+Gf
B=Bi+Bf
Rout(R,G,B)=Rout(Ri+Rf,Gi+Gf,Bi+Bf)=
(Rout(Ri,Gi,Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Rout(Ri+Step,Gi,Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Rout(Ri,Gi+Step,Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Rout(Ri,Gi,Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Rout(Ri+Step,Gi+Step,Bi)×(Rf)×(Gf)×(Step-Bf)
+Rout(Ri+Step,Gi,Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Rout(Ri,Gi+Step,Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Rout(Ri+Step,Gi+Step,Bi+Step)×(Rf)×(Gf)×(Bf))/(Step×Step×Step) …(式７)

Gout(R,G,B)=Gout(Ri+Rf,Gi+Gf,Bi+Bf)=
(Gout(Ri,Gi,Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Gout(Ri+Step,Gi,Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Gout(Ri,Gi+Step,Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Gout(Ri,Gi,Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Gout(Ri+Step,Gi+Step,Bi)×(Rf)×(Gf)×(Step-Bf)
+Gout(Ri+Step,Gi,Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Gout(Ri,Gi+Step,Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Gout(Ri+Step,Gi+Step,Bi+Step)×(Rf)×(Gf)×(Bf))/(Step×Step×Step) …(式８)

Bout(R,G,B)=Bout(Ri+Rf,Gi+Gf,Bi+Bf)=
(Bout(Ri,Gi,Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri+Step,Gi,Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri,Gi+Step,Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Bout(Ri,Gi,Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Bout(Ri+Step,Gi+Step,Bi)×(Rf)×(Gf)×(Step-Bf)
+Bout(Ri+Step,Gi,Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Bout(Ri,Gi+Step,Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Bout(Ri+Step,Gi+Step,Bi+Step)×(Rf)×(Gf)×(Bf))/(Step×Step×Step) …(式９)

このような、(式７)、(式８)、(式９)を用いた３ＤＬＵＴ適用処理および補間演算式を簡易的に以下のような式（１０）であらわすことにする。ただし、R,G,Bは入力値、LUTは９×９×９のルックアップテーブル、Rout、Gout、Boutは３ＤＬＵＴ3DLUT変換および補間演算した結果を示す。
(Rout,Gout,Bout) = LUT [(R,G,B)] …(式１０)

以上のような演算を用いて元画像101である入力値Rh、Gh、Bhを変更画像114である出力値RL、GL、BLに変換する。
(RL,GL,BL) = LUT [(Rh,Gh,Bh)] …(式１１)
以上の式を用い、元画像の入力値全てにおいて３ＤＬＵＴを適用し、変更画像を構成する出力値を保持する。

次に、ステップＳ８０５にてステップＳ８０４で出力された出力値を変更画像１１４へ表示する。本実施形態では、色オブジェクトの移動に応じてリアルタイムに変更画像が更新される。そのため、変更画像の描画時間の高速化を考慮し、ステップＳ８０１〜Ｓ８０５が実行されている間、図９のフローチャートに示すマウス入力待ち処理と、図８に示す処理とを並列に実行している。従って、ステップＳ９０１においてマウス操作がない場合はステップＳ９０１のループが実行され、マウス操作が行われた場合にステップＳ９０２にてステップＳ８０１へ処理を戻す。

尚、本実施形態の別の形態として、図１のＧＵＩ上に［色変換］ボタンを配置し、色オブジェクトの移動操作時には元画像への色変換適用を行わず、［色変換］ボタンが押下された時にステップＳ８０１〜Ｓ８０５までの処理を実行して色変換結果を示すようにしてもよい。

本実施形態において、適用可能な色度図１０２の他の表示例を、図６を用いて説明する。
図６の６０１では、元画像１０１上の任意の色を選択、または色度図１０２上の任意の点を選択して表示された色オブジェクト１つに対し、移動した色オブジェクトが２つ表示されている。本発明では、移動を複数回行った場合に選択した色オブジェクトから少なくとも１つ以上の色を変更した色オブジェクトを表示させる事が可能である。

つまり、一旦位置を移動させた色オブジェクトが再度移動された場合には、元の位置を示す表示を残すことで、色オブジェクトを数珠繋ぎに表示させることも可能である。これによって、色の変更履歴が一目で確認できる。また、変換を取消した場合でも、色度図上の過去の色オブジェクトを例えばマウスでクリックすることで、同じ色を起点として異なる色への変換が実現できる。なお、色オブジェクトの移動が複数回行われている場合には、常に最後に移動した色オブジェクトが変換先になるようにステップＳ８０１に戻るタイミングで色変換リストが更新され、３ＤＬＵＴが作成されている。そして、色度図上では、移動した色オブジェクトの軌跡が変更履歴として表示されていくとともにリアルタイムに変更画像が更新される。

図６の６０２では、明度から色変更を行った際の色オブジェクトの表示例を示している。図５では、色相・彩度平面図１０３に表示された色オブジェクトを最初に移動させる例を説明したが、明度平面図１０４に表示された色オブジェクトを最初に動作させる事も可能である。

また、６０１、６０２からわかるように、色度図内には、移動前に表示された色オブジェクトと移動後に表示された色オブジェクトの対を、複数表示することが可能である。

（第２の実施形態）
第１の実施形態では、汎用コンピュータ装置により本発明の画像処理装置を実現した場合を示したが、他の装置により実現することもできる。
図７は、本発明の第２の実施形態に係る画像処理装置としての撮像装置の例を示すブロック図である。

７０１は、撮影像をアナログの電気信号に変換する撮像素子である。同図ではＣＣＤを例に挙げたが、ＣＭＯＳでもよい。
７０２はアナログ信号をデジタル信号に変換するＡ／Ｄ変換部である。
７０３は、カメラ内の各処理部を一方、相互に接続するシステムバスである。
７０４は、撮影像のデジタル信号を、ＪＰＥＧ等の汎用画像データへ変換、圧縮を行う画像圧縮部である。

７０５は、画像表示、画像処理制御装置の動作を制御するシステムコントローラである。
７０６は、作成された画像データを保存する記録媒体である。コンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック、マイクロドライブ、ＳＤカード等が含まれる。

７０７はＲＯＭであり、撮像装置を制御するファームウェア、画像処理プログラムが保存されている。画像処理プログラムは画像表示、画像処理制御を行うプログラムコードであり、システムコントローラ７０５を介して実行される。

７０８はＲＡＭであり、作成された画像データや、記録媒体に記録された画像データ、またプログラムが展開される。
７０９は液晶パネル等の表示部（ディスプレイ）である。

７１０は備え付けられた操作ボタンやタッチパネルからなる操作部である。
システムコントローラ７０５は、画像処理プログラムを実行して、ディスプレイ７０９に、図１に示したユーザインタフェースを表示させる。ユーザは操作部７１０を用い、ユーザインタフェースを介して各種の指示を画像処理プログラムに入力することが可能である。ユーザ操作部は、装置に備え付けられた操作ボタンやタッチパネル等を使用する。

本実施形態に係る撮像装置における色変換処理動作については、第１の実施形態と同様である。また、本実施形態では汎用コンピュータ装置以外の、本発明に係る画像処理装置として動作可能な装置として撮像装置を説明した。しかし、携帯通信端末など、ＧＵＩを用いて色変換処理を提供可能な任意の装置に本発明を適用可能である。

（他の実施形態）
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置（例えば、撮像装置）に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードをそのシステム或いは装置からのリモート操作等によって読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

なお本発明を上述の記憶媒体に適応する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態にかかる画像処理装置が提示するユーザインターフェイスの例を示す図である。 第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。 第１の実施形態にかかる画像処理装置が提示する色度図を説明する図である。 第１の実施形態にかかる画像処理装置の色変換処理の手順を説明する為のフローチャートである。 第１の実施形態にかかる画像処理装置が、色変換処理時に提示する色度図の状態変化の例を示す図である。 第１の実施形態にかかる画像処理装置が、色変換処理時に提示する色度図の状態変化の別の例を示す図である。 本発明の第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。 色変換処理を示すフローチャートである。 第１の実施形態におけるマウスの入力待ちを示すフローチャートである。 色変換リストの構成を示す図である。 ＸＹ色度図の例を示す図である。

符号の説明

１０１ 元画像
１０２ 色度図
１０３ 色相・彩度平面図
１０４ 明度平面図
１０５ マウスポインタ
１０６ 移動前の色オブジェクト
１０７ 移動前の色オブジェクト
１０８ 移動後の色オブジェクト
１０９ 移動後の色オブジェクト
１１０ 移動後の色オブジェクト
１１１ オブジェクト間を結ぶ線分
１１２ オブジェクト間を結ぶ線分
１１３ オブジェクト間を結ぶ線分
１１４ 変更画像
２０１ 演算処理装置
２０２ メモリモジュール
２０３ ハードディスクドライブ
２０４ 外部記憶媒体読込み及び書込み装置
２０５ 外部記憶媒体
２０６ ネットワークカード
２０７ ＬＡＮ
２０８ ビデオカード
２０９ 表示部
２１０ キーボード
２１１ マウス
２１２ コンピュータ内システムバス
３０１ 色相・彩度平面図
３０２ 明度平面図
７０１ 撮像素子
７０２ Ａ／Ｄ変換回路部
７０３ カメラ内システムバス
７０４ 画像圧縮回路部
７０５ システムコントローラ
７０６ 記憶媒体
７０７ ＲＯＭ
７０８ ＲＡＭ
７０９ 表示部
７１０ 操作部

Claims (15)

1. デジタル画像を表示する画像表示手段と、
   色相、彩度を示す色相・彩度平面図と、明度を表す明度平面図とからなる色度図を表示する色度図表示手段と、
   前記画像表示手段によって表示されたデジタル画像または前記色度図表示手段により表示された色度図で指定された色を選択する選択手段と、
   前記選択手段によって選択された色の色相及び彩度に対応する色オブジェクトを前記色相・彩度平面図上の対応する位置に、前記選択された色の明度に対応する色オブジェクトを前記明度平面図上の対応する位置に、それぞれ表示する色オブジェクト表示手段と、
   ユーザ操作に応答して、前記色オブジェクト表示手段により表示された色オブジェクトを、前記色度図上で移動させる、色オブジェクト移動手段であって、前記色相・彩度平面図上の色オブジェクトを移動させるユーザ操作がなされた場合は、当該操作に応じて前記色相・彩度平面図上の色オブジェクトを移動させると共に、前記色相・彩度平面図上の色オブジェクトの移動に応じて、前記明度平面図上の色オブジェクトを移動させる色オブジェクト移動手段とを有し、
   前記色オブジェクト表示手段は、前記色オブジェクト移動手段により移動された色オブジェクトについて、移動後の色オブジェクトと移動前の色オブジェクトとを、前記色度図表示手段において表示された色度図上に表示することを特徴とする画像処理装置。
2. 前記色オブジェクト表示手段は、前記移動後の色オブジェクトと前記移動前の色オブジェクトとを関連付けて前記色度図上に表示することを特徴とする請求項１記載の画像処理装置。
3. 前記色オブジェクト表示手段は、前記移動後の色オブジェクトと前記移動前の色オブジェクトとを、前記移動後の色オブジェクトと前記移動前の色オブジェクトを結ぶ線を前記色度図上に表示することによって関連付けて表示し、前記線は、線分、線分矢印、点線、および点線矢印のいずれかであることを特徴とする請求項２に記載の画像処理装置。
4. 前記色オブジェクト移動手段は、前記色相・彩度平面図上の色オブジェクトを移動させるユーザ操作に応じて前記明度平面図上の色オブジェクトを移動させる場合、前記明度平面図上の色オブジェクトが表す明度は変化させずに、当該色オブジェクトの前記明度平面図上の表示位置を前記明度平面図上で移動させることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記色オブジェクト移動手段は、前記明度平面図上の色オブジェクトを移動させるユーザ操作がなされた場合は、前記色相・彩度平面図上の色オブジェクトの表示位置を移動させずに、前記明度平面図上の色オブジェクトのみを移動させることを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記色オブジェクト表示手段は、前記色相・彩度平面図上の色オブジェクトの表示位置に対応させて明度平面図上の色オブジェクトを表示することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記色相・彩度平面図および前記明度平面図は円形状に表示され、
   前記色相・彩度平面図においては円の半径方向に彩度が変化し、前記明度平面図においては円の半径方向に明度が変化するように表示されることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記色オブジェクト移動手段は、前記明度平面図上の色オブジェクトを移動させるユーザ操作がなされた場合は、前記明度平面図の円の中心と色オブジェクトを通る円の半径上で前記色オブジェクトを移動させることを特徴とする請求項７に記載の画像処理装置。
9. 前記色オブジェクト表示手段は、前記色相・彩度平面図の円の中心通り上下方向に引かれた直線と、前記色相・彩度平面図の円の中心と前記色相・彩度平面図上の色オブジェクトとを通る直線が成す角度と、前記明度平面図の円の中心を通り上下方向に引かれた直線と、前記明度平面図の円の中心と前記明度平面図上の色オブジェクトとを通る直線とが成す角度とが等しくなるように前記明度平面図上の色オブジェクトを表示することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記色オブジェクト移動手段は、前記選択手段で選択された色を起点として、色オブジェクトを移動させるユーザ操作を複数回受付可能であることを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
11. 前記画像表示手段は、前記選択手段により選択された色を、前記移動後の色オブジェクトが表す色に変換させた前記デジタル画像を表示することを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 前記画像表示手段は、前記変換を行う前の前記デジタル画像と、前記変換を行った後の前記デジタル画像とを同時に表示することを特徴とする請求項１１に記載の画像処理装置。
13. 表示装置にデジタル画像を表示する画像表示工程と、
    前記表示装置に色相、彩度を示す色相・彩度平面図と、明度を表す明度平面図とからなる色度図を表示する色度図表示工程と、
    前記デジタル画像または前記色度図で指定された色を選択する選択工程と、
    前記選択工程により選択された色の色相及び彩度に対応する色オブジェクトを前記色相・彩度平面図上の対応する位置に、前記選択された色の明度に対応する色オブジェクトを前記明度平面図上の対応する位置に、それぞれ表示する色オブジェクト表示工程と、
    ユーザ操作に応答して、前記色オブジェクト表示工程により表示された色オブジェクトを、前記色度図上で移動させる、色オブジェクト移動工程であって、前記色相・彩度平面図上の色オブジェクトを移動させるユーザ操作がなされた場合は、当該操作に応じて前記色相・彩度平面図上の色オブジェクトを移動させると共に、前記色相・彩度平面図上の色オブジェクトの移動に応じて、前記明度平面図上の色オブジェクトを移動させる色オブジェクト移動工程とを有し、
    前記色オブジェクト表示工程では、前記色オブジェクト移動工程により移動された色オブジェクトについて、移動後の色オブジェクトと移動前の色オブジェクトとを、前記色度図上に表示することを特徴とする画像処理方法。
14. コンピュータを、請求項１ないし１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. 請求項１４記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。