JP7366689B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、物体の色を評価するための画像処理技術に関する。

従来、画像においてユーザに指定された領域の色を評価する技術が知られている。特許文献１は、画像において指定された領域の色がプリンタを用いてどのように表現されるかを、色空間上の３Ｄオブジェクトで表示する技術を開示している。

特開２００５－１７６２０４号公報

しかしながら、特許文献１では、対象の画像が物体を撮像して得られた撮像画像である場合に、実物の色がどのような色であるかを評価することはできないという課題があった。

本発明は、上記課題に鑑みてなされたものであり、物体の撮像画像を基に、実物の色を評価するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、物体を撮像して得られる撮像画像データを取得する取得手段と、前記撮像画像データが表す撮像画像に含まれる各画素の第１色信号値を前記物体の輝度に対して非線形な色信号値を得るための第１ルックアップテーブルを用いて表示手段の特性に応じた第２色信号値に変換することによって、表示画像データを生成する生成手段と、前記表示画像データが表す表示画像においてユーザに指定された複数の領域に対応する色の評価値を、前記物体の輝度に対して線形な評価値を得るための第２ルックアップテーブルを用いて算出する算出手段と、前記複数の領域と、前記評価値と、を対応付けて前記表示手段に表示する表示制御手段と、を有することを特徴とする。

本発明によれば、物体の撮像画像を基に、実物の色を評価することができる。

色評価システムの構成を示す図 画像処理装置のハードウェア構成を示すブロック図 画像処理装置の機能構成を示すブロック図 画像処理装置が実行する処理を示すフローチャート 色変換ＬＵＴ_Ａを作成する処理を示すフローチャート カラーチャートの例を示す図 色変換ＬＵＴ_Ｂを作成する処理を示すフローチャート 評価対象物体の輝度に対する色信号値の線形性を示す図 評価値を算出する処理を示すフローチャート 表示画像と評価値との表示例を示す図 表示画像と評価値との表示例を示す図 表示画像と評価値との表示例を示す図 画像処理装置の機能構成を示すブロック図 画像処理装置が実行する処理を示すフローチャート 評価値を取得する処理を示すフローチャート 画像処理装置の機能構成を示すブロック図

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
＜色評価システムの構成＞
図１は色評価システムの構成を示す図である。色評価システムは、画像処理装置１、表示装置２、撮像装置３、入力デバイス１１０から構成される。色評価システムは、撮像装置３を用いて評価対象物体４を撮像して得られる撮像画像データを、画像処理装置１において処理する。色評価システムは、処理の結果として得られる表示画像及び評価値を、入力デバイス１１０を介したユーザの指示に応じて表示装置２に表示する。本実施形態における評価対象物体４は複数の部品から構成される、例えばプリンタなどの工業製品である。

＜画像処理装置のハードウェア構成＞
図２は画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。

ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１２などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、表示装置２が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置３が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１１を介して、ＨＤＤ１１２や各種記録メディアの読み書きを行う汎用ドライブ１１３が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１２や汎用ドライブ１１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）を表示装置２に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。

＜画像処理装置の機能構成＞
図３は画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１２に格納されたプログラムを読み出して実行することによって、図３に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。

画像処理装置１は、画像データ取得部１１、表示画像生成部１２、評価用画像生成部１３、指定受付部１４、評価値算出部１５を有する。画像データ取得部１１は、撮像装置３が評価対象物体４を撮像して得られる撮像画像データを取得する。本実施形態における画像データ取得部１１は、撮像装置３を制御して評価対象物体４を撮像し、撮像画像データを取得する。尚、ＨＤＤ１１２に予め保持されていた撮像画像データを、ＨＤＤ１１２から取得してもよい。

表示画像生成部１２は、撮像画像データが表す撮像画像に基づいて、評価対象物体４を実物と同じ印象で表示装置２に表示するための表示画像を表す表示画像データを生成する。具体的には、表示画像生成部１２は、撮像画像が各画素に画素値として有する色信号値を、表示装置２の特性に応じた色信号値に変換する。ここで、撮像画像が有する色信号値は撮像装置３に依存した色空間において表現される値であり、本実施形態における撮像装置３に依存した色空間は、Ｒ，Ｇ，Ｂそれぞれを軸とした色空間である。以下、撮像画像が有する色信号値を、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）と表現する。また、表示装置２の特性に応じた色信号値は表示装置２に依存した色空間において表現される値であり、本実施形態における表示装置２に依存した色空間は、Ｒ，Ｇ，Ｂそれぞれを軸とした色空間である。以下、表示装置２の特性に応じた色信号値を、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）と表現する。また、表示画像生成部１２は、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）を各画素に有する表示画像を表示装置２に表示する表示制御部としても機能する。

評価用画像生成部１３は、評価対象物体４の色の評価値を算出するために用いる、評価用画像を表す評価用画像データを生成する。具体的には、評価用画像生成部１３は、撮像画像が各画素に有する撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）を、デバイス非依存の色信号値に変換する。ここで、デバイス非依存の色信号値は、デバイス非依存の色空間において表現される値であり、本実施形態におけるデバイス非依存の色空間は、Ｘ，Ｙ，Ｚそれぞれを軸とした色空間である。以下、デバイス非依存の色信号値を、デバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）と表現する。

指定受付部１４は、表示装置２に表示された表示画像においてユーザに指定された評価領域を表す評価領域情報を受け付ける。本実施形態における評価領域情報は、表示画像における評価領域の座標（ｘ，ｙ）である。ここで、表示画像においてユーザに指定される領域は、評価対象物体４に対応する領域の少なくとも一部と、評価対象物体４と色を比較したい領域と、の２か所である。本実施形態において指定される２か所の領域はそれぞれ複数の画素を含む領域であるが、指定される領域は１画素であってもよい。尚、評価対象物体４と色を比較したい領域も、評価対象物体４に対応する領域の一部であってもよい。この場合は、評価対象物体４において、部品間の色差など、異なる２か所を比較して色を評価することができる。

評価値算出部１５は、評価用画像生成部１３から入力された評価用画像データと、指定受付部１４から入力された評価領域情報と、に基づいて、色の評価値を算出する。具体的には、評価値算出部１５は、２つの評価領域それぞれにおいて、デバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）の平均値を算出し、算出した平均値を色の評価値に変換する。また、評価値算出部１５は、算出した色の評価値を表示画像と併せて表示装置２に表示する表示制御部としても機能する。

＜画像処理装置が実行する処理＞
図４は画像処理装置１が実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ４１において、画像データ取得部１１は、撮像装置３の撮像によって得られる撮像画像データを取得する。Ｓ４２において、表示画像生成部１２は、撮像画像が有する撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）を色変換ルックアップテーブルを用いて表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）に変換することにより、表示画像データを生成する。ここで用いる色変換ルックアップテーブル（以下、色変換ＬＵＴと表現する）は、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）と表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）との対応関係を保持する色変換ＬＵＴ_Ａである。表示画像生成部１２は、予め作成された色変換ＬＵＴ_ＡをＨＤＤ１１２等の記憶装置から取得して色変換に用いる。色変換ＬＵＴ_Ａを作成する処理の詳細は後述する。

Ｓ４３において、評価用画像生成部１３は、撮像画像が有する撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）を色変換ＬＵＴ_Ｂを用いてデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）に変換することにより、評価用画像データを生成する。ここで用いる色変換ＬＵＴ_Ｂは、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係を保持する。評価用画像生成部１３は、予め作成された色変換ＬＵＴ_ＢをＨＤＤ１１２等の記憶装置から取得して色変換に用いる。色変換ＬＵＴ_Ｂを作成する処理の詳細は後述する。

Ｓ４４において、表示画像生成部１２は、表示装置２に表示画像を表示する。Ｓ４５において、指定受付部１４は、表示装置２に表示された表示画像においてユーザに指定された評価領域を表す評価領域情報を受け付ける。Ｓ４６において、評価値算出部１５は、評価用画像データと評価領域情報とに基づいて色の評価値を算出し、算出した評価値を表示装置２に表示する。評価値の算出及び表示に関する処理の詳細は後述する。

＜色変換ＬＵＴ_Ａを作成する処理＞
ここでは、色変換ＬＵＴ_Ａを作成する処理の詳細について説明する。図５は色変換ＬＵＴ_Ａを作成する処理を示すフローチャートである。

Ｓ５１において、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係を表す関係式が作成される。関係式を作成する際には、例えば図６に示すような、複数のカラーパッチを含むカラーチャートを使用する。まず、複数のカラーパッチそれぞれを撮像装置３を用いて撮像して撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）を取得する。各カラーパッチ内の撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）が平均されることにより、カラーパッチそれぞれに１つずつ撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）が得られる。取得した撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）それぞれを、式（１），式（２），式（３），式（４），式（５）を用いて、Ｌ^＊ａ^＊ｂ^＊値（Ｌ^＊ _１，ａ^＊ _１，ｂ^＊ _１）に変換する。ここで、基準白色の色信号値を（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）とする。尚、Ｌ^＊ａ^＊ｂ^＊値は、デバイス非依存の色信号値であり、Ｌ^＊，ａ^＊，ｂ^＊それぞれを軸とした色空間において表現される値である。

次に、複数のカラーパッチそれぞれを測色計を用いて測定することによりデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）を取得する。各カラーパッチ内のデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）が平均されることにより、カラーパッチそれぞれに１つずつデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）が得られる。取得したデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）それぞれを、式（２），式（３），式（４），式（５）を用いて、Ｌ^＊ａ^＊ｂ^＊値（Ｌ^＊ _２，ａ^＊ _２，ｂ^＊ _２）に変換する。

式（６）に示す色差ΔＥが０に近づくように、式（１）のマトリクスの係数（α０～α８）を最小二乗法により求める。マトリクスの係数（α０～α８）を求めることにより、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係を表す関係式である式（１）が得られる。

Ｓ５２において、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係を保持する色変換ＬＵＴ_Ｄが作成される。まず、表示装置２に、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）を、（０，０，０）から（２５５，２５５，２５５）まで、Ｒ，Ｇ，Ｂそれぞれを３２ずつ異ならせた、合計７２９通りのカラーパッチを含むカラーチャートを表示する。次に、表示されたカラーパッチそれぞれを測色計を用いて測定することによりデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）を取得する。これにより、各カラーパッチについて、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係が得られるため、この対応関係を用いて色変換ＬＵＴ_Ｄを生成する。

Ｓ５３において、ガマットマッピングにより、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）と表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）との対応関係を保持する色変換ＬＵＴ_Ａが作成される。まず、Ｓ５１において得られた関係式を用いて、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係を保持する色変換ＬＵＴ_Ｃを作成する。色変換ＬＵＴ_Ｃは、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）を、（０，０，０）から（２５５，２５５，２５５）まで、Ｒ，Ｇ，Ｂそれぞれを３２ずつ異ならせて７２９通りの対応関係を取得することにより作成できる。次に、作成した色変換ＬＵＴ_Ｃと色変換ＬＵＴ_Ｄとを用いて、公知のガマットマッピングにより、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）を表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）に変換する。この変換により、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）と表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）との対応関係が得られるため、色変換ＬＵＴ_Ａを作成することができる。尚、ここで行うガマットマッピングは、評価対象物体４を実物と同じ印象で表示装置２に表示するために、知覚的（Ｐｅｒｃｅｐｔｕａｌ）のガマットマッピングが望ましい。

＜色変換ＬＵＴ_Ｂを作成する処理＞
ここでは、色変換ＬＵＴ_Ｂを作成する処理の詳細について説明する。図７は色変換ＬＵＴ_Ｂを作成する処理を示すフローチャートである。

Ｓ７１において、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係を表す関係式が作成される。Ｓ７１における処理は、Ｓ５１と同じ処理であるため説明を省略する。尚、予めＳ５１において関係式を作成した場合は、Ｓ７１における処理は行わなくてもよい。ここで作成される関係式には、色の評価値を高精度に算出するために、３×３のマトリクスなど、線形性の高いマトリクスを用いることが望ましい。線形性の高いマトリクスを用いることにより、評価対象物体４の輝度に対して線形な評価値を算出することができる。

Ｓ７２において、Ｓ７１において得られた関係式を用いて、撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）とデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）との対応関係を保持する色変換ＬＵＴ_Ｂを作成する。Ｓ７２における処理は、Ｓ５３における色変換ＬＵＴ_Ｃを作成する処理と同じ処理であるため説明を省略する。尚、予めＳ５３において色変換ＬＵＴ_Ｃを作成した場合は、Ｓ７２における処理は行わずに、色変換ＬＵＴ_Ｃを色変換ＬＵＴ_Ｂとして用いることができる。

＜評価対象物体に対する色信号値の線形性＞
図８に、評価対象物体４の輝度に対する、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）及びデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）の線形性について示す。表示画像の表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）は、表示装置２の表示可能な輝度範囲により、評価対象物体４の輝度に対して線形性を保つことができない。このため、図８（ａ）のように、評価対象物体４の高輝度領域に対応する色信号値に対して非線形圧縮を行う必要がある。Ｓ５３においてガマットマッピングを行うのはそのためである。

一方で、評価用画像のデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）は、Ｓ７１において評価対象物体４の輝度に対して線形性が高くなるように関係式を作成するため、図８（ｂ）のように評価対象物体４の輝度に対して線形性を保つことができる。

このように、撮像画像に対する、表示と評価それぞれに適した変換により、表示画像と評価用画像とを別々に生成することにより、ユーザは、評価対象物体４を実物と同じ印象で確認しながら、指定した領域の高精度な評価値に応じて色の評価を行うことができる。

＜評価値を算出する処理＞
ここでは、Ｓ４６における、評価値を算出する処理の詳細について説明する。図９は評価値を算出する処理を示すフローチャートである。

Ｓ９１において、評価値算出部１５は、評価用画像において評価領域情報が表す領域に対応するデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）を取得する。Ｓ９２において、評価値算出部１５は、評価領域それぞれにおいて、デバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）の平均値を算出する。これにより、各評価領域に対して１つのデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）が得られる。

Ｓ９３において、評価値算出部１５は、各評価領域について、デバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）をＬ^＊ａ^＊ｂ^＊値に変換する。変換には、上述した式（２）～式（５）を用いる。基準白色の色信号値（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は、表示画像においてユーザが基準白色点を指定することにより得られる。Ｓ９４において、評価値算出部１５は、デバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）と、Ｌ^＊ａ^＊ｂ^＊値と、を評価値として表示装置２に表示する。

表示画像と評価値との表示例を図１０に示す。図１０において、ウィンドウ１００１には、表示画像１００２が表示されている。また、Ｓ９３において算出した評価値が数値として数値表示領域１００３として表示されるとともに、グラフ１００４にプロットされた点１００９及び点１０１０としても表示される。ユーザは、入力デバイス１１０で操作可能なポインタ１００５を用いて、白色点１００６，第１評価領域１００７，第２評価領域１００８を指定することができる。第１評価領域１００７の評価値が点１００９に対応する場合、同じ色（例えば黄色）で枠線を描画する。また、第１評価領域１００７の評価値に対応する数値表示領域１００３における数値の背景も同じ色（黄色）で描画する。

第２評価領域１００８の枠線，点１０１０の枠線，第２評価領域１００８の評価値に対応する数値表示領域１００３における数値の背景を同じ色（例えば青色）で描画する。また、白色点１００６の枠線と数値表示領域１００３における基準白色の色信号値の背景を同じ色（例えば赤色）で描画する。このように、評価領域と対応する評価値とを同一色で描画することにより、評価領域と評価値との対応関係を容易に確認することができる。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置１は、物体を撮像して得られる撮像画像データを取得する。撮像画像データが表す撮像画像に含まれる各画素の色信号値を表示手段の特性に応じた色信号値に変換することによって、表示画像データを生成する。表示画像データが表す表示画像においてユーザに指定された複数の領域に対応する色の評価値を算出する。複数の領域と、評価値と、を対応付けて表示手段に表示する。これにより、物体の撮像画像を基に、ユーザの領域指定に対してリアルタイムに実物の色を評価することができる。

＜変形例＞
図１０においては、枠線や背景の色で評価領域の区別を行ったが、別の表示方法で対応関係をわかりやすくしてもよい。例えば、図１１に示すように、指定した点の周囲に四角形，三角形，星などの記号を配置してもよい。また、図１２に示すように、指定した点を特定する枠の形状を四角形，三角形，星の形などの形にしてもよい。

また、第１実施形態においては、評価値をデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）及びＬ^＊ａ^＊ｂ^＊値（Ｌ^＊，ａ^＊，ｂ^＊）として表示したが、どちらか一方を評価値として表示してもよい。また、評価領域間の色差を評価値をとして表示してもよい。この場合の色差は、例えば式（６）を用いて算出することができる。また、評価値は彩度差や明度差などであってもよい。

また、第１実施形態においては、ユーザにより指定された２か所の評価値を表示したが、指定される評価領域は複数であれば３か所以上であってもよい。

また、第１実施形態においては、表示画像生成部１２と評価値算出部１５とが表示の制御を行ったが、図１６のように、画像処理装置１は表示画像生成部１２と評価値算出部１５とは別に表示制御部１８を有していてもよい。この場合は、表示制御部１８が表示画像及び評価値の表示を制御する。

［第２実施形態］
第１実施形態においては、撮像画像データを基に表示画像データと評価用画像データとを別々に生成した。本実施形態においては、撮像画像データを基に表示画像データを生成し、表示画像データを基に評価値を取得する。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。

＜画像処理装置の機能構成＞
図１３は画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１２に格納されたプログラムを読み出して実行することによって、図１３に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。

画像処理装置１は、画像データ取得部１１、表示画像生成部１２、指定受付部１４、評価値変換ＬＵＴ保持部１６、評価値取得部１７を有する。評価値変換ＬＵＴ保持部１６は、表示画像の表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）と評価値との対応関係を保持する評価値変換ＬＵＴを保持する。評価値取得部１７は、評価領域情報と、表示画像データと、評価値変換ＬＵＴと、に基づいて色の評価値を取得し、取得した評価値を表示装置２に表示する。

＜画像処理装置１が実行する処理＞
図１４は画像処理装置１が実行する処理を示すフローチャートである。Ｓ１４０１において、画像データ取得部１１は、撮像装置３の撮像によって得られる撮像画像データを取得する。Ｓ１４０２において、表示画像生成部１２は、撮像画像が有する撮像色信号値（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）を色変換ＬＵＴ_Ａを用いて表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）に変換することにより、表示画像データを生成する。

Ｓ１４０３において、表示画像生成部１２は、表示装置２に表示画像を表示する。Ｓ１４０４において、指定受付部１４は、表示装置２に表示された表示画像においてユーザに指定された評価領域を表す評価領域情報を受け付ける。Ｓ１４０５において、評価値取得部１７は、評価領域情報と、表示画像データと、評価値変換ＬＵＴと、に基づいて色の評価値を取得し、取得した評価値を表示装置２に表示する。評価値の取得及び表示に関する処理の詳細は後述する。

＜評価値を取得する処理＞
ここでは、Ｓ１４０５における、評価値を取得する処理の詳細について説明する。図１５は評価値を取得する処理を示すフローチャートである。

Ｓ１５０１において、評価値取得部１７は、表示画像において評価領域情報が表す領域に対応する表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）を取得する。Ｓ１５０２において、評価値取得部１７は、評価領域それぞれにおいて、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）の平均値を算出する。これにより、各評価領域に対して１つの表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）が得られる。

Ｓ１５０３において、評価値取得部１７は、各評価領域について、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）を評価値変換ＬＵＴを用いて評価値に変換する。本実施形態においては、表示色信号値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）をデバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）に変換する。ここでは、上述した色変換ＬＵＴ_Ｄを評価値変換ＬＵＴとして用いる。Ｓ１５０４において、評価値取得部１７は、デバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）をＬ^＊ａ^＊ｂ^＊値に変換する。変換には、上述した式（２）～式（５）を用いる。基準白色の色信号値（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は、表示画像においてユーザが基準白色点を指定することにより得られる。Ｓ１５０５において、評価値取得部１７は、デバイス非依存の色信号値（Ｘ，Ｙ，Ｚ）と、Ｌ^＊ａ^＊ｂ^＊値と、を評価値として表示装置２に表示する。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置１は、撮像画像データを基に表示画像データを生成し、表示画像データを基に評価値を取得した。これにより、物体の撮像画像を基に、ユーザの領域指定に対してリアルタイムに実物の色を評価することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置
１１ 画像データ取得部
１２ 表示画像生成部
１５ 評価値算出部

Claims (18)

1. 物体を撮像して得られる撮像画像データを取得する取得手段と、
   前記撮像画像データが表す撮像画像に含まれる各画素の第１色信号値を前記物体の輝度に対して非線形な色信号値を得るための第１ルックアップテーブルを用いて表示手段の特性に応じた第２色信号値に変換することによって、表示画像データを生成する生成手段と、
   前記表示画像データが表す表示画像においてユーザに指定された複数の領域に対応する色の評価値を、前記物体の輝度に対して線形な評価値を得るための第２ルックアップテーブルを用いて算出する算出手段と、
   前記複数の領域と、前記評価値と、を対応付けて前記表示手段に表示する表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記複数の領域には、第１評価値に対応する第１領域と、第２評価値に対応する第２領域と、が含まれ、
   前記表示制御手段は、前記第１評価値と前記第１領域とを第１色で表示し、前記第２評価値と前記第２領域とを前記第１色とは異なる第２色で表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の領域には、第１評価値に対応する第１領域と、第２評価値に対応する第２領域と、が含まれ、
   前記表示制御手段は、前記第１評価値と前記第１領域との周囲に第１記号を表示し、前記第２評価値と前記第２領域との周囲に前記第１記号とは異なる第２記号を表示することを特徴とする請求項１に記載の画像処理装置。
4. 前記複数の領域には、第１評価値に対応する第１領域と、第２評価値に対応する第２領域と、が含まれ、
   前記表示制御手段は、前記第１評価値と前記第１領域とを特定する枠の形を第１形状として表示し、前記第２評価値と前記第２領域とを特定する枠の形を前記第１形状とは異なる第２形状として表示することを特徴とする請求項１に記載の画像処理装置。
5. 前記生成手段は、前記第１色信号値と前記第２色信号値との対応関係を保持する前記第１ルックアップテーブルを用いて前記表示画像データを生成することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
6. 前記表示手段の特性は、前記表示手段が表示可能な輝度に関する特性であることを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
7. 前記複数の領域には、前記表示画像における前記物体の一部に対応する領域が２つ含まれることを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
8. 前記評価値は、前記物体の一部に対応する２つの領域間の色差であることを特徴とする請求項７に記載の画像処理装置。
9. 前記物体は複数の部品から成る工業製品であって、
   前記評価値は、前記複数の部品間の色差であることを特徴とする請求項８に記載の画像処理装置。
10. 前記撮像画像が表す撮像画像に含まれる各画素の第１色信号値をデバイス非依存の第３色信号値に変換することによって、評価用画像データを生成する第２生成手段をさらに有し、
    前記算出手段は、前記評価用画像データに基づいて、前記評価値を算出することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記第２色信号値は前記物体の輝度に対して非線形な値であって、
    前記第３色信号値は前記物体の輝度に対して線形な値であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記ユーザの指示に応じて、前記複数の領域を表す領域情報を受け付ける受付手段をさらに有し、
    前記算出手段は、前記領域情報に基づいて、前記評価値を算出することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
13. 前記評価値は、デバイス非依存の色信号値であることを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
14. 前記第１ルックアップテーブルは、知覚的ガマットマッピングにより得られたルックアップテーブルであることを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. 前記第２ルックアップテーブルは、３×３マトリクスを用いて得られたルックアップテーブルであることを特徴とする１乃至請求項１４のいずれか一項に記載の画像処理装置。
16. 前記表示制御手段は、さらに、色空間における前記評価値に対応する色の位置と、前記評価値を算出するために用いた白色点の色情報とを前記表示手段に表示することを特徴とする請求項１乃至請求項１５のいずれか一項に記載の画像処理装置。
17. コンピュータを請求項１乃至請求項１６のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
18. 物体を撮像して得られる撮像画像データを取得する取得ステップと、
    前記撮像画像データが表す撮像画像に含まれる各画素の第１色信号値を前記物体の輝度に対して非線形な色信号値を得るための第１ルックアップテーブルを用いて表示手段の特性に応じた第２色信号値に変換することによって、表示画像データを生成する生成ステップと、
    前記表示画像データが表す表示画像においてユーザに指定された複数の領域に対応する色の評価値を、前記物体の輝度に対して線形な評価値を得るための第２ルックアップテーブルを用いて算出する算出ステップと、
    前記複数の領域と、前記評価値と、を対応付けて前記表示手段に表示する表示制御ステップと、
    を有することを特徴とする画像処理方法。

Images