WO2005124302A1

WO2005124302A1 - 画像処理プログラム、画像処理装置、及び画像処理方法

Info

Publication number: WO2005124302A1
Application number: PCT/JP2004/014783
Authority: WO
Inventors: Takao Furukawa
Original assignee: Digital Fashion Ltd.
Priority date: 2004-06-17
Filing date: 2004-09-30
Publication date: 2005-12-29
Also published as: JPWO2005124302A1

Abstract

　顔と色票とを同時に撮影し、測色対象となる動画像を取得するカメラ１と、前記動画像を構成するフレーム画像に表示された各色標本から、各色標本に対する撮影色データを算出する撮影色データ算出部２３と、予め記憶されている各色標本に対する基準色データと、撮影色データとを用いて変換行列を算出する変換行列算出部２４と、フレーム画像に対して、顔の特徴点を基に、標本領域を設定する標本領域設定部２５と、設定された標本領域のＲＧＢ値を算出し、算出したＲＧＢ値に変換行列を乗じ、補正ＲＧＢ値を算出する補正部２６と、補正ＲＧＢ値に所定の色変換を施し、計算測色値を算出する測色値算出部２７とを備える。

Description

明細書画像処理プログラム、画像処理装置、及び画像処理方法技術分野

本発明は、測色対象物が撮影された画像を用いて測色対象物を測色する画像処理技術に関するものである。背景技術

近年、客の顔の動画像を動画カメラで撮影し、客の顔に仮想的な化粧を動的に施す化粧シミュレー夕が知られており、この化粧シミュレー夕を店頭に設置し、化粧品の販売促進を図る化粧品販売店が増大しつつある。この場合、顔の肌の測色値をリアルタイムに算出し、得られた測色値を参考にして、販売員が客に適合する化粧品を選び、客に提案する販売形態の実現が望まれている。

ここで、物体の色を測定する装置として測色計が広く知られており、この測色計を用いて客の顔の色を測色することも可能であるが、測色計で計測できるのは限られた一部の領域（微小領域）であるため、測色形により得られたデータは、領域により色変動が大きい箇所の色（例えば人物の顔の肌色）の評価には不十分なデータといえる。

一方、パソコンと、パソコンとは異なる場所に設けられ、被験者の顔画像を撮影するカメラ装置とを備え、カメラ装置にて被験者の顔画像と現物の色票とを同時に撮影し、撮影した画像をパソコンに送信し、この画像を受信したパソコンは、自己が保有する基準色票データ（基準色データ）と受信した画像に含まれる基準色票データ（撮影色データ）とにより前記力メラ装置の色特性（補正データ）を求め、この色特性を用いて、受信した画像に含まれる顔画像に対し顔色の補正を行なう化粧シミュレーション装置が知られている（特開 2 0 0 2— 1 3 1 1 3 5号公報）。発明の開示

しかしながら、特開 2 0 0 2— 1 3 1 1 3 5号公報記載の発明は、静止画像に対する処理を示唆するものであり、動画像に対する処理を示唆する記載が全くなされていない。また、色特性の算出過程、及び算出した色特性からどのようにして顔画像が補正されているかについての具体的な記載が全くなされておらず、かかる記載に基づいて、測色対象物が撮影された動画像を用いて測色値をリアルタイムに算出することは困難である。

本発明の目的は、測色計を用いることなく測色対象物が撮影された動画像から、測色対象物の測色値をリアルタイムに算出することができる画像処理プログラム、画像処理装置、及び画像処理方法を提供することである。本発明にかかる画像処理プログラムは、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色するための画像処理プログラムであつて、複数の色標本から構成される色票と前記測色対象物とが同時に撮影されたカラー動画像を取得する画像取得手段、前記カラー動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出する撮影色デー夕算出手段、前記色票を構成する各色標本の測色値から得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出する補正データ算出手段、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段、前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段としてコンビユー夕を機能させることを特徴とする。

本発明によれば、測色対象物と色票とが同時に撮影されたカラー動画像を構成するフレーム画像から、各色標本が表示された領域が検出され、検出された領域の画素データを基に、色標本毎の撮影色データが算出される。そして、各色標本に対する測色値を基に算出された基準色データと、撮影色データとを用いて、補正データが算出される。一方、フレーム画像に表示された測色対象物の特徴点を基に、測色対象領域が設定され、当該領域の色データが算出され、この色データに対し前記補正データを用いた演算が施され、測色対象物の測色値が算出されている。これにより、色データは撮影に使用されたカメラや照明等の特性が排除された値に補正される。したがって、測色計を用いなくとも、測色対象物が撮影されたカラー動画像から測色値をリアルタイムに得ることができる。さらに、測色対象領域を設定して測色値の算出が行なわれているため、フレーム画像中に表示された測色対象物内の領域を正確に検出することができ、測色値を高精度、かつ、高速に算出することができる。

また、前記補正データ算出手段は、線形モデルを用いて、前記補正デー夕を算出することが好ましい。

この構成によれば、線形モデルを用いて補正デ一夕が算出されているため、測色対象物の測色値を高速、かつ、高精度に算出することができる。また、前記補正データ算出手段は、二次関数モデルを用いて、前記補正データを算出してもよい。

この構成によれば、二次関数モデルを用いて補正データが算出されているため、測色対象物の測色値をより高精度に算出することができる。また、前記測色対象物は人物の顔であり、前記測色対象領域は、顔の肌の領域であることが好ましい。

この構成によれば、人物の顔と色票とが同時に撮影されたカラー動画像が取得され、このカラー動画像のフレーム画像に対し、顔の肌の領域に測色対象領域が設定され、測色値が算出されているため、測色計を用いることなく、顔の肌の測色値を得ることができる。

また、前記領域設定手段は、フレーム画像の瞳を前記特徴点として検出し、検出した瞳から眉間の位置を検出し、当該位置に前記測色対象領域を設定することが好ましい。

この構成によれば、人物の前方にカメラを設置した場合、カメラの光軸に対してほぼ垂直となり、反射光強度が安定する眉間が測色対象領域として設定されているため、測色値を高精度に算出することができる。また、両側に眼が存在することから比較的検出が容易な眉間の部分に測色対象領域が設定されているため、高速かつ高精度に顔の肌の色を算出することができる。特に、リアルタイムで測色値を算出するうえで、眉間を標本領域に設定することは有用となる。

また、前記色票は、少なくとも肌色の色標本を含むことが好ましい。この構成によれば、肌色の色標本を含む色票が採用されているため、肌の測色値を高精度に算出することができる補正データが得られ、測色計により得られる測色値により近い測色値を算出することができる。

また、自己のァ特性値を用いて、前記カラー動画像をァ変換して表示する表示手段を更に備え、前記基準色データ算出手段は、前記測色値に対して前記ァ特性値によるァ補正を施した値を前記基準色デ一夕として算出し、前記測色値算出手段は、前記測色対象領域の色データに対し前記 7"特性値による逆ァ補正を施した値を測色値として算出することが好ましい。

この構成によれば、カラー動画像は表示装置のァ特性値を用いてァ変換が施されて表示装置に表示されているが、前記基準色データも、表示装置のァ特性値によりァ変換されているため、より正確な測色値を算出しうる補正データを得ることができる。さらに、この補正データを用いて算出された測色値は、ァ逆変換が施されているため、ァ補正の影響が除去された測色値を算出することができる。

また、前記色票は、少なくとも 3個の色標本を含み、前記撮影色データ算出手段は、色票を構成する複数の色標本のうち、特定範囲の色相で、彩度及び明度のうち少なくともいずれか一方が相対的に高い少なくとも 2個の色標本の領域を検出し、検出した各領域の位置関係を基に、予め記憶している色標本の配列パターンにしたがって、他の色標本の領域を補間により検出することが好ましい。

この構成によれば、複数の色標本のうち、特定範囲の色相で、彩度及び明度のうち少なくともいずれか一方が相対的に高い少なくとも 2個の色標本の領域が検出され、検出された各領域の位置関係を基に、予め記憶している色票の配列パターンにしたがって、他の色標本の領域が補間により検出されているため、各色標本に対する撮影色データをより確実に得ることができる。

本発明にかかる画像処理装置は、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理装置であって、複数の色標本から構成される色票と前記測色対象物とを同時に撮影し、前記カラ一動画像を取得する画像取得手段と、前記カラー動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出する撮影色データ算出手段と、前記色票を構成する各色標本の測色値を基に得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出する補正データ算出手段と、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段と、前記測色対象領域の画素データを基に、前記測色対象領域の色デ一夕を算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段とを備えることを特徴とする。

この構成によれば、測色計を用いなくとも、測色対象物が撮影された力ラー画像から、測色値を高精度に、しかもリアルタイムに算出することができる。

本発明にかかる画像処理方法は、コンピュータが、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理方法であって、前記コンピュータは、画像取得手段、撮影色データ算出手段、補正デ一夕算出手段、領域設定手段、及び測色値算出手段を備え、前記画像取得手段が、前記色票と前記測色対象物とを同時に撮影し、前記カラー動画像を取得するステップと、前記撮影色データ算出手段が、前記カラー動画像を構成するフレーム画像に対して各色標本が表示された領域を検出し、検出した領域の画素デ一夕を基に、各色標本に対する撮影色データを算出するステツプと、前記補正データ算出手段が、前記色票を構成する各色標本の測色値から得られる色標本毎の基準色デ一夕と前記撮影色データとを用い、補正データを算出するステップと、前記領域設定手段が、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定するステップと、前記測色値算出手段が、前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正デ一夕を用いた演算を施し、測色値を算出するステップとを備えることを特徴とする。

この構成によれば、測色計を用いなくとも、測色対象物が撮影された力ラー画像から、測色値を高精度に、しかもリアルタイムに算出することができる。図面の簡単な説明

図 1は、本実施形態による画像処理装置のプロック構成図である。

図 2は、図 1に示す画像処理装置の動作を示すフローチヤ一トである。図 3は、カメラにより撮影された画像を示した図面である

図 4は、特徴点が検出されたフレーム画像を示した図面である。

図 5は、図 2に示すフローチヤ一トのサブルーチンを示したフローチヤ —卜である。

図 6は、図 3に示すフレーム画像において、色標本が表示された領域を拡大して示した図面である。

図 7は、基準色データの算出処理を示すフローチャートである。

図 8は、本画像処理装置により算出された補正 RGB値を示した表である。発明を実施するための最良の形態

以下、本発明の実施形態について図面を参照しつつ説明する。図 1は、本実施形態による画像処理装置のブロック構成図を示している。本画像処理装置は、カメラ 1、及びコンピュータ 2から構成されている。カメラ 1 は、動画像を撮影するカラーカメラであり、所定のフレームレート（例えば 1秒あたり 3 0フレーム）で測色対象物である人物の顔及び色票を同時に撮影して測色対象となる画像を取得し、この測色対象画像にアナログデジタル変換を施し、フレームメモリ 2 1に出力する。

コンピュータ 2 は、 C P U ( central processing uni t ) 、 R OM (read only memory) 、 RAM (random access memory) 、ノヽードデイスク等の外部記憶装置、表示装置、入力装置等を備える通常のパーソナルコンピュー夕から構成されている。外部記憶装置には、本発明にかかる画像処理プログラムが記録されており、 C P Uはこの画像処理プログラムを実行することにより、各ブロックに示される機能を実現する。

コンピュータ 2は、フレームメモリ 2 1、基準色データ記憶部 2 2、撮影色データ算出部 2 3、変換行列算出部 2 4、標本領域設定部 2 5、補正部 2 6、測色値算出部 2 7、基準色データ算出部 2 8、表示制御部 2 9、及び表示部 3 0を備えている。フレームメモリ 2 1は、カメラ 1によって撮影された所定枚数のフレーム画像の画像データを記憶する。ここで、 1 枚のフレーム画像は、人間の顔の画像（顔画像）及び色票を含む所定の行 X列の画素がマトリックス形式で配列された矩形状の画像であり、各画素の画素デ一夕は、 R (赤）， G (緑）， B (青）の色成分からなり、各色成分は、例えば 0〜 2 5 5の 2 5 6階調で表される。色票は、紙やプラスチック等のベース部材の表面に複数の色標本が所定パターンで配置されたものである。本実施形態では、色標本が 2行 1 0列で 2 0個配列された色票を用いる。ここで、各色標本は、同一の縦及び横サイズを有し、 1色からなる矩形状の領域である。この色標本は、ベース部材上に市販の色標本を貼り付けることで実現してもよいし、ベタ印刷することで実現してもよい。

基準色データ記憶部 2 2は、各色標本を所定の測色条件下で測色することで得られた測色値に対して、基準色データ算出部 2 8が所定の演算を施すことで算出した基準色データを、対応する色標本と関連付けて記憶している。

撮影色デ一夕算出部 2 3は、フレームメモリ 2 1から 1枚のフレーム画像を撮影順に読み出し、フレーム画像に対して、色標本を検出するための色標本検出領域を設定し、設定した色標本領域内において、所定の 2色の色標本が表示された領域を、予め記憶しているその色の彩度、色相、明度の基準値を用いて検出し、検出した 2つの領域の位置関係から、予め記憶している色標本の配列パターンにしたがって、他の色標本が表示された領域を検出し、検出した各領域内の所定の画素デ一夕の平均値を、各色標本に対する撮影色データとして算出する。

変換行列算出部 2 4は、撮影色データ算出部 2 3により算出された撮影色データと、基準色データ記憶部 2 2に記憶された基準色データとを、後述する線形モデル又は二次関数モデルにより対応づけ、カメラ 1により撮影された画像からカメラ 1及び照明等の特性を排除するための変換行列 (補正データ）を算出する。

標本領域設定部 2 5は、撮影色データ算出部 2 3によって読み出されたフレーム画像と同一のフレーム画像をフレームメモリ 2 1から読み出し、読み出したフレーム画像に対して、本出願人によって出願された特開 2 0 0 3 - 448 3 7号公報に記載された手法を用いて顔の特徴点を検出し、検出した特徴点から、顔内の所定の箇所に標本領域（測色対象領域）を設定する。

補正部 2 6は、前記標本領域の画素データの平均値を算出し、算出した平均値に対し、前記変換行列を乗ずることにより補正 RGB値を算出する。これにより、照明、カメラ等の特性が排除された標本領域の RGB値が得られる。

測色値算出部 2 7は、補正 RGB値に対し表示部 3 0のァ特性値、黒画素の残留輝度を加味した所定の演算を施し、 RGB強度を算出し、算出した RGB強度に所定の行列を乗じ、 R GB強度を C I E (国際照明委員会）一 XYZ表色系（以下、 XYZ表色系と略す）に変換し、得られた X Y Z値を C I E— L * a * b *表色系（以下 L a b表色系と略す）、 L CH 表色系に順次変換して計算測色値を算出する。

基準色データ算出部 ₂8は、カメラ 1によって撮影される色票と同一の色票の各色標本に対する L a b表色系による測色値を取得し、取得した測色値を XYZ表色系に変換し、得られた XYZ値に対し、所定の行列を乗じて、 RGB強度を算出し、算出した RGB強度に対して、表示部 3 0のァ特性、基準白色の RGB値、及び黒画素の残留輝度を加味した所定の演算を施し、基準色データを算出し、基準色データ記憶部 2 2に記憶させる。なお、各色標本に対する測色値はユーザが測色計を用いて実際に測定したものを用いても良いし、ユーザ以外の第三者によって測色計を用いて予め測定されたものを用いても良い。また、後者の場合、基準色データを予め算出しておき、基準色データ記憶部 2 2に記憶させておくことが好ましレ。表示制御部 2 9は、フレームメモリ 2 1から 1枚のフレーム画像を順次読み出し、表示部 3 0のァ特性値によるァ補正を施し、カメラ 1により撮影された画像を表示部 3 0にリアルタイムで表示させるとともに、フレーム画像毎に算出された計算測色値を表示部 3 0にリアルタイムで表示させる。表示部 3 0は、 C R T、プラズマディスプレイ、液晶ディスプレイ等から構成され、表示制御部 2 9の制御の下、種々の画像を表示する。

なお、本実施形態では、カメラ 1が画像取得手段の一例に相当し、撮影色データ算出部 2 3が撮影色データ算出手段の一例に相当し、変換行列算出部 2 4が補正データ算出手段の一例に相当し、標本領域設定部 2 5が、領域設定手段の一例に相当し、補正部 2 6及び測色値算出部 2 7が測色値算出手段の一例に相当する。

次に、本画像処理装置の動作を図 2に示すフローチヤ一トを用いて説明する。このフローチャートでは、顔の眉間の色を測色する場合を例に挙げて説明する。まず、ステップ S 1において、カメラ 1は、人物の顔及び色票を同時に撮影する。図 3は、カメラ 1により撮影された画像を示した図面である。図 3に示すように、この画像には、顔の首のあたりに色票 C C が撮影されていることが分かる。なお、色票 C Cの大きさは、顔全体が 1 枚のフレーム画像に収まるような形状及びサイズを有するものが好ましく、具体的には、縦寸法 L 1が人物の首の一般的な長さより少し短く、かつ、横寸法 L 2が人物の顔の幅より少し長い程度が好ましい。

ここで、色票に含まれる色標本の数が少ない場合、カメラ 1により撮影された画像を測色条件下で撮影された画像に精度よく変換させることができる変換行列を得ることができず、高精度な計算測色値を得ることが困難となる。そのため、高精度な計算測色値を得るという観点からは色標本の数は多い方が好ましいが、そうすると、計算量が膨大になってしまう。また、色票のサイズが大きくなると、色票と顔とを同時に撮影した場合、顔が 1枚のフレーム画像に納まらなくなってしまう。そこで、本画像処理装置では、色標本が 2行 1 0列で配列された色票を用いている。また、本画像処理装置は、眉間の色、すなわち、肌の色を測定するものである。そのため、本画像処理装置では、 1行目に、それぞれ色が多少相違する肌色の色標本が 1 0個配列された色票を用いている。

具体的には、 1行目の 1〜 1 0列目には、それぞれ、 D 6 5光源下で、 b値が（6 8， 9. 1 , 2 5. 1) , ( 74. 4, 8. 3， 2 3.

(8 5. 4. 9, 1 9. 9) , (6 5. 6, 1 3. 4, 1 9. (7 3. 1 1. 6 , 1 8. 4) , (8 2. 9， 9. 1 , 1 6. (9 0. 4. 0， 1 1. 1 ) ， (8 2. 1， 1 7. 1 , 2 5. (8 8. 4. 3, 24. 1 ) ， (8 5. 3, 1 0. 6, 1 3. 5) の肌色の色標本が配列されている。また、 2行目の 1〜 1 0列目には、それぞれ、 D 6 5光源下で、 L a b値が（9 3. 1， 1. 5, 1. 0) の白、（7 6. 8, 0. 4， 2. 9) の薄いグレー、（ 54. 8, 0. 4， 1. 8) のグレー、（3 0. 2， 0. 6、 — 0. 8) の濃いグレー、（5 2. 6 , 6 3. 5, 26. 1 ) の赤、（8 7. 3，一 5. 6 , 8 1. 5) の黄色、（5 8. 1 , - 54. 9, 2 0. 2 ) の緑、（46. 9, - 2 9. 4, - 2 1. 7 ) の青、（43. 7 , 9. 2， — 42. 8) の水色、（4 2. 4, 3 5. 9、 - 2 8. 1 ) の紫の色標本が配列されている。

ここで、高精度の計算測色値を算出するために照明及び色票間の距離と, 照明及び顔面間の距離とをほぼ等距離とし、かつ、カメラ 1及び色票間の距離と、カメラ 1及び顔面間の距離とをほぼ等距離とし、照明と顔との反射強度が等しくされている。これを実現するために、例えば、被写体である人物が椅子に腰掛けた際、正面視において人物の首の位置に色票を配置させ、かつ、側面視において顔の前面とほぼ面一に色票を配置する色票台を用い、カメラ 1を顔の正面前方に配置し、照明を顔の正面前方に配置して顔を撮影している。また、顔面照射用の照明と、色票照射用の照明とを

2つ設け、顔面照射用の照明及び眉間間の距離と、色票照射用の照明及び色票間の距離とがほぼ等距離となるように、両照明を配置して顔を撮影している。この場合、両照明が照射する光量を同一にしていることは言うまでもない。

次に、撮影色データ算出部 2 3は、フレームメモリから 1枚のフレーム画像を読み出し（ステップ S 2) 、読み出したフレーム画像に表示された各色標本の画像から撮影色データを算出する（ステップ S 3) 。ステップ

0 S 3の処理の詳細については後述する。ここで、撮影色データは、 R， G, Bの色成分からなるデ一夕である。

ステップ S 4において、変換行列算出部 24は、線形モデル又は二次関数モデルを用いて変換行列を算出する。まず、線形モデルについて説明する。

(線形モデル）

線形モデルは、式（ 1 ) に示すように各色標本の撮影色データからなる撮影色行列 Xと、各色標本の基準色データからなる基準色行列 Yとが、変換行列 Aを用いて対応付けられたモデルである。

ただし、添え字 i (= 1， 2 , · ··, n) は、各色標本に対する番号 (色番号）を示し、基準色行列 Yは、 3 Xnの行列であり、各列には、各色標本の基準色データ [Rい G _{i ;} B が色番号順に配列された行列である。撮影色行列 Xは、 4 X nの行列であり、 1行目の各列には 1が配列され、 2〜4行目の各列には、各色標本に対する撮影色デ一夕 [R i ' ， G i ' , B i ' ]が、色番号順に配列された行列である。

変換行列 Aは、 a a ;^の計 1 2個の要素からなる 3 X 4の行列である。なお、本実施形態では、 2 0個の色標本からなる色票を用いているため、 n = 2 0、すなわち、 i = ( l , 2 , · · · , 2 0) である。そのため、基準色行列 Yは 3 X 2 0の行列となり、撮影色行列 Xは 4 X 2 0の行列となる。また、色番号は、色票の 2行目の 1列目から 1 0列目までの各色に対して、 1〜 1 0番の色番号が順番に付与されているとともに、 1 行目の 1列目から 1 0列目までの色に対して、 1 1〜2 0番の色番号が順番に付与されている。

次に、式（2) において、式（ 1 ) を基準色行列 Yの 1行目を行列 R、 2行目を行列 G、 3行目を行列 Bとして表し、基準色行列 Yを Y= [R G B]^Tとおく。また、変換行列 Aの 1行目を行列 aい 2行目を行列 a ₂、 3行目を行列 a ₃として表し、変換行列 Aを行列 a ₂ a ₃]^Tとおく。

"R" "Ri ₂ ·.· R_n "ai" "an i2 i3

Y= G Gi ·.· j_n ，A= a2 = & 21 22 & 23 a24

-Bi B₂ ··· B_n. a3. .a3i ¾32 & 33 34.

R^T= X^Tai

G^T= X^Ta₂ (3)

B^T=X^Ta₃

すると、 R^T、 G^T、 B^Tは、式（3) で表され、式（ 3) の 3つの式のそれぞれに対し、撮影色行列 Xを左から乗ずると、式（4) が得られる。ここで、撮影色行列 Xは 4 X nの行列であり、 R^T、 G^T、 Β^τはそれぞれ， n X 1の行列で.あるため'、式（4) に示す XR^T、 XG^T、 XB^Tは 4 X 1 の行列となる。また、撮影色行列 Xは 4 X nの行列であり、 Χ^τは n X 4 の行列であるため、 XX^Tは 4 X 4の行列となる。したがって、式（4) の：！〜 3段目の式は、それぞれ、 a , a ₁₂， a ₁₃, a ₁₄を変数とし、 a 2！ , a ₂₂, a 2 3 , a ₂₄を変数とし、 a _{3 i}, a ₃₂, a ₃₃, a ₃₄を変数とする 4元 1次の連立方程式となる。そして、この連立方程式を解けば、変換行列 Aを算出することができる。

ゆえに、線形モデルを用いた場合、変換行列算出部 24は、前記 nを n = 2 0とし、取得した撮影色データと、基準色デ一夕とを用いて、式 (4) の方程式を解き、変換行列 Aを算出する。

(二次関数モデル）

次に、二次関数モデルについて説明する。なお、二次関数モデルは、一次元モデルと比べると計算量は多くなるが、より高精度な計算測色値を算出することが可能である。二次関数モデルは、式（5) に示すように、変換行列 Aとして 3 X 1 0の行列を用い、撮影色行列 Xとして 1 0 X nの行列をB RG用いたモデルである。撮影色行列 Xは、 1〜 4行目の各列は線形モデルの撮影B RG色行列 Xと同一であり、 5〜 1 0行目の各列には、 R i， R i ' , R G , ' ， R i ' B i ' , G , ' G ' G； ' B _s ' , B B が色番号順に配列さB RGれている。

Y=AX " 1 1 ·< - 1 一

Ri R₂， ·' . Rn

Gi' G₂， ·' • G_n'

Bi' B₂， ·. . B_n,

ai.i i,2 ·' ai,io

n ,1 ,2 ·' 2,io Ri'Ri' R2R2 .' • Rn Rn

(5) n J a3,ioJ Ri'Gi' R2G2 ·· • i

Ri'Bi' R2 B2' ·· • RnB_n

Gi'Bi G2B2 ·· • G_nB_n

Bi'Bi' B₂，B₂， ·· • B_n，B_n，- そして、式（6) に示すように、線形モデルと同様にして、基準色行列 Yの 1〜3行目を行列 R, G, Bで表し、変換行列 Aの 1〜 3行目をそれぞれ行列 1 » 2 3で表す。

"R" "Ri 2 … R_n 一 ai^_ ai,i ai,2 · • ai,io"

Y= G = Gi G₂ … G_n a₂ 9>2，1 ¾2,2 ·' • ¾2,10 (6)

Β. .Bi B₂ … Bn. a3. β3,1 ¾3,2 ·' • ¾3,10.

R^T=X^Tai

G^T= X^Ta₂ (7)

B^T= X^Ta₃

XR^T = XX^Tai

XG^T = XX^Ta₂ (8)

XB^T = XX^Ta₃ すると、線形モデル同様、式（ 5) は式（7) で表され、式（7) の両辺に対し左から撮影色行列 Xを乗ずることにより式（8) が得られる。ここで、撮影色行列 Xは 1 0 X nの行列であり、 R^T, G^T， Β^τはそれぞれ n X lの行列であるため、式（8) に示す XR^T， XG^T, XB^Tはそれぞれ 1 0 X Iの行列となる。また、撮影色行列 Xは 1 0 X nの行列であり、 Χ^τは n X 1 0の行列であるため、式（ 8 ) に示す XX 1 0 X 1 0の行列となる。したがって、式（8) の 1〜 3段目の式は、それぞれ、 i〜 a 1。を変数とし， a ₂, i〜 a ₂, 1。を変数とし、 a ₃, i〜a ₃, i₀を変数とする 1 0元 1次の連立方程式となる。そして、この連立方程式を解けば、変換行列 Aを算出することができる。

ゆえに、二次関数モデルを用いた場合、変換行列算出部 24は、前記 n を n= 2 0とし、取得した撮影色デ一夕と、基準色デ一夕とを用いて、式 (8) の方程式を解き、変換行列 Aを算出する。

図 2に示すステップ S 5において、標本領域設定部 2 5は、図 4に示すように、左右の瞳 B Eを特徴点として検出し、検出した特徴点の位置関係から、眉間の位置を特定し、特定した位置に標本領域 R 1を設定する。この標本領域 R 1は縦寸法が目頭 P 1及び眉頭 P 3の間の距離より少し短く、横寸法が目頭 P 1及び P 2間の距離よりも少し短い矩形状の領域である。図 2に示すステップ S 6において、補正部 2 6は、標本領域 R 1の画素データの R, G, Bの色成分毎の平均値を算出する。

ステップ S 7において、補正部 2 6は、線形モデルが採用されている場合は、式（ 1 ) の， G _s ' ， B に前記平均値を代入するとともに、式（ 1 ) の Aに線形モデルにおいて算出された変換行列 Aを代入し、補正 RGB値を算出する。この場合、変換行列 Aは 3 X 4の行列であり、撮影色行列 Xは、 4 X 1の行列であるため、補正 RGB値は、 3 X Iの行列となる。

また、補正部 2 6は、変換行列 Aが二次関数モデルにより算出されている場合は、式（5) の R ， G , ' , B , ' に前記平均値を代入するとともに、式（2) の Aに二次関数モデルにおいて算出された変換行列 Aを代入し、補正 RGB値を算出する。この場合、変換行列 Aは 3 X 1 0の行列であり、撮影色行列 Xは、 1 0 X 1の行列であるため、補正 RGB値は、線形モデル同様、 3 X Iの行列となる。

4 ステップ S 8において、測色値算出部 2 7は、式（9) の演算を行い、補正 RGB値に対する RGB強度 Y_r， Y_g， Y_bを算出する。

伹し、 R, G, Bは補正 RGB値を示し、 Y_{Q r}， Y。_g, Y。_bは黒色画素の残留輝度を示し、 W_r， W_g， W_bは基準白色の RGB値を示し、 h _r h _g， h _bは RGB強度と残留輝度との差の値域を示し、ァは表示部 3 0 のァ特性値を示している。ここで、基準白色の R GB値は、（W_r， W_g W_b) = (2 5 5, 2 5 5, 2 5 5 ) であり、残留輝度の RGB値は（Y

0 r Y 0 g - Y_{0 b}) = ( ) であり、（h _r， h _g， h _b) ( 1

5 0 0, 1 5 00, 1 5 0 0 ) である。また、式（9) の括弧内の値はァ乗されており、これにより、表示部 3 0のァ特性値により逆ァ補正がされた R G B強度を得ることができる。

ステップ S 9において、測色値算出部 2 7は、式（ 1 0) の演算を行い、ステップ S 8で算出された R GB強度に対する XY Z値を算出する。ステップ S 1 0において、測色値算出部 2 7は、式（ 1 1 ) の演算を行い、ステツプ S 9で算出された XYZ値に対する L a b値を算出する。

5 L*-116.0*Y'-16.0

a* = 500.0(X，-Y，） (11)

,b* = 200.0(Y，-Z，）

ただし、 Χ',Υ',Ζ'は大きさにより次のように決定する

Χ_η> 0.0008856→X'=Xj^/3

(12)

X_n≤ 0.0008856→X，= 7.789 + X_n+ 16.0/116.0

Y_n> 0.0008856→Y'=Yj^/3

(13)

Y_n <0.0008856→Υ'= 7.789 + Yn + 16.0/116.0

Z_n > 0.0008856→Z' = Zj^/3

(14)

Z_n≤ 0.0008856→ Z， = 7.789 + Z_n + 16.0/116.0

但し、 X' , Y ' , Ζ ' はそれぞれ、式（ 1 2 ) 〜式（ 1 4) によって算出される。式（ 1 2 ) 〜（ 1 4 ) に示す Χ_η, Υ_η， Ζ _ηは、（Χ_η, Υ _η, Ζ _η) = (Χ/Χ₀, Ύ/Ύ ₀, ΖΖΖ。）で与えられる。ここで、 Χ。, Υ ο, Ζ。は、基準白色に対する ΧΥ Ζ値を示し、光源の色温度を 6 5 0 0 K (D 6 5 ) として現物の色票が測色された場合は、（Χ ₀, Υ ₀, Ζ ₀) = ( 9 5. 0 4 7 0 , 1 0 0. 0， 1 0 8. 8 8 2 7 ) で与えられ、光源の色温度を 5 0 0 O K (D 5 0 ) として現物の色票が測色された場合は、（Χ。， Υ。， Ζ。） = ( 9 6. 4 2 5 0， 1 0 0. 0 , 8 2. 4 6 8 0 ) で与えられる。式（ 1 2 ) 〜（ 1 4) に示すように、 Χ_η， Υ_η, Ζ _η の値が、それぞれ 0. 0 0 0 8 8 5 6より大きい場合は、式（ 1 2 ) 〜 ( 1 4 ) の上段右側に示す式を用いて X ' , Y ' ， Z ' が算出され、 Χ_η， Υ_η， Ζ _πの値が 0. 0 0 0 8 8 5 6以下の場合は、式（ 1 2 ) 〜式（ 1 3 ) の下段右側に示す式を用いて X' ， Y' ， Z ' が算出されている。ステップ S 1 1において、測色値算出部 2 7は、式（ 1 5 ) を用いて、ステップ S 1 0で算出された L a b値を極座標系である L CH表色系に変換し、 L CH値を算出する。これにより計算測色値が算出される。

6 ステップ S 1 2において、最終のフレーム画像に対する処理が終了していない場合（ステップ S 1 2で NO) 、撮影色データ算出部 2 3は、フレームメモリ 2 1から次のフレーム画像を読み出し（ステップ S 1 3) 、処理をステップ S 3に戻す。この場合、撮影色データ算出部 2 3は、所定枚数おきにフレーム画像を読み出しても良いし、 1枚ずつフレーム画像を読み出しても良い。一方、最終のフレーム画像に対する処理が終了している場合（ステップ S 1 2で YE S) 、処理が終了される。

次に、ステップ S 3のサブルーチンについて図 5に示すフローチヤ一卜を用いて説明する。ステップ S 3 1において、撮影色データ算出部 2 3は、フレーム画像に対し、色票が表示された領域を検出するための色票検出領域を設定する。本実施形態では、色票は、フレーム画像の下側 4分の 1の以下の領域に表示されるように撮影されている。したがって、撮影色デ一夕算出部 2 3は、フレーム画像の下側 4分の 1程度の領域に矩形状の色票検出領域を設定する。図 6は、図 3に示すフレーム画像において、色票の領域を拡大して示した図面である。図 6に示すように、フレーム画像に対し色票 C Cを含む色票検出領域 R 2が設定されていることが分かる。なお、図 6において、人物の画像は省略している。

ステップ S 3 2において、撮影色データ算出部 2 3は、図 6に示すように色票検出領域内 R 2において、赤，青の色標本 CR, C Bの領域を検出する。具体的には、撮影色データ算出部 2 3は、色票検出領域 R 2を RG B表色系から HS V表色系に変換し、予め記憶している赤及び青に対する H (色相）， S (彩度）， V (強度）の数値範囲を満たす領域を色票検出領域 R 2から検出し、赤及び青の色標本 CR， C Bの領域を検出する。なお、撮影色デ一夕算出部 2 3は、赤、青以外の色標本の領域を検出してもよく、また、 2色以上の色標本を検出してもよい。ただし、検出精度高めるためには赤や青等の相対的に彩度の高い色標本を検出することが好ましい。

ステップ S 3 3において、撮影色データ算出部 2 3は、検出した赤，青の色標本 C R, C Bの領域の重心 OR, OBを基準位置として特定し、両基準位置の距離を算出し、予め記憶している色標本の配列パターンに従つて、各色標本が表示された領域の重心 oを特定する。具体的には、重心 o

R , O B間の線分 K 1の距離を算出し、赤，青間には、 3個の色標本が存在しているため、線分 K 1を 4等分して得られる 3個の内分点を赤，青間に存在する 3個の色標本に対する重心〇として特定する。また、隣接する重心 0間の距離を色票の横サイズ K 2として特定し、重心 O Rを起点として、線分 K 1め左側の延長線上に、横サイズ K 2ずつ、 4個の点を目盛つていくとともに、重心 O Bを起点として、線分 K 1の右側の延長線上に横サイズ K 2離れた 1個の点を目盛り、目盛った各点を 2行目に配列された残り 5個の色標本の重心〇として特定する。

さらに、撮影色データ算出部 2 3は、予め記憶している現物の色標本の横サイズに対する縦サイズの比率を線分 K 2に乗じ、色標本の縦サイズ K 3を算出し、線分 K 1に対して直交する直線上であって、 2行目に配列された色標本の各重心〇を起点として上側に縦サイズ K 3離れた位置を 1行目に配列された 1 0個の色標本の重心 0として特定する。

ステップ S 3 4において、撮影色データ算出部 2 3は、各重心〇を重心とし、かつ、色標本の縦，横サイズ K 3， Κ 2よりも小さな矩形状の領域 R 3を各色標本の領域に設定し、設定した領域 R 3内の各画素データの R， G， B値の平均値を各色標本に対する撮影色データとして算出する。そして、図 2に示すステップ S 4に処理が戻される。これにより、顔の動画像力、らリアルタイムに肌の測色値が算出される。

次に、基準色データ算出部 2 8による基準色データの算出処理を図 7に示すフローチヤ一トを用いて説明する。ステップ S 1 0 1において、基準色データ算出部 2 8は、現物の色票の各色標本の測色計による測色値を取得する。ここでは、 D 6 5光源を各色標本に照射したときの L a b値を測色値として取得している。

ステップ S 1 0 2において、基準色データ算出部 2 8は、各色標本に対する測色値を、式（ 1 6 ) 〜（ 1 8 ) を用いて、 L a b表色系から X Y Z 表色系に変換する。

8

具体的には、まず、取得した測色値の L値が 8. 8 5 6以上の場合は、式（ 1 6) の上段の式を用いて Y値が算出され、 L値が 8. 8 5 6未満の場合は、式（ 1 6) の下段の式を用いて Y値が算出される。

次いで、取得した測色値の a値を 50 0で除した値に式（ 1 6) で算出された Y' 値を加算した値が、 0. 20 6 9以上の場合、式（ 1 7) の上段右側に示す式を用いて X値が算出される。一方、取得した測色値の a値を 5 0 0で除した値に式（ 1 6) で算出された Y' 値を加算した値が、 0. 2 0 6 9未満の場合、式（ 1 7) の下段右側に示す式を用いて X値が算出される。

次いで、式（ 1 6) で算出された Y' から、測色値の b値を 2 00で除した値を差し引いた値が 0. 2 06 9以上の場合、式（ 1 8) の上段右側に示す式を用いて Z値が算出される。一方、式（ 1 6) で算出された Y' から、測色値の b値を 2 0 0で除した値を差し引いた値が 0. 2 0 6 9未満の場合、式（ 1 8) の下段右側に示す式を用いて Z値が算出される。ステップ S 1 0 3において、基準色デ一夕算出部 2 8は、ステップ S 1 0 2で算出された各色標本に対する XYZ値に対し、式（ 1 9) で示す 3 X 3の行列を乗じ、 RGB強度 Y_r， Y_g, Y_bを算出する。

ステップ S 1 04において、基準色データ算出部 2 8は、ステップ S 1 0 3で算出された各色標本に対する RGB強度に対し、式（20) の演算を行い、 R, G, Bからなる基準色データを色標本毎に算出する。算出された色標本毎の基準色データは対応する色番号と関連付けられて基準色デ一夕記憶部 2 2に記憶される。

(20)

ここで、式（2 0) において、 W_r， W_g, W_bは基準白色の R G B値であり、（W_r， W_g, W_b) = ( 2 5 5， 2 5 5 , 2 5 5 ) の値をとり、 h _r, h ₈, h _bは RGB強度と残留輝度との差の値域であり、（h _r， h _g, h _b) = ( 1 5 0 0， 1 5 0 0 , 1 5 0 0 ) の値をとり、 Y。_r, Y。_g， Y_{0 b}は残留輝度であり、（Y。_r， Y。_g, Y。_b) = ( 1 , 1 , 1 ) の値をとる。また、式（2 0) に示す括弧内の式は 1 ァ乗されており、これにより表示部 3 0のァ特性値によりァ補正が施された基準色データを得ることができる。

次に、本画像処理装置によって算出された補正 RGB値を示す。図 8は、本画像処理装置により算出された補正 RGB値を示した表である。表に示す iは色番号を示し、上段の表は色番号が 1〜 1 0に対する表であり、下段の表は色番号が 1 1〜 2 0に対する表であり、両表とも、 2〜 4行目の各列には、各色番号に対応する、前記線形モデルを用いた場合の計算測色値、前記二次関数モデルを用いた場合の補正 RGB値、及び実測値が記載されている。なお、実測値は、 D 6 5光源の測色計により現物の色標本を測色することで得られた L a b値を R G B値に変換することにより得られた値である。

なお、 1〜 2 0の色番号に対しては、それぞれ、前記色標本とほぼ同じ色が対応付けられている。この表から分かるように、線形モデル、二次関数モデルとも、実測値と比較して良好な値が算出されている。

以上説明したように、本画像処理装置によれば、カメラ 1により色票と人物の動画像とが同時に撮影され、動画像を構成するフレーム画像から、各色標本が表示された領域が検出され、各色標本に対する撮影色データが算出され、算出された撮影色データと、予め記憶されている基準色データとを用いて変換行列 Aが算出される。そして、フレーム画像から眉間の位置が検出され、検出された位置に標本領域が設定され、設定された標本領域から計算測色値が算出されている。

そのため、人物の顔が撮影された画像から、肌が表示された領域を正確に特定することが可能となり肌の色を高精度、かつ、リアルタイムに算出することができる。また、各色標本に対する測色計による測色値を予め取得しておき、この測色値から算出された基準色デ一夕が用いられているため、高価な測色計を用いなくとも、高精度な肌の測色値を得ることができる。

なお、本発明は以下の態様を採用してもよい。

( 1 ) 上記実施形態では、標本領域を眉間に設定したが、これに限定されず、頰ゃ額等の他の肌の領域に標本領域を設定し、肌の測色値を算出してもよい。この場合、眉間同様、目尻、鼻頭、唇の両端等の特徴点を検出し、検出した特徴点から標本領域を設定すればよい。

( 2 ) 上記実施形態では、顔の肌の色を測色するものであつたが、これに限定されず、髪、唇等を測色してもよい。また、人物に限定されず、果物、野菜、動物等の他の物体を測色してもよい。この場合、測色対象となる色に応じて、その色の色標本が相対的に多く含まれる色票を用いることが好ましい。

( 3 ) 上記実施形態では、色標本が 2行 1 0列で配列された矩形状の色票を用いたが、これに限定されず、十字型、階段型、 H型等の矩形以外の形状を有する色票を用いてもよい。すなわち、測色対象物の形状に応じて、好ましい形状の色票を用いればよい。

(4) 上記実施形態では、 L a b表色系で測色された測色値を取得して、基準色デ一夕を算出していたが、これに限定されず、 XYZ表色系、 RG B表色系等の他の表色系で測色された測色値を取得して、基準色データを算出してもよい。

( 5) 上記実施形態では、標本領域の L CH値を計算測色値として算出していたが、これに限定されず、 L a b値、 XYZ値、 RGB値を計算測色値として算出してもよい。

(6) 上記実施形態では説明しなかったが、本発明にかかる画像処理プログラムを CD— ROM等のコンピュー夕読取り可能な記録媒体に記憶させ、市販してもよい。この場合、ユーザは、この記録媒体を購入し、コンピュー夕にィンストールすることにより.、上記画像処理装置を得ることができる。また、イン夕一ネット上の WE Bサーバに本画像処理プログラムを記憶させ、ダウンロードすることにより本画像処理プログラムをコンビユー夕にインストールさせても良い。

(7) 上記実施形態で示すカメラ 1を遠隔地に設置し、カメラ 1を通信機能を備えるパソコンを介してコンピュータ 2と通信可能に接続し、カメラ 1により撮影された顔の動画像をコンピュータ 2が受信して顔の肌等の測色値を算出し、算出した測色値をカメラ 1側のパソコンに送信させてもよい。

(8) 上記実施形態では、色標本の数を 2 0個としたがこれに限定されず、：！〜 1 9個又は 2 1個以上としてもよい。

(9) 上記実施形態では、色票は、可視光のみからなる色標本から構成されるものとしたが、例えば、赤外線マーカー等の可視光以外の色標本を含ませても良い。産業上の利用可能性

測色計を用いることなく測色対象物が撮影された動画像から、測色対象物の測色値をリアルタイムに算出することができる画像処理プログラム、画像処理装置、及び画像処理法を提供する。

Claims

請求の範囲

1 . 測色対象物が撮影された画像を用いて、前記測色対象物の色を測色するための画像処理プログラムであって、

複数の色標本から構成される色票と前記測色対象物とが同時に撮影されたカラー動画像を取得する画像取得手段、

前記カラー動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出する撮影色データ算出手段、

前記色票を構成する各色標本の測色値から得られる色標本毎の基準色デ一夕と前記撮影色データとを用い、補正データを算出する補正データ算出手段、

フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段、

前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段としてコンピュータを機能させることを特徴とする画像処理プログラム。

2 . 前記補正デ一夕算出手段は、線形モデルを用いて、前記補正データを算出することを特徴とする請求項 1記載の画像処理プログラム。

3 . 前記補正データ算出手段は、二次関数モデルを用いて、前記補正デ一夕を算出することを特徴とする請求項 1記載の画像処理プログラム。

4 . 前記測色対象物は人物の顔であり、前記測色対象領域は、顔の肌の領域であることを特徴とする請求項 1〜 3のいずれかに記載の画像処理プログラム。

5 . 前記領域設定手段は、フレーム画像の瞳を前記特徴点として検出し、検出した瞳から眉間の位置を検出し、当該位置に前記測色対象領域を設定することを特徴とする請求項 4記載の画像処理プログラム。

6 . 前記色票は、少なくとも肌色の色標本を含むことを特徴とする請求項 4又は 5記載の画像処理プログラム。

7 . 自己のァ特性値を用いて、前記カラー動画像をァ変換して表示する表示手段を更に備え、

前記基準色デ一夕算出手段は、前記測色値に対して前記ァ特性値によるァ補正を施した値を前記基準色データとして算出し、

前記測色値算出手段は、前記測色対象領域の色データに対し前記 r特性値による逆ァ補正を施した値を測色値として算出すること特徴とする請求項 1〜 6のいずれかに記載の画像処理プログラム。

8 . 前記色票は、少なくとも 3個の色標本を含み、

前記撮影色デ一夕算出手段は、色票を構成する複数の色標本のうち、特定範囲の色相で、彩度及び明度のうち少なくともいずれか一方が相対的に高い少なくとも 2個の色標本の領域を検出し、検出した各領域の位置関係を基に、予め記憶している色標本の配列パターンにしたがって、他の色標本の領域を補間により検出することを特徴とする請求項 1〜 7のいずれかに記載の画像処理プログラム。

9 . 測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理装置であって、

複数の色標本から構成される色票と前記測色対象物とを同時に撮影し、前記カラー動画像を取得する画像取得手段と、

前記カラ一動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素デ一夕を基に、各色標本に対する撮影色データを算出する撮影色データ算出手段と、

前記色票を構成する各色標本の測色値を基に得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出する補正データ算出手段と、

フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段と、

前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段とを備えることを特徴とする画像処理装置。

1 0 . コンピュータが、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理方法であって、

前記コンピュータは、画像取得手段、撮影色データ算出手段、補正デー夕算出手段、領域設定手段、及び測色値算出手段を備え、

前記画像取得手段が、前記色票と前記測色対象物とを同時に撮影し、前記カラー動画像を取得するステップと、

前記撮影色データ算出手段が、前記カラー動画像を構成するフレーム画像に対して各色標本が表示された領域を検出し、検出した領域の画素デー夕を基に、各色標本に対する撮影色データを算出するステップと、

前記補正データ算出手段が、前記色票を構成する各色標本の測色値から得られる色標本毎の基準色データと前記撮影色データとを用い、補正デー夕を算出するステップと、

前記領域設定手段が、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定するステップと、

前記測色値算出手段が、前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出するステップとを備えることを特徴とする画像処理方法。