JPWO2005124302A1 - 画像処理プログラム、画像処理装置、及び画像処理方法 - Google Patents

Abstract

顔と色票とを同時に撮影し、測色対象となる動画像を取得するカメラ１と、前記動画像を構成するフレーム画像に表示された各色標本から、各色標本に対する撮影色データを算出する撮影色データ算出部２３と、予め記憶されている各色標本に対する基準色データと、撮影色データとを用いて変換行列を算出する変換行列算出部２４と、フレーム画像に対して、顔の特徴点を基に、標本領域を設定する標本領域設定部２５と、設定された標本領域のＲＧＢ値を算出し、算出したＲＧＢ値に変換行列を乗じ、補正ＲＧＢ値を算出する補正部２６と、補正ＲＧＢ値に所定の色変換を施し、計算測色値を算出する測色値算出部２７とを備える。

Description

本発明は、測色対象物が撮影された画像を用いて測色対象物を測色する画像処理技術に関するものである。

近年、客の顔の動画像を動画カメラで撮影し、客の顔に仮想的な化粧を動的に施す化粧シミュレータが知られており、この化粧シミュレータを店頭に設置し、化粧品の販売促進を図る化粧品販売店が増大しつつある。この場合、顔の肌の測色値をリアルタイムに算出し、得られた測色値を参考にして、販売員が客に適合する化粧品を選び、客に提案する販売形態の実現が望まれている。
ここで、物体の色を測定する装置として測色計が広く知られており、この測色計を用いて客の顔の色を測色することも可能であるが、測色計で計測できるのは限られた一部の領域（微小領域）であるため、測色形により得られたデータは、領域により色変動が大きい箇所の色（例えば人物の顔の肌色）の評価には不十分なデータといえる。
一方、パソコンと、パソコンとは異なる場所に設けられ、被験者の顔画像を撮影するカメラ装置とを備え、カメラ装置にて被験者の顔画像と現物の色票とを同時に撮影し、撮影した画像をパソコンに送信し、この画像を受信したパソコンは、自己が保有する基準色票データ（基準色データ）と受信した画像に含まれる基準色票データ（撮影色データ）とにより前記カメラ装置の色特性（補正データ）を求め、この色特性を用いて、受信した画像に含まれる顔画像に対し顔色の補正を行なう化粧シミュレーション装置が知られている（特開２００２−１３１１３５号公報）。

しかしながら、特開２００２−１３１１３５号公報記載の発明は、静止画像に対する処理を示唆するものであり、動画像に対する処理を示唆する記載が全くなされていない。また、色特性の算出過程、及び算出した色特性からどのようにして顔画像が補正されているかについての具体的な記載が全くなされておらず、かかる記載に基づいて、測色対象物が撮影された動画像を用いて測色値をリアルタイムに算出することは困難である。
本発明の目的は、測色計を用いることなく測色対象物が撮影された動画像から、測色対象物の測色値をリアルタイムに算出することができる画像処理プログラム、画像処理装置、及び画像処理方法を提供することである。
本発明にかかる画像処理プログラムは、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色するための画像処理プログラムであって、複数の色標本から構成される色票と前記測色対象物とが同時に撮影されたカラー動画像を取得する画像取得手段、前記カラー動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出する撮影色データ算出手段、前記色票を構成する各色標本の測色値から得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出する補正データ算出手段、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段、前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段としてコンピュータを機能させることを特徴とする。
本発明によれば、測色対象物と色票とが同時に撮影されたカラー動画像を構成するフレーム画像から、各色標本が表示された領域が検出され、検出された領域の画素データを基に、色標本毎の撮影色データが算出される。そして、各色標本に対する測色値を基に算出された基準色データと、撮影色データとを用いて、補正データが算出される。一方、フレーム画像に表示された測色対象物の特徴点を基に、測色対象領域が設定され、当該領域の色データが算出され、この色データに対し前記補正データを用いた演算が施され、測色対象物の測色値が算出されている。これにより、色データは撮影に使用されたカメラや照明等の特性が排除された値に補正される。したがって、測色計を用いなくとも、測色対象物が撮影されたカラー動画像から測色値をリアルタイムに得ることができる。さらに、測色対象領域を設定して測色値の算出が行なわれているため、フレーム画像中に表示された測色対象物内の領域を正確に検出することができ、測色値を高精度、かつ、高速に算出することができる。
また、前記補正データ算出手段は、線形モデルを用いて、前記補正データを算出することが好ましい。
この構成によれば、線形モデルを用いて補正データが算出されているため、測色対象物の測色値を高速、かつ、高精度に算出することができる。
また、前記補正データ算出手段は、二次関数モデルを用いて、前記補正データを算出してもよい。
この構成によれば、二次関数モデルを用いて補正データが算出されているため、測色対象物の測色値をより高精度に算出することができる。
また、前記測色対象物は人物の顔であり、前記測色対象領域は、顔の肌の領域であることが好ましい。
この構成によれば、人物の顔と色票とが同時に撮影されたカラー動画像が取得され、このカラー動画像のフレーム画像に対し、顔の肌の領域に測色対象領域が設定され、測色値が算出されているため、測色計を用いることなく、顔の肌の測色値を得ることができる。
また、前記領域設定手段は、フレーム画像の瞳を前記特徴点として検出し、検出した瞳から眉間の位置を検出し、当該位置に前記測色対象領域を設定することが好ましい。
この構成によれば、人物の前方にカメラを設置した場合、カメラの光軸に対してほぼ垂直となり、反射光強度が安定する眉間が測色対象領域として設定されているため、測色値を高精度に算出することができる。また、両側に眼が存在することから比較的検出が容易な眉間の部分に測色対象領域が設定されているため、高速かつ高精度に顔の肌の色を算出することができる。特に、リアルタイムで測色値を算出するうえで、眉間を標本領域に設定することは有用となる。
また、前記色票は、少なくとも肌色の色標本を含むことが好ましい。
この構成によれば、肌色の色標本を含む色票が採用されているため、肌の測色値を高精度に算出することができる補正データが得られ、測色計により得られる測色値により近い測色値を算出することができる。
また、自己のγ特性値を用いて、前記カラー動画像をγ変換して表示する表示手段を更に備え、前記基準色データ算出手段は、前記測色値に対して前記γ特性値によるγ補正を施した値を前記基準色データとして算出し、前記測色値算出手段は、前記測色対象領域の色データに対し前記γ特性値による逆γ補正を施した値を測色値として算出することが好ましい。
この構成によれば、カラー動画像は表示装置のγ特性値を用いてγ変換が施されて表示装置に表示されているが、前記基準色データも、表示装置のγ特性値によりγ変換されているため、より正確な測色値を算出しうる補正データを得ることができる。さらに、この補正データを用いて算出された測色値は、γ逆変換が施されているため、γ補正の影響が除去された測色値を算出することができる。
また、前記色票は、少なくとも３個の色標本を含み、前記撮影色データ算出手段は、色票を構成する複数の色標本のうち、特定範囲の色相で、彩度及び明度のうち少なくともいずれか一方が相対的に高い少なくとも２個の色標本の領域を検出し、検出した各領域の位置関係を基に、予め記憶している色標本の配列パターンにしたがって、他の色標本の領域を補間により検出することが好ましい。
この構成によれば、複数の色標本のうち、特定範囲の色相で、彩度及び明度のうち少なくともいずれか一方が相対的に高い少なくとも２個の色標本の領域が検出され、検出された各領域の位置関係を基に、予め記憶している色票の配列パターンにしたがって、他の色標本の領域が補間により検出されているため、各色標本に対する撮影色データをより確実に得ることができる。
本発明にかかる画像処理装置は、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理装置であって、複数の色標本から構成される色票と前記測色対象物とを同時に撮影し、前記カラー動画像を取得する画像取得手段と、前記カラー動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出する撮影色データ算出手段と、前記色票を構成する各色標本の測色値を基に得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出する補正データ算出手段と、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段と、前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段とを備えることを特徴とする。
この構成によれば、測色計を用いなくとも、測色対象物が撮影されたカラー画像から、測色値を高精度に、しかもリアルタイムに算出することができる。
本発明にかかる画像処理方法は、コンピュータが、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理方法であって、前記コンピュータは、画像取得手段、撮影色データ算出手段、補正データ算出手段、領域設定手段、及び測色値算出手段を備え、前記画像取得手段が、前記色票と前記測色対象物とを同時に撮影し、前記カラー動画像を取得するステップと、前記撮影色データ算出手段が、前記カラー動画像を構成するフレーム画像に対して各色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出するステップと、前記補正データ算出手段が、前記色票を構成する各色標本の測色値から得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出するステップと、前記領域設定手段が、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定するステップと、前記測色値算出手段が、前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出するステップとを備えることを特徴とする。
この構成によれば、測色計を用いなくとも、測色対象物が撮影されたカラー画像から、測色値を高精度に、しかもリアルタイムに算出することができる。

図１は、本実施形態による画像処理装置のブロック構成図である。
図２は、図１に示す画像処理装置の動作を示すフローチャートである。
図３は、カメラにより撮影された画像を示した図面である
図４は、特徴点が検出されたフレーム画像を示した図面である。
図５は、図２に示すフローチャートのサブルーチンを示したフローチャートである。
図６は、図３に示すフレーム画像において、色標本が表示された領域を拡大して示した図面である。
図７は、基準色データの算出処理を示すフローチャートである。
図８は、本画像処理装置により算出された補正ＲＧＢ値を示した表である。

以下、本発明の実施形態について図面を参照しつつ説明する。図１は、本実施形態による画像処理装置のブロック構成図を示している。本画像処理装置は、カメラ１、及びコンピュータ２から構成されている。カメラ１は、動画像を撮影するカラーカメラであり、所定のフレームレート（例えば１秒あたり３０フレーム）で測色対象物である人物の顔及び色票を同時に撮影して測色対象となる画像を取得し、この測色対象画像にアナログデジタル変換を施し、フレームメモリ２１に出力する。
コンピュータ２は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ハードディスク等の外部記憶装置、表示装置、入力装置等を備える通常のパーソナルコンピュータから構成されている。外部記憶装置には、本発明にかかる画像処理プログラムが記録されており、ＣＰＵはこの画像処理プログラムを実行することにより、各ブロックに示される機能を実現する。
コンピュータ２は、フレームメモリ２１、基準色データ記憶部２２、撮影色データ算出部２３、変換行列算出部２４、標本領域設定部２５、補正部２６、測色値算出部２７、基準色データ算出部２８、表示制御部２９、及び表示部３０を備えている。フレームメモリ２１は、カメラ１によって撮影された所定枚数のフレーム画像の画像データを記憶する。ここで、１枚のフレーム画像は、人間の顔の画像（顔画像）及び色票を含む所定の行×列の画素がマトリックス形式で配列された矩形状の画像であり、各画素の画素データは、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分からなり、各色成分は、例えば０〜２５５の２５６階調で表される。色票は、紙やプラスチック等のベース部材の表面に複数の色標本が所定パターンで配置されたものである。本実施形態では、色標本が２行１０列で２０個配列された色票を用いる。ここで、各色標本は、同一の縦及び横サイズを有し、１色からなる矩形状の領域である。この色標本は、ベース部材上に市販の色標本を貼り付けることで実現してもよいし、ベタ印刷することで実現してもよい。
基準色データ記憶部２２は、各色標本を所定の測色条件下で測色することで得られた測色値に対して、基準色データ算出部２８が所定の演算を施すことで算出した基準色データを、対応する色標本と関連付けて記憶している。
撮影色データ算出部２３は、フレームメモリ２１から１枚のフレーム画像を撮影順に読み出し、フレーム画像に対して、色標本を検出するための色標本検出領域を設定し、設定した色標本領域内において、所定の２色の色標本が表示された領域を、予め記憶しているその色の彩度、色相、明度の基準値を用いて検出し、検出した２つの領域の位置関係から、予め記憶している色標本の配列パターンにしたがって、他の色標本が表示された領域を検出し、検出した各領域内の所定の画素データの平均値を、各色標本に対する撮影色データとして算出する。
変換行列算出部２４は、撮影色データ算出部２３により算出された撮影色データと、基準色データ記憶部２２に記憶された基準色データとを、後述する線形モデル又は二次関数モデルにより対応づけ、カメラ１により撮影された画像からカメラ１及び照明等の特性を排除するための変換行列（補正データ）を算出する。
標本領域設定部２５は、撮影色データ算出部２３によって読み出されたフレーム画像と同一のフレーム画像をフレームメモリ２１から読み出し、読み出したフレーム画像に対して、本出願人によって出願された特開２００３−４４８３７号公報に記載された手法を用いて顔の特徴点を検出し、検出した特徴点から、顔内の所定の箇所に標本領域（測色対象領域）を設定する。
補正部２６は、前記標本領域の画素データの平均値を算出し、算出した平均値に対し、前記変換行列を乗ずることにより補正ＲＧＢ値を算出する。これにより、照明、カメラ等の特性が排除された標本領域のＲＧＢ値が得られる。
測色値算出部２７は、補正ＲＧＢ値に対し表示部３０のγ特性値、黒画素の残留輝度を加味した所定の演算を施し、ＲＧＢ強度を算出し、算出したＲＧＢ強度に所定の行列を乗じ、ＲＧＢ強度をＣＩＥ（国際照明委員会）−ＸＹＺ表色系（以下、ＸＹＺ表色系と略す）に変換し、得られたＸＹＺ値をＣＩＥ−Ｌ^＊ａ^＊ｂ^＊表色系（以下Ｌａｂ表色系と略す）、ＬＣＨ表色系に順次変換して計算測色値を算出する。
基準色データ算出部２８は、カメラ１によって撮影される色票と同一の色票の各色標本に対するＬａｂ表色系による測色値を取得し、取得した測色値をＸＹＺ表色系に変換し、得られたＸＹＺ値に対し、所定の行列を乗じて、ＲＧＢ強度を算出し、算出したＲＧＢ強度に対して、表示部３０のγ特性、基準白色のＲＧＢ値、及び黒画素の残留輝度を加味した所定の演算を施し、基準色データを算出し、基準色データ記憶部２２に記憶させる。なお、各色標本に対する測色値はユーザが測色計を用いて実際に測定したものを用いても良いし、ユーザ以外の第三者によって測色計を用いて予め測定されたものを用いても良い。また、後者の場合、基準色データを予め算出しておき、基準色データ記憶部２２に記憶させておくことが好ましい。
表示制御部２９は、フレームメモリ２１から１枚のフレーム画像を順次読み出し、表示部３０のγ特性値によるγ補正を施し、カメラ１により撮影された画像を表示部３０にリアルタイムで表示させるとともに、フレーム画像毎に算出された計算測色値を表示部３０にリアルタイムで表示させる。表示部３０は、ＣＲＴ、プラズマディスプレイ、液晶ディスプレイ等から構成され、表示制御部２９の制御の下、種々の画像を表示する。
なお、本実施形態では、カメラ１が画像取得手段の一例に相当し、撮影色データ算出部２３が撮影色データ算出手段の一例に相当し、変換行列算出部２４が補正データ算出手段の一例に相当し、標本領域設定部２５が、領域設定手段の一例に相当し、補正部２６及び測色値算出部２７が測色値算出手段の一例に相当する。
次に、本画像処理装置の動作を図２に示すフローチャートを用いて説明する。このフローチャートでは、顔の眉間の色を測色する場合を例に挙げて説明する。まず、ステップＳ１において、カメラ１は、人物の顔及び色票を同時に撮影する。図３は、カメラ１により撮影された画像を示した図面である。図３に示すように、この画像には、顔の首のあたりに色票ＣＣが撮影されていることが分かる。なお、色票ＣＣの大きさは、顔全体が１枚のフレーム画像に収まるような形状及びサイズを有するものが好ましく、具体的には、縦寸法Ｌ１が人物の首の一般的な長さより少し短く、かつ、横寸法Ｌ２が人物の顔の幅より少し長い程度が好ましい。
ここで、色票に含まれる色標本の数が少ない場合、カメラ１により撮影された画像を測色条件下で撮影された画像に精度よく変換させることができる変換行列を得ることができず、高精度な計算測色値を得ることが困難となる。そのため、高精度な計算測色値を得るという観点からは色標本の数は多い方が好ましいが、そうすると、計算量が膨大になってしまう。また、色票のサイズが大きくなると、色票と顔とを同時に撮影した場合、顔が１枚のフレーム画像に納まらなくなってしまう。そこで、本画像処理装置では、色標本が２行１０列で配列された色票を用いている。また、本画像処理装置は、眉間の色、すなわち、肌の色を測定するものである。そのため、本画像処理装置では、１行目に、それぞれ色が多少相違する肌色の色標本が１０個配列された色票を用いている。
具体的には、１行目の１〜１０列目には、それぞれ、Ｄ６５光源下で、Ｌａｂ値が（６５．８，９．１，２５．１），（７４．４，８．３，２３．７），（８５．１，４．９，１９．９），（６５．６，１３．４，１９．３），（７３．８，１１．６，１８．４），（８２．９，９．１，１６．４），（９０．６，４．０，１１．１），（８２．１，１７．１，２５．０），（８８．３，４．３，２４．１），（８５．３，１０．６，１３．５）の肌色の色標本が配列されている。また、２行目の１〜１０列目には、それぞれ、Ｄ６５光源下で、Ｌａｂ値が（９３．１，１．５，１．０）の白、（７６．８，０．４，２．９）の薄いグレー、（５４．８，０．４，１．８）のグレー、（３０．２，０．６、−０．８）の濃いグレー、（５２．６，６３．５，２６．１）の赤、（８７．３，−５．６，８１．５）の黄色、（５８．１，−５４．９，２０．２）の緑、（４６．９，−２９．４，−２１．７）の青、（４３．７，９．２，−４２．８）の水色、（４２．４，３５．９、−２８．１）の紫の色標本が配列されている。
ここで、高精度の計算測色値を算出するために照明及び色票間の距離と、照明及び顔面間の距離とをほぼ等距離とし、かつ、カメラ１及び色票間の距離と、カメラ１及び顔面間の距離とをほぼ等距離とし、照明と顔との反射強度が等しくされている。これを実現するために、例えば、被写体である人物が椅子に腰掛けた際、正面視において人物の首の位置に色票を配置させ、かつ、側面視において顔の前面とほぼ面一に色票を配置する色票台を用い、カメラ１を顔の正面前方に配置し、照明を顔の正面前方に配置して顔を撮影している。また、顔面照射用の照明と、色票照射用の照明とを２つ設け、顔面照射用の照明及び眉間間の距離と、色票照射用の照明及び色票間の距離とがほぼ等距離となるように、両照明を配置して顔を撮影している。この場合、両照明が照射する光量を同一にしていることは言うまでもない。
次に、撮影色データ算出部２３は、フレームメモリから１枚のフレーム画像を読み出し（ステップＳ２）、読み出したフレーム画像に表示された各色標本の画像から撮影色データを算出する（ステップＳ３）。ステップＳ３の処理の詳細については後述する。ここで、撮影色データは、Ｒ，Ｇ，Ｂの色成分からなるデータである。
ステップＳ４において、変換行列算出部２４は、線形モデル又は二次関数モデルを用いて変換行列を算出する。まず、線形モデルについて説明する。
（線形モデル）
線形モデルは、式（１）に示すように各色標本の撮影色データからなる撮影色行列Ｘと、各色標本の基準色データからなる基準色行列Ｙとが、変換行列Ａを用いて対応付けられたモデルである。

ただし、添え字ｉ（＝１，２，・・・，ｎ）は、各色標本に対する番号（色番号）を示し、基準色行列Ｙは、３×ｎの行列であり、各列には、各色標本の基準色データ［Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ］が色番号順に配列された行列である。撮影色行列Ｘは、４×ｎの行列であり、１行目の各列には１が配列され、２〜４行目の各列には、各色標本に対する撮影色データ［Ｒ_ｉ’，Ｇ_ｉ’，Ｂ_ｉ’］が、色番号順に配列された行列である。
変換行列Ａは、ａ_１１〜ａ_３４の計１２個の要素からなる３×４の行列である。なお、本実施形態では、２０個の色標本からなる色票を用いているため、ｎ＝２０、すなわち、ｉ＝（１，２，・・・，２０）である。そのため、基準色行列Ｙは３×２０の行列となり、撮影色行列Ｘは４×２０の行列となる。また、色番号は、色票の２行目の１列目から１０列目までの各色に対して、１〜１０番の色番号が順番に付与されているとともに、１行目の１列目から１０列目までの色に対して、１１〜２０番の色番号が順番に付与されている。
次に、式（２）において、式（１）を基準色行列Ｙの１行目を行列Ｒ、２行目を行列Ｇ、３行目を行列Ｂとして表し、基準色行列ＹをＹ＝［ＲＧ Ｂ］^Ｔとおく。また、変換行列Ａの１行目を行列ａ_１、２行目を行列ａ_２、３行目を行列ａ_３として表し、変換行列Ａを行列［ａ_１ ａ_２ ａ_３］^Ｔとおく。

すると、Ｒ^Ｔ、Ｇ^Ｔ、Ｂ^Ｔは、式（３）で表され、式（３）の３つの式のそれぞれに対し、撮影色行列Ｘを左から乗ずると、式（４）が得られる。ここで、撮影色行列Ｘは４×ｎの行列であり、Ｒ^Ｔ、Ｇ^Ｔ、Ｂ^Ｔはそれぞれ、ｎ×１の行列であるため、式（４）に示すＸＲ^Ｔ、ＸＧ^Ｔ、ＸＢ^Ｔは４×１の行列となる。また、撮影色行列Ｘは４×ｎの行列であり、Ｘ^Ｔはｎ×４の行列であるため、ＸＸ^Ｔは４×４の行列となる。したがって、式（４）の１〜３段目の式は、それぞれ、ａ_１１，ａ_１２，ａ_１３，ａ_１４を変数とし、ａ_２１，ａ_２２，ａ_２３，ａ_２４を変数とし、ａ_３１，ａ_３２，ａ_３３，ａ_３４を変数とする４元１次の連立方程式となる。そして、この連立方程式を解けば、変換行列Ａを算出することができる。
ゆえに、線形モデルを用いた場合、変換行列算出部２４は、前記ｎをｎ＝２０とし、取得した撮影色データと、基準色データとを用いて、式（４）の方程式を解き、変換行列Ａを算出する。
（二次関数モデル）
次に、二次関数モデルについて説明する。なお、二次関数モデルは、一次元モデルと比べると計算量は多くなるが、より高精度な計算測色値を算出することが可能である。二次関数モデルは、式（５）に示すように、変換行列Ａとして３×１０の行列を用い、撮影色行列Ｘとして１０×ｎの行列を用いたモデルである。撮影色行列Ｘは、１〜４行目の各列は線形モデルの撮影色行列Ｘと同一であり、５〜１０行目の各列には、Ｒ_ｉ’Ｒ_ｉ’，Ｒ_ｉ’Ｇ_ｉ’，Ｒ_ｉ’Ｂ_ｉ’，Ｇ_ｉ’Ｇ_ｉ’，Ｇ_ｉ’Ｂ_ｉ’，Ｂ_ｉ’Ｂ_ｉ’が色番号順に配列されている。

そして、式（６）に示すように、線形モデルと同様にして、基準色行列Ｙの１〜３行目を行列Ｒ，Ｇ，Ｂで表し、変換行列Ａの１〜３行目をそれぞれ行列ａ_１，ａ_２，ａ_３で表す。

すると、線形モデル同様、式（５）は式（７）で表され、式（７）の両辺に対し左から撮影色行列Ｘを乗ずることにより式（８）が得られる。ここで、撮影色行列Ｘは１０×ｎの行列であり、Ｒ^Ｔ，Ｇ^Ｔ，Ｂ^Ｔはそれぞれｎ×１の行列であるため、式（８）に示すＸＲ^Ｔ，ＸＧ^Ｔ，ＸＢ^Ｔはそれぞれ１０×１の行列となる。また、撮影色行列Ｘは１０×ｎの行列であり、Ｘ^Ｔはｎ×１０の行列であるため、式（８）に示すＸＸ^Ｔは１０×１０の行列となる。したがって、式（８）の１〜３段目の式は、それぞれ、ａ_１，１〜ａ_１，１０を変数とし，ａ_２，１〜ａ_２，１０を変数とし、ａ_３，１〜ａ_３，１０を変数とする１０元１次の連立方程式となる。そして、この連立方程式を解けば、変換行列Ａを算出することができる。
ゆえに、二次関数モデルを用いた場合、変換行列算出部２４は、前記ｎをｎ＝２０とし、取得した撮影色データと、基準色データとを用いて、式（８）の方程式を解き、変換行列Ａを算出する。
図２に示すステップＳ５において、標本領域設定部２５は、図４に示すように、左右の瞳ＢＥを特徴点として検出し、検出した特徴点の位置関係から、眉間の位置を特定し、特定した位置に標本領域Ｒ１を設定する。この標本領域Ｒ１は縦寸法が目頭Ｐ１及び眉頭Ｐ３の間の距離より少し短く、横寸法が目頭Ｐ１及びＰ２間の距離よりも少し短い矩形状の領域である。
図２に示すステップＳ６において、補正部２６は、標本領域Ｒ１の画素データのＲ，Ｇ，Ｂの色成分毎の平均値を算出する。
ステップＳ７において、補正部２６は、線形モデルが採用されている場合は、式（１）のＲ_ｉ’，Ｇ_ｉ’，Ｂ_ｉ’に前記平均値を代入するとともに、式（１）のＡに線形モデルにおいて算出された変換行列Ａを代入し、補正ＲＧＢ値を算出する。この場合、変換行列Ａは３×４の行列であり、撮影色行列Ｘは、４×１の行列であるため、補正ＲＧＢ値は、３×１の行列となる。
また、補正部２６は、変換行列Ａが二次関数モデルにより算出されている場合は、式（５）のＲ_ｉ’，Ｇ_ｉ’，Ｂ_ｉ’に前記平均値を代入するとともに、式（２）のＡに二次関数モデルにおいて算出された変換行列Ａを代入し、補正ＲＧＢ値を算出する。この場合、変換行列Ａは３×１０の行列であり、撮影色行列Ｘは、１０×１の行列であるため、補正ＲＧＢ値は、線形モデル同様、３×１の行列となる。
ステップＳ８において、測色値算出部２７は、式（９）の演算を行い、補正ＲＧＢ値に対するＲＧＢ強度Ｙ_ｒ，Ｙ_ｇ，Ｙ_ｂを算出する。

但し、Ｒ，Ｇ，Ｂは補正ＲＧＢ値を示し、Ｙ_０ｒ，Ｙ_０ｇ，Ｙ_０ｂは黒色画素の残留輝度を示し、Ｗ_ｒ，Ｗ_ｇ，Ｗ_ｂは基準白色のＲＧＢ値を示し、ｈ_ｒ，ｈ_ｇ，ｈ_ｂはＲＧＢ強度と残留輝度との差の値域を示し、γは表示部３０のγ特性値を示している。ここで、基準白色のＲＧＢ値は、（Ｗ_ｒ，Ｗ_ｇ，Ｗ_ｂ）＝（２５５，２５５，２５５）であり、残留輝度のＲＧＢ値は（Ｙ_０ｒ，Ｙ_０ｇ，Ｙ_０ｂ）＝（１，１，１）であり、（ｈ_ｒ，ｈ_ｇ，ｈ_ｂ）＝（１５００，１５００，１５００）である。また、式（９）の括弧内の値はγ乗されており、これにより、表示部３０のγ特性値により逆γ補正がされたＲＧＢ強度を得ることができる。
ステップＳ９において、測色値算出部２７は、式（１０）の演算を行い、ステップＳ８で算出されたＲＧＢ強度に対するＸＹＺ値を算出する。ステップＳ１０において、測色値算出部２７は、式（１１）の演算を行い、ステップＳ９で算出されたＸＹＺ値に対するＬａｂ値を算出する。

但し、Ｘ’，Ｙ’，Ｚ’はそれぞれ、式（１２）〜式（１４）によって算出される。式（１２）〜（１４）に示すＸ_ｎ，Ｙ_ｎ，Ｚ_ｎは、（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）＝（Ｘ／Ｘ_０，Ｙ／Ｙ_０，Ｚ／Ｚ_０）で与えられる。ここで、Ｘ_０，Ｙ_０，Ｚ_０は、基準白色に対するＸＹＺ値を示し、光源の色温度を６５００Ｋ（Ｄ６５）として現物の色票が測色された場合は、（Ｘ_０，Ｙ_０，Ｚ_０）＝（９５．０４７０，１００．０，１０８．８８２７）で与えられ、光源の色温度を５０００Ｋ（Ｄ５０）として現物の色票が測色された場合は、（Ｘ_０，Ｙ_０，Ｚ_０）＝（９６．４２５０，１００．０，８２．４６８０）で与えられる。式（１２）〜（１４）に示すように、Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎの値が、それぞれ０．０００８８５６より大きい場合は、式（１２）〜（１４）の上段右側に示す式を用いてＸ’，Ｙ’，Ｚ’が算出され、Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎの値が０．０００８８５６以下の場合は、式（１２）〜式（１３）の下段右側に示す式を用いてＸ’，Ｙ’，Ｚ’が算出されている。
ステップＳ１１において、測色値算出部２７は、式（１５）を用いて、ステップＳ１０で算出されたＬａｂ値を極座標系であるＬＣＨ表色系に変換し、ＬＣＨ値を算出する。これにより計算測色値が算出される。

ステップＳ１２において、最終のフレーム画像に対する処理が終了していない場合（ステップＳ１２でＮＯ）、撮影色データ算出部２３は、フレームメモリ２１から次のフレーム画像を読み出し（ステップＳ１３）、処理をステップＳ３に戻す。この場合、撮影色データ算出部２３は、所定枚数おきにフレーム画像を読み出しても良いし、１枚ずつフレーム画像を読み出しても良い。一方、最終のフレーム画像に対する処理が終了している場合（ステップＳ１２でＹＥＳ）、処理が終了される。
次に、ステップＳ３のサブルーチンについて図５に示すフローチャートを用いて説明する。ステップＳ３１において、撮影色データ算出部２３は、フレーム画像に対し、色票が表示された領域を検出するための色票検出領域を設定する。本実施形態では、色票は、フレーム画像の下側４分の１の以下の領域に表示されるように撮影されている。したがって、撮影色データ算出部２３は、フレーム画像の下側４分の１程度の領域に矩形状の色票検出領域を設定する。図６は、図３に示すフレーム画像において、色票の領域を拡大して示した図面である。図６に示すように、フレーム画像に対し色票ＣＣを含む色票検出領域Ｒ２が設定されていることが分かる。なお、図６において、人物の画像は省略している。
ステップＳ３２において、撮影色データ算出部２３は、図６に示すように色票検出領域内Ｒ２において、赤，青の色標本ＣＲ，ＣＢの領域を検出する。具体的には、撮影色データ算出部２３は、色票検出領域Ｒ２をＲＧＢ表色系からＨＳＶ表色系に変換し、予め記憶している赤及び青に対するＨ（色相），Ｓ（彩度），Ｖ（強度）の数値範囲を満たす領域を色票検出領域Ｒ２から検出し、赤及び青の色標本ＣＲ，ＣＢの領域を検出する。
なお、撮影色データ算出部２３は、赤、青以外の色標本の領域を検出してもよく、また、２色以上の色標本を検出してもよい。ただし、検出精度高めるためには赤や青等の相対的に彩度の高い色標本を検出することが好ましい。
ステップＳ３３において、撮影色データ算出部２３は、検出した赤，青の色標本ＣＲ，ＣＢの領域の重心ＯＲ，ＯＢを基準位置として特定し、両基準位置の距離を算出し、予め記憶している色標本の配列パターンに従って、各色標本が表示された領域の重心Ｏを特定する。具体的には、重心ＯＲ，ＯＢ間の線分Ｋ１の距離を算出し、赤，青間には、３個の色標本が存在しているため、線分Ｋ１を４等分して得られる３個の内分点を赤，青間に存在する３個の色標本に対する重心Ｏとして特定する。また、隣接する重心Ｏ間の距離を色票の横サイズＫ２として特定し、重心ＯＲを起点として、線分Ｋ１の左側の延長線上に、横サイズＫ２ずつ、４個の点を目盛っていくとともに、重心ＯＢを起点として、線分Ｋ１の右側の延長線上に横サイズＫ２離れた１個の点を目盛り、目盛った各点を２行目に配列された残り５個の色標本の重心Ｏとして特定する。
さらに、撮影色データ算出部２３は、予め記憶している現物の色標本の横サイズに対する縦サイズの比率を線分Ｋ２に乗じ、色標本の縦サイズＫ３を算出し、線分Ｋ１に対して直交する直線上であって、２行目に配列された色標本の各重心Ｏを起点として上側に縦サイズＫ３離れた位置を１行目に配列された１０個の色標本の重心Ｏとして特定する。
ステップＳ３４において、撮影色データ算出部２３は、各重心Ｏを重心とし、かつ、色標本の縦，横サイズＫ３，Ｋ２よりも小さな矩形状の領域Ｒ３を各色標本の領域に設定し、設定した領域Ｒ３内の各画素データのＲ，Ｇ，Ｂ値の平均値を各色標本に対する撮影色データとして算出する。そして、図２に示すステップＳ４に処理が戻される。これにより、顔の動画像からリアルタイムに肌の測色値が算出される。
次に、基準色データ算出部２８による基準色データの算出処理を図７に示すフローチャートを用いて説明する。ステップＳ１０１において、基準色データ算出部２８は、現物の色票の各色標本の測色計による測色値を取得する。ここでは、Ｄ６５光源を各色標本に照射したときのＬａｂ値を測色値として取得している。
ステップＳ１０２において、基準色データ算出部２８は、各色標本に対する測色値を、式（１６）〜（１８）を用いて、Ｌａｂ表色系からＸＹＺ表色系に変換する。

具体的には、まず、取得した測色値のＬ値が８．８５６以上の場合は、式（１６）の上段の式を用いてＹ値が算出され、Ｌ値が８．８５６未満の場合は、式（１６）の下段の式を用いてＹ値が算出される。
次いで、取得した測色値のａ値を５００で除した値に式（１６）で算出されたＹ’値を加算した値が、０．２０６９以上の場合、式（１７）の上段右側に示す式を用いてＸ値が算出される。一方、取得した測色値のａ値を５００で除した値に式（１６）で算出されたＹ’値を加算した値が、０．２０６９未満の場合、式（１７）の下段右側に示す式を用いてＸ値が算出される。
次いで、式（１６）で算出されたＹ’から、測色値のｂ値を２００で除した値を差し引いた値が０．２０６９以上の場合、式（１８）の上段右側に示す式を用いてＺ値が算出される。一方、式（１６）で算出されたＹ’から、測色値のｂ値を２００で除した値を差し引いた値が０．２０６９未満の場合、式（１８）の下段右側に示す式を用いてＺ値が算出される。
ステップＳ１０３において、基準色データ算出部２８は、ステップＳ１０２で算出された各色標本に対するＸＹＺ値に対し、式（１９）で示す３×３の行列を乗じ、ＲＧＢ強度Ｙ_ｒ，Ｙ_ｇ，Ｙ_ｂを算出する。

ステップＳ１０４において、基準色データ算出部２８は、ステップＳ１０３で算出された各色標本に対するＲＧＢ強度に対し、式（２０）の演算を行い、Ｒ，Ｇ，Ｂからなる基準色データを色標本毎に算出する。算出された色標本毎の基準色データは対応する色番号と関連付けられて基準色データ記憶部２２に記憶される。

ここで、式（２０）において、Ｗ_ｒ，Ｗ_ｇ，Ｗ_ｂは基準白色のＲＧＢ値であり、（Ｗ_ｒ，Ｗ_ｇ，Ｗ_ｂ）＝（２５５，２５５，２５５）の値をとり、ｈ_ｒ，ｈ_ｇ，ｈ_ｂはＲＧＢ強度と残留輝度との差の値域であり、（ｈ_ｒ，ｈ_ｇ，ｈ_ｂ）＝（１５００，１５００，１５００）の値をとり、Ｙ_０ｒ，Ｙ_０ｇ，Ｙ_０ｂは残留輝度であり、（Ｙ_０ｒ，Ｙ_０ｇ，Ｙ_０ｂ）＝（１，１，１）の値をとる。また、式（２０）に示す括弧内の式は１／γ乗されており、これにより表示部３０のγ特性値によりγ補正が施された基準色データを得ることができる。
次に、本画像処理装置によって算出された補正ＲＧＢ値を示す。図８は、本画像処理装置により算出された補正ＲＧＢ値を示した表である。表に示すｉは色番号を示し、上段の表は色番号が１〜１０に対する表であり、下段の表は色番号が１１〜２０に対する表であり、両表とも、２〜４行目の各列には、各色番号に対応する、前記線形モデルを用いた場合の計算測色値、前記二次関数モデルを用いた場合の補正ＲＧＢ値、及び実測値が記載されている。なお、実測値は、Ｄ６５光源の測色計により現物の色標本を測色することで得られたＬａｂ値をＲＧＢ値に変換することにより得られた値である。
なお、１〜２０の色番号に対しては、それぞれ、前記色標本とほぼ同じ色が対応付けられている。この表から分かるように、線形モデル、二次関数モデルとも、実測値と比較して良好な値が算出されている。
以上説明したように、本画像処理装置によれば、カメラ１により色票と人物の動画像とが同時に撮影され、動画像を構成するフレーム画像から、各色標本が表示された領域が検出され、各色標本に対する撮影色データが算出され、算出された撮影色データと、予め記憶されている基準色データとを用いて変換行列Ａが算出される。そして、フレーム画像から眉間の位置が検出され、検出された位置に標本領域が設定され、設定された標本領域から計算測色値が算出されている。
そのため、人物の顔が撮影された画像から、肌が表示された領域を正確に特定することが可能となり肌の色を高精度、かつ、リアルタイムに算出することができる。また、各色標本に対する測色計による測色値を予め取得しておき、この測色値から算出された基準色データが用いられているため、高価な測色計を用いなくとも、高精度な肌の測色値を得ることができる。
なお、本発明は以下の態様を採用してもよい。
（１）上記実施形態では、標本領域を眉間に設定したが、これに限定されず、頬や額等の他の肌の領域に標本領域を設定し、肌の測色値を算出してもよい。この場合、眉間同様、目尻、鼻頭、唇の両端等の特徴点を検出し、検出した特徴点から標本領域を設定すればよい。
（２）上記実施形態では、顔の肌の色を測色するものであったが、これに限定されず、髪、唇等を測色してもよい。また、人物に限定されず、果物、野菜、動物等の他の物体を測色してもよい。この場合、測色対象となる色に応じて、その色の色標本が相対的に多く含まれる色票を用いることが好ましい。
（３）上記実施形態では、色標本が２行１０列で配列された矩形状の色票を用いたが、これに限定されず、十字型、階段型、Ｈ型等の矩形以外の形状を有する色票を用いてもよい。すなわち、測色対象物の形状に応じて、好ましい形状の色票を用いればよい。
（４）上記実施形態では、Ｌａｂ表色系で測色された測色値を取得して、基準色データを算出していたが、これに限定されず、ＸＹＺ表色系、ＲＧＢ表色系等の他の表色系で測色された測色値を取得して、基準色データを算出してもよい。
（５）上記実施形態では、標本領域のＬＣＨ値を計算測色値として算出していたが、これに限定されず、Ｌａｂ値、ＸＹＺ値、ＲＧＢ値を計算測色値として算出してもよい。
（６）上記実施形態では説明しなかったが、本発明にかかる画像処理プログラムをＣＤ−ＲＯＭ等のコンピュータ読取り可能な記録媒体に記憶させ、市販してもよい。この場合、ユーザは、この記録媒体を購入し、コンピュータにインストールすることにより、上記画像処理装置を得ることができる。また、インターネット上のＷＥＢサーバに本画像処理プログラムを記憶させ、ダウンロードすることにより本画像処理プログラムをコンピュータにインストールさせても良い。
（７）上記実施形態で示すカメラ１を遠隔地に設置し、カメラ１を通信機能を備えるパソコンを介してコンピュータ２と通信可能に接続し、カメラ１により撮影された顔の動画像をコンピュータ２が受信して顔の肌等の測色値を算出し、算出した測色値をカメラ１側のパソコンに送信させてもよい。
（８）上記実施形態では、色標本の数を２０個としたがこれに限定されず、１〜１９個又は２１個以上としてもよい。
（９）上記実施形態では、色票は、可視光のみからなる色標本から構成されるものとしたが、例えば、赤外線マーカー等の可視光以外の色標本を含ませても良い。

測色計を用いることなく測色対象物が撮影された動画像から、測色対象物の測色値をリアルタイムに算出することができる画像処理プログラム、画像処理装置、及び画像処理法を提供する。

Claims (10)

1. 測色対象物が撮影された画像を用いて、前記測色対象物の色を測色するための画像処理プログラムであって、
   複数の色標本から構成される色票と前記測色対象物とが同時に撮影されたカラー動画像を取得する画像取得手段、
   前記カラー動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出する撮影色データ算出手段、
   前記色票を構成する各色標本の測色値から得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出する補正データ算出手段、
   フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段、
   前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
2. 前記補正データ算出手段は、線形モデルを用いて、前記補正データを算出することを特徴とする請求項１記載の画像処理プログラム。
3. 前記補正データ算出手段は、二次関数モデルを用いて、前記補正データを算出することを特徴とする請求項１記載の画像処理プログラム。
4. 前記測色対象物は人物の顔であり、前記測色対象領域は、顔の肌の領域であることを特徴とする請求項１〜３のいずれかに記載の画像処理プログラム。
5. 前記領域設定手段は、フレーム画像の瞳を前記特徴点として検出し、検出した瞳から眉間の位置を検出し、当該位置に前記測色対象領域を設定することを特徴とする請求項４記載の画像処理プログラム。
6. 前記色票は、少なくとも肌色の色標本を含むことを特徴とする請求項４又は５記載の画像処理プログラム。
7. 自己のγ特性値を用いて、前記カラー動画像をγ変換して表示する表示手段を更に備え、
   前記基準色データ算出手段は、前記測色値に対して前記γ特性値によるγ補正を施した値を前記基準色データとして算出し、
   前記測色値算出手段は、前記測色対象領域の色データに対し前記γ特性値による逆γ補正を施した値を測色値として算出すること特徴とする請求項１〜６のいずれかに記載の画像処理プログラム。
8. 前記色票は、少なくとも３個の色標本を含み、
   前記撮影色データ算出手段は、色票を構成する複数の色標本のうち、特定範囲の色相で、彩度及び明度のうち少なくともいずれか一方が相対的に高い少なくとも２個の色標本の領域を検出し、検出した各領域の位置関係を基に、予め記憶している色標本の配列パターンにしたがって、他の色標本の領域を補間により検出することを特徴とする請求項１〜７のいずれかに記載の画像処理プログラム。
9. 測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理装置であって、
   複数の色標本から構成される色票と前記測色対象物とを同時に撮影し、前記カラー動画像を取得する画像取得手段と、
   前記カラー動画像を構成するフレーム画像に対して色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出する撮影色データ算出手段と、
   前記色票を構成する各色標本の測色値を基に得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出する補正データ算出手段と、
   フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定する領域設定手段と、
   前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出する測色値算出手段とを備えることを特徴とする画像処理装置。
10. コンピュータが、測色対象物が撮影された画像を用いて、前記測色対象物の色を測色する画像処理方法であって、
    前記コンピュータは、画像取得手段、撮影色データ算出手段、補正データ算出手段、領域設定手段、及び測色値算出手段を備え、
    前記画像取得手段が、前記色票と前記測色対象物とを同時に撮影し、前記カラー動画像を取得するステップと、
    前記撮影色データ算出手段が、前記カラー動画像を構成するフレーム画像に対して各色標本が表示された領域を検出し、検出した領域の画素データを基に、各色標本に対する撮影色データを算出するステップと、
    前記補正データ算出手段が、前記色票を構成する各色標本の測色値から得られる色標本毎の基準色データと前記撮影色データとを用い、補正データを算出するステップと、
    前記領域設定手段が、フレーム画像に対して測色対象物の特徴点を検出し、検出した特徴点を基に、前記測色対象物が表示された領域内に測色対象領域を設定するステップと、
    前記測色値算出手段が、前記測色対象領域の画素データを基に、前記測色対象領域の色データを算出し、当該色データに対して、前記補正データを用いた演算を施し、測色値を算出するステップとを備えることを特徴とする画像処理方法。

Images