JP5733032B2 - 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体 - Google Patents

Description

本技術は、画像処理装置および方法、画像処理システム、プログラム、および、記録媒体に関し、特に、肌の状態を測定する場合に用いて好適な画像処理装置および方法、画像処理システム、プログラム、および、記録媒体に関する。

従来、肌を撮影した画像に基づいて、肌の状態を測定する装置が提案されている。

例えば、波長が異なる複数の照明光を被写体の診断対象となる部位に照射し、その部位の各波長に対する分光反射率に基づいて、健常状態と異常状態を判別する診断システムが提案されている（例えば、特許文献１参照）。

国際公開第２００６／０６４６３５号

そのような肌の状態を測定する技術においては、簡単かつ正確に肌の状態を知ることができるようにすることが望まれている。

本技術は、簡単かつ正確に肌の状態を知ることができるようにするものである。

本技術の第１の側面の画像処理装置は、生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行う学習部と、生体の肌を撮影した第１の画像の特徴量を抽出する特徴解析部と、抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定する特定部と、特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する設定部とを含む。

設定された前記撮影条件で撮影された前記第２の画像に基づいて、特定された前記部位の肌の状態の測定を行う測定部をさらに設けることができる。

前記測定部には、特定された前記部位において、肌のキメ、シワ、シミ、および角栓のうち少なくとも１つの測定を行わせることができる。

前記部位の測定結果の表示を制御する表示制御手段をさらに設けることができる。

前記設定部には、前記部位および前記部位において測定する項目のうち少なくとも一方に基づいて、前記第２の画像の撮影に用いる光の波長、フォーカス位置の前記部位の表面からの深さ、照明光の偏光方向と撮像素子への入射光の偏光方向との関係、および、撮影倍率のうち少なくとも１つを設定させるようにすることができる。

生体を撮影する撮影部をさらに設けることができる。

本技術の第１の側面の画像処理方法は、画像処理装置が、生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行い、生体の肌を撮影した第１の画像の特徴量を抽出し、抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定し、特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定するステップを含む。

本技術の第１の側面のプログラムは、生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行い、生体の肌を撮影した第１の画像の特徴量を抽出し、抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定し、特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定するステップを含む処理をコンピュータに実行させる。

本技術の第２の側面の画像処理システムは、撮影装置と、画像処理装置とを含み、前記画像処理装置は、生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行う学習部と、前記撮影装置により撮影された生体の肌の第１の画像の特徴量を抽出する特徴解析部と、抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定する特定部と、特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する設定部とを含む。

本技術の第１の側面においては、生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習が行われ、生体の肌を撮影した第１の画像の特徴量が抽出され、抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位が特定され、特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件が設定される。

本技術の第２の側面においては、生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習が行われ、生体の肌を撮影した第１の画像の特徴量が抽出され、抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位が特定され、特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件が設定される。

本技術の第１の側面または第２の側面によれば、簡単かつ正確に肌の状態を知ることができる。

本技術を適用した画像処理システムの第１の実施の形態を示す図である。 撮影装置の機能の構成例を示すブロック図である。 サーバの機能の構成例を示すブロック図である。 特徴解析部の機能の構成例を示すブロック図である。 学習処理を説明するためのフローチャートである。 特徴量ベクトルの生成方法について説明するための図である。 肌測定解析処理を説明するためのフローチャートである。 測定条件設定表の第１の例を示す図である。 部位画像の撮影に用いる光の波長の第１の設定方法を示す図である。 部位画像の撮影に用いる光の波長の第２の設定方法を示す図である。 部位画像の撮影に用いる光の波長の第３の設定方法を示す図である。 部位画像の撮影に用いる光の波長の第４の設定方法を示す図である。 キメ測定解析処理を説明するためのフローチャートである。 角栓測定解析処理を説明するためのフローチャートである。 UV光を用いて鼻の表面を撮影した部位画像を模式的に示す図である。 シミ測定解析処理を説明するためのフローチャートである。 シワ測定解析処理を説明するためのフローチャートである。 シワ測定解析処理の流れを示す図である。 測定条件設定表の第２の例を示す図である。 測定深度に対する撮像部のフォーカスの設定位置の例を示す図である。 本技術を適用した画像処理システムの第２の実施の形態を示す図である。 撮影装置の機能の構成例を示すブロック図である。 サーバの機能の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［画像処理システム１の構成例］
図１は、本技術を適用した画像処理システム１の一実施の形態を示すブロック図である。

画像処理システム１は、例えば、被検者２の頬、鼻、額、手の甲などの部位（以下、対象部位と称する）を撮影し、その結果得られた画像（以下、部位画像と称する）に基づいて、被検者２の対象部位の肌の状態の測定、および、測定結果の解析（例えば、各種の統計処理等）を行うシステムである。なお、画像処理システム１は、肌の表面の状態だけでなく、例えば、将来肌の表面に現れるシミなどが存在する肌の奥の状態の測定および解析も行う。

画像処理システム１は、撮影装置１１、画像処理装置１２、および、表示装置１３を含むように構成される。撮影装置１１と画像処理装置１２とは、有線または無線の通信を行う。なお、撮影装置１１と画像処理装置１２の間の通信方式は、特定の方式に限定されるものではなく、無線または有線の任意の通信方式を採用することができる。この図では、撮影装置１１と画像処理装置１２とをケーブルにより接続し、有線通信を行う例を示している。

［撮影装置１１の構成例］
図２は、撮影装置１１の機能の構成例を示すブロック図である。

撮影装置１１は、撮像部３１、照明部３２、画像処理部３３、通信部３４、および、制御部３５を含むように構成される。

撮像部３１は、イメージセンサ等を備え、制御部３５の制御の下に、被検者の肌を撮影し、その結果得られた部位画像を画像処理部３３に供給する。なお、撮像部３１は、少なくとも可視光からUV光（紫外線）までの波長帯の光の像の撮影が可能なイメージセンサを備える。

照明部３２は、制御部３５の制御の下に、撮像部３１により撮影される被検者の対象部位を含む領域に照明光を照射する。なお、照明部３２の構成の具体例については、図９等を参照して後述する。

画像処理部３３は、部位画像に対してノイズ除去等の所定の画像処理を施して、通信部３４に供給する。

通信部３４は、所定の通信方式により、画像処理装置１２と通信を行う。そして、通信部３４は、部位画像を画像処理装置１２に送信する。また、通信部３４は、画像処理装置１２から送信されてくる撮影条件設定情報を受信し、制御部３５に供給する。

制御部３５は、撮像部３１および照明部３２の制御を行うとともに、撮影条件設定情報に基づいて、撮像部３１および照明部３２による部位画像の撮影条件を設定する。

［画像処理装置１２の構成例］
図３は、画像処理装置１２の機能の構成例を示すブロック図である。

画像処理装置１２は、通信部５１、特徴解析部５２、学習部５３、記憶部５４、部位特定部５５、撮影条件設定部５６、肌測定解析部５７、および、表示制御部５８を含むように構成される。また、肌測定解析部５７は、キメ測定解析部７１、角栓測定解析部７２、シミ測定解析部７３、および、シワ測定解析部７４を含むように構成される。

通信部５１は、所定の通信方式により、撮影装置１１と通信を行う。

特徴解析部５２は、通信部５１を介して、撮影装置１１から部位画像を受信する。特徴解析部５２は、後述するように、部位画像の特徴を解析し、部位画像の特徴量を抽出する。特徴解析部５２は、抽出した部位画像の特徴量を示す情報を学習部５３または部位特定部５５に供給する。

学習部５３は、後述するように、特徴解析部５２から供給される部位画像の特徴量を示す情報、および、外部から与えられる正解データに基づいて、特徴量に基づいて部位画像に写っている被検者の部位の識別に用いる識別情報の学習を行う。学習部５３は、識別情報を生成するための学習データ、および、学習の結果得られた識別情報を記憶部５４に記憶させる。

記憶部５４は、上述した学習データおよび識別情報の他に、測定条件設定表を記憶する。測定条件設定表は、対象部位の肌の状態の測定に用いる部位画像の撮影条件や測定項目等を設定するためのものである。測定条件設定表は、例えば、ユーザにより作成されたり、画像処理システム１の製造者、販売者等により提供される。

なお、測定条件設定表の具体例については、図８等を参照して後述する。

部位特定部５５は、特徴解析部５２により部位画像から抽出された特徴量、および、記憶部５４に記憶されている識別情報に基づいて、部位画像内の被験者の部位（対象部位）を特定する。部位特定部５５は、特定した対象部位を撮影条件設定部５６および肌測定解析部５７に通知する。

撮影条件設定部５６は、部位特定部５５により特定された対象部位、および、記憶部５４に記憶されている測定条件設定表に基づいて、撮影装置１１の撮影条件を設定する。そして、撮影条件設定部５６は、設定した撮影条件を示す撮影条件設定情報を、通信部５１を介して撮影装置１１に送信する。

肌測定解析部５７は、通信部５１を介して、撮影装置１１から部位画像を受信する。肌測定解析部５７は、部位特定部５５により特定された対象部位、および、記憶部５４に記憶されている測定条件設定表に基づいて、対象部位において測定する項目を特定する。また、肌測定解析部５７は、部位画像に基づいて、対象部位において特定した測定項目の測定を行うとともに、測定結果の解析を行う。そして、肌測定解析部５７は、部位画像および対象部位の測定および解析結果（以下、測定解析結果と称する）を表示制御部５８に供給する。

なお、測定項目には、例えば、キメ、角栓、シミ、シワが含まれる。そして、キメ測定解析部７１、角栓測定解析部７２、シミ測定解析部７３、および、シワ測定解析部７４が、それぞれ部位画像に基づいて、対象部位におけるキメ、角栓、シミ、および、シワの状態の測定、および、測定結果の解析を行う。

表示制御部５８は、部位画像および対象部位の測定解析結果に基づいて、対象部位の肌の状態の測定解析結果を示すデータを生成し、表示装置１３に送信する。

［特徴解析部５２の構成例］
図４は、特徴解析部５２の機能の構成例を示すブロック図である。

特徴解析部５２は、フィルタリング部８１、平均化部８２、および、ベクトル化部８３を含むように構成される。

フィルタリング部８１は、後述するように、部位画像に対して、パラメータが異なる複数のガボールフィルタを適用する。そして、フィルタリング部８１は、その結果得られた複数の結果画像を平均化部８２に供給する。

平均化部８２は、各結果画像を小ブロックに分割し、小ブロック毎の画素値の平均値を算出する。平均化部８２は、算出した平均値をベクトル化部８３に供給する。

ベクトル化部８３は、平均化部８２から供給された平均値からなるベクトルを、部位画像の特徴量を表す特徴量ベクトルとして生成する。ベクトル化部８３は、生成した特徴量ベクトルを学習部５３または部位特定部５５に供給する。

次に、図５乃至図２０を参照して、画像処理システム１の処理について説明する。

［学習処理］
まず、図５のフローチャートを参照して、画像処理システム１により実行される学習処理について説明する。

なお、この処理は、例えば、図示せぬ入力部を介して、学習処理の開始の指令が画像処理システム１に入力されたとき開始される。

ステップＳ１において、画像処理システム１は、部位画像を撮影する。具体的には、ユーザは、撮影装置１１を用いて被検者の頬、鼻、額、または、手の甲のうちの１つの部位の撮影を行う。なお、ユーザ（撮影者）と被検者は同一人物であってもよいし、同一人物でなくてもよい。

そして、撮像部３１は、撮影の結果得られた部位画像を画像処理部３３に供給する。

画像処理部３３は、部位画像に対してノイズ除去等の画像処理を施すとともに、部位画像の中心部の所定の大きさの領域を切り出す。なお、以下、部位画像の中心部の128×128画素の領域が切り出されるものとする。画像処理部３３は、画像処理後の部位画像を通信部３４に供給する。

通信部３４は、部位画像を画像処理装置１２に送信する。

画像処理装置１２の通信部５１は、撮影装置１１から送信されてきた部位画像を受信し、特徴解析部５２のフィルタリング部８１に供給する。

ステップＳ２において、特徴解析部５２は、部位画像の特徴を解析する。

具体的には、特徴解析部５２のフィルタリング部８１は、次式（１）の演算を行うことにより、部位画像に対してガボールフィルタを適用する。

なお、g(x,y)は、ガボールフィルタの適用後の画像の座標(x,y)の画素値を表す。また、x'、y'は、部位画像のx座標、y座標を用いて、次式（２）および（３）により表される

x'＝x・cosθ＋y・sinθ ・・・（２）
y'＝−x・sinθ＋y・cosθ ・・・（３）

また、λは波長のコサイン成分、θはガボール関数の縞模様の方向、ψは位相オフセット、σはスケール、γは空間アスペクト比を表す。

このとき、フィルタリング部８１は、例えば、ガボールフィルタのパラメータであるθを0度、45度、90度、135度の４種類、σを1.0、5.0の２種類の中から選択し、θとσの各組み合わせによる合計８種類のガボールフィルタを部位画像に適用する。これにより、部位画像から８つの結果画像が生成される。フィルタリング部８１は、生成した８つの結果画像を平均化部８２に供給する。

平均化部８２は、図６に示されるように、各結果画像を32×32画素の16個の小ブロックｂ１乃至ｂ１６に分割し、各小ブロックの画素値の平均値を求める。その結果、８つの結果画像から合計128個の小ブロックの画素値の平均値が求められる。平均化部８２は、求めた平均値をベクトル化部８３に供給する。

ベクトル化部８３は、平均化部８２から供給された128個の平均値を特徴量とする128次元のベクトルを、部位画像の特徴を表す特徴量ベクトルとして生成する。特徴量ベクトをvとすると、特徴量ベクトルvは、例えば、次式（４）により表される。

v＝(g1_b1, …, g1_b16, g2_b1, …, g2_b16, …, g8_b1, …, g8_b16) ・・・（４）

なお、gi_bjは、ｉ番目の結果画像のｊ番目の小ブロックの画素値の平均を表す。

ベクトル化部８３は、生成した特徴量ベクトルを学習部５３に供給する。

ステップＳ３において、学習部５３は、学習データを蓄積する。具体的には、例えば、ユーザは、部位画像が頬、鼻、額、または、手の甲のうちのいずれを撮影したものであるかを示す正解データを学習部５３に入力する。学習部５３は、取得した正解データと特徴量ベクトルを関連づけた学習データを記憶部５４に記憶させる。

ステップＳ４において、学習部５３は、学習データが十分蓄積されたか否かを判定する。学習データがまだ十分蓄積されていないと判定された場合、処理はステップＳ１に戻る。

その後、ステップＳ４において、学習データが十分蓄積されたと判定されるまで、ステップＳ１乃至Ｓ４の処理が繰り返し実行される。

例えば、ユーザは、被検者の頬、鼻、額、または、手の甲のそれぞれの部位について、少しずつ位置をずらしながら複数の部位画像を撮影する。そして、画像処理システム１は、撮影した各部位画像について学習データを生成し、蓄積する。これを、複数の被検者について実行する。これにより、複数の被検者の各部位の複数の位置における学習データが蓄積される。

そして、ステップＳ４において、学習データが十分蓄積されたと判定された場合、処理はステップＳ５に進む。

ステップＳ５において、学習部５３は、識別器を生成する。

例えば、学習部５３は、部位画像から抽出された特徴量ベクトルに基づいて部位画像内の部位を識別するために用いる識別情報として、記憶部５４に蓄積されている学習データに基づいて、SVM（Support Vector Machine）による識別器を生成する。そして、学習部５３は、生成した識別器を記憶部５４に記憶させる。

その後、学習処理は終了する。

［肌測定解析処理］
次に、図７のフローチャートを参照して、画像処理システム１により実行される肌測定解析処理について説明する。

なお、この処理は、例えば、図示せぬ入力部を介して、肌測定解析処理の開始の指令が画像処理システム１に入力されたとき開始される。

ステップＳ１０１において、図５のステップＳ１の処理と同様に、被検者の肌の状態を測定する対象となる部位の部位画像が撮影される。

ステップＳ１０２において、図５のステップＳ２の処理と同様に、部位画像の特徴が解析される。そして、その結果得られた特徴量ベクトルが、特徴解析部５２から部位特定部５５に供給される。

ステップＳ１０３において、部位特定部５５は、対象部位を特定する。具体的には、部位特定部５５は、特徴解析部５２により抽出された特徴量ベクトル、および、記憶部５４に記憶されている識別器に基づいて、部位画像に写っている被検者の部位（対象部位）を、頬、鼻、額、または、手の甲の中から特定する。部位特定部５５は、特定した対象部位を撮影条件設定部５６および肌測定解析部５７に通知する。

ステップＳ１０４において、画像処理システム１は、撮影条件の設定を行う。具体的には、撮影条件設定部５６は、部位特定部５５により特定された対象部位、および、記憶部５４に記憶されている測定条件設定表に基づいて、撮影装置１１の撮影条件を設定する。

図８は、測定条件設定表の一例を示している。この例では、測定条件設定表は、対象部位、波長、測定深度、偏光方向、撮影範囲、測定項目の６つの項目を含んでいる。このうち、波長、測定深度、偏光方向、撮影範囲が、撮影装置１１の撮影条件を設定するための項目であり、これらの各項目の値は、対象部位および測定項目の少なくとも一方により決定される。

波長は、部位画像の撮影に用いる光の波長を示し、例えば、対象部位の測定項目の測定に必要な要素（例えば、皮丘、角栓など）の撮影に適した値に設定される。この例では、白色光、UV光（波長390nm）の２種類の設定値が示されている。

測定深度は、肌の表面からどの程度の深さの部分を測定するかを示す。この例では、全て0mm（肌の表面）に設定されている。

偏光方向は、照明部３２から発せられる照明光の偏光方向と、撮像部３１のイメージセンサに入射する入射光の偏光方向との関係を示す。この例では、平行、直交、−（偏光なし）の３種類の設定値が示されている。

ここで、平行とは、照明光の偏光方向と入射光の偏光方向を平行させること、換言すれば、照明光の偏光方向と入射光の偏光方向を一致させることを示す。照明光の偏光方向と入射光の偏光方向を平行にすることにより、対象部位の表面で反射する反射光を抽出して撮影することが可能になる。

直交とは、照明光の偏光方向と入射光の偏光方向を直交させることを示す。照明光の偏光方向と入射光の偏光方向を直交させることにより、対象部位の表面で反射する反射光を遮断し、それ以外の成分（例えば、皮膚の奥で反射する成分等）の光を抽出して撮影することが可能になる。

偏光なしとは、照明光および入射光とも偏光しないことを示す。

従って、偏光方向は、例えば、対象部位の表面または奥のいずれの測定を行うかに基づいて設定される。

撮影範囲は、部位画像を撮影する範囲を示し、例えば、対象部位の測定項目の測定に必要な要素を撮影することができる広さに設定される。この例では、1cm×1cm、3cm×3cm、5cm×5cmの３種類の設定値が示されている。

例えば、対象部位が頬の場合の測定項目はキメであるが、後述するようにキメの状態として皮丘の個数等が測定される。皮丘の大きさは0.1〜0.5mm程度なので、撮影範囲は、例えば1cm×1cmに設定される。また、対象部位が額の場合の測定項目はシワであるが、額のシワの長さが数cm程度なので、撮影範囲は、例えば5cm×5cmに設定される。

測定項目は、対象部位において測定する項目を示す。この例では、キメ、角栓、シミ、シワの４種類の設定値が示されている。

そして、撮影条件設定部５６は、特定された対象部位に対応する波長、測定深度、偏光方向、および、撮影範囲にもとづいて、撮影条件を設定する。例えば、撮影条件設定部５６は、対象部位に対応する波長に基づいて、撮影に使用する光源やフィルタの種類を設定する。また、例えば、撮影条件設定部５６は、特定された対象部位に対応する測定深度に基づいて、撮像部３１のフォーカス位置の対象部位の表面からの深さを設定する。さらに、例えば、撮影条件設定部５６は、特定された対象部位に対応する偏光方向に基づいて、撮像部３１の偏光方向と照明部３２の偏光方向を設定する。また、例えば、撮影条件設定部５６は、特定された対象部位に対応する撮影範囲に基づいて、撮像部３１の撮影倍率を設定する。

そして、撮影条件設定部５６は、設定した撮影条件を示す撮影条件設定情報を、通信部５１を介して撮影装置１１に送信する。撮影装置１１の制御部３５は、通信部３４を介して、撮影条件設定情報を受信する。そして、制御部３５は、受信した撮影条件設定情報に基づいて、撮像部３１および照明部３２の設定を行う。

例えば、制御部３５は、撮影条件設定情報に基づいて、使用する光源やフィルタの種類を設定し、部位画像の撮影に用いる光の波長を設定する。

ここで、図９乃至図１２を参照して、部位画像の撮影に用いる光の波長の設定方法の具体例について説明する。なお、以下では、部位画像の撮影に用いる光の波長を４種類の中から設定する場合の例を示す。

例えば、図９に示されるように、それぞれ波長が異なる光源１１１ａ乃至１１１ｄ、および、光源切替回路１１２を照明部３２に設け、使用する光源を切り替えるようにしてもよい。これにより、被検者に照射される照明光および撮像部３１のイメージセンサ１０１への入射光の波長が切り替わる。なお、光源１１１ａ乃至１１１ｄは、例えば、LED（Light Emitting Diode）により構成される。

また、例えば、図１０に示されるように、透過波長域がそれぞれ異なるBPF（バンドパスフィルタ）１３２ａ乃至１３２ｄを備えるターレット１３１をイメージセンサ１０１の前に設け、可視光からUV光までの波長帯の光を発する光源１４１を照明部３２に設けるようにしてもよい。そして、ターレット１３１を回転させて、BPF１３２ａ乃至１３２ｄの位置を調整することにより、イメージセンサ１０１に入射する入射光の波長を切り替えるようにしてもよい。なお、光源１４１は、例えば、LED（Light Emitting Diode）により構成される。

また、例えば、図１１に示されるように、透過波長域が異なるBPF１５１ａ乃至１５１ｄを備える４分割フィルタ１５１を、各BPFの透過光がイメージセンサ１０１の異なる領域に入射するように設け、部位画像の撮影に使用するイメージセンサ１０１の領域を切り替えるようにしてもよい。

また、例えば、図１２に示されるように、４つのイメージセンサ１０１ａ乃至１０１ｄにそれぞれ対応するように、透過波長域がそれぞれ異なるBPF１７１ａ乃至１７１ｄを設け、撮影に使用するイメージセンサを切り替えるようにしてもよい。

また、制御部３５は、撮影条件設定情報に基づいて、撮像部３１のフォーカス位置を設定する。いまの例の場合、全ての対象部位の測定深度が0mmなので、フォーカス位置は、対象部位に関わらず、全て対象部位の表面に設定される。

さらに、制御部３５は、撮影条件設定情報に基づいて、照明部３２から発せられる照明光の偏光方向と、撮像部３１のイメージセンサに入射する入射光の偏光方向を設定する。

また、制御部３５は、撮影条件設定情報に基づいて、撮像部３１のズームレンズの撮影倍率を設定する。

図７に戻り、ステップＳ１０５において、画像処理システム１は、図５のステップＳ１と同様の処理を行い、対象部位に応じて設定された撮影条件の下で、部位画像を再度撮影する。撮影された部位画像は、撮影装置１１から画像処理装置１２に送信され、肌測定解析部５７に供給される。

ステップＳ１０６において、肌測定解析部５７は、対象部位の測定および解析を行う。具体的には、肌測定解析部５７は、部位特定部５５により特定された対象部位、および、記憶部５４に記憶されている測定条件設定表に基づいて、対象部位において測定および解析する項目を特定する。

そして、対象部位が頬である場合、肌測定解析部５７のキメ測定解析部７１は、頬のキメの状態の測定、および、測定結果の解析を行う。ここで、図１３のフローチャートを参照して、キメ測定解析部７１により実行されるキメ測定解析処理の詳細について説明する。

ステップＳ１２１において、キメ測定解析部７１は、高輝度領域を検出する。具体的には、部位画像において、皮丘の領域は皮溝などの他の領域と比較して明るくなる傾向にある。そこで、キメ測定解析部７１は、例えば、所定の閾値を用いて部位画像を２値化し、２値化した画像から高輝度の領域を抽出する。

ステップＳ１２２において、キメ測定解析部７１は、ラベリング処理を行う。その結果、抽出した高輝度領域が個々に識別される。

ステップＳ１２３において、キメ測定解析部７１は、皮丘の個数、大きさ、形状、方向を測定する。具体的には、キメ測定解析部７１は、識別された高輝度領域の数をカウントすることにより、部位画像内の皮丘の個数を求める。また、キメ測定解析部７１は、各高輝度領域の大きさおよび形状を、皮丘の大きさおよび形状として測定する。さらに、キメ測定解析部７１は、各高輝度領域のエッジ部分の方向を測定する。

ステップＳ１２４において、キメ測定解析部７１は、皮丘の大きさおよび形状の類似度、並びに、皮丘のエッジ方向の分布を計算する。

そして、例えば、皮丘の個数により、対象部位のキメの細かさが評価される。また、例えば、皮丘の大きさおよび形状の類似度、並びに、皮丘のエッジ方向の分布により、対象部位のキメの均一性が評価される。

その後、キメ測定解析処理は終了する。

また、対象部位が鼻である場合、肌測定解析部５７の角栓測定解析部７２は、鼻の角栓の状態の測定、および、測定結果の解析を行う。ここで、図１４のフローチャートを参照して、角栓測定解析部７２により実行される角栓測定解析処理の詳細について説明する

ステップＳ１４１において、角栓測定解析部７２は、オレンジや緑の領域を抽出する。

図１５は、UV光を用いて鼻の表面を撮影した部位画像を模式的に示している。なお、図内のグレーで示される部分が角栓の領域を示している。

UV光を用いて鼻の表面を撮影した場合、図内のグレーで示される角栓の領域がオレンジや緑に近い色を呈し、他から浮き上がって見える。なお、図内ではグレー１色で示されているが、実際には、領域内で色や明るさが変化する。

そこで、角栓測定解析部７２は、部位画像内の角栓が写っている領域として、オレンジや緑の領域を抽出する。

ステップＳ１４２において、角栓測定解析部７２は、ラベリング処理を行う。その結果、抽出したオレンジや緑の領域が個々に識別される。

ステップＳ１４３において、角栓測定解析部７２は、角栓の個数および大きさを測定する。具体的には、角栓測定解析部７２は、識別されたオレンジや緑の領域の数をカウントすることにより、部位画像内の角栓の個数を求める。また、角栓測定解析部７２は、オレンジや緑の各領域の大きさを、角栓の大きさとして測定する。

ステップＳ１４４において、角栓測定解析部７２は、角栓の大きさの平均を計算する。

そして、例えば、角栓の個数および大きさの平均により、対象部位の角栓の量が評価される。

その後、角栓測定解析処理は終了する。

また、対象部位が手の甲である場合、肌測定解析部５７のシミ測定解析部７３は、手の甲のシミの測定、および、測定結果の解析を行う。ここで、図１６のフローチャートを参照して、シミ測定解析部７３により実行されるシミ測定解析処理の詳細について説明する

ステップＳ１６１において、シミ測定解析部７３は、低輝度領域を抽出する。具体的には、部位画像において、シミの領域は黒っぽい領域として現れる。そこで、シミ測定解析部７３は、例えば、所定の閾値を用いて部位画像を２値化し、２値化した画像から低輝度の領域を抽出する。

ステップＳ１６２において、シミ測定解析部７３は、ラベリング処理を行う。その結果、抽出した低輝度領域が個々に識別される。

ステップＳ１６３において、シミ測定解析部７３は、シミの個数および大きさを測定する。具体的には、シミ測定解析部７３は、識別された低輝度領域の数をカウントすることにより、部位画像内のシミの個数を求める。また、角栓測定解析部７２は、各低輝度領域の大きさを、シミの大きさとして測定する。

ステップＳ１６４において、シミ測定解析部７３は、シミ領域の大きさの平均を計算する。

そして、シミの個数および大きさの平均により、例えば、対象部位のシミの量が評価される。

その後、シミ測定解析処理は終了する。

また、対象部位が額である場合、肌測定解析部５７のシワ測定解析部７４は、額のシワの測定、および、測定結果の解析を行う。ここで、図１７のフローチャートを参照して、シワ測定解析部７４により実行されるシワ測定解析処理の詳細について説明する

ステップＳ１８１において、シワ測定解析部７４は、部位画像内のエッジを抽出する。すなわち、シワ測定解析部７４は、図１８に模式的に示されるように、部位画像に写っているシワを抽出するために、Sobelフィルタ等を用いて部位画像内のエッジ領域を抽出する。

ステップＳ１８２において、シワ測定解析部７４は、ラベリング処理を行う。その結果、抽出した各エッジ領域が個々に識別される。

ステップＳ１８３において、シワ測定解析部７４は、シワの個数および長さを測定する。具体的には、シワ測定解析部７４は、識別されたエッジ領域の数をカウントすることにより、部位画像内のシワの個数を求める。また、シワ測定解析部７４は、各エッジ領域の連結画素数をカウントすることにより、部位画像内の各シワの長さを測定する。

ステップＳ１８４において、シワ測定解析部７４は、シワの長さの平均を計算する。

そして、シワの個数および長さの平均により、例えば、対象部位のシワの量が評価される。

その後、シワ測定解析処理は終了する。

図７に戻り、ステップＳ１０７において、画像処理システム１は、測定解析結果を表示する。

具体的には、肌測定解析部５７は、部位画像および対象部位の測定解析結果を表示制御部５８に供給する。表示制御部５８は、部位画像および対象部位の測定解析結果に基づいて、対象部位の肌の状態の測定解析結果を示すデータを生成し、通信部５１を介して表示装置１３に送信する。表示装置１３は、受信したデータに基づいて、例えば、部位画像とともに、対象部位の肌の状態の測定解析結果を表示する。

その後、肌測定解析処理は終了する。

以上のようにして、自動的に対象部位を特定し、対象部位に適した撮影条件で部位画像を撮影し、対象部位に応じた項目の測定および解析を行うことができる。従って、ユーザは、簡単かつ失敗せずに、所望の部位の肌の状態を正確に測定および解析することができる。

また、学習処理を行う部位を増やすことにより、簡単に対象部位の種類を増やすことができる。

さらに、測定条件設定表を変更することにより、簡単に測定項目や撮影条件を変更することが可能である。

［測定条件設定表の変形例］
ここで、図８の測定条件設定表の代わりに、図１９の測定条件設定表を用いた場合について説明する。

図１９の測定条件設定表は、図８の測定条件設定表と比較して、対象部位が頬の場合の撮影条件および測定項目が異なる。具体的には、図１９の測定条件設定表では、頬の撮影条件として、波長がUV光に設定され、測定深度が0.2mmに設定され、偏光方向が直交方向に設定されている。従って、対象部位が頬である場合、この撮影条件で、頬の部位画像が撮影される。

また、頬に対する測定深度は、他の部位に対する測定深度と値が異なる。この点について、図２０を参照して説明する。

図２０は、撮影装置１１の撮像部３１のイメージセンサ２０１とレンズ２０２の状態を模式的に示す図である。

対象部位が頬以外の場合の測定深度は0.0mmなので、図内の左側に示されるように、対象部位の表面にレンズ２０２のフォーカス位置が設定される。

一方、対象部位が頬の場合の測定深度は0.2mmなので、図内の右側に示されるように、対象部位の表面から0.2mm深い位置にレンズ２０２のフォーカス位置が設定される。平均的な人の表皮の厚さは約0.2mmなので、これにより頬の表面より少し奥の将来表面に現れるシミを検出することができる。

＜２．変形例＞
以下、本技術の実施の形態の変形例について説明する。

［変形例１］
以上の説明では、画像処理システム１を、撮影装置１１、画像処理装置１２、および、表示装置１３により構成する例を示したが、本技術は、他の構成により実現することも可能である。

例えば、撮影装置１１、画像処理装置１２、および、表示装置１３を一体化し、一つの装置により実現することが可能である。また、例えば、撮影装置１１、画像処理装置１２、および、表示装置１３のうちの２つを一体化することも可能である。

また、撮影装置１１と画像処理装置１２の機能の配置は、上述した例に限定されるものではなく、例えば、撮影装置１１の機能の一部を画像処理装置１２に配置したり、画像処理装置１２の機能の一部を撮影装置１１に配置したりすることも可能である。

さらに、表示装置１３を、画像処理システム１専用に設けるようにしてもよいし、テレビジョン受像機や携帯電話機等の他の装置の表示装置を利用するようにしてもよい。

また、本技術を、例えば、図２１の画像処理システム３０１のように、ネットワークを介してリモート処理を行うシステムにより実現することも可能である。

画像処理システム３０１は、撮影装置３１１、サーバ３１２、および、表示装置３１３を含むように構成される。撮影装置３１１、サーバ３１２、表示装置３１３は、図１の撮影装置１１、画像処理装置１２、表示装置１３にそれぞれ対応し、それぞれほぼ同様の処理を行う。

撮影装置３１１、サーバ３１２、および、表示装置３１３は、ネットワーク３１４を介して相互に接続され、通信を行う。なお、撮影装置３１１、サーバ３１２、および、表示装置３１３の間の通信方式は、特定の方式に限定されるものではなく、無線または有線の任意の通信方式を採用することができる。

図２２は、撮影装置３１１の機能の構成例を示すブロック図である。なお、図中、図２と対応する部分には同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。

撮影装置３１１は、図２の撮影装置１１と比較して、画像処理部３３と通信部３４との間に暗号化部３３１が設けられている点が異なる。

暗号化部３３１は、撮影装置３１１とサーバ３１２との間の伝送路におけるセキュリティを確保するために、撮像部３１により撮影された部位画像を所定の方式により暗号化またはスクランブル化する。暗号化部３３１は、暗号化またはスクランブル化した部位画像を通信部３４に供給する。

図２３は、サーバ３１２の機能の構成例を示すブロック図である。なお、図中、図３と対応する部分には同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。

サーバ３１２は、図３の画像処理装置１２と比較して、通信部５１と、特徴解析部５２および肌測定解析部５７との間に復号部３５１が設けられている点が異なる。

復号部３５１は、ネットワーク３１４および通信部５１を介して、撮影装置３１１から部位画像を受信する。復号部３５１は、暗号化またはスクランブル化されている部位画像を復号し、復号した部位画像を特徴解析部５２または肌測定解析部５７に供給する。

［変形例２］
特徴解析部５２の部位画像の特徴の解析手法は、上述した例に限定されるものではなく、例えば、他のエッジ抽出フィルタを用いたり、色情報等を特徴量として抽出するなど、他の手法を用いることが可能である。

［変形例３］
学習部５３の学習方法は、上述したSVMに限定されるものではなく、例えば、線形判別法やニューラルネット等の他の学習方法を用いることが可能である。

さらに、学習部５３を画像処理装置１２に設けずに、他の装置で学習処理を行った結果を画像処理装置１２に与えるようにしてもよい。

［変形例４］
上述した対象部位および測定項目は、その一例であり、任意の対象部位および測定項目を追加したり、削除したりすることが可能である。また、対象部位と測定項目の組み合わせも、上述した例以外の組み合わせに設定したり、１つの対象部位に対して複数の測定項目を設定するようにすることが可能である。

［変形例５］
上述した撮影条件はその一例であり、任意の条件を追加したり、削除したりすることが可能である。例えば、照明光の強度、撮像部３１の露出、撮影角度等を設定するようにすることも可能である。

［変形例６］
本技術は、人以外の生体の肌の状態を測定および解析する場合にも適用することが可能である。

また、本技術は、例えば、測定結果の解析を行わずに、肌の状態の測定のみを行い、測定結果のみを表示したり、記録したり、あるいは、測定結果を他の装置に供給したりする場合にも適用することが可能である。

さらに、本技術は、例えば、肌の状態の測定および解析を行わない場合にも適用することが可能である。例えば、特定した部位に応じた撮影条件で撮影した部位画像を表示したり、記録したり、あるいは、部位画像を他の装置に供給したりする場合にも適用することが可能である。

［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。

バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。

入力部４０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１１を駆動する。

以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は以下のような構成も取ることができる。

（１）
生体の肌を撮影した第１の画像の特徴量に基づいて、前記第１の画像内の前記生体の部位を特定する特定部と、
特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する設定部と
を含む画像処理装置。
（２）
設定された前記撮影条件で撮影された前記第２の画像に基づいて、特定された前記部位の肌の状態の測定を行う測定部を
さらに含む前記（１）に記載の画像処理装置。
（３）
前記測定部は、特定された前記部位において、肌のキメ、シワ、シミ、および角栓のうち少なくとも１つの測定を行う
前記（２）に記載の画像処理装置。
（４）
前記部位の測定結果の表示を制御する表示制御手段を
さらに含む前記（２）に記載の画像処理装置。
（５）
前記設定部は、前記部位および前記部位において測定する項目のうち少なくとも一方に基づいて、前記第２の画像の撮影に用いる光の波長、フォーカス位置の前記部位の表面からの深さ、照明光の偏光方向と撮像素子への入射光の偏光方向との関係、および、撮影倍率のうち少なくとも１つを設定する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記第１の画像の特徴量を抽出する特徴解析部を
さらに含み、
前記特定部は、前記特徴解析部により抽出された前記特徴量に基づいて、前記第１の画像内の前記生体の部位を特定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記特徴量に基づいて生体の部位を識別するための識別情報の学習を行う学習部を
さらに含み、
前記特定部は、前記特徴解析部により抽出された前記特徴量、および、前記学習部により学習された前記識別情報に基づいて、前記第１の画像内の前記生体の部位を特定する
前記（６）に記載の画像処理装置。
（８）
前記生体を撮影する撮影部を
さらに備える前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置が、
生体の肌を撮影した第１の画像の特徴量に基づいて、前記第１の画像内の前記生体の部位を特定し、
特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する
ステップを含む画像処理方法。
（１０）
生体の肌を撮影した第１の画像の特徴量に基づいて、前記第１の画像内の前記生体の部位を特定し、
特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する
ステップを含む処理をコンピュータに実行させるためのプログラム。
（１１）
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（１２）
撮影装置と、
画像処理装置と
を含み、
前記画像処理装置は、
前記撮影装置により撮影された生体の肌の第１の画像の特徴量に基づいて、前記第１の画像内の前記生体の部位を特定する特定部と、
特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を前記撮影装置に対して設定する設定部と
を含む画像処理システム。

１ 画像処理システム, １１ 撮影装置, １２ 画像処理装置, １３ 表示装置, ３１ 撮像部, ３２ 照明部, ３５ 制御部, ５２ 特徴解析部, ５３ 学習部, ５５ 部位特定部, ５６ 撮影条件設定部, ５７ 肌測定解析部, ７１ キメ測定解析部, ７２ 角栓測定解析部, ７３ シミ測定解析部, ７４ シワ測定解析部, ８１ フィルタリング部, ８２ 平均化部, ８３ ベクトル化部, １０１,１０１ａ乃至１０１ｄ イメージセンサ, １１１ａ乃至１１１ｄ 光源, １１２ 光源切替回路, １３１ ターレット, １３２ａ乃至１３２ｄ BPF, １５１ ４分割フィルタ, １５１ａ乃至１５１ｄ,１７１ａ乃至１７１ｄ BPF, ２０１ イメージセンサ, ２０２ レンズ， ３０１ 画像処理システム， ３１１ 撮影装置， ３１２ サーバ， ３１３ 表示装置， ３３１ 暗号化部， ３５１ 復号部

Claims (10)

1. 生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行う学習部と、
   生体の肌を撮影した第１の画像の特徴量を抽出する特徴解析部と、
   抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定する特定部と、
   特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する設定部と
   を含む画像処理装置。
2. 設定された前記撮影条件で撮影された前記第２の画像に基づいて、特定された前記部位の肌の状態の測定を行う測定部を
   さらに含む請求項１に記載の画像処理装置。
3. 前記測定部は、特定された前記部位において、肌のキメ、シワ、シミ、および角栓のうち少なくとも１つの測定を行う
   請求項２に記載の画像処理装置。
4. 前記部位の測定結果の表示を制御する表示制御手段を
   さらに含む請求項２に記載の画像処理装置。
5. 前記設定部は、前記部位および前記部位において測定する項目のうち少なくとも一方に基づいて、前記第２の画像の撮影に用いる光の波長、フォーカス位置の前記部位の表面からの深さ、照明光の偏光方向と撮像素子への入射光の偏光方向との関係、および、撮影倍率のうち少なくとも１つを設定する
   請求項１乃至４のいずれかに記載の画像処理装置。
6. 生体を撮影する撮影部を
   さらに備える請求項１乃至５のいずれかに記載の画像処理装置。
7. 画像処理装置が、
   生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行い、
   生体の肌を撮影した第１の画像の特徴量を抽出し、
   抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定し、
   特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する
   ステップを含む画像処理方法。
8. 生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行い、
   生体の肌を撮影した第１の画像の特徴量を抽出し、
   抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定し、
   特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する
   ステップを含む処理をコンピュータに実行させるためのプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 撮影装置と、
    画像処理装置と
    を含み、
    前記画像処理装置は、
    生体の肌を撮影した画像の特徴量に基づいて生体の部位を識別するための識別情報の学習を行う学習部と、
    前記撮影装置により撮影された生体の肌の第１の画像の特徴量を抽出する特徴解析部と、
    抽出された前記第１の画像の特徴量、および、学習された前記識別情報に基づいて、前記第１の画像内の生体の部位を特定する特定部と、
    特定された前記部位に応じて、前記部位の肌の状態を示す第２の画像を撮影する撮影条件を設定する設定部と
    を含む画像処理システム。

Images