(本発明の第1の実施形態)
以下、本発明の第1の実施形態に係る肌状態測定システムを前記図1ないし図9に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム1は、ユーザーの肌状態を測定可能な肌状態測定装置10と、この肌状態測定装置10を通信可能に接続される、前記撮像装置を兼ね、前記記録部21、表示部22、及び制御部23を有する、端末装置20とを備える構成である。
本実施形態においては、肌状態測定の対象者であるユーザーは、肌状態測定システム1を提供する事業者(以下では、提供事業者とする)との間で、肌状態診断のサービスを受ける契約を交わしている。また、ユーザーは、肌状態測定装置10を自ら購入するか貸与されることで使用可能となっている。
これにより、ユーザーは、肌状態測定システム1を利用した肌状態診断を受けることができ、肌状態測定システム1による肌状態の診断結果を得られ、また必要に応じて診断結果に応じたアドバイス情報を得られるというメリットを享受できる。また、提供事業者は、ユーザーの肌状態に関するデータを取得でき、定められた提供者(例えば、提供事業者のスポンサー)が提供する肌ケア用品、又は、肌ケアサービスを、広告等を通じてユーザーに推奨することで、これらの肌ケア用品や肌ケアサービスについての販売促進効果を実現できるというメリットを享受できる。肌ケア用品とは、肌のケアに用いられる用品であり、例えば、化粧水、美容液、サプリメント、美顔器、洗顔器等である。肌ケアサービスとは、肌のケアを行うサービスであり、例えば、エステティックサービス等である。
前記肌状態測定装置10は、ユーザーの肌状態の測定として、ユーザーの肌の所定部位を撮像可能とされる一種のカメラである。
肌状態測定装置10は、照明用の所定の光源を内蔵しており、撮像に際しては、前記撮像装置としての端末装置20による前記身体所定範囲の撮像で照明光とされる光とは異なる前記光源からの光を照射された、ユーザーの肌の所定部位を撮像対象とするものである。
肌状態測定装置10は、詳細には、ユーザーの肌に先端部11aを当接させた状態で肌の皮丘を所定数捉えられる大きさの開口が設定される略円筒状の本体ケース11と、この本体ケース11内に収納され、ユーザーの肌で反射した光を肌の画像データを示す電気信号に変換する撮像素子12と、ユーザーの肌からの反射光を撮像素子12が焦点となるよう結像させて撮像素子12に入射可能とする光学機構部13と、本体ケース11内部からユーザーの肌へ照明用の光を照射する光源としての複数のLED14、15とを備える構成である。
前記光学機構部13は、反射光の焦点位置を偏移させる光学系の他に、LED14、15の光照射方向に隣接配置されて各LED14、15の光を拡散させる光拡散板13aと、この光拡散板13aのLED14、15とは反対側に隣接配置されて入射光を所定方向に偏光させる第一偏光板13bと、LED14、15と撮像素子12との間に配設されて入射光を第一偏光板23の偏光方向と直交する方向に偏光させる第二偏光板13cと、この第二偏光板13cに隣接配置されてユーザーの肌で反射した光のみを撮像素子12側へ通すようにする遮光板13dとを備える構成である。
このうち、第一偏光板13bは、一部のLED14に対向する箇所に切欠きが設けられることで、これらのLED14由来の拡散光を無偏光としてユーザーの肌へ導く一方、他のLED15由来の拡散光を所定方向の直線偏光としてユーザーの肌へ導くものである。
本実施形態の肌状態測定装置10では、LED14からの光が光拡散板13aで拡散された後に無偏光でユーザーの肌に照射され、この無偏光の光照射がユーザーの肌のキメを検出するための照明として用いられる。また、他のLED15からの光が光拡散板13aで拡散された後に第一偏光板13bで直線偏光としてユーザーの肌に照射され、この直線偏光の光照射がユーザーの肌のシミを検出するための照明として用いられる。
そして、無偏光と直線偏光との二種類の光に基づいたユーザーの肌からの反射光が、第一偏光板13bと光拡散板13aにそれぞれ設けられた開口部を通過し、さらに第二偏光板13cを透過し、光学機構部13の光学系で調節された上で撮像素子12に入射することで、光が撮像素子12で電気信号に変換されて出力されることとなる。
なお、肌状態測定装置10の照明として無偏光と直線偏光の各光照射を使い分けて撮像を行い、肌のキメ検出とシミ検出を適切に行えるようにしているが、これに限らず、偏光板として円偏光フィルタを用いて、照明として円偏光の光照射を行う構成としてもよく、具体的には、右回りの円偏光の場合を肌のキメ検出に、左回りの円偏光の場合を肌のシミ検出にそれぞれ対応した照明とすることができる。この他、照明として照射する光の色(波長)を肌のキメ検出とシミ検出にそれぞれ対応させるようにしてもよく、例えば、肌状態測定装置10が、キメ検出用に肌色光、シミ検出用に白色光をそれぞれ照明として照射可能な光源を備える構成とすることもできる。
肌状態測定装置10は、ユーザーの肌状態の測定としてユーザーの肌を撮像する装置であるが、上記のように照明用の光源を内蔵する肌状態測定専用の装置に限らず、カメラ付きの他の装置、例えば、カメラ部を有するスマートフォン等の携帯型装置や、こうした装置のカメラ部に肌の撮像に適したコンバージョンレンズを装着したもの、でもよい。また、肌状態測定装置としては、こうした肌を撮像する装置に限られるものではなく、撮像用の機構に代えて、又は撮像用の機構と組み合わせて、肌状態の測定用の他のセンサを備える構成とすることもできる。例えば、肌状態測定装置は、ユーザーの肌の含有水分、ユーザーの肌の含有油分、ユーザーの肌の弾力等のうちの、少なくとも1つを検知するセンサ(すなわち、肌用の水分計、油分計、弾力計等)を備えるものでもよい。
前記端末装置20は、前記撮像装置として、肌状態測定装置10による肌状態の測定対象部位を含むユーザーの身体所定範囲、及び、前記測定対象部位近傍に存在する前記肌状態測定装置10を撮像可能とされると共に、前記記録部21、表示部22、及び制御部23を有するものである。
また、端末装置20は、ユーザーの肌状態を測定可能な肌状態測定装置10と有線又は無線で通信可能に接続され、この肌状態測定装置10による肌状態測定(撮像)が実行されると肌状態の測定データを取得可能とされる。
この端末装置20は、IP通信網と接続して通信するための無線通信手段24を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、肌状態測定装置10を接続可能なUSB等の(ハードウェア)インターフェース25を有するものである。そして、端末装置20は、ユーザーの身体所定範囲や肌状態測定装置10を撮像可能とされるカメラ部26を備えることで、撮像装置として機能させられる仕組みである。
なお、撮像装置としての端末装置20は、あらかじめ格納したプログラムを実行することで、端末装置20としての機能や処理を実現する情報処理装置であって、肌状態測定装置10を接続して肌状態の測定を行えるものであれば、携帯型の装置に限られるものではなく、カメラ付きのノートタイプやデスクトップタイプ等のコンピュータであってもよい。また、撮像装置は、美容等の特定用途に特化した他の情報処理装置、例えば、鏡台や化粧、美容用の卓上鏡におけるミラー部(ハーフミラー)の後方に、カメラやディスプレイを組み込んで、通常の鏡としての使用の他に、カメラで撮像したユーザーの画像やこれに処理を加えた画像、ユーザーの画像を分析して得た情報等を必要に応じて鏡面上に表示可能とされる電子機器、でもかまわない。
また、撮像装置としての端末装置20は、ユーザーの肌と肌状態測定装置10を撮像する関係上、肌状態測定装置10とは別の装置とされることはいうまでもないが、肌状態測定装置10として上記のようなスマートフォン等のカメラ付携帯型装置を用いる場合に、撮像装置(端末装置)が同様のカメラ付携帯型装置であってもかまわない。
この端末装置20は、肌状態診断用のアプリケーションプログラムを用いて、撮像により得られた画像データを解析して診断情報を取得可能とされており、得られた診断情報をユーザーが参照できる。この場合、端末装置20は、アプリケーションプログラムの実行により、取得した診断情報をコンテンツとして表示部22に表示することで参照可能としている。
端末装置20における記録部21は、肌状態測定装置10に関するデータを、肌状態測定装置10による測定で得られる肌状態の測定データ、すなわち、肌状態測定装置10の撮像により取得される肌の前記所定部位の画像データ、と関連付けて記録するものである。
この記録部21は、前記肌状態測定装置10に関するデータとして、肌状態測定装置10による肌状態測定としての撮像により肌の画像データを取得する際に、前記撮像装置としての端末装置20の撮像で得られた画像データを解析して検出される肌状態測定装置10の使用状態についての情報を記録することとなる。
前記表示部22は、ユーザーの少なくとも前記身体所定範囲を表す画像を表示可能とされるものである。この端末装置20における表示部22は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
前記制御部23は、肌状態測定装置10による肌状態の測定を制御すると共に、少なくとも前記撮像装置を兼ねる端末装置20の撮像で得られる前記身体所定範囲の画像データに基づいて表示部22に画像表示を行わせるものである。
この制御部23は、前記肌状態測定装置10による新たな肌状態測定時に、前記記録部21に記録済みの肌状態測定装置の前記使用状態についての情報に基づいて、ユーザーの前記測定対象部位に対する肌状態測定装置の以前の使用状態に係る画像を取得し、当該画像をユーザーの前記身体所定範囲を表す画像に重ねるよう合成処理し、この処理済みの画像を表示部22に表示させることとなる。
そして、制御部23は、端末装置20から受け取ったこの端末装置20の撮像で得られる画像データの解析により肌状態測定装置10の使用状態を検出して、これを継続的に監視する。そして、制御部23は、この肌状態測定装置10の使用状態に関して、記録部21に記録済みの肌状態測定装置10の使用状態についての情報に含まれる肌状態測定装置10の以前の使用状態に一致しているか否かの判定を行い、以前の使用状態に一致すると判定した場合、肌状態測定装置10に肌状態の測定を実行させるようにすることができる。
また、制御部23は、撮像装置としての端末装置20で撮像され取得された画像を解析して検出される、肌状態測定装置10の使用状態についての情報(例えば、肌状態測定装置10の位置や向きの情報)に基づいて、肌状態の測定を行おうとする肌状態測定装置10の使用状態(位置や向き)を、表示部22に表示された肌状態測定装置の以前の使用状態に合わせるように案内する、表示部22による案内表示又は所定の報知手段による案内に係る報知を行わせることもできる。
制御部23が表示部に表示させるユーザーの身体所定範囲を表す画像(顔など)は、撮像装置を兼ねる端末装置20の撮像で得られる前記身体所定範囲の画像データに基づくものであれば、画像データをそのまま表示用に画像化して必要に応じトリミング等を施した身体所定範囲の実画像の他に、コンピュータグラフィクス(CG)など単純化した画像を生成し、表示を行わせるようにしてもよい。
この他、制御部23は、肌状態測定装置10の撮像の制御として、記録部21に記録済みの肌状態測定装置10の使用状態についての情報に基づいて、ユーザーの前記測定対象範囲に対する肌状態測定装置10の使用状態が、肌状態測定装置10の以前の所定使用状態に一致したと判定すると、肌状態測定装置10が前記所定使用状態に対応した肌状態測定を行うようにすることもできる。
具体的には、制御部23は、撮像対象の部位に対応する肌状態測定装置10の使用状態としての肌状態測定装置10の位置や向きを把握し、これに応じて撮像条件を変える。例えば、肌の日光に当たりやすい部分や、乾燥しやすい部分を肌状態測定装置10が撮像する場合、肌状態測定装置10による撮像時の照明を他部位の撮像時と変えて撮像するように肌状態測定装置10を制御する。さらに制御部23は、後述する肌状態の診断情報を導く際の画像解析等の診断に係る処理も、部位ごとの特徴に応じた異なる条件を設定して行うことができる。
制御部23は、肌状態測定装置10の撮像により取得される肌の前記所定部位の画像データ、及び、端末装置20の撮像で得られる前記身体所定範囲の画像データをそれぞれ解析して、ユーザーの肌状態の診断情報を取得する機能を備える。こうした機能は、制御部23が、アプリケーションプログラムにしたがって処理を実行することで実現するものである。
制御部23は、上記の処理として、ユーザーの肌を画像データに基づき評価して、ユーザーの肌状態を示す指標値を求める。例えば、制御部23は、肌状態として、肌年齢、肌のキメの細かさ、肌の色白さの度合い、肌の毛穴の開き度合、肌のシミの量、肌の含有水分量(保湿の度合)、肌の含有油量等の項目の内の少なくとも1つを評価し、評価結果から肌状態を示す指標値を求める。
本実施形態では、制御部23は、肌状態測定装置10及び端末装置20で撮影した画像に対して所定の画像処理を行うことで、ユーザーの肌状態を示す指標値を求める。
例えば、制御部23は、撮影した画像に対するエッジ検出を行い、画像中の皮溝を検出し、検出した皮溝で囲まれた皮丘の領域を特定し、特定した皮丘の領域の大きさが小さく、均一さが一定に近いほど大きい値となるような指標値を、肌のキメの細かさを示す指標値(肌状態を示す指標値)として求める。
また、肌状態測定装置10が他のセンサを含む場合、制御部23は、他のセンサで得られた信号に基づいて、ユーザーの肌状態を示す指標値を求めてもよい。
本実施形態では、制御部23は、診断結果がユーザーの肌状態を示す指標値として得られたことを示す情報を診断情報として決定する。そして、制御部23は、取得された診断情報を、表示部22の表示コンテンツとして、表示部22で適切に表示できるようにする制御を行う。例えば、制御部23は、診断結果のうちユーザーの肌状態を示す一部指標値についてグラフを作成し、これを表示コンテンツとして表示部22に表示させることができる。
また、制御部23は、端末装置20上で、肌状態、肌ケア行為の情報、肌の画像、肌の撮像が行われた時期等の情報を含むデータを受け付け、受け付けた肌状態を示す指標値、肌ケア行為の情報、肌の画像、肌の撮像が行われた時期情報を対応付け、端末装置20の記録部21に一旦記憶し、この記憶された肌状態の指標値と肌の撮像が行われた時期情報とに基づいて、ユーザーの肌状態を診断することもできる。
具体的には、制御部23は、記録部21に記憶された肌状態の指標値、肌状態測定が行われた時期情報に基づいて、肌状態の指標値の経時的な推移を特定し、特定した推移の態様に基づいて肌状態が改善したか否かを診断する。例えば、制御部23は、処理直前のユーザーの肌の新陳代謝(ターンオーバー)にかかる期間(例えば、約28日±1日~7日)における肌状態の指標値の経時的な推移を特定し、肌状態を診断する。
また、制御部23は、処理直前のユーザーのターンオーバーにかかる期間と異なる期間(例えば、処理直前の定められた長さの期間(例えば、1週間、10日間、1カ月間等)、指定された期間等)における肌状態の指標値の経時的な推移を特定し、肌状態を診断してもよい。
制御部23は、肌状態の指標値が経時的に肌状態の改善を示す方向に推移している場合、ユーザーの肌状態が改善したとの診断結果を与える。一方、制御部23は、肌状態の指標値が経時的に肌状態の改善を示す方向に推移していない場合(劣化を示す方向に推移、変化しないような推移を示す場合)、肌ケア対象者の肌状態が改善していないとの診断結果を与える。
また、制御部23は、肌状態の診断処理として、ユーザーの年齢等の属性を加味した診断処理を行うこととしてもよい。
制御部23は、診断情報を示すグラフやテキストを含む画像を、端末装置20の表示部22に適切に表示されるようにする制御を行う。この他、制御部23は、肌状態の推移を示す推移グラフ、肌画像である画像群、肌画像に対応する肌ケア行為の情報を示す行為情報群、所定の肌ケア用品又は肌ケアサービスの広告(リンク付き)を示す広告を含む画像を、表示部22に適切に表示されるようにする制御を行うようにしてもよい。
また、制御部23は、診断情報の一部として、診断結果を示すコンテンツを作成し、それを端末装置20から参照可能とするように、表示部22に表示させるようにしてもよい。例えば、制御部23は、保湿の度合、毛穴の開き度合、美白の度合、肌年齢(エイジング)それぞれについて肌状態の指標値を示すバーオブジェクトとを含むコンテンツを作成し、表示部22に表示させるようにしてもよい。
次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、肌状態測定装置10による肌状態の測定対象部位が顔の肌の要部(頬、目元、口元など)であり、これらを含む顔全体がユーザーの身体所定範囲とされる。そして、端末装置20はスマートフォンであり、表示部22のある側に設けられたカメラ部(いわゆるインカメラ)を用いることで撮像装置として機能させ、これにカメラである肌状態測定装置10を接続可能としている。肌状態測定装置10は、端末装置20より撮像範囲を狭くされる一方、より高解像度で撮像を行えるものとされ、肌状態の測定として顔の極狭い範囲の肌を撮像する。
端末装置20と肌状態測定装置10を使用して肌状態の測定を行うために、まず、ユーザーにより肌状態測定装置10が端末装置20に接続される。
続いて、ユーザーの操作で、あらかじめ端末装置に存在している、肌状態測定装置10を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置20上で起動させると、端末装置20を通じてユーザーが肌状態測定装置10を測定に使用できる状態となる。
この他、ユーザーの端末装置20に肌状態測定装置10を接続すると、端末装置20にあらかじめ記録されている、肌状態測定装置10を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムが、ユーザの操作なしに自動で起動し、端末装置20を通じてユーザーが肌状態測定装置10を使用可能となるようにすることもできる。
ユーザーが、端末装置20上に表示されたユーザーインターフェイスに対し測定開始の操作を行うと、端末装置20がユーザーの身体所定範囲としての顔の撮像を実行することとなる。
詳細には、端末装置20における、肌状態測定用のアプリケーションプログラムの実行により、表示部22に表示されたユーザーインターフェイスに対し、ユーザーが操作を行うことで、まず、撮像装置としての端末装置20によるユーザーの顔の撮像が開始され、端末装置20で画像データが継続的に取得される。
端末装置20でユーザーの顔が撮像されると、撮像で得られた画像データに基づいて、表示部22に顔の画像が表示される。端末装置20は表示部22による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置20を支持する状態をユーザーに維持させる(図4参照)。
この時、端末装置20の制御部23は、記録部21を参照して、以前の肌状態測定時の肌状態測定装置10の使用状態についての情報、すなわち、肌状態測定として撮像を行った際における肌状態測定装置10の位置と向きに係る情報、の記録が存在するか否かを判定する。
記録部21に以前の使用状態についての情報の記録がある場合は、この情報に基づいて肌状態測定装置10の使用状態を示す画像、例えば、肌状態測定装置10の位置や向きを示す所定の案内用図案部(マーク)、より具体的には、肌状態測定装置10の輪郭線、を生成し、端末装置20の撮像で得られた顔の画像に合成する処理を行い、合成済みの画像を表示部22に表示させる。
ユーザーは、自分の顔と以前の肌状態測定装置10の使用状態(肌状態測定装置10の位置と向き)を示す画像があらわれた表示部22の画面を見ながら、肌状態測定装置10を表示部22に示された使用状態に一致するように位置調整する(図5参照)。
ここでは、以前の使用状態についての情報の記録に基づいて、肌状態測定装置10の使用状態として、肌状態測定装置10の位置と向きを示す案内用図案部を合成して表示するようにしているが、これに限らず、肌状態測定装置10の使用状態についての情報として、肌状態測定装置10の位置と向きに応じた撮像対象となる顔上の位置を示す画像を合成するようにしてもかまわない(図6参照)。
端末装置20の制御部23は、継続的に取得されている画像データを分析してユーザーの持つ肌状態測定装置10のその時点の使用状態についての情報を導き、この使用状態が記録部21に記録された情報における肌状態測定装置10の使用状態(肌状態測定装置10の位置及び向き)に一致したら、必要に応じてその旨を端末装置20の表示部22等から示した上で、肌状態測定装置10が向けられた肌の所定部位に対する、肌状態測定装置10による撮像を実行させる(図7参照)。
なお、肌状態測定装置10による撮像を、肌状態測定装置10の使用状態と記録された以前の使用状態との一致が認識されると自動で実行するようにしているが、これに限らず、肌状態測定装置10の使用状態と記録された以前の使用状態との一致をユーザーに報知等で知らせるのみとして、使用状態の一致を確認したユーザー自身に端末装置60を操作させて肌状態測定装置10での撮像を行わせるようにしてもよい。
一方、肌状態測定の初回実行時など、記録部21に肌状態測定装置10の以前の使用状態についての情報の記録がない場合には、端末装置20の制御部23は、ユーザーの身体所定範囲としての顔のうち、肌状態測定装置10による肌状態の測定対象部位、すなわち顔の肌状態測定装置10により撮像可能な肌部分で、ユーザーが気になる部位を対象として、ユーザーが肌状態測定装置10による撮像を行うよう、ユーザーに案内表示や音声ガイド等を実行する。あるいは、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録された肌の一又は複数部位を示す所定の案内用図案部を、顔の画像に合成する処理を行い、合成済みの画像を表示部22に表示させる。こうして、ユーザーが顔の気になる任意の部位に肌状態測定装置10を向けたり、表示部22に表示された前記案内用図案部で示される顔上の初期測定位置を見ながらこれを撮像可能となるよう肌状態測定装置10の位置調整を行うようにする。
この場合、初期測定位置の画像を顔の画像に合成して表示するのに代えて、先に端末装置20による撮像で得られた画像データを端末装置20の制御部23で解析し、ユーザーの顔の肌状態の診断情報を導いて、この情報から、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために肌状態測定装置10の撮像による詳細画像の取得が必要な部位を割出す。制御部23は、こうして割出した部位を肌状態測定装置10の測定対象位置に設定する。そして、制御部23は、この測定対象位置を示す所定の案内用図案部を、画像データに基づく顔の画像に合成する処理を行い、合成済みの画像を表示部22に表示させ、ユーザーが表示部22を見ながら肌状態測定装置10の位置調整を行うようにすることもできる。
端末装置20の制御部23は、継続的に取得されている画像データを分析してユーザーの持つ肌状態測定装置10のその時点の使用状態についての情報を導き、この使用状態から、ユーザーが気になる部位に向けて、又は前記初期測定位置を撮像可能となるように、肌状態測定装置10を位置決めした状態にあると認定すると、必要に応じてその旨を端末装置20の表示部22等から示した上で、前記同様に肌状態測定装置10が向けられた肌の所定部位に対する、肌状態測定装置10による撮像を実行させる。
なお、この場合も、肌状態測定装置10による撮像を、肌状態測定装置10を位置決めした状態が認定されると自動で実行するのに代えて、ユーザーが気になる部位に向けて、又は前記初期測定位置を撮像可能となるように、肌状態測定装置10を位置決めした状態にあるとユーザー自ら認識したり、前記初期測定位置を撮像可能となるように肌状態測定装置10を位置決めした状態にある旨を端末装置20の表示部22等から示された際に、ユーザーが端末装置20のシャッターボタンを押すなど、端末装置20を自分で操作して肌状態測定装置10での撮像を行わせるようにしてもよい。
撮像を行う段階に至った肌状態測定装置10は、肌状態測定としての、内蔵光源による所定の照明状況の下で肌表面の撮像を行い、画像データを出力する。この画像データを、肌状態測定装置10と通信接続された端末装置20が取得する。例えば、肌状態測定装置10において、照明として照射する光を調整可能な内蔵光源が、撮像対象の部位に対する光の照射状態を、肌状態測定装置10の試行撮像で得られた肌画像の検証等を経て最適化された上で、撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像の各画像データが、端末装置20に送られ、端末装置20に取得される。
肌状態測定装置10による撮像の実行時、制御部23は、端末装置20で撮像したユーザーの顔と肌状態測定装置10の含まれる画像データを取得して解析し、肌状態測定装置10の使用状態についての情報、すなわち、ユーザーの顔に対する撮像中の肌状態測定装置10の位置と向きの情報を導き、これを記録部21に記録する。こうした肌状態測定装置10の使用状態についての情報としては、肌状態測定装置10の撮像条件に係る情報、例えば、内蔵光源による照明状況についての情報等も、合わせて記録される。
そして、端末装置20の制御部23は、肌状態測定装置10の撮像で得られた肌の前記所定部位の画像データを取得後、この画像データに基づく表示用の前記所定部位の画像を生成して、この前記所定部位の画像を、表示部22の画面上に表示する(図8参照)。
この場合、端末装置20の制御部23は、端末装置20の撮像で得られた画像データに基づく表示用の顔の画像を、表示部22の画面上の所定領域に表示すると共に、これと同時に、前記所定部位の画像を、表示部22の画面上の、顔画像とは異なる領域に表示するようにして、前記所定部位を含む顔全体の画像と、前記所定部位の画像を同時に並行して表示することもでき、前記所定部位の肌状態について各画像を見比べることが可能となる。なお、ここでの顔画像は、肌状態測定装置10の撮像中に端末装置20による撮像で得られた画像データに基づいた、肌状態測定装置10が重なっている前記身体所定範囲としての顔の画像を使用することもできるが、肌状態測定装置10で撮像を行う前の端末装置20による撮像で得られた画像データに基づいた、肌状態測定装置10が重なっていない顔の画像を用いるのが望ましい。そして、この肌状態測定装置10が重なっていない顔の画像を表示する場合は、肌状態測定装置10による撮像位置を、使用状態についての情報に基づいて顔画像中に示すのがさらに望ましい。
また、端末装置20の制御部23は、前記所定部位の画像データを解析して、ユーザーの肌状態の診断情報を取得し、表示部22に肌画像と同時並行に、又は肌画像と置き換えて表示する(図9参照)。この診断情報の表示により、肌状態測定装置10の使用による一回の肌状態測定が完了となる。
診断情報の表示についても、肌状態測定装置10での撮像に基づく前記所定部位の肌状態の診断情報のみ表示するだけでなく、肌状態測定装置10での撮像前に得られた肌状態測定装置10が重なっていない前記身体所定範囲としての顔の画像データを制御部23で解析して取得された、顔全体の肌状態の診断情報を、所定部位の肌状態の診断情報と同時に並行して表示部22に表示するようにしてもよい。
これ以降は、肌状態の推移を把握するために、ユーザーが所定の測定間隔で前記同様の端末装置20と肌状態測定装置10による肌状態測定を繰り返すこととなる。ユーザーは、前記同様、肌状態測定装置10を端末装置20に接続し、肌状態測定装置10を測定に使用可能としてから、端末装置20を操作して端末装置20にユーザーの顔の撮像を行わせるようにすると、端末装置20が撮像により画像データを継続的に取得する。
端末装置20は、撮像で得られた画像データに基づいて、表示部22に顔の画像を表示しつつ、記録部21に記録された、以前の肌状態測定装置10の使用状態についての情報を読み出し、情報に基づいて肌状態測定装置10の使用状態を示す画像を生成し、これを顔の画像に合成する処理を行い、合成済みの画像を表示部22に表示させる。こうして肌状態測定を繰り返し行う場合は、肌状態測定装置10の使用状態についての情報が記録部に記録されて存在しているので、記録部21に記録された情報に基づく使用状態にユーザーの肌状態測定装置10を合わせるようスムーズに案内、誘導できる。
ユーザーが表示部22を参照して肌状態測定装置10を位置調整し、この肌状態測定装置10の使用状態(肌状態測定装置10の位置及び向き)が記録部21に記録された情報における肌状態測定装置10の使用状態に一致すると、端末装置20の制御部23が肌状態測定装置10による肌の所定部位の撮像を実行させる。
肌状態測定装置10は、端末装置20の記録部21に記録された肌状態測定装置10の使用状態についての情報のうち、撮像条件に係る情報に基づいて、内蔵光源による照明状況等を調整された上で、適切に撮像を実行し、得られた画像データを端末装置20に送信する。
端末装置20の制御部23は、肌状態測定装置10から受け取った画像データに基づく表示用の画像を表示部22に表示させると共に、画像データを解析して、ユーザーの肌状態の診断情報を取得して、この診断情報を表示部22に表示させ、一連の肌状態測定を完了させる。
肌状態測定装置10の使用状態についての情報が記録部21に記録され、この情報を用いて肌状態測定装置10での撮像を進められることで、肌状態測定装置10では使用状態についての情報に基づいて光源からの光の状態など撮像条件の設定が速やかに最適化され、肌の撮像が適切且つスムーズに実行されると共に、得られる画像データも肌状態を正しく反映したものとなり、端末装置20の制御部23で画像データを解析して導かれる診断情報の質を向上させられる。
このように、本実施形態に係る肌状態測定システムは、肌状態を測定として撮像を行う肌状態測定装置10に対し、肌のより広い範囲を肌状態測定装置10ごと撮像する撮像装置としての端末装置20を設け、この端末装置20の撮像で得られる肌状態測定装置10を含む画像を解析して、肌状態測定装置10の使用状態についての情報を記録部21に記録し、記録された肌状態測定装置10の情報に基づいて、ユーザーの身体所定範囲における肌状態測定装置10による測定部位を正しく認定できることから、肌状態の測定結果の利用、例えば、測定された肌状態に基づく診断を、身体所定範囲の各部位ごとの肌の特性を踏まえた上でより正確に行えるなど、効率的な利用が図れる。
また、記録された肌状態測定装置10の情報に基づいて、肌状態の別の測定機会で肌状態測定装置10を以前の測定機会における肌状態測定装置10の使用状態と同様に使用可能とすることから、肌状態測定装置10の位置や向きを以前の測定機会と同様にした上での肌状態の測定を繰り返して、肌状態の時系列的変化を正しく取得できるなど、測定を適切に管理でき、肌状態診断の正確性を向上させられると共に、ユーザーによる測定時の肌状態測定装置10の位置合せに伴う作業負担を軽減でき、装置を容易且つ無理なく使用できる。
(本発明の第2の実施形態)
本発明の第2の実施形態に係る肌状態測定システムを前記図10ないし図14に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム1は、ユーザーの肌の所定部位を撮像可能な肌状態測定装置10と、この肌状態測定装置10を通信可能に接続される、前記撮像装置を兼ね、前記制御部31及び表示部32を有する端末装置30を備える構成である。
本実施形態においても、肌状態測定の対象者であるユーザーは、前記第1の実施形態と同様、肌状態測定システム1の提供事業者との間で、肌状態診断のサービスを受ける契約を交わしている。また、ユーザーは、肌状態測定装置10を自ら購入するか貸与されることで使用可能となっている。
これにより、前記第1の実施形態同様、ユーザーは、肌状態測定システム1による肌状態の診断結果を得られ、提供事業者は、ユーザーの肌状態に関するデータを取得できる等のメリットを享受できることとなる。
前記肌状態測定装置10は、ユーザーの肌状態の測定として、ユーザーの肌の所定部位を撮像可能とされる一種のカメラであり、照明用の所定の光源を内蔵する点を含めて、前記第1の実施形態で示されるものと同様の装置構成を有しており、詳細な説明を省略する。
前記端末装置30は、前記撮像装置として、肌状態測定装置10による肌の撮像対象部位を含むユーザーの身体所定範囲を撮像可能とされると共に、前記制御部31、及び表示部32を有するものである。
また、端末装置30は、ユーザーの肌の所定部位を撮像可能な肌状態測定装置10と有線又は無線で通信可能に接続され、この肌状態測定装置10による撮像が実行されると肌の画像データを取得可能とされる。
この端末装置30は、前記第1の実施形態同様、IP通信網と接続して通信するための無線通信手段34を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、肌状態測定装置10を接続可能なUSB等の(ハードウェア)インターフェース35を有するものである。そして、端末装置30は、ユーザーの身体所定範囲や肌状態測定装置10を撮像可能とされるカメラ部36を備えることで、撮像装置として機能させられる仕組みである。
なお、端末装置30は、あらかじめ格納したプログラムを実行することで、端末装置30としての機能や処理を実現する情報処理装置であって、肌状態測定装置10を接続して肌状態の測定を行えるものであれば、前記第1の実施形態と同様、携帯型の装置に限られるものではなく、ノートタイプやデスクトップタイプ等のコンピュータ、あるいは特定用途に特化した他の情報処理装置でもかまわない。
この端末装置30は、前記第1の実施形態同様、肌状態診断用のアプリケーションプログラムを用いて、撮像により得られた画像データを解析して診断情報を取得可能とされており、得られた診断情報をユーザーが参照できる。この場合、端末装置30は、アプリケーションプログラムの実行により、取得した診断情報をコンテンツとして表示部32に表示することで参照可能としている。
端末装置30における制御部31は、撮像により得られる肌の画像データに基づいて、肌状態に関する情報を取得するものである。
この制御部31は、前記撮像装置を兼ねる端末装置30の撮像で得られる前記身体所定範囲の画像データに基づいて、前記身体所定範囲の肌状態に関する情報を取得可能とされると共に、前記肌状態測定装置10の撮像で得られる肌の前記所定部位の画像データに基づいて、前記所定部位の肌状態に関する情報を取得可能とされる。そして、制御部31は、前記身体所定範囲の肌状態に関する情報のうち、肌の前記所定部位に対応する一部情報に対して、前記所定部位の肌状態に関する情報を関連付けて利用可能とすることとなる。
詳細には、制御部31は、前記身体所定範囲の肌状態に関する情報として、前記身体所定範囲の画像データから導かれる前記身体所定範囲の表示用の画像を取得すると共に、前記所定部位の肌状態に関する情報として、肌の前記所定部位の画像データから導かれる前記所定部位の表示用の画像を取得するものである。
そして、制御部31は、前記身体所定範囲の画像における肌の前記所定部位に対応する一部の情報に対し、前記所定部位の画像を関連付けて、表示部32での前記身体所定範囲の画像の一部又は全部の表示と同時並行に、前記所定部位の画像の表示を行わせることができる。
また、制御部31は、前記身体所定範囲の肌状態に関する他の情報として、前記身体所定範囲の画像データの解析による前記身体所定範囲の肌状態の診断情報を取得し、同様に、前記所定部位の肌状態に関する他の情報として、肌の前記所定部位の画像データの解析による前記所定部位の肌状態の診断情報を取得するものである。こうして制御部31が各画像データを解析してユーザーの肌状態の診断情報を取得する機能は、制御部31がアプリケーションプログラムにしたがって処理を実行することで実現される、前記第1の実施形態と同様の仕組みに基づくものであり、詳細な説明を省略する。
そして、制御部31は、前記身体所定範囲の肌状態の診断情報における肌の前記所定部位に対応する一部情報に対し、前記所定部位の肌状態の診断情報を関連付けて、表示部32での、前記身体所定範囲の肌状態の診断情報の表示に際し、肌の前記所定部位に対応する一部情報については、この一部情報を追補又は置換する形で前記所定部位の肌状態の診断情報の表示を行わせることとなる。
また、制御部31は、前記身体所定範囲の画像データから導かれる身体所定範囲の画像の一部又は全部に対し、前記所定部位の画像データから導かれる前記所定部位の画像に基づいて、画像補正処理(例えば、色較正)を行うことができる。
さらに、制御部31は、前記身体所定範囲の画像データから導かれる前記身体所定範囲の画像に対し、この画像上における、肌状態測定装置10による撮像の対象となる所定位置に、肌状態測定装置10の撮像対象位置であることを示す所定の案内用図案部を合成する処理を実行し、処理後の画像を表示部32に表示させることもできる。これにより、表示部32に表示される前記身体所定範囲の画像の一部として、前記案内用図案部が表示され、ユーザーがその身体所定範囲における肌状態測定装置10で撮像すべき位置を視認して理解可能となる。
この他、制御部31は、前記撮像装置としての端末装置30の撮像で得られる前記身体所定範囲の画像データに基づいて、前記身体所定範囲の肌状態に関する情報としての肌状態の診断情報を取得し、この身体所定範囲の肌状態の診断情報から、肌状態測定装置10で撮像すべき肌の所定部位を選定し、この肌の所定部位に対する肌状態測定装置10による撮像を実行可能とすることもできる。
前記表示部32は、ユーザーの前記身体所定範囲の画像を少なくとも表示可能とされるものである。表示部32は、より詳細には、制御部31で取得された前記身体所定範囲の表示用の画像や前記所定部位の表示用の画像の表示を実行する他、前記所定部位を含む前記身体所定範囲の肌状態の診断情報の表示を行うこととなる。この表示部32は、前記第1の実施形態と同様、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
表示部32は、前記身体所定範囲の画像における、前記所定部位に対応する一部に前記所定部位の画像が関連付けられている場合には、制御部31の制御により、前記所定部位を含む前記身体所定範囲の画像を表示する一方、これが表示される表示部32の画面上の領域とは別の領域に、同時且つ並行に、前記身体所定範囲の画像より拡大率の大きい前記所定部位の画像を表示する仕組みである。
この他、表示部32は、同様に前記身体所定範囲の画像における、前記所定部位に対応する一部に前記所定部位の画像が関連付けられている場合には、前記所定部位を含む前記身体所定範囲の画像を表示する中、前記所定部位を拡大表示する操作指示を受けた制御部31の制御によって、前記身体所定範囲の画像が表示される表示部32の画面上の領域と同じ領域で、前記身体所定範囲の画像を拡大した後に前記所定部位の画像に切り替え、この前記所定部位の画像を前の画像から途切れなく連続させて順次表示することもできる(図15参照)。逆に、前記所定部位の画像を拡大表示する状態で、前記所定部位を縮小表示する操作指示がなされると、これを受けた制御部31の制御により、前記所定部位の画像が表示される表示部32の画面上の領域と同じ領域で、前記所定部位の画像を縮小表示した後に前記身体所定範囲の画像に切り替え、この前記身体所定範囲の画像を前の画像から途切れなく連続させて前記所定部位を中心として順次表示するようにしてもよい。
さらに、表示部32は、前記身体所定範囲の肌状態の診断情報における肌の前記所定部位に対応する一部情報に対し、前記所定部位の肌状態の診断情報が関連付けられている場合には、制御部31の制御により、前記身体所定範囲の肌状態の診断情報のうち、肌の前記所定部位に対応する一部情報について、この一部情報に前記所定部位の肌状態の診断情報を追補するか、前記一部情報を前記所定部位の肌状態の診断情報に置換したものを、表示することとなる。
次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、前記第1の実施形態と同様に、肌状態測定装置10による肌状態の測定対象部位が顔の肌の要部であり、これらを含む顔全体がユーザーの身体所定範囲とされる。そして、端末装置30はスマートフォンであり、表示部側のカメラを用いることで撮像装置として機能させられる。また、端末装置30に接続される肌状態測定装置10は、端末装置30より撮像範囲を狭くされる一方、より高解像度で撮像を行えるものとされて、顔の極狭い範囲の肌を撮像する。
前記第1の実施形態同様、端末装置30と肌状態測定装置10を使用して肌状態の測定としての撮像を行うために、まず、ユーザーにより肌状態測定装置10が端末装置30に接続される。
続いて、ユーザーの操作で、あらかじめ端末装置30に存在している、肌状態測定装置10を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置30上で起動させると、端末装置30を通じてユーザーが肌状態測定装置10を撮像に使用できる状態となる。
この他、ユーザーの端末装置30に肌状態測定装置10を接続すると、端末装置30にあらかじめ記録されている、肌状態測定装置10を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムが、ユーザの操作なしに自動で起動し、端末装置30を通じてユーザーが肌状態測定装置10を使用可能となるようにすることもできる。
ユーザーが、端末装置30上に表示されたユーザーインターフェイスに対し撮像開始の操作を行うと、端末装置30がユーザーの顔の撮像を実行することとなる。
詳細には、端末装置30における、肌状態測定用のアプリケーションプログラムの実行により、表示部32に表示されたユーザーインターフェイスに対し、ユーザーが操作を行うことで、まず、撮像装置としての端末装置30によるユーザーの顔の撮像が実行され、端末装置30で画像データが継続的に取得される。
端末装置30でユーザーの顔が撮像されると、撮像で得られた画像データに基づいて、表示部32に顔の画像が表示される。端末装置30は表示部32による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置30を支持する状態をユーザーに維持させる。
端末蔵置30は、撮像で得られた画像データに基づく顔の画像を表示部32に表示させつつ、ユーザーの身体所定範囲としての顔のうち、肌状態測定装置10による肌状態の測定対象部位、すなわち顔の肌状態測定装置10により撮像可能な肌部分において、ユーザーが表示部32による顔の表示を見た上で、肌状態について気になる部位を対象として、ユーザーが肌状態測定装置10による撮像を行うよう、ユーザーに対し案内表示や音声ガイド等を実行して促す。
あるいは、端末装置30の制御部31は、撮像で得られた画像データを解析し、ユーザーの顔の肌状態の診断情報を導いて、この情報から、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために肌状態測定装置10の撮像による詳細画像の取得が必要な部位を割出す(図11参照)。そして、制御部31は、こうして割出した部位を肌状態測定装置10の撮像対象位置に設定する。そして、制御部31は、この撮像対象位置を示す所定の案内用図案部を、画像データに基づく顔の画像に合成する処理を行い、合成済みの画像を表示部32に表示させる。
ユーザーは、自分の顔と、必要に応じて前記案内用図案部とが示された、表示部32の画面を見ながら、手に持った肌状態測定装置10を顔の肌状態について気になる部位、あるいは案内用図案部により示される撮像対象位置に向けるように位置調整する。案内用図案部で肌状態測定装置10の撮像対象位置を示す場合、前記身体所定範囲としての顔における肌状態測定装置10で撮像する箇所がユーザーに容易に理解可能となり、ユーザーが位置調整した肌状態測定装置10を用いて適切に撮像を実行可能となる。
端末装置30の制御部31は、継続的に取得されている画像データを分析してユーザーの持つ肌状態測定装置10のその時点の使用状態についての情報を導き、この使用状態から、ユーザーが気になる部位に向けて、又は前記測定対象位置を撮像可能となるように、肌状態測定装置10を位置決めした状態にあると認定すると、必要に応じてその旨を端末装置30の表示部32等から示した上で、肌状態測定装置10が向けられた肌の所定部位に対する、肌状態測定装置10による撮像を実行させる。
なお、肌状態測定装置10による撮像を、肌状態測定装置10を位置決めした状態が認定されると自動で実行するようにしているが、これに限らず、ユーザーが気になる部位に向けて、又は前記測定対象位置を撮像可能となるように、肌状態測定装置10を位置決めした状態にあるとユーザー自ら認識したり、前記測定対象位置を撮像可能となるように肌状態測定装置10を位置決めした状態にある旨を端末装置30の表示部32等から示された際に、ユーザーが端末装置30のシャッターボタンを押すなど、端末装置30を自分で操作して肌状態測定装置10での撮像を行わせるようにしてもよい。
撮像を行う段階に至った肌状態測定装置10は、肌状態測定としての、内蔵光源による所定の照明状況の下で肌表面の撮像を行い、画像データを出力する。この画像データを、肌状態測定装置10と通信接続された端末装置30が取得する。例えば、肌状態測定装置10において、照明として照射する光を調整可能な内蔵光源が、撮像対象の部位に対する光の照射状態を、肌状態測定装置10の試行撮像で得られた肌画像の検証等を経て最適化された上で、撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像の各画像データが、端末装置30に送られ、端末装置30に取得される。
肌状態測定装置10における撮像では、ユーザーの肌の所定部位に対し、端末装置30による撮像で照明光とされる光、例えば、自然光や室内照明光、端末装置30のストロボ光、とは異なる、内蔵光源からの光を照射した状況で撮像を行うようにしており、肌状態測定装置10と端末装置30で撮像条件を変えた画像データを取得することができる。このため、照明として照射される光の肌の各層における反射、吸収、減衰の影響を受ける肌画像の、肌状態測定装置10と端末装置30の各撮像による差異を大きくすることができ、肌状態の診断で用いる診断材料としての画像データの情報内容を増やして、肌状態について適切な診断が行えるようにすると共に、特に、照明として照射する光の波長を適切なものとするなど、光の選択によっては、肌状態測定装置10で部分的な肌状態の詳細な分析に適した条件下での撮像を行えることとなり、撮像で得られた画像データに基づく肌状態の診断の正確性を向上させられる。
この肌状態測定装置10による撮像の実行時、制御部31は、端末装置30で撮像したユーザーの顔と肌状態測定装置10の含まれる画像データを取得して解析し、ユーザーの顔に対する撮像中の肌状態測定装置10の位置と向きの情報を導き、この情報を所定の記録手段に記録すると共に、こうした情報と関連付けて、撮像の際の肌状態測定装置10の撮像条件に係る情報、例えば、内蔵光源による照明状況についての情報等を、同様に記録して、後の撮像機会に利用可能とするのが望ましい。
端末装置30の制御部31は、肌状態測定装置10の撮像で得られた肌の前記所定部位の画像データを取得後、この画像データに基づく表示用の前記所定部位の画像を生成する。制御部31は、この前記所定部位の画像を、端末装置30の撮像で得られた画像データに基づく顔の画像における、前記所定部位に対応する一部に関連付ける。ただし、ここでの顔画像は、肌状態測定装置10で撮像を行う前の端末装置30による撮像で得られた画像データに基づいた、肌状態測定装置10が重なっていない前記身体所定範囲としての顔の画像である。
そして、制御部31は、前記所定部位の画像を関連付けた顔の画像の一部又は全部を、表示部32に表示させる。
この表示部32への顔の画像の一部又は全部の表示は、ユーザーの操作に基づく制御部31の制御により、顔の所望の表示範囲を設定して表示可能であるが、この表示部32に顔の全部が表示される場合か、顔の一部のみ表示されている状態における、表示部32に表示される顔の範囲に、前記所定部位に対応する一部が含まれている場合には、前記所定部位に対応する一部に関連付けられた前記所定部位の画像を、表示部32の画面上における前記身体所定範囲としての顔の画像が表示される領域とは異なる領域に、同時に表示する(図12参照)。
こうして、端末装置30の撮像に基づいた前記身体所定範囲としての顔の画像と、肌状態測定装置10の撮像に基づいた前記所定部位の画像が、表示部32に同時且つ並行に表示される。前記所定部位の画像は、肌状態測定装置10の仕様に基づいて、顔の画像より拡大率を大きくした詳細な画像として表示され、端末装置30の撮像に基づいた顔の画像と比較して、より詳細な肌状態をあらわすことができ、ユーザーは二つの画像表示から肌状態を確認でき、肌状態をより正確且つ容易に把握可能となる。
一方、端末装置30の制御部31は、肌状態測定装置10から肌の前記所定部位の画像データを取得後、この画像データを解析して、肌の前記所定部位の肌状態の診断情報を取得する。制御部31は、この前記所定部位についての診断情報を、端末装置30の撮像で得られた画像データに基づく前記身体所定範囲としての顔の肌状態の診断情報における、前記所定部位に対応する一部情報に関連付ける。ただし、ここでの顔の肌状態の診断情報は、肌状態測定装置10で撮像を行う前の端末装置30による撮像で得られた画像データに基づく診断情報であり、画像データの解析は端末装置30による撮像の直後から前記所定部位の肌状態の診断情報を取得するまでの間に行われたものとする。
そして、制御部31は、前記所定部位の肌状態の診断情報を関連付けた顔の肌状態の診断情報を、顔や前記所定部位の肌画像と同時並行に、又は肌画像と置き換えて、表示部32に表示させる(図13参照)。
この表示部32での肌状態の診断情報の表示に際して、制御部31は、前記身体所定範囲としての顔の肌状態の診断情報のうち、肌の前記所定部位に対応する一部情報については、この一部情報を追補又は置換する形で、前記所定部位の肌状態の診断情報の表示を行わせることとなる。
こうして、顔の肌の診断情報のうち、前記所定部位に対応する一部情報に対し、これに関連付けられた前記所定部位の肌状態の診断情報が追補又は置換するようにして表示され、診断情報が肌状態測定装置10で得た画像データから解析された情報を含む詳細な情報とされてユーザーに提供されることで、撮像で得られる画像データに基づく、ユーザーの肌状態の診断情報の内容を充実させて、少なくとも肌状態測定装置10の撮像の対象となる顔の部位については、この肌状態測定装置10由来の画像データの解析による別の視点からの診断情報も参照して肌状態を理解できるなど、ユーザーが肌状態をより正確且つ容易に把握可能となる。
こうした表示部32における顔の肌状態の診断情報の表示は、テキストベースの情報表示に限られるものではなく、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示して情報提供することもできる。例えば、肌状態測定装置10で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示すことができ(図14参照)、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
このような診断情報の表示により、肌状態測定装置10の使用による一回の肌状態測定が完了となる。
ユーザーは、前記同様の端末装置30による前記身体所定範囲としての顔の撮像と、肌状態測定装置10による前記所定部位の撮像を所定の測定間隔で繰り返すことで、顔における肌状態の推移と、前記所定部位におけるより詳細な肌状態の推移を把握することができる。そして、端末装置30は、繰り返される撮像で得られた画像データに基づく表示部32への表示用の顔や前記所定部位の画像を、端末装置30の記録部に撮像ごとに記録し、必要に応じて画像を時系列で並べて一覧表示、又は時系列順に順次切替表示する構成とすることもでき、肌の変化をユーザーが容易に把握でき、好ましい。
なお、前記身体所定範囲としての顔についての表示用の画像や肌状態の診断情報の基となる、端末装置30の撮像で得られた顔の画像データは、肌状態測定装置10で撮像を行う前の端末装置30による撮像で得られた画像データであるが、これに代えて、端末装置30の制御部31が肌状態測定装置10から肌の前記所定部位の画像データを取得後、この前記所定部位の画像データに基づいて、顔の画像データの画像補正処理を行った上で、この補正後の顔の画像データに基づく表示用の顔の画像を生成して、顔の画像を表示部32に表示させるようにしたり、補正後の顔の画像データを解析して、顔の肌状態の診断情報を取得するようにしてもかまわない。
この場合、撮像範囲が限定されることで撮像の条件を整えやすい、肌状態測定装置10の撮像に基づいた前記所定部位の画像データを基準として、前記身体所定範囲の画像データについて画像補正処理を行い、この画像データで示される身体所定範囲の肌画像の色味を、前記所定部位の画像データにおける肌画像のそれに合わせられることから、端末装置30での撮像条件によらず、撮像で得られた前記身体所定範囲の画像データを、画像表示や肌状態の診断に係る解析を行いやすい状態にでき、ユーザーによる肌状態の正しい把握を促せることとなる。
このように、本実施形態に係る肌状態測定システムは、端末装置30でユーザーの身体所定範囲としての顔を撮像すると共に、肌状態測定装置10でユーザーの肌の所定部位を撮像して、それぞれ得られた顔の画像データと、前記所定部位の画像データとに基づいて、制御部31が肌状態に関する情報としての表示用の画像や肌状態の診断情報を取得し、端末装置30での撮像に基づいた顔の画像や肌状態の診断情報のうち、肌の前記所定部位に対応する一部情報に対して、肌状態測定装置10での撮像に基づいた前記所定部位の画像や肌状態の診断情報を関連付け、肌の前記所定部位に対応する一部情報を用いようとすると、別途取得された前記所定部位の画像や肌状態の診断情報を利用できるようにすることから、撮像で得られた画像データに基づく、ユーザーの肌状態に関する各情報の質を向上させられ、肌状態の表示や分析等の処理を高い精度で行え、肌状態の診断を適切且つ効率よく進めて、ユーザーに肌状態をより正確に把握させられる。
なお、前記実施形態に係る肌状態測定システムにおいては、制御部31により表示部32に前記身体所定範囲の画像を表示する際に、この前記身体所定範囲の画像における、肌状態測定装置10での撮像を行った前記所定部位に対応する一部に前記所定部位の画像が関連付けられている場合には、前記身体所定範囲の画像が表示される画面上の領域とは別の領域に、同時且つ並行に、前記所定部位の画像を表示する構成としているが、この他、図15に示すように、表示部32で前記身体所定範囲の画像と前記所定部位の画像を表示する手法として、当初は前記身体所定範囲の画像を表示する中、この画像における前記所定部位を拡大表示する操作指示を受けた制御部31の制御によって、前記身体所定範囲の画像が表示される表示部32の画面上の領域と同じ領域で、前記身体所定範囲の画像を拡大した後に前記所定部位の画像に切り替え、この前記所定部位の画像を前の画像から途切れなく連続させて順次表示する構成とすることもできる。
この場合、前記所定部位の画像が前記身体所定範囲の画像の一部を拡大したものであると認識されやすく、肌状態測定装置10で撮像された前記所定部位の前記身体所定範囲における位置を無理なく理解でき、肌状態の診断情報に基づくケアを適切な位置に確実に施せることとなる。
また、前記実施形態に係る肌状態測定システムにおいては、肌状態測定装置10による肌状態の測定対象部位を顔の肌の要部とし、これらを含む顔全体がユーザーの身体所定範囲として、端末装置30における表示部32のある側に設けられたカメラ部(いわゆるインカメラ)36を用いて撮像される構成としているが、これに限られるものではなく、図16ないし図18に示すように、スマートフォンである端末装置の表示部32とは反対側に設けられたカメラ部(いわゆるアウトカメラ)を用いて、頭部から離れた身体の所定箇所、例えば、腕、脚、胴部など、を前記身体所定範囲として端末装置30で撮像を行う一方、それらの肌の狭い範囲を肌状態測定装置10で撮像して、端末装置30に撮像した肌画像を表示したり、撮像で得た画像データに基づいて診断情報を取得し、端末装置30の表示部32に情報内容を表示するようにすることもできる。
この場合、端末装置30での撮像に基づく前記身体所定範囲の画像は、前記実施形態における顔の場合と異なり、肌状態測定装置10での撮像に基づく前記所定部位の画像に対する大きさが一定ではなく、画像から大きさを捉えにくいことから、画像中に寸法基準値を示すスケールの画像を合成処理して、大きさを把握しやすくすることが望ましい。
(本発明の第3の実施形態)
本発明の第3の実施形態に係る肌状態測定システムを前記図19及び図20に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム2は、前記第1の実施形態同様、肌状態測定装置10と、前記撮像装置を兼ねる端末装置40とを備える一方、異なる点として、端末装置40が前記表示部を有する一方、この端末装置40とネットワーク100を通じてデータ通信可能として配設される、前記記録部91及び制御部92としてのサーバ90を備える構成を有するものである。
本実施形態においても、肌状態測定の対象者であるユーザーは、前記第1の実施形態同様、肌状態測定システム2の提供事業者との間で、肌状態診断のサービスを受ける契約を交わしており、且つ、肌状態測定装置10を使用可能となっていることで、肌状態測定システム2により肌状態の診断情報を得ることができる。
前記肌状態測定装置10は、ユーザーの肌状態の測定として、ユーザーの肌の所定部位を撮像可能とされる一種のカメラであり、照明用の所定の光源を内蔵する点を含めて、前記第1の実施形態で示されるものと同様の装置構成を有しており、詳細な説明を省略する。
前記端末装置40は、前記撮像装置として、肌状態測定装置10による肌状態の測定対象部位を含むユーザーの身体所定範囲、及び、前記測定対象部位近傍に存在する前記肌状態測定装置10を撮像可能とされると共に、前記表示部41を有するものである。
また、端末装置40は、ユーザーの肌の所定部位を撮像可能な肌状態測定装置10と有線又は無線で通信可能に接続され、この肌状態測定装置10による撮像が実行されると肌の画像データを取得可能とされる。
この端末装置40は、前記第1の実施形態同様、IP通信網と接続して通信するための無線通信手段44を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、肌状態測定装置10を接続可能なUSB等の(ハードウェア)インターフェース45を有するものである。そして、端末装置40は、ユーザーの身体所定範囲や肌状態測定装置10を撮像可能とされるカメラ部46を備えることで、撮像装置として機能させられる仕組みである。
なお、端末装置40は、あらかじめ格納したプログラムを実行することで、端末装置40としての機能や処理を実現する情報処理装置であって、ネットワーク100を介して通信可能であり、且つ肌状態測定装置10を接続して肌状態の測定を行えるものであれば、前記第1の実施形態と同様、携帯型の装置に限られるものではなく、ノートタイプやデスクトップタイプ等のコンピュータ、あるいは特定用途に特化した他の情報処理装置でもかまわない。
この端末装置40は、測定用のアプリケーションプログラムを起動させて、前記撮像装置を兼ねる端末装置40自体でユーザーの前記身体所定範囲としての顔を撮像し、画像データを取得すると共に、肌状態測定装置10に肌状態の測定として肌の前記所定部位の撮像を行わせ、肌状態測定装置10から肌の前記所定部位の画像データを取得し、これら画像データをサーバ90に送信する。
また、端末装置40は、アプリケーションプログラムの実行により、サーバ90で取得された診断情報を端末装置40から参照可能となるよう要求する通信を行い、応答したサーバ90から診断情報をコンテンツとして取得して表示部41に表示する。この他、端末装置40は、診断情報を参照可能とするために、サーバ90側から、診断情報のデータ送信を受けて表示を行ったり、診断情報のデータをダウンロードして表示を行うこともできる。
なお、端末装置40は、測定用アプリケーションプログラムの通知機能により、肌状態測定装置10による肌状態の測定を行える状態にある旨を報知したり、肌状態測定装置10の使用方法を解説する動画等の情報へのアクセス方法を示し、これらの情報を参照可能とすることもできる。
前記表示部41は、ユーザーの少なくとも前記身体所定範囲を表す画像を表示可能な表示領域を有する表示デバイスとされるものである。この端末装置40における表示部41は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
前記サーバ90は、端末装置40とネットワーク100を通じてデータ通信可能として配設され、端末装置40で取得された画像データを受信し、画像データに基づいて表示用の画像を取得すると共に、画像データを解析してユーザーの肌状態の診断情報を取得し、これら表示用の画像と診断情報を端末装置40に送信して、端末装置40の表示部41に画像表示及び診断情報の表示をそれぞれ行わせるものである。
このサーバ90は、サーバとして機能する、CPU等を備えたコンピュータである。コンピュータが記録されたプログラムにしたがって処理を実行することで、サーバの機能が実現される。
なお、本実施形態におけるサーバ90は、必ずしも単独の実体のあるコンピュータに限られるものでなく、複数のコンピュータ装置がネットワーク接続されて協動して、要求される一又は複数のサービスを一体として提供する装置群である場合や、コンピュータ装置の一部機能に過ぎないものの、要求される一又は複数のサービスをあたかも一つの装置のように提供する機能を有して、サービスを提供される側からは一つの装置として取り扱える仮想装置である場合も含まれる。
サーバ90は、肌状態測定装置10に関するデータを、肌状態測定装置10による測定で得られる肌状態の測定データと関連付けて記録する記録部91と、肌状態測定装置10による肌状態の測定を制御する制御部92とを備える構成である。言い替えると、サーバ90は、このサーバ90をなすコンピュータがプログラムにしたがって処理を実行することで、前記記録部91、及び制御部92の各機能を実現するものである。
サーバ90における記録部91は、肌状態測定装置10に関するデータを、肌状態測定装置10による測定で得られる肌状態の測定データ、すなわち、肌状態測定装置10の撮像により取得される肌の前記所定部位の画像データ、と関連付けて記録するものである。
この記録部91は、前記肌状態測定装置10に関するデータとして、肌状態測定装置10による肌状態測定としての撮像により肌の画像データを取得する際に、前記撮像装置としての端末装置40の撮像で得られた画像データを解析して検出される肌状態測定装置10の使用状態についての情報を記録することとなる。
前記制御部92は、肌状態測定装置10による肌状態の測定を制御すると共に、少なくとも前記撮像装置を兼ねる端末装置40の撮像で得られる前記身体所定範囲の画像データに基づいて端末装置40の表示部41に画像表示を行わせるものである。
この制御部92は、肌状態測定装置10による新たな肌状態測定時に、前記記録部91に記録済みの肌状態測定装置10の前記使用状態についての情報に基づいて、ユーザーの前記測定対象部位に対する肌状態測定装置10の以前の使用状態に係る画像を取得し、この画像を端末装置40より受け取ったユーザーの前記身体所定範囲を表す画像に重ねるよう合成処理し、この処理済みの画像を端末装置40に送信し、端末装置40の表示部41に表示させることとなる。
この制御部92が端末装置40の表示部41に表示させるユーザーの身体所定範囲を表す画像は、撮像装置を兼ねる端末装置40の撮像で得られる前記身体所定範囲の画像データに基づくものであれば、画像データをそのまま表示用に画像化して必要に応じトリミング等を施した身体所定範囲の実画像の他に、コンピュータグラフィクス(CG)など単純化した画像を生成し、表示を行わせるようにしてもよい。
また、制御部92は、端末装置40から受け取ったこの端末装置40の撮像で得られる画像データの解析により肌状態測定装置10の使用状態を検出して、これを継続的に監視する。そして、制御部92は、この肌状態測定装置10の使用状態に関して、記録部91に記録済みの肌状態測定装置10の使用状態についての情報に含まれる肌状態測定装置10の以前の使用状態に一致しているか否かの判定を行い、以前の使用状態に一致すると判定した場合、肌状態測定装置10に肌状態の測定を実行させるようにすることができる。
これと合わせて、制御部92は、継続的に監視している肌状態測定装置10の使用状態が、端末装置40の表示部41に表示された画像に示される肌状態測定装置の以前の使用状態に一致するように、ユーザーが肌状態測定装置10を動かすことを目的として、端末装置40に情報を送信して、端末装置40の表示部41での案内表示又は端末装置40の所定の報知手段での案内に係る報知によるユーザーの誘導を行わせることもできる。
この他、制御部92は、継続的に監視している肌状態測定装置10の使用状態が、肌状態測定装置10の以前の使用状態に一致すると判定した場合に、この以前の使用状態について記録部91に記録されている情報に基づいて、使用状態に対応する撮像条件等の付加情報を端末装置40を通じて肌状態測定装置10に送り、肌状態測定装置10が以前の使用状態と同様に肌の撮像を行うようにすることもできる。
具体的には、制御部92は、ユーザーの撮像対象の部位ごとに対応する肌状態測定装置10の使用状態としての肌状態測定装置10の位置や向きを把握し、これに応じて撮像条件を変えるよう制御を行う。例えば、肌の日光に当たりやすい部分や、乾燥しやすい部分を肌状態測定装置10が撮像する場合、肌状態測定装置10による撮像時の照明状態を他部位の撮像時と変えて撮像するように、制御部92が必要な情報を送信して肌状態測定装置10を制御する。さらに制御部92は、肌状態の診断情報を導く際の画像解析等の診断に係る処理も、肌の部位ごとの特徴に応じた異なる条件を設定して行うことができる。
一方、制御部92は、端末装置40から受け取る、肌状態測定装置10の撮像により取得される肌の前記所定部位の画像データ、及び、端末装置40の撮像で得られる前記身体所定範囲の画像データをそれぞれ解析して、ユーザーの肌状態の診断情報を取得する機能を備える。こうして制御部92が各画像データを解析してユーザーの肌状態の診断情報を取得する機能は、アプリケーションプログラムにしたがって処理を実行する主体がサーバ90である点以外は、前記第1の実施形態と同様の仕組みに基づくものであり、詳細な説明を省略する。
次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、前記第1の実施形態と同様に、肌状態測定装置10による肌状態の測定対象部位が顔の肌の要部であり、これらを含む顔全体がユーザーの身体所定範囲とされる。そして、端末装置40はスマートフォンであり、表示部側のカメラを用いることで撮像装置として機能させられると共に、ネットワーク100を通じてサーバ90と通信可能とされる。また、端末装置40に接続される肌状態測定装置10は、端末装置40より撮像範囲を狭くされる一方、より高解像度で撮像を行えるものとされて、顔の極狭い範囲の肌を撮像する。
端末装置40と肌状態測定装置10を使用した肌状態の測定を行うために、まず、ユーザーにより肌状態測定装置10が端末装置40に接続される。
続いて、端末装置40へのユーザーの操作で、肌状態測定のサービス提供サーバ(例えば、サーバ90)が用意した所定のウェブページへの端末装置40のアクセスが行われ、このアクセスにより、サーバで提供されるウェブアプリケーション等のオンラインサービスを端末装置40で使用可能となり、端末装置40では肌状態測定装置10を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムが起動し、端末装置40を通じてユーザーが肌状態測定装置10を肌状態測定に使用できる状態となる。
この他、端末装置40へのユーザーの操作で、あらかじめ端末装置に記録されている、肌状態測定装置10を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置40上で起動させ、端末装置40を通じてユーザーが肌状態測定装置10を肌状態測定に使用できる状態とするようにしてもよい。また、ユーザーの端末装置40に肌状態測定装置10を接続すると、端末装置40にあらかじめ記録されている、肌状態測定装置10を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムが、ユーザの操作なしに自動で起動し、端末装置40を通じてユーザーが肌状態測定装置10を使用可能となるようにすることもできる。
ユーザーが、端末装置40の表示部41に表示されたユーザーインターフェイスに対し測定開始の操作を行うと、端末装置40がユーザーの身体所定範囲としての顔の撮像を実行することとなる。
詳細には、端末装置40においては、肌状態測定用のアプリケーションプログラムの実行により、表示部41にユーザーインターフェイスが表示された状態となっている。このユーザーインターフェイスに対し、ユーザーが操作を行うことで、撮像装置としての端末装置40によるユーザーの顔の撮像が開始され、端末装置40で画像データが継続的に取得され、サーバ90に送信される。
そして、端末装置40は、撮像で得られた画像データに基づいて、表示部41に顔の画像を表示させる。端末装置40は表示部41による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置40を支持する状態をユーザーに維持させる。
サーバ90において、制御部92は、端末装置40からの画像データを受け取ると共に、端末装置40について、記録部91を参照し、以前の肌状態測定(撮像)時の肌状態測定装置10の使用状態についての情報、すなわち、端末装置40と肌状態測定装置10を用いて肌状態測定としての撮像を行った際における、肌状態測定装置10の位置と向きに係る情報、の記録が存在するか否かを判定する。
サーバ90の記録部91に端末装置40に関連する以前の使用状態についての情報の記録がある場合は、制御部92は、この情報に基づいて肌状態測定装置10の使用状態を示す画像、例えば、肌状態測定装置10の位置や向きを示す所定の案内用図案部(マーク)、を生成し、端末装置40の撮像で得られた顔の画像に合成する処理を行い、合成済みの画像を端末装置40に送信し、端末装置40の表示部41に表示させる。
ユーザーは、自分の顔と以前の肌状態測定装置10の使用状態(肌状態測定装置10の位置と向き)を示す画像があらわれた表示部41の画面を見ながら、肌状態測定装置10を表示部41に示された使用状態に一致するように適宜位置調整する。
制御部92は、端末装置40で継続的に取得されてサーバ90に送信されている画像データを解析して、ユーザーの持つ肌状態測定装置10のその時点の使用状態を検出して、これを監視する。制御部92は、この使用状態が記録部91に記録された情報における以前の肌状態測定装置10の使用状態(肌状態測定装置10の位置及び向き)に一致することが認められた場合、肌状態測定装置10が向けられた肌の所定部位に対する、肌状態測定装置10での撮像実行の指示を端末装置40に送信し、端末装置40を通じて肌状態測定装置10による撮像を実行させる。
一方、肌状態測定の初回実行時など、記録部91に端末装置40に関連した肌状態測定装置10の以前の使用状態についての情報の記録がない場合には、制御部92は、ユーザーの身体所定範囲としての顔のうち、肌状態測定装置10による肌状態の測定対象部位、すなわち顔の肌状態測定装置10により撮像可能な肌部分で、ユーザーが気になる部位を対象として、ユーザーが肌状態測定装置10による撮像を行うよう案内する指示を端末装置40に送信して、端末装置40にユーザーへの案内表示や音声ガイド等を実行させる。
あるいは、これに代えて、制御部92は、身体所定範囲としての顔のうち、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録された肌の一又は複数部位を示す所定の案内用図案部を生成し、これを端末装置40の撮像で得られた顔の画像に合成する処理を行い、合成済みの画像を端末装置40に送信し、端末装置40の表示部41に表示させる。
こうして、ユーザーが顔の気になる任意の部位に肌状態測定装置10を向けたり、端末装置40の表示部41に表示された前記案内用図案部で示される顔上の初期測定位置を見ながらこれを撮像可能となるよう肌状態測定装置10の位置調整を行うようにする。
制御部92は、端末装置40で継続的に取得されてサーバ90に送信されている画像データを解析して、ユーザーの持つ肌状態測定装置10のその時点の使用状態を検出して、これを監視する。この使用状態から、ユーザーが気になる部位に向けて、又は前記初期測定位置を撮像可能となるように、肌状態測定装置10を位置決めした状態にあると認定した場合、肌状態測定装置10が向けられた肌の所定部位に対する、肌状態測定装置10での撮像実行の指示を端末装置40に送信し、端末装置40を通じて肌状態測定装置10による撮像を実行させる。
撮像を行う段階に至った肌状態測定装置10は、肌状態測定としての、内蔵光源による所定の照明状況の下で肌表面の撮像を行い、画像データを出力する。この画像データを、肌状態測定装置10と通信接続された端末装置40が取得し、さらに端末装置40からサーバ90に向けて送信する(図20参照)。
例えば、肌状態測定装置10において、照明として照射する光を調整可能な内蔵光源が、撮像対象の部位に対する光の照射状態を、肌状態測定装置10の試行撮像で得られた肌画像の検証等を経て最適化された上で、撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像の各画像データが、端末装置40に送られ、端末装置40に取得されると共に、端末装置40からサーバ90に送信される。
肌状態測定装置10による撮像の実行時、端末装置40は、この端末装置40での撮像により得られたユーザーの顔と肌状態測定装置10の含まれる画像データをサーバ90に送信する。サーバ90において、制御部92は、端末装置40から受け取った、ユーザーの顔と肌状態測定装置10の含まれる画像データを解析し、肌状態測定装置10の使用状態についての情報、すなわち、ユーザーの顔に対する撮像中の肌状態測定装置10の位置と向きの情報を導き、これを端末装置40と関連付けた形で記録部91に記録する。こうした肌状態測定装置10の使用状態についての情報としては、肌状態測定装置10の撮像条件に係る情報、例えば、内蔵光源による照明状況についての情報等も、合わせて記録される。
そして、サーバ90において、制御部92は、肌状態測定装置10の撮像で得られた肌の前記所定部位の画像データを端末装置40から受け取って取得した後、この画像データに基づく表示用の前記所定部位の画像を生成する。続いて、制御部92は、前記所定部位の画像の情報を、端末装置40に送信し(図20参照)、前記所定部位の画像を、端末装置40の表示部41の画面上に表示させる。
この場合、制御部92は、端末装置40の撮像で得られた画像データに基づく表示用の顔の画像の情報を、前記所定部位の画像の情報と共に、端末装置40に送信し、顔の画像を、端末装置40の表示部41の画面上における所定領域に表示させると共に、これと同時に、前記所定部位の画像を、表示部41の画面上の顔画像とは異なる領域に表示させるようにして、前記所定部位を含む顔全体の画像と、前記所定部位の画像を同時に並行して表示させることもでき、前記所定部位の肌状態について各画像を見比べることが可能となる。なお、ここでの顔画像は、肌状態測定装置10の撮像中に端末装置40による撮像で得られた画像データに基づいた、肌状態測定装置10が重なっている前記身体所定範囲としての顔の画像を使用することもできるが、肌状態測定装置10で撮像を行う前の端末装置40による撮像で得られた画像データに基づいた、肌状態測定装置10が重なっていない顔の画像を用いるのが望ましい。そして、この肌状態測定装置10が重なっていない顔の画像を表示する場合は、肌状態測定装置10による撮像位置を、使用状態についての情報に基づいて顔画像中に示すのがさらに望ましい。
また、サーバ90において、制御部92は、前記所定部位の画像データを解析して、ユーザーの肌状態の診断情報を取得し、この診断情報を端末装置40に送信して(図20参照)、診断情報を端末装置40の表示部41に肌画像と同時並行に、又は肌画像と置き換えて表示させる。この診断情報の表示実行により、肌状態測定装置10の使用による一回の肌状態測定が完了となる。
診断情報についても、肌状態測定装置10での撮像に基づく前記所定部位の肌状態の診断情報のみ取得して表示するだけでなく、肌状態測定装置10での撮像前に得られた肌状態測定装置10が重なっていない前記身体所定範囲としての顔の画像データについても、前記所定部位の画像データと共に制御部92で解析して、ユーザーの肌状態の診断情報を取得し、得られた診断情報を、端末装置40に送信して、診断情報を端末装置40の表示部41に肌画像と同時並行に、又は肌画像と置き換えて表示させるようにしてもよい。
この後は、肌状態の推移を把握するために、ユーザーが所定の測定間隔で前記同様の端末装置40と肌状態測定装置10による肌状態測定を繰り返すこととなる。ユーザーは、前記同様、肌状態測定装置10を端末装置40に接続し、肌状態測定装置10を測定に使用可能としてから、端末装置40を操作して端末装置40にユーザーの顔の撮像を行わせるようにすると、端末装置40が撮像により画像データを継続的に取得し、サーバ90に送信する。
サーバ90は、撮像で得られた画像データに基づいて、端末装置40の表示部41に顔の画像を表示させつつ、記録部91に記録された、以前の肌状態測定装置10の使用状態についての情報を読み出し、情報に基づいて肌状態測定装置10の使用状態を示す画像を生成し、これを顔の画像に合成する処理を行い、合成済みの画像を端末装置40に送信して表示部41に表示させる。こうして肌状態測定を繰り返し行う場合は、肌状態測定装置10の使用状態についての情報が記録部91に記録されて存在しているので、記録部91に記録された情報に基づく使用状態にユーザーの肌状態測定装置10を合わせるよう端末装置40でスムーズに案内、誘導できる。
ユーザーが端末装置40の表示部41を参照して肌状態測定装置10を位置調整する中、サーバ90で監視される肌状態測定装置10の使用状態(肌状態測定装置10の位置及び向き)が記録部91に記録された情報における肌状態測定装置10の使用状態に一致すると、制御部92から端末装置40に肌状態測定装置10での撮像実行の指示が送信され、端末装置40が肌状態測定装置10による肌の所定部位の撮像を実行させる。
肌状態測定装置10は、サーバ90から端末装置40に送信される、サーバ90の記録部91に記録された肌状態測定装置10の使用状態についての情報のうち、撮像条件に係る情報に基づいて、内蔵光源による照明状況等を調整された上で、適切に撮像を実行し、得られた画像データを端末装置40に送信する。この画像データが端末装置40からさらにサーバ90に送信される。
サーバ90において、制御部92は、端末装置40から受け取った肌状態測定装置10の撮像に基づく画像データに基づく表示用の画像を端末装置40に送信し、端末装置40の表示部41に表示させると共に、画像データを解析して、ユーザーの肌状態の診断情報を取得し、この診断情報を端末装置40に送信して表示部41に表示させ、一連の肌状態測定を完了させる。
肌状態測定装置10の使用状態についての情報がサーバ90の記録部91に記録され、この情報を用いて肌状態測定装置10での撮像を進められることで、肌状態測定装置10では使用状態についての情報に基づいて光源からの光の状態など撮像条件の設定が速やかに最適化され、肌の撮像が適切且つスムーズに実行されると共に、得られる画像データも肌状態を正しく反映したものとなり、制御部92で画像データを解析して導かれる診断情報の質を向上させられる。
このように、本実施形態に係る肌状態測定システムは、端末装置40の撮像で得られる肌状態測定装置10を含む身体所定範囲の画像データをサーバ90で解析して、肌状態測定装置10の使用状態についての情報を記録部91に記録し、記録された肌状態測定装置10の使用状態についての情報に基づいて、ユーザーの身体所定範囲における肌状態測定装置10による測定部位を正しく認定できることから、肌状態の測定結果の利用、例えば、測定された肌状態に基づく診断を、身体所定範囲の各部位ごとの肌の特性を踏まえた上でより正確に行えるなど、効率的な利用が図れる。
また、サーバ90の記録部91に記録された肌状態測定装置10の使用状態についての情報に基づいて、肌状態の別の測定機会で肌状態測定装置10を以前の測定機会における肌状態測定装置10の使用状態と同様の使用状態で使用可能とすることから、肌状態測定装置10の使用状態、例えば肌状態測定装置10の位置や向きを以前の測定機会と同様にした上での肌状態の測定を繰り返して、肌状態の時系列的変化を正しく取得できるなど、測定を適切に管理でき、肌診断の正確性を向上させられると共に、ユーザーによる測定時の肌状態測定装置10の位置合せに伴う作業負担を軽減でき、装置を容易且つ無理なく使用できる。
なお、前記各実施形態に係る肌状態測定システムにおいて、肌状態測定装置10は、撮像装置としての端末装置20、30、40に対し、これらとは全く異なる種類の接写型のカメラとされる構成としているが、これに限られるものではなく、肌状態測定装置を、撮像装置(端末装置)と同種の装置、例えば、スマートフォン等のカメラ付携帯型装置とする構成としてもかまわない。この場合、撮像装置での撮像で得られたユーザーの身体所定範囲としての顔の画像データにおけるキメやシミ等の特徴部分の形状情報と、肌状態測定装置での撮像により得られた肌所定部位の画像データにおける同じキメやシミ等の特徴部分の形状情報とを照合して相互の関係を取得することで、顔画像上の肌状態測定装置による撮像位置を正確に検出でき、検出した位置情報を記録して肌状態の診断や次回以降の撮像時における肌状態測定装置の位置決めに活用できる。なお、こうした各撮像に基づくキメやシミ等の特徴部分の形状情報を照合するにあたっては、肌状態測定装置からの画像データに基づく、以前の肌状態の診断情報に含まれるキメやシミ等に係る情報を、参考情報として利用することもでき、位置検出の精度を高められる。
また、前記各実施形態に係る肌状態測定システムにおいて、肌状態測定装置10は、ユーザーの肌状態の測定としてユーザーの肌を局所的に撮像する装置とされているが、これに限らず、肌状態測定装置をユーザーの肌の含有水分を検知する水分センサ、ユーザーの肌の含有油分を検知する油分センサ、ユーザーの肌の弾力を検知する弾力センサなどの他の肌分析装置とすることもでき、センサ出力に基づく肌状態の診断情報を、センサとしての肌状態測定装置の使用状態を以前の測定機会と同様にした上で測定を繰り返せることで、前記同様に同じ肌位置を確実に測定して正確な肌状態の診断が行える。
また、前記各実施形態に係る肌状態測定システムにおいては、撮像装置としての端末装置20、30、40で撮像されるユーザーの身体所定範囲を顔、肌状態測定装置10で撮像される肌の所定部位を顔における肌のいずれかの箇所としているが、この他、撮像装置でユーザーの身体所定範囲としてのユーザーの頭髪部を撮像し、肌状態測定装置でユーザーの頭皮(毛根)を撮像する構成とすることもできる。この場合、頭皮に対しても、顔の肌と同様に、頭皮の特定の箇所についての肌状態測定を正確に繰り返して、肌状態の時系列的変化に基づく診断を適切に行える。
さらに、撮像装置と肌状態測定装置を用いた肌状態測定の対象は人に限られるものではなく、ペットなどの動物を対象として肌状態測定を行うようにしてもよく、動物の肌に対しても、人の肌の場合と同様に、肌の特定の箇所についての肌状態測定を正確に繰り返して、肌状態の時系列的変化に基づく診断を適切に行える。
また、前記各実施形態に係る肌状態測定システムにおいては、肌状態の診断として、原則として素肌の状態について診断を行うことを想定した構成としているが、これに限らず、撮像装置と肌状態測定装置を用いた肌状態の診断として、肌に化粧料が施された化粧状態(基礎化粧品の適用状態も含む)の肌について診断を行う構成とすることもできる。
この場合、診断情報として、素肌の場合の、肌状態の診断結果とそれに応じた肌のケアに係る情報に代えて、又はそうした情報に追加して、化粧料や基礎化粧品による化粧状態の良否、化粧料や基礎化粧品に応じた改善の方法や化粧のための肌ケアの方法などを診断情報として示すことができるほか、肌状態の測定を繰り返すことで、化粧等の肌に与える影響を把握でき、適切な対策が施せる。
また、前記各実施形態に係る肌状態測定システムにおいては、撮像装置としての端末装置20、30、40でユーザーの身体所定範囲を撮像し、肌状態測定装置10で肌の所定部位を撮像して、肌状態の診断情報を取得する構成としているが、この他、ユーザーの顔の肌のケアに係る一連の行為を端末装置を用いて撮像して記録した上で、肌状態測定装置の撮像による画像データから肌状態の診断情報を導き、端末装置で撮像して得られた肌ケアの内容(使用された美容機器や化粧品も含む)を示す画像と診断情報を同時に並行して表示し、診断情報に基づいて、ユーザーの肌ケアを評価できるようにしてもよい。
この場合、肌状態の分析結果に基づいて肌状態を改善に向かわせるケア方法、例えば、撮像されたこれまでのケアとは異なるもの、あるいは、これまでのケアから改善すべき点など、を表示部での表示に基づいてユーザーに対しよりスムーズに提案することができる。さらに、この時、端末装置でカウンセラー等と通信及び通話を行って、肌ケア内容や診断情報を共有した上で、ユーザーがケア方法のアドバイス(カウンセリング)を受けるようにすることもできる。そして、ユーザーがアドバイスを受ける中、肌状態測定装置が撮像を行ってその時点の肌状態を取得するようにしてもよく、最新の情報に基づいて適切なケア方法をアドバイス等を踏まえて確立することが可能となる。
また、前記各実施形態に係る肌状態測定システムにおいては、撮像装置としての端末装置20、30、40でユーザーの身体所定範囲と共に肌状態測定装置10を撮像し、得られた画像データを解析して、肌状態測定装置10の位置や向きの情報を導き、これを使用状態についての情報として記録すると共に、撮像時の肌状態測定装置10の撮像条件等も使用状態についての情報として合わせて記録し、これらを後の肌状態測定時に利用し、使用状態に応じて肌状態測定装置10の撮像の制御を行う構成としているが、これに限られるものではなく、肌状態測定装置に代えて他の機器(例えば、シェーバーや美顔器など)を用い、撮像装置で撮像して得られた他の機器の使用状態に応じてこうした他の機器の制御を行う構成とすることもできる。
この場合、前記実施形態同様、撮像装置での撮像で得られた画像データの解析で使用状態についての情報、例えば、装置の位置の情報、が得られることで、そうした位置ごとに出力を調整するなどの制御を行って適切に機器を使用できることとなる。
さらに、カメラの付いた機器をユーザーの身体所定範囲(例えば、顔など)に適用する際に、機器の撮像で得られた所定部位の画像データを解析して診断情報を取得し、情報表示を行いながら、こうした機器を含むユーザーの身体所定範囲を撮像装置で撮像し、得られた画像データを解析して、機器の使用状態(例えば、位置や向き)についての情報を得られることで、これに基づいてこうした機器の適用対象(例えば、顔)の位置ごとに適した制御を行う構成とすることもできる。