WO2006030600A1

WO2006030600A1 - 肌解析ネットワークシステム

Info

Publication number: WO2006030600A1
Application number: PCT/JP2005/015014
Authority: WO
Inventors: Tomoyuki Monma
Original assignee: Inforward, Inc.
Priority date: 2004-09-17
Filing date: 2005-08-17
Publication date: 2006-03-23
Also published as: JP2006081847A

Abstract

　計測端末で肌や体幹の計測データを解析して生体計測データを得て、画像でなく該生体計測データを、ネットワークを介して、被検者の属性情報や嗜好情報、周辺情報と共にデータベースに格納し、サーバで、各データを組合せて、被検者への提供情報や販売促進支援情報を得る。このようにして、サーバで肌解析することによる画像送受信に起因する通信トラフィック及び通信コストの増大や解析結果表示までの応答速度の低下、サーバ費用の増大を防止し、画像の容量と解析速度・精度の背反関係を解消する。

Description

明細書

肌解析ネットワークシステム

技術分野

[0001] 本発明は、肌解析ネットワークシステムに係り、特に、画像送受信に起因する通信トラフィックの増大及び応答速度の低下を招くことが無い肌解析ネットワークシステム、これを実現するためのコンピュータプログラム、及び、この肌解析ネットワークシステム用計測端末に関する。

背景技術

[0002] 人の顔の画像情報に基づいて肌の状態を解析するスタンドァローン型の肌解析システムが開発されている（特開 2001— 419号公報、特開平 10— 201740号公報、特開 2001— 104050号公報、特許第 3530523号公報、特開 2004— 105748号公報、特開 2004— 105749号公報参照)。

[0003] し力しながらスタンドアローン型では、美容評価に用いる平均値データの更新が困難であり、データベースを備えるサーバと各端末とのやり取りができなヽと、う問題点がある。

[0004] このような問題点を解消するものとして、画像情報を取得する端末と、肌診断機能を備えたサーバを、ネットワークを介して接続することも提案されている（特開 2002— 1 5068号公報、特開 2002— 224049号公報、特開 2003— 70749号公報参照；)。

[0005] 更に、肌診断結果を利用した、ネットワークを使う健康管理や化粧品発注システムも提案されている（特開 2003— 36311号公報、特許第 3408524号公報、特開 200 4— 86324号公報、特開 2003— 345895号公報、特開 2004— 5156号公報参照;）

[0006] 又、画像を用いた、毛穴の評価方法 (特開平 7— 55447号公報参照）や、しみやそばかすの評価方法 (特開 2003— 290151号公報、特開 2003— 144393号公参照 )も提案されている。

[0007] 又、骨格モデルを用いた顔画像の年齢変化シミュレーション (電子情報通信学会論文誌 A V0IJ8O-A N0.8 pp.1312- 1315 (1997年 8月）参照）や正面顔画像の力ージォイド変換が年齢認知に及ぼす影響について (電子情報通信学会論文誌 A V 0IJ8O-A N0.8 pp.1250- 1259 (1997年 8月）参照）の研究もなされている。

[0008] しかしながら、従来の肌解析ネットワークシステムにおいては、大量の画像情報をネットワークを介してサーバに送り、サーバで肌解析していたので、ネットワークにおける通信遮断の危険、画像送受信に起因する通信トラフィックや通信コストの増大及び解析結果表示までの応答速度の低下、サーバ費用の増大という問題点を有していた発明の開示

[0009] 本発明は、前記従来の問題点を解決するべくなされたもので、通信トラフィックや通信コスト及びサーバ費用を増大させたり、応答速度を低下させることなぐ高精度の解析を可能とすることを第 1の課題とする。

[0010] 本発明は、又、本発明に係る肌解析ネットワークシステムに用いるのに好適な計測端末を提供することを第 2の課題とする。

[0011] 本発明は、肌解析ネットワークシステムにおいて、肌や体幹の計測データを解析して、生体計測データを得るための計測端末と、前記生体計測データが、ネットワークを介して、被検者の属性情報や嗜好情報、周辺情報と共に格納されるデータベースと、各データを組合せて、被検者への提供情報や販売促進支援情報を得るサーバとを備えることにより、前記第 1の課題を解決したものである。

[0012] 又、前記計測端末が、顔の全景画像を取得して、顔面の特徴点 (例えば目尻、小鼻の鼻翼端、口元の口角端、目頭等)を認識するようにして、顔面皮膚評価の自動化を可能としたものである。

[0013] 又、前記計測端末が、体の画像を取得して、体の特徴点 (例えば脇の下、鼠け、部

(正面)又は臀部の合わせ目（背面)等)を認識するようにして、ボディ評価の自動化を可能としたものである。

[0014] 又、前記計測端末が、スコープカメラと、タブレット型パソコンと、タツチパネルと、解析ソフトウェアを含むようにしたものである。

[0015] 又、前記計測端末に、油水分計を追加可能として、より高精度の肌解析を可能としたものである。 [0016] 又、前記生体計測データが、色素沈着部位、毛穴部位、しわ部位、皮溝部位、たるみ部位 (例えば目元、頰、顎周辺）、ァクネ（にきび)部位、紅斑部位、顔の表面に血管が拡がって浮き出てきた血管拡張部位 (例えば鼻尖部、顔全体)、スキントーン、油分量、水分量、弾力の少なくともいずれか一つを含むようにしたものである。

[0017] 又、前記周辺情報が、在庫管理データ、 POS (Point of Sales)データ、顧客タレームデータの少なくとも、ずれか一つを含むようにしたものである。

[0018] 又、前記被検者への提供情報の少なくとも一部が、被検者の携帯電話やパソコン端末に表示されるようにして、簡便にチェックできるようにしたものである。

[0019] 又、前記被検者への提供情報が、生体評価データや商品紹介データを含むよう〖こしたものである。

[0020] 又、前記生体評価データが、肌評価データ (例えば、しみ、しわ、くすみ、毛穴、肌理、油分水分量の少なくともいずれか一つ）と体幹評価データ (例えば、たるみの気になる部分の引き締まり度合を評価したスリミング、肌の光沢度を評価した肌透明感、ボリュームの不足する部分の向上を示すファーミング、無駄毛の気になる部分の産毛量を評価した無駄毛処理、太腿周りの気になる脂肪塊を評価したセルライト、たるみの気になる部分の引き上げ度合を評価したリフトアップのいずれか一つ）を含むようにしたものである。

[0021] 又、前記被検者が、診断や処置の予約情報を入力可能としたものである。

[0022] 又、前記被検者が、他者との比較データを閲覧可能としたものである。

[0023] 本発明は、又、前記の肌解析ネットワークシステムを実現するためのコンピュータプログラムを提供するものである。

[0024] 本発明は、又、スコープカメラと、タブレット型パソコンと、タツチパネルと、解析ソフトウェアを備えたことを特徴とする肌解析ネットワークシステム用計測端末により、前記第 2の課題を解決したものである。

[0025] 本発明によれば、ネットワークを介して大量の画像情報をサーバに送るのを止め、計測端末で高精度の画像を解析して生体計測データを抽出し、加工した後の生体計測データ（文字や数値データ）のみをネットワークを介してサーバに送るようにしたので、サーバで肌解析することによる画像の容量と解析速度及び速度の背反を解消することができ、画像送受信に起因する通信トラフィックや通信コストやサーバ費用の増大及び応答速度の低下を防ぐことができる。

図面の簡単な説明

[0026] [図 1]本発明に係る肌解析ネットワークシステムの第 1実施形態の全体構成を示す図 [図 2]第 1実施形態の体幹部計測システムを示す図

[図 3]同じく処理手順を示す流れ図

[図 4]同じく処理対象画像の選択力計測の開始までの画面の例を示す図

[図 5]同じく特徴点抽出時の評価画面の例を示す図

[図 6]同じく計測結果の表示画面の例を示す図

[図 7]同じくサーバの入力データの例を示す図

[図 8]同じく出力データの例を示す図

[図 9]同じく出力データの肌評価データの例を示す図

[図 10]同じく体幹評価データの例を示す図

[図 11]本発明の第 2実施形態の構成を示す図

[図 12]第 2実施形態で用いられている携帯型端末の構成を示すブロック図

[図 13]第 2実施形態における会員の認証方法の一例を示す図

[図 14]同じく他の例を示す図

[図 15]同じく携帯型端末の変形例の構成を示す図

[図 16]本発明の適用例を示す図

発明を実施するための最良の形態

[0027] 以下図面を参照して、本発明の実施形態を詳細に説明する。

[0028] 本発明の第 1実施形態は、図 1に示す如ぐ病院、クリニックや化粧品売場等に配置された、肌や体幹の計測データを解析して、生体計測データを得るための、例えば顔画像撮影ボックス 11、 CCDカメラ 12、パソコン (PC) 15、ディスプレイ 16を備えた肌 ·体幹計測端末 10と、前記生体計測データが、インターネット 20を介して、被検者の属性情報や嗜好情報、周辺情報と共に格納されるデータベース (DB) 30と、解析結果 DBと商品 DBや顧客 DBとの連動、又は、複数端末のデータ統合等により、各データや、その経時変化を組合せて、データのマイニングや分析を実施し、被検者への提供情報 (生体評価データ 50)や販売促進支援情報 (商品紹介データ 52)を得るサーバ 32とを主に備えて、る。

[0029] 前記肌 ·体幹計測端末 10は、図 1中に示した、顔画像撮影ボックス 11に顔をあてることにより、 CCDカメラ 12を用いて、例えば顎力も上の顔画像 17が得られる外、図 2 に示すような、例えば三脚 13に取り付けた CCDカメラ 14を用いることにより、例えば顎を含む首から下の体の画像 18が得られる。

[0030] 以下、図 3を参照して、本実施形態の処理手順を説明する。

[0031] まずステップ 1010で、前記 CCDカメラ 12、 14による画像撮影を行ない、ステップ 1 020で RGBのアナログ信号を、パソコン 14での処理に適したデジタル信号に変換し、ステップ 1030で画像を入力して、ステップ 1040で輝度情報を取得する。次いで、ステップ 1050で特徴点を抽出する。

[0032] 処理対象画像の選択から計測の開始までの表示画面の例を図 4に示す。ここで、 4 00は画像表示領域である。又、右上の 3つのボタン 402は、選択された画像の計測時の処理パターンを選択するための選択ボタンであり、「Auto」を選択した場合には、特徴点抽出から解析までを一括して実施する。又、「SemiA_Ut₀」を選択した場合には、特徴点抽出後に一旦処理を止め、特徴点が正しく抽出されていない場合には手動操作で特徴点を選択してから、解析を行なう。又、「M_anUal」を選択した時は、特徴点を手動操作で選択してから、解析を行なう。

[0033] 又、画像ファイル参照ボタン 404で顔の正面画像を選ぶと鼻唇溝や額のしわの解析、側面画像を選ぶと目尻しわの解析等が行なえる。

[0034] 特徴点抽出画面の例を図 5に示す。右側の特徴点表示ボタン 410は、鼻唇溝の解析時には鼻翼両端と口角両端の計 4点となり、目尻しわの解析時には目尻の 1点となる。図において、 412は表示画像の拡大縮小（虫眼鏡)ボタン、 414は表示画像の移動ボタン、 416は上部に表示されている特徴点表示ボタン 410で選択中の特徴点の手動選択ボタンであり、このボタン 416を押して力も表示画像の特定部位をクリックすることで、特徴点を手動指定することができる。

[0035] 特徴点抽出後、毛穴や色素沈着を解析する際は、図 3のステップ 1060に進み、画像を二値化した後、ステップ 1070でオブジェクトを抽出する。具体的には、例えば、小さくて色が濃、ものを毛穴とし、大きくて色が薄、ものを色素沈着とする。

[0036] 次いで、ステップ 1080で、例えば特許文献 15に記載された方法により、毛穴部位を評価し、ステップ 1090で、例えば特許文献 16、 17に記載された方法により、色素沈着部位を評価する。

[0037] 一方、皮溝やしわを解析する際には、ステップ 1100に進み、輝度を指標とした最暗部を抽出する。具体的には、注目画素と注目画素を中心とした例えば 6mmの領域を平均化した画素との差分による画素を作成し、例えば X軸の検出範囲内において、注目画素と注目画素を平均した画素との差分が 10以下になる最大領域 (最喑部）を皮溝やしわとして検出する。

[0038] 次いでステップ 1110に進み、同じ操作を皮溝やしわが伸びる特徴点に向けて繰り返すことによって、ベクトル評価による最暗部追跡を行ない、オブジェクトを作成する

[0039] 次、でステップ 1120で、 1画素でトレースした細線ィ匕画像を得ると共に、皮溝やしわ領域を決定し、ステップ 1130で、皮溝やしわの長さや幅、本数を計測する。

[0040] ステップ 1090及び 1130終了後、ステップ 1200に進み、肌画像を表示すると共に、ステップ 1210で肌解析結果を表示する。

[0041] 計測結果の表示画面の例を図 6に示す。図において、 420は原画像表示領域、 42 2は計測結果画像 (例えばしわのみ)表示領域、 424は数値結果の表示領域、 426 は表示画像の保存ボタン、 428は数値結果のテキストファイルへの保存ボタンである

[0042] 前記肌 ·体幹計測端末 10で蓄積された肌計測データ、体幹計測データは、上記のようにして端末 10側で解析された後、ステップ 1220で生体計測データとして、インタ一ネット 20を経由してデータベース 30へ格納される。同時に、各被検者の属性情報や嗜好情報も、合わせてデータベース化される。店頭やクリニックでは、合わせて在庫管理データ、 POSデータ、顧客クレームデータ等の周辺情報も同時にインターネット経由で収集できる。

[0043] 前記サーバ 32の入力データとしては、図 7に例示する如ぐ肌状態データ、体幹計測データ、 POSデータ、在庫管理、インターネット調査、クレームデータ、販売データ管理等がある。

[0044] サーバ 32側では、各データを有機的に組合せ、被検者 (患者や顧客)へのマーケティング情報、販売促進支援情報、化粧品メーカー、製薬メーカー、エステサロン、フイットネスクラブ等美容及び健康産業で社内データとして活用できるようにする。更に、計測値や嗜好、購買履歴等への入力により、各被検者へ向けての情報提供 (ボイントサービス、特典、会員制度、特定顧客向けサービス等)を行なうことができる。又、被検者への情報伝達 (カタログ配布、販促'マニュアル資料配布、商品情報などマーケティングツール配布)も行なう。

[0045] 前記サーバ 32からの出力データとしては、図 8に例示する如ぐ肌評価データ、体幹評価データ、ダイレクトメール (DM)、 PR情報、販売情報 'マニュアル配布、会員 I D、会員特典等がある。

[0046] 前記肌評価データとしては、図 9に例示する如ぐ顔全体の画像から計測した、しみ、しわ、くすみ、毛穴、マイクロスコープ画像より計測した肌理、油分水分測定器によつて計測した油分水分量を含む肌チック環を、同世代の平均値と比較して示すことができる。

[0047] 又、前記体幹評価データとしては、図 10に例示する如ぐたるみの気になる部分の引き締まり度合を評価したスリミング、肌の光沢度を評価した肌透明感、胸等のボリュームの不足する部分の向上度合を示すファーミング、無駄毛の気になる部分の産毛量を評価した無駄毛処理、太腿周りの気になる脂肪塊を評価したセルライト、たるみの気になる部分の引き上げ度合を評価したリフトアップを含むボディチェック環を、同世代の平均値と比較して示すことができる。

[0048] このようにして、例えば解析結果 DBを利用した肌のランキング表示、商品 DB、解析結果 DB、顧客 DBを利用した、肌に合った商品やサービスの提案、顧客 DB、解析結果 DBを利用した、肌状態に応じたスキンケア法のアドバイス、肌に応じたポイント、割引チケットの発行が行なわれる。

[0049] 情報は、被検者の前の計測端末 10に表示することができ、又、被検者が提示した携帯電話 40や各家庭のパソコン端末 42にも送信して表示できる。

[0050] 又、例えば会員制のインターネットサイトを作成して、個人の計測結果の閲覧、他者との比較データの閲覧、他会員とのコミュニケーション等を行なえるようにしても良い。

[0051] 前記肌'体幹計測端末 10において、例えば特許文献 1乃至 6のように顔の全景画像を取得して、例えば目尻、小鼻の鼻翼端、口元の口角端、目頭等の特徴点を認識するようにした場合には、顔面皮膚評価の自動化が可能である。

[0052] 又、顔全体を撮影、計測することによって、非特許文献 1や 2に記載されたような、官能評価に近づけた印象的な年齢 (印象年齢)の上下を算出したり、あるいは、加齢シミュレーション、若返りシミュレーション、改善'改悪シミュレーション等の表情シミュレーシヨンが可能となる。

[0053] 本実施形態においては、肌 ·体幹計測端末 10として、据置型の端末を用いているので、顔全体若しくは体幹部といった、高度且つ複雑な情報を有する生体情報を扱うことができ、被検者の状態に対する広範な理解が可能となる。

[0054] 次に、計測端末を携帯型とした本発明の第 2実施形態を詳細に説明する。

[0055] 本実施形態においては、図 11に示す如ぐ肌'体幹計測端末が、スコープカメラ 62 と、タツチパネル 66及び解析ソフトウェアが搭載されたタブレット型パソコン 64で構成された携帯型端末 60とされてヽる。

[0056] 前記タブレット型パソコン 64には、図 12に詳細に示す如ぐオペレーティングシステム（OS) 70、スコープカメラ 62のドライバ 72、解析基本ソフトウェア 74、データベース (DB)ソフトウェア 76、及び、問診ソフトウェア、解析結果表示ソフトウェア、会員登録 •メールアドレス抽出ソフトウエア、購買履歴記録 ·ポイント付加ソフトウエア等の各種ァプリケーシヨン 78を含む。

[0057] 他の点に関しては第 1実施形態と同様であるので説明は省略する。

[0058] 本実施形態においては、例えばカメラで携帯電話画面に表示された 2次元バーコードを読み取り、会員認証や割引チケット発行を行なうことができる。あるいは、カメラで製品のバーコードを読み取り、又は、 JANコード等を端末に入力し、購買データを取得することができる。なお、端末での解析に必要な基礎データはサーバ 32から更新される。又、推薦メールを自動送信することもできる。

[0059] このようにして、サーバ 32とのデータ交換によってリアルタイムに美容評価基準データを更新でき、計測データ及び問診データによって個人情報に基づいてカウンセリング結果の開示、カルテ開示、化粧品等ディケア商品の推奨、美容治療の推奨、病院 ·エステティックサロンの紹介が可能である。

[0060] なお、会員を認証してポイントを付与する際には、例えば図 13に示す如ぐ解析システム、ポイントシステムと会員登録'管理システムを分けて幅広い運用を行なうことができる。あるいは、図 14に示す如ぐサーバ 32から会員の携帯電話 40へ 2次元バ一コードをメール添付等で送り、それをスコープカメラ 62で読み取って、端末 60にデータを取り込んで認証することもできる。

[0061] なお、携帯型端末 60として、例えばメモリーカードに解析ソフトウェアを載せたカメラ付携帯電話を用いることも可能である。又、図 15に示す如ぐ油水分計 80を追加することもできる。又、携帯型端末 60をサーバ 32と接続せず、スタンドアローンで使用することちでさる。

[0062] 本発明は、病院、化粧品販売店頭、スポーツクラブ、エステティックサロン、治験実施施設、臨床検査試験場、美容室、美容ショールーム、展示会場、催事会場、ゲームセンター、カラオケボックス、個人宅、インターネット端末のあるエリア等で実施可能である。

[0063] 又、図 16に示すような、医療機関が治験対象者 (症例）に対して行なう投薬や検査等の治験行為を情報管理の面から支援する、医薬品 ·医薬部外品'化粧品'健康補助食品等機能性製品の治験受託サービスにお、て、病院等の治験実施設備群 70 力も解析機関 72に臨床データを送る際にも適用できる。図において、 74は、例えば製薬メーカー、特定栄養補助食品の食品メーカー、化粧品メーカー等のメーカー、 7 6は、その下請機関である。評価データは、国等の承認機関に提出する他、研究用、社内用、宣伝用に用いることができる。

産業上の利用の可能性

[0064] 本発明は、人の顔の画像情報に基づいて肌の状態を解析する肌解析に用いることができる。

Claims

請求の範囲

[I] 肌や体幹の計測データを解析して、生体計測データを得るための計測端末と、前記生体計測データが、ネットワークを介して、被検者の属性情報や嗜好情報、周辺情報と共に格納されるデータベースと、

各データを組合せて、被検者への提供情報や販売促進支援情報を得るサーバと、を備えたことを特徴とする肌解析ネットワークシステム。

[2] 前記計測端末が、顔の全景画像を取得して、顔面の特徴点を認識するものであることを特徴とする請求項 1に記載の肌解析ネットワークシステム。

[3] 前記計測端末が、体の画像を取得して、体の特徴点を認識するものであることを特徴とする請求項 1に記載の肌解析ネットワークシステム。

[4] 前記計測端末が、スコープカメラと、タブレット型パソコンと、タツチパネルと、解析ソフトウェアを含むことを特徴とする請求項 1に記載の肌解析ネットワークシステム。

[5] 前記計測端末に、油水分計が追加可能とされていることを特徴とする請求項 4に記載の肌解析ネットワークシステム。

[6] 前記生体計測データが、色素沈着部位、毛穴部位、しわ部位、皮溝部位、たるみ部位、ァクネ部位、紅斑部位、血管拡張部位、スキントーン、油分量、水分量、弾力の少なくとも、ずれか一つを含むことを特徴とする請求項 1に記載の肌解析ネットヮークシステム。

[7] 前記周辺情報が、在庫管理データ、 POSデータ、顧客クレームデータの少なくとも V、ずれか一つを含むことを特徴とする請求項 1に記載の肌解析ネットワークシステム

[8] 前記被検者への提供情報の少なくとも一部が、被検者の携帯電話やパソコン端末に表示されることを特徴とする請求項 1に記載の肌解析ネットワークシステム。

[9] 前記被検者への提供情報が、生体評価データや商品紹介データを含むことを特徴とする請求項 1に記載の肌解析ネットワークシステム。

[10] 前記生体評価データが、肌評価データと体幹評価データを含むことを特徴とする請求項 9に記載の肌解析ネットワークシステム。

[II] 前記肌評価データが、しみ、しわ、くすみ、毛穴、肌理、油分水分量の少なくともいずれか一つを含むことを特徴とする請求項 10に記載の肌解析ネットワークシステム。

[12] 前記体幹評価データが、スリミング、肌透明感、ファーミング、無駄毛処理、セルライト、リフトアップのいずれか一つを含むことを特徴とする請求項 10に記載の肌解析ネットワークシステム。

[13] 前記被検者が、診断や処置の予約情報を入力可能とされていることを特徴とする請求項 1に記載の肌解析ネットワークシステム。

[14] 前記被検者が、他者との比較データを閲覧可能とされて、ることを特徴とする請求項 1に記載の肌解析ネットワークシステム。

[15] 請求項 1乃至 14のいずれかに記載の肌解析ネットワークシステムを実現するためのコンピュータプログラム。

[16] スコープカメラと、タブレット型パソコンと、タツチパネルと、解析ソフトウェアを備えたことを特徴とする肌解析ネットワークシステム用計測端末。