JP7361264B2 - Skin analysis device, skin analysis method, and computer program - Google Patents
Skin analysis device, skin analysis method, and computer program Download PDFInfo
- Publication number
- JP7361264B2 JP7361264B2 JP2019106043A JP2019106043A JP7361264B2 JP 7361264 B2 JP7361264 B2 JP 7361264B2 JP 2019106043 A JP2019106043 A JP 2019106043A JP 2019106043 A JP2019106043 A JP 2019106043A JP 7361264 B2 JP7361264 B2 JP 7361264B2
- Authority
- JP
- Japan
- Prior art keywords
- facial
- face
- skin analysis
- mark
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 153
- 238000004590 computer program Methods 0.000 title claims description 8
- 230000001815 facial effect Effects 0.000 claims description 257
- 210000004709 eyebrow Anatomy 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 239000011148 porous material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Dermatology (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本開示は、肌分析装置、肌分析方法、及び、コンピュータプログラムに関する。 The present disclosure relates to a skin analysis device, a skin analysis method, and a computer program.
従来、ユーザの顔を撮影した顔画像に基づき、顔の肌の状態を分析し、分析結果を可視化及び定量化することが行われている。特許文献1には、顔画像から顔部位の位置を自動的に認識し、その認識した顔部位の位置に基づいて、肌の分析対象の領域(以下「肌分析領域」という)を自動的に設定する装置が開示されている。 BACKGROUND ART Conventionally, the condition of facial skin is analyzed based on a facial image taken of a user's face, and the analysis results are visualized and quantified. Patent Document 1 describes a method for automatically recognizing the position of a facial part from a face image, and automatically determining a skin analysis target area (hereinafter referred to as "skin analysis area") based on the recognized position of the facial part. An apparatus for configuring is disclosed.
しかし、特許文献1のように、顔画像から、目、鼻及び口などの顔部位の位置を自動的に認識する場合、その認識結果が正しくない場合もある。このような場合に、特許文献1の装置は、顔部位の認識結果を容易に修正することができない。 However, when the positions of facial parts such as eyes, nose, and mouth are automatically recognized from a facial image as in Patent Document 1, the recognition results may not be correct. In such a case, the device disclosed in Patent Document 1 cannot easily modify the facial part recognition results.
本開示の非限定的な実施例は、顔画像に対する顔部位の認識を容易に修正できる肌分析装置、肌分析方法、及び、コンピュータプログラムを提供することに資する。 Non-limiting embodiments of the present disclosure contribute to providing a skin analysis device, a skin analysis method, and a computer program that can easily modify the recognition of facial parts in a facial image.
本開示の一態様に係る肌分析装置は、カメラが撮影したユーザの顔画像から顔部位を認識する顔部位認識部と、前記顔部位を示す顔部位マークを前記顔画像に配置したUI(User Interface)をディスプレイに表示させ、前記顔部位マークに対する操作を受け付けるUI部と、前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定する分析領域設定部と、前記設定された肌分析領域に対して肌分析を実行する肌分析実行部と、を備える。 A skin analysis device according to an aspect of the present disclosure includes a face part recognition unit that recognizes a facial part from a user's face image captured by a camera, and a UI (User an analysis area setting unit that sets a skin analysis area for the facial image based on the position of the operated facial area mark; and a skin analysis execution unit that executes skin analysis on the set skin analysis area.
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium, and any of the systems, devices, methods, integrated circuits, computer programs, and recording media may be implemented. It may be realized by any combination.
本開示の一態様によれば、顔画像に対する顔部位の認識を容易に修正できる。 According to one aspect of the present disclosure, recognition of facial parts in a facial image can be easily corrected.
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。 Further advantages and advantages of one aspect of the disclosure will become apparent from the specification and drawings. Such advantages and/or effects may be provided by each of the several embodiments and features described in the specification and drawings, but not necessarily all are provided in order to obtain one or more of the same features. There isn't.
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Embodiments of the present invention will be described in detail below with appropriate reference to the drawings. However, more detailed explanation than necessary may be omitted. For example, detailed explanations of well-known matters or redundant explanations of substantially the same configurations may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art.
(一実施の形態)
<肌分析装置の概要>
図1は、肌分析装置の利用例を示す。図2のフローチャートは、肌分析装置の動作概要の一例を示す。次に、図1及び図2を参照して、肌分析装置の概要について説明する。
(One embodiment)
<Overview of the skin analysis device>
FIG. 1 shows an example of the use of a skin analysis device. The flowchart in FIG. 2 shows an example of an outline of the operation of the skin analysis device. Next, an outline of the skin analysis device will be explained with reference to FIGS. 1 and 2.
ユーザ2は、図1に示すように、肌分析装置10の前に座り、肌分析装置10に対して肌分析の開始を指示する。肌分析装置10は、この開始の指示を受けて、次の動作を開始する。
As shown in FIG. 1, the
肌分析装置10は、カメラ101からユーザ2の顔を撮影する(S11)。以下、カメラ101によって撮影されたユーザ2の顔の画像を「顔画像」と表現する。
The
肌分析装置10は、S11にて撮影した顔画像から、顔部位を認識する(S12)。顔部位とは、例えば、顔の輪郭、目、鼻、口、眉、及び、髪の毛の生え際など、顔において特徴的な部分である。なお、顔部位は、顔パーツ、顔器官、又は顔特徴部分などと表現されてもよい。
The
肌分析装置10は、S12にて認識した顔部位の位置などに基づいて、顔画像に、肌分析を行う領域(以下「肌分析領域」という)を設定する(S13)。
The
肌分析装置10は、S13にて設定した各肌分析領域に対して、肌分析を実行する(S14)。
The
肌分析装置10は、S14にて実行した肌分析の結果を、ディスプレイ102に表示する(S15)。
The
上述のとおり、ユーザ2は、肌分析装置10を利用することにより、簡単に肌分析を受けることができる。以下、詳細に説明する。
As described above, the
<肌分析装置の構成>
次に、図3を参照して、肌分析装置10の構成を説明する。
<Skin analyzer configuration>
Next, the configuration of the
肌分析装置10は、例えば、カメラ101、ディスプレイ102、入力I/F103、記憶部104、及び、制御部105を備える。また、肌分析装置10は、データベース20に接続してよい。
The
カメラ101は、ユーザ2の顔を撮影する。なお、図1では、カメラ101が肌分析装置10に内蔵されているが、カメラ101は肌分析装置10とは別の装置であってもよい。この場合、カメラ101は、所定の有線通信又は無線通信を通じて、撮影した顔画像を肌分析装置10へ送信する。
ディスプレイ102は、画像及び情報などを表示する。なお、図1では、ディスプレイ102が肌分析装置10に内蔵されているが、ディスプレイ102は肌分析装置10とは別の装置であってもよい。この場合、肌分析装置10は、表示用のデータを、所定の有線通信又は無線通信を通じて、ディスプレイ102へ送信する。
The
入力I/F103は、ユーザ2からの指示を受け付ける。なお、肌分析装置10は、複数の入力I/F103を備えてもよい。例えば、肌分析装置10は、入力I/F103として、タッチパネル、マウス、キーボード、撮影指示用のボタン、及び音声入力用のマイクなどを備えてもよい。また、入力I/F103は、肌分析装置10とは別の装置であってもよい。この場合、入力I/F103は、入力されたデータを、所定の有線通信又は無線通信を通じて、肌分析装置10へ送信する。
The input I/
記憶部104は、制御部105に使用されるデータを記憶する。記憶部104は、DRAM(Dynamic Random Access Memory)などの揮発性メモリであってもよいし、SSD(Solid State Drive)などの不揮発性メモリであってもよい。或いは、記憶部104は、
これらの組み合わせであってもよい。
The
A combination of these may also be used.
制御部105は、例えばCPU(Central Processing Unit)であり、肌分析装置10
が有する機能を実現する。例えば、制御部105は、記憶部104に記憶されたコンピュータプログラムを実行することにより、後述する、撮影処理部201、顔部位認識部202、顔部位マークUI部203、分析領域設定部204及び肌分析実行部205に係る機能を実現する。
The
realize the functions possessed by For example, by executing a computer program stored in the
撮影処理部201は、カメラ101を制御してユーザ2の顔を撮影し、顔画像を生成する。なお、撮影処理部201は、カメラ101で撮影中の顔画像をリアルタイムにディスプレイ102に表示してもよい。これにより、ユーザ2は、ディスプレイ102を見ながら、自分の顔が正しく撮影されるように、顔の位置及び向きなどを調整することができる。
The photographing
また、撮影処理部201は、ユーザ2の正面顔、左横顔、及び右横顔を撮影してよい。左横顔及び右横顔が適切に撮影されるように、肌分析装置10には、図1に示すように、ユーザ2から向かってカメラ101よりも左側に鏡11aが備えられ、ユーザ2から向かってカメラ101よりも右側に鏡11bが備えられてよい。左側の鏡11aの向き(角度)は、ユーザ2がその左側の鏡11aに正面顔が映るように顔を向けたときに、カメラ101がユーザ2の適切な右横顔を撮影できる向き(角度)であってよい。右側の鏡11bの向き(角度)は、ユーザ2がその右側の鏡11bに正面顔が映るように顔を向けたときに、カメラ101がユーザ2の適切な左横顔を撮影できる向き(角度)であってよい。
Further, the photographing
また、撮影処理部201は、撮影に際し、ユーザ2に対して正面を向くように指示し、カメラ101から正面顔を撮影してよい。図4は、ユーザ2の正面顔を撮影した顔画像250aの一例である。次に、撮影処理部201は、ユーザ2に対して左側の鏡11aに正面顔が映るように顔を向けるよう指示し、カメラ101から右横顔を撮影してよい。図5は、ユーザ2の右横顔を撮影した顔画像250bの一例である。最後に、撮影処理部201は、ユーザ2に対して右側の鏡11bに正面顔が映るように顔を向けるようを指示し、カメラ101から左横顔を撮影してよい。図6は、ユーザ2の左横顔を撮影した顔画像250cの一例である。以下、正面顔、左横顔及び右横顔を区別しない場合は、顔画像250と表現する。
Further, the photographing
顔部位認識部202は、例えば、次の処理によって顔部位を認識する。すなわち、顔部位認識部202は、まず、公知の画像処理技術を用いて、顔画像250から特徴点を抽出する。次に、顔部位認識部202は、その抽出した特徴点から、顔の輪郭、目、鼻、口、眉、及び髪の毛の生え際などの顔部位を認識する。
The facial
しかし、特徴点の抽出精度が低い場合など、顔部位認識部202が、顔部位の認識に失敗する場合がある。また、顔部位認識部202が顔部位の認識に成功したと判定しても、実際には顔部位の位置などが正しく認識されていない場合がある。本実施の形態に係る肌分析装置10は、このような場合において、顔部位の認識を効率的に修正することができる。
However, the face
顔部位マークUI部203は、顔部位マークを顔画像に配置した顔部位マークのUIをディスプレイに表示させ、顔部位マークに対する操作を受け付ける。顔部位マークとは、後述の図8等に示すように、各顔部位を示すマーク(イラスト)である。例えば、顔部位「目」を示す顔部位マークは、目のマーク(イラスト)であり、顔部位「口」を示す顔部位マーク301は、口のマーク(イラスト)である。
The face part
なお、顔部位マークUI部203は、顔部位認識部202が顔部位の認識に成功したと判断した場合、その認識された顔部位の位置に、当該顔部位を示す顔部位マークを配置してよい。
Note that when the face
また、顔部位マークUI部203は、顔部位認識部202が顔部位の認識に失敗したと判定した場合、所定の位置に顔部位マークを配置してもよい。或いは、顔部位マークUI部203は、顔部位認識部202が顔部位の認識に失敗したと判定した場合、ユーザ2の他の顔画像(例えば過去の顔画像)において認識に成功したときの顔部位マークを、顔画像に配置してもよい。或いは、顔部位マークUI部203は、顔部位認識部202が顔部位の認識に失敗したと判定した場合、ユーザ2の他の顔画像(例えば過去の顔画像)に対して操作によっては位置された顔部位マークを、顔画像に配置してもよい。なお、顔部位マークUI部203の詳細については後述する。
Furthermore, when the face
分析領域設定部204は、顔部位マークUI部203によって配置された顔部位マークの位置に基づいて、顔画像に少なくとも1つの肌分析領域を設定する。なお、分析領域設定部204は、顔部位認識部202によって認識された各顔部位の位置に基づいて、顔画像に肌分析領域を設定してもよい。なお、分析領域設定部204の詳細については後述する。
The analysis
肌分析実行部205は、分析領域設定部204によって顔画像に設定された各肌分析領域に対して、肌分析を実行する。例えば、肌分析実行部205は、顔画像における肌分析領域内に対して公知の画像処理を適用して、皺、シミ、及び/又は、毛穴などの量を分析する。
The skin
データベース20は、各ユーザ2の顔画像と、当該顔画像の肌分析結果とを対応付けて管理する。なお、図3において、データベース20は、肌分析装置10とは別の装置であるが、データベース20は、肌分析装置10に内蔵されてもよい。
The
<顔部位マークUI部の詳細>
次に、図7に示すフローチャートを参照して、顔部位マークUI部203の詳細について説明する。なお、正面顔、左横顔及び右横顔の3つの顔画像250a、250b、250cを撮影する場合、顔部位認識部202は、顔画像250a、250b、250cのそれぞれについて、当該フローチャートを実行してよい。
<Details of face part mark UI section>
Next, details of the facial part
顔部位認識部202は、公知の画像処理技術を用いて、顔画像250ら、顔部位を認識する(S101)。そして、顔部位認識部202は、顔部位の認識に成功したか否かを判定する(S102)。例えば、顔部位認識部202は、顔の輪郭、目、鼻、口、眉、及び、髪の毛の生え際などの全ての顔部位を認識できた場合、認識成功と判定する。或いは、顔部位認識部202は、これらのうち、少なくとも1つの顔部位を認識できた場合、認識成功と判定してもよい。或いは、顔部位認識部202は、正面顔の顔画像250aと、右横顔の顔画像250bと、左横顔の顔画像250cとを比較し、少なくとも2つにおいて顔のサイズが所定以上異なっている場合、認識失敗と判定してもよい。
The facial
S101において顔部位認識部202が顔部位の認識失敗と判定した場合(S102:NO)、顔部位マークUI部203は、デフォルトの位置に顔部位マークを配置した顔部位マークのUI500(図13参照)をディスプレイ102に表示し、ユーザ2からの操作を受け付ける(S103)。ユーザ2は、顔部位マークのUI500をマニュアル(手動)操作して、顔画像の各顔部位の正しい位置に、その顔部位を示す顔部位マーク301(図8参照)を配置する(S104)。
If the face
顔部位マークUI部203は、ユーザ2からの完了指示を受領すると、ユーザ2が再配置した顔部位マーク301の位置を確定する(S105)。そして、本フローは終了する。
Upon receiving the completion instruction from the
S101において顔部位認識部202が顔部位の認識成功と判定した場合(S102:YES)、顔部位マークUI部203は、顔部位認識部202が認識した位置に顔部位マーク301を配置した顔部位マークのUI300(図8、図9及び図10参照)を、ディスプレイ102に表示し(S106)、ユーザ2からの操作を受け付ける。
If the face
ユーザ2は、顔部位マークのUI300を見て、顔画像の各顔部位の位置に、その顔部位を示す顔部位マーク301が正しく配置されているか否かを判断する(S107)。
The
ユーザ2が顔部位マーク301が正しく配置されていると判断した場合(S107:YES)、顔部位マークUI部203は、その配置されている顔部位マーク301の位置を確定する(S108)。そして、本フローは終了する。
If the
ユーザ2が顔部位マーク301が正しく配置されていないと判断した場合(S107:NO)、顔部位マークUI部203は、顔部位認識部202が認識した位置に顔部位マーク301を配置した顔部位マークのUI400(図11及び図12参照)を、ディスプレイ102に表示し、ユーザ2からの操作を受け付ける(S109)。ユーザ2は、顔部位マークのUI400をマニュアル(手動)操作して、顔画像の各顔部位の正しい位置に、その顔部位を示す顔部位マーク301を再配置(修正)する(S110)。
If the
顔部位マークUI部203は、ユーザ2からの完了指示を受領すると、ユーザ2が再配置した顔部位マーク301の位置を確定する(S111)。そして、本フローは終了する。
Upon receiving the completion instruction from the
<顔部位マークのUIの例>
図8、図9及び図10は、図7のS106にて表示される顔部位マークのUI300の一例である。なお、図8、図9及び図10は、顔部位の認識に成功し、かつ、顔部位マーク301が正しく配置されている例である。また、図8は、正面顔の顔部位マークのUI300の例であり、図9は、右横顔の顔部位マークのUI300の例であり、図10は、左横顔の顔部位マークのUI300の例である。
<Example of UI for face part mark>
8, 9, and 10 are examples of the facial
図8、図9及び図10に示すように、顔部位の認識に成功した場合、顔部位マークUI部203は、顔画像の認識した顔部位の位置に、その顔部位を示す顔部位マーク301を配置した顔部位マークのUI300を生成し、ディスプレイ102に表示する。
As shown in FIGS. 8, 9, and 10, when the recognition of a facial part is successful, the facial part
図8、図9及び図10では、目の顔部位マーク301aが、顔画像の目の位置に正しく配置されている。また、鼻の顔部位マーク301bが、顔画像の鼻の位置に正しく配置されている。また、口の顔部位マーク301cが、顔画像の口の位置に正しく配置されている。また、眉の顔部位マーク301dが、顔画像の眉の位置に正しく配置されている。顔輪郭の顔部位マーク301eが、顔画像の顎から耳にかけての輪郭の位置に正しく配置されている。また、髪の生え際の顔部位マーク301fが、顔画像の髪の生え際の位置に正しく配置されている。
In FIGS. 8, 9, and 10, the eye
ユーザ2は、全ての顔部位マーク301が、顔画像の顔部位に正しく配置されている場合、OKボタン311を押下する。この場合、図7のS107の判定結果が「YES」となる。
ユーザ2は、少なくとも1つの顔部位マーク301が、顔画像の顔部位に正しく配置されていない場合、要調整ボタン312を押下する。この場合、図7のS107の判定結果が「NO」となり、図7のS109において、顔部位マークのUI400が表示される。なお、ユーザ2は、図8、図9及び図10に示す顔画像のそれぞれについて、OKボタン311又は要調整ボタン312を選択できてよい。この場合、顔部位マークUI部203は、要調整ボタン312を押下された顔画像についてのみ、顔部位マークのUI400を表示してよい。
また、ユーザ2が、図8、図9及び図10に示す再撮影ボタン313を押下した場合、図7に示すフローはS107からS101へ戻り、顔の再撮影が行われてよい(図7には図示せず)。この場合、撮影処理部201は、再撮影ボタン313を押下された顔画像に対応する顔の向きについてのみ、再撮影を行ってもよい。
Further, when the
図11及び図12は、それぞれ、図7のS109にて表示される顔部位マークのUI400の一例である。上述のとおり、顔部位マークのUI400は、顔部位の認識に成功したものの、顔部位マークの修正が必要な場合に用いられる。
11 and 12 are examples of the facial
顔部位マークのUI400は、全ての顔部位マーク301をまとめて修正するための顔全体ボタン401と、顔部位マーク301を個別に修正するための部位別ボタン402とを有する。また、顔部位マークのUI400には、図8~図10と同様、顔部位認識部202が認識(誤認識)した顔部位の位置に、その顔部位を示す顔部位マーク301が配置されている。
The face
図11に示すように、顔部位マーク301の位置及び/又は大きさが全体的にずれているような場合、ユーザ2は、顔全体ボタン401を押下するとよい。顔全体ボタン401が押下されると、顔部位マークのUI400では、破線420のように、全ての顔部位マーク301が選択された状態となる。これにより、ユーザ2は、全ての顔部位マーク301を一度に修正できる。この修正には、移動、回転、拡大、縮小、及び、縦横アスペクト比の変更のうちの少なくとも1つが含まれてよい。
As shown in FIG. 11, if the position and/or size of the face part mark 301 is shifted overall, the
図12に示すように、個々の顔部位マーク301の位置及び/又は大きさがずれているような場合、ユーザ2は、部位別ボタン402を押下するとよい。部位別ボタン402が押下されると、顔部位マークのUI400では、各顔部位マーク301を選択可能な状態となる。ユーザ2は、破線430に示すように、修正したい顔部位マーク301を選択し、その選択した顔部位マーク301を修正できる。この修正には、移動、回転、拡大、縮小、及び、縦横アスペクト比の変更のうちの少なくとも1つが含まれてよい。
As shown in FIG. 12, if the positions and/or sizes of the individual facial region marks 301 are off, the
例えば、図12の場合、目の顔部位マーク301aの大きさが顔画像の目の大きさよりも小さいので、ユーザ2は、目の顔部位マーク301aを選択し、顔画像の目の大きさに合うように、目の顔部位マーク301aを拡大してよい。また、眉の顔部位マーク301dの角度が顔画像の眉の角度よりも急なので、ユーザ2は、眉の顔部位マーク301dを選択し、顔画像の眉の角度に合うように、眉の顔部位マーク301dを回転してよい。また、鼻の顔部位マーク301bの縦の長さが顔画像の鼻の長さよりも短いので、ユーザ2は、鼻の顔部位マーク301bを選択し、顔画像上の鼻の縦の長さに合うように、鼻の顔部位マーク301bのアスペクト比を変更してよい。
For example, in the case of FIG. 12, the size of the eye
また、顔部位マークUI部203は、顔部位マークの位置と、その顔部位マークに対応する顔部位の位置とが所定距離未満になると、その顔部位マーク301を、その顔部位の位置に自動的にスナップさせてもよい。この場合、顔部位マークUI部203は、顔部位マーク301の近傍の顔画像に対して部分的なパターンマッチングを行って、その顔部位マークに対応する顔部位を認識(つまり再認識)し、その認識した顔部位の位置へ顔部位マークをスナップさせてよい。これにより、ユーザ2が顔部位マークを微調整する手間が省けるので、顔部位マーク301の修正作業の効率が向上する。
Furthermore, when the position of a face part mark and the position of the face part corresponding to the face part mark become less than a predetermined distance, the face part
なお、顔部位マークUI部203は、位置関係において関連性の高い顔の構成パーツに対応する顔部位マーク301同士を、1つのグループにまとめてもよい。位置関係において関連性の高い顔の構成パーツとは、例えば、目と眉、又は、鼻と口のように、位置する距離が比較的近い顔の構成パーツ、或いは、筋肉又は骨格によって互いに連動している顔の構成パーツである。顔部位マークUI部203は、グループの単位でまとめて顔部位マーク301を移動させてもよい。グループで移動させる場合、或いは、グループの単位ではなく、1つの顔部位マーク301を移動させる場合における顔部位マークのUIには、顔全体ボタン401、部位別ボタン402と同様のボタンが別途配置されてもよい。また、キーボード及び/又はマウスなどの操作デバイスのボタン等には、特定の機能が割り当られてもよい。
Note that the face part
図13は、図7のS103にて表示される顔部位マークのUI500の一例である。上述のとおり、顔部位マークのUI500は、顔部位の認識に失敗した場合に用いられる。
FIG. 13 is an example of the facial
顔部位マークのUI500は、図11及び図12と同様、顔全体ボタン401と、部位別ボタン402とを有する。なお、顔部位認識部202が顔部位の認識に失敗しており、顔部位の位置が不明なので、顔部位マーク301のUI500では、デフォルト(予め登録済み)の位置に、デフォルトの形状の顔部位マーク301が配置されてよい。
The face
ユーザ2は、図11又は図12の場合と同様、顔部位マークのUI500を操作して、顔部位マーク301を、その顔部位マークに対応する顔部位の位置に再配置(修正)する。
As in the case of FIG. 11 or 12, the
顔検出に失敗した場合において、顔部位マーク301を配置する際、顔部位マークのUI500は、顔画像上の目の位置をユーザーに指定してもらい、他の顔部位マーク301を、デフォルト設定に従って自動的に、その指定された目の位置に対して相対的な位置に配置してもよい。なぜなら、顔のパーツ配置において、最も特徴的なパーツは目であるからである。
When placing the face part mark 301 when face detection fails, the face
なお、顔部位の認識に失敗した場合における顔部位マーク301の修正の手順は、予め定められてよい。例えば、次の(A1)から(A3)の何れかのように、予め修正の手順が定められてよい。 Note that the procedure for correcting the facial part mark 301 in the case of failure in facial part recognition may be determined in advance. For example, a correction procedure may be determined in advance, such as any one of the following (A1) to (A3).
(A1)顔部位マークUI部203は、顔部位マークのUI500において、まず、顔全体に対する顔部位マーク301を修正するためのUIを表示し(例えば図11)、次に、顔部位別に顔部位マーク301を修正するためのUIを表示する(例えば図12)。当該A1によれば、ユーザ2が迷うことなく顔部位マーク301を修正できるので、顔部位マーク301の修正作業の効率が向上する。
(A1) In the face
(A2)顔部位マークUI部203は、同一ユーザ2について過去に認識に成功した顔部位マーク301がデータベース20に存在する場合、その顔部位マーク301をデフォルトの顔部位マーク301として使用する。同一ユーザ2の過去の顔部位マーク301の方が、デフォルトの顔部位マーク301よりも、そのユーザ2に類似している可能性が高い。したがって、当該A2によれば、顔部位マークの修正の手間を軽減できる。
(A2) If a face part mark 301 that has been successfully recognized in the past for the
(A3)顔部位マークUI部203は、複数回撮影された同一ユーザ2の顔画像を用いて、顔部位マーク301を類推する。例えば、左横顔において顔部位の認識に成功し、右横顔において顔部位の認識に失敗した場合、顔部位マークUI部203は、認識に成功した左横顔に対応する顔部位マーク(例えば図9)301を左右反転させたものを、認識に失敗した右横顔におけるデフォルトの顔部位マーク301に使用する。同一ユーザ2の顔画像から類推した顔部位マーク301の方が、デフォルトの顔部位マーク301よりもそのユーザ2に類似している可能性が高い。したがって、当該A3によれば、顔部位マークの修正の手間を軽減できる。
(A3) The face part
次に、図14~図16を参照して、顔画像の特徴点と顔部位マーク301との関係について説明する。 Next, the relationship between the feature points of the facial image and the facial part mark 301 will be explained with reference to FIGS. 14 to 16.
上述のとおり、顔部位認識部202は、顔画像から顔部位601の特徴点610を抽出する。また、顔部位マーク602は、図14に示すように、顔部位601に対応する形状を構成する点(以下「構成点」という)620を有する。
As described above, facial
顔部位マークUI部203は、顔部位認識部202が顔部位601の認識に成功した場合、デフォルトの顔部位マーク602の形状を、その認識に成功した顔部位601の形状に変形させてよい。なお、形状の変形とは、デフォルトの顔部位マーク602の複数の構成点620の相対位置を、認識した顔部位601の複数の特徴点610の相対位置と適合するように変形することであってよい。
If the facial
例えば、図14に示すように、顔部位マークUI部203は、顔画像の目の部分から抽出した特徴点610の相対位置に適合するように、目の顔部位マーク602の構成点620の相対位置を変形する。この変形には、図15(a)~(e)に例示するように、拡大、縮小、回転、及び、アスペクト比変更の少なくとも1つが含まれてよい。これにより、ユーザ2の顔部位601に適した顔部位マーク620を生成できるので、顔部位マーク620の修正の手間を軽減できる。
For example, as shown in FIG. 14, the facial part
また、認識された顔部位601の特徴点610と、その顔部位601に対応する顔部位マーク620の構成点620とは対応付けられてよい。この場合、顔部位マークの修正用UI400において、顔部位マーク602が修正されると、顔部位マークUI部203は、その顔部位マーク602の構成点620に対応付けられている特徴点610を修正してよい。すなわち、顔部位マークのUI400は、認識された顔部位601の特徴点610を容易に修正することができるUIともいえる。
Further, the feature points 610 of the recognized
また、顔部位マークのUI500において、顔部位マーク602が配置されると、顔部位マークUI部203は、その配置された顔部位マーク602の構成点620を、その顔部位マーク602に対応する顔部位601の特徴点610として顔画像に設定してよい。
Furthermore, when a
例えば、まず、図16(a)、(b)に示すように、ユーザ2が、顔部位マークのUI500において、顔部位「目」601に適合するように目の顔部位マーク602を変形させて、顔部位「目」601の位置に配置する。次に、図16(c)に示すように、顔部位マークUI203は、配置された顔部位マーク601の構成点620を、顔部位「目」601の特徴点610として顔画像に設定する。
For example, first, as shown in FIGS. 16A and 16B, the
これにより、顔部位の認識に失敗した場合であっても、容易に顔部位601の特徴点610を設定できる。すなわち、顔部位マークのUI500は、顔部位601の特徴点610を容易に設定できるUIともいえる。
Thereby, even if facial region recognition fails, the feature points 610 of the
<分析領域設定部の詳細>
図17は、肌分析領域のUI700の一例を示す。次に、図17を参照して、肌分析領域部204について詳細に説明する。
<Details of analysis area setting section>
FIG. 17 shows an example of a
分析領域設定部204は、各顔部位マーク301の位置に基づいて、顔画像に対して肌分析領域を設定する。或いは、分析領域設定部204は、顔部位の特徴点に基づいて、顔画像に対して肌分析領域を設定してもよい。なお、この顔部位の特徴点は、顔部位マークのUI400によって修正されたものであってよい。
Analysis
分析領域設定部204は、図17に例示するように、髪の生え際の顔部位マーク301fと、眉の顔部位マーク301dとの間を、額の肌分析領域701aに設定してよい。また、分析領域設定部204は、目の顔部位マーク301aの下の所定領域を、目周りの肌分析領域701bに設定してよい。また、分析領域設定部204は、鼻の顔部位マーク301bの重畳領域を、鼻の肌分析領域701cに設定してよい。また、分析領域設定部204は、口の顔部位マーク301cの左右の所定領域を、口周りの肌分析領域701dに設定してよい。また、分析領域設定部204は、顔の輪郭線の顔部位マーク301eと、目の顔部位マーク301aと、鼻の顔部位マーク301bと、口の顔部位マーク301cとに囲まれた所定領域を、頬の肌分析領域701eに設定してよい。
As illustrated in FIG. 17, the analysis
なお、顔部位マークUI部203は、図17に示すように、分析領域設定部204によって設定された肌分析領域と、顔画像及び顔部位マークとを含む肌分析領域のUI700を生成し、ディスプレイ102に表示してよい。これにより、ユーザ2は、肌分析領域が正しく設定されているか否かを判断できる。
Note that, as shown in FIG. 17, the facial region
また、顔部位マークUI部203は、顔部位マークのUI400に、分析領域設定部204によって設定された肌分析領域を合わせて表示してもよい。この場合、分析領域設定部204は、顔部位マークの修正に応じて、リアルタイムに肌分析領域を再設定してよい。そして、顔部位マークUI部203は、その再設定された肌分析領域をリアルタイムに顔部位マークのUI400に表示してもよい。これにより、ユーザ2は、肌分析領域が正しく設定されるように、顔部位マークを修正できる。
Further, the facial region
また、肌分析実行部205は、上述のように設定された各肌分析領域に対して、公知の画像処理技術を適用し、肌分析を実行してよい。肌分析実行部205は、異なる肌分析領域に対して、異なる肌分析を実行してよい。例えば、肌分析実行部205は、額の肌分析領域701a、目周りの肌分析領域701b、及び、口周りの肌分析領域701dに対して、皺の量を分析してよい。また、肌分析実行部205は、鼻の肌分析領域701cに対して、毛穴の量を分析してよい。また、肌分析実行部205は、頬の肌分析領域701eに対して、シミ及び毛穴の量を分析してよい。
Further, the skin
<注記>
顔部位認識部202において顔画像における顔部位の認識に失敗した場合、当該顔画像と、顔部位マークUI部203の操作を通じて配置された顔部位マークの位置などの情報と、を対応付けてよい。そして、当該対応関係を用いた機械学習を実機することにより、顔部位認識部202における顔部位認識の精度を向上させることも可能である。
<Note>
If the face
また、上述では、顔部位マークUI部203は、図7のS107において、図8から図10のUI300に示すような画面を表示して、ユーザ2に、顔部位と顔部位マークとの位置関係を確認させることを例示した。しかし、顔部位マークUI部203は、図7のS107において、図17に例示するような肌分析領域を含む画面を表示して、ユーザ2に、顔部位、顔部位マーク及び肌分析領域の位置関係を確認させてもよい。
In addition, in the above description, the facial part
<本開示のまとめ>
本実施の形態では、肌分析装置10は、カメラ101が撮影したユーザ2の顔画像から顔部位を認識する顔部位認識部202と、顔部位を示す顔部位マーク301を顔画像に配置した顔部位マークのUIをディスプレイ102に表示させ、顔部位マーク301に対する操作を受け付ける顔部位マークUI部203と、操作された顔部位マーク301の位置に基づいて、顔画像に対して肌分析領域を設定する分析領域設定部204と、設定された肌分析領域に対して肌分析を実行する肌分析実行部205とを備える。当該構成によれば、例えば以下の(1)及び(2)のような作用効果が得られる。
<Summary of this disclosure>
In the present embodiment, the
(1)特許文献1に代表される従来の構成では、顔部位認識部202の許容範囲に収まらない顔画像が撮影された場合、顔部位の認識に失敗し、肌分析領域を設定できない。典型的には、髪の毛により顔部位の一部が隠れて撮影された場合、又は、横顔の顔画像の撮影時に横顔の角度が深くなり過ぎて目などの顔部位が撮影されなかった場合などに、顔部位の認識に失敗する。これに対して、本実施の形態に係る肌分析装置10によれば、顔部位マークUI部203の操作を通じて顔部位に関する情報を設定(修正)するにより、肌分析領域を設定することが可能となる。
(1) In the conventional configuration typified by Patent Document 1, when a face image that does not fall within the tolerance range of the facial
(2)従来の構成では、肌分析領域に含まれる毛髪領域が肌分析結果に影響を及ぼすことがあったため、美容皮膚科などの医療現場では、毛髪領域を肌分析領域から除外することが課題の1つであった。これに対して、本実施の形態に係る肌分析装置10によれば、髪の毛の生え際など顔部位を顔部位マークUI部203の操作を通じて指定できるため、毛髪領域を簡単かつ適切に除外することができる。
(2) In the conventional configuration, the hair area included in the skin analysis area could affect the skin analysis results, so in medical settings such as cosmetic dermatology, it is an issue to exclude the hair area from the skin analysis area. It was one of the On the other hand, according to the
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した肌分析装置10の機能は、コンピュータプログラムにより実現され得る。
Although the embodiments according to the present disclosure have been described above in detail with reference to the drawings, the functions of the
図18は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ2100は、キーボード又はマウス、タッチパッドなどの入力装置2101、ディスプレイ又はスピーカーなどの出力装置2102、CPU(Central Processing Unit)2103、ROM(Read Only Memory)2104、RAM(Random Access Memory)2105、ハードディスク装置又はSSD(Solid State Drive)などの記憶装置2106、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置2107、ネットワークを介して通信を行う通信装置2108を備え、各部はバス2109により接続される。
FIG. 18 is a diagram showing the hardware configuration of a computer that implements the functions of each device using programs. This
そして、読取装置2107は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置2106に記憶させる。あるいは、通信装置2108が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置2106に記憶させる。
Then, the
そして、CPU2103が、記憶装置2106に記憶されたプログラムをRAM2105にコピーし、そのプログラムに含まれる命令をRAM2105から順次読み出して実行することにより、上記各装置の機能が実現される。
Then, the
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。 The present disclosure can be implemented with software, hardware, or software in conjunction with hardware.
上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるLSIとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのLSI又はLSIの組み合わせによって制御されてもよい。LSIは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。LSIはデータの入力と出力を備えてもよい。LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Each functional block used in the description of the above embodiment is partially or entirely realized as an LSI that is an integrated circuit, and each process explained in the above embodiment is partially or entirely realized as an LSI, which is an integrated circuit. It may be controlled by one LSI or a combination of LSIs. The LSI may be composed of individual chips, or may be composed of a single chip that includes some or all of the functional blocks. The LSI may include data input and output. LSIs are sometimes called ICs, system LSIs, super LSIs, and ultra LSIs depending on the degree of integration.
集積回路化の手法はLSIに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成
可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
The method of circuit integration is not limited to LSI, but may be implemented using a dedicated circuit, a general-purpose processor, or a dedicated processor. Furthermore, an FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured or a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used. The present disclosure may be implemented as digital or analog processing.
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 Furthermore, if an integrated circuit technology that replaces LSI emerges due to advancements in semiconductor technology or other derived technology, then of course the functional blocks may be integrated using that technology. Possibilities include the application of biotechnology.
本開示の一態様は、人体の部位を認識するシステムに有用である。 One aspect of the present disclosure is useful for systems that recognize parts of the human body.
10 肌分析装置
20 データベース
101 カメラ
102 ディスプレイ
103 入力I/F
104 記憶部
105 制御部
201 撮影処理部
202 顔部位認識部
203 顔部位マークUI部
204 分析領域設定部
205 肌分析実行部
300、400、500 顔部位マークのUI
700 肌分析領域のUI
10
104
700 Skin analysis area UI
Claims (11)
前記顔部位を示す顔部位マークを前記顔画像に配置したUI(User Interface)をディスプレイに表示させ、前記顔部位マークに対する操作を受け付けるUI部と、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定する分析領域設定部と、
前記設定された肌分析領域に対して肌分析を実行する肌分析実行部と、
を備え、
前記UI部は、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかの選択操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付ける、
肌分析装置。 a face part recognition unit that recognizes a face part from a user's face image taken by the camera;
a UI unit that displays on a display a UI (User Interface) in which a facial part mark indicating the facial part is placed on the facial image, and receives an operation on the facial part mark;
an analysis area setting unit that sets a skin analysis area for the facial image based on the position of the operated facial part mark;
a skin analysis execution unit that executes skin analysis on the set skin analysis area;
Equipped with
The UI section is
Displaying a screen that accepts a selection operation as to whether the entire face or each facial area is to be corrected as a screen that accepts corrections to the facial part mark displayed on the display;
If the entire face is selected, batch correction of all facial part marks will be accepted.
If "By facial region" is selected, the modification of each selected facial region mark will be accepted.
Skin analysis device.
請求項1に記載の肌分析装置。 When the UI unit determines that the face part recognition unit has succeeded in recognizing the face part, the UI unit places the face part mark at the position of the recognized face part.
The skin analysis device according to claim 1.
前記顔部位認識部が前記顔部位の認識に成功したと判定した場合、前記認識された顔部位の位置に前記顔部位マークを配置し、
前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記顔部位の認識とは無関係の予め決められた位置に前記顔部位マークを配置する、
請求項1に記載の肌分析装置。 The UI section is
If the facial part recognition unit determines that the facial part has been successfully recognized, placing the facial part mark at the position of the recognized facial part;
If the face part recognition unit determines that recognition of the face part has failed, placing the face part mark at a predetermined position unrelated to recognition of the face part;
The skin analysis device according to claim 1.
請求項1に記載の肌分析装置。 If the facial part recognition unit determines that the face part recognition unit has failed in recognition of the facial part, the UI unit adds the facial part mark that was used when recognition was successful in a past facial image taken of the user to the facial image. Deploy,
The skin analysis device according to claim 1.
請求項1に記載の肌分析装置。 When it is determined that the face part recognition unit has failed in recognition of the face part, the UI unit replaces the face part mark placed by the operation with respect to a past face image taken of the user. Place it on the image,
The skin analysis device according to claim 1.
請求項1に記載の肌分析装置。 If the facial part recognition unit determines that the face part recognition unit has failed in recognition of the facial part, the UI part accepts an operation input for the position of the eyes on the face image from the user, and other facial part marks are registered in advance. automatically placing the eye in a position relative to the accepted eye position according to settings;
The skin analysis device according to claim 1.
請求項4又は5に記載の肌分析装置。 The face image and the past face image are each one of a front face image, a left profile face image, and a right profile face image taken of the user;
The skin analysis device according to claim 4 or 5.
請求項7に記載の肌分析装置。 The face part recognition unit fails to recognize the face part if the face sizes among the front face image, the left profile face image, and the right profile face image differ by more than a predetermined value. It is determined that
The skin analysis device according to claim 7.
前記顔部位マークは、前記顔部位の形状に対応する形状を有する、
請求項1に記載の肌分析装置。 The facial region is at least one of the facial contour, eyes, nose, mouth, eyebrows, and hairline,
The facial part mark has a shape corresponding to the shape of the facial part,
The skin analysis device according to claim 1.
カメラが撮影したユーザの顔画像から顔部位を認識し、
前記顔部位を示す顔部位マークを前記顔画像に配置したUIをディスプレイに表示させ、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかを選択する操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付け、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定し、
前記設定された肌分析領域に対して肌分析を実行する、
肌分析方法。 The skin analyzer
Recognizes facial parts from the user's facial image taken by the camera,
displaying on a display a UI in which a facial part mark indicating the facial part is placed on the facial image;
displaying a screen for accepting an operation for selecting whether to modify the entire face or each facial region as a screen for accepting corrections to the facial part mark displayed on the display;
If the entire face is selected, batch correction of all facial part marks will be accepted.
If "By facial region" is selected, the modification of each selected facial region mark will be accepted.
setting a skin analysis area for the facial image based on the position of the operated facial part mark;
performing skin analysis on the set skin analysis area;
Skin analysis method.
前記顔部位を示す顔部位マークを前記顔画像に配置したUIをディスプレイに表示させ、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかを選択する操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付け、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定し、
前記設定された肌分析領域に対して肌分析を実行する、
ことをコンピュータに実行させる、
コンピュータプログラム。
Recognizes facial parts from the user's facial image taken by the camera,
displaying on a display a UI in which a facial part mark indicating the facial part is placed on the facial image;
displaying a screen for accepting an operation for selecting whether to modify the entire face or each facial region as a screen for accepting corrections to the facial part mark displayed on the display;
If the entire face is selected, batch correction of all facial part marks will be accepted.
If "By facial region" is selected, the modification of each selected facial region mark will be accepted.
setting a skin analysis area for the facial image based on the position of the operated facial part mark;
performing skin analysis on the set skin analysis area;
make a computer do something
computer program.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910898891.XA CN111210400A (en) | 2018-11-05 | 2019-09-23 | Skin analysis device, skin analysis method, and recording medium |
US16/589,334 US11042726B2 (en) | 2018-11-05 | 2019-10-01 | Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium |
EP19206104.2A EP3648004A1 (en) | 2018-11-05 | 2019-10-30 | Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018208075 | 2018-11-05 | ||
JP2018208075 | 2018-11-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020075080A JP2020075080A (en) | 2020-05-21 |
JP7361264B2 true JP7361264B2 (en) | 2023-10-16 |
Family
ID=70723105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019106043A Active JP7361264B2 (en) | 2018-11-05 | 2019-06-06 | Skin analysis device, skin analysis method, and computer program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7361264B2 (en) |
CN (1) | CN111210400A (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023275959A1 (en) * | 2021-06-28 | 2023-01-05 | 日本電信電話株式会社 | Image superimposition system and image superimposition method |
CN113610868A (en) * | 2021-08-06 | 2021-11-05 | 云南白药集团上海健康产品有限公司 | Wrinkle area determination method, electronic device and readable storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004321793A (en) | 2003-04-29 | 2004-11-18 | Inforward Inc | Method and system for computational analysis of skin image |
JP2009000410A (en) | 2007-06-25 | 2009-01-08 | Noritsu Koki Co Ltd | Image processor and image processing method |
JP2014115821A (en) | 2012-12-10 | 2014-06-26 | Secom Co Ltd | Face feature extraction device and face authentication system |
WO2015015793A1 (en) | 2013-07-31 | 2015-02-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Skin analysis method, skin analysis device, and method for controlling skin analysis device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI669103B (en) * | 2014-11-14 | 2019-08-21 | 日商新力股份有限公司 | Information processing device, information processing method and program |
-
2019
- 2019-06-06 JP JP2019106043A patent/JP7361264B2/en active Active
- 2019-09-23 CN CN201910898891.XA patent/CN111210400A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004321793A (en) | 2003-04-29 | 2004-11-18 | Inforward Inc | Method and system for computational analysis of skin image |
JP2009000410A (en) | 2007-06-25 | 2009-01-08 | Noritsu Koki Co Ltd | Image processor and image processing method |
JP2014115821A (en) | 2012-12-10 | 2014-06-26 | Secom Co Ltd | Face feature extraction device and face authentication system |
WO2015015793A1 (en) | 2013-07-31 | 2015-02-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Skin analysis method, skin analysis device, and method for controlling skin analysis device |
Also Published As
Publication number | Publication date |
---|---|
CN111210400A (en) | 2020-05-29 |
JP2020075080A (en) | 2020-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7052079B2 (en) | Image processing methods, devices, computer devices and computer programs | |
JP7361264B2 (en) | Skin analysis device, skin analysis method, and computer program | |
JP6019947B2 (en) | Gesture recognition device, control method thereof, display device, and control program | |
US11042726B2 (en) | Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium | |
JP4664147B2 (en) | Iris authentication device | |
JP5088018B2 (en) | Image processing apparatus and control program | |
EP3657384A1 (en) | Skin analysis apparatus | |
EP3582188B1 (en) | Image processing device, image processing method, image processing program, and recording medium storing program | |
JP2023547595A (en) | Fundus camera and fully automatic fundus image capturing method | |
JP7363786B2 (en) | Information processing device, information processing method, and information processing program | |
WO2020218491A1 (en) | Authentication data generation device, authentication device, authentication data generation method, and recording medium | |
KR101946466B1 (en) | Shooting method for diagnosis of hair loss and electronic device | |
JP7075237B2 (en) | Operation judgment device and operation judgment method | |
US11017216B2 (en) | Skin analyzing device, skin analyzing method, and recording medium | |
KR20200086148A (en) | Image analysis device for confirming skin improvement and the analyzing method thereof | |
JP4496966B2 (en) | Identification system | |
JPWO2020008576A1 (en) | Judgment method, judgment program and information processing device | |
JP5966657B2 (en) | Image generating apparatus, image generating method, and program | |
KR102512838B1 (en) | Image Processing Method and Apparatus Using Thereof | |
JP7540822B2 (en) | Information presentation system, information presentation method, computer program, and authentication system | |
TWI743413B (en) | Single-photo generating device and method and non-volatile computer-readable media thereof | |
JP5951966B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP5484038B2 (en) | Image processing apparatus and control method thereof | |
JP7499976B2 (en) | Information processing device, information processing method, and program | |
JP2001215605A (en) | Face image photographing device, and face image photographing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7361264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |