JP5771647B2 - Skin analysis device, skin analysis system, skin analysis method, and skin analysis program - Google Patents

Skin analysis device, skin analysis system, skin analysis method, and skin analysis program Download PDF

Info

Publication number
JP5771647B2
JP5771647B2 JP2013097557A JP2013097557A JP5771647B2 JP 5771647 B2 JP5771647 B2 JP 5771647B2 JP 2013097557 A JP2013097557 A JP 2013097557A JP 2013097557 A JP2013097557 A JP 2013097557A JP 5771647 B2 JP5771647 B2 JP 5771647B2
Authority
JP
Japan
Prior art keywords
analysis
skin
digital image
edge
target range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013097557A
Other languages
Japanese (ja)
Other versions
JP2014219781A (en
Inventor
玲 玉川
玲 玉川
夏代 新地
夏代 新地
恭子 岩田
恭子 岩田
千鶴 菅野
千鶴 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP2013097557A priority Critical patent/JP5771647B2/en
Publication of JP2014219781A publication Critical patent/JP2014219781A/en
Application granted granted Critical
Publication of JP5771647B2 publication Critical patent/JP5771647B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Description

本発明は、肌のシミまたはシワの状態を解析する肌解析装置、肌解析システム、肌解析方法および肌解析プログラムに関する。   The present invention relates to a skin analysis device, a skin analysis system, a skin analysis method, and a skin analysis program for analyzing the state of skin spots or wrinkles.

従来、顔全体にあるシミやシワの状態を測定する場合、エステサロンや美容皮膚科にしか置いていない専用の機器を用いる必要がある。エステサロンや美容皮膚科では、照明環境を一定に保つために専用の撮影カーテンや照明などの装置を備え、また、技術者が専用の機器を操作することで、シミやシワの測定を行っている。   Conventionally, when measuring the state of spots and wrinkles on the entire face, it is necessary to use a dedicated device that is only available in beauty salons and dermatologists. In beauty salons and beauty dermatologists, in order to keep the lighting environment constant, devices such as dedicated shooting curtains and lighting are provided, and technicians operate dedicated devices to measure spots and wrinkles. Yes.

また、特許文献1には、ユーザが撮影した顔画像を解析する技術が提案されているが、色の補正のためのデータが別途必要となるなどの制約がある。   Patent Document 1 proposes a technique for analyzing a face image taken by a user, but there is a restriction that data for color correction is separately required.

特開2000-339331号公報JP 2000-339331 A

従来では、ユーザが自身のシミやシワの状態を把握するためには、エステサロンや美容皮膚科に出向き、専用の機器でシミやシワを測定し、専門家による診断を受ける必要がある。したがって、ユーザは、シミやシワの状態を把握するために、ある程度の時間と費用が必要であり、自分の好きなタイミングで気軽に自身のシミやシワの状態を把握することができない。そのため、ユーザは、シミやシワの客観的な状態を知りたいと思っていても、実際にシミやシワを測定する機会は少ない。   Conventionally, in order for a user to grasp his / her own state of wrinkles and wrinkles, it is necessary to go to a beauty salon or a cosmetic dermatologist, measure the wrinkles and wrinkles with a dedicated device, and receive a diagnosis by an expert. Therefore, the user needs a certain amount of time and expense to grasp the state of the stain or wrinkle, and cannot easily grasp the state of the stain or wrinkle at his / her favorite timing. Therefore, even if the user wants to know the objective state of the spot or wrinkle, there are few opportunities to actually measure the spot or wrinkle.

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、ユーザが手軽に自身のシミまたはシワの状態を確認できる肌解析装置、肌解析システム、肌解析方法および肌解析プログラムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a skin analysis device, a skin analysis system, a skin analysis method, and a skin analysis program that allow a user to easily check the state of her own spots or wrinkles. It is to provide.

上記目的を達成するため、第1の本発明は、肌解析装置であって、端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、前記特定手段は、複数の解析対象範囲を特定し、前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。 In order to achieve the above object, the first aspect of the present invention is a skin analysis apparatus, which specifies an analysis target range of a digital image based on a predetermined part of a face included in a digital image transmitted from a terminal. And means for measuring the distance between the left and right eyes, and normalizing the digital image by enlarging or reducing the image size so that the distance between the eyes is a predetermined length. detecting edges, e Bei a detection means for generating an analysis image set in the digital image the edge as stain or wrinkle, the specifying unit specifies a plurality of analysis target range, said detecting means, The method of setting the edge to the digital image is changed for each analysis target range, and the edge analysis target range is detected using a dynamic binarization method, and the wrinkle analysis target range is To detect the edge by using the Tsu edge detection method.

上記肌解析装置において、前記検出手段が検出したエッジの数またはエッジの面積に応じて、前記デジタル画像のユーザの肌を評価し、前記解析画像と評価結果とを前記端末に送信する評価手段をさらに備える。   In the skin analysis device, an evaluation unit that evaluates the skin of the user of the digital image according to the number of edges or the area of the edges detected by the detection unit, and transmits the analysis image and the evaluation result to the terminal. Further prepare.

上記肌解析装置において、ユーザ毎に過去の前記評価結果を記憶する解析結果記憶手段をさらに備え、前記評価手段は、前記解析結果記憶手段から過去の評価結果を取得し、前記端末に送信する。   The skin analysis apparatus further includes an analysis result storage unit that stores the past evaluation result for each user, and the evaluation unit acquires the past evaluation result from the analysis result storage unit and transmits the result to the terminal.

上記肌解析装置において、前記評価手段は、年代毎のエッジの数またはエッジの面積の平均と比較して、前記デジタル画像のユーザの肌を評価する。   In the skin analysis apparatus, the evaluation unit evaluates the skin of the user of the digital image by comparing with the number of edges or the average area of the edges for each age.

上記肌解析装置において、前記評価手段は、前記評価結果に適したスキンケア商品の商品情報を前記端末に送信する。   In the skin analysis apparatus, the evaluation unit transmits product information of a skin care product suitable for the evaluation result to the terminal.

上記肌解析装置において、前記評価手段は、前記評価結果に適したスキンケア商品のサンプルを、当該肌解析装置の有料会員のユーザに送付する。   In the skin analysis apparatus, the evaluation means sends a sample of a skin care product suitable for the evaluation result to a paying member user of the skin analysis apparatus.

第2の本発明は、端末と肌解析装置とを備える肌解析システムであって、前記端末は、 カメラ手段と、ユーザの顔を撮影する際に、撮影される顔が一定の大きさで所定の位置になるように、顔の大きさおよび位置を示す枠を表示する制御手段と、前記カメラ手段が撮像したユーザの顔のデジタル画像を、前記肌解析装置に送信する送信手段と、を備え、前記肌解析装置は、前記端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、前記特定手段は、複数の解析対象範囲を特定し、前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。 A second aspect of the present invention is a skin analysis system including a terminal and a skin analysis device, wherein the terminal captures a camera unit and a face to be photographed with a predetermined size when photographing a user's face. Control means for displaying a frame indicating the size and position of the face so as to be in the position, and transmission means for transmitting a digital image of the user's face captured by the camera means to the skin analysis device. The skin analysis device specifies the analysis target range of the digital image with reference to a predetermined part of the face included in the digital image transmitted from the terminal, and measures the distance between the left and right eyes specifying means for, normalizes the eye distance is enlarged or reduced image size of the digital image to a predetermined length, detecting an edge from said analysis target range, the said edge as a stain or wrinkles E Bei detection means for generating an analysis image set in the digital image, wherein the identifying means identifies a plurality of analysis target range, said detecting means, for each analyzed range, the edge of the said digital image , The edge is detected using the dynamic binarization method for the analysis target range of the stain, and the edge is detected using the edge detection method for the analysis target range of the wrinkle.

前記肌解析システムにおいて、前記端末の制御手段は、所定の条件を満たしている場合にのみ、ユーザの撮像指示を受け付ける。   In the skin analysis system, the control unit of the terminal accepts a user's imaging instruction only when a predetermined condition is satisfied.

第3の本発明は、コンピュータが行う肌解析方法であって、端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を行い、前記特定ステップは、複数の解析対象範囲を特定し、前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。 The third aspect of the present invention is a skin analysis method performed by a computer, wherein the analysis target range of the digital image is specified on the basis of a predetermined part of the face included in the digital image transmitted from the terminal , A specific step of measuring a distance between eyes, and normalizing the digital image by enlarging or reducing the image size so that the distance between eyes becomes a predetermined length, and detecting an edge from the analysis target range performs a detection step of generating an analysis image set in the digital image the edge as stain or wrinkle, said specifying step specifies a plurality of analysis target range, the detecting step, for each analyzed range The edge setting method for the digital image is changed, and the wrinkle analysis target range is detected using a dynamic binarization method for the wrinkle analysis target range. For detecting the edge using the edge detection method.

第4の本発明は、コンピュータが実行する肌解析プログラムであって、端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を実行させ、前記特定ステップは、複数の解析対象範囲を特定し、前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。 A fourth aspect of the present invention is a skin analysis program executed by a computer, wherein the analysis target range of the digital image is specified with reference to a predetermined part of the face included in the digital image transmitted from the terminal , and left and right A step of measuring an inter-eye distance between eyes, and enlarging or reducing the image size of the digital image so that the inter-eye distance becomes a predetermined length, and normalizing and detecting edges from the analysis target range and a detection step of generating an analysis image set in the digital image the edge as stain or wrinkles, is execution, said specifying step specifies a plurality of analysis target range, the detecting step is the analysis target range Each time, the edge setting method for the digital image is changed, and the edge analysis target range is detected by using a dynamic binarization method. For the analysis scope detects an edge using an edge detection method.

本発明によれば、ユーザが手軽に自身のシミまたはシワの状態を確認できる肌解析装置、肌解析システム、肌解析方法および肌解析プログラムを提供することができる。   According to the present invention, it is possible to provide a skin analysis device, a skin analysis system, a skin analysis method, and a skin analysis program that allow a user to easily check the state of her own spots or wrinkles.

本発明の実施形態に係る肌解析システムの構成を示す構成図である。It is a block diagram which shows the structure of the skin analysis system which concerns on embodiment of this invention. 肌解析システムの処理を説明するための説明図である。It is explanatory drawing for demonstrating the process of a skin analysis system. 撮影支援画面の一例を示す図である。It is a figure which shows an example of a imaging | photography assistance screen. 顔の部位をマスクした画像の一例を示す図である。It is a figure which shows an example of the image which masked the site | part of the face. 解析対象範囲を示すマスク画像の一例である。It is an example of the mask image which shows the analysis object range. シミの解析結果画面の一例を示す図である。It is a figure which shows an example of the analysis result screen of a spot. シワの解析結果画面の一例を示す図である。It is a figure which shows an example of a wrinkle analysis result screen. 肌チェック結果画面の一例を示す図である。It is a figure which shows an example of a skin check result screen.

以下、本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described.

図1は、本発明の実施形態に係る肌解析システムの全体構成を示す図である。図示する肌解析システムは、ユーザが使用する端末1と、肌解析装置2とを備え、これらはインターネットなどのネットワークを介して接続される。   FIG. 1 is a diagram showing an overall configuration of a skin analysis system according to an embodiment of the present invention. The illustrated skin analysis system includes a terminal 1 used by a user and a skin analysis device 2, which are connected via a network such as the Internet.

端末1は、例えば、スマートフォン、タブフレット端末などの携帯端末を用いることが考えられる。図示する端末1は、画像(写真)を撮影するカメラ部11(カメラ手段)と、制御部12(制御手段、送信手段)と、表示部13と、解析結果記憶部14とを備える。   For example, the terminal 1 may be a mobile terminal such as a smartphone or a tab fret terminal. The illustrated terminal 1 includes a camera unit 11 (camera unit) that captures an image (photograph), a control unit 12 (control unit, transmission unit), a display unit 13, and an analysis result storage unit 14.

制御部12は、ユーザの操作を受け付けて、カメラ部11がユーザの顔を撮影する際に、撮影される顔が一定の大きさで所定の位置になるように、顔の大きさおよび位置を示す枠を当該端末1が備えるディスプレイに表示し、また、所定の条件を満たしている場合にのみ、ユーザの撮像指示を受け付ける。また、制御部12は、カメラ部11が撮像したユーザの顔のデジタル画像を、肌解析装置2に送信する。   The control unit 12 receives the user's operation, and when the camera unit 11 captures the user's face, the control unit 12 sets the size and position of the face so that the captured face is a predetermined size and a predetermined position. A frame to be displayed is displayed on a display provided in the terminal 1, and a user's imaging instruction is accepted only when a predetermined condition is satisfied. Further, the control unit 12 transmits a digital image of the user's face captured by the camera unit 11 to the skin analysis device 2.

表示部13は、肌解析装置2から送信される肌の解析画像、肌の評価結果などをディスプレイに表示する。解析結果記憶部14には、肌解析装置2から送信される肌の解析画像、肌の評価結果などの履歴が蓄積される。   The display unit 13 displays the skin analysis image, the skin evaluation result, and the like transmitted from the skin analysis device 2 on the display. The analysis result storage unit 14 accumulates history such as skin analysis images and skin evaluation results transmitted from the skin analysis device 2.

なお、端末1では、肌解析装置2が提供するアプリケーションプログラムをダウンロードすることで、制御部12、表示部13および解析結果記憶部14の機能が実現されるものとする。   In addition, in the terminal 1, the function of the control part 12, the display part 13, and the analysis result memory | storage part 14 shall be implement | achieved by downloading the application program which the skin analyzer 2 provides.

肌解析装置2は、端末1からネットワークを介して送信されるデジタル画像を用いてユーザの肌の状態を解析する。図示する肌解析装置2は、部位特定部21(特定手段)と、シミ・シワ検出部22(検出手段、生成手段)と、評価部23(評価手段)と、解析結果記憶部24(解析結果記憶手段)とを備える。   Skin analysis device 2 analyzes the skin condition of the user using a digital image transmitted from terminal 1 via the network. The illustrated skin analyzing apparatus 2 includes a part specifying unit 21 (specifying unit), a spot / wrinkle detecting unit 22 (detecting unit, generating unit), an evaluating unit 23 (evaluating unit), and an analysis result storage unit 24 (analysis result). Storage means).

部位特定部21は、端末1から送信されるデジタル画像に含まれる顔の所定の部位を基準として、デジタル画像の中で解析対象範囲を特定する。また、本実施形態では、部位特定部21は、複数の解析対象範囲を特定する。   The part specifying unit 21 specifies the analysis target range in the digital image with reference to a predetermined part of the face included in the digital image transmitted from the terminal 1. In the present embodiment, the part specifying unit 21 specifies a plurality of analysis target ranges.

シミ・シワ検出部22は、部位特定部21が特定した各解析対象範囲からエッジを検出し、当該エッジをシミまたはシワとしてデジタル画像に設定した解析画像を生成する。また、本実施形態では、シミ・シワ検出部22は、解析対象範囲毎にデジタル画像にシミまたはシワとして設定するエッジの設定方法を変える。   The spot / wrinkle detection unit 22 detects an edge from each analysis target range specified by the part specifying unit 21, and generates an analysis image in which the edge is set as a spot or wrinkle in a digital image. In the present embodiment, the spot / wrinkle detection unit 22 changes the edge setting method for setting a spot or wrinkle in the digital image for each analysis target range.

評価部23は、シミ・シワ検出部22が検出したエッジの数またはエッジの面積に応じて、ユーザの肌を評価し、解析画像と評価結果とを端末1に送信する。また、評価部23は、年代毎のエッジの数またはエッジの面積の平均と比較して、デジタル画像のユーザの肌を評価する。また、評価部23は、解析結果記憶部24から過去の評価結果を取得し、端末1に送信する。解析結果記憶部24には、ユーザ毎に過去の評価結果が記憶される。   The evaluation unit 23 evaluates the user's skin according to the number of edges or the area of the edges detected by the stain / wrinkle detection unit 22 and transmits the analysis image and the evaluation result to the terminal 1. Further, the evaluation unit 23 evaluates the user's skin of the digital image in comparison with the number of edges for each age or the average of the edge areas. Further, the evaluation unit 23 acquires past evaluation results from the analysis result storage unit 24 and transmits them to the terminal 1. The analysis result storage unit 24 stores past evaluation results for each user.

上記説明した端末1および肌解析装置2は、例えば、CPUと、メモリと、HDD等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各部の各機能が実現される。例えば、端末1および肌解析装置2の各機能は、端末1用のプログラムの場合は端末1のCPUが、そして、肌解析装置2用のプログラムの場合は肌解析装置2のCPUがそれぞれ実行することにより実現される。また、端末1用のプログラムおよび肌解析装置2用のプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD−ROMなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。   As the terminal 1 and the skin analysis device 2 described above, for example, a general-purpose computer system including a CPU, a memory, an external storage device such as an HDD, an input device, and an output device can be used. In this computer system, each function of each unit is realized by the CPU executing a predetermined program loaded on the memory. For example, each function of the terminal 1 and the skin analysis device 2 is executed by the CPU of the terminal 1 in the case of a program for the terminal 1, and the CPU of the skin analysis device 2 in the case of a program for the skin analysis device 2, respectively. Is realized. Further, the program for the terminal 1 and the program for the skin analysis device 2 can be stored in a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, a DVD-ROM, or distributed via a network. You can also

次に、本実施形態の処理について説明する。   Next, the processing of this embodiment will be described.

図2は、本実施形態の肌解析処理を説明するための説明図である。   FIG. 2 is an explanatory diagram for explaining the skin analysis processing of the present embodiment.

本実施形態では、ユーザは、肌解析装置2が提供する肌解析サービスを利用するために、あらかじめ肌解析装置2に無料または有料の会員登録をし、肌解析装置2からダウンロードしたアプリケーションプログラムを端末1にインストールする。   In this embodiment, in order to use the skin analysis service provided by the skin analysis device 2, the user registers a free or paid member in the skin analysis device 2 in advance and downloads the application program downloaded from the skin analysis device 2 to the terminal. Install to 1.

そして、会員登録したユーザは、端末1を操作して自身の顔の写真を撮影する。端末1のカメラ部11は、ユーザの撮影指示を受け付けて、ユーザの顔を撮影する(S11)。撮影時に、端末1の制御部12は、例えば図3に示すような撮影支援画面を端末1のディスプレイに表示する。図示する撮影支援画面には、撮影されるユーザの顔が適切な一定の大きさで所定の位置になるように、所定の大きさの枠31(例えば楕円)が表示されている。   Then, the user who has registered as a member operates the terminal 1 to take a picture of his / her face. The camera unit 11 of the terminal 1 receives the user's shooting instruction and takes a picture of the user's face (S11). At the time of shooting, the control unit 12 of the terminal 1 displays a shooting support screen as shown in FIG. On the illustrated imaging support screen, a frame 31 (for example, an ellipse) of a predetermined size is displayed so that the face of the user to be captured is in a predetermined position with an appropriate constant size.

ユーザは、この枠内に顔の輪郭が収まるように、端末1と、撮影対象の自身の顔との距離を調整する。また、図示する撮影支援画面では、顔が一定の向き(正面)になるように、中心線32、および目が映されるべき位置を示す目の位置33が表示されている。ユーザは、縦の中心線32に自身の鼻の中心が映るように顔の向きを調整し、また目の位置33に、自身の目が映るように顔の向きを調整する。   The user adjusts the distance between the terminal 1 and the subject's own face so that the outline of the face is within this frame. Further, on the illustrated imaging support screen, a center line 32 and an eye position 33 indicating a position where the eyes are to be projected are displayed so that the face is in a certain direction (front). The user adjusts the orientation of the face so that the center of his nose is reflected in the vertical center line 32, and adjusts the orientation of the face so that his / her eyes are reflected in the eye position 33.

ユーザは、撮影支援画像で調整した後に、例えば撮影支援画面に表示されたシャッター部分34をタッチすることで、撮影指示を入力する。これにより、カメラ部11は、撮影支援画面に表示されたユーザ(枠以外の部分も含む)を撮影する。なお、制御部12は、所定の条件を満たしていない場合には、ユーザの撮影指示を受け付けない(シャッターがおりない)ように制御し、所定の条件を満たしている場合にのみ、ユーザの撮影指示を受け付けるように制御することとしてもよい。所定の条件としては、例えば、顔の大きさが所定の範囲内の大きさであることなどが考えられる。   After adjusting the shooting support image, the user inputs a shooting instruction by touching the shutter portion 34 displayed on the shooting support screen, for example. Thereby, the camera unit 11 photographs the user (including a part other than the frame) displayed on the photographing support screen. The control unit 12 performs control so as not to accept the user's shooting instruction (no shutter is provided) when the predetermined condition is not satisfied, and the user's shooting is performed only when the predetermined condition is satisfied. It is good also as controlling to receive an instruction | indication. As the predetermined condition, for example, the size of the face may be a size within a predetermined range.

ユーザの顔を撮影する際に、端末1の制御部12がこのような撮影支援を行うことで、端末1を用いてユーザ自ら撮影する自身の顔をできる限り良質な画像とし、肌解析の精度を向上させることができる。なお、カメラ部11は、ピント、ブレ補正などを自動で行う。   When the user's face is photographed, the control unit 12 of the terminal 1 performs such photographing support so that the user's own face photographed by the user using the terminal 1 is made as high quality as possible, and the accuracy of skin analysis is improved. Can be improved. The camera unit 11 automatically performs focus, shake correction, and the like.

端末1の制御部12は、カメラ部11が撮影したユーザの顔のデジタル画像を、肌解析装置2に送信する(S12)。肌解析装置2の部位特定部21およびシミ・シワ検出部22は、端末1から送信されたデジタル画像をそれぞれ受信する。   The control unit 12 of the terminal 1 transmits a digital image of the user's face captured by the camera unit 11 to the skin analysis device 2 (S12). The part specifying unit 21 and the spot / wrinkle detection unit 22 of the skin analysis device 2 each receive the digital image transmitted from the terminal 1.

部位特定部21は、受信したデジタル画像から、例えば顔検出学習データなどを用いて顔を検出し、検出した顔を顔モデルにあてはめて顔の所定の部位(ここでは、目、鼻、口)を特定する(S13)。なお、顔の部位の検出には、例えばActive Shape Modelsなどを用いることが考えられる。また、部位特定部21は、特定した目の位置(座標など)を用いて、目間距離を測定する。目間距離は、左右の目の間の距離である。   The part specifying unit 21 detects a face from the received digital image by using, for example, face detection learning data, and applies the detected face to a face model to determine a predetermined part of the face (here, eyes, nose, mouth). Is specified (S13). Note that, for example, Active Shape Models may be used for detecting a facial part. Moreover, the site | part specific part 21 measures the distance between eyes using the position (coordinate etc.) of the specified eyes. The distance between eyes is the distance between the left and right eyes.

そして、部位特定部21は、特定した各部位は、肌以外であって、解析対象外の範囲であると判別し、当該各部位をマスクする(S14)。   And the site | part specific | specification part 21 discriminate | determines that each specified site | part is other than skin, and is a range not to be analyzed, and masks each said site | part (S14).

図4は、各部位をマスクした画像の一例を示す図である。例えば、目のマスクについては、S13で特定された目の端の上下左右の4点を用いて楕円を生成する。口のマスクは、目のマスクと同様に楕円を生成する。鼻のマスクについては、S13で特定された鼻の輪郭を示す点を接続した多角形を生成する。なお、本実施形態では、作成した鼻のマスクを下に伸ばして、口のマスクと連結させることとする。   FIG. 4 is a diagram illustrating an example of an image in which each part is masked. For example, for the eye mask, an ellipse is generated using four points on the upper, lower, left and right sides of the eye specified in S13. The mouth mask generates an ellipse, similar to the eye mask. For the nose mask, a polygon connecting points indicating the nose contour specified in S13 is generated. In the present embodiment, the created nasal mask is extended downward and connected to the mouth mask.

そして、部位特定部21は、シミ・シワの解析対象範囲を特定する(S15)。本実施形態では、シワの解析対象範囲として、一般的にシワが出やすい目尻と、目の下と、ほうれい線(鼻の両脇から唇の両端に伸びるシワ)が現れる部分とを、解析対象範囲とする。シミについては、一般的にシミが出やすい頬の部分を解析対象範囲とする。   And the site | part specific | specification part 21 specifies the analysis object range of a spot and a wrinkle (S15). In this embodiment, the wrinkle analysis target range generally includes the corner of the eye where wrinkles are likely to occur, the lower part of the eye, and the portion where the fringe line (wrinkles extending from both sides of the nose to both ends of the lips) appears. And As for the stain, the cheek portion where the stain is likely to appear is generally set as the analysis target range.

図5は、図4の各部位をマスクした画像に、各解析対象範囲を示したマスク画像の一例を示す図である。例えば、目尻の解析対象範囲51については、S13で特定された目の目尻の端点と、当該端点の近傍にある顔の輪郭を示す輪郭点とを用いて解析対象範囲を決定する。図示する例では、目尻の端点と、当該端点の近傍の顔の輪郭点とを用いて生成した楕円を目尻の解析対象範囲51としている。   FIG. 5 is a diagram showing an example of a mask image showing each analysis target range in an image obtained by masking each part in FIG. For example, for the analysis target range 51 of the eye corner, the analysis target range is determined using the end point of the eye corner specified in S13 and the contour point indicating the contour of the face in the vicinity of the end point. In the example shown in the drawing, an ellipse generated by using the end point of the corner of the eye and the contour point of the face in the vicinity of the end point is set as the analysis target range 51 of the corner of the eye.

目の下の解析対象範囲52については、S13で特定された目の端点と、鼻および顔の輪郭点とを利用して多角形を生成することが考えられる。ほうれい線の解析対象範囲53については、例えば、顔と鼻の輪郭点を利用して、鼻の両脇から唇の両端の領域を包含する多角形を生成する。しみの解析範囲54は、S13で特定された目の目尻の端点と、口の両端の端点と、顔の輪郭点とを用いて、頬の領域を包含する多角形を生成する。   For the analysis target range 52 under the eyes, it is conceivable to generate a polygon using the end points of the eyes specified in S13 and the contour points of the nose and face. For the analysis target range 53 of the fringe line, for example, a polygon including the regions from both sides of the nose to both ends of the lips is generated using the contour points of the face and nose. The blot analysis range 54 generates a polygon that includes the cheek region using the end points of the eye corners, the end points of both ends of the mouth, and the face contour points specified in S13.

そして、部位特定部21は、測定した目間距離と、マスクおよび解析対象範囲が設定されたマスク画像をシミ・シワ検出部22に送出する(S16)。   Then, the part specifying unit 21 sends the mask image in which the measured distance between eyes, the mask, and the analysis target range are set to the spot / wrinkle detection unit 22 (S16).

シミ・シワ検出部22は、目間距離を受け付けると、目間距離が所定の長さになるようにS12で端末1から受信した顔のデジタル画像の画像サイズを拡大または縮小して、正規化する(S17)。同様に、S16で部位特定部21から受け付けたマスク画像の画像サイズも、目間距離が所定の長さになるように、拡大または縮小して正規化する。このように画像を正規化することで、端末1から送信されるデジタル画像の顔の大きさを一定にし、過去に解析したシミ・シワの解析結果と、現在のシミ・シワの解析結果とを正しく比較することができる。   When the spot / wrinkle detection unit 22 accepts the distance between the eyes, the image size of the digital image of the face received from the terminal 1 in S12 is increased or reduced so that the distance between the eyes becomes a predetermined length. (S17). Similarly, the image size of the mask image received from the part specifying unit 21 in S16 is normalized by being enlarged or reduced so that the distance between eyes becomes a predetermined length. By normalizing the image in this way, the size of the face of the digital image transmitted from the terminal 1 is made constant, and the analysis result of the stain and wrinkle analyzed in the past and the analysis result of the current stain and wrinkle are obtained. You can compare correctly.

そして、シミ・シワ検出部22は、正規化後の顔画像に、正規化後のマスク画像を重ね合わせ、各解析対象範囲のシミ・シワを解析する(S18)。すなわち、本実施形態では、シミ、シワ(目尻)、シワ(目の下)、シワ(ほうれい線)毎に解析する。   The spot / wrinkle detection unit 22 then superimposes the normalized mask image on the normalized face image, and analyzes the spots / wrinkles in each analysis target range (S18). That is, in the present embodiment, analysis is performed for each of a stain, a wrinkle (eye corner), a wrinkle (under the eye), and a wrinkle (a fringe line).

(1)シミの解析
シミ・シワ検出部22は、顔画像の中で、マスク画像(図5参照)で指定されたシミ解析対象範囲54から目、鼻、口のマスク部分を除いた領域について解析する。本実施形態では、シミの解析に動的2値化法を用いるものとする。例えば、正規化されたカラー画像の顔画像をグレースケール画像(以下、原画像)に変換し、原画像をぼかしたぼかし画像を生成する。そして、原画像の各画素値からぼかし画像の対応座標の画素値を減算し、一定のバイアス値を加算した差分画像を生成し、当該差分画像を一定の閾値で2値化した2値画像を生成する。そして、2値画像から、ラベリング処理により黒点が連結した連結成分(エッジ)を検出し、検出した連結成分の集合を構成する黒画素数を基準として絞り込む。ここでは、大小2つの閾値を用いることで、黒点数が少なすぎる連結成分と、黒点数が多すぎる連結成分とを削除する。そして、絞込み後の連結成分の数を、マスク部分を除いたシミ解析対象範囲内でカウントする。絞込み後の連結成分の数が、シミの数値化された値となる。
(1) Spot Analysis The spot / wrinkle detection unit 22 performs a region of the face image excluding the eye, nose, and mouth mask portions from the spot analysis target range 54 specified by the mask image (see FIG. 5). To analyze. In the present embodiment, a dynamic binarization method is used for spot analysis. For example, a face image of a normalized color image is converted into a grayscale image (hereinafter referred to as an original image), and a blurred image obtained by blurring the original image is generated. Then, the pixel value of the corresponding coordinate of the blurred image is subtracted from each pixel value of the original image, a difference image is generated by adding a certain bias value, and a binary image obtained by binarizing the difference image with a certain threshold is obtained. Generate. Then, connected components (edges) in which black dots are connected by a labeling process are detected from the binary image, and narrowed down based on the number of black pixels constituting the detected set of connected components. Here, by using two threshold values, a connected component having too few sunspots and a connected component having too many sunspots are deleted. Then, the number of connected components after narrowing down is counted within the range of the spot analysis target excluding the mask portion. The number of connected components after narrowing down becomes a numerical value of the stain.

また、絞込み後の各連結成分を、前記シミ解析対象範囲内で画像の形式に変換して、顔画像にシミとして設定する。すなわち、絞込み後の各連結成分(シミ)をS12で送信された顔画像に重ねて設定・表示したシミ解析画像を生成する。   In addition, each connected component after narrowing down is converted into an image format within the above-described range of the spot analysis target and set as a spot on the face image. That is, a stain analysis image is generated in which each connected component (stain) after narrowing down is set and displayed on the face image transmitted in S12.

(2)シワの解析(目尻)
シミ・シワ検出部22は、顔画像の中で、マスク画像で指定された、目尻のシワ解析対象範囲51からマスク部分を除いた領域について解析する。シワの解析には、本実施形態ではエッジ検出法を用いるものとする。例えば、正規化されたカラー画像の顔画像をグレースケール画像(以下、原画像)に変換し、原画像に対して所定のエッジ検出アルゴリズムを用いたエッジ検出を行い、検出結果として2値画像を取得する。そして、この2値画像からラベリング処理により黒点が連結した連結成分(エッジ)を検出し、検出した連結成分の集合を、構成する黒画素数を基準として絞り込む。ここでは、1つの閾値を用いて黒点数が少なすぎる連結成分を削除する。そして、絞込み後の連結成分の数を、マスク部分を除いた目尻のシワ解析対象範囲内でカウントする。絞込み後の連結成分の数が、シワ(目尻)の数値化された値となる。また、絞込み後の各連結成分を、解析対象範囲内で画像の形式に変換して、顔画像に目尻のシワとして設定する。
(2) Wrinkle analysis (eye corner)
The spot / wrinkle detection unit 22 analyzes a region of the face image, which is designated by the mask image, excluding the mask portion from the wrinkle analysis target range 51 of the corner of the eye. In this embodiment, an edge detection method is used for wrinkle analysis. For example, a face image of a normalized color image is converted into a grayscale image (hereinafter referred to as an original image), edge detection is performed on the original image using a predetermined edge detection algorithm, and a binary image is obtained as a detection result. get. Then, a connected component (edge) in which black dots are connected is detected from the binary image by a labeling process, and the set of detected connected components is narrowed down based on the number of black pixels constituting the reference. Here, connected components with too few sunspots are deleted using one threshold. Then, the number of connected components after narrowing down is counted within the wrinkle analysis target range except for the mask portion. The number of connected components after narrowing down is a numerical value of wrinkles (eye corners). Further, each connected component after narrowing down is converted into an image format within the analysis target range, and set as a wrinkle of the corner of the eye in the face image.

(3)シワの解析(目の下)
シミ・シワ検出部22は、顔画像の中で、マスク画像で指定された、目の下のシワ解析対象範囲52からマスク部分を除いた領域について解析する。目の下のシワ解析については、(2)の目尻のしわの解析と同じであるため、ここでは説明を省略する。
(3) Wrinkle analysis (under the eyes)
The spot / wrinkle detection unit 22 analyzes a region of the face image, which is designated by the mask image, excluding the mask portion from the wrinkle analysis target range 52 under the eyes. The wrinkle analysis under the eyes is the same as the analysis of the wrinkles of the corner of the eye in (2), and thus the description thereof is omitted here.

(4)シワの解析(ほうれい線)
シミ・シワ検出部22は、顔画像の中で、マスク画像で指定された、ほうれい線のシワ解析対象範囲53からマスク部分を除いた領域について解析する。本実施形態では、正規化されたカラー画像の顔画像をグレースケール画像(以下、原画像)に変換し、原画像をぼかしたぼかし画像を生成する。そして、原画像の各画素値からぼかし画像の対応座標の画素値を減算し、一定のバイアス値を加算した差分画像を生成し、当該差分画像を一定の閾値で2値化した2値画像を生成する。そして、2値画像の中でシワ解析対象範囲53(マスク部分を除く)以外の黒点を全て白点し、その結果の2値画像に対してラベリング処理により黒点が連結した連結成分(エッジ)を検出し、検出した連結成分の集合を構成する黒画素数を基準として絞り込む。ここでは1つの閾値を用いることで、黒点数が少なすぎる連結成分を削除する。そして、絞込み後の各連結成分を構成する黒画素の数の合計を、マスク部分を除いたほうれい線の解析対象範囲内でカウントする。絞込み後の各連結成分の黒画素の数の合計(連結成分の面積)が、ほうれい線の数値化された値となる。また、絞込み後の各連結成分を、解析対象範囲内で画像の形式に変換して、顔画像にほうれい線として設定する。
(4) Wrinkle analysis (Horoi Line)
The spot / wrinkle detection unit 22 analyzes a region of the face image, which is designated by the mask image, excluding the mask portion from the fringe wrinkle analysis target range 53. In this embodiment, the face image of the normalized color image is converted into a grayscale image (hereinafter referred to as an original image), and a blurred image is generated by blurring the original image. Then, the pixel value of the corresponding coordinate of the blurred image is subtracted from each pixel value of the original image, a difference image is generated by adding a certain bias value, and a binary image obtained by binarizing the difference image with a certain threshold is obtained. Generate. Then, all black points other than the wrinkle analysis target range 53 (excluding the mask portion) are white-pointed in the binary image, and connected components (edges) in which the black points are connected to the resulting binary image by labeling processing. Detection is performed and the number of black pixels constituting the set of connected components detected is narrowed down as a reference. Here, by using one threshold, connected components having too few sunspots are deleted. Then, the total number of black pixels constituting each connected component after narrowing down is counted within the analysis target range of the convolution line excluding the mask portion. The sum of the number of black pixels of each connected component after the narrowing down (the area of the connected component) is a numerical value of the fringe line. Further, each connected component after narrowing down is converted into an image format within the analysis target range and set as a fringe line in the face image.

本実施形態では、(2)から(4)の各解析対象範囲でそれぞれ解析されたシワ(絞込み後の連結成分)を、S12で送信された顔画像に重ねて設定・表示したシワ解析画像を生成する。   In this embodiment, a wrinkle analysis image in which wrinkles (connected components after narrowing down) analyzed in each analysis target range of (2) to (4) are set and displayed on the face image transmitted in S12 is displayed. Generate.

なお、本実施形態では、上記連結成分(エッジ)をシミまたはシワとして検出したが、上記方法に限定されるものではなく、シミまたはシワに該当する箇所がエッジ(特徴箇所)として検出される画像処理であれば、どのような方法を用いてもよい。   In the present embodiment, the connected component (edge) is detected as a spot or wrinkle. However, the present invention is not limited to the above method, and an image in which a spot corresponding to the spot or wrinkle is detected as an edge (characteristic part) is detected. Any method may be used as long as it is a process.

そして、評価部23は、S18の解析結果を評価し、評価結果と、S18で生成された解析画像とを端末1に送信する(S19)。なお、以下に説明する本実施形態では、評価部23が評価結果と解析画像とを含む解析結果画面を生成し、端末1に送信することとするが、評価結果と解析画像とを受信した端末1が、解析結果画面を生成することとしてもよい。   And the evaluation part 23 evaluates the analysis result of S18, and transmits an evaluation result and the analysis image produced | generated by S18 to the terminal 1 (S19). In the present embodiment described below, the evaluation unit 23 generates an analysis result screen including an evaluation result and an analysis image, and transmits the analysis result screen to the terminal 1, but the terminal that has received the evaluation result and the analysis image 1 may generate an analysis result screen.

図6から図8は解析結果画面の一例を示す図である。図6は、シミの解析結果画面であって、S18で生成したシミ解析画像61と、シミ評価結果62とを備える。シミ解析画像61については、シミ・シワ検出部22は、検出したシミ(連結成分)を、所定の方法で強調したシミ解析画像61を生成することとしてもよい。強調の方法としては、例えば、検出したシミを赤などの目立つ色で表示する、実際に検出された各連結成分を所定の比率で拡大してシミとして表示することなどが考えられる。また、シミを強調するために、S18でシミを数値化した連結成分の数を、シミ解析結果画面に表示することとしてもよい。   6 to 8 are diagrams showing examples of analysis result screens. FIG. 6 shows a spot analysis result screen, which includes a spot analysis image 61 generated in S18 and a spot evaluation result 62. For the spot analysis image 61, the spot / wrinkle detection unit 22 may generate a spot analysis image 61 in which the detected spot (connected component) is emphasized by a predetermined method. As an emphasis method, for example, the detected spot is displayed in a conspicuous color such as red, or each actually detected connected component is enlarged at a predetermined ratio and displayed as a spot. Further, in order to emphasize the stain, the number of connected components obtained by quantifying the stain in S18 may be displayed on the stain analysis result screen.

シミ評価結果62では、S18で数値化されたシミ(連結成分)の数を用いて、ユーザの肌を評価する。図示する例では、シミの数に応じたシミのレベルを示している。評価部23は、当該ユーザと同年代の他のユーザのシミの数の平均値と、当該ユーザのシミの数とを比較して、複数のレベルの中で当該ユーザのレベルを特定し、ユーザの肌を評価する。図示する例では5つのレベルとし、同年代の平均値と同程度であれば、真ん中のレベルとし、同年代の平均値より多い場合はその程度に応じて「BAD(悪い)」側のいずれかのレベルとし、同年代の平均値より少ない場合はその程度に応じて「GOOD(良い)」側のいずれかのレベルとする。   In the spot evaluation result 62, the user's skin is evaluated using the number of spots (connected components) quantified in S18. In the illustrated example, the level of the stain according to the number of stains is shown. The evaluation unit 23 compares the average value of the number of spots of other users of the same age as the user with the number of spots of the user, specifies the level of the user among a plurality of levels, and determines the user's level. Evaluate the skin. In the example shown, there are 5 levels. If the average value is the same as the average value of the same age, the level is the middle level. If it is higher than the average value of the same age, one of the levels on the “BAD (bad)” side depends on the level. If it is less than the average value of the same age, it is set to one of the levels on the “GOOD” side according to the degree.

なお、評価部23は、図示しない記憶部に、年代毎(例えば、10代、30代、40代、・・・)のシミの数の平均値を記憶しているものとする。また、ユーザは、肌解析装置2に会員登録する際に、自身の年齢または年代を登録しているものとする。肌解析装置2は、会員情報記憶部(不図示)を備え、ユーザ毎にユーザID、年齢などの会員情報を登録しているものとする。このように、他のユーザの平均値と比較して表示することにより、ユーザは、同年代の中で、自身のシミの客観的な評価データを得ることができる。   In addition, the evaluation part 23 shall memorize | store the average value of the number of spots for every age (for example, teens, 30s, 40s, ...) in the memory | storage part which is not shown in figure. Further, it is assumed that the user registers his / her age or age when registering as a member in the skin analysis apparatus 2. The skin analysis apparatus 2 includes a member information storage unit (not shown), and registers member information such as a user ID and age for each user. In this way, by displaying in comparison with the average value of other users, the user can obtain objective evaluation data of his / her spots in the same age.

また、シミ評価結果62では、当該ユーザの過去の解析結果と比較して、ユーザの肌を評価することとしてもよい。図示する例では、前回のレベルを所定のマーク(△)で表示している。前回のレベルについては、評価部23は、解析結果記憶部24を参照し、当該ユーザの前回のレベルを取得し、取得したレベルの下に前回のレベルを示すマークを設定する。また、当該ユーザの過去の解析結果画面の履歴を、ユーザからの指示に応じて表示することとしてもよい。   Moreover, it is good also as evaluating a user's skin in the stain evaluation result 62 compared with the analysis result of the said user's past. In the illustrated example, the previous level is displayed with a predetermined mark (Δ). For the previous level, the evaluation unit 23 refers to the analysis result storage unit 24, acquires the previous level of the user, and sets a mark indicating the previous level below the acquired level. Moreover, it is good also as displaying the log | history of the said user's past analysis result screen according to the instruction | indication from a user.

図7は、シワの解析結果画面であって、S18で解析対象範囲毎に生成したシワ解析画像71と、シワ評価結果72とを備える。シワ解析画像71については、シミ・シワ検出部22は、検出した各解析対象範囲(目尻、目の下、ほうれい線)のシワを、所定の方法で強調して表示することとしてもよい。強調の方法としては、例えば、検出したシミを解析対象範囲毎に異なる方法(例えば、異なる色とするなど)としてもよいし、実際の絞込み後の各連結成分を所定の比率で拡大して表示することなどが考えられる。また、シワを強調するために、解析対象範囲毎にS18で数値化した連結成分の数または連結成分の面積を、シワ解析結果画面に表示することとしてもよい。   FIG. 7 shows a wrinkle analysis result screen, which includes a wrinkle analysis image 71 generated for each analysis target range in S18 and a wrinkle evaluation result 72. For the wrinkle analysis image 71, the wrinkle / wrinkle detection unit 22 may display the wrinkles in the detected analysis target ranges (the corners of the eyes, the bottom of the eyes, and the fringe lines) with emphasis by a predetermined method. As an emphasis method, for example, the detected stain may be different for each analysis target range (for example, different colors), and each connected component after actual narrowing is enlarged and displayed at a predetermined ratio. It is possible to do. Further, in order to emphasize wrinkles, the number of connected components or the area of connected components quantified in S18 for each analysis target range may be displayed on the wrinkle analysis result screen.

シワ評価結果72では、解析対象範囲毎にS18で数値化されたシワ(連結成分)の数または面積を用いて、ユーザの肌を評価する。図示する例では、シワの数または面積に応じたシワのレベルを示している。シワ評価結果72は、図6のシミ評価結果62と同様であって、当該ユーザと同年代の他のユーザのシワの数または面積の平均値と、当該ユーザとを比較して、当該ユーザのレベルを特定し、また、当該ユーザの過去の解析結果と比較して表示している。また、当該ユーザの過去の解析結果画面の履歴を、ユーザからの指示に応じて表示することとしてもよい。   The wrinkle evaluation result 72 evaluates the user's skin using the number or area of wrinkles (connected components) quantified in S18 for each analysis target range. In the illustrated example, the level of wrinkles according to the number or area of wrinkles is shown. The wrinkle evaluation result 72 is the same as the wrinkle evaluation result 62 of FIG. 6, and the average value of the number or area of wrinkles of other users of the same age as the user is compared with the user to determine the level of the user. Is also displayed in comparison with the user's past analysis results. Moreover, it is good also as displaying the log | history of the said user's past analysis result screen according to the instruction | indication from a user.

図8は、肌チェック結果画面であって、図6のシミ評価結果62と、図7のシワ評価結果72とをまとめたシミ・シワ評価結果81と、お勧めの商品一覧82とを有する。評価部23は、シミおよびシワの評価結果に適した少なくとも1つの商品(スキンケア商品など)を選択し、選択した各商品の商品情報を設定する。例えば、肌解析装置2は、シミのレベル毎に、またはシワのレベル毎に、対応する商品が記憶された商品記憶部(不図示)を備え、シミやシワのレベルに応じた商品を選択し、選択した各商品の商品情報を肌チェック結果画面に表示することとしてもよい。これにより、ユーザは、自身の肌タイプに適した商品を容易に知ることができ、肌解析装置2の肌解析サービスを、繰り返し利用するモチベーションを高めることができる。   FIG. 8 is a skin check result screen, which includes a stain / wrinkle evaluation result 81 in which the stain evaluation result 62 in FIG. 6 and the wrinkle evaluation result 72 in FIG. 7 are combined, and a recommended product list 82. The evaluation unit 23 selects at least one product (skin care product or the like) suitable for the evaluation result of spots and wrinkles, and sets product information for each selected product. For example, the skin analysis apparatus 2 includes a product storage unit (not shown) in which corresponding products are stored for each level of wrinkles or for each level of wrinkles, and selects a product corresponding to the level of the spots or wrinkles. The product information of each selected product may be displayed on the skin check result screen. Thereby, the user can easily know a product suitable for his / her skin type, and can increase motivation to repeatedly use the skin analysis service of the skin analysis device 2.

また、評価部23は、シミおよびシワの評価結果に適した少なくとも1つの商品(お勧めの商品一覧82に表示する商品)のサンプルを、有料会員のユーザに送付することとしてもよい。これにより、有料会員のユーザは、自身の肌タイプにあった商品を実際に使用することができ、その商品の効果を実感できるとともに、商品の使用後に自身の顔画像を肌解析装置2に送信することで商品の効果を客観的に確認することができる。   Moreover, the evaluation part 23 is good also as sending the sample of the at least 1 goods (product displayed on the recommended goods list 82) suitable for the evaluation result of a spot and a wrinkle to a pay member user. Thereby, the user of the paying member can actually use the product suitable for his / her skin type, can feel the effect of the product, and transmits his / her face image to the skin analysis device 2 after using the product. By doing so, the effect of the product can be objectively confirmed.

評価部23は、以上のような解析結果画面(または、評価結果および解析画像)を、解析結果記憶部24に格納するとともに、解析結果画面を端末1に送信する。解析結果記憶部24には、各ユーザが端末1から自身の顔画像を送信する度に、シミおよびシワの解析画像および評価結果が、履歴として蓄積される。   The evaluation unit 23 stores the analysis result screen (or the evaluation result and the analysis image) as described above in the analysis result storage unit 24 and transmits the analysis result screen to the terminal 1. Each time each user transmits his / her face image from the terminal 1, the analysis result storage unit 24 accumulates an analysis image and an evaluation result of wrinkles and wrinkles as a history.

端末1の表示部13は、肌解析装置2から送信された各解析結果画面(図6〜図8)を、解析結果記憶部14に記憶するとともに、ユーザの操作指示に従ってディスプレイに表示する(S20)。なお、端末1は、評価結果と解析画像とを受信し、解析結果記憶部14に記憶して、解析結果画面を生成することとしてもよい。   The display unit 13 of the terminal 1 stores each analysis result screen (FIGS. 6 to 8) transmitted from the skin analysis device 2 in the analysis result storage unit 14 and displays it on the display according to a user operation instruction (S20). ). Note that the terminal 1 may receive the evaluation result and the analysis image, store them in the analysis result storage unit 14, and generate an analysis result screen.

ユーザは、解析結果画面を見ることで、現時点の自身のシミやシワの客観的な状態および評価を把握することができる。また、ユーザが自身の顔画像を肌解析装置2に送信する度に、肌解析装置2から送信されるシミおよびシワの解析画像および評価結果が履歴として端末1の解析結果記憶部14に蓄積されることで、自身の肌状態の経年変化を閲覧することができ、また、スキンケア商品の効果を実感することができる。   By viewing the analysis result screen, the user can grasp the objective state and evaluation of his / her own spots and wrinkles at the present time. Further, every time the user transmits his / her face image to the skin analysis device 2, the analysis images and evaluation results of the spots and wrinkles transmitted from the skin analysis device 2 are accumulated in the analysis result storage unit 14 of the terminal 1 as a history. By doing so, it is possible to browse the secular change of its own skin condition and to realize the effect of the skin care product.

以上説明した本実施形態の肌解析装置2は、端末1から送信されるデジタル画像に含まれる顔の所定の部位を基準として、デジタル画像の解析対象範囲を特定し、解析対象範囲からエッジを検出して、当該エッジをシミまたはシワとしてデジタル画像に設定した解析画像を生成し、端末1に送信する。   The skin analysis device 2 according to the present embodiment described above specifies the analysis target range of the digital image with reference to a predetermined part of the face included in the digital image transmitted from the terminal 1, and detects an edge from the analysis target range. Then, an analysis image in which the edge is set as a digital image with a spot or wrinkle is generated and transmitted to the terminal 1.

これにより、本実施形態では、エステサロンや美容皮膚科に行って、専用の機器でシミやシワを測定し、専門家による診断を受けることなく、ユーザが手軽に自身のシミまたはシワの状態を自分自身で確認し、客観的な評価を得ることができる。すなわち、ユーザは、自分の好きなタイミングで、好きな場所にいながらにして、気軽に自身の肌の状態の客観的な状態をチェックすることができる。また、本実施形態では、ユーザは、ネットワークを介して自身の解析結果を取得するため、誰にも知られることなく、また、短時間に、シミまたはシワの状態を知ることができる。   Thereby, in this embodiment, it goes to an esthetic salon or a cosmetic dermatology, measures a spot and a wrinkle with an exclusive apparatus, and a user can easily check the state of his own spot or wrinkle without receiving a diagnosis by an expert. You can check for yourself and get an objective assessment. That is, the user can easily check the objective state of his / her skin condition at his / her favorite timing while staying in a favorite place. In this embodiment, since the user acquires his / her analysis result via the network, the user can know the state of the stain or wrinkle in a short time without being known to anyone.

また、本実施形態では、スマートフォンなどの端末1を用いて自身の顔の画像を撮影するが、撮影する際に、顔の大きさおよび位置を示す枠を表示する、所定の条件を満たしている場合にのみユーザの撮像指示を受け付けるなどの撮影支援を行うことで、端末1でユーザ自ら撮影する顔をできる限り良質な画像とし、肌解析の精度を向上させることができる。   In this embodiment, an image of one's own face is captured using the terminal 1 such as a smartphone. However, when capturing, a predetermined condition for displaying a frame indicating the size and position of the face is satisfied. By performing photographing support such as accepting a user's imaging instruction only in such a case, the face photographed by the user himself / herself on the terminal 1 can be made as high-quality images as possible, and the accuracy of skin analysis can be improved.

また、本実施系形態では、目、鼻、口を特定する際に目間距離を測定し、当該距離を用いて端末1が撮影した顔画像を正規化する。これにより、端末1から送信されるデジタル画像の顔の大きさを一定にし、過去に解析したシミ・シワの解析結果と、現在のシミ・シワの解析結果とを適切に正しく比較することができる。   Further, in the present embodiment, the distance between eyes is measured when specifying eyes, nose, and mouth, and the face image captured by the terminal 1 is normalized using the distance. As a result, the size of the face of the digital image transmitted from the terminal 1 can be made constant, and the analysis result of the stain and wrinkle analyzed in the past can be appropriately and correctly compared with the analysis result of the current stain and wrinkle. .

また、本実施形態では、過去の解析画像および評価結果を記憶する解析結果記憶部24、14を備えることで、過去の評価結果と比較してユーザの肌を評価できるとともに、肌の経年変化を容易に知ることができる。   Moreover, in this embodiment, by providing the analysis result memory | storage parts 24 and 14 which memorize | store the past analysis image and an evaluation result, while comparing with a past evaluation result, a user's skin can be evaluated and the secular change of skin can be measured. It is easy to know.

また、本実施形態では、年代毎のエッジの数またはエッジの面積の平均と比較してユーザの肌を評価する。他のユーザの平均値と比較して評価することにより、ユーザは、同年代の中で、自身の肌の客観的な評価データを得ることができる。   Moreover, in this embodiment, a user's skin is evaluated compared with the average of the number of edges for every age, or the area of an edge. By evaluating in comparison with the average value of other users, the user can obtain objective evaluation data of his / her skin in the same age.

また、本実施形態では、評価結果に適したスキンケア商品の表品情報をユーザに提示する。これにより、ユーザは、自身の肌タイプに適した商品を容易に知ることができ、肌解析装置2の肌解析サービスを、繰り返し利用するモチベーションを高めることができる。   In the present embodiment, the product information of the skin care product suitable for the evaluation result is presented to the user. Thereby, the user can easily know a product suitable for his / her skin type, and can increase motivation to repeatedly use the skin analysis service of the skin analysis device 2.

また、本実施形態では、評価結果に適した商品のサンプルを、有料会員のユーザに送付する。これにより、有料会員のユーザは、自身の肌タイプにあった商品を実際に使用することができ、その商品の効果を実感できるとともに、商品の使用後に自身の顔画像を肌解析装置2に送信することで商品の効果を客観的に確認することができ、肌解析装置2の肌解析サービスを、繰り返し利用するモチベーションを高めることができる。   In this embodiment, a sample of a product suitable for the evaluation result is sent to the paying member user. Thereby, the user of the paying member can actually use the product suitable for his / her skin type, can feel the effect of the product, and transmits his / her face image to the skin analysis device 2 after using the product. By doing so, the effect of the product can be objectively confirmed, and the motivation to repeatedly use the skin analysis service of the skin analysis device 2 can be increased.

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。   In addition, this invention is not limited to the said embodiment, Many deformation | transformation are possible within the range of the summary.

1 :端末
11:カメラ部
12:制御部
13:表示部
14:解析結果記憶部
2 :肌解析装置
21:部位特定部
22:シミ・シワ検出部
23:評価部
24:解析結果記憶部
DESCRIPTION OF SYMBOLS 1: Terminal 11: Camera part 12: Control part 13: Display part 14: Analysis result memory | storage part 2: Skin analysis apparatus 21: Site identification part 22: Blemish / wrinkle detection part 23: Evaluation part 24: Analysis result memory part

Claims (10)

肌解析装置であって、
端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、
前記特定手段は、複数の解析対象範囲を特定し、
前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析装置。
A skin analysis device,
A specifying means for specifying the analysis target range of the digital image on the basis of a predetermined part of the face included in the digital image transmitted from the terminal, and measuring a distance between eyes between the left and right eyes ;
Normalizing the eye distance is enlarged or reduced image size of the digital image to a predetermined length, detecting an edge from said analysis target range was set in the digital image the edge as stain or wrinkles detection means for generating an analysis image, the Bei example,
The specifying means specifies a plurality of analysis target ranges,
The detection means changes the setting method of the edge to the digital image for each analysis target range, detects an edge using a dynamic binarization method for a stain analysis target range, and generates a wrinkle analysis target range. A skin analysis device characterized by detecting edges using an edge detection method .
請求項1記載の肌解析装置であって、
前記検出手段が検出したエッジの数またはエッジの面積に応じて、前記デジタル画像のユーザの肌を評価し、前記解析画像と評価結果とを前記端末に送信する評価手段をさらに備えること
を特徴とする肌解析装置。
The skin analysis device according to claim 1 ,
Evaluation means for evaluating the skin of the user of the digital image according to the number of edges or the area of the edges detected by the detection means, and transmitting the analysis image and the evaluation result to the terminal. Skin analysis device.
請求項2記載の肌解析装置であって、
ユーザ毎に過去の前記評価結果を記憶する解析結果記憶手段をさらに備え、
前記評価手段は、前記解析結果記憶手段から過去の評価結果を取得し、前記端末に送信すること
を特徴とする肌解析装置。
A skin analysis device according to claim 2 ,
An analysis result storage means for storing the past evaluation results for each user;
The evaluation means acquires a past evaluation result from the analysis result storage means and transmits it to the terminal.
請求項2または3記載の肌解析装置であって、
前記評価手段は、年代毎のエッジの数またはエッジの面積の平均と比較して、前記デジタル画像のユーザの肌を評価すること
を特徴とする肌解析装置。
The skin analysis device according to claim 2 or 3 ,
The evaluation means evaluates the user's skin of the digital image in comparison with the number of edges for each age or the average of the areas of the edges.
請求項2から4のいずれか1項に記載の肌解析装置であって、
前記評価手段は、前記評価結果に適したスキンケア商品の商品情報を前記端末に送信すること
を特徴とする肌解析装置。
The skin analysis device according to any one of claims 2 to 4 ,
The evaluation means transmits product information of a skin care product suitable for the evaluation result to the terminal.
請求項2から5のいずれか1項に記載の肌解析装置であって、
前記評価手段は、前記評価結果に適したスキンケア商品のサンプルを、当該肌解析装置の有料会員のユーザに送付すること
を特徴とする肌解析装置。
The skin analysis device according to any one of claims 2 to 5 ,
The evaluation means sends a sample of a skin care product suitable for the evaluation result to a paying member user of the skin analysis apparatus.
端末と肌解析装置とを備える肌解析システムであって、
前記端末は、
カメラ手段と、
ユーザの顔を撮影する際に、撮影される顔が一定の大きさで所定の位置になるように、顔の大きさおよび位置を示す枠を表示する制御手段と、
前記カメラ手段が撮像したユーザの顔のデジタル画像を、前記肌解析装置に送信する送信手段と、を備え、
前記肌解析装置は、
前記端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、
前記特定手段は、複数の解析対象範囲を特定し、
前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析システム。
A skin analysis system comprising a terminal and a skin analysis device,
The terminal
Camera means;
Control means for displaying a frame indicating the size and position of the face so that when the user's face is photographed, the face to be photographed has a predetermined size and a predetermined position;
A transmission means for transmitting a digital image of the user's face imaged by the camera means to the skin analysis device;
The skin analysis device
A specifying unit for specifying the analysis target range of the digital image with reference to a predetermined part of the face included in the digital image transmitted from the terminal, and measuring the distance between the left and right eyes ;
Normalizing the eye distance is enlarged or reduced image size of the digital image to a predetermined length, detecting an edge from said analysis target range was set in the digital image the edge as stain or wrinkles detection means for generating an analysis image, the Bei example,
The specifying means specifies a plurality of analysis target ranges,
The detection means changes the setting method of the edge to the digital image for each analysis target range, detects an edge using a dynamic binarization method for a stain analysis target range, and generates a wrinkle analysis target range. A skin analysis system characterized by detecting edges using the edge detection method .
請求項7記載の肌解析システムであって、
前記端末の制御手段は、所定の条件を満たしている場合にのみ、ユーザの撮像指示を受け付けること
を特徴とする肌解析システム。
The skin analysis system according to claim 7 ,
The skin analysis system characterized in that the control means of the terminal accepts a user's imaging instruction only when a predetermined condition is satisfied.
コンピュータが行う肌解析方法であって、
端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を行い
前記特定ステップは、複数の解析対象範囲を特定し、
前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析方法。
A skin analysis method performed by a computer,
A specifying step of specifying the analysis target range of the digital image on the basis of a predetermined part of the face included in the digital image transmitted from the terminal, and measuring the distance between eyes between the left and right eyes ;
Normalizing the eye distance is enlarged or reduced image size of the digital image to a predetermined length, detecting an edge from said analysis target range was set in the digital image the edge as stain or wrinkles Performing a detection step of generating an analysis image ;
The specifying step specifies a plurality of analysis target ranges,
The detection step changes the setting method of the edge to the digital image for each analysis target range, detects an edge using a dynamic binarization method for the analysis target range of the stain, A skin analysis method characterized by detecting edges using an edge detection method.
コンピュータが実行する肌解析プログラムであって、
端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を実行させ
前記特定ステップは、複数の解析対象範囲を特定し、
前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的2値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析プログラム。
A skin analysis program executed by a computer,
A specifying step of specifying the analysis target range of the digital image on the basis of a predetermined part of the face included in the digital image transmitted from the terminal, and measuring the distance between eyes between the left and right eyes ;
Normalizing the eye distance is enlarged or reduced image size of the digital image to a predetermined length, detecting an edge from said analysis target range was set in the digital image the edge as stain or wrinkles A detection step for generating an analysis image ; and
The specifying step specifies a plurality of analysis target ranges,
The detection step changes the setting method of the edge to the digital image for each analysis target range, detects an edge using a dynamic binarization method for the analysis target range of the stain, Detect edges using edge detection method
Skin analysis program characterized by
JP2013097557A 2013-05-07 2013-05-07 Skin analysis device, skin analysis system, skin analysis method, and skin analysis program Active JP5771647B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013097557A JP5771647B2 (en) 2013-05-07 2013-05-07 Skin analysis device, skin analysis system, skin analysis method, and skin analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013097557A JP5771647B2 (en) 2013-05-07 2013-05-07 Skin analysis device, skin analysis system, skin analysis method, and skin analysis program

Publications (2)

Publication Number Publication Date
JP2014219781A JP2014219781A (en) 2014-11-20
JP5771647B2 true JP5771647B2 (en) 2015-09-02

Family

ID=51938182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013097557A Active JP5771647B2 (en) 2013-05-07 2013-05-07 Skin analysis device, skin analysis system, skin analysis method, and skin analysis program

Country Status (1)

Country Link
JP (1) JP5771647B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170311872A1 (en) * 2014-11-12 2017-11-02 Konica Minolta Inc. Organ image capture device and method for capturing organ image
CN104887183B (en) * 2015-05-22 2017-12-22 杭州雪肌科技有限公司 Based on the monitoring of optical skin health and pre- intelligent diagnosis method
JP6696222B2 (en) * 2016-02-26 2020-05-20 大日本印刷株式会社 Tongue image processing device, tongue image processing method, and tongue image processing program
CN109493310A (en) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 Biological information analytical equipment and its hand skin analysis method
JP7005477B2 (en) * 2018-12-25 2022-01-21 富士フイルム株式会社 Image processing equipment, image processing methods, and programs
JP6821852B1 (en) * 2020-07-15 2021-01-27 株式会社アイム Support methods, support programs and trained model generation methods to support skin condition evaluation
WO2022173056A1 (en) * 2021-02-15 2022-08-18 株式会社資生堂 Skin state inference method, device, program, system, trained model generation method, and trained model

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001215605A (en) * 1999-11-26 2001-08-10 Toshiba Corp Face image photographing device, and face image photographing method
JP3408524B2 (en) * 2001-02-06 2003-05-19 正 五井野 Makeup advice providing method and makeup advice providing program
JP2002269211A (en) * 2001-03-06 2002-09-20 Sharp Corp Server system, analyzer and information device
JP2003287784A (en) * 2002-03-28 2003-10-10 Konica Corp Photographing device and photographing method
JP2012053813A (en) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd Person attribute estimation device, person attribute estimation method and program
JP5657494B2 (en) * 2011-09-22 2015-01-21 富士フイルム株式会社 Wrinkle detection method, wrinkle detection apparatus and wrinkle detection program, and wrinkle evaluation method, wrinkle evaluation apparatus and wrinkle evaluation program

Also Published As

Publication number Publication date
JP2014219781A (en) 2014-11-20

Similar Documents

Publication Publication Date Title
JP5771647B2 (en) Skin analysis device, skin analysis system, skin analysis method, and skin analysis program
US7565073B2 (en) Photography apparatus, photography method, and photography program for obtaining an image of a subject
JP4747163B2 (en) Red-eye correction in human images
US8000505B2 (en) Determining the age of a human subject in a digital image
JP5080060B2 (en) Skin condition analysis method, skin condition analysis apparatus, skin condition analysis program, and recording medium on which the program is recorded
JP4683200B2 (en) Automatic hair region extraction method
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
EP2945372A1 (en) Electronic mirror device
CN107645925B (en) System and method for measuring hair diameter
US11283987B2 (en) Focus region display method and apparatus, and storage medium
WO2017203913A1 (en) Skin diagnostic device and skin diagnostic method
WO2016121518A1 (en) Information processing device, information processing method, and program
JP5994301B2 (en) Image processing apparatus, information processing apparatus, method, program, and recording medium
KR102364929B1 (en) Electronic device, sever, and system for tracking skin changes
JP2018084861A (en) Information processing apparatus, information processing method and information processing program
JP6098133B2 (en) Face component extraction device, face component extraction method and program
JP6390247B2 (en) Photography apparatus, skin diagnosis method, program, and skin diagnosis system
JP4586995B2 (en) Hair image display method and display device
JP5242827B2 (en) Face image processing apparatus, face image processing method, electronic still camera, digital image processing apparatus, and digital image processing method
CN111259683A (en) Skin detection method and image processing apparatus
CN115039130A (en) Method, device and program for estimating apparent distance
JP2021010652A (en) Information processing device, evaluation method, and information processing program
WO2024090218A1 (en) Diagnosis system, diagnosis device, program, diagnosis method, method for diagnosing skin, and method for diagnosing stresses
Geleijnse et al. Influence of edge enhancement applied in endoscopic systems on sharpness and noise
WO2023048153A1 (en) Information processing method, computer program, and information processing device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R150 Certificate of patent or registration of utility model

Ref document number: 5771647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250