JP7366133B2 - プログラム、情報処理装置、肌キメ状態推定方法、学習済みモデル、情報処理システム、及び学習済みモデルの作成方法 - Google Patents
プログラム、情報処理装置、肌キメ状態推定方法、学習済みモデル、情報処理システム、及び学習済みモデルの作成方法 Download PDFInfo
- Publication number
- JP7366133B2 JP7366133B2 JP2021528749A JP2021528749A JP7366133B2 JP 7366133 B2 JP7366133 B2 JP 7366133B2 JP 2021528749 A JP2021528749 A JP 2021528749A JP 2021528749 A JP2021528749 A JP 2021528749A JP 7366133 B2 JP7366133 B2 JP 7366133B2
- Authority
- JP
- Japan
- Prior art keywords
- skin
- user
- image data
- skin texture
- local image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
<システム構成>
図1は、本実施形態に係る情報処理システム10の一例の構成図である。図1の情報処理システム10は、1台以上の開発者端末1と1台以上の使用者端末2とサーバ装置3とがインターネット等のネットワーク4を介して接続されている。開発者端末1は肌キメ状態の推定を行うアプリケーション(以下、単にアプリと呼ぶ)の開発者が操作するPCなどのクライアント端末である。例えばサーバ装置3は開発者端末1からのリクエストを受け付け、アプリの開発に関する処理等、そのリクエストに応じた処理を行う。開発者により開発されたアプリは例えばサーバ装置3に保存される。
図1の開発者端末1、使用者端末2及びサーバ装置3は、例えば図2のハードウェア構成のコンピュータにより実現される。図2は、本実施形態に係るコンピュータの一例のハードウェア構成図である。
肌キメ状態の推定精度は、例えば図3A及び図3Bに示す機械学習の利用により向上することが期待される。図3A及び図3Bは機械学習の利用による肌キメ状態の推定を説明する一例の図である。図3A及び図3Bでは肌画像データの局所画像特徴量からの肌キメ状態の推定に、機械学習モデルの一例であるSVM(サポートベクターマシン)を利用する例を示している。SVMは、教師あり学習を用いるパターン認識モデルの一つであり、例えば分類や回帰へ適用される。SVMでは、マージンが最大化するように設定された教師あり機械学習アルゴリズムにより機械学習された学習済みモデルが用いられる。
《サーバ装置》
図4は本実施形態に係るサーバ装置3の一例の機能ブロック図である。サーバ装置3はプログラムを実行することにより、肌クラス付き肌画像データ記憶部20、局所画像特徴量抽出部22、教師データ記憶部24、学習済みモデル作成部26、学習済みモデル記憶部28、アプリ作成部30、アプリ記憶部32、及びダウンロード処理部34を実現している。
図5は本実施形態に係る使用者端末2の一例の機能ブロック図である。使用者端末2は例えばオペレーティングシステム、インストーラやアプリ等のプログラムを実行することにより、インストール処理部40、肌画像撮影部50、局所画像特徴量抽出部52、肌キメ状態推定部54、及び推定結果表示部56を実現している。
《学習処理》
サーバ装置3は例えば図6の処理手順で学習済みモデル1030を作成する。図6は学習済みモデル1030の作成手順を表した一例のフローチャートである。ステップS10において、サーバ装置3の局所画像特徴量抽出部22は例えば図7に示すように、肌クラスと対応付けられた肌画像データ1000から肌クラス1020と対応付けられた画像特徴量1010を抽出する。
使用者端末2は例えば図8の処理手順で学習済みモデル1030によりユーザの肌クラス1120を推定する。図8は学習済みモデル1030による推定手順を表した一例のフローチャートである。使用者端末2にはサーバ装置3からダウンロードされたアプリがインストールされているものとする。使用者は使用者端末2でアプリを起動する。
以上、本実施形態の学習処理によれば、使用者の肌画像データから推定する肌キメ状態の精度を向上させた、学習済みモデル1030を実現できる。また、本実施形態の推定処理によれば、学習済みモデル1030を用いたことで、使用者の肌画像データから推定する肌キメ状態の精度を向上させたアプリを実現できる。
2 使用者端末
3 サーバ装置
4 ネットワーク
10 情報処理システム
20 肌クラス付き肌画像データ記憶部
22 局所画像特徴量抽出部
24 教師データ記憶部
26 学習済みモデル作成部
28 学習済みモデル記憶部
30 アプリ作成部
32 アプリ記憶部
34 ダウンロード処理部
40 インストール処理部
50 肌画像撮影部
52 局所画像特徴量抽出部
54 肌キメ状態推定部
56 推定結果表示部
1000、1100 肌画像データ
1010、1110 画像特徴量
1020、1120 肌クラス
1030 学習済みモデル
Claims (9)
- ユーザの肌画像データから前記ユーザの肌キメ状態を推定し、推定結果を表示するようにコンピュータを機能させるためのプログラムであって、
前記コンピュータを、
前記ユーザの肌画像データからAKAZEアルゴリズムの特徴点検出機能を用いて複数の特徴点を検出し、検出した前記特徴点を含む局所画像ごとに局所画像特徴量をAKAZEアルゴリズムにより抽出する局所画像特徴量抽出手段、
肌キメ状態を定量化した値と対応付けられた学習用の肌画像データの局所画像特徴量が入力されたときに、前記学習用の肌画像データと対応付けられた前記肌キメ状態を定量化した値を出力するように機械学習された学習済みモデルを用いて、前記局所画像特徴量抽出手段がAKAZEアルゴリズムにより抽出した前記局所画像特徴量から前記ユーザの肌キメ状態を推定する肌キメ状態推定手段、
推定した前記ユーザの肌キメ状態と対応付けられた写真又は絵を推定結果として表示する表示手段、
として機能させるためのプログラム。 - 前記肌キメ状態推定手段は、マージンが最大化するように設定された教師あり機械学習アルゴリズムにより機械学習された学習済みモデルを用いること
を特徴とする請求項1記載のプログラム。 - 前記局所画像特徴量抽出手段は、前記ユーザの肌キメが写る範囲を前記局所画像として前記局所画像特徴量を抽出すること
を特徴とする請求項1又は2記載のプログラム。 - ユーザの肌画像データから前記ユーザの肌キメ状態を推定し、推定結果を表示する情報処理装置であって、
前記ユーザの肌画像データからAKAZEアルゴリズムの特徴点検出機能を用いて複数の特徴点を検出し、検出した前記特徴点を含む局所画像ごとに局所画像特徴量をAKAZEアルゴリズムにより抽出する局所画像特徴量抽出手段と、
肌キメ状態を定量化した値と対応付けられた学習用の肌画像データの局所画像特徴量が入力されたときに、前記学習用の肌画像データと対応付けられた前記肌キメ状態を定量化した値を出力するように機械学習された学習済みモデルを用いて、前記局所画像特徴量抽出手段がAKAZEアルゴリズムにより抽出した前記局所画像特徴量から前記ユーザの肌キメ状態を推定する肌キメ状態推定手段と、
推定した前記ユーザの肌キメ状態と対応付けられた写真又は絵を推定結果として表示する表示手段と、
を有する情報処理装置。 - 前記ユーザの肌画像を撮影して前記ユーザの肌画像データを出力する撮影手段、
を更に有する請求項4記載の情報処理装置。 - ユーザの肌画像データから前記ユーザの肌キメ状態を推定し、推定結果を表示する情報処理装置において実行される肌キメ状態推定方法であって、
前記ユーザの肌画像データからAKAZEアルゴリズムの特徴点検出機能を用いて複数の特徴点を検出し、検出した前記特徴点を含む局所画像ごとに局所画像特徴量をAKAZEアルゴリズムにより抽出する局所画像特徴量抽出ステップと、
肌キメ状態を定量化した値と対応付けられた学習用の肌画像データの局所画像特徴量が入力されたときに、前記学習用の肌画像データと対応付けられた前記肌キメ状態を定量化した値を出力するように機械学習された学習済みモデルを用いて、前記局所画像特徴量抽出ステップでAKAZEアルゴリズムにより抽出した前記局所画像特徴量から前記ユーザの肌キメ状態を推定する肌キメ状態推定ステップと、
推定した前記ユーザの肌キメ状態と対応付けられた写真又は絵を推定結果として表示する表示ステップと、
を有する肌キメ状態推定方法。 - ユーザの肌画像データからAKAZEアルゴリズムの特徴点検出機能を用いて複数の特徴点を検出し、検出した前記特徴点を含む局所画像ごとにAKAZEアルゴリズムにより抽出した局所画像特徴量が入力されると、前記ユーザの肌キメ状態を定量化した値を出力するようにコンピュータを機能させるための学習済みモデルであって、
肌キメ状態を定量化した値と対応付けられた学習用の肌画像データの局所画像特徴量が入力されたときに、前記学習用の肌画像データと対応付けられた前記肌キメ状態を定量化した値を出力するように機械学習され、
前記ユーザの肌画像データのAKAZEアルゴリズムにより抽出した前記局所画像特徴量が入力された場合に、前記ユーザの肌キメ状態と対応付けられた写真又は絵を推定結果として表示する為に前記ユーザの肌キメ状態を定量化した値を推定して出力する
学習済みモデル。 - クライアント端末がユーザから受け付けた操作に基づき、前記ユーザの肌画像データから前記ユーザの肌キメ状態を推定し、その推定結果を前記クライアント端末に表示させるサーバ装置を含む情報処理システムであって
前記サーバ装置は、
前記ユーザの肌画像データからAKAZEアルゴリズムの特徴点検出機能を用いて複数の特徴点を検出し、検出した前記特徴点を含む局所画像ごとに局所画像特徴量をAKAZEアルゴリズムにより抽出する局所画像特徴量抽出手段と、
肌キメ状態を定量化した値と対応付けられた学習用の肌画像データの局所画像特徴量が入力されたときに、前記学習用の肌画像データと対応付けられた前記肌キメ状態を定量化した値を出力するように学習された学習済みモデルを用いて、前記局所画像特徴量抽出手段がAKAZEアルゴリズムにより抽出した前記局所画像特徴量から前記ユーザの肌キメ状態を推定する肌キメ状態推定手段と、
推定した前記ユーザの肌キメ状態と対応付けられた写真又は絵を推定結果として前記クライアント端末に表示させる表示制御手段と、
を有する情報処理システム。 - ユーザの肌画像データからAKAZEアルゴリズムの特徴点検出機能を用いて複数の特徴点を検出し、検出した前記特徴点を含む局所画像ごとにAKAZEアルゴリズムにより抽出した局所画像特徴量が入力されると、前記ユーザの肌キメ状態を定量化した値を出力するようにコンピュータを機能させるための学習済みモデルの作成方法であって、
肌キメ状態を定量化した値と対応付けられた学習用の肌画像データの局所画像特徴量が入力されたときに、前記学習用の肌画像データと対応付けられた前記肌キメ状態を定量化した値を出力するように機械学習され、
前記ユーザの肌画像データのAKAZEアルゴリズムにより抽出した前記局所画像特徴量が入力された場合に、前記ユーザの肌キメ状態と対応付けられた写真又は絵を推定結果として表示する為に前記ユーザの肌キメ状態を定量化した値を推定して出力する
学習済みモデルの作成方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/025433 WO2020261442A1 (ja) | 2019-06-26 | 2019-06-26 | プログラム、情報処理装置、肌キメ状態推定方法、学習済みモデル、情報処理システム、及び学習済みモデルの作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020261442A1 JPWO2020261442A1 (ja) | 2020-12-30 |
JP7366133B2 true JP7366133B2 (ja) | 2023-10-20 |
Family
ID=74061078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021528749A Active JP7366133B2 (ja) | 2019-06-26 | 2019-06-26 | プログラム、情報処理装置、肌キメ状態推定方法、学習済みモデル、情報処理システム、及び学習済みモデルの作成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7366133B2 (ja) |
WO (1) | WO2020261442A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006142005A (ja) | 2004-10-22 | 2006-06-08 | Shiseido Co Ltd | 肌状態診断システムおよび美容のためのカウンセリングシステム |
JP2018200640A (ja) | 2017-05-29 | 2018-12-20 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019092694A (ja) | 2017-11-21 | 2019-06-20 | 日本メナード化粧品株式会社 | キメ評価装置、キメ評価方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101969346B1 (ko) * | 2016-10-29 | 2019-04-19 | 한양대학교 산학협력단 | 피부 상태 분류 장치와, 그 장치에서 사용되는 피부 상태 분류 모형을 생성하는 장치 및 그 방법 |
-
2019
- 2019-06-26 JP JP2021528749A patent/JP7366133B2/ja active Active
- 2019-06-26 WO PCT/JP2019/025433 patent/WO2020261442A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006142005A (ja) | 2004-10-22 | 2006-06-08 | Shiseido Co Ltd | 肌状態診断システムおよび美容のためのカウンセリングシステム |
JP2018200640A (ja) | 2017-05-29 | 2018-12-20 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019092694A (ja) | 2017-11-21 | 2019-06-20 | 日本メナード化粧品株式会社 | キメ評価装置、キメ評価方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020261442A1 (ja) | 2020-12-30 |
WO2020261442A1 (ja) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10885608B2 (en) | Super-resolution with reference images | |
JP6615362B2 (ja) | ユーザー似顔絵を取得する方法及び装置 | |
WO2019109801A1 (zh) | 拍摄参数的调整方法、装置、存储介质及移动终端 | |
EP3129871B1 (en) | Generating a screenshot | |
EP3713212A1 (en) | Image capture method, apparatus, terminal, and storage medium | |
CN109118447B (zh) | 一种图片处理方法、图片处理装置及终端设备 | |
US8995772B2 (en) | Real-time face detection using pixel pairs | |
US11132770B2 (en) | Image processing methods and apparatuses, computer readable storage media and electronic devices | |
JP7209851B2 (ja) | 画像変形の制御方法、装置およびハードウェア装置 | |
JP6401855B2 (ja) | Uiコントロールの背景を設定するための方法及び装置、並びに端末 | |
JP6300792B2 (ja) | キャプチャされたデータの強化 | |
CN111428570A (zh) | 非活体人脸的检测方法、装置、计算机设备及存储介质 | |
EP4191540A1 (en) | 3d data system and 3d data generation method | |
US10586099B2 (en) | Information processing apparatus for tracking processing | |
Baggio et al. | Mastering OpenCV 3 | |
CN112330534A (zh) | 动物脸风格图像生成方法、模型训练方法、装置和设备 | |
WO2014074285A1 (en) | Sharing or applying digital image editing operations | |
CN112991151B (zh) | 图像处理方法、图像生成方法、装置、设备和介质 | |
JP6707715B2 (ja) | 学習装置、推定装置、学習方法及びプログラム | |
JP7366133B2 (ja) | プログラム、情報処理装置、肌キメ状態推定方法、学習済みモデル、情報処理システム、及び学習済みモデルの作成方法 | |
US11216961B2 (en) | Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models | |
US20220207917A1 (en) | Facial expression image processing method and apparatus, and electronic device | |
US20230281884A1 (en) | Image transformation infrastructure | |
JP7190987B2 (ja) | 情報処理システム、および情報処理方法 | |
KR20210144049A (ko) | 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7366133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |