JP7432270B1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7432270B1
JP7432270B1 JP2023027740A JP2023027740A JP7432270B1 JP 7432270 B1 JP7432270 B1 JP 7432270B1 JP 2023027740 A JP2023027740 A JP 2023027740A JP 2023027740 A JP2023027740 A JP 2023027740A JP 7432270 B1 JP7432270 B1 JP 7432270B1
Authority
JP
Japan
Prior art keywords
image
face
double
user
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023027740A
Other languages
English (en)
Inventor
裕之 片寄
Original Assignee
Sbcメディカルグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sbcメディカルグループ株式会社 filed Critical Sbcメディカルグループ株式会社
Priority to JP2023027740A priority Critical patent/JP7432270B1/ja
Application granted granted Critical
Publication of JP7432270B1 publication Critical patent/JP7432270B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】二重術の効果を確認することができるようにする。【解決手段】情報処理システムであって、ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、二重術の施術前後の顔を撮影した画像を学習させた画像生成器に撮影画像を与えて、ユーザに対する二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、を備えることを特徴とする。【選択図】図1

Description

特許法第30条第2項適用 令和5年2月20日に、SBCメディカルグループ株式会社が、恵比寿ガーデンプレイス ガーデンルームにて公開で記者会見を行い、片寄裕之が発明した情報処理システムについて説明した。
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
特許文献1にはメイクアップを施したシミュレーション画像を生成する技術が開示されている。
特許第1715357号公報
メイクアップのシミュレーションでは美容整形による形状変化をシミュレーションすることは難しい
本発明はこのような背景を鑑みてなされたものであり、二重術の効果を確認することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、情報処理システムであって、ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、を備えることを特徴とする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、二重術の効果を確認することができる。
本実施形態に係る情報処理システムの全体構成例を示す図である。 管理サーバ2のハードウェア構成例を示す図である。 管理サーバ2のソフトウェア構成例を示す図である。 管理サーバ2の動作を説明する図である。 周辺画像の合成処理を説明する図である。
<発明の概要>
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
[項目1]
ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、
二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、
を備えることを特徴とする情報処理システム。
[項目2]
項目1に記載の情報処理システムであって、
前記画像生成器は、敵対的生成ネットワークにより作成され、前記顔のうち目の二重幅を変化させる度合を決定するパラメータを含み、
前記パラメータに設定するパラメータ値の指定を受け付けるパラメータ指定部をさらに備え、
前記シミュレーション画像生成部は、前記撮影画像及び受け付けた前記パラメータ値を前記画像生成器に与えて前記シミュレーション画像を生成すること、
を特徴とする情報処理システム。
[項目3]
項目1に記載の情報処理システムであって、
前記シミュレーション画像から前記ユーザの目の周辺画像を抽出する抽出部と、
抽出した前記周辺画像を前記撮影画像に合成する合成処理部と、
を備えることを特徴とする情報処理システム。
[項目4]
ユーザの顔を撮影した撮影画像を取得するステップと、
二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
をコンピュータが実行することを特徴とする情報処理方法。
[項目5]
ユーザの顔を撮影した撮影画像を取得するステップと、
二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
をコンピュータに実行させるためのプログラム。
<システムの概要>
以下、本発明の一実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムでは、美容整形の施術後のシミュレーション画像を提示しようとするものであり、とくに埋没法による二重術に係るシミュレーション画像を提示する。埋没法による二重術とは、糸をまぶたに埋め込んで目の二重状態を形成するものである。本実施形態の情報処理システムは、敵対的生成ネットワーク(Generative Adversarial Networks;GAN)を用いてユーザの顔画像において目の二重幅を変化させる。
図1は、本実施形態に係る情報処理システムの全体構成例を示す図である。本実施形態の情報処理システムは、管理サーバ2を含んで構成される。管理サーバ2は、ユーザ端末1と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット(登録商標)などにより構築される。
ユーザ端末1は、ユーザが操作するコンピュータである。ユーザ端末1は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどとすることができる。
管理サーバ2は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。
<管理サーバ>
図2は、管理サーバ2のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ2は、CPU201、メモリ202、記憶装置203、通信インタフェース204、入力装置205、出力装置206を備える。記憶装置203は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース204は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置205は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置206は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、後述する管理サーバ2の各機能部はCPU201が記憶装置203に記憶されているプログラムをメモリ202に読み出して実行することにより実現され、管理サーバ2の各記憶部はメモリ202及び記憶装置203が提供する記憶領域の一部として実現される。
図3は、管理サーバ2のソフトウェア構成例を示す図である。管理サーバ2は、画像生成器211と、撮影画像取得部212と、シミュレーション画像生成部213と、パラメータ指定部214と、抽出部215と、合成処理部216と、学習処理部217と、を備える。
画像生成器211は、GANの手法により画像を生成する。画像生成器211には、例えば、StyleGANの手法を用いることができる。なお、StyleGANに限らず、他のGANを用いるようにすることもできる。画像生成器211は、GANにより、二重術の施術前後の顔を撮影した画像を学習させて作成される。
撮影画像取得部212は、ユーザの顔を撮影した撮影画像を取得する。撮影画像は、例えば、スマートフォンなどのユーザ端末1が備えるカメラによる自撮り画像としてもよいし、一般的なカメラで撮影した画像を取り込んだ画像データであってもよい。撮影画像取得部212は、ユーザ端末1から撮影画像を受信することができる。
シミュレーション画像生成部213は、ユーザに対する二重術の施術後の顔を表すシミュレーション画像を生成する。本実施形態において、シミュレーション画像生成部213は、撮影画像を画像生成器211に与えてシミュレーション画像を生成させる。
また、画像生成器211は、顔のうち目の二重幅を変化させる度合を決定するパラメータ(例えば潜在変数)を含む。画像生成器211に、人間の顔を撮影した入力画像とともにパラメータ値を与えることにより、パラメータ値に応じた度合で目の二重幅を変化させた画像(シミュレーション画像)を作成させることができる。
パラメータ指定部214は、二重幅を変化させる度合に係るパラメータに設定するパラメータ値の指定を受け付ける。ユーザ端末1は、例えば、撮影画像とともにパラメータ値を送信することでき、パラメータ指定部214は、ユーザ端末1からパラメータ値を受信することができる。パラメータ指定部214は、ユーザ端末1から二重幅の度合(例えば、1~10のレベルとしてもよい。)の指定を受け付け、受け付けた度合に対応するパラメータ値を決定してもよい。
シミュレーション画像生成部213は、撮影画像とともにパラメータ値を画像生成器211に与えることにより、シミュレーション画像に表現される顔の目の二重幅の度合を変えることができる。
抽出部215は、シミュレーション画像からユーザの目の周辺画像を抽出する。目の周辺画像を抽出する処理については、公知のコンピュータビジョンに係る手法を用いて、目を検出し、検出した目を囲う矩形領域をシミュレーション画像から切り出すことなどにより実現することができる。抽出部215は、左右の目の周辺画像(左右の目を囲う矩形領域の切り出し画像)を抽出するようにしてもよいし、右目の周辺画像と、左目の周辺画像とをそれぞれ抽出するようにしてもよい。
合成処理部216は、抽出した周辺画像を撮影画像に合成する。合成処理部216は、例えば、撮影画像から目の位置を検出し、目を囲う矩形領域に周辺画像を合成することができる。抽出部215が、右目の周辺画像と、左目の周辺画像とをそれぞれ抽出した場合には、合成処理部216は、右目の位置と左目の位置とをそれぞれ検出し、検出した位置にそれぞれに対応する周辺画像を合成することができる。合成処理は、例えば、貼り付け処理であってもよいし、周辺画像の端部を撮影画像と演算処理するようにしてもよい。
<動作>
図4は、管理サーバ2の動作を説明する図である。図5は、周辺画像の合成処理を説明する図である。
管理サーバ2は、ユーザの顔を撮影した撮影画像41をユーザ端末1から受信し(S301)、受信した撮影画像41を画像生成器211に与えてシミュレーション画像42を生成する(S302)。撮影画像とともに、二重幅の度合がユーザ端末1から指定された場合には、管理サーバ2は、指定された度合に対応するパラメータ値とともに撮影画像を画像生成器211に与えることができる。
管理サーバ2は、画像生成器211が生成したシミュレーション画像42から左右の目の周辺画像431及び432を抽出する(S303)。例えば、図5に示すように、シミュレーション画像42の右目を囲う矩形領域R1から右目の周辺画像431を切り出し、シミュレーション画像42の左目を囲う矩形領域L1から右目の周辺画像432を切り出すことができる。管理サーバ2は、抽出した目の周辺画像431,432を撮影画像41に合成する(S304)。図5に示すように、管理サーバ2は、撮影画像41から右目及び左目を検出し、右目の中心又は目頭の位置を基準として、シミュレーション画像42の右目を囲う矩形領域R1と同じ大きさの矩形領域R2を撮影画像41に設定し、同様に、左目の中心又は目頭の位置を基準として、シミュレーション画像42の左目を囲う矩形領域L1と同じ大きさの矩形領域L2を撮影画像41に設定し、撮影画像41から矩形領域R1及びR2を消去した画像411を作成して、この画像411に、左右の目の中心又は目頭の位置を基準として、位置合わせして周辺画像431,432を合成することにより、合成画像44を作成することができる。この合成画像44を、最終的にユーザが施術を受けた場合のシミュレーション画像として管理サーバ2はユーザ端末1に提供することができる。
以上のようにして、本実施形態の情報処理システムによれば、ユーザの顔を撮影した撮影画像に基づいて、埋没法による二重術の施術後の状態をシミュレーションしたシミュレーション画像を生成することができるので、ユーザは施術前に施術後の予想される状態を確認することができる。また、ユーザはパラメータを指定することで二重幅を変えてシミュレーションを行うことも可能となる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
1 ユーザ端末
2 管理サーバ

Claims (4)

  1. ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、
    前記顔のうち目の二重幅を変化させる度合を決定するパラメータに設定するパラメータ値の指定を受け付けるパラメータ指定部と、
    二重術の施術前後の顔を撮影した画像を学習させ、敵対的生成ネットワークにより作成され、前記パラメータを含む画像生成器に前記撮影画像及び受け付けた前記パラメータ値を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、
    を備えることを特徴とする情報処理システム。
  2. ユーザの顔を撮影した撮影画像を取得する撮影画像取得部と、
    二重術の施術前後の顔を撮影した画像を学習させた画像生成器に前記撮影画像を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するシミュレーション画像生成部と、
    前記シミュレーション画像から前記ユーザの目の周辺画像を抽出する抽出部と、
    抽出した前記周辺画像を前記撮影画像に合成する合成処理部と、
    を備えることを特徴とする情報処理システム。
  3. ユーザの顔を撮影した撮影画像を取得するステップと、
    前記顔のうち目の二重幅を変化させる度合を決定するパラメータに設定するパラメータ値の指定を受け付けるステップと、
    二重術の施術前後の顔を撮影した画像を学習させ、敵対的生成ネットワークにより作成され、前記パラメータを含む画像生成器に前記撮影画像及び受け付けた前記パラメータ値を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
    をコンピュータが実行することを特徴とする情報処理方法。
  4. ユーザの顔を撮影した撮影画像を取得するステップと、
    前記顔のうち目の二重幅を変化させる度合を決定するパラメータに設定するパラメータ値の指定を受け付けるステップと、
    二重術の施術前後の顔を撮影した画像を学習させ、敵対的生成ネットワークにより作成され、前記パラメータを含む画像生成器に前記撮影画像及び受け付けた前記パラメータ値を与えて、前記ユーザに対する前記二重術の施術後の顔を表すシミュレーション画像を生成するステップと、
    をコンピュータに実行させるためのプログラム。
JP2023027740A 2023-02-24 2023-02-24 情報処理システム、情報処理方法及びプログラム Active JP7432270B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023027740A JP7432270B1 (ja) 2023-02-24 2023-02-24 情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023027740A JP7432270B1 (ja) 2023-02-24 2023-02-24 情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP7432270B1 true JP7432270B1 (ja) 2024-02-16

Family

ID=89852792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023027740A Active JP7432270B1 (ja) 2023-02-24 2023-02-24 情報処理システム、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7432270B1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566373B1 (ja) 2018-10-25 2019-08-28 ジャパンモード株式会社 施術支援システム
US20200126314A1 (en) 2018-04-30 2020-04-23 Mathew Powers Method and system of automated facial morphing for eyebrow hair and face color detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126314A1 (en) 2018-04-30 2020-04-23 Mathew Powers Method and system of automated facial morphing for eyebrow hair and face color detection
JP6566373B1 (ja) 2018-10-25 2019-08-28 ジャパンモード株式会社 施術支援システム

Similar Documents

Publication Publication Date Title
CN112150638B (zh) 虚拟对象形象合成方法、装置、电子设备和存储介质
US20210113172A1 (en) Lesion Detection Method, Apparatus and Device, and Storage Medium
EP3872766A2 (en) Method and device for processing image, related electronic device and storage medium
CN113240782A (zh) 基于虚拟角色的流媒体生成方法及装置
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
CN111541950B (zh) 表情的生成方法、装置、电子设备及存储介质
CN106874700A (zh) 基于Web的手术模拟方法、手术模拟装置及电子设备
JP2006163871A (ja) 画像処理装置、画像処理方法、およびプログラム
CN108668050A (zh) 基于虚拟现实的视频拍摄方法和装置
JP2011209887A (ja) アバター作成方法、アバター作成プログラム、およびネットワークサービスシステム
CN111861872A (zh) 图像换脸方法、视频换脸方法、装置、设备和存储介质
WO2021223724A1 (zh) 信息处理方法、装置和电子设备
CN107610239B (zh) 一种脸谱的虚拟试戴方法及装置
CN110555507A (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
KR20170002097A (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN114821675A (zh) 对象的处理方法、系统和处理器
CN108259806A (zh) 一种视频通信方法、设备和终端
CN106580472B (zh) 一种基于ar虚拟现实技术的整形手术实时捕捉系统
CN108111747A (zh) 一种图像处理方法、终端设备及计算机可读介质
JP7432270B1 (ja) 情報処理システム、情報処理方法及びプログラム
CN111932442B (zh) 一种基于人脸识别技术的视频美颜方法、装置、设备及计算机可读存储介质
CN108513090B (zh) 群组视频会话的方法及装置
WO2020119518A1 (zh) 一种基于人工视网膜空间感知的控制方法及装置
KR20160010810A (ko) 실음성 표출 가능한 실사형 캐릭터 생성 방법 및 생성 시스템

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20230324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231206

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7432270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150