JP6396890B2 - メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム - Google Patents
メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP6396890B2 JP6396890B2 JP2015511106A JP2015511106A JP6396890B2 JP 6396890 B2 JP6396890 B2 JP 6396890B2 JP 2015511106 A JP2015511106 A JP 2015511106A JP 2015511106 A JP2015511106 A JP 2015511106A JP 6396890 B2 JP6396890 B2 JP 6396890B2
- Authority
- JP
- Japan
- Prior art keywords
- coating material
- image
- pixel
- color
- color range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 217
- 239000000463 material Substances 0.000 title claims description 147
- 239000011248 coating agent Substances 0.000 title claims description 143
- 238000000576 coating method Methods 0.000 title claims description 143
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000010410 layer Substances 0.000 claims description 154
- 238000000034 method Methods 0.000 claims description 104
- 230000008569 process Effects 0.000 claims description 48
- 238000006243 chemical reaction Methods 0.000 claims description 38
- 238000009826 distribution Methods 0.000 claims description 38
- 230000015572 biosynthetic process Effects 0.000 claims description 34
- 238000003786 synthesis reaction Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 29
- 239000011247 coating layer Substances 0.000 claims description 13
- 239000003973 paint Substances 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 54
- 239000002537 cosmetic Substances 0.000 description 50
- 201000009277 hairy cell leukemia Diseases 0.000 description 29
- 239000000203 mixture Substances 0.000 description 25
- 230000006870 function Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 238000012790 confirmation Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 238000010422 painting Methods 0.000 description 11
- 230000000295 complement effect Effects 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 10
- 239000000049 pigment Substances 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 241001237961 Amanita rubescens Species 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 101700012268 Holin Proteins 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 101100057871 Caenorhabditis elegans asg-1 gene Proteins 0.000 description 1
- 101100057875 Caenorhabditis elegans asg-2 gene Proteins 0.000 description 1
- 101710086578 Chaperone protein gp12 Proteins 0.000 description 1
- 101100403145 Danio rerio mul1a gene Proteins 0.000 description 1
- 101000693265 Homo sapiens Sphingosine 1-phosphate receptor 1 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101710124413 Portal protein Proteins 0.000 description 1
- 101710102575 Pre-neck appendage protein Proteins 0.000 description 1
- 101710099276 Probable metalloendopeptidase Proteins 0.000 description 1
- 101710112672 Probable tape measure protein Proteins 0.000 description 1
- 101710159453 Proximal tail tube connector protein Proteins 0.000 description 1
- 102100025750 Sphingosine 1-phosphate receptor 1 Human genes 0.000 description 1
- 101100256199 Starmerella bombicola sble gene Proteins 0.000 description 1
- 101710199973 Tail tube protein Proteins 0.000 description 1
- 101710194975 Uncharacterized protein gp14 Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 235000021438 curry Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000008266 hair spray Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 101150077696 lip-1 gene Proteins 0.000 description 1
- YAFQFNOUYXZVPZ-UHFFFAOYSA-N liproxstatin-1 Chemical compound ClC1=CC=CC(CNC=2C3(CCNCC3)NC3=CC=CC=C3N=2)=C1 YAFQFNOUYXZVPZ-UHFFFAOYSA-N 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 101150117787 outL gene Proteins 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/622—Retouching, i.e. modification of isolated colours only or in isolated picture areas only with simulation on a subsidiary picture reproducer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Image Processing (AREA)
Description
発明者らは、本発明の実施化にあたって、様々な技術的障壁に直面した。以下、その克服のまでの歩みを述べる。
本実施形態は、HCL空間において、各画素を構成するH成分、C成分、L成分のうち、L成分からなるLチャネルの画像に対して画像処理を行う、メイクアップシミュレータの実施形態を開示している。かかるメイクアップシミュレータは、上記画像処理装置の構成要件を、タブレット端末のハードウェア資源を利用して具現化したものである。
第1実施形態では、唇を構成するH,C,Lチャネルのうち、Lチャネルを色レンジ変換及び画素ビット値マッピングの対象としたが、本実施形態では、Hチャネル、Cチャネルについても色レンジ変換、及び、画素ビット値マッピングを行う実施形態である。かかる改良のための画像処理装置の構成は、図17の通りになる。図17では、図6と同じ構成要素については同じ符号を用い、説明を省略する。
ユーザが好むようなハイライトや陰影をメイクアップ顔画像に付与するため改良に関する。第1実施形態と比較すると、第3実施形態に係る画像処理装置には以下の差異が存在する。
本実施形態は、唇の輪郭形状に応じて、各画素に与える重み値を変化させる実施形態である。
本実施形態は、動画像を対象としたメイクアップ操作を実現する改良に関する。
本実施形態は、レンジマップの値やL'[i]の算出に、SIMD(Single Instruction Multi Data)プロセッサを利用する改良を開示する。
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。
メイクアップ塗材は、化粧品を仮想化したアイテムに留まらない。カラーコンタクトやイヤリング、耳、鼻のピアスであってもよい。メイクアップの対象部位を含む対象物を人の顔としたが、手としてもよい。また塗材は、マニキュアであってもよい。また、メイクアップの対象物は、人間ではなく愛玩動物でもよい。更に、画像処理装置によるメイクアップは、自動車のドレスアップでもよい。
メイクアップシミュレーターは、口紅アイテムからカラーバリエーションを作成する機能を具備してもよい。これらのカラーバリエーションは、口紅ツールの選択後、カラーサンプルを選択し、唇アイテムの塗布色のH成分、C成分を、このカラーサンプルのH成分、C成分に置き換えることで作成される。
各実施形態で開示した装置の内部構成、フローチャート、動作例は、『対象体の一部の部位』という用語の下位概念の1つである『人の顔の唇』を処理対象にしていた。同様に、各実施形態で開示した装置の内部構成、フローチャート、動作例は、『メイクアップ塗布材』という用語の下位概念の1つである『口紅』を処理対象にしていた。しかしながら当該用語に包含される他の下位概念を処理対象にしてもよい。処理対象が複数の下位概念の何れであるかは、データ素材の中身の違いに過ぎず、装置の構成や処理内容に変化をもたらすものではないからである。
色空間変換部2、色空間逆変換部7では、変換対象となる色空間はRGB、HCLと説明したが、HCL色空間の代わりに、他の色相、彩度、輝度の3チャンネルの色空間、例えばHSV、HSLなどを使用しても良い。
レンジマップでは、現画素値と平均値の比率L[i]/Laveを使用したりしても良い。
第2実施形態では、動画像を構成する複数のフレーム画像か何れか1つを選んで、手塗りによるメイクアップを行ったが、初期画面においてユーザが選択した部位を各フレーム画像から自動的に抽出して、各フレーム画像における該当部位を化粧アイテムで塗りかえることにより、メイクアップを実現してもよい。
数1から数5までの数式は、数学的な概念を意味するのではなく、あくまでも、コンピュータ上で実行される数値演算を意味するものなので、当然のことながら、コンピュータに実現させるための、必要な改変が加えられることはいうまでもない。例えば、数値を、整数型、固定少数点型、浮動小数点型で扱うための飽和演算や正値化演算が施されてよいことはいうまでもない。更に、各実施形態に示した、数式に基づく演算処理のうち、定数との乗算は、定数ROMを用いたROM乗算器で実現することができる。定数ROMには、被乗数と定数との積の値はあらかじめ計算されて格納されている。例えば、被乗数が16ビット長である場合、この被乗数は、4ビット毎に四つに区切られ、この4ビット部分と定数との積、つまり、定数の0〜15の倍数が上記の定数ROMに格納されている。上記の一区切りの4ビットと定数16ビットとの積は20ビット長であり、上記の四つの定数が同一のアドレスに格納されるので、20×4=80ビット長が一語のビット長となる。以上述べたように、ROM乗算器での実現が可能であるので、本明細書でいうところの“演算処理”は、純粋な算術演算のみを意味するのではなく、ROM等の記録媒体に格納された演算結果を、被演算子の値に応じて読み出すという、記録媒体の読み出しをも包含する。
タブレットと、画像処理装置とはネットワークを介して接続されてもよい。この場合、画像処理装置は、ネットワークを介して表示装置のカメラによる自画像(オリジナルの画像データ)を受け取り、メイクアップ処理を行う。そしてメイクアップ結果となる画像を外部装置に出力して、表示に供する。
画像処理装置は、複数ユーザを撮影することで得られた、複数ユーザの人物像に対してメイクアップのための画像処理を施してもよい。この場合、多くの人物像を処理せねばならないから、不特定多数のユーザの顔画像をビッグデータとして処理できるようなクラウドネットワークのサーバ(クラウドサーバ)で画像処理装置を動作させるのが望ましい。クラウドネットワークにおいてメイクアップ開始が命じられれば、ハイパーバイザは、クラウドサーバにおいてゲストオペレーティングシステム(ゲストOS)を起動する。こうしてゲストOSを起動した上で、企業内部に存在するイントラネットワークから画像処理装置の構成要件の処理を行うアプリケーションプログラムを、クラウドサーバにロードする。かかるロードにより、これまでの実施形態までの述べた処理をビッグデータに対し実行する。
上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。集積回路のアーキテクチャは、プリプログラムされたDMAマスタ回路等から構成され、ストリーム処理全般を実行するフロントエンド処理回路(1)と、SIMDプロセッサ等から構成され、信号処理全般を実行する信号処理回路(2)と、画素処理や画像重畳、リサイズ、画像フォーマット変換AV出力処理全般を行うバックエンド回路(3)と、ドライブ、ネットワークとのインターフェイスであるメディアインターフェイス回路(4)と、メモリアクセスのためのスレーブ回路であり、フロントエンド部、信号処理部、バックエンド部の要求に応じて、パケットやデータの読み書きを実現するメモリコントローラ回路(5)とから構成される。ここでパッケージの種別に着目するとシステムLSIには、QFP(クッド フラッド アレイ)、PGA(ピン グリッド アレイ)という種別がある。QFPは、パッケージの四側面にピンが取り付けられたシステムLSIである。PGAは、底面全体に、多くのピンが取り付けられたシステムLSIである。
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
第1実施形態から第6実施形態までに示した画像処理装置の具体的な形態から抽出される技術的思想の創作は、以下の1.、2.、3.、4.・・・・・の体系をなす。この体系において、1.は、上体系の根幹となる基本的態様であり、2.、3.〜は、その派生の形態である。
ここで上記体系の根幹となる画像処理装置は、原画像に現された対象体からメイクアップ塗材を塗布すべき部位を指定する指定手段と、メイクアップ塗材の見本色を代表色とした色レンジをもつ複数の画素から構成される塗材塗布レイヤを生成する生成手段と、原画像に塗材塗布レイヤを合成する合成手段を備え、
塗材塗布レイヤを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、前記対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られ、塗材塗布レイヤの画素の値は、原画像の画素であって、位置的に対応するものの画素の値を塗材塗布レイヤの色レンジにマッピングすることで得られることを特徴としている。
また、上記の基本的態様において、ハイライトが存在する箇所や影のできた箇所と、それ以外の箇所との繋ぎめの不自然さを解消するには、部位画像を以下のものとすることはできる。
特許文献1に記載された先行技術では、ハイライトや影になっている部分の書き換えを停止しているのに対し、上記態様の画像処理装置では、カレーレンジを拡大することでハイライトや影になっている部分も画素ビット値の書き換えの対象にしているから、本発明では、元画像でハイライトが存在する箇所や影のできた箇所と、それ以外の箇所との繋ぎめの部分が不自然になることはない。また代表色を決めるにあたっては、ハイライトや陰影を除外せず、これらを含む複数の画素群に対して統計処理を施すことで代表色を得るので、塗布がなされた塗材塗布レイヤにより自然なコントラスト変化をもたらすことができる。ここで上記統計処理は、平均計算、加重平均計算、分散計算、偏差計算等を広く含む。
生成手段によるマッピングは、より具体的なものに展開することができる。それは、第1実施形態におけるレンジマップを用いた数式(数5)の一般化である。具体的には、画像処理装置は更に、原画像に対応する平面座標系において、画素の値がどのように分布しているかを示す分布マップを取得し、生成手段によるマッピングは、分布マップに示される値であって、位置的に対応するものを重み係数として用いて色レンジを重み付け、重み付け後の値に、オフセットを付与することでなされる
塗布された画像で、画素の分布がどうあるべきかが分布マップに示され、塗材塗布レイヤの画素ビット値の決定は、この分布マップに支配されるので、塗材塗布レイヤにおける明るさの分布はよりリアルに表現される。
分布マップに示される重み値やオフセットは、より具体的なものに展開することができる。それは、第1実施形態に示したrmap[i]*rangeL',L'minによる限定である。
分布マップをどのように取得するかについては、より具体的なものに展開することができる。それは、レンジマップをサンプルファイルとして取得するというものである。
画素ビット値の変換は、ビット演算を用いた具体的なものに展開することができる。それは、第1実施形態における数6の一般化である。具体的にいうと、前記変換は、塗材が塗布されるべき原画像の部位を構成する複数の画素であって、位置的に対応するものの画素の値が、当該部位を構成する複数画素の色レンジ全体においてどれだけの割合を占めているかを示す相対値に所定の係数を乗じ、オフセットを足し合わせることで得られるというものである。重み係数を乗じ、オフセットを加算するという処理は、シフトレジスタを用いた積和演算回路等によるハードウェア化が可能となる。かかるハードウェア化により、複数の画素に対する処理の並列化、パイプライン化が可能になる。
6.の態様における相対値、重み係数、オフセットは、より下位概念化の内容に展開することができる。それは、数6のL[i]-Lave),β,L'aveによる限定であり、前記相対値は、塗材が塗布されるべき原画像の部位における代表的な色の画素の値と、当該部位を構成する複数の画素であって、位置的に対応するものの画素の値との差分を、当該部位を構成する画素の色レンジ長を用いて正規化したものであり、前記所定の係数は、当該部位を表す複数画素の色レンジ長であり、前記オフセットは、当該部位を構成する色の色レンジの下限値であるというものである。上記の相対値は、対象となる画素の画素ビット値が、オリジナル画像における代表色からどれだけかけ離れているかを示すので、かかる相対値が塗材塗布レイヤの色レンジにマッピングされ、塗材塗布レイヤの色レンジにおける下限値と加算されることで、塗材塗布レイヤにおける部位は、オリジナル画像における照明の照らされ方を損なわないリアルな質感を再現することができる。
ここで塗材塗布レイヤにおける色レンジの上限、下限は、より下位概念化の内容に展開することができる。その下位概念とは、第1実施形態におけるLmin,Lmaxによる限定であり、具体的にいうと、塗材塗布レンジにおける色レンジの上限値は、塗材が塗布されるべき原画像の部位を構成する複数の画素の代表的な値と、当該部位の色レンジの上限値との差分と、当該部位を構成する画素の色レンジのレンジ長との比率に、塗材塗布レイヤの色レンジのレンジ長を乗じて、塗材の見本色の画素の値を足し合わせることで算出され、
塗材塗布レンジの色レンジの下限値は、塗材塗布レンジの色レンジの上限値から、塗材塗布レンジの色レンジのレンジ長を差し引くことで算出されるというものである。塗材塗布レイヤにおける色レンジの上限は、オリジナル画像の代表色からオリジナル画像の上限までの差分と、オリジナル画像の色レンジのレンジ長との比率に、塗材塗布レイヤのレンジ長を乗じることで定められるから、オリジナル画像と、代表色との差分が塗材塗布レイヤの色レンジに好適に反映されることになる。更に、塗材塗布レイヤの色レンジの下限は、こうして定められた上限から、塗材塗布レイヤの色レンジ長を差し引くことで定められるので、暗くなっている部分の暗くなり方も、オリジナル画像の代表色と、塗材塗布レイヤの代表色との比率に応じたものになる。これにより、撮影されたユーザの顔に、メイクアップ塗材が塗布された状態をリアルに再現することができる。
色レンジはより下位概念化の内容に展開することができる。その下位概念とは、色レンジがHCLの個別規定であることを一般化したものである。具体的にいうと、前記塗材が塗布されるべき原画像の部位の色レンジは、当該部位を構成する画素に含まれる複数種別の画素成分のうち、特定の種別のものの数値範囲であり、塗材が塗布されるべき原画像の部位は複数のチャネル画像を包含しており、塗材塗布レイヤを構成する画素の値は、特定種別の画素成分により構成されるチャネル画像の個々の画素を、塗材塗布レイヤの色レンジにマッピングすることで得られるというものである。画素を構成する複数種別の画素成分のうち、特定のものについて色レンジが算出されるので、画素を構成する複数の画素成分の中に変換することが望ましくないものがあった場合、かかる画素成分を処理から除外することで、オリジナル画像との同一性を維持することができる。
合成手段による合成の仕方はより下位概念化の内容に展開することができる。その下位概念とは、合成パラメータはHCLの個別規定であることを一般化したものである。具体的にいうと、前記画像処理装置は成分種別毎の合成パラメータを有しており、前記合成手段による合成は、塗材塗布レイヤに含まれる複数チャネル画像のうち特定種別のものの画素成分と、前記複数のチャネル画像のうち特定種別のものの画素成分とを、特定種別に対応する合成パラメータを用いて重み付けて、互いに加算することでなされるというものである。オリジナル画像の画素、塗材塗布レイヤの画素のそれぞれに与えるべき重み係数を、画素成分毎に変化させるから、例えば、色相成分、彩度成分、輝度成分のうち、彩度成分、輝度成分が強調された態様の塗材塗布レイヤを得ることができる。
複数種別の画素成分はより下位概念化の内容に展開することができる。その下位概念とは、前記複数種別の画素成分は、色相、彩度、輝度であり、特定種別の画素成分は、色相、彩度、輝度のうち何れか1つ、又は、2以上のものの組合せであるというものである。色相成分、彩度成分、輝度成分のうち、彩度成分、輝度成分を色レンジ生成の対象とし、マッピング、合成の対象とすることで、色相成分の同一性を維持した自然な態様のメイクアップ画像を得ることができる。
画像処理装置には、任意的な構成要件を追加することができる。具体的にいうと、前記画像処理装置は、塗材が塗布されるべき原画像の部位における個々の画素を構成する第1、第2、第3の画素成分を、色相成分、彩度成分、輝度成分に変換する第1変換手段、
塗材塗布レイヤが合成された部位を構成する画素の色相成分、彩度成分、輝度成分を、第1、第2、第3の画素成分に変換する第2変換手段を具備するというものである。RGBの画素成分からなるオリジナルの顔画像、YCrCbの画素成分からなるオリジナル画像をメイクアップの対象とすることができるから、様々なタイプのカメラからの画像入力を、メイクアップの対象として利用することができる。
重み付けを低くすべき箇所をより具体的に規定することができる。その下位概念とは、、口金形状の重みを一般化したものである。具体的にいうと、塗材が塗布されるべき部位は唇であり、指定手段は、画像処理の対象となる部位の指定にあたって、指定された部位の輪郭形状を規定する輪郭形状線を生成し、前記生成手段は、塗材塗布レイヤを構成する個々の画素の色レンジを決定するにあたって、唇の輪郭形状を規定する輪郭形状線の中から、唇の口金部分の形状を規定する口金形状線を特定し、唇を構成する複数の画素のうち、特定された口金形状線の周辺に位置するものの画素の重みを低くするというものである。口角となる唇の両脇、及び、上下の唇の境界には重み係数が低く設定されることで陰影が与えられるから、唇の輪郭が際立ち、見栄えがよくなる。
方法発明の局面で実施化を図る場合、当該局面における方法は、原画像に対して画像処理を行うことで、原画像に現された対象体の一部の部位に、メイクアップ塗材が塗布された状態を示すメイクアップ画像を生成するコンピュータシステムにおける画像処理方法であって、原画像に現された対象体からメイクアップ塗材を塗布すべき部位の指定と、メイクアップ塗材の見本色を代表色とした色レンジをもつ複数の画素から構成される塗材塗布レイヤの生成と、塗材塗布レイヤは、原画像へと合成される画像であり、
塗材塗布レイヤを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、前記対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られ、塗材塗布レイヤの画素の値は、原画像の画素であって、位置的に対応するものの画素の値を塗材塗布レイヤの色レンジにマッピングすることで得られるというものになる。この方法の態様は、上述したような2.から13.までの改良を施すことができる。かかる画像処理方法では、企業内のユーザ、又は、エンドユーザが使用する場所での使用が可能になるから、本願の技術的範囲に属する方法発明の用途を広げることができる。
プログラムを実施する局面で実施化を図る場合、当該局面におけるプログラムは、原画像に対して画像処理を行うことで、原画像に現された対象体の一部の部位に、メイクアップ塗材が塗布された状態を示すメイクアップ画像を生成する処理をコンピュータに実行させプログラムであって、原画像に現された対象体からメイクアップ塗材を塗布すべき部位の指定と、メイクアップ塗材の見本色を代表色とした色レンジをもつ複数の画素から構成される塗材塗布レイヤの生成とをコンピュータに行わせるプログラムコードを含み、
塗材塗布レイヤは、原画像へと合成される画像であり、塗材塗布レイヤを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、前記対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られ、
塗材塗布レイヤの画素の値は、原画像の画素であって、位置的に対応するものの画素の値を塗材塗布レイヤの色レンジにマッピングすることで得られるというものになる。このプログラムの態様には、上述したような2.から13.までの改良を施すことができる。ネットワークプロバイダサーバや各種記録媒体を通じたプログラムの配布が可能になるから、一般のコンピュータソフトウェアやオンラインサービスの業界まで、本発明の用途を広げることができる。
12 色空間変換部
13 一時的メモリ
14 唇色レンジ算出部
15 口紅塗布レイヤ生成部
16 合成処理部
17 色空間逆変換部
Claims (14)
- 原画像に対して画像処理を行うことで、原画像に現された対象体の一部の部位に、メイクアップ塗材が塗布された状態を示すメイクアップ画像を生成する画像処理装置であって、
原画像に現された対象体からメイクアップ塗材を塗布すべき部位を指定する指定手段と、
メイクアップ塗材の見本色を代表色とした色レンジをもつ複数の画素から構成される塗材塗布レイヤを生成する生成手段と、
原画像に塗材塗布レイヤを合成する合成手段を備え、
塗材塗布レイヤを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、前記対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られ、
塗材塗布レイヤの画素の値は、原画像の画素であって、位置的に対応するものの画素の値を塗材塗布レイヤの色レンジにマッピングすることで得られ、
前記生成手段が、前記塗材塗布レイヤを生成するにあたって、原画像に対応する平面座標系において、画素の値がどのように分布しているかを示す分布マップを取得し、
前記生成手段によるマッピングは、分布マップに示される値であって、位置的に対応するものを重み係数として用いて色レンジを重み付け、重み付け後の値に、オフセットを付与することでなされる
ことを特徴とする画像処理装置。 - 前記原画像において指定手段により指定される部位は、環境光で照らされることにより生じるハイライト部分の画素と、環境光が遮られることで生じる陰影部分の画素とを含み、
前記原画像部位を構成する複数画素の代表的な値は、ハイライト部分の画素と、陰影部分の画素とを含む複数の画素に対して統計処理を施すことで算出される
ことを特徴とする請求項1記載の画像処理装置。 - 前記分布マップにより示される各画素位置の値は、塗材が塗布されるべき原画像の部位を構成する複数画素のうち、位置的に対応するものの画素の値と、当該部位を構成する色の下限値との差分を、当該部位における色レンジを用いて正規化したものであり、
前記オフセットは、塗り替え色の色レンジの下限値である
ことを特徴とする請求項1に記載の画像処理装置。 - 画像処理装置がアクセスし得る記録媒体には、サンプルファイルが記録されており、サンプルファイルは、画素の値が平面的にどのように分布しているかという分布態様のサンプルであり、
生成手段による分布マップの取得は、サンプルファイルを記録媒体から読み出すことでなされる
ことを特徴とする請求項1に記載の画像処理装置。 - 前記マッピングは、塗材が塗布されるべき原画像の部位を構成する複数の画素であって、位置的に対応するものの画素の値が、当該部位を構成する複数画素の色レンジ全体においてどれだけの割合を占めているかを示す相対値に所定の係数を乗じ、オフセットを足し合わせることで得られる
ことを特徴とする請求項1記載の画像処理装置。 - 前記相対値は、塗材が塗布されるべき原画像の部位における代表的な色の画素の値と、当該部位を構成する複数の画素であって、位置的に対応するものの画素の値との差分を、当該部位を構成する画素の色レンジ長を用いて正規化したものであり、前記所定の係数は、当該部位を表す複数画素の色レンジ長であり、前記オフセットは、当該部位を構成する色の色レンジの下限値である
ことを特徴とする請求項5に記載の画像処理装置。 - 前記塗材塗布レイヤにおける色レンジの上限値は、塗材が塗布されるべき原画像の部位を構成する複数の画素の代表的な値と、当該部位の色レンジの上限値との差分と、当該部位を構成する画素の色レンジのレンジ長との比率に、塗材塗布レイヤの色レンジのレンジ長を乗じて、塗材の見本色の画素の値を足し合わせることで算出され、
前記塗材塗布レイヤの色レンジの下限値は、前記塗材塗布レイヤの色レンジの上限値から、前記塗材塗布レイヤの色レンジのレンジ長を差し引くことで算出される
ことを特徴とする請求項1記載の画像処理装置。 - 前記塗材が塗布されるべき原画像の部位の色レンジは、当該部位を構成する画素に含まれる複数種別の画素成分のうち、特定の種別のものの数値範囲であり、
塗材が塗布されるべき原画像の部位は複数のチャネル画像を包含しており、
塗材塗布レイヤを構成する画素の値は、特定種別の画素成分により構成されるチャネル画像の個々の画素を、塗材塗布レイヤの色レンジにマッピングすることで得られる
ことを特徴とする請求項1記載の画像処理装置。 - 前記画像処理装置は成分種別毎の合成パラメータを有しており、
前記合成手段による合成は、
塗材塗布レイヤに含まれる複数チャネル画像のうち特定種別のものの画素成分と、前記複数のチャネル画像のうち特定種別のものの画素成分とを、特定種別に対応する合成パラメータを用いて重み付けて、互いに加算することでなされる
ことを特徴とする請求項8に記載の画像処理装置。 - 前記複数種別の画素成分は、色相、彩度、輝度であり、特定種別の画素成分は、色相、彩度、輝度のうち何れか1つ、又は、2以上のものの組合せである
ことを特徴とする請求項8に記載の画像処理装置。 - 前記画像処理装置は、
塗材が塗布されるべき原画像の部位における個々の画素を構成する第1、第2、第3の画素成分を、色相成分、彩度成分、輝度成分に変換する第1変換手段、
塗材塗布レイヤが合成された部位を構成する画素の色相成分、彩度成分、輝度成分を、第1、第2、第3の画素成分に変換する第2変換手段
を備えることを特徴とする請求項1記載の画像処理装置。 - 塗材が塗布されるべき部位は唇であり、
指定手段は、画像処理の対象となる部位の指定にあたって、指定された部位の輪郭形状を規定する輪郭形状線を生成し、
前記生成手段は、
塗材塗布レイヤを構成する個々の画素の色レンジを決定するにあたって、唇の輪郭形状を規定する輪郭形状線の中から、唇の口金部分の形状を規定する口金形状線を特定し、唇を構成する複数の画素のうち、特定された口金形状線の周辺に位置するものの画素の重みを低くする
ことを特徴とする請求項1記載の画像処理装置。 - 原画像に対して画像処理を行うことで、原画像に現された対象体の一部の部位に、メイクアップ塗材が塗布された状態を示すメイクアップ画像を生成するコンピュータシステムにおける画像処理方法であって、
原画像に現された対象体からメイクアップ塗材を塗布すべき部位の指定と、
メイクアップ塗材の見本色を代表色とした色レンジをもつ複数の画素から構成される塗材塗布レイヤの生成とを含み、
塗材塗布レイヤは、原画像へと合成される画像であり、
塗材塗布レイヤを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、前記対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られ、
塗材塗布レイヤの画素の値は、原画像の画素であって、位置的に対応するものの画素の値を塗材塗布レイヤの色レンジにマッピングすることで得られ、
前記塗材塗布レイヤを生成するにあたって、原画像に対応する平面座標系において、画素の値がどのように分布しているかを示す分布マップを取得し、
前記塗材塗布レイヤの色レンジへのマッピングは、分布マップに示される値であって、位置的に対応するものを重み係数として用いて色レンジを重み付け、重み付け後の値に、オフセットを付与することでなされる
ことを特徴とする画像処理方法。 - 原画像に対して画像処理を行うことで、原画像に現された対象体の一部の部位に、メイクアップ塗材が塗布された状態を示すメイクアップ画像を生成する処理をコンピュータに実行させるプログラムであって、
原画像に現された対象体からメイクアップ塗材を塗布すべき部位の指定と、
メイクアップ塗材の見本色を代表色とした色レンジをもつ複数の画素から構成される塗材塗布レイヤの生成とをコンピュータに行わせるプログラムコードを含み、
塗材塗布レイヤは、原画像へと合成される画像であり、
塗材塗布レイヤを構成する複数の画素の色レンジは、メイクアップ塗材が塗布されるべき原画像の部位を構成する複数画素の代表的な値と、メイクアップ塗材の見本色画素の値との比率に応じて、前記対象体の一部の部位を構成する複数画素の色レンジを拡大することで得られ、
前記塗材塗布レイヤを生成するにあたって、原画像に対応する平面座標系において、画素の値がどのように分布しているかを示す分布マップを取得し、
前記塗材塗布レイヤの色レンジへのマッピングは、分布マップに示される値であって、位置的に対応するものを重み係数として用いて色レンジを重み付け、重み付け後の値に、オフセットを付与することでなされる
ことを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013080090 | 2013-04-08 | ||
JP2013080090 | 2013-04-08 | ||
PCT/JP2014/001991 WO2014167831A1 (ja) | 2013-04-08 | 2014-04-07 | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014167831A1 JPWO2014167831A1 (ja) | 2017-02-16 |
JP6396890B2 true JP6396890B2 (ja) | 2018-09-26 |
Family
ID=51689253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015511106A Active JP6396890B2 (ja) | 2013-04-08 | 2014-04-07 | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9603437B2 (ja) |
EP (1) | EP2985732B1 (ja) |
JP (1) | JP6396890B2 (ja) |
CN (1) | CN104380339B (ja) |
WO (1) | WO2014167831A1 (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489107B (zh) * | 2013-08-16 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种制作虚拟试衣模特图像的方法和装置 |
US11265444B2 (en) * | 2013-08-23 | 2022-03-01 | Preemadonna Inc. | Apparatus for applying coating to nails |
JP6485629B2 (ja) * | 2015-01-29 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
JP6519853B2 (ja) * | 2015-01-29 | 2019-05-29 | パナソニックIpマネジメント株式会社 | 画像処理装置、スタイラス、および画像処理方法 |
WO2016121329A1 (ja) * | 2015-01-29 | 2016-08-04 | パナソニックIpマネジメント株式会社 | 画像処理装置、スタイラス、および画像処理方法 |
JP6458570B2 (ja) * | 2015-03-12 | 2019-01-30 | オムロン株式会社 | 画像処理装置および画像処理方法 |
US10303973B2 (en) | 2015-04-15 | 2019-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data |
JP6896811B2 (ja) * | 2015-04-15 | 2021-06-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
USD764498S1 (en) * | 2015-06-07 | 2016-08-23 | Apple Inc. | Display screen or portion thereof with graphical user interface |
US10671837B2 (en) * | 2015-09-08 | 2020-06-02 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
CN106846240B (zh) * | 2015-12-03 | 2021-05-07 | 斑马智行网络(香港)有限公司 | 一种调整融合素材的方法、装置和设备 |
EP3396619A4 (en) * | 2015-12-25 | 2019-05-08 | Panasonic Intellectual Property Management Co., Ltd. | MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION AND MAKE UP PART USE |
USD810117S1 (en) * | 2016-01-14 | 2018-02-13 | Perfect Corp. | Display screen with transitional graphical user interface |
US20170263031A1 (en) * | 2016-03-09 | 2017-09-14 | Trendage, Inc. | Body visualization system |
CN107180453B (zh) | 2016-03-10 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 人物面部模型的编辑方法及装置 |
JP6731616B2 (ja) * | 2016-06-10 | 2020-07-29 | パナソニックIpマネジメント株式会社 | バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム |
JP6908232B2 (ja) * | 2016-06-30 | 2021-07-21 | キーン アイ テクノロジーズ | マルチモーダルビューア |
JP6876941B2 (ja) * | 2016-10-14 | 2021-05-26 | パナソニックIpマネジメント株式会社 | バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム |
CN106780768A (zh) * | 2016-11-29 | 2017-05-31 | 深圳市凯木金科技有限公司 | 一种远程实时3d模拟化妆系统及其方法 |
US10417738B2 (en) * | 2017-01-05 | 2019-09-17 | Perfect Corp. | System and method for displaying graphical effects based on determined facial positions |
US10565741B2 (en) | 2017-02-06 | 2020-02-18 | L'oreal | System and method for light field correction of colored surfaces in an image |
US11812183B2 (en) | 2017-03-09 | 2023-11-07 | Shiseido Company, Ltd. | Information processing device and program |
CN108734070A (zh) * | 2017-04-24 | 2018-11-02 | 丽宝大数据股份有限公司 | 腮红指引装置及方法 |
CN108804972A (zh) * | 2017-04-27 | 2018-11-13 | 丽宝大数据股份有限公司 | 唇彩指引装置及方法 |
TW201931179A (zh) | 2017-07-13 | 2019-08-01 | 美商美國資生堂公司 | 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法,以及用於建議化妝之方法 |
CN107545536A (zh) * | 2017-08-17 | 2018-01-05 | 上海展扬通信技术有限公司 | 一种智能终端的图像处理方法及图像处理系统 |
CN109427075A (zh) * | 2017-08-24 | 2019-03-05 | 丽宝大数据股份有限公司 | 身体信息分析装置及其眼影分析方法 |
CN109427078A (zh) * | 2017-08-24 | 2019-03-05 | 丽宝大数据股份有限公司 | 身体信息分析装置及其唇妆分析方法 |
CN109508581A (zh) * | 2017-09-15 | 2019-03-22 | 丽宝大数据股份有限公司 | 身体信息分析装置及其腮红分析方法 |
CN109508587A (zh) * | 2017-09-15 | 2019-03-22 | 丽宝大数据股份有限公司 | 身体信息分析装置及其底妆分析方法 |
WO2019070886A1 (en) | 2017-10-04 | 2019-04-11 | Preemadonna Inc. | SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING |
CN109712065A (zh) * | 2017-10-25 | 2019-05-03 | 丽宝大数据股份有限公司 | 身体信息分析装置及其脸形模拟方法 |
US10607264B2 (en) | 2018-02-02 | 2020-03-31 | Perfect Corp. | Systems and methods for virtual application of cosmetic effects to photo albums and product promotion |
CN108564526A (zh) * | 2018-03-30 | 2018-09-21 | 北京金山安全软件有限公司 | 一种图像处理方法、装置、电子设备及介质 |
KR102081947B1 (ko) * | 2018-04-24 | 2020-02-26 | 주식회사 엘지생활건강 | 이동 단말기 및 화장품 자동인식 시스템 |
EP3628187A1 (en) | 2018-09-26 | 2020-04-01 | Chanel Parfums Beauté | Method for simulating the rendering of a make-up product on a body area |
WO2020097731A1 (en) * | 2018-11-15 | 2020-05-22 | Elmoznino Eric | System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models |
CN111259696B (zh) * | 2018-11-30 | 2023-08-29 | 百度在线网络技术(北京)有限公司 | 用于显示图像的方法及装置 |
EP3669748A1 (en) * | 2018-12-19 | 2020-06-24 | Koninklijke Philips N.V. | A mirror assembly |
EP3932251A4 (en) * | 2019-02-28 | 2022-03-09 | Panasonic Intellectual Property Management Co., Ltd. | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND FILM |
TWI708183B (zh) * | 2019-03-29 | 2020-10-21 | 麗寶大數據股份有限公司 | 個人化化妝資訊推薦方法 |
USD916856S1 (en) | 2019-05-28 | 2021-04-20 | Apple Inc. | Display screen or portion thereof with graphical user interface |
FR3097730B1 (fr) * | 2019-06-25 | 2022-10-28 | Oreal | Procédé de détermination d’une valeur spécifique d’une donnée d’entrée à partir d’un ensemble d’éléments physiques |
TWI735901B (zh) * | 2019-07-02 | 2021-08-11 | 華碩電腦股份有限公司 | 輸入裝置 |
CN112308944A (zh) * | 2019-07-29 | 2021-02-02 | 丽宝大数据股份有限公司 | 仿真唇妆的扩增实境显示方法 |
JP7015009B2 (ja) * | 2019-12-19 | 2022-02-02 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11212483B2 (en) | 2020-02-14 | 2021-12-28 | Perfect Mobile Corp. | Systems and methods for event-based playback control during virtual application of makeup effects |
JP6969622B2 (ja) * | 2020-02-20 | 2021-11-24 | 株式会社セガ | 撮影遊戯装置およびプログラム |
US12062078B2 (en) | 2020-09-28 | 2024-08-13 | Snap Inc. | Selecting color values for augmented reality-based makeup |
US11798202B2 (en) * | 2020-09-28 | 2023-10-24 | Snap Inc. | Providing augmented reality-based makeup in a messaging system |
BR102020022162A2 (pt) | 2020-10-29 | 2022-05-10 | Botica Comercial Farmacêutica Ltda. | Método de detecção e segmentação da região labial |
US11825184B1 (en) | 2022-05-09 | 2023-11-21 | Perfect Mobile Corp. | Systems and methods for event-based playback control during virtual application of accessories |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5974189A (en) * | 1993-05-24 | 1999-10-26 | Eastman Kodak Company | Method and apparatus for modifying electronic image data |
JP3723349B2 (ja) | 1998-06-18 | 2005-12-07 | 株式会社資生堂 | 口紅色変換システム |
ATE458232T1 (de) * | 2000-06-27 | 2010-03-15 | Rami Orpaz | Make-up- und modeschmuckanzeigeverfahren und - system |
WO2005073909A1 (ja) * | 2004-01-30 | 2005-08-11 | Digital Fashion Ltd. | 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法 |
US20090234716A1 (en) * | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Method of monetizing online personal beauty product selections |
JP2010211497A (ja) | 2009-03-10 | 2010-09-24 | Nikon Corp | デジタルカメラおよび画像処理プログラム |
JP4862955B1 (ja) | 2010-10-29 | 2012-01-25 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
JP4831259B1 (ja) | 2011-03-10 | 2011-12-07 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
US9118876B2 (en) * | 2012-03-30 | 2015-08-25 | Verizon Patent And Licensing Inc. | Automatic skin tone calibration for camera images |
-
2014
- 2014-04-07 JP JP2015511106A patent/JP6396890B2/ja active Active
- 2014-04-07 US US14/405,169 patent/US9603437B2/en active Active
- 2014-04-07 WO PCT/JP2014/001991 patent/WO2014167831A1/ja active Application Filing
- 2014-04-07 CN CN201480001468.0A patent/CN104380339B/zh not_active Expired - Fee Related
- 2014-04-07 EP EP14783201.8A patent/EP2985732B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
US9603437B2 (en) | 2017-03-28 |
CN104380339A (zh) | 2015-02-25 |
EP2985732A1 (en) | 2016-02-17 |
JPWO2014167831A1 (ja) | 2017-02-16 |
WO2014167831A1 (ja) | 2014-10-16 |
EP2985732A4 (en) | 2016-04-13 |
EP2985732B1 (en) | 2017-08-02 |
US20150145882A1 (en) | 2015-05-28 |
CN104380339B (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6396890B2 (ja) | メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム | |
CN106548455B (zh) | 用于调整图像的亮度的设备和方法 | |
CN109448089B (zh) | 一种渲染方法及装置 | |
US9019310B2 (en) | Methods and apparatus for applying complex continuous gradients to images | |
TW202234341A (zh) | 圖像處理方法及裝置、電子設備、儲存媒體和程式產品 | |
CN111666017A (zh) | 自动化方法和设备及预处理方法和计算机可读媒体 | |
Fender et al. | Optispace: Automated placement of interactive 3d projection mapping content | |
US9251169B2 (en) | Systems and methods for creating photo collages | |
CN112034984B (zh) | 一种虚拟模型处理方法、装置、电子设备和存储介质 | |
Kumaragurubaran | High dynamic range image processing toolkit for lighting simulations and analysis | |
Li et al. | Interactive image/video retexturing using GPU parallelism | |
JP2003168130A (ja) | リアルタイムで合成シーンのフォトリアルなレンダリングをプレビューするための方法 | |
Das et al. | Augmented world: real time gesture based image processing tool with intel realsense™ technology | |
JP2001266176A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
Lu Lu | Large Scale Immersive Holograms with Microsoft Hololens | |
Liang et al. | TouchTone: Interactive Local Image Adjustment Using Point‐and‐Swipe | |
WO2023227886A1 (en) | Simulating foundation makeup effect in augmented images | |
Pokorný et al. | A 3D Visualization of Zlín in the Eighteen–Nineties Using Virtual Reality | |
Luoto | Color Editor-Designing high dynamic range color management tools for Unreal Engine | |
Moioli | Understanding Materials, Lighting, and World Settings | |
Rafi et al. | High dynamic range images: Evolution, applications and suggested processes | |
Ma | The direct manipulation of pasted surfaces | |
Gee | 3D in Photoshop: the ultimate guide for creative professionals | |
CN117745920A (zh) | 一种模型贴图方法、装置、设备及存储介质 | |
CN117274460A (zh) | 虚拟角色的妆容渲染方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6396890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |