JP6741270B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP6741270B2 JP6741270B2 JP2016101023A JP2016101023A JP6741270B2 JP 6741270 B2 JP6741270 B2 JP 6741270B2 JP 2016101023 A JP2016101023 A JP 2016101023A JP 2016101023 A JP2016101023 A JP 2016101023A JP 6741270 B2 JP6741270 B2 JP 6741270B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image processing
- image
- person
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
図1は、本実施形態における画像処理装置の機能構成の一例を示している。図1に示すように、画像処理装置10は、入力手段11と、出力手段12と、記憶手段13と、画像取得手段14と、検出手段15と、設定手段16と、画像処理手段17と、定量化手段18と、制御手段19とを有する。
ここで、本実施形態では、上述した画像処理装置10の各機能をコンピュータに実行させる実行プログラム(画像処理プログラム)を生成し、例えば汎用のPC、サーバ等にインストールすることで、本実施形態における画像処理等を実現することができる。
次に、本実施形態における画像処理の一例について、フローチャートを用いて説明する。図3は、本実施形態における画像処理の一例を示すフローチャートである。図3の例において、画像処理装置10の画像取得手段14は、カメラ等により撮影された人物の顔の輪郭又は大きさに基づく小顔等に対するメイクアップ効果を定量化する対象となる画像を取得する(S01)。次に、画像処理装置10の検出手段15は、画像中の人物から顔領域を検出する(S02)。
次に、画像処理装置10における設定手段16、画像処理手段17、及び定量化手段18を用いたメイクアップ効果の定量化の具体例について説明する。本実施形態では、例えば素顔の顔に関する特徴を維持しながら、小顔の度合いを段階的に変化させる。その方法として、例えば画像処理手段17において顔形状の台形補正等を行い、補正により生成された比較刺激(指標の異なる複数の顔画像)等を用いて、標準刺激(元画像)の小顔度を上下法(up−down method、staircase method)を用いて測定することで、メイクアップによる小顔効果を定量化する。
ここで、顔画像のあご幅を変える方法と、その指標例について説明する。図4は、顔の特徴点の抽出例を示す図である。図4の例では、カメラ等で撮影した画像に含まれる被験者(ユーザ)の顔画像30に対して、顔の特徴点として、例えば輪郭線上の6点(特徴点1〜6)の座標を計測する。
次に、本実施形態における画像処理における元画像と補正画像とのピクセルの対応関係について説明する。補正画像は、次の手順で生成される。まず、元画像と同じサイズのブランク画像(新画像)を生成する。次に、新画像の各ピクセルに対し、順番に元画像のピクセルを使って埋めてゆく。新画像の座標(xn,yn)のピクセルには、元画像の座標(x0,y0)のピクセルの色を使う。したがって、x0とy0とを求めることになる。元画像のどのピクセルを用いるかは、例えば以下に示す計算式等で決定することができる。
<あごのラインによる補正(傾斜)がある場合>
向かって右半面の顔を処理する式は、
w=exp((xn-(((xs4-xs6)/(ys4-ys6))*(yn-ys5)+xs5+L))/A) ・・・(1A)
x0=xn-w*L ・・・(2A)
向かって左半面の顔を処理する式は、
w=exp(((((xs3-xs1)/(ys3-ys1))*(yn-ys2)+xs2-L)-xn)/A) ・・・(1B)
x0=xn+w*L ・・・(2B)
ここで、上述した(1A)又は(1B)式において、Aは指数関数の効果を調整する定数であり、例えば画像サイズ等に依存する。
<あごのラインによる補正(傾斜)がない場合>
向かって右半面の顔を処理する式は、
w=exp((xn-(0*(yn-ys5)+xs5+L))/A) ・・・(3A)
x0=xn-w*L ・・・(4A)
向かって左半面の顔を処理する式は、
w=exp(((0*(yn-ys2)+xs2-L)-xn)/A) ・・・(3B)
x0=xn+w*L ・・・(4B)
これらにより、(x0,y0)が求まる。
ここで、本実施形態において、顔画像のあごが、どのくらい小さいかを表す指標として例えば「幅」と「あご・インデックス」とがある。「幅」とは、例えば特徴点2と特徴点5との間隔である。この指標のメリットは、画像生成時に必ず線形に操作できることと、定量化の処理が簡便なことである。また、「あご・インデックス」とは、顔の下半分の面積を顔の上半分の面積で除算した値である。半分の基準となる位置(ライン)は、例えば上述した図4に示す特徴点1と特徴点6との平均的な高さ等を用いて定義することができるが、これに限定されるものではない。したがって、ある画像(補正画像)において、どれだけ小顔か(痩せたか)を表すには、任意の画像における上述した指標と、元画像の指標との比を取ればよい。上述した指標に基づく画像(比較刺激)の生成は、画像処理手段17が行う。また、画像処理手段17は、標準刺激や比較刺激の顔画像が素顔の顔画像の場合にCG等を用いてメイクアップされた顔画像を生成する。
w=exp((605-(((512-678)/(930-555))*(800-800)+625+(-20)))/85)=1
x0=605-1*(-20)=625
となり、画像処理の結果として、x座標625の点が605に−20ピクセル移動したような画像が生成される(特徴点5の移動に相当する)。
w=exp(((((303-130)/(930-555))*(426-800)+195-(-20))-119)/85)=0.406385
x0=119+0.406385*(-20)=110.8723
ピクセルは、整数単位なので四捨五入して111となり、したがって点41の座標(119,426)に対応する元画像の点は(111,426)であり、点41が8ピクセル横に移動したように見える。
w=exp((407-(((512-678)/(930-555))*(511-800)+625+(-20)))/85)=0.0216
x0=407-(0.0216*(-20))=407.4
となる。ここで、ピクセルは、整数単位であるため、四捨五入して407となり、y座標値はいつもyo=ynであるため、511となる。つまり、新しい画像の座標407,511に対応する元画像の点は同じく(407,511)である。
w=exp((407-(0*(511-800)+625+(-20)))/85)=0.09735
x0=407-(0.09735*(-20))=408.9
となる。これを小数点第一位で四捨五入して整数にすると409となる。つまり、元画像では2ピクセル横に当たる箇所から点を取ってくることになる。ただし、これらの結果は定数Aにも依存し、元画像と同じになる場合がある。
次に、補正により操作したピクセルに対応する上述した幅(あご幅)比、あご・インデックス比について説明する。幅比については、任意の顔のあご幅と元画像のあご幅との比で求めることができる。例えば元画像のあご幅を430ピクセルとすると、操作したピクセルが0のとき、それは元画像であるため、あご幅比は430/430=1となる。また、操作したピクセルが左右の片方につき−20のとき、あご幅は、430+(2*(−20))=390であり、あご幅比は390/430=0.906977となる。
ここで、あご幅を用いた定量化の方法について、本実施形態では上下法を用いて指標を設定してもよい。例えば、画像処理装置10において、設定手段16は、顔領域の輪郭に対応させた所定の形状を指標として設定する。画像処理手段17は、指標として設定された所定の形状の面積を変化させることで、人物の顔の所定の部位を変形させる。
顔をスリムに見せる化粧法があることは知られている。しかし、そのメイクが(人の目にとって)どの程度の効果を持っているのかを測定するための良い尺度は存在していなかった。そこで、本実施形態では、顔の「スリム度」或いは「小顔度」を測定するための客観的な尺度(ものさし)を設定する。その上で、その尺度を使った測定方法として上下法を用いる。上下法(階段法)は心理物理学的測定方法の一例である。
11 入力手段
12 出力手段
13 記憶手段
14 画像取得手段
15 検出手段
16 設定手段
17 画像処理手段
18 定量化手段
19 制御手段
21 入力装置
22 出力装置
23 ドライブ装置
24 補助記憶装置
25 メモリ装置
26 CPU
27 ネットワーク接続装置
28 記録媒体
29 システムバス
30,60,70,71 顔画像
41,42 点
50 枠
Claims (16)
- 画像中の人物から顔領域を検出する検出手段と、
前記検出手段により検出された顔領域の輪郭に対応させた指標を設定する設定手段と、
前記設定手段により設定された指標を基準として、前記人物の顔の所定部位を変形させる画像処理手段と、
前記画像処理手段により前記人物の顔の所定の部位を変形させたときの変化量に基づいて、前記人物の顔の輪郭又は大きさに関わるメイクアップ効果を定量化する定量化手段とを有することを特徴とする画像処理装置。 - 前記設定手段は、
前記顔領域の輪郭上の頬弓部に対応付けられた第1の点と、オトガイ部に対応付けられた第2の点とを結ぶ直線を前記指標として設定し、
前記画像処理手段は、
前記指標として設定された前記直線の傾きを変化させることで、前記人物の顔の所定の部位を変形させることを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理手段は、
前記人物の顔の所定の部位を変化させることで生じる前記画像の画素の移動量を、前記人物のあごの角度に基づいて補正することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記定量化手段は、
前記画像処理手段により補正された前記変化量に基づいて、前記人物の顔の輪郭又は大きさに関わるメイクアップ効果を定量化することを特徴とする請求項3に記載の画像処理装置。 - 前記設定手段は、
前記顔領域の輪郭に対応させた所定の形状を前記指標として設定し、
前記画像処理手段は、
前記指標として設定された前記所定の形状の面積を変化させることで、前記人物の顔の所定の部位を変形させることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。 - 前記定量化手段は、
前記画像処理手段により変形させたときの前記形状の面積比率に基づいて、前記人物の顔の輪郭又は大きさに関わるメイクアップ効果を定量化することを特徴とする請求項5に記載の画像処理装置。 - 前記設定手段は、
前記形状を前記顔領域の下半分の領域の輪郭に対応させ、前記人物の目の領域に対応して設定された第1の線を上辺とし、前記顔のあごの領域に対応して設定された第2の線を下辺とする台形形状として設定することを特徴とする請求項5又は6に記載の画像処理装置。 - 前記設定手段は、
前記第1の線を、前記顔領域の下半分の領域に対する左右の耳珠点を結ぶ線とし、前記第2の線を、前記第1の線に平行で前記顔のオトガイ点を通る線として設定し、
前記画像処理手段は、
前記第2の線を伸縮させた等脚台形の面積を変化させることで、前記人物の顔を変形させることを特徴とする請求項7に記載の画像処理装置。 - 前記画像処理手段は、
前記等脚台形の面積を変化させることで、前記人物の顔の下半分の領域を縮小又は拡大させた前記人物の顔のパターンを生成することを特徴とする請求項8に記載の画像処理装置。 - 前記画像処理手段は、前記人物の顔の画像を、顔の輪郭の画像、顔の中心パーツの画像及び頸部・肩の画像に分割し、異なる割合で伸縮させた複数の前記顔の輪郭の画像に、前記人物の顔の画像から分割した前記顔の中心パーツの画像及び頸部・肩の画像を合成して前記人物の顔のパターンを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記画像処理手段は、前記人物の顔の画像を、顔の画像及び頸部・肩の画像に分割し、異なる割合で伸縮させた複数の前記顔の画像に、前記人物の顔の画像から分割した前記頸部・肩の画像を合成して前記人物の顔のパターンを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記定量化手段は、
前記画像処理手段により生成された前記人物の顔のパターンと、前記人物にメイクアップを施した顔とを比較することで、前記人物の顔の輪郭に対するメイクアップ効果を定量化することを特徴とする請求項9乃至11のいずれか一項に記載の画像処理装置。 - 前記定量化手段は、
前記人物の顔のパターンと、前記人物にメイクアップを施した顔とを心理物理測定法のうち上下法を用いて比較することで、前記人物の顔の輪郭に対する錯視効果を定量化することを特徴とする請求項12に記載の画像処理装置。 - 前記定量化手段は、
前記人物の顔の輪郭に対するメイクアップ効果として、前記人物にメイクアップを施したときの小顔効果を定量化することを特徴とする請求項12に記載の画像処理装置。 - 画像処理装置が、
画像中の人物から顔領域を検出する検出手順と、
前記検出手順により検出された顔領域の輪郭に対応させた指標を設定する設定手順と、
前記設定手順により設定された指標を基準として、前記人物の顔の所定部位を変形させる画像処理手順と、
前記画像処理手順により前記人物の顔の所定の部位を変形させたときの変化量に基づいて、前記人物の顔の輪郭又は大きさに関わるメイクアップ効果を定量化する定量化手順とを有することを特徴とする画像処理方法。 - コンピュータを、
請求項1乃至14の何れか一項に記載の画像処理装置が有する各手段として機能させるための画像処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015199425 | 2015-10-07 | ||
JP2015199425 | 2015-10-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017073108A JP2017073108A (ja) | 2017-04-13 |
JP6741270B2 true JP6741270B2 (ja) | 2020-08-19 |
Family
ID=58537291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016101023A Active JP6741270B2 (ja) | 2015-10-07 | 2016-05-20 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6741270B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3605467B1 (en) | 2017-03-31 | 2023-08-09 | Kansai Paint Co., Ltd. | Coating color identifying device, coating color identifying method, coating color identifying program, and computer-readable medium containing coating color identifying program |
CN110168601B (zh) | 2017-04-20 | 2023-05-26 | 韩国斯诺有限公司 | 通过分析校正模式的影像校正方法及系统 |
CN111640058B (zh) * | 2020-06-03 | 2023-05-09 | 恒信东方文化股份有限公司 | 一种图像融合处理方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021290A (ja) * | 1996-06-28 | 1998-01-23 | Pola Chem Ind Inc | メークアップのシミュレート法 |
JPH10289303A (ja) * | 1997-04-16 | 1998-10-27 | Pola Chem Ind Inc | 好印象を形成するメークアップの選択法 |
JP2008006224A (ja) * | 2006-06-30 | 2008-01-17 | Kao Corp | 顔画像の光沢色サンプル |
JP2011053942A (ja) * | 2009-09-02 | 2011-03-17 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP5240795B2 (ja) * | 2010-04-30 | 2013-07-17 | オムロン株式会社 | 画像変形装置、電子機器、画像変形方法、および画像変形プログラム |
-
2016
- 2016-05-20 JP JP2016101023A patent/JP6741270B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017073108A (ja) | 2017-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650224B2 (en) | Facial structural shaping | |
CN106909875B (zh) | 人脸脸型分类方法和系统 | |
US9563975B2 (en) | Makeup support apparatus and method for supporting makeup | |
DE112016004437T5 (de) | Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit | |
AU2016354889B2 (en) | Method and device for estimating absolute size dimensions of a test object | |
WO2011135977A1 (ja) | 画像変形装置、電子機器、画像変形方法、画像変形プログラム、および該プログラムを記録した記録媒体 | |
CN107452049B (zh) | 一种三维头部建模方法及装置 | |
WO2016151691A1 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
KR101759188B1 (ko) | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 | |
JP6741270B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
TWI780919B (zh) | 人臉影像的處理方法、裝置、電子設備及儲存媒體 | |
CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
CN110335194B (zh) | 一种人脸变老图像处理方法 | |
JP2019046239A (ja) | 画像処理装置、画像処理方法、プログラム及び合成用画像データ | |
JP2000285222A (ja) | 目元メーキャップシミュレーションシステム | |
JP5095182B2 (ja) | 顔分類装置、顔分類プログラム、及び該プログラムが記録された記録媒体 | |
JP2005242535A (ja) | 画像補正装置 | |
KR20190094709A (ko) | 얼굴 분석 장치 및 방법 | |
JP2003030684A (ja) | 顔3次元コンピュータグラフィック生成方法及び装置及び顔3次元コンピュータグラフィック生成プログラム及び顔3次元コンピュータグラフィック生成プログラムを格納した記憶媒体 | |
TWI630579B (zh) | 電子裝置、電腦可讀取記錄媒體及臉部影像顯示方法 | |
JP4345440B2 (ja) | 輪郭判断装置及び輪郭判断方法 | |
JP6287170B2 (ja) | 眉生成装置、眉生成方法及びプログラム | |
Leta et al. | A study of the facial aging-a multidisciplinary approach | |
JP6209417B2 (ja) | 目元印象評価装置および目元印象評価方法 | |
WO2022003843A1 (ja) | 判定プログラム、判定装置、および判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20160607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6741270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |