JP5273208B2 - 画像処理装置、画像処理方法、および制御プログラム - Google Patents
画像処理装置、画像処理方法、および制御プログラム Download PDFInfo
- Publication number
- JP5273208B2 JP5273208B2 JP2011127754A JP2011127754A JP5273208B2 JP 5273208 B2 JP5273208 B2 JP 5273208B2 JP 2011127754 A JP2011127754 A JP 2011127754A JP 2011127754 A JP2011127754 A JP 2011127754A JP 5273208 B2 JP5273208 B2 JP 5273208B2
- Authority
- JP
- Japan
- Prior art keywords
- weight
- image
- region
- correction amount
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 150
- 238000003672 processing method Methods 0.000 title claims description 22
- 238000012937 correction Methods 0.000 claims abstract description 332
- 210000000056 organ Anatomy 0.000 claims abstract description 182
- 238000003702 image correction Methods 0.000 claims abstract description 66
- 230000007423 decrease Effects 0.000 claims description 25
- 230000005484 gravity Effects 0.000 claims description 14
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 53
- 230000008569 process Effects 0.000 abstract description 33
- 230000001815 facial effect Effects 0.000 abstract description 17
- 239000003086 colorant Substances 0.000 description 48
- 238000001514 detection method Methods 0.000 description 37
- 238000011156 evaluation Methods 0.000 description 24
- 238000010606 normalization Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 239000006185 dispersion Substances 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 238000009499 grossing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 230000002087 whitening effect Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000004195 gingiva Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
図2は、本実施形態に係るデジタルカメラ30の概略構成を示すブロック図である。デジタルカメラ30は、指示入力装置2、撮像装置3、画像記憶装置4、表示装置5、および画像処理装置31を備える。
画像処理装置31は、画像取得部(指示受領部)11、顔検出部12、特徴検出部13、適否判定部14、口画像正規化部15、平滑化部16、肌代表色特定部17、候補色特定部18、唇代表色特定部19、唇領域特定部20、画像補正部21、合成部22、表示制御部23、口内部領域特定部32、歯候補色特定部33、および歯代表色特定部34を備える。
以下に、デジタルカメラ30における画像補正処理の流れについて説明する。
本実施形態の画像処理装置31によれば、唇と肌とを含む口画像の輝度を除いた色相および彩度の情報に基づいて、様々な色であり得る唇の代表色を特定し、特定した唇の代表色に基づいて唇領域を正確に特定することができる。そして、特定した唇領域に補正処理を行うことで、画像の中の人物の唇に、適切な補正処理を施すことができる。
以下に、デジタルカメラ30における歯のホワイトニングの画像補正処理の流れについて説明する。なお、唇領域を特定するまでの処理(図6に示す処理)は、上記唇補正の場合と同様である。
本実施形態の画像処理装置31によれば、唇領域に基づいて、口内部領域を正確に特定することができる。そして、口内部領域の中の歯である度合いが大きい領域に対して補正処理を行うことで、画像の中の人物の歯に、適切な補正処理を施すことができる。また、口内部領域の特定の位置(水平方向中央)からの距離に応じて、補正重みWhを変化させることにより、口端点付近の口内部領域の境界での輝度の補正量を小さくすることができる。それゆえ、口内部領域の境界が不自然に強調されることを防ぎながら、歯の領域に対して適切に(見た目が自然な)補正を行うことができる。
3 撮像装置
4 画像記憶装置
5 表示装置
11 画像取得部(指示受領部)
12 顔検出部
13 特徴検出部
14 適否判定部
15 口画像正規化部
16 平滑化部
17 肌代表色特定部
18 候補色特定部
19 唇代表色特定部
20 唇領域特定部(第2器官尤度特定部)
21 画像補正部
22 合成部
23 表示制御部
30 デジタルカメラ
31 画像処理装置
32 口内部領域特定部
33 歯候補色特定部
34 歯代表色特定部
41 唇重み特定部(第2重み決定部)
42 唇尤度特定部(第1器官尤度特定部)
43 唇位置重み決定部(第1重み決定部)
44 唇補正量決定部(補正量決定部)
45 唇画像補正部(画像補正部)
51 歯色類似度特定部(第1器官尤度特定部)
52 歯位置重み決定部(第1重み決定部)
53 歯補正量決定部(補正量決定部)
54 歯画像補正部(画像補正部)
Claims (27)
- 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の1点である第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備えることを特徴とする画像処理装置。 - 上記補正量は、上記第1器官尤度と上記第1重みとの積に比例することを特徴とする請求項1に記載の画像処理装置。
- 上記画像補正部は、上記補正量が大きいほど対応する上記第1領域の位置の輝度を大きく増加させることを特徴とする請求項1に記載の画像処理装置。
- 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記第1器官尤度特定部は、色空間の色相彩度平面における上記第1代表色と上記第1領域の各位置の色との間の距離と、上記第1代表色と該位置の色との色相の差とに応じて、上記第1器官尤度を特定することを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記第1位置は上記第1領域の重心または中心を通る線を示し、
上記第1重み決定部は、上記第1位置が示す線からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記第1位置は上記第1領域の中の線を示し、上記第1位置が示す線は、2つの口端点を結ぶ線に対して垂直であり、
上記第1重み決定部は、上記第1位置が示す線からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記第1重み決定部は、上記第1領域における上記第1器官尤度と輝度との積が最も大きい位置を上記第1位置とすることを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記第1位置は、上記第1領域の重心または中心を示し、
上記第1重み決定部は、上記第1位置が示す点からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記第1位置は、上記第1領域における上記第1器官尤度が第1閾値以上である領域の重心または中心を示し、
上記第1重み決定部は、上記第1位置が示す点からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記第1位置は上記第1領域の中の点または線を示し、
上記第1位置は、上記顔画像における人物の顔の向きに応じた実際の口の中心位置を示すことを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記補正量決定部は、上記第1領域の各位置について、上記第1器官尤度、上記第1重みおよび輝度が大きいほど補正量が大きくなるように上記補正量を決定することを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
上記画像補正部は、上記第1器官尤度が第2閾値以上である第2領域を補正領域とし、上記補正領域の画像を上記補正量を用いて補正することを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1領域の各位置について、該位置の色と処理対象ではない別の器官の代表色である第2代表色との差に基づいて、該位置の第2器官尤度を特定する第2器官尤度特定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように、かつ、上記第2器官尤度が小さいほど上記補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備えることを特徴とする画像処理装置。 - 人物の口を含む顔画像について画像処理を行う画像処理装置において、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定部と、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定部と、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定部と、
上記補正量を用いて画像を補正する画像補正部とを備え、
処理対象である上記器官は唇であり、
左右の口端点を結ぶ線分の垂直二等分線上にあり、かつ、上記第1領域の内側のある点を第2位置として、
上記第1領域の各位置について、上記第2位置で第2重みが最大となるように、かつ、上記第1領域の境界の少なくとも一部で上記第2重みが最小となるように、上記第2重みを決定する第2重み決定部をさらに備え、
上記第1器官尤度特定部は、上記第1領域の各位置について、上記第2重みが小さいほど上記第1器官尤度を小さくすることを特徴とする画像処理装置。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の1点である第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1器官尤度特定ステップにおいては、色空間の色相彩度平面における上記第1代表色と上記第1領域の各位置の色との間の距離と、上記第1代表色と該位置の色との色相の差とに応じて、上記第1器官尤度を特定することを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1位置は上記第1領域の重心または中心を通る線を示し、
上記第1重み決定ステップにおいては、上記第1位置が示す線からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1位置は上記第1領域の中の線を示し、上記第1位置が示す線は、2つの口端点を結ぶ線に対して垂直であり、
上記第1重み決定ステップにおいては、上記第1位置が示す線からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1重み決定ステップにおいては、上記第1領域における上記第1器官尤度と輝度との積が最も大きい位置を上記第1位置とすることを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1位置は、上記第1領域の重心または中心を示し、
上記第1重み決定ステップにおいては、上記第1位置が示す点からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1位置は、上記第1領域における上記第1器官尤度が第1閾値以上である領域の重心または中心を示し、
上記第1重み決定ステップにおいては、上記第1位置が示す点からの距離が大きいほど上記第1重みが小さくなるように上記第1重みを決定することを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1位置は上記第1領域の中の点または線を示し、
上記第1位置は、上記顔画像における人物の顔の向きに応じた実際の口の中心位置を示すことを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記補正量決定ステップにおいては、上記第1領域の各位置について、上記第1器官尤度、上記第1重みおよび輝度が大きいほど補正量が大きくなるように上記補正量を決定することを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記画像補正ステップにおいては、上記第1器官尤度が第2閾値以上である第2領域を補正領域とし、上記補正領域の画像を上記補正量を用いて補正することを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
上記顔画像の少なくとも口の一部を含む第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1領域の各位置について、該位置の色と処理対象ではない別の器官の代表色である第2代表色との差に基づいて、該位置の第2器官尤度を特定する第2器官尤度特定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように、かつ、上記第2器官尤度が小さいほど上記補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法。 - 人物の口を含む顔画像についての画像処理方法であって、
処理対象である器官は唇であり、
左右の口端点を結ぶ線分の垂直二等分線上にあり、かつ、上記顔画像の少なくとも口の一部を含む第1領域の内側のある点を第2位置として、
上記第1領域の各位置について、上記第2位置で第2重みが最大となるように、かつ、上記第1領域の境界の少なくとも一部で上記第2重みが最小となるように、上記第2重みを決定する第2重み決定ステップと、
上記顔画像の少なくとも口の一部を含む上記第1領域の各位置について、該位置の色と処理対象である器官の代表色である第1代表色との差に基づいて、該位置が上記器官であることの尤度を第1器官尤度として特定する第1器官尤度特定ステップと、
上記第1領域の各位置について、上記第1領域の第1位置からの距離が大きいほど第1重みが小さくなるように上記第1重みを決定する第1重み決定ステップと、
上記第1器官尤度および上記第1重みが大きいほど補正量が大きくなるように該位置の上記補正量を決定する補正量決定ステップと、
上記補正量を用いて画像を補正する画像補正ステップとを備え、
上記第1器官尤度特定ステップにおいては、上記第1領域の各位置について、上記第2重みが小さいほど上記第1器官尤度を小さくすることを特徴とする画像処理方法。 - 人物の口を含む顔画像について画像処理を行う画像処理装置の制御プログラムであって、
請求項15から26のいずれか一項に記載の画像処理方法の各ステップを、コンピュータに実行させる制御プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011127754A JP5273208B2 (ja) | 2011-06-07 | 2011-06-07 | 画像処理装置、画像処理方法、および制御プログラム |
PCT/JP2012/056515 WO2012169250A1 (ja) | 2011-06-07 | 2012-03-14 | 画像処理装置、画像処理方法、および制御プログラム |
EP12797180.2A EP2720190B1 (en) | 2011-06-07 | 2012-03-14 | Image processing device, image processing method, and control program |
US14/122,503 US9245330B2 (en) | 2011-06-07 | 2012-03-14 | Image processing device, image processing method, and computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011127754A JP5273208B2 (ja) | 2011-06-07 | 2011-06-07 | 画像処理装置、画像処理方法、および制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012256130A JP2012256130A (ja) | 2012-12-27 |
JP5273208B2 true JP5273208B2 (ja) | 2013-08-28 |
Family
ID=47295824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011127754A Active JP5273208B2 (ja) | 2011-06-07 | 2011-06-07 | 画像処理装置、画像処理方法、および制御プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9245330B2 (ja) |
EP (1) | EP2720190B1 (ja) |
JP (1) | JP5273208B2 (ja) |
WO (1) | WO2012169250A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5273208B2 (ja) * | 2011-06-07 | 2013-08-28 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
KR102135155B1 (ko) * | 2013-12-12 | 2020-07-17 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
JP6369246B2 (ja) | 2014-09-08 | 2018-08-08 | オムロン株式会社 | 似顔絵生成装置、似顔絵生成方法 |
JP2016076851A (ja) * | 2014-10-07 | 2016-05-12 | 株式会社リコー | 撮像装置、画像処理方法、及びプログラム |
CN106464815B (zh) * | 2014-11-21 | 2020-01-14 | 深圳市大疆创新科技有限公司 | 高动态范围成像的快速自适应混合的系统以及方法 |
JP6458570B2 (ja) | 2015-03-12 | 2019-01-30 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP2016173791A (ja) * | 2015-03-18 | 2016-09-29 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6876941B2 (ja) * | 2016-10-14 | 2021-05-26 | パナソニックIpマネジメント株式会社 | バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム |
CN109427078A (zh) * | 2017-08-24 | 2019-03-05 | 丽宝大数据股份有限公司 | 身体信息分析装置及其唇妆分析方法 |
CN108596992B (zh) * | 2017-12-31 | 2021-01-01 | 广州二元科技有限公司 | 一种快速实时的唇彩化妆方法 |
US11004080B2 (en) * | 2018-03-22 | 2021-05-11 | Capital One Services, Llc | Fraud deterrence and/or identification using multi-faceted authorization procedures |
US10835349B2 (en) * | 2018-07-20 | 2020-11-17 | Align Technology, Inc. | Parametric blurring of colors for teeth in generated images |
BR112021005139A2 (pt) * | 2018-09-25 | 2021-06-15 | Sony Corporation | aparelho e método de processamento de imagem, e, programa para fazer com que um aparelho de processamento de imagem execute um processo de imagem |
KR102607789B1 (ko) * | 2018-12-17 | 2023-11-30 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
US10878566B2 (en) * | 2019-04-23 | 2020-12-29 | Adobe Inc. | Automatic teeth whitening using teeth region detection and individual tooth location |
JP7275940B2 (ja) * | 2019-07-08 | 2023-05-18 | オムロン株式会社 | 制御プログラムおよび方法 |
EP4012604B1 (en) * | 2020-12-09 | 2024-02-21 | Chanel Parfums Beauté | A method for identifying a lip-makeup product appearing in an image |
US11423697B1 (en) | 2021-08-12 | 2022-08-23 | Sdc U.S. Smilepay Spv | Machine learning architecture for imaging protocol detector |
JP7428683B2 (ja) | 2021-08-30 | 2024-02-06 | 株式会社モリタ製作所 | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6137896A (en) * | 1997-10-07 | 2000-10-24 | National Research Council Of Canada | Method of recognizing faces using range images |
JP3362112B2 (ja) * | 1997-10-20 | 2003-01-07 | 株式会社ナビタイムジャパン | 顔画像描画方法および装置 |
AUPQ464099A0 (en) * | 1999-12-14 | 2000-01-13 | Canon Kabushiki Kaisha | Emotive editing system |
US6828972B2 (en) * | 2002-04-24 | 2004-12-07 | Microsoft Corp. | System and method for expression mapping |
JP4072071B2 (ja) * | 2003-02-13 | 2008-04-02 | 富士フイルム株式会社 | 顔画像補正方法および装置、並びに顔画像補正プログラム |
US7039222B2 (en) | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
US7643671B2 (en) * | 2003-03-24 | 2010-01-05 | Animetrics Inc. | Facial recognition system and method |
JP4519681B2 (ja) * | 2004-02-26 | 2010-08-04 | 大日本印刷株式会社 | 人物の唇領域マスクデータの作成方法および作成装置 |
JP4496465B2 (ja) * | 2004-04-23 | 2010-07-07 | ノーリツ鋼機株式会社 | 赤目補正方法、プログラム、及びこの方法を実施する装置 |
JP2006338377A (ja) * | 2005-06-02 | 2006-12-14 | Fujifilm Holdings Corp | 画像補正方法および装置並びにプログラム |
JP5354842B2 (ja) * | 2006-05-26 | 2013-11-27 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
JP4666179B2 (ja) * | 2007-07-13 | 2011-04-06 | 富士フイルム株式会社 | 画像処理方法および画像処理装置 |
JP4702635B2 (ja) * | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 |
JP5089405B2 (ja) * | 2008-01-17 | 2012-12-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びに撮像装置 |
JP2009231879A (ja) | 2008-03-19 | 2009-10-08 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
JP2009290660A (ja) * | 2008-05-30 | 2009-12-10 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置 |
JP4748271B2 (ja) * | 2009-01-28 | 2011-08-17 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
JP4831259B1 (ja) * | 2011-03-10 | 2011-12-07 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
JP5273208B2 (ja) * | 2011-06-07 | 2013-08-28 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
JP2013164796A (ja) * | 2012-02-13 | 2013-08-22 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
-
2011
- 2011-06-07 JP JP2011127754A patent/JP5273208B2/ja active Active
-
2012
- 2012-03-14 EP EP12797180.2A patent/EP2720190B1/en active Active
- 2012-03-14 US US14/122,503 patent/US9245330B2/en active Active
- 2012-03-14 WO PCT/JP2012/056515 patent/WO2012169250A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20140185931A1 (en) | 2014-07-03 |
WO2012169250A1 (ja) | 2012-12-13 |
EP2720190A4 (en) | 2014-12-10 |
EP2720190B1 (en) | 2017-09-20 |
JP2012256130A (ja) | 2012-12-27 |
EP2720190A1 (en) | 2014-04-16 |
US9245330B2 (en) | 2016-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5273208B2 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
JP4831259B1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
US11344102B2 (en) | Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and a method for recommending makeup | |
EP2615577B1 (en) | Image-processing device, image-processing method, and control program | |
EP2615576B1 (en) | Image-processing device, image-processing method, and control program | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
US8525847B2 (en) | Enhancing images using known characteristics of image subjects | |
US20120218398A1 (en) | Automatic Detection of Vertical Gaze Using an Embedded Imaging Device | |
CN103597518A (zh) | 生成反映玩家外观的化身 | |
JP2016514305A (ja) | 陰影検出および減衰のためのマルチスペクトル撮像システム | |
JP5419757B2 (ja) | 顔画像合成装置 | |
JP5419777B2 (ja) | 顔画像合成装置 | |
JP5419773B2 (ja) | 顔画像合成装置 | |
CN114155569B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
Choi et al. | Skin-representative region in a face for finding real skin color |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130314 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130429 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5273208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |