JP7455578B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP7455578B2 JP7455578B2 JP2019239278A JP2019239278A JP7455578B2 JP 7455578 B2 JP7455578 B2 JP 7455578B2 JP 2019239278 A JP2019239278 A JP 2019239278A JP 2019239278 A JP2019239278 A JP 2019239278A JP 7455578 B2 JP7455578 B2 JP 7455578B2
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- image processing
- virtual light
- detection
- irradiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 122
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims description 90
- 238000012937 correction Methods 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 31
- 230000000694 effects Effects 0.000 claims description 24
- 230000007423 decrease Effects 0.000 claims description 11
- 230000001795 light effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Studio Devices (AREA)
Description
図4は、撮影時におけるデジタルカメラ100と被写体401、および被写体に仮想光を照射する仮想光源402との位置を鉛直上方からみた図である。なお、ここでは鉛直な撮像面のある水平方向に並んだ画素に入射する光線に関して述べる。垂直方向についても基本的な考え方は同様である。また、被写体401の形状は説明および理解を容易にするために単純化している。
Rd=Pd×Rw×R
Gd=Pd×Gw×G ・・・(式2)
Bd=Pd×Bw×B
ここで、R、G、Bは注目画素の色成分値、Rw、Gw、Bwは仮想光源402(仮想光)の色を示すパラメータである。
R_out=R+Rd
G_out=G+Gd ・・・(式3)
B_out=B+Bd
S501で光源情報補正部303は、顔面積情報、顔信頼度、顔器官検出信頼度を顔検出部106から取得する。また、光源情報補正部303は、ホワイトバランス処理部202から入力される画像データのうち、顔領域に含まれる画素データから顔領域の輝度値を求め、顔明るさ情報とする。光源情報補正部303は、例えば画素データのR、G、B成分を所定の比率、例えばR:G:Bを3:6:1の比率で合成した値を輝度値として算出することができる。なお、光源情報補正部303は、顔明るさ情報を画像処理部104または制御部109から取得してもよい。また、光源情報補正部303は、顔領域に含まれる器官領域の情報から得られる顔領域内の器官の配置と、予め保持している正面向きの顔における器官領域の配置と比較することにより、顔領域の姿勢(被写体の角度)を求める。顔領域の姿勢は、正面向きの角度を水平0°垂直0°としたときの、水平角度、垂直角度として求めることができる。また、光源情報補正部303は、遮蔽物検出部107から遮蔽物領域の情報を取得する。
顔角度に基づく信頼度Conf_FaceAngle
顔面積に基づく信頼度Conf_FaceSize
顔器官検出信頼度Conf_FacePartsDetect
顔検出信頼度Conf_FaceDetect
顔明るさに基づく信頼度Conf_Luminace
顔遮蔽物に基づく信頼度Conf_FaceCover
α’=Conf_power×α ・・・(式4)
このように、光源情報補正部303は、光源強度の信頼度Conf_powerが第1の信頼度である場合よりも、第1の信頼度より信頼度が低い第2の信頼度の場合の方が仮想光による効果が弱くなるように、光源強度αを補正する。
θ’=Conf_angle×θ ・・・(式5)
上述の実施形態ではリライティング処理を適用する特徴領域が人物の顔領域であった。しかし、特徴領域は顔領域に限定されず、画像データから機械的に検出可能な任意の特徴領域であってよい。
Claims (12)
- 画像データから特徴領域を検出する検出手段と、
前記特徴領域に対する仮想光の照射特性を決定する決定手段と、
前記特徴領域の検出信頼度に応じて、前記決定手段が決定した前記照射特性を補正する補正手段と、
前記補正手段が補正した前記照射特性に基づいて前記特徴領域に前記仮想光の効果を付加する付加手段と、を有し、
前記補正手段は、前記検出信頼度が第1の信頼度である場合よりも、前記第1の信頼度より信頼度が低い第2の信頼度の場合の方が前記仮想光による効果が弱くなるように、前記照射特性を補正し、
前記照射特性が照射強度および照射方向を含み、
前記補正手段は、前記仮想光が前記特徴領域に係る被写体をより正面から照射するように前記照射方向を補正することにより前記仮想光による効果を弱める、
ことを特徴とする画像処理装置。 - 前記補正手段は、前記照射強度についても補正することを特徴とする請求項1に記載の画像処理装置。
- 前記補正手段は、前記照射強度を低下させることにより前記仮想光による効果を弱めることを特徴とする請求項1または2に記載の画像処理装置。
- 前記検出信頼度は、前記特徴領域の検出結果に基づく被写体の角度が、前記被写体の正面向きの角度に対して大きいほど低下することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記検出信頼度は、前記特徴領域に含まれる部位の検出信頼度が低いほど低下することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記検出信頼度は、前記特徴領域の面積が小さいほど低下することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記検出信頼度は、前記特徴領域の明るさが第1の閾値より低いほど、また第2の閾値より大きいほど低下することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- さらに、前記画像データから前記特徴領域の一部を隠す遮蔽物の領域を検出する検出手段を有し、
前記検出信頼度は、前記特徴領域において前記遮蔽物の領域が占める割合が高いほど低くなることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記検出信頼度が、前記特徴領域の角度に基づく信頼度、前記特徴領域の面積に基づく信頼度、前記特徴領域に含まれる部位の検出信頼度、前記特徴領域の検出信頼度、前記特徴領域の明るさに基づく信頼度、および前記特徴領域が隠されている割合に基づく信頼度の1つ以上に基づくことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 撮像素子と、
前記撮像素子を用いて得られた画像データに対して仮想光の効果を付加する請求項1から9のいずれか1項に記載の画像処理装置と、
を有する撮像装置。 - 画像処理装置が実行する画像処理方法であって、
画像データから特徴領域を検出する検出工程と、
前記特徴領域に対する仮想光の照射特性を決定する決定工程と、
前記特徴領域の検出信頼度に応じて、前記決定工程で決定した前記照射特性を補正する補正工程と、
前記補正工程で補正された前記照射特性に基づいて前記特徴領域に前記仮想光の効果を付加する付加工程と、を有し、
前記補正工程では、前記検出信頼度が第1の信頼度である場合よりも、前記第1の信頼度より信頼度が低い第2の信頼度の場合の方が前記仮想光による効果が弱くなるように、前記照射特性を補正し、
前記照射特性が照射強度および照射方向を含み、
前記補正工程では、前記仮想光が前記特徴領域に係る被写体をより正面から照射するように前記照射方向を補正することにより前記仮想光による効果を弱める、
ことを特徴とする画像処理方法。 - コンピュータを、請求項1から9のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239278A JP7455578B2 (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239278A JP7455578B2 (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021108023A JP2021108023A (ja) | 2021-07-29 |
JP7455578B2 true JP7455578B2 (ja) | 2024-03-26 |
Family
ID=76968223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239278A Active JP7455578B2 (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7455578B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009104330A (ja) | 2007-10-22 | 2009-05-14 | Fujitsu Ten Ltd | 死角車両検出システム、路側装置、車載装置および死角車両検出方法 |
JP2016072692A (ja) | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP2017152866A (ja) | 2016-02-23 | 2017-08-31 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2018182699A (ja) | 2017-04-21 | 2018-11-15 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 |
-
2019
- 2019-12-27 JP JP2019239278A patent/JP7455578B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009104330A (ja) | 2007-10-22 | 2009-05-14 | Fujitsu Ten Ltd | 死角車両検出システム、路側装置、車載装置および死角車両検出方法 |
JP2016072692A (ja) | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP2017152866A (ja) | 2016-02-23 | 2017-08-31 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2018182699A (ja) | 2017-04-21 | 2018-11-15 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2021108023A (ja) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
EP3609177B1 (en) | Control method, control apparatus, imaging device, and electronic device | |
US10805508B2 (en) | Image processing method, and device | |
EP3198852B1 (en) | Image processing apparatus and control method thereof | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP6218389B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7516471B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
JP2019205055A (ja) | 画像処理装置、画像処理装置の制御方法、及び、プログラム | |
JP2017152866A (ja) | 画像処理装置及び画像処理方法 | |
US10863103B2 (en) | Setting apparatus, setting method, and storage medium | |
JP2019179463A (ja) | 画像処理装置、その制御方法、プログラム、記録媒体 | |
JP2018182699A (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP2018182700A (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP7455578B2 (ja) | 画像処理装置および画像処理方法 | |
JP2019149719A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP7311995B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
CN112672066B (zh) | 图像处理设备、图像拍摄设备、控制方法及存储介质 | |
JP2018185576A (ja) | 画像処理装置および画像処理方法 | |
JP2019129469A (ja) | 画像処理装置 | |
JP2014155000A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US20240031545A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2020024581A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7356255B2 (ja) | 画像処理装置及びその処理方法、撮像装置、プログラム、記憶媒体 | |
WO2023286314A1 (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7455578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |