JP6641181B2 - 画像処理装置および撮像装置、それらの制御方法ならびにプログラム - Google Patents
画像処理装置および撮像装置、それらの制御方法ならびにプログラム Download PDFInfo
- Publication number
- JP6641181B2 JP6641181B2 JP2016001293A JP2016001293A JP6641181B2 JP 6641181 B2 JP6641181 B2 JP 6641181B2 JP 2016001293 A JP2016001293 A JP 2016001293A JP 2016001293 A JP2016001293 A JP 2016001293A JP 6641181 B2 JP6641181 B2 JP 6641181B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- subject
- light source
- image
- virtual light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 77
- 238000000034 method Methods 0.000 title claims description 59
- 238000003384 imaging method Methods 0.000 title claims description 24
- 238000013459 approach Methods 0.000 claims description 10
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 38
- 230000000694 effects Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮影した画像にリライティング処理を行うことが可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、入力した画像にリライティング処理を行うことが可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、監視システム及び医療機器などが含まれてよい。
図1は、本実施形態の画像処理装置の一例としてデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現され得る。
次に、図1を参照して説明したデジタルカメラ100の、撮影時における基本的な動作を説明する。
次に、図2から図4を参照して、本実施形態のリライティング処理に係る一連の動作を説明する。図2は本実施形態に係る画像処理部105の機能構成例を、図3は本実施形態のリライティング処理に係るフローチャートを、図4は仮想光源の位置を設定する処理の詳細をそれぞれ示している。また、リライティング処理に係る一連の動作は、例えば操作部120に対するユーザからの撮影指示に応じて撮像部103で撮影された画像データが画像処理部105に入力された場合に開始される。また、本処理は、システム制御部50が不揮発性メモリ124に記憶されたプログラムをシステムメモリ126の作業用領域に展開、実行し、画像処理部105(或いは画像処理部105を構成する各部)を制御することにより実現される。
次に実施形態2について説明する。実施形態1では、代表領域の陰影状態を基準にして代表領域以外の顔領域に対する仮想光源を設定するリライティング処理について説明した。実施形態2では、代表領域に対する仮想光源を設定して代表領域に対しても照明効果を付加し、当該仮想光源の情報を用いて、代表領域以外の他の顔領域に照明効果を付加する。本実施形態では、デジタルカメラ100の構成は実施形態1の場合と同一でよく、リライティング処理におけるS601〜S605に係る処理のみが異なる。このため、同一の構成や同一のステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
本実施形態に係るリライティング処理の一連の動作について、図5を参照して説明する。なお、本実施形態に係るリライティング処理に係る一連の動作は、実施形態1と同様、例えば操作部120に対するユーザからの撮影指示に応じて撮像部103で撮影された画像データが画像処理部105に入力された場合に開始される。また、本処理は、システム制御部50が不揮発性メモリ124に記憶されたプログラムをシステムメモリ126の作業用領域に展開、実行し、画像処理部105(或いは画像処理部105を構成する各部)を制御することにより実現される。
ここで、MaxYを輝度値として採り得る範囲で最大の値、k1を1以下の正数とする所定の係数とする。k1は照明付加処理によって輝度値が飽和しないように実験結果等に応じて予め定めておいてよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (15)
- 画像を取得する取得手段と、
前記画像内に含まれる複数の被写体のうちの第1の被写体の領域の陰影状態に基づいて、前記第1の被写体とは異なる、前記画像内の第2の被写体の領域に仮想的に光を照射する仮想光源を設定する設定手段と、
前記設定された仮想光源に基づく光を前記第2の被写体の領域に照射したような陰影状態の画像を生成する生成手段と、を備える、
ことを特徴とする画像処理装置。 - 前記設定手段は、前記第2の被写体の領域の陰影状態が、前記第1の被写体の領域の陰影状態に近づくように前記仮想光源を設定する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記設定手段は、前記第2の被写体の領域における輝度の強度分布及び陰影の方向と、前記第1の被写体の領域における輝度の強度分布及び陰影の方向との差異を小さくするように前記仮想光源を設定する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記設定手段は、前記第2の被写体の領域における高輝度領域と低輝度領域の分布態様が、前記第1の被写体の領域における高輝度領域と低輝度領域の分布態様に近づくように前記仮想光源を設定する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記設定手段は、前記第1の被写体の領域における高輝度領域の位置に対応する前記第2の被写体の領域における高輝度領域と、前記第1の被写体の領域における低輝度領域の位置に対応する前記第2の被写体の領域における低輝度領域と、前記仮想光源の位置とが直線上に並ぶように前記仮想光源の位置を設定する、
ことを特徴とする請求項4に記載の画像処理装置。 - 前記設定手段は、前記第1の被写体の領域における高輝度領域と前記第2の被写体の領域における高輝度領域との差異と、前記第1の被写体の領域における低輝度領域と前記第2の被写体の領域における低輝度領域との差異とのいずれが大きいかに応じて、前記仮想光源の位置を設定する、
ことを特徴とする請求項5に記載の画像処理装置。 - 前記第1の被写体は、前記複数の被写体のうち主要被写体である、
ことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。 - 前記第1の被写体は、前記画像内で最も大きな面積を占める被写体又は前記画像の中央に最も近い被写体である、
ことを特徴とする請求項7に記載の画像処理装置。 - 前記設定手段は、前記複数の被写体を複数のグループに分割して、グループごとに前記第1の被写体と前記第2の被写体とを決定し、
グループごとに、グループ内の第1の被写体の領域の陰影状態に基づいて、同じグループ内の第2の被写体の領域に仮想的に光を照射する仮想光源を設定する、
ことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 - 前記設定手段は、
前記第1の被写体の領域に対して仮想的な光を照射する仮想光源を予め決定し、
前記第2の被写体の領域の陰影状態と前記第1の被写体の領域の陰影状態とが所定の基準に基づき類似する場合、前記第1の被写体の領域に対する仮想光源の特性を、前記第2の被写体の領域に対する仮想光源に設定し、
前記第2の被写体の領域の陰影状態と前記第1の被写体の領域の陰影状態とが前記所定の基準に基づき類似しない場合、前記第2の被写体の領域の陰影状態を、前記第1の被写体の領域の陰影状態に近づけるように前記仮想光源を設定する、
ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 - 画像を撮像する撮像手段と、
請求項1から10のいずれか1項に記載の画像処理装置と、を備える
ことを特徴とする撮像装置。 - 取得手段が、画像を取得する取得工程と、
設定手段が、前記画像内に含まれる複数の被写体のうちの第1の被写体の領域の陰影状態に基づいて、前記第1の被写体とは異なる、前記画像内の第2の被写体の領域に仮想的に光を照射する仮想光源を設定する設定工程と、
生成手段が、前記設定された仮想光源に基づく光を前記第2の被写体の領域に照射したような陰影状態の画像を生成する生成工程と、を備える、
ことを特徴とする画像処理装置の制御方法。 - 画像を撮像する撮像手段を有する撮像装置の制御方法であって、
取得手段が、前記画像を取得する取得工程と、
設定手段が、前記画像内に含まれる複数の被写体のうちの第1の被写体の領域の陰影状態に基づいて、前記第1の被写体とは異なる、前記画像内の第2の被写体の領域に仮想的に光を照射する仮想光源を設定する設定工程と、
生成手段が、前記設定された仮想光源に基づく光を前記第2の被写体の領域に照射したような陰影状態の画像を生成する生成工程と、を備える、
ことを特徴とする撮像装置の制御方法。 - コンピュータに、請求項12に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
- コンピュータに、請求項13に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016001293A JP6641181B2 (ja) | 2016-01-06 | 2016-01-06 | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム |
US15/400,172 US10057503B2 (en) | 2016-01-06 | 2017-01-06 | Image processing apparatus and method for applying a virtual light source to an image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016001293A JP6641181B2 (ja) | 2016-01-06 | 2016-01-06 | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017123020A JP2017123020A (ja) | 2017-07-13 |
JP6641181B2 true JP6641181B2 (ja) | 2020-02-05 |
Family
ID=59226843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016001293A Active JP6641181B2 (ja) | 2016-01-06 | 2016-01-06 | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10057503B2 (ja) |
JP (1) | JP6641181B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102469694B1 (ko) * | 2015-08-24 | 2022-11-23 | 삼성전자주식회사 | 카메라를 구비하는 장치에서 사진 촬영 지원 기법 |
CN109670389B (zh) * | 2017-10-16 | 2023-04-07 | 富士通株式会社 | 评价人脸图像中的光照条件的方法和设备 |
JP7277158B2 (ja) * | 2018-02-21 | 2023-05-18 | キヤノン株式会社 | 設定装置及び方法、プログラム、記憶媒体 |
CN109167935A (zh) * | 2018-10-15 | 2019-01-08 | Oppo广东移动通信有限公司 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
JP7307541B2 (ja) * | 2018-12-19 | 2023-07-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP7462464B2 (ja) * | 2020-04-15 | 2024-04-05 | キヤノン株式会社 | 画像処理装置および方法、プログラム、記憶媒体 |
US20240112384A1 (en) * | 2021-04-06 | 2024-04-04 | Nippon Telegraph And Telephone Corporation | Information processing apparatus, information processing method, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4400808B2 (ja) * | 2000-09-11 | 2010-01-20 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
JP4583844B2 (ja) * | 2003-09-30 | 2010-11-17 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP4880292B2 (ja) | 2005-11-24 | 2012-02-22 | 富士フイルム株式会社 | 画像処理方法および画像処理プログラムならびに画像処理装置 |
JP5281878B2 (ja) * | 2008-12-03 | 2013-09-04 | オリンパスイメージング株式会社 | 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム |
WO2014102878A1 (ja) * | 2012-12-27 | 2014-07-03 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
JP2015056143A (ja) * | 2013-09-13 | 2015-03-23 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP6442209B2 (ja) * | 2014-09-26 | 2018-12-19 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
-
2016
- 2016-01-06 JP JP2016001293A patent/JP6641181B2/ja active Active
-
2017
- 2017-01-06 US US15/400,172 patent/US10057503B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017123020A (ja) | 2017-07-13 |
US10057503B2 (en) | 2018-08-21 |
US20170195581A1 (en) | 2017-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6641181B2 (ja) | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム | |
US11228720B2 (en) | Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium | |
JP6445844B2 (ja) | 撮像装置および撮像装置で実行される方法 | |
US8723974B2 (en) | Image pickup apparatus, image pickup method and recording device recording image processing program | |
US20170302848A1 (en) | Photographing method, device and computer storage medium | |
JP2006211416A (ja) | 画像処理装置及び方法 | |
CN108965729A (zh) | 控制方法、装置、电子设备和计算机可读存储介质 | |
JP2023164919A (ja) | 映像作成方法 | |
JP2017152866A (ja) | 画像処理装置及び画像処理方法 | |
JP2024083407A (ja) | 映像作成方法 | |
JP2017138927A (ja) | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム | |
JP2020005084A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018092350A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6808482B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN112911161B (zh) | 图像处理装置、图像处理方法、摄像装置和存储介质 | |
US10021314B2 (en) | Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source | |
CN116266877A (zh) | 图像处理设备和方法、摄像设备和计算机可读介质 | |
JP6223173B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JP2016091376A (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
JP5289354B2 (ja) | 撮像装置 | |
JP6663246B2 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
JP2020010168A (ja) | 画像処理装置 | |
JPWO2019216072A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015119436A (ja) | 撮像装置 | |
JP6433177B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6641181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |