JP7117532B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7117532B2 JP7117532B2 JP2019118198A JP2019118198A JP7117532B2 JP 7117532 B2 JP7117532 B2 JP 7117532B2 JP 2019118198 A JP2019118198 A JP 2019118198A JP 2019118198 A JP2019118198 A JP 2019118198A JP 7117532 B2 JP7117532 B2 JP 7117532B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- brightness
- exposure
- changes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 78
- 238000003672 processing method Methods 0.000 title claims description 9
- 239000000203 mixture Substances 0.000 claims description 51
- 230000035945 sensitivity Effects 0.000 claims description 51
- 230000002194 synthesizing effect Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 28
- 230000000052 comparative effect Effects 0.000 description 19
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Description
[1-1.画像処理装置の構成]
まず、図1及び図2を参照しながら、実施の形態1に係る画像処理装置2の構成について説明する。図1は、実施の形態1に係る画像処理装置2の構成を示すブロック図である。図2は、実施の形態1に係る画像処理装置2のセンサ制御部6の処理を説明するための図である。
次に、図3~図4Eを参照しながら、実施の形態1に係る画像処理装置2の動作について説明する。図3は、実施の形態1に係る画像処理装置2の動作の流れを示すフローチャートである。図4Aは、実施の形態1に係る長露光画像28の一例を示す模式図である。図4Bは、実施の形態1に係る短露光画像30の一例を示す模式図である。図4Cは、実施の形態1に係る補正短露光画像32の一例を示す模式図である。図4Dは、実施の形態1に係る動き量検出部10により検出された被写体26の動き量の分布の一例を示す模式図である。図4Eは、実施の形態1に係る画像処理装置2により生成されるHDR画像34の一例を示す模式図である。
図5~図7を参照しながら、比較例に係る画像処理装置について説明する。図5は、比較例に係る画像処理装置のセンサ制御部の処理を説明するための図である。図6は、被写体の明るさが照度L4である場合での、比較例に係る画像処理装置により生成される長露光画像、補正短露光画像及びHDR画像を示す図である。図7は、被写体の明るさが照度L5である場合での、比較例に係る画像処理装置により生成される長露光画像、補正短露光画像及びHDR画像を示す図である。
本実施の形態の画像処理装置2では、例えば低照度時に動いている被写体を撮像した場合であっても、第1の露光時間が短く抑えられるので、HDR画像のブレを抑制することができる。また、例えば極低照度時に動いている被写体を撮像した場合であっても、第1のセンサゲインが小さく抑えられるので、HDR画像のノイズを低減することができる。
[2-1.画像処理装置の構成]
図10及び図11を参照しながら、実施の形態2に係る画像処理装置2Aの構成について説明する。図10は、実施の形態2に係る画像処理装置2Aの構成を示すブロック図である。図11は、実施の形態2に係る画像処理装置2Aのセンサ制御部6Aの処理を説明するための図である。なお、本実施の形態において、上記実施の形態1と同一の構成要素には同一の符号を付して、その説明を省略する。
上記実施の形態1で説明したように、被写体の明るさが照度L2から暗く変化した際に、第1の露光時間が一定から増加に転じ、且つ、第1のセンサゲインが増加から一定に転じる。そのため、例えば極低照度時に動いている被写体を撮像した場合には、HDR画像のノイズは低減されるものの、第1の露光時間が大きくなるためHDR画像のブレが発生するおそれがある。
以上、一つ又は複数の態様に係る画像処理装置について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
4 画像センサ
6,6A センサ制御部
8 レベル調整部
10 動き量検出部
12 動きブレンド比率算出部
14 動き適応画像合成部
16 輝度ブレンド比率算出部
18 HDR画像合成部
20 減算部
22 絶対値算出部
24 ブロック差分累算部
26 被写体
28 長露光画像
30 短露光画像
32 補正短露光画像
34 HDR画像
Claims (4)
- 被写体を撮像したHDR(High Dynamic Range)画像を生成するための画像処理装置であって、
1フレーム時間内で、第1の露光時間及び第1のセンサゲインで前記被写体を撮像した第1の画像を出力し、且つ、前記第1の露光時間よりも長い第2の露光時間及び第2のセンサゲインで前記被写体を撮像した第2の画像を出力する画像センサと、
前記被写体の明るさが変化した際に、前記第1の露光時間と前記第1のセンサゲインとの積である第1の露光感度を、前記第1の画像が第1の画像明るさとなるように制御し、且つ、前記第2の露光時間と前記第2のセンサゲインとの積である第2の露光感度を、前記第2の画像が第2の画像明るさとなるように制御するセンサ制御部と、
前記第1の画像の輝度レベルを前記第2の画像の輝度レベルに略一致するように調整することにより、前記第1の画像から補正画像を生成するレベル調整部と、
前記補正画像及び前記第2の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出する動き量検出部と、
前記動き量に基づいて、前記補正画像及び前記第2の画像をブレンドする比率である動きブレンド比率を算出する動きブレンド比率算出部と、
前記動きブレンド比率に基づいて前記補正画像と前記第2の画像とを合成することにより、動き適応画像を生成する動き適応画像合成部と、
前記動き適応画像と前記第1の画像とを合成することにより、前記HDR画像を生成するHDR画像合成部と、を備え、
前記センサ制御部は、
前記被写体の明るさが第1の被写体明るさから暗く変化した際に、前記第1の露光時間が増加から一定に転じ、且つ、前記第1のセンサゲインが一定から増加に転じるように前記第1の露光感度を制御し、
前記被写体の明るさが前記第1の被写体明るさよりも暗い第2の被写体明るさから暗く変化した際に、前記第1の露光時間が一定から増加に転じ、且つ、前記第1のセンサゲインが増加から一定に転じるように前記第1の露光感度を制御し、
前記被写体の明るさが前記第1の被写体明るさよりも暗い第3の被写体明るさから暗く変化した際に、前記第2の露光時間が増加から一定に転じ、且つ、前記第2のセンサゲインが一定から増加に転じるように前記第2の露光感度を制御する
画像処理装置。 - 前記センサ制御部は、前記被写体の明るさが前記第2の被写体明るさよりも暗い第4の被写体明るさから暗く変化した際に、前記第1の露光時間が増加から一定に転じ、且つ、前記第1のセンサゲインが一定から増加に転じるように前記第1の露光感度を制御する
請求項1に記載の画像処理装置。 - 被写体を撮像したHDR画像を生成するための画像処理方法であって、
(a)1フレーム時間内で、第1の露光時間及び第1のセンサゲインで前記被写体を撮像した第1の画像を出力し、且つ、前記第1の露光時間よりも長い第2の露光時間及び第2のセンサゲインで前記被写体を撮像した第2の画像を出力するステップと、
(b)前記被写体の明るさが変化した際に、前記第1の露光時間と前記第1のセンサゲインとの積である第1の露光感度を、前記第1の画像が第1の画像明るさとなるように制御し、且つ、前記第2の露光時間と前記第2のセンサゲインとの積である第2の露光感度を、前記第2の画像が第2の画像明るさとなるように制御するステップと、
(c)前記第1の画像の輝度レベルを前記第2の画像の輝度レベルに略一致するように調整することにより、前記第1の画像から補正画像を生成するステップと、
(d)前記補正画像及び前記第2の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出するステップと、
(e)前記動き量に基づいて、前記補正画像及び前記第2の画像をブレンドする比率である動きブレンド比率を算出するステップと、
(f)前記動きブレンド比率に基づいて前記補正画像と前記第2の画像とを合成することにより、動き適応画像を生成するステップと、
(g)前記動き適応画像と前記第1の画像とを合成することにより、前記HDR画像を生成するステップと、を含み、
前記(b)において、前記被写体の明るさが第1の被写体明るさから暗く変化した際に、前記第1の露光時間が増加から一定に転じ、且つ、前記第1のセンサゲインが一定から増加に転じるように前記第1の露光感度を制御し、前記被写体の明るさが前記第1の被写体明るさよりも暗い第2の被写体明るさから暗く変化した際に、前記第1の露光時間が一定から増加に転じ、且つ、前記第1のセンサゲインが増加から一定に転じるように前記第1の露光感度を制御し、前記被写体の明るさが前記第1の被写体明るさよりも暗い第3の被写体明るさから暗く変化した際に、前記第2の露光時間が増加から一定に転じ、且つ、前記第2のセンサゲインが一定から増加に転じるように前記第2の露光感度を制御する
画像処理方法。 - 請求項3に記載の画像処理方法をコンピュータに実行させる
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019118198A JP7117532B2 (ja) | 2019-06-26 | 2019-06-26 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019118198A JP7117532B2 (ja) | 2019-06-26 | 2019-06-26 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021005775A JP2021005775A (ja) | 2021-01-14 |
JP7117532B2 true JP7117532B2 (ja) | 2022-08-15 |
Family
ID=74098293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019118198A Active JP7117532B2 (ja) | 2019-06-26 | 2019-06-26 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7117532B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116233607B (zh) * | 2021-12-01 | 2024-05-14 | Oppo广东移动通信有限公司 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
JP7545433B2 (ja) | 2022-03-11 | 2024-09-04 | ソフトバンク株式会社 | 画像処理装置、プログラム、画像処理システム、及び画像処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008023765A1 (fr) | 2006-08-23 | 2008-02-28 | Nikon Corporation | Appareil de photographie numérique |
JP2009207118A (ja) | 2008-01-16 | 2009-09-10 | Sanyo Electric Co Ltd | 撮像装置及びぶれ補正方法 |
JP2018064201A (ja) | 2016-10-13 | 2018-04-19 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理回路 |
-
2019
- 2019-06-26 JP JP2019118198A patent/JP7117532B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008023765A1 (fr) | 2006-08-23 | 2008-02-28 | Nikon Corporation | Appareil de photographie numérique |
JP2009207118A (ja) | 2008-01-16 | 2009-09-10 | Sanyo Electric Co Ltd | 撮像装置及びぶれ補正方法 |
JP2018064201A (ja) | 2016-10-13 | 2018-04-19 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理回路 |
Also Published As
Publication number | Publication date |
---|---|
JP2021005775A (ja) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3730419B2 (ja) | 映像信号処理装置 | |
JP6785456B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5354701B2 (ja) | 撮像装置 | |
JP6697684B2 (ja) | 画像処理装置、画像処理方法、及び画像処理回路 | |
JP5968068B2 (ja) | 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体 | |
US20090278945A1 (en) | Method and apparatus for image stabilization using multiple image captures | |
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP2007060449A (ja) | 撮像装置 | |
JP5417746B2 (ja) | 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法 | |
JP2014154982A (ja) | 撮像装置およびその制御方法 | |
JP5861924B2 (ja) | 撮像装置 | |
JP7117532B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101964228B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP5882702B2 (ja) | 撮像装置 | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
JP2007336386A (ja) | 撮像装置及び撮像方法 | |
JP3848023B2 (ja) | 動き適応型映像高感度化装置 | |
JP5146500B2 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
US11012630B1 (en) | Image processor and image processing method | |
JP5520863B2 (ja) | 画像信号処理装置 | |
JP5316098B2 (ja) | 撮像装置、撮像方法、および、プログラム | |
JP5721552B2 (ja) | 撮像装置および画像合成方法 | |
JP2006157344A (ja) | 撮像装置 | |
JP5485680B2 (ja) | 撮像装置および撮像方法 | |
JP2011097335A (ja) | 信号処理装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220607 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7117532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |