JP7516471B2 - 制御装置、撮像装置、制御方法およびプログラム - Google Patents
制御装置、撮像装置、制御方法およびプログラム Download PDFInfo
- Publication number
- JP7516471B2 JP7516471B2 JP2022146176A JP2022146176A JP7516471B2 JP 7516471 B2 JP7516471 B2 JP 7516471B2 JP 2022146176 A JP2022146176 A JP 2022146176A JP 2022146176 A JP2022146176 A JP 2022146176A JP 7516471 B2 JP7516471 B2 JP 7516471B2
- Authority
- JP
- Japan
- Prior art keywords
- shutter speed
- exposure
- iso sensitivity
- exposure conditions
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000003384 imaging method Methods 0.000 title claims description 45
- 230000035945 sensitivity Effects 0.000 claims description 45
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Description
本発明は、ハイダイナミックレンジ画像を取得可能な制御装置、撮像装置、制御方法およびプログラムに関する。
従来、デジタルカメラ、デジタルビデオカメラなどにおいて、ダイナミックレンジの広いハイダイナミックレンジ画像(以下「HDR画像」と記す)を生成する技術が知られている。特許文献1には、画素ごとに異なる露出条件を制御可能な撮像素子を用いて被写体を撮影することにより、一回の撮影でHDR画像を取得する方法が記載されている。そして、特許文献1に記載された方法では、輝度を用いて2値化した画像に対してローパスフィルタをかけて多値化した画像を露光時間マップとすることで、露光時間の異なる画素の境界部において疑似輪郭が発生しないようにしている。
画素ごとに異なる露光時間を設定して撮影する場合において、暗い被写体に対応する画素は露光時間が長く設定される。しかしながら露出条件によってHDR画像を取得すると、露光時間が長く設定されることで、ボケが生じてしまうという場合があった。
本発明は上記課題に鑑みなされたものであり、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なHDR画像を生成することを目的とする。
本発明の制御装置は、領域ごとに露出条件を制御可能な撮像素子を制御する制御装置であって、前記撮像素子を用いて予備露光することで得られる露出度マップを取得する取得手段と、前記露出度マップに基づいて、前記領域ごとにシャッタースピードおよびISO感度を設定する設定手段と、を有することを特徴とする。
本発明の制御装置によれば、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なHDR画像を生成することができる。
[実施形態1]
実施形態1では、領域ごとに露出条件を制御することで、HDR画像を生成する方法について説明する。特に、領域ごとに露光時間(シャッタースピード)とISO感度(アナログゲイン)との両方を制御することで、領域の明るさに応じた撮像を行う。
実施形態1では、領域ごとに露出条件を制御することで、HDR画像を生成する方法について説明する。特に、領域ごとに露光時間(シャッタースピード)とISO感度(アナログゲイン)との両方を制御することで、領域の明るさに応じた撮像を行う。
(撮像装置の構成)
図1は本実施形態における撮像装置の外観例を示す模式図である。撮像装置100は、光学部101と、撮影ボタン102と、表示部103と、操作ボタン104とを備える。光学部101は、ズームレンズと、フォーカスレンズと、ブレ補正レンズと、絞りと、シャッターなどとを含み、被写体の光情報を集光する。撮影ボタン102は、ユーザから撮影指示を受け付けるためのボタンである。表示部103は、液晶ディスプレイなどによって構成され、撮像装置100で処理された画像データおよび各種データを表示する。操作ボタン104は、ユーザからの各種指示を受け付けるための操作部として機能し、例えば、ユーザは、操作ボタン104を介して露出条件を撮像装置100に入力することができる。
図1は本実施形態における撮像装置の外観例を示す模式図である。撮像装置100は、光学部101と、撮影ボタン102と、表示部103と、操作ボタン104とを備える。光学部101は、ズームレンズと、フォーカスレンズと、ブレ補正レンズと、絞りと、シャッターなどとを含み、被写体の光情報を集光する。撮影ボタン102は、ユーザから撮影指示を受け付けるためのボタンである。表示部103は、液晶ディスプレイなどによって構成され、撮像装置100で処理された画像データおよび各種データを表示する。操作ボタン104は、ユーザからの各種指示を受け付けるための操作部として機能し、例えば、ユーザは、操作ボタン104を介して露出条件を撮像装置100に入力することができる。
(撮像装置のハードウェア構成)
図2は本実施形態における撮像装置100のハードウェア構成例を示すブロック図である。撮像素子部201は、光学部101にて集光された光を電流値に変換する撮像素子群であり、撮像装置100は、この撮像素子部201をカラーフィルタなどと組み合わせて用いることにより色情報を取得することができる。なお、本実施形態において、撮像素子部201には、画素ごとあるいは領域ごとに露出条件を設定可能なHDRセンサが適用される。本実施形態において、露出条件とは、画像の明るさに関連するパラメータの総称である。撮像素子部201は、画素ごとあるいは領域ごとの露出条件(露光時間やアナログゲインなど)を適応的に制御することによりHDR画像を取得する。なお、領域単位で露出を制御する場合、一般的に2×2画素領域や3×2画素領域に露出条件が制御されるが、実施形態はこれに限られるものではない。
図2は本実施形態における撮像装置100のハードウェア構成例を示すブロック図である。撮像素子部201は、光学部101にて集光された光を電流値に変換する撮像素子群であり、撮像装置100は、この撮像素子部201をカラーフィルタなどと組み合わせて用いることにより色情報を取得することができる。なお、本実施形態において、撮像素子部201には、画素ごとあるいは領域ごとに露出条件を設定可能なHDRセンサが適用される。本実施形態において、露出条件とは、画像の明るさに関連するパラメータの総称である。撮像素子部201は、画素ごとあるいは領域ごとの露出条件(露光時間やアナログゲインなど)を適応的に制御することによりHDR画像を取得する。なお、領域単位で露出を制御する場合、一般的に2×2画素領域や3×2画素領域に露出条件が制御されるが、実施形態はこれに限られるものではない。
CPU202は、撮像装置100の各構成を統括的に制御し、ROM(Read Only Memory)203などの記憶領域に格納された命令をRAM(Rondom Access Memory)204に順次読み込む。そして、CPU202は、読み込んだ命令を解釈し、その結果に従って各処理を実行する。撮像系制御部205は、CPU202からの指示に従って、光学部101にフォーカスを合わせさせる、シャッターを開かせる、絞りを調整させるなどの制御を行う。装置制御部206は、撮影ボタン102を介して入力を受け付けたユーザ指示に応じて、撮像装置100に撮影動作を開始および終了させるなどの制御を行う。また、装置制御部206は、操作ボタン104から入力を受け付けたユーザ指示に応じて、表示部103に所定の操作画面を表示させるなどの制御を行う。グラフィック生成部207は、撮像装置100の表示制御部として機能し、表示部103に表示させるための文字、図形、画像などを示す画像信号を生成する。A/D変換部208は、撮像素子部201が検知した被写体の光量をデジタル信号に変換する。画像処理部209は、A/D変換部208が変換したデジタル信号を処理することにより、そのデジタル信号に対応する画像データを処理する。エンコーダ部210は、画像処理部209が処理した画像データをjpegなどのファイルフォーマットに変換する。入出力インターフェース(以下インターフェースは「I/F」と記す)211は、PCなどの外部装置や各種記録媒体(例えば、ハードディスク、メモリカード、CFカード、SDカードなど)との間で画像データを送受信するために用いられるI/Fである。以上説明した撮像装置100の各構成は、システムバス212を介して相互に通信可能に接続されている。
(撮像装置の機能構成)
図3は本実施形態における画像処理部209の機能構成を示すブロック図である。図3に示される各ブロックの機能は、CPU202がROM203に記憶されているプログラムコードをRAM204に読み出して実行することにより実現される。あるいはまた、図3におけるブロックの一部または全部の機能がASICや電子回路などのハードウェアによって実装されてもよい。これらは図3以降のブロック図についても同様である。
図3は本実施形態における画像処理部209の機能構成を示すブロック図である。図3に示される各ブロックの機能は、CPU202がROM203に記憶されているプログラムコードをRAM204に読み出して実行することにより実現される。あるいはまた、図3におけるブロックの一部または全部の機能がASICや電子回路などのハードウェアによって実装されてもよい。これらは図3以降のブロック図についても同様である。
本実施形態の撮像装置100において、画像処理部209は、露出度マップ生成部301と、露出条件取得部302と、基準決定部303と、領域選択部304と、露出条件補正部305と、を有する。露出度マップ生成部301は、予備露光でA/D変換部208から送出された画像データに応じて、画素ごとに露出度が記憶された露出度マップを生成する。露出度とは、ISO感度と露光時間によって記録される明るさを制御するためのパラメータである。露出条件取得部302は、露出度に対応する露出条件を読み出して領域ごとの露出条件を取得する。基準決定部303は、複数の露出条件に基づいて基準露出条件を決定する。領域選択部304は、予備露光で区画された領域のうち、露出条件が補正される対象となる補正対象領域を選択する。露出条件補正部305は、基準露出条件に基づいて補正対象領域の露出条件を補正する。
(メイン処理手順)
図4は本実施形態における撮像装置100のメイン処理手順を示すフローチャートである。図4に示されるフローチャートの処理は、CPU202がROM203に記憶されているプログラムコードをRAM204に読み出して実行することにより行われる。以下の各記号Sは、フローチャートにおけるステップであることを意味する。これらは図4以降のフローチャートについても同様である。
図4は本実施形態における撮像装置100のメイン処理手順を示すフローチャートである。図4に示されるフローチャートの処理は、CPU202がROM203に記憶されているプログラムコードをRAM204に読み出して実行することにより行われる。以下の各記号Sは、フローチャートにおけるステップであることを意味する。これらは図4以降のフローチャートについても同様である。
S401において、装置制御部206は、操作ボタン104を介して入力を受け付けたユーザ指示に応じて、レンズの絞り値、シャッタースピード、ISO感度などの露出条件を設定する。カメラパラメータでもあるシャッタースピードとISO感度とは、本実施形態において、それぞれ露光時間とアナログゲインとに対応する。これらカメラパラメータの他、撮影モードに応じた露出条件が設定されてもよい。図5は本実施形態における撮像装置100のユーザインターフェース(以下ユーザインターフェースは「UI」と記す)例を示す図である。図5では、HDR撮影モードを設定するためのUIが示されており、このUIは表示部103に表示される。ユーザは、操作ボタン104を介して指示を入力することにより所望の撮影モードを選択することができる。S401において設定される撮影モードの種類はHDR撮影モードに限られるものではなく、HDR撮影モード以外にも、人物や風景などの被写体の種類に応じた撮影モードや、晴れや曇りなどの天候の種類に応じた撮影モードなどが設定されてもよい。
S402において、装置制御部206は、撮影ボタン102が押下されたか否かを判定する。撮影ボタン102が押下された場合(S402:YES)はS403に移行する。撮影ボタン102が押下されていない場合(S402:NO)はS402が繰り返される。
S403の予備露光において、撮像素子部201の領域ごとの露出条件が設定される。具体的には、露出度マップ生成部301が、予備露光でA/D変換部208から送出された画像データに応じて、画素ごとに露出度が記憶された露出度マップを生成する。本実施形態の画像処理部209(露出条件取得部302)は、露出度に対応する露出条件(図8(a)~(c))を読み出して領域ごとの露出条件を取得することができる。ここで、図6(a)~図6(c)を参照して、撮像素子部201の領域ごとの露出条件を設定する様子について説明する。
図6(a)は本実施形態における撮影シーンの一例を示す模式図である。図6(a)の撮影シーンでは、屋内に居る人物が撮像装置100によって撮影される様子が示されている。人物が居る部屋には窓が有り、この窓を介して屋外から明かりが差し込んでいるものとする。
図6(b)は本実施形態においてLDR(Low Dynamic Range)撮影モードで撮影した場合に生成される露出度マップの一例を示す。なお、LDR撮影モードは、HDR撮影モードよりもダイナミックレンジが狭い撮影画像を取得するためのモードであり、例えば、図5のUIにおいて「階調優先」が選択された場合に適用される。このLDR撮影モードでは、人物が適正露出になるように設定される。このとき、図6(a)に示される撮影シーン全体に対して図6(b)の露出度マップに示される露出度が設定されるため、人物が居る屋内よりも明るい窓領域には白飛びが発生してしまう。
図6(c)は本実施形態においてHDR撮影モードで撮影した場合に生成される露出度マップの一例を示す。なお、HDR撮影モードは、LDR撮影モードよりもダイナミックレンジが広い撮影画像を取得するためのモードであり、例えば、図5のUIにおいて「Dレンジ優先」が選択された場合に適用される。このとき、人物を含む屋内領域に対して図6(b)の露出度マップに示される露出度が設定されるのに対して、窓領域に対しては屋内領域に対する露出度よりも低い露出度が設定されるため、窓領域における白飛びを抑制することができる。
なお、露出度を設定する対象となる領域はこれに限られるものではない。例えば、図6(c)で示した通り、画素ごとに露出度を設定してもよいし、窓に対応する領域のように比較的大きな領域に露出度を設定してもよい。
再び図4のフローチャートに戻り、S404において、領域ごとの露出条件の差が小さくなるように、S403の予備露光で設定された露出条件が補正される。
(露出条件の補正手順)
図7は本実施形態において、S404における露出条件の補正手順例を示すフローチャートである。以下、図7のフローチャートを参照して露出条件補正処理の詳細について説明する。
図7は本実施形態において、S404における露出条件の補正手順例を示すフローチャートである。以下、図7のフローチャートを参照して露出条件補正処理の詳細について説明する。
S701において、露出条件取得部302は、S401で設定された露出条件と、S403で生成された露出度マップとから、領域ごとの露出条件を取得する。
S702において、基準決定部303は、S701で取得された複数の露出条件に基づいて基準となる露出条件(以下「基準露出条件」と記す)を決定する。本実施形態において、S702で決定される基準露出条件は、シャッタースピードおよびISO感度である。基準露出条件は、図6(a)の撮影シーンを撮影して得られた撮影画像において、例えば主被写体の領域に対応する露出条件を基準露出条件として選択すればよい。
なお、基準露出条件の決定手法は、撮影シーンに応じて基準露出条件が適切に選択されれば、主被写体の領域に対応する露出条件のみに限られるものではない。例えば、フォーカスが合った領域を基準とすれば、その領域に対応する露出条件を基準露出条件として自動的に決定することができる。また、操作ボタン104を介して所望の領域の選択を受け付ける場合、所望の領域に対応する露出条件を基準露出条件として決定することもできる。さらには、基準決定部303は、S701で取得された複数の露出条件に基づいて、任意の領域に対応する露出条件を基準露出条件として決定することもできる。
なお、基準露出条件の決定手法は、撮影シーンに応じて基準露出条件が適切に選択されれば、主被写体の領域に対応する露出条件のみに限られるものではない。例えば、フォーカスが合った領域を基準とすれば、その領域に対応する露出条件を基準露出条件として自動的に決定することができる。また、操作ボタン104を介して所望の領域の選択を受け付ける場合、所望の領域に対応する露出条件を基準露出条件として決定することもできる。さらには、基準決定部303は、S701で取得された複数の露出条件に基づいて、任意の領域に対応する露出条件を基準露出条件として決定することもできる。
S703において、領域選択部304は、S403の予備露光で区画された各領域のうち、露出条件が補正される対象となる補正対象領域を選択する。領域選択部304は、S703~S705のループ処理が実行されるごとに、補正対象領域を任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で着目領域を走査しつつ、補正対象領域を選択すればよい。このとき、基準露出条件と、補正対象領域の露出条件との差が小さい場合、露出条件を補正することにより得られる効果も小さくなる。そのため、基準露出条件と着目領域の露出条件との差が所定の閾値よりも大きい場合に、当該着目領域を補正対象領域として選択してもよい。
S704において、露出条件補正部305は、S702で決定した基準露出条件に基づいて、S703で選択した補正対象領域の露出条件を補正する。以下、図8(a)~(c)を参照して露出条件補正処理の詳細について説明する。
図8(a)および図8(b)は、ある補正対象領域について、S401で設定された露出条件の具体例を示すテーブルである。一方、図8(c)は、ある補正対象領域について、S704で補正された露出条件の具体例を示すテーブルである。露出条件取得部302は、図8(a)および図8(b)のテーブルを参照することにより、露出度マップに記憶されている領域(画素)ごとの露出度に対応する露出条件を取得することができる。以下、露出度「0」に対応付けられた、シャッタースピード「1/100秒」とISO感度「400」とが基準露出条件として設定された場合を例に説明する。
図8(a)にはシャッタースピードのみを変更することにより露出条件が調整される例が示されている。ここで、図6(a)の撮影シーンにおいて、人物領域の露出度は「0」であるから、人物領域に設定される露出条件は、シャッタースピードが「1/100秒」、ISO感度が「400」になる。一方、窓領域の露出度は「-2」であるから、窓領域に設定される露出条件は、シャッタースピードが「1/400」、ISO感度が「400」になる。このとき、人物領域と窓領域との間でシャッタースピードが4倍異なるため、図6(a)の撮影シーンに動被写体が含まれるような場合、領域ごとの動き量も4倍異なることになる。この結果、シャッタースピードのみで露出度を調整すると、局所領域によってボケが生じてしまう。さらにはHDR画像において、局所領域ごとにボケや多重像などの出力態様が大きく異なってしまう場合がある。
図8(b)にはISO感度のみを変更することにより露出条件が調整される例が示されている。ここで、図6(a)の撮影シーンにおいて、人物領域の露出度は「0」であるから、人物領域に設定される露出条件は、シャッタースピードが「1/100秒」、ISO感度が「400」になる。一方、窓領域の露出度が「-2」であるから、窓領域に設定される露出条件は、シャッタースピードが「1/100秒」、ISO感度が「100」になる。このとき、人物領域と窓領域との間でISO感度が4倍異なるため、図6(a)の撮影シーンに動被写体が含まれるような場合、領域ごとのノイズ量も4倍異なることになる。この結果、ISO感度のみで露出度を調整すると、一部の局所領域においてノイズ量が増大してしまう。さらには、HDR画像において、局所領域ごとにノイズの出力態様が大きく異なってしまう場合がある。つまり、局所領域ごとにノイズ段差が観察されるようになってしまう。
図8(c)には、露出条件補正部305によって補正された露出条件の一例が示されている。ここで、図6(a)の撮影シーンにおいて、人物領域の露出度が「0」であるから、人物領域に設定される露出条件は、シャッタースピードが「1/100秒」、ISO感度が「400」になる。一方、窓領域の露出度が「-2」であるから、窓領域に設定される露出条件は、シャッタースピードが「1/200秒」、ISO感度が「200」になる。このとき、基準となるシャッタースピード「1/100」と、人物領域に設定される補正後のシャッタースピード「1/200」との差は2倍に抑制される。同様に、基準となるISO感度「400」と、窓領域に設定される補正後のISO感度「200」との差も2倍に抑制される。このように、露出条件補正部305は、シャッタースピードまたはISO感度のいずれか一方だけでなく、これら双方を制御することで、どちらか一方のみを制御した場合に生じる弊害を抑制することができる。また、シャッタースピードまたはISO感度それぞれを同一または略同一の割合で補正することにより、局所領域ごとのボケおよびノイズなどの出現態様の差を小さくすることができる。加えて、補正対象領域と隣接領域との境界に対応する露出条件だけではなく、補正対象領域全体に対応する露出条件を補正するので、HDR画像において疑似輪郭も抑制することができる。この結果、本実施形態の撮像装置の制御手法では、領域ごとに異なる露出条件を設定して撮影する場合において、高画質なHDR画像を生成することができる。
なお、上記補正は、基準露出条件と領域ごとの露出条件との差がそれぞれ小さくなるように補正することができれば所望の方法で構わない。例えば、基準露出条件における露出度をE、シャッタースピードをT、ISO感度をG、補正対象領域の露出度をE’、補正後シャッタースピードをT’、補正後ISO感度をG’とすると、T’とG’とはそれぞれ以下の数式で求めることができる。
ここで、αは、0.0≦α≦1.0となる実数の係数であり、図8(a)はα=1.0、図8(b)はα=0.0、図8(c)はα=0.5である場合にそれぞれ対応する。なお、上記数式を用いる手法に限られず、任意に調整された係数αを適用してもよい。
図9は本実施形態において補正量を調整するためのUI例を示す図である。図9のUI例に示される通り、ユーザは、UIに含まれるスライドバーのつまみ901を左右いずれかの方向に移動させることで係数αを調整することができる。例えば、つまみを右(感度優先)方向に移動させてαを小さくすると、基準となるシャッタースピードと補正対象領域におけるシャッタースピードとの差が小さくなるため、動被写体に起因するボケや多重像の発生をより抑制することができる。一方、つまみを左(Tv優先)方向に移動させてαを大きくすると、基準となるISO感度と補正対象領域におけるISO感度との差が小さくなるため、ノイズ段差の発生をより抑制することができる。このように、露出条件補正部305は、シャッタースピードおよびISO感度を重み付けされた割合で補正することにより、局所領域ごとのボケおよびノイズなどの出現態様の差を小さくすることができる。
再び図7のフローチャートに戻り、S705において、露出条件補正部305は、全ての領域について処理が完了したか否かを判定する。全ての領域について処理が完了している場合(S705:YES)は、再び図4のフローチャートに戻る。全ての領域について補正処理が完了していない場合(S705:NO)は、再びS703に戻りS703~S705のループ処理を行う。
再び図4のフローチャートに戻り、S405において、撮像系制御部205は、S404で補正された露出条件に基づいて撮像系に撮影動作を実行させる。S405の撮影では、撮像系制御部205が光学部101を駆動させて被写体の光量を取得し、これら取得した光量を撮像素子部201で検出する。さらに、A/D変換部208は、撮像素子部201で検出された光量を電気信号に変換してRAW画像データを取得する。なお、画像処理の技術分野では公知であるが、RAW画像データは、ベイヤ配列などの所定の配列で各画素にR,G,Bのいずれか1つの色成分が記憶された画像データである。
S406において、画像処理部209は、RAW画像データに対して現像処理を行う。RAW画像データに現像処理が施されることにより、RGB画像データ(各画素にR,G,B全ての色成分を有する3チャンネルの画像データ)が生成される。一般に、現像処理においてホワイトバランス処理、デモザイク処理、ガンマ処理などのサブ処理が行われるが、これらは本実施形態の主眼ではないために説明を省略する。
S407において、画像処理部209は、S406で生成されたRGB画像データを出力する。出力されたRGB画像データは、エンコーダ部210に送出されてjpegなどのファイルフォーマットに変換される。次いで、RGB画像データは、入出力I/F211を介して外部装置や記録媒体に出力される。S407を終了すると本フローチャートを終了する。
以上説明した通り、本実施形態の撮像装置の制御手法によれば、領域ごとに異なる露出条件を設定して撮影する場合において、シャッタースピードおよびISO感度を制御することで、どちらか一方のみを制御した場合に生じる弊害を抑制することができる。そのため、本実施形態の撮像装置の制御手法によれば、局所領域ごとのボケやノイズの出現態様の差や、疑似輪郭を抑制して、高画質なHDR画像を生成することができる。
[実施形態2]
実施形態1における露出条件の補正処理(S404)では、基準露出条件に基づいて補正対象領域の露出条件を補正していた。しかしながら、基準露出条件と、補正対象領域の露出条件との差が小さい場合、露出条件を補正することにより得られる効果も小さくなる。そのため、本実施形態では、隣接領域間の露出条件の差を考慮して、この差が大きい場合に着目領域の露出条件を補正する実施形態について説明する。なお、実施形態1と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。
実施形態1における露出条件の補正処理(S404)では、基準露出条件に基づいて補正対象領域の露出条件を補正していた。しかしながら、基準露出条件と、補正対象領域の露出条件との差が小さい場合、露出条件を補正することにより得られる効果も小さくなる。そのため、本実施形態では、隣接領域間の露出条件の差を考慮して、この差が大きい場合に着目領域の露出条件を補正する実施形態について説明する。なお、実施形態1と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。
(撮像装置の機能構成)
図10は本実施形態における撮像装置100の機能構成を示すブロック図である。
本実施形態の画像処理部209は、実施形態1における基準決定部303に代えて、露出度判定部1001を有する。露出度判定部1001は、予備露光で区画される各領域のうち着目領域が、補正対象となる補正対象領域であるか否かを判定する。
図10は本実施形態における撮像装置100の機能構成を示すブロック図である。
本実施形態の画像処理部209は、実施形態1における基準決定部303に代えて、露出度判定部1001を有する。露出度判定部1001は、予備露光で区画される各領域のうち着目領域が、補正対象となる補正対象領域であるか否かを判定する。
(露出条件の補正手順)
図11は本実施形態において、S404における露出条件の補正手順例を示すフローチャートである。以下、図11のフローチャートを参照して露出条件補正処理の詳細について説明する。
図11は本実施形態において、S404における露出条件の補正手順例を示すフローチャートである。以下、図11のフローチャートを参照して露出条件補正処理の詳細について説明する。
まず、S1101~S1104のループ処理において、露出条件の補正対象となる補正対象領域が決定される。
S1101において、露出度判定部1001は、予備露光で区画される撮像素子部201の各領域のなかから着目領域を選択する。着目領域は、S1101~S1104のループ処理が実行されるごとに、任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で領域を選択すればよい。
S1102において、露出度判定部1001は、S1101で選択された着目領域と、当該着目領域に隣接する隣接領域との露出度の差を比較する。露出度の差が所定の閾値以上の場合(S1102:YES)は、S1103に移行する。露出度の差が所定の閾値よりも小さい場合(S1102:NO)は、S1103をスキップしてS1104に移行する。
S1103において、露出度判定部1001は、着目領域を補正対象領域に決定する。
ここで、本実施形態における補正対象領域の決定手法について、図12を参照して説明する。
図12(a)は、露出度判定部1001に入力される露出度マップ例を、図12(b)は露出度判定部1001から出力される露出度マップ例をそれぞれ示している。すなわち、図12(b)の露出度マップにおいて、網掛けされている網掛領域が補正対象領域として決定されていることを示している。図12(b)の例では、着目領域の8方向(左上、上、右上、左、右、左下、下、右下)に隣接する領域が探索され、着目領域と隣接領域との露出度の差が2以上の場合に補正対象領域として決定される。このように、予備露光によって生成された露出度マップに基づいて、隣接領域との露出度の差が大きい領域が補正対象領域として決定される。なお、補正対象領域の決定手法は上記手法に限られるものではなく、判定条件となる露出度の差は「2」以外であってもよい。
次に、S1105~S1107のループ処理において、補正対象領域の露出条件が補正される。
再び図11のフローチャートに戻り、S1105において、S403の予備露光で区画された各領域のうち、露出条件が補正される対象となる補正対象領域を選択する。補正対象領域は、S1105~S1107のループ処理が実行されるごとに、任意の順番で選択することができる。例えば、撮影画像の左上から右下に向かう順番で領域を選択すればよい。
S1106において、露出条件補正部305は、S1105で選択された補正対象領域の露出条件を補正する。露出条件を補正する手法は実施形態1と同じため説明を省略する。
S1107において、露出条件補正部305は、全ての領域について処理が完了したか否かを判定する。全ての領域について処理が完了している場合(S1107:YES)は、再び図4のフローチャートに戻る。全ての領域について補正処理が完了していない場合(S1107:NO)は、再びS1105に戻りS1105~S1107のループ処理を行う。
以上説明した通り、本実施形態の撮像装置の制御手法によれば、領域ごとに異なる露出条件を設定して撮影する場合において、隣接領域間で露出条件の差が大きい場合に、隣接領域間の露出条件の差が小さくなるように補正する。そのため、本実施形態の撮像装置の制御手法によれば、実施形態1の効果に加えて、露出条件の補正に伴う処理負荷を軽減しつつ高画質なHDR画像を生成することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100・・・撮像装置
205・・・撮像系制御部
209・・・画像処理部
301・・・露出度マップ生成部
302・・・露出条件取得部
303・・・基準決定部
304・・・領域選択部
305・・・露出条件補正部
1001・・露出度判定部
205・・・撮像系制御部
209・・・画像処理部
301・・・露出度マップ生成部
302・・・露出条件取得部
303・・・基準決定部
304・・・領域選択部
305・・・露出条件補正部
1001・・露出度判定部
Claims (9)
- シャッタースピードおよびISO感度を含む露出条件を撮像画像の領域ごとに制御可能
な複数の撮像素子を制御する制御装置であって、
前記撮像素子を用いた撮像結果に基づいて、前記領域の少なくとも一部の領域において、前記シャッタースピードおよび前記ISO感度を補正する補正手段と、
前記補正手段で補正されたシャッタースピードおよびISO感度に応じて撮像する撮像手段とを有し、
前記補正手段は、隣接する前記領域の露出条件の差が小さくなるように、前記シャッタースピードと前記ISO感度との重み付けに応じて、前記シャッタースピードと前記ISO感度との少なくともいずれか一方を補正することを特徴とする制御装置。 - 前記補正手段は、前記シャッタースピードおよびISO感度それぞれを同一または略同一の割合で補正することを特徴とする請求項1に記載の制御装置。
- 前記領域ごとの露出条件を設定する設定手段を有し、
前記補正手段は、前記設定された露出条件のなかから基準露出条件を決定する決定手段をさらに有し、
前記補正手段は、前記基準露出条件との差が小さくなるように、前記設定された領域ごとのシャッタースピードおよびISO感度を補正することを特徴とする請求項1または2に記載の制御装置。 - 前記補正手段は、前記基準露出条件と着目領域で設定されたシャッタースピードおよびISO感度との差が所定の閾値以上である場合、前記基準露出条件と前記着目領域との差が小さくなるように、前記着目領域で設定されたシャッタースピードおよびISO感度を補正することを特徴とする請求項3に記載の制御装置。
- 前記基準露出条件は、前記撮像画像に含まれる主被写体の領域で設定されたシャッタースピードおよびISO感度、前記撮像画像を撮像する際にフォーカスが合った領域で設定されたシャッタースピードおよびISO感度および操作部を介して選択された領域で設定されたシャッタースピードおよびISO感度の少なくともいずれか1つであることを特徴とする請求項3または4に記載の制御装置。
- 前記補正手段は、隣接する前記領域それぞれで設定された露出条件の差が所定の閾値以上である場合、隣接する前記領域の差が小さくなるように、前記設定された領域ごとのシャッタースピードおよびISO感度を補正することを特徴とする請求項1または2に記載の制御装置。
- 前記重み付けを調整するためのUIを表示部に表示させる表示制御手段をさらに有することを特徴とする請求項1に記載の制御装置。
- シャッタースピードおよびISO感度を含む露出条件を撮像画像の領域ごとに制御可能な複数の撮像素子を制御する制御方法であって、
前記撮像素子を用いた撮像結果に基づいて、前記領域の少なくとも一部の領域において、前記シャッタースピードおよび前記ISO感度を補正する補正工程と、
前記補正手段で補正されたシャッタースピードおよびISO感度に応じて撮像する撮像工程とを有し、
前記補正工程では、隣接する前記領域の露出条件の差が小さくなるように、前記シャッタースピードと前記ISO感度との重み付けに応じて、前記シャッタースピードと前記ISO感度との少なくともいずれか一方を補正することを特徴とする制御方法。 - コンピュータを、請求項1から請求項7のいずれか1項に記載の制御装置の各手段とし
て機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022146176A JP7516471B2 (ja) | 2022-09-14 | 制御装置、撮像装置、制御方法およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241983A JP7297406B2 (ja) | 2017-12-18 | 2017-12-18 | 制御装置、撮像装置、制御方法およびプログラム |
JP2022146176A JP7516471B2 (ja) | 2022-09-14 | 制御装置、撮像装置、制御方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017241983A Division JP7297406B2 (ja) | 2017-12-18 | 2017-12-18 | 制御装置、撮像装置、制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022179514A JP2022179514A (ja) | 2022-12-02 |
JP7516471B2 true JP7516471B2 (ja) | 2024-07-16 |
Family
ID=
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005197952A (ja) | 2004-01-06 | 2005-07-21 | Sony Corp | 撮像装置及び撮像方法 |
JP2009038479A (ja) | 2007-07-31 | 2009-02-19 | Nikon Corp | 露出制御装置および撮像装置 |
US20090244319A1 (en) | 2008-04-01 | 2009-10-01 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method |
JP2016192696A (ja) | 2015-03-31 | 2016-11-10 | 京セラ株式会社 | 弾性波素子,分波器および通信装置 |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005197952A (ja) | 2004-01-06 | 2005-07-21 | Sony Corp | 撮像装置及び撮像方法 |
JP2009038479A (ja) | 2007-07-31 | 2009-02-19 | Nikon Corp | 露出制御装置および撮像装置 |
US20090244319A1 (en) | 2008-04-01 | 2009-10-01 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method |
JP2016192696A (ja) | 2015-03-31 | 2016-11-10 | 京セラ株式会社 | 弾性波素子,分波器および通信装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10757312B2 (en) | Method for image-processing and mobile terminal using dual cameras | |
JP5321163B2 (ja) | 撮像装置及び撮像方法 | |
KR101303410B1 (ko) | 촬상장치 및 촬상방법 | |
CN107509044B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
JP5624809B2 (ja) | 画像信号処理装置 | |
CN110166707B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
JP6935272B2 (ja) | ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
CN110166706B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN103685968A (zh) | 图像处理装置及图像处理方法 | |
CN102629976A (zh) | 图像处理设备和图像处理设备的控制方法 | |
CN110213498B (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
CN112991245B (zh) | 双摄虚化处理方法、装置、电子设备和可读存储介质 | |
CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2020029679A1 (zh) | 控制方法、装置、成像设备、电子设备及可读存储介质 | |
JP2011228807A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
US8570407B2 (en) | Imaging apparatus, image processing program, image processing apparatus, and image processing method | |
CN110266965B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP7516471B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
CN114554041A (zh) | 摄像装置、摄像方法和存储介质 | |
JP7204387B2 (ja) | 画像処理装置およびその制御方法 | |
JP5417920B2 (ja) | 画像処理装置、画像処理方法、電子カメラおよび画像処理プログラム |