JP7077100B2 - 撮像装置およびその制御方法、並びにプログラム - Google Patents

撮像装置およびその制御方法、並びにプログラム Download PDF

Info

Publication number
JP7077100B2
JP7077100B2 JP2018062261A JP2018062261A JP7077100B2 JP 7077100 B2 JP7077100 B2 JP 7077100B2 JP 2018062261 A JP2018062261 A JP 2018062261A JP 2018062261 A JP2018062261 A JP 2018062261A JP 7077100 B2 JP7077100 B2 JP 7077100B2
Authority
JP
Japan
Prior art keywords
image
luminance
luminance distribution
correction
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018062261A
Other languages
English (en)
Other versions
JP2019176305A (ja
Inventor
崇倫 仲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018062261A priority Critical patent/JP7077100B2/ja
Publication of JP2019176305A publication Critical patent/JP2019176305A/ja
Application granted granted Critical
Publication of JP7077100B2 publication Critical patent/JP7077100B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、露出が異なる複数の画像を取得する撮像装置およびその制御方法、並びにプログラムに関する。
近年、CCDやCMOSなどからなる撮像素子のダイナミックレンジを超えるダイナミックレンジを実現するために、ハイダイナミックレンジ(HDR)合成と呼ばれる技術が提案されている。このHDR合成は、露出条件を変えて被写体を撮像することで複数の画像を取得し、各画像における白飛びが少ない部分と黒潰れが少ない部分を合成することでダイナミックレンジを拡大した画像を生成する手法である。特に、HDR合成は日向と日陰、または屋外と屋内が混在するような明暗差の大きいシーンにおいて有効である。ここで、HDR合成では異なる露出条件で被写体を撮像することで取得した複数枚の画像を合成するため、露出条件の決定の仕方がHDR合成画像の画質に影響する。特許文献1には、合成画像の輝度積算値と輝度ヒストグラムに基づいて長秒画像と短秒画像を取得するための露光補正制御を行うことが記載されている。
特開2008-228058号公報
しかしながら、特許文献1のように合成画像の輝度積算値と輝度ヒストグラムに基づいて露出制御を行う場合、画像処理済みのデータとして露出と輝度の線形な相関関係が崩れたデータが露出制御に用いられてしまう。このため、適正な露出を決めることができず、露出制御の精度が低下してしまう可能性がある。
本発明は、上記課題に鑑みてなされ、その目的は、露出制御の精度低下を抑制する技術を実現することである。
上記課題を解決し、目的を達成するために、本発明は、撮像装置は、被写体を撮像して、露出の異なる複数の画像を取得する撮像手段と、前記撮像手段により取得した画像の輝度分布を検出する検出手段と、前記検出手段により検出された画像の輝度分布を補正する補正手段と、前記複数の画像から生成された所定の画像に所定の画像効果を付与する効果付与手段と、前記所定の画像効果に応じて前記輝度分布の補正が必要か否かを判定する判定手段と、を有する。
本発明によれば、露出制御の精度低下を抑制することができる。
実施形態1の装置構成を示すブロック図。 輝度分布の補正テーブル(a)、長秒画像のヒストグラム(b)および短秒画像のヒストグラム(c)を例示する図。 実施形態1の画像効果付与処理を示すフローチャート。 本実施形態の撮像画像の輝度値(a)、ガンマカーブ(b)およびトーンカーブ(c)の入力と出力の関係を例示する図。 本実施形態の露出の異なる画像例を示す図。 実施形態2の装置構成を示すブロック図。 実施形態2の分割された領域(a)および分割領域ごとの輝度分布補正係数(b)を例示する図。 実施形態2の歪曲補正処理を示すフローチャート。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
[実施形態1]以下、図1から図5を参照して、実施形態1について説明する。
以下では、本実施形態の撮像装置としてデジタルカメラに適用した例を説明するが、これらには限定されない。例えば、撮像装置として、カメラ機能を有する携帯電話やその一種であるスマートフォン、タブレット端末、PCなどを用いてもよい。
<装置構成>まず、図1を参照して、本実施形態の撮像装置の構成および機能について説明する。
図1(a)は、本実施形態の撮像装置の全体構成を示すブロック図である。図1(b)は、本実施形態の画像効果付与処理を実現する機能ブロックである。
本実施形態の撮像装置1は、撮像部2、メモリ制御部3、表示部4、RAM5、ROM6、シャッターボタン7、モード切替スイッチ8、および制御部9を有する。
撮像部2は、光学系101、撮像素子102、画像処理部103を含み、後述する制御部9によりカメラの露出を制御することができる。光学系101は、ズームレンズやフォーカスレンズ、絞り、NDフィルタなどを有し、後述する制御部9により絞りなどの制御が可能である。撮像素子102は、被写体の光学像を撮像信号に変換するCCDまたはCMOSなどからなり、撮像素子102から出力される撮像信号をデジタル化された画像データに変換するA/D変換器などを有する。また、撮像素子102は、電子シャッター機能を有し、後述する制御部9により電荷蓄積時間の制御が可能である。また、撮像部2は、電子シャッターの代わりにメカシャッターなどで蓄積時間を制御してもよい。
画像処理部103は、撮像素子102から出力される画像データに対し所定の画素補間、リサイズ処理および色変換処理を行う。また、画像処理部103は、撮像素子102で生成された画像データを用いて所定の演算処理を行い、得られた演算結果を制御部9に供給する。制御部9は、画像処理部103から供給された演算結果に基づいて露光制御および測距制御を行う。これにより、制御部9は、AF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行うことができる。画像処理部103はさらに、撮像素子102で生成された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてAWB(オートホワイトバランス)処理を行う。また、画像処理部103は、後述する制御部9による露出制御において撮像素子102から出力される画像データを増幅するためのゲインの設定が可能である。
撮像部2から出力される画像データは、メモリ制御部3を介してRAM5に書き込まれる。RAM5は、撮像部2で生成された画像データと、表示部4に表示するための画像データとを格納するワークメモリである。RAM5は、所定枚数の静止画と、所定時間の動画および音声とを格納するのに十分な記憶容量を有する。
RAM5はさらに、画像表示用のメモリ(ビデオメモリ)として動作する。RAM5に書き込まれた画像データはアナログ信号に変換されて表示部4に表示される。表示部4は、例えば、液晶ディスプレイ、有機ELディスプレイなどの表示デバイスを有する。表示部4が撮像部2で生成された画像データをリアルタイムに表示することにより、表示部4は電子ビューファインダとして動作する。これにより、表示部4は、ライブビュー画像を表示することができる。
ROM6は、不揮発性メモリ(例:EEPROM)である。ROM6には、撮像装置1の各構成要素を制御するためのプログラムが記憶されている。ROM6に記憶されているプログラムは、後述する撮像装置1の動作を制御するためのプログラムを含む。
制御部9は、ROM6に記憶されたプログラムを実行することにより撮像装置1の各構成要素を制御するCPUを備える。制御部9は、撮像部2における、絞り、蓄積時間、ゲインなどを設定して、カメラの露出を制御することができる。
シャッターボタン7は、撮影準備指示または撮影指示を行うための操作部材である。シャッターボタン7は、第1シャッタースイッチ7aと第2シャッタースイッチ7bとを含む。第1シャッタースイッチ7aは、シャッターボタン7が半押し状態になった場合にオンとなり、第1信号SW1(撮影準備指示)を制御部9に出力する。制御部9は、第1シャッタースイッチ7aからの第1信号SW1により、AF処理、AE処理、AWB処理、EF処理などを行う。
第2シャッタースイッチ7bは、シャッターボタン7が全押し状態になった場合にオンとなり、第2信号SW2(撮影指示)を制御部9に出力する。制御部9は、第2シャッタースイッチ7bからの第2信号SW2により、撮像部2による画像の撮像と、撮像部2で生成された撮像画像に相当する画像データの生成と、画像データの記録媒体への記録とを行う。
モード切替スイッチ8は、撮像装置1の動作モードを、静止画撮影モード、動画記録モードまたは再生モードに切り替える操作部材である。
次に、図1(b)を参照して、本実施形態の画像効果付与処理を実現する機能ブロックについて説明する。
制御部9は、本実施形態の画像効果付与処理を実現する機能ブロックとして、図1(b)に示す輝度分布検出部105、輝度分布補正部106、輝度範囲決定部107、露出量決定部108、露出制御部109、画像合成部110、画像効果付与部111を有する。
なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、1つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により1つの機能ブロックの機能または、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、制御部9のCPUがRAM5に展開したコンピュータプログラムにより実行されてもよい。
輝度分布検出部105は、画像処理部103で処理された画像データに対して、画像データを構成する画素単位の輝度を検出し、輝度ごとの画素数の分布を検出する。なお、輝度は、画像処理部103から出力される画像データのビット深度によって変わるが、例えば、8ビットで出力された場合、輝度は0~255の256段階に区分けされる。また、輝度分布検出部105は、非線形のゲイン処理であるガンマ処理が実行される前の輝度分布とガンマ処理が実行された後の輝度分布の両方を検出できる。
輝度分布補正部106は、輝度分布検出部105で検出された輝度分布を輝度ごとに補正する。輝度分布補正部106は、例えば、図2(a)に例示する補正テーブルを用いて補正を行う。図2(a)において、補正テーブルには左側に輝度値、右側にそれぞれの輝度値ごとに検出された度数を乗ずるための倍率が設定されている。輝度分布補正部106は、図2(a)の補正テーブルに従って、輝度分布検出部105により検出された輝度分布を輝度ごとに倍率を度数に乗ずる。また、倍数によっては、頻度が大きくなる可能性もあるため、頻度に所定の定数を除することで、輝度分布を正規化してもよい。輝度分部補正は、補正テーブルを用いたものに限らず、関数によって補正する方法でもより。
輝度範囲決定部107は、輝度分布補正部106で補正された輝度分布から、累積度数の画面に占める割合に基づいて輝度範囲を算出する。図2(b)は長秒画像のヒストグラムを例示している。図2(b)における、グラフ左側の累積度数割合が10%という破線は、輝度0から累積輝度分布を測定した結果、画面全体に占める輝度値が所定の第1の輝度値以下(例えば、10%以下)の画素の割合である。また、グラフ右側の累積度数割合が30%という破線は、輝度0から累積輝度分布を測定した結果、画面全体に占める輝度値が所定の第2の輝度値以下(例えば、30%以下)の画素の割合である。ここでは、説明の容易化のため10%から30%の範囲を用いている。図2(b)の累積度数割合の左側と右側は、ユーザ操作などによって、0から100%の範囲の中で設定される。低輝度側は所定の第1の閾値以上(例えば、50%以上)、高輝度側は所定の第2の閾値以下(例えば、80%以下)を用いることが好ましい。
輝度範囲決定部107は、輝度分布補正部106で補正された輝度分布から所望の累積度数割合に最も近い最小輝度値と最大輝度値からなる輝度範囲を算出する。その他、輝度分布が暗い側と明るい側に2つ分布の山がある場合、その2つの山の間の輝度範囲に設定するなどの方法も考えられる。ここでは、輝度範囲算出方法を2つ例示したが、どのような手法を用いても構わない。
露出量決定部108は、複数の画像を取得して輝度分布を検出する際に、輝度範囲算出を行った画像とは異なる画像について、算出された輝度範囲を用いて露出量を決定する。ここでは、HDR合成を行う例を説明する。輝度範囲算出までの処理は長秒画像について行い、算出された輝度範囲に基づいて短秒画像の露出量を決定する。
短秒画像について輝度分布補正を行うか否かはどちらでもよいが、本実施形態では、輝度分布補正は行わない。図2(c)は短秒画像のヒストグラムを例示している。輝度範囲決定部107で算出された輝度範囲の幅を用いて、短秒画像の輝度分布度数を輝度範囲の幅の分だけ合計して、0からサーチを行い、短秒画像における最頻度領域を算出し、最頻度領域が、算出された輝度範囲に入るように露出量を決定していく。つまり、最頻度領域に対して輝度範囲が右側にあれば、露出を明るくし、最頻度領域に対して輝度範囲が左側にあれば、露出を暗くする。輝度分布補正前の露出量は、露出は線形に対応しているため、算出された輝度範囲に入るように露出量は一意に算出することができる。また、輝度分布補正を行った場合は、フィードバック制御を用いて一定量ずつ輝度範囲に近づけて、最終的な露出量算出のために、時間をかけてサーチするようにしてもよい。
露出制御部109は、撮像部2における、絞り、蓄積時間、ゲインなどを設定して、カメラの露出を制御する。
画像合成部110は、画像処理部103から出力される複数の画像を合成する処理を行う。本実施形態では、画像合成部110は、短秒画像と長秒画像のそれぞれの輝度分布に応じて各画像の合成比率を決定し、その合成比率に応じて各画像を合成したHDR合成画像を生成する。
画像効果付与部111は、画像合成部110で合成されたHDR合成画像に対して所定の効果を付与する。所定の効果は、例えば、トーンカーブを用いた逆光補正やコントラスト補正、彩度補正、ノイズリダクション、エッジ強調などの画像の輝度に関する処理である。
表示部4は、画像効果付与部111によって効果が付与された画像を出力する。
<画像効果付与処理>次に、図3のフローチャートを参照して、本実施形態の撮像装置による画像生成処理について説明を行う。
なお、図3の処理は、制御部9がROM6から読み出したプログラムをRAM5に展開して実行することにより実現される。後述する図8でも同様である。
S301では、制御部9は、撮像部2を制御して、撮像素子102により被写体を撮像して長秒画像信号を取得する。
S302では、制御部9は、画像処理部103を制御して、S301で取得した長秒画像に対して、ホワイトバランス処理やガンマ処理などの各種の画像処理を適用する。
S303では、輝度分布検出部105は、画像処理部103で画像処理が施された画像データに対して輝度分布を検出する。画像処理部103は、ガンマ処理が施された画像およびガンマ処理が施されていない画像の2種類の画像を輝度分布検出部105に出力することができる。
S304では、制御部9は、S303で輝度分布が検出された画像に対して輝度分布補正が必要か否かを判定する。輝度分布補正の有無は、光学系101のレンズの種類や画像効果付与部111により付与される画像効果の種類に基づいて判定される。本実施形態では、S303で輝度分布を取得しているので、レンズが輝度に影響する構成であった場合や、画像効果が逆光補正やコントラスト補正などの輝度に関する処理であった場合、輝度分布補正が必要であると判定する。S304で輝度分布補正が必要であると判定された場合は、S305に進み、必要ではないと判定された場合はS306に進む。
S305では、輝度分布補正部106は、図2(a)に示した補正テーブルを算出し、S303で取得した輝度分布を補正する。ここで、図4を用いて補正テーブルの算出方法を説明する。図4は、画像の画素ごとの輝度値の入力と出力の関係を例示している。図4(a)は、撮像素子から出力された輝度値は入力と出力の関係が線形の場合を例示している。図4(b)は、画像に付与するガンマカーブを例示しており、一般的にはディスプレイの特性に応じてガンマ値0.45などが採用される。また、本実施形態では、画像効果付与部111において逆光補正を行っていることを想定しているため、図4(c)に、逆光補正用のトーンカーブを例示している。逆光補正用のトーンカーブは、通常日の当たっていない被写体がシルエット的になって暗く沈んでしまうため、画面の暗い部分においてのみゲインを付加することで、日の当たっていない被写体を見えるようにする。
このように輝度分布を補正して最終的に出力される画像の輝度値は、(a)×(b)×(c)で表される。この場合の補正テーブルは、(b)×(c)で出力されるゲインテーブルになる。こうすることで、最終的に出力される画像に対して(a)の空間で精度が高くかつ効率的に露出量を算出することができる。
一方で、S304において輝度分布補正が不要と判定された場合は、制御部9は、検出した輝度分布に対して、何ら補正を実施せずに、S306で目標輝度範囲を設定する。
S306では、輝度範囲決定部107は、目標となる輝度範囲を算出する。目標輝度範囲は、輝度範囲決定部107に目標となる累積度数割合の最小値と最大値を入力することで算出される。本実施形態では、ユーザ設定によって事前に入力されている値である。また、他の方法として、画面上の分割輝度情報などを利用して、明るく白飛びした部分を画面の中で低輝度側みて連続的に推移するようにするなど、適応的に累積度数割合を決定することも可能である。
S307では、制御部9は、S301と同様に撮像部2において短秒画像を取得する。
S308では、制御部9は、S302と同様に画像処理部103により短秒画像に対して画像処理を施す。
S309では、輝度分布検出部105は短秒画像の輝度分布を算出する。S309で算出される輝度分布は、S303と同様に、ガンマ処理前の画像による輝度分布、またはガンマ処理後の画像による輝度分布のどちらも取得することができる。
S310では、S306で算出された目標輝度範囲に基づいて露出量決定部108が露出量を決定する。ここでは、輝度と露出の間に非線形ゲインが入らない場合、2倍の輝度にするためには、露出量を1段明るくすればよいので、非常に精度が高くかつ簡便に露出量を決定できる。そして、補正した輝度分布から算出した目標輝度範囲に関して、補正ゲインの逆数を乗ずることで輝度と露出が線形な相関を持つ形式に戻すことができる。このようにして算出された目標輝度範囲が、短秒画像の輝度分布の最頻度領域と一致するように露出量を算出する。他の露出量決定方法として、例えば、露出を少しずつ動かしながら、最終的な露出量を決定するフィードバック制御を行う方法がある。この場合は、露出が明るい側か暗い側かどちらに動くかが重要であり、輝度と露出を線形な相関に戻す必要がないため、そのまま目標輝度範囲を用いて露出量を少しずつ動かすように算出すればよい。
S311では、S310で決定された露出量に基づいて、露出制御部109が撮像部2の絞りや蓄積時間、ゲインなどの露出制御パラメータを算出し、カメラの露出を制御する。
S312では、画像合成部110は、S301で取得した長秒画像とS307で取得した短秒画像を合成する。本実施形態では、それぞれの画像の輝度に従って2枚の画像の合成比率を決めて合成を行うHDR合成を想定している。なお、HDR合成は、どのような手法で行ってもよい。例えば、合成比率決定において、動いている被写体を考慮する、被写体に優先度をつけるなど、単に輝度だけでなく他の要因も合成比率決定に用いることができる。
S313では、S312で合成した画像に対して、画像効果付与部111がトーンカーブを用いた逆光補正を行う。本実施形態では逆光補正を行ったが、前述したように画像に対して何らかの効果を及ぼすものであれば画像効果はどのようなものであっても構わない。
ここでは、長秒と短秒の2枚の画像を使用する方法を説明したが、本実施形態は露出の異なる複数の画像に対応しているため、2枚である必要はない。
図5は初期の蓄積時間が1/4000秒、1/1000秒、1/250秒、1/60秒で撮影した4枚の露出の異なる画像を撮影した例を示している。露出の異なる画像の中で、基準となる画像を選択する。基準画像は、本実施形態のように長秒の画像に固定してもよいし、複数の画像の場合は、動的に基準画像を決定してもよい。動的に基準画像を選択する場合には、例えば画素の飽和部、黒つぶれ部が最も小さくなるような画素を選択するようにすればよい。ここでは、1/250秒の画像を基準画像としている。基準画像を決定した後に、それよりも短秒側の複数の画像に対して、それぞれの輝度目標値を、本実施形態の方法を用いて算出する。そして、算出した輝度目標値から、短秒側の画像、すなわち1/1000秒、1/4000秒の画像の露出を調整する。また、露出調整後は、短秒側の画像はそれぞれ新たな蓄積時間を持つ。
このようにすることで、本実施形態で説明した2枚の合成に限らず、任意の枚数での合成においても、精度の高い露出が得られる。
本実施形態によれば、合成画像に付与する画像効果に応じて合成前のそれぞれの画像の輝度分布を補正し、目標輝度範囲を算出して、相対的な暗い側の露出補正を行う。これにより、HDR合成を行う際に、露出が正しく認識性の高い画像が得られるとともに、露出制御が線形空間において可能なため、簡便で精度の高い露出を設定することが可能となる。

[実施形態2]次に、図6から図8を参照して、実施形態2について説明する。
まず、図6を参照して、実施形態2の撮像装置としてのデジタルカメラの構成および機能を説明する。
なお、図6において、図1(b)と同様の構成および機能を有するブロックには、同一の符号を付して説明を省略し、異なる点を中心に説明を行う。
図6は、実施形態2の撮像装置の構成の一例を示すブロック図である。
撮像部2は魚眼レンズ601を含む。魚眼レンズ601は、180°の画角で撮影できる代わりに、撮像素子102に結像する画像が円形になってしまう。そのため、監視カメラなどの用途であれば、大きく円形に歪曲している画像を補正して、歪みの少ない画像を出力することが多い。
歪曲補正部602は、魚眼レンズ601による画像の歪みがなくなるように補正(画像効果の付与)を行う。一般的に魚眼レンズによる歪曲は、半円ずつ補正を行っている。例えば上半分の画像の場合は、円弧の部分が画像の上長辺になるように、弦の部分のうち、中心より左側が左短辺、中心より右側が右短辺、中心部分を大きく引き伸ばして下長辺になるように補正を行う。そのため、円形画像の中心部分の認識性が著しく悪くなるため、中心部分をくりぬいて歪曲補正を行うことも多い。
領域分割部603は、輝度分布を行うために領域ごとに分割を行う。図7(a)に領域分割の例を示す。図7(a)では、同心円状に3つの領域に魚眼レンズによって結像された画像を分割している。R1は、一番外周に近い側の領域で、歪曲補正部602が補正を行うと、相対的に画像が縮小する領域になる。R2は、中心と外周の中央部の領域で、歪曲補正部602が補正を行ったときに、画像の縮尺があまり変わらない部分を示している。R3は、中心を含む領域で、歪曲補正部602が補正を行うと、画像が大きく拡大する領域である。分割はさらに細かく分割することも可能であり、同心円状でない形状で分割してもよい。
補正係数設定部604は、分割された領域ごとに輝度分布の度数全体の量を調整するための補正係数を設定する。図7(b)に示すように、各領域R1、R2、R3の補正係数を設定している。つまり、歪曲補正後の画像でできるだけ評価をしたいため、R1はデワープ後画像が縮小するので、輝度分布の度数を小さくするために、0より小さい値を乗じる。R2はデワープ後画像が拡大するので、輝度分布の同数を大きくするために、0より大きい値を乗じる。
分割輝度分布検出部605は、分割された領域ごとの輝度分布を検出する。領域ごとに輝度分布を検出している以外は、輝度分布検出部105と同様の機能を有する。
分割輝度分布補正部606は、それぞれの領域の輝度分布を補正係数設定部604によって設定された係数を、それぞれの領域のすべての輝度分布の度数に乗じる。
分割輝度分布合成部607は、分割輝度分布補正部606から出力されたそれぞれの領域の輝度分布を輝度ごとに合成している。このようにすることで、画像の全ての領域について補正された輝度分布を算出することができる。
次に、図8のフローチャートを参照して、本実施形態の歪曲補正処理について説明する。
なお、図8において、図3と同様の処理については同一のステップ番号を付して詳細な説明は省略する。
S301では撮像部2において長秒画像を取得し、S302では画像処理部103により長秒画像に対して画像処理を実施する。
S801では、制御部9は、輝度分布補正が必要か否かを判定する。補正が必要か否かは、カメラの画像を見るユーザによって歪曲補正を行うと設定されているか否かに応じて判定される。そして、歪曲補正を行わない場合は、S303で画像全体の輝度分布を検出し、S306で目標輝度範囲算出を行い、それ以降は図3のS308からS312と同様の処理を行う。
一方、歪曲補正を行う場合は、S802に進み、領域分割部603が、画像を事前に設定された方法で複数の領域に分割する。複数領域に分割する場合は、本実施形態のように魚眼レンズの歪曲補正の特徴を使う場合は、同心円状に分割する、または同心円状かつ扇形に分割すればよい。また、空や太陽が画角内に存在するなどして、その部分の影響を下げたい場合は、任意の形に分割するような方法も考えられる。本実施形態では、同心円状に3つの領域に分割した場合を例示している。
S803では、分割輝度分布検出部605は、S802で分割した領域ごとに輝度分布の検出を行う。
S804では、補正係数設定部604により設定された係数に基づいて、分割輝度分布補正部606が、S803で検出された分割領域ごとの輝度分布におけるそれぞれの輝度に係数を乗じて分割領域ごとの輝度分布を補正する。
S805では、分割輝度分布合成部607は、S804で補正された領域ごとの輝度分布を合成して画像全体の輝度分布を算出する。S805で算出された輝度分布は輝度範囲決定部107へ出力され、S306で目標輝度範囲算出を行い、それ以降は図3のS308からS312と同様の処理を行う。
S806では、歪曲補正部602が画像の歪曲補正(画像効果付与)を行って、表示部4へ出力する。
本実施形態においても、画像の合成は2枚の画像に限るわけではなく、任意の複数数の画像合成においても、同様の手法で精度の高い露出が得られる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1…撮像装置、2…撮像部、9…制御部、103…画像処理部、105…輝度分布検出部、106…輝度分布補正部、107…輝度範囲決定部、108…露出量決定部、109…露出制御部、110…画像合成部、111…画像効果付与部

Claims (15)

  1. 被写体を撮像して、露出の異なる複数の画像を取得する撮像手段と、
    前記撮像手段により取得した画像の輝度分布を検出する検出手段と、
    前記検出手段により検出された画像の輝度分布を補正する補正手段と、
    前記複数の画像から生成された所定の画像に所定の画像効果を付与する効果付与手段と、
    前記所定の画像効果に応じて前記輝度分布の補正が必要か否かを判定する判定手段と、を有することを特徴とする撮像装置。
  2. 前記判定手段は、前記効果付与手段により前記所定の画像に付与される前記所定の画像効果が輝度に関する処理であった場合に、前記輝度分布の補正が必要であると判定することを特徴とする請求項1に記載の撮像装置。
  3. 前記判定手段は、前記撮像手段が前記被写体を撮像する際の光学系が輝度に影響する構成であった場合に、前記輝度分布の補正が必要であると判定することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記検出手段は、画像の全体または所定の領域の画素において、輝度値ごとの頻度を算出し、
    前記補正手段は、前記輝度値ごとに倍率を設定し、当該倍率を前記頻度に乗ずることで輝度分布を補正することを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記補正手段により補正された輝度分布に基づいて目標輝度範囲を決定する輝度範囲決定手段と、
    前記目標輝度範囲から露出量を決定する露出量決定手段と、
    前記撮像装置の露出を制御する露出制御手段と、
    露出の異なる第1の画像と第2の画像を合成する画像合成手段と、をさらに有し、
    前記効果付与手段は、前記第1の画像と前記第2の画像を合成した前記所定の画像に前記所定の画像効果を付与することを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
  6. 前記第1の画像は長秒画像であり、前記第2の画像は短秒画像であり、
    前記判定手段は、前記長秒画像について前記輝度分布の補正が必要か否かを判定し、
    前記露出量決定手段は、前記長秒画像について補正された輝度分布に基づいて決定された目標輝度範囲に応じて前記短秒画像の露出量を決定することを特徴とする請求項5に記載の撮像装置。
  7. 前記輝度範囲決定手段は、前記補正手段により補正された輝度分布から累積度数割合を算出し、
    前記累積度数割合から、画像に占める所定の輝度値以下の画素の割合が、第1の閾値以上であって、当該第1の閾値よりも大きな第2の閾値以下となる領域を目標輝度範囲として算出することを特徴とする請求項5または6に記載の撮像装置。
  8. 前記第1の閾値は50%であり、前記第2の閾値は80%であることを特徴とする請求項7に記載の撮像装置。
  9. 前記露出量決定手段は、前記補正手段により補正された輝度分布から、複数の輝度の度数を合計し、合計した度数が最大になる最頻度領域を算出し、
    前記目標輝度範囲と前記最頻度領域が一致するように露出量を決定することを特徴する請求項5から8のいずれか1項に記載の撮像装置。
  10. 前記画像合成手段は、前記第1の画像と前記第2の画像の輝度に応じて決定される所定の合成比率に応じて各画像を合成することを特徴とする請求項5から9のいずれか1項に記載の撮像装置。
  11. 前記所定の画像効果は、輝度に応じて非線形のゲインを画像に対して付与するトーンカーブを補正する処理であることを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
  12. 魚眼レンズを介して撮像された画像を同心円状に複数の領域に分割する領域分割手段と、
    分割された分割領域ごとに輝度分布を補正するための補正係数を設定する設定手段と、をさらに有し、
    前記検出手段は、分割された領域ごとの輝度分布を検出し、
    前記補正手段は、分割された領域ごとの輝度分布に対して前記補正係数を適用した輝度分布を算出し、
    前記輝度範囲決定手段は、分割された領域ごとに補正された輝度分布を合成した輝度分布に基づいて目標輝度範囲を決定することを特徴とする請求項5から10のいずれか1項に記載の撮像装置。
  13. 前記所定の画像効果は、前記魚眼レンズを介して撮像された画像の歪曲補正であることを特徴とする請求項12に記載の撮像装置。
  14. 被写体を撮像して、露出の異なる複数の画像を取得する撮像装置の制御方法であって、
    撮像手段により取得した画像の輝度分布を検出する検出ステップと、
    前記検出された画像の輝度分布を補正する補正ステップと、
    前記複数の画像から生成された所定の画像に所定の画像効果を付与する効果付与ステップと、
    前記所定の画像効果に応じて前記輝度分布の補正が必要か否かを判定する判定ステップと、を有することを特徴とする制御方法。
  15. 請求項14に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラム。
JP2018062261A 2018-03-28 2018-03-28 撮像装置およびその制御方法、並びにプログラム Active JP7077100B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018062261A JP7077100B2 (ja) 2018-03-28 2018-03-28 撮像装置およびその制御方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018062261A JP7077100B2 (ja) 2018-03-28 2018-03-28 撮像装置およびその制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2019176305A JP2019176305A (ja) 2019-10-10
JP7077100B2 true JP7077100B2 (ja) 2022-05-30

Family

ID=68167449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018062261A Active JP7077100B2 (ja) 2018-03-28 2018-03-28 撮像装置およびその制御方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP7077100B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7476627B2 (ja) 2020-04-02 2024-05-01 株式会社Jvcケンウッド 車両用撮像装置、画像処理方法、及び画像処理プログラム
JP7476628B2 (ja) 2020-04-02 2024-05-01 株式会社Jvcケンウッド 車両用撮像装置、画像処理方法、及び画像処理プログラム
US11989913B2 (en) * 2021-01-13 2024-05-21 Samsung Electronics Co., Ltd. Dynamic calibration correction in multi-frame, multi-exposure capture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004621A (ja) 2010-06-14 2012-01-05 Ricoh Co Ltd 画像処理装置及び画像処理方法、並びに画像撮像装置
JP2014143613A (ja) 2013-01-24 2014-08-07 Fujitsu Semiconductor Ltd 画像処理装置、方法、及びプログラム、並びに撮像装置
JP2015226149A (ja) 2014-05-27 2015-12-14 三菱電機株式会社 画像処理システム、撮像装置及び記録装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004621A (ja) 2010-06-14 2012-01-05 Ricoh Co Ltd 画像処理装置及び画像処理方法、並びに画像撮像装置
JP2014143613A (ja) 2013-01-24 2014-08-07 Fujitsu Semiconductor Ltd 画像処理装置、方法、及びプログラム、並びに撮像装置
JP2015226149A (ja) 2014-05-27 2015-12-14 三菱電機株式会社 画像処理システム、撮像装置及び記録装置

Also Published As

Publication number Publication date
JP2019176305A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6124538B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP5123137B2 (ja) 撮像装置および撮像方法
JP2006033241A (ja) 撮像装置、及び画像取得方法
US9961319B2 (en) Image processing apparatus and control method thereof
US9071766B2 (en) Image capturing apparatus and control method thereof
JP2017022610A (ja) 画像処理装置、画像処理方法
JP7077100B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2008053931A (ja) 撮像装置
JP5133921B2 (ja) 撮像装置および撮像方法
JP6108680B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6148497B2 (ja) 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
JP2007019726A (ja) 撮像装置
JP2010183460A (ja) 撮像装置およびその制御方法
JP2008017198A (ja) 光源色算出装置、光源色算出方法及び撮影装置
JP6231814B2 (ja) 露出決定装置、撮像装置、制御方法、及びプログラム
JP5335964B2 (ja) 撮像装置およびその制御方法
JP2012090041A (ja) 画像処理装置及び方法、並びにプログラム
JP2003259200A (ja) 撮像装置
JP2010062987A (ja) 撮像装置及び方法
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2010183461A (ja) 撮像装置およびその制御方法
JP5268823B2 (ja) 撮像装置及び撮像方法
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220518

R151 Written notification of patent or utility model registration

Ref document number: 7077100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151