JP6090565B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

近年、各種の撮像素子を用いて静止画や動画等を撮影（撮像）するデジタルカメラやデジタルビデオカメラ等の撮像装置が広く普及している。このような撮像装置には、撮像された画像（撮像画像）の輝度に関する輝度情報に基づいて、適正露出値を算出し撮像素子における露出値を制御する機能や、撮像画像の輝度を表現する範囲であるダイナミックレンジを調整する機能が備えられている場合がある。

具体的には、撮像装置においては、撮像画像の輝度に応じてその露出値が制御される。ところが、撮像素子によって撮像された画像は、ヒトの目や銀塩フィルム等の特性に比べてダイナミックレンジが狭いため、輝度差の大きい被写体が同一フレーム内で撮像されると、低輝度部が黒くつぶれてしまったり（黒つぶれ）、高輝度部が白く飽和してしまったり（白飛び）する現象が発生することがある。このような黒つぶれや白飛びを低減し、撮像画像の品質を向上するために、様々なダイナミックレンジ拡大技術が提案されている。

代表的なダイナミックレンジ拡大技術としては、例えば、互いに異なる露出で撮像された複数枚の画像を撮像し、後段でそれらの画像を合成する技術がある。また、別のダイナミックレンジ拡大技術としては、撮像素子によって取得された画素信号に対する信号処理時に撮像画像のトーン（階調）を調整する技術がある。なお、画素信号に基づく、撮像装置内で行われる各種の信号処理の対象となる信号のことを、以下の説明では画像信号とも呼称する。

後者のダイナミックレンジ拡大技術においては、画面内の高輝度部の階調を調整しようとすると、高輝度部では画素信号が飽和している場合、すなわち、撮像素子の出力信号自体が飽和しており階調情報が存在しない場合が多いため、信号処理により高輝度部の階調を調整することは物理的な困難さを伴う。従って、高輝度側にダイナミックレンジを拡大しようとする量（ダイナミックレンジ拡大処理値）だけ露出をアンダーにして撮像を行うことにより、高輝度部の階調情報を確保しつつ、低輝度部から中輝度部においては、アンダーに露出をシフトした露出シフト値（露出補正値）に相当する分の輝度をガンマカーブで補正する（ガンマ補正する）ことにより、高輝度部のダイナミックレンジを拡大する処理が行われている。

このようなダイナミックレンジ拡大技術として、例えば、特許文献１には、撮像直前のスルー画像の輝度情報に基づいて、ダイナミックレンジ拡大処理値及び当該ダイナミックレンジ拡大処理値に対応する露出補正値を算出し、被写体に応じて自動でダイナミックレンジ拡大処理を行う方法が提案されている。

しかし、特許文献１に記載の技術を動画やスルー画に適用する場合には、以下の問題が発生する。

上述したように、特許文献１に記載の技術では、ダイナミックレンジ拡大処理値を撮像直前のスルー画の輝度情報から算出しているが、ここで算出されたダイナミックレンジ拡大処理値に対応する露出補正値を適用すると、次のタイミングで取得されるスルー画の輝度分布自体が露出補正値の分だけ変動してしまう。例えば、ある撮像画像において、ダイナミックレンジ拡大処理値が＋１ＥＶ、露出補正値が−１ＥＶと算出された場合、次のタイミングで得られるスルー画の輝度情報は、前回のタイミングで取得されたスルー画より１ＥＶアンダーの輝度分布となる。そのため、新たに得られたスルー画に基づいて再度露出補正値を算出すると、前回とは異なる結果となってしまう。従って、被写体や撮像条件によっては、露出補正値の算出結果がアンダーとオーバーとを交互に繰り返し、一定の状態に安定しない、いわゆるハンティング現象が発生する可能性がある。このようなハンティング現象を防ぐためには、ダイナミックレンジ拡大処理値を算出する際に露出補正値に応じて閾値を設定する等、ダイナミックレンジ拡大処理値及び露出補正値の算出処理が複雑なものとなってしまう。

このような状況を鑑みて、特許文献２には、ダイナミックレンジ拡大技術をスルー画や動画に適用するための技術として、適正露出値、ダイナミックレンジ拡大処理値及び露出補正値の算出に用いる画像信号に、前回タイミングのダイナミックレンジ拡大処理が行われた後の画像信号を用いる技術が開示されている。当該技術を用いることにより、ダイナミックレンジ拡大処理の前後であっても、画像信号から得られる輝度情報が大きく変化しないため、安定した露出値の制御が可能となる。

特開２０１０−１８３２９９号公報 特開２０１０−０１１１５３号公報

ここで、一般的に、上述した適正露出値やダイナミックレンジ拡大処理値の算出処理では、入力データとなる画像信号は線形データであることが好ましい。特に、画像信号の輝度情報に基づいて適正露出値を算出するアルゴリズムは、線形データに基づいて適正露出値を算出する仕様になっていることが多い。

一方、上述したように、特許文献２では、適正露出値、ダイナミックレンジ拡大処理値及び露出補正値の算出に、前回タイミングのダイナミックレンジ拡大処理が行われた後の画像信号が用いられる。このダイナミックレンジ拡大処理が行われた後の画像信号は、一般的に、ガンマ補正が行われた後の非線形変換されたデータである。

従って、特許文献２の技術を適用する場合には、画像信号が非線形データである場合でも処理可能なように、適正露出値を算出するアルゴリズム及びダイナミック拡大処理値を算出するアルゴリズム自体を、非線形データに対応するように調整する又は作り直す必要がある。このように、特許文献２に記載の技術を適用する場合には、撮像装置内での各種の信号処理を行うためのソフトウェアを変更する必要があり、コストが増大する可能性があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、既存の構成を変更するコストをより抑えながら、ダイナミックレンジ拡大処理をより安定的に行うことが可能な、新規かつ改良された撮像装置、撮像方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像部によって取得された画像信号に基づいて、被写体の輝度値に関する輝度情報を取得する輝度情報取得部と、前記輝度情報に基づいて、ダイナミックレンジの拡大幅に対応するダイナミックレンジ拡大処理値を算出するダイナミックレンジ拡大処理値算出部と、前記撮像部の露出値が前記ダイナミックレンジ拡大処理値に対応する露出補正値だけシフトするように、前記露出値を制御する露出制御部と、を備える撮像装置において、前記輝度情報取得部に入力される前記画像信号及び前記輝度情報取得部から出力される前記輝度情報を表す信号の少なくともいずれかの信号値の補正量である信号補正値を算出し、前記信号補正値に基づいて前記信号値を補正する信号値補正部、を更に備え、前記信号値補正部は、前記信号補正値に基づいて、前記撮像部によって新たに取得された前記画像信号及び前記撮像部によって新たに取得された前記画像信号に基づく前記輝度情報を表す信号の少なくともいずれかの信号値を補正し、補正した前記信号値を前記ダイナミックレンジ拡大処理値算出部及び前記露出制御部に出力する、ことを特徴とする、撮像装置が提供される。

本発明によれば、信号値補正部によって、輝度情報取得部に入力される画像信号及び輝度情報取得部から出力される輝度情報を表す信号の少なくともいずれかの信号値が補正される。従って、既存の構成に対して大規模な変更を行うことなく、ダイナミックレンジ拡大処理値算出部及び露出制御部における処理が安定的に行われるように、ダイナミックレンジ拡大処理値算出部及び露出制御部に入力される信号が補正される。よって、既存の構成を変更するコストをより抑えながら、ダイナミックレンジ拡大処理をより安定的に行うことが可能となる。

また、前記信号補正値は、前記ダイナミックレンジ拡大処理値に対応する前記露出補正値であり、前記信号値補正部は、前記露出制御部によって前記露出補正値の分だけアンダーにシフトされている前記画像信号に含まれる輝度値を、前記露出補正値の分だけ逆方向にシフトさせることにより、前記信号値を補正してもよい。

本発明によれば、ダイナミックレンジ拡大処理に伴いアンダーにシフトされた露出値の分だけ、信号値補正部によって信号値の輝度値が逆方向にシフトされることにより、当該信号値に対する補正が行われてよい。従って、ダイナミックレンジ拡大処理値算出部及び露出制御部における処理がより安定的に行われる。

また、前記撮像装置は、前記ダイナミックレンジ拡大処理値に基づいて前記画像信号の輝度値を変換するためのガンマカーブを算出し、前記ガンマカーブを利用して前記画像信号の輝度値を変換するガンマ補正を行うガンマ補正部、を更に備えてもよい。

本発明によれば、ダイナミックレンジ拡大処理値算出部によって算出されたダイナミックレンジ拡大処理値に基づいて、画像信号に対してガンマ補正が行われてよい。従って、ダイナミックレンジが拡大された、より高品質な画像データが取得される。

また、前記露出制御部は、前記輝度情報に基づいて、前記露出値に対する適正露出値を算出し、前記ダイナミックレンジ拡大処理値算出部は、前記露出値と前記適正露出値との差分が所定のしきい値以下である場合に、前記ダイナミックレンジ拡大処理値を更新してもよい。

本発明によれば、露出値と適正露出値との差分が所定のしきい値以下でない場合には、ダイナミックレンジ拡大処理値が更新されなくてよい。従って、ダイナミックレンジ拡大処理がより安定的に行われる。

また、前記信号値補正部は、前記輝度情報の前記撮像部への入射光量に対する線形特性に応じて、異なる種類の前記信号補正値を算出してもよい。

本発明によれば、輝度情報の撮像部への入射光量に対する線形特性に応じて、異なる種類の信号補正値が算出されてよい。従って、ダイナミックレンジ拡大処理がより安定的に行われる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像部によって取得された画像信号に基づいて、被写体の輝度値に関する輝度情報を取得するステップと、前記輝度情報に基づいて、ダイナミックレンジの拡大幅に対応するダイナミックレンジ拡大処理値を算出するステップと、前記撮像部の露出値が前記ダイナミックレンジ拡大処理値に対応する露出補正値だけシフトするように、前記露出値を制御するステップと、を含む撮像方法において、前記輝度情報を取得する前段の信号及び後段の信号の少なくともいずれかの信号値の補正量である信号補正値を算出し、前記信号補正値に基づいて前記信号値を補正するステップ、を更に含み、前記信号値を補正するステップでは、前記信号補正値に基づいて、前記撮像部によって新たに取得された前記画像信号及び前記撮像部によって新たに取得された前記画像信号に基づく前記輝度情報を表す信号の少なくともいずれかの信号値を補正する、ことを特徴とする、撮像方法が提供される。

本発明によれば、輝度情報が取得される前段の信号及び後段の信号の少なくともいずれかの信号値が補正される。従って、既存の構成に対して大規模な変更を行うことなく、ダイナミックレンジ拡大処理値算出部及び露出制御部における処理が安定的に行われるように、ダイナミックレンジ拡大処理値算出部及び露出制御部に入力される信号が補正される。よって、既存の構成を変更するコストをより抑えながら、ダイナミックレンジ拡大処理をより安定的に行うことが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、撮像部によって取得された画像信号に基づいて、被写体の輝度値に関する輝度情報を取得する機能と、前記輝度情報に基づいて、ダイナミックレンジの拡大幅に対応するダイナミックレンジ拡大処理値を算出する機能と、前記撮像部の露出値が前記ダイナミックレンジ拡大処理値に対応する露出補正値だけシフトするように、前記露出値を制御する機能と、を実現させるためのプログラムにおいて、前記輝度情報を取得する前段の信号及び後段の信号の少なくともいずれかの信号値の補正量である信号補正値を算出し、前記信号補正値に基づいて前記信号値を補正する機能、を更に含み、前記信号値を補正する機能では、前記信号補正値に基づいて、前記撮像部によって新たに取得された前記画像信号及び前記撮像部によって新たに取得された前記画像信号に基づく前記輝度情報を表す信号の少なくともいずれかの信号値を補正する、ことを特徴とする、プログラムが提供される。

本発明によれば、輝度情報が取得される前段の信号及び後段の信号の少なくともいずれかの信号値が補正される。従って、既存の構成に対して大規模な変更を行うことなく、ダイナミックレンジ拡大処理値算出部及び露出制御部における処理が安定的に行われるように、ダイナミックレンジ拡大処理値算出部及び露出制御部に入力される信号が補正される。よって、既存の構成を変更するコストをより抑えながら、ダイナミックレンジ拡大処理をより安定的に行うことが可能となる。

以上説明したように本発明によれば、既存の構成を変更するコストをより抑えながら、ダイナミックレンジ拡大処理をより安定的に行うことが可能となる。

本開示の一実施形態に係る撮像装置の一構成例を示す機能ブロック図である。 本実施形態に係る撮像装置における、画像信号処理部及び制御部の一構成例を示す機能ブロック図である。 本実施形態の一変形例に係る撮像装置における、画像信号処理部及び制御部の一構成例を示す機能ブロック図である。 従来の撮像装置における、画像信号処理部及び制御部の一構成例を示す機能ブロック図である。 本実施形態に係るダイナミックレンジ拡大処理手順を示すフロー図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．撮像装置の構成＞
まず、図１を参照して、本開示の一実施形態に係る撮像装置の一構成例について説明する。図１は、本開示の一実施形態に係る撮像装置の一構成例を示す機能ブロック図である。

図１を参照すると、本開示の一実施形態に係る撮像装置１０は、撮像部１１０、画像信号処理部１２０、制御部１３０、レンズ駆動部１４１、絞り駆動部１４２、シャッタ駆動部１４３、タイミング発生部１４４、ＳＤＲＡＭ１５２、ＬＣＤドライバ１５３、ＬＣＤ１５４、メディアコントローラ１５５、記録メディア１５６及び操作手段１６０を備える。また、画像信号処理部１２０、制御部１３０、ＳＤＲＡＭ１５２、ＬＣＤドライバ１５３及びメディアコントローラ１５５は、撮像装置１０の内部バス１５１によって互いに接続され、各構成部材間で相互に信号を送受信することが可能である。

撮像部１１０は、被写体からの光を後述する撮像素子１１５の受光面に入射させ、その光を電気信号に変換することにより、被写体の画像情報を電気信号として取得する。なお、以下の説明では、撮像部１１０によって被写体からの光を電気信号として取得することを、被写体を撮像すると呼称する。また、取得された電気信号から構成される被写体の画像のことを撮像画像と呼称する。

撮像部１１０の機能及び構成について詳しく説明する。撮像部１１０は、レンズ１１１、フォーカスレンズ１１２、絞り１１３、シャッタ１１４及び撮像素子１１５を有する。

レンズ１１１は、撮像部１１０の被写体と対向する位置に設けられ、被写体からの光を撮像素子１１５に導光する。

フォーカスレンズ１１２は、レンズ駆動部１４１によって撮像部１１０の他の構成部材との相対的な位置が制御されることにより、撮像部１１０の光学系における焦点距離を調整する。具体的には、後述する制御部１３０のＡＦ部１３４からの制御により、被写体が撮像素子１１５の受光面に結像されるようにフォーカスレンズ１１２が駆動され、焦点距離が調整される。

絞り１１３は、絞り駆動部１４２によって開口度合い（開口面積）が制御されることにより、撮像素子１１５に入射する光の光量（輝度、明るさ、露出値）を調整する。具体的には、後述する制御部１３０のＡＥ制御部１３５からの制御により、被写体からの光の露出値が適正露出値になるように、絞り１１３の開口面積が調整される。

シャッタ１１４は、機械的なシャッタ機構であり、シャッタ駆動部１４３によってその開閉が駆動される。具体的には、後述する制御部１３０のＡＥ制御部１３５からの制御により、被写体からの光の露出値が適正露出値になるように、シャッタ１１４の開閉タイミングが調整される。

撮像素子１１５は、受光素子が２次元状に配列された受光面を有し、当該受光面に入射した光を、その光量に応じた電気信号に変換する。当該電気信号を１つ又は複数の受光素子によって構成される画素ごとに順次読み出すことにより、入射した光に応じた画像を得ることができる。なお、撮像素子１１５において画素信号がリセットされるタイミングや画素信号が読み出されるタイミング、すなわち電子シャッタの開閉のタイミングは、タイミング発生部１４４を介して後述する制御部１３０のＡＥ制御部１３５によって制御される。なお、以下の説明では、撮像タイミングとは、撮像素子１１５から画素信号が読み出されるタイミングのことを意味していてよい。例えば、動画やスルー画の場合であれば、所定の撮像タイミングで連続的に撮像素子１１５から画素信号が読み出されることにより、連続的に撮像が行われる。

なお、本実施形態においては、撮像素子１１５の種類は特に限定されず、あらゆる公知の撮像素子が用いられてよい。例えば、撮像素子１１５は、ＣＭＯＳセンサであってもよく、ＣＣＤセンサであってもよい。撮像素子１１５によって画素ごとに取得された電気信号（画素信号）は、画像信号処理部１２０に送信される。

画像信号処理部１２０は、撮像部１１０によって取得された画素信号に対して各種の信号処理を施すことにより、被写体に対応する画像データを生成する。画像信号処理部１２０は、例えばＣＰＵやＤＳＰ等の信号処理回路によって構成され、情報処理装置及び制御装置として機能する。なお、以下の説明では、画素信号に基づく、撮像装置１０の内部、特に画像信号処理部１２０以降に行われる各種の信号処理の対象となる信号のことを、画像信号とも呼称する。画像信号処理部１２０によって行われる各種の信号処理の詳細については、図２を参照して後述する。

制御部１３０は、撮像装置１０を統合的に制御するとともに、撮像部１１０における焦点距離、露出値等を制御することにより、撮像条件を制御する。制御部１３０は、例えばＣＰＵやＤＳＰ等の信号処理回路によって構成され、情報処理装置及び制御装置として機能する。具体的には、制御部１３０は、レンズ駆動部１４１を介してフォーカスレンズ１１２を駆動させ、撮像部１１０の焦点距離を調整する。また、制御部１３０は、絞り駆動部１４２、シャッタ駆動部１４３及びタイミング発生部１４４を介して絞り１１３、シャッタ１１４及び撮像素子１１５における電子シャッタを駆動し、撮像部１１０の露出値を調整する。

制御部１３０の機能及び構成について詳しく説明する。制御部１３０は、ＡＥ部１３１、ＡＷＢ部１３２、ＤＲＣ部１３３、ＡＦ部１３４、ＡＥ制御部１３５及び信号値補正部１３６を有する。

ＡＥ部１３１は、画像信号処理部１２０から送信される撮像画像の輝度情報に基づいて、撮像時の露出値及び適正露出値を算出する。ここで、輝度情報とは、被写体（撮像画像）の輝度値に関する情報のことを示す。例えば、輝度情報は、撮像画像内における位置情報（例えば、撮像画像を表示画面上に表示した際の２次元の座標データ）と、各位置における輝度値とが関連付けられた情報であってもよい。適正露出値は被写体の輝度に応じて算出され、被写体の輝度が変化すれば適正露出値も変化する。また、ＡＥ部１３１は、ＤＲＣ部１３３から送信されるダイナミックレンジ拡大処理値に基づいて、ダイナミックレンジ拡大処理に伴う露出シフト量である、露出補正値を算出する。ＡＥ部１３１は、算出した露出値、適正露出値及び露出補正値を、ＡＥ制御部１３５に送信する。

ＡＷＢ部１３２は、画像信号処理部１２０から送信される撮像画像の輝度情報に基づいて、適正なホワイトバランスゲインを算出し、後述する画像信号処理部１２０のＷＢＣ部１２６による画像信号に対するホワイトバランスの調整を制御する。

ＤＲＣ部１３３は、画像信号処理部１２０から送信される撮像画像の輝度情報に基づいて、ダイナミックレンジを拡大させる値である、ダイナミックレンジ拡大処理値を算出する。また、ＤＲＣ部１３３は、ダイナミックレンジ拡大処理値をＡＥ部１３１及び後述する画像信号処理部１２０のＧＡＭＭＡ部１２７に送信する。ＡＥ部１３１では、上述したように、ダイナミックレンジ拡大処理値に基づいて露出補正値が算出される。ここで、露出補正値は、ダイナミックレンジ拡大処理値に対応する値であってよい。ＧＡＭＭＡ部１２７では、ダイナミックレンジ拡大処理値に基づいて、画像信号の輝度値を変換するためのガンマカーブ（ガンマ補正値）が算出され、当該ガンマカーブに基づいて、画像信号の輝度値を最終的に出力される画像データでの輝度値に変換するガンマ補正が行われる。このように、ＤＲＣ１３３部は、ダイナミックレンジの拡大幅に関する制御値であるダイナミックレンジ拡大処理値を算出する、ダイナミックレンジ拡大処理値算出部として機能する。

ＡＦ部１３４は、画像信号処理部１２０から送信される撮像画像のコントラスト成分等の情報に基づいて被写体までの距離を検出し、レンズ駆動部１４１によりフォーカスレンズ１１２を駆動させることにより焦点距離を調節する。このように、ＡＦ部１３４は、撮像部１１０におけるフォーカスを制御する、フォーカス制御部として機能する。

ＡＥ制御部１３５は、ＡＥ部１３１によって算出された適正露出値及び／又は露出補正値に基づいて、取得される画像信号の露出値が当該適正露出値及び／又は当該露出補正値に応じた露出値になるように、絞り１１２、シャッタ１１４及び撮像素子１１５における電子シャッタを制御する。更に、ＡＥ制御部１３５は、算出された適正露出値及び／又は露出補正値に基づいて、画像信号に作用させるゲインを算出し、後述する画像信号処理部１２０のＤＡＭＰ部１２４による画像信号の増幅を制御する。ここで、露出補正値に応じた露出値とは、露出値を露出補正値の分だけシフトさせた露出値のことであってよい。露出値を露出補正値の分だけシフトさせることによって、ダイナミックレンジの拡大処理を行うことが可能となる。このように、ＡＥ部１３１及びＡＥ制御部１３５は、撮像部１１０における露出値に関する各種の物理量を算出し、当該物理量に基づいて撮像部１１０における露出値を制御する、露出制御部として機能する。

信号値補正部１３６は、ＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を、ダイナミックレンジ拡大処理値に基づいて補正する。具体的には、信号値補正部１３６は、ＤＲＣ部１３３によって算出されたダイナミックレンジ拡大処理値に基づいて、輝度情報を表す信号を補正するための信号補正値を算出する。そして、信号値補正部１３６は、当該信号補正値に基づいて、画像信号処理部１２０からＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に送信される輝度情報を表す信号の信号値を補正する。このように、信号値補正部１３６は、信号補正値を算出した後、次の撮像タイミングで新たに取得された画像信号に基づく輝度情報を表す信号の信号値を、当該信号補正値で補正する。

なお、図１に示す例では、信号値補正部１３６は、制御部１３０に設けられているが、本実施形態はかかる例に限定されない。例えば、信号値補正部１３６は、画像信号処理部１２０に設けられてもよい。信号値補正部１３６が画像信号処理部１２０に設けられる場合、信号値補正部１３６は、画像信号処理部１２０からＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に送信される前の輝度情報を補正してもよい。更に、信号値補正部１３６は、輝度情報が取得される前の画像信号の信号値を補正することにより、最終的にＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を補正してもよい。

なお、信号値補正部１３６の機能及び画像信号処理部１２０と制御部１３０の各構成要素間の各種の信号のやり取りの詳細については、図２及び図３を参照して後述する。

以上説明したように、本実施形態においては、ＡＥ部１３１によって、輝度情報に基づいて、撮像時の露出値及び適正露出値が算出される。また、ＤＲＣ部１３３によって、輝度情報に基づいて、ダイナミックレンジを拡大させる値である、ダイナミックレンジ拡大処理値が算出される。また、当該ダイナミックレンジ拡大処理値に基づいて、ＡＥ部１３１によって、ダイナミックレンジ拡大処理に伴う露出シフト量である、露出補正値が算出される。更に、後述するＧＡＭＭＡ部１２７によって、ダイナミックレンジ拡大処理値に基づいて、画像信号の輝度値を変換するためのガンマカーブが算出され、当該ガンマカーブに基づいて、画像信号の輝度値を最終的に出力される画像データでの輝度値に変換するガンマ補正が行われる。このように、ＤＲＣ部１３３によって算出されたダイナミックレンジ拡大処理値に応じた輝度値の分だけ露出値がアンダーにシフトされ、当該露出シフト後の撮像画像の輝度値をガンマカーブで補正する（ガンマ補正する）ことにより、高輝度部のダイナミックレンジを拡大する処理が行われる。

撮像装置１０の説明を続ける。レンズ駆動部１４１、絞り駆動部１４２及びシャッタ駆動部１４３は、例えばモータ、アクチュエータ等の機構を有する駆動装置である。レンズ駆動部１４１は、ＡＥ制御部１３５からの制御によりフォーカスレンズ１１２を駆動し、撮像部１１０の焦点距離を調整する。絞り駆動部１４２は、ＡＥ制御部１３５からの制御により絞り１１３を駆動し、撮像画像の露出値を調整する。シャッタ駆動部１４３は、ＡＥ制御部１３５からの制御によりシャッタ１１４を駆動し、絞り１１３と併せて撮像画像の露出値を調整する。

タイミング発生部１４４は、撮像素子１１５に対して、画素信号リセット用の信号及び／又は画素信号読出し用の信号等を所定のタイミングで印加する。具体的には、タイミング発生部１４４は、ＡＥ制御部１３５からの制御により、撮像素子１１５の電子シャッタの開閉を駆動することにより、動画撮影時又はライブビュー時のスルー画に対する露出値を調整する。

ＳＤＲＡＭ１５２は、撮像装置１０に搭載される記憶媒体の一例である。ＳＤＲＡＭ１５２は、画像信号処理部１２０によって各種の信号処理が施された画像信号を、画像データとして所定のフォーマットで記憶する。なお、本実施形態においては、画像データを保存する記憶媒体はＳＤＲＡＭ１５２に限定されず、各種の公知の記憶媒体が用いられてよい。

ＬＣＤドライバ１５３は、ＬＣＤ１５４を駆動するためのドライバである。また、ＬＣＤ１５４は、撮像装置１０に搭載される表示装置の一例である。ＬＣＤドライバ１５３は、例えば、ＳＤＲＡＭ１５２に記憶されている画像データを表示画面に表示するようにＬＣＤ１５４を駆動する。なお、本実施形態においては、画像データを表示する表示装置はＬＣＤ１５４に限定されず、各種の公知の表示装置が用いられてよい。また、撮像装置１０に搭載される表示装置に応じて、当該表示装置を駆動するためのドライバも適宜選択され搭載されてよい。

メディアコントローラ１５５は、記録メディア１５６を駆動するためのドライバである。また、記録メディア１５６は、外部記憶装置の一例である。メディアコントローラ１５５は、各種のデータを記録メディア１５６に書き込むことができる。また、メディアコントローラ１５５は、各種のデータを記録メディア１５６から読み出すことができる。例えば、メディアコントローラ１５５は、記録メディア１５６に画像データを書き込んだり、記録メディア１５６から画像データを読み出してＬＣＤ１５４に表示させたりすることができる。なお、本実施形態においては、記録メディア１５６の種類は特に限定されず、各種の公知の外部記憶装置が用いられてよい。また、メディアコントローラ１５５の種類は、当該外部記憶装置の種類に応じて適宜選択され搭載されてよい。

操作手段１６０は、ユーザからの各種の操作に関する情報（操作情報）を撮像装置１０に入力するためのインターフェースである。例えば、操作手段１６０から入力された各種の操作情報は制御部１３０に入力され、制御部１３０によって当該操作情報に応じた各種の処理が行われる。具体的には、例えば、操作手段１６０は、ボタン、タッチパネル、スイッチ及びレバー等のユーザによって操作される操作手段である。また、操作手段１６０は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよい。更に、操作手段１６０は、例えば、上記の操作手段を用いてユーザにより入力された操作情報に基づいて入力信号を生成し、制御部１３０に出力する入力制御回路等から構成されている。撮像装置１０のユーザは、この操作手段１６０を操作することにより、撮像装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

以上、図１を参照して、本開示の一実施形態に係る撮像装置１０の一構成例について説明した。なお、本実施形態に係る撮像装置１０の構成は、図１に示す例に限定されず、以上説明した機能と同様の機能を有する限りにおいて、適宜変更されてよい。例えば、図１に示す例では、画像信号処理部１２０と制御部１３０とは別個の回路（ＣＰＵ、ＤＳＰ等）によって構成され、相互にバス１５１によって接続されているが、本実施形態はかかる例に限定されない。例えば、画像信号処理部１２０及び制御部１３０は、１つの回路（ＣＰＵ、ＤＳＰ等）として構成されてもよい。

＜２．画像信号処理部及び制御部の構成＞
次に、図１に示す撮像装置１０における画像信号処理部１２０及び制御部１３０の概略構成について説明するとともに、画像信号に対する処理について説明する。なお、以下の説明では、まず、［２．１．本実施形態に係る構成］で、図２を参照して、本実施形態に係る撮像装置１０における画像信号処理について説明する。次いで、［２．２．従来の構成］で、図４を参照して、従来の撮像装置における画像信号処理について説明し、本実施形態との相違点を明らかにする。

［２．１．本実施形態に係る構成］
図２を参照して、本実施形態に係る撮像装置１０における画像信号処理部１２０及び制御部１３０の概略構成について説明するとともに、画像信号に対する処理について説明する。図２は、本実施形態に係る画像信号処理部１２０及び制御部１３０の一構成例を示す機能ブロック図である。なお、本項においては、撮像装置１０の中でも、画像信号処理部１２０及び制御部１３０における信号処理について主に説明を行う。そのため、図２では、簡単のため、撮像装置１０の構成のうち、撮像部１１０、画像信号処理部１２０及び制御部１３０以外の構成については、図示を省略している。

図２を参照すると、画像信号処理部１２０は、ＤＰＣ部１２１、ＯＢＲ部１２２、ＬＳＣ部１２３、ＤＡＭＰ部１２４、ＳＩＧＭＡ部１２５、ＷＢＣ部１２６、ＧＡＭＭＡ部１２７及びフォーマット変換部１２８を有する。

撮像部１１０によって取得された画素信号（画像信号）は、まず、画像信号処理部１２０のＤＰＣ部１２１に入力される。

ＤＰＣ部１２１は、画像信号に対して画素欠陥を補正する処理を行う。具体的には、撮像部１１０から送信された画素信号に基づいて、白点（暗時出力大）画素等の欠陥画素の画素信号を、周囲の画素の画素信号の平均値等で補完する処理を行う。ＤＰＣ部１２１は、画素欠陥の補正処理を行った後の画像信号を、ＯＢＲ部１２２に送信する。

ＯＢＲ部１２２は、画像信号に対して光学的暗部レベルを補正する処理を行う。撮像部１１０の撮像素子１１５に含まれる複数の受光素子の中には、例えば、光学的暗部レベルの基準となるＯＢ画素（Ｏｐｔｉｃａｌ Ｂｌａｃｋ画素）が用意されている。例えば、ＯＢＲ部１２２は、当該ＯＢ画素の画素信号に基づいて光学的な黒の基準を設定し、当該基準を利用して画像信号の光学的暗部レベルを補正する処理を行う。ＯＢＲ部１２２は、光学的暗部レベルの補正処理を行った後の画像信号を、ＬＳＣ部１２３に送信する。

ＬＳＣ部１２３は、画像信号に対してシェーディング特性を補正する処理を行う。具体的には、例えば、撮像部１１０の画素信号の読み出し特性等に基づいてそのシェーディング特性に対する補正係数が予め設定されており、ＬＳＣ部１２３は、当該補正係数に基づいて、画像信号に対してシェーディング特性を補正する処理を行う。ＬＳＣ部１２３は、シェーディング特性の補正処理を行った後の画像信号を、ＤＡＭＰ部１２４に送信する。

ＤＡＭＰ部１２４は、増幅器の一例であり、画像信号を所定のゲインで増幅する。例えば、ＤＡＭＰ部１２４はデジタルアンプであり、撮像部１１０の絞り１１３やシャッタ１１４の設定に応じて設定される露出値に基づいて決定されるゲインによって、画像信号を増幅する処理を行う。ＤＡＭＰ部１２４は、増幅処理を行った後の画像信号を、ＳＩＧＭＡ部１２５及びＷＢＣ部１２６に送信する。

ＳＩＧＭＡ部１２５は、画像信号に基づいて撮像画像の輝度値を検出し、所定の領域ごとの輝度に関する輝度情報を取得する。ここで、当該所定の領域は、撮像画像に対応する画面上を複数の領域に分割することによって予め設定されている。例えば、当該所定の領域は複数の画素から構成される領域であってよく、ＳＩＧＭＡ部１２５は、当該領域に含まれる画素に対応する画像信号を積算することにより、当該領域ごとの輝度を検出し、輝度情報を取得する。また、例えば、当該所定の領域は１つの画素に対応する領域であってよく、ＳＩＧＭＡ部１２５は、画像信号を積算することなく、画素ごとの輝度を検出し、輝度情報を取得してもよい。更に、撮像部１１０がカラーフィルタ等を有し、画像信号がＲ、Ｇ、Ｂ等の分光特性を有している場合には、ＳＩＧＭＡ部１２５は、波長帯域ごとに（Ｒ、Ｇ、Ｂごとに）画像信号を積算してもよい。ただし、本実施形態においては、画像信号は分光特性を有していなくてもよく、撮像画像はカラー画像ではない、いわゆるモノクロ画像であってもよい。このように、ＳＩＧＭＡ部１２５は、撮像部１１０によって取得された画像信号に基づいて、被写体の輝度に関する輝度情報を取得する、輝度情報取得部として機能する。ＳＩＧＭＡ部１２５は、取得した輝度情報を制御部１３０の信号値補正部１３６に送信する。なお、当該輝度情報を含む、画像信号処理部１２０と制御部１３０との間の各種の信号のやり取りについては、後で詳しく説明する。

ＷＢＣ部１２６は、画像信号に対してホワイトバランスを補正する処理を行う。具体的には、ＷＢＣ部１２６は、制御部１３０のＡＷＢ部１３２によって算出されるホワイトバランスゲインに基づいて、画像信号に対してホワイトバランス補正する処理を行う。ＷＢＣ部１２６は、ホワイトバランスの補正処理を行った後の画像信号を、ＧＡＭＭＡ部１２７に送信する。

ＧＡＭＭＡ部１２７は、ガンマカーブに基づいて、画像信号の輝度値を最終的に出力される画像データでの輝度値に変換するガンマ補正処理（ガンマ変換処理）を行う。ここで、ＧＡＭＭＡ部１２７は、画像信号に含まれる輝度情報や階調に関する情報に基づいて、ガンマカーブを適宜設定してもよい。例えば、ＧＡＭＭＡ部１２７は、制御部１３０のＤＲＣ部１３３によって算出されるダイナミックレンジ拡大処理値に基づいて、画像信号の輝度値を変換するためのガンマカーブを設定し、当該ガンマカーブに基づいて、ガンマ補正処理を行う。このように、ＧＡＭＭＡ部１２７は、画像信号の輝度値に対してガンマ補正を行うガンマ補正部として機能する。ＧＡＭＭＡ部１２７は、ガンマ補正処理を行った後の画像信号を、フォーマット変換部１２８に送信する。

フォーマット変換部１２８は、画像信号を、最終的に表示画面に表示する画像データのフォーマットに変換する処理を行う。例えば、フォーマット変換部１２８は、画像信号を、ＲＧＢフォーマットからＹＣＣフォーマットに変換する処理を行う。

次に、制御部１３０における信号処理について説明する。なお、制御部１３０のＡＥ部１３１、ＡＷＢ部１３２、ＤＲＣ部１３３、ＡＦ部１３４、ＡＥ制御部１３５及び信号値補正部１３６の機能については、図１を参照して上述しているため、ここでは、画像信号処理部１２０との間の信号のやり取りについて主に説明を行う。

上述したように、画像信号処理部１２０のＳＩＧＭＡ部１２５によって取得された画像信号の輝度情報は、制御部１３０の信号値補正部１３６に送信される。信号値補正部１３６は、ＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を、ダイナミックレンジ拡大処理値に基づいて補正する。具体的には、信号値補正部１３６は、ＤＲＣ部１３３によって算出されたダイナミックレンジ拡大処理値に基づいて、輝度情報を表す信号の信号値を補正するための信号補正値を算出する。そして、信号値補正部１３６は、当該信号補正値に基づいて当該信号値を補正し、補正後の輝度情報をＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力する。このように、信号値補正部１３６は、信号補正値を算出した後、次の撮像タイミングで新たに取得された画像信号に基づく輝度情報を表す信号の信号値を、当該信号補正値で補正する。なお、最初の撮像タイミングで取得された画像信号に基づく輝度情報に対しては、ダイナミックレンジ拡大処理値が算出されておらず、従って補正信号値も算出されていないため、信号値補正部１３６は、補正を行わずに輝度情報をＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力してもよい。

上述したように、ＡＥ部１３１では、当該輝度情報に基づいて、撮像時の露出値及び適正露出値が算出される。また、ＡＥ部１３１による算出結果に基づいて、ＡＥ制御部１３５が、撮像部１１０の絞り１１３やシャッタ１１４等を調整し、露出値が当該適正露出値になるように、撮像部１１０の露出値を制御する。更に、ＡＷＢ部１３２では、当該輝度情報に基づいて、適正なホワイトバランスゲインが算出される。また、図２には明示していないが、画像信号処理部１２０は、フォーカスを調整するための撮像画像のコントラスト等に関する情報を検出する機能を有していてもよく、検出された情報に基づいて、ＡＦ部１３４が、撮像部１１０のフォーカスレンズ１１２を駆動させることにより、撮像部１１０の焦点距離を制御する。

更に、ＤＲＣ部１３３では、当該輝度情報に基づいて、ダイナミックレンジを拡大させる値である、ダイナミックレンジ拡大処理値が算出される。また、当該ダイナミックレンジ拡大処理値に基づいて、ＡＥ部１３１は、ダイナミックレンジ拡大処理に伴う露出シフト量である、露出補正値を算出する。また、ＧＡＭＭＡ部１２７では、当該ダイナミックレンジ拡大処理値に基づいて、画像信号の輝度値を変換するためのガンマカーブが算出され、当該ガンマカーブに基づいて、画像信号の輝度値を最終的に出力される画像データでの輝度値に変換するガンマ補正が行われる。このように、ＤＲＣ部１３３によって算出されたダイナミックレンジ拡大処理値に応じた輝度値の分だけ露出値がアンダーにシフトされ、当該露出シフト後の画像信号の輝度値をガンマカーブで補正する（ガンマ補正する）ことにより、高輝度部のダイナミックレンジを拡大する処理が行われる。

ここで、信号値補正部１３６による輝度情報の補正処理は、ＡＥ制御部１３５によって露出補正値の分だけアンダーにシフトされている輝度情報に含まれる輝度値を、当該露出補正値の分だけ逆方向にシフトさせる処理であってよい。つまり、信号値補正部１３６によって算出される信号補正値は、ダイナミックレンジ拡大処理値に相当する露出補正値であってよく、信号値補正部１３６は、当該輝度値の分だけアンダーにシフトされている輝度情報に対して、当該露出補正値の分だけ輝度情報に含まれる輝度値を増加させる処理を行ってよい。

具体的には、ダイナミックレンジ拡大処理値は、輝度値の拡大幅であるため、例えば露出値を表す数値であるＥＶ値で表現される。例えば、ダイナミックレンジ拡大処理値がΔＥＶであるとすると、露出補正値は−ΔＥＶである（次回のタイミングにおける撮像画像の露出値（ＥＶ）がΔＥＶだけアンダーにシフトされる）。このとき、例えば、信号補正値αは以下の値を取る。

ＳＩＧＭＡ部１２５によって取得された輝度情報が、入射光量に対して線形特性を持つ場合には、信号値補正部１３６は、信号補正値をα＝２^ΔＥＶとして算出する。更に、信号値補正部１３６は、当該αをＳＩＧＭＡ部１２５から送信される輝度情報を表す信号の信号値に乗算することにより、当該輝度情報を補正する。

ＳＩＧＭＡ部１２５によって取得された輝度情報が、入射光量に対して対数特性を持つ場合には、信号値補正部１３６は、信号補正値をα＝ΔＥＶとして算出する。更に、信号値補正部１３６は、当該αをＳＩＧＭＡ部１２５から送信される輝度情報を表す信号の信号値に加算することにより、当該輝度情報を補正する。

このように、信号値補正部１３６は、輝度情報の撮像部１１０への入射光量に対する線形特性に応じて、異なる種類の信号補正値を算出することができる。また、上記のように信号補正値αが算出される場合、ΔＥＶの値が０であれば、信号補正値は０又は１となり、輝度情報を表す信号の信号値は補正前後で変化しない。従って、ダイナミックレンジ拡大処理値が算出されていない場合、及びダイナミックレンジ拡大処理値が算出されたがその値（ΔＥＶ）が０である場合（ダイナミック拡大処理が行われない場合）には、信号値補正部１３６は、ΔＥＶが０、すなわち、信号補正値αが１又は０であるとして、輝度情報を補正してもよい。

以上説明したように、信号値補正部１３６は、ＡＥ部１３１によって算出された露出補正値に対応する分だけ、輝度情報に含まれる輝度値を増加させる処理を行う。従って、ダイナミックレンジ拡大処理に伴う露出値のシフトによって画像信号の輝度値が変化しても、信号値補正部１３６による輝度情報の補正により、当該露出シフト分が相殺されるため、ダイナミックレンジ拡大処理を適用する場合と適用しない場合とで、ＡＥ部１３１やＤＲＣ部１３３に入力されるデータが変化しない。よって、ダイナミックレンジ拡大処理を動画やスルー画に動的に適用しても安定的な動作を得ることができる。

なお、以上説明したように、ＡＥ部１３１は、輝度情報に基づいて、画像信号の露出値及び適正露出値を算出し、ＡＥ制御部１３５は、露出値が当該適正露出値になるように、撮像部１１０の露出値を制御する。また、ＡＥ部１３１は、ダイナミックレンジ拡大処理値に基づいて、ダイナミックレンジ拡大処理に伴う露出値のシフト量である露出補正値を算出し、ＡＥ制御部１３５は、露出値が当該露出補正値の分シフトするように、撮像部１１０の露出値を制御する。つまり、ＡＥ制御部１３５は、適正露出値に基づく露出値の制御と、露出補正値に基づく露出値の制御との双方を行う。

ここで、撮像画像の明るさが急激に変化する場合を想定すると、適正露出値が急劇に変化するため、ＡＥ制御部１３５が露出値を適正露出値に近付ける制御に一定の時間を要する場合がある。このようにＡＥ制御部１３５が露出値を適正露出値に調整している最中にダイナミックレンジ拡大処理が行われると、ダイナミックレンジ拡大処理値の算出に用いられる輝度情報が変化している最中であるため、ダイナミックレンジ拡大処理値が変動する可能性がある。従って、ＡＥ制御部１３５による露出値の調整よりも遅い速度でダイナミックレンジ拡大処理が行われる場合にはさほど問題にはならないが、ダイナミックレンジ拡大処理値の算出アルゴリズムによっては、最終的に出力される画像データの明るさが一部不安定な変化をする可能性がある。

上記の現象を防止するために、本実施形態においては、ＡＥ制御部１３５による露出値の調整が終了するまで、ＤＲＣ部１３３がダイナミックレンジ拡大処理値を更新しないようにしてもよい。つまり、ＤＲＣ部１３３は、ＡＥ部１３１によって算出される露出値と適正露出値との差分が所定のしきい値以下である場合に、ダイナミックレンジ拡大処理値を更新してもよい。

以上、図２を参照して説明したように、本実施形態においては、信号値補正部１３６によって、ＡＥ部１３１によって算出された露出補正値に対応する分だけ、輝度情報に含まれる輝度値を増加させる処理が行われる。従って、ダイナミックレンジ拡大処理に伴う露出値のシフトによって画像信号の輝度値が変化しても、信号値補正部１３６による輝度情報の補正により、当該露出シフト分が相殺されるため、ダイナミックレンジ拡大処理を適用する場合としない場合とで、ＡＥ部１３１やＤＲＣ部１３３に入力されるデータが変化しない。よって、ダイナミックレンジ拡大処理を動画やスルー画に動的に適用しても安定的な動作を得ることができる。

なお、図２に示す例では、信号値補正部１３６は、制御部１３０に設けられているが、本実施形態はかかる例に限定されない。例えば、上述したように、信号値補正部１３６は、画像信号処理部１２０に設けられてもよい。信号値補正部１３６が画像信号処理部１２０に設けられる場合、信号値補正部１３６は、画像信号処理部１２０からＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に送信される前の輝度情報を補正してもよい。更に、信号値補正部１３６は、輝度情報が取得される前の画像信号、すなわち、ＳＩＧＭＡ部１２５に入力される前の画像信号の信号値を補正することにより、最終的にＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を補正してもよい。

本実施形態の変形例として、このような、信号値補正部１３６がＳＩＧＭＡ部１２５に入力される前の画像信号の信号値を補正する場合について、図３を参照して説明する。図３は、本実施形態の一変形例に係る撮像装置における、画像信号処理部１２０及び制御部１３０の一構成例を示す機能ブロック図である。なお、図３に示す実施形態は、図２に示す実施形態の変形例に当たるものであるため、以下の図３についての説明では、その相違点について主に説明を行う。

図３を参照すると、本変形例においては、図２に示す例とは異なり、信号値補正部１３６が画像信号処理部１２０のＳＩＧＭＡ部１２５の前段に設けられる。そして、信号値補正部１３６は、算出した信号補正値に基づいて、ＳＩＧＭＡ部１２５に入力される画像信号の信号値を補正する。

ここで、上述したように、撮像素子１１５では、受光面に入射した光が、その光量に応じた電気信号に変換され、画素信号として順次読み出される。従って、アンプ等による増幅処理や各種フィルタによるノイズ除去処理等が行われているとしても、画像信号の信号値自体が、被写体及び撮像画像の輝度値を表すものであるといえる。よって、信号値補正部１３６がＳＩＧＭＡ部１２５に入力される画像信号の信号値を補正する場合であっても、ＳＩＧＭＡ部１２５における画像信号から輝度情報を取得する方法等に応じて、適切な補正を行うことにより、ＳＩＧＭＡ部１２５から出力される輝度情報を表す信号の信号値を補正する場合と、同様の補正を行うことができる。

このように、信号値補正部１３６は、ＳＩＧＭＡ部１２５に入力される画像信号及びＳＩＧＭＡ部１２５から出力される輝度情報を表す信号の少なくともいずれかの信号値を補正することにより、最終的にＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を補正してもよい。

なお、本実施形態の更なる変形例として、例えば、信号値補正部１３６は複数設けられてもよい。信号値補正部１３６が複数設けられる場合、信号値補正部１３６は、ＳＩＧＭＡ部１２５に入力される画像信号及びＳＩＧＭＡ部１２５から出力される輝度情報を表す信号の少なくともいずれかの信号値を複数回補正することにより、最終的にＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を補正してもよい。また、その場合、信号値補正部１３６は、画像信号処理部１２０及び制御部１３０の双方に設けられてもよく、また、ＳＩＧＭＡ部１２５の前段及び後段の双方に設けられてもよい。このように、本実施形態においては、信号値補正部１３６が、最終的にＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を表す信号の信号値を、信号補正値αに対応する分だけ補正できればよく、画像信号処理部１２０及び制御部１３０の構成は特に限定されない。信号値補正部１３６は、画像信号処理部１２０から制御部１３０に向かって輝度情報及び当該輝度情報が取得される元となる画像情報が送信されるライン上に少なくとも１つ設けられればよい。

［２．２．従来の構成］
次に、図４を参照して、従来の一般的な撮像装置における画像信号処理部及び制御部の概略構成について説明するとともに、画像信号に対する処理について説明する。図４は、従来の撮像装置における、画像信号処理部及び制御部の一構成例を示す機能ブロック図である。

なお、図４では、図２と同様、撮像装置の構成のうち、撮像部１１０、画像信号処理部１２０及び制御部９３０以外の構成については、図示を省略している。また、図４に示す各構成のうち、撮像部１１０及び画像信号処理部１２０の機能及び構成は、図１及び図２に示す撮像部１１０及び画像信号処理部１２０の機能及び構成と同様であるため、詳細な説明は省略する。従って、図４では、本実施形態との相違点である、制御部９３０の機能及び構成について主に説明を行う。

図４を参照すると、従来の撮像装置の制御部９３０は、ＡＥ部９３１、ＡＷＢ部９３２、ＤＲＣ部９３３、ＡＦ部９３４及びＡＥ制御部９３５を有する。ここで、これらＡＥ部９３１、ＡＷＢ部９３２、ＤＲＣ部９３３、ＡＦ部９３４及びＡＥ制御部９３５の機能は、図２に示す本実施形態に係るＡＥ部１３１、ＡＷＢ部１３２、ＤＲＣ部１３３、ＡＦ部１３４及びＡＥ制御部１３５の機能と同様であるため、詳細な説明は省略する。つまり、図４に示す従来の撮像装置の制御部９３０は、信号値補正部１３６を有さない点で、本実施形態に係る制御部１３０と相違する。

従って、図４に示すように、従来の撮像装置では、ＳＩＧＭＡ部１２５によって取得された輝度情報が、補正されることなく、直接ＡＥ部９３１、ＡＷＢ部９３２及びＤＲＣ部９３３に入力される。ここで、従来の撮像装置において、ダイナミックレンジ拡大処理が行われた場合を考える。ダイナミックレンジ拡大処理が行われると、ＤＲＣ部９３３によって、ダイナミックレンジの拡大幅に対応するダイナミックレンジ拡大処理値が算出される。また、ＡＥ部９３１によって、当該ダイナミックレンジ拡大処理値に対応する露出補正値が算出され、ＡＥ制御部９３５によって、当該露出補正値の分だけ露出値をアンダーにシフトするように、撮像部１１０の露出値が制御される。更に、ＧＡＭＭＡ部１２７によって、当該露出シフト後の画像信号の輝度値を補正するガンマ補正処理が行われる。

従って、従来の撮像装置においては、ダイナミックレンジ拡大処理が行われた次のタイミングでＳＩＧＭＡ部１２５によって取得される輝度情報は、露出補正値の分だけ露出値がシフトされた画像情報に基づく輝度情報である。よって、動画やスルー画において、上記のＡＥ部９３１、ＤＲＣ部９３３、ＡＥ制御部９３５及びＧＡＭＭＡ部１２７における処理が連続的に実行されると、露出値のシフトとガンマ補正により最終的に出力される画像データの輝度は変化しないが、被写体に変化がないにもかかわらず露出値をシフトした分だけＳＩＧＭＡ部１２５で得られる輝度情報は変化してしまう。よって、ＡＥ部９３１やＤＲＣ部９３３に入力されるデータが変化し、その演算結果も変化してしまう。被写体の状態によっては露出値が一定の値に安定せず、露出値が上下に振動してしまうハンティング現象が発生してしまう可能性がある。

以上、図４を参照して説明したように、従来の撮像装置においては、ダイナミックレンジ拡大処理が行われると、当該拡大幅に対応する輝度値の分だけ露出値がアンダーにシフトされた画像信号に基づく輝度情報が、ＡＥ部９３１、ＡＷＢ部９３２及びＤＲＣ部９３３に入力される。つまり、ダイナミックレンジ拡大処理を行うことによって、ＡＥ部９３１、ＡＷＢ部９３２及びＤＲＣ部９３３に入力される輝度情報が変化するため、適正露出値、ダイナミックレンジ拡大処理値及び露出補正値等の値の算出処理が安定的に行われない可能性がある。

一方、上述したように、本実施形態においては、ダイナミックレンジ拡大処理が行われる場合であっても、信号値補正部１３６によって、ＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報が補正されるため、より安定した動作を得ることができる。

また、図２、図３及び図４に示すように、本実施形態においては、従来の構成に対して信号値補正部１３６を更に設けることにより、従来にない優れた効果を得ることができる。従って、本実施形態によれば、従来の構成に対して大規模な変更を行うことなく本実施形態を実現することができるため、既存の構成を変更するコストをより抑えながら、ダイナミックレンジ拡大処理をより安定的に行うことが可能となる。

＜３．ダイナミックレンジ拡大処理手順＞
次に、図５を参照して、本実施形態に係るダイナミックレンジ拡大処理手順及び、当該ダイナミックレンジ拡大処理手順を含む撮像方法について説明する。図５は、本実施形態に係るダイナミックレンジ拡大処理手順を示すフロー図である。なお、図５では、図２に示す構成例に対応したダイナミックレンジ拡大処理手順を示している。つまり、図５に示すダイナミックレンジ拡大処理手順は、信号値補正部１３６が、ＳＩＧＭＡ部１２５から出力される輝度情報を表す信号の信号値を補正する場合の処理手順を示している。

図５を参照すると、まず、ステップＳ２０１で、ＳＩＧＭＡ部１２５によって画像信号から輝度値が検出され、輝度情報が取得される。

次に、ステップＳ２０３で、信号値補正部１３６によって、信号補正値に基づいて輝度情報が補正される。ここで、上記＜２．画像信号処理部及び制御部の構成＞で説明したように、ダイナミックレンジ拡大処理値が算出されていない場合、及びダイナミックレンジ拡大処理値が算出されたがその値が０である場合（ダイナミック拡大処理を行わない場合）には、信号補正値が０又は１であるとして、信号値補正部１３６は輝度情報を補正してもよい。ダイナミックレンジ拡大処理値が算出されていない場合とは、具体的には、例えば、撮像を開始した最初の撮像タイミング等である。当該撮像タイミングにおける撮像画像では、その前の撮像タイミングで取得された輝度情報が存在しないため、ダイナミックレンジ拡大処理値が算出されておらず、信号補正値も算出されていない。このように、ステップＳ２０３に示す処理は、撮像部１１０によって新たに（次の撮像タイミングで）取得された画像信号に基づく輝度情報を表す信号の信号値を補正する処理に対応する。

次に、ステップＳ２０５で、ＡＥ部１３１が、輝度情報に基づいて適正露出値を算出する。

次に、ステップＳ２０７で、算出された適正露出値に基づいて、ＡＥ制御部１３５によって、撮像部１１０の露出値が制御される。具体的には、例えば、ＡＥ制御部１３５は、適正露出値に基づいて、撮像部１１０の絞り１１３、シャッタ１１４及び撮像素子１１５の電子シャッタを駆動することにより、撮像部１１０の露出値を制御する。また、ＡＥ制御部１３５は、適正露出値に基づいて、画像信号処理部１２０のＤＡＭＰ１２５のゲインを制御してもよい。

次に、ステップＳ２０９で、制御後の露出値と適正露出値との差分が所定のしきい値以下であるかどうかが判断される。当該差分が所定のしきい値以下でない場合には、ステップＳ２０７に戻り、ＡＥ制御部１３５による露出値の制御を継続する。当該差分が所定のしきい値以下である場合には、ステップＳ２１１に進む。

ステップＳ２１１では、ＤＲＣ部１３３によって、輝度情報に基づいて、ダイナミックレンジ拡大処理値が算出される。

次に、ステップＳ２１３で、算出されたダイナミックレンジ拡大処理値に基づいて、ＡＥ部１３１によって露出補正値が算出され、ＧＡＭＭＡ部１２７によってガンマカーブ（ガンマ補正値）が算出される。

次に、ステップＳ２１５で、算出された露出補正値に基づいて、ＡＥ制御部１３５によって撮像部１１０の露出値が制御される。具体的には、例えば、ＡＥ制御部１３５は、露出補正値の分だけ撮像部１１０の輝度値をアンダーにシフトするように、撮像部１１０の露出値を制御する。また、ステップＳ２１５では、算出されたガンマカーブに基づいて、ＧＡＭＭＡ部１２７によって画像信号に対するガンマ補正処理が行われる。更に、ガンマ補正が行われた後の画像信号は、適宜その画像フォーマットが変換された後に、例えばＬＣＤ１５４等の表示装置に表示される（ステップＳ２１７）。

次に、ステップＳ２１９で、ステップＳ２１１で算出されたダイナミックレンジ拡大処理値に基づいて、信号値補正部１３６によって、信号補正値が算出される。ここで、信号補正値は、具体的には、上記＜２．画像信号処理部及び制御部の構成＞で説明したαであってよい。また、ステップＳ２１９で、信号値補正部１３６は、輝度情報が線形特性を有しているかどうかに応じて、異なる種類の信号補正値を算出してもよい。

信号補正値が算出されると、ステップＳ２０１に戻り、上記の一連の処理が繰り返し行われる。ここで、ステップＳ２０１〜ステップＳ２１９の処理が繰り返されるタイミングは、撮像部１１０から画素信号が読み出されるタイミングであってよく、当該タイミングは、例えば撮像素子１１５の電子シャッタの開閉タイミングに応じて決定される。なお、当該タイミングは、撮像素子１１５の特性等に応じて適宜設定されてよい。

また、上述したように、図５では、ダイナミックレンジ拡大処理手順の一例として、信号値補正部１３６がＳＩＧＭＡ部１２５から出力される輝度情報を表す信号の信号値を補正する場合の処理手順を示した。ただし、上記＜２．画像信号処理部及び制御部の構成＞で図３を参照して説明したように、本実施形態においては、信号値補正部１３６がＳＩＧＭＡ部１２５の前段に設けられ、ＳＩＧＭＡ部１２５に入力される画像信号を補正してもよい。信号値補正部１３６がＳＩＧＭＡ部１２５に入力される画像信号を補正する場合、例えば、図５に示すフローにおいてステップＳ２０１の処理とステップＳ２０３の処理の順序が入れ換えられた処理手順が行われる。

＜４．まとめ＞
以上説明したように、本実施形態においては、以下の効果を得ることができる。

本実施形態においては、信号値補正部１３６によって、ＡＥ部１３１、ＡＷＢ部１３２及びＤＲＣ部１３３に入力される輝度情報を補正する処理が行われる。具体的には、ＡＥ部１３１によって算出された露出補正値に対応する輝度値の分だけ、輝度情報に含まれる輝度値を増加させる処理が行われる。従って、ダイナミックレンジ拡大処理に伴う露出値のシフトによって画像信号の輝度値が変化しても、信号値補正部１３６による輝度情報の補正により、当該露出シフト分が相殺されるため、ダイナミックレンジ拡大処理を適用する場合としない場合とで、ＡＥ部１３１やＤＲＣ部１３３に入力されるデータが変化しない。よって、ダイナミックレンジ拡大処理を動画やスルー画に動的に適用しても安定的な動作を得ることができる。更に、本実施形態においては、従来の構成に対して信号値補正部１３６を更に設けることにより、従来にない優れた効果を得ることができる。従って、本実施形態によれば、従来の構成に対して大規模な変更を行うことなく本実施形態を実現することができるため、既存の構成を変更するコストをより抑えながら、ダイナミックレンジ拡大処理をより安定的に行うことが可能となる。なお、信号値補正部１３６による輝度情報の補正処理は、輝度情報が取得される前段の画像信号に対して行われてもよい。

また、本実施形態においては、ＤＲＣ部１３３は、ＡＥ部１３１によって算出される露出値と適正露出値との差分が所定のしきい値以下である場合に、ダイナミックレンジ拡大処理値を算出してもよい。このように、撮像部１１０の露出値が安定してからダイナミックレンジ拡大処理が行われることにより、一連のダイナミックレンジ拡大処理において、更に安定的な動作を得ることができる。

更に、本実施形態においては、信号値補正部１３６は、輝度情報の撮像部への入射光量に対する線形特性に応じて、異なる種類の信号補正値を算出してもよい。具体的には、例えば、信号値補正部１３６は、輝度情報が線形特性を有する場合には、信号補正値αを輝度ΔＥＶに関して指数の形式で算出し、輝度情報が非線形特性（対数特性）を有する場合には、信号補正値αを輝度ΔＥＶに関して直線（リニア）の形式で算出する。このように、輝度情報の特性に応じて、信号補正値を使い分けることにより、より高い精度で輝度情報の補正を行うことができる。よって、一連のダイナミックレンジ拡大処理において、更に安定的な動作を得ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 撮像装置
１１０ 撮像部
１１１ レンズ
１１２ フォーカスレンズ
１１３ 絞り
１１４ シャッタ
１１５ 撮像素子
１２０ 画像信号処理部
１２１ ＤＰＣ部
１２２ ＯＢＲ部
１２３ ＬＳＣ部
１２４ ＤＡＭＰ部
１２５ ＳＩＧＭＡ部
１２６ ＷＢＣ部
１２７ ＧＡＭＭＡ部
１２８ フォーマット変換部
１３０ 制御部
１３１ ＡＥ部
１３２ ＡＷＢ部
１３３ ＤＲＣ部
１３４ ＡＦ部
１３５ ＡＥ制御部
１３６ 信号値補正部

Claims (7)

1. 撮像部によって取得された画像信号に基づいて、被写体の輝度値に関する輝度情報を取得する輝度情報取得部と、
   前記輝度情報に基づいて、ダイナミックレンジの拡大幅に対応するダイナミックレンジ拡大処理値を算出するダイナミックレンジ拡大処理値算出部と、
   前記撮像部の露出値が前記ダイナミックレンジ拡大処理値に対応する露出補正値だけシフトするように、前記露出値を制御する露出制御部と、
   を備える撮像装置において、
   前記輝度情報取得部に入力される前記画像信号及び前記輝度情報取得部から出力される前記輝度情報を表す信号の少なくともいずれかの信号値の補正量である信号補正値を算出し、前記信号補正値に基づいて前記信号値を補正する信号値補正部、
   を更に備え、
   前記信号値補正部は、前記信号補正値に基づいて、前記撮像部によって新たに取得された前記画像信号及び前記撮像部によって新たに取得された前記画像信号に基づく前記輝度情報を表す信号の少なくともいずれかの信号値を補正し、補正した前記信号値を前記ダイナミックレンジ拡大処理値算出部及び前記露出制御部に出力する、
   ことを特徴とする、撮像装置。
2. 前記信号補正値は、前記ダイナミックレンジ拡大処理値に対応する前記露出補正値であり、
   前記信号値補正部は、前記露出制御部によって前記露出補正値の分だけアンダーにシフトされている前記画像信号に含まれる輝度値を、前記露出補正値の分だけ逆方向にシフトさせることにより、前記信号値を補正する、
   ことを特徴とする、請求項１に記載の撮像装置。
3. 前記ダイナミックレンジ拡大処理値に基づいて前記画像信号の輝度値を変換するためのガンマカーブを算出し、前記ガンマカーブを利用して前記画像信号の輝度値を変換するガンマ補正を行うガンマ補正部、
   を更に備える、
   ことを特徴とする、請求項１又は２のいずれか１項に記載の撮像装置。
4. 前記露出制御部は、前記輝度情報に基づいて、前記露出値に対する適正露出値を算出し、
   前記ダイナミックレンジ拡大処理値算出部は、前記露出値と前記適正露出値との差分が所定のしきい値以下である場合に、前記ダイナミックレンジ拡大処理値を更新する、
   ことを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記信号値補正部は、前記輝度情報の前記撮像部への入射光量に対する線形特性に応じて、異なる種類の前記信号補正値を算出する、
   ことを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
6. 撮像部によって取得された画像信号に基づいて、被写体の輝度値に関する輝度情報を取得するステップと、
   前記輝度情報に基づいて、ダイナミックレンジの拡大幅に対応するダイナミックレンジ拡大処理値を算出するステップと、
   前記撮像部の露出値が前記ダイナミックレンジ拡大処理値に対応する露出補正値だけシフトするように、前記露出値を制御するステップと、
   を含む撮像方法において、
   前記輝度情報を取得する前段の信号及び後段の信号の少なくともいずれかの信号値の補正量である信号補正値を算出し、前記信号補正値に基づいて前記信号値を補正するステップ、
   を更に含み、
   前記信号値を補正するステップでは、前記信号補正値に基づいて、前記撮像部によって新たに取得された前記画像信号及び前記撮像部によって新たに取得された前記画像信号に基づく前記輝度情報を表す信号の少なくともいずれかの信号値を補正し、
   前記ダイナミックレンジ拡大処理値を算出するステップ及び前記露出値を制御するステップでは、前記信号値を補正するステップにおいて補正された前記信号値を用いて、前記ダイナミックレンジ拡大処理値を算出する処理及び前記露出値を制御する処理が、それぞれ行われる、
   ことを特徴とする、撮像方法。
7. コンピュータに、
   撮像部によって取得された画像信号に基づいて、被写体の輝度値に関する輝度情報を取得する機能と、
   前記輝度情報に基づいて、ダイナミックレンジの拡大幅に対応するダイナミックレンジ拡大処理値を算出する機能と、
   前記撮像部の露出値が前記ダイナミックレンジ拡大処理値に対応する露出補正値だけシフトするように、前記露出値を制御する機能と、
   を実現させるためのプログラムにおいて、
   前記輝度情報を取得する前段の信号及び後段の信号の少なくともいずれかの信号値の補正量である信号補正値を算出し、前記信号補正値に基づいて前記信号値を補正する機能、
   を更に含み、
   前記信号値を補正する機能では、前記信号補正値に基づいて、前記撮像部によって新たに取得された前記画像信号及び前記撮像部によって新たに取得された前記画像信号に基づく前記輝度情報を表す信号の少なくともいずれかの信号値を補正し、
   前記ダイナミックレンジ拡大処理値を算出する機能及び前記露出値を制御する機能では、前記信号値を補正する機能において補正された前記信号値を用いて、前記ダイナミックレンジ拡大処理値を算出する処理及び前記露出値を制御する処理が、それぞれ行われる、
   ことを特徴とする、プログラム。

Images