JP5412553B2 - 視覚処理装置、視覚処理方法 - Google Patents
視覚処理装置、視覚処理方法 Download PDFInfo
- Publication number
- JP5412553B2 JP5412553B2 JP2012127285A JP2012127285A JP5412553B2 JP 5412553 B2 JP5412553 B2 JP 5412553B2 JP 2012127285 A JP2012127285 A JP 2012127285A JP 2012127285 A JP2012127285 A JP 2012127285A JP 5412553 B2 JP5412553 B2 JP 5412553B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- range
- value
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
そして、従来の撮像装置(第1の従来の撮像装置)は、撮影された100%以上の明度領域を、knee処理と呼ばれる処理によりDレンジ圧縮し、Dレンジ圧縮後のDレンジが100%以内に収まるようにする。
このような従来の撮像装置により光量が豊富な明るいシーン(被写体)を撮影する場合、絞りを絞る、またはシャッタ時間を短くする、のどちらを選択しても、光量が十分であるため、従来の撮像装置で取得される画像(映像)は良好なものとなる。一般に、撮像装置において、シャッタ時間を短くして絞りを開くことで被写界深度を浅くし、取得画像(映像)の背景をぼかすという、いわゆる「ボケ味」を出す撮影がよく行われている。このような撮影においても、光量が豊富な環境下での撮影であれば、撮像装置において取得される画像(映像)は、良好なものとなる。
いずれにしても、明るいシーン(被写体が明るい環境下)では、撮像装置の撮影時において、光量が不足しないため、撮像装置において電気的な増幅を行う必要はない。したがって、明るいシーンの撮影(被写体が明るい環境下での撮影)を行う場合、従来の撮像装置においても、光電変換して取得した電気信号に対する電気的な増幅は実施されていない。
一方、撮像装置で暗いシーンを撮影する場合、十分な光量を得るために、絞りを最大に開き、さらにシャッタ時間も長くする必要がある。撮像装置で、このような長時間の露光を行うと、手振れや被写体ぶれが発生しやすい。したがって、従来の撮像装置においては、シャッタ時間を手振れ限界内(手振れが発生しない限界の時間内)にとどめ、露光量不足を撮像装置により取得した電気信号の電気的な増幅により補償することが行われている。このような処理は、高感度撮影や増感(push processing)と呼ばれている。一般に、電気的な増感は、S/N比とA/D変換の量子化精度の確保の観点から、撮像装置のイメージセンサの出力をアナログ回路で増幅する構成により実現される。特許文献1には、ISO感度に応じてアナログ増幅回路のゲインを切り替えることで増感を行う技術が開示されている。
そこで、別の従来の撮像装置(第2の従来の撮像装置)では、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像と被写体を短時間露光した画像とを合成処理することで、広いダイナミックレンジの被写体画像を得るようにしている(例えば、特許文献2を参照)。
しかし、晴天の空などはDレンジが数百%以上になることが多く、このようなシーン(被写体)を従来の撮像装置で撮影すると、イメージセンサでの光量が飽和し、その結果、従来の撮像装置で取得される画像において、晴天の空などの高輝度部分が適切に再現することができない。
本発明はこのような課題に鑑みてなされたものであり、ダイナミックレンジの広いシーン(被写体)を撮影する場合(例えば、青空を背景にした逆光の人物の顔を撮影する場合)であっても、撮像画像(取得画像)において高輝度部分(例えば、背景の空)が飽和しないような高Dレンジの撮像画像を取得することができる撮像装置、撮像方法、撮像用集積回路および撮像用プログラムを提供することを目的とする。
視覚処理部は、
画像信号の値と処理信号の値とが略等しい入力値となる範囲において、処理信号の値を所定のレベルに固定した場合に、画像信号の値の変化量に対しての出力信号の変化量が、画像信号と処理信号が等しい入力値の場合に画像信号の値の変化量に対しての出力信号の変化量よりも大きくなる特性を含む。
本発明の他の見地に係る視覚処理方法は、空間処理ステップと、視覚処理ステップとを備えている。空間処理ステップは、入力された画像信号に対して対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する。視覚処理ステップでは、入力された画像信号および処理信号を入力とし、視覚処理された出力信号を出力する。
視覚処理ステップは、
画像信号の値と処理信号の値とが略等しい入力値となる範囲において、処理信号の値を所定のレベルに固定した場合に、画像信号の値の変化量に対しての出力信号の変化量が、画像信号と処理信号が等しい入力値の場合に画像信号の値の変化量に対しての出力信号の変化量よりも大きくなる特性を含む。
第1の発明は、光学系と、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
光学系は、被写体からの光を集光する。
光量調節部は、光学系に入射される光量を調節する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
この撮像装置によれば、所定の露光時間を複数回に分けて次々に露光することによって露光時間を短くし、露光量を減少させることで、撮像部で得られる出力を小さくすることができる。これにより、得られる撮像画像は暗くなるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、この撮像装置では、複数回に分けて撮影して得た複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、その総和を算出することができる。このため、加算した出力の飽和を抑えつつ明るくし、暗くなった画像を、所定の露光時間で得られる画像と同じ明るさにすることができる。よって、この撮像装置では、S/N比の劣化を抑え、ダイナミックレンジの広い画像を得ることができる。
第2の発明は、第1の発明であって、ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備える。
これによれば、さらに、出力を映像信号のフォーマット(例えば、JPEG,MPEG等)で決められた出力に合わせることができ、表示装置の最白点を基準に決められている100%に出力を合わせることができる。
第3の発明は、第1または第2の発明であって、ダイナミックレンジ拡大部は、少なくとも入力ダイナミックレンジより大きい出力ダイナミックレンジを有している。
第4の発明は、第2の発明であって、ダイナミックレンジ圧縮部は、画像信号についての周囲明度値に応じて変化する変換特性を用いてダイナミックレンジ拡大画像のダイナミックレンジを圧縮する。
これによれば、さらに、被写体の暗い領域と明るい領域とに適切な出力が得られる変換特性を用いることができ、1000%以上にダイナミックレンジを拡大した場合であってもその広いダイナミックレンジを視覚的に損なわずに100%以内に圧縮することが可能になる。
第5の発明は、第1から第4のいずれかの発明であって、光量調節部は、撮像部を複数回に分けて露光する前に、所定の露光時間において被写体の主要部で所定の明るさが得られるように光学系に入射される光量の調節を行う。
第6の発明は、第1から第5のいずれかの発明であって、手振れ検出部をさらに備える。
手振れ検出部は、複数枚のデジタル画像のうち、異なる2枚のデジタル画像から手振れによる画像ずれの大きさとその方向を検出する。
そして、ダイナミックレンジ拡大部は、手振れ検出部で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向にデジタル画像をずらして加算する。
第7の発明は、第6の発明であって、被写体振れ検出部をさらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。なお、ダイナミックレンジ拡大部は、加算しない画素がある場合、光量調整するようにしてもよい。例えば、4つの画素のうち1つの画素のみ加算しない場合(つまり、3つの画素を加算する場合)、加算して求めた値に(4/3)を乗ずることで、ダイナミックレンジ拡大部が明るさ調整(画素値の調整)を行うようにしてもよい。
被写体振れ検出部は、複数枚のデジタル画像のうち、異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。
第9の発明は、第1から第5のいずれかの発明であって、被写体振れ検出部をさらに備える。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、手振れ補正された複数枚のデジタル画像を有効に利用でき、手振れによる画像ずれをなくしたデジタル画像を比較することができる。
第10の発明は、第9の発明であって、被写体振れ検出部は、光学式の手振れ補正により手振れ補正された複数枚のデジタル画像を用いて、被写体振れを検出する。
これによれば、さらに、光学式の手振れ補正により手振れを抑えた複数枚のデジタル画像を有効に利用することができる。光学式の手振れ補正では、撮像部(撮像素子)の撮像エリア内に手振れ検出用の領域を設ける必要がないため、撮像部(撮像素子)の撮像エリアを有効に活用できる。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
座標変換部は、被写体振れ検出部で被写体振れが検出された画素に対して被写体振れをなくすように座標を変換する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された画素に対しては座標変換部で変換された画素を加算する。
これによれば、さらに、被写体振れした局所領域の画素を補正し、被写体振れを抑えた画像が得られる。
被写体振れ判断部は、被写体振れをなくすことができるか否かを判断する。
そして、ダイナミックレンジ拡大部は、被写体振れ判断部が被写体振れをなくすことができないと判断した場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
第13の発明は、光学系と、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
光学系は、被写体からの光を集光する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
第14の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をA/D変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、を備える撮像装置に用いられる撮像方法であって、光量減少ステップと、ダイナミックレンジ拡大ステップと、を含む。
第15の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、を備える撮像装置に用いられる撮像方法であって、駆動ステップと、ダイナミックレンジ拡大ステップと、を備える。
駆動ステップでは、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力する。
駆動ステップでは、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
第18の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、光量調整部と撮像部とデジタル信号処理部とを制御する制御部と、を備える撮像装置の制御部で実行されるプログラムである。そして、このプログラムは、制御部に、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動させるための信号を生成する駆動ステップと、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算させ、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力させるための信号を生成するダイナミックレンジ拡大ステップと、を実行させる。
第20の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する駆動部と、を含む撮像装置に用いられる集積回路である。そして、この集積回路は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部、を備える。
光量調節部は、光学系に入射される光量を調節する。撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。駆動部は、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
[第1実施形態]
<1.1:撮像装置の構成>
図1は、撮像装置100の構成図である。
撮像装置100は、光学系1、アナログ信号処理部2、デジタル信号処理部3、および露光計7を備える。
光学系1は、被写体P1からの光を集光する撮像レンズ11と、撮像レンズ11で集光した被写体P1からの反射光の光量を調整する絞り12と、絞られた光量(絞り12により調整された光量)と蓄積時間とに応じて画像信号Aを出力する撮像部13とを備える。
アナログ信号処理部2は、相関二重サンプリング回路(CDS(Correlated Double Sampling))21と、A/D変換部23とを含む。
デジタル信号処理部3は、信号処理部31を含む。また、デジタル信号処理部3は、撮像装置100が撮像装置として一般的な機能を実現するためのフラッシュ発光制御部、コーデック部、カードI/F、表示部制御部等の処理部、およびこれら処理部の全部或いは一部の動作を制御する制御部34を有する。
(1.1.1:信号処理部31の構成)
図2は、信号処理部31の構成図である。
信号処理部31は、Dレンジ拡大処理部2000とDレンジ圧縮部2001を含む。
Dレンジ拡大処理部2000は、Dレンジ拡大部2002とレジスタ2004とを含む。
Dレンジ拡大部2002は、具体的にはデジタル乗算器である。アナログ信号処理部2の出力信号(信号C)に対し、設定されたDレンジ拡大率(例えば2倍、4倍等)で乗算し、乗算結果をレジスタ2004に格納する。尚、このDレンジ拡大率は、光学系に対する絞りの設定値の減少(以下、シャッタースピードの制御等による露光計で取得される受光量の減少を含む。)に対し増加する関係となる値を用いて、信号Mag1により設定される。例えば、絞り12の絞りの値が「1/2」である場合には「2」が、絞りの値が「1/4」である場合には「4」が、Dレンジ拡大率として設定される。
Dレンジ圧縮部2001は、このレジスタ2004に保持された乗算結果(信号D)を、所定の変換特性により変換して信号Eを出力する。この変換特性は、設定された光学系の絞りの量の値に対応した信号Mag2により決定される。
図3の横軸は、レジスタ2004の保持することのできる最大値を入力レンジの値として1200[%]として表現した場合における、入力信号Dのレンジ値([%])を示している。また、図3の縦軸は、信号Eの出力レベルの値[%]を示している。
L0〜Lmaxは、点P(80%)以下の入力値において、入出力が変化しない変換特性を有している。また、入力値が80%より大きい値に対しては入力信号の値に応じて出力信号Eの値が異なる出力値となる特性を有している。
尚、Dレンジ圧縮部2001は、前述の絞り12の絞り値が1倍として設定されている場合には、選択信号Mag2により変換特性としてL0を選択する。また、Dレンジ圧縮部2001は、絞り12の絞り値として「1/4」が設定される場合には、4倍のレンジまでを入力とする変換特性としてL1を選択し、絞り値として「1/8」が設定される場合には、8倍までの入力レンジを変換するLmaxを選択する。尚、図3において、L0の入力最大レンジ値(150%)からLmaxの入力最大レンジ(1200%)までの幅が、第1実施形態において拡大することのできるDレンジ(拡大されるDレンジ)の幅となる。
以下、撮像装置100の動作について説明する。
撮像装置100において、制御部34が絞り12に所定の絞り値(例えば「1/8」)を設定する。この絞り値は露光計7の出力値やユーザの設定により事前に決定される。
制御部34は、制御信号Mag1によりDレンジ拡大部2002のDレンジ拡大率を8倍(値として絞り値「1/8」の逆数)を設定する。また、制御部34は、制御信号Mag2によりDレンジ圧縮部2001に変換特性としてLmaxを設定する。
撮像装置100において、撮像が開始されると、撮像部13では、絞り12の値(絞り値)に応じ信号Aが取得される。信号Aの値はアナログ信号処理部2によりA/D変換され、信号Cが出力される。信号Cは、図2の信号処理部31に入力され、予め設定されたDレンジ拡大率(8倍)により乗算された値である信号Dが出力される。出力された信号Dの値は、最大限レンジ1200%の範囲内での値であり、溢れることなくレジスタ2004に保持される。
以上の処理が、第1実施形態における撮像装置100および信号処理部31の処理である。
<1.3:撮像装置の効果>
撮像装置100の効果を、従来の撮像装置との比較により説明する。
(従来の撮像装置)
図4は、従来の撮像装置における信号処理部90(図4(a))とDレンジ圧縮のための変換特性(図4(b))を示す図である。図4の従来の信号処理部90では、本実施形態における信号処理部31のDレンジ拡大部2002及びレジスタ2004を有していない点、及び変換特性が固定でありかつ150%程度の入力値幅しか有さない点で、撮像装置100と相違している。
図5は、図4(b)の従来の撮像装置におけるDレンジの圧縮変換特性を用いて、所定の撮影シーンを従来の撮像装置でDレンジ圧縮した場合の信号の値の変化を示す説明図である。
図5の左側の図は、所定の撮像シーン201の構成を説明する図である。
点204は雲と空の領域に含まれる点、点202は顔の領域に含まれる所定の点、そして、領域203は主要被写体領域を示している。以下、雲と空の領域に含まれる点204が、シーン201において最明部の値を有するとして説明する。
撮像装置には、露光条件として、主要被写体領域203の出力信号値レベルが、出力信号の取りうるレンジ(150%)までに対して、70%の明るさになるように露光条件が調節されているとする(この露光条件を「露光条件1」とする)。
しかしながら、(目的1)顔の部分202を適正な明るさ(例えば、70%の明るさ)にしつつも、(目的2)空と雲の領域の点204およびその付近の領域の値が飽和するのを防止することは実現できない。
次に、信号Aを図3における範囲RA(光量150%以上の範囲)において飽和させないように露光量を制限する方法が考えられる。たとえば、前述の露光条件1に、更に撮像装置の光学系の露光量を「1/4」に絞った条件(この露光条件を露光条件2とする)にすることが考えられる。
この場合、図5の点204の信号Aの値は、125%となり最明部に対応する位置の信号Aであっても飽和していない信号を得ることができる。しかしながら、露光条件2で撮影した場合、(目的2)空と雲の部分204(点204)が飽和するのを防止すること、は実現できても、(目的1)顔の点202の明るさ適正な明るさ(例えば、70%の明るさ)とし出力信号Eを得ることができない。
また、(従来技術2)で説明した露光条件2は、露光量不足の暗いシーンでの撮影をする場合の露光条件と類似の露光条件である。そこで、光量不足の暗いシーンでの撮影をする場合の露光条件で撮影され、取得された画像信号に対して適用される高感度撮影の技術を適用することが考えられる。
図6を用いて、この高感度撮影の際に用いられる電気的な増幅(アナログ信号処理部(GCA)での増幅)により、画像信号を処理する場合(これを「方法3」という。)の信号値の変化について説明する。
画像信号(信号A)において1/4露光(露光条件2)を適用すると、本来500%であった空と雲の部分204が、125%となり飽和しなくなる。図6の棒グラフ(信号B、信号C)(「信号B」は、図1のB点の信号に相当。「信号C」は、図1のC点の信号に相当。以下、同様。)では、増幅回路(CDS)22で4倍に増感される(信号B)ことにより、顔202の部分は所望の70%の明るさに復元されている。しかし、点204の信号値は500のA/D変換部23の入力最大値150%において飽和することになる。したがって、結局、図5の範囲RA(150%以上)に含まれる領域(例えば、飽和した空の部分)の信号は、A/D変換部23に入力される画像信号においては復元することはない。このため、(従来技術3)の方法を用いる場合であっても、(目的1)顔の点202を適正な明るさ(例えば、70%の明るさ)にしつつ、かつ、(目的2)空と雲の部分の点204あるいはその周囲領域の信号が飽和するのを防止することはできない。
(撮像装置100の効果)
図7を用いて、同じシーン201における撮像装置100の効果を説明する。
まず、従来技術2の方法および従来技術3の方法と同じく、撮像装置100において信号Aについての明るい部分(点204の空と雲の部分)が飽和しないように、予め露光条件2(絞り値「1/4」)が絞り12に設定される。この設定により最明部である空と雲の領域中の点204について、絞り値「1/4」の露光を適用することで、本来500%であった点204の信号の値は125%の値となり飽和しなくなる。
この信号Dの値(500%)は、拡大されたDレンジの範囲に含まれる値であるが図3の変換特性L1を用いて変換され信号E2((信号E2の信号値)=80+20×(500−80)/(600−80))となる。このように、撮像装置100では、(目的1)である最明部の点204(あるいはその周辺の領域)の信号の値が飽和するのを防止することが達成される。
また、顔202の点については、本来70%のレンジ値を有していても、信号Aにおいては17.5%の値になる。信号Aの値(17.5%)は、そのままの値でデジタル信号(信号Cの値にA/D変換される。この信号C(17.5%)は、Dレンジ拡大部2002により4倍され、信号Dの値として70%(=17.5×4)に復元される。信号Dにおいて、70%の値は、変換特性L1の変節点P点(80%)より小さい値であるので、信号DをDレンジ圧縮部2001により変換された信号Eも70%の値として出力される。
上述の通り、第1実施形態の撮像装置100は、あらかじめ絞り12に対して受光量が飽和しないように絞り12の絞り値を減少させる設定をする。その後、アナログからデジタルに変換された後のデジタル信号(信号C)に、種々の処理を行う。
特に、Dレンジ拡大率として、絞り12の絞り値の設定値(1倍、1/2倍、1/4倍)に対して反比例する関係となる値(1倍、2倍、4倍)を設定することにより、本来の露光条件1で取得された値と同じ値を復元する。さらに、この絞り値の値(1倍、1/2倍、1/4倍)に応じて、Dレンジ圧縮変換特性を選択しておくため、拡張されたDレンジ(150%〜1200%)内の信号Dの値についても、階調差をつけながら出力信号Eを得ることができる。
<変形例1>
上述の実施形態では、事前に予め設定した絞りの量(露光量)に応じた値によりDレンジ圧縮部変換特性L0〜Lmaxを選択するとした。ここで、Dレンジ圧縮部2001は、画像全体の信号Dの最大値に応じてDレンジ圧縮特性Lnを選択するとしてもよい(変形例1)。
図8に、この変形例1の信号処理部31’の構成を示す。図8において、上述の実施形態と同じ処理部については同一の参照符号を用いる。この変形例1の信号処理部31’は、パラメータ決定部800を有する点のみが図2の信号処理部31と異なる。
まず、ピーク検出部802は、Dレンジ拡大処理部2000のレジスタ2004の保持する信号の値Dを1枚の画像分入力し、この1枚分の画像データのうち最大値(最明部の値)を抽出する。
さらに、抽出された最大値に対応する、変換特性を設定するためのパラメータMLnをDレンジ圧縮部2001に対し出力する。例えば、所定の画像全体についての最大値が500%の値である場合に、選択パラメータML2を出力する。
Dレンジ圧縮部2001は、パラメータ決定部800から出力された選択パラメータMLnに応じて、図9に示す対応する変換特性Ln(図中L2)を選択する。
図10を用いて、変形例1の効果について前述のシーンを用いて説明する。
ここで、パラメータ決定部800は、複数の信号Dにより形成される1枚の画像データ(1フレーム分の画像データ)の最大値として500%を抽出し、パラメータML2を出力する。そして、このML2に応じて、Dレンジ圧縮部2001は、変換特性としてL2を選択し、レジスタ2004に保持された信号Dについて、L2を用いて変換して出力する。
ここで、信号Dの最明部の値500%は、入力レンジの最大値が500%である変換特性L2を用いて変換されるされる。よって、画像中の最大値500%の信号Dについては、信号Eの値として100%が出力される。前述の構成では、最大値である空と雲の領域の信号D(500%)については、信号Eの出力値は100%の値より小さく(80+20×(500−80)/(600−80)))変換されてしまうが、変形例1の図8の構成によれば、前述の(目的1)および(目的2)を実現するとともに、画像全体のピーク値が100%となる出力を得ることができる。
<変形例2>
更に、変形例1におけるパラメータ決定部800が検出した画像全体のピーク値に応じて、絞り部12に対して絞り量を設定すると共にDレンジ拡大率を設定するようにしてもよい(変形例2)。
変形例1では、絞り12に対する絞り値として、予め何らかの別の手段により設定された値(例えば「1/4」)を用いていた。そのため、前述のシーン201では最明部の信号Aの値は、撮像部13に保持される(撮像部13から出力される)信号Aの時点でレンジの最大値150%までを使うことはない(値125%までのレンジを使用している。)。これは、撮像タイミングのシーンに対してA/D変換の入力最大値(量子化精度)を十分活用せずに、デジタル信号Cを得ていることになる。
図11に、この変形例2における信号処理部31’’の構成を示す。
ピーク検出部802’は、変形例1と同様に信号Dのピーク値に応じて変換特性L2を選択する信号(ML2)を出力する。
さらに、この変形例2のピーク検出部802’は、図11に示すように、光学系1の絞り量を制御するための設定信号X1と、Dレンジ拡大処理部に対しDレンジ拡大率の設定信号X2とを出力する。
まず、絞り12に対する設定信号X1は、信号Dのピーク値500%がA/D変換の入力最大値150%となるように絞り12を制御する信号((X1の信号値)=150/500(=0.3))である。
また、設定信号X2は、絞りの量の逆数である500/150を、Dレンジ拡大率として設定するための信号である。即ち、X1とX2とは相反する量を用いて決定された値が用いられる。尚、設定信号X2は、ピーク値そのものであってもよいし、Dレンジ拡大率そのものであってもよい。
図12は、変形例2の効果を説明するものである。
この変形例2では、画像ピーク値(500%)は変更されないが、絞り12の絞り量(150/500)として大きくなった値が設定されるため、信号Aの値にA/D変換の入力最大値100%まで利用することができる。即ち、変形例2の撮像装置100では、変形例1の絞り12に予め1/4に設定した場合に比して、絞り値と拡大率との関係が改善されることにより、アナログ信号のピークの値がA/D変換の入力最大レンジ値となるため、A/D変換の量子化精度を最大限利用することができる。
パラメータ決定部800は、変形例2のように画像全体の最大値を基準とするのではなく、一部の所定の領域(主要被写体領域)の代表値を基準としてDレンジ拡大率または絞りの絞り値(前述と同様、露光量の調整値を含む。)を導出するとしてもよい。さらに、撮像装置100において、この一部の領域の画像信号の代表値Fが一定の基準値になるように、絞り12の絞り量、または、Dレンジ拡大率を調整する構成としてもよい。
前述の第1実施形態1、変形例1、並びに変形例2に示したある時刻tkにおいて、この所定領域についての信号Dの最大値が70%の値が出力されるように絞り部12の絞り(3/10)またはDレンジ拡大率(10/3)が予め設定されていたとしても、時刻tkの後の撮像タイミングで、被写体周辺の光の差し具合等の変換により、所定の領域(例えば、被写体領域)の出力値が目標値の70%付近になるとは限らない。このような場合に適応させるために、変形例3の構成を用いることが有効である。
図13に示すように、パラメータ決定部800’’’は、1枚の画像データ(1フレーム分の画像データ)におけるの所定の領域についての代表値(F1)を導出する代表値検出部1201を備える。ここで、所定の領域は事前に設定された画像の中央の領域である。尚、この所定の領域は、ユーザが指定した被写体を囲む領域であってもよい。この例では、代表値F1として、この所定の領域に含まれる画素位置に対応する信号Dの最大値が導出される。
代表値検出部1201は、この所定のタイミングで導出された代表値F1が、以降のタイミングで目標値に維持されるように、(A)光学系の絞り量の設定信号X1、または、(B)Dレンジ拡大部2002への設定信号X2のいずれかを出力する。
(変形例3の効果)
図14を用いて、上述と同様のシーン201を用いて、変形例3の撮像装置100の動作と効果を説明する。
代表値検出部1201は、前述の通り、所定のタイミングにおいて、所定の領域について代表値70%を抽出しているとする。時刻tkのDレンジ拡大率には「10/3」が設定されている。また、絞り値には「3/10」が設定されている。
代表値検出部1201は、所定のタイミング時刻tnで撮像された画像データの中央領域(領域203)の代表値を導出する。具体的には、代表値50%が得られたとする。
出力信号がX1である場合:
(A)光学系の絞り量の設定信号である場合、代表値検出部1201は、時刻tnの絞りの量の「70/50」倍となる絞り量を、新たに設定するための信号X1を設定する。
出力信号がX2である場合:
(B)Dレンジ拡大部2002への設定信号である場合、代表値検出部1201は、時刻t1のDレンジ拡大率の「70/50」倍となるDレンジ拡大率を設定するための信号X2をDレンジ拡大部2002へ出力する。
この場合、時刻tn+1で取得された撮像データの中央領域の最大値(代表値検出部1201の出力)は、信号Aおよび信号Cにおいては、15%のままであるが、時刻tnのデータに基づいて更新されたDレンジ拡大率により15%×(10/3×70/50)=70%が信号Dの値として出力される。また、画像データ全体は時刻tnで取得された画像全体の信号Dのピーク値により、所定の変換特性Ln2により変換される。
この構成により、所定の領域の代表値が目標値70%の値に近づくよう維持される。したがって、例えば、連続する画像データ(動画像等)を保持する場合に、所定の領域の明度が、急峻に変化することなく追従することができる。
ここで、変形例3で、上述の(B)の場合、つまり、Dレンジ拡大率を更新する信号X2を生成することにした場合は、絞り12の機械的な設定遅延を生じずに、所定の領域(中央領域)の代表値(明るさ)が目標出力値70%となる出力信号Eを得ることができる。
また、逆に、この変形例3において、上述の(A)の場合、つまり、光学系の絞り量を変更する信号を生成することにした場合の信号A〜Eの変化を図15に示す。
この場合は、被写体の領域付近(上述の例では、領域203)において、撮像部13に蓄積されるアナログ信号Aの値が、新たな時刻のシーン(tn、tn+1)において、減少されているものの、変形例3の撮像装置では、時刻tn+1で、この撮像装置の露光量を、適切な(本来あるべき)露光量21%に設定することができる。これにより、変形例3の撮像装置では、撮像装置全体の系として、被写体を中心にした適切な露光量とDレンジ拡大率とが設定されることになる。
<1.4:撮像方法>
また、第1実施形態(変形例1〜3を含む。以下、同様。)の撮像装置100および信号処理部31、31’、31’’または31’’’は、各種処理部を用いた一連の処理順からなる方法として実現されてもよい。
図16に示すフローチャートを用いて、本発明の第1実施形態の撮像方法(撮像装置100に用いられる撮像方法)における動作手順を説明する。
第1実施形態の撮像方法は、図示しない露出計の測定値または、ライブビューなどのために撮影した直前のシーン中の最明部の値から、撮影シーンのハイライトの部分が飽和しないよう撮像部(イメージセンサ)13への露光条件を設定する(S100)。
次に、A/D変換部23により上記撮像信号(画像信号)をデジタルの画像データに変換する(S102)。
次に、Dレンジ拡大部2002により、Dレンジ拡大処理と増感を同時に行なうことにより、主要被写体が所望の明るさ(例えば、70%の明るさ)になるように、線形的にDレンジを拡大する(S103)。
次に、撮影シーンの最明部のレベルに応じた変換特性により、拡大されたDレンジが所定のDレンジになるよう圧縮(Dレンジ圧縮)する(S104)。
このようにS100からS104までのステップで処理することにより、予め減少されて設定された露光量によっても主要被写体の部分が画像データとして所望の明るさになるよう復元しつつ、かつ、ハイライト部分が飽和しないで階調を保存できる撮像方法が実現できる。
つまり、本発明は、従来、暗いシーンを撮影する場合に不利になると考えられていた露光条件に敢えて設定し、撮像部13により取得した画像信号をA/D変換した後で、デジタル処理によりDレンジ拡張することを行う。これにより、主要被写体部分をデジタルデータとしては所望の明るさにし、かつ、ハイライト部分あるいはハイライト付近の階調であっても飽和させない画像信号を取得することができる。
なお、本実施形態では、光学系1は撮像部13への露光量を制御できるものであれば、その構成は問わない。例えば、撮像レンズ11は1枚の構成としたが実際には複数枚のレンズ組でもよい。
また、A/D変換部23は、アナログ信号処理部2と独立した構成あるいはデジタル信号処理部3に含まれる構成でもよい。
また、撮像部(イメージセンサ)13は、CMOS方式など他の方式でもよく、その構成も、単板構成だけでなく3板構成でもよい。
また、Dレンジ拡大部2002は、デジタルで線形にDレンジ拡大できるものなら乗算器に限るものではなく、例えば、Dレンジ拡大率が最大8であるときは、入力値の精度より出力値の精度が3ビット高いLUT(ルックアップテーブル)などを用いるものであっても良い。また、Dレンジ拡大率が2のべき乗で表されるときはシフタ(ビットシフタ)を用いるものであってもよい。
例えば、信号Dについて20%以下の入力値については、階調差を小さくするような変換であっても良い。変換特性は、被写体主要部付近のレンジの階調差を保つ、または、協調するように設定されることが望ましい。
また、変形例2において、撮影シーンの最明部の明るさを撮像部(イメージセンサ)13のDレンジ一杯(撮像部33から出力される画像信号の信号値のとり得る最大値)に一致させるようにDレンジ拡大処理を行う場合について説明したが、これに限定されることなく、撮像部13のDレンジに余裕を設けるようにしても良いし、実質画質劣化と認められない程度の飽和を許すように最明部の明るさと撮像部33のDレンジとの関係を設定しても良い。
[第2実施形態]
本発明の第2実施形態に係る撮像装置(カメラ)について以下説明する。
<2.1:撮像装置の構成>
本実施形態の撮像装置は、第1実施形態の撮像装置100の信号処理部31を、図17に示す信号処理部31Aに置換したもので、それ以外については、第1実施形態の撮像装置100と同様である。本実施形態の撮像装置において、第1実施形態に係る撮像装置100と同様の部分については、同じ符号を付し、説明を省略する。
図17に示すように、信号処理部31Aは、第1実施形態に係る信号処理部31に、さらに、顔検出部(特徴画像領域検出部)1701と明度検出部1702を追加した構成となっている。信号処理部31Aにおいて、信号処理部31と同様の機能ブロック(図2と同じ番号を付した機能ブロック)については、説明を省略する。
顔検出部1701は、画像データ(画像信号)から形成される画像中の特徴量を解析し人間の顔の部分を検出し、画像上における、その座標や顔の範囲についての情報を明度検出部に出力する。
明度検出部1702は、顔検出部1701が出力する、画像上の顔の座標や顔の範囲の情報を用いて、その明度を検出する。
<2.2:撮像装置の動作>
次に、本実施形態に係る撮像装置の動作について、前述の図12を用いて説明する。
各部のDレンジについては第1実施形態と同様である場合について説明する。このため、図8も用いて説明する。
撮影シーンは前述と同じものとして説明する。第1実施形態では、顔などの主要被写体の部分202が撮像シーン201中央の主要被写体エリア203付近に存在するということを仮定して処理を行う撮像装置100について説明した。第1実施形態の撮像装置では、常に最適条件で処理することは難しい。本実施形態では、上記仮定を必要とせず、常に最適な条件で処理を実行することができる撮像装置について説明する。具体的には、本実施形態の撮像装置では、露光制御において、撮像シーン201中の最明部の値のみに基づいた露光制御を行う。
制御部34は、図示しない露出計の測定値または、ライブビューなどのために撮像部(イメージセンサ)13で撮影し取得した直前のシーン中の最明部の値(空と雲の部分204に含まれる最明部の値)から、撮影する画像被写体シーンのハイライト部分が撮像部(イメージセンサ)13で飽和しないように露光量AP1を計算する。そして、実際の露光量の制御(絞り量とシャッタ速度の制御)は、露光量AP1を用いて行う。したがって、最明部である空と雲の部分204は、150%の明るさになるため、撮像部(イメージセンサ)13で飽和することはなく、撮像部13で取得される画像信号において信号値が飽和することはない。また、本実施形態の撮像装置において、この露光量AP1を用いて撮影すると人物の顔の部分202は、第1実施形態の場合と同様に、21%の明るさになる。
明度検出部319は、顔検出部318から出力された顔領域の画像上の座標をもとに、画像データ(画像信号)が形成する画像中の顔領域の平均明度を求める。この際、顔検出部318は、顔領域に含まれる髪や目など肌でない部分を除いて、顔領域の平均明度(この平均明度を「顔明度」とし、ここでは21%の明るさであるものとする)を求める。そして、明度検出部319は、顔明度を適正な明るさである70%の明るさにするDレンジ拡大率(70%/21%=3.33)を求め、Dレンジ拡大部2002に設定する。
Dレンジ拡大部2002は、明度検出部319により設定されたDレンジ拡大率に基づいて、画像信号に対してDレンジ拡大処理を行う。つまり、主要被写体202が21%×10/3=70%の明るさになり、空と雲の部分204が150%×10/3=500%の明るさになるように、画像信号に対してDレンジ拡大処理が、Dレンジ拡大部2002により実行される。そして、Dレンジ拡大部2002は、Dレンジ拡大処理した画像信号をレジスタ2004に出力する。
なお、Dレンジ圧縮部2001の動作については、第1実施形態と同様であるため省略する。
以上の通り、本実施形態によると、第1実施形態と比べて高精度に顔の部分を望みの明るさに維持しつつ、ハイライト部分の階調を飽和させずに残すことができる撮像装置(カメラ)を実現することができる。
[第3実施形態]
本発明の第3実施形態における撮像装置(カメラ)のDレンジ圧縮部2001について説明する。前述の実施形態において、Dレンジ圧縮部2001は、図2に示すような特性の非線形の変換特性(入力レンジ値80%より大きい点と小さい点において変節点を有する変換特性)を用いてDレンジ圧縮処理を行うとした。このような手法により、Dレンジ拡大部2002で拡大された広範囲なDレンジ(例えば、1000%のDレンジ)を有効に活用することができ、撮像装置による取得画像において、顔の部分などを望みの明るさに維持し、かつ広範囲なDレンジに渡るハイライト領域の階調変化を飽和させずに残すことが可能になる。
(100−80)/(1200−80)=0.0176
であり、傾きが0.0176と高圧縮率に至っている。
言い換えると、Dレンジ圧縮部2001が、Dレンジを圧縮すればするほど、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きが小さくなる。この結果、ハイライト領域において階調変化は残るが、階調変換後の階調値(信号値)の変化が小さすぎ、結果的に飽和している画像と大差がない出力値しか得られない(取得画像を観察したとき飽和しているように見える)画像しか取得できないという原理的な課題を有している。(図3に示すDR圧縮変換特性によるDR圧縮変換処理を、数100%以下の領域において適用した場合、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きはそれ程小さくならないので、この手法でも従来の飽和(取得画像においてハイライト部分が飽和する現象)と比べて有意な効果があることは言うまでもない。)
この原理的な課題を打破できる技術として、画像中の位置ごとに導出される空間信号周囲の明度の値によりこの位置の階調特性を変化させるという技術がある。国際公開公報第WO2005/027041号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法などが開示されている。この技術は、入力信号が既に飽和していないことが前提であり、この技術単独では本発明の効果が得られるものではない。
以下、本実施形態に係る撮像装置について説明する。
<3.1:撮像装置の構成>
本実施形態の撮像装置は、前述の実施形態に係る撮像装置のDレンジ圧縮部2001の構成を図18に示す構成にしたものである。それ以外については、前述の実施形態と同様である。本実施形態の撮像装置において、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
周囲明度検出部3161は、レジスタ2004から出力される個々の画像信号を入力とし、画像信号が形成する画像において、処理すべき画素(着目画素)についての周囲の領域の明るさ(画素値)の代表値(例えば平均値など)を検出する。そして、周囲明度検出部は、検出した代表値を動的階調補正部3162に出力する。
動的階調補正部3162は、レジスタ2004から出力される画像信号および周囲明度検出部3161から出力される代表値を入力とし、周囲明度検出部3161の出力に応じてDレンジ圧縮カーブが変化する階調補正特性により、画像信号に対して、動的に階調補正処理を行う。つまり、動的階調補正部3162での階調補正処理は、画像中の位置(各々の空間的な位置(または、領域ごとに導出される周囲明度値))により、階調特性が変化する処理である。そして、動的階調補正部3162は、Dレンジ圧縮処理した画像信号を第2信号処理部317Bに出力する。
<3.2:撮像装置の動作>
次に、本実施形態の撮像装置の動作について説明する。Dレンジ圧縮部2001以外の部分の動作については、前述の実施形態と同様であるため、説明を省略する。
Dレンジ圧縮部2001、着目画素(処理対象の画素)の周囲の明るさにより選択される5本の階調カーブ(階調変換特性曲線)(図19に示す5つの階調カーブ)を有している。
図19に示すように、着目画素の周囲が最も暗い場合の曲線をa、着目画素の周囲が最も明るい場合の曲線をc、両者の中間の曲線をbとしている。説明のために、Dレンジ圧縮部2001が有している階調変換特性曲線を5本としているが、これに限定されることはない。実際には、数10本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するDレンジ圧縮部2001により、画像信号に対して階調変換処理を行うことが望ましい。
本発明の第3実施形態の撮像装置によると、Dレンジ拡大部312におけるDレンジを数1000%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジの信号値を、人間の視覚特性上損なわずに100%以内のDレンジに圧縮することが可能になる。
次に、実際に撮像装置(カメラ)を用いて撮影した画像を用いて、本実施形態の撮像装置の効果を説明する。
図20(A)は、主要被写体である人物の顔が適切な明るさになるよう露光制御した従来のカメラ処理による画像であり、図20(B)は本発明の本実施形態のDレンジ圧縮部316を第2実施形態の信号処理部31に導入した撮像装置において撮影した画像である。
図20(A)および図20(B)は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図20(A)では飽和して白飛びしているのに対し、図20(B)では連続的な階調変化が維持されているだけでなく、空と雲の輪郭や周囲領域とのコントラストも維持されて自然な仕上がりの画像が得られている。
なお、本実施形態では、図18の構成のDレンジ圧縮部2001を用いて説明したが、本発明はこの構成に限るものではなく、画像の空間的な位置毎の着目画素について、(この所定の着目画素の周囲明度値)に応じて入出力変換特性を変化させることができるものであれば、他の構成をとるものであってもよい。たとえば、本発明のDレンジ圧縮部316の構成として、周囲領域との対比量を各々計算する、Retinex理論による技術や局所的なヒストグラム均等化処理などの実質的に同様の視覚特性上の対比効果が得られる公知な技術を応用しつつ、これらをDレンジ圧縮に用いた構成とすることも出来る。
図21は、この2次元LUTに登録されるデータの特性を例示する図である。
図21は、Dレンジ圧縮部2001に対し入力Dレンジが800%(図21では、「8.0」で示す。以下、同様。)まで拡張された場合に適用される2次元LUTのDレンジ圧縮の変換特性のデータの例を示している。
図中、矢印(k)で示す破線は、この2次元LUTによる画像の明るさの変換特性を示しており、この特性はカメラのKnee特性に合わせている。この変換特性(波線kで示す変換特性)は、動的階調補正部3162に、周囲明度値と入力値とが等しい値で入力された場合に出力される値を示している。
ここで、周囲明度値が小さい(暗い)場合ほど、左側の曲線が用いられる。これは、自然画においては暗い領域ほど、入力値が小さいレンジにおいてコントラストが保たれるように変換されることを意味する。前述の通り、人間は所定の画素の値につき、絶対的な明るさを知覚するのではなく、暗い領域なら暗い領域に閉じた範囲での相対的な明るさの比を、各画素についての明るさとして知覚するためである。
図22に、この点を詳細に説明するための図を示す。
尚、図22に示すように、Knee特性により定義される曲線Kと変換曲線a〜cとの各交差点の付近(図中、円で示した付近)における変換曲線の傾きは、視覚的なコントラストを維持しつつダイナミックレンジを圧縮する目的から原点を通る直線の傾きにあわせているが、図23に示すよう、さらにコントラストを強める目的で明るい領域での階調変換特性の傾きが急峻となるように変換曲線(階調変換曲線)を設定してもよい。
この場合に登録されるプロファイルは、入力レンジが400%(4.0)の場合、図25に示す特性を実現するものとなり、入力レンジが200%(2.0)の場合、図26に示す特性を実現するものとなる。
また、Dレンジ拡大率毎にプロファイルを複数設けるのではなく、図27に示すように、撮像装置にレンジ値調整部2601を設け、2次元LUT3162は、1つのプロファイルのみを有する構成としてもよい。つまり、入力値が80%以上の入力の信号値(信号Dの信号値)に対しては、レンジ値調整部2601によりレンジ値を調整し、レンジ値が調整された後の信号値(信号D1の信号値)を2次元LUT3162に入力して処理するようにしてもよい。
この場合、レンジ値調整部2601は、「0.8」より大きい値の入力値(信号Dの信号値)に対して、Dレンジ拡大された後の信号Dの入力値Dとし、レンジ値調整部2601の出力値をDoutとすると、
Dout=0.8+0.2×(D−0.8)/(4.0−0.8)
により求めた値Doutを、レンジ値調整部2601から出力するようにしてもよい。
また、図27に示すように、2次元LUTに8倍のプロファイル(入力レンジに対する出力レンジの比が8倍である変換特性を実現するプロファイル)を登録した場合であって、レジスタ2004から出力される信号の出力レンジが「4.0」であり、2次元LUTの入力レンジが「8.0」である場合、レンジ値調整部2701は、4.0倍にDレンジ拡大された後の信号Dの入力値Dとし、レンジ値調整部2601の出力値をDoutとすると、
Dout=0.8+7.2×(D−0.8)/(4.0−0.8) (D>0.8)
により求めた値Doutを、レンジ値調整部2701から出力するようにしてもよい。
さらに、図28に示すように、Dレンジ拡大後の信号Dの1枚分の画像データ(1フレーム分の画像データ)中のピーク値を検出し、この値に応じて、Dレンジ拡大部2002がDレンジ拡大処理を行った後、取得された最大値Xが2次元LUT3162の入力レンジに戻るように、80%(0.8)より大きい入力値を最大値(Pmax)で調整してもよい。例えば、2次元LUT3162に8倍のレンジのプロファイル(入力レンジに対する出力レンジの比が8倍である変換特性を実現するプロファイル)を登録する場合には、ピーク調整部2801は、その入力値をDとし、その出力値をDoutとしたとき、
Dout=0.8+7.2×(D−0.8)/(Pmax−0.8)
により求めた値Doutを、ピーク調整部2801から出力するようにしてもよい。
尚、上述例においては、2次元LUT3162の入力値の最大値を「8.0」(800%)までの入力値として説明したが、同様の特性(「0.8」より大きい入力値に対し入力値と周囲輝度値とが等しい点において、入出力変換係数(入出力変換曲線)の傾きがKnee特性から決定される曲線の傾きより大きい)傾向を有するものであれば、「16.0」(1600%レンジ)、「32.0」(3200%レンジ)等まで拡張できることは言うまでもない。
尚、また、2次元LUT3162に登録されるデータ(出力データ)は、必ずしも入力値および周囲明度値に対する出力値そのものでなくても、出力値を導出するための係数であってもよい。
また、周囲明度検出部3161において、着目画素(処理対象画素)の周囲情報を得るために用いられる低域空間フィルタとして、アンシャープ信号の生成に通常用いられるFIR(Finite Impulse Response)型の低域空間フィルタ、あるいはIIR(Infinite Impulse Response)型の低域空間フィルタなどを用いてもよい。また、図30に示すように、代表値検出部3163を設け、画像データの一部の領域に対し、局所コントラストの効果を調整するようにしてもよい。
次に、本発明の第4実施形態に係る撮像装置について説明する。
本発明の第4実施形態における撮像装置は、光量調節機能を持つ光学系によって結像された被写体の像を撮像素子で読み取るときに、A/D変換部の出力が飽和しないように撮像素子を複数回に分けて次々に露光(短時間露光)することで、複数枚のサブフレームの撮像画像を撮像素子から得る。そして、A/D変換部でこの複数枚のサブフレームの撮像画像をA/D変換し、変換された複数枚のサブフレームの画像を画素ごとにダイナミックレンジ(以下、「Dレンジ」と記す)拡張して加算することを特徴とする。
これによれば、複数回に分けて撮像素子を次々に露光し、撮像素子から得られる各サブフレームの撮像画像を暗くすることができるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、複数回に分けて撮影して得た複数枚のサブフレームの画像を画素ごとにDレンジ拡張して加算し、その総和を算出することができるため、加算した出力の飽和を抑えつつ明るくすることができる。よって、本実施形態の撮像装置により、S/N比の劣化を抑え、Dレンジの広い画像を得ることができる。これにより、本実施形態の撮像装置では、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる。
まず、図31〜図33を用いて、本発明の第4実施形態における撮像装置400の構成について説明する。図31は本実施形態における撮像装置400の構成を示すブロック図、図32は本実施形態における撮像装置400の動作を時系列に説明するタイミングチャート、図33は撮像装置400のDレンジ拡大部411の構成を示すブロック図である。分割して露光する分割回数は必要なDレンジの拡大率に応じて設定するが、ここでは、説明を容易にするため、分割回数を4回にした例について説明する。
図31に示したように、本実施形態における撮像装置400は、レンズ等の光学系402と光学系402の背部(後段)に設けられた入射光量を調整する絞り部403とを有する光学系416と、光学系416によって結像された被写体P2の光学像を電気信号に変換するCCDやCMOS等の撮像素子(撮像部)404と、撮像素子(撮像部)404から出力されるアナログの撮像画像をデジタルの画像に変換するA/D変換部405と、を備える。また、撮像装置400は、利用者の操作指示を入力する操作部407と、操作部407から設定に応じて撮像装置全体を統括制御するシステム制御部408と、システム制御部408からの指令信号に基づいて光学系416と、撮像素子404およびA/D変換部405を駆動制御する駆動部406と、を備える。さらに、撮像装置400は、A/D変換部405で変換して得たれた赤(以下、「R」と記す)、緑(以下、「G」と記す)および青(以下、「B」と記す)の画像(画像信号)からDレンジを拡大したDレンジ拡大画像(画像信号)を生成する画像処理部410と、画像処理部410で処理された画像(画像信号により形成される画像)を表示する表示部414と、画像処理部410で処理された画像を記憶する記憶部415と、を備えている。
光学系402は、公知のレンズ等を備える。
また、絞り部403は、後述する露光条件設定部409により、撮像素子404を複数回に分けて露光する前に、被写体の主要部(例えば、人物の顔等の部分)で所定の明るさが得られるように所定の露光時間に応じた入射光量の調節を行う。このように、光学系416は、光学系402と絞り部403とで光量調節機能を実現している。
撮像素子404は、同一感度の画素がアレイ上に配列され、絞り部403によって光量調節された入射光量を所定の露光時間受光し、入射光量と所定の露光時間の積で決定される露光量に比例した撮像信号(画像信号)を出力する。
駆動部406は、システム制御部408からの指令信号に基づいて光学系402、絞り部403、撮像素子404およびA/D変換部405を駆動制御する。
システム制御部408は、プログラムに従って所定の処理機能を実行するCPU(中央処理装置)、プログラムやデータを格納した読み出し専用の記憶デバイスであるROM(リードオンリメモリ)、データを読み書き可能に一時記憶するメモリであるRAM(ランダムアクセスメモリ)を備えている。
操作部407は、利用者が設定した撮影モード等の設定を、後述するシステム制御部408に出力する。利用者が設定する撮影モードは、例えば、被写体を撮影する撮影シーンに応じて設定されるモードであって、この撮影モードには、例えば、屋内用撮影モード、屋外用撮影モード、スポーツ用撮影モード、ポートレート用撮影モードおよび風景用撮影モードなどがある。特に、屋外用の撮影モードにより撮影する場合、入射光量のDレンジが広いため、逆光等で暗くなっている被写体領域(人物の顔等の領域)での明るさを適切な明るさに調整した場合であっても、明るい被写体領域(例えば、雲や空等の領域)での出力が飽和しないように、撮像装置で処理する必要がある。
露光条件設定部409は、システム制御部408に設けられ、例えば、撮影する前のプレビュー時に、A/D変換部405から出力されるRGB画像の1画面分(RGB画像信号により形成されるRGB画像の1画面分のデータ)を内部のメモリ(図示せず)に仮に取り込み、被写体P2の主要な領域に対して、適切な明るさの出力値が得られるように露光条件を算出する。例えば、画像出力Dレンジ100%(出力画像信号のDレンジが0%〜100%の明るさに対応する信号値をとるDレンジ)に対して人物の顔領域で70%の明るさになるように、撮像装置400の露光条件を設定する。
表示部414は、例えば、撮像装置400の本体の背面等に設けられており、カラー液晶装置等の表示装置を有している。表示部414は、画像処理部410で処理された画像信号により形成される画像を、カラー液晶装置等の表示装置に表示する。
記憶部415は、信号処理部413により処理された画像(画像信号)を記憶する。記憶部415としては、ハードディスク装置(HDD)や半導体メモリなどの公知の記録媒体から選択したものを用いることができる。
次に、本実施形態の撮像装置400における主な動作を時系列に説明する。
まず、図32(a)に示すように、駆動部406は、周期Tとする同期信号(A)に基づいて、撮像素子404および画像処理部410を制御する制御信号(B)を出力する。ここで、後述するように、被写体P2の主要部の領域が適切な明るさになるように(C)に示す露光時間t0での露光条件を設定する。例えば、主要部が人物の顔であれば、出力Dレンジ100%に対して、当該主要部(人物の顔の部分)の明るさが70%の明るさになるように、撮像装置400の露光条件を設定する。この露光条件に合わせて絞り部403により撮像素子404に入射される光量が調節される。また、A/D変換部405の出力は、出力の余裕を持たせて150%まで飽和しないように設定されている。つまり、この設定により、A/D変換部405から出力される画像信号において、150%の明るさに相当する信号値までは飽和しない。
ここでは、複数回に分けて次々に露光し、順次に得られる各画像をサブフレームとして説明し、A/D変換する前をサブフレームの撮像画像(以下、サブフレームの撮像画像を、単に「撮像画像」と記す。また、この「撮像画像」を形成する画像信号を「撮像画像信号」と記す。)、A/D変換した後をサブフレームの画像(サブフレームの画像を、単に「画像」と記す。また、このサブフレームの画像を形成する画像信号を「デジタル画像信号」と記す。)とする。また、動画、静止画を撮影する場合も、同様とする。
次に、図32(b)に示すように、駆動部406は、A/D変換部405の出力の余裕をさらに大きくするため、露光時間t0を4分割した時間t1で撮像素子404を露光する。ここで、露光時間t0=4×t1である。露光時間の制御は、例えば、撮像素子404の電子シャッタ機能を使い、駆動部406により撮像素子404に対する露光時間を制御することで実行される。
画像処理部410は、A/D変換部405から転送された画像を各メモリ(画像記憶部)に記憶する。そして、各メモリに記憶されている画像の同じアドレスにある画像データをそれぞれ画素ごとに読み出し、Dレンジ拡張して加算し、(E)に示すDレンジ拡大画像102を得る。
この露光時間t1で露光して得られる撮像画像は、露光時間t0で露光して得られる撮像画像と比較すると露光時間が短いため、撮像画像の出力値(撮像画像信号の信号値)は小さくなる。よって、各撮像画像の出力をA/D変換したときに出力の余裕が拡大する。よって、撮像素子404で複数回に分けて撮像され、A/D変換部405で変換された4枚の画像をDレンジ拡張して加算し、その総和を算出することで露光時間t0のときの撮像画像と同じ出力値を得ることができる。その結果、露光時間t0のときの撮像画像と同じS/N比を確保することができる。
具体的には、露光時間t1で得られる露光量が減少したことにより、撮像素子404から出力される各撮像画像の出力値を小さくすることで、A/D変換部405での飽和レベルに対してt0/t1倍の余裕ができる。このため、A/D変換後の出力は飽和しにくくなる。
なお、撮像装置400において、A/D変換部405の出力が飽和しないように撮像素子404を複数回に分けて次々に露光し、A/D変換部405で撮像素子404から得られた複数枚の撮像画像を複数枚の画像に変換し、変換された複数枚の画像を画素ごとにDレンジ拡張して加算しても、同様の原理によって、Dレンジを拡大したDレンジ拡大画像を得ることができる。
次に、図33〜図35を用いて、本実施形態の撮像装置400におけるDレンジ拡大部411について詳細に説明する。
図33はDレンジ拡大部411の構成を示すブロック図、図34は本実施形態の撮像装置400におけるDレンジ拡大部411を説明するための説明図、図35は本実施形態の撮像装置400で撮影される被写体P2の撮影状態を説明する説明図である。
Dレンジ拡大部411は、図33に示すように、A/D変換部405から出力される各画像(R、GおよびB画像を含む)を、それぞれ記憶する画像記憶部431a〜431dと、画像記憶部431a〜431dに記憶された画像を画素ごとにDレンジ拡張して加算する加算部430とを備える。
図34は、Dレンジ変換特性を示すグラフである。
図34に示すように、例えば、露光時間t0で入射光量が150%の明るさに相当する光量であるとき、A/D変換部405の出力が飽和レベル(150%の明るさに相当するレベル)となるように絞り部403により調整する。このときの露光時間t1は、t1=t0÷4となる。
さらに、A/D変換部405によりA/D変換された画像を画像記憶部431a〜431cにそれぞれ記憶し、記憶されている画像に対して加算部430は画素ごとにDレンジ拡張して加算する。これにより、加算部430でDレンジを0〜600%までにDレンジを拡大したDレンジ拡大画像(図34の入出力特性直線L102参照)を得ることができる。
次に、図35を用いて、このDレンジが拡大されたときの効果について説明する。
屋外で被写体を撮影した場合に、被写体の領域によって入射光量が大きく変化する。例えば、被写体P2が逆光で撮影されて取得された撮影画像106の場合、被写体P2の顔領域108は暗くなる。この被写体P2の暗い顔領域108を適切な明るさ、例えば、Dレンジ拡大した出力で70%の明るさに補正すると、明るい領域、例えば空と雲の領域107は、通常で500%以上の明るさとなる。A/D変換部405の出力が150%で飽和する撮像装置を用いて処理する場合、このような撮像装置により取得した画像において、空と雲の領域107は、階調が飽和してしまい、忠実に再現することができない。
一方、本実施形態の撮像装置400では、Dレンジ拡大部411により、A/D変換後の画像信号に対して、飽和させることなくDレンジを0〜600%に拡大しているため、撮像装置400により取得される画像信号において信号値は飽和しない。これにより、撮像装置400で取得した画像において、空や雲の領域(通常500%以上の明るさなる領域)が飽和(階調飽和)することなく、自然な階調値を有する画像領域として再現される。
次に、図35および図36を用いて撮像装置400のDレンジ圧縮部412について詳細に説明する。図36はDレンジ圧縮部412を説明するための説明図である。
Dレンジ圧縮部412では、Dレンジ拡大された信号(図34の入出力特性直線L102により階調変換された信号)に対して、出力を、Dレンジ100%に抑えるために、大きな入力(大きな入力信号値)に対して出力(出力値)をDレンジ圧縮する。このときに、撮影される被写体P2の顔の領域108で適切な明るさを確保しつつ、明るい領域での大きな入力(大きな信号値)に対してより圧縮する度合いを高める。例えば、被写体P2の顔の領域108を適切な明るさ、例えば、出力が70%の明るさに相当する値になるようにする。ここでは、顔の領域108(70%の明るさ)の近傍で出力がリニアに(線形的に)変化するように(70%前後の明るさを有する画素の階調値が線形的に階調変換されるように)、図36の点S(出力80%)までリニアな変換特性直線103に従った出力とし、図36の点Sから点Qまでの出力は、点Sから点Rに折れ曲がる曲線104(knee特性をもたせた曲線)の勾配でDレンジ圧縮する。これにより、600%に拡大された画像信号のDレンジは100%のDレンジに圧縮される。
このように、撮像装置400では、画像信号のDレンジを拡大した後で所定のDレンジに縮小することで、例えば、屋外のように入力光量が大きく変化する場合にも、A/D変換部405の出力を飽和させない画像信号を得ることができる。したがって、撮像装置400では、被写体の明るい領域に対しても、被写体の暗い領域に対しても適切なDレンジに出力範囲(撮像装置400により取得(出力)される画像信号の信号値のとり得る範囲)を抑えることができる。
(4.2.3:撮像装置の動作の手順)
次に、図37に示すフローチャートを用いて、本実施形態の撮像装置400における動作の手順を説明する。
ステップS102では、所定の露光時間t0を均等に分割した時間で4回に分けて撮像素子404を次々に露光し、4枚のアナログの撮像画像を撮像素子404から得る。
ステップS104では、A/D変換部405で4枚のアナログの撮像画像をA/D変換し、4枚のデジタルの画像に変換する。
ステップS106では、A/D変換部5で変換して得られた4枚のデジタルの画像を画素ごとにDレンジ拡大部411でDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像102を得る。
なお、S100〜S106のステップにおいて行う処理は、以下の処理であってもよい。
すなわち、撮像素子404を4回に分けて短時間(高速シャッタ)で露光してA/D変換部405の出力が飽和しないように撮像素子404を駆動し、撮像素子404で4回に分けて撮像して得た4枚のアナログの撮像画像をA/D変換部405によって4枚のデジタルの画像に変換する。そして、変換された4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を得る。
≪変形例≫
次に、図38〜図40を用いてDレンジを圧縮する変形例について説明する。
前述のDレンジ圧縮部412では、図36に示すような特性の非線形の階調カーブを用いてDレンジを圧縮していた。このような手法により、Dレンジ拡大部411で拡大された600%の広範囲なDレンジを有効に活用し、顔等を望みの明るさに維持しながら、かつ広範囲なDレンジに渡るハイライト領域の階調性を飽和させずに残すことが可能になる。
しかし、図36に示すように、Dレンジ圧縮部412で用いられるDレンジ圧縮変換特性(階調変換特性)は、0〜80%の明るさに相当する階調値についてはDレンジ圧縮せず、80〜600%の明るさに相当する階調値を80〜100%の明るさに相当する階調値にDレンジ圧縮する特性である。そのため、高範囲のハイライト領域の階調性を残すことは可能であるが、ハイライト領域では、入出力の傾き(Dレンジ圧縮変換特性曲線の傾き)が非常に小さくなるため、コントラストが非常に低くなる。
この原理的な課題を打破できる技術として、画像中の位置に応じて階調特性を変化させるという技術がある。国際公開公報第WO2005/027041号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法等が開示されている。
≪視覚処理を用いたDレンジ圧縮処理≫
次に、図38を用いて前述の技術を使用した場合のDレンジ圧縮部412について説明する。図38はDレンジ圧縮部412の構成を示すブロック図である。
図38に示すように、Dレンジ圧縮部412は、処理すべき画素(着目画素)の周囲の明るさの代表値(例えば平均値等)を検出する周囲明度検出部4121と、周囲明度検出部4121の出力に応じてDレンジ圧縮カーブが変化する動的階調補正部4122と、を備えている。
Dレンジ圧縮部412は、着目画素(処理対象の画素)の周囲の明るさにより選択される5本の階調カーブ(階調変換特性曲線)(図12に示す5つの階調カーブ)を有している。図39に示すように、着目画素の周囲が最も暗い場合の曲線をa、着目画素の周囲が最も明るい場合の曲線をc、両者の中間の曲線をbとしている。説明のために、Dレンジ圧縮部412が有している曲線を5本としているが、これに限定されることはない。実際には数10本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するDレンジ圧縮部412により、画像信号に対して階調変換処理を行うことが望ましい。
ここで、画像中の着目画素の周囲が暗いところ(例えば図35の領域108等)に相当する画像信号を、Dレンジ圧縮部412により処理する場合、階調変換特性曲線aが適用されることになるため、人の顔の部分(領域)に相当する画像信号は、70%程度の適正な明るさに相当する階調値(信号値)に階調変換されることになる。また、画像中で着目画素の周囲が非常に明るいところ(例えば図35の領域107等)に相当する画像信号を、Dレンジ圧縮部412により処理する場合、階調変換特性曲線cが適用されることになるため、空と雲の領域でも十分な階調数とコントラストを有するものとなる。つまり、このように、Dレンジ圧縮部412で処理することにより、本実施形態の撮像装置では、非常に自然で高品位な画像を得ることができる。
本発明の第3実施形態の撮像装置によると、Dレンジ拡大部312におけるDレンジを3200%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジを視覚的に損なわずに100%以内のDレンジに圧縮することが可能になる。
<4.3:撮像装置の効果>
次に、図40を用いて実際に撮像装置(カメラ)を用いて、本実施形態の撮像装置の効果を説明する。
図40(a)と図40(b)は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図40(a)では飽和して白飛びしているのに対し、図40(b)では連続的な階調変化が維持されているだけでなく、雲と空の輪郭やコントラストも維持されており、自然な仕上がりの画像が得られている。
また、空の色についても、図40(a)では白飛びし色が無くなっているのに対し、図40(b)では青空が再現されている。このように、本実施形態のDレンジ圧縮部412は、Dレンジ拡大部411が拡大した広いDレンジを有効に生かしながら100%の狭いDレンジに自然に圧縮することができることが分かる。
また、撮像装置400では、Dレンジ拡大部411で画像信号のDレンジを拡大した後で、Dレンジ圧縮部412で画像中の位置に応じて階調特性を変化させながらDレンジを100%以内に圧縮する。このため、Dレンジ拡大部411におけるDレンジを1200%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジを視覚的に損なわずに100%以内のDレンジに圧縮することができる。
次に、図41〜図43を用いて、本発明の第5実施形態について説明する。
そして、第5実施形態の撮像装置により、操作者の手振れによる画像間の画像ずれを補正し、画質を向上させる方法について説明する。
第5実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図41に示すDレンジ拡大部511に置換したものである。第5実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
まず、図41〜図43を用いて本発明の第5実施形態の撮像装置のDレンジ拡大部511について説明する。
第4実施形態の撮像装置400のDレンジ拡大部411では、分割して露光したときに得られる被写体P2の4枚の画像を画素ごとにDレンジ拡張して加算していた。本実施形態の撮像装置Dレンジ拡大部511は、この4枚の画像を画素ごとにDレンジ拡張して加算するときに、本実施形態の撮像装置を操作している者(以下、「操作者」と記す)の手振れによって発生する画像間の画像ずれを検出し、この画像ずれを抑えた画像を得ることができるようにしたものである。
このために、Dレンジ拡大部511は、A/D変換部405から出力される各画像(R、GおよびB画像を含む)を制御信号のタイミングに従って記憶する画像記憶部531a〜531dと、画像記憶部531a〜531dに記憶された各画像から操作者の手振れによる画像ずれの大きさとその方向を検出する手振れ検出部542〜544と、画像ずれの大きさから手振れの有無を判断する手振れ判断部545と、手振れ判断部545によって手振れがあると判断された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて制御信号のタイミングに従って画像をずらして加算する加算部541と、を備えている。
加算部541は、手振れ判断部545により、画像記憶部531a、531bに記憶されている2枚の画像を処理するときは手振れ検出部542で検出された画像ずれの大きさとその方向に応じて補正値を算出する。同様に、加算部541は、画像記憶部531b、531cに記憶されている2枚の画像を処理するときは手振れ検出部543で検出された画像ずれの大きさとその方向に応じて補正値を算出し、画像記憶部531c、531dに記憶されている2枚の画像を処理するときは手振れ検出部543で検出された画像ずれの大きさとその方向に加え、手振れ検出部544で検出された画像ずれの大きさとその方向に応じて補正値を算出する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
図42(a)は、時刻t−1〜t+2に分割して露光したときに撮像して取得された画像の状態を示す図である。なお、ここで時刻tを基準時刻とし、時刻t−1とは、時刻tに取得されるフレーム画像(画像B)の1フレーム前のフレーム画像を取得した時刻をいい、時刻t+1とは、時刻tに取得されるフレーム画像の1フレーム後のフレーム画像を取得する時刻をいうものとする。また、時刻t+N、t−N(Nは任意の自然数)も同様である。
また、基準画像(図42の画像Bに相当。)としては、画像振れを合わせる観点からできるだけ撮像装置により撮影した時刻(シャッターを押した瞬間の時刻)の画像を選択することが望ましく、基準画像が時系列の中心となるように、時間的に前後する画像をDレンジ拡大部511の画像記憶部531a〜531dに記憶することが望ましい。ここでは、図42に示すように、時刻tの画像Bを基準画像とし、画像Bの基準Hに対する画像A、画像Cおよび画像Dの画像ずれを説明する。
図42(b)に図示するように、このような手振れによる画像ずれがあった場合には、手振れ検出部542は、画像Bと画像Aとを比較し、下側への画像ずれの大きさ「Δh1」を検出する。手振れ判断部545は、この画像ずれの大きさが所定の値Cより大きいか否かにより手振れの有無を判断する。加算部541は、手振れ判断部545が手振れありと判断(Δh1>C)した場合には、上側方向に画像Aの座標のずれを補正する補正値(Δh1)を加えた座標にある画素の値を加算する。
また、手振れ検出部544は、画像Cと画像Dとを比較し、上側への画像ずれの大きさ「Δh2」を検出する。手振れ判断部545は、この画像ずれの大きさが所定の値Cより大きいか否かにより手振れの有無を判断する。
加算部541は、手振れ判断部545が手振れありと判断(Δh2>C)した場合には、下側方向に画像Dの座標のずれを補正するように補正値(Δh2+0)を減じた座標にある画素の値を加算する。ここで、加算部541は、画像Dの画像ずれを補正するときに、画像Bに対する画像Cの画像ずれも加えた座標で補正して加算する。また、加算部541は、対象とする画素が領域外にある場合には加算を行わない。
なお、図43に示すように、手振れ検出部542は、画像記憶部531a、531bに記憶されている画像A、Bを比較するときに、全体の画像領域の中から所定の領域545a〜545fを設定し、画像Aの所定の領域545a〜545fを対応する画像Bの所定の領域546a〜546fと比較するようにし、領域ごとの比較によって得られた画像ずれの大きさとその方向Δhave1〜Δhave6を平均したものを加算部541に設定する補正値としてもよい。このとき、小数点以下の値が発生した場合には、小数点以下の割合に応じて、隣接する上下左右斜めにある画素の値と着目している画素とを補間処理する。なお、小数点以下の値は四捨五入して画像ずれの補正値を算出してもよい。これにより、比較する演算量を削減し、処理時間を短縮することができる。また、ハードウェアの規模を削減することができる。
以上のように、本実施形態の撮像装置では、Dレンジ拡大部511により、操作者の手振れによって発生する画像の画像ずれをなくした後、画像A〜Dの各画素をDレンジ拡張して加算することができるので、第4実施形態の撮像装置400における効果に加えて、さらに、手振れによる画像ずれを抑え、Dレンジを拡大したDレンジ拡大画像を得ることができる。
具体的には、本実施形態の撮像装置では、4回に分けて露光されるため、撮像素子404から得られた各撮像画像では露光時間が1/4に短縮され、操作者の手振れによる画像ずれも1/4に小さくなっている。また、被写体の動きによる被写体振れも同様に1/4に小さくなっている。本実施形態の撮像装置では、この4枚の各撮像画像をA/D変換部405で変換した後、手振れ検出部542〜544で得られた画像ずれの大きさとその方向に応じて、手振れによる画像ずれをなくす方向に各画像をずらして加算する。よって、従来のように複数回に分けないで露光する場合の画像と比較して、本実施形態の撮像装置では、手振れによる画像ずれを小さくすることができる。
また、手振れ検出部542〜544では、画像A〜DのG成分から画像ずれの大きさとその方向を検出するようにしてもよい。
また、加算部541で、手振れ検出部542〜544で検出される画像ずれの大きさがない場合、画像ずれ「0」として処理するようにすれば、手振れ判断部545を省略することも可能である。この場合、加算部541は、手振れ検出部542〜544で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向に画像をずらして加算するだけでよい。
次に、図44および図45を用いて、本発明の第6実施形態について説明する。
第6実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図44に示すDレンジ拡大部611に置換したものである。第6実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
図44は、本実施形態の撮像装置のDレンジ拡大部611の構成を示すブロック図である。図45は、手振れおよび被写体振れの処理について説明する説明図である。
第5実施形態の撮像装置におけるDレンジ拡大部511では、操作者の手振れによる画像ずれをなくす方向に画像をずらして加算するようにし、手振れによる画像ずれの影響を抑えた画像を得るようにした。本実施形態の撮像装置におけるDレンジ拡大部611では、さらに、手振れに加えて被写体P2の動きによる画像の振れ(以下、「被写体振れ」と記す)を抑えた画像を得るようにしたものである。
次に、図45を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
図45(a)に示すように、時刻t−1で取得された画像Aは画像Bに対してΔh1だけ下側に画像がずれている。同様に、時刻t+2で取得された画像Dは画像Bに対してΔh2だけ上側に画像がずれている。時刻t+1で取得された画像Cは画像Bに対して画像ずれしていない。
このような手振れによる画像ずれがあった場合には、図45(b)に示すように、Dレンジ拡大部611は、まず、分割して露光して得た4枚の画像における手振れを、第5実施形態のDレンジ拡大部611と同じ様に、手振れ検出部642〜644で検出された画像ずれの大きさとその方向に応じた補正値により画像ずれをなくした後、被写体振れ検出部652〜654により、画像A〜Dの隣り合う画像のうち、選択された2枚の画像間で画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像A〜Dを加算する。ここで図45(b)に示す領域X、Yは被写体振れが検出された領域である。
加算部651は、被写体振れ検出部652〜654から被写体の動きがある局所領域(例えば領域X、領域Y)の座標(画像上の座標)を取得し、この被写体振れがある領域X、Yでは手振れの画像ずれをなくした後の画素の加算を行わない。一方、加算部651は、被写体振れが検出されなかった領域では、手振れの画像ずれをなくした後の画素の加算を行う。
これにより、被写体振れがある領域X、Y以外の領域では画素をDレンジ拡張して加算するため、手振れおよび被写体振れのない画像信号が得られる。
以上のように、本実施形態の撮像装置では、Dレンジ拡大部611により被写体振れを考慮した処理を実行するので、第5実施形態の撮像装置のDレンジ拡大部511の効果に加え、さらに、被写体振れのない画像信号を得ることができる。
なお、本実施形態の撮像装置では、画像間の比較によって手振れを検出し、手振れによる画像ずれをなくす方向に画像をずらした後、被写体振れを検出するようにしたが、これに限定されることはない。例えば、三脚等の固定した台に設置したような場合で手振れによる画像ずれがないときには、本実施形態の撮像装置において、手振れ補正のない画像間を比較し、被写体振れを検出してもよい。
[第7実施形態]
次に、図46および図47を用いて、本発明の第7実施形態について説明する。
第7実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図46に示すDレンジ拡大部711に置換したものである。第7実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
第6実施形態の撮像装置のDレンジ拡大部611では、手振れによる画像ずれを補正する手振れ処理、被写体振れがある領域を除去する被写体振れの処理を行い、Dレンジ拡張して加算するときに、被写体振れをしている局所領域の画像信号を加算しないようにしていた。本実施形態の撮像装置におけるDレンジ拡大部711では、さらに、手振れに加えて被写体振れをしている局所領域の画像信号を除去せずに、手振れおよび被写体振れを抑えた画像信号を得るようにしたものである。
このために、図46に示すように、Dレンジ拡大部711は、A/D変換部405から出力されるRGBの画像を記憶する画像記憶部731a〜731dと、画像記憶部731a〜731dに記憶された画像から手振れによる画像ずれを検出する手振れ検出部742〜744と、画像ずれの大きさから手振れの有無を判断する手振れ判断部745と、を備える。また、Dレンジ拡大部711は、画像記憶部31a〜31dに記憶された2枚の画像を画素ごとに比較することにより局所領域の被写体振れの有無を検出する被写体振れ検出部752〜754と、局所領域の被写体振れがある画素に対して被写体振れをなくすように座標を変換する座標変換部762〜764と、を備える。さらに、Dレンジ拡大部711は、手振れ検出部742〜744によって手振れが検出された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて画像をずらして加算する一方で、被写体振れが検出された場合には座標変換部762〜764から出力される被写体振れのない画素を加算しない加算部761と、を備える。
被写体振れ判断部755が被写体振れをなくすことができないと判断した場合、加算部761は、画素を加算しないようにし、一方、被写体振れ判断部755が被写体振れをなくすことができると判断した場合、加算部761は、座標変換部762〜764から出力される被写体振れのない画素を加算する。
このように、本実施形態の撮像装置のDレンジ拡大部711では、被写体振れ判断部755により、被写体振れが検出された局所領域の差を判断することで、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
次に、図47を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
このような手振れによる画像ずれがあった場合には、図47(b)に示すように、Dレンジ拡大部60は、まず、分割して露光された被写体P2の4枚の画像の手振れを、第5実施形態の撮像装置のDレンジ拡大部511と同様に、手振れ検出部742〜744で検出された画像ずれの大きさとその方向に応じた補正値によりずれをなくした後、被写体振れ検出部752〜754により、画像A〜Dの隣り合う画像のうち、選択された2枚の画像間について画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像A〜Dを加算する。ここで、図47(b)に示す領域X、Yは、被写体振れが検出された領域である。
なお、被写体振れ判断部755が、座標変換部762〜764の出力を判断し、被写体振れをなくすことができないと判断した場合には、加算部761は座標変換された画素を加算しないようにする。例えば、被写体P2の手が被写体P2自身の背後に隠れてしまい、手が検出できない場合等である。また、被写体P2の腕や顔等の一部が障害物に隠れた場合でも同様である。このように、座標変換部762〜764で変換して画像をずらしても重ねることができない場合には、加算部761は、座標変換された画像信号を加算しない。
[他の実施形態]
本発明の第4〜第7実施形態の説明では、通常のカメラで用いられる映像γ処理については省略して説明している。これは、説明を簡単にし、発明内容の理解を容易にすることを目的としているもので、本発明に本質的な影響のない映像γ処理についての説明を省略したものである。したがって、本発明が映像γ処理なしの構成に限定されるものではない。また、本発明の効果は映像γ処理が存在する場合であっても全く同様である。
まず、前述の各種機能をハードウェアで実施する場合は、各実施の形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように1チップ化された集積回路としてもよい。例えば、集積回路は、光学系416と、撮像素子404と、A/D変換部405と、被写体の主要部で最適な明るさが得られるように所定の露光時間t0に応じた光量の調節を行う光量調節部とを備えた撮像装置に用いる集積回路の場合には、前述したのと同様に所定の露光時間t0を均等に分割した時間t1で4回に分けて次々に露光し、4枚の撮像画像が得られるように撮像素子404を駆動する駆動部406と、A/D変換部405で4枚の撮像画像を変換して得られた4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を出力するDレンジ拡大部411(あるいは511、611、711)と、を備えている。
これにより、S/N比の劣化を抑え、Dレンジの広い画像信号が得られる集積回路を実現することができる。なお、露光の分割の回数は4回に限定されるものでない。必要なDレンジに応じて、N回(N>1)(Nは自然数)に分けて露光し、後でその分割して撮像された画像を画素ごとにDレンジ拡張して加算すればよい。
なお、ここでの集積回路とは、LSIに限らず、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
また、アプリケーションソフトウエアは、ディスク等に格納されて配布される形態のみ成らずネットワークを通じてダウンロードする形態のものでもよい。
また、前述の手振れおよび被写体振れの処理では、上下方向について処理する場合を例に説明したが、これに限定されるものではない。同様に、左右方向について処理するようにしてもよい。さらに、回転方向について処理するようにしてもよい。
また、前述の実施形態において、画像記憶部(431a〜431d、531a〜531d、631a〜631d、731a〜731d)は、別々の機能ブロックであるものとして説明したが、これに限定されることはなく、例えば、共通のメモリをアドレスで分割して使用することで実現させてもよい。
また、前述の実施形態において、静止画を撮影するデジタルカメラを例にとって説明した部分があるが、これに限定されることはなく、動画を撮影するビデオカメラであっても、メカニカルシャッタが電子シャッタに替わる以外は同様であり、本発明は、ビデオカメラに利用することも可能である。
なお、本発明の具体的な構成は、前述の各実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
本発明は、次のように表現することも可能である。
[第1付記]
(付記1)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をA/D変換するA/D変換器と、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
を備える撮像装置。
(付記2)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をA/D変換するA/D変換器と、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像装置。
(付記3)
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記1または付記2に記載の撮像装置。
(付記4)
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記2または付記3に記載の撮像装置。
(付記5)
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記2、付記3または付記4に記載の撮像装置。
(付記6)
前記ダイナミックレンジ圧縮手段は、処理すべき画素の周囲の明るさに応じて異なる変換特性を用いて圧縮することを特徴とする、
付記2、付記3または付記4に記載の撮像装置。
(付記7)
電子的に被写体を撮影する撮像方法であって、
撮影シーンのハイライトが飽和しないようイメージセンサへの露光条件を設定するステップと、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像方法。
(付記8)
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の最明部のレベルに応じた変換特性で圧縮するものであることを特徴とする、
付記7に記載の撮像方法。
(付記9)
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の空間的な位置に応じて異なる変換特性を用いて圧縮するものであることを特徴とする、
付記7に記載の撮像方法。
(付記10)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置に用いる撮像用集積回路であって、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像用集積回路。
(付記11)
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記10に記載の撮像用集積回路。
(付記12)
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記10または付記11に記載の撮像用集積回路。
(付記13)
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記10、付記11または付記12に記載の撮像用集積回路。
(付記14)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置に用いる撮像用プログラムであって、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像用プログラム。
(付記1)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
(付記2)
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備えることを特徴とする、
付記1に記載の撮像装置。
(付記3)
前記ダイナミックレンジ拡大部において、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記1または付記2に記載の撮像装置。
(付記4)
前記ダイナミックレンジ圧縮部は、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記2に記載の撮像装置。
(付記5)
前記撮像素子を複数回に分けて露光する前に、
前記所定の露光時間において前記被写体の主要部で所定の明るさが得られるように光量の調節が行われることを特徴とする、
付記1から付記4のいずれか1項に記載の撮像装置。
(付記6)
前記複数枚の画像のうち、異なる2枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記手振れ検出部で検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記7)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記6に記載の撮像装置。
(付記8)
前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記9)
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記10)
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記9に記載の撮像装置。
(付記11)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記被写体振れ検出部で前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換部と、
を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された画素に対しては前記座標変換部で変換された画素を加算するようにしたことを特徴とする、
付記6に記載の撮像装置。
(付記12)
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ判断部が前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記11に記載の撮像装置。
(付記13)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
前記A/D変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
(付記14)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で変換して得られた複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算部と、
を備え、
前記加算部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像装置。
(付記15)
付記1から付記14のいずれか1項に記載の撮像装置を備えるデジタルカメラ。
(付記16)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節部と、を備える撮像装置に用いる撮像用集積回路であって、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像用集積回路。
(付記17)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節ステップと、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
(付記18)
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮ステップをさらに備えることを特徴とする、
付記17に記載の撮像方法。
(付記19)
前記ダイナミックレンジ拡大ステップにおいて、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記17または付記18に記載の撮像方法。
(付記20)
前記ダイナミックレンジ圧縮ステップにおいて、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記18に記載の撮像方法。
(付記21)
前記複数枚の画像のうち、異なる2枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップにおいて、手振れ検出ステップにおいて検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記22)
前記複数枚の画像のうち、画像の手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップでは、前記被写体振れが検出された場合には、前記被写体振れがある画素を加算しないことを特徴とする、
付記21に記載の撮像方法。
(付記23)
前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記24)
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記25)
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記24に記載の撮像方法。
(付記26)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記被写体振れ検出ステップで前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換ステップと、を備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された画素に対しては前記座標変換ステップで変換された画素を加算するようにしたことを特徴とする、
付記21に記載の撮像方法。
(付記27)
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ判断ステップが前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記26に記載の撮像方法。
(付記28)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記A/D変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
(付記29)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、を備える撮像装置に用いる撮像方法であって、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で変換して得られた複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算ステップと、
を備え、
前記加算ステップにおいて、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像方法。
100、400 撮像装置
11、402 撮像レンズ
12、403 絞り部
416 光学系
13、404 撮像部(撮像素子)
2 アナログ信号処理部
3 デジタル信号処理部
22 GCA(Gain Control Amplifier)
23、405 A/D変換部
31、31A、31’、31’’、31’’’ 信号処理部
32、415 記憶部(メモリ)
34 制御部
35 表示部制御部
414 表示部
2000 Dレンジ拡大処理部
2001、312、412 Dレンジ圧縮部
2002 Dレンジ拡大部
2004 レジスタ
800、800’、800’’’ パラメータ決定部
802、802’ ピーク検出部
1201 代表値検出部
315 Dレンジ設定部
316 Dレンジ拡大部
1701 顔検出部(特徴画像領域検出部)
1702 明度検出部
314 ピーク検出部
315 Dレンジ設定部
3161 周囲明度検出部
3162 動的階調補正部
406 駆動部
407 操作部
408 システム制御部
409 露光条件設定部
410 画像処理部
411,511,611,711 Dレンジ拡大部
412 Dレンジ圧縮部
413 信号処理部
14 表示部
15 記憶部
416 光学系
430,541,651,761 加算部
431a〜431d,531a〜531d,631a〜631d,731a〜731d 画像記憶部
542〜544、642〜644、742〜744 手振れ検出部
745 手振れ判断部
652〜654、752〜754 被写体振れ検出部
755 被写体振れ判断部
762〜764 座標変換部
4121 動的階調補正部
4122 周囲明度検出部
Claims (2)
- 入力された画像信号に対して対象画像の周辺の画素の明るさの代表値を出力する空間処理部と、
入力された前記画像信号および前記代表値を入力とし、視覚処理された出力信号を出力する視覚処理部と、を備え、
前記視覚処理部は、前記代表値に対して変化する第1の変換特性を用いて、前記出力信号を出力し、
前記第1の変換特性は、
前記画像信号の値と前記代表値の値が等しい入力値の場合における変換特性を第2の変換特性とした場合に、
前記画像信号の値と前記代表値の値とが略等しい入力値となる範囲において、前記画像信号の値の変化量に対する前記出力信号の値の変化量が、前記第2の変換特性における前記画像信号の値の変化量に対する前記出力信号の値の変化量よりも大きくなる特性を有する、
視覚処理装置。 - 入力された画像信号に対して対象画像の周辺の画素の明るさの代表値を出力する空間処理ステップと、
入力された前記画像信号および前記代表値を入力とし、視覚処理された出力信号を出力する視覚処理ステップと、を含み、
前記視覚処理ステップにおいて、前記出力信号は、前記代表値に対して変化する第1の変換特性を用いて出力され、
前記第1の変換特性は、
前記画像信号の値と前記代表値の値が等しい入力値の場合における変換特性を第2の変換特性とした場合に、
前記画像信号の値と前記代表値の値とが略等しい入力値となる範囲において、前記画像信号の値の変化量に対する前記出力信号の値の変化量が、前記第2の変換特性における前記画像信号の値の変化量に対する前記出力信号の値の変化量よりも大きくなる特性を有する、
視覚処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012127285A JP5412553B2 (ja) | 2007-04-18 | 2012-06-04 | 視覚処理装置、視覚処理方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007109890 | 2007-04-18 | ||
JP2007109891 | 2007-04-18 | ||
JP2007109891 | 2007-04-18 | ||
JP2007109890 | 2007-04-18 | ||
JP2012127285A JP5412553B2 (ja) | 2007-04-18 | 2012-06-04 | 視覚処理装置、視覚処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008032218A Division JP5133085B2 (ja) | 2007-04-18 | 2008-02-13 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012209951A JP2012209951A (ja) | 2012-10-25 |
JP5412553B2 true JP5412553B2 (ja) | 2014-02-12 |
Family
ID=40148381
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008032218A Expired - Fee Related JP5133085B2 (ja) | 2007-04-18 | 2008-02-13 | 撮像装置および撮像方法 |
JP2012127285A Expired - Fee Related JP5412553B2 (ja) | 2007-04-18 | 2012-06-04 | 視覚処理装置、視覚処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008032218A Expired - Fee Related JP5133085B2 (ja) | 2007-04-18 | 2008-02-13 | 撮像装置および撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5133085B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101613532B1 (ko) | 2009-11-11 | 2016-04-19 | 엘지이노텍 주식회사 | 카메라 모듈 |
JP5371719B2 (ja) * | 2009-12-02 | 2013-12-18 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP5720034B2 (ja) * | 2011-10-14 | 2015-05-20 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
JP5365823B2 (ja) | 2011-10-14 | 2013-12-11 | 株式会社モルフォ | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 |
JP6277954B2 (ja) | 2012-03-30 | 2018-02-14 | 株式会社ニコン | 撮像ユニット、撮像装置および撮像制御プログラム |
TWI586150B (zh) * | 2012-06-29 | 2017-06-01 | 新力股份有限公司 | 影像處理裝置及非暫態電腦可讀儲存媒體 |
KR101805629B1 (ko) * | 2013-05-07 | 2017-12-07 | 삼성전자주식회사 | 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치 |
JP6064776B2 (ja) * | 2013-05-07 | 2017-01-25 | 株式会社デンソー | 画像処理装置及び画像処理方法 |
JP6278713B2 (ja) * | 2014-01-20 | 2018-02-14 | オリンパス株式会社 | 撮像装置および撮像方法 |
JP6751901B2 (ja) * | 2014-05-16 | 2020-09-09 | パナソニックIpマネジメント株式会社 | 輝度変換方法、輝度変換装置および映像表示装置 |
EP3145167B1 (en) | 2014-05-16 | 2020-04-01 | Panasonic Intellectual Property Management Co., Ltd. | Conversion method and conversion device |
JP6566731B2 (ja) * | 2015-06-05 | 2019-08-28 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6576115B2 (ja) * | 2015-06-17 | 2019-09-18 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6559001B2 (ja) * | 2015-07-29 | 2019-08-14 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US10129477B2 (en) * | 2015-08-19 | 2018-11-13 | Google Llc | Smart image sensor having integrated memory and processor |
JP6197062B2 (ja) * | 2016-03-14 | 2017-09-13 | オリンパス株式会社 | 撮像装置及び撮像方法並びに表示装置及び表示方法 |
JP6665754B2 (ja) * | 2016-10-26 | 2020-03-13 | 株式会社デンソー | 撮像装置 |
JP6840247B2 (ja) * | 2017-08-18 | 2021-03-10 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3274692B2 (ja) * | 1990-10-08 | 2002-04-15 | オリンパス光学工業株式会社 | 画像入力装置の露光制御回路 |
JP4544064B2 (ja) * | 2005-07-11 | 2010-09-15 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
CN101288099B (zh) * | 2005-10-12 | 2012-11-21 | 松下电器产业株式会社 | 视觉处理装置及方法 |
-
2008
- 2008-02-13 JP JP2008032218A patent/JP5133085B2/ja not_active Expired - Fee Related
-
2012
- 2012-06-04 JP JP2012127285A patent/JP5412553B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012209951A (ja) | 2012-10-25 |
JP2008289120A (ja) | 2008-11-27 |
JP5133085B2 (ja) | 2013-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5412553B2 (ja) | 視覚処理装置、視覚処理方法 | |
US8488029B2 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
JP5171434B2 (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
US8228397B2 (en) | Image sensing apparatus and image processing method | |
JP4803284B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP2012205244A (ja) | 画像処理装置、及びその制御方法 | |
CN110266954B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP2007067907A (ja) | 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム | |
JP6624889B2 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
JP2012010048A (ja) | 画像信号処理装置 | |
JP4999871B2 (ja) | 撮像装置およびその制御方法 | |
JP6831493B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP2018182376A (ja) | 画像処理装置 | |
JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2013225724A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2010183460A (ja) | 撮像装置およびその制御方法 | |
JP5335964B2 (ja) | 撮像装置およびその制御方法 | |
JP2012124652A (ja) | 撮像装置及び画像処理方法 | |
JP2018181070A (ja) | 画像処理装置および画像処理方法 | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP2017068513A (ja) | 画像処理装置及びその方法、プログラム、記憶媒体 | |
JP2010183461A (ja) | 撮像装置およびその制御方法 | |
JP2007235421A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5412553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |