JP4630730B2 - 撮像装置、カメラ及び撮像方法 - Google Patents

Description

本発明は、撮像装置、カメラ及び撮像方法に関する。

従来、多重露光を用いて１枚のダイナミックレンジの広い画像を撮影する技術については、たとえば下記の特許文献１がある。当該件においては、高輝度部を撮影する撮影と、低輝度部を撮影する撮影を２度行う撮像装置において、高輝度部と低輝度部で異なる露光条件で撮影を行うというアイデアが提案されている。

また、下記の特許文献２においては、前述の特許文献１を参照しながらも、特に本撮影の前に被写体の情報を先行情報取得手段で得て、その画像のたとえば輝度のヒストグラムの高輝度部と低輝度部に複数あるピークを探し出し、前述高輝度部と低輝度部にそれぞれ適した露光条件を決定するというアイデアが提案されている。

また、下記の非特許文献１は、露光の段数を２段ずつ変えてたとえば４枚画像を撮影する、というアイデアを提案している。

特開平７−２９８１４２号公報 特開２００２−１３５６４８号公報 Brian A.Wandell, Peter Catrysse, Jeffrey M. DiCarlo, David Yang, and Abbas El Gamal, "Multiple Capture Single Image with a CMOS Sensor", Chiba Conference on Multispectral Imaging, pgs. 11-17, 1999

前述の様々なアイデアは、多重露光による撮影装置において、最適な露光条件を決定するという点で様々な課題を有する。

上記の特許文献１においては、高輝度部と低輝度部に適した露光条件を設定すると述べているが、その具体的解決手段が述べられていない。

上記の特許文献２においては、ヒストグラムがつくるピークの輝度に適した露光を設定すると述べているが、ピークが許容されている多重露光の枚数を超えたときの対応、ピークが１つしか存在しないときの対応などが全く述べられていない。そのような条件の下では、彼らの手法は完全に破綻する。また、その実施例中でヒストグラムの例を挙げているが、あのような説明に適したヒストグラムの形状が得られることは実使用上確率が非常に低い。

また、本撮影の前に先行情報入力を必要とし、たとえば動画アプリケーションにおいては、常に毎フレーム前に先行撮影を何らかのデバイスを用いて行い、信号処理をする必要があるので、フレームレートが上がらない。

上記の非特許文献１は、つねに同じ露光段数の比で露光条件を変えていく物であるが、それは撮影対象となる輝度分布を無視しており、露光が適切になる場合もあればならない場合もあり、信頼できる物ではない。

本発明は、前述の問題を解決し、露光条件の異なる複数の画像を撮影して１枚の画像を生成する際に、適した複数の露光条件を得ることを目的とする。

本発明の撮像装置は、露光条件の異なる複数の画像を撮影して１枚の画像を生成する撮像装置であって、Ｎ回目（Ｎは自然数）以前の撮影の画像信号を基にＮ＋１回目の撮影の第１の露光条件候補を決定する第１の露光条件決定手段と、Ｎ回目以前の撮影の露光条件を基にＮ＋１回目の撮影の第２の露光条件候補を決定する第２の露光条件決定手段と、前記第１又は第２の露光条件候補をＮ＋１回目の撮影の露光条件として選択する露光条件選択手段とを有することを特徴とする。

本発明のカメラは、上記の撮像装置と、光学像を結像させるためのレンズと、前記レンズを通る光量を可変するための絞りとを有することを特徴とする。

本発明の撮像方法は、露光条件の異なる複数の画像を撮影して１枚の画像を生成する撮像方法であって、Ｎ回目（Ｎは自然数）以前の撮影の画像信号を基にＮ＋１回目の撮影の第１の露光条件候補を決定する第１の露光条件決定ステップと、Ｎ回目以前の撮影の露光条件を基にＮ＋１回目の撮影の第２の露光条件候補を決定する第２の露光条件決定ステップと、前記第１又は第２の露光条件候補をＮ＋１回目の撮影の露光条件として選択する露光条件選択ステップとを有することを特徴とする。

第１又は第２の露光条件候補を選択することにより、露光条件の異なる複数の画像を撮影して１枚の画像を生成する際に、適した複数の露光条件を得ることができる。

（第１の実施形態）
本発明の第１の実施形態を説明する。図１は、本発明の第１の実施形態による固体撮像装置の構成例を説明した図面である。イメージセンサ１０１は、光電変換により画像信号を生成し、撮影結果の画像信号を信号処理装置１０２へ出力する。信号処理装置１０２は、その撮影結果（画像信号）もしくはその加工物を撮影結果保存用のメモリ１０３に保存する。第１の露光条件決定装置１０４は、そのメモリ１０３に保存された結果を参照して、第１の露光条件候補を決定する。また、それとは別に、露光条件保存用メモリ１０５は、過去の露光条件を保存する。第２の露光条件決定装置１０６は、メモリ１０５に保存された過去の露光条件に基づき第２の露光条件候補を決定する。露光条件選択装置１０７は、評価関数に基づき、第１及び第２の２つの露光条件候補のどちらか一方の条件を露光条件として決定する。露光調節装置１０８は、その設定された条件に基づき光学系やイメージセンサ１０１を調節し、次の撮影を行う。また、露光調節装置１０８は、そのときの露光条件を、露光条件保存用メモリ１０５に保存することをあわせて行う。

本構成の装置によって得られる効果は以下の通りである。まず、２つの露光条件候補から１つを選ぶことにより、どちらか一方の候補が多重露光の目的であるダイナミックレンジ拡大の目的に添わないような露光条件を与えたとしても、もう一方の候補が妥当な値を提供する効果がある。また、露光条件決定のためのみの撮影は一切行わないので、撮影のレートを上げることが出来、たとえば６０分の１のフレームレートなどを要求するＨＤＴＶなどの規格を実現する際に、低システムコスト、低消費電力でその規格に合致することが出来るようになる。また、過去の露光条件ではなく、過去の撮影結果、もしくはその加工物（たとえば累積頻度やヒストグラム）を保存しているために、面内でもっとも明るい被写体の光量を装置が把握することが出来、次の撮影の際にもっとも明るい画素を取り込むために必要な、短い露光条件の類推も容易となる。

また、以上の機能ブロックを構成する際に、様々な構成、アルゴリズムが考えられるが、どのような実現手段においても得られる効果に違いが無いことはいうまでもない。以下、考えられる、適切な構成の部分例について列挙する。

イメージセンサ１０１は、たとえばＣＣＤ、もしくはＣＭＯＳイメージセンサと呼ばれる画素ごとに増幅手段を有するセンサなどをもちいてもよい。また、ここではセンサと簡単に述べたが、そのセンサを駆動する駆動手段、たとえば出力がアナログ値であればそれをデジタル値に変換するＡＤ変換手段などを含めた、光電変換を行うために必要な一式のデバイス群である。また、本装置は、関係するすべてのデータパスにおいて、すべての信号をアナログで扱っても良いし、一部デジタルにしても良いし、すべての信号をデジタル値で扱っても良い。

信号処理装置１０２は、たとえば画像信号をそのまま出力する機能を有したり、色処理した後に輝度信号、色差信号のいずれか、もしくは両方を出力する機能を有したり、空間領域でのフィルタ、時間領域でのフィルタなどをかけた後に出力する機能を有したり、画像信号をヒストグラム情報に変換する機能を有したり、画像信号を累積頻度に変換する機能を有していてもよい。また、それらの頻度情報を線形変換、非線形変換する機能を有していても良い。

撮影結果保存用メモリ１０３は、過去１フレームのみの撮影結果もしくはその加工物を保存してもよいし、過去複数フレームの撮影結果を保存しても良い。

第１の露光条件決定装置１０４は、過去１フレームのみの撮影結果に基づき判断を行っても良いし、過去数フレーム、もしくは、数フレームおきに過去数フレームの撮影結果に基づいて判断を行っても良い。また、第１の露光条件決定装置１０４は、過去の撮影結果から、面内でもっとも明るい被写体が飽和しない露光条件を決定する際に、演算の結果として要求される絞りとシャッタースピードが装置の提供するもっとも短い絞りとシャッタースピードよりも短い場合は、装置が提供できる最短の絞りとシャッタースピードを提供するようにしたり、また、そのもっとも明るい被写体が面内で無視できる面積しか有していない場合には、別途設定可能なしきい値判定レベル以上の明るい被写体は飽和しても良いような設定を行ってもよい。

露光条件保存用メモリ１０５は、過去１フレームのみの露光条件を保存してもよいし、過去複数フレームの露光条件を保存しても良い。

第２の露光条件決定装置１０６は、過去１フレームのみの露光条件に基づき判断を行っても良いし、過去数フレームからの総合判断、過去数フレーム前のみの露光条件に基づく判断、あるフレームおきに抜き出された過去数フレームからの総合判断などに基づき第２の露光条件候補を決定しても良い。また、第２の露光条件決定装置１０６は、統計的アルゴリズムなどを採用してもよい。例えば、第２の露光条件決定装置１０６は、過去の撮影の露光条件から規定の段数露光量を増やした条件を第２の露光条件候補として出力する。

露光条件選択装置１０７は、与えられた数値の大小判別や、過去数フレームの履歴から決定する判別法、もしくはマルコフ過程のような確率過程を仮定した決定方法などに基づいた判断を下しても良い。また、露光条件選択装置１０７は、イメージセンサや光学系などの撮像デバイスの性能や、動画などの要求から、前述の２つの候補以外に、とりうる最大の露光量、最小の露光量というのが存在する場合がある。露光条件選択装置１０７は、もちろんこれらのものを別なリミット値として参照し、それらと前述の２つの候補から総合的に露光条件を決めても良い。また前述のリミット値は適宜変更可能であっても良い。例えば、露光条件選択装置１０７は、２つの露光条件候補の内、より露光量が多い条件を選択することにより、暗い被写体部の黒つぶれ、及びＳ／Ｎの低下を防ぎ、特に暗部の結果を優先した撮影結果を得ることが出来る。

露光調節装置１０８は、従来のデジタルスチルカメラやデジタルビデオカメラで用いられている手法をそのまま用いても良い。

本実施形態の撮像装置は、露光の異なる複数の画像を連続して撮影（多重露光）し、１枚のダイナミックレンジの広い画像を生成する。その際、所定のフレームレートで連続的に撮影を行う。

第１の実施形態の具体例をさらに詳細に例を用いて説明する。以後、ヒストグラムを用いてさまざまな説明を行うが、あくまでも理解のためだけの目的であり、実際には装置内でヒストグラムを扱う必要は全くない。

図２は撮影を試みようとする被写体の例である。人物２０１が逆光の下に立っており、人物２０１は相対的に低輝度に、また、背景には太陽に照らされた比較的大きい領域２０２が画面をしめている。ここで、このシーンのヒストグラムは、図３のように与えられている。ヒストグラムは、横軸が輝度を示し、縦軸が頻度を示す。人物２０１は、面積が小さいため他のピークに対して非常に小さな高さのピーク３０１しか持たない。そのためにピーク３０１を探し出して人物２０１への適切な露光を決定しようにも、従来の手法ではこのピーク３０１は重要度が低いと認知されてしまい、比較的明るいところを撮影するための露光条件しか得ることができない。

ここで、撮影結果の処理として累積頻度を用いた例を図４に示す。図４は、横軸が輝度を示し、縦軸が累積頻度を示し、図３のヒストグラムを輝度の低い方から頻度を累積した頻度を示す。累積頻度がある閾判定レベル４０１を横切る輝度に最適な露光を与える様な条件を露光条件の第１の候補とすることにより、比較的低輝度な人物に適した露光条件を設定できるようになった。ここで、この閾判定レベル４０１は設計パラメーターであり、たとえばニューラルネットワークやその他確率論的な決定手法によって決定したり、もしくは経験的に設計者が設定したりしても良い。

本実施形態により、累積頻度を用い、たとえば下から数えた閾判定レベル４０１を露光の基準とすることによって、たとえ低輝度側にピークが存在していなかったとしても低輝度側に適した露光を実現することが出来た。

ここで、最適な露光、の定義であるが、どのような定義であっても本実施形態の累積頻度を用いると言うことの効果を変える物ではない。たとえば撮影デバイスのダイナミックレンジをめいっぱい活用したい場合は、前述の基準となる輝度をカメラが再現性良く撮影できるダイナミックレンジの最大値、もしくは最小値にするような露光量を選択すればよい。たとえばその撮影が高輝度情報を撮影しようとしている場合は、撮影ダイナミックレンジの最大値と基準をあわせ、また、その撮影が低輝度側を撮影しようとしている場合は、撮影ダイナミックレンジの最小値とその基準をあわせる。もしくは基準となる輝度が撮影デバイスのダイナミックレンジの１／４、もしくは１／２、もしくは３／４など、設計者が定める値になるような露光量を設定しても良い。

また、規定数の多重露光にて撮影したい被写体の輝度情報がすべて網羅できないということが、頻度情報から判明した場合、その網羅できていない輝度周辺の情報に最適な露光を定めてさらにもう１フレーム露光をおこない、その撮影結果を追加して一枚の画像を作成しても良い。

また、上記、閾判定レベル４０１を用いる手法を行う際には、画面内のすべての輝度データを装置が把握している必要がある。その実現手段としては、前述したような、過去の撮影結果、もしくはその加工物（たとえば累積頻度やヒストグラム）を継続的に保存し、面内でもっとも明るい被写体の光量を装置が把握することで実現可能である。

次に、図５のようなヒストグラムが得られた場合の例を説明する。ピーク５０１は、人物に起因するピークである。このようなヒストグラムは、背景の輝度情報と前方の比較的低輝度な被写体の間の輝度差が大きく、かつ低輝度側のしめる画像上の面積が少ない際に想定されるモデルである。このようなヒストグラムを累積頻度にすると図6のような形状が得られる。低照度（輝度）側の画素数がすくないため、閾判定レベル４０１を横切るような光量（輝度）は、前回の最大光量の約１／２である。露光量が１段高いだけなので、この値をそのまま信じてしまっては低輝度の被写体をＳ／Ｎよく撮影することが出来ない。

そのような際に、第２の露光条件決定装置１０６は、露光条件保存用メモリ１０５から得られた前回の露光条件のたとえば２段上を与える露光候補を図６の第２の候補６０１としてあたえる。この第２の候補６０１は、露光条件選択装置１０７において、第１の候補と比較され、どちらか一方が採用されることになるが、露光条件選択装置１０７は第２の候補を選ぶようにプログラムされているので、比較的低輝度側に適した露光量を得ることが出来る。

このように、本実施形態においては、一方の露光条件決定装置が妥当でない露光条件候補を出力してしまう場合でも、もう一方の露光条件決定装置が別な妥当な値をもう１つの露光条件候補として提供するので、露光条件の破綻する可能性が著しく少なくできる効果が得られた。

また、図６にしめした輝度のダイナミックレンジが、一回の撮影でカバー可能なケースもあり得る。そのような場合は、多重露光を行わず、一回の露光で該当するフレームの画像データを再構成しても良い。本発明においては、装置が累積頻度を保持しているため、被写体輝度のダイナミックレンジが常に保持されているため、このような動作も可能となる。ここで、カバー可能、の定義であるが、たとえばただ一つの画素のデータがノイズに埋もれず、かつ、装置の飽和を越えないこととしてもよいし、たとえば数個、もしくは画面の数パーセントの画素データがノイズに埋もれずかつ装置の飽和を越えないこと、としてもよい。

（第２の実施形態）
本発明の第２の実施形態を説明する。第２の実施形態の装置構成は第１の実施形態にならう。ここでは、特に信号処理装置１０２において、色や位置などの付加情報を用いて累積頻度を生成することを行い、適した露光条件を得られることを効果としている。まずは理解のために、累積頻度ではなくヒストグラムを用いて説明する。あくまでも説明のためにヒストグラムを用いるだけであって、実際は装置内においてヒストグラムを扱う必要は全くない。例えば、付加情報は、輝度情報、色情報、空間情報又は時間的変化情報である。

図５のようなヒストグラムが得られる、図２のような被写体において、肌色が人物であるという期待の下、たとえば「肌色である」と認識された場合に、ヒストグラムのビン（輝度等の頻度の計数値）を１増加させるのではなく、たとえば１０００増加させる、ということをここでは行う。そのような、重み付けヒストグラムを生成することで、図７のような、低輝度側にも、今まで無かったような人物のピーク７０１を得ることが出来る。認識技術はいかなる物でも本実施形態の効果が得られることは言うまでもない。

そのようなピークが得られるようなヒストグラムは、累積頻度で表すと図８のような形状で表すことが出来る。低照度（輝度）側の大きなピークが、低輝度側の累積頻度値の増加を呼び、結果として低輝度側で閾判定レベル４０１を横切り、第２の候補によるフェイルセーフ的な露光設定に頼らなくとも低輝度側に適した露光を得ることが出来た。

原理を説明すると以下の通りである。重み付けをおこない、注視したい画素のヒストグラム上での面積を増加させることはすなわち累積頻度のカーブにおいてより大きな傾きを与えることと同義である。大きな傾きを有すると言うことは、累積頻度の軸方向への変化率が大きく、すなわち注視したい画素の値付近で累積頻度が閾判定レベル４０１をまたぐ可能性が大きくなることと等しい。そこで累積頻度が閾判定レベル４０１をまたぐと言うことはその注視したい画素に最適な露光条件を与えることと等しいので、結果として注視したい画素の露光条件は適切となる。

重み付けには、今回、肌色である場合に得点を高くする例を説明したが、これには限定されない。たとえば、中心付近にある画素に高い点を与える、動いている物体付近の撮影領域の画素に高い点を与える、緑色の物に高い点を与える、彩度が高い物に高い点を与える、もしくは、空間周波数をモニターし、より高い空間周波数を有する領域に高い点を与えてもよい。また、距離マップを得る機能と連動し、近接する物体に高い点を与えてもよい。また、得点は高得点を与えるだけでなく、点数を与えない、という手法でも良い。たとえば彩度の低い物は０点とし、頻度情報に反映しなかったり、空間周波数成分が著しく低い領域には点数を与えなくても良い。負の点数を与える場合は、累積頻度情報が２度以上閾レベルをまたがらないようにその与え方を調節するか、もしくは２度以上またいだときの処理を併せ持った上で行っても良い。

（第３の実施形態）
本発明の第３の実施形態を説明する。今までは累積頻度に基づく露光条件決定手段についてのみ述べてきたが、本実施形態ではヒストグラムを用いた露光条件決定手段について述べる。装置の構成は第１の実施形態と同じである。

図９は、図５と同等のヒストグラムである。多重露光が、１枚の絵において２回しか撮影を許さないような場合、頻度を上から数えて２つのピークを適切に与えるような決定基準を設けたとすると、第１のピーク９０１と第２のピーク９０２を適切にするような露光条件が得られてしまい、前景の人物に起因する第３のピーク９０３は無視されてしまう。そのような場合、もう１つの、露光量の下限を第２の露光条件決定装置１０６であたえ、条件選択装置１０７で第２の候補を優先させるような判断アルゴリズムをとることによって、低輝度側の被写体に適した露光を得ることが出来るようになった。

つまりいいかえると、本実施形態により、たとえヒストグラムの形状が複雑になり、低輝度部への露光が適切にならない露光条件の候補が与えられても、もう一方の決定機構がフェールセーフとして働き、つねに低輝度部への露光が適切になるような条件が与えられる効果が得られた。また、本実施形態では、第１の実施形態で説明した効果である、動画を実現する際の低コスト化や低消費電力という効果も併せて得ることが出来た。

ここで、信号処理装置１０２は、ヒストグラムを作成する際に、そのままの頻度を用いるのではなく、何らかの線形変換、非線形変換を行った後にそれを新しい頻度として定めてもよい。

（第４の実施形態）
本発明の第４の実施形態を説明する。本実施形態もヒストグラムを用いた露光条件決定手段である。図１０は、第２の実施形態で説明した、肌色に重み付けしたヒストグラムである。ピーク１００１は、人物に起因するピークである。本ヒストグラムをそのまま用い、２回の多重露光を許した場合、２番目のピークが第３の実施形態における第３のピーク９０３に対応するピーク１００１となり、第２の候補を優先させなくとも低輝度側に適した露光条件を設定することが出来るようになった。

いいかえると、本実施形態により、重要な部分に重みを与えることで、ヒストグラム内でのピークを際だたせ、もう一方の候補による救済に頼ることなく露光条件を決定できる効果が得られた。ここで、重み付けの基準には、第２の実施形態で説明した例を用いればよい。

（第５の実施形態）
図１１に基づいて、第１〜第４の実施形態の固体撮像装置をスチルビデオカメラに適用した場合の一例について詳述する。図１１は、本発明の第５の実施形態によるスチルビデオカメラの構成例を示すブロック図である。固体撮像素子４は図１のイメージセンサ１０１に対応する。

図１１において、１はレンズのプロテクトとメインスイッチを兼ねるバリア、２は被写体の光学像を固体撮像素子４に結像させるレンズ、３はレンズ２を通った光量を可変するための絞り、４はレンズ２で結像された被写体を画像信号として取り込むための固体撮像素子、５は固体撮像素子４より出力される撮像信号（画像信号）をアナログ信号処理する撮像信号処理回路、６は撮像信号処理回路５より出力される画像信号のアナログ−ディジタル変換を行うＡ／Ｄ変換器、７はＡ／Ｄ変換器６より出力された画像データに各種の補正を行ったりデータを圧縮する信号処理部、８は固体撮像素子４、撮像信号処理回路５、Ａ／Ｄ変換器６、信号処理部７に、各種タイミング信号を出力するタイミング発生部、９は各種演算とスチルビデオカメラ全体を制御する全体制御・演算部、１０は画像データを一時的に記憶する為のメモリ部、１１は記録媒体１２に記録又は読み出しを行うためのインタフェース部、１２は画像データの記録又は読み出しを行う為の半導体メモリ等の着脱可能な記録媒体、１３は外部コンピュータ等と通信する為のインタフェース部である。

次に、前述の構成における撮影時のスチルビデオカメラの動作について説明する。バリア１がオープンされるとメイン電源がオンされ、次にコントロール系の電源がオンし、更にＡ／Ｄ変換器６などの撮像系回路の電源がオンされる。それから、露光量を制御する為に、全体制御・演算部９は絞り３を開放にし、固体撮像素子４から出力された信号は撮像信号処理回路５を介してＡ／Ｄ変換器６で変換された後、信号処理部７に入力される。そのデータを基に露出の演算を全体制御・演算部９で行う。この測光を行った結果により明るさを判断し、その結果に応じて全体制御・演算部９は絞り３を制御する。

次に、固体撮像素子４から出力された信号をもとに、高周波成分を取り出し被写体までの距離の演算を全体制御・演算部９で行う。その後、レンズを駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズを駆動し測距を行う。そして、合焦が確認された後に本露光が始まる。露光が終了すると、固体撮像素子４から出力された画像信号は撮像信号処理回路５を介してＡ／Ｄ変換器６でＡ／Ｄ変換され、信号処理部７を通り全体制御・演算部９によりメモリ部１０に書き込まれる。その後、メモリ部１０に蓄積されたデータは、全体制御・演算部９の制御により記録媒体制御Ｉ／Ｆ部１１を通り半導体メモリ等の着脱可能な記録媒体１２に記録される。また、外部Ｉ／Ｆ部１３を通り直接コンピュータ等に入力して画像の加工を行ってもよい。

以上のように、第１〜第５の実施形態によれば、多重露光の露光条件を複数の決定アルゴリズムが与える候補から選ぶことにより、より注視すべき被写体に適した露光条件をもって多重露光を行うことが出来るようになり、ワイドダイナミックレンジ撮影の質が向上する効果が得られた。あわせて、動画に適したアルゴリズムにより、よりコスト、消費電力などの面において有利な撮像装置を実現できるという効果が得られた。また、露光条件の決定手法に、累積頻度とヒストグラムを重み付けして生成することにより、よりユーザーが着目したい被写体に適した露光条件を与えるという効果を得ることが出来た。

上記実施形態の撮像装置によれば、露光の異なる複数の画像を連続的に撮影する装置において、Ｎ回目（Ｎは自然数）以前の撮影の露光条件からＮ＋１回目の撮影の露光条件候補を決定する装置と、Ｎ回目以前の撮影結果からＮ＋１回目の露光条件候補を決定する装置を有し、さらに前記２つの露光条件候補の内１つをＮ＋１回目の撮影の露光条件として選択する装置を有することを特徴とする。このような撮像装置によれば、前回の撮影を今回の撮影の露光決定に用いることが出来、撮影のフレームレートを向上させることが出来る。また、露光条件を２つの候補から選択することによって、より適切な露光条件で多重露光を行うことが出来る。

また、上記実施形態の撮像装置によれば、前記Ｎ回目以前の撮影の露光条件からＮ＋１回目の撮影の露光条件候補を設定する装置は、Ｎ回目以前の撮影の露光条件から規定の段数露光量を増やした条件を露光条件候補として出力することを特徴とする。このような撮像装置によれば、たとえ撮影結果に基づく露光条件が多重露光に不適な条件だったとしても、常にある程度段数の異なる露光を選択することが出来、より適切な露光条件で多重露光を行うことが出来る。

上記実施形態の撮像装置によれば、前記露光の異なる複数の画像を撮影し、１枚の画像を生成する撮像装置は、決まったフレームレートで連続的に撮影を行うことを特徴とする。このような撮像装置によれば、特に動画に適切な出力を得ることが出来る。

上記実施形態の撮像装置によれば、前記Ｎ回目以前の撮影結果からＮ＋１回目の露光条件候補を決定する装置は、Ｎ回目以前の撮影結果の画素出力（輝度）の累積頻度からＮ＋１回目の露光条件候補を決定することを特徴とする。このような撮像装置によれば、ヒストグラムを利用せず、ピークを参照しないので、一義的に露光を決定することが出来、露光条件設定における破綻の可能性が減少する。

上記実施形態の撮像装置によれば、前記Ｎ回目以前の撮影結果からＮ＋１回目の撮影の露光条件候補を決定する装置は、画素出力の有する付加情報をもとに頻度更新の際の重みを逐一変更した累積頻度を用いることを特徴とする。このような撮像装置によれば、とくに注目したい特徴を有する画素の累積頻度への貢献を大きくすることが出来、より特に注目したい特徴を有する画素の露光を適切にすることが出来る。

上記実施形態の撮像装置によれば、前記付加情報は、輝度情報、色情報、画面内での３次元位置情報、時間的変化情報のいずれかであることを特徴とする。このような撮像装置によれば、ユーザーが着目したい「輝度」「色」「位置」「時間的変化の度合い」を有する画素の累積頻度への貢献を大きくすることが出来、それらの画素の露光を適切にすることが出来る。

上記実施形態の撮像装置によれば、前記Ｎ回目以前の撮影結果からＮ＋１回目の撮影の露光条件候補を決定する装置は、Ｎ回目以前の撮影結果の画素出力のヒストグラムからＮ＋１回目の露光条件候補を決定することを特徴とする。このような撮像装置によれば、ヒストグラムを参照して輝度情報を決定する際に、前回の撮影結果を基に露光を決定することから、動画のフレームレートを向上させることが出来る。

上記実施形態の撮像装置によれば、前記Ｎ回目以前の撮影結果からＮ＋１回目の撮影の露光条件候補を決定する装置は、画素出力の有する付加情報をもとに頻度更新の際の重みを逐一変更したヒストグラムを用いることを特徴とする。このような撮像装置によれば、とくに注目したい特徴を有する画素のヒストグラムへの貢献を大きくすることが出来、より特に注目したい特徴を有する画素の露光を適切にすることが出来る。

上記実施形態の撮像装置によれば、前記付加情報は、輝度情報、色情報、画面内での3次元位置情報、時間的変化情報のいずれかであることを特徴とする。このような撮像装置によれば、ユーザーが着目したい「輝度」「色」「位置」「時間的変化の度合い」を有する画素のヒストグラムへの貢献を大きくすることが出来、それらの画素の露光を適切にすることが出来る。

上記実施形態の撮像装置によれば、前記Ｎ＋１回目の撮影の露光条件を選択する装置は、前記２つの露光条件候補の内、より露光量が多い条件を選択することを特徴とする。このような撮像装置によれば、暗い被写体部の黒つぶれ、及びＳ／Ｎの低下を防ぎ、特に暗部の結果を優先した撮影結果を得ることが出来る。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態の固体撮像装置の構成例を説明した図である。 本発明の第１の実施形態の原理を説明するための撮影被写体の一例を示す図である。 本発明の第１の実施形態の原理を説明するための被写体のヒストグラム情報の一例を示す図である。 本発明の第１の実施形態の原理を説明するための被写体の累積頻度情報の一例を示す図である。 本発明の第１の実施形態の原理を説明するための被写体のヒストグラム情報の一例を示す図である。 本発明の第１の実施形態の原理を説明するための被写体の累積頻度情報の一例を示す図である。 本発明の第２の実施形態の原理を説明するための、重み付けを行った後の被写体のヒストグラム情報の一例を示す図である。 本発明の第２の実施形態の原理を説明するための、重み付けを行った後の被写体の累積頻度情報の一例を示す図である。 本発明の第３の実施形態の原理を説明するための、被写体のヒストグラム情報の一例を示す図である。 本発明の第４の実施形態の原理を説明するための、被写体のヒストグラム情報の一例を示す図である。 本発明の第５の実施形態のスチルビデオカメラの構成例を示すブロック図である。

符号の説明

１０１ イメージセンサ
１０２ 信号処理装置
１０３ 撮影結果保存用メモリ
１０４ 第１の露光条件決定装置
１０５ 露光条件保存用メモリ
１０６ 第２の露光条件決定装置
１０７ 露光条件選択装置
１０８ 露出調節装置

Claims (12)

1. 露光条件の異なる複数の画像を撮影して１枚の画像を生成する撮像装置であって、
   Ｎ回目（Ｎは自然数）以前の撮影の画像信号を基にＮ＋１回目の撮影の第１の露光条件候補を決定する第１の露光条件決定手段と、
   Ｎ回目以前の撮影の露光条件を基にＮ＋１回目の撮影の第２の露光条件候補を決定する第２の露光条件決定手段と、
   前記第１又は第２の露光条件候補をＮ＋１回目の撮影の露光条件として選択する露光条件選択手段と
   を有することを特徴とする撮像装置。
2. 前記第２の露光条件決定手段は、Ｎ回目以前の撮影の露光条件に対して所定の段数露光量を増やした条件を前記第２の露光条件候補として決定することを特徴とする請求項１記載の撮像装置。
3. 所定のフレームレートで連続的に撮影を行うことを特徴とする請求項１又は２記載の撮像装置。
4. 前記第１の露光条件決定手段は、Ｎ回目以前の撮影の画像信号の画素出力の累積頻度を基にＮ＋１回目の第１の露光条件候補を決定することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記第１の露光条件決定手段は、画素出力の有する付加情報を基に重み付けをした累積頻度を用いることを特徴とする請求項４記載の撮像装置。
6. 前記付加情報は、輝度情報、色情報、空間情報又は時間的変化情報であることを特徴とする請求項５記載の撮像装置。
7. 前記第１の露光条件決定手段は、Ｎ回目以前の撮影の画像信号の画素出力のヒストグラムを基にＮ＋１回目の第１の露光条件候補を決定することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
8. 前記第１の露光条件決定手段は、画素出力の有する付加情報を基に重み付けをしたヒストグラムを用いることを特徴とする請求項７記載の撮像装置。
9. 前記付加情報は、輝度情報、色情報、空間情報又は時間的変化情報であることを特徴とする請求項８記載の撮像装置。
10. 前記露光条件選択手段は、前記第１及び第２の露光条件候補の内のより露光量が多い方を選択することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 請求項１〜１０のいずれか１項に記載の撮像装置と、
    光学像を結像させるためのレンズと、
    前記レンズを通る光量を可変するための絞りと
    を有することを特徴とするカメラ。
12. 露光条件の異なる複数の画像を撮影して１枚の画像を生成する撮像方法であって、
    Ｎ回目（Ｎは自然数）以前の撮影の画像信号を基にＮ＋１回目の撮影の第１の露光条件候補を決定する第１の露光条件決定ステップと、
    Ｎ回目以前の撮影の露光条件を基にＮ＋１回目の撮影の第２の露光条件候補を決定する第２の露光条件決定ステップと、
    前記第１又は第２の露光条件候補をＮ＋１回目の撮影の露光条件として選択する露光条件選択ステップと
    を有することを特徴とする撮像方法。

Images