以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
<第1の実施形態>
以下、図1~図6を参照して、本発明の第1の実施形態について説明する。なお、本実施形態の撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどに応用可能である。
図1(a)は、本発明の実施形態に係る撮像装置の外観の一例を示す図である。図1(a)に示すように、本実施形態の撮像装置1は、2つの光学ユニットである第1撮像系11と、第2撮像系12を有する。
図2は、撮像装置1の構成を示すブロック図である。撮像装置1は、第1撮像系11、第1撮像信号処理部115、第1圧縮伸張部116、第2撮像系12、第2撮像信号処理部124、第2圧縮伸張部125を備える。さらに、制御部13、操作部14、画像表示部15、画像記録部16を備える。
第1撮像系11は、第1光学鏡筒101(第1の撮像光学系)、シャッター機構部102、第1撮像素子103から構成されている。第1光学鏡筒101は、被写体からの光を第1撮像素子103に集光するためのレンズと、集光された光に対して焦点調節や光学結像倍率の変更、光量を調整するための光学機構を備えた第1光学機構部111を含む。
第1光学機構部111は、制御部13からの制御信号に基づいて駆動される。シャッター機構部102は、第1光学鏡筒101と第1撮像素子103との間に構成され、第1光学鏡筒101を通過した光で第1撮像素子103を露光する露光時間を、制御部13からの制御信号に従って制御する。
第1撮像素子103は、APDを用いた画素からなるSPAD型撮像素子であり、制御部13からの制御信号に応じて撮像動作が実施され、入射したフォトンの数のカウント値である画像信号を出力する。なお、第1撮像素子103の構成については後述する。
第1撮像信号処理部115は、第1撮像素子103からの画像信号に対して、制御部13の制御の下で色補正処理、AE(Auto Exposure)処理、ホワイトバランス処理、光学シェーディング補正処理等の画像処理を施した後、制御部13に画像信号と制御信号を出力する。第1撮像信号処理部115から出力された画像信号と制御信号は、制御部13内に構成される不図示のRAMに記録される。
第1圧縮伸張部116は、制御部13の制御の下で動作し、第1撮像信号処理部115から制御部13内のRAMに記録された画像信号に対し、JPEG方式などの所定のデータフォーマットで圧縮符号化処理を行う。また、制御部13から供給された静止画像の符号化データを伸張復号化処理する。さらに、MPEG(Moving Picture Experts Group)方式などにより動画像の圧縮符号化/伸張復号化処理を実行可能なようにしてもよい。
第2撮像系12は、第2光学鏡筒121(第2の撮像光学系)と、第2撮像素子123から構成されている。第2光学鏡筒121は、第1光学鏡筒101と同様な構成となっており、制御部13からの制御信号を受けて第2光学機構部122にて光学制御を行っている。
第2撮像素子123は、CMOS型の撮像素子であり、後述するCMOS画素からXY読み出し方式により画像信号の読み出しを行い、制御部13からの制御信号に応じて画像信号を出力する。
第2撮像信号処理部124は、第2撮像素子123からの画像信号に対して、第1撮像信号処理部115と同様の画像処理を行い、制御部13に画像信号と制御信号を出力する。第2撮像信号処理部124から出力された画像信号と制御信号は、制御部13内に構成される不図示のRAMに記録される。
第2圧縮伸張部125は、第2撮像信号処理部124で処理された画像信号に対して第1圧縮伸張部116と同様の処理を行う。
なお、本実施形態では、第1撮像信号処理部115と第2撮像信号処理部124、及び第1圧縮伸張部116と第2圧縮伸張部125とを個別に構成するものとして説明する。しかしながら、本発明はこれに限られるものではなく、単一の撮像信号処理部及び圧縮伸張部を用いて、第1撮像系11と第2撮像系12から得られる画像信号を処理する構成としても構わない。
制御部13は、例えば、CPU、ROM、RAMなどから構成されるマイクロコントローラであり、ROMなどに記憶されたプログラムを実行することにより、この撮像装置1の各部を統括的に制御する。
操作部14は、例えばシャッターレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザーによる入力操作に応じた制御信号を制御部13に出力する。画像表示部15は、LCDなどの表示デバイスや、これに対するインターフェース回路などからなり、制御部13から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
画像記録部16は、例えば、可搬型の半導体メモリや、光ディスク、HDD、磁気テープなどの記憶媒体に、第1圧縮伸張部116や第2圧縮伸張部125により符号化された画像データファイルを制御部13から受け取って記憶する。また、制御部13からの制御信号を基に指定されたデータを記憶媒体から読み出し、制御部13に出力する。
図1(b)及び図1(c)は、本実施形態の撮像装置1に用いることが可能な撮像系を備えるカメラモジュールの外観の構成例を示す図である。図1Bは、カメラモジュール200の斜視図であり、図1Cは、カメラモジュール200の正面図である。
本実施形態におけるカメラモジュールは、2つの撮像系を連結させることで2つの撮像素子が搭載されたカメラモジュールである。なお、モジュールは、パッケージなどの他の名称で呼ばれる場合がある。
カメラモジュール200は、第1撮像系11と第2撮像系12が矩形の板状の形状からなる連結部材400により固定されることで構成される。第1撮像系11には、第1光学機構部111を含む第1光学鏡筒101(レンズユニット)、シャッター機構部102、および第1撮像素子103等が搭載されている。第2撮像系12には、第1撮像系11と同様に、第2光学機構部122を含む第2光学鏡筒121(レンズユニット)および第2撮像素子123等が搭載されて構成される。
連結部材400は、第1撮像系11のレンズユニットと、第2撮像系12のレンズユニットを並べたときの平面方向のサイズよりも大きな輪郭の矩形の板状の形状からなる。また、連結部材400には、第1撮像系11のレンズユニットが挿入される矩形の挿入孔部と、第2撮像系12のレンズユニットが挿入される矩形の挿入孔部とが、対称に貫通形成されている。連結部材400に貫通形成された2つの矩形の挿入孔部に対し、第1撮像系11のレンズユニットと、第2撮像系12のレンズユニットとがそれぞれ挿入されて固定されている。
次に、図3を参照して、第1撮像素子103として用いるSPAD型撮像素子の構成及び画素の回路構成について説明する。図3(a)に示すように、第1撮像素子103は、センサ基板201と回路基板202から成る積層構造を有する。なお、本実施形態では、積層構造を有するものとするが、同様の機能を具備するならば、積層構造に限らず単層構造であってもよい。
センサ基板201には、複数の画素203が行列方向に配置された画素アレイが形成され、画素203には、それぞれに例えばR(赤)、G(緑)、B(青)のベイヤー配列のカラーフィルタアレイが設けられている。
回路基板202には、画素制御部204、信号処理回路205、基板メモリ206が形成される。画素制御部204は、センサ基板201の画素203毎にバンプ等で電気的に接続され、画素203を駆動する制御信号を出力すると共に、画素203からのバッファ出力であるパルス波形を受信する。
画素制御部204は、対応する画素203毎に、予め設定された閾値Vthと画素203の出力とを比較することによりフォトンの有無を判定してカウントするカウンタが設けられ、閾値を超えて変化するパルス波形の数を計数する。
画素制御部204で計数されたカウント値は、信号処理回路205によって、第1撮像素子103の外部に出力される。また、基板メモリ206はDRAM等の揮発性メモリであり、画素制御部204からの信号を信号処理回路205で処理する際に一時的にデータを保持する目的等で用いられる。
次に、画素203の構成について説明する。図3(b)は、センサ基板201に形成される画素203の等価回路図である。画素203は、クエンチ抵抗301、アバランシェフォトダイオード(APD)302(受光素子)、バッファ303から構成される。
APD302には、クエンチ抵抗301を介して電位HVDDによる逆バイアス電圧が印加される。このときの電位HVDDとしては、APD302をガイガーモードで駆動するために逆バイアス電圧が降伏電圧以上となるように設定される。バッファ303の出力は画素制御部204内のカウンタ304に入力される。
ここで、図4を用いてフォトン入射時の画素203の動作について簡単に説明する。
図4(a)は、APD302の電流電圧特性を示している。本実施形態ではAPD302のカソードには、クエンチ抵抗301を介して、降伏電圧を超える逆バイアス電圧とするための電位HVDDが印加され、APD302はガイガーモードとなる。ここでAPD302にフォトンが入射すると、APD302ではアバランシェ増幅による大電流(光電流)が流れる(動作A)。
この電流が流れると同時にクエンチ抵抗301によって逆バイアス電圧が降下し、APD302に印加される逆バイアス電圧が降伏電圧未満となり、アバランシェ増幅が止まる(動作B)。アバランシェ増幅が止まると、APD302のカソードは再び電位HVDDによりチャージされ、ガイガーモードに戻る(動作C)。
動作A~Cによるバッファ入力端の電圧変化はバッファ303によってパルス整形され、カウンタ304によって計測される。これを繰り返すことでAPD302に入射したフォトンの数を計測することが可能となる。高輝度被写体や動画駆動では、アバランシェ増幅が繰り返されるような状況となるため、アバランシェ増幅による大電流がクエンチ抵抗に流れることでの電力消費が課題となる。
図4(b)は、横軸を時間としてフォトン入射時にAPD302から出力されるアバランシェ増幅による出力電圧のパルス波形と、フォトンの入射を判定する判定閾値Vthとの関係を示す模式図である。図4(b)は、APD302に降伏電圧を十分に超えさせる逆バイアス電圧を印加することのできる電位HVDDが供給された場合を示す。このとき、APD302に入射したフォトンA(時刻t1)、B(時刻t2)、C(時刻t3)それぞれに対し、カウンタの判定閾値Vthを超えて変化するパルス波形が出力される程度のアバランシェ増幅が発生し、それぞれのパルスは時間分解されている。したがって、図4(b)のケースにおいては光子イベントの回数カウントすることができる。
次に、図5を参照して、第2撮像素子123に用いるCMOS型撮像素子の構成と画素の回路構成について説明する。
図5(a)は、カラムAD変換部搭載のCMOS撮像素子の構成を示すブロック図である。図5(a)に示すように、第2撮像素子123であるCMOS型撮像素子は、その受光面に光を電荷に変換して蓄積するM行N列のマトリクス状に配置された複数の画素501を有する。そして、複数の画素501の各々には、R(赤)、Gr、Gb(緑)及びB(青)のいずれかのカラーフィルターがベイヤー配列になるように設けられている。
また、各列毎に各画素501に蓄積された電荷量に相当する画像信号を伝送する列信号線502が形成され、列信号線502毎にカラム回路部503が直列に接続されている。
カラム回路部503は、いずれも不図示のアンプやCDS(Correlated Double Sampling)回路、及びアナログデジタル(AD)変換部から構成されている。そして、各AD変換部からは、アナログ信号である画像信号をデジタル信号に変換してそれぞれ出力し、列走査回路504によって水平信号線505を通じて順次出力され、第2撮像信号処理部124へと入力されていく。
さらに、行走査回路506は、制御部13からの制御信号に従って動作するタイミング制御回路507からのタイミング制御信号を受けて、転送信号線508、リセット信号線509、行選択信号線510を走査する。そして、各画素501から出力される画素信号を行単位で各列の列信号線502に読み出す。
次に、画素501の構成について説明する。図5(b)は、画素501の等価回路図である。画素501には、フォトダイオードPD51、転送トランジスタM52、増幅トランジスタM53、選択トランジスタM54、及びリセットトランジスタM55が設けられている。なお、ここでは、各トランジスタはnチャネルMOSFETによって構成されるスイッチ素子である。
また、転送トランジスタM52、リセットトランジスタM55及び選択トランジスタM54の各ゲートには、それぞれ転送信号線508、リセット信号線509、行選択信号線510が接続されている。これらの信号線は水平方向に延在して、同一行に含まれる画素501を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッターや、全行同時動作型のグローバルシャッターの動作を制御することが可能になっている。さらに、選択トランジスタM54のソースには列信号線502が接続され、列信号線502の一方の端部は、定電流源56を介して接地されている。
フォトダイオードPD51は、光電変換を行い、生成された電荷を蓄積するものであり、そのP側が接地され、N側が転送トランジスタM52のソースに接続されている。転送トランジスタM52がONすると、フォトダイオードPD51に蓄積された電荷がフローティングディフュージョン部(FD)57に転送されるが、FD57には寄生容量C58があるので、この部分に電荷が蓄積される。
増幅トランジスタM53のドレインは電源電圧Vddに接続され、ゲートはFD57に接続されている。この増幅トランジスタM53は、FD57の電圧を電気信号に変換する。
選択トランジスタM54は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタM53のソースに、ソースは列信号線502に接続されている。この選択トランジスタM54がONしたときには、増幅トランジスタM53と定電流源56とがソースフォロアを構成するので、FD57の電圧に対応する電圧が列信号線502に出力される。
リセットトランジスタM55のドレインは電源電圧Vddに接続され、ソースはFD57に接続されている。このリセットトランジスタM55は、FD57と、転送トランジスタM52を介してフォトダイオードPD51を電源電圧Vddにリセットする。
次に図6を用いて、本実施形態の撮像装置1における静止画撮影及び動画撮影の動作フローについて説明する。
図3に示すSPAD型の第1撮像素子103の画素203は、図5に示すCMOS型の第2撮像素子123の画素501と比較して、リセットトランジスタM55や増幅トランジスタM53を備えていない構成となっている。
そのため、第1撮像素子103では、各トランジスタに起因するkTCノイズやRTSノイズなどが発生せず、CMOS型の第2撮像素子123と比較してS/N比が優れているため、ランダムノイズの画質への影響が高い静止画での撮影に優れる。
その一方、多数枚を繰り返し撮影するような動画や連写では、アバランシェ増幅による大電流による消費電力が大きく、撮像装置を電池駆動する場合に撮影可能枚数が少なくなったり、動作時間が短くなったりすることが想定される。
そこで、第1の実施形態では、多画素による静止画撮影が選択された場合にはSPAD型の第1撮像素子103を用いて撮影を行い、単位時間当たりの消費電力が大きい動画撮影が選択された場合にはCMOS型の第2撮像素子123を用いて撮影を行う。
撮像装置1に電源が投入されて撮像が開始されると、まずS101において、操作部14へのユーザー操作などにより静止画モードが選択されているか、動画モードが選択されているかを制御部13により判断する。静止画モードが選択されている場合はS102へと遷移し、動画モードが選択されている場合はS103へと遷移する。
S102では、静止画モードが選択されているため、静止画撮影として第1撮像系11を動作させ、SPAD型の第1撮像素子103を用いた静止画撮影動作を開始する。
一方、S103では、動画モードが選択されているため、動画撮影として第2撮像系12を動作させ、CMOS型の第2撮像素子123を用いた動画撮影動作を開始する。
このように第1撮像系11と第2撮像系12を、静止画モードと動画モードに応じて使い分けることで、撮像装置1としての総電力を抑えて、静止画と動画の撮影を両立させるようにしている。
次いでS104では、操作部14へのユーザー操作などにより、選択されたモードでの記録動作を行うかを制御部13で判断する。
記録する場合はS105へと遷移し、S101で判定されたモードで撮影して得られた画像信号を画像記録部16により記録し、S106に遷移する。一方、記録を行わない場合はそのままS106へと遷移する。
S106では、操作部14へのユーザー操作などにより、撮影終了とするかを制御部13で判定し、撮影を継続する場合はS101へと遷移を戻し、撮影を終了する場合は処理を終了する。
上記の通り第1の実施形態によれば、SPAD型撮像素子とCMOS型撮像素子とを備えた撮像装置において、静止画撮影を行う場合と動画撮影を行う場合とで切り替えて撮影することで、画質と消費電力とを両立させることができる。
なお、本実施形態では、静止画モードと動画モードの選択によって第1撮像素子103(SPAD型撮像素子)と第2撮像素子123(CMOS型撮像素子)のいずれを使うかを制御しているが、本発明はこれに限られるものでは無い。例えば、撮像装置に許容される消費電力量や温度上昇の上限に応じて、動画解像度の違いや、単写と連写など、撮影モードに応じて切り替えるようにしてもよい。すなわち、高解像度の動画撮影を行う撮影モードが設定された場合には第1撮像素子103(SPAD型撮像素子)を用いるように制御し、低解像度の動画撮影を行う撮影モードが設定された場合には第2撮像素子123(CMOS型撮像素子)を用いるように制御する。あるいは、単写撮影モードが設定された場合には第1撮像素子103(SPAD型撮像素子)を用いるように制御し、連写撮影モードが設定された場合には第2撮像素子123(CMOS型撮像素子)を用いるように制御する。
また、静止画撮影時のシャッタースピードや動画撮影時のフレームレートに応じて切り替えるようにしてもよい。すなわち、所定のシャッタースピードよりも高速のシャッタースピードで静止画撮影を行う場合には第1撮像素子103(SPAD型撮像素子)を用いるように制御し、所定のシャッタースピード以下の低速のシャッタースピードで静止画撮影を行う場合には第2撮像素子123(CMOS型撮像素子)を用いるように制御する。さらに、動画撮影時のフレームレートが所定のフレームレートよりも大きい場合には第1撮像素子103(SPAD型撮像素子)を用いるように制御し、動画撮影時のフレームレートが所定のフレームレート以下である場合には、第2撮像素子123(CMOS型撮像素子)を用いるように制御する。
<第1の実施形態の変形例>
図7は、第1の実施形態の変形例における撮像装置の外観の一例を示す図である。図1に示す撮像装置1は、2つの光学系を用いて2つの撮像素子にそれぞれ被写体からの光を入射する構成を有する。これに対し、図7に示す撮像装置7は、1つの光学系により被写体からの光を入射し、撮像装置7内で光をミラーのような導光手段によって反射、もしくは分割することによって、2つの撮像素子に光を導く。
図8は、図7に示した撮像装置7の構成を示すブロック図である。図8において図1と同様の構成については同じ参照番号を付し、説明を省略する。
図8に示すように、本変形例における撮像装置7は、光学鏡筒81、シャッター機構部102、第1撮像素子103、第2撮像素子123、制御部13、操作部14、画像表示部15、画像記録部16、ミラーユニット82を備える。なお、本変形例では、第1撮像素子103及び第2撮像素子123からの画像信号を受けての各種信号処理や、撮像データの圧縮伸張を行う機能については、制御部13に内在するものとして説明する。
光学鏡筒81は、被写体からの光を撮像装置7内に構成された第1撮像素子103、もしくは第2撮像素子123に集光するためのレンズと、光学機構部811とを含む。光学機構部811は、制御部13からの制御信号に基づいて駆動され、焦点調節や光学結像倍率の変更、入射光量の調整などを行う。
ミラーユニット82は、ミラー部821とミラー駆動部822とから構成され、光学鏡筒81から入射した光を、第1撮像素子103もしくは第2撮像素子123へと導く役割を担う。
ミラー駆動部822は、制御部13からの制御信号に従って、アクチュエータなどによりミラー部821を駆動する。すなわち、図8に示すレンズの光軸上の第1の位置(ミラーダウン)、ミラー部821を跳ね上げて光軸から退避した第2の位置(ミラーアップ)のいずれかに位置するように駆動する。
ミラー部821が第1の位置にある場合に、光学鏡筒81からの光を反射して第2撮像素子123に光を入射させる。一方、ミラー部821が第2の位置にある場合には、光学鏡筒81からの光はそのまま第1撮像素子103に入射する。
このとき、ミラー部821の構成位置は、第1撮像素子103と第2撮像素子123の撮像面に対して光学的に等価な位置にある。言い換えると、第1の撮像面に配置された第1撮像素子103と第2の撮像面に配置された第2撮像素子123はそれぞれ、光学鏡筒81を介して、被写体に対して光学的に共役な結像面にあると言える。
図9は、図8に示す構成を有する撮像装置7の動作を説明するフローチャートである。なお、図6と同様の処理には同じステップ番号を付し、適宜説明を省略する。
撮像が開始され、S101において、静止画モードが選択されている場合はS901へと遷移し、動画モードが選択されている場合はS903へと遷移する。
静止画モードが選択されている場合、S901においてミラー部821を第2の位置(ミラーアップ位置)に駆動して、光学鏡筒81からの光を第1撮像素子103へと導く。
S901で、ミラー部821を第2の位置に駆動した後、S902へと遷移して静止画撮影としてSPAD型の第1撮像素子103を用いた静止画撮影動作を開始し、S104へと遷移する。
一方、動画モードが選択されている場合、S903においてミラー部821を第1の位置(ミラーダウン位置)に駆動して、光学鏡筒81からの光を第2撮像素子123へと導く。
S903で、ミラー部821を第1の位置に駆動した後、S904へと遷移して動画撮影としてCMOS型の第2撮像素子123を用いた動画撮影動作を開始し、S104へと遷移する。
S104以降の処理は、図6における上述した処理と同様であるため、説明を省略する。
上記の通り第1の実施形態の変形例によれば、第1の実施形態と同様の効果に加えて、単一の光学系により構成することができる。
なお、ミラー部821は全反射ミラーである必要はなく、例えばハーフミラーを採用して光学鏡筒81からの光束を分割して、第1撮像素子103と第2撮像素子123に光束を同時に入射する構成しても良い。その場合、ミラー動作を不要とする構成で、第1の実施形態で図6を参照して説明した動作とすることができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。なお、本発明の第2の実施形態では、図1~図5を参照して第1の実施形態で説明した撮像装置1、または、図7及び図8を参照して第1の実施形態の変形例で説明した撮像装置7を用いることができるため、ここでは説明を省略する。
撮像装置7を用いる場合には、全反射ミラーでは無く、ハーフミラーを用いることにより、第2の実施形態に適用可能となる。以下、図10~図12を参照して、第2の実施形態における処理について説明する。
図10及び図11は、SPAD型撮像素子においてカウントエラーが起きる場合について説明する図である。
図10(a)は、横軸を時間としてフォトン入射時のアバランシェ増幅による出力電圧のパルス波形と判定閾値Vthとの関係を示す模式図である。図4(b)で説明した通常動作時の動きと異なり、フォトンD(時刻t4)により判定閾値Vthを超えて変動する電圧が入力された後、図4(a)での説明における動作Bでのアバランシェ増幅動作が停止する前にフォトンE(時刻t5)が入射する。このとき、時刻t4で起きたアバランシェ増幅による波形変動が判定閾値Vthを上回らない内に時刻t5でフォトンEが入射するため、フォトンEに対するカウント動作ができない状態となる。
また、フォトンF(時刻t6)の入射時も時刻t4~t5のときと同様な状態となるため、フォトンFも同様にカウントされない。このように、被写体の輝度が高い場合、判定閾値Vthを上回らない内に連続してフォトンが入射するため、実際に入射するフォトンの数よりもカウント値が小さくなり、カウントエラー(カウント飽和)となってしまう。
なお、時刻t6からt7の間は、フォトンが入射されず、電圧が一旦判定閾値Vthを上回るため、その後に入射されるフォトンG(時刻t7)に対する電圧のパルス波形はカウントされる。
図10(b)は、SPAD型撮像素子における照度とカウント値との関係を示す図である。照度が大きくなるとフォトン数が増えていくため、SPAD型撮像素子でカウントされるカウント値も比例して増えていくが、照度M以上になると図10(a)における時刻t4~時刻t6の状態が起こり、カウントエラー(カウント飽和)が発生する。さらに照度が増していくと、同時に入射されるフォトン数が更に増え、カウントエラー状態が続くために、理想的なカウント値(破線)に対して、実際のカウント値(実線)は照度Nを境に反比例の関係となる。
照度M以降では、図11(a)のように高輝度な被写体を含むシーンを撮影すると、高輝度な被写体の照度により、図11(b)でグラデーション部分に示すような黒沈みが起きた画像となってしまう。
そこで、本第2の実施形態では、被写体の輝度に応じて、SPAD型の第1撮像素子103で得られた画像において高輝度被写体に対するカウントエラーが起きている画像部分を、CMOS型の第2撮像素子123で得られた画像で補間する。
図12のフローチャートを参照して、第2の実施形態における撮像動作について説明する。
撮像装置に電源が投入されて撮像が開始されると、まずS201において、操作部14へのユーザー操作による撮影記録の指示により、撮影記録を行うかどうかを制御部13により判定する。
S201で撮影記録を行うと判定した場合は、S203において、第1撮像素子103を用いて撮影を行うと共に、並行して、第2撮像素子123を用いて撮影を行い、それぞれ画像を取得する。一方、撮影記録を行わない場合はS209へと遷移する。
なお、本実施形態では、第1撮像素子103及び第2撮像素子123を用いて撮像取得を並行して行うものとして説明するが、時系列で別々に取得しても構わない。
次にS204では、S203で第2撮像素子123から取得した画像における画像信号値のエリア分布と、第2光学機構部122の絞り設定値や第2撮像素子123の露出時間や感度設定値から、予め決められた領域毎に被写体輝度値を第2撮像信号処理部124にて算出する。
そして、この被写体輝度値を補正判定値として制御部13内に保持する。なお、上記領域は、例えば、公知の手法を用いて被写体を検出し、各被写体を各領域としても良いし、画像を予め決められた大きさの複数ブロックに分割するなど、適宜設定すればよい。
次いでS205では、S204で得られた領域毎の補正判定値の少なくともいずれかが第1撮像素子103におけるカウントエラーが起きる補正判定閾値以上となっているかを制御部13にて判定する。そして、補正判定値の少なくともいずれかが補正判定閾値以上である場合には、補正が必要と判定し、補正判定値がすべて補正判定閾値未満である場合には、補正は不要と判定する。なお、補正判定閾値は、例えば、図10(b)を参照して説明した第1撮像素子103の特性に基づいて、事前に設計値として制御部13内に保持している。
S205で補正が不要と判断した場合はS206へと遷移し、必要と判断した場合はS207へと遷移する。
S206では、補正が不要であるため、S202で第1撮像素子103により得られた画像をそのまま画像記録部16により記録動作を行い、S209へと遷移する。
一方、S207では、S205にて第1撮像素子103で得られる画像にはカウントエラーしている画素信号が含まれていると判定されている。そのため、第1撮像素子103で得られた画像において、S204で得られたエリア毎の補正判定値が補正判定閾値を超えたアドレスの画像信号を、当該アドレスに対応する第2撮像素子123の領域の画像信号と交換する形で制御部13にて補正を行う。補正後、S209へと遷移する。
なお、第1撮像素子103と第2撮像素子123から得られる画像間の信号レベルの違いは、例えば、各輝度に対して得られる第2撮像素子123と第1撮像素子103の信号レベルの違いを予めテーブルや関数などとして取得しておき、変換すればよい。また、第1撮像素子103で得られた画像にカウントエラーを起こしている領域が狭い場合は、カウントエラーを起こしていない周囲の画素信号から補間を行うか、カウントエラーを起こしている画素領域の信号値を固定値に置き換えて補正するようにしてもよい。他にも、補正方法は様々な手法が考えられ、本願発明は補正方法により制限されるものでは無い。
S209では撮影を終了するかどうかを制御部13で判断し、終了する場合は待機状態へと遷移し、終了しない場合はS201へと処理を戻して動作を継続する。
なお、上記例では、領域毎の被写体輝度値を算出して補正判定値とし、補正判定閾値と比較しているが、本発明はこれに限られるものでは無い。例えば、第1撮像素子103と第2撮像素子123それぞれで得られた画像の同アドレス領域の信号値差分や信号値比率を補正判定値とするようにしてもよい。また、領域毎に取得した被写体輝度値の最大値を補正判定値として補正判定閾値と比較することにより判定してもよい。
また、第2撮像素子123から得られた画像における最大輝度値を補正判定値として補正判定閾値と比較し、補正が必要であると判定された場合に、領域毎の被写体輝度値を判定するようにしてもよい。すなわち、第2撮像素子123から得られた画像の輝度値を用いて、第1撮像素子103から得られた画像におけるカウントエラーの有無を判定して補正すればよく、他にも様々な判定方法や補正方法、手順が考えられる。
上記の通り第2の実施形態によれば、SPAD型撮像素子を用いた際に起こる高輝度被写体に起因するカウントエラーを検出して画像を補正することができるため、画質の良い画像を提供することができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。なお、本発明の第3の実施形態では、図1~図5を参照して第1の実施形態で説明した撮像装置1、または、図7及び図8を参照して第1の実施形態の変形例で説明した撮像装置7を用いることができるため、ここでは説明を省略する。
撮像装置7を用いる場合には、全反射ミラーでは無く、ハーフミラーを用いることにより、第3の実施形態に適用可能となる。以下、図13及び図14を参照して、第3の実施形態における処理について説明する。
本第3の実施形態では、SPAD型の第1撮像素子103と、CMOS型の第2撮像素子123とから得られる画像信号を用いて、ダイナミックレンジ拡張処理(以降、「HDR処理」と呼ぶ。)を行う動作について説明する。なお、本実施形態では、制御部13内にてHDR処理を行うものとして説明する。
図13は、HDR処理による入射光量と信号量の関係を示す図である。一般的にHDR処理は、低露出、高露出それぞれの撮像条件で取得した画像を用いて、信号のダイナミックレンジを拡大する処理のことである。
背景技術や第2の実施形態の説明でも述べたように、SPAD型撮像素子はRTSノイズが発生しないなどS/N比が向上するが、高輝度側でカウントエラーを起こしやすい。
そこで、本第3の実施形態におけるHDR処理では、入射光量が大きい信号レンジではCMOS型撮像素子の画像信号を用い、入射光量が少ない低輝度側では高S/N比の信号が得られるSPAD型撮像素子の画像信号を用いて、ダイナミックレンジを拡大する。
SPAD型の第1撮像素子103では、入射光量がP2となった時点でカウントエラーが発生し始める信号量Q3に達し、CMOS型の第2撮像素子123では、入射光量がP3となった時点でCMOS撮像素子における飽和信号量Q2に到達する。一方、受光により得られる信号量がQ1以下である場合には、ノイズレベルに相当するため、その画素信号は利用することができない。
従って、第1撮像素子103のダイナミックレンジは、入射光量がP0からP2までの範囲となり、第2撮像素子123のダイナミックレンジは、入射光量がP1からP3までの範囲となる。
ここで、第1撮像素子103と第2撮像素子123の信号量の比が3:1であるものとする。この場合、制御部13は、撮像画面内のある画素に対する入射光量Aの範囲(光量P0~P1、低レベル)の信号量について、以下の式(1)により、HDR処理後の画素信号HDL_Aを求める。
画素信号HDL_A = 第1撮像素子画素信号×1
+第2撮像素子画素信号×0 …(1)
また、制御部13は、撮像画面内のある画素に対する入射光量Bの範囲(光量P1~P2、中レベル)の信号量については、以下の式(2)により、HDR処理後の画素信号HDL_Bを求める。
画素信号HDL_B = 第1撮像素子画素信号×(1-α)
+第2撮像素子信号×α×3 …(2)
さらに、制御部13は、撮像画面内のある画素に対する入射光量Cの範囲(光量P2~P3、高レベル)の信号量については、以下の式(3)により、HDR処理後の画素信号HDL_Cを求める。
画素信号HDL_C = 第1撮像素子画素信号×0
+第2撮像素子画素信号×3 …(3)
以上のように、制御部13は、撮像画面内における各画素の信号量を、例えば、低レベル、中レベル、高レベルの3つに分類する。そして、信号量が低レベルの入射光量に対応する画素信号については、第1撮像素子103の画素信号のみを用いた式(1)により、HDR処理後の画素信号を求める。
また、信号量が中レベルの入射光量に対応する画素信号については、制御部13は、第1撮像素子103の画素信号と第2撮像素子123の画素信号を(1-α):αの比率で合成した式(2)により、HDR処理後の画素信号を求める。ここで、α(αは0以上1以下)は合成比率を表す。さらに、信号量が高レベルの入射光量に対応する画素信号については、制御部13は、第2撮像素子123の画素信号のみを用いた式(3)により、HDR処理後の画素信号を求める。
これにより、図13に示されるように、信号量がQ1からQ4まで拡張された高ダイナミックレンジな画像を生成することができる。なお、信号量レベルの低レベル、中レベル、及び高レベルの区分については、第1撮像素子103及び第2撮像素子123の特性に応じて予め決定される。
次に、本第3の実施形態の撮像装置におけるHDR処理について、図14のフローチャートを参照しながら説明する。
ユーザー操作によりHDRモードが選択された上で撮影を開始すると、S301で、第1撮像素子103及び第2撮像素子123に対して所定の撮影条件を設定する。
次にS303において、第1撮像素子103を用いて撮影を行うと共に、並行して、第2撮像素子123を用いて撮影を行い、それぞれ画像を取得する。なお、本実施形態では、第1撮像素子103及び第2撮像素子123を用いて撮像取得を並行して行うものとして説明するが、時系列で別々に取得しても構わない。
次いでS304では、S303で得られた第1撮像素子103及び第2撮像素子123の画像を用いて、上述したHDR処理を制御部13にて行う。
次いでS305では、HDR処理を終了するか否かを判定し、終了する場合は待機状態へと遷移する。一方、撮影を続ける場合は、S301へと遷移を戻して撮影を継続する。
なお、本実施形態では、SPAD型撮像素子とCMOS型撮像素子とを別々に構成する2判撮像素子構成の撮像装置にて説明しているが、本発明はこれに限るものでは無い。例えば、1判撮像素子構成としてSPAD型撮像画素とCMOS型撮像画素とを交互に構成し、物理的に隣り合うSPAD型撮像画素の行とCMOS型撮像画素の行から得られる画像信号を用いてHDR処理しても構わない。その際、SPAD型撮像画素とCMOS型撮像画素とを1行または複数行毎に交互に構成しても、1列または複数列毎に交互に構成してもよいし、また、市松模様に構成してもよい。
また、上述した例では、入射光量に応じて、式(1)~式(3)のいずれかを用いてHDR処理後の画素信号を取得するものとして説明したが、本発明はこれに限るものでは無く、信号量に応じて、式(1)~式(3)のいずれかを用いるかを決定してもよい。その場合、例えば、第1撮像素子103から得られた信号量と、第2撮像素子123から得られた信号量とに基づいて、低レベル、中レベル、高レベルを判定し、判定結果に基づいて、式(1)~式(3)のいずれかを用いる。
上記の通り第3の実施形態によれば、SPAD型撮像素子とCMOS型撮像素子を用いて上述したようにHDR処理を行うことで、被写体の輝度に適したダイナミックレンジの画像を得ることができる。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。なお、本発明の第4の実施形態では、図1~図5を参照して第1の実施形態で説明した撮像装置1、または、図7及び図8を参照して第1の実施形態の変形例で説明した撮像装置7を用いることができるため、ここでは説明を省略する。以下、図15を参照して、第4の実施形態における処理について説明する。
本第4の実施形態では、撮像条件における感度設定に応じてSPAD型撮像素子もしくはCMOS型撮像素子を用いた撮影に切り替える。図3で説明したSPAD型の第1撮像素子103の画素203の構成は、図5で説明したCMOS型の第2撮像素子123の画素501の構成と比較して、リセットトランジスタM55や増幅トランジスタM53を不要とする構成となっている。
従って、これらの構成に起因するkTCノイズやRTSノイズなどが発生しないため、CMOS型に比較してS/N比が優れる。しかし、第2の実施形態で図10を参照して説明したように、フォトンが単位時間に多数入射するような条件では、カウントエラーを起こす。
そこで、第4の実施形態の撮像装置では、フォトンが画素に多量に入射するような露出条件撮影ではCMOS型撮像素子で撮像を行い、低照度時などでの露出条件撮影を行う場合にはノイズが多量に発生しやすいためSPAD型撮像素子を用いた撮影を行う。
まず、撮像装置に電源が投入されて撮像が開始されると、S401では、露出値を決定するために、第2撮像素子123による撮像動作を行う。S401では撮影開始直後で被写体の明るさに関する状態が分からないため、高輝度による不具合を起こさないCMOS型の第2撮像素子123にて取得する。
次いでS402では、S401にて得られた画像から、被写体輝度値Exを求める。本実施形態では、第2撮像素子123で取得した画像信号と、第2撮像素子123に設定されている露出時間や感度設定値と、第2光学機構部122での光学絞りの設定値に基づいて、被写体輝度値Exを算出する。
なお、S402では、第2撮像素子123からの画像信号に基づいて処理する場合は第2撮像信号処理部124にて処理するが、後述するS408から遷移し、第1撮像素子103からの画像信号に基づいて処理する場合は、第1撮像信号処理部115にて算出する。
次いでS403において、S402で算出された被写体輝度値Exが、所定の閾値Eth以上か否かを制御部13にて判定する。なお、この閾値Ethとしては、SPAD型の第1撮像素子103がカウントエラーを起こす輝度や、CMOS型の第2撮像素子123のS/N比が許容値を超える輝度を設定している。
S403において被写体輝度値Exが閾値Eth未満である場合は、S404へと遷移し、SPAD型の第1撮像素子103を用いて撮影を行う。一方、S403で被写体輝度値Exが閾値Eth以上の場合は、制御部13はS405へと遷移し、CMOS型の第2撮像素子123を用いて撮影を行う。
次いでS406では、操作部14によるユーザー操作などにより、記録動作を行うかを制御部13で判断する。記録する場合はS407へと遷移し、S404またはS405で撮影して得られた画像信号を画像記録部16により記録し、S408へと遷移する。一方、記録を行わない場合はそのままS408へと遷移する。
S408では操作部14へのユーザー動作などにより、撮影終了とするかを制御部13で判定し、撮影を継続する場合はS402へと遷移を戻し、撮影を終了する場合は処理を終了する。
S408からS402へと遷移させた場合は、S407で記録した画像信号から被写体輝度値Exを求める。そのため、S404での第1撮像素子103での画像信号を用いる場合には、上述したように、第1撮像信号処理部115にて被写体輝度値Exを求めることになる。
なお、上述した例では、S402で被写体輝度値Exを求めてその値を元にS403にて撮像動作を切り替えているが、撮像素子に設定する感度などの撮像条件に応じて切り替えることにしてもよい。その場合の撮像条件設定は、画像信号や不図示の測光センサのような外測素子を用いて算出される測光値によって制御部13にて決めてもよいし、ユーザーの操作によって決めるようにしてもよい。そして、感度が予め決められた感度より大きい場合にS404へ進み、感度が感度閾値以下の場合にS405に進むような制御とすれば良い。
さらに、被写界深度やシャッタースピード等に応じて設定された絞り値や、入射光量を調整するためのNDフィルタの有無、あるいは挿入されるNDフィルタの濃度などに応じて使用する撮像素子を切り替えるようにしてもよい。すなわち、所定の絞り値よりも絞り込んだ絞り値が設定された場合には第1撮像素子103(SPAD型撮像素子)を用いるように制御し、所定の絞り値よりも開いた開放側の絞り値が設定された場合には第2撮像素子123(CMOS型撮像素子)を用いるように制御する。
また、光路上にNDフィルタが挿入されている場合には第1撮像素子103(SPAD型撮像素子)を用いるように制御し、光路上にNDフィルタが挿入されていない場合には第2撮像素子123(CMOS型撮像素子)を用いるように制御する。あるいは、所定濃度よりも濃い濃度のNDフィルタが光路上に挿入されている場合には第1撮像素子103(SPAD型撮像素子)を用いるように制御し、所定濃度以下の濃度のNDフィルタが光路上に挿入されている場合には第2撮像素子123(CMOS型撮像素子)を用いるように制御する。
上記の通り第4の実施形態によれば、SPAD型撮像素子でのカウントエラーによる高輝度沈みやCMOS型撮像素子でのS/N低下による画質劣化を避けることで、画質の良い画像を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
<他の実施形態>
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。