JP4451583B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置、撮像方法、及びプログラムに関する。特に本発明は、ダイナミックレンジの広い画像を取得する撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラやビデオカメラなどの撮像装置は、撮影する被写体の光学像をＣＣＤやＭＯＳ型等の撮像素子で電気信号に変換することによって画像を取得する。しかし、これら撮像素子が有するダイナミックレンジは、自然界の光学情報が有するダイナミックレンジに比べて著しく小さい。そこで、従来の撮像装置は、光学絞りや電子シャッタ等の手段によって、主要な被写体の光学情報を撮像素子が有するダイナミックレンジの範囲内に調節し、画像を取得している。このため、同一被写体に明暗の差が大きい領域が含まれている場合は、撮像装置は、所定の明るさの範囲に収まる光学像しか、画像として取得することができないという問題があった。
【０００３】
特開平１１−３２２４２号公報では、異なる感度を有する複数のＣＣＤによって取得された信号を合成して、ダイナミックレンジの広い画像を生成する撮像装置が開示されている。また、特開平５−２６０３９１号公報では、ＣＣＤに蓄積された電荷像を複数回に分けて読み出すことによって取り扱い電荷量を増やし、画像のダイナミックレンジを拡大する撮像装置が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平１１−３２２４２号公報で開示された撮像装置は、複数のＣＣＤと、ビームスプリッタなどの光学部品が必要なので、装置サイズの拡大と、コストアップが避けられないという課題があった。また、特開平５−２６０３９１号公報で開示された撮像装置は、ＣＣＤの電荷転送量を増大することはできるものの、電荷蓄積量の増大が達成されない限り、ダイナミックレンジは拡大されないという課題があった。
【０００５】
そこで本発明は、上記の課題を解決することのできる撮像装置、撮像方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００６】
【課題を解決するための手段】
本発明の第１の形態によれば、被写体を撮像する撮像装置であって、被写体の第１の領域の光を受光する第１の受光素子、及び被写体の第２の領域の光を受光する第２の受光素子を有する撮像素子と、第１の領域の明るさ及び第２の領域の明るさを判断する明るさ判断部と、明るさ判断部が判断した第１の領域の明るさに基づいて、第１の受光素子の感度を制御し、明るさ判断部が判断した第２の領域の明るさに基づいて、第２の受光素子の感度を制御する感度制御部と、第１の受光素子及び第２の受光素子が出力した電気信号を、感度制御部が制御した感度レベルに応じて増幅又は減衰する撮像信号処理部とを備え、第１の受光素子は、光を集光する第１のマイクロレンズと、第１の開口部を有する第１の遮光層と、第１の開口部により形成される第１の感光部と、を有し、第２の受光素子は、光を集光する第２のマイクロレンズと、第２の開口部を有する第２の遮光層と、第２の開口部により形成される第２の感光部と、を有し、感度制御部は、明るさ判断部が判断した第１の領域の明るさに基づいて、第１のマイクロレンズに印加する電圧を制御することで第１のマイクロレンズの屈折率を変化させて、入射光を第１の感光部へ集光する割合を変化させ、明るさ判断部が判断した第２の領域の明るさに基づいて、第２のマイクロレンズに印加する電圧を制御することで第２のマイクロレンズの屈折率を変化させて、入射光を第２の感光部へ集光する割合を変化させる。
【０００８】
前記明るさ判断部は、前記第１の領域の明るさ及び前記第２の領域の明るさを、異なる感度で複数回判断する。
【００１５】
本発明の第２の形態によれば、被写体を撮像する撮像方法であって、被写体の第１の領域の光を第１の受光素子が受光するステップと、被写体の第２の領域の光を第２の受光素子が受光するステップと、第１の領域の明るさ及び第２の領域の明るさを判断する明るさ判断ステップと、判断された第１の領域の明るさに基づいて、第１の受光素子の感度を制御し、判断された第２の領域の明るさに基づいて、第２の受光素子の感度を制御する感度制御ステップと、第１の受光素子及び第２の受光素子が出力した電気信号を、感度制御ステップで制御された感度レベルに応じて増幅又は減衰するステップとを備え、第１の受光素子は、光を集光する第１のマイクロレンズと、第１の開口部を有する第１の遮光層と、第１の開口部により形成される第１の感光部と、を有し、第２の受光素子は、光を集光する第２のマイクロレンズと、第２の開口部を有する第２の遮光層と、第２の開口部により形成される第２の感光部と、を有し、感度制御ステップは、明るさ判断ステップで判断された第１の領域の明るさに基づいて、第１のマイクロレンズに印加する電圧を制御することで第１のマイクロレンズの屈折率を変化させて、入射光を第１の感光部へ集光する割合を変化させ、明るさ判断ステップで判断された第２の領域の明るさに基づいて、第２のマイクロレンズに印加する電圧を制御することで第２のマイクロレンズの屈折率を変化させて、入射光を第２の感光部へ集光する割合を変化させる。
【００１６】
明るさ判断ステップは、第１の領域の明るさ及び第２の領域の明るさを、異なる感度で複数回判断する。
【００１７】
本発明の第３の形態によれば、被写体を撮像する撮像装置用のプログラムであって、撮像装置に、被写体の第１の領域の明るさ及び第２の領域の明るさを判断させる明るさ判断モジュールと、判断された第１の領域の明るさに基づいて、第１の領域の光を受光する第１の受光素子の感度を制御させ、判断された第２の領域の明るさに基づいて、第２の領域の光を受光する第２の受光素子の感度を制御させる感度制御モジュールと、第１の受光素子及び第２の受光素子が出力した電気信号を、感度制御モジュールが制御させた感度レベルに応じて増幅又は減衰させる撮像信号処理モジュールとを備え、第１の受光素子は、光を集光する第１のマイクロレンズと、第１の開口部を有する第１の遮光層と、第１の開口部により形成される第１の感光部と、を有し、第２の受光素子は、光を集光する第２のマイクロレンズと、第２の開口部を有する第２の遮光層と、第２の開口部により形成される第２の感光部と、を有し、感度制御モジュールは、明るさ判断モジュールが判断させた第１の領域の明るさに基づいて、第１のマイクロレンズに印加する電圧を制御することで第１のマイクロレンズの屈折率を変化させて、入射光を第１の感光部へ集光する割合を変化させ、明るさ判断モジュールが判断させた第２の領域の明るさに基づいて、第２のマイクロレンズに印加する電圧を制御することで第２のマイクロレンズの屈折率を変化させて、入射光を第２の感光部へ集光する割合を変化させる。
【００１８】
明るさ判断モジュールは、第１の領域の明るさ及び第２の領域の明るさを、異なる感度で複数回判断させる。
【００１９】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２０】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２１】
図１は、本発明の一実施形態に係るデジタルカメラ１０の機能ブロックを示す。デジタルカメラ１０は、本発明における撮像装置の一例である。また、撮像装置は、静止画を撮像するデジタルスチルカメラであってもよく、動画を撮影するデジタルビデオカメラであってもよい。
デジタルカメラ１０は、被写体が含む領域の明るさを判断する明るさ判断部の一例である測光センサ５４と、被写体を撮像して撮像データを取得する撮像部２０と、撮像部２０が取得した撮像データを処理する画像処理部１４０とを備える。撮像部２０は、ストロボ３６と、被写体の光学像を集光する撮影レンズ部２２と、撮影レンズ部２２によって集光された光学像を撮像信号に変換する撮像素子の一例であるＣＣＤ３０と、ＣＣＤ３０が変換した撮像信号を処理する撮像信号処理部３２と、ＣＣＤ３０が含む受光素子のうちで前記領域の光を受光する受光素子の感度を制御する感度制御部１１とを有する。画像処理部１４０は、撮像信号処理部３２が処理した複数の画像に基づいて画像を生成する画像生成部としての機能を有してもよい。また、撮像信号処理部３２は、被写体が含む領域の明るさを判断する明るさ判断部の一例であってもよい。
【００２２】
デジタルカメラ１０が被写体を撮像する場合、まず撮像信号処理部３２または測光センサ５４は、フォトダイオードが光電変換により出力する電気信号を検出することによって被写体の明るさを判断する。感度制御部１１は、撮像信号処理部３２または測光センサ５４が判断した被写体の明るさに基づいて、ＣＣＤ３０の感度を制御する。次に、ストロボ３６は、撮像信号処理部３２または測光センサ５４が判断した被写体の明るさに基づいて発光する。そして、ＣＣＤ３０は、撮影レンズ部２２が結像する光学像を電気信号に変換して出力する。撮像信号処理部３２は、ＣＣＤ３０が出力する電気信号をＡ／Ｄ変換し、その結果得られたデジタルの画像データを出力する。画像処理部１４０は、撮像信号処理部３２が出力した画像データを所定の条件に基づいて合成することにより、出力画像を生成する。
【００２３】
図２は、本実施形態に係る被写体を含んだ被写体２００の一例を示す。図３は、撮影レンズ部２２によって集光された被写体２００が、ＣＣＤ３０の感光範囲に結像された様子を示す。被写体２００は、領域２０２ａと、領域２０２ｂとを含む。ＣＣＤ３０は、等間隔に配列された複数の受光素子３００を含む。受光素子３００は、被写体２００の領域２０２ａの光を受光する受光素子３００ａと、被写体２００の領域２０２ｂの光を受光する受光素子３００ｂとを含む。デジタルカメラ１０が被写体２００を撮像する場合、撮像信号処理部３２または測光センサ５４は、領域２０２ａ及び領域２０２ｂの明るさを判断する。この場合、撮像信号処理部３２または測光センサ５４は、領域２０２ａまたは領域２０２ｂの明るさを、異なる感度で複数回判断してもよい。これにより、領域２０２ａと領域２０２ｂとの明るさの差が撮像信号処理部３２または測光センサ５４が有するダイナミックレンジを越えている場合でも、領域２０２ａの明るさを適切に検出する感度、及び領域２０２ｂの明るさを適切に検出する感度における判断を行うことができるため、被写体全体の明るさを適切に判断することができる。
【００２４】
次に、感度制御部１１は、撮像信号処理部３２または測光センサ５４が判断した領域２０２ａの明るさに基づいて、受光素子３００ａの感度を制御する。また、感度制御部１１は、撮像信号処理部３２または測光センサ５４が判断した領域２０２ｂの明るさに基づいて、受光素子３００ｂの感度を制御する。例えば、領域２０２ａには太陽光が届き、領域２０２ｂには太陽光が届いていないという場合は、明るい領域２０２ａと暗い領域２０２ｂとの明るさの差が受光素子３００ａ及び受光素子３００ｂが有するダイナミックレンジを越えやすい。そこで、感度制御部１１は、明るい領域２０２ａの光の強さを適切に検出できるレベルまで受光素子３００ａの感度を下げる。また、感度制御部１１は、暗い領域２０２ｂの光の強さを適切に検出できるレベルまで受光素子３００ｂの感度を上げる。
【００２５】
ＣＣＤ３０は、感度制御部１１が受光素子３００ａ及び受光素子３００ｂの感度をそれぞれ制御した状態で、被写体２００を撮像する。したがって、明るい領域２０２ａと暗い領域２０２ｂとの明るさの差が大きい場合でも、それぞれ感度が最適化された受光素子３００ａ及び３００ｂが、領域２０２ａ及び領域２０２ｂの明るさを、それぞれのダイナミックレンジの範囲内で適切に検出し、電気信号に変換することができる。
【００２６】
なお、撮像信号処理部３２は、感度制御部１１が制御した受光素子３００ａ及び受光素子３００ｂそれぞれの感度レベルと、受光素子３００ａ及び受光素子３００ｂがそれぞれ出力する電気信号とを、対応づけて取得する。そして、撮像信号処理部３２は、受光素子３００ａ及び受光素子３００ｂが出力した電気信号を、感度制御部１１が制御した受光素子３００ａ及び受光素子３００ｂの感度レベルに基づいて増幅又は減衰する。例えば、感度制御部１１が受光素子３００ａの感度を１／１００に制御した場合は、撮像信号処理部３２は、受光素子３００ａが出力した電気信号を１００倍に増幅する。また、感度制御部１１が受光素子３００ｂの感度を５０倍に制御した場合は、受光素子３００ｂが出力した電気信号を１／５０に減衰する。そして、画像処理部１４０は、撮像信号処理部３２が増幅または減衰した信号を合成することによって、出力画像を生成する。
【００２７】
このようなデジタルカメラ１０によれば、被写体２００のダイナミックレンジが受光素子３００のダイナミックレンジよりも大きい場合であっても、領域毎に、複数の受光素子３００の感度を制御することによって、被写体２００の光学像を受光素子３００のダイナミックレンジに収まる電荷像として取得することができる。さらに、受光素子３００のそれぞれが出力する電気信号を、感度制御部１１が制御した感度レベルに応じて増幅又は減衰することによって、画像のダイナミックレンジが、受光素子３００が本来有するダイナミックレンジよりも大きい出力画像を取得することができる。
【００２８】
本実施形態に係るＣＣＤ３０の他の例によれば、ＣＣＤ３０は、領域２０２ａの光を受光し、所定の感度で光を電気信号に変換する受光素子３００ａと、領域２０２ｂの光を受光し、受光素子３００ａが電気信号に変換することのできない強さの光を電気信号に変換する受光素子３００ｂとを有してもよい。具体的には、ＣＣＤ３０は、比較的感度が低く、互いに隣接する複数の受光素子３００ａをＣＣＤ３０の感光範囲における中央部分に有する。そして、ＣＣＤ３０の感光範囲における受光素子３００ａよりも外側おいて、受光素子３００ａよりも感度が高く、互いに隣接する複数の受光素子３００ｂを有する。
【００２９】
受光素子３００ａの感度よりも受光素子３００ｂの感度を高く設けるには、以下の手段によればよい。すなわち、受光素子３００ａは、受光素子３００ａに照射される光が所定の割合で受光素子３００ａの感光部に集光されるように設けられたマイクロレンズを有し、受光素子３００ｂは、受光素子３００ｂに照射される光が受光素子３００ａよりも高い割合で受光素子３００ｂの感光部に集光されるように設けられたマイクロレンズを有していればよい。言い換えれば受光素子３００ａのマイクロレンズの集光率よりも受光素子３００ｂのマイクロレンズの集光率の方が高ければよい。具体的には、マイクロレンズと感光部との相対位置が、受光素子３００ａと受光素子３００ｂとで異なるように設け、受光素子３００ａの光の利用効率よりも受光素子３００ｂの光の利用効率の方が高くなるようにすればよい。
【００３０】
受光素子３００ａの感度よりも受光素子３００ｂの感度を高く設けるための他の手段によれば、受光素子３００ａが有するマイクロレンズの焦点距離と、受光素子３００ｂが有するマイクロレンズの焦点距離とが異なるように設けて、受光素子３００ａの光の利用効率よりも受光素子３００ｂの光の利用効率の方が高くなるようにすればよい。具体的には受光素子３００ａと受光素子３００ｂとでマイクロレンズのレンズ形状が異なっていてもよいし、マイクロレンズの材料の屈折率が異なっていてもよい。
【００３１】
本例のデジタルカメラ１０によれば、画面の中央部分の主要被写体が比較的近距離に位置した状態において、ストロボ３６を発光して被写体２００を撮像した場合であっても、画面の中央部を撮像する受光素子３００の感度が低く抑えられているため、主要被写体がオーバー露出になることを防げる。なおかつ、ストロボが届きにくい比較的遠距離の被写体であって、画面の周縁部に位置する被写体は、感度の高い受光素子３００が撮像するため、より適正な露出で撮像できる。
【００３２】
図４は、本実施形態に係る受光素子３００の断面の一例を示す。受光素子３００は、光を電荷に変換するフォトダイオードを含む半導体１７と、アルミニウム等からなる遮光層１６と、遮光層１６の開口部により形成される感光部１３と、光を集光するマイクロレンズ１２と、マイクロレンズ１２が集光した光の透過率を制御する液晶フィルタ１４と、カラーフィルタ１５とを備える。マイクロレンズ１２は、材料の屈折率とレンズ形状で決まる固有の焦点距離を有している。
【００３３】
複数の受光素子３００が備えるマイクロレンズ１２は、撮影レンズ部２２が集光した光学像を更に集光する。感光部１３は、マイクロレンズ１２が集光した光を受光する。そして半導体１７は、感光部１３が受光した光の強さと時間に応じて電荷を蓄積する。半導体１７は蓄積した電荷を所定のタイミングで出力する。感度制御部１１が受光素子３００の感度を制御する手段は、液晶フィルタ１４であってもよいし、半導体１７に電荷が蓄積される時間を制御する電子シャッタであってもよい。液晶フィルタ１４及び電子シャッタのいずれの手段によっても、複数の受光素子３００の感度を独立して制御することができる。
【００３４】
図５は、本実施形態に係る受光素子３００の断面の他の例を示す。受光素子３００は、マイクロレンズ１２と感光部１３との相対位置を変化させるアクチュエータ１８を備えている。図５（ａ）は、マイクロレンズ１２が入射光を効率よく感光部１３に集光している様子を示す。また、図５（ｂ）は、アクチュエータ１８がマイクロレンズ１２と感光部１３との距離を縮めた様子を示す。図５（ａ）に示したマイクロレンズ１２の位置が、入射光を最も効率よく感光部１３に集光する位置である場合、図５（ｂ）に示すように、アクチュエータ１８がマイクロレンズ１２の位置を変化させると、感光部１３に照射される光の強さは低下する。したがって、感度制御部１１は、アクチュエータ１８を駆動してマイクロレンズ１２と感光部１３との相対位置を変化させることによって、受光素子３００が利用することのできる光の効率を変化させることができる。つまり、感度制御部１１は、受光素子３００が有するマイクロレンズ１２と感光部１３との相対位置を制御することによって、受光素子３００の感度を制御することができる。
【００３５】
図６は、本実施形態に係る受光素子３００の断面の他の例を示す。受光素子３００は、液晶レンズ等の焦点可変レンズをマイクロレンズ１２として備えており、複数の受光素子３００のそれぞれは、マイクロレンズ１２の焦点を独立して変更することができる。図６（ａ）は、マイクロレンズ１２が入射光を効率よく感光部１３に集光した様子を示す。また、図６（ｂ）は、マイクロレンズ１２の屈折率が変化した様子を示す。マイクロレンズ１２は、印可される電圧に応じて屈折率が変化し、入射光を感光部１３へ集光する割合が変化する。したがって、感度制御部１１は、マイクロレンズ１２に印可する電圧を制御することによって、マイクロレンズ１２の焦点距離を制御し、受光素子３００が利用することのできる光の効率を変化させることができる。このようにして、感度制御部１１は、受光素子３００の感度を制御することができる。
【００３６】
図７は、本実施形態に係るデジタルカメラ１０の他の例が撮像する、被写体２３０の一例を示す。被写体２３０は、人物等、比較的近距離に位置する被写体が占める領域２３２と、背景等、比較的遠距離に位置する被写体が占める領域２３４とを含む。本例のデジタルカメラ１０が被写体２３０を撮像する場合、ストロボ３６は、撮像信号処理部３２または測光センサ５４が判断した被写体２３０の明るさの分布に基づいて、発光強度の異なる複数の発光条件を決定する。
【００３７】
また、ストロボ３６は、被写体２３０の距離に基づいて複数の発光条件を決定してもよい。例えば、比較的近距離に位置し、明るい被写体が占める領域２３２が含まれる場合は無発光、あるいは弱い発光となる発光条件を設定する。そして、比較的遠距離に位置し、暗い被写体が占める領域２３４が更に含まれる場合は、最大の発光となる発光条件を追加設定する。そして、ストロボ３６は、設定された複数の発光条件で発光し、撮像部２０の一部であるＣＣＤ３０は、複数の発光条件のそれぞれにおいて被写体２３０の画像のそれぞれを撮像する。
【００３８】
図８は、ストロボ３６の複数の発光条件のそれぞれにおいて、撮像部２０が被写体２３０を撮像した画像を示す。図８（ａ）は、ストロボ３６が発光しないか、あるいは弱く発光した状態において撮像された原画像２１０ａを示す。図８（ｂ）は、ストロボ３６が最大の強度で発光した状態において撮像された原画像２１０ｂを示す。原画像２１０ａを撮像する場合においては、ストロボ３６は、比較的近距離に位置する被写体が占める領域２３２の明るさが最適となるように弱く発光したので、部分画像２１２ａは、最適な露出で撮像されている。しかしながら、領域２３２の明るさを適正にするストロボ３６の発光は、比較的遠距離であり暗い被写体が占める領域２３４を十分に照らすことができない。したがって、領域２３４を撮像した部分画像２１４ａは、アンダー露出となってしまう。
【００３９】
一方で、原画像２１０ｂを撮像する場合においては、ストロボ３６は、比較的遠距離に位置する暗い被写体が占める領域２３４を明るくするように、最大の強度で発光する。これにより、領域２３４を撮像した部分画像２１４ｂは、適正な露出で撮像される。しかしながら、領域２３４の明るさを適正にするストロボ３６の発光は、比較的近距離に位置する被写体が占める領域２３２にとっては光が強すぎる。したがって、領域２３４を撮像した部分画像２１２ｂはオーバー露出となってしまう。そこで、画像生成部の一例である画像処理部１４０は、以下のようにして、原画像２１０ａ及び原画像２１０ｂから画像全体の露出が適正となる出力画像を生成する。
【００４０】
図９は、本実施形態に係る画像処理部１４０が、原画像２１０ａと原画像２１０ｂからそれぞれ部分画像を抽出して合成する例を示す。図９（ａ）は、画像処理部１４０が、原画像２１０ａの一部であって、被写体２３０の領域２３２を適正な露出で撮像した部分画像２１２ａを抽出した状態を示す。図９（ｂ）は、画像処理部１４０が、原画像２１０ｂの一部であって、被写体２３０の領域２３４を適正な露出で撮像した部分画像２１４ｂを抽出した状態を示す。そして、図９（ｃ）は、画像処理部１４０が、部分画像２１２ａと部分画像２１４ｂとを合成することによって、出力画像２２０を生成した状態を示す。本例のデジタルカメラ１０によれば、いずれも適正な露出で撮像された部分画像２１２ａ及び部分画像２１４ｂを合成することによって出力画像２２０を生成するので、全体の露出が適正な画像を得ることができる。
【００４１】
図１０は、本実施例に係るデジタルカメラ１０が被写体を撮像するフローの一例を示す。ユーザは、被写体２００の構図が決まるとレリーズスイッチを半押しする（Ｓ２００）。受光素子３００ａは、レリーズスイッチの半押しに基づいて領域２０２ａの光を受光する（Ｓ２０２）。そして、受光素子３００ｂは、領域２０２ｂの光を受光する（Ｓ２０４）。撮像信号処理部３２は、受光素子３００ａが出力する電気信号に基づいて領域２０２ａの明るさを判断する（Ｓ２０６）。撮像信号処理部３２は、受光素子３００ｂが出力する電気信号に基づいて領域２０２ｂの明るさを判断する（Ｓ２０８）。感度制御部１１は、撮像信号処理部３２が判断した領域２０２ａの明るさに基づいて受光素子３００ａの感度を制御する（Ｓ２１０）。感度制御部１１は、撮像信号処理部３２が判断した領域２０２ｂの明るさに基づいて受光素子３００ｂの感度を制御する（Ｓ２１２）。デジタルカメラ１０は、受光素子の感度が制御できた時点で、音や発光などの手段を用いてユーザへ通知してもよい。ユーザは、受光素子の感度が制御できた時点で、半押ししていたレリーズスイッチを更に押下する（Ｓ２１４）。撮像部２０はレリーズスイッチの押下に応じて被写体２００を撮像する（Ｓ２１６）。以上で、本フローは終了する。
【００４２】
図１１は、本実施例に係るデジタルカメラ１０が被写体を撮像するフローの他の例を示す。ユーザは、被写体２３０の構図が決まるとレリーズスイッチを半押しする（Ｓ３００）。測光センサ５４はレリーズスイッチの半押しに基づいて被写体２３０の明るさの分布を判断する（Ｓ３０２）。次に、ストロボ３６は、測光センサ５４が判断した明るさの分布に基づき、領域２３２に適した発光条件１で発光する（Ｓ３０４）。撮像部２０は、ストロボ３６の発光とほぼ同時に被写体２３０を撮像し、原画像２１０ａを取得する（Ｓ３０６）。次にストロボ３６は、測光センサ５４が判断した明るさの分布に基づき、領域２３４に適した発光条件２で発光する（Ｓ３０８）。撮像部２０は、ストロボ３６の発光とほぼ同時に被写体２３０を撮像し、原画像２１０ｂを取得する（Ｓ３１０）。次に、画像処理部１４０は、原画像２１０ａを解析して、領域毎に露出の適正度合いを解析する（Ｓ３１２）。画像処理部１４０は、原画像２１０ｂを解析して、領域毎に露出の適正度合いを解析する（Ｓ３１４）。画像処理部１４０は、Ｓ３１２及びＳ３１４における解析の結果に基づいて、領域２３２を最も適正な露出で撮像している部分画像２１２ａを原画像２１０ａから抽出する（Ｓ３１６）。そして画像処理部１４０は、領域２３４を最も適正な露出で撮像している部分画像２１４ｂを原画像２１０ｂから抽出する（Ｓ３１８）。次に、画像処理部１４０は、部分画像２１２ａと部分画像２１４ｂとを合成することによって（Ｓ３２０）、出力画像２２０を生成する（Ｓ３２２）。以上で、本フローは終了する。
【００４３】
図１２は、パーソナルコンピュータ４００のハードウェア構成を示す。パーソナルコンピュータ４００は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インタフェース７０６と、ハードディスクドライブ７０８と、データベースインタフェース７１０と、フロッピーディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１４とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作する。通信インタフェース７０６は、ネットワークを介してデジタルカメラ１０と通信する。データベースインタフェース７１０は、データベースへのデータの書込、及びデータベースの内容の更新を行う。格納装置の一例としてのハードディスクドライブ７０８は、設定情報及びＣＰＵ７００を動作するプログラムを格納する。
【００４４】
フロッピーディスクドライブ７１２は、フロッピーディスク７２０からデータまたはプログラムを読み取りＣＰＵ７００及び通信インタフェース７０６に提供する。ＣＤ−ＲＯＭドライブ７１４はＣＤ−ＲＯＭ７２２からデータまたはプログラムを読み取りＣＰＵ７００及び通信インタフェース７０６に提供する。通信インタフェース７０６は、フロッピーディスクドライブ７１２またはＣＤ−ＲＯＭドライブ７１４から提供されたデータまたはプログラムをデジタルカメラ１０に送信する。データベースインタフェース７１０は、各種データベース７２４と接続してデータを送受信する。
【００４５】
ＣＰＵ７００が実行するプログラム及びデジタルカメラ１０に提供されるプログラムは、フロッピーディスク７２０またはＣＤ−ＲＯＭ７２２等の記録媒体に格納されて利用者に提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。ＣＰＵ７００が実行するプログラムは記録媒体からハードディスクドライブ７０８にインストールされ、ＲＡＭ７０４に読み出されてＣＰＵ７００により実行される。デジタルカメラ１０に提供されるプログラムは、記録媒体から読み出され、通信インタフェース７０６を介して、デジタルカメラ１０にインストールされ、デジタルカメラ１０において実行される。
【００４６】
記録媒体に格納されて提供され、デジタルカメラ１０にインストールされるプログラムは、機能構成として、明るさ判断モジュールと、感度制御モジュールと、撮像モジュールと、画像生成モジュールとを有する。各モジュールがデジタルカメラ１０に行わせる処理は、それぞれ本実施形態のデジタルカメラ１０における、対応する構成要素の機能及び動作と同一であるから、説明を省略する。
【００４７】
図１２に示した、記録媒体の一例としてのフロッピーディスク７２０またはＣＤ−ＲＯＭ７２２には、本出願で説明した全ての実施形態における、デジタルカメラ１０の動作の一部または全ての機能を格納することができる。
【００４８】
これらのプログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブにインストールされた後にＲＡＭに読み出されて実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されてもよい。また、符号化した形態で格納されていてもよい。
【００４９】
記録媒体としては、フロッピーディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリ等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用し、通信網を介して、プログラムをデジタルカメラ１０に提供してもよい。
【００５０】
図１３は、本実施形態に係る撮像装置の一例であるデジタルカメラ１０の構成を示す。デジタルカメラ１０は、撮像部２０、撮像制御部４０、システム制御部６０、表示部１００、操作部１１０、格納部１２０、外部接続部１３０、及び画像処理部１４０を備える。
【００５１】
撮像部２０は、撮影レンズ部２２、絞り２４、シャッタ２６、光学ＬＰＦ２８、ＣＣＤ３０、撮像信号処理部３２、ファインダ３４、及びストロボ３６を有する。
【００５２】
撮影レンズ部２２は、被写体像を取り込んで処理を施す。撮影レンズ部２２は、フォーカスレンズやズームレンズ等を含み、被写体像をＣＣＤ３０の受光面上に結像する。絞り２４は、撮影レンズ部２２を通過した光を絞り、光学ＬＰＦ２８は、絞り２４を通過した光に含まれる所定の波長より長い波長成分を通過させる。ＣＣＤ３０が含む各受光素子３００は、結像した被写体像の光量に応じ、電荷を蓄積する（以下その電荷を「蓄積電荷」という）。
【００５３】
シャッタ２６は、機械式シャッタであり、撮影レンズ部２２を通過した光をＣＣＤ３０に露光するか否かを制御する。また、デジタルカメラ１０は、シャッタ２６に代えて電子シャッタ機能を有してもよい。電子シャッタ機能を実現するために、ＣＣＤ３０の受光素子３００は、シャッタゲート及びシャッタドレインを有する。シャッタゲートを駆動することにより、蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各受光素子３００に電荷を蓄積する時間、即ちシャッタスピードを制御できる。ＣＣＤ３０において、蓄積電荷は、リードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００５４】
撮像信号処理部３２は、ＣＣＤ３０から出力される被写体像を示す電圧信号、即ちアナログ信号をＲ、Ｇ、Ｂ成分に色分解する。そして、撮像信号処理部３２は、Ｒ、Ｇ、Ｂ成分を調整することにより、被写体像のホワイトバランスを調整する。撮像信号処理部３２は、被写体像のガンマ補正を行う。そして、撮像信号処理部３２は、Ｒ、Ｇ、Ｂ成分に分解されたアナログ信号をＡ／Ｄ変換し、その結果得られた被写体像のデジタルの画像データ（以下「デジタル画像データ」という）をシステム制御部６０へ出力する。
【００５５】
ファインダ３４は、表示手段を有してもよく、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示してもよい。ストロボ３６は、コンデンサに蓄えられたエネルギを放電する放電管３７を有し、放電管３７にエネルギが供給されたとき放電管３７が発光することで機能する。
【００５６】
撮像制御部４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、及び測光センサ５４を有する。ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、及びシャッタ駆動部４８は、それぞれステッピングモータ等の駆動手段を有し、撮像部２０に含まれる機構部材を駆動する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。そして、測距センサ５２及び測光センサ５４は、測定された被写体までの距離のデータ（以下単に「測距データ」という）及び被写体輝度のデータ（以下単に「測光データ」という）を、それぞれ撮像系ＣＰＵ５０に供給する。
【００５７】
撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２及びフォーカス駆動部４４を制御して撮影レンズ部２２のズーム倍率とピントの調整を行う。また、撮像系ＣＰＵ５０は、測距センサ５２から受け取った測距データに基づいて、ズーム駆動部４２及びフォーカス駆動部４４を制御してズーム倍率及びピントの調整を行ってもよい。
【００５８】
撮像系ＣＰＵ５０は、測光センサ５４から受け取った測光データに基づいて、絞り値及びシャッタスピードを決定する。決定された値に従い、絞り駆動部４６及びシャッタ駆動部４８は、絞り２４の絞り量及びシャッタ２６の開閉をそれぞれ制御する。
【００５９】
また、撮像系ＣＰＵ５０は、測光センサ５４から受け取った測光データに基づいて、ストロボ３６の発光を制御し、同時に絞り２４の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０は電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷を撮像信号処理部３２へ出力する。
【００６０】
システム制御部６０は、メインＣＰＵ６２、キャラクタ生成部８４、タイマ８６、及びクロック発生器８８を有する。メインＣＰＵ６２は、デジタルカメラ１０全体、特にシステム制御部６０を制御する。メインＣＰＵ６２は、シリアル通信等により、撮像系ＣＰＵ５０との間で必要な情報の受け渡しをする。
【００６１】
クロック発生器８８は、メインＣＰＵ６２の動作クロックを発生し、メインＣＰＵ６２に供給する。また、クロック発生器８８は、撮像系ＣＰＵ５０及び表示部１００の動作クロックを発生する。クロック発生器８８は、メインＣＰＵ６２、撮像系ＣＰＵ５０、及び表示部１００に対してそれぞれ異なる周波数の動作クロックを供給してもよい。
【００６２】
キャラクタ生成部８４は、撮影日時、タイトル等の撮影画像に合成する文字情報や、図形情報を生成する。タイマ８６は、例えば電池等でバックアップされ、常に時間をカウントし、当該カウント値に基づいて撮影画像の撮影日時に関する情報等の時刻情報をメインＣＰＵ６２に供給する。タイマ８６は、蓄電池から供給された電力により、デジタルカメラ本体の電源がオフである場合にも時間をカウントするのが望ましい。また、キャラクタ生成部８４及びタイマ８６は、メインＣＰＵ６２に併設されることが好ましい。
【００６３】
格納部１２０は、メモリ制御部６４、不揮発性メモリ６６、及びメインメモリ６８を有する。メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８とを制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去及びプログラム可能なＲＯＭ）やＦＬＡＳＨメモリ等で構成され、ユーザによる設定情報や出荷時の調整値等、デジタルカメラ１０の電源がオフの間も保持すべきデータを格納する。不揮発性メモリ６６は、メインＣＰＵ６２のブートプログラムやシステムプログラム等を格納してもよい。
【００６４】
メインメモリ６８は、ＤＲＡＭのように比較的安価で容量の大きなメモリで構成されることが好ましい。メインメモリ６８は、撮像部２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能を有する。不揮発性メモリ６６及びメインメモリ６８は、システム制御部６０内外の各部とバス８２を介してデータのやりとりを行う。不揮発性メモリ６６は、デジタル画像データを更に格納してもよい。
【００６５】
画像処理部１４０は、ＹＣ処理部７０、エンコーダ７２、及び圧縮伸張処理部７８を有する。また、外部接続部１３０は、オプション装置制御部７４、及び通信Ｉ／Ｆ部８０を有する。
【００６６】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙ、並びに色差（クロマ）信号Ｂ−Ｙ及びＲ−Ｙを生成する。メインメモリ６８は、メモリ制御部６４の制御に基づいて、輝度信号及び色差信号を格納する。
【００６７】
圧縮伸張処理部７８は、メインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。そして、オプション装置制御部７４は、圧縮されたデジタル画像データ（以下単に「圧縮データ」という）をオプション装置７６の一例であるメモリカードへ書き込む。
【００６８】
エンコーダ７２は、輝度信号と色差信号を、ビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換して端子９０から出力する。オプション装置７６に記録された圧縮データからビデオ信号を生成する場合、圧縮データは、まずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。続いて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００６９】
オプション装置制御部７４は、オプション装置７６が許容する信号仕様及びバス８２のバス仕様に従い、バス８２とオプション装置７６との間で必要な信号の生成、論理変換、及び／又は電圧変換等を行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードの他に、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩ等で構成してもよい。
【００７０】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット等の仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、圧縮データ又はデジタル画像データを、端子９２を介してネットワークを含む外部機器に出力してよい。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、外部機器と端子９２を介して通信する。通信Ｉ／Ｆ部８０は、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のインターフェースによるデータ授受を行う構成としてもよい。
【００７１】
表示部１００は、ＬＣＤモニタ１０２、ＬＣＤパネル１０４、モニタドライバ１０６、及びパネルドライバ１０８を有する。モニタドライバ１０６は、ＬＣＤモニタ１０２を制御する。また、パネルドライバ１０８は、ＬＣＤパネル１０４を制御する。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像等を表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣ等）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量／残量等の情報を表示する。
【００７２】
操作部１１０は、パワースイッチ１１２、レリーズスイッチ１１４、機能設定部１１６、及びズームスイッチ１１８を有する。パワースイッチ１１２は、ユーザの指示に基づいてデジタルカメラ１０の電源をオン／オフする。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造を有する。一例として、レリーズスイッチ１１４が半押しされることにより、撮像制御部４０は、自動焦点調整及び自動露出調整を行い、全押しされることにより、撮像部２０は、被写体像を取り込む。
【００７３】
機能設定部１１６は、例えば回転式のモードダイヤルや十字キー等であって、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等の設定を受け付ける。ズームスイッチ１１８は、撮像部２０が取得する被写体像のズーム倍率の設定を受け付ける。
【００７４】
以上の構成による主な動作は以下のとおりである。まずパワースイッチ１１２が押下され、デジタルカメラ１０の各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００７５】
デジタルカメラ１０が撮影モードの場合、メインＣＰＵ６２は、レリーズスイッチ１１４の半押し状態を監視する。レリーズスイッチ１１４の半押し状態が検出されたとき、撮像系ＣＰＵ５０は、測光センサ５４及び測距センサ５２からそれぞれ測光データと測距データを得る。撮像制御部４０は、撮像系ＣＰＵ５０が得た測光データ及び測距データに基づいて、撮像部２０のピント、絞り等を調整する。調整が完了すると、ＬＣＤモニタは、「スタンバイ」等の文字を表示してユーザにその旨を伝える。
【００７６】
続いて、メインＣＰＵ６２は、レリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４の全押し状態が検出されたとき、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理され、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録されたデジタル画像データに基づく撮影画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザは撮影画像を確認することができる。以上で一連の撮影動作が完了する。
【００７７】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メインメモリ６８、不揮発性メモリ６６、及び／又はオプション装置７６から撮影した撮影画像を読み出し、これを表示部１００のＬＣＤモニタ１０２へ表示する。
【００７８】
この状態でユーザが機能設定部１１６にて「順送り」、「逆送り」を指示すると、メインＣＰＵ６２は、メインメモリ６８、不揮発性メモリ６６、及び／又はオプション装置７６が格納した他の撮影画像を読み出し、これを表示部１００のＬＣＤモニタ１０２へ表示する。
【００７９】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更または改良を加えることができる。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８０】
【発明の効果】
上記説明から明らかなように、本発明によればダイナミックレンジの広い画像を取得する撮像装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係るデジタルカメラ１０の機能ブロックを示す図である。
【図２】 本実施形態に係る被写体２００を示す図である。
【図３】 本実施形態に係る被写体２００の光学像がＣＣＤ３０上に結像された状態を示す図である。
【図４】 本実施形態に係る撮像素子３００ａの断面図である。
【図５】 本実施形態に係る撮像素子３００ａの他の例において、アクチュエータ１８が、マイクロレンズ１２を駆動する様子を示す図である。
【図６】 本実施形態に係る撮像素子３００ａの他の例において、マイクロレンズ１２が、焦点を変化させる様子を示す図である。
【図７】 本実施形態に係るデジタルカメラ１０が撮像する被写体２３０を示す図である。
【図８】 本実施形態に係るデジタルカメラ１０が複数の異なる発光条件で被写体２３０を撮像した画像を示す図である。
【図９】 本実施形態に係るトリム画像２２２ａ、トリム画像２２４ｂ、及び合成画像２２６を示す図である。
【図１０】 本実施形態に係るデジタルカメラ１０の動作の一例を示すフローチャートである。
【図１１】 本実施形態に係るデジタルカメラ１０の動作の他の例を示すフローチャートである。
【図１２】 本実施形態に係るパーソナルコンピュータ１４のハードウェア構成を示す図である。
【図１３】 本実施形態に係るデジタルカメラ１０の詳細な構成の一例を示す図である。
【符号の説明】
１０…デジタルカメラ １１…感度制御部
１２…マイクロレンズ １３…感光部
１４…液晶フィルタ １５…カラーフィルタ
１６…遮光層 １７…半導体
１８…アクチュエータ ２０…撮像部
２２…撮影レンズ部 ３０…ＣＣＤ
３２…撮像信号処理部 ３６…ストロボ
５４…測光センサ １４０…画像処理部
２００…被写体 ２０２…領域
２１０…原画像 ２１２…部分画像
２１４…部分画像 ２２０…出力画像
３００…受光素子

Claims (6)

1. 被写体を撮像する撮像装置であって、
   前記被写体の第１の領域の光を受光する第１の受光素子、及び前記被写体の第２の領域の光を受光する第２の受光素子を有する撮像素子と、
   前記第１の領域の明るさ及び前記第２の領域の明るさを判断する明るさ判断部と、
   前記明るさ判断部が判断した前記第１の領域の明るさに基づいて、前記第１の受光素子の感度を制御し、前記明るさ判断部が判断した前記第２の領域の明るさに基づいて、前記第２の受光素子の感度を制御する感度制御部と、
   前記第１の受光素子及び前記第２の受光素子が出力した電気信号を、前記感度制御部が制御した感度レベルに応じて増幅又は減衰する撮像信号処理部と
   を備え、
   前記第１の受光素子は、
   光を集光する第１のマイクロレンズと、
   第１の開口部を有する第１の遮光層と、
   前記第１の開口部により形成される第１の感光部と、
   を有し、
   前記第２の受光素子は、
   光を集光する第２のマイクロレンズと、
   第２の開口部を有する第２の遮光層と、
   前記第２の開口部により形成される第２の感光部と、
   を有し、
   前記感度制御部は、前記明るさ判断部が判断した前記第１の領域の明るさに基づいて、前記第１のマイクロレンズに印加する電圧を制御することで前記第１のマイクロレンズの屈折率を変化させて、入射光を前記第１の感光部へ集光する割合を変化させ、前記明るさ判断部が判断した前記第２の領域の明るさに基づいて、前記第２のマイクロレンズに印加する電圧を制御することで前記第２のマイクロレンズの屈折率を変化させて、入射光を前記第２の感光部へ集光する割合を変化させる撮像装置。
2. 前記明るさ判断部は、前記第１の領域の明るさ及び前記第２の領域の明るさを、異なる感度で複数回判断する
   請求項１に記載の撮像装置。
3. 被写体を撮像する撮像方法であって、
   前記被写体の第１の領域の光を第１の受光素子が受光するステップと、
   前記被写体の第２の領域の光を第２の受光素子が受光するステップと、
   前記第１の領域の明るさ及び前記第２の領域の明るさを判断する明るさ判断ステップと、
   前記判断された前記第１の領域の明るさに基づいて、前記第１の受光素子の感度を制御し、前記判断された前記第２の領域の明るさに基づいて、前記第２の受光素子の感度を制御する感度制御ステップと、
   前記第１の受光素子及び前記第２の受光素子が出力した電気信号を、前記感度制御ステップで制御された感度レベルに応じて増幅又は減衰するステップと
   を備え、
   前記第１の受光素子は、
   光を集光する第１のマイクロレンズと、
   第１の開口部を有する第１の遮光層と、
   前記第１の開口部により形成される第１の感光部と、
   を有し、
   前記第２の受光素子は、
   光を集光する第２のマイクロレンズと、
   第２の開口部を有する第２の遮光層と、
   前記第２の開口部により形成される第２の感光部と、
   を有し、
   前記感度制御ステップは、前記明るさ判断ステップで判断された前記第１の領域の明るさに基づいて、前記第１のマイクロレンズに印加する電圧を制御することで前記第１のマイクロレンズの屈折率を変化させて、入射光を前記第１の感光部へ集光する割合を変化させ、前記明るさ判断ステップで判断された前記第２の領域の明るさに基づいて、前記第２のマイクロレンズに印加する電圧を制御することで前記第２のマイクロレンズの屈折率を変化させて、入射光を前記第２の感光部へ集光する割合を変化させる撮像方法。
4. 前記明るさ判断ステップは、前記第１の領域の明るさ及び前記第２の領域の明るさを、異なる感度で複数回判断する
   請求項３に記載の撮像方法。
5. 被写体を撮像する撮像装置用のプログラムであって、前記撮像装置に、
   前記被写体の第１の領域の明るさ及び第２の領域の明るさを判断させる明るさ判断モジュールと、
   前記判断された前記第１の領域の明るさに基づいて、前記第１の領域の光を受光する第１の受光素子の感度を制御させ、前記判断された前記第２の領域の明るさに基づいて、前記第２の領域の光を受光する第２の受光素子の感度を制御させる感度制御モジュールと、
   前記第１の受光素子及び前記第２の受光素子が出力した電気信号を、前記感度制御モジュールが制御させた感度レベルに応じて増幅又は減衰させる撮像信号処理モジュールと
   を備え、
   前記第１の受光素子は、
   光を集光する第１のマイクロレンズと、
   第１の開口部を有する第１の遮光層と、
   前記第１の開口部により形成される第１の感光部と、
   を有し、
   前記第２の受光素子は、
   光を集光する第２のマイクロレンズと、
   第２の開口部を有する第２の遮光層と、
   前記第２の開口部により形成される第２の感光部と、
   を有し、
   前記感度制御モジュールは、前記明るさ判断モジュールが判断させた前記第１の領域の明るさに基づいて、前記第１のマイクロレンズに印加する電圧を制御することで前記第１のマイクロレンズの屈折率を変化させて、入射光を前記第１の感光部へ集光する割合を変化させ、前記明るさ判断モジュールが判断させた前記第２の領域の明るさに基づいて、前記第２のマイクロレンズに印加する電圧を制御することで前記第２のマイクロレンズの屈折率を変化させて、入射光を前記第２の感光部へ集光する割合を変化させるプログラム。
6. 前記明るさ判断モジュールは、前記第１の領域の明るさ及び前記第２の領域の明るさを、異なる感度で複数回判断させる
   請求項５に記載のプログラム。

Images