しかしながら、特許文献1に開示されている発明では、各軸方向でMTF値が最も高い(最もコントラストが高い)部分にフォーカスを合わせるので、各軸方向に複数の被写体が含まれている場合には、各被写体にフォーカスを合わせるのは困難である。すなわち、複数の被写体のそれぞれに、フォーカスが合った画像を提供することは困難であるという問題があった。
そこで本発明は、上記課題を解決することができる撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、撮像装置であって、同一の撮像範囲において、異なる複数の合焦距離に順次フォーカスを合わせるフォーカス制御部と、フォーカス制御部が第1の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第1撮像画像を取得し、フォーカス制御部が第2の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第2撮像画像を取得する撮像部と、第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲の画像の情報である撮像範囲画像情報を生成する画像生成部とを備える。また、撮像装置は動画を撮像する撮像装置であってよく、画像生成部が生成した複数の撮像範囲画像情報を動画データとして記録する動画記録部を更に備えてもよい。更に、画像生成部は、第1撮像画像と第2撮像画像とを連続して再生すべき一組の画像情報として撮像範囲画像情報を生成し、動画記録部は、第1撮像画像および第2撮像画像を連続して再生させるべく、撮像範囲画像情報を動画データとして記録してもよい。
また、画像生成部は、第1撮像画像と第2撮像画像とを画素毎に重ね合わせることによって生成された合成画像を撮像範囲画像情報として生成し、動画記録部は、撮像範囲画像情報を1フレームの動画データとして記録してもよい。更に、撮像範囲内の複数の測距ポイントにおいて被写体までの距離を測定して複数の合焦距離を測定する多点測距部を更に備え、フォーカス制御部は、多点測距部が測定した複数の合焦距離の被写体のそれぞれに順次フォーカスを合わせてもよい。そして、撮像部は、撮像範囲内からの光を屈折させる光屈折率可変部と、光屈折率可変部によって屈折された光を受光して第1撮像画像および第2撮像画像を取得する受光部とを更に備え、フォーカス制御部は、光屈折率可変部の屈折率を制御することにより、異なる複数の合焦距離に順次フォーカスを合わせてもよい。更に、光屈折率可変部は、印加される電圧に応じて屈折率を変化させ、フォーカス制御部は、光屈折率可変部に印加する電圧を制御することにより、光屈折率可変部の屈折率を制御してもよい。
また、本発明の第2の形態においては、撮像方法であって、第1の合焦距離にフォーカスを合わせる第1フォーカス制御段階と、第1フォーカス制御段階において第1の合焦距離にフォーカスが合わされたときに撮像範囲を撮像部に撮像させて第1撮像画像を取得させる第1撮像段階と、第1の合焦距離とは異なる第2の合焦距離にフォーカスを合わせる第2フォーカス制御段階と、第2フォーカス制御段階において第2の合焦距離にフォーカスが合わされたときに撮像範囲を撮像部に撮像させて第2撮像画像を取得させる第2撮像段階と、第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲の画像の情報である撮像範囲画像情報を生成する画像生成段階とを備える。
また、本発明の第3の形態においては、異なる複数の合焦距離にフォーカスを合わせて撮像範囲を撮像する撮像装置用の撮像プログラムであって、撮像装置を、同一の撮像範囲において、異なる複数の合焦距離に順次フォーカスを合わせるフォーカス制御部、フォーカス制御部が第1の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第1撮像画像を取得し、フォーカス制御部が第2の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第2撮像画像を取得する撮像部、第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲の画像の情報である撮像範囲画像情報を生成する画像生成部として機能させる。
また、本発明の第4の形態においては、画像記録出力システムであって、画像を記録して出力する画像記録出力システムであって、同一の撮像範囲において、異なる複数の合焦距離に順次フォーカスを合わせるフォーカス制御部と、フォーカス制御部が第1の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第1撮像画像を取得し、フォーカス制御部が第2の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第2撮像画像を取得する撮像部と、第1撮像画像と第2撮像画像とを重ね合わせて出力する画像出力部とを備える。また、画像出力部は、第1撮像画像と第2撮像画像とを連続して表示することによって重ね合わせて表示してもよい。更に、画像出力部は、第1撮像画像と第2撮像画像とを画素毎に重ね合わせることによって生成した合成画像を出力してもよい。
また、本発明の第5の形態においては、画像を記録して出力する画像記録出力方法であって、同一の撮像範囲において、異なる複数の合焦距離に順次フォーカスを合わせるフォーカス制御段階と、フォーカス制御段階が第1の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第1撮像画像を取得し、フォーカス制御段階が第2の合焦距離にフォーカスを合わせたときに撮像範囲を撮像して第2撮像画像を取得する撮像段階と、第1撮像画像と第2撮像画像とを重ね合わせて出力する画像出力段階とを備える。
また、本発明の第6の形態においては、撮像装置であって、同一の撮像範囲について複数の撮像画像を撮像する撮像部と、撮像部が撮像画像を撮像する毎に露光量を変化させる露光量制御部と、露光量制御部が第1の露光量に設定した場合に撮像部に第1撮像画像を撮像させ、露光量制御部が第2の露光量に設定した場合に撮像部に第2撮像画像を撮像させる撮像制御部と、撮像部が撮像した第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲内の画像の情報である撮像範囲画像情報を生成する画像生成部とを備える。
また、本発明の第7の形態においては、撮像方法であって、同一の撮像範囲について複数の撮像画像を撮像する撮像部の露光量を第1の露光量に設定する第1露光量制御段階と、第1露光量制御段階において設定された第1の露光量で撮像部に撮像範囲を撮像させて第1撮像画像を取得させる第1撮像制御段階と、撮像部の露光量を第2の露光量に設定する第2露光量制御段階と、第2露光量制御段階において設定された第2の露光量で撮像部に撮像範囲を撮像させて第2撮像画像を取得させる第2撮像制御段階と、撮像部が取得した第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲内の画像の情報である撮像範囲画像情報を生成する画像生成段階とを備える。
また、本発明の第8の形態においては、露光量を変化させて撮像範囲を撮像する撮像装置用の撮像プログラムであって、撮像装置を、同一の撮像範囲について複数の撮像画像を撮像する撮像部、撮像部が撮像画像を撮像する毎に露光量を変化させる露光量制御部、露光量制御部が第1の露光量に設定した場合に撮像部に第1撮像画像を撮像させ、露光量制御部が第2の露光量に設定した場合に撮像部に第2撮像画像を撮像させる撮像制御部、撮像部が撮像した第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲内の画像の情報である撮像範囲画像情報を生成する画像生成部として機能させる。
また、本発明の第9の形態においては、撮像装置であって、撮像範囲の光を受光する受光部と、受光部に照射される光の量を調整する絞り部と、絞り部の絞り量を制御することにより被写界深度を変化させる絞り制御部と、絞り制御部が第1被写界深度に設定したときに受光部が受光した光から第1撮像画像を取得し、絞り制御部が第2被写界深度に設定したときに受光部が受光した光から第2撮像画像を取得する撮像画像取得部とを備える。また、撮像画像取得部が取得した第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲の撮像範囲画像情報を生成する画像生成部を更に備えてよい。
また、本発明の第10の形態においては、撮像方法であって、撮像範囲の光を受光する受光部に照射される光の量を調整する絞り部の絞り量を制御して第1被写界深度に設定する第1被写界深度設定段階と、第1被写界深度設定段階において第1被写界深度に設定されたときに受光部が受光した撮像範囲の光から第1撮像画像を取得する第1撮像画像取得段階と、絞り部の絞り量を制御して第1被写界深度とは異なる第2被写界深度に設定する第2被写界深度設定段階と、第2被写界深度設定段階において第2被写界深度に設定されたときに受光部が受光した撮像範囲の光から第2撮像画像を取得する第2撮像画像取得段階とを備える。
また、本発明の第11の形態においては、被写界深度を変化させて撮像範囲を撮像する撮像装置用の撮像プログラムであって、撮像装置を、撮像範囲の光を受光する受光部、受光部に照射される光の量を調整する絞り部、絞り部の絞り量を制御することにより被写界深度を変化させる絞り制御部、絞り制御部が第1被写界深度に設定したときに受光部が受光した光から第1撮像画像を取得し、絞り制御部が第2被写界深度に設定したときに受光部が受光した光から第2撮像画像を取得する撮像画像取得部として機能させる。
また、本発明の第12の形態においては、撮像装置であって、撮像範囲からの光を第1の光と第2の光とに分岐する光分岐部と、第1の光を受光する第1受光部と、第2の光を受光する第2受光部と、第1受光部に対する第1の光の合焦距離を第1合焦距離に制御して第1受光部に受光させると共に、第2受光部に対する第2の光の合焦距離を第1合焦距離とは異なる第2合焦距離にフォーカスを制御して、第2受光部に受光させるフォーカス制御部と、第1受光部が受光した第1合焦距離の第1の光から第1撮像画像を取得すると共に、第2受光部が受光した第2合焦距離の第2の光から第2撮像画像を取得する撮像画像取得部とを備える。また、撮像画像取得部が取得した第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲の画像の情報である撮像範囲画像情報を生成する画像生成部を更に備えてもよい。
そして、画像生成部は、第1撮像画像中の第1受光部に対する第1の光の第1合焦距離とフォーカスが合った領域の画像と、第2撮像画像中の第2受光部に対する第2の光の第2合焦距離とフォーカスが合った領域の画像とを組み合わせることによって撮像範囲の画像を生成してもよい。更に、撮像範囲内の複数の測距ポイントにおいて撮像装置から被写体までの距離を測定する多点測距部と、多点測距部が測定した複数の距離から、複数の測距ポイントごとの合焦距離を算出する合焦距離算出部とを更に備え、フォーカス制御部は、第1受光部に対する第1の光の合焦距離を合焦距離算出部が算出した第1合焦距離に制御して第1受光部に受光させると共に、第2受光部に対する第2の光の合焦距離を合焦距離算出部が算出した第2合焦距離にフォーカスを制御して第2受光部に受光させてもよい。
更に、フォーカス制御部は、第1受光部に対する第3の光の合焦距離を第1合焦距離および第2合焦距離とは異なる第3合焦距離に制御して第1受光部に更に受光させると共に、第2受光部に対する第4の光の合焦距離を第1合焦距離、第2合焦距離、および第3合焦距離とは異なる第4合焦距離にフォーカスを制御して、第2受光部に更に受光させ、撮像画像取得部は、第1受光部が受光した第3合焦距離の第3の光から第3撮像画像を更に取得すると共に、第2受光部が受光した第4合焦距離の第4の光から第4撮像画像を更に取得し、画像生成部は、撮像画像取得部が取得した第1撮像画像、第2撮像画像、第3撮像画像、および第4撮像画像のそれぞれを組み合わせることによって撮像範囲の画像の情報である撮像範囲画像情報を生成してもよい。
また、撮像範囲内の複数の測距ポイントにおいて撮像装置から被写体までの距離を測定する多点測距部と、多点測距部が測定した複数の距離から、複数の測距ポイントごとの合焦距離を算出する合焦距離算出部とを更に備え、フォーカス制御部は、合焦距離算出部が算出した合焦距離に順次フォーカスを合わせて、第1受光部に対する第1の光の合焦距離を合焦距離算出部が算出した第1合焦距離に制御して第1受光部に受光させると共に、第2受光部に対する第2の光の合焦距離を合焦距離算出部が算出した第2合焦距離にフォーカスを制御して第2受光部に受光させ、更に、第1受光部に対する第3の光の合焦距離を合焦距離算出部が算出した第3合焦距離に制御して第1受光部に受光させると共に、第2受光部に対する第4の光の合焦距離を合焦距離算出部が算出した第4合焦距離にフォーカスを制御して第2受光部に受光させてもよい。
更に、光分岐部が分岐した第1の光を屈折させる光屈折率可変部を更に備え、フォーカス制御部は、第1受光部に対する第1の光の合焦距離を光屈折率可変部の屈折率を変化させることにより第1合焦距離に制御して第1受光部に受光させると共に、第2受光部に対する第2の光の合焦距離を第2合焦距離にフォーカスを制御して第2受光部に受光させてもよい。そして、第1受光部の位置を光軸に沿って移動させる第1受光位置駆動部を更に備え、フォーカス制御部は、第1受光位置駆動部に第1受光部の位置を光軸に沿って移動させて、第1受光部に対する第1の光の合焦距離を第1合焦距離に制御して第1受光部に受光させると共に、第2受光部に対する第2の光の合焦距離を第2合焦距離にフォーカスを制御して第2受光部に受光させてもよい。
また、本発明の第13の形態においては、撮像方法であって、撮像範囲からの光を第1の光と第2の光とに分岐する光分岐段階と、光分岐段階において分岐された第1の光を受光する第1受光部に対する第1の光の合焦距離を第1合焦距離に制御して第1受光部に受光させる第1フォーカス制御段階と、第1フォーカス制御段階において制御された第1合焦距離の第1の光から第1撮像画像を取得する第1撮像画像取得段階と、第2の光を受光する第2受光部に対する第2の光の合焦距離を第1合焦距離とは異なる第2合焦距離に制御して第2受光部に受光させる第2フォーカス制御段階と、第2フォーカス制御段階において制御された第2合焦距離の第2の光から第2撮像画像を取得する第2撮像画像取得段階とを備える。
また、本発明の第14の形態においては、同一の撮像範囲について異なる複数の合焦距離で撮像範囲を撮像する撮像装置用の撮像プログラムであって、撮像装置を、撮像範囲からの光を第1の光と第2の光とに分岐する光分岐部、第1の光を受光する第1受光部、第2の光を受光する第2受光部、第1受光部に対する第1の光の合焦距離を第1合焦距離に制御して第1受光部に受光させると共に、第2受光部に対する第2の光の合焦距離を第1の合焦距離とは異なる第2合焦距離にフォーカスを制御して、第2受光部に受光させるフォーカス制御部、第1受光部が受光した第1合焦距離の第1の光から第1撮像画像を取得すると共に、第2受光部が受光した第2合焦距離の第2の光から第2撮像画像を取得する撮像画像取得部として機能させる。
また、本発明の第15の形態においては、撮像装置であって、撮像範囲の光を受光する受光部と、受光部を撮像方向と略垂直な方向に移動させる移動制御部と、移動制御部が受光部を第1の方向へ移動させている間に、受光部に撮像範囲の光を受光させ、移動制御部が受光部を第1の方向へ移動させた後に、第1の方向とは異なる第2の方向へ受光部を移動させている間に、撮像範囲の光を受光させる撮像制御部と、第1の方向に移動している間に受光部が受光した光から第1撮像画像を取得し、更に、受光部が第2の方向へ移動している間に受光部が受光した光から第2撮像画像を取得する撮像画像取得部とを備える。また、撮像画像取得部が取得した第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲の画像の情報である撮像範囲画像情報を生成する画像生成部を更に備えてもよい。また、画像生成部は、第1撮像画像の被写体のぶれ量と第2撮像画像の被写体のぶれ量とを比較して、第1撮像画像中の第2撮像画像中よりもぶれ量の少ない被写体の領域の画像と、第2撮像画像中の第1撮像画像中よりもぶれ量の少ない被写体の領域の画像とを組み合わせて撮像範囲画像情報を生成してもよい。
また、本発明の第16の形態においては、撮像方法であって、撮像範囲の光を受光する受光部を撮像方向と略垂直な第1の方向に移動させる第1移動制御段階と、第1移動制御段階において受光部を第1の方向へ移動させている間に受光部に撮像範囲の光を受光させる第1撮像制御段階と、第1撮像制御段階において受光部が受光した光から第1撮像画像を取得する第1撮像画像取得段階と、受光部を撮像方向と略垂直な第2の方向に移動させる第2移動制御段階と、第2移動制御段階において受光部を第2の方向へ移動させている間に、受光部に撮像範囲の光を受光させる第2撮像制御段階と、第2撮像制御段階において受光部が受光した光から第2撮像画像を取得する第2撮像画像取得段階とを備える。
また、本発明の第17の形態においては、受光部を移動させている間に撮像範囲を撮像する撮像装置用の撮像プログラムであって、撮像装置を、撮像範囲の光を受光する受光部、受光部を撮像方向と略垂直な方向に移動させる移動制御部、移動制御部が受光部を第1の方向へ移動させている間に、受光部に撮像範囲の光を受光させ、移動制御部が受光部を第1の方向へ移動させた後に、第1の方向とは異なる第2の方向へ受光部を移動させている間に、撮像範囲の光を受光させる撮像制御部、第1の方向に移動している間に受光部が受光した光から第1撮像画像を取得し、更に、受光部が第2の方向へ移動している間に受光部が受光した光から第2撮像画像を取得する撮像画像取得部として機能させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、合焦距離が異なる複数の被写体を撮像した場合でも、複数の被写体にフォーカスが合った、被写界深度の深い動画および静止画を提供できる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る画像記録出力システムの概念図を示す。画像記録出力システムは、撮像装置100および画像出力装置110を備える。例えば、ユーザが木150と山160を背景にして、走っている猫140の動画を撮像する場合を考える。係る場合には、合焦距離がそれぞれ異なる猫140、木150、および山160のそれぞれに、撮像装置100は、順次フォーカスを合わせる。そして、猫140、木150、および山160の合焦距離にフォーカスが合わされたときに、撮像装置100は、撮像画像126、撮像画像124、および撮像画像122を取得する。
続いて、撮像装置100は、取得された撮像画像122、撮像画像124、および撮像画像126を組み合わせて、撮像範囲画像情報130を生成する。ここで、撮像範囲画像情報とは、同一の撮像範囲において、異なるフォーカスで撮像された、複数の撮像画像を組み合わせて生成された画像情報をいう。更に、撮像装置100は、生成した複数の撮像範囲画像情報を、動画データとして記録する。そして、撮像装置100が動画データとして記録した複数の撮像範囲画像情報は、例えば、モニタ等の表示装置に供給されて、動画として表示される。
また、他の例では、撮像装置100は撮像した動画を、画像出力装置110に供給する。撮像装置100が撮像した動画は、例えば、インターネット等のネットワークおよびメモリ等により、画像出力装置110に供給される。そして、画像出力装置110は、複数の撮像画像を重ね合わせる。なお、画像出力装置110は、撮像画像から撮像範囲画像情報を生成してもよい。そして、画像出力装置110は、重ね合わせた撮像画像を静止画として表示してよい。また、画像出力装置110は、印刷装置を用いて重ね合わせた撮像画像を印刷してアルバム等を作成してもよい。また、画像出力装置110は、撮像範囲画像情報をモニタに表示してもよい。
本実施形態に係る画像記録出力システムは、合焦距離が異なる複数の被写体を撮像して、撮像した複数の画像を組み合わせることによって、複数の被写体にフォーカスが合った、被写界深度の深い動画および静止画を提供することを目的とする。
図2は、本実施形態に係る撮像装置100の機能構成の一例を示す。撮像装置100は、多点測距部10、フォーカス制御部20、撮像部30、信号処理部40、フレーム画像格納部50、画像生成部60、動画記録部70、および画像出力部80を備える。そして、撮像部30は、レンズ35、受光部90、および光屈折率可変部95を有する。なお、画像出力装置110は、本実施形態の画像出力部80の一例である。
多点測距部10は、撮像範囲内の複数の測距ポイントにおいて、複数存在する被写体までの距離を測定して、各被写体までの合焦距離を算出する。多点測距部10は、測定された複数の被写体までの距離および算出した合焦距離を、フォーカス制御部20へ供給する。フォーカス制御部20は、同一の撮像範囲において、多点測距部10が算出した、合焦距離が異なる複数の被写体のそれぞれに、順次フォーカスを合わせる。
また、フォーカス制御部20は、光屈折率可変部95の屈折率を制御することにより、合焦距離が異なる複数の被写体のそれぞれに順次フォーカスを合わせる。例えば、フォーカス制御部20は、光屈折率可変部95に印加する電圧を制御することによって、光屈折率可変部95の屈折率を制御する。更に、フォーカス制御部20は、多点測距部10が測定した合焦距離を用いずに、受光部90が取得した撮像範囲の画像のコントラストを検出することによって、合焦距離を決定するオートフォーカス制御により、被写体にフォーカスを合わせてもよい。
撮像部30は、フォーカス制御部20が、第1の合焦距離にフォーカスを合わせたときに、撮像範囲を撮像して第1撮像画像を取得する。そして、撮像部30は、フォーカス制御部20が、第2の合焦距離にフォーカスを合わせたときに、撮像範囲を撮像して第2撮像画像を取得する。ここで、第1撮像画像とは、撮像範囲内に存在する、所定の被写体の合焦距離にフォーカスを合わせて撮像部30が取得した撮像画像をいう。例えば、第1撮像画像は、主要被写体にフォーカスを合わせて撮像部30が取得した撮像画像であってよい。また、第2撮像画像とは、第1撮像画像において撮像された被写体とは異なる被写体の合焦距離にフォーカスを合わせて撮像部30が取得した撮像画像をいう。なお、撮像部30が取得した撮像画像は、第1撮像画像および第2撮像画像の2枚に限られない。被写体が2以上ある場合には、複数の被写体における合焦距離のそれぞれにフォーカスを合わせて画像を撮像して、複数の撮像画像を撮像部30は取得してもよい。
また、光屈折率可変部95は、被写体からの光の焦点が受光部90に合うように、レンズ35を通して入射する光を屈折させる。そして、受光部90は、光屈折率可変部95によって屈折された光を受光して、第1撮像画像および第2撮像画像を取得する。そして、受光部90は、取得した撮像画像を、信号処理部40へ供給する。
信号処理部40は、受光部90が取得した撮像画像に対して、ホワイトバランス補正処理、ガンマ補正処理等の画像処理を施す。そして、信号処理部40は、フレーム画像格納部50へ第1撮像画像および第2撮像画像等の画像を供給する。フレーム画像格納部50は、第1撮像画像および第2撮像画像等の複数の画像を格納する。フレーム画像格納部50は、画像生成部60へ、第1撮像画像および第2撮像画像等の複数の撮像画像を供給する。
画像生成部60は、第1撮像画像と第2撮像画像とを組み合わせて、撮像範囲画像情報を生成する。そして、画像生成部60は、生成した撮像範囲画像情報を、動画記録部70へ供給する。動画記録部70は、画像生成部60が生成した複数の撮像範囲画像情報を動画データとして記録する。画像出力部80は、動画記録部70が記録した動画データを受け取り、動画データとして記録された撮像範囲画像情報を、モニタ等の表示装置に動画として表示する。また、画像出力部80の一例である、画像出力装置110においては、第1撮像画像と第2撮像画像とを重ね合わせることによって画像生成部60が生成した画像を、静止画として出力してもよい。
本実施形態に係る画像記録出力システムによれば、合焦距離が異なる複数の被写体にフォーカスを合わせて撮像画像を取得できる。そして、画像記録出力システムは、取得した撮像画像を組み合わせて、被写界深度の深い動画データを生成できる。また、画像記録出力システムは、取得した撮像画像を重ね合わせて、被写界深度の深い静止画を生成してもよい。これにより、複数の被写体にフォーカスが合った動画、又は静止画をユーザは自動的に鑑賞できる。
図3は、画像生成部60が撮像範囲画像情報を生成する方法の一例を示す。画像生成部60は、第1撮像画像と第2撮像画像とを、連続して再生すべき一組の画像情報として撮像範囲画像情報を生成する。例えば、第1撮像画像である撮像画像300と、第2撮像画像である撮像画像310とを、一組の撮像範囲画像情報320とする。なお、第1撮像画像と第2撮像画像との間の時間間隔は、フレーム周期に基づいて決定してよい。
そして、画像生成部60は、前記説明と同様に、撮像範囲画像情報330、撮像範囲画像情報340、および撮像範囲画像情報350等の複数の撮像範囲画像情報を、それぞれ2枚の撮像画像を一組にすることにより生成する。なお、上記説明においては2枚の撮像画像を一組として撮像範囲画像情報を生成しているが、撮像画像は2枚に限られず、複数の撮像画像から撮像範囲画像情報を生成してもよい。
そして、画像生成部60は、生成した撮像範囲画像情報330から撮像範囲画像情報350等の複数の撮像範囲画像情報を、動画記録部70へ供給する。そして、画像出力装置110は、撮像範囲画像情報330から撮像範囲画像情報350等の複数の撮像範囲画像情報を、モニタ等に連続して再生させる。また、他の例では、画像記録出力システムは、第1撮像画像と第2撮像画像とを連続表示することによって重ね合わせて、静止画を表示する。例えば、撮像画像300と撮像画像310とを、交互に連続表示して、モニタ等に静止画として表示する。
図4は、画像生成部60が撮像範囲画像情報を生成する方法の一例を示す。画像生成部60は、第1撮像画像と第2撮像画像とを画素毎に重ね合わせることによって合成画像を生成して、撮像範囲画像情報とする。例えば、第1撮像画像である撮像画像400と、第2撮像画像である撮像画像410とを、画素毎に重ね合わせて合成画像を生成する。そして、画像生成部60は、前記説明と同様に、合成画像430、合成画像440、および合成画像450等の複数の撮像範囲画像情報を、それぞれ2枚の撮像画像を、画素毎に重ね合わせることによって生成する。
なお、上記説明においては2枚の撮像画像から1枚の合成画像を生成して、撮像範囲画像情報としているが、合成させる撮像画像は2枚に限られない。画像生成部60は、2枚以上の複数の撮像画像を用いて、撮像範囲画像情報を生成させてもよい。例えば、撮像部30が、複数の被写体にフォーカスを合わせて複数の撮像画像を撮像した場合には、複数の被写体毎に撮像部30が撮像した撮像画像を用いて、画像生成部60は撮像範囲画像情報を生成する。そして、画像生成部60は、生成した複数の撮像範囲画像情報を、動画記録部70へ供給する。動画記録部70は、画像生成部60が生成した撮像範囲画像情報を、1フレームの動画データとして記録する。そして、撮像装置100は、複数の1フレームの動画データを連続してモニタ等に出力することにより、動画を再生する。
また、他の例では、画像記録出力システムは、撮像した第1撮像画像と第2撮像画像とを画素毎に重ね合わせることによって、静止画像を生成する。そして、画像出力部80は、生成された静止画像を出力する。例えば、モニタ等に静止画として表示するか、または、印刷装置により静止画を印刷できる。
本実施形態に係る画像記録出力システムによれば、撮像した複数の撮像画像を連続して再生すべき一組の撮像範囲画像情報とすることができる。また、撮像した複数の撮像画像を画素毎に重ね合わせて、1フレームの画像データとして撮像範囲画像情報とすることができる。これにより、画像記録出力システムは、合焦距離が異なる複数の被写体にフォーカスが合わされた、被写界深度の深い動画および静止画を、自動的に生成できる。
図5は、光屈折率可変部95における光の屈折の一例を示す。光屈折率可変部95は、撮像範囲内に存在する被写体からの光を屈折させる。また、フォーカス制御部20は、光屈折率可変部95に電圧を印加することにより、光屈折率可変部95の屈折率を制御する。例えば、フォーカス制御部20は、光屈折率可変部95の屈折率を制御することにより、被写体510および被写体512からの光の屈折を制御する。これにより、被写体510、被写体512の位置に関わらず、フォーカス制御部20は、被写体510および被写体512からの光の焦点を、受光部90に合わせることができる。
光屈折率可変部95は、固体、液体、その他流動体であって、電圧の印加により光の屈折率が変化する材料で構成する。例えば、ポッケルス効果を示すLiNbO3、LiTaO3、およびBaTiO3、並びにカー効果を示すPLZT、KTNなどの電気光学結晶を用いる。また、電圧を印加することにより、光の屈折率が変化する液晶材料を用いてもよい。更には、フォーカス制御部20は、被写体からの光の屈折を、光屈折率可変部95の屈折率の制御と共に、レンズ35を被写体側、あるいは受光部90側に駆動させて制御してもよい。
本実施形態に係る画像記録出力システムによれば、光屈折率可変部95の屈折率を制御することにより、被写体からの光の焦点を、受光部90に合わせることができる。これにより、レンズを機械的に駆動させてフォーカスを合わせる場合に比べて、被写体によりすばやくフォーカスを合わせることができる。したがって、撮像範囲に含まれる複数の被写体のそれぞれにフォーカスが合った、被写界深度の深い動画を、ユーザに容易に提供できる。
図6は、本発明の他の実施形態に係る撮像装置100の機能構成の一例を示す。本実施形態に係る撮像装置100は、露光量制御部22、絞り制御部24、撮像部30、撮像制御部32、撮像画像取得部45、画像生成部60、画像出力部80を備える。また、撮像部30は、絞り部12、レンズ35、および受光部90を有する。なお、本実施形態に係る撮像装置100は、図1から図5の上記説明で説明した撮像装置100の構成、および機能の一部または全部を更に備えてよい。
撮像部30は、同一の撮像範囲について複数の撮像画像を撮像する。具体的には、撮像部30は、レンズ35を介して撮像範囲の光を受光部90に受光させる。また、絞り部12は、絞り制御部24の制御に基づいて、受光部90に照射される撮像範囲の光の量を調整する。そして、受光部90は、絞り部12において光の量が調整された撮像範囲の光を受光してもよい。露光量制御部22は、撮像部30が撮像画像を撮像するごとに露光量を変化させる。具体的には、露光量制御部22は、撮像制御部32の制御に基づいて、撮像部30のシャッタースピードおよび絞り量等を制御することにより、露光量を変化させる。そして、受光部90は、露光量制御部22が所定の露光量に設定した場合に、撮像範囲の光を受光する。絞り制御部24は、撮像制御部32の制御に基づいて、絞り部12の絞り量を制御することにより被写界深度を変化させる。
撮像制御部32は、露光量制御部22が第1の露光量に設定した場合に撮像部30に第1撮像画像を撮像させる。そして、撮像制御部32は、露光量制御部22が第1の露光量とは異なる第2の露光量に設定した場合に撮像部30に第2撮像画像を撮像させる。具体的には、撮像制御部32は、露光量制御部22に働きかけて露光量制御部22に異なる複数の露光量を設定させる。そして、撮像制御部32は、受光部90に同一の撮像範囲について異なる複数の露光量ごとの撮像範囲からの光を受光させる。続いて、撮像制御部32は、撮像画像取得部45に、受光部90が受光した光から、同一の撮像範囲について異なる複数の露光量ごとに、複数の撮像画像を取得させる。
また、撮像制御部32は、絞り制御部24が第1被写界深度に設定した場合に撮像部30に第1撮像画像を撮像させてよい。そして、撮像制御部32は、絞り制御部24が第1被写界深度とは異なる第2被写界深度に設定した場合に撮像部30に第2撮像画像を撮像させてもよい。具体的には、撮像制御部32は、絞り制御部24に働きかけて絞り制御部24に異なる複数の被写界深度を設定させる。そして、撮像制御部32は、受光部90に同一の撮像範囲について異なる複数の被写界深度ごとに撮像範囲からの光を受光させる。続いて、撮像制御部32は、撮像画像取得部45に、受光部90が受光した光から、同一の撮像範囲について異なる複数の被写界深度ごとに、複数の撮像画像を取得させる。撮像画像取得部45は、取得した撮像画像を画像生成部60に供給する。
画像生成部60は、撮像部30が撮像した複数の撮像画像のそれぞれを組み合わせることによって撮像範囲内の画像の情報である撮像範囲画像情報を生成する。具体的には、撮像画像取得部45が、同一の撮像範囲について異なる複数の露光量ごとに、複数の撮像画像を取得した場合には、画像生成部60は、複数の撮像画像のそれぞれを組み合わせて、ダイナミックレンジの広い合成画像を生成してよい。また、画像生成部60は、異なる露光量で撮像された複数の撮像画像のそれぞれから、予め定められた明るさを示す撮像画像の部分領域の画像を抽出して、抽出した複数の部分領域の画像を組み合わせて合成画像を生成してもよい。これにより、撮像範囲内の明るい部分および暗い部分のそれぞれに被写体が存在する場合でも、画像生成部60は、それぞれの被写体を適切に識別できる合成画像を生成できる。
また、撮像画像取得部45が、同一の撮像範囲について異なる複数の被写界深度ごとに複数の撮像画像を取得した場合には、画像生成部60は、複数の撮像画像のそれぞれを組み合わせて合成画像を生成する。例えば、画像生成部60は、異なる複数の被写界深度ごとに撮像画像取得部45が取得した撮像画像のそれぞれを組み合わせることにより、所定の被写体だけにフォーカスが合った合成画像、および所定の被写体だけをぼかした合成画像を生成できる。画像生成部60は、生成した撮像範囲画像情報を画像出力部80に供給する。画像出力部80は、画像生成部60から受け取った撮像範囲画像情報を、モニタ等の表示装置に表示する。また、画像出力部80は、撮像範囲画像情報を用いて、紙媒体等に画像を印刷してもよい。
本実施形態に係る撮像装置100によれば、同一の撮像範囲について、異なる複数の露光量で複数の撮像画像を撮像して、撮像した複数の撮像画像から合成画像を生成できるので、ダイナミックレンジの広い合成画像をユーザは鑑賞できる。また、本実施形態に係る撮像装置100によれば、同一の撮像範囲について、異なる複数の被写界深度で複数の撮像画像を撮像して、撮像した複数の撮像画像から合成画像を生成できるので、撮像範囲内でユーザが注目する領域を除く部分、例えば主要被写体の領域を除く部分だけをぼかした合成画像を容易に生成できる。
図7は、本実施形態に係る画像生成部60が撮像範囲画像情報を生成する方法の一例を示す。模式図610、模式図620、および模式図630には、撮像範囲内で被写体にピントが合う領域と被写界深度との関係の概要を示す。まず、撮像制御部32は、ユーザの撮像動作に応じて絞り制御部24を制御して、異なる複数の被写界深度を設定する。例えば、撮像制御部32は、ユーザの一度の撮像動作に応じて絞り制御部24を制御して、異なる複数の被写界深度を設定する。続いて、撮像制御部32は、異なる複数の被写界深度ごとに、同一の撮像範囲の撮像画像を撮像画像取得部45に取得させる。例えば、撮像画像取得部45は、異なる複数の被写界深度612、被写界深度622、および被写界深度632ごとに撮像画像614、撮像画像624、および撮像画像634を取得する。
例えば、模式図610を参照すると、被写界深度612の範囲内に被写体600および被写体602のいずれもが存在しないので、撮像画像614において被写体600および被写体602のいずれもがぼけた画像として撮像される。また、模式図620を参照すると、被写界深度622の範囲に含まれる被写体600および被写体602の一部分にピントが合う。したがって、被写界深度622の範囲内に含まれない被写体602の一部分がぼけている撮像画像624を撮像画像取得部45は取得する。一方、模式図630を参照すると、被写界深度632の範囲には、被写体600および被写体602の全てが含まれている。係る場合には、被写体600および被写体602のいずれもがぼけていない、撮像画像634を撮像画像取得部45は取得する。
そして、画像生成部60は、撮像画像取得部45が取得した、撮像画像614、撮像画像624、および撮像画像634から合成画像を生成する。例えば、ユーザが、被写体600についてはピントが合った画像を所望しないが、被写体602の全体にピントが合った画像を所望する場合には、画像生成部60は、撮像画像614の被写体600の領域の画像と撮像画像634の被写体602の領域の画像とをそれぞれ組み合わせて合成画像650を生成する。これにより、被写体600がぼけており、被写体602にピントが合った合成画像650を、画像生成部60は生成できる。また、ユーザが、被写体600についてピントが合った画像を所望する一方で、被写体602についてはピントが合った画像を所望しない場合には、画像生成部60は、撮像画像624の被写体600の領域の画像または撮像画像634の被写体600の領域の画像と、撮像画像614の被写体602の領域の画像とをそれぞれ組み合わせて合成画像を生成してもよい。
本実施形態に係る撮像装置100は、同一の撮像範囲において、異なる複数の被写界深度を自動的に設定したときに、撮像範囲の画像をそれぞれ自動的に撮像して、撮像した複数の撮像画像から合成画像を生成できるので、ユーザが撮像装置100において複雑な撮像条件の設定をしなくても、ユーザが撮像画像に含むことを意図した被写体にだけピントが合った合成画像を容易に生成できる。
図8は、本発明の他の実施形態に係る撮像装置100の機能構成の一例を示す。本実施形態に係る撮像装置100は、多点測距部10、合焦距離算出部15、フォーカス制御部20、撮像部30、撮像制御部32、撮像画像取得部45、画像生成部60、および画像出力部80を備える。また、撮像部30は、レンズ35、光分岐部37、第1受光部92、第2受光部94、第1光屈折率可変部96、第2光屈折率可変部97、第1受光位置駆動部98、および第2受光位置駆動部99を有する。なお、撮像部30は、第1光屈折率可変部96、第1受光位置駆動部98、第2光屈折率可変部97、および第2受光位置駆動部99のうち、少なくとも一つを有していてよい。また、本実施形態に係る撮像装置100は、図1から図7の上記説明で説明した撮像装置100の構成、および機能の一部または全部を更に備えてよい。
光分岐部37は、レンズ35を介して撮像部30に入射された撮像範囲からの光を、異なる複数の光に分岐する。例えば、光分岐部37は、撮像範囲からの光を第1の光と第2の光とに分岐する。なお、撮像部30が2以上の複数の受光部を有している場合には、光分岐部37は撮像範囲からの光を、一の光と他の複数の光とに分岐する。そして、光分岐部37は、分岐した一の光および他の複数の光のそれぞれを、2以上の複数の受光部のそれぞれに入射させてもよい。第1光屈折率可変部96は、フォーカス制御部20の制御に基づいて、光分岐部37が分岐した第1の光を屈折させる。また、第2光屈折率可変部97は、フォーカス制御部20の制御に基づいて、光分岐部37が分岐した第2の光を屈折させる。第1光屈折率可変部96および第2光屈折率可変部97は、固体、液体、その他流動体であって、電圧の印加により光の屈折率が変化する材料で構成されていてよい。なお、撮像部30は、第1光屈折率可変部96または第2光屈折率可変部97のいずれか一方だけを有していてもよい。更に、撮像部30は、受光部を複数有している場合には、受光部の数に応じて複数の光屈折率可変部を有していてもよい。
第1受光部92は光分岐部37が分岐した第1の光を受光する。また、第2受光部94は光分岐部37が分岐した第2の光を受光する。なお、撮像部30が受光部を複数有している場合には、複数の受光部は光分岐部37が分岐した複数の光のそれぞれを受光する。第1受光位置駆動部98は、フォーカス制御部20の制御に基づいて、第1受光部92の位置を光軸に沿って移動させる。第2受光位置駆動部99は、フォーカス制御部20の制御に基づいて、第2受光部94の位置を光軸に沿って移動させる。第1受光位置駆動部98および第2受光位置駆動部99は、電圧で駆動されるアクチュエータであってよい。また、撮像部30は、第1受光位置駆動部98または第2受光位置駆動部99のいずれか一方だけを有していてもよい。更に、撮像部30は、受光部を複数有している場合には、受光部ごとに受光位置駆動部を有していてもよい。第1受光位置駆動部98および第2受光位置駆動部99が、第1受光部92および第2受光部94を光軸に沿ってそれぞれ移動させることにより、第1受光部92および第2受光部94の焦点距離がそれぞれ調整される。多点測距部10は、撮像範囲内の複数の測距ポイントにおいて撮像装置100から被写体までの距離を測定する。多点測距部10は、測定結果を合焦距離算出部15に供給する。なお、撮像装置100は、撮像範囲内の複数の測距ポイントにおける撮像装置100から被写体での距離の測定に、オートフォーカスを用いてもよい。合焦距離算出部15は、多点測距部10から受け取った測定結果から、複数の測距ポイントごとの合焦距離を算出する。合焦距離算出部15は、算出した複数の測距ポイントごとの合焦距離をフォーカス制御部20に供給する。
フォーカス制御部20は、第1受光部92に対する第1の光の合焦距離を第1合焦距離に制御して第1受光部に受光させる。そして、フォーカス制御部20は、第2受光部に対する第2の光の合焦距離を第1合焦距離とは異なる第2合焦距離にフォーカスを制御して、第2受光部に受光させる。具体的には、フォーカス制御部20は、第1受光部92に対する第1の光の合焦距離を、第1光屈折率可変部96の屈折率を変化させて第1合焦距離に制御して第1受光部に受光させる。そして、フォーカス制御部20は、第2受光部94に対する第2の光の合焦距離を、第2光屈折率可変部97の屈折率を変化させて第2合焦距離に制御して第2受光部94に受光させる。また、フォーカス制御部20は、第1受光位置駆動部98に第1受光部92の位置を光軸に沿って移動させて、第1受光部92に対する第1の光の合焦距離を第1合焦距離に制御して第1受光部92に受光させてもよい。そして、フォーカス制御部20は、第2受光位置駆動部99に第2受光部94の位置を光軸に沿って移動させて、第2受光部94に対する第2の光の合焦距離を第2合焦距離に制御して第2受光部94に受光させてもよい。
更に、フォーカス制御部20は、第1受光部92に対する第3の光の合焦距離を第1合焦距離および第2合焦距離とは異なる第3合焦距離に制御して、第1受光部92に更に受光させてよい。そして、フォーカス制御部20は、第3の光を第1受光部92に受光させると共に、第2受光部94に対する第4の光の合焦距離を第1合焦距離、第2合焦距離、および第3合焦距離とは異なる第4合焦距離にフォーカスを制御して、第2受光部94に更に受光させてもよい。すなわち、フォーカス制御部20は、第1受光部92に対する光の合焦距離を順次変化させて第1受光部92に受光させると共に、第2受光部94に対する光の合焦距離を第1受光部92に対する光の合焦距離とは異なる合焦距離に順次変化させて第2受光部94に受光させてよい。
また、フォーカス制御部20は、第1受光部92および第2受光部94に対する光の合焦距離を、合焦距離算出部15から受け取った複数の測距ポイントごとの合焦距離にそれぞれ制御して、第1受光部92および第2受光部94にそれぞれ受光させてもよい。更に、フォーカス制御部20は、合焦距離算出部15から受け取った複数の測距ポイントごとの合焦距離に順次フォーカスを合わせて、第1受光部92および第2受光部94に対する光の合焦距離を合焦距離算出部15が算出した合焦距離にそれぞれ制御して、第1受光部92および第2受光部94にそれぞれ受光させてもよい。すなわち、フォーカス制御部20は、第1受光部92および第2受光部94に対する光の合焦距離を、合焦距離算出部15が算出した複数の合焦距離にそれぞれ制御して、第1受光部92および第2受光部94のそれぞれに受光させてよい。撮像画像取得部45は、第1受光部92が受光した第1合焦距離の第1の光から第1撮像画像を取得する。また、撮像画像取得部45は、第2受光部94が受光した第2合焦距離の第2の光から第2撮像画像を取得する。撮像画像取得部45は、第1受光部92が異なる複数の合焦距離の光を受光した場合には、複数の合焦距離の光からそれぞれ複数の撮像画像を取得してよい。また、撮像画像取得部45は、第2受光部94が異なる複数の合焦距離の光を受光した場合には、複数の合焦距離の光からそれぞれ複数の撮像画像を取得してよい。撮像画像取得部45は取得した撮像画像を画像生成部60に供給する。
画像生成部60は、撮像画像取得部45が取得した第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲の画像の情報である撮像範囲画像情報を生成する。また、画像生成部60は、撮像画像取得部45が取得した複数の撮像画像をそれぞれ組み合わせることによって撮像範囲画像情報を生成してもよい。例えば、画像生成部60は、第1撮像画像中の第1受光部92に対する第1の光の第1合焦距離とフォーカスが合った領域の画像を、第1撮像画像の空間周波数成分を解析して抽出する。また、画像生成部60は、第2撮像画像中の第2受光部94に対する第2の光の第2合焦距離とフォーカスが合った領域の画像を、第2撮像画像の空間周波数成分を解析して抽出する。そして、画像生成部60は、第1撮像画像から抽出した領域の画像と第2撮像画像から抽出した領域の画像とを組み合わせることによって、撮像範囲の全ての領域にフォーカスが合った画像を生成してよい。なお、画像生成部60は、第1撮像画像および第2撮像画像からフォーカスが合っていない領域の画像をそれぞれ抽出して、撮像範囲の全ての領域がぼけた画像を生成してもよい。画像生成部60は生成した画像を画像出力部80に供給する。画像出力部80は、画像生成部60から受け取った撮像範囲画像情報を、モニタ等の表示装置に表示する。また、画像出力部80は、撮像範囲画像情報を用いて、紙媒体等に画像を印刷してもよい。
本実施形態に係る撮像装置100によれば、合焦距離が異なる複数の被写体にフォーカスを合わせて撮像画像を取得できる。そして、撮像装置100は、取得した撮像画像を組み合わせて、被写界深度の深い画像を生成できる。また、撮像装置100は、取得した撮像画像を重ね合わせて、被写界深度の深い画像を生成してもよい。これにより、複数の被写体にフォーカスが合った画像をユーザは自動的に鑑賞できる。
図9は、本発明の他の実施形態に係る撮像装置100の機能構成の一例を示す。撮像装置100は、移動制御部26、撮像部30、撮像制御部32、撮像画像取得部45、画像生成部60、および画像出力部80を備える。また、撮像部30は、レンズ35および受光部90を有する。なお、本実施形態に係る撮像装置100は、図1から図8の上記説明で説明した撮像装置100の構成、および機能の一部または全部を更に備えてよい。
受光部90は、撮像範囲の光をレンズ35を介して受光する。移動制御部26は、撮像制御部32の制御に基づいて、受光部90を撮像方向と略垂直な方向に移動させる。具体的には、移動制御部26は、撮像制御部32の制御に基づいて、受光部90を有する撮像部30を撮像方向と略垂直な方向に移動させてよい。例えば、電圧で駆動されるアクチュエータを用いて、移動制御部26は撮像部30を移動させてよい。なお、移動制御部26は、撮像方向と略垂直な複数の方向に撮像部30を移動させてもよい。撮像制御部32は、移動制御部26が受光部90を第1の方向へ移動させている間に、受光部90に撮像範囲の光を受光させる。そして、移動制御部26が受光部90を第1の方向へ移動させた後に、第1の方向とは異なる第2の方向へ受光部90を移動させている間に、撮像範囲の光を受光させる。また、撮像制御部32は、移動制御部26が撮像部30を撮像方向と略垂直な複数の方向に移動させた場合には、撮像部30を複数の方向のそれぞれへ移動させている間に、受光部90に撮像範囲の光をそれぞれ受光させてよい。
また、撮像制御部32は、移動制御部26が受光部90を予め定められた方向に移動させている間に、受光部90に撮像範囲の光を受光させてもよい。具体的には、撮像制御部32は、撮像範囲内において撮像範囲に含まれる被写体が移動すると予測される方向に、移動制御部26は受光部90を移動させて、受光部90に撮像範囲の光を受光させてもよい。例えば、撮像装置100は、受光部90が連続して撮像範囲の光を受光している間に、撮像制御部32の制御に基づいて撮像画像取得部45が取得した複数の撮像範囲の画像から、撮像範囲に含まれる被写体の移動方向を算出して被写体の動きを予測する被写体動き予測部を更に備えていてよい。例えば、被写体動き予測部は、複数の撮像画像の差分から被写体の動きを予測してよい。そして、被写体動き予測部が予測した被写体の移動方向に、移動制御部26は受光部90を移動させてよい。
また、撮像制御部32は、予め定められたモードに基づいて、移動制御部26に受光部90を移動させてもよい。例えば、ユーザが運動会において被写体を撮像する場合には、被写体は横方向に移動する場合が多いので、移動制御部26は、受光部90を横方向に移動させるモードを有していてよい。また、ロケットの発射および動物が木を登る等の動作においては、被写体は縦方向に移動する場合が多いので、移動制御部26は、受光部90を縦方向に移動させるモードを有していてよい。更に、移動制御部26は、受光部90を全方向に移動させるモード、および所定の方向に移動させる場合に複数の速度で複数回移動させるモード等を有していてよい。
なお、移動制御部26が、受光部90を所定の方向に移動させる場合に複数の速度で複数回移動させるモードは、撮像範囲内に異なる速度で移動する複数の被写体が含まれている場合に、複数の被写体のそれぞれについてぶれのない画像を生成する場合に有効である。例えば、撮像範囲内に第1の方向に第1の速度で移動する第1の被写体および第1の方向に第2の速度で移動する第2の被写体が含まれている場合を考える。係る場合において、移動制御部26が第1の方向に複数の異なる速度で受光部90を移動させて、複数の異なる速度ごとに受光部90に受光させる。そして、撮像画像取得部45は、複数の異なる速度ごとに受光部90が受光した光から、複数の撮像画像を取得する。これにより、画像生成部60は、撮像画像取得部45が取得した複数の撮像画像の中から、第1の被写体および第2の被写体のそれぞれのぶれの量が複数の撮像画像の中でより少ない撮像画像を抽出して、第1の被写体および第2の被写体のそれぞれについてぶれの少ない合成画像を生成できるので、撮像範囲に移動速度が異なる複数の被写体が含まれている場合でも、ユーザは、生成した合成画像から複数の被写体のそれぞれを明確に識別できる。
撮像画像取得部45は、第1の方向に移動している間に受光部90が受光した光から第1撮像画像を取得する。また、撮像画像取得部45は、第2の方向に移動している間に受光部90が受光した光から第2撮像画像を取得する。更に、撮像画像取得部45は、複数の方向にそれぞれ移動している間に受光部90が受光した光から、撮像画像をそれぞれ取得してよい。撮像画像取得部45は、取得した撮像画像を画像生成部60に供給する。画像生成部60は、撮像画像取得部45から受け取った第1撮像画像と第2撮像画像とを組み合わせることによって撮像範囲画像情報を生成する。具体的には、画像生成部60は、第1撮像画像の被写体のぶれ量と第2撮像画像の被写体のぶれ量とを比較して、第1撮像画像中の第2撮像画像中よりもぶれ量の少ない被写体の領域の画像と、第2撮像画像中の第1撮像画像中よりもぶれ量の少ない被写体の領域の画像とを組み合わせて撮像範囲画像情報を生成してもよい。
例えば、画像生成部60は、第1撮像画像および第2撮像画像の被写体の領域の空間周波数成分をそれぞれ解析する。そして、画像生成部60は、空間周波数の高周波数成分が予め定められたレベル以上を示す撮像画像中の被写体の領域を、被写体のぶれ量が撮像画像中で最も少ない領域と判断してよい。そして、画像生成部60は、第1撮像画像中の被写体のぶれ量が最も少ない領域と第2撮像画像中の被写体のぶれ量が最も少ない領域とを比較して、第1撮像画像中の第2撮像画像中よりもぶれ量の少ない被写体の領域の画像と、第2撮像画像中の第1撮像画像中よりもぶれ量の少ない被写体の領域の画像とを組み合わせてよい。
また、画像生成部60は、第1撮像画像の被写体のぶれ量と第2撮像画像の被写体のぶれ量とを比較して、第1撮像画像中の第2撮像画像中よりもぶれ量の多い被写体の領域の画像と、第2撮像画像中の第1撮像画像中よりもぶれ量の多い被写体の領域の画像とを組み合わせて撮像範囲画像情報を生成してもよい。画像生成部60は、生成した撮像範囲画像情報を画像出力部80に供給する。画像出力部80は、画像生成部60から受け取った撮像範囲画像情報を、モニタ等の表示装置に表示する。また、画像出力部80は、撮像範囲画像情報を用いて、紙媒体等に画像を印刷してもよい。
本実施形態に係る撮像装置100によれば、複数の撮像方向に略垂直方向に撮像部30をそれぞれ移動させている間に、複数の撮像範囲の画像を撮像する。そして、撮像した複数の撮像画像から被写体のぶれの少ない部分を抽出して合成画像を生成できる。これにより、ユーザは、撮像装置100に対して複雑な撮像条件の設定をしなくても、複数の被写体のそれぞれを明確に識別できる合成画像を容易に生成できる。
図10は、本実施形態に係る画像生成部60が撮像範囲画像情報を生成する方法の一例を示す。まず、移動制御部26が撮像部30を被写体702の移動方向に移動させている間に受光部90が受光した光から、撮像画像取得部45は撮像画像700を取得する。また、移動制御部26が撮像部30を被写体712の移動方向に移動させている間に撮像画像700と同一の撮像範囲から受光部90が受光した光から、撮像画像取得部45は撮像画像710を取得する。撮像画像700では、被写体702のぶれは被写体704に比べて少ない一方で、被写体704の移動方向が撮像部30の移動方向とは逆方向であるので、被写体704の領域の画像は流れた画像となっている。一方、撮像画像710では、被写体714のぶれは被写体712よりも少ない一方で、被写体712の移動方向が撮像部30の移動方向とは逆方向であるので、被写体712の領域の画像は流れた画像となっている。
画像生成部60は、撮像画像取得部45が取得した撮像画像700および撮像画像710のそれぞれを解析して、撮像画像700に含まれる被写体702のぶれが少ない領域の画像と、撮像画像710に含まれる被写体714のぶれが少ない領域の画像とを組み合わせることによって、合成画像720を生成する。画像生成部60が生成した合成画像720では、被写体722および被写体724のそれぞれのぶれが少ないので、ユーザは、被写体722および被写体724のそれぞれを明確に識別できる。また、画像生成部60は、撮像画像に含まれる複数の被写体のぶれ量をそれぞれ比較して、ぶれ量がより大きい領域の画像をそれぞれ抽出して合成画像を生成してもよい。例えば、画像生成部60は、撮像画像700において被写体702のぶれ量と被写体704のぶれ量とを比較して、よりぶれ量の大きい被写体704の領域の画像を抽出する。同様にして、画像生成部60は、撮像画像710から被写体712の領域の画像を抽出する。そして、画像生成部60は、撮像画像700および撮像画像710から抽出した画像を組み合わせて、撮像範囲に含まれる被写体のそれぞれが流れた画像である合成画像を生成してもよい。更に、画像生成部60は、撮像画像に含まれる複数の被写体のぶれ量をそれぞれ比較して、一の被写体のぶれ量がより大きい領域の画像、および他の被写体のぶれりょうがより小さい領域の画像をそれぞれ抽出して合成画像を生成してもよい。
本実施形態に係る撮像装置100によれば、撮像部30を被写体の移動方向に沿って移動させている間に撮像範囲の撮像画像を撮像できるので、撮像範囲内の被写体のぶれが少ない撮像画像を取得することを目的としてシャッタースピードを早くして撮像しなくても、被写体のぶれの少ない画像を取得できると共に、シャッタースピードを早くして撮像した場合に生じる光量不足の問題の発生を防止できる。また、本実施形態に係る撮像装置100によれば、撮像部30を被写体の移動方向と逆方向に移動させている間に撮像範囲の撮像画像を撮像できるので、撮像範囲内の被写体のぶれを多くした流れた撮像画像を取得することを目的としてシャッタースピードを遅くして撮像しなくても、被写体が流れた画像を取得できると共に、シャッタースピードを遅くして撮像した場合に生じる光量オーバーの問題の発生を防止できる。
図11は、本実施形態に係る撮像装置100のハードウェア構成の一例を示す。撮像装置100は、ホストコントローラ1082により相互に接続されるCPU1000、RAM1020、グラフィックコントローラ1075、および表示装置1080を有するCPU周辺部と、入出力コントローラ1084によりホストコントローラ1082に接続される通信インターフェイス1030およびROM1010を有する入出力部とを備える。
ホストコントローラ1082は、高い転送レートでRAM1020をアクセスするCPU1000およびグラフィックコントローラ1075をRAM1020と接続する。CPU1000は、ROM1010およびRAM1020に格納されたプログラムに基づいて動作して、各部を制御する。グラフィックコントローラ1075は、CPU1000等がRAM1020内に設けたフレームバッファ上に生成する画像データを取得して、表示装置1080上に表示させる。これに代えて、グラフィックコントローラ1075は、CPU1000等が生成する画像データを格納するフレームバッファを内部に含んでもよい。
入出力コントローラ1084は、比較的高速な入出力装置である通信インターフェイス1030をホストコントローラ1082と接続する。通信インターフェイス1030は、ネットワークを介して他の装置と通信する。また、入出力コントローラ1084には、ROM1010が接続される。ROM1010は、撮像装置100の起動時にCPU1000が実行するブートプログラム、撮像装置100のハードウェアに依存するプログラム等を格納する。
撮像装置100に提供されるプログラムは、ネットワークを介して撮像装置100にインストールされ、撮像装置100において実行される。撮像装置100にインストールされて実行されるプログラムは、撮像装置100を、多点測距部10、絞り部12、合焦距離算出部15、フォーカス制御部20、露光量制御部22、絞り制御部24、移動制御部26、撮像部30、撮像制御部32、光分岐部37、信号処理部40、撮像画像取得部45、フレーム画像格納部50、画像生成部60、動画記録部70、画像出力部80、受光部90、第1受光部92、第2受光部94、第1光屈折率可変部96、第2光屈折率可変部97、第1受光位置駆動部98、および第2受光位置駆動部99として機能させる。
以上に示したプログラムは、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置から、ネットワークを介して撮像装置100に提供されてもよく、また、フレキシブルディスク、CD−ROM、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等の外部の記憶媒体に格納されてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。