JP5040600B2 - 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 - Google Patents

撮像装置、撮像装置制御プログラム及び撮像装置制御方法 Download PDF

Info

Publication number
JP5040600B2
JP5040600B2 JP2007291432A JP2007291432A JP5040600B2 JP 5040600 B2 JP5040600 B2 JP 5040600B2 JP 2007291432 A JP2007291432 A JP 2007291432A JP 2007291432 A JP2007291432 A JP 2007291432A JP 5040600 B2 JP5040600 B2 JP 5040600B2
Authority
JP
Japan
Prior art keywords
wavelength band
transmission wavelength
control
selection
subject light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007291432A
Other languages
English (en)
Other versions
JP2009118359A (ja
JP2009118359A5 (ja
Inventor
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007291432A priority Critical patent/JP5040600B2/ja
Priority to US12/177,389 priority patent/US8063976B2/en
Publication of JP2009118359A publication Critical patent/JP2009118359A/ja
Publication of JP2009118359A5 publication Critical patent/JP2009118359A5/ja
Application granted granted Critical
Publication of JP5040600B2 publication Critical patent/JP5040600B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Blocking Light For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置、及びこの撮像装置に用いられる撮像装置制御プログラム及び撮像装置制御方法に関する。
従来、暗所での撮影時においてもAF(オートフォーカス)を可能にする撮像装置が知られている。この撮像装置は、AFを行う際に暗いと判断した場合には、AF補助光を発光させることにより撮影前に一時的に明るさを確保する。そして、この一時的に明るさを確保した状態でAF評価値が最大となるフォーカス状態に設定することによって、暗所においても焦点検出を精度よく行うことができるとするものである(例えば、特許文献1参照。)。
特開平11−275412号公報
しかしながら、このようなAF補助光を用いるAF制御においては、AF補助光による光が被写体まで到達しない場合には、当該被写体に合焦させることができない欠点を有する。また、撮影に際してユーザはLCD等の表示装置に表示される被写体を視認しながらフレーミングを行う。しかし、AF補助光により被写体に明るさが確保されるのは瞬間的であることから、この瞬間的な時間内に適正にフレーミングを行うことは困難である。
したがって、従来の撮像装置においては、暗所での撮影時において適正にAF制御を行ったり、フレーミングを行うことができるものではなかった。
本発明は、かかる従来の課題に鑑みてなされたものであり、暗所での撮影時において適正にAF制御やAE制御を行ったり、フレーミングを行うことの撮像装置、撮像装置制御プログラム及び撮像装置制御方法を提供することを目的とする。
前記課題を解決するために請求項1記載の発明に係る撮像装置にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段の透過波長帯域を選択する第1の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像手段とを備え、前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示手段であり、前記フィルタ手段の透過波長帯域には、可視光領域外の帯域が含まれ、前記第1の選択手段により前記可視光領域外の帯域が前記フィルタ手段の透過波長帯域として選択された場合、前記表示手段は、前記選択透過波長帯域の被写体光に基づき所定の可視処理を実行して、前記スルー映像を表示し、前記所定の可視処理は、前記可視光領域外の被写体光に対応する映像信号を所定の疑似色の映像信号に変換する処理であり、前記表示手段は、前記変換された所定の疑似色の映像信号に基づき、前記スルー画像を表示することを特徴とする。
また、請求項記載の発明に係る撮像装置にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段の透過波長帯域を選択する第1の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像手段とを備え、前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示手段であり、前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点制御を実行する焦点制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき露出制御を実行する露出制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点を予め特定された被写体に追従させる制御を実行する追従焦点制御手段のうち少なくとも1つを含み、前記第1選択手段は、第3の選択手段と第4の選択手段とで構成され、前記第1の分光制御手段は、前記駆動信号を入力して、前記フィルタ手段に前記第3の選択手段と第4の選択手段とにより選択された透過波長帯域の被写体光を漸次透過させ、前記表示手段は、前記第3の選択手段により選択された選択透過波長帯域の被写体光に基づき、スルー映像を表示し、前記焦点制御手段、前記露出制御手段又は前記追従焦点制御手段は、前記第4の選択手段により選択された選択透過波長帯域の被写体光に基づき、被写体像の焦点制御、露出制御、追従焦点制御を各々実行することを特徴とする。
また、請求項記載の発明に係る撮像装置にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、このフィルタ手段の透過波長帯域を選択する第1の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像手段と、前記機能実現手段の動作時に、補助光を周囲空間に放射する発光手段と、この発光手段の発光波長帯域を前記第1の選択手段により選択された透過波長帯域に応じて制御する発光制御手段とをえることを特徴とする。
また、請求項4記載の発明に係る撮像装置にあっては、前記第1の選択手段は、当該撮像装置に設定された撮影条件に基づき、前記フィルタ手段の透過波長帯域を選択することを特徴とする。
また、請求項5記載の発明に係る撮像装置にあっては、前記第2の分光制御手段は、前記駆動信号を入力して、前記透過波長帯域を複数段に変化させ、前記撮像手段は、前記第2の分光制御手段の制御により前記フィルタ手段を透過した前記複数段の透過波長帯域毎の被写体光に基づく複数の画像データを合成する合成手段と、この合成手段により合成された合成画像データを記録する記録手段とを備えることを特徴とする。
また、請求項記載の発明に係る撮像装置にあっては、前記合成手段は、前記複数の画像データをその透過波長帯域に応じて補正し、マルチプレーン加算合成することを特徴とする。
また、請求項記載の発明に係る撮像装置制御プログラムにあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置が有するコンピュータを、前記フィルタ手段の透過波長帯域を選択する第1の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録させる撮像制御手段として機能させ、前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示させる表示制御手段であり、前記フィルタ手段の透過波長帯域には、可視光領域外の帯域が含まれ、前記第1の選択手段により前記可視光領域外の帯域が前記フィルタ手段の透過波長帯域として選択された場合、前記表示制御手段は、前記選択透過波長帯域の被写体光に基づき所定の可視処理を実行して、前記スルー映像を表示させ、前記所定の可視処理は、前記可視光領域外の被写体光に対応する映像信号を所定の疑似色の映像信号に変換する処理であり、前記表示制御手段は、前記変換された所定の疑似色の映像信号に基づき、前記スルー画像を表示させることを特徴とする。
また、請求項8記載の発明に係る撮像装置制御プログラムにあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置が有するコンピュータを、前記フィルタ手段の透過波長帯域を選択する第1の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録させる撮像制御手段として機能させ、前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示させる表示制御手段であり、前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点制御を実行する焦点制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき露出制御を実行する露出制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点を予め特定された被写体に追従させる制御を実行する追従焦点制御手段のうち少なくとも1つを含み、前記第1の選択手段は、第3の選択手段と第4の選択手段とで構成され、前記第1の分光制御手段は、前記駆動信号を入力して、前記フィルタ手段に前記第3の選択手段と第4の選択手段とにより選択された透過波長帯域の被写体光を漸次透過させ、前記表示制御手段は、前記第3の選択手段により選択された選択透過波長帯域の被写体光に基づき、スルー映像を表示させ、前記焦点制御手段、前記露出制御手段又は前記追従焦点制御手段は、前記第4の選択手段により選択された選択透過波長帯域の被写体光に基づき、被写体像の焦点制御、露出制御、追従焦点制御を各々実行することを特徴とする。
また、請求項9記載の発明に係る撮像装置制御プログラムにあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置が有するコンピュータを、前記フィルタ手段の透過波長帯域を選択する第1の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録させる撮像制御手段と、前記機能実現手段の動作時に補助光を周囲空間に放射する発光手段の発光波長帯域を、前記第1の選択手段により選択された透過波長帯域に応じて制御する発光制御手段として機能させることを特徴とする
また、請求項1記載の発明に係る撮像装置制御方法にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置の制御方法であって、前記フィルタ手段の透過波長帯域を選択する第1の選択ステップと、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択ステップにより選択された透過波長帯域の被写体光を透過させる第1の分光制御ステップと、この第1の分光制御ステップでの制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと、前記フィルタ手段の透過波長帯域を選択する第2の選択ステップと、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択ステップにより選択された透過波長帯域の被写体光を透過させる第2の分光制御ステップと、この第2の分光制御ステップでの制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像ステップとを含み、前記機能実現ステップは、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示ステップであり、前記フィルタ手段の透過波長帯域には、可視光領域外の帯域が含まれ、前記第1の選択ステップにより前記可視光領域外の帯域が前記フィルタ手段の透過波長帯域として選択された場合、前記表示ステップは、前記選択透過波長帯域の被写体光に基づき所定の可視処理を実行して、前記スルー映像を表示し、前記所定の可視処理は、前記可視光領域外の被写体光に対応する映像信号を所定の疑似色の映像信号に変換する処理であり、前記表示ステップは、前記変換された所定の疑似色の映像信号に基づき、前記スルー画像を表示することを特徴とする。
また、請求項11記載の発明に係る撮像装置制御方法にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置の制御方法であって、前記フィルタ手段の透過波長帯域を選択する第1の選択ステップと、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択ステップにより選択された透過波長帯域の被写体光を透過させる第1の分光制御ステップと、この第1の分光制御ステップでの制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと、前記フィルタ手段の透過波長帯域を選択する第2の選択ステップと、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択ステップにより選択された透過波長帯域の被写体光を透過させる第2の分光制御ステップと、この第2の分光制御ステップでの制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像ステップとを含み、前記機能実現ステップは、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示ステップであり、前記機能実現ステップは、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき被写体像の焦点制御を実行する焦点制御ステップと、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき露出制御を実行する露出制御ステップと、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき被写体像の焦点を予め特定された被写体に追従させる制御を実行する追従焦点制御ステップのうち少なくとも1つを含み、前記第1の選択ステップは、第3の選択ステップと第4の選択ステップとで構成され、前記第1の分光制御ステップは、前記駆動信号を入力して、前記フィルタ手段に前記第3の選択ステップと第4の選択ステップとにより選択された透過波長帯域の被写体光を漸次透過させ、前記表示ステップは、前記第3の選択ステップにより選択された選択透過波長帯域の被写体光に基づき、スルー映像を表示し、前記焦点制御ステップ、前記露出制御ステップ又は前記追従焦点制御ステップは、前記第4の選択ステップにより選択された選択透過波長帯域の被写体光に基づき、被写体像の焦点制御、露出制御、追従焦点制御を各々実行することを特徴とする。
また、請求項12記載の発明に係る撮像装置制御方法にあっては、入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置の制御方法であって、前記フィルタ手段の透過波長帯域を選択する第1の選択ステップと、前記フィルタ手段に前記駆動信号を入力して、前記第1の選択ステップにより選択された透過波長帯域の被写体光を透過させる第1の分光制御ステップと、この第1の分光制御ステップでの制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと、前記フィルタ手段の透過波長帯域を選択する第2の選択ステップと、前記フィルタ手段に前記駆動信号を入力して、前記第2の選択ステップにより選択された透過波長帯域の被写体光を透過させる第2の分光制御ステップと、この第2の分光制御ステップでの制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像ステップと、前記機能実現ステップの動作時に補助光を周囲空間に放射する発光手段の発光波長帯域を、前記第1の選択ステップにより選択された透過波長帯域に応じて制御する発光制御ステップとを含むことを特徴とする。
本発明によれば、暗所での撮影時において適正にAF制御やAE制御を行ったり、フレーミングを行うことが可能となる。
以下、本発明の一実施の形態を図に従って説明する。図1は、本発明の一実施の形態に係るデジタルカメラ(分光カメラ)1の回路構成を示すブロック図である。図に示すように、デジタルカメラ1は、制御回路2を有している。制御回路2には、CPU3とこのCPU3にデータバス4を介して各々接続されたインタフェース5、音声入出力回路6、入力回路7、メモリカード・IF8、USBコントローラ9、入出力インタフェース10、入出力回路11、入出力ポート12、13、HDD・IF14が設けられている。音声入出力回路6には、マイク16がアンプ17及びA/D変換器18を介して接続されているとともに、スピーカ19がアンプ20及びD/A変換器21を介して接続されている。入力回路7には、各種操作キー、スイッチ等が設けられた操作入力部22が接続され、メモリカード・IF8には脱着自在に設けられた画像メモリ媒体25が接続されている。USBコントローラ9はUSB端子26に接続されており、入出力インタフェース10はアンテナ27を有する無線LAN送受信部28に通信コントローラ29を介して接続されている。また、入出力回路11には、外部トリガー端子30がトリガー検出部31を介して接続されている。
前記入出力ポート12には、分光フィルタ駆動部32、温度検出回路33、焦点レンズ駆動部34、ズーム駆動部35、ブレ補正駆動部36、絞り駆動部37及びシャッタ駆動部38が接続されているとともに、ストロボ39がストロボ駆動回路40を介して接続され、LED41がLED駆動回路42を介して接続されている。つまり、このLED41もストロボ39と同様に、AF時や撮影時において補助光を発生させるためのものである。また、LED駆動回路42による駆動によりLED41の発光色、発光波長、及び発光波長帯域を変化させることが可能である。
前記温度検出回路33は、分光フィルタ59近傍の温度を検出するものである。前記入出力ポート13には、当該デジタルカメラ1の上下方向のブレを検出する角速度センサ(Y/Pitch)43と、上下方向のブレを検出する角速度センサ(X/Yaw)とが各々検出回路44、46を介して接続されている。HDD・IF14には、HDD記憶装置47が接続されている。HDD記憶装置47は、ディスク媒体48を有するとともに、モータ49、モータドライバ50、マイコン部51、VCモータ52、ヘッドアンプ53、リード/ライトチャンネル+CODEC54、HDD制御部55等を有している。
また、制御回路2には、電池56が電源制御部57を介して接続され、電源制御部57は制御回路2により制御されて各部に電池56からの電力を供給する。さらに、前記データバス4には音声CODEC(符号器/復号器)15、プログラムメモリ23及びデータメモリ24が接続されている。音声CODEC15は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ23は、後述するフローチャートに示す制御回路2が動作するためのプログラムを格納しており、データメモリ24は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。
一方、撮像光学系58は、前記焦点レンズ駆動部34、ズーム駆動部35、ブレ補正駆動部36により駆動されるレンズ群から構成され、前方光軸上には分光フィルタ59が配置されているとともに、後方光軸上には撮像素子60が配置されている。
ところで、今日においては6百万画素の解像度で60フレーム/秒、VGAの低解像度でも300フレーム/秒以上など、高解像度かつ高フレームレートで撮影が可能なCMOSイメージセンサが開発され、実用化されるに至っている。本実施の形態は、このような既に開発、実用化されている高解像度かつ高フレームレート撮影可能なイメージセンサの存在を前提として、このイメージセンサを撮像素子60として用いるものである。また、撮像光学系58中には、前記絞り駆動部37により駆動される絞り61及び前記シャッタ駆動部38により駆動されるシャッタ62が介挿されている。
前記撮像素子60は、並列読み出しなどの前記高フレームレートでの撮影を行うための高速読み出しが可能なものであるが、一般的な撮像素子とは異なり、画素毎のベイヤー配列のRGBカラーフィルター等は設けられていない。この撮像素子60は、イメージセンサ部63、水平走査部64、垂直走査部65、P/S変換部66を有している。水平走査部64は、信号読み出し、信号処理部、CDS(相関二重サンプル回路)/ADC(A/D変換器)を備えている。この撮像素子60には、DSP部67が接続されている。DSP部67には、撮像素子60のP/S変換部66から取り込んだ画像信号を処理するためのS/P変換部68、前処理部69、バッファメモリ(A)70、帯域別信号処理部71、マルチプレーン加算回路72、RGB変換部73、階調変換ガンマ補正部74、カラーマトリクス回路75、解像度変換部76を備えているとともに、前記垂直走査部65の周期を制御するためのコントローラ77や、画像特徴抽出処理・画像認識処理部78、測光処理/合焦検出/分光特性抽出処理部79を備えている。
前記解像度変換部76、画像特徴抽出処理・画像認識処理部78、測光処理/合焦検出/分光特性抽出処理部79は、画像データバス80を介してバッファメモリ(B)81、画像CODEC(符号器/復号器)82、動画像CODEC(符号器/復号器)83及び表示駆動回路84に接続され、画像データバス80は前記制御回路2のインタフェース5に接続されている。バッファメモリ(B)81は、画像CODEC82及び動画像CODEC83が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路84は、LCDからなる表示部85を駆動する。
前記分光フィルタ59は、近紫外〜可視光領域〜近赤外光領域で狭帯域の透過波長特性を持つフィルタである。この狭帯域の透過波長特性を持つフィルタとしては、後述するリオ(Lyot)フィルタや、ファブリペロー(Fabry−Perot)干渉フィルタ等がある。また、LCTF(液晶チューナブルフィルタ)やLCFP(液晶ファブリペロー)エタロンなどの電子制御可能なフィルタも用いることができる。
(第1の実施の形態)
図2及び図3は、本発明の第1の実施の形態における撮影制御の処理手順を示す一連のフローチャートである。本実施の形態は、分光撮影モードとして、所定の波長帯域の「分光画像の単写モード」と、複数の波長帯域に渡って、順次波長帯域を切り替えながら複数枚の分光画像を高速速写する「分光画像の高速速写モード」、及び可視光の全波長領域など、複数の波長帯域に渡って、順次波長帯域を切り替えながら高速速写するとともに、各分光画像をマルチプレーン加算合成して、通常のRGBデータやYUVデータなど広帯域のカラー画像信号に変換して保存記録できる「分光画像の連写合成撮影モード」とを備える。そして、「分光画像の連写合成撮影モード」では、各分光撮影時の波長帯域毎のフィルタやレンズの透過率、撮像素子の撮影感度など、分光撮影特性のバラツキの補正処理を行ってから、加算合成やRGBデータなどへの変換処理を行うようにしたものである。
制御回路2はプログラムメモリ23に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザによる操作入力部22での操作に応じて、撮影モードを選択するとともに、撮影条件等を選択する(ステップS1)。次に、この選択された撮影モードが分光撮影モードであるか否かを判断し(ステップS2)、分光撮影モードでない場合にはその他のモード処理に移行する(ステップS3)。
分光撮影モードであった場合には、ユーザによる操作入力部22での操作に応じて、スルー映像の波長帯域、撮影波長帯域をそれぞれ選択する(ステップS4)。ここで、スルー映像の波長帯域とは、表示部85に表示させるスルー画像の波長帯域であり、撮影波長帯域とは、分光撮影モードにおいて後述する「分光画像の単写」が選択されている場合において記録する画像の波長帯域であり、また、AF及びAE制御を行う際に用いる画像の波長帯域でもある。
また、前記スルー映像の波長帯域と撮影波長帯域は、所定の波長帯域が固定的に設定されていて、この固定的に設定されている所定の波長帯域を選択するものであってもよい。
引き続き、電子制御フィルタ(分光フィルタ59)を前記ステップS4で選択されたスルー映像用の波長帯域に設定して、この選択帯域のスルー映像を表示部85に表示させる処理を実行する(ステップS5)。このステップS5の詳細については、図6に示すフローチャートに従って後述する。
次に、ズーム処理、AF処理等を実行する(ステップS6)。このステップS6の処理に際しては、図4に示すように、ユーザが操作入力部22により選択したズーム枠851の被写体にAF処理やAE処理を実行する。また、前記ステップS5で分光フィルタ59の波長帯域は、前記ステップS4で選択された波長帯域に設定されているので、これらAF処理やAE処理も分光フィルタ59を透過した前記波長帯域における画像に基づいて行う。
引き続き、操作入力部22に設けられているレリーズ釦が押下された否かを判断し(ステップS7)、押下されなかった場合には、その他のキー処理を実行する(ステップS8)。レリーズ釦が押下された場合には、測光処理を実行し、これにより得られた測光値と前記ステップS1で選択された撮影条件に応じて、露出条件(絞り、露出時間t)を設定する(ステップS9)。
また、前記ステップS1で選択された撮影条件等が分光画像の連写合成撮影であるか否かを判断し(ステップS10)、分光画像の連写合成撮影でない場合には、後述する図3のステップS24に進む。分光画像の連写合成撮影である場合には、撮像素子60とDSP部67を高速連写&マルチプレーン加算モードに設定する(ステップS11)。
次に、撮影条件に応じて、透過波長帯域の数(n)と各露出時間(t/n)を再設定する(ステップS12)。つまり、1枚の撮影画像をn個の透過波長帯域毎に、前記ステップS9で設定された露出時間(t)内において、露出及び撮影処理を行うと、透過波長帯域毎の露出時間は「t/n」となるので、この露出時間(t/n)と透過波長帯域の数(n)とを設定する。
次に、透過波長帯域の数(n)に分割された画像の波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS13)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS13で選択した波長帯域λ1に設定する(ステップS14)。引き続き、露光(シャッタ開)&撮影処理を実行し、シャッタ駆動部38を動作させてシャッタ62を開くとともに、イメージセンサ部63からの画像データをバッファメモリ(A)70に記憶する(ステップS15)。したがって、このステップS15での処理により、バッファメモリ(A)70には分光フィルタ59を透過した波長帯域λiからなる分光画像データが記憶されることとなる。
次に、前記ステップS12で再設定された各露出時間(t/n)が経過したか否かを判断する(ステップS16)。各露出時間(t/n)が経過したならば、シャッタ駆動部38を動作させてシャッタ62を閉じる(ステップS17)。したがって、ステップS14〜S23のループは、各露出時間(t/n)毎に繰り返される。そして、ステップS17に続くステップS18では、前記ステップS15で撮影されてバッファメモリ(A)70に記憶された分光画像データを、該バッファメモリ(A)70から読み出す(ステップS18)。
引き続き、この読み出した分光画像データを、波長帯域(λi)毎に、分光フィルタ32の透過率F(λi)に応じて補正するとともに、感度S(λi)などを補正する(ステップS19)。また、各画素の輝度値V(x,y;λi)に等色関数を乗算して、R,G,Bデータに変換する(ステップS20)。さらに、撮影された各波長帯の分光画像の各画素のR,G,Bデータをマルチプレーン加算合成して、バッファメモリ(B)81に記憶する(ステップS21)。したがって、バッファメモリ(B)81には、t/n毎に撮影された分光画像の各画素のR,G,Bデータをマルチプレーン加算合成した合成画像が更新されつつ記憶される。
なお、ステップS18〜S21の処理内容については詳細に後述する。
次に、帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなったか否かを判断する(ステップS22)。i≧nとなっておらず、帯域数n枚の分光画像を撮影済みでない場合には、iをインクリメントして(i=i+1)、このiの値により示される次の波長帯域(λi)を選択し(ステップS23)、ステップS14からの処理を繰り返す。したがって、ステップS14〜S22の処理は、t/nのタイミングでn回繰り返され、n回繰り返されると、ステップS22の判断がYESとなって、ステップS22から図3のステップS48に進む。また、ステップS20の処理がn回繰り返されることにより、バッファメモリ(B)81には、n個の各波長帯の分光画像の各画素のR,G,Bデータがマルチプレーン加算合成された単一の合成画像が記憶されることとなる。
一方、前記ステップS10での判断の結果、分光画像の連写合成撮影が選択されていない場合には、ステップS10から図3のステップS24に進み、分光画像の高速連写が選択されているか否かを判断する。分光画像の高速連写が選択されていない場合には、後述するステップS38に進む。分光画像の高速連写が選択されている場合には、撮像素子60とDSP部67を高速連写モード(加算なし)に設定する(ステップS25)。
次に、ユーザによる操作入力部22での操作に応じて、連写枚数又は透過波長帯域の数(n)を設定する(ステップS26)。引き続き、透過波長帯域の数(n)に分割された画像の波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS27)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS28で選択した波長帯域λ1に設定する(ステップS28)。引き続き、露光(シャッタ開)&撮影処理を実行し、シャッタ駆動部38を動作させてシャッタ62を開くとともに、イメージセンサ部63からの画像データをバッファメモリ(A)70に記憶する(ステップS29)。したがって、このステップS29での処理により、バッファメモリ(A)70には分光フィルタ59を透過した波長帯域λiからなる分光画像データが記憶されることとなる。
次に、各露出時間t/nが経過したか否かを判断し(ステップS30)、各露出時間(t/n)が経過したならば、シャッタ駆動部38を動作させてシャッタ62を閉じる(ステップS31)。したがって、ステップS28〜S37のループは、各露出時間(t/n)毎に繰り返される。そして、ステップS31に続くステップS32では、前記ステップS29で撮影されてバッファメモリ(A)70に記憶された分光画像データを、該バッファメモリ(A)70から読み出す(ステップS32)。
引き続き、この読み出した分光画像データを、波長帯域(λi)毎に、透過率T(λi)、感度S(λi)などを補正する(ステップS33)。また、各画素の輝度値V(x,y;λi)に等色関数を乗算して、R,G,Bデータに変換する(ステップS34)。さらに、補正及び変換された各波長帯の分光画像を順次バッファメモリ(B)81に記憶する(ステップS35)。したがって、バッファメモリ(B)81には、t/n毎に撮影された各波長帯の分光画像が順次記憶される。
なお、ステップS32〜S35の処理内容については詳細に後述する。
次に、帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなったか否かを判断する(ステップS36)。i≧nとなっておらず、帯域数n枚の分光画像を撮影済みでない場合には、iをインクリメントして(i=i+1)、このiの値により示される次の波長帯域(λi)を選択し(ステップS37)、ステップS28からの処理を繰り返す。したがって、ステップS28〜S36の処理は、t/nのタイミングでn回繰り返され、n回繰り返されると、ステップS21の判断がYESとなって、ステップS36から後述するステップS48に進む。また、ステップS34の処理がn回繰り返されることにより、バッファメモリ(B)81には、n個の各波長帯の分光画像が記憶されることとなる。
他方、ステップS24の判断がNOである場合には、分光画像の単写が選択されている。この場合には、ステップS24からステップS38に進み、撮像素子60とDSP部67を単写モード(加算なし)に設定する(ステップS38)。次に、ユーザによる操作入力部22での操作により設定された波長帯域(λi)を選択し(ステップS39)、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS39で選択した波長帯域λ1に設定する(ステップS40)。引き続き、露光(シャッタ開)&撮影処理を実行し、シャッタ駆動部38を動作させてシャッタ62を開くとともに、イメージセンサ部63からの画像データをバッファメモリ(A)70に記憶する(ステップS41)。したがって、このステップS41での処理により、バッファメモリ(A)70には分光フィルタ59を透過した波長帯域λiからなる分光画像データが記憶されることとなる。
次に、前記ステップS9で設定された露出時間tが経過したか否かを判断する(ステップS42)。各露出時間(t/n)が経過したならば、シャッタ駆動部38を動作させてシャッタ62を閉じる(ステップS43)。次に、前記ステップS41で撮影されてバッファメモリ(A)70に記憶された分光画像データを、該バッファメモリ(A)70から読み出す(ステップS44)。引き続き、この読み出した分光画像データを、波長帯域(λi)毎に、透過率T(λi)、感度S(λi)などを補正する(ステップS45)。また、各画素の輝度値V(x,y;λi)に等色関数を乗算して、R,G,Bデータに変換する(ステップS46)。さらに、補正及び変換された各波長帯の分光画像を順次バッファメモリ(B)81に記憶する(ステップS47)。したがって、バッファメモリ(B)81には、ユーザにより設定された波長帯域(λ1)である単一の分光画像が記憶される。
そして、図2のステップS21、及び図3のステップS36又はステップS47のいずれかに続くステップS48においては、バッファメモリ(B)81記憶されている撮影画像データの圧縮及び符号化処理を実行する。さらに、この圧縮及び符号化処理した撮影画像データを画像メモリ媒体25に保存記録し(ステップS49)、この画像メモリ媒体25に保存記録した撮影画像データに基づく画像を表示部85にプレビュー表示する(ステップS50)。
したがって、分光画像の連写合成撮影モードが選択された場合には、撮影された各波長帯の分光画像の各画素のR,G,Bデータをマルチプレーン加算合成して生成された単一の画像が画像メモリ媒体25に記録されるとともに、プレビュー表示される。また、分光画像の高速連写モードが選択された場合には、各波長帯域で撮影された複数(n枚)の分光画像が画像メモリ媒体25に記録されるとともに、これら複数の分光画像がプレビュー表示される。また、分光画像の単写モードが選択された場合には、ユーザにより選択された波長帯域である単一の分光画像が画像メモリ媒体25に記録されるとともに、この単一の分光画像がプレビュー表示されることとなる。
よって、小型でありながら、高分解能でのカラー撮影を可能にし、さらに狭帯域の波長毎に分光画像を得ることもできる。
すなわち、図4に示すように、(A)風景と人物(昼光)を撮影した場合において、可視光領域で、特定の波長帯を選択して分光撮影を行った場合には、当該選択領域の分光画像を記録することができ、順次透過波長を切り替えて、分光撮影を行った場合には、分光画像を多重合成した広帯域画像を記録することができる。また、(B)夜景を撮影した場合において、近紫外〜可視光領域〜近赤外光領域で、特定の波長帯を選択して分光撮影を行った場合には、当該選択領域の分光画像を記録することができ、順次透過波長を切り替えて、分光撮影を行った場合には、分光画像を多重合成した広帯域画像を記録することができる。また、(C)赤外線撮影を行うべく、赤〜近赤外領域で、特定の波長帯を選択して分光撮影を行った場合には、赤〜近赤外領域の分光画像を多重合成し、疑似カラーに変換して記録することができる。
さらに、図5に示すように、近紫外〜可視光〜近赤外領域で、特定の波長帯を選択して分光撮影を行った場合には、選択領域の分光画像、又は分光画像を合成した広帯域画像、若しくは疑似カラー画像を記録することができる。
図6は、前記ステップS5の詳細であって、本実施の形態における分光スルー画像の表示処理手順を示すフローチャートである。制御回路2はプログラムメモリ23に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザによる操作入力部22での操作に応じて、スルー映像表示の波長帯域(λi)を選択して設定する(ステップS101)。このスルー映像表示の波長帯域(λi)は、単数であってもよいし複数であってもよい。次に、撮像素子60とDSP部67を、高速ドラフトモード又はスルー画像表示(モニタリング)用高速読み出しモードに設定する(ステップS102)。また、スルー表示の波長帯域の数(n)と表示更新周期(Td)に応じて、読み出し更新周期(Tr)を設定する(ステップS103)。この読み出し周期(Tr)は、Tr≦Td×(1/n)となる値である。次に、透過波長帯域の数(n)に分割された画像の波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS104)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。
そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS13で選択した波長帯域λ1に設定する(ステップS105)。引き続き、高速ドラフトモード又はスルー映像読み出しモードで撮像素子60を駆動する(ステップS106)。そして、設定された読み出し周期時間(Tr)が経過したか否かを判断し(ステップS107)、経過したならば次のステップS108に進む。したがって、ステップS105〜S005のループは、読み出し周期(Tr)毎に繰り返される。そして、ステップS107に続くステップS108では、透過波長帯域(λi)のスルー映像信号(x,y;λi)をバッファメモリ(A)70に読み出す(ステップS108)。
引き続き、波長帯域(λi)毎に、レンズやフィルタの透過率T(λi)、撮像素子の感度S(λ)などの分光特性のバラツキを補正する(ステップS109)。この補正は、下記例示式により行う。
V(x,y;λi)=V(x,y;λi)×{T(λi)/T(λi)}×{S(λi)/S(λi)}
又は、
V(x,y;λi)=V(x,y;λi)×{1/T(λi)}×{1/S(λi)}
ここで
V(x,y;λi):輝度信号
T(λi):帯域毎の撮影レンズや干渉フィルタ等の分光透過率
S(λi):撮像センサの分光撮像感度
(λi):理想の分光特性(透過率100%)や標準の分光透過率
(λj):理想の分光感度や標準の分光感度。
次に、疑似カラー表示に設定されているか否かを判断する(ステップS110)。疑似カラー表示に設定されている場合には、各画素の輝度値V(x,y;λi)に、設定された疑似カラー変換関数r′(λi)、g′(λi)、b′(λi)を乗算して、下記式に示すように、擬似的に3刺激値R,G,Bを得る(ステップS111)。
Ri(x、y)=r′(λi)・V(x,y;λi)、
Gi(x、y)=g′(λi)・V(x,y;λi)、
Bi(x、y)=b′(λi)・V(x,y;λi)。
また、疑似カラー表示が設定されておらず、リアルカラー表示が設定されている場合には、各画素の輝度値V(x,y;λi)に、等色関数r ̄(λi)、g ̄(λi)、b ̄(λi)を乗算して、下記式に示すように3刺激値R,G,Bを得る(ステップS112)。
Ri(x、y)=r ̄(λi)・V(x,y;λi)、
Gi(x、y)=g ̄(λi)・V(x,y;λi)、
Bi(x、y)=b ̄(λi)・V(x,y;λi)。
そして、ステップS111又はステップS112に続くステップS113では、各波長帯の分光画像の各画素のR,G,Bを下記式に示すように順次加算して、バッファメモリ(B)81に記憶する(ステップS113)。
R(x,y)=ΣiRi(x,y)、
G(x,y)=ΣiGi(x,y)、
B(x,y)=ΣiBi(x,y)。
したがって、バッファメモリ(B)81には、読み出し周期時間(Tr)毎に、各波長帯の分光画像の各画素のR,G,Bが順次加算されて更新されていく。
つまり、従来のモザイク状のRGBカラーフィルタ設けた3色カラー撮像素子の場合のマルチプレーン加算処理では、各連写画像のBayar配列データのうち、輝度成分や解像感をよく反映するG(緑)画像の相関度を求めて位置合わせを行い、またBayer配列データでは欠けている縦、横、斜め画素の補間処理を行い、フル画素のG(緑)データを生成する。R(赤)、B(青)データは、G(緑)データの位置合わせ結果に準じて、位置合わせとラー補間処理を行い、フルサイズのRGBデータに変換する。これに対して、本実施の形態のデジタルカメラ1におけるマルチプレーン加算回路72は、図7に示すように、速写撮像した波長帯域毎の分光画像Vを、分光特性バラツキなどを補正した後、全波長領域に渡って、マルチプレーン加算合成、RGBやYUVなど通常の広帯域カラー画像データに変換することができる。
次に、選択された波長帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなって、撮影済み枚数iが選択された選択された波長帯域数nの数となったか否か、又は設定された表示更新周期(Td)が経過したか否かを判断する(ステップS114)。i≧nとなっておらず、又は表示更新周期(Td)が経過していなければ、iをインクリメントして(i=i+1)、次の選択波長帯域(λi)を選択し(ステップS115)、ステップS105からの処理を繰り返す。したがって、ステップS105〜S114の処理は、単一の波長帯域のみが選択されている場合には1回のみ行われ、複数(n個)の波長帯域が選択されている場合には複数回(n回)行われる。
そして、ステップS114の判断がYESになると、RGB変換されたスルー映像信号を階調変換、ガンマ補正、色マトリクス処理など信号処理する(ステップS117)。さらに、この信号処理したスルー映像信号を表示部85に出力した後(ステップS117)、以上の処理を繰り返す。
したがって、ユーザが操作により、(単数又は複数の)狭帯域の波長帯域、あるいは、可視光(波長:約400〜700nm)だけでなく、近赤外線(波長:約700nm〜2500nm)や、近紫外線(波長:約200〜400nm)なども含む領域を選択すると、a)スルー映像表示中には、選択帯域における分光画像の連続映像が表示部85に表示される。このとき、近赤外や近紫外など可視光領域外の帯域が選択されている場合には、これら帯域成分が含まれる映像信号を、可視光領域側にシフト変換するか、若しくは、RGB変換式を変更して、所望の色データに変換して、擬似カラー表示を行うことから、ユーザは暗所における被写体や構図の確認(フレーミング)を容易に行うことができる。
これにより、可視光では観察しにくいシーンや夜間などでも、ユーザが観察しやすい所望の波長帯を選択して、被写体像を観察しながら、分光撮影又は通常撮影ができるので、被写体を容易にまた確実に狙ったり、追従撮影したりすることができる。
すなわち、図8に示すように、(A)風景と人物(昼光)を撮影する場合において、可視光領域で、透過波長帯域を順次切り替えてスルー撮像した場合には、選択領域の分光画像を多重合成し、リアルカラー(又は疑似カラー)でスルー映像が表示されることとなる。また、(B)夜景を撮影する場合において、近紫外〜可視光領域〜近赤外領域で、透過波長帯域を順次切り替えてスルー撮像した場合には、(近赤外を含む)選択領域の分光画像を多重合成し、リアルカラー(又は疑似カラー)でスルー映像が表示されることとなる。また、(C)赤外線撮影する場合において、赤色〜近赤外領域で、透過波長帯域を順次切り替えてスルー撮像した場合には、赤〜近赤外領域の分光画像を多重合成し、帯域をシフトして、所望の疑似カラーに変換して、スルー映像が表示されることとなる。
さらに、図9に示すように、モンシロチョウの♂(オス)と♀(メス)とでは、人間の眼や可視光映像では、同じような色に見えるので識別は難しいが、紫外線映像では、モンシロチョウの♂(オス)は、長波長紫外線を吸収して黒く見えるので、明るい色め♀(メス)とは容易に区別できる。したがって、近紫外〜可視光〜近赤外領域で、透過波長帯域を順次切り替えてスルー撮像した場合には、モンシロチョウの♂(オス)と♀(メス)と識別できる形態でスルー映像が表示されることとなる。同様に、ヒマワリ(キク科)やコマツヨイグサ(アカバナ科)、菜の花(アブラナ科)などの花では、肉眼や可視光映像では識別できないが、紫外線映像では、舌状花の基部などが、外側の部分と比べて暗く見えたり、可視光では同じような色に見え葯と柱頭も、紫外線画像では、葯の方がずっと暗く見えたりするなど、様変わりした姿が観察でき、あたかも、蝶や蜂など他の生物がどのように草花を見ているか、識別しているのか等を実感できるような特殊画像も、本実施の形態に係るデジタルカメラ1で簡単に撮影することができる。
次に、本実施の形態における構成上の詳細、動作及び作用上の詳細について説明する。
[分光フィルタ59]
前記分光フィルタ59としては、狭帯域の透過波長特性を持つフィルタを用いる。この狭帯域の透過波長特性を持つフィルタとしては、リオ(Lyot)フィルタや、ファブリペロー(Fabry−Perot)干渉フィルタ等がある。また、LCTF(液晶チューナブルフィルタ)やLCFP(液晶ファブリペロー)エタロンなどの電子制御可能なフィルタも用いることができる。
(1)リオ・フィルタ
リオ・フィルタ(LyotFilter)は、複屈折性の結晶板による干渉を利用し、非常に狭い波長城の光を透過する光学フィルタであって、2枚の平行な偏光板の間に、方解石や水晶など複屈折性(birefringence)の結晶板を配したものである。複屈折性の結晶板(厚さd)を透過した光は、互いに垂直な振動方向の通常光と異常光の2光線に分離し、それぞれ異なる屈折率と位相速度を持つ。結晶のX軸方向に直線偏光した光に対して屈折率Ne、Y軸方向に直線偏光した光に対して屈折率Noの場合、
位相差δは、δ=(2π/λ)(Ne−No)d・・・式(1)
透過率Tは、T=cosδ/2・・・式(2)
となり、分離した通常光と異常光は、同じ偏光状態で光路長の整数倍に等しい波長の光だけが、結晶板から出射される。2枚の平行な偏光板の間に、結晶板を45度回転させて配すると、全体の波長特性は、周期的に多数の透過ピークがある櫛歯状の透過波長特性となる。結晶板の角度をモータ等で回転させることにより、透過波長のピークを変えて、フィルタ特性をチューニングできる。
また、複数N枚の結晶板を、順次、次の結晶板より厚さdが2倍となるように、dk=2k−1×d(k=1、2・・・、N−1)として積層すると、透過波長の多数のピークから所望波長の光だけ選択できる。多層フィルタによる全体の透過率は、x=δ/2とおくと、次式となる。
T=T・・・TN−1=cos×(2x)cos(4x)・・・cos(2N−1x)・・・式(3)
(2)ファフリー・ペロー干渉フィルタ
ファブリ・ペロー干渉フィルタ(Fabry−PerotFilter、Fabry−PerotEtalon)は、多重反射光線の干渉効果を利用して、狭い波長城の光だけを透過する。水晶の平行平板の両面、若しくは、2枚のガラス板の内面に、金属薄膜や誘電体多層薄膜など反射膜をコートした単純な構造で、各種光学機器に広く利用されている。反射膜(半透鏡)を透過して内部に入射された光線は、2枚の面の間を多重反射する。透過光の波面は、その内、偶数回の反射を受けた後に透過する各成分波面の重畳となる。
位相差δ=(2π/λ)2ndcosθ=4πndcosθ/λ・・・式(4)
入射光Iinに対し、透過光Itは、It=Iin×(1−R/{(1−R)+4Rsin(δ)}となるので、
透過率T=(1−R)/{(1−R)+4Rsin(δ)・・・式(5)
ここで、δ:位相差、λ:波長、θ:入射角、d:ミラー間の物理的間隔、n:媒質の屈折率(空気の場合n=1)、R:ミラーの反射率。
各成分波面間に位相差がないとき透過光が最大になり、このとき光学距離の差は、波長λの整数倍になる。mλ=2ndcosθ、(m=1,2,3,・・・)・・・式(6)
このとき、他の波長では、各透過成分波面間で打ち消し合いの干渉が起こり、透過光がゼロ近くまで減少する。ミラーは、可視光ではAg、Au、AI、Cr、Rhなどを蒸着した金属膜コーティングでも可能だが、吸収ロスが大きいために、主に、多層の誘電体薄膜等が用いられる。可視光域では、高屈折率のH膜(ZnS等)と低屈折率のL膜(MgF2等)を、λ/4厚づつ交互に13層重ねた誘電体多層膜で、99.5%程度の反射率が得られる。
ミラーの間隔dは、数ミクロン(μm)〜数センチ(cm)まで様々に設計でき、この間隔d、若しくは、媒質の屈折率nを変えることで、透過する波長を選択できる。また、フィルタの傾きを調整することで波長特性を微調整できる。プリズムや回折格子に比べ、分解能が非常に高く、偏光板を使用するリオ・フィルタ等に比べ、透過率が高く、吸収が少ない。隣のピーク波長との間隔FSR(Free Spectral Range)を、最小帯域幅となる透過ピークの半値全幅FWHM(Fu11 Width at Half Maximum)で割った値は、フィネス(Finesse)と呼ばれ、フィルタ性能をあらわす。
フィネスF=FSR/FWHM=Δλ/δλ=π√R/(1−R)・・・式(7)
ここで、フリースペクトラルレンジFSR=Δλ=δλ=λo/(2nd)・・・式(8)
ピーク波長の半値全幅FWHM=δλ=FSR/F・・・式(9)
鏡面の反射率Rを上げるほど、フィネスFが高くなり、波長分解能であるFWHM=δλを狭くし、透過ピークを鋭くすることができる。
また、入射角θで入射する波長λの透過光の強度It(θ,λ)は、次式で表される。
It(θ,λ)=Io(λ)/[1+{4R/(1−R)}sin(2πでnd・cosθ/λ)]=Io(λ)/{1+(F/π)2sin2(δ/2)}・・・式(10)
ここで、Io(λ)は、同心円状の干渉パターン(Hadinger fringe)の中心での透過光強度。
光源が単色性(単一波長)ならば、エタロンは特定の条件を満たす入射角でのみ、光を透過させる。このため単色球面波を入射させると、同心円状の円環(干渉パターン)を生成する。なお、ファブリ・ペロー・エタロン(固定間隔のものはエタロン板と呼ばれる)をフィルタとして用いる際には、入射角θが、最も内側の干渉リング(円環)に相当する入射角よりも小さくなるよう、次式の視野角FOV(Field of view)を制限する必要がある。
視野角FOV=√{(8/λ)Xδλ}・・・式(11)
(3)電子制御可能な干渉フィルタ
前述のリオ・フィルタや、ファブリ・ペロー・フィルタに、液晶素子や電気光学結晶などの複屈折性要素を挿入して組み合わせると、透過波長特性を電子的に可変できる狭帯域フィルタを構成でき、選択された所望の波長帯域で分光撮影ができる。
液晶同調フィルタ(LCTF:Liquid Crystal Tunable Filter)は、前述のリオ・フィルタの各層において、入力偏光子と出力偏光子の2枚の偏光子の間に、複屈折性結晶板と液晶素子とを挟んでサンドイッチ構造とし、複数段積層したものである。入射光は、入力偏光子を通り、次に、偏光子の偏光輪に対し結晶軸が45度に設置された複屈折結晶板により、それぞれ位相速度の異なった常光、異常光の2成分に等量に分割される。液晶分子の長輪方向と短輪方向での屈折率の違いにより、長輪方向に偏光している光と、直交する偏光方向の光との間には光路長差(Δ1φ=2πΔz/λ)が生じる。液晶素子の電極間にかける電圧を変化させると、液晶分子の長輪方向が傾くので光路長差が小さくなる。液晶素子に加える電圧(V)により、液晶の結晶軸の一方の屈折係数が変化するので、一方の光は他方の光に比べ遅延する。このように、液晶素子は遅相器として働き、液晶素子を出た2つの成分は出力偏光子で合成されるが、干渉により波長に関して周期的な透過特性となる。
これらを1段として、次々に、複屈折結晶板の厚さが前段の2倍になるようにして複数段重ねることで、入射光の最終的な透過特性を狭帯域にすることができる。したがって、リオ・フィルタのように結晶板を回転させる代りに、各層に挿入した液晶素子の透明電極間に印加する電圧を変えるだけで、各層の選択波長を連続して高速で可変して、その組合せにより、全ての層を透過する所望波長の光だけを選択的に透過させ、CCDなどで撮像すると、狭帯域の分光カメラが実現できる。
(4)LCTFの透過波長の選択
所望の波長において、全フィルタにおける透過率のピークを揃えるためには、液晶にかけるAC(交流)若しくは直流(DC)矩形波の電圧を調整して、所望の狭帯域波長に各フィルタの透過率ピークを合わせる必要がある。
各層フィルタの各電圧における分光透過率の特性データ、又は各波長(λi)に調整する為に各層の液晶素子にかける電圧データを、参照テーブル(LUT)として予めメモリに記憶しておき、制御回路2では、それらを参照してフィルタの選択特性を自動調整できるように制御すればよい。
なお、積層型のLCTFで、不要な方向の偏光を遮断する為に、液晶と結晶板の両側に偏光板が必要である。また、選択波長の帯域を5〜10nm程度の狭帯域だけの光で撮像して分光画像を得る為には、フィルタ層の数、すなわち、結晶板と液晶層の数を増やして、同時に透過する波長を分離する必要があり、偏光板の数が増えるので透過率が落ちる。特に短波長側(紫〜紫外線側)では透過率がかなり低下する(暗くなる)難点がある。中心部と周辺部とでも透過率が変わり、一様ではない。また、LCTFでは、液晶の立ち上がり時間や、波長特性の切り替え処理や調整処理に時間がかかると、高速撮影が制限される。例えば、可視光領域の400〜700nmを波長間隔10nm毎に撮影する場合、31枚撮影する必要があり、液晶の立ち上がり時間や波長の切り替えに約50ms以上かかるとすると、露出条件などが満たされたとしても、秒当たり20枚(帯域)程度しか撮影できないので、全帯域の撮影に、1.5秒以上かかってしまう等の制約がある。
(5)液晶ファブリ・ペロー・エタロン(LCFP:Liquid Crysta1 Fabry−Perotetalon)
液晶ファブリ・ペロー・エタロン(LCFP)としては、米国SSI社(Scientific Solutions lnc.)のものが公知である。LCFPは、前述の多重反射を利用するファブリ・ペロー干渉フィルタの、薄膜ミラーが形成された2枚のガラス板(又は水晶板)等の間に、液晶層を封入し、両側に透明電極を形成したものである。所定の波長特性となるようにミラー間隔(ギャップ)を最適に設計するのに加え、エタロンのギャップ幅を埋める液晶層の両側電極に印加する電圧を変えることで、液晶層の屈折率nを変化させて、それまでピークではなかった波長に透過率ピークを与えるように変化させ、前述のファブリ・ペロー干渉フィルタにおける前述の式(4)、式(5)により、
間隔d、液晶層も含む屈折率nを式(4)に代入して、
位相差δ=4πndcosθ/λ・・・前述式(4)
を求め、当該位相差δを式(5)に代入して、
透過率T=(1−R)/{(1−R)+4Rsin(δ)}・・・前述式(5)
を求めることができ、フィルタの各波長における分光透過率特性を求めることができる。 あるいは、これら理論式によるシミュレーション結果又は逆算結果と、液晶の駆動電圧−屈折率特性データから、所望の透過特性となる液晶の屈折率n、及び、所要の駆動電圧Vを求めることができ、各層フィルタを所望の分光透過率特性とすることができる。さらに、異なるミラー間隔のエタロンを多層に積層し、各層に設けた液晶層に印加する電圧を変えることで、複数層のフィルタ全てを透過する波長帯域を、所望の狭帯域の波長帯城λにチューニングすることができ、順次選択した波長帯域の光だけを撮像して、分光撮影に利用できる。ただし、液晶の特性として、この屈折率変化は偏光の直交2成分のうち、1成分のみにしか機能しないため、他方の成分はチューニングには寄与できず、この不要成分をブロックするためにLCFPと直列に偏光板を挿入する必要がある。
(6)液晶ファブリ・ペロー・エタロン(LCFP)の設計
分光撮影で利用するフィルタの動作波長範囲を、例えば、波長400nm〜700nmの可視光全域とする場合、その全域において高反射率となるコーティングを、平面度の高いエタロン基板上に蒸着する必要がある。また、コーティングの反射率と透過率との相反や、エタロン面の平坦度や間隔の平行精度などから、実用的に無理なく実現できるフィネスFには、例えば(SSI社製LCFPの標準品の場合)波長400nmでF≦8、600nmでF≦10、800nmでF≦12、i200nmでF≦15、1500nmでF≦20などと、ある程度の限界がある。
所望の帯域における波長分解能(最小帯域幅)を、FWHM=δλ=50nm、あるいは、10nmに設定したい場合、例えば、400〜700nmの可視光域では、実現できるフィネスF=8〜10程度と考えると、前述の式(6)から、フィネスF=Δjλ/δλであるので、δλ=50nmの場合には、ピーク波長の間隔FSR=Δ1λ=δλ×F=50nm×8=400nmとなり、単一のエタロンでも可視光全域で利用できるが、δλ=10nmの場合、FSR=δλXF=10nm×8=80nmとなり、帯域内で3〜4個のピーク波長が同時に透過されてしまうことになり、3〜4個の次数分離フィルタを必要とする。また、フィネスの点からは所望のFSRが可能であっても、種々のギャップ幅(ミラー間隔)に対するFSRと波長λの関係から、例えば、実現できるエタロンの最小ギャップ幅が3μmの場合、単一エタロンでは、可視光全域ではFSRは30〜80nm程度しか得られないので、次数分離フィルタが4〜10個程度必要になることがわかる。このような場合、複数のエタロンを組み合わせた多層のLCFPを利用する。
(7)多層のLCFP
複数のエタロンを直列に組み合わせて使う場合、ギャップ幅の大きな方の第1エタロン(波長分解エタロン)が、系全体の透過幅を規定し、ギャップ幅の小さな方の第2エタロン(次数抑制エタロン)がFSRを規定する。系全体のFSRは、両エタロンのFSRの比に依存する。第1エタロンのFSRと、第2エタロンのFSRとの整数比が、B/Aで表現できるとすると、
FSR=A×FSR=B×FSR・・・式(12)
B=1の場合は、第2エタロンのFSRそのものが全体系のFSRになる。それ以外なら、全体系のFSRは次数抑制エタロンのFSRよりもB倍だけ大きくなる。式(12)から、2台のエタロンを組合せた系では、波長分解エタロンのFSRはA倍に拡大し、全体系のFSRの中に存在できる透過帯の総数も、A倍(FSR拡大係数)に拡大することができる。
次数分離フィルタの数を最少にするためには、液晶のチューナブルレンジ(屈折率の変化範囲)よりも大きくならない範囲で、エタロンのFSRを最大化することが必要である。例えば、ギャップ幅3μmのエタロンでは、可視光域(4004m〜700n面が10個の次数で満たされるが、ギャップ幅6μmと、7.4μmのエタロンを組み合わせると、得られるFSRは、ギャップ幅3μmの単体エタロンの2倍、ギャップ幅1.5μmの単体エタロンに相当するものが実現できる。
図10は、前記ステップS14、S28、S40で実行される分光フィルタ59の制御例(1)を示すフローチャートである。先ず、予めプログラムメモリ23に記憶させてある分光フィルタ59の仕様データ、構成層数(m)を読み込む(ステップS51)。次に、ユーザによる操作入力部22での操作に応じて、フィルタの設定波長帯域(中心λi、帯域幅Δλiを入力する(ステップS52)。また、温度検出回路33からの検出信号を取り込んで、分光フィルタ59周辺の温度計測データを読み込む(ステップS53)。
引き続き、i=1として、iの値で示される分光フィルタ59の第1層を選択する(ステップS54)。また、予めプログラムメモリ23に記憶させてあるフィルタ駆動用LUT(参照テーブル)から、第(i)層のフィルタの波長帯域λiに設定する為の駆動データ(LC(液晶)駆動電圧など)、及び個別バラツキ補正データ等を読み込む(ステップS55)。そして、このステップS55で読み込んだ最適駆動データ(第(i)層のフィルタの波長帯域λiに設定する為の駆動データ)を、前記ステップS53で読み込んだ温度、及びステップS55で読み込んだ個別バラツキ補正データに基づいて補正し、補正駆動データを求める(ステップS56)。
さらに、このステップS56で補正された駆動データに応じて、駆動電圧などの駆動信号を、第(i)層フィルタの駆動部に加えて(ステップS57)、被写体輝度又はコントラスト(又はフィルタの透過特性)をチェックする(ステップS58)。そして、このチェックの結果、所定値以上の輝度(又はコントラスト、透過率)か否かを判断する(ステップS59)。この判断の結果、所定以上の輝度(又はコントラスト、透過率)でない場合には、駆動データ又は駆動電圧を調整して(ステップS60)、ステップS56からの処理を繰り返す。
このようにして、ステップS55〜S60のループが繰り返されると、やがて所定以上の輝度(又はコントラスト、透過率)となって、ステップS59の判断がYESとなる。したがって、ステップS59からステップS61に進み、全てのフィルタ層を駆動設定済みか否か、つまりi≧mとなったか否かを判断する(ステップS61)。i≧mとなっておらず、全てのフィルタ層mを駆動設定していない場合には、iをインクリメントして(i=i+1)(ステップS62)、ステップS55からの処理を繰り返す。
図11は、前記ステップS14、S28、S40で実行される分光フィルタ59の制御例(2)を示すフローチャートである。先ず、予めプログラムメモリ23に記憶させてある干渉フィルタ(分光フィルタ59)の仕様データ、構成層数(m)を読み込む(ステップS71)。次に、ユーザによる操作入力部22での操作に応じて、フィルタの設定波長帯域(中心λi、帯域幅Δλiを入力する(ステップS72)。また、温度検出回路33からの検出信号を取り込んで、分光フィルタ59周辺の温度計測データを読み込む(ステップS73)。
引き続き、フィルタ各層の駆動部にそれぞれ所定の駆動電圧を加え、所定の初期位置(初期の分光特性)にリセットする(ステップS74)。そして、i=1として、iの値で示される分光フィルタ59の第1層を選択する(ステップS75)。また、下記に例示する、干渉フィルタの透過率の分光特性計算式を用いて、第(i)層フィルタの透過波長をλに設定する為の駆動データ(LCやアクチュエータの駆動電圧など)を算出又は逆算する(ステップS76)。
(例)次式の透過率T(λ)がピーク又は所定値以下となる位相差(δ)を実現する屈折率(N)又はLC駆動電圧(V)を求める。
a)Lyot系のフィルタの場合
T(λ)=cosδ/2、
ただし、δ=(2π/λ)(Ne−No)d、
b)Fabry−Perot系フィルタの場合
T(λ)=(1−R)/{(1−R)+4Rsin(δ)、
ただし、δ=4πndcosθ/λ
次に、予めプログラムメモリ23に記憶させてあるLUT(参照テーブル)から、当該層フィルタの補正用データを読み出す(ステップS77)。そして、前記ステップS76で算出した駆動データを、前記ステップS73で読み込んだ温度及び前記ステップS77で読み出した補正用データに基づいて補正し、補正駆動データを求める(ステップS78)。引き続き、この補正された駆動データ(補正駆動データ)に応じて、駆動信号(駆動電圧など)を、第(i)層フィルタの駆動部に加えて(ステップS79)、被写体輝度又はコントラスト(又はフィルタの透過特性)をチェックする(ステップS80)。そして、このチェックの結果、所定値以上の輝度(又はコントラスト、透過率)か否かを判断する(ステップS81)。この判断の結果、所定以上の輝度(又はコントラスト、透過率)でない場合には、駆動データ又は駆動電圧を調整して(ステップS82)、ステップS78からの処理を繰り返す。
このようにして、ステップS78〜S82のループが繰り返されると、やがて所定以上の輝度(又はコントラスト、透過率)となって、ステップS81の判断がYESとなる。したがって、ステップS81からステップS83に進み、全てのフィルタ層を駆動設定済みか否か、つまりi≧mとなったか否かを判断する(ステップS83)。i≧mとなっておらず、全てのフィルタ層mを駆動設定していない場合には、iをインクリメントして(i=i+1)(ステップS84)、ステップS76からの処理を繰り返す。
[撮像素子60]
従来のように、撮像素子60をCCDで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のCCD転送路によって順繰りに転送され、出力回路で初めてFD(Floating Diffusion)アンプにより信号電圧に増幅されて出力される。CCDから出力された撮像信号は、CDS(Correlated Double Sampling:相関二重サンプル)回路でノイズ除去及びサンプル&ホールド処理され、AGC(自動利得制御)アンプで増幅され、ADC(A/D変換器)でデジタル撮像信号に変換され、DSP(信号処理回路)に出力される。
一方、撮像素子60をCMOSイメージセンサで構成する場合には、一般的なAPS(Active Pixe1 Sensor、増幅型画素センサ)型のCMOSセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりXYアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧又は電流として取り出すことができる。CCDのように順番に取り出さなくとも、CMOSセンサでは、任意の画素や領域の撮像信号だけを任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合などに高速で読み出せる。また、CCDでは信号電荷をそのまま転送するのでスミアやノイズに弱いが、CMOSセンサでは、画素毎にランダムアクセスで読出せ、各面素回路は電気的に分離しているので伝送ノイズに強く、また同じCMOS製造プロセスにてイメージセンサの周辺に、加算演算回路など論理回路や信号処理回路を高集積化して一緒に作りこめる利点がある。
反面、CMOSセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ(FPN)や暗電流、kTC雑音が大きい難点があったが、今日においては、(CCDと同様に)埋め込みフォトダイオードとFDアンプを用いる構造にして、暗電流とKTC雑音を低減できるようになった。また、列信号線毎に並列に並んだ列回路に設けたColumn型CDS/ADC回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ(FPN)を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのAD変換器を組み込んで、デジタル信号での撮像信号出力もできるようになった。
(1)高速イメージセンサ
本実施の形態に係るデジタルカメラ1に用いるイメージセンサ部63では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるようにする。また、CMOSセンサの列回路のCDS/ADC回路の後段や水平出力回路に、各面素に隣接する同色フィルタの複数の画素の撮像信号同士をデジタル信号で加算する加算回路などを設けて、デジタルズーム時や高感度撮影時には、選択領域内の画素データを任意の行列毎に複数画素分加算された撮像信号を読み出しできるように構成する。これにより、画素当たりの撮影感度を実質的に加算数分だけ上げることができ、短い露出時間でも露出が良好な撮影ができ、高速レートの動画撮影や連続撮影でも、画像データ量の小さい撮像信号に変換して出力できるようにする。なお、選択読み出し、あるいは、さらに画素加算された撮像信号は、列回路のCDS/ADC回路から水平走査回路の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列デジタル信号として出力するか、並列/直列変換回路により変換して直列(シリアル)のデジタル撮像信号として、LVDS(小振幅差動信号方式)の送信回路等により、高速レートでDSPに転送出力できる。
(2)CDS/ADC回路と加算回路
特開2005−278135号公報には、積分型のADC回路を、列並列のADC比較器とアップ/ダウンカウンタを用いてCDS/ADC回路として構成して、デジタル衆値をメモリ部に書き込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせると目算器なしで画素加算演算を行えるようにしたCMOSイメージセンサが開示されている。したがって、本実施の形態におけるイメージセンサ部63として、前記CMOSイメージセンサを用いてもよい。
また、図12は、前記公報記載のCDS/ADC回路に画素加算以外の任意の演算や信号処理もできるように行演算回路110、列演算回路111を設け、出力路に並列デジタル/直列デジタル変換回路112やLVDSドライバ113を設けた例であり、図13はその動作タイミングチャートである。
列回路部は、列信号線101毎に設けられたCDS/ADC回路102を有し、垂直走査回路114に接続された各単位画素回路108から列毎に出力されるアナログ信号をデジタル信号に変換して出力する。各列のADC回路(アナログ−デジタル変換回路)部の構成は、制御信号によって、全領域の撮像信号を読み出すプログレッシブ走査方式での(加算なしの)通常フレームレートモードと、単位画素の露光時間を1/Nに設定してフレームレートをN倍、例えば2倍に上げる(垂直加算を行う)高速フレームレートモードとの各動作モードに対応したA/変換動作を切り替えられる構成となっており、各ADCは、比較器103と、U/D(アップ/ダウン)カウンタ104など計数器、転送スイッチ105及びメモリ106から成る。
参照電圧の供給部は、例えばDAC(デジタル−アナログ変換回路)107などを内蔵し、タイミング制御部115からのクロックCLKに基づいて、時間経過につれて電位が傾斜状に変化するいわゆるランプ(RAMP)波形の参照電圧Vrefを生成する。比較器103は、n列目の列信号線の信号電圧Vxと、参照電圧供給部からのランプ波形の参照電圧Vrefとを比較し、例えば、参照電圧Vrefが列信線101の信号電圧vxよりも大きいときに比較器103の出力vcoが「H」レベルになり、参照電圧Vrefが信号電圧Vx以下のときに比較器103出力Vcoが「L」レベルになる。
U/Dカウンタ104は、非同期カウンタで、クロックCLKに同期してダウン(DOWN)カウント、又は、アップ(UP)カウントを行うことにより、比較器103で比較開始から比較終了までの比較時間を計測し、参照電圧Vrefは電圧が線形に上昇するRMP波形なので、カウント値はデジタル電圧値を表すことになる。1回目の読み出し動作では、(単位画素毎にばらつく固パターンノイズを含む)単位画素のリセット成分ΔVが読み出され、2回目の読み出し動作では、リット成分ΔVに加えて、単位画素毎の入射光量に応じた信号成分が、同様の動作によって読み出しされる。
通常フレームレートモードでは、1つの画素からの信号読み出しにおいて、1回目の読み出し時に、比較器出力Vcoが「H」から「L」へ反転するまで、ダウンカントを行うことにより1回目読み出し時の比較時間を計測し、2回目の読み出し時に、Vcoが逆に「L」から「H」へ反転するまで、アップカウントを行うことにより2回目読み出し時の比較時間を計測する。また、ダウンカウント後にアップカウントを行うことにより、2回目と1回目の減算を行うことになり、
(2回目の比較時間)−(1回目の比較時間)=(信号成分vsig+リセット成分ΔV+ADCオフセット成)−(リセット成分ΔV+ADCオフセット成分)=(信号成分Vsig)
となるので、2回の読み出し動作とU/Dカウンタ104で減算処理により、単位画素毎のばらつきを含んだリセット成分ΔVに加えて、ADC毎のオフセット分も除去され、単位画素毎の入射光量に応じた信号成分Vsigのみを取り出すことができる。AC回路に加え、CDS回路の働きを兼ねることができる。
一方、(N画素加算による)高速フレームレートモードで、ある行の単位画素についてのカウント結果をそのまま保持しておき、引き続き、次行の単位画素について、前回カウント結果から1回目の読み出し時にダウンカウント、2回目の読み出し時にアップカントを行うので、同様にCDS/ADC処理を行うとともに、画素値が引き続き加算されることになり、さらに垂直加算回路の働きをも兼ねることができる。
転送スイッチ105は、(加算なしの)通常フレームレートモードでは、ある行の単位画素についてのアップ/ダウンカウンタのカウント動作が完了した時点でオンとなってU/Dカウンタ104のカウント結果をメモリ106に転送する。一方、(例えば、N=2の)画素加算読み出しによる高速フレームレートでは、ある行の単位画素についてのアップ/ダウンカウント動作が完了した時点でオフのままで、引き続き、次行の単位画素についてのアップ/ダウンカウント動作が完了した時点でオン状態となってU/Dカウンタ104の垂直2画素分についてのカウント結果をメモリ106に転送する。カウント結果を、転送スイッチ105を介して選択的にメモリ106に転送できるため、カウント動作と、カウント結果の水平信号線への読み出し動作とを独立して制御できる。このようにして、各単位画素回路108から列毎に供給されるアナログ信号が、ADCにおける比較器及びカウンタ動作により、Nビットのデジタル信号に変換されメモリ106に格納される。水平走査回路(Hレジスタ、列走査回路)109からの列選択言号に応じて、各ADCでA/D変換されたNビットのデジタル信号は順に水平信号線に読出され、水平信号線を経由して出力回路から撮像データとして出力される。
(3)撮像信号の高速読み出し
通常読み出し、又は加算読み出しされた撮像信号のデジタル信号は、並列/直列変換回路で順次シリアル(直列)のデジタル信号に変換されて出力されDSPに転送される。高解像度、高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でDSPに転送する必要がある。一般のCMOS入出力回では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなり転送できる速度も遅くなってしまう。これに対し、例えば、CML系(Cuent Mode Logic、電流モードロジック)の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をon/offさせる方法で、(vdd−0.4V)の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。また、LVDS系(Low−voltge Differential Signaling、小振幅差動信号方式)は、2本の信号線を使って情報を運ぶ差動信号式で、単一チャネルあたり数百〜数千Mbps(メガビット/秒)の高速度でデータ伝送でき、かつ、mWレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数も減らせるため、モニタ表示装置とPC本体等とのデジタル入出力インタフェースとして利用されている。
LVDS(小振幅差動信号方式)では、電流モード・ドライバの採用と、+1.2V電位を中心に0.3Vの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。CMOS回路でも、高速でシリアル伝送でるCML系やLVDS系など低振幅や差動信号方式の入出力インタフェースを用いて、また、直列(シリアル)信号に変換されたデジタル撮像信号を撮像素子の出力回路(トランシーバー)から出力して、少ない端子数でも後段のDSP(映像信号処理回路)へ高速で伝送し、DSP側の入力回路(レシーバー)では、受信した直列デジタル信号を並列/直列変換回路で並列デジタル信号に復変換して、デジタル撮像信号として映像信号処理に用いることができる。
例えば、10ビットパラレルのLVDS出力を搭載すると、900×2200画素=約600万両素、各画素当たり10ビットの撮像信号も、画素レート約400MHzの速で転送出力すると、約600万両素の高解像度でも、秒当たり60フレーム(60fps)以上の高速で、DSPに転送出力できる。同様に、垂直5×加算読み出し、又は、垂直1/5間引を行ってデータ圧縮した場合(約600万÷5=約120万両素)には、同レートでは、約300fps当の高速で転送出力できることになる。
(4)高速DSP
図1に示したように、CMOイメージセンサ内蔵のCDS/ADC回路でデジタル変換され、並列又は直列のデジタル信号で高速転送された撮像信号を入力すると、DSP(デジタル信号処理回路)では、まずシェーディング正や黒レベル補正、欠陥画素補正など前処理を行った後、デジタルAGC回路で増幅するとともに、ホワイトバランス調整やカラーバランス調整を行う。通常のRGB3色カラーの撮像素子の場合には、撮像素子の前面に設けられたモザイク状のRGBカラーフィルタ配列に従って、画素毎には一つの色分しか持たないBayerデータから、他の色差成分の画素値も、近隣周辺の画素値等から画素関して求めて、面素毎にRGB色差成分毎の階調値を持つデジタル画像データに変換するラー補間処理などを行うが、本例の高速度分光撮影カメラでは、撮像素子に画素のカラーフィルタを設けずに、撮像素子の全面素で同時に受光し、順次フィルタの透過波長特性を切り替えながら、高速で連続撮影した波長帯域毎の分光画像を撮影する。
また、波長帯域毎の分光特性バラツキなどを補正した後、各面素の3刺激値R、G、Bを算出して、全波長帯域でマルチプレーン加算合成して、また、通常のRGBなどの空間座標の広帯域の画像信号に変換(RGB信号への変換処理)することができる。さらに、以降は、通常のカラーフィルタ付き撮像素子による撮像信号の信号処理と同様に、RGB系のデジタル画像信号は、階調補正やガンマ補正され、バッファメモリ(B)81に一時記憶された後、LCDモニタや電子ファインダ(EVF)に再生表示されるか、カラーマトリクス回路75でRGB系からYUV系/YCbCr系など所定の色空間の画像信号に変換され、画像CODEC82により、JPEG静止画像データやMPEG4や、H.264動画像データなどに圧縮/符号化処理され、メモリカード媒体25などに保存記録される。また、必要に応じて、表示サイズや所の記録画像サイズなどに応じて、リサイズ(Resize)、若しくは、補間処理(lnterpolation)、縮小/拡処理など、撮像画像サイズを異なる画像サイズに変換する解像度変換処理などを行う。
(5)カラー画像の撮影プロセス
一般に、波長(λ)における3次元空間座標(x,y,z)の時間(t)における、ある反射物体の分光反射率の関数をO(x,y,z,t,λ)で表すと、この物質を、分光放射率E(λ)の光源で照明して、分光透過率T(λ)のレンズを通して結像し、分光透過率TFi(λ)のフィルタ、分光感度S(λ)を有する撮像素子のカメラで撮影するとき、カメラの撮像出力である2次元画像Vi(x,y)は、次式で表すことができる。
Vi(x,y)=∫∫∫T(λ)TFi(λ)S(λ)t(t)A(z)O(x,y,z,t,λ)E(λ)dλdtdz・・・式(13)
(ただし、t(t):露光時間、A(z):レンズによる結像関数(3次元−2次元変換関数))。
カメラでは露出時間tも所定時間ON/OFFの矩形関数近似できるので、ここでは、色の再現性に注目して、座標軸や時間関数、レンズ結像関数などを略化して考えると、
Vi(x,y)=∫T(λ)TFi(λ)S(λ)O(x,y,λ)(λ)dλ・・・式(14)
となる。
従来の3原色に基づくRGBの3バンド画像の場合には、上記式で、i=R,G,Bで、分光透過率TFi(λ)は、それぞれ、TFR(λ),TFG(λ),TFB(λ)のカーフィルタである。
本実施の形態に係る分光カメラ(デジタルカメラ1)や、狭帯域毎の分光画像の場合にはバンド番号i=1,2,・・・,nとすると、分光透過率T・(λ)が、それぞれ、TF1(λ),TF2,・・・,TFn(λ)の狭帯域バンド毎のフィルタに相当する。(なお上記式で、反射物体と光源のO(λ)E(λ)の代わりに、物体の分光放射輝度Oe(λ)に置き換えると、放射物体の場合にも同様に扱える。)
(6)3原色による色再現
一般に、色再現では3色の分解像V、V,Vを、例えば、CIE−XYZ表色系における等色関数x ̄(λ),y ̄(λ),z ̄(λ)などを用いて、元の物体の3刺激値(X,Y,Z)が、下記の(X,Y,Z)と対応するような、所謂測色的な色再現が行われている。
=K∫O(λ)E(λ)x ̄(λ)dλ、
=K∫O(λ)E(λ)y ̄(λ)dλ、
=K∫O(λ)E(λ)z ̄(λ)dλ、・・・式(15)
ここで、K=100[%]/{∫E(入)y ̄(λ)dλ}、
また、記録された画像をハードコピーとして、別の分光放射率の照明光源E′(λ)で観察する場合も、光源E(λ)をE′(λ)に、物体の分光反射率O(λ)を、画像の分光反射率(又は、分光濃度)O′(λ)に置き換えると、3刺激値(X,Y,Z)は次式で表される。
=K∫O′(λ)E′(λ)x ̄(λ)dλ、
=K∫O′(λ)E′(λ)y ̄(λ)dλ、
=K∫O′(λ)E′(λ)z ̄(λ)dλ、・・・式(16)
ここで、K=100[%]/{∫E′(λ)y ̄(λ)dλ}、
フィルムや写真、印刷などのハードコピー、又は、電子ディスプレーなど、個々に表現形式や変換行列又はLUT(Lookup Table、変換表)は異なっても、上記と同様に考えることができる。このように、式(15)、(16)からも明らかなように、物体、画像の3刺激値は、照明光源の分光放射率E(λ)、E′(λ)などに依存することになる。
(7)分光画像の色表現
本実施の形態のような分光画像の場合も式(14)から、
Vi(x,y)=∫T(λ)TFi(λ)S(λ)O(x,y,λ)(λ)dλ・・・前式(14)
(ただし、vi(x,y):2次元画像、E(λ):光源の分光放率、T(λ):撮影レンズの分光透過率、TFi(λ):i番目のフィルタの分光透過率、S(λ)撮像素子の分光感度、O(x,y,λ.):物体の分光反射率である。
(8)広帯域画像への変換
得られた複数枚の分光画像データを高速で転送入力したDSPでは、各波長帯λiにおける画の輝度信号V(x,y;λi)を、帯域毎の撮影レンズや干渉フィルタ等の分光透過率T(λi)、撮像センサの分光撮像感度S(λi)など、実際のカメラの分光特性や固体バラツキデータ等予めカメラ内のメモリに記憶しておき、実際の分光特性T(λi)や、S(λi)と、理想の分光特性(透過率100%)や標準の分光透過率T(λi)や分光感度S(λj)との比率で除算する、又は、比率の逆数を波長帯域(λ)毎の変換係数として乗算することにより、波長帯域別の感度性バラツキが補正された分光画像V′(x,y;λi)を得る。つまり、
V′(x,y;λi)=V(x,y;λi)×{T(λi)/T(λi)}×{S(λi)/S(λi)}・・・式(17a)
又は、
V′(x,y;λi)=V(x,y;λi)×{1/T(λi)}×{1/S(λi)}・・・式(17b)
また、補正された分光画像V′(x,y;λi)に対して、さらに、各分光画像の波長帯域(λi)毎におけるr ̄(λi)、g(λi)b ̄(λi)など等色関数などを乗算して、各面素(x、y)毎のR、G、Bなどの3刺激値を求め、各分光画像をRGBカラーデタに変換し、
Ri(x、y)=V′(x,y;λi)×r ̄(λi)、
Gi(x、y)=V′(x,y;λi)×g ̄(λi)、
Bi(x、y)=V′(x,y;λi)×b ̄(λi)、・・・式(18)
さらに、DSP内のマルチプレーン加算回路により、各波帯域(λi)の各面素(x、y)のRGB値をそれぞれ加算合成して、RGBなど広帯域カラーの画データに変換することができる。
R(x,y)=ΣiRi(x,y)、
G(x,y)=ΣiGi(x,y)、
B(x,y)=ΣiBi(x,y)、・・・式(19)
また、標準モニター等のガンマ特性に合わせて、諧調補正やガンマ補正を行ったり、各画素(x、y)毎のrgb色度値やYUV(YCrCb)信号など、他の色空間座標に変換して出力してもよい。このようにして、複数の波長帯域の殆んど同じタイミングとなる微小時間内で高速速写された分光画像を高速に読み出し、加算合成して、色再現性の高い高解像度からなる1枚の広帯域画像データを生成し、出力又は記録できる。
[圧電アクチュエータを用いた干渉フィルタ]
前述のように、積層型のLCFTでは、不要な方向の偏光を遮断する為に、液晶と液晶板の両側に偏光板が必要となることから、フィルタ層が増えるほど、偏光板の数が増える。よって、透過率が落ちる難点や、液晶の立ち上がり時間や切替時間が長くかかり、高速撮影が制限される難点が生ずる。
本実施の形態においては、前述のLCTFやLCFPのように液晶の複屈曲性を利用したり、複数の偏光板を用いる代わりに、多重反射を用いるFP(ファブリペロー)エタロンの誘導体多層膜等でコートした2枚の透明板のギャップ間隔を、圧電アクチュエータにより、数ミクロン(μm)単位の微細寸法で駆動して、透過波長を選択できる圧電アクチュエータ式の干渉フィルタを構成し、複数層組み合わせて、分光フィルタを実現するものである。
圧電アクチュエータ式の干渉フィルタでは、その誘導体多層膜などのミラー間の物理的間隔(d)を、圧電アクチュエータにより機械的に可変駆動する点以外は、前述のファブリ・ペロー干渉フィルタと同様であり、
位相差δ及び透過率の分光特性は、前述の式(4)、式(5)で表される。
位相差δ=(2π/λ)2ndcosθ=4πndcosθ/λ・・・式(4)
透過率T=(1−R)/{(1−R)+4Rsin(δ)・・・式(5)
ここで、δ:位相差、λ:波長、θ:入射角、d:ミラー間の物理的間隔、n:媒質の屈折率(空気の場合n=1)、R:ミラーの反射率。
なお、積層型の圧電アクチュエータでは、平方ミリあたり3キログラムレベルと駆動力が大きく、数十μmまでの変位量を0.01μmの高精度で制御でき、10μsec.レベルと応答性に優れる。容量型なので消費電力も少ないが、変位量は単層型で数ミクロン、積層型でも0.05mm程度と小さい。積層型の圧電アクチュエータでは、変位の大きさLは、次式で表される。
変位の大きさL=d33・V・N[m]・・・式(20)
ただし、d33:圧電定数(例d33=620〜770pm/V)、V:駆動電圧、N:積層数。
なお、圧電セラミックスとしては、ニッケル酸ニオブ酸鉛−チタン酸鉛−ジルコン酸鉛、などのセラミック圧電材料や、PZT(ジルコン酸チタン酸鉛)系など、発生ひずみが電場に略比例する圧電材料が用いられるが、大きな駆動電圧では強誘電体的分極の履歴現象(ヒステリシス)などで、駆動変位量が駆動電圧に比例しなくなったり、に示すように、環境温度によって、駆動変位量が異なってしまう難点がある。より大きな駆動力を要したり、サーボ駆動等を行う場合には、発生ひずみが電場の2乗に比例し、ヒステリシスも無いPMN(マグネシウムニオブ酸鉛)系など電歪材料を用いたアクチュエータ(電歪アクチュエータ)等を用いてもよい。又は、積層型の圧電アクチュエータの代りに、バイモルフ型やバイモルフ・パラレル型のアクチュエータ等を用いるように構成してもよい。
バイモルフ・パラレル型のピエゾセラミック・アクチュエータでは、2枚の圧電セラミックの間に燐青銅やCFRP、ステンレスなどのシム材を挟み、各圧電セラミックス端とシム材間に電圧を加えることで、圧電セラミックスが撓むように曲げて変位させることできる。両圧電セラミックスの分極方向を逆方向とするバイモルフ型と、同一方向とするバイモルフ・パラレル型とがある。例えば、バイモルフパラレル型・ピエゾセラミック・アクチュエータの変位の大きさLは、下式で求められる。
変位の大きさL=3V・d31・(1/t)・(1十t/t)・α[m]、・・・式(21)
ただし、V:電圧、1:長さ、t:総厚、t:シム材厚、d31:等価圧電定数、α:非線形補正係数≒2。
(第2の実施の形態)
図14は、本発明の第2の実施の形態における撮影制御の処理手順を示すフローチャートである。本実施の形態は、選択された波長帯域の映像信号や分光映像を用いて、AE制御やAF制御、被写体追従AFなどの撮影処理を行うようにしたものである。
制御回路2はプログラムメモリ23に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザによる操作入力部22での操作に応じて、撮影モードを選択するとともに、撮影条件等を選択する(ステップS201)。次に、ユーザによる操作入力部22での操作に応じて、スルー映像の波長帯域、撮影の波長帯域をそれぞれ選択する(ステップS202)。引き続き、選択帯域のスルー映像表示処理、又は可視光全帯域のスルー映像表示処理を実行する(ステップS203)。
すなわち、選択帯域のスルー映像表示処理の場合には、電子制御フィルタ(分光フィルタ59)を前記ステップS204で選択されたスルー映像用の波長帯域に設定して、この選択帯域の映像を、スルー映像として表示部85に表示させる。また、可視光全帯域のスルー映像表示処理の場合には、可視光全域で分光フィルタ59の透過波長帯域を切り替えながら、分光撮影した複数の帯域の分光映像を加算合成した広帯域映像を、スルー映像として表示部85に表示させる。
次に、レリーズ釦が半押しされてスイッチS1がONになったか否かを判断する(ステップS204)。すなわち、本実施の形態においてレリーズ釦は、半押しと全押しとが可能な所謂ハーフシャッタ機能を有するものであり、半押しされた場合にはスイッチS1がONとなり、全押しされた場合にはスイッチS2がONとなる構成である。
レリーズ釦が半押しされたならば、前記ステップS202で撮影の帯域として選択された波長帯域において測光処理を実行する(ステップS205)。また、AE処理を実行して、ステップS205で得られた測光値に応じて、露出条件である露出時間tと絞りを設定する(ステップS206)。引き続き、後述するフローチャートに示すようにAF処理を実行して、ステップS202で撮影の波長帯域として選択された波長帯域の映像信号から合焦評価値に基づいて、当該フォーカス枠にて合焦するように、焦点レンズ駆動部34を動作させて撮像光学系58内のフォーカスレンズを駆動する(ステップS207)。
したがって、本実施の形態においてはユーザにより選択された波長帯域でスルー映像を表示したり、AE及びAFを行うことから、夜間や暗い被写体でも識別しやすい波長帯域を任意に選択して、適正にフレーミングを行ったり、適正にAE、AF制御を行うことができる。
次に、レリーズ釦が全押しされて前記スイッチS2がONとなったか否かを判断する(ステップS208)。レリーズ釦が全押しされない場合には、レリーズ釦の半押しが継続された前記スイッチS1のON状態が継続しているか否かを判断する(ステップS209)。スイッチS1のON状態が継続しておらず、レリーズ釦の半押しが解除された場合には、追従AFを解除して、追従中フラグFLAGをリセットする(ステップS)。また、レリーズ釦の半押しを継続しているならば、前記ステップS1での選択により、追従AFがON設定されているか否かを判断する(ステップS211)。追従AFがON設定されている場合には、後述するフローチャートに示す被写体追従AF処理を実行する(ステップS212)。
他方、レリーズ釦が全押しされて前記スイッチS2がONとなると、ステップS208の判断がYESとなり、ステップS208からステップS213に進む。そして、撮像素子60とDSP部67を高速連写&マルチプレーン加算モードに設定する(ステップS213)。次に、分光フィルタ59の波長帯域数(n)に基づき、連写枚数=波長帯域数(n)として連写枚数を設定し、前記ステップS206で設定した画像1枚の撮影に用いる露出時間tに基づき、露出時間=t/nとして、分光撮影毎の露出時間t/nを設定するとともに、該分光撮影における絞りを設定する(ステップS214)。
次に、透過波長帯域の数(n)に分割された画像の波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS215)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS215で選択した波長帯域λ1に設定する(ステップS216)。引き続き、露光(シャッタ開)&撮影処理を実行し、シャッタ駆動部38を動作させてシャッタ62を開くとともに、イメージセンサ部63からの画像データをバッファメモリ(A)70に記憶する(ステップS217)。したがって、このステップS217での処理により、バッファメモリ(A)70には分光フィルタ59を透過した波長帯域λiからなる分光画像データが記憶されることとなる。
次に、前記ステップS214で再設定された各露出時間(t/n)が経過したか否かを判断する(ステップS218)。各露出時間(t/n)が経過したならば、シャッタ駆動部38を動作させてシャッタ62を閉じる(ステップS219)。したがって、ステップS216〜S225のループは、各露出時間(t/n)毎に繰り返される。そして、ステップS219に続くステップS2220では、前記ステップS217で撮影されてバッファメモリ(A)70に記憶された分光画像データを、該バッファメモリ(A)70から読み出す(ステップS220)。
引き続き、この読み出した分光画像データを、波長帯域(λi)毎に、分光フィルタ32の透過率F(λi)に応じて補正するとともに、感度S(λi)などを補正する(ステップS221)。また、各画素の輝度値V(x,y;λi)に等色関数を乗算して、R,G,Bデータに変換する(ステップS222)。さらに、撮影された各波長帯の分光画像の各画素のR,G,Bデータをマルチプレーン加算合成して、バッファメモリ(B)81に記憶する(ステップS223)。したがって、バッファメモリ(B)81には、t/n毎に撮影された分光画像の各画素のR,G,Bデータをマルチプレーン加算合成した合成画像が更新されつつ記憶される。
次に、帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなったか否かを判断する(ステップS224)。i≧nとなっておらず、帯域数n枚の分光画像を撮影済みでない場合には、iをインクリメントして(i=i+1)、このiの値により示される次の波長帯域(λi)を選択し(ステップS225)、ステップS216からの処理を繰り返す。したがって、ステップS216〜S224の処理は、t/nのタイミングでn回繰り返され、n回繰り返されると、ステップS224の判断がYESとなる。
したがって、ステップS224からステップS226に進み、バッファメモリ(B)81記憶されている撮影画像データの圧縮及び符号化処理を実行する(ステップS226)。さらに、この圧縮及び符号化処理した撮影画像データを画像メモリ媒体25に保存記録し(ステップS227)、この画像メモリ媒体25に保存記録した撮影画像データに基づく画像を表示部85にプレビュー表示する(ステップS228)。
なお、このフローチャートにおいては、ステップS206、S207においてAE処理、AF処理を行う際の選択された波長帯域が単数であった場合を示した。しかし、ステップS206、S207においてAE処理、AF処理を行う際の選択された波長帯域を複数としてもよい。このように、複数の波長帯域が選択された場合には、前述したステップS217〜ステップS224の処理を、選択された波長帯域毎に行ってマルチプレーン加算合成を行い、このマルチプレーン加算合成を行った画像データに基づいて、ステップS206のAE処理と、ステップS207のAF処理を行えばよい。
図15は、前記ステップS207で実行されるAF処理のサブルーチンを示すフローチャートである。まず、AF処理用の波長帯域(λi)を設定する(ステップS301)。ここで、AF処理用の波長帯域(λi)は、前記ステップS201で選択された撮影の波長帯域でもよいし、予め定められた所定の波長帯域であってもよい。次に、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS301で設定した波長帯域(λi)に設定する(ステップS302)。また、焦点レンズ駆動部34を動作させて撮像光学系58内のフォーカスレンズを初期位置(W端など)に移動させる(ステップS303)。
さらに、前記ステップS201での撮影条件の選択により、AF補助光がONに設定されているか否かを判断する(ステップS304)。AF補助光がONに設定されている場合には、前記ステップS302で設定された波長帯域に応じて、当該波長帯域を含むAF補助光を発光させる(ステップS305)。
ここで、ストロボ39からの光に、分光フィルタ59が分光可能な波長帯域の全て含まれている場合には、ストロボ駆動回路40を動作させてストロボ39を発光させれば、前記ステップS302で設定された波長帯域に応じて、当該波長帯域を含むAF補助光が発光することになる。また、ストロボ39に代わって、LED駆動回路42を動作させてLED41を発光させることにより、LED41の発光色や発光波長を切り替えて、ステップS302で設定された波長帯域に応じて、当該波長帯域を含むAF補助光を発光させる。
引き続き、撮像素子60及びDSP部67をAF用の高速ドラフトモードで駆動する(ステップS306)。このAF用の高速ドラフトモードで駆動は、前述したステップS11の高速連写時の駆動速度と同一、これよりも速い又は遅いのいずれであってもよい。また、撮像素子60から選択波長帯域のAF用小領域の撮像信号を読み出す(ステップS307)。つまり、撮像素子60における全撮像範囲においてフォーカス枠で囲繞される小領域の撮像信号を読み出す。そして、この読み出したAF用小領域の高周波成分又はコントラスト値を抽出し、合焦評価値を算出する(ステップS308)。つまり、通常のコントラストAFと同様に合焦評価値を算出する。また、この算出した合焦評価値をフォーカスレンズのレンズ位置と対応付けて、データメモリ24に順次記憶する(ステップS309)。
次に、フォーカスレンズの位置を1ステップ移動させる(ステップS310)。そして、フォーカスレンズのレンズ位置が前記ステップS303で移動させた初期位置とは反対側の所定位置(テレ端など)に到達したか否かを判断し、反対側の所定位置に到達するまで、ステップS304〜S311のループを繰り返す。これにより、データメモリ24には、所定の初期位置から反対側の所定位置までの各レンズ位置と対応付けて合焦評価値が記憶されることとなる。
そして、ステップS311の判断がYESとなったならば、前記データメモリ24に記憶された複数の合焦評価値に基づき、合焦評価値のピークを検出できたか否かを判断する(ステップS312)。ピークを検出できなかった場合には、AF処理に失敗したことを示す警告を表示部85に表示する(ステップS313)。また、焦点レンズ駆動部34を動作させて撮像光学系58内のフォーカスレンズを初期位置(W端など)に戻し、又はAF補助光をONに設定する(ステップS314)。
すなわち、このようにAF処理を失敗した場合には、ステップS314でAF補助光をONに設定するようにしてもよい。これにより、このフローに従った処理が再度実行された際には、予めステップS314でAF補助光がONに設定されていることから、ステップS304の判断がYESとなり、ステップS305の処理が必ず実行される。よって、AF捕縄光を伴わない状態でAF処理を失敗した場合には、再度AF処理を実行する際に自動的にAF補助光を伴うこととなり、これによりAF処理の成功性を高めることができる。
一方、ステップS312での判断の結果、合焦評価値のピークが検出できた場合には、このピークが検出された波長に応じてピント位置を調整するか否かを判断する(ステップS315)。調整する場合には、検出された合焦ピーク位置を前記ピークが検出された波長に応じて補正する(ステップS316)。しかる後に、検出又は補正された合焦ピーク位置までフォーカスレンズを移動する(ステップS137)。また、精細なAF処理が必要か否かを判断し(ステップS318)、必要である場合には合焦評価値を検出しながら、フォーカスレンズの位置を山登り制御することにより、フォーカス位置の微調整制御を行う(ステップS319)。
したがって、本実施の形態においては、ユーザにより選択された波長帯域でスルー映像を表示したり、AFを行うことから、夜間や暗い被写体でも識別しやすい波長帯域を任意に選択して、適正にフレーミングを行ったり、適正にAF制御を行うことができる。
なお、図14に示したフローチャートにおいては、ステップS315〜S319の処理を行うことにより、フォーカスレンズ位置の微調整を行うようにしたが、ステップS315〜S319の処理を行うことなく、ステップS317に示した検出された合焦ピーク位置までフォーカスレンズを駆動する制御のみを行うようにしてもよい。このようにした場合であっても、前述と同様の作用効果を得ることができる。
図16は、前記ステップS212で実行される被写体追従AF処理のサブルーチンを示すフローチャートである。まず、追従中FLAG=1であるか否かにより、既に追従中であるか否かを判断する(ステップS401)。追従中FLAG≠1であって、追従前の状態にあるならば、単一のフォーカス枠が表示部85の中央に表示されている場合には表示部85の中央の被写体、複数のフォーカス枠が表示部85に表示されている場合には指定された指定フォーカス枠内の被写体を追従する被写体として選択する(ステップS402)。次に、この追従する被写体の前記選択波長帯域における中高周波又はコントラスト信号に基づき、合焦評価値を検出する(ステップS403)。また、前記追従する被写体である当該フォーカス枠の被写体に対して、前記ステップS403で検出した合焦評価値に基づきAF処理を実行する(ステップS404)。
引き続き、前記選択波長帯域の映像信号における前記フォーカス枠近傍の被写体像の特徴を抽出する(ステップS405)。そして、この抽出されたフォーカス枠近傍の被写体像の特徴データをデータメモリ24に更新しつつ記録する(ステップS406)。また、追従する被写体の像位置、及び当該被写体に追従して移動するフォーカス枠の次回値を予測演算して、データメモリ24に記録する(ステップS407)。さらに、追従中FLAGをセットして(ステップS408)、リターンする。
したがって、このステップS408の処理で、追従中FLAG=1となることにより、このフローに従った処理が繰り返された際、ステップS401の判断がYESとなる。したがって、ステップS401からステップS409に進み、前記ステップS407での演算により予測した位置である予測位置に相当するフォーカス枠の近傍を特徴抽出領域に設定する(ステップS409)。
次に、当該フォーカス枠内の被写体像に対して、粗い精度でAF処理を実行する(ステップS410)。また、選択は超帯域の映像信号において、前記ステップS409で設定した設定抽出領域から被写体の特徴量を検出する(ステップS411)。そして、前記ステップS406で記録したフォーカス枠近傍の被写体像の特徴データと、前記ステップS411で検出した設定抽出領域における被写体の特徴データとを比較し、テンプレートマッチングにより類似度を算出する(ステップS412)。
引き続き、この算出した類似度が所定以上であるか否かを判断し(ステップS413)、所定以上である場合には、前記ステップS409での予測位置である像位置に相当するフォーカス枠に更新する(ステップS414)。つまり、表示部85において前記予測位置にフォーカス枠を移動させて表示し、しかる後に前述したステップS403に進む。
また、ステップS413での判断の結果、類似度が所定値未満であった場合には、特徴抽出領域を所定の方向、距離だけ変更する(ステップS415)。そして、ステップS405による変更回数、変更距離が所定以上となったか否かを判断する(ステップS416)。所定以上となっていない場合には、前述したステップS411からの処理を繰り返し、このステップS411からの処理が繰り返されることによりステップS413の判断がYESとなった場合には、ステップS414からステップS403に進んでフォーカス枠の被写体追従を継続する。
したがって、追従AF撮影や追従フレーミング撮影などにおいては、ユーザーが狙った主要被写体像の(輪郭形状や色、輝度、コントラストなど)特徴量だけでなく、当該被写体像の分光反射率特性や、(例えば、近赤外線領域や紫外線領域など、肉眼では確認できないあるいは確認困難な波長帯域も含めて、)選択された被写体の分光特性情報や材質の種類などを追従目標の被写体の特徴量として登録しておき、以降、例えば、レリーズ釦を半押している間は、継続して、当該被写体と一致する分光特性情報や種類など、同じ特徴量を持つ被写体を識別して、追従AF処理したり、追従フレーミング撮影したりすることができる。
他方、ステップS411からの処理を繰り返すことにより、変更回数、変更距離が所定以上となり、ステップS416の判断がYESとなった場合には、被写体の追従を解除すべく、追従中フラグをリセットし(ステップS417)、表示部85に追従失敗及び追従解除を警告表示する。したがって、ユーザーがこの警告表示を視認することにより、フォーカス枠を目標被写体に追従する機能が停止したことを知ることができる。
また、以上のサブルーチンにより、本実施の形態によれば、輝度の低い被写体や、暗所での撮影でも、被写体追従AF処理を的確に行うことができる。
(第3の実施の形態)
図17は、本発明の第3の実施の形態において、前記プログラム等とともにプログラムメモリ23に格納されているシーン別撮影データテーブル231の記憶内容の一部を示す概念図である。このシーン別撮影データテーブル231は、「所定の撮影シーン1」と「所定の撮影シーン2」とに区分されている。「所定の撮影シーン1」と「所定の撮影シーン2」には、BS(ベストシーン)No.毎に、「紅葉を写します」、「夜景と人物を写します」等の撮影時のシーンを示すシーン区分データ232、対応する画像例233、及び「シャープネスがハード、彩度が高め、色強調が赤に設定されます。」等のシーン選択効果データ234が記憶されている。さらに、シーン別撮影データテーブル231には、各撮影シーンに対応して当該撮影シーンを撮影する場合に、当該デジタルカメラ1に設定されるべきISO感度やホワイトバランス等の撮影条件が記憶されている。
図18、19本実施の形態における処理手順を示す一連のフローチャートであり、制御回路2はプログラムメモリ23に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザーによる操作入力部22での操作に応じて、撮影モード、撮影条件を選択する(ステップS501)。この撮影条件の選択には、前記シーン別撮影データテーブル231からの所望の撮影シーンを選択することにより設定される撮影条件が含まれる。
次に、前記ステップS501で選択された撮影シーンが前記「所定の撮影シーン1」からのものであるか否かを判断する(ステップS502)。「所定の撮影シーン1」からのものである場合には、選択された撮影シーン又はステップS501で設定された撮影条件に応じて、スルー映像の波長帯域を選択する(ステップS503)。
つまり、前記シーン別撮影データテーブル231には、シーン区分データ232が示す「風景」、「紅葉」、「夕日」、「緑」、「人物」等の撮影シーンに対応して、スルー映像の波長帯域が記憶されている。したがって、ステップS503においては、ステップS501で選択された撮影シーンに対応してシーン別撮影データテーブル231に記憶されているスルー映像の波長帯域を読み出すことにより、これを選択する。
また、ステップS502での判断の結果、選択された撮影シーンが「所定の撮影シーン1」からのものでない場合、及び撮影シーンが選択されていない場合には、可視光全域をスルー映像の波長帯域として選択する(ステップS504)。しかる後に、選択波長帯域のスルー表示処理を実行して、前記ステップS502又はステップS503で選択さ波長帯域のスルー映像を表示部85に表示させる(ステップS505)。
したがって、表示部85に、「所定の撮影シーン1」から選択された撮影シーンに応じて、自動的に選択された波長帯域のスルー映像を表示させることができる。
次に、レリーズ釦が半押しされてスイッチS1がONになったか否かを判断する(ステップS204)。すなわち、本実施の形態においてレリーズ釦は、半押しと全押しとが可能な所謂ハーフシャッタ機能を有するものであり、半押しされた場合にはスイッチS1がONとなり、全押しされた場合にはスイッチS2がONとなる構成である。そして、レリーズ釦が半押しされるまで、ステップS502〜S506のループを繰り返す。
レリーズ釦が半押しされたならば、測光処理を実行する(ステップS507)。また、この測光処理により得られた測光値が所定値未満であるか否かを判断する(ステップS508)。このステップS508での判断の結果、測光値<所定値であって、暗所での撮影であったり、被写体が暗い場合には、さらに被写体までの距離を検出してこの検出した被写体距離が所定距離(例えば、2mなど)以下であるか否かを判断する(ステップS509)。そして、被写体距離が所定距離(例えば、2mなど)以下である場合には、AF補助光の発光処理を行って、ストロボ39とLED41の少なくとも一方を発光(全波長帯域で発光)させる(ステップS510)。
つまり、本実施の形態においては、被写体までの距離が所定距離以下である場合にのみ、AF補助光の発光を行うことから、被写体までの距離が長くAF補助光が被写体に到達しないような状況下において、無用にAF補助光の発光が行われることがない。よって、無用な無用にAF補助光の発光を未然に防止することができる。
次に、前記ステップS501で選択された撮影シーンが「所定の撮影シーン2」からのものあるか否かを判断する(ステップS511)。このステップS511での判断の結果、選択された撮影シーンが「所定の撮影シーン2」からのものである場合には、近赤外を含む波長帯域をAF用波長帯域として選択する。
また、選択された撮影シーンが「所定の撮影シーン2」からのものでない場合、及びステップS508での判断の結果、測光値が所定値以上であって、暗所での撮影であったり、被写体が明るい場合には、近赤外を含まない波長帯域をAF用波長帯域として選択する(ステップS513)。引き続き、AF処理を実行して、予め設定されているAFエリア内の画像が合焦するように、焦点レンズ駆動部34を制御する(ステップS514)。また、AE処理を実行して露出条件を設定する(ステップS515)。
次に、レリーズ釦が全押しされて前記スイッチS2がONとなったか否かを判断する(ステップS516)。レリーズ釦が全押しされない場合には、レリーズ釦の半押しが継続された前記スイッチS1のON状態が継続しているか否かを判断する(ステップS517)。スイッチS1のON状態が継続しておらず、レリーズ釦の半押しが解除された場合には、ステップS502に戻る。
レリーズ釦が全押しされて前記スイッチS2がONとなると、ステップS516の判断がYESとなり、図19のステップS518に進む。そして、撮像素子60とDSP部67を高速連写&マルチプレーン加算モードに設定する(ステップS213)。次に、連写枚数でありかつ透過波長帯域数である(n)を設定し、1枚の画像を撮影するための露出時間tを設定し、これら(n)とtとを用いて波長帯域毎の露出時間t/nを設定するとともに、絞りを設定する(ステップS519)。つまり、設定した一枚の画像の撮影に要する露出時間t内において、設定したn個の透過波長帯域毎に露出及び撮影処理を行うと、透過波長帯域毎の露出時間はt/nとなるので、この露出時間(t/n)を設定する。
次に、透過波長帯域の数(n)に分割された画像の波長帯域において、最初の波長帯域(λi=λ1)を選択する(ステップS520)。この最初の波長帯域(λi=λ1)は、波長が最も短い帯域側でもよいし、最も長い帯域側でもよい。そして、電子制御フィルタ(分光フィルタ59)に、所定の駆動信号を加えて、透過波長帯域を前記ステップS13で選択した波長帯域λ1に設定する(ステップS521)。引き続き、露出&撮影処理を実行して、イメージセンサ部63からの画像データをバッファメモリ(A)70に記憶する(ステップS522)。したがって、このステップS21での処理により、バッファメモリ(A)70には分光フィルタ59を透過した波長帯域λiからなる分光画像データが記憶されることとなる。
次に、前記ステップS519で設定された各露出時間(t/n)が経過したか否かを判断し(ステップS523)、経過したならば露光を終了して、前記ステップS522で撮影されてバッファメモリ(A)70に記憶された分光画像データを、該バッファメモリ(A)70から読み出す(ステップS524)。
引き続き、この読み出した分光画像データを、波長帯域(λi)毎に、フィルタの透過率T(λi)、撮影感度S(λi)などを補正する(ステップS525)。また、この補正した分光画像データをR,G,Bデータに変換する(ステップS526)。例えば、分光画像データの各画素の輝度値V(x,y;λi)に等色関数を乗算して、R,G,Bデータに変換する。さらに、撮影された各波長帯の分光画像の各画素のR,G,Bデータをマルチプレーン加算合成して、バッファメモリ(B)81に記憶する(ステップS527)。したがって、バッファメモリ(B)81には、t/n毎に撮影された分光画像の各画素のR,G,Bデータをマルチプレーン加算合成した合成画像が更新されつつ記憶される。
次に、帯域数n枚の分光画像を撮影済みか否か、つまりi≧nとなったか否かを判断する(ステップS528)。i≧nとなっておらず、帯域数n枚の分光画像を撮影済みでない場合には、iをインクリメントして(i=i+1)、このiの値により示される次の波長帯域(λi)を選択し(ステップS529)、ステップS521からの処理を繰り返す。したがって、ステップS521〜S528の処理は、t/nのタイミングでn回繰り返され、n回繰り返されると、ステップS528の判断がYESとなって、ステップS528からステップS530に進む。
また、ステップS527の処理がn回繰り返されることにより、バッファメモリ(B)81には、n個の各波長帯の分光画像の各画素のR,G,Bデータがマルチプレーン加算合成された単一の合成画像を記憶することができる。
そして、ステップS30においては、バッファメモリ(B)81に記憶されている前記マルチプレーン加算合成された単一の合成画像を圧縮及び符号化処理する(ステップS530)。さらに、この圧縮及び符号化処理した撮影画像データを画像メモリ媒体25に保存記録し(ステップS531)、この画像メモリ媒体25に保存記録した撮影画像データに基づく画像を表示部85にプレビュー表示する(ステップS532)。
したがって、撮影された各波長帯の分光画像の各画素のR,G,Bデータをマルチプレーン加算合成して生成された単一の画像が画像メモリ媒体25に記録されるとともに、プレビュー表示される。よって、ユーザは、このプレビュー表示を視認することにより、記録された画像を迅速に確認することができる。
なお、前述した第3の実施の形態おいては、ユーザが撮影シーンを選択し、この選択した撮影シーンを判別するようにした。しかし、制御回路2において表示部85に表示されたスルー画像に基づき、撮影シーンを自動判別し、この自動判別したシーンに応じて、前述の図18及び図19に示したフローに示す処理を実行するようにしてもよい。
また、本実施の形態においては、マルチプレーン加算合成された画像を最終的に画像メモリ媒体25に保存記録するようにしたが、ステップS3で撮影記録時における画像の波長帯域(撮影記録の波長帯域)も選択して、当該選択された波長帯域の画像を最終的に画像メモリ媒体25に保存記録するようにしてもよい。
さらに、実施の形態においては、静止画を撮像する場合について説明したが、動画を撮影する場合には、動画を構成する各フレーム画像の撮影を前述した実施の形態におけける静止画を撮影する場合と同様の手順で行えばよい。
本発明の一実施の形態に係るデジタルカメラの回路構成を示すブロック図である。 本発明の第1の実施の形態における撮影制御処理手順を示すフローチャートである。 図2に続くフローチャートである。 撮影処理の処理手順を示す説明図である。 撮影処理の処理手順を示す説明図である。 分光スルー映像の表示処理の手順を示すフローチャートである。 マルチプレーン加算処理の処理手順を示す説明図である。 スルー映像処理の処理手順を示す説明図である。 スルー映像処理の処理手順を示す説明図である。 フィルタの駆動制御例(1)の手順を示すフローチャートである。 フィルタの駆動制御例(2)の手順を示すフローチャートである。 CMOS20イメージセンサの列回路と画素加算回路の構成例を示す図である。 CMOS20イメージセンサの列回路と画素加算回路の動作を示すタイミングチャートである。 本発明の第2の実施の形態における撮影制御の処理手順を示すフローチャートである。 同実施の形態におけるAF処理の処理手順を示すフローチャートである。 同実施の形態における被写体追従AF処理の処理手順を示すフローチャートである。 シーン別撮影データテーブルの一部を示す概念図である。 本発明の第3の実施の形態における撮影制御処理手順を示すフローチャートである。 図18に続くフローチャートである。
符号の説明
1 デジタルカメラ
2 制御回路
3 CPU
22 操作入力部
23 プログラムメモリ
24 データメモリ
25 メモリカード媒体
25 画像メモリ媒体
32 分光フィルタ駆動部
33 温度検出回路
34 焦点レンズ駆動部
35 ズーム駆動部
36 ブレ補正駆動部
47 HDD記憶装置
48 ディスク媒体
49 モータ
58 撮像光学系
59 分光フィルタ
60 撮像素子
62 シャッタ
63 イメージセンサ部
64 水平走査部
65 垂直走査部
66 P/S20変換部
67 DSP部
68 S20/P変換部
69 前処理部
71 帯域別信号処理部
72 マルチプレーン加算回路
73 RGB変換部
74 階調変換ガンマ補正部
75 カラーマトリクス回路

Claims (12)

  1. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
    このフィルタ手段の透過波長帯域を選択する第1の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、
    この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、
    前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、
    この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像手段と
    を備え
    前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示手段であり、
    前記フィルタ手段の透過波長帯域には、可視光領域外の帯域が含まれ、
    前記第1の選択手段により前記可視光領域外の帯域が前記フィルタ手段の透過波長帯域として選択された場合、前記表示手段は、前記選択透過波長帯域の被写体光に基づき所定の可視処理を実行して、前記スルー映像を表示し、
    前記所定の可視処理は、前記可視光領域外の被写体光に対応する映像信号を所定の疑似色の映像信号に変換する処理であり、
    前記表示手段は、前記変換された所定の疑似色の映像信号に基づき、前記スルー画像を表示することを特徴とする撮像装置。
  2. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
    このフィルタ手段の透過波長帯域を選択する第1の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、
    この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、
    前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、
    この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像手段と
    を備え、
    前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示手段であり、
    前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点制御を実行する焦点制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき露出制御を実行する露出制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点を予め特定された被写体に追従させる制御を実行する追従焦点制御手段のうち少なくとも1つを含み、
    前記第1選択手段は、第3の選択手段と第4の選択手段とで構成され、
    前記第1の分光制御手段は、前記駆動信号を入力して、前記フィルタ手段に前記第3の選択手段と第4の選択手段とにより選択された透過波長帯域の被写体光を漸次透過させ、
    前記表示手段は、前記第3の選択手段により選択された選択透過波長帯域の被写体光に基づき、スルー映像を表示し、
    前記焦点制御手段、前記露出制御手段又は前記追従焦点制御手段は、前記第4の選択手段により選択された選択透過波長帯域の被写体光に基づき、被写体像の焦点制御、露出制御、追従焦点制御を各々実行することを特徴とする像装置。
  3. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段と、
    このフィルタ手段の透過波長帯域を選択する第1の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、
    この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、
    前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、
    この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像手段と、
    前記機能実現手段の動作時に、補助光を周囲空間に放射する発光手段と、
    この発光手段の発光波長帯域を前記第1の選択手段により選択された透過波長帯域に応じて制御する発光制御手段と
    えることを特徴とする像装置。
  4. 前記第1の選択手段は、当該撮像装置に設定された撮影条件に基づき、前記フィルタ手段の透過波長帯域を選択することを特徴とすることを特徴とする請求項1から3にいずれか記載の撮像装置。
  5. 前記第2の分光制御手段は、前記駆動信号を入力して、前記透過波長帯域を複数段に変化させ、
    前記撮像手段は、前記第2の分光制御手段の制御により前記フィルタ手段を透過した前記複数段の透過波長帯域毎の被写体光に基づく複数の画像データを合成する合成手段と、
    この合成手段により合成された合成画像データを記録する記録手段と
    を備えることを特徴とする請求項1からにいずれか記載の撮像装置。
  6. 前記合成手段は、前記複数の画像データをその透過波長帯域に応じて補正し、マルチプレーン加算合成することを特徴とする請求項記載の撮像装置。
  7. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置が有するコンピュータを、
    前記フィルタ手段の透過波長帯域を選択する第1の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、
    この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、
    前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、
    この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録させる撮像制御手段と
    して機能させ
    前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示させる表示制御手段であり、
    前記フィルタ手段の透過波長帯域には、可視光領域外の帯域が含まれ、
    前記第1の選択手段により前記可視光領域外の帯域が前記フィルタ手段の透過波長帯域として選択された場合、前記表示制御手段は、前記選択透過波長帯域の被写体光に基づき所定の可視処理を実行して、前記スルー映像を表示させ、
    前記所定の可視処理は、前記可視光領域外の被写体光に対応する映像信号を所定の疑似色の映像信号に変換する処理であり、
    前記表示制御手段は、前記変換された所定の疑似色の映像信号に基づき、前記スルー画像を表示させることを特徴とする撮像装置制御プログラム。
  8. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置が有するコンピュータを、
    前記フィルタ手段の透過波長帯域を選択する第1の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、
    この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、
    前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、
    この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録させる撮像制御手段と
    して機能させ、
    前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示させる表示制御手段であり、
    前記機能実現手段は、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点制御を実行する焦点制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき露出制御を実行する露出制御手段と、前記第1の選択手段により選択された透過波長帯域の被写体光に基づき被写体像の焦点を予め特定された被写体に追従させる制御を実行する追従焦点制御手段のうち少なくとも1つを含み、
    前記第1の選択手段は、第3の選択手段と第4の選択手段とで構成され、
    前記第1の分光制御手段は、前記駆動信号を入力して、前記フィルタ手段に前記第3の選択手段と第4の選択手段とにより選択された透過波長帯域の被写体光を漸次透過させ、
    前記表示制御手段は、前記第3の選択手段により選択された選択透過波長帯域の被写体光に基づき、スルー映像を表示させ、
    前記焦点制御手段、前記露出制御手段又は前記追従焦点制御手段は、前記第4の選択手段により選択された選択透過波長帯域の被写体光に基づき、被写体像の焦点制御、露出制御、追従焦点制御を各々実行することを特徴とする撮像装置制御プログラム。
  9. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置が有するコンピュータを、
    前記フィルタ手段の透過波長帯域を選択する第1の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択手段により選択された透過波長帯域の被写体光を透過させる第1の分光制御手段と、
    この第1の分光制御手段の制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現手段と、
    前記フィルタ手段の透過波長帯域を選択する第2の選択手段と、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択手段により選択された透過波長帯域の被写体光を透過させる第2の分光制御手段と、
    この第2の分光制御手段の制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録させる撮像制御手段と、
    前記機能実現手段の動作時に補助光を周囲空間に放射する発光手段の発光波長帯域を、前記第1の選択手段により選択された透過波長帯域に応じて制御する発光制御手段と
    して機能させることを特徴とする撮像装置制御プログラム。
  10. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置の制御方法であって、
    前記フィルタ手段の透過波長帯域を選択する第1の選択ステップと、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択ステップにより選択された透過波長帯域の被写体光を透過させる第1の分光制御ステップと、
    この第1の分光制御ステップでの制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと、
    前記フィルタ手段の透過波長帯域を選択する第2の選択ステップと、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択ステップにより選択された透過波長帯域の被写体光を透過させる第2の分光制御ステップと、
    この第2の分光制御ステップでの制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像ステップと
    を含み、
    前記機能実現ステップは、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示ステップであり、
    前記フィルタ手段の透過波長帯域には、可視光領域外の帯域が含まれ、
    前記第1の選択ステップにより前記可視光領域外の帯域が前記フィルタ手段の透過波長帯域として選択された場合、前記表示ステップは、前記選択透過波長帯域の被写体光に基づき所定の可視処理を実行して、前記スルー映像を表示し、
    前記所定の可視処理は、前記可視光領域外の被写体光に対応する映像信号を所定の疑似色の映像信号に変換する処理であり、
    前記表示ステップは、前記変換された所定の疑似色の映像信号に基づき、前記スルー画像を表示することを特徴とする撮像装置制御方法。
  11. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置の制御方法であって、
    前記フィルタ手段の透過波長帯域を選択する第1の選択ステップと、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択ステップにより選択された透過波長帯域の被写体光を透過させる第1の分光制御ステップと、
    この第1の分光制御ステップでの制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと、
    前記フィルタ手段の透過波長帯域を選択する第2の選択ステップと、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択ステップにより選択された透過波長帯域の被写体光を透過させる第2の分光制御ステップと、
    この第2の分光制御ステップでの制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像ステップと
    を含み、
    前記機能実現ステップは、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき、被写体のスルー映像を表示する表示ステップであり、
    前記機能実現ステップは、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき被写体像の焦点制御を実行する焦点制御ステップと、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき露出制御を実行する露出制御ステップと、前記第1の選択ステップにより選択された透過波長帯域の被写体光に基づき被写体像の焦点を予め特定された被写体に追従させる制御を実行する追従焦点制御ステップのうち少なくとも1つを含み、
    前記第1の選択ステップは、第3の選択ステップと第4の選択ステップとで構成され、
    前記第1の分光制御ステップは、前記駆動信号を入力して、前記フィルタ手段に前記第3の選択ステップと第4の選択ステップとにより選択された透過波長帯域の被写体光を漸次透過させ、
    前記表示ステップは、前記第3の選択ステップにより選択された選択透過波長帯域の被写体光に基づき、スルー映像を表示し、
    前記焦点制御ステップ、前記露出制御ステップ又は前記追従焦点制御ステップは、前記第4の選択ステップにより選択された選択透過波長帯域の被写体光に基づき、被写体像の焦点制御、露出制御、追従焦点制御を各々実行することを特徴とする撮像装置制御方法。
  12. 入力される駆動信号に応じて、被写体光の透過波長帯域を変化させるフィルタ手段を備える撮像装置の制御方法であって、
    前記フィルタ手段の透過波長帯域を選択する第1の選択ステップと、
    前記フィルタ手段に前記駆動信号を入力して、前記第1の選択ステップにより選択された透過波長帯域の被写体光を透過させる第1の分光制御ステップと、
    この第1の分光制御ステップでの制御により前記フィルタ手段を透過した前記選択透過波長帯域の被写体光に基づき、当該撮像装置が有する所定の機能の実現に必要な処理を実行する機能実現ステップと、
    前記フィルタ手段の透過波長帯域を選択する第2の選択ステップと、
    前記フィルタ手段に前記駆動信号を入力して、前記第2の選択ステップにより選択された透過波長帯域の被写体光を透過させる第2の分光制御ステップと、
    この第2の分光制御ステップでの制御により前記フィルタ手段を透過した被写体光に基づき、被写体を撮像して記録する撮像ステップと、
    前記機能実現ステップの動作時に補助光を周囲空間に放射する発光手段の発光波長帯域を、前記第1の選択ステップにより選択された透過波長帯域に応じて制御する発光制御ステップと
    を含むことを特徴とする撮像装置制御方法。
JP2007291432A 2007-07-24 2007-11-09 撮像装置、撮像装置制御プログラム及び撮像装置制御方法 Expired - Fee Related JP5040600B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007291432A JP5040600B2 (ja) 2007-11-09 2007-11-09 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
US12/177,389 US8063976B2 (en) 2007-07-24 2008-07-22 Image pick-up apparatus and method of controlling the image pick-up apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007291432A JP5040600B2 (ja) 2007-11-09 2007-11-09 撮像装置、撮像装置制御プログラム及び撮像装置制御方法

Publications (3)

Publication Number Publication Date
JP2009118359A JP2009118359A (ja) 2009-05-28
JP2009118359A5 JP2009118359A5 (ja) 2010-12-16
JP5040600B2 true JP5040600B2 (ja) 2012-10-03

Family

ID=40784956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007291432A Expired - Fee Related JP5040600B2 (ja) 2007-07-24 2007-11-09 撮像装置、撮像装置制御プログラム及び撮像装置制御方法

Country Status (1)

Country Link
JP (1) JP5040600B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5220666B2 (ja) * 2009-03-24 2013-06-26 オリンパスイメージング株式会社 撮影装置およびライブビュー表示方法
US8135271B2 (en) * 2010-05-17 2012-03-13 Ability Enterprise Co., Ltd. Method of calibrating an autofocus lighting device of a camera
JP6244945B2 (ja) * 2014-01-29 2017-12-13 セイコーエプソン株式会社 電子機器
JP6330363B2 (ja) * 2014-02-26 2018-05-30 セイコーエプソン株式会社 電子機器及び電子機器の制御方法
EP3112849A4 (en) 2014-03-07 2017-11-01 Nippon Steel & Sumitomo Metal Corporation Surface texture indexing device, surface texture indexing method, and program
JP5861071B1 (ja) 2014-10-14 2016-02-16 パナソニックIpマネジメント株式会社 内視鏡
JP6760486B2 (ja) 2017-03-27 2020-09-23 株式会社ニコン 撮像装置
WO2019026618A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 撮像装置、撮像方法、並びにプログラム
JP6608022B2 (ja) * 2018-10-02 2019-11-20 パナソニック株式会社 内視鏡
WO2020250773A1 (ja) * 2019-06-11 2020-12-17 富士フイルム株式会社 撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4663258B2 (ja) * 2003-06-17 2011-04-06 オリンパス株式会社 内視鏡装置
JP4717363B2 (ja) * 2004-03-10 2011-07-06 オリンパス株式会社 マルチスペクトル画像撮影装置及びアダプタレンズ
JP2006284694A (ja) * 2005-03-31 2006-10-19 Nikon Corp 焦点検出装置,電子カメラおよび交換レンズ

Also Published As

Publication number Publication date
JP2009118359A (ja) 2009-05-28

Similar Documents

Publication Publication Date Title
JP5082648B2 (ja) 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP5040600B2 (ja) 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
US8063976B2 (en) Image pick-up apparatus and method of controlling the image pick-up apparatus
US11698523B2 (en) Combined biometrics capture system with ambient free infrared
US7112779B2 (en) Optical apparatus and beam splitter
JP5056297B2 (ja) 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
CN100548033C (zh) 图像传感器和数字照相机
JP4717363B2 (ja) マルチスペクトル画像撮影装置及びアダプタレンズ
US20120127334A1 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
US9060110B2 (en) Image capture with tunable polarization and tunable spectral sensitivity
JP4952329B2 (ja) 撮像装置、色収差補正方法およびプログラム
US20110116162A1 (en) Optical Low-Pass Filter
US8384808B2 (en) Imaging apparatus
US20120127301A1 (en) Adaptive spectral imaging by using an imaging assembly with tunable spectral sensitivities
CN104469134B (zh) 摄像装置、电子取景器和显示控制方法
JP3397754B2 (ja) 撮像装置
JP3397758B2 (ja) 撮像装置
US20060132641A1 (en) Optical filter and image pickup apparatus having the same
JP2011232615A (ja) 撮像装置
JP5040628B2 (ja) 撮像装置、印刷システム、撮像装置制御プログラム及び撮像装置制御方法
JP6385123B2 (ja) 監視カメラおよびこれに用いられるカバー
US7474349B2 (en) Image-taking apparatus
JP6926706B2 (ja) 固体撮像素子の製造方法
JP2007065555A (ja) 撮像装置
US20050078360A1 (en) Telescope body and telescope provided with the telescope body

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5040600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees