JPWO2015174295A1 - 撮像装置および撮像方法 - Google Patents

Abstract

本開示は、多分光画像を高速かつ確実に撮像することができるようにする撮像装置および撮像方法に関する。撮像装置は、被写体を撮像する撮像素子と、撮像素子に入射する光を所定の波長域ごとに分光する複数枚の分光フィルタを有する多分光フィルタと、分光フィルタごとに停止させることなく多分光フィルタを駆動し、撮像素子の開口を覆う分光フィルタを連続的に切り替える駆動部とを備える。そして、多分光フィルタが有する複数枚の分光フィルタのうちの隣接するものどうしの境界が、撮像素子の開口を遮る位置にあるか否かを検出し、分光フィルタどうしの境界が撮像素子の開口を遮る位置にあることが検出されている期間、撮像素子から出力される画像を無効化する信号処理を行う。本技術は、例えば、多分光画像を撮像可能な撮像装置に適用できる。

Description

本開示は、撮像装置および撮像方法に関し、特に、多分光画像を高速かつ確実に撮像することができるようにした撮像装置および撮像方法に関する。

一般的に、固体撮像素子は、例えば、ベイヤー配列により画素ごとに、赤色、緑色、および青色の三原色のカラーフィルタが配置されて構成されている。そして、固体撮像素子においては、カラーフィルタにより分光されたそれぞれの色の光を画素が受光することによって、三原色により構成される画像を撮像することができる。

これに対し、例えば、三原色よりも多くの色に分光された光を画素で受光することによって、それぞれの色により構成される複数枚の画像（以下適宜、多分光画像と称する）を撮像することができる撮像装置が開発されている。

例えば、従来、多分光画像を撮像可能な撮像装置は、複数枚の分光フィルタを切り替えて多分光画像を撮像し、個々の分光フィルタを切り替えるたびに停止させて撮像することを繰り返して行って、１セット分の多分光画像を時分割で撮像する構成となっていた。

このように、従来の撮像装置では、分光フィルタの切り替えと停止とを繰り返す構成であったため、１セット分の多分光画像を短時間（例えば、１秒程度）で撮像することは困難であった。従って、１セット分の多分光画像を撮像するのに長時間（例えば、数秒程度）を要した場合には、例えば、風に揺らぐ木の枝などの動体が、１セット分の多分光画像の間で重なり合わないことがあり、それらの多分光画像を合成したときにはブレが発生してしまう。

これに対し、特許文献１には、多分光画像を高速に撮像することができるように、個々の分光フィルタごとに停止させずに、１セット分の多分光画像を時分割で撮像する撮像装置が開示されている。この撮像装置では、撮像された画像自体から、分光フィルタの境界線のマーキングを検出することによって、画像データの振り分けが行われている。

特開２００３−３０９８５６号公報

しかしながら、画像自体から、分光フィルタの境界線のマーキングを検出する撮像装置では、分光フィルタが撮像素子の近傍にある構成のためにフォーカスを合わせるのが困難であり、また、分光フィルタが鏡筒内部にある構成のために光量が不足することがあった。そのため、分光フィルタの境界線のマーキングを適切に検出することができないこともあり、多分光画像を確実に撮像することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、多分光画像を高速かつ確実に撮像することができるようにするものである。

本開示の一側面の撮像装置は、被写体を撮像する撮像素子と、前記撮像素子に入射する光を所定の波長域ごとに分光する複数枚の分光フィルタを有する多分光フィルタと、前記分光フィルタごとに停止させることなく前記多分光フィルタを駆動し、前記撮像素子の開口を覆う前記分光フィルタを連続的に切り替える駆動部と、前記多分光フィルタが有する複数枚の前記分光フィルタのうちの隣接するものどうしの境界が、前記撮像素子の開口を遮る位置にあるか否かを検出する境界検出部と、前記境界検出部により前記分光フィルタどうしの境界が前記撮像素子の開口を遮る位置にあることが検出されている期間、前記撮像素子から出力される画像を無効化する信号処理を行う信号処理部とを備える。

本開示の一側面の撮像方法は、被写体を撮像する撮像素子と、前記撮像素子に入射する光を所定の波長域ごとに分光する複数枚の分光フィルタを有する多分光フィルタと、前記分光フィルタごとに停止させることなく前記多分光フィルタを駆動し、前記撮像素子の開口を覆う前記分光フィルタを連続的に切り替える駆動部とを備える撮像装置の撮像方法であって、前記多分光フィルタが有する複数枚の前記分光フィルタのうちの隣接するものどうしの境界が、前記撮像素子の開口を遮る位置にあるか否かを検出し、前記分光フィルタどうしの境界が前記撮像素子の開口を遮る位置にあることが検出されている期間、前記撮像素子から出力される画像を無効化する信号処理を行うステップを含む。

本開示の一側面においては、多分光フィルタが有する複数枚の分光フィルタのうちの隣接するものどうしの境界が、撮像素子の開口を遮る位置にあるか否かが検出され、分光フィルタどうしの境界が撮像素子の開口を遮る位置にあることが検出されている期間、撮像素子から出力される画像を無効化する信号処理が行われる。

本開示の一側面によれば、多分光画像を高速かつ確実に撮像することができる。

本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 多分光フィルタの構成例を示す図である。 信号処理回路による処理について説明する図である。 撮像装置において行われる処理を説明するフローチャートである。 境界検出部の第１の変形例を示す図である。 境界検出部の第２の変形例を示す図である。 境界検出部の第３の変形例を示す図である。 １セット分の分光画像を時分割で撮像する処理を説明する図である。 多分光フィルタの第１の変形例を示す図である。 多分光フィルタの第２の変形例を示す図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。

図１に示すように、撮像装置１０は、多分光フィルタ１１、駆動部１２、境界検出部１３、フォーカス光学系１４、ＡＦ（Auto Focus：オートフォーカス）駆動部１５、撮像素子１６、信号処理回路１７、画像処理回路１８、および撮像条件設定部１９を備えて構成される。

多分光フィルタ１１は、撮像素子１６に入射する光を所定の波長域ごとに分光する複数枚の光学フィルタを有している。そして、多分光フィルタ１１は、駆動部１２により駆動されることによって、撮像素子１６の開口を覆う光学フィルタを順次、光学フィルタごとに停止させることなく連続的に切り替えることができるように構成される。例えば、多分光フィルタ１１は、後述する図２に示すように、６枚の光学フィルタ４１−１乃至４１−６により円盤の平面を形成するように構成されており、その円盤の中心を回転軸とした回転方向に順次、光学フィルタ４１−１乃至４１−６が配置されている。

駆動部１２は、例えば、回転軸を中心として回転駆動するモータであり、その回転軸が多分光フィルタ１１の中心に取り付けられ、一定の回転速度で多分光フィルタ１１を回転させる。このように、駆動部１２が多分光フィルタ１１を回転させることによって、撮像素子１６の開口を覆う位置に配置される光学フィルタ４１−１乃至４１−６が順次、切り替えられる。

境界検出部１３は、多分光フィルタ１１が有する光学フィルタ４１−１乃至４１−６の隣接するものどうしの境界が、多分光フィルタ１１上における撮像素子１６の開口を遮る位置にあるか否かを検出する。そして、境界検出部１３は、光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にあるか否かを示す境界検出信号を出力する。例えば、境界検出部１３は、多分光フィルタ１１と共に回転する複数枚の遮光板３１と、固定された発光素子３２および受光素子３３とを組み合わせた構成を採用することができ、遮光板３１が発光素子３２および受光素子３３の間を通過するように構成される。

フォーカス光学系１４は、複数枚のレンズが組み合わされて構成されており、多分光フィルタ１１を介して入射する被写体からの光を集光し、撮像素子１６のセンサ面に合焦するように被写体の像を結像する。

ＡＦ駆動部１５は、例えば、撮像素子１６により撮像される画像のコントラストに基づいて、フォーカス光学系１４による被写体の結像面が撮像素子１６のセンサ面に一致するように、フォーカス光学系１４を構成するレンズを駆動する。また、ＡＦ駆動部１５は、信号処理回路１７から供給されるＡＦ制御信号に従って、フォーカス光学系１４のＡＦ駆動を停止する制御を行う。

撮像素子１６は、多分光フィルタ１１を介して、図示しない被写体を撮像する。即ち、撮像素子１６は、多分光フィルタ１１を介して被写体からの光を受光し、センサ面に配置されている画素が受光した光の光量に応じた画素信号により構築される画像の画像信号を信号処理回路１７に供給する。また、撮像素子１６は、所定のフレームレートで連続的に画像を撮像することができ、そのフレームレートに同期した垂直方向同期信号Ｖsyncを信号処理回路１７に供給する。

信号処理回路１７は、境界検出部１３から供給される境界検出信号と、撮像素子１６から供給される垂直方向同期信号Ｖsyncとに基づいて、撮像素子１６から供給される画像信号の有効または無効を判断する。

例えば、信号処理回路１７は、境界検出信号において光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にあることが示されている期間における垂直方向同期信号Ｖsyncに基づいて撮像された画像を無効と判断する。一方、信号処理回路１７は、境界検出信号において光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にないことが示されている期間における垂直方向同期信号Ｖsyncに基づいて撮像された画像を有効と判断する。なお、以下適宜、光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にある期間を無効期間と称し、光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にない期間を有効期間と称する。

そして、信号処理回路１７は、無効と判断した画像を無効化し、有効と判断した画像の画像信号だけを画像処理回路１８に供給する。また、撮像素子１６は、境界検出信号と同様のタイミングで、有効期間および無効期間が切り替えられるＡＦ制御信号をＡＦ駆動部１５に供給する。同様に、撮像素子１６は、有効期間および無効期間が切り替えられる撮像タイミング信号を撮像条件設定部１９に供給する。

画像処理回路１８は、信号処理回路１７から供給される画像信号に対して、例えば、ホワイトバランス調整やガンマ補正などの各種の画像処理を施し、図示しない後段のブロックに出力する。

撮像条件設定部１９は、信号処理回路１７から供給される撮像タイミング信号に従って、有効期間において撮像素子１６が撮像する複数枚の画像について、例えば、１フレームごとに変更されるように撮像条件を設定する。例えば、撮像条件設定部１９は、ゲイン制御部２０および露光時間制御部２１を有している。ゲイン制御部２０は、有効期間において撮像素子１６が撮像する画像の１フレームごとにゲインが変更されるように、１フレームごとの複数のゲインを設定する。また、露光時間制御部２１は、有効期間において撮像素子１６が撮像する画像の１フレームごとに露光時間が変更されるように、１フレームごとの複数の露光時間を設定する。

このように構成される撮像装置１０では、撮像素子１６の開口を覆う位置に配置される光学フィルタ４１−１乃至４１−６が連続的に停止されることなく切り替えられ、かつ、光学フィルタ４１−１乃至４１−６の境界が写り込まない画像だけが出力される。従って、撮像装置１０では、光学フィルタ４１−１乃至４１−６により分光された多分光画像を、高速かつ確実に撮像することができる。

例えば、撮像装置１０では、光学フィルタ４１−１乃至４１−６の全てに対応する１セット分の多分光画像を時分割で、１秒程度の短時間で撮像することができる。これにより、例えば、風に揺らぐ木の枝など、数秒程度の時定数の動体であれば、１セット分の多分光画像を合成したときにブレが発生することなく重なり合わせることができる。また、撮像装置１０は、多分光フィルタ１１を駆動部１２で回転駆動させるだけのシンプルな構成であるため、光学機械的な信頼性が高く、容易に品質を維持することができる。

次に、図２を参照して、多分光フィルタ１１の構成例について説明する。

図２には、多分光フィルタ１１を回転軸方向から見た図が示されており、図示されている白抜きの矢印は、多分光フィルタ１１の回転方向を示している。

図２に示すように、多分光フィルタ１１は、６枚の光学フィルタ４１−１乃至４１−６により円盤の平面を形成するように構成されており、光学フィルタ４１−１乃至４１−６は、その円盤の中心に対して点対象となるように配置されている。従って、多分光フィルタ１１は、駆動部１２が多分光フィルタ１１の円盤の中心を回転軸として回転方向に回転させることにより、光学フィルタ４１−１乃至４１−６が順次、多分光フィルタ１１上における撮像素子１６の開口４２を覆うように構成されている。

また、多分光フィルタ１１の外周には、隣接する光学フィルタ４１−１乃至４１−６どうしの境界に沿って外側に延長した箇所に、６枚の遮光板３１−１乃至３１−６が取り付けられている。例えば、遮光板３１−１は、光学フィルタ４１−１と光学フィルタ４１−２との境界に取り付けられており、遮光板３１−２は、光学フィルタ４１−２と光学フィルタ４１−３との境界に取り付けられている。以下、同様に、遮光板３１−６は、光学フィルタ４１−６と光学フィルタ４１−１との境界に取り付けられている。

また、遮光板３１−１乃至３１−６とともに境界検出部１３を構成する発光素子３２および受光素子３３は、図２に示すように、２箇所に設けられている。即ち、発光素子３２−１および受光素子３３−１は、多分光フィルタ１１の回転中心から開口４２に接するように伸びる２本の接線のうち、多分光フィルタ１１が回転方向に回転したときに光学フィルタ４１−１乃至４１−６の境界が開口を遮り始める方の接線に接する箇所に配置される。一方、発光素子３２−２および受光素子３３−２は、多分光フィルタ１１の回転中心から開口４２に接するように伸びる２本の接線のうち、多分光フィルタ１１が回転方向に回転したときに光学フィルタ４１−１乃至４１−６の境界が開口を遮り終わる方の接線に接する箇所に配置される。

このような構成により、遮光板３１−１乃至３１−６のいずれかが、発光素子３２−１および受光素子３３−１の間を通過したとき、発光素子３２−１から発せられる光が受光素子３３−１により受光されないタイミングが発生する。同様に、遮光板３１−１乃至３１−６のいずれかが、発光素子３２−２および受光素子３３−２の間を通過したとき、発光素子３２−２から発せられる光が受光素子３３−２により受光されないタイミングが発生する。

従って、受光素子３３−１が発光素子３２−１からの光を受光しなかったタイミングから、受光素子３３−２が発光素子３２−２からの光を受光しなかったタイミングまで、光学フィルタ４１−１乃至４１−６のいずれかの境界が撮像素子１６の開口を遮る位置にあると検出することができる。

このように構成される境界検出部１３によって光学フィルタ４１−１乃至４１−６の境界を検出する構成とすることで、例えば、撮像素子１６により撮像された画像自体から境界を検出する構成と比較して、撮像装置１０は、より確実に境界を検出することができる。従って、光学フィルタ４１−１乃至４１−６を停止させることなく連続的に切り替える構成であっても、それらの境界が写り込むような画像を確実に無効化することができる。

ここで、多分光フィルタ１１を設計する際の設計式と、その設計式に必要な数値を決定する手法について説明する。

例えば、多分光フィルタ１１上における撮像素子１６の開口４２の半径Ａは、撮像素子１６の仕様によって確定する。また、多分光フィルタ１１が有する光学フィルタ４１の枚数Ｎ（図２の例では、Ｎ＝６）によって、１枚あたりの光学フィルタ４１の中心角度θ（図２の例では、θ＝６０°）が確定する。そして、光学フィルタ４１の境界が開口４２を遮る位置にない有効期間Ｅ、光学フィルタ４１の境界が開口４２を遮る位置にある無効期間Ｄの比率（Ｅ：Ｄ）を設定することによって、多分光フィルタ１１の最小半径Ｗが確定する。

従って、１枚あたりの光学フィルタ４１の中心角度θは、次の式（１）に従って設計することができる。

さらに、光学フィルタ４１の枚数Ｎ、有効期間Ｅ、および無効期間Ｄは既知であり、撮像素子１６のフレームレートＦも既知である。従って、次の式（２）に示すように、有効期間Ｅにおいて撮像素子１６が撮像するフレーム数ｆに従って、多分光フィルタ１１の上限の回転速度Ｒ（rps）を確定することができる。

この式（２）より、１枚の分光画像を得るのに必要な時間は、１／Ｒであることが結論として求められ、この結論を条件として遡ることで、式（１）および式（２）に示す各数値を確定するようにしてもよい。

また、多分光フィルタ１１は、光学フィルタ４１−１乃至４１−６の配列順を、波長特性に従った順番（透過帯域波長が短から長となる順番、または、長から短となる順番）に設定することができる。これにより、無効期間Ｄを挟んで有効期間Ｅで連続する、光学フィルタ４１の波長収差（色収差）の変位が大きく変化することが抑制される。従って、例えば、有効期間Ｅが再開した直後において、ＡＦ駆動部１５は、波長収差の変化が小さいことより、被写体にフォーカスを合わせる調整を容易に（迅速に）行うことができる。

次に、図３を参照して、信号処理回路１７による処理について説明する。

上述したように、信号処理回路１７には、光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にあるか否かを示す境界検出信号が、境界検出部１３から供給される。

境界検出部１３は、例えば、図３の右側の最上段に示すように、撮像素子１６の開口が遮られていない有効期間Ｅにはハイレベルとなり、撮像素子１６の開口が遮られている無効期間Ｄにはローレベルとなる境界検出信号を出力する。即ち、境界検出部１３は、遮光板３１−１乃至３１−６のいずれかが発光素子３２−１および受光素子３３−１の間を通過して、発光素子３２−１の光が受光素子３３−１により検出されなかったタイミングで、境界検出信号をローレベルに切り替える。また、境界検出部１３は、遮光板３１−１乃至３１−６のいずれかが発光素子３２−２および受光素子３３−２の間を通過して、発光素子３２−２の光が受光素子３３−２により検出されなかったタイミングで、境界検出信号をハイレベルに切り替える。

また、境界検出信号とともに、信号処理回路１７には、図３の右側の上から２段目に示すような垂直方向同期信号Ｖsyncが撮像素子１６から供給される。

従って、信号処理回路１７は、境界検出信号および垂直方向同期信号Ｖsyncのアンドを取ることにより、図３の右側の上から３段目に示すように、境界検出信号がハイレベルである有効期間Ｅにおける垂直方向同期信号Ｖsyncだけを有効と判断する。そして、信号処理回路１７は、図３の右側の上から４段目に示すように、有効と判断した垂直方向同期信号Ｖsyncに従って撮像された画像だけを画像処理回路１８に出力する。つまり、境界検出信号がローレベルである無効期間Ｄにおける垂直方向同期信号Ｖsyncに従って撮像された画像は無効化される。

また、信号処理回路１７は、図３の右側の上から５段目に示すように、垂直方向同期信号Ｖsyncと同期して、画像の有効期間および無効期間に従って信号レベルが切り替えられるＡＦ制御信号をＡＦ駆動部１５に供給する。そして、ＡＦ制御信号に従って、ＡＦ駆動部１５は、画像の有効期間の間だけ、ＡＦ駆動を実行し、画像の無効期間においてはＡｆ駆動を停止する制御を行う。このとき、ＡＦ駆動部１５は、画像の無効期間となる直前のＡＦ設定を維持しておき、画像の有効期間が開始された直後のフレームから被写体にフォーカスが合うように制御することができる。

次に、図４は、撮像装置１０において行われる処理を説明するフローチャートである。

例えば、撮像装置１０の電源が投入されて撮像素子１６が撮像可能な状態となり、多分光フィルタ１１が一定の回転速度で回転する状態となると処理が開始される。ステップＳ１１において、信号処理回路１７は、境界検出部１３から供給される境界検出信号に従って、光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にあるか否かを判定する。

ステップＳ１１において、信号処理回路１７は、境界検出信号がローレベルである場合、光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にあると判定し、処理はステップＳ１２に進む。

ステップＳ１２において、信号処理回路１７は、ＡＦ制御信号をローレベルで出力し、ＡＦ駆動部１５によるフォーカス光学系１４のＡＦ駆動を停止させ、ステップＳ１３において、撮像素子１６により撮像された画像を無効化する。

一方、ステップＳ１１において、信号処理回路１７は、境界検出信号がハイレベルである場合、光学フィルタ４１−１乃至４１−６の境界が撮像素子１６の開口を遮る位置にないと判定し、処理はステップＳ１４に進む。

ステップＳ１４において、信号処理回路１７は、ＡＦ制御信号をハイレベルで出力し、ＡＦ駆動部１５によるフォーカス光学系１４のＡＦ駆動を行わせる。また、ステップＳ１５において、信号処理回路１７は、撮像条件設定部１９に対して１フレームごとの撮像条件を設定するように制御を行い、ゲイン制御部２０は１フレームごとのゲインを設定し、露光時間制御部２１は、１フレームごとの露光時間を設定する。

そして、ステップＳ１６において、信号処理回路１７は、撮像素子１６により撮像された画像が有効であるとして、即ち、光学フィルタ４１−１乃至４１−６の境界が写り込んでいない画像であるとして、画像処理回路１８に出力する。

ステップＳ１３またＳ１６の処理後、処理はステップＳ１１に戻り、以下同様の処理が繰り返される。

次に、図５は、境界検出部１３の第１の変形例を示す図である。

図５に示すように、境界検出部１３Ａは、遮光板３１Ａ−１乃至３１Ａ−６、発光素子３２、および受光素子３３Ａが組み合わされて構成される。

遮光板３１Ａ−１乃至３１Ａ−６は、図２の遮光板３１−１乃至３１−６と同様に、光学フィルタ４１−１乃至４１−６の境界に対応した配置で多分光フィルタ１１の外周に取り付けられている。そして、遮光板３１Ａ−１乃至３１Ａ−６は、多分光フィルタ１１の半径方向に亘って遮光位置が３分割されており、それらの３箇所の遮光位置によって符号化されている。つまり、遮光板３１Ａ−１乃至３１Ａ−６ごとに遮光位置が異なるようにすることで、遮光板３１Ａ−１乃至３１Ａ−６それぞれを識別することができるように形成されている。

また、受光素子３３Ａは、遮光板３１Ａ−１乃至３１Ａ−６の３箇所の遮光位置に対応して、受光位置が分割して形成されている。

このように構成される境界検出部１３Ａでは、受光素子３３Ａが、分割された受光位置により光を受光することで、遮光板３１Ａ−１乃至３１Ａ−６をそれぞれ個別に検出することができる。

例えば、遮光板３１Ａ−１は、光学フィルタ４１−１および光学フィルタ４１−２の境界に配置されており、多分光フィルタ１１を回転方向に回転させることで、遮光板３１Ａ−１が検出された次には、光学フィルタ４１−２が開口を遮ることになる。同様に、遮光板３１Ａ−２の境界が検出された次には、光学フィルタ４１−３が開口を遮ることになり、遮光板３１Ａ−３の境界が検出された次には、光学フィルタ４１−４が開口を遮ることになる。

このように、境界検出部１３Ａは、遮光板３１Ａ−１乃至３１Ａ−６をそれぞれ個別に検出し、それぞれ個別の境界検出信号を信号処理回路１７に供給することができる。これにより、信号処理回路１７は、遮光板３１Ａ−１乃至３１Ａ−６をそれぞれ個別に認識し、それぞれ対応する次の光学フィルタ４１−１乃至４１−６を認識することができる。

従って、信号処理回路１７は、認識した次の光学フィルタ４１をＡＦ駆動部１５に通知し、ＡＦ駆動部１５は、通知された次の光学フィルタ４１の特性に従ってＡＦ動作を予測することができる。これにより、有効期間Ｅが再開した直後のフレームから、ＡＦ駆動部１５は、ＡＦ駆動を再開し、予測に従って被写体にフォーカスを合わせることができる。

次に、図６は、境界検出部１３の第２の変形例を示す図である。

図６に示すように、境界検出部１３Ｂは、回転電極３４−１乃至３４−６、および固定電極３５が組み合わされて構成される。

回転電極３４−１乃至３４−６は、図２の遮光板３１Ａ−１乃至３１Ａ−６と同様に、多分光フィルタ１１の外周に取り付けられている。固定電極３５は、多分光フィルタ１１の回転中心から開口４２に接するように伸びる２本の接線の間の範囲に亘って設けられている。

従って、境界検出部１３Ｂでは、遮光板３１Ａ−１乃至３１Ａ−６のいずれかが固定電極３５と接触している期間において、光学フィルタ４１−１乃至４１−６の境界が開口４２を遮る位置にあると検出することができる。

次に、図７は、境界検出部１３の第３の変形例を示す図である。

図７に示すように、境界検出部１３Ｃは、回転電極３４Ｃ−１乃至３４Ｃ−６、および固定電極３５Ｃが組み合わされて構成される。

回転電極３４Ｃ−１乃至３４Ｃ−６は、図５に示した遮光板３１Ａ−１乃至３１Ａ−６と同様に、３分割されており、固定電極３５Ｃと接触する位置に応じて、符号化されている。つまり、回転電極３４Ｃ−１乃至３４Ｃ−６ごとに接触位置が異なるようにすることで、回転電極３４Ｃ−１乃至３４Ｃ−６それぞれを識別することができるように形成されている。

固定電極３５Ｃは、回転電極３４Ｃ−１乃至３４Ｃ−６の３箇所の接触位置に対応して、分割して形成されている。

このように構成された境界検出部１３Ｃでは、図５の境界検出部１３Ａと同様に、固定電極３５Ｃが、分割された接触位置により回転電極３４Ｃ−１乃至３４Ｃ−６との接触することで、回転電極３４Ｃ−１乃至３４Ｃ−６をそれぞれ個別に検出することができる。従って、信号処理回路１７は、回転電極３４Ｃ−１乃至３４Ｃ−６をそれぞれ個別に認識し、それぞれ対応する次の光学フィルタ４１−１乃至４１−６を認識することができる。これにより、図５を参照して上述したように、ＡＦ駆動部１５は、次の光学フィルタ４１の特性に従ってＡＦ動作を予測し、有効期間Ｅの再開直後から、その予測に従って被写体にフォーカスを合わせることができる。

次に、図８を参照して、１セット分の分光画像を時分割で撮像する処理について説明する。

まず、図８の最上段に示すように、光学フィルタ４１−６および光学フィルタ４１−１の境界が開口を遮り始める位置となったことが検出されたタイミングで、境界検出信号がローレベルになり、無効期間Ｄが開始される。そして、図８の上から２段目に示すように、光学フィルタ４１−６および光学フィルタ４１−１の境界が開口を遮り終わる位置となったことが検出されたタイミングで、境界検出信号がハイレベルになり、無効期間Ｄが終了し、光学フィルタ４１−１により分光された画像の撮像が開始される。その後、図８の上から３段目に示すように、光学フィルタ４１−１および光学フィルタ４１−２の境界が開口を遮り始める位置となったことが検出されたタイミングで、境界検出信号がローレベルになり、有効期間Ｅが終了する。

以下、同様に処理が繰り返され、図８の上から４段目に示すように、光学フィルタ４１−６および光学フィルタ４１−１の境界が開口を遮り始める位置となったことが検出されたタイミングで、有効期間Ｅが終了し、光学フィルタ４１−６により分光された画像の撮像が終了する。これにより、１セット分の多分光画像、即ち、光学フィルタ４１−１乃至４１−６それぞれに対応した６枚分の多分光画像を撮像することができる。

また、光学フィルタ４１−１乃至４１−６に対応した多分光画像それぞれを撮像する有効期間において、撮像素子１６のゲインおよび露光期間が１フレームごとに変更される。例えば、画像の暗部のために高ゲインとし、画像の明部のために短露光とする。これにより、被写体の明部の画素、および、被写体の暗部の画素それぞれにおいて適切な分解能を得ることができる。特に、露光時間を小に振ることで、被写体の明部の画素のテカリやサチリなどを防止することができる。そして、画像処理回路１８が、光学フィルタ４１−１乃至４１−６ごとに得られる複数枚の有効フレームから、被写体の明部または暗部を適切に抽出して合成する画像処理を行うことで、分光画像全体として適切な明るさの画像を得ることができる。従って、例えば、屋内外の定点観測（監視）などでは明暗が激しい被写体が多いことより、撮像装置１０は、そのような環境において使用するのにより適している。

なお、有効期間および無効期間が切り替わるタイミングと、フレームごと撮像のタイミングを示す垂直方向同期信号Ｖsyncとは、同期するように設計してもよいし、必ずしも同期させなくてもよい。即ち、信号処理回路１７は、それらが非同期であっても、有効期間における画像を有効と判断して出力することができる。

また、撮像装置１０は、１セット分の多分光画像を撮像するときのみ多分光フィルタ１１を連続的に回転駆動させるように構成する他、撮像素子１６が撮像可能となったとき（撮像は行われていないスタンバイ状態）から、多分光フィルタ１１を連続的に回転駆動させるように構成することができる。また、撮像装置１０は、定点観測（監視）などを行っているときは、常時、多分光フィルタ１１を連続的に回転駆動させ、光学フィルタ４１−１乃至４１−６を切り替えるように構成することができる。

次に、図９は、多分光フィルタ１１の第１の変形例を示す図である。

図９に示すように、撮像装置１０は、円筒型に形成された多分光フィルタ１１Ａを採用することができる。

多分光フィルタ１１Ａは、６枚の光学フィルタ４１Ａ−１乃至４１Ａ−６が円筒の側面を形成するように構成されており、その円筒の中心を回転軸とした回転方向に回転駆動する。これにより、円筒の側面に配置された光学フィルタ４１Ａ−１乃至４１Ａ−６が順次、撮像素子１６の開口を覆うように構成される。

また、多分光フィルタ１１Ａの下端には、光学フィルタ４１Ａ−１乃至４１Ａ−６それぞれの境界に沿って下方に延長した箇所に、６枚の遮光板３１−１乃至３１−６が取り付けられている。これにより、図２を参照して上述したのと同様に、固定された発光素子３２および受光素子３３と組み合わせて構成される境界検出部１３によって、光学フィルタ４１Ａ−１乃至４１Ａ−６の境界を検出することができる。

次に、図１０は、多分光フィルタ１１の第２の変形例を示す図である。

図１０に示すように、撮像装置１０は、矩形に形成された多分光フィルタ１１Ｂを採用することができる。

多分光フィルタ１１Ｂは、略正方形に形成された６枚の光学フィルタ４１Ｂ−１乃至４１Ｂ−６が、細長い矩形の平面を形成するように構成されており、光学フィルタ４１Ｂ−１乃至４１Ｂ−６は、その矩形の長手方向に往復駆動する直線方向に順次配置される。これにより、光学フィルタ４１Ｂ−１乃至４１Ｂ−６が順次、撮像素子１６の開口を覆うように構成される。このとき、多分光フィルタ１１Ｂを採用する構成では、駆動部１２としては、回転駆動するモータではなく、直動機構を備えた駆動手段を採用する必要がある。

また、多分光フィルタ１１Ｂの右側端には、光学フィルタ４１Ｂ−１乃至４１Ｂ−６それぞれの境界に沿って下方に延長した箇所に、５枚の遮光板３１−１乃至３１−５が取り付けられている。これにより、図２を参照して上述したのと同様に、固定された発光素子３２および受光素子３３と組み合わせて構成される境界検出部１３によって、光学フィルタ４１Ｂ−１乃至４１Ｂ−６の境界を検出することができる。

なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータでは、ROM（Read Only Memory）に記憶されているプログラムや、ハードディスクや不揮発性のメモリなどよりなる記憶部に記憶されているプログラムなどが、RAM（Random Access Memory）にロードされ、CPU（Central Processing Unit）により実行される。それにより、上述した一連の処理が行われる。

また、それらのプログラムは、あらかじめ記憶部に記憶させておく他、ネットワークインタフェースなどよりなる通信部を介して、あるいは、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、または半導体メモリなどのリムーバブルメディアを駆動するドライブを介して、コンピュータにインストールすることができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、プログラムは、１つのCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

なお、本技術は以下のような構成も取ることができる。
（１）
被写体を撮像する撮像素子と、
前記撮像素子に入射する光を所定の波長域ごとに分光する複数枚の分光フィルタを有する多分光フィルタと、
前記分光フィルタごとに停止させることなく前記多分光フィルタを駆動し、前記撮像素子の開口を覆う前記分光フィルタを連続的に切り替える駆動部と、
前記多分光フィルタが有する複数枚の前記分光フィルタのうちの隣接するものどうしの境界が、前記撮像素子の開口を遮る位置にあるか否かを検出する境界検出部と、
前記境界検出部により前記分光フィルタどうしの境界が前記撮像素子の開口を遮る位置にあることが検出されている期間、前記撮像素子から出力される画像を無効化する信号処理を行う信号処理部と
を備える撮像装置。
（２）
前記境界検出部は、前記多分光フィルタの前記境界に対応する位置に取り付けられた複数枚の遮光版と、前記撮像素子の開口に対応して固定された発光素子および受光素子とが組み合わされて構成される
上記（１）に記載の撮像装置。
（３）
前記境界検出部は、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り始める位置における前記境界の延長線上に配置される第１の前記発光素子および前記受光素子と、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り終わる位置における前記境界の延長線上に配置される第２の前記発光素子および前記受光素子とを有しており、
前記境界検出部は、前記遮光版が第１の前記発光素子および前記受光素子の間を通過したタイミングから、その遮光版が第２の前記発光素子および前記受光素子の間を通過するタイミングまでの期間において、前記境界が前記撮像素子の開口を遮る位置にあることを検出する
上記（１）または（２）に記載の撮像装置。
（４）
前記境界検出部は、前記多分光フィルタの前記境界に対応する位置に取り付けられた複数の移動電極と、前記撮像素子の開口に対応して固定された固定電極とが組み合わされて構成される
上記（１）に記載の撮像装置。
（５）
前記固定電極は、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り始める位置における前記境界の延長線上から、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り終わる位置における前記境界の延長線上までの範囲に配置され、
前記境界検出部は、前記移動電極が前記固定電極に接触している期間において、前記境界が前記撮像素子の開口を遮る位置にあることを検出する
上記（１）または（４）に記載の撮像装置。
（６）
前記撮像素子に照射される被写体からの光が合焦するように光学系をＡＦ（Auto Focus）駆動するＡＦ駆動部をさらに備え、
前記ＡＦ駆動部は、前記信号処理部により前記撮像素子から出力される画像が無効化されているときにはＡＦ駆動を停止し、その停止直前のＡＦ設定を維持しておき、前記信号処理部により前記撮像素子から出力される画像が有効とされた直後、ＡＦ駆動を開始する
上記（１）から（５）までのいずれかに記載の撮像装置。
（７）
前記多分光フィルタには、複数枚の前記分光フィルタの波長特性に従った順番で、前記分光フィルタが配置されている
上記（１）から（６）までのいずれかに記載の撮像装置。
（８）
前記境界検出部は、前記多分光フィルタの回転方向に従って次の前記分光フィルタの波長特性を検知し、
前記ＡＦ駆動部は、前記境界検出部により検知された波長特性に基づいて、前記信号処理部により前記撮像素子から出力される画像が有効とされた直後に開始するＡＦ動作を予測する
上記（６）または（７）に記載の撮像装置。
（９）
前記境界検出部は、前記多分光フィルタに配置された移動電極と、前記撮像素子の開口位置に配置された固定電極とにより構成され、前記移動電極および前記固定電極が複数に分割されており、前記移動電極ごとに接触箇所を異ならせることによって、それぞれの前記移動電極が識別可能に構成される
上記（８）に記載の撮像装置。
（１０）
前記境界検出部は、前記多分光フィルタに配置された遮光板と、前記撮像素子の開口位置に配置された光源および検出素子の組み合わせとにより構成され、前記遮光板および前記検出素子が複数に分割されており、前記遮光板ごとに遮光箇所を異ならせることによって、それぞれの前記遮光板が識別可能に構成される
上記（８）に記載の撮像装置。
（１１）
複数枚の前記分光フィルタごとに前記撮像素子により撮像される複数の有効フレームごとに、前記撮像素子のゲインを変更するゲイン制御部
上記（１）から（１０）までのいずれかに記載の撮像装置。
（１２）
複数枚の前記分光フィルタごとに前記撮像素子により撮像される複数の有効フレームごとに、前記撮像素子の露光時間を変更する露光時間制御部
上記（１）から（１１）までのいずれかに記載の撮像装置。
（１３）
複数枚の前記分光フィルタごとに前記撮像素子により撮像される複数の有効フレームから明部および暗部を抽出して構成する画像処理部
上記（１）から（１２）までのいずれかに記載の撮像装置。
（１４）
前記多分光フィルタは、複数枚の前記分光フィルタが円盤の平面に、その円盤の中心を回転軸とした回転方向に順次配置されて構成される円盤型である
上記（１）から（１３）までのいずれかに記載の撮像装置。
（１５）
前記撮像素子のフレーム速度Ｆおよび開口半径Ａ、
前記多分光フィルタの半径Ｗおよび回転速度Ｒ、
前記多分光フィルタが有する前記分光フィルタの枚数Ｎ、
前記分光フィルタの前記円盤の中心を頂点とした中心角度θ、
前記信号処理部により前記画像が有効とされる有効期間Ｄと前記画像が無効化されている無効期間Ｅとの比率、
並びに、前記有効期間Ｄにおいて撮像される画像のフレーム数ｆ
が、式（１）および式（２）の関係にある

上記（１４）に記載の撮像装置。
（１６）
複数枚の前記分光フィルタが円筒の側面に、その円筒の中心を回転軸とした回転方向に順次配置されて構成される円筒型である
上記（１）から（１３）までのいずれかに記載の撮像装置。
（１７）
複数枚の前記分光フィルタが細長い矩形の平面に、その矩形の長手方向に往復運動する直線方向に順次配置されて構成される矩形型である
上記（１）から（１３）までのいずれかに記載の撮像装置。
（１８）
前記駆動部は、前記撮像素子により複数枚の前記光学フィルタそれぞれを透過した光による画像が時分割で撮像されるときにおいて、前記多分光フィルタを駆動して前記分光フィルタを連続的に切り替え続ける
上記（１）から（１７）までのいずれかに記載の撮像装置。
（１９）
前記駆動部は、前記撮像素子が撮像可能な状態となったときにおいて、または、常時、前記多分光フィルタを駆動して前記分光フィルタを連続的に切り替え続ける
上記（１）から（１７）までのいずれかに記載の撮像装置。
（２０）
被写体を撮像する撮像素子と、前記撮像素子に入射する光を所定の波長域ごとに分光する複数枚の分光フィルタを有する多分光フィルタと、前記分光フィルタごとに停止させることなく前記多分光フィルタを駆動し、前記撮像素子の開口を覆う前記分光フィルタを連続的に切り替える駆動部とを備える撮像装置の撮像方法であって、
前記多分光フィルタが有する複数枚の前記分光フィルタのうちの隣接するものどうしの境界が、前記撮像素子の開口を遮る位置にあるか否かを検出し、
前記分光フィルタどうしの境界が前記撮像素子の開口を遮る位置にあることが検出されている期間、前記撮像素子から出力される画像を無効化する信号処理を行う
ステップを含む撮像方法。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 撮像装置， １１ 多分光フィルタ， １２ 駆動部， １３ 境界検出部， １４ フォーカス光学系， １５ ＡＦ駆動部， １６ 撮像素子， １７ 信号処理回路， １８ 画像処理回路， １９ 撮像条件設定部， ２０ ゲイン制御部， ２１ 露光時間制御部， ３１−１乃至３１−６ 遮光板， ３２ 発光素子， ３３ 受光素子， ３４ 移動電極， ３５ 固定電極， ４１−１乃至４１−６ 光学フィルタ， ４２ 開口

Claims (20)

1. 被写体を撮像する撮像素子と、
   前記撮像素子に入射する光を所定の波長域ごとに分光する複数枚の分光フィルタを有する多分光フィルタと、
   前記分光フィルタごとに停止させることなく前記多分光フィルタを駆動し、前記撮像素子の開口を覆う前記分光フィルタを連続的に切り替える駆動部と、
   前記多分光フィルタが有する複数枚の前記分光フィルタのうちの隣接するものどうしの境界が、前記撮像素子の開口を遮る位置にあるか否かを検出する境界検出部と、
   前記境界検出部により前記分光フィルタどうしの境界が前記撮像素子の開口を遮る位置にあることが検出されている期間、前記撮像素子から出力される画像を無効化する信号処理を行う信号処理部と
   を備える撮像装置。
2. 前記境界検出部は、前記多分光フィルタの前記境界に対応する位置に取り付けられた複数枚の遮光版と、前記撮像素子の開口に対応して固定された発光素子および受光素子とが組み合わされて構成される
   請求項１に記載の撮像装置。
3. 前記境界検出部は、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り始める位置における前記境界の延長線上に配置される第１の前記発光素子および前記受光素子と、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り終わる位置における前記境界の延長線上に配置される第２の前記発光素子および前記受光素子とを有しており、
   前記境界検出部は、前記遮光版が第１の前記発光素子および前記受光素子の間を通過したタイミングから、その遮光版が第２の前記発光素子および前記受光素子の間を通過するタイミングまでの期間において、前記境界が前記撮像素子の開口を遮る位置にあることを検出する
   請求項２に記載の撮像装置。
4. 前記境界検出部は、前記多分光フィルタの前記境界に対応する位置に取り付けられた複数の移動電極と、前記撮像素子の開口に対応して固定された固定電極とが組み合わされて構成される
   請求項１に記載の撮像装置。
5. 前記固定電極は、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り始める位置における前記境界の延長線上から、前記多分光フィルタの前記境界が前記撮像素子の開口を遮り終わる位置における前記境界の延長線上までの範囲に配置され、
   前記境界検出部は、前記移動電極が前記固定電極に接触している期間において、前記境界が前記撮像素子の開口を遮る位置にあることを検出する
   請求項４に記載の撮像装置。
6. 前記撮像素子に照射される被写体からの光が合焦するように光学系をＡＦ（Auto Focus）駆動するＡＦ駆動部をさらに備え、
   前記ＡＦ駆動部は、前記信号処理部により前記撮像素子から出力される画像が無効化されているときにはＡＦ駆動を停止し、その停止直前のＡＦ設定を維持しておき、前記信号処理部により前記撮像素子から出力される画像が有効とされた直後、ＡＦ駆動を開始する
   請求項１に記載の撮像装置。
7. 前記多分光フィルタには、複数枚の前記分光フィルタの波長特性に従った順番で、前記分光フィルタが配置されている
   請求項６に記載の撮像装置。
8. 前記境界検出部は、前記多分光フィルタの回転方向に従って次の前記分光フィルタの波長特性を検知し、
   前記ＡＦ駆動部は、前記境界検出部により検知された波長特性に基づいて、前記信号処理部により前記撮像素子から出力される画像が有効とされた直後に開始するＡＦ動作を予測する
   請求項６に記載の撮像装置。
9. 前記境界検出部は、前記多分光フィルタに配置された移動電極と、前記撮像素子の開口位置に配置された固定電極とにより構成され、前記移動電極および前記固定電極が複数に分割されており、前記移動電極ごとに接触位置を異ならせることによって、それぞれの前記移動電極が識別可能に構成される
   請求項８に記載の撮像装置。
10. 前記境界検出部は、前記多分光フィルタに配置された遮光板と、前記撮像素子の開口位置に配置された光源および検出素子の組み合わせとにより構成され、前記遮光板および前記検出素子が複数に分割されており、前記遮光板ごとに遮光位置を異ならせることによって、それぞれの前記遮光板が識別可能に構成される
    請求項８に記載の撮像装置。
11. 複数枚の前記分光フィルタごとに前記撮像素子により撮像される複数の有効フレームごとに、前記撮像素子のゲインを変更するゲイン制御部
    をさらに備える請求項１に記載の撮像装置。
12. 複数枚の前記分光フィルタごとに前記撮像素子により撮像される複数の有効フレームごとに、前記撮像素子の露光時間を変更する露光時間制御部
    をさらに備える請求項１に記載の撮像装置。
13. 複数枚の前記分光フィルタごとに前記撮像素子により撮像される複数の有効フレームから明部および暗部を抽出して構成する画像処理部
    をさらに備える請求項１に記載の撮像装置。
14. 前記多分光フィルタは、複数枚の前記分光フィルタが円盤の平面に、その円盤の中心を回転軸とした回転方向に順次配置されて構成される円盤型である
    請求項１に記載の撮像装置。
15. 前記撮像素子のフレーム速度Ｆおよび開口半径Ａ、
    前記多分光フィルタの半径Ｗおよび回転速度Ｒ、
    前記多分光フィルタが有する前記分光フィルタの枚数Ｎ、
    前記分光フィルタの前記円盤の中心を頂点とした中心角度θ、
    前記信号処理部により前記画像が有効とされる有効期間Ｄと前記画像が無効化されている無効期間Ｅとの比率、
    並びに、前記有効期間Ｄにおいて撮像される画像のフレーム数ｆ
    が、式（１）および式（２）の関係にある
    

    

    

    請求項１４に記載の撮像装置。
16. 複数枚の前記分光フィルタが円筒の側面に、その円筒の中心を回転軸とした回転方向に順次配置されて構成される円筒型である
    請求項１に記載の撮像装置。
17. 複数枚の前記分光フィルタが細長い矩形の平面に、その矩形の長手方向に往復運動する直線方向に順次配置されて構成される矩形型である
    請求項１に記載の撮像装置。
18. 前記駆動部は、前記撮像素子により複数枚の前記光学フィルタそれぞれを透過した光による画像が時分割で撮像されるときにおいて、前記多分光フィルタを駆動して前記分光フィルタを連続的に切り替え続ける
    請求項１に記載の撮像装置。
19. 前記駆動部は、前記撮像素子が撮像可能な状態となったときにおいて、または、常時、前記多分光フィルタを駆動して前記分光フィルタを連続的に切り替え続ける
    請求項１に記載の撮像装置。
20. 被写体を撮像する撮像素子と、前記撮像素子に入射する光を所定の波長域ごとに分光する複数枚の分光フィルタを有する多分光フィルタと、前記分光フィルタごとに停止させることなく前記多分光フィルタを駆動し、前記撮像素子の開口を覆う前記分光フィルタを連続的に切り替える駆動部とを備える撮像装置の撮像方法であって、
    前記多分光フィルタが有する複数枚の前記分光フィルタのうちの隣接するものどうしの境界が、前記撮像素子の開口を遮る位置にあるか否かを検出し、
    前記分光フィルタどうしの境界が前記撮像素子の開口を遮る位置にあることが検出されている期間、前記撮像素子から出力される画像を無効化する信号処理を行う
    ステップを含む撮像方法。

Images