JP6887129B2 - 撮像装置、撮像システムおよび光検出方法 - Google Patents

Description

本開示は、撮像装置、撮像システムおよび光検出方法に関する。

従来、ＣＣＤ（Charge Coupled Device）センサおよびＣＭＯＳ（Complementary MOS）センサが広く用いられている。よく知られているように、これらの光センサは、半導体基板に形成されたフォトダイオードを有し、照度に応じた信号を生成する。近年では、読み出し回路の形成された半導体基板を覆う層間絶縁層上に光電変換層を配置した、いわゆる積層型の構造も提案されている。

ＣＭＯＳイメージセンサに代表されるデジタルイメージセンサの撮像セルの各々は、一般に、フォトダイオードなどの光電変換素子と、電荷蓄積領域（「フローティングディフュージョン」とも呼ばれる）と、電荷蓄積領域に電気的に接続された読み出し回路とを有する。電荷蓄積領域は、光電変換素子によって生成された信号電荷を蓄積し、読み出し回路は、電荷蓄積領域に蓄積された信号電荷量に応じた信号（典型的には電圧信号）を読み出す。

各撮像セルの電荷蓄積領域に蓄積される信号電荷量は、撮像セルに対する照度および撮影時の感度の積の、露光期間にわたる積分値に比例した大きさを有する。一般に、撮影においては、シーンに応じた感度が設定され、その感度は、１フレームの画像の取得の間、固定される。換言すれば、フレーム期間の全体にわたって、各撮像セルの感度は、一定である。したがって、各撮像セルから最終的に読み出される信号は、露光期間中の各瞬間において発生した信号電荷を時間的に累積した結果に対応する。

このことは、例えば露光期間中に被写体の位置が変化すると、ある瞬間における被写体の像と、他のある瞬間における被写体の像とが重畳された画像が得られることを意味する。つまり、画像中の被写体の像にブレが発生する。下記の特許文献１は、露光期間中の各瞬間の被写体（例えば車両）の像から、露光期間中に位置が変化する被写体の移動速度を検出して、露光開始時における被写体の像を構築する画像形成方法を開示している。

特開２００６−０５０３４３号公報

上述したように、従来のイメージセンサにおいて各撮像セルから出力される信号は、露光期間中に生成された信号電荷の総量に対応する信号である。したがって、被写体の輝度が露光期間中に変化しても、各撮像セルの出力からはその輝度変化を知ることはできない。換言すれば、従来のイメージセンサによっては、露光期間よりも短い時間における被写体の輝度の変化に関する情報を取得することはできない。特許文献１に記載の技術は、露光期間中に位置が空間的に変化する被写体の撮影におけるブレの除去には有効であるものの、露光期間における被写体自体の輝度の変化は考慮されていない。特許文献１に記載の技術によって最終的に得られる画像データは、露光開始時の被写体の画像データであり、この画像データには、露光期間中の被写体の輝度変化に関する情報は含まれていない。

原理的には、露光期間を短縮すれば、比較的短い時間に変化する輝度情報を取得可能である。しかしながら、露光期間を短縮すると、露光期間に撮像セルに到達する光子数が減少することにより、光電変換によって生成される電荷量（信号電荷量）が減少する。光センサでは、光の照射以外の原因により発生する偽の信号電荷（ノイズ）が不可避であるので、信号電荷量の減少によって信号ノイズ比（いわゆるＳ／Ｎ）が悪化してしまう。

光検出素子としてのイメージセンサは、記念としての動画または静止画の撮影だけでなく、測定または分析の場面においても用いられる。また、イメージセンサは、マシンビジョンとしても有用である。そのため、光検出素子を利用して、被写体からより多くの情報を取得できると有益である。

本開示の限定的ではないある例示的な実施形態によれば、以下が提供される。

強度が時間的に変化する光を被写体に放射する少なくとも１つの照明装置と、前記被写体からの光を検出する少なくとも１つの撮像装置とを備え、前記少なくとも１つの撮像装置は、それぞれが感度を変更可能な少なくとも１つの撮像セルと、前記少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線とを有し、前記少なくとも１つの撮像セルは、前記被写体からの光を受けて信号電荷を生成する光電変換部と、前記信号電荷を検出する信号検出回路とを有し、前記少なくとも１つの感度制御線は、前記少なくとも１つの撮像セルのリセットから、露光によって前記少なくとも１つの撮像セルに蓄積される前記信号電荷の読み出しまでの露光期間において、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される波形を有する感度制御信号を前記少なくとも１つの撮像セルに供給する、撮像システム。

包括的または具体的な態様は、素子、デバイス、装置、システム、集積回路または方法で実現されてもよい。また、包括的または具体的な態様は、素子、デバイス、装置、システム、集積回路および方法の任意の組み合わせによって実現されてもよい。

開示された実施形態の追加的な効果および利点は、明細書および図面から明らかになる。効果および／または利点は、明細書および図面に開示の様々な実施形態または特徴によって個々に提供され、これらの１つ以上を得るために全てを必要とはしない。

本開示の一態様によれば、露光期間内における、被写体の輝度の時間的変化に関する情報を取得することが可能である。

図１は、本開示の第１の実施形態による撮像装置の例示的な構成を模式的に示す図である。 図２は、撮像セル１０の例示的な回路構成を示す模式的な図である。 図３は、撮像セル１０の例示的なデバイス構造を示す模式的な断面図である。 図４は、光電変換層に印加するバイアス電圧の変化に対する外部量子効率の変化の例を示すグラフである。 図５は、従来のイメージセンサにおいて露光期間に電荷蓄積領域に蓄積される信号電荷の総量を説明するための模式図である。 図６は、照度Ｌの露光期間中の時間変化からの特定の振動数成分の抽出を説明するための模式図である。 図７は、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致しており、かつ、被写体の輝度の周期的な変化における位相と、撮像セル１０の感度の周期的な変化における位相とが一致しているときに得られる画像の例を示す図である。 図８は、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致しており、かつ、被写体の輝度の周期的な変化における位相と、撮像セル１０の感度の周期的な変化における位相との間に半周期の差があるときに得られる画像の例を示す図である。 図９は、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが異なっており、かつ、被写体の輝度の周期的な変化における位相と、撮像セル１０の感度の周期的な変化における位相とが一致しているときに得られる画像の例を示す図である。 図１０は、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが異なっており、かつ、被写体の輝度の周期的な変化における位相と、撮像セル１０の感度の周期的な変化における位相との間に半周期の差があるときに得られる画像の例を示す図である。 図１１は、被写体の輝度の周期的な変化および撮像セル１０の感度の周期的な変化の間の位相差Δθと、電荷蓄積領域に蓄積された平均電荷数Ｎとの間の関係の例を示すグラフである。 図１２は、平均電荷数Ｎにおける位相差Δθに関する依存性と、露光期間Ｔの長さとの間の関係の典型例を示すグラフである。 図１３は、複数の撮像セル１０の間で異なる感度制御信号を印加可能な構成の例を示す模式的な平面図である。 図１４は、図１３に示す複数の撮像セル１０のうちの一部を示す模式的な断面図である。 図１５は、複数の撮像セル１０の間で異なる感度制御信号を印加可能な構成の他の例を示す模式的な平面図である。 図１６は、複数の撮像セル１０の間で異なる感度制御信号を印加可能な構成のさらに他の例を示す模式的な平面図である。 図１７は、感度の変調が可能な撮像セルの回路構成の例を示す図である。 図１８は、感度の変調が可能な撮像セルの回路構成の他の例を示す図である。 図１９は、光電変換部１２にアバランシェフォトダイオードが適用された回路の例を示す図である。 図２０は、従来のフーリエ変換型赤外分光光度計の構成を示す概略図である。 図２１は、本開示の実施形態による撮像システムを用いた分光イメージングシステムの例を示す模式的な図である。 図２２は、移動鏡２４８の物理的な振幅の２倍に等しい波長を有する光から形成される干渉光の波形を示すグラフである。 図２３は、移動鏡２４８の物理的な振幅の４倍の波長を有する光から形成される干渉光の波形を示すグラフである。 図２４は、複数の単色性の光源が適用された照明装置２５０Ｐを有する分光イメージングシステム２００Ｐの構成の例を示す図である。 図２５は、本開示の実施形態による撮像システムを腫瘍観察システムに適用した例を示す図である。 図２６は、本開示の実施形態による撮像システムを物標検出システムに適用した例を示す図である。 図２７は、Ｗ_16,13（０，τ）のグラフである。 図２８は、Ｗ_16,14（０，τ）のグラフである。 図２９は、長さの等しい２つのウォルシュ関数の積の一周期にわたる積分値の、位相差に対する依存性を説明するための図である。 図３０は、燐光の強度の変化と、周囲の酸素濃度との間の関係の一例を示すグラフである。 図３１は、本開示の実施形態による撮像システムを燐光観察システムに適用した例を示す模式的な図である。 図３２は、ＢＴＰから発せられる燐光の撮影に本開示の撮像システムを適用したときの動作例を説明するための図である。

本開示の一態様の概要は以下のとおりである。

［項目１］
強度が時間的に変化する光を被写体に放射する少なくとも１つの照明装置と、
被写体からの光を検出する少なくとも１つの撮像装置と、
を備え、
少なくとも１つの撮像装置は、
それぞれが感度を変更可能な少なくとも１つの撮像セルと、
少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
を有し、
少なくとも１つの撮像セルは、
被写体からの光を受けて信号電荷を生成する光電変換部と、
信号電荷を検出する信号検出回路と、
を有し、
少なくとも１つの感度制御線は、少なくとも１つの撮像セルのリセットから、露光によって少なくとも１つの撮像セルに蓄積される信号電荷の読み出しまでの露光期間において、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される波形を有する感度制御信号を少なくとも１つの撮像セルに供給する、撮像システム。

項目１の構成によれば、被写体に輝度の変化を生じさせて、被写体の輝度の時間的な変化のうち、特定の成分に対応する情報を抽出し得る。

［項目２］
照明装置は、光の強度を周期的に変化させる、項目１に記載の撮像システム。

［項目３］
少なくとも１つの撮像装置は、感度制御信号を光の強度の時間的変化に同期させる同期化回路を有する、項目１または２に記載の撮像システム。

項目３の構成によれば、被写体の輝度の時間的変化における位相と、撮像セルの感度の時間的変化における位相とを揃えることが可能である。

［項目４］
少なくとも１つの照明装置および少なくとも１つの撮像装置は、
第１照明装置および第１撮像装置の組と、第２照明装置および第２撮像装置の組と、
を含み、
第１撮像装置における感度制御信号の波形は、基底のうちの１つに第１定数を加えた、正の値をとる第１関数によって表される波形を有し、
第２撮像装置における感度制御信号の波形は、基底のうちの他の１つに第２定数を加えた、正の値をとる第２関数によって表される波形を有する、項目１から３のいずれかに記載の撮像システム。

項目４の構成によれば、複数の撮像システムを同時に使用した場合であっても、これらの間における混信を防止し得る。

［項目５］
基底のうちの１つは、三角関数である、項目１から４のいずれかに記載の撮像システム。

項目５の構成によれば、露光期間中の照度の変化を構成する成分のうちから、振幅が特定の振動数で変化する成分に関する情報を抽出し得る。

［項目６］
基底のうちの１つは、定数関数ではないウォルシュ関数である、項目１から４のいずれかに記載の撮像システム。

［項目７］
少なくとも１つの感度制御線は、
露光期間において、正の値をとる関数によって表される波形を有する第１感度制御信号を少なくとも１つの撮像セルに供給し、
露光期間よりも後の第２の露光期間において、正の値をとる関数を時間的にシフトさせた関数によって表される波形を有する第２感度制御信号を少なくとも１つの撮像セルに供給する、項目１から６のいずれかに記載の撮像システム。

項目７の構成によれば、明度における余分なオフセットをキャンセルするための画像信号をより高速に取得し得る。

［項目８］
少なくとも１つの感度制御線は、
露光期間において、正の値をとる関数によって表される波形を有する第１感度制御信号を少なくとも１つの撮像セルに供給し、
露光期間よりも後の第２の露光期間において、定数関数によって表される波形を有する第２感度制御信号を少なくとも１つの撮像セルに供給する、項目１から６のいずれかに記載の撮像システム。

項目８の構成によれば、明度における余分なオフセットがキャンセルされた画像を形成し得る。

［項目９］
少なくとも１つの撮像セルは、第１撮像セルおよび第２撮像セルを含み、
少なくとも１つの感度制御線は、第１撮像セルに電気的に接続された第１感度制御線および第２撮像セルに電気的に接続された第２感度制御線を含み、
第１感度制御線は、露光期間において、正の値をとる関数によって表される波形を有する第１感度制御信号を第１撮像セルに供給し、
第２感度制御線は、露光期間において、正の値をとる関数を時間的にシフトさせた関数によって表される波形を有する第２感度制御信号を第２撮像セルに供給する、項目１から６のいずれかに記載の撮像システム。

項目９の構成によれば、明度における余分なオフセットがキャンセルされた画像を形成し得る。

［項目１０］
少なくとも１つの撮像セルは、第１撮像セルおよび第２撮像セルを含み、
少なくとも１つの感度制御線は、第１撮像セルに電気的に接続された第１感度制御線および第２撮像セルに電気的に接続された第２感度制御線を含み、
第１感度制御線は、露光期間において、正の値をとる関数によって表される波形を有する第１感度制御信号を第１撮像セルに供給し、
第２感度制御線は、露光期間において、定数関数によって表される波形を有する第２感度制御信号を第２撮像セルに供給する、項目１から６のいずれかに記載の撮像システム。

項目１０の構成によれば、明度における余分なオフセットをキャンセルするための画像信号をより高速に取得し得る。

［項目１１］
直交系は、完全直交系である、項目１から１０のいずれかに記載の撮像システム。

項目１１の構成によれば、被写体の輝度の時間的変化が周期的でない場合であっても、被写体の輝度の時間的変化から、特定の成分に関する情報を抽出し得る。

［項目１２］
強度がパルス状に変化する光を被写体に放射する少なくとも１つの照明装置と、
被写体からの光を検出する少なくとも１つの撮像装置と、
を備え、
少なくとも１つの撮像装置は、
それぞれが感度を変更可能な少なくとも１つの撮像セルと、
少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
を有し、
少なくとも１つの撮像セルは、
被写体からの光を受けて信号電荷を生成する光電変換部と、
信号電荷を検出する信号検出回路と、
を有し、
少なくとも１つの感度制御線は、少なくとも１つの撮像セルのリセットから、露光によって少なくとも１つの撮像セルに蓄積される信号電荷の読み出しまでの露光期間において、パルス波形を有する感度制御信号を少なくとも１つの撮像セルに供給する、撮像システム。

項目１２の構成によれば、撮像セルの感度をパルス的に変化させることが可能である。

［項目１３］
少なくとも１つの撮像装置は、感度制御信号を光の強度の時間的変化に同期させる同期化回路を有する、項目１２に記載の撮像システム。

項目１３の構成によれば、照明装置からの光の出射から特定の時間遅らせたタイミングにおいて感度を増大させる撮像を実行することが可能である。

［項目１４］
少なくとも１つの撮像セルは、複数の撮像セルである、項目１２または１３に記載の撮像システム。

項目１４の構成によれば、特定の成分に関する２次元または１次元の画像を取得し得る。

［項目１５］
少なくとも１つの感度制御線は、複数の撮像セルに共通の感度制御信号を供給する、項目１４に記載の撮像システム。

項目１５の構成によれば、複数の撮像セルの間で同期をとりながら、これらの撮像セルの感度に共通の変調を与えることが可能である。

［項目１６］
それぞれが感度を変更可能な少なくとも１つの撮像セルと、
少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
を備え、
少なくとも１つの撮像セルは、
光の入射によって信号電荷を生成する光電変換部と、
信号電荷を検出する信号検出回路と、
を有し、
少なくとも１つの感度制御線は、少なくとも１つの撮像セルのリセットから、露光によって少なくとも１つの撮像セルに蓄積される信号電荷の読み出しまでの露光期間において、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される波形を有する感度制御信号を少なくとも１つの撮像セルに供給する、撮像装置。

項目１６の構成によれば、被写体の輝度の時間的な変化のうち、特定の成分に対応する情報を抽出し得る。

［項目１７］
信号検出回路は、少なくとも１つの感度制御線に接続された増幅器を有し、
増幅器の露光期間における増幅率は、正の値をとる関数によって表される変化を示す、項目１６に記載の撮像装置。

項目１７の構成によれば、感度制御信号を用いて撮像セルの感度に変調を与えることが可能である。

［項目１８］
信号検出回路は、
信号検出トランジスタと、
信号検出トランジスタの入力に接続された電荷蓄積領域と、
電荷排出領域と、
光電変換部と電荷蓄積領域および電荷排出領域との間に接続された切り替え回路であって、少なくとも１つの感度制御線に接続された切り替え回路と、
を有し、
切り替え回路は、感度制御信号に基づいて、露光期間の一部において光電変換部を電荷蓄積領域に接続し、露光期間の残余の期間において光電変換部を電荷排出領域に接続する、項目１６に記載の撮像装置。

項目１８の構成によれば、感度制御信号を用いて撮像セルの感度に変調を与えることが可能である。

［項目１９］
光電変換部は、少なくとも１つの感度制御信号線に接続された電極を有するアバランシェフォトダイオードを含む、項目１６に記載の撮像装置。

項目１９の構成によれば、感度制御信号を用いて撮像セルの感度に変調を与えることが可能である。

［項目２０］
光電変換部は、
第１電極と、
少なくとも１つの感度制御線に接続された、透光性の第２電極と、
第１電極および第２電極の間に配置された光電変換層と、
を有する、項目１６から１８のいずれかに記載の撮像装置。

項目２０の構成によれば、感度制御信号によって感度を比較的容易に変調し得る。

［項目２１］
少なくとも１つの撮像セルは、複数の撮像セルである、項目１６から２０のいずれかに記載の撮像装置。

項目２１の構成によれば、特定の成分に関する２次元または１次元の画像を取得し得る。

［項目２２］
少なくとも１つの感度制御線は、複数の撮像セルに共通の感度制御信号を供給する、項目２１に記載の撮像装置。

項目２２の構成によれば、複数の撮像セルの間で同期をとりながら、これらの撮像セルの感度に共通の変調を与えることが可能である。

［項目２３］
輝度が時間的に変化する被写体に、１以上の撮像セルを有する撮像装置の撮像面を向ける工程（ａ）と、
１以上の撮像セルのリセット後、１以上の撮像セルのうちの少なくとも一部の撮像セルにおける第１感度を変化させながら露光を実行する工程（ｂ）と、
を含み、
工程（ｂ）において、第１感度の変化を表す波形は、直交系をなす関数系の基底のうちの１つに第１定数を加えた、正の値をとる第１関数によって表される形状を有する、光検出方法。

項目２３の構成によれば、被写体の輝度の時間的な変化のうち、特定の成分に対応する情報を抽出し得る。

［項目２４］
工程（ａ）は、
強度が時間的に変化する光で被写体を照射する工程（ａ１）
を含む、項目２３に記載の光検出方法。

項目２４の構成によれば、被写体に所望の輝度の変化を生じさせることができる。

［項目２５］
工程（ｂ）は、
第１感度の変化を光の時間的な強度の変化に同期させる工程（ｂ１）
を含む、項目２４に記載の光検出方法。

項目２５の構成によれば、比較的明度の高い画像を取得し得る。

［項目２６］
１以上の撮像セルのリセット後、１以上の撮像セルのうちの他の一部の撮像セルにおける第２感度を変化させながら露光を実行する工程（ｃ）
をさらに含み、
第１関数は、周期関数であり、
第２感度の変化を示す波形は、第１感度の変化を表す波形に対して位相および／または周期が異なる、項目２３から２５のいずれかに記載の光検出方法。

項目２６の構成によれば、明度における余分なオフセットをキャンセルするための画像信号を取得し得る。

［項目２７］
１以上の撮像セルのリセット後、１以上の撮像セルのうちの他の一部の撮像セルにおける第２感度を固定して露光を実行する工程（ｃ）
をさらに含む、項目２３から２５のいずれかに記載の光検出方法。

項目２７の構成によれば、明度における余分なオフセットをキャンセルするための画像信号を取得し得る。

［項目２８］
工程（ｃ）は、工程（ｂ）の後に実行される、項目２６または２７に記載の光検出方法。

［項目２９］
工程（ｂ）および工程（ｃ）は、同時に実行される、項目２６または２７に記載の光検出方法。

項目２９の構成によれば、明度における余分なオフセットをキャンセルするための画像信号をより高速に取得し得る。

［項目３０］
工程（ｂ）において取得される画像信号と、工程（ｃ）において取得される画像信号との間の差分に基づいて画像を形成する工程（ｄ）をさらに含む、項目２６から２９のいずれかに記載の光検出方法。

項目３０の構成によれば、明度における余分なオフセットがキャンセルされた画像を形成し得る。

［項目３１］
輝度が時間的に変化する被写体に、１以上の撮像セルを有する撮像装置の撮像面を向ける工程（ａ）と、
１以上の撮像セルのリセット後、１以上の撮像セルのうちの少なくとも一部の撮像セルにおける第１感度を変化させながら露光を実行する工程（ｂ）と、
を含み、
工程（ｂ）において、第１感度の変化を表す波形は、パルス形状を有する、光検出方法。

項目３１の構成によれば、撮像セルの感度をパルス的に変化させることが可能である。

［項目３２］
工程（ａ）は、
強度がパルス状に変化する光で被写体を照射する工程（ａ１）
を含む、項目３１に記載の光検出方法。

［項目３３］
工程（ｂ）は、
第１感度の変化を光の時間的な強度の変化に同期させる工程（ｂ１）
を含む、項目３２に記載の光検出方法。

項目３３の構成によれば、照明装置からの光の出射から特定の時間遅らせたタイミングにおいて感度を増大させる撮像を実行することが可能である。

［項目３４］
それぞれが第１光電変換部を有する１以上の第１撮像セルと、
第１信号線と、
それぞれが第２光電変換部を有する１以上の第２撮像セルと、
第２信号線と、
を備え、
第１光電変換部は、
第１電極と、
第１信号線に電気的に接続された、透光性の第２電極と、
第１電極および第２電極の間に配置された第１光電変換層と、
を含み、
第２光電変換部は、
第３電極と、
第２信号線に電気的に接続された、透光性の第４電極と、
第３電極および第４電極の間に配置された第２光電変換層と、
を含み、
第１信号線は、１以上の第１撮像セルのリセットから、露光によって１以上の第１撮像セルに蓄積される信号電荷の読み出しまでの露光期間において、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される波形を有する第１信号を１以上の第１撮像セルに供給し、
第２信号線は、露光期間において、第１信号とは異なる時間変化を示す波形を有する第２信号を１以上の第２撮像セルに供給する、撮像装置。

項目３４の構成によれば、第１撮像セルおよび第２撮像セルに、異なる波形を有する感度調整信号を独立して印加することができる。

［項目３５］
第１信号線に第１信号を供給する第１信号源と、
第２信号線に第２信号を供給する第２信号源と、
をさらに備える、項目３４に記載の撮像装置。

［項目３６］
第１信号線に接続された信号源と、
第２信号線および信号源との間に接続された移相器と、
をさらに備える、項目３４に記載の撮像装置。

項目３６の構成によれば、信号源の数を低減できる。

［項目３７］
第１信号および第２信号は、露光期間において周期的な変化を示す信号であり、
第１信号および第２信号の周期および位相の少なくとも一方は、互いに異なる、項目３４から３６のいずれかに記載の撮像装置。

項目３７の構成によれば、オフセット除去のための画像信号を得ることができる。

［項目３８］
第２信号源は、直流信号源である、項目３５に記載の撮像装置。

項目３８の構成によれば、オフセット除去のための画像信号を得ることができる。

［項目３９］
第１光電変換層および第２光電変換層は、連続した単一の層である、項目３４から３８のいずれかに記載の撮像装置。

項目３９の構成によれば、製造工程の複雑化を回避し得る。

［項目４０］
１以上の第１撮像セルは、複数の第１撮像セルであり、
１以上の第２撮像セルは、複数の第２撮像セルである、項目３４から３９のいずれかに記載の撮像装置。

項目４０の構成によれば、特定の成分に関する２次元または１次元の画像を取得し得る。

［項目４１］
第１信号線は、複数の第１撮像セルに共通の第１信号を供給し、
第２信号線は、複数の第２撮像セルに共通の第２信号を供給する、項目４０に記載の撮像装置。

項目４１の構成によれば、複数の第１撮像セルの間および複数の第２撮像セルの間でそれぞれ同期をとりながら、複数の第１撮像セルの感度および複数の第２撮像セルの感度にそれぞれ共通の変調を与えることが可能である。

以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。

（第１の実施形態）
図１は、本開示の第１の実施形態による撮像装置の例示的な構成を模式的に示す。図１に示す撮像装置１００は、１以上の撮像セル１０を有する。ここでは、撮像装置１００が複数の撮像セル１０を含む構成を例示する。撮像セル１０の数は、特定の数に限定されない。例えば撮像セル１０の数が１つであれば、撮像装置１００を光検出素子として利用し得るし、撮像セル１０の数が複数、かつ、それらの撮像セル１０が１次元または２次元に配列されていれば、撮像装置１００をイメージセンサとして利用し得る。後述するように、撮像セル１０の各々は、感度を変更可能な構成を有する。

この例では、撮像セル１０は、ｍ行ｎ列のマトリクス状に配置されることにより、撮像領域を形成している（ｍ、ｎは、２以上の整数）。撮像セル１０は、例えば半導体基板に２次元に配列される。ここでは、各撮像セル１０の中心が、正方格子の格子点上に位置している。もちろん、撮像セル１０の配置は、図示する例に限定されず、例えば、各中心が、三角格子、六角格子などの格子点上に位置するように複数の撮像セル１０を配置してもよい。

撮像装置１００は、複数の撮像セル１０を含む画素アレイ、および、これらの撮像セル１０を駆動するための周辺回路を有する。図１に例示する構成において、撮像装置１００の周辺回路は、行走査回路９０、電圧供給回路９２、列回路９４、信号処理回路９６、出力回路９８および制御回路９９を含んでいる。周辺回路を構成する各要素は、画素アレイＰＡが形成される半導体基板上に配置されてもよいし、その一部が他の基板上に配置されてもよい。

図１において模式的に示すように、電圧供給回路９２および撮像セル１０は、感度制御線８２を介して電気的に接続される。なお、図１では、１本の感度制御線８２が描かれている。しかしながら、感度制御線８２の本数は、２本以上であり得る。例えば、撮像セル１０に対応して撮像セル１０と同数の感度制御線８２が設けられてもよいし、全ての撮像セル１０に共通して１本の感度制御線８２が接続されてもよい。

電圧供給回路９２は、少なくとも２つの電圧レベルを供給可能に構成された信号発生回路であり、所望の波形の感度制御信号を生成する。電圧供給回路９２としては、公知の信号源を用いることができる。電圧供給回路９２は、特定の電源回路に限定されず、所定の電圧を生成する回路であってもよいし、他の電源から供給された電圧を所定の電圧に変換する回路であってもよい。図１において模式的に示すように、電圧供給回路９２の動作は、制御回路９９から供給される制御信号によって制御され得る。

電圧供給回路９２は、撮影時、感度制御線８２を介して撮像セル１０に所定の波形の感度制御信号を印加する。感度制御信号としては、アナログ信号およびデジタル信号のいずれも用い得る。感度制御線８２を介して供給される感度制御信号に基づき、撮像セル１０における感度が電気的に制御される。本開示の典型的な実施形態においては、少なくとも一部の撮像セル１０に関して、リセットから信号電荷の読み出しまでの期間として定義される露光期間において感度を変化させながら撮影を実行する。被写体の輝度の時間的な変化における特定の成分との関連を有する波形の感度制御信号を用いて感度を変調しながら撮影を実行することにより、被写体の輝度の時間的な変化のうち、特定の成分に対応する情報を抽出することができる。例えば、強度が第１の振動数で変化する第１の光と、強度が第２の振動数で変化する第２の光とによって被写体が照射されている場合において、一方の光のみで照射された状態に相当する被写体像を得ることが可能である。撮像セル１０の構成の具体例、および、感度の変調による特定成分の抽出の原理は、後述する。

行走査回路９０は、複数の撮像セル１０の各行に対応して設けられたアドレス制御線８４およびリセット制御線８６との接続を有する。各アドレス制御線８４および各リセット制御線８６は、対応する行の撮像セル１０に接続される。行走査回路９０は、アドレス制御線８４に所定の電圧を印加することにより、撮像セル１０を行単位で選択し、信号電圧の読み出しを行うことができる。行走査回路９０を垂直走査回路と呼んでもよい。また、行走査回路９０は、リセット制御線８６に所定の電圧を印加することにより、選択された撮像セル１０に対してリセット動作を実行することが可能である。

列回路９４は、複数の撮像セル１０の各列に対応して設けられた出力信号線８８との接続を有する。同一列に属する撮像セル１０は、複数の出力信号線８８のうちの対応する１つに共通して接続される。行走査回路９０によって行単位で選択された撮像セル１０の出力信号は、出力信号線８８を介して列回路９４に読み出される。列回路９４は、撮像セル１０から読み出された出力信号に対し、相関二重サンプリングに代表される雑音抑圧信号処理、アナログ−デジタル変換（ＡＤ変換）などを行う。

信号処理回路９６は、撮像セル１０から取得された画像信号に各種の処理を施す。後に詳しく説明するように、本開示の典型的な実施形態においては、感度制御信号の波形を変えて第１および第２の撮影を実行し、これらの撮影によって取得された画像データ間の差分を求める。また、本開示の実施形態においては、画像データ間の差分に基づいて撮像面から被写体までの距離を算出することがある。このような計算処理が信号処理回路９６によって実行されてもよい。信号処理回路９６の出力は、出力回路９８を介して撮像装置１００の外部に読み出される。

制御回路９９は、撮像装置１００の例えば外部から与えられる指令データ、クロックなどを受け取り、撮像装置１００全体を制御する。制御回路９９は、典型的にはタイミングジェネレータを有し、行走査回路９０、列回路９４などに駆動信号を供給する。典型的に
は、制御回路９９は、感度制御信号の波形が所望の波形となるように、生成すべき感度制御信号の波形に応じた駆動信号を電圧供給回路９２に供給する。生成すべき感度制御信号の波形に対応した波形を有する制御信号が外部から制御回路９９または電圧供給回路９２に与えられてもよい。制御回路９９により、撮像面から被写体までの距離の算出などの上述の計算処理が実行されてもよい。

図２は、撮像セル１０の例示的な回路構成を示す。図面が過度に複雑となることを避けるために、ここでは、マトリクス状に配置された複数の撮像セル１０のうちの４つを取り出して示している。図２において模式的に示すように、各撮像セル１０は、概略的には、光電変換部１２と、信号検出回路１４とを含む。

光電変換部１２は、入射光を受けて照度に応じた信号電荷を生成する。信号電荷の極性は、正および負のいずれであってもよい。ここでは、撮像装置１００として、積層型の撮像装置を例示する。すなわち、ここでは、光電変換部１２は、有機材料またはアモルファスシリコンなどの無機材料から形成された光電変換層をその一部に含む。光電変換層は、例えば、半導体基板を覆う層間絶縁層上に配置される。もちろん、光電変換部１２としてフォトダイオードを用いることも可能である。

図示するように、積層型の構造が適用される場合には、上述の感度制御線８２は、光電変換部１２に電気的に接続される。この例では、感度制御線８２が、図２に示された４つの撮像セル１０の光電変換部１２に共通して接続されている。したがって、撮像装置１００の動作時、これらの４つの撮像セル１０には、共通の感度制御信号が印加される。

各撮像セル１０は、光電変換部１２によって生成された信号電荷を検出する信号検出回路１４を有する。ここでは、信号検出回路１４は、信号検出トランジスタ２２およびアドレストランジスタ２４を含む。信号検出トランジスタ２２およびアドレストランジスタ２４は、典型的には、半導体基板に形成された電界効果トランジスタ（ＦＥＴ）である。以下では、特に断りの無い限り、トランジスタとしてＮチャンネルＭＯＳを用いる例を説明する。

図示するように、信号検出トランジスタ２２の入力であるゲートは、光電変換部１２に電気的に接続される。光電変換部１２によって生成された信号電荷は、光電変換部１２と信号検出トランジスタ２２との間のノードに一時的に蓄積される。以下では、光電変換部１２と信号検出トランジスタ２２との間のノードを「電荷蓄積ノードＦＤ」と呼ぶ。電荷蓄積ノードＦＤは、信号電荷を蓄積する電荷蓄積領域の一部を構成する。信号検出トランジスタ２２のソースは、アドレストランジスタ２４を介して、出力信号線８８に接続される。アドレストランジスタ２４のゲートには、アドレス制御線８４が接続される。アドレス制御線８４を介して、行走査回路９０によってアドレストランジスタ２４のオンおよびオフが制御される。

出力信号線８８は、上述の列回路９４（図１参照）などから構成される定電流源８９をその一端に有する。信号検出トランジスタ２２のドレインは、電源配線（ソースフォロア電源）８１に接続されており、信号検出トランジスタ２２および定電流源８９によってソースフォロア回路が形成される。撮像装置１００の動作時、信号検出トランジスタ２２は、ドレインに電源電圧ＶＤＤの供給を受けることにより、ゲートに印加された電圧、すなわち、電荷蓄積ノードＦＤの電圧を増幅して出力する。信号検出トランジスタ２２によって増幅された信号は、出力信号線８８を介して信号電圧として選択的に読み出される。

図２に例示する構成において、撮像セル１０の各々は、ソースおよびドレインの一方がリセット電圧線８５に接続されたリセットトランジスタ２６を含む。リセット電圧線８５には、リセット電圧源９５が接続されている。リセット電圧源９５は、撮像装置１００の動作時、リセット電圧線８５に所定のリセット電圧Ｖｒを印加する。リセット電圧源９５は、撮像装置１００の動作時にリセット電圧線８５に所定のリセット電圧Ｖｒを供給可能な構成を有していればよく、上述の電圧供給回路９２と同様に、特定の電源回路に限定されない。リセット電圧Ｖｒとして、信号検出回路１４の電源電圧ＶＤＤを用いることも可能である。この場合、各撮像セル１０に電源電圧を供給する電圧供給回路（図１において不図示）と、リセット電圧源９５とを共通化し得る。

リセットトランジスタ２６のソースおよびドレインの他方は、電荷蓄積ノードＦＤに接続され、リセットトランジスタ２６のゲートには、リセット制御線８６が接続される。すなわち、この例では、リセットトランジスタ２６のオンおよびオフが行走査回路９０によって制御される。リセットトランジスタ２６をオンとすることにより、所定のリセット電圧Ｖｒが電荷蓄積ノードＦＤに印加され、電荷蓄積ノードＦＤの電位がリセットされる。すなわち、リセットトランジスタ２６のオンにより、撮像セル１０がリセットされる。

撮影においては、まず、リセットトランジスタ２６をオンとすることにより、撮像セル１０をリセットする。リセットトランジスタ２６のオフ後、電荷蓄積ノードＦＤへの信号電荷の蓄積を開始する。光電変換部１２は、光の入射を受けて信号電荷を生成する（露光）。生成された信号電荷は、電荷蓄積ノードＦＤをその一部に含む電荷蓄積領域に蓄積される。そして、所望のタイミングにおいてアドレストランジスタ２４をオンとし、電荷蓄積領域に蓄積された信号電荷量に対応する画像信号を読み出す。本明細書では、ある撮像セルに着目したとき、その撮像セルのリセットから、露光によって生成され、電荷蓄積領域に蓄積された信号電荷の総量に対応する信号の読み出しまでの期間を「露光期間」と呼ぶ。図２に例示する回路構成を有する撮像装置１００においては、ある撮像セル１０に着目したとき、その撮像セル１０のリセットトランジスタ２６をオンからオフに切り替えた時点から、アドレストランジスタ２４をオンとする時点までの期間が、その撮像セル１０の露光期間に相当する。なお、電荷蓄積領域への信号電荷の蓄積の期間が露光期間の全てにわたっている必要はない。例えば、露光期間中の一部の期間において信号電荷が電荷蓄積領域に蓄積されるような動作が実行されてもよい。すなわち、本開示の実施形態においては、露光期間と信号電荷の蓄積期間とは、必ずしも一致しない。

（撮像セル１０の例示的なデバイス構造）
図３は、撮像セル１０の例示的なデバイス構造を模式的に示す。図３に例示する構成では、上述の信号検出トランジスタ２２、アドレストランジスタ２４およびリセットトランジスタ２６が、半導体基板２０に形成されている。半導体基板２０は、その全体が半導体である基板に限定されない。半導体基板２０は、撮像領域が形成される側の表面に半導体層が設けられた絶縁基板などであってもよい。ここでは、半導体基板２０としてＰ型シリコン（Ｓｉ）基板を用いる例を説明する。

半導体基板２０は、不純物領域（ここではＮ型領域）２４ｓ、２２ｓ、２２ｄ、２６ｄおよび２６ｓと、撮像セル１０間の電気的な分離のための素子分離領域２０ｔとを有する。ここでは、素子分離領域２０ｔは、不純物領域２２ｄと不純物領域２６ｄとの間にも設けられている。素子分離領域２０ｔは、例えば所定の注入条件のもとでアクセプタのイオン注入を行うことによって形成される。

不純物領域２４ｓ、２２ｓ、２２ｄ、２６ｄおよび２６ｓは、典型的には、半導体基板２０内に形成された拡散層である。図３に模式的に示すように、信号検出トランジスタ２２は、不純物領域２２ｓおよび２２ｄと、ゲート電極２２ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２２ｓおよび２２ｄは、それぞれ、信号検出トランジスタ２２の例えばソース領域およびドレイン領域として機能する。不純物領域２２ｓと２２ｄとの間に、信号検出トランジスタ２２のチャネル領域が形成される。

同様に、アドレストランジスタ２４は、不純物領域２４ｓおよび２２ｓと、アドレス制御線８４（図２参照）に接続されたゲート電極２４ｇ（典型的にはポリシリコン電極）とを含む。この例では、信号検出トランジスタ２２およびアドレストランジスタ２４は、不純物領域２２ｓを共有することによって互いに電気的に接続されている。不純物領域２４ｓは、アドレストランジスタ２４の例えばソース領域として機能する。不純物領域２４ｓは、図３において不図示の出力信号線８８（図２参照）との接続を有する。

リセットトランジスタ２６は、不純物領域２６ｄおよび２６ｓと、リセット制御線８６（図２参照）に接続されたゲート電極２６ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２６ｓは、リセットトランジスタ２６の例えばソース領域として機能する。不純物領域２６ｓは、図３において不図示のリセット電圧線８５（図２参照）との接続を有する。

半導体基板２０上には、信号検出トランジスタ２２、アドレストランジスタ２４およびリセットトランジスタ２６を覆う層間絶縁層３０（典型的には二酸化シリコン層）が配置される。この例では、層間絶縁層３０上に、光電変換部１２が配置されている。光電変換部１２は、画素電極１２ａと、透明電極１２ｃと、これらの間に配置された光電変換層１２ｂとを含む。画素電極１２ａは、撮像セル１０ごとに設けられ、隣接する他の撮像セル１０の画素電極１２ａから空間的に分離されることによって、他の撮像セル１０の画素電極１２ａから電気的に分離される。他方、透明電極１２ｃおよび光電変換層１２ｂは、複数の撮像セル１０にわたって形成され得る。

透明電極１２ｃは、典型的には、透明な導電性材料から形成される。透明電極１２ｃを構成する材料の典型例は、ＩＴＯ、ＩＺＯ、ＡＺＯ、ＦＴＯ、ＳｎＯ₂、ＴｉＯ₂、ＺｎＯ₂などの透明導電性酸化物（Transparent Conducting Oxide（ＴＣＯ））である。透明電極１２ｃは、光電変換層１２ｂにおいて光が入射される側に配置される。したがって、光電変換層１２ｂには、透明電極１２ｃを透過した光が入射する。透明電極１２ｃ上には、保護層、カラーフィルタなどが配置され得る。なお、撮像装置１００によって検出される光は、可視光の波長範囲（例えば、３８０ｎｍ以上７８０ｎｍ以下）内の光に限定されない。本明細書における「透明」および「透光性」の用語は、検出しようとする波長範囲の光の少なくとも一部を透過することを意味し、可視光の波長範囲全体にわたって光を透過することは必須ではない。本明細書では、赤外線および紫外線を含めた電磁波全般を、便宜上「光」と表現する。

透明電極１２ｃは、上述の感度制御線８２との接続を有する（図２参照）。複数の撮像セル１０の間において、連続した単一の電極の形で透明電極１２ｃを形成することにより、感度制御線８２を介して、複数の撮像セル１０に一括して所望の波形の感度制御信号を印加し得る。

光電変換層１２ｂは、典型的には、半導体性を有する有機材料から形成され、入射する光を受けて正および負の電荷の対（例えば正孔−電子対）を発生させる。光電変換層１２ｂは、典型的には、複数の撮像セル１０にわたって形成される。換言すれば、光電変換層１２ｂは、複数の撮像セル１０において、連続した単一の層であり得る。もちろん、光電変換層１２ｂが、撮像セル１０ごとに分離して設けられていてもよい。

画素電極１２ａは、アルミニウム、銅などの金属、金属窒化物、または、不純物がドープされることにより導電性が付与されたポリシリコンなどから形成される。画素電極１２ａの電位に対する透明電極１２ｃの電位を制御することにより、光電変換によって光電変換層１２ｂ内に生じた正および負の電荷のうちの一方を、画素電極１２ａによって収集することができる。例えば信号電荷として正の電荷（典型的には正孔）を利用する場合、感度制御信号を用いて、画素電極１２ａよりも透明電極１２ｃの電位を高くすればよい。これにより、画素電極１２ａによって正の電荷を選択的に収集することが可能である。以下では、信号電荷として正の電荷を利用する場合を例示する。もちろん、信号電荷として負の電荷（例えば電子）を利用することも可能である。

図３において模式的に示すように、画素電極１２ａは、プラグ３２、配線３３およびコンタクトプラグ３４を介して、信号検出トランジスタ２２のゲート電極２２ｇに接続されている。言い換えれば、信号検出トランジスタ２２のゲートは、画素電極１２ａとの電気的な接続を有する。プラグ３２、配線３３は、例えば銅などの金属から形成される。プラグ３２、配線３３およびコンタクトプラグ３４は、信号検出トランジスタ２２と光電変換部１２との間の電荷蓄積ノードＦＤ（図２参照）の少なくとも一部を構成する。画素電極１２ａは、さらに、プラグ３２、配線３３およびコンタクトプラグ３５を介して、不純物領域２６ｄにも接続されている。図３に例示する構成において、信号検出トランジスタ２２のゲート電極２２ｇ、プラグ３２、配線３３、コンタクトプラグ３４および３５、ならびに、リセットトランジスタ２６のソース領域およびドレイン領域の一方である不純物領域２６ｄは、画素電極１２ａによって収集された信号電荷を蓄積する電荷蓄積領域の少なくとも一部として機能する。

撮像装置１００における画素アレイＰＡは、一般的な半導体製造プロセスを用いて製造することができる。特に、半導体基板２０としてシリコン基板を用いる場合には、種々のシリコン半導体プロセスを利用することによって撮像装置１００を製造することができる。

積層型の構造の採用は、２つの電極（ここでは透明電極１２ｃおよび画素電極１２ａ）に光電変換層１２ｂを挟んだ構造（以下では、説明の便宜のために、「サンドイッチ構造」と呼ぶことがある）の光電変換部１２への適用を容易にする。単結晶シリコンなどを用いた無機半導体フォトダイオードにおいては、光電変換によって生成された、フォトダイオード内部の正および負の電荷は、アノードおよびカソード間にバイアス電圧を印加しなくてもカソードおよびアノードにそれぞれ移動する。これに対し、図３に例示されるようなサンドイッチ構造を有する光電変換素子では、光電変換層にバイアス電圧が印加されていない状態では、光電変換によって生成された正および負の電荷は、光電変換層内においてあまり移動しない。したがって、アノードまたはカソードに到達する前に再結合によって消失する割合が高い。バイアス電圧が増大するに従い、アノードまたはカソードに到達する電荷の割合、換言すれば、光電変換層に単位時間に吸収された光子数に対する、電荷蓄積領域に蓄積される単位時間当たりの信号電荷数の割合（以下、「外部量子効率」と呼ぶことがある）が増加する。

図４は、光電変換層に印加するバイアス電圧の変化に対する外部量子効率の変化の例を示す。図４中、横軸は、光電変換層を挟む２つの電極の一方の電位を基準としたときの他方の電極に印加されるバイアス電圧の大きさを示し、縦軸は、バイアス電圧が１０Ｖのときを基準にして正規化した外部量子効率を示している。図４から、サンドイッチ構造を有する光電変換素子における外部量子効率は、印加するバイアス電圧に依存して変化することがわかる。このことは、光電変換素子の外部からの印加電圧によって光電変換素子の外部量子効率（感度といってもよい）を電気的に制御可能であることを意味する。

図４に示した例においては、量子効率はバイアス電圧に対して一価の連続関数である。したがって、設定可能な量子効率の範囲において、逆関数が存在し、所望の量子効率を与えるバイアス電圧の関数を求めることができる。

この量子効率のバイアス電圧への依存性を与える関数は、光電変換素子の構造、材料などにより定まる値で、基本的に光電変換素子製造時に定まる。そのため、あらかじめ量子効率のバイアス電圧への依存性を与える関数を調べておけば、所望の量子効率を与えるバイアス電圧の関数を求めることができる。この関数が既知であれば、量子効率を所望の時間変化をさせる場合、どのようなバイアス電圧の時間変化が必要であるかを定めることができる。

感度制御信号がバイアス電圧そのものであれば、上記手順により求めたバイアス電圧の時間変化を感度制御信号とすればよい。

また、感度制御信号がバイアス電圧そのものでなくても、同様に感度制御信号に対する量子効率の値をあらかじめ確認しておけば、所望の量子効率の時間変化を得ることができる。

図４に示した例において、バイアス電圧が１Vから３Vの範囲において、量子効率はバイアス電圧に対して一次関数である。そのため逆関数も一次関数である。この場合はバイアス電圧を１Vから３Vの範囲に限定して正弦波＋定数の形で変化させれば、量子効率も正弦波＋定数の形になる。よって、感度制御信号は単純なものとなる。

図４に示した例において、バイアス電圧を３V以上の範囲を含んで使用する場合には、量子効率はバイアス電圧に対して一次関数ではない。そのため、量子効率を正弦波＋定数の形にするには、バイアス電圧は単純な正弦波＋定数ではない非線形な形で変化させなければならない。ただし、上記手順により所望のバイアス電圧の時間変化が求められること、およびそのような制御が可能であることは自明である。

無機半導体フォトダイオードなどの光電変換素子では、外部量子効率が、その素子を構成する材料および構造に依存するので、素子の製造後に外部量子効率を変化させることが一般に困難である。これに対し、図３を参照して説明したような構成によれば、アノードまたはカソードの一方を電荷蓄積領域に電気的に接続して信号電荷の蓄積に利用しながら、他方にバイアス電圧を印加することが容易である。例えば、透明電極１２ｃに感度制御線８２を接続し、バイアス電圧として感度制御信号を透明電極１２ｃに印加することにより、感度制御信号によって撮像セル１０の感度を電気的に変調し得る。本発明者の検討によれば、外部量子効率は、バイアス電圧の変化に追従して高速に変化する。そのため、特定の関数によって表される波形を有する感度制御信号を用いることによって、撮像セル１０の感度を、その関数の波形に従って比較的容易に時間的に変化させ得る。

特に、複数の撮像セル１０の間で透明電極１２ｃを電気的に接続することにより、複数の撮像セル１０の透明電極１２ｃに一括して共通の感度制御信号を印加することができる。すなわち、複数の撮像セル１０の間で同期をとりながら、これらの撮像セル１０の感度に共通の変調を与えることができる。このように複数の撮像セル１０における感度の変調を同期させることが可能な構成は、複数の撮像セル１０を含む撮像装置、または、複数の撮像セル１０と他の回路（例えば周辺回路）とが集積された構成を有する撮像装置などに特に有効である。なお、後述するように、このような感度の変調は、光電変換部１２として無機半導体フォトダイオードなどの光電変換素子を用いた構成においても可能である。光電変換層に単位時間に吸収された光子数に対する、電荷蓄積領域に蓄積される単位時間当たりの信号電荷数の割合を露光期間中に変化させることが可能な他の構成の例は、後述する。

（特定の振動数成分の抽出）
次に、露光期間中の照度の変化から特定の成分を抽出する原理を説明する。理解を容易にするために、以下では、まず、具体例として、露光期間中の照度の変化から、特定の振動数で変動する振幅を有する成分を抽出する方法を説明する。

図５は、従来のイメージセンサにおいて露光期間に電荷蓄積領域に蓄積される信号電荷の総量を説明するための模式図である。図５中、一番上のグラフは、撮像セルの光電変換素子に対する照度Ｌの時間的な変化の例を示し、中央のグラフは、撮像セルにおける感度Ｓを示している。一番下のグラフは、電荷蓄積領域に蓄積される信号電荷量Ｑの時間的な変化を示している。図５に示す各グラフの横軸は、時間τを表し、図５中の両矢印ＥＸＰは、露光期間を模式的に示している。この例では、露光期間の開始および終了は、それぞれ、時刻τ＝０およびτ＝Ｔである。

まず、図５中の一番上のグラフに注目する。一般に、撮像セルに対する照度Ｌは、露光期間において時間的な変動を有する。換言すれば、露光期間中に撮像セルの光電変換素子に入射する光子数は、露光期間において一定ではなく、一般に時間的に変化している。そのため、光電変換素子に対する照度Ｌの時間変化を示すＬ（τ）のグラフは、図５において一番上に模式的に示すように、一般に不規則な波形を有する。

露光期間中のある瞬間τ＝ｔ１に着目する。時刻ｔ１において、電荷蓄積領域には、時刻ｔ1において光電変換素子に入射した光子数と、時刻ｔ１における撮像セルの感度との積に応じた量の信号電荷が蓄積される。上述したように、従来の撮像装置では、露光期間において感度Ｓが一定に固定される。この例では、撮像セルの感度がある値Ｓ_fに固定されているので、時刻ｔ１において電荷蓄積領域には、結局、時刻ｔ１における照度Ｌ１と感度Ｓ_fとの積に比例した量の信号電荷Ｑ１が蓄積される。ここでは、露光期間における感度Ｓが一定であることから、電荷蓄積領域に蓄積される信号電荷量Ｑ（τ）は、図５において一番下に模式的に示すように、撮像セルに対する照度Ｌ（τ）の時間変化に対応した変化を示す。

露光期間の終了後、撮像セルから読み出される画像信号は、露光期間全体において電荷蓄積領域に蓄積された信号電荷の総量に対応する信号である。典型的には、画像信号として、電荷蓄積領域に蓄積された信号電荷の総量に対応した大きさの電圧が画像信号として読み出される。露光期間に電荷蓄積領域に蓄積される信号電荷の総量Ｑ_tは、下記の式（１）に示すように、露光期間中の各時刻における感度Ｓ（τ）および照度Ｌ（τ）の積の、時刻τ＝０からτ＝Ｔまでの積分として表される。

式（１）中のＣは、撮像光学系におけるレンズの構成、絞り、被写体の反射率、撮影時の倍率などにより定まる比例定数である。感度Ｓ（τ）は、光電変換素子に単位時間に入射する光子数に対する、電荷蓄積領域に蓄積される単位時間当たりの信号電荷数の割合に相当する。ここでは、Ｓ（τ）＝Ｓ_fで一定であるので、露光期間に電荷蓄積領域に蓄積される信号電荷の総量Ｑ_tは、下記の式（２）のように表される。

ここで、光電変換素子に対する照度Ｌ（τ）が、振幅がω_mの振動数で振動する光の重ねあわせによって表現可能であると仮定する。すなわち、照度Ｌ（τ）が下記の式（３）のように展開可能であると仮定する。

式（３）中、ω_m＝ｍ（２π／Ｔ）であり（ｍは１以上の整数）、θ_mは、位相を表す。式（３）は、照度Ｌ（τ）の時間変化を、振動数ω_mごとに分解したことに相当する。式（３）に示す展開が、光電変換素子に入射する光の振動数（波長といってもよい）ごとの展開ではなく、光電変換素子に入射する光の強度における振動数ごとの展開であることに注意されたい。なお、式（３）中、正弦関数に１を加えているのは、各瞬間のＬ（τ）≧０であることから和の各項が負とならないようにするためである。

式（３）を上述の式（２）に代入することにより、下記の式（４）が得られる。

式（４）は、露光期間が長くなるに従って、電荷蓄積領域に蓄積される信号電荷の総量Ｑ_tが単調に増加することを示している。式（４）からわかるように、信号電荷の総量Ｑ_tは、照度Ｌの時間変化に関する情報を含んでいない。つまり、従来の撮像によっては、照度Ｌに関して、露光期間中の時間変化の情報を得ることはできない。

これに対し、本開示の少なくともいずれかの実施形態によれば、以下に詳細に説明するように、例えば、照度Ｌの露光期間中の時間変化のうち、特定の振動数成分を抽出することが可能である。

図６は、照度Ｌの露光期間中の時間変化からの特定の振動数成分の抽出を説明するための模式図である。図６中、一番上のグラフは、撮像セル１０の光電変換部１２に入射する光量の時間的な変化の例を示し、中央のグラフは、撮像セル１０における感度の変調の一例を示している。一番下のグラフは、撮像セル１０の電荷蓄積領域に蓄積される信号電荷の時間的な変化を模式的に示している。

上述したように、撮像装置１００においては、感度制御線８２に印加される感度制御信号を用いて、露光期間中の各撮像セル１０の感度を制御することが可能である。したがって、例えば、周期的に変動する電圧を感度制御信号として感度制御線８２に印加することにより、各撮像セル１０の感度を所望の周期で変化させることが可能である。例えば、振動数ω_jで振動する電圧信号を感度制御線８２に印加することにより、下記の式（５）に示すように、撮像セル１０における感度Ｓを周期的に変化させることが可能である。

式（５）中、第１項のＳ₀は、感度における振幅を表し、第２項のＳ_gは、感度が負とならないように（Ｓ（τ）≧０の条件を満たすように）付加した定数項である。この式（５）と、上述の式（３）とを式（１）に適用することより、露光期間に電荷蓄積領域に蓄積される信号電荷の総量Ｑ_tを表す式として、下記の式（６）が得られる。

式（６）において、被積分関数中のｃｏｓ（ω_m＋ω_s）τ、ｓｉｎ（ω_m＋ω_s）τ、ｃｏｓω_mτ、ｓｉｎω_mτ、ｃｏｓω_sτおよびｓｉｎω_sτに比例する各項に関しては、積分を行っても正弦関数または余弦関数となり、露光期間の長さであるＴを増大させても一定範囲で振動するだけであり、増大を示さない。また、ｃｏｓ（ω_m−ω_s）τに比例する項およびｓｉｎ（ω_m−ω_s）τに比例する項のうち、ω_m≠ω_sである項に関しても同様であり、露光期間を増大させても一定範囲で振動するだけである。これに対し、ｃｏｓ（ω_m−ω_s）τに比例する項のうち、ω_m＝ω_s（すなわち、ｍ＝ｓ）の項、ならびに、Ｌ_mＳ_gに比例する項のτに関する積分値は、露光期間の増大に対して単調に増加する。したがって、露光期間が十分に長ければ、Ｔに比例する項の影響が支配的となり、結局、信号電荷の総量Ｑ_tを表す式として、下記の式（７）を得る。

式（７）に示すように、Ｑ_tの表式の第１項は、振動数ω_sに対応する振幅Ｌ_sを含んでいる。すなわち、露光期間中の照度の変化を示すＬ（τ）を構成する成分のうちから、特定の振動数（ここではω_s）で変動する振幅を有する成分に関する情報が得られている。換言すれば、撮像セル１０における感度Ｓを特定の振動数で周期的に変化させることにより、被写体の輝度の変化のうち、特定の振動数に対応した量の信号電荷を電荷蓄積領域に蓄積することが可能である。

（オフセットのキャンセル）
式（７）中の第２項は、照度Ｌおよび感度Ｓが負の値をとらないことに起因してオフセットが生じることを示している。このオフセットは、式（７）で示される信号電荷量に対応する画像信号から、第２項に示される信号電荷量に対応する画像信号を減算することによってキャンセルすることができる。

例えば、露光期間において感度Ｓを変化させながら第１の撮影を行い、第１の撮影とは感度Ｓの位相を変えて第２の撮影を行い、第１の撮影によって得られる画像信号と、第２の撮影によって得られる画像信号との差分を取得してもよい。式（７）を参照すればわかるように、この例では、信号電荷量Ｑ_tは、照度Ｌ（τ）のｓ番目の振動成分における位相θ_sと、感度Ｓ（τ）における位相θとが等しいときに最大値Ｑ_tMをとり、位相θ_sとθとの差がπ（または−π）であるときに最小値Ｑ_tmをとる。最大値Ｑ_tMおよび最小値Ｑ_tmは、それぞれ、下記の式（８）および式（９）によって表される。

最大値Ｑ_tMおよび最小値Ｑ_tmの差分を求めることにより、オフセットの項ＣＳ_gΣＬ_m・Ｔをキャンセルすることができる。なお、オフセットの項のキャンセルにおいて、最大値Ｑ_tMおよび最小値Ｑ_tmを用いることは必須ではなく、互いに位相の異なる感度Ｓ（τ）を用いれば、同様にしてオフセットの項をキャンセルすることが可能である。

図７〜図１０は、撮像セル１０の感度を周期的に変化させながら、輝度に周期的な変化
を有する被写体を撮影することによって得られた画像の例を示す。ここでは、駆動電圧が正弦関数的に変化させられたＬＥＤから発せられた光で被写体を照射することにより、被写体の輝度に周期的な変化を与え、透明電極１２ｃに印加するバイアス電圧（感度調整信号）を３ｋＨｚの周期で正弦関数的に変化させることにより、撮像セル１０の感度を３ｋＨｚの周期で変化させている。いずれも、撮影における露光期間は、およそ２０ｍ秒（ミリ秒）としている。

図７および図８に示す画像は、ＬＥＤに供給する駆動電圧を３ｋＨｚの周期で変化させたときの画像である。換言すれば、輝度が３ｋＨｚの周期で変化する被写体を、感度が３ｋＨｚの周期で変化する撮像セル１０を用いて撮影することによって得られた画像である。図７は、ＬＥＤの駆動電圧の周期的な変化における位相と、透明電極１２ｃに印加されるバイアス電圧の周期的な変化における位相とを一致させたときの画像を示す。図７から、ＬＥＤによる照明の周期的な変化における位相、すなわち、被写体の輝度の周期的な変化における位相と、撮像セル１０の感度の周期的な変化における位相とが一致している場合には、明瞭な画像が得られることがわかる。

図８は、ＬＥＤの駆動電圧の周期的な変化における位相と、透明電極に印加されるバイアス電圧の周期的な変化における位相との間に半周期の差を与えたときの画像を示す。図８に示すように、ＬＥＤの駆動電圧の周期的な変化と、透明電極１２ｃに印加されるバイアス電圧の周期的な変化との間の位相差がπである場合、全体的に明度の低い画像が得られる。

このように、ＬＥＤによる照明の周期、すなわち、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致している場合には、被写体の輝度の周期的な変化と、撮像セル１０の感度の周期的な変化との間の位相差に応じて、得られる画像の明度に明確な変化が現れる。理想的には、位相差がπの場合、画像の明度が０となるはずである。しかしながら、図８からわかるように、位相差がπであっても、不明瞭ではあるものの被写体の像が確認できる。これは、上述のオフセットの影響である。

このオフセットは、ＬＥＤの駆動電圧の周期的な変化における位相と、透明電極１２ｃに印加されるバイアス電圧の周期的な変化における位相とを一致させた場合に得られる画像（図７参照）にも含まれている。したがって、図７に示す画像に対応する画像信号から、図８に示す画像に対応する画像信号を減算すれば、このオフセットをキャンセルすることができる。つまり、例えば以下の手順によって、明度における余分なオフセットをキャンセルし得る。

まず、撮像装置１００における撮像面を被写体に向ける。換言すれば、撮像セル１０における光電変換層１２ｂの透明電極１２ｃ側の表面を被写体に向ける。撮像セル１０のリセット後、露光期間において、正の値をとる関数によって表される波形を有する感度制御信号を感度制御線８２を介して撮像セル１０に印加することによって撮像セル１０における感度を変化させながら第１の撮影を実行して第１の画像信号を取得する。感度制御信号の波形を表す関数は、例えば周期関数であり得る。この場合、撮像セル１０の感度は、周期的に変化する。なお、撮像セル１０のリセットの実行は、撮像装置１００の撮像面を被写体に向ける前であってもよい。

さらに、第１の撮影における波形とは異なる波形の感度制御信号を感度制御線８２を介して撮像セル１０に印加して撮像セル１０における感度を変化させながら第２の撮影を実行し、第２の画像信号を取得する。第２の撮影に用いる感度制御信号の波形を表す関数は、例えば、第１の撮影に用いる感度制御信号の波形を表す関数を時間的にシフトさせた関数である。第１の撮影に用いる感度制御信号の波形を表す関数が周期関数であれば、第２の撮影に用いる感度制御信号の波形を表す関数は、第１の撮影に用いる感度制御信号の波形を表す関数の位相を変えた関数である。後述するように、これらの関数の間の位相差は、πに限定されない。

第１の画像信号および第２の画像信号の差分を算出し、この差分に基づいて画像を形成することにより、明度における余分なオフセットがキャンセルされた画像が得られる。第２の撮影は、例えば、第１の撮影の後に実行される。すなわち、第１の撮影後に再び撮像セル１０をリセットし、その後、第２の撮影を実行してもよい。後述するように、第１の撮影と第２の撮影とが同時に実行されてもよい。

ここで、図１１を参照する。図１１は、被写体の輝度の周期的な変化および撮像セル１０の感度の周期的な変化の間の位相差Δθと、電荷蓄積領域に蓄積された平均電荷数Ｎとの間の関係の例を示す。図１１中、黒丸「●」のプロットは、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致している場合の計測結果を示しており、図７および図８を参照して説明した撮影に対応する。図７を参照して説明した例は、ＬＥＤの駆動電圧の周期的な変化における位相と、透明電極１２ｃに印加されるバイアス電圧の周期的な変化における位相とを一致させたときの画像であるから、Δθ＝０におけるプロットに対応する。他方、図８を参照して説明した例は、ＬＥＤの駆動電圧の周期的な変化における位相と、透明電極に印加されるバイアス電圧の周期的な変化における位相との間に半周期の差を与えたときの画像であるから、Δθ＝−πまたはΔθ＝πにおけるプロットに対応する。

図１１から、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致している場合、平均電荷数Ｎは、位相差Δθに関して強い依存性を示すことがわかる。このとき、画像信号のレベルは、オフセットに対応するあるレベルよりも常に高く、この例では、Δθ＝０のときに最も高い信号レベルが得られている。位相差Δθを変えた撮影数は、２回に限定されず、３回以上の撮影を行ってもよい。例えば、位相差Δθを変えて３回以上の撮影を行い、平均電荷数Ｎが最大となるような位相差Δθ_Mおよび平均電荷数Ｎが最小となるような位相差Δθ_mを回帰分析などによって求め、位相差Δθ_MおよびΔθ_mに対応する画像信号に基づいて、オフセットのキャンセルされた画像を形成してもよい。

明度の高い画像を得る観点からは、第１の撮影における感度の変化を、被写体の輝度の変化の周期に同期させるとよい。しかしながら、被写体の輝度の周期的な変化における位相と、撮像セル１０の感度の周期的な変化における位相とを必ずしも一致させる必要はない。オフセットに対応するレベルよりも有意に高い信号レベルが得られれば、その信号レベルに基づいて画像を形成することが可能である。つまり、第１の撮影における感度の変化を、被写体の輝度の変化の周期に同期させた場合には、第２の撮影を省略し得る。

図１２は、平均電荷数Ｎにおける位相差Δθに関する依存性と、露光期間Ｔの長さとの間の関係の典型例を示す。図１２中の各プロットは、露光期間Ｔを１ｍｓｅｃ、２ｍｓｅｃ、５ｍｓｅｃ、１０ｍｓｅｃ、２０ｍｓｅｃ、５０ｍｓｅｃおよび１００ｍｓｅｃとしたときの、平均電荷数Ｎと位相差Δθとの間の関係を示している。図１２に示すように、露光期間Ｔが長くなるほど、平均電荷数Ｎにおいて、位相差Δθに関する依存性がより強く現れることがわかる。これは、露光期間が長くなるほど、感度の変化を示す波形および照度の変化を示す波形におけるサイクルが露光期間により多く含まれるようになり、信号電荷の総量Ｑ_tを表す式中のＴに比例する項の影響が大きくなるからである。図１２からわかるように、オフセットに対応するレベルよりも有意に高い信号レベルを得る観点からは、露光期間が長い方が有利である。例えば、十分に長い露光期間を適用することにより、第２の撮影を省略し得る。ただし、位相を変えて第１および第２の撮影を行うことにより、第１の撮影において十分に高い信号レベルが得られなかった場合に、位相差Δθが偶然πに近かったために画像が暗かったのか、あるいは、撮像セル１０に対する照度が低かったのかを区別することが可能である。

本開示の実施形態による撮像装置によれば、感度変調における位相（θ、式（５）参照）を電気的に容易に変更可能であるので、位相差Δθを容易に調整し得る。撮影に先立ち、キャリブレーションの一部として位相差Δθの調整を実行してもよい。

図９および図１０を参照する。図９および図１０に示す画像は、ＬＥＤに供給する駆動電圧を２ｋＨｚの周期で変化させたときの画像である。つまり、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致していないときに得られる画像の例である。図９は、ＬＥＤの駆動電圧の周期的な変化における位相と、透明電極１２ｃに印加されるバイアス電圧の周期的な変化における位相とを一致させたときの画像であり（Δθ＝０）、図１０は、ＬＥＤの駆動電圧の周期的な変化における位相と、透明電極１２ｃに印加されるバイアス電圧の周期的な変化における位相との間に半周期の差を与えたときの画像である（Δθ＝−πまたはΔθ＝π）。いずれも、オフセットに相当する明度が現れている。図９および図１０から、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致していない場合には、これらにおける周期的な変化の間の位相差によらずに、全体的に明度の低い画像が得られることがわかる。

再び図１１を参照する。図１１中、黒い矩形「■」のプロットは、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期との間にずれが存在する場合の計測結果を示しており、図９および図１０を参照して説明した撮影に対応する。被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致していない場合には、平均電荷数Ｎは、位相差Δθを変化させてもほとんど変化しない。すなわち、被写体の輝度の変化の周期と、撮像セル１０の感度の変化の周期とが一致していない場合には、平均電荷数Ｎにおける、位相差Δθに関する依存性が弱いことがわかる。位相差Δθの変化に対する平均電荷数Ｎの変化が完全に一定にならない理由は、ＬＥＤの駆動電圧に対する出力の非線形性、透明電極１２ｃへのバイアス電圧に対する、光電変換部１２における外部量子効率の非線形性などの影響であると推測される。

図１１において、黒丸「●」のプロットは、黒い矩形「■」のプロットが並ぶ、Ｎ＝２８００（ｅｌｅ）の付近よりも高い値を示していることから、被写体の輝度の変化の周期と異なる周期で撮像セル１０の感度を変化させながら取得した画像信号を減算することによっても、上述のオフセットをキャンセルし得ることがわかる。すなわち、第１の撮影に用いる感度制御信号の波形を表す関数が周期関数である場合、第２の撮影に用いる感度制御信号の波形を表す関数として、第１の撮影に用いる感度制御信号の波形を表す関数の周期を変えた関数を用いることができる。

あるいは、感度Ｓを変化させながら第１の撮像を行い、感度Ｓを固定して第２の撮像を行ってもよい。すなわち、第２の撮像において感度制御線８２を介して撮像セル１０に供給する感度制御信号として、定数関数によって表される波形を有する信号を用いてもよい。上述した式（４）と、式（７）の第２項とを比較すればわかるように、第１の撮像におけるＳ_gと同じ大きさの感度Ｓ_fを用いて第２の撮像を実行すれば、第２の撮像により、第１の撮像におけるオフセット分に相当する画像信号、換言すれば、明度における余分なオフセットをキャンセルするための画像信号が得られる。したがって、第１の撮像によって得られる画像信号と、第２の撮像によって得られる画像信号との差分を取得することにより、このようなオフセットの影響を除去することができる。

なお、位相差Δθを固定して考えた場合、被写体の輝度の変化における振動数と、撮像セル１０の感度の変化における振動数との間の差Δωを横軸にとったときの平均電荷数Ｎのグラフは、複数のピークを示す。そのため、オフセットをキャンセルせずとも、平均電荷数Ｎのグラフが極大となるような感度変調の振動数を探すことは可能である。複数のピークのうち、最大のピークは、Δω＝０におけるピークであり、露光期間を長くするほど、このピークは、鋭くなる。したがって、他の振動数成分の影響を低減しながら、特定の振動数成分に関する情報を選択的に取得したいといった場合には、露光期間を長くとることによってオフセットの影響を低減することが可能である。

上述の第１の撮影および第２の撮影は、例えば時間的に順次に実行される。第１の撮影および第２の撮影は、連続して実行される必要はなく、例えば、第１の撮影および第２の撮影の間に、第３の撮影を実行してもよい。第１の撮影および第２の撮影は、同時であってもよい。第１の撮影および第２の撮影を同時に実行すれば、明度における余分なオフセットをキャンセルするための画像信号をより高速に取得できる。例えば、撮像領域中の一部の撮像セル１０を用いて第１の画像信号を取得し、第１の画像信号の取得と並行して、他の一部の撮像セル１０を用いて第２の画像信号を取得してもよい。

図１３は、複数の撮像セル１０の間で異なる感度制御信号を印加可能な構成の例を示す。図１３は、撮像領域を構成する複数の撮像セル１０のうち、１２個の撮像セル１０を取り出して示している。ここでは、１２個の撮像セル１０は、３行４列のマトリクス状に配置されている。

図１３に例示する構成において、撮像領域は、透明電極１２ｃＡを有する１以上の撮像セル１０Ａと、透明電極１２ｃＢを有する１以上の撮像セル１０Ｂとを含む。この例では、透明電極１２ｃＡおよび透明電極１２ｃＢは、櫛歯状の形状を有しており、撮像セル１０Ａおよび撮像セル１０Ｂは、それぞれ、マトリクス状の配置の偶数列および奇数列に位置している。図１３において模式的に示すように、透明電極１２ｃＡおよび透明電極１２ｃＢには、電圧供給回路９２Ａに接続された感度制御線８２Ａおよび電圧供給回路９２Ｂに接続された感度制御線８２Ｂがそれぞれ接続されている。したがって、撮像セル１０Ａおよび撮像セル１０Ｂに、異なる波形を有する感度調整信号を独立して印加することができる。

電圧供給回路９２Ａは、例えば、周期的な変化を示す第１の感度制御信号を生成する信号源である。感度制御線８２Ａは、撮像セル１０Ａの露光期間において、電圧供給回路９２Ａから供給される、周期的な変化を示す第１の感度制御信号を透明電極１２ｃＡに印加する。電圧供給回路９２Ｂは、第１の感度制御信号とは異なる時間変化を示す波形を有する第２の感度制御信号を生成する信号源である。第２の感度制御信号も、第１の感度制御信号と同様に、周期的な変化を示す信号であり得る。このとき、感度制御線８２Ｂは、電圧供給回路９２Ｂから供給される、周期的な変化を示す第２の感度制御信号を透明電極１２ｃＢに印加する。第１の感度制御信号における振動数および位相がそれぞれω１、θ１、第２の感度制御信号における振動数および位相がそれぞれω２、θ２であるとすれば、ω１≠ω２またはθ１≠θ２である。例えば、第２の感度制御信号は、第１の感度制御信号の波形を時間的にシフトさせた波形を有する。

図１３に例示する構成によれば、電圧供給回路９２Ａに接続された感度制御線８２Ａと、電圧供給回路９２Ｂに接続された感度制御線８２Ｂとが互いに独立しているので、互いに異なる感度制御信号を並行して撮像セル１０Ａおよび撮像セル１０Ｂに印加することができる。換言すれば、共通の露光期間において、撮像セル１０Ａおよび撮像セル１０Ｂの間で互いに異なる感度変調を適用することができる。

図１３に例示する構成では、複数の撮像セル１０の透明電極（透明電極１２ｃＡまたは透明電極１２ｃＢ）に対向するようにして、カラーフィルタのアレイが配置されている。ここでは、複数の撮像セル１０の１行目に、赤の波長域の光を透過するカラーフィルタ３６Ｒが配置されており、２行目に、緑の波長域の光を透過するカラーフィルタ３６Ｇが配置されている。３行目には、青の波長域の光を透過するカラーフィルタ３６Ｂが配置されている。つまり、この例では、透過する波長域が共通するカラーフィルタを有する撮像セル１０Ａおよび撮像セル１０Ｂが、複数の撮像セル１０の行の延びる方向（行方向）に沿って隣接している。

図１４は、図１３に示す複数の撮像セル１０のうちの一部の模式的な断面を示す。図１４は、行方向に沿って互いに隣接する撮像セル１０Ａおよび撮像セル１０Ｂの組のうち、カラーフィルタ３６Ｒを有する撮像セル１０Ａおよび撮像セル１０Ｂの組を取り出して示している。典型的には、互いに隣接するカラーフィルタ間には、ブラックマスク（グリッド状の遮光層）が配置される。ただし、透過する波長域が共通であれば、図１４に示すように、カラーフィルタ間のブラックマスクを省略し得る。

図１４に例示する構成では、撮像セル１０Ａは、画素電極１２ａＡ、光電変換層１２ｂＡおよび透明電極１２ｃＡを含む光電変換部１２Ａを有する。同様に、撮像セル１０Ｂは、画素電極１２ａＢ、光電変換層１２ｂＢおよび透明電極１２ｃＢを含む光電変換部１２Ｂを有する。ここでは、感度制御線８２Ａとの接続を有する透明電極１２ｃＡおよび感度制御線８２Ｂとの接続を有する透明電極１２ｃＢは、空間的に分離されることにより、電気的に分離されている。なお、この例では、光電変換部１２Ａの光電変換層１２ｂＡおよび光電変換部１２Ｂの光電変換層１２ｂＢは、連続した単一の層である。撮像セル１０Ａおよび撮像セル１０Ｂの間において連続した単一の層の形で光電変換層を形成することにより、製造工程の複雑化を回避し得る。

図１４において模式的に示すように、撮像セル１０Ａの画素電極１２ａＡおよび撮像セル１０Ｂの画素電極１２ａＢの各々は、対応する信号検出トランジスタ２２のゲートに電気的に接続されている。つまり、撮像領域を構成する撮像セル１０は、各々が信号検出トランジスタ２２を含む単位構造ということができる。典型的には、撮像領域は、複数の撮像セル１０の繰り返し構造を有する。

画像の取得においては、撮像セル１０Ａによって得られる画像信号および撮像セル１０Ｂによって得られる画像信号のいずれか一方を、オフセット除去のための信号として利用する。例えば、撮像セル１０Ａおよび撮像セル１０Ｂのリセットの実行後、第１の感度制御信号を用いて、感度を時間的に変化させながら撮像セル１０Ａにおける信号電荷の蓄積を実行する（第１の撮影）。撮像セル１０Ａにおける信号電荷の蓄積と並行して、第１の感度制御信号とは波形の異なる第２の感度制御信号を用いて、感度を時間的に変化させながら撮像セル１０Ｂにおける信号電荷の蓄積を実行する（第２の撮影）。撮像セル１０Ａおよび撮像セル１０Ｂの出力の差分を算出することにより、オフセットの影響が除去された画像信号が得られる。すなわち、第１の撮影と第２の撮影とを時間順次で実行する場合と比較して、より短い時間でオフセット除去のための画像信号を得ることができる。

このように、画素アレイＰＡ中の一部の撮像セル（ここでは撮像セル１０Ａ）における第１の感度を変えながら露光を行い、他の撮像セル（ここでは撮像セル１０Ｂ）において、第１の感度の変調とは異なる感度変調のもとで露光を行ってもよい。例えば、複数の撮像セル１０Ａの間で透明電極１２ｃＡを電気的に接続しておくことにより、共通の第１の感度制御信号を用いて、これらの撮像セル１０Ａの感度を一括して変調できる。露光期間における感度の変調が共通とされた撮像セル１０Ａは、いずれも、被写体の輝度の時間的な変化のうち、特定の成分に関する情報を抽出する。すなわち、撮像セル１０Ａの出力信号に基づいて、特定の成分に関する２次元（または１次元）の画像を構築することができる。

図１３および図１４に示す構成では、行方向に沿って隣接する撮像セル１０Ａおよび撮像セル１０Ｂの組の出力が、最終的に得られる画像中のある画素の輝度値の決定に利用される。したがって、最終的に得られる画像の行方向における画素数は、撮像領域において行方向に沿って配置された撮像セル１０の数の半分である。カラーフィルタの配置、各撮像セルの受光領域の形状は、図１３に示す例に限定されず、任意に設定可能である。

図１５および図１６は、複数の撮像セル１０の間で異なる感度制御信号を印加可能な構成の他の例を示す。信号源としての電圧供給回路９２Ｃを共通とし、電圧供給回路９２Ｃと感度制御線８２Ａとの間、または、電圧供給回路９２Ｃと感度制御線８２Ｂとの間のいずれかに移相器を接続してもよい。図１５に示す例では、電圧供給回路９２Ｃと感度制御線８２Ｂとの間に移相器９３が接続されている。移相器９３は、電圧供給回路９２Ｃから供給される信号の位相をシフトさせる。このような構成によれば、信号源の数を低減できる。

図１６に示すように、電圧供給回路９２Ａおよび電圧供給回路９２Ｂの一方を直流信号源９２Ｄに置き換えてもよい。このような構成によっても同様に、オフセット除去のための画像信号を得ることが可能である。このように、複数の撮像セル１０を互いに電気的に分離された透明電極ごとにグルーピングした構成を採用してもよい。

（一般化）
上述の例では、照度Ｌ（τ）が、振幅がω_mの振動数で変化する光の重ねあわせによって表現可能であると仮定している。厳密には、光電変換部１２に入射する光が、振動数ω_mで振幅が変化するような光の重ねあわせであるとは限らない。しかしながら、後述するように、被写体に向けて光を照射することによって、被写体に積極的に輝度の変化を生じさせることが可能であり、例えば周期的に強度が変化するような光を被写体に照射すれば、被写体表面で反射した光に周期的な変化を生じさせ得る。すなわち、周期Ｔの周期関数によって表現されるような照度の変化を実現し得る。

露光期間において照度Ｌ（τ）が周期関数で表現される場合、Ｌ（τ）をフーリエ級数展開することが可能である。すなわち、閉区間［０，Ｔ］においてＬ（τ）を関数系｛１，ｃｏｓω₁τ，ｓｉｎω₁τ，ｃｏｓω₂τ，ｓｉｎω₂τ，…，ｃｏｓω_mτ，ｓｉｎω_mτ，…｝によって展開することができる。このとき、感度Ｓ（τ）の波形として、任意の振動数の正弦関数または余弦関数に定数を加えた、正の値をとる関数を選択すれば、照度Ｌ（τ）のうち、振幅がその振動数で振動する成分を抽出することができる。これは、複数の原因によって被写体の輝度に時間的な変化が生じている場合であっても、複数の原因のうちの１つに起因する、露光時間内の輝度変化を選択的に抽出できることを意味する。

例えば、強度が３ｋＨｚの振動数で正弦的に変化する第１の光源と、強度が２ｋＨｚの振動数で正弦的に変化する第２の光源とによって被写体が照明されている場合、被写体の輝度の変化は、３ｋＨｚの振動数で変化する第１の成分と、２ｋＨｚの振動数で変化する第２の成分とを含む。感度制御信号における振動数は、撮像装置１００のユーザが任意に選択することが可能であり、例えば、感度制御信号の信号レベルを３ｋＨｚの振動数で正弦的に変化させれば、被写体を第１の光源だけで照明したときに得られる画像と同様の画像が得られる。感度制御信号の信号レベルの変化における振動数を２ｋＨｚとすれば、被写体を第２の光源だけで照明したときに得られる画像と同様の画像が得られる。つまり、例えば空間的に離れた位置に配置された複数の光源によって被写体が照明されている場合であっても、各光源から放射される光の強度の変調における振動数を互いに異ならせておけば、ある特定の光源だけで被写体を照明したときに得られる画像と同様の画像が得られる。このように、本開示の実施形態によれば、複数の光源によって被写体が照明されている場合であっても、輝度の時間的な変化における各振動数成分を分離して抽出することができる。これは、露光期間を単純に短縮することによっては得られない効果である。

照度の時間的変化からの、特定の振動数で振幅が振動する成分の抽出は、フーリエ級数展開におけるフーリエ係数の算出に対応する。上述の式（６）の被積分関数において、ｃｏｓ（ω_m−ω_s）τに比例する項のうち、ω_m＝ω_sの項は、露光時間の増大に対して単調に増加する。これに対し、ｃｏｓ（ω_m−ω_s）τに比例する項およびｓｉｎ（ω_m−ω_s）τに比例する項のうち、ω_m≠ω_sである項は、露光時間を増大させても一定範囲で振動するだけである。これは、三角関数の直交性の一側面の現れである。このことから、三角関数に代えて、直交関数を用いても同様の結果が得られるといえる。すなわち、露光期間において撮像セル１０に供給する感度制御信号として、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される波形を有する信号を適用し得る。なお、本明細書における「基底」は、直交系をなす関数系の各要素を指す。本明細書における「直交系」には、直交多項式系も含まれる。

すなわち、上述の議論は、周期関数以外の関数にも一般化し得る。特に、閉区間を適切に選べば、任意の関数を、完全系をなす関数系｛ψ_n（τ）｝によって展開可能であることが知られている（ｎは０以上の整数）。完全系をなす関数系であれば、適当な線形結合により、互いに直交する基底を選び、完全直交系｛φ_n（τ）｝を構成することができる。つまり、完全直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される波形を有する信号を感度制御信号として用い得る。上述の関数系｛１，ｃｏｓω₁τ，ｓｉｎω₁τ，ｃｏｓω₂τ，ｓｉｎω₂τ，…｝は、完全直交系の一例である。

図５および図６を参照して説明したように、照度Ｌ（τ）の波形は一般に不規則な形状を有している。しかしながら、区間［０，Ｔ］において、照度Ｌ（τ）を何らかの完全直交系によって記述できると考えられる。すなわち、以下の式（１０）に示すように、関数系｛φ_n（τ）｝を用いてＬ（τ）を展開し得る。式（１０）中、a₀，ａ₁，ａ₂，…は、展開の係数である。

式（１０）に示す展開を、信号電荷の総量Ｑ_tの式（１）に代入すると、以下の式（１
１）を得る。

ここで、完全直交系｛φ_n（τ）｝の基底のいずれか、例えばφ_s（τ）と同様の波形を有する感度制御信号を用いて、露光期間中の撮像セル１０の感度を変調した場合を想定する。つまり、式（１１）中の感度Ｓ（τ）として、φ_s（τ）を用いる場合を想定する。式（１）の右辺が、関数Ｌ（τ）およびＳ（τ）の内積＜Ｌ，Ｓ＞の形となっていることに着目すれば、各基底の直交性から、φ_s（τ）同士の内積だけが残り、結局、以下の式（１２）を得る。

すなわち、ｓ番目の展開係数ａ_sを抽出することができる。このことは、感度Ｓ（τ）として、完全直交系をなす関数系の基底を用いることにより、露光期間内の照度Ｌ（τ）の変化から、その基底に対応した成分に関する情報を抽出できることを意味している。換言すれば、被写体の輝度の時間的変化が周期的でない場合であっても、被写体の輝度の時間的変化から、特定の成分に関する情報を抽出することが可能である。

ただし、現実には、完全直交系｛φ_n（τ）｝の基底が閉区間［０，Ｔ］において負の値をとり得ることに対し、感度Ｓ（τ）が負の値をとらないことから、Ｓ（τ）として完全直交系｛φ_n（τ）｝の基底をそのまま適用することはできない。そのため、閉区間［０，Ｔ］においてＳ（τ）≧０の条件を満たすように、関数χ_n（τ）＝φ_n（τ）＋χ₀を定義し、このχ_n（τ）をＳ（τ）として用いる。ここで、χ₀は、閉区間［０，Ｔ］においてχ_n（τ）≧０となるように選んだ適当な定数である。

新たに定義した関数χ_n（τ）を式（１１）のＳ（τ）に適用すれば、下記の式（１３）が得られる。

上記の式（１３）中のＱ₀は、下記の式（１４）によって計算される定数であり、上述のオフセットに相当する。

既に説明したように、このオフセットは、例えば、露光期間において感度Ｓ（τ）を一定とした第２の撮影によって得られる画像信号を差し引くことによってキャンセルすることができる。あるいは、Ｓ（τ）が周期関数であれば、Ｓ（τ）の位相または周期を変えて２種類の画像信号を取得し、これらの差分を求めてもよい。

このように、露光期間において撮像セル１０に供給する感度制御信号を表す関数は、三角関数に定数を加えた、正の値をとる関数に限定されず、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数であればよい。後述するように、直交系をなす関数系として、例えばウォルシュ関数系などを用いることも可能である。特に、直交系をなす関数系として完全直交系を選択すれば、照度の時間的変化を表す関数Ｌ（τ）が周期関数であるか否かによらずに、Ｌ（τ）を構成する成分のうちから、特定の成分に関する情報を抽出することができる。関数Ｌ（τ）が周期関数であれば、式（５）を用いて説明したように、例えば、正弦関数（または余弦関数）に定数を加えた、正の値をとる関数を用いればよい。この場合は、露光期間中の照度の変化を示すＬ（τ）を構成する成分のうちから、振幅が特定の振動数で変化する成分に関する情報が抽出される。

（撮像セルの変形例）
撮像セルの感度に変調を与える構成は、上述した例に限定されない。図１７は、感度の変調が可能な撮像セルの回路構成の例を示す。図１７に示す撮像セル５０は、感度制御線８２に接続された増幅器５２を含む信号検出回路１４Ｇを有する。図１７に例示する構成において、増幅器５２は、光電変換部１２と信号検出トランジスタ２２の入力との間に接続されている。増幅器５２は、例えば可変ゲインアンプであり、感度制御線８２は、可変ゲインアンプのゲイン制御端子に接続される。なお、この例では、光電変換部１２に電圧線８１が接続されている。電圧線８１は、透明電極１２ｃ（図１７において不図示）に接続されており、撮像装置１００の動作時、透明電極１２ｃに所定のバイアス電圧を供給する。このバイアス電圧は、典型的には、固定された電圧である。

このような構成によれば、増幅器５２における増幅率を、感度調整信号の波形に応じて時間的に変化させ得る。換言すれば、撮像セル５０の感度を露光期間において変化させることが可能である。増幅器５２の増幅率の露光期間における変化の波形は、例えば、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される。

図１８は、感度の変調が可能な撮像セルの回路構成の他の例を示す。図１８に示す撮像セル６０は、感度制御線８２に接続された切り替え回路６２と、電荷排出領域ＤＰとを含む信号検出回路１４Ｄを有する。図示するように、切り替え回路６２は、光電変換部１２と、電荷蓄積ノードＦＤおよび電荷排出領域ＤＰとの間に接続されている。切り替え回路６２は、例えば電界効果トランジスタなどのスイッチング素子を含み、感度制御線８２に印加される感度制御信号に基づいて、光電変換部１２を電荷蓄積ノードＦＤおよび電荷排出領域ＤＰのいずれに接続するかを切り替える。

電荷排出領域ＤＰは、例えば半導体基板２０に形成された不純物領域であり、その電位は、典型的には接地電位である。光電変換部１２が電荷排出領域ＤＰに接続されると、光電変換部１２によって生成された信号電荷は、切り替え回路６２を介して電荷排出領域ＤＰに排出される。したがって、感度制御信号を用いて、例えば露光期間の一部において光電変換部１２を電荷蓄積ノードＦＤに接続して信号電荷の蓄積を行い、露光期間の残余の期間において光電変換部１２を電荷排出領域ＤＰに接続し、信号電荷を排出してもよい。図１７および図１８に示す構成例では、光電変換部１２として、一般的なフォトダイオードも用いることが可能である。

あるいは、光電変換部１２として、アバランシェフォトダイオードを用いてもよい。図１９は、光電変換部１２にアバランシェフォトダイオードが適用された回路の例を示す。図１９に示す撮像セル７０の光電変換部１２Ｐは、感度制御線８２に接続された電極を有するアバランシェフォトダイオード７２を含んでいる。

アバランシェフォトダイオード７２におけるアバランシェ増倍の程度は、アバランシェフォトダイオード７２に印加されるバイアス電圧に依存する。したがって、感度制御線８２を介してアバランシェフォトダイオード７２に印加するバイアス電圧を変化させることにより、撮像セル７０における感度を電気的に制御することが可能である。

図１７〜図１９を参照して説明した構成によっても、感度制御信号を用いて撮像セルの感度に変調を与えることが可能である。このように、露光期間において撮像セルの感度を時間的に変化させる方法および機構は、特定の方法および機構に限定されない。ただし、配線の寄生容量に起因する信号遅延の影響などを考慮すると、複数の撮像セルにおける感度を一括して変化させる観点からは、図３を参照して説明したような、サンドイッチ構造を有する光電変換部１２の方が有利である。

（第２の実施形態）
以上に説明したように、被写体の輝度がある規則に従って変化するような場合、その規則に関連を有する規則に従って撮像セルの感度を露光期間において変化させることにより、被写体の輝度の時間的変化から、特定の成分に関する情報を抽出することが可能である。例えば、被写体の輝度の変化が、ある振動数で変化する成分を含むとき、撮像セルの感度の変調における振動数をその振動数に一致させることにより、その振動数で強度が変化する光で選択的に被写体を照射したときと同様の画像が得られる。

さらに、以下に説明するように、照明装置を用いて被写体を光で照射することにより、被写体の輝度に積極的に変化を生じさせてもよい。照明装置を用いた撮像システムを構築することにより、種々の応用が可能である。

（分光イメージングシステム）
例えば、撮像装置１００と、強度が時間的に変化する光を発する照明装置とを用いて、分光イメージングシステムを実現し得る。本開示の撮像システムの有利な点の理解を容易とするために、まず、従来のフーリエ変換型赤外分光光度計の構成および動作を説明する。

図２０は、従来のフーリエ変換型赤外分光光度計の構成の概略を示す。図２０に示す赤外分光光度計５００は、その一部に干渉計２４０を含む。具体的には、赤外分光光度計５００は、赤外光源５５２と、ビームスプリッタ２４４と、固定鏡２４６と、移動鏡２４８と、検出器５６０とを有する。赤外光源５５２から発せられた光の一部は、固定鏡２４６において反射され、他の一部は、移動鏡２４８によって反射される。固定鏡２４６によって反射された光および移動鏡２４８によって反射された光は、ビームスプリッタ２４４によって合成され、干渉光が形成される。干渉光は、ビームスプリッタ２４４および検出器５６０の間に配置された測定対象ＳＰに入射する。測定対象ＳＰからの透過光が検出器５６０に入射する。

図２０において両矢印ＭＶで示すように移動鏡２４８を図中の左右に移動させることにより、固定鏡２４６からの反射光と、移動鏡２４８からの反射光との間に周期的に変化する位相差を生じさせることができる。位相差が時間的に変化する干渉光を測定対象ＳＰに照射し、透過光を検出器５６０によって検出することにより、インターフェログラムが得られる。コンピュータにより、このインターフェログラムにフーリエ変換処理を施すことにより、横軸に波数をとった、透過光の赤外スペクトルが得られる。

図２１は、本開示の実施形態による撮像システムを用いた分光イメージングシステムの例を模式的に示す。図２１に示す分光イメージングシステム２００は、概略的には、図２０に示す赤外分光光度計における赤外光源５５２および検出器５６０を、それぞれ、光源２５２および上述の撮像装置１００に置き換えた構成を有する。

光源２５２としては、例えば白色光源を用いることができる。光源２５２から出射された光から干渉光を形成する点は、上述の赤外分光光度計５００と同様である。ここでは、移動鏡２４８の位置を正弦的に振動させる。移動鏡２４８の位置を正弦的に変化させることにより、強度において正弦的な波形を有する干渉光を形成することができる。つまり、測定対象ＳＰには、強度が時間的に変化する光が入射する。したがって、図２１に例示する構成において、光源２５２および干渉計２４０の全体を、強度が時間的に変化する光を被写体（ここでは測定対象ＳＰ）に放射する照明装置２５０とみなすことができる。

光源２５２からの出射光が様々な波長の光を含むことから、干渉光は、強度の変化における振動数が異なる光の重ね合わせとなる。つまり、移動鏡２４８の物理的振動によって、波長ごとに、異なる振動数で強度に変調を与えることができる。図２２は、移動鏡２４８の物理的な振幅の２倍に等しい波長を有する光から形成される干渉光の波形を示し、図２３は、移動鏡２４８の物理的な振幅の４倍の波長を有する光から形成される干渉光の波形を示す。図２２および図２３に示すグラフの横軸および縦軸は、いずれも、時間ｔおよび干渉光の強度Ｉをそれぞれ示している。図２２および図２３からわかるように、この例では、照明装置２５０から照射される光の強度の変化は、周期的である。

干渉計２４０によって形成された干渉光が、測定対象ＳＰに入射する。測定対象ＳＰと撮像装置１００との間に配置された光学系２５４は、測定対象ＳＰを透過した光による像を撮像装置１００の撮像面上に形成する。撮像装置１００は、測定対象ＳＰからの光を検出する。換言すれば、撮像装置１００における光電変換部１２は、測定対象ＳＰからの光（ここでは透過光）を受けて信号電荷を生成する。

ここで、撮像装置１００の撮像セル１０の感度を正弦的に変化させて撮像を実行する。上述した原理から、撮像セル１０の感度を正弦的に変化させることにより、透過光から、感度変調における振動数と同じ振動数を有する成分が抽出される。換言すれば、感度変調における振動数と同じ振動数成分に対応した画像信号を取得することができる。感度変調における振動数を変更すれば、変更後の振動数と同じ振動数成分に対応した画像信号を取得することができる。ここでは、透過光の強度の変化における振動数と透過光の波長とが１対１に対応しているので、感度変調における振動数を切り替えることにより、振動数に対応した波長に関する画像信号を取得することができる。

これは、分光イメージングシステム２００によれば、撮像セル１０に供給する感度制御信号の波形を変えることによって、コンピュータによる計算を行うことなく、フーリエ変換によって得られるデータと同様のデータが得られることを意味している。分光イメージングシステム２００によれば、アナログ的な変調により、フーリエ変換を実行したことと同様の結果が各撮像セル１０から自動的に出力される。つまり、コンピュータによる計算処理が不要であり、フーリエ変換によって得られるデータと同様のデータをリアルタイムで取得することができる。

しかも、分光イメージングシステム２００によれば、感度変調における振動数と同じ振動数成分に対応した画像信号を複数の撮像セル１０において一括して取得することが可能である。つまり、波長ごとに２次元の画像を取得することができる。撮像装置１００における撮像セル１０の数は、数１０万から数百万以上とすることも可能である。このように、分光イメージングシステム２００によれば、感度変調における振動数を変更することにより、特定波長に関する画像を容易に得ることが可能である。分光イメージングシステム２００では、測定を行いたい波長の画像を選択的に得られるので、あらゆる波長に関して撮影を実行する必要がなく、分析に要する時間を短縮することが可能である。仮に、従来の赤外分光光度計５００を用いた分析と同様の数の波長に関して画像を取得するとしても、必要な画像データの数は、たかだか数百程度であり、従来と比較して分析に要する時間を短縮することが可能である。なお、各画像の取得においては、各撮像セル１０の間で信号電荷の蓄積の開始のタイミングと、蓄積の終了のタイミングとを揃える、いわゆるグローバルシャッタを適用すればよい。

分光イメージングシステム２００によれば、アナログ的な変調により、フーリエ変換を実行したことと同様の結果が各撮像セル１０から自動的に出力されるので、同時に測定できる点の数が１つであり、かつ、１回の測定に数十秒の時間を要する従来の赤外分光光度計５００と比較して試料の分析に有利である。また、コンピュータによる計算処理が不要であるので、従来の赤外分光光度計５００ではインターフェログラムを保持可能なメモリを要することに対し、分光イメージングシステム２００では一般的なデジタルカメラと同様のメモリを使用できるので、大きなメモリ量は必要とされない。さらに、従来の赤外分光光度計５００と異なり、動画の撮影も可能である。

上述の説明から明らかなように、分光イメージングシステム２００では、撮像セル１０における感度変調を事後的に電気的に制御できるので、カラーフィルタも分光器も不要としながら、測定を行いたい波長に応じた撮影が可能である。カラーフィルタが不要であるので、測定を行いたい波長が増えても解像度を低下させる必要がない。また、撮像装置１００の製造の時点でカラーフィルタの特性を決定する必要もない。分光イメージングシステム２００では、回折格子、プリズムなどを含む分光器が不要であるので、小型化が比較的容易であり、例えば、顕微鏡に取り付け可能なアタッチメントの形で分光イメージングシステム２００を実現することも不可能ではない。

図２１に例示するように、分光イメージングシステム２００は、被写体に向けて放射される光の強度の変化と、撮像装置１００の各撮像セル１０に供給される感度制御信号とを同期させる同期化回路２５６を有し得る。同期化回路２５６は、例えば、照明装置の光源に供給される駆動信号と、撮像装置１００の各撮像セル１０に供給される感度制御信号とを同期させる。この例では、同期化回路２５６は、移動鏡２４８の駆動機構および撮像装置１００に対して制御信号を供給することにより、感度制御信号を光の強度の時間的変化に同期させる。これにより、被写体の輝度の時間的変化における位相と、撮像セル１０の感度の時間的変化における位相とを揃えることが可能である。同期化回路２５６は、撮像装置１００または照明装置２５０の一部であってもよい。撮像装置１００と照明装置２５０との間で撮像セル１０の駆動信号および照明装置２５０の駆動信号（この例では移動鏡２４８の駆動機構に対する駆動信号）を共有するような構成も採用可能である。撮像セル１０の駆動信号および照明装置２５０の駆動信号を同期させるための信号を撮像装置１００および照明装置２５０の一方で生成し、他方に供給してもよい。

図２１においては、干渉計２４０としてマイケルソン型干渉計を例示したが、ファブリペロ型、マッハチェンダー型などの干渉計を用いてもよい。また、光源２５２に代えて、複数の単色性の光源（発光ダイオード（ＬＥＤ）など）を用いてもよい。図２４は、複数の単色性の光源が適用された照明装置２５０Ｐを有する分光イメージングシステム２００Ｐの構成の例を示す。図２４に示す分光イメージングシステム２００Ｐは、単色性の光源２５２Ｐおよび２５２Ｑを有する。光源２５２Ｐおよび２５２Ｑとしては、出射光の波長が互いに異なる光源を選択すればよい。照明装置２５０Ｐ中の光源の数は、測定を行いたい波長の数に応じて適宜変更すればよい。

このように、撮影に先立ち、強度が時間的に変化する光で被写体を照射してもよい。図２１〜図２４を参照して説明した例では、波長が互いに異なる光に対して互いに異なる振動数の変調が与えられる。しかしながら、この例に限定されず、例えば互いに異なる偏光に対して互いに異なる振動数の変調を与えてもよい。互いに異なる偏光に対して互いに異なる振動数の変調を与えることにより、偏光に対する被写体の反射特性に関する情報を取得可能な観察システムを構築することが可能である。

（腫瘍観察システム）
腫瘍に特異的に蓄積される蛍光色素分子を利用して腫瘍の位置を特定する蛍光診断が知られている。蛍光診断においては、患者に５−アミノレブリン酸（5-ALA）を投与し、施術を行うとする部位を励起光で照射する。５−アミノレブリン酸は、腫瘍に特異的に蓄積されるので、５−アミノレブリン酸から発せられる蛍光を標識として、腫瘍の形状および位置を特定することができる。しかしながら、この蛍光があまり強くないために、蛍光を観察するには、周囲の照明を落とす必要がある。

図２５は、本開示の実施形態による撮像システムを腫瘍観察システムに適用した例を示す。図２５に示す腫瘍観察システム２００Ｅは、励起光を放射する照明装置２５０Ｅと、腫瘍から発せられる蛍光を検出する撮像装置１００とを含んでいる。この例では、腫瘍観察システム２００Ｅは、同期化回路２５６をさらに含んでいる。

照明装置２５０Ｅは、対象部位に向けて、ある振動数で強度変調された励起光を照射する。強度変調された励起光の照射により、腫瘍に蓄積された蛍光色素分子から、励起光の強度変調の振動数に同調した振動数で強度が変化する蛍光が発せられる。励起光の強度変調の振動数と同じ振動数で撮像装置１００の撮像セル１０における感度を変調しながらこの蛍光を捉えることにより、強度の変調する蛍光が選択的に強く映し出された画像（静止画または動画）を得ることができる。

この例では、同期化回路２５６は、照明装置２５０Ｅから放射される励起光の変調における位相と、撮像セル１０の感度の変調における位相とを調整する制御信号を照明装置２５０Ｅおよび撮像装置１００に供給する。撮像セル１０の感度の周期的な変化における位相を調整することにより、蛍光が発せられている部位をより強調することができる。したがって、周囲の照明を落とすことなく、腫瘍の形状および位置を特定することが可能である。

（物標検出システム）
図２６は、本開示の実施形態による撮像システムを物標検出システムに適用した例を示す。図２６に示す撮像システム２００Ａおよび２００Ｂは、それぞれ、照明装置２５０Ａと撮像装置１００Ａとの組、および、照明装置２５０Ｂと撮像装置１００Ｂとの組を含む。撮像装置１００Ａおよび１００Ｂとしては、上述の撮像装置１００と同様の構成を適用し得る。撮像システム２００Ａおよび２００Ｂは、例えば乗用車などの車両に搭載され得る物標検出システムであり得る。撮像システム２００Ａおよび２００Ｂは、位置が固定された定点撮像システムであってもよい。

撮像システム２００Ａの照明装置２５０Ａは、強度が変調された光を出射する。照明装置２５０Ａから出射された光は、照明装置２５０Ａの例えば前方の物標（障害物、他の車両などであり、ここでは歩行者）ＴＧによって反射される。物標ＴＧからの反射光の強度は、照明装置２５０Ａから出射された光の強度と同様の時間的変化を示す。照明装置２５０Ａが例えば周期的に強度の変化する光を物標ＴＧに向けて出射する場合、物標ＴＧからの反射光の強度は、照明装置２５０Ａからの出射光と同じ周期の変化を示す。ただし、照明装置２５０Ａから出射される光と物標ＴＧからの反射光との間には、照明装置２５０Ａから物標ＴＧまでの距離に応じた位相差が生じる。

撮像システム２００Ａの撮像装置１００Ａは、物標ＴＧから反射された光を受ける。ここでは、撮像装置１００Ａの各撮像セル１０の感度が、照明装置２５０Ａから出射される光の強度の変調を示す波形と同様の波形を有する第１の感度制御信号によって変調される。第１の感度制御信号としては、直交系をなす関数系の基底の１つに第１の定数を加えた、正の値をとる第１の関数によって表される波形を有する信号を用いることができる。

上述したように、照明装置２５０Ａからの出射光と、物標ＴＧからの反射光との間には、照明装置２５０Ａから物標ＴＧまでの距離に応じた位相のずれが生じる。反射光に生じた位相差に基づき、物標ＴＧまでの距離を算出することが可能である。このような測距の手法は、ＴＯＦ（Time of Flight）法と呼ばれる。

図２６に例示する構成において、撮像システム２００Ｂも、撮像システム２００Ａと同様の動作を実行する。ただし、ここでは、撮像装置１００Ｂの各撮像セル１０に供給される第２の感度制御信号として、第１の関数とは異なる第２の関数によって表される波形を有する信号を用いる。第２の関数は、上述の関数系の基底の他の１つに定数を加えた、正の値をとる関数である。つまり、ここでは、同一の直交関数系から選択した互いに異なる基底に基づいて、第１の関数によって表される波形を有する第１の感度制御信号と、第２の関数によって表される波形を有する第２の感度制御信号とが生成される。

図２６に示すように、複数の撮像システム（ここでは物標検出システムとしての撮像システム２００Ａおよび２００Ｂ）が同時に使用されることは、十分に考えられる。このとき、撮像システム２００Ａの撮像装置１００Ａは、照明装置２５０Ａから出射されて物標ＴＧから反射された光に加えて、撮像システム２００Ｂの照明装置２５０Ｂから出射されて物標ＴＧから反射された光を受ける。以下に説明するように、撮像システム２００Ａおよび２００Ｂに、それぞれ、同一の直交関数系から選択した互いに異なる基底に基づいて生成された第１の感度制御信号および第２の感度制御信号を適用することにより、撮像システム２００Ａおよび２００Ｂの間における混信を回避し得る。このような観点から、撮像システム２００Ａおよび２００Ｂを含む複数の撮像システムの全体が、物標検出システム３００を構成しているといってもよい。

ここでは、直交関数系として、ウォルシュ関数系を照明光および感度の変調に利用する例を説明する。まず、ウォルシュ関数系を簡単に説明する。ウォルシュ関数系の基底であるウォルシュ関数は、ウォルシュ行列の各行における要素の値によって決定される周期関数である。ｎを自然数とすれば、長さが２ⁿのウォルシュ関数は、次元が２ⁿのウォルシュ行列の各行における要素の値によって決定される。ウォルシュ行列は、アダマール行列における行を、ゼロ交差に関する順序性（sequency）に基づいて入れ替えることによって得られる行列である。次元が２ⁿのアダマール行列は、以下の式（１５）および式（１６）によって再帰的に与えられ、例えば次元が１６のウォルシュ行列Ｗ（１６）は、以下の式（１７）の形に表される。

式（１７）からわかるように、Ｗ（１６）の各行における１および−１の配列は、行ごとに異なっており、ある行のゼロ交差の回数は、その行の１つ上の行のゼロ交差の回数より１つ多い。長さが２ⁿのウォルシュ関数は、２ⁿ個存在し、そのうちの１つは、定数関数である。本明細書においては、時間τに関する、長さがｄのｋ番目（ｋは自然数）のウォルシュ関数をＷ_d,k（α，τ）と表記する。ここで、αは、位相を表す定数である。以下では、０≦α≦１とし、位相αを周期に対する割合で指定する。

例えば、Ｗ_16,13（０，τ）は、式（１７）に示すＷ（１６）の第１３行における１および−１の配列｛１，−１，１，−１，−１，１，−１，１，１，−１，１，−１，−１，１，−１，１｝によって決まる。同様に、Ｗ_16,14（０，τ）は、Ｗ（１６）の第１４行における１および−１の配列｛１，−１，１，−１，−１，１，−１，１，−１，１，−１，１，１，−１，１，−１｝によって決まる。図２７および図２８は、それぞれ、Ｗ_16,13（０，τ）およびＷ_16,14（０，τ）の具体的なグラフを示す。図２７および図２８における横軸は、時間τを表し、周期をＴとしている。図２７および図２８からわかるように、各ウォルシュ関数は、各点でとり得る値が１または−１のいずれかの区分的に連続な関数である。定数関数でない（すなわち、ｋ≠１）ウォルシュ関数の一周期にわたる積分値は、０である。

図２９は、長さの等しい２つのウォルシュ関数の積の一周期にわたる積分値（以下、「一周期平均」と呼ぶことがある）の、位相差に対する依存性を説明するための図である。図２９中の横軸は、２つのウォルシュ関数の位相差Δαを表し、縦軸は、２つのウォルシュ関数の積の一周期平均を表す。図２９中、グラフＧ１は、Ｗ_16,13（α_a，τ）およびＷ_16,13（α_b，τ）同士の積の一周期平均を示し、グラフＧ２は、Ｗ_16,14（α_a，τ）およびＷ_16,14（α_b，τ）同士の一周期平均を示す。すなわち、Δα＝｜α_aーα_b｜である。図２９中、グラフＧ３は、Ｗ_16,13（α_a，τ）およびＷ_16,14（α_b，τ）同士の積の一周期平均を示す。

図２９のグラフＧ１およびＧ２から、同じウォルシュ関数同士の積の一周期平均は、被積分関数が何番目のウォルシュ関数同士の積であるかによらず、位相差Δαに応じて変化し、Δα＝０、すなわち、同位相のときに極大または極小となることがわかる。他方、グラフＧ３から、互いに異なる２つのウォルシュ関数同士の積の一周期平均は、位相差Δαによらず０となることがわかる。

図２６に示す物標検出システム３００においては、ウォルシュ関数が有するこのような性質を利用する。すなわち、撮像システム２００Ａおよび２００Ｂにおける、照明装置から放射する光の強度の変調および撮像装置の撮像セルの感度の変調に、長さが等しく、かつ、互いに異なる、定数関数ではないウォルシュ関数を適用する。例えば、撮像システム２００Ａの照明装置２５０Ａの光源に供給する駆動信号として、第１のウォルシュ関数に第１の定数を加えた、正の値をとる第１の関数によって表される波形を有する信号を用いる。また、撮像システム２００Ｂの照明装置２５０Ｂの光源に供給する駆動信号として、第２のウォルシュ関数に第２の定数を加えた、正の値をとる第２の関数によって表される波形を有する信号を用いる。第１のウォルシュ関数および第２のウォルシュ関数は、同じ長さのウォルシュ関数の群から選択された、定数関数ではない互いに異なるウォルシュ関数である。

このとき、撮像システム２００Ａの照明装置２５０Ａから出射される光の強度Ｉ₁（τ）および撮像システム２００Ｂの照明装置２５０Ｂから出射される光の強度Ｉ₂（τ）は、それぞれ、下記の式（１８）および式（１９）のように表される。式（１８）および式（１９）中、Ａ₁およびＡ₂は、正の定数であり、Ｃ₁およびＣ₂は、１よりも大きな定数である。

撮像システム２００Ａの照明装置２５０Ａから出射された光および撮像システム２００Ｂの照明装置２５０Ｂから出射された光を受けた物標ＴＧの輝度は、時間的な変化を示す。ここで、撮像システム２００Ａの撮像装置１００Ａに着目すると、物標ＴＧの輝度が時間的に変化していることから、物標ＴＧによって反射され、撮像装置１００Ａの撮像セル１０に到達する光の強度、換言すれば、撮像セル１０に対する照度Ｌ（τ）も時間的な変化を示す。この照度Ｌ（τ）の時間的な変化は、照明装置２５０Ａから出射された光の強度の時間的変化に対応した成分であるＬ₁（τ）と、照明装置２５０Ｂから出射された光の強度の時間的変化に対応した成分であるＬ₂（τ）とを含んでいる。したがって、照度Ｌ（τ）を下記の式（２０）のように書ける。

式（２０）中、Ｂ₁は、物標ＴＧおよび撮像システム２００Ａの間の相対的な位置関係、ならびに、物標ＴＧの反射率により決まる定数である。Ｂ₂は、物標ＴＧ、撮像システム２００Ｂの照明装置２５０Ｂおよび撮像システム２００Ａの撮像装置１００Ａの間の相対的な位置関係、および、物標ＴＧの反射率により決まる定数である。位相β₁は、撮像システム２００Ａと物標ＴＧとの間の距離に応じて決まる。撮像システム２００Ａと物標ＴＧとの間の距離をＤ、光の速度をｃとすれば、β₁＝α₁＋（２Ｄ／ｃ）である。距離Ｄが仮に０であるとすれば、β₁＝α₁であり、照明装置２５０Ａから出射される光の変調における位相と、撮像セル１０が検出する照度の変化のうち、照明装置２５０Ａから出射される光に対応する成分の位相とは、一致する。なお、位相β₁は、距離Ｄの増大に従って周期的な変化を示す。以下では、説明が過度に複雑となることを避けるために、２Ｄ＜ｃＴとする。このように仮定しても一般性は失われない。

撮像装置１００Ａの撮像セル１０における感度の時間的変化をＳ₁（τ）とすれば、露光期間に撮像セル１０の電荷蓄積領域に蓄積される信号電荷の総量Ｑ_tは、下記の式（２１）のように書ける。露光期間の長さは、ウォルシュ関数の周期Ｔの自然数倍と等しくなるように設定する。式（２１）中のＦは、比例定数である。

ここでは、第１のウォルシュ関数に第１の定数を加えた、正の値をとる第１の関数によって表される波形を有する感度制御信号を供給することにより、撮像装置１００Ａの撮像セル１０の感度を変調する。すなわち、Ｓ₁（τ）として、下記の式（２２）で表される第１の関数を適用する。

式（２２）中、Ｄ₁は、正の定数であり、Ｅ₁は、１よりも大きな定数である。γ₁は、位相を表す。式（２２）および上述の式（１８）からわかるように、撮像装置１００Ａの撮像セル１０の感度の変調においては、照明装置２５０Ａから出射される光の変調に適用したウォルシュ関数と同じウォルシュ関数を適用する。撮像システム２００Ａが撮像装置１００Ａおよび照明装置２５０Ａの組を含むことから、撮像システム２００Ａ内において、撮像セル１０の感度変調と、照明装置２５０Ａからの出射光の変調とに同一のウォルシュ関数を適用することは、容易である。必要に応じて、同期化回路により、撮像セル１０の感度変調における位相と、照明装置２５０Ａからの出射光の変調における位相とを一致させてもよい。

上述の式（２１）および（２２）から、下記の式（２３）を得る。

式（２３）において、被積分関数中の第２項は、共通のウォルシュ関数系から選択された互いに異なるウォルシュ関数の積であるので、図２９を参照して説明したように、位相差｜β₂−γ₁｜の値によらず、区間［０，Ｔ］における積分の結果（すなわち、一周期平均）は、０である。被積分関数中の第３項、第４項および第５項は、ウォルシュ関数（定数関数ではない）を１つしか含まないので、一周期平均は、０である。なお、露光期間とウォルシュ関数の周期とが一致していない場合には、これらのいずれも、露光期間の増大に従って単調に増加する。ウォルシュ関数を含まない、被積分関数中の第６項は、露光期間の増大に対して単調に増加する。

一方、被積分関数中の第１項は、同じウォルシュ関数同士の積である。そのため、図２９を参照して説明したように、積分の結果である一周期平均は、照度の時間的変化のうち、照明装置２５０Ａから出射される光の強度変調に起因する成分における位相β₁と、撮像セル１０の感度変調における位相γ₁との間の差に応じて変化し、かつ、露光期間に比例して大きくなる。第１項の一周期平均は、例えば、ある長さの露光期間のもとでは、位相β₁と、位相γ₁とが一致したときに極大値または極小値をとる。

したがって、例えば、撮像セル１０の感度変調における位相γ₁を変えて複数回の撮影を行い、電荷蓄積領域に蓄積される信号電荷の総量Ｑ_tが極大または極小となるようなγ₁の値を調べれば、β₁＝α₁＋（２Ｄ／ｃ）の関係に基づき、撮像システム２００Ａと物標ＴＧとの間の距離を算出することが可能である。なお、図１３を参照して説明したように、複数の撮像セル１０をグルーピングし、そのグループごとに、感度変調における位相を変えて撮影すれば、電荷蓄積領域に蓄積される信号電荷の総量Ｑ_tが極大または極小となるような位相をより高速に算出し得る。

撮像システム２００Ｂにおいても、同様の原理により、撮像システム２００Ｂと物標ＴＧとの間の距離を算出することが可能である。このように、複数の物標検出システムの間において、長さが等しく、かつ、互いに異なるウォルシュ関数を用いることにより、各撮像システムの撮像装置は、他の撮像システムからの出射光の影響を受けることなく、対応する照明装置（撮像装置１００Ａであれば同一のシステム内の照明装置２５０Ａ）からの出射光により物標ＴＧに生じた輝度の変化に関する情報を選択的に取得することができる。すなわち、複数の撮像システムの間で変調に使用する関数を、ある直交関数系から選択した互いに異なる基底に定数を加えた、正の値をとる関数とすることにより、複数の撮像システムを同時に使用した場合であっても、これらの間における混信を防ぐことが可能である。

上述の物標検出システム３００において、物標ＴＧに照射される光の波長は、複数の照明装置の間で異なっていてもよいし、同じであってもよい。上述の物標検出システム３００によれば、可視域にある波長を有する光を使用することも可能であり、したがって、波長の選択の幅が広い。本開示の実施形態によれば、撮像装置（例えば撮像装置１００Ａおよび１００Ｂ）において撮像セル１０をアレイとすることも容易であり、したがって、混信を抑制しながら距離画像を取得することも可能である。

撮像システム２００Ａおよび２００Ｂにおいて変調に使用する関数が初めから固定されている必要はない。物標ＴＧから到来する光の強度の変調を検出して、照明装置および撮像装置における変調に適用する関数を動的に変更してもよい。例えば、物標ＴＧから到来する光の強度が、ある直交関数系のある基底で表される変化を示していることが検出された場合、照明装置および撮像装置における変調に適用する関数を、その直交関数系の他のある基底に動的に変更してもよい。

上述の物標検出システム３００を、さらに多くの数の撮像システムを含むシステムに拡張可能であることは容易に理解される。同時に使用され得る撮像システムの数の増加に従って、より長さの大きいウォルシュ関数の系を適用すればよい。異なる撮像システムの間で、互いに異なる、定数関数以外のウォルシュ関数を変調に利用すれば、３以上の照明装置から同時に同一の物標に強度変調された光を照射した場合であっても、それら撮像システム間の混信を回避し得る。

なお、互いに異なる撮像システムの間で互いに異なる直交関数を用いた変調を適用すれば、照明装置からの出射光の変調と一致する感度変調が適用された撮像装置によってのみ情報の取得が可能な通信を行い得る。例えば、上述したように、互いに異なる撮像システムの間で互いに異なる直交関数を用いた変調を適用した場合、可視域にある波長を有する光を使用することも可能であるので、可視光通信が可能である。照明装置の強度変調に使用した基底を、共通鍵として情報の送信者と受信者との間で共有しておいてもよい。受信者は、共通鍵としての基底を適用して撮像セルの感度が変調された撮像装置により、送信者側の照明装置からの出射光、または、何らかの物体によって反射された光を受ける。共通鍵を有する受信者は、その撮像装置により、送信者の意図する画像を取得することができる。これに対し、共通鍵を有しない第三者は、送信者側の照明装置から送信された情報を復元することができない。すなわち、暗号通信が可能である。暗号通信には、可視光を使用することも可能である。

（燐光の撮影）
感度の変調に有用な関数としてデルタ関数も例示できる。以下に説明するように、パルス波形を有する感度制御信号を用いることにより、例えば、生体組織内の酸素濃度のマッピングが可能である。以下では、生体組織に取り込まれた発光プローブからの燐光を撮像装置１００を用いて撮影する例を説明する。

ここでは、発光プローブとしてイリジウム錯体（ＢＴＰ）を用いる。下記の式（ｃ１）は、ＢＴＰの構造を示す。

生体組織に取り込まれたＢＴＰは、励起光の照射を受けて燐光を発する。燐光は、蛍光と比較して発光寿命が長い。蛍光がナノ秒のオーダで減衰することに対し、燐光は、マイクロ秒〜ミリ秒のオーダで減衰する。ただし、燐光の発光強度および発光寿命は、燐光を発する分子の周囲の酸素濃度に依存して変化する。

図３０は、燐光の強度の変化と、周囲の酸素濃度との間の関係の一例を示す。図３０中、横軸は、励起光の照射からの経過時間を示し、縦軸は、単位時間に検出された光子数を対数スケールで示している。グラフＦ１およびグラフＦ２は、それぞれ、ＢＴＰの周囲の酸素濃度が１００％のときおよび０％のときの燐光の強度変化の一例を示している。なお、図３０中のグラフＦ３は、通気時における燐光の強度変化を示す。図３０に示す例において、ＢＴＰの周囲の酸素濃度が１００％のとき、および、０％のときの燐光の発光寿命は、それぞれ、９５（ｎｓ）および５．３（μｓ）程度である。

図３１は、本開示の実施形態による撮像システムを燐光観察システムに適用した例を示す。図３１に示す燐光観察システム２００Ｆは、被写体に向けて励起光を放射する照明装置２５０Ｆと、撮像装置１００とを有する。この例では、燐光観察システム２００Ｆは、同期化回路２５６をさらに有している。照明装置２５０Ｆは、強度がパルス状に変化する光を被写体に放射する。

図３２は、ＢＴＰから発せられる燐光の撮影に本開示の撮像システムを適用したときの動作例を説明するための図である。図３２中、一番上のチャートは、照明装置２５０における光源の駆動パルスの典型例を示し、上から２番目および３番目のチャートは、照明装置２５０からの励起光の照射によって生体組織内のＢＴＰから発せられる蛍光および燐光の強度変化をそれぞれ模式的に示している。ここでは、励起光の照射時間は、マイクロ秒未満である。励起光の照射により、蛍光および燐光が生じる。上述したように、蛍光がナノ秒のオーダで減衰することに対し、燐光は、マイクロ秒〜ミリ秒のオーダで減衰する。

図３２中、一番下のチャートは、撮像装置１００の撮像セル１０に供給する感度調整信号の波形の典型例を示す。ここでは、感度制御線８２は、デルタ関数の波形に相当するパルス波形を有する感度制御信号を各撮像セル１０に供給する。ただし、厳密な意味では感度制御信号においてデルタ関数の波形を実現することは不可能なので、露光期間に対して十分に短い期間（例えば１００ｎ秒（ナノ秒）程度）においてハイレベルとなる波形を有する矩形パルスの感度制御信号によって、デルタ関数の波形を近似する。感度制御信号がデルタ関数の波形に相当するパルス波形を有するので、この例では、各撮像セル１０の感度の変化を示す波形もパルス形状を有する。

図３２において模式的に示すように、この例では、感度制御信号のパルス波形の立ち上がりは、光源の駆動パルスにおける立ち上がりに対してΔτの遅延を有する。すなわち、励起光の照射からある一定の時間Δτ遅らせて、撮像セル１０における感度をパルス状に変化させる。蛍光の発光と異なるタイミングにおいて感度を有するように感度制御信号の信号レベルを変化させることにより、燐光を選択的に捉え、蛍光の影響が抑制された画像を取得することができる。光源の駆動パルスにおける立ち上がりに対する感度制御信号のパルス波形の立ち上がりのタイミングは、同期化回路２５６によって任意に変更することが可能である。例えば同期化回路２５６から照明装置２５０Ｆおよび撮像装置１００に制御信号を供給することにより、撮像セル１０における度の変化と、照明装置２５０Ｆから放射される光（この例では励起光）の強度の変化とを同期させ得る。本明細書における「同期」は、信号の立ち上がりまたは立ち下がりを一致させることに限定されず、この例のように、複数の信号の間において立ち上がりまたは立ち下がりのタイミングを調整することも含まれる。

図３２に示すように、このような撮影のサイクルを複数回繰り返すことにより、信号電荷を累積して十分に高いレベルの画像信号を得ることができる。すなわち、各撮像セルのリセット後、パルス状の励起光を被写体に照射し、励起光の照射から所望の時間遅らせて、撮像セル１０の感度をパルス状に変化させ、信号電荷の蓄積を実行する。間隔をあけて、励起光の照射および信号電荷の蓄積のサイクルを所望の回数実行する。その後、電荷蓄積領域に最終的に蓄積された信号電荷量を読み出す。この例では、露光期間に複数回の信号電荷の蓄積の期間が含まれる。

サンドイッチ構造を有する光電変換素子では、光電変換層にバイアス電圧が印加されていない状態では、光電変換層と電極との間における電荷の移動は、ほとんど生じない。そのため、感度制御線８２から供給する信号レベルが低下した状態においては、電荷蓄積領域から光電変換部１２への信号電荷の移動はほとんど生じない。したがって、図３２に示すような間隔をあけたパルス状の感度制御電圧の複数回の印加によって、比較的容易に信号電荷の累積を実現可能である。なお、各サイクルの撮影においては、グローバルシャッタによる撮影を実行する。

図３０に示すように、燐光の発光寿命は、ＢＴＰの周囲の酸素濃度によって異なる。そのため、励起光の照射から撮像セル１０における感度の立ち上がりまでの時間Δτを変えた撮像を行うことにより、ＢＴＰの周囲の酸素濃度に応じた異なる画像を取得することができる。つまり、生体組織内における酸素濃度に関する情報を得ることができる。このように、本開示の実施形態によれば、非侵襲での酸素濃度の計測が可能である。酸素濃度に関するマッピングは、癌の位置の特定にも有用である。癌組織中の酸素濃度は、正常組織中における酸素濃度よりも低い。したがって、酸素濃度に関するマッピング画像を取得し、酸素濃度が特異的に低い部位を特定することにより、癌組織の位置を特定することが可能である。なお、デルタ関数状の波形を有する感度制御信号を用いて、照明装置からの光の出射から特定の時間遅らせたタイミングにおいて感度を増大させる上述の撮像は、蛍光寿命測定法（Fluorescence Lifetime Imaging Microscopy：ＦＬＩＭ）にも適用が可能である。蛍光におけるスペクトルは、周囲のｐＨによって異なり得る。したがって、例えば、生体組織内のｐＨのマッピングが可能である。照明装置からの光の出射から特定の時間遅らせたタイミングにおいて感度を増大させる上述の撮像は、ＴＯＦ法を利用した測距にも適用が可能である。このように、本開示の実施形態によれば、酸素濃度に関するマッピング、ｐＨのマッピングなどを実現し得る。特に、サンドイッチ構造を有する光電変換素子を光電変換部１２に適用することにより、比較的簡易な構成でありながら、酸素濃度、ｐＨなどに関するマッピングが可能になる。

以上に説明したように、本開示の実施形態によれば、被写体の輝度の時間的変化から、特定の成分に関する情報を抽出することが可能である。照明装置を用いて被写体の輝度に積極的に時間的な変化を生じさせることにより、被写体までの距離など、被写体に関する有用な情報を取得し得る。特に、撮像セル１０の感度における変調を照明装置からの出射光の変調に同期させることによって幅広い応用が可能である。

このように、本開示の実施形態によれば、露光期間中に時間的に変化する被写体の輝度に関する情報を得ることができる。なお、上述の各態様では、信号検出トランジスタ２２、アドレストランジスタ２４およびリセットトランジスタ２６の各々がＮチャンネルＭＯＳである例を説明した。しかしながら、本開示の実施形態におけるトランジスタは、ＮチャンネルＭＯＳに限定されず、ＰチャンネルＭＯＳであってもよい。また、これらがＮチャンネルＭＯＳまたはＰチャンネルＭＯＳのいずれかに統一されている必要もない。これらのトランジスタとして、ＦＥＴのほか、バイポーラトランジスタも用い得る。

本開示の撮像装置は、理化学用、医療用などの分析装置、撮影装置などに広く応用が可能である。また、例えば、セキュリティカメラ、車両に搭載されて使用されるカメラなどに用いることもできる。車両搭載用カメラは、例えば、車両が安全に走行するための、制御装置に対する入力として利用され得る。あるいは、車両が安全に走行するための、オペレータの支援に利用され得る。

１０、１０Ａ、１０Ｂ 撮像セル
５０、６０、７０ 撮像セル
１２、１２Ａ、１２Ｂ、１２Ｐ 光電変換部
１２ａ、１２ａＡ、１２ａＢ 画素電極
１２ｂ、１２ｂＡ、１２ｂＢ 光電変換層
１２ｃ、１２ｃＡ、１２ｃＢ 透明電極
１４、１４Ｄ、１４Ｇ 信号検出回路
２２ 信号検出トランジスタ
５２ 増幅器
６２ 切り替え回路
７２ アバランシェフォトダイオード
８２、８２Ａ、８２Ｂ 感度制御線
９２、９２Ａ〜９２Ｃ 電圧供給回路
９２Ｄ 直流信号源
９３ 移相器
９９ 制御回路
１００、１００Ａ、１００Ｂ 撮像装置
２００Ａ、２００Ｂ 撮像システム（物標検出システム）
２００Ｅ 腫瘍観察システム
２００Ｆ 燐光観察システム
２００Ｐ 分光イメージングシステム
２５０、２５０Ａ、２５０Ｂ 照明装置
２５０Ｅ、２５０Ｆ、２５０Ｐ 照明装置
２５６ 同期化回路
３００ 物標検出システム

Claims (12)

1. 強度が時間的に変化する光を被写体に放射する少なくとも１つの照明装置と、
   前記被写体からの光を検出する少なくとも１つの撮像装置と、
   を備え、
   前記少なくとも１つの撮像装置は、
   それぞれが感度を変更可能な少なくとも１つの撮像セルと、
   前記少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
   を有し、
   前記少なくとも１つの撮像セルは、
   前記被写体からの光を受けて信号電荷を生成する光電変換部と、
   前記信号電荷を検出する信号検出回路と、
   を有し、
   前記少なくとも１つの感度制御線は、前記少なくとも１つの撮像セルのリセットから、露光によって前記少なくとも１つの撮像セルに蓄積される前記信号電荷の読み出しまでの露光期間において、第１感度制御信号を前記少なくとも１つの撮像セルに供給し、
   前記露光期間よりも後の第２の露光期間において、定数関数によって表される波形を有する第２感度制御信号を前記少なくとも１つの撮像セルに供給する、撮像システム。
2. 前記少なくとも１つの照明装置は、前記光の強度を周期的に変化させる、請求項１に記載の撮像システム。
3. 前記少なくとも１つの撮像装置は、前記第１感度制御信号を前記光の強度の時間的変化に同期させる同期化回路を有する、請求項１または２に記載の撮像システム。
4. 前記第１感度制御信号の波形は、三角関数で表される波形である、請求項１から３のいずれかに記載の撮像システム。
5. 前記第１感度制御信号の波形は、定数関数ではないウォルシュ関数で表される波形である、請求項１から４のいずれかに記載の撮像システム。
6. 強度が時間的に変化する光を被写体に放射する少なくとも１つの照明装置と、
   前記被写体からの光を検出する少なくとも１つの撮像装置と、
   を備え、
   前記少なくとも１つの撮像装置は、
   それぞれが感度を変更可能な少なくとも１つの撮像セルと、
   前記少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
   を有し、
   前記少なくとも１つの撮像セルは、
   前記被写体からの光を受けて信号電荷を生成する光電変換部と、
   前記信号電荷を検出する信号検出回路と、
   を有し、
   前記少なくとも１つの感度制御線は、前記少なくとも１つの撮像セルのリセットから、露光によって前記少なくとも１つの撮像セルに蓄積される前記信号電荷の読み出しまでの露光期間において、感度制御信号を前記少なくとも１つの撮像セルに供給し、
   前記少なくとも１つの照明装置および前記少なくとも１つの撮像装置は、
   第１照明装置および第１撮像装置の組と、第２照明装置および第２撮像装置の組と、
   を含み、
   前記第１撮像装置における前記感度制御信号の波形は、第１関数によって表される波形を有し、
   前記第２撮像装置における前記感度制御信号の波形は、前記第１関数とは異なる第２関数によって表される波形を有する、撮像システム。
7. 前記感度制御信号の波形は、三角関数で表される波形である、請求項６に記載の撮像システム。
8. 前記感度制御信号の波形は、定数関数ではないウォルシュ関数で表される波形である、請求項６に記載の撮像システム。
9. 前記少なくとも１つの感度制御線は、
   前記露光期間において、第１感度制御信号を前記少なくとも１つの撮像セルに供給し、
   前記露光期間よりも後の第２の露光期間において、前記第１感度制御信号の波形を時間的にシフトさせた波形を有する第２感度制御信号を前記少なくとも１つの撮像セルに供給する、請求項６から８のいずれかに記載の撮像システム。
10. 強度が時間的に変化する光を被写体に放射する少なくとも１つの照明装置と、
    前記被写体からの光を検出する少なくとも１つの撮像装置と、
    を備え、
    前記少なくとも１つの撮像装置は、
    それぞれが感度を変更可能な少なくとも１つの撮像セルと、
    前記少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
    を有し、
    前記少なくとも１つの撮像セルは、
    前記被写体からの光を受けて信号電荷を生成する光電変換部と、
    前記信号電荷を検出する信号検出回路と、
    を有し、
    前記少なくとも１つの感度制御線は、前記少なくとも１つの撮像セルのリセットから、露光によって前記少なくとも１つの撮像セルに蓄積される前記信号電荷の読み出しまでの露光期間において、感度制御信号を前記少なくとも１つの撮像セルに供給し、
    前記少なくとも１つの撮像セルは、第１撮像セルおよび第２撮像セルを含み、
    前記少なくとも１つの感度制御線は、前記第１撮像セルに電気的に接続された第１感度制御線および前記第２撮像セルに電気的に接続された第２感度制御線を含み、
    前記第１感度制御線は、前記露光期間において、第１感度制御信号を前記第１撮像セルに供給し、
    前記第２感度制御線は、前記露光期間において、前記第１感度制御信号の波形を時間的にシフトさせた波形を有する第２感度制御信号を前記第２撮像セルに供給する、撮像システム。
11. 強度が時間的に変化する光を被写体に放射する少なくとも１つの照明装置と、
    前記被写体からの光を検出する少なくとも１つの撮像装置と、
    を備え、
    前記少なくとも１つの撮像装置は、
    それぞれが感度を変更可能な少なくとも１つの撮像セルと、
    前記少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
    を有し、
    前記少なくとも１つの撮像セルは、
    前記被写体からの光を受けて信号電荷を生成する光電変換部と、
    前記信号電荷を検出する信号検出回路と、
    を有し、
    前記少なくとも１つの感度制御線は、前記少なくとも１つの撮像セルのリセットから、露光によって前記少なくとも１つの撮像セルに蓄積される前記信号電荷の読み出しまでの露光期間において、感度制御信号を前記少なくとも１つの撮像セルに供給し、
    前記少なくとも１つの撮像セルは、第１撮像セルおよび第２撮像セルを含み、
    前記少なくとも１つの感度制御線は、前記第１撮像セルに電気的に接続された第１感度制御線および前記第２撮像セルに電気的に接続された第２感度制御線を含み、
    前記第１感度制御線は、前記露光期間において、第１感度制御信号を前記第１撮像セルに供給し、
    前記第２感度制御線は、前記露光期間において、定数関数によって表される波形を有する第２感度制御信号を前記第２撮像セルに供給する、撮像システム。
12. 強度が時間的に変化する光を被写体に放射する少なくとも１つの照明装置と、
    前記被写体からの光を検出する少なくとも１つの撮像装置と、
    を備え、
    前記少なくとも１つの撮像装置は、
    それぞれが感度を変更可能な少なくとも１つの撮像セルと、
    前記少なくとも１つの撮像セルに電気的に接続された少なくとも１つの感度制御線と、
    を有し、
    前記少なくとも１つの撮像セルは、
    前記被写体からの光を受けて信号電荷を生成する光電変換部と、
    前記信号電荷を検出する信号検出回路と、
    を有し、
    前記少なくとも１つの感度制御線は、前記少なくとも１つの撮像セルのリセットから、露光によって前記少なくとも１つの撮像セルに蓄積される前記信号電荷の読み出しまでの露光期間において、感度制御信号を前記少なくとも１つの撮像セルに供給し、
    前記感度制御信号は、直交系をなす関数系の基底のうちの１つに定数を加えた、正の値をとる関数によって表される波形を有し、
    前記直交系は、完全直交系である、撮像システム。

Images