JP7065421B2 - 撮像装置および対象物の内部の情報を取得する方法 - Google Patents

Description

本開示は、対象物の内部の情報を取得する撮像装置に関する。

生体計測および材料分析の分野では、対象物に光を照射し、対象物の内部を透過した光の情報から、対象物の内部情報を非接触で取得する方法が用いられている。例えば、特許文献１は、人の頭部を光で照射し、ＣＭＯＳまたはＣＣＤのようなイメージセンサを用いて、生体内で拡散した光を検出する方法を開示している。また、特許文献３は、ストリークカメラを用いて、深さ方向において異なる位置にある情報を検出する方法である時間分解検出法を開示している。

特開２０１５－１３４１５７号公報 特許第５６５８９９３号明細書 特開平４－１８９３４９号公報

本開示は、対象物の浅部と深部の情報を、対象物に接触せずに取得し得る技術を提供する。

本開示の一態様に係る撮像装置は、
対象物に照射される、１つまたはそれ以上のパルス光を出射する光源と、
前記対象物から戻った１つまたはそれ以上の反射パルス光を検出する光検出器と、を備える。

前記光検出器は、
前記１つまたはそれ以上の反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上がり期間の少なくとも一部を含む第１期間において、前記１つまたはそれ以上の反射パルス光を検出し、
前記強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始よりも後であって、前記立ち下がり期間の一部を含む第２期間において、前記１つまたはそれ以上の反射パルス光を検出する。

上記の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、対象物の浅部と深部の内部情報を、対象物に接触せずに取得できる。

図１は、撮像装置の概略的な構成を示す模式図である。 図２は、検討例におけるイメージセンサにおける１つの画素の構成を簡易的に示す図である。 図３は、光源から光が出射するタイミングと、対象物からの光がイメージセンサに入射するタイミングと、電子シャッタのタイミングとの関係を示す図である。 図４は、本開示の実施形態１における撮像装置の構成を模式的に示す図である。 図５は、バンドパスフィルタの分光透過率の例を示すグラフである。 図６は、イメージセンサの１つの画素の概略的な構成を示す図である。 図７Ａは、実施形態１において第一のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図７Ｂは、実施形態１において第二のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図７Ｃは、実施形態１において第一のフレーム期間の画像信号を取得する期間における撮像装置の動作の変形例を示すタイミング図である。 図７Ｄは、実施形態１において第一のフレーム期間の画像信号を取得する期間における撮像装置の動作の変形例を示すタイミング図である。 図８は、実施形態２の撮像装置におけるイメージセンサおよび光学系を模式的に示す図である。 図９は、実施形態２におけるダブルバンドパスフィルタの分光透過率の例を示す図である。 図１０Ａは、実施形態２において第一のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図１０Ｂは、実施形態２において第二のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図１０Ｃは、実施形態２において第三のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図１０Ｄは、実施形態２において第四のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図１１は、実施形態３におけるイメージセンサにおける１つの画素の構成を簡易的に示す図である。 図１２Ａは、実施形態３において第一のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図１２Ｂは、実施形態３において第二のフレーム期間の画像信号を取得する期間における撮像装置の動作の例を示すタイミング図である。 図１３は、実施形態４における撮像装置の動作の例を示すタイミング図である。 図１４は、実施形態４における撮像装置の動作の変形例を示すタイミング図である。

（本開示の基礎となった知見）
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

本発明者らの検討によれば、前述した先行技術には、以下の課題があることがわかった。

特許文献１に記載されている方法では、検出した光に含まれる成分の殆どは、生体の表面で反射された光の成分であり、生体内部（例えば脳）を経由した光の成分は微量である。そのため、より効率よく生体内部の情報を検出し、表面の成分と脳の成分を分離する必要がある。一方、特許文献２に開示された方法では、対象物の空間情報について、１次元の情報しか取得できない。また、パルス幅が数１００フェムト秒から数ピコ秒の超短パルスの光源およびストリークカメラが使用されるため、非常に高価である。

本発明者らは、前述の先行技術とは異なる原理に基づく撮像装置を検討した。図１は、そのような撮像装置の概略的な構成を示す模式図である。本発明者らは、図１に示すような撮像装置１０１を用いて、対象物１０２である人体頭部の内部の脳血流を非接触で計測することを試みた。この撮像装置１０１は、近赤外領域のパルス光を発する第１の光源１０３と、第１の光源１０３から出射され、対象物１０２から戻ってきたパルス光を検出する光検出器であるイメージセンサ１１３と、第１の光源１０３およびイメージセンサ１１３を制御する制御回路１１４とを備えている。

第１の光源１０３は、例えばレーザーパルス光源であり、近赤外領域の波長の短パルス光を、制御回路１１４によって決定された高速のパターンで繰り返し出射する。第１の光源１０３から出射される光の波長は、検出対象が生体である場合、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれ、生体内での吸収率が低く、生体内の情報を取得する用途に適している。なお、本明細書では、可視光のみならず赤外線についても「光」の用語を使用し、赤外線を「赤外光」と称することがある。

イメージセンサ１１３は、例えばピコ秒からナノ秒の時間スケールで信号の蓄積および排出の制御が可能な高い時間分解能を有している。制御回路１１４は、第１の光源１０３の発光タイミングと、イメージセンサ１１３の各画素の露光タイミングとを制御する。

光を対象物１０２（例えば人の額）に照射すると、対象物１０２の最表面で反射された強い光である表面反射成分Ｉ１がイメージセンサ１１３にまず到達する。続いて、対象物１０２の内部で散乱されて戻ってきた弱い光である内部散乱成分Ｉ２が、表面反射成分Ｉ１に遅れてイメージセンサ１１３に到達する。皮膚血流の情報は主に内部散乱成分Ｉ２の早い時間に反映され、脳血流の情報は主に内部散乱成分Ｉ２の遅い時間に反映されるが、どちらも同じ時間に特定の割合で混合されているため、皮膚血流成分と脳血流成分とを分離する必要がある。そこで、本発明者らは、時間分解法を利用して対象物１０２の内部で散乱された光である内部散乱成分Ｉ２を検出し、画像演算を利用して生体の皮膚血流成分と脳血流成分を分離することを試みた。

以下、図２及び図３を参照しながら、対象物１０２からの表面反射成分Ｉ１と内部散乱成分Ｉ２とを分離して検出する方法の例である検討例を説明する。

図２は、イメージセンサ１１３における１つの画素４０１の構成を簡易的に示す図である。イメージセンサ１１３は、撮像面に２次元的に配列された複数の画素と、各画素の信号電荷の蓄積および排出のタイミングを制御する制御回路４１４とを有している。制御回路４１４は、制御回路１１４からの指令に基づいて動作する。

イメージセンサ１１３の各画素４０１は、光電変換部であるフォトダイオード４０３と、信号電荷を蓄積する電荷蓄積部である浮遊拡散層（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）４０４と、信号電荷を排出するドレイン４０２とを含む。

１回のパルス光の発光に起因して各画素４０１に入射した光（フォトン）は、フォトダイオード４０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路４１４から入力される制御信号に従って、ドレイン４０２に排出されるか、信号電荷を蓄積する浮遊拡散層４０４に振り分けられる。制御回路４１４によるこの制御によって電子シャッタが実現される。

図３は、第１の光源１０３からパルス光が出射するタイミングと、対象物１０２からの光がイメージセンサ１１３に入射するタイミングと、電子シャッタのタイミングとの関係を示す図である。図３において、信号Ａは、第１の光源１０３から出射されるパルス光の波形を示している。信号Ｂは、対象物１０２の表面で反射されて戻ってくる光である表面反射成分Ｉ１の波形を示している。信号Ｃは、生体の内部で散乱されて戻ってくる光である内部散乱成分Ｉ２の波形を示している。信号Ｄは、表面反射成分Ｉ１と内部散乱成分Ｉ２とを合わせた波形を示している。信号Ｄは、イメージセンサ１１３で検出される反射パルス光の波形に相当する。信号Ｅは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。横軸は時間を表し、縦軸は、信号ＡからＤにおいては光の強度を、信号Ｅにおいては電子シャッタのＯＰＥＮまたはＣＬＯＳＥの状態を表している。ここで、「ＣＬＯＳＥ」とは、ドレイン４０２に信号電荷が排出される状態を意味する。「ＯＰＥＮ」とは、ドレイン４０２に信号電荷が排出されない状態を意味する。制御回路４１４は、例えば電圧の調整によって浮遊拡散層４０４およびドレイン４０２における信号電荷のポテンシャルエネルギー（以下、単に「ポテンシャル」と称する。）を変化させることにより、浮遊拡散層４０４への信号電荷の蓄積およびドレイン４０２への信号電荷の排出を制御できる。

第１の光源１０３が対象物１０２にパルス光を照射すると、前述のように、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。内部散乱成分Ｉ２は、対象物１０２の内部を通過した光であるため、表面反射成分Ｉ１に比べて光路長が長い。また、皮膚及び頭蓋骨等の生体の浅部のみを経由した光よりも、脳等の生体の深部まで到達した光のほうが、平均的な光路長は長くなる。したがって、内部散乱成分Ｉ２のうち、脳まで到達した光は皮膚のみを経由した光よりも遅れてイメージセンサ１１３に到達する。イメージセンサ１１３で検出された反射パルス光の波形に相当する信号Ｄの波形は、信号Ｄの強度が増加を開始（図３における時刻ａ）してから終了（図３における時刻ｃ）するまでの期間である立ち上がり期間と、信号Ｄの強度が減少を開始（図３における時刻ｄ）してから終了（図３における時刻ｆ）するまでの期間である立ち下がり期間とを有する。制御回路４１４は、パルス光を照射する前にイメージセンサ１１３の電子シャッタをＯＰＥＮにし、信号Ｄの波形の立ち上がり期間の途中（図３における時刻ｂ）で電子シャッタをＣＬＯＳＥにする。これにより、信号Ｄの波形の立ち上がり期間の少なくとも一部を含む第１期間（図３における時刻ａから時刻ｂ）に、主に皮膚、頭蓋骨等の生体の浅部を通過した光路長が短い成分に起因する信号電荷が、浮遊拡散層４０４に蓄積される。その後、イメージセンサ１１３の電子シャッタはＣＬＯＳＥの状態を維持し、イメージセンサ１１３への表面反射成分Ｉ１の入射が終了すると（図３における時刻ｅ）、制御回路４１４は、電子シャッタをＯＰＥＮにする。時刻ｅは、信号Ｄの立ち下がり期間の開始より後の時刻に相当する。これにより、信号Ｄの波形の立ち下がり期間の開始よりも後であって、立ち下がり期間の一部を含む第２期間（図３における時刻ｅから時刻ｆ）に、主に脳等の生体の深部を通過した光路長が長い成分に起因する信号電荷が、浮遊拡散層４０４に蓄積される。その後、制御回路４１４は、電子シャッタを再びＣＬＯＳＥにする。制御回路１１４は、電子シャッタがＣＬＯＳＥになってから所定時間が経過した後、再びパルス発光を開始する。以後、上記動作が複数回（例えば数百回から数万回程度）繰り返される。その間に浮遊拡散層４０４に蓄積された信号電荷に基づいて１つのフレームの画像が生成される。

本デバイスでは、電子シャッタがＣＬＯＳＥ（即ち、ドレイン排出がアクティブ）であるとき、信号電荷がドレイン４０２に排出される。一方、電子シャッタがＯＰＥＮ（即ち、ドレイン排出が非アクティブ）であるとき、信号電荷が浮遊拡散層４０４に蓄積される。このような動作が実現されるように、各画素のフォトダイオード４０３、浮遊拡散層４０４、およびドレイン４０２における信号電荷のポテンシャルが設計されている。

このような電子シャッタの制御により、生体から戻ったパルス光のうち、立ち上がり期間における成分である立ち上がり成分と、立ち下がり期間における成分である立ち下がり成分とを検出することで、皮膚血流の情報と脳血流の情報を取得することができる。このとき、イメージセンサのダイナミックレンジを考慮し、検出した立ち上がり成分と立ち下がり成分の信号量は飽和しないことが好ましい。しかし、生体に入射して脳まで到達してから戻った光は皮膚を経由するため、特に立ち下がり成分には脳血流の情報だけでなく、皮膚血流の情報も多く含まれる。そのため、立ち上り成分と立ち下がり成分の取得のみでは、皮膚血流と脳血流を分離することは困難である。本発明者らは後述するように、イメージセンサで検出した立ち上がり成分と立ち下がり成分をそれぞれ画像化し、画像を演算することで皮膚血流情報と脳血流情報を分離することを試みた。

このような電子シャッタ駆動とよく似た撮像装置として、対象物との距離を測定するためのＴｉｍｅ Ｏｆ Ｆｌｉｇｈｔ法（ＴＯＦ法）が挙げられる。ＴＯＦ法では、対象物にパルス光を照射し、反射したパルス光の第１部分および第２部分を検出する。ＴＯＦ法では、検出される光量を大きくするために、第１部分および第２部分がいずれも、反射したパルス光の波形のうち、強度が最大となる部分を含むように、反射したパルス光を検出する。

それに対して、本開示の一態様に係る撮像装置では、第２期間は、反射パルス光の波形の立ち下がり期間の開始よりも後の期間であるため、反射パルス光の強度が最大となる部分を含まない。

本開示は、例えば、以下の項目に記載の態様を含む。

［項目１］
本開示の項目１に係る撮像装置は、
対象物に照射される、１つまたはそれ以上のパルス光を出射する光源と、
前記対象物から戻った１つまたはそれ以上の反射パルス光を検出する光検出器と、を備える。

前記光検出器は、
前記１つまたはそれ以上の反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上がり期間の少なくとも一部を含む第１期間において、前記１つまたはそれ以上の反射パルス光を検出し、
前記強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始よりも後であって、前記立ち下がり期間の一部を含む第２期間において、前記１つまたはそれ以上の反射パルス光を検出する。

［項目２］
項目１に記載の撮像装置において、
前記光検出器は、複数の画素を含むイメージセンサであり、
前記複数の画素の各々は、
前記対象物から戻った光を信号電荷に変換する光電変換部と、
前記信号電荷を蓄積する電荷蓄積部と、を含み、
前記イメージセンサは、
前記第１期間において、前記電荷蓄積部で前記信号電荷を蓄積し、
前記第２期間において、前記電荷蓄積部で前記信号電荷を蓄積してもよい。

［項目３］
項目２に記載の撮像装置において、
前記イメージセンサは、
前記立ち上がり期間と前記立ち下がり期間との間の第３期間において、前記電荷蓄積部で前記信号電荷を蓄積しなくてもよい。

［項目４］
項目２または３に記載の撮像装置において、
前記イメージセンサは、複数のフレーム期間のそれぞれにおいて、前記電荷蓄積部に蓄積された前記信号電荷を基に、１つのフレームの前記対象物の画像を取得し、
前記第１期間および前記第２期間は、それぞれ、前記複数のフレーム期間の内の異なるフレーム期間に含まれていてもよい。

［項目５］
項目２から４のいずれかに記載の撮像装置において、
前記複数の画素の各々は、第１の電荷蓄積部および第２の電荷蓄積部を含み、前記第１の電荷蓄積部および前記第２の電荷蓄積部の各々は、前記電荷蓄積部であり、
前記イメージセンサは、
前記第１期間において、前記第１の電荷蓄積部で前記信号電荷を蓄積し、
前記第２期間において、前記第２の電荷蓄積部で前記信号電荷を蓄積してもよい。

［項目６］
項目５に記載の撮像装置において、
前記イメージセンサは、複数のフレーム期間のそれぞれにおいて、前記電荷蓄積部に蓄積された前記信号電荷を基に、１つのフレームの前記対象物の画像を取得し、
前記第１期間および前記第２期間は、前記複数のフレーム期間の内の同一のフレーム期間に含まれていてもよい。

［項目７］
項目２に記載の撮像装置において、
前記１つまたはそれ以上の反射パルス光は、第１の反射パルス光と第２の反射パルス光とを含み、
前記イメージセンサは、
前記第１の反射パルス光の前記第１期間において、前記電荷蓄積部で前記信号電荷を蓄積し、
前記第２の反射パルス光の前記第２期間において、前記電荷蓄積部で前記信号電荷を蓄積してもよい。

［項目８］
項目２から６のいずれかに記載の撮像装置において、
前記１つまたはそれ以上の反射パルス光は、複数の反射パルス光を含み、
前記イメージセンサは、
複数の第１期間において、前記電荷蓄積部で前記信号電荷を蓄積し、
複数の第２期間において、前記電荷蓄積部で前記信号電荷を蓄積し、
前記複数の第１期間の数は、前記複数の第２期間の数よりも少なくてもよい。

本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。 ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

（実施形態１）
本実施形態の撮像装置は、対象物として、生体等の光散乱体を対象としている。より具体的には、本実施形態の撮像装置は、観測すべき被検者の表皮と脳内の血流変化量の分布と、その時間変化とを検出する。これにより、当該分布を示す、静止画像または動画像の２次元画像を生成することができる。当該画像の情報を利用することにより、例えば、被検者の脳活動（例えば、集中度または感情等）を推定することができる。本実施形態の撮像装置は、上記のような生体情報を非接触で検出することができるため、検出に伴う煩わしさを解消することができるため、従来技術と比較して脳血流情報の検出精度を大きく向上させることができる。以下、このような高精度の検出を可能とする本実施形態の撮像装置の構成および動作を説明する。

［１．構成］
図４は、本実施形態における撮像装置１０１の構成を模式的に示す図である。図４には、撮像装置１０１だけでなく、検出対象である対象物１０２（人体頭部）も示されている。本実施形態の撮像装置１０１は、概略的には、図１に示す検討例における撮像装置１０１と同じ構成を有する。

撮像装置１０１は、第１の光源１０３と、光検出器であるイメージセンサ１１３と、バンドパスフィルタ１１２と、光学系１１１と、制御回路１１４と、信号処理回路１１５とを備える。第１の光源１０３は、対象物１０２が位置する方向に向けてパルス光を出射する。本実施形態では、第１の光源１０３は、中心波長が７５０ｎｍの狭帯域のパルス光を出射するレーザ光源である。イメージセンサ１１３は、光学系１１１の結像面に配置され、対象物１０２からの反射光を検出する。光学系１１１は、対象物１０２とイメージセンサ１１３との間に配置され、１つまたは複数のレンズを含み得る。光学系１１１は、対象物１０２からの光を集光してイメージセンサ１１３の撮像面に結像する。バンドパスフィルタ１１２は、光学系１１１とイメージセンサ１１３との間に配置され、第１の光源１０３からの光の波長に相当する波長の光のみを主に透過させる。

制御回路１１４は、第１の光源１０３およびイメージセンサ１１３に接続され、これらの動作を制御する。より具体的には、制御回路１１４は、第１の光源１０３の発光タイミングと、イメージセンサ１１３の各画素の信号蓄積および信号排出のタイミングとを同期して制御する。これにより、生体内部の頭皮および脳血流の情報を高い精度で検出することができる。信号処理回路１１５は、イメージセンサ１１３に接続され、イメージセンサ１１３から出力された電気信号に基づいて、画像データ（例えば２次元の動画像のデータ）を生成して出力する。生成された画像データは、例えば不図示のディスプレイに送られ、脳血流の状態を示す画像がディスプレイに表示され得る。なお、信号処理回路１１５は、撮像装置１０１の外部の装置に設けられていてもよい。例えば、撮像装置１０１に有線または無線で接続される外部のコンピュータが信号処理回路１１５を備えていてもよい。そのような態様では、撮像装置１０１が計算負荷の高い演算を行う必要がないため、撮像装置１０１を安価に構成し得る。なお、撮像装置１０１は、図４に示されていない他の要素を含み得る。例えば、撮像装置１０１は、第１の光源１０３からの光の進行方向を変化させるミラーなどの光学系、または無線通信を行う通信回路などを備えていてもよい。

図４に示す各構成要素は、同一の筐体内に配置されている必要はない。例えば、撮像装置１０１は、スマートフォンまたはタブレットコンピュータのような情報端末と、当該情報端末に接続される他の装置との組み合わせによって実現され得る。そのような他の装置は、第１の光源１０３、イメージセンサ１１３、バンドパスフィルタ１１２、および光学系１１１を備え得る。情報端末に特定のソフトウェアをインストールすることにより、情報端末のプロセッサ（ＣＰＵおよびＧＰＵなど）を、制御回路１１４および信号処理回路１１５として機能させることができる。

以下、各構成要素をより詳細に説明する。

［１－１．第１の光源１０３］
本実施形態における第１の光源１０３は、中心波長が７５０ｎｍの狭帯域のパルス光を出射するレーザーパルス光源である。第１の光源１０３は、後述するように、制御回路１１４によって決定された所定のパターンでパルス光を繰り返し出射する。第１の光源１０３が出射するパルス光は、例えば、立ち上り時間である立ち上りを開始してから完全に立ち上がるまでの時間と、立ち下り時間である立ち下りを開始してから完全に立ち下るまでの時間がゼロに近い矩形波状の光であり得る。第１の光源１０３は、パルス光の立ち上り部分と立ち下り部分が時間軸に対して垂直に近い（即ち、時間応答特性が急進な）レーザーダイオード（ＬＤ）などの光源であり得る。第１の光源１０３には、例えば半導体レーザ、固体レーザ、ファイバレーザなどの、パルス光を発する任意の種類の光源が用いられ得る。

本実施形態の撮像装置１０１では、対象物１０２が人体であるため、網膜への影響が考慮された第１の光源１０３が用いられ得る。例えば、レーザ光源を使用する場合、各国で策定されているレーザ安全基準のクラス１を満足する光源が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光が対象物１０２に照射される。第１の光源１０３自体がクラス１を満たしていなくても、他の光学素子との組み合わせによってクラス１が満たされていてもよい。例えば、拡散板またはＮＤフィルタなどの素子が第１の光源１０３と対象物１０２との間に配置され、光が拡散または減衰されることによってレーザ安全基準のクラス１が満たされてもよい。

第１の光源１０３が発する光の波長は、７５０ｎｍに限定されない。例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長の光（赤色光または近赤外光）が用いられ得る。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、対象物１０２の皮膚及び脳の血流変化を検出する場合、使用される光は主に酸素化ヘモグロビンおよび脱酸素化ヘモグロビンに吸収されると考えられ、それぞれ波長に対する光の吸収度合いは異なる。血流に変化が生じた場合、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの濃度が変化すると考えられるため、光の吸収度合いも変化する。したがって、血流が変化する前後では検出される光量も変化する。

なお、本開示において、対象物１０２は生体に限定されない。例えば、ガス、薬品、食品などの他の種類の光散乱体を対象物１０２にすることも可能である。第１の光源１０３、が発する光の波長域は、近赤外線の波長域（約７００ｎｍ以上約２５００ｎｍ以下）に限定されず、例えば可視光の波長域（約４００ｎｍ以上約７００ｎｍ以下）、紫外線の波長域（約１０ｎｍ以上約４００ｎｍ以下）であってもよい。用途によっては、中赤外線、遠赤外線、またはテラヘルツ波もしくはミリ波等の電波域の電磁波を使用することもできる。

図１を参照して説明したように、第１の光源１０３から対象物１０２に到達した光は、対象物１０２の表面で反射する表面反射成分Ｉ１と、対象物１０２の内部で１回反射もしくは散乱、または多重散乱する内部散乱成分Ｉ２とに分かれる。表面反射成分Ｉ１は、直接反射成分、拡散反射成分の２つを含む。直接反射成分は、入射角と等しい反射角で反射される成分である。拡散反射成分は、表面の凹凸形状に起因して拡散して反射される成分である。本開示では、対象物１０２の表面で反射する表面反射成分Ｉ１は、これら２つの成分を含むものとする。また、内部散乱成分Ｉ２は、表面近傍の内部組織によって散乱して反射する成分を含む。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部が光学系１１１およびバンドパスフィルタ１１２を透過してイメージセンサ１１３に到達する。

［１－２．光学系１１１およびバンドパスフィルタ１１２］
本実施形態における光学系１１１は、イメージセンサ１１３に光を効率よく結像するためのものであり、複数枚数を組み合わせたものであってもよく、一枚のレンズであってもよい。また、テレセントリックな光学系であってもよい。対象物の画角を調節するために魚眼レンズや広角レンズを用いたり、ズームレンズを用いたりしても良い。また、明るさを調節するために、レンズの前後又は途中に瞳を設けても良い。

バンドパスフィルタ１１２は、７５０ｎｍの光を主に透過させるフィルタである。図５は、バンドパスフィルタ１１２の分光透過率の例を示すグラフである。図示されるように、バンドパスフィルタ１１２は、第１の光源１０３から出射される７５０ｎｍを中心波長とする狭帯域の光を透過させ、それ以外の波長の光を遮光する。このようなバンドパスフィルタ１１２を配置することにより、外乱光（例えば背景光）がイメージセンサ１１３に入射することを抑制できる。

［１－３．イメージセンサ１１３］
イメージセンサ１１３は、第１の光源１０３から出射され対象物１０２で反射された光を受光する。イメージセンサ１１３は、撮像面上に２次元に配列された複数の画素を有し、対象物１０２の内部の２次元情報を取得する。イメージセンサ１１３は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであり得る。

イメージセンサ１１３は、電子シャッタを有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間である露光期間の長さに相当するシャッタ幅と、１回の露光期間が終了してから次の露光期間が開始するまでの時間とを制御する回路である。本明細書において、電子シャッタが露光している状態を「ＯＰＥＮ」と表現し、電子シャッタが露光を停止している状態を「ＣＬＯＳＥ」と表現する。イメージセンサ１１３は、電子シャッタによって１回の露光期間が終了してから次の露光期間が開始するまでの時間をサブナノ秒（例えば、３０ｐｓから１ｎｓ）の時間スケールで調整できる。本実施形態では、対象物までの距離の測定を目的とする従来のＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラと異なり、シャッタ幅をパルス幅よりも大きくする必要はない。従来のＴＯＦカメラは、対象物の明るさを補正するために、光源から出射して対象物で反射されて戻ってきたパルス光の全てを検出する。

したがって、従来のＴＯＦカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の撮像装置１０１は、対象物からの光量を補正する必要が無いため、シャッタ幅がパルス幅よりも大きい必要はない。本実施形態では、シャッタ幅は、例えば、１から３０ｎｓ程度であり得る。本実施形態の撮像装置１０１によれば、シャッタ幅を従来よりも短縮できるため、検出信号に含まれる暗電流を低減することができる。

対象物１０２が例えば人の額であり、脳血流などの情報を検出する用途では、対象物１０２の内部での光の減衰率は非常に大きく、例えば、１００万分の１程度に減衰し得る。このため、内部散乱成分Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。この場合、第１の光源１０３がパルス光を複数回発光し、それに応じてイメージセンサ１１３も電子シャッタによって複数回露光するようにしてもよい。そのような動作によれば、検出信号が積算されることにより、感度を向上させることができる。

画素の構成は図２と同じである。なお、図２は、１つの画素４０１の構成を模式的に示しており、現実の構造を必ずしも反映していない。画素４０１は、光電変換を行うフォトダイオード４０３と、信号電荷を蓄積する電荷蓄積部である浮遊拡散層４０４と、信号電荷を排出するドレイン４０２とを含む。浮遊拡散層４０４およびドレイン４０２の機能は、図２を参照しながら説明した機能と同様である。

イメージセンサ１１３は、制御回路１１４からの指令に基づいて各画素４０１における信号電荷の蓄積および排出を制御する制御回路４１４を備えている。制御回路４１４は、プロセッサとメモリとを有する回路（例えば、マイクロコントローラユニット）であり得る。制御回路４１４は、メモリに格納された制御プログラムに従い、外部の制御回路１１４からの指示に応じて浮遊拡散層４０４への信号電荷の蓄積、およびドレイン４０２への信号電荷の排出を制御する。これによってイメージセンサ１１３は高い時間分解能で撮像することができ、「時間分解イメージセンサ」と称することがある。

１回のパルス光の発光に起因して各画素４０１に入射した光は、フォトダイオード４０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路４１４から入力される制御信号に従って、ドレイン４０２に排出されるか、浮遊拡散層４０４に振り分けられる。

図６は、イメージセンサ１１３の構成の一例を模式的に示す図である。図６において、破線の枠で囲まれた領域が１つの画素４０１に相当する。画素４０１は浮遊拡散層４０４を含む。浮遊拡散層４０４に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの画素の信号のように取り扱われ、イメージセンサ１１３から出力される。なお、図６には、浮遊拡散層４０４に信号電荷の蓄積が完了してから、浮遊拡散層４０４内の信号電荷をイメージセンサ１１３から出力する動作である低速読み出し動作に関係する要素のみが示されている。ドレイン４０２、フォトダイオード４０３、および制御回路３１４は、低速読み出し動作には直接関係しないので、図６からは省略されている。

各画素４０１は、３つの信号検出回路を含む。各信号検出回路は、ソースフォロワトランジスタ５０９と、行選択トランジスタ５０８と、リセットトランジスタ５１０とを含む。この例では、リセットトランジスタ５１０が、図２に示すドレイン４０２に相当する。リセットトランジスタ５１０のゲートに入力されるパルス信号により、信号電荷の排出が制御される。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ５０９の入力端子および出力端子の一方（典型的にはソース）と、行選択トランジスタ５０８の入力端子および出力端子のうちの一方（典型的にはドレイン）とが接続されている。ソースフォロワトランジスタ５０９の制御端子であるゲートは、図６には示されていないフォトダイオード４０３に電気的に接続されている。フォトダイオード４０３によって生成された信号電荷である正孔または電子は、フォトダイオード４０３とソースフォロワトランジスタ５０９との間の電荷蓄積部である浮遊拡散層４０４に蓄積される。

浮遊拡散層４０４に蓄積された信号電荷は、行選択回路５０２によって行選択トランジスタ５０８のゲートがＯＮにされることにより、読み出される。この際、浮遊拡散層４０４の信号の電位に応じて、ソースフォロワ電源５０５からソースフォロワトランジスタ５０９およびソースフォロワ負荷５０６へ流入する電流が増幅される。垂直信号線５０４から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ－デジタル（ＡＤ）変換回路５０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路５０３によって列ごとに読み出され、イメージセンサ１１３から出力される。

行選択回路５０２および列選択回路５０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路４１４は、全ての信号電荷を読み出した後、リセットトランジスタ５１０のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ１１３による一連のフレームの撮像が完結する。

なお、本実施形態では、ＣＭＯＳ型のイメージセンサ１１３の例を説明したが、イメージセンサ１１３はＣＣＤ型であっても、単一光子計数型素子であっても、増幅型イメージセンサであるＥＭＣＣＤ、ＩＣＣＤであっても構わない。

［１－４．制御回路１１４および信号処理回路１１５］
制御回路１１４は、例えば、マイクロプロセッサおよびメモリの組み合わせ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。制御回路１１４は、例えばプロセッサがメモリに記録された制御プログラムを実行することにより、第１の光源１０３への点灯指示、イメージセンサ１１３への撮像指示、および信号処理回路１１５への演算指示等を行う。制御回路１１４からの指示に基づいて、イメージセンサ１１３における制御回路４１４は、各画素における信号電荷の蓄積および排出を制御する。

信号処理回路１１５は、イメージセンサ１１３から出力された画像信号を処理する回路である。信号処理回路１１５は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路１１４および信号処理回路１１５は、統合された１つの回路によって実現されていてもよい。

本実施形態における信号処理回路１１５は、イメージセンサ１１３から出力された信号に基づき、皮膚及び脳血流の時間変化を示す動画像データを生成する。信号処理回路１１５は、そのような動画像データに限らず、他の情報を生成してもよい。例えば、他の機器と同期させることで脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。

脳血流量または血流内成分（例えばヘモグロビン）の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測できれば、被検者の心理状態を推定することができる。被検者の心理状態とは、例えば、気分（例えば、快、不快）、感情（例えば、安心、不安、悲しみ、憤りなど）、健康状態（例えば、元気、倦怠）、温度感覚（例えば、暑い、寒い、蒸し暑い）などを意味する。また、これに派生して、脳活動の程度を表す指標、例えば熟練度、習熟度、および集中度なども心理状態に含まれる。信号処理回路１１５は、脳血流量などの変化に基づいて、被検者の集中度などの心理状態を推定し、推定結果を示す信号を出力してもよい。

［２．動作］
次に、本実施形態の撮像装置１０１の動作について図７Ａおよび７Ｂを用いて説明する。

図１を参照して説明したとおり、対象物１０２である頭部に照射された７５０ｎｍの波長の光の大部分のエネルギーは、対象物１０２の表面で反射される。しかし、ごく一部の成分は対象物１０２の深部まで散乱しながら到達し、さらに散乱を継続して、極少量のエネルギー成分が内部散乱成分として、再び頭部の額表面に到達する。その光の一部は、光学系１１１およびバンドパスフィルタ１１２を透過して、イメージセンサ１１３に到達する。

そこで、本実施形態における制御回路１１４は、図７Ａに示すように、第一のフレーム期間において、パルス光を照射する前にイメージセンサの電子シャッタをＯＰＥＮにし、発光パルス幅相当の期間、シャッタＯＰＥＮの状態を維持し、イメージセンサ１１３に到達する反射光が立ち上がる途中で電子シャッタをＣＬＯＳＥにする。その後、次のパルス発光を行い、同じ動作を行う。以上の動作を繰り返すことで、主に皮膚及び頭蓋骨のみを通過した光を検出することができる。

第二のフレーム期間では、図７Ｂに示すように、イメージセンサ１１３の各画素において、パルス光の表面反射成分が入射している間は電子シャッタをＣＬＯＳＥにし、表面反射成分と内部散乱成分の立ち下り成分が入射している間に電子シャッタをＯＰＥＮに切り替える。そして、発光パルス幅相当の期間、シャッタＯＰＥＮの状態を維持し、再びシャッタをＣＬＯＳＥにする。その後、次のパルス発光を行い、同じ動作を行う。以上の動作を繰り返すことで、表面反射成分を除去して、脳まで経由した内部散乱成分を効率よく検出することができる。

なお、発光を開始してから電子シャッタをＣＬＯＳＥからＯＰＥＮに切り替えるまでの時間は、検出開始前に予め決定され得る。例えば、検出開始前に、第１の光源１０３による予備的な発光を行い、その光をイメージセンサ１１３で検出することにより、発光を開始してから表面反射成分の後端がイメージセンサ１１３に到達するまでの時間を測定できる。当該時間を、発光を開始してから電子シャッタをＯＰＥＮにするまでの時間に設定すればよい。

対象物１０２が人の額であり、脳血流などの情報を検出する際には、内部での光の減衰率が非常に大きいため、内部散乱成分のみを検出するには、１パルスの照射だけでは光量が不足し得る。このため、本実施形態では、パルス光を複数回発光し、それに応じてイメージセンサ１１３の電子シャッタによって複数回露光する。これにより、検出信号が積算されるため、感度を向上させることができる。しかし、用途によっては、複数回の発光および露光を行わなくてもよい場合もあり得る。その場合には、各光源について、１フレームあたり１回の発光および露光が行われる。

図７Ａおよび図７Ｂは、本実施形態における撮像装置１０１の動作の例を示すシステムタイミング図である。図７Ａおよび図７Ｂにおいて、信号Ａは、第１の光源１０３から出射されるパルス光の波形を示している。信号Ｅは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。信号Ｆは、浮遊拡散層４０４のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。

図７Ａは、第一のフレームの画像信号を取得する期間である第１のフレーム期間の動作を例示している。第１のフレーム期間は、７５０ｎｍの波長の光を出射する第１の光源１０３を用いて撮像する期間である。制御回路１１４は、まず、第１の光源１０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。第一のフレーム期間における浮遊拡散層４０４に蓄積された信号電荷は、対象物１０２から反射してきた７５０ｎｍの波長のパルス光の立ち上がり成分に基づく画像の生成に用いられる。

図７Ｂは、第二のフレームの画像信号を取得する期間である第２のフレーム期間の動作を例示している。第２のフレーム期間は、７５０ｎｍの波長の光を出射する第１の光源１０３を用いて撮像する期間である。制御回路１１４は、第１の光源１０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。第二のフレーム期間における浮遊拡散層４０４に蓄積された信号電荷は、対象物１０２から反射してきた７５０ｎｍの波長のパルス光の立ち下がり成分に基づく画像の生成に用いられる。以下、この動作をより詳細に説明する。

制御回路１１４は、まず、７５０ｎｍの波長の光を出射する第１の光源１０３にパルス光を複数回出射させる。例えば、制御回路１１４は、第１の光源１０３に、約１０ｎｓのパルス幅のパルス光を、約１０ＭＨｚの周波数で、１００μｓｅｃ程度の期間にわたって１０００回程度繰り返し発光させる。第１の光源１０３の発光が繰り返されている間、浮遊拡散層４０４はアクティブ（低ポテンシャル）の状態にされる。この状態において、第１の光源１０３の発光に同期して電子シャッタのＯＰＥＮおよびＣＬＯＳＥの状態が切り替えられる。より具体的には、第一のフレーム期間において、イメージセンサ１１３における制御回路４１４は、対象物１０２から戻ったパルス光の立ち上り成分がフォトダイオード４０３に入射する期間だけ、ドレイン４０２のポテンシャルを相対的に高くして、電子シャッタをＯＰＥＮに（ドレイン４０２を非アクティブに）する。

当該期間以外においては、制御回路４１４は、ドレイン４０２のポテンシャルを相対的に低くして電子シャッタをＣＬＯＳＥに（ドレイン４０２をアクティブに）する。このような制御により、対象物１０２からのパルス光の立ち上り成分に起因してフォトダイオード４０３で発生した信号電荷は、浮遊拡散層４０４に繰り返し蓄積される。イメージセンサ１１３は蓄積した信号電荷から画素信号を生成し、信号処理回路１１５に送る。信号処理回路１１５では画素ごとの信号から画像を生成し、内部メモリ等に格納する。このときの画像は、頭皮及び頭蓋骨等の生体の浅部の画像情報を意味する。

第二のフレーム期間において、イメージセンサ１１３における制御回路４１４は、対象物１０２にパルス光を照射後、ドレイン４０２のポテンシャルを相対的に低くして電子シャッタをＣＬＯＳＥにし、対象物１０２からのパルス光の立ち下がり成分がフォトダイオード４０３に入射する期間にドレイン４０２のポテンシャルを相対的に高くして電子シャッタをＯＰＥＮに（ドレイン４０２を非アクティブに）する。その後、ドレイン４０２のポテンシャルを相対的に低くし、電子シャッタをＣＬＯＳＥにする。当該期間以外においては、制御回路４１４は、ドレイン４０２のポテンシャルを相対的に低くして電子シャッタをＣＬＯＳＥに（ドレイン４０２をアクティブに）する。

このような制御により、対象物１０２からのパルス光の立ち下がり成分に起因してフォトダイオード４０３で発生した信号電荷は、浮遊拡散層４０４に繰り返し蓄積される。イメージセンサ１１３は蓄積した信号電荷を信号処理回路１１５に転送する。イメージセンサ１１３は蓄積した信号電荷から画素信号を生成し、信号処理回路１１５に送る。信号処理回路１１５では画素ごとの信号からフレームデータを生成する。このときの画像は、頭皮及び頭蓋骨等の生体の浅部と、脳等、生体の深部の両方が含まれた画像情報を意味する。以上の処理により、信号処理回路１１５は、生体から反射したパルス光の立ち上り成分と、立ち下がり成分のそれぞれのフレームデータを生成する。

図７Ａ及び図７Ｂでは、１つのフレーム期間において、第１の光源１０３から出射されるパルス光の数である発光回数と、電子シャッタがＯＰＥＮの状態となる回数である露光回数とが等しい例について示したが、これに限定されない。図７Ｃ及び図７Ｄは、実施形態１において第一のフレーム期間の画像信号を取得する期間における撮像装置の動作の変形例を示すタイミング図である。

図３の信号Ｄに示すように、光検出器であるイメージセンサ１１３で検出される反射パルス光の波形は、立ち上がり期間の方が立ち下がり期間よりも急峻になる。したがって、シャッタ幅が同じである場合、１パルスにおいて、立ち上がり期間に検出される信号量の方が立ち下がり期間に検出される信号量よりも大きくなり、積算すると立ち上がり期間に検出される信号量が飽和しやすくなる。そこで、図７Ｃに示す変形例のように、第１のフレーム期間において、図７Ａに比べて発光回数を少なくしてもよい。または、図７Ｄに示す変形例のように、第１のフレーム期間において、図７Ａに比べて露光回数を少なくしてもよい。

[３．画像の演算]
イメージセンサ１１３から信号処理回路１１５に送られた、フレーム毎に蓄積された立ち上り成分の信号には主に皮膚の血流変化の情報が含まれ、立ち下がり成分の信号には皮膚と脳の血流変化の情報が含まれる。そのため、脳の血流変化の情報のみを抽出するには、これらの信号を用いて、皮膚の血流変化の情報と脳の血流変化の情報とを分離すればよい。

本発明者らは、皮膚血流変化と脳血流変化はどちらも血管又は毛細血管の膨張・収縮活動に伴うものであり、皮膚及び脳それぞれの血管分布は異なることに着目し、皮膚の血流変化の分布と脳の血流変化の分布とは無相関の関係にあると考えた。この考えに基づき、立ち上がり成分の信号から作られる画像及び立ち下がり成分の信号から作られる画像にそれぞれ映し出される信号を用いた演算によって、皮膚の血流変化の画像と脳の血流変化の画像とを分離した。以下に、その詳細について説明する。

立ち上がり成分の信号と立ち下がり成分の信号には、それぞれ皮膚血流変化の情報と脳血流変化の情報とが異なる比率で含まれ、以下の理論式（１）として表される。

ここで、ＳｒとＳｆはそれぞれ反射したパルス光の立ち上がり成分と立ち下がり成分を示し、ａ、ｂ、ｃ、ｄは係数を示し、ＳｓとＳｂはそれぞれ皮膚血流変化の成分と脳血流変化の成分を示す。すなわち、左辺はイメージセンサで検出した既知の画素信号値であり、右辺は未知数である。

例えば、立ち上がり成分は皮膚血流変化の成分で成り立つと仮定すると、ａ＝１、ｂ＝０、Ｓｓ＝Ｓｒが代入され、ｃとｄ、及びＳｂは未知数となる。このとき、左辺と右辺が等しくなるような未知数の組み合わせは多数存在する。ここで、皮膚血流変化の分布と脳血流変化の分布とは無相関であることを活かし、皮膚の血流変化Ｓｓと脳の血流変化Ｓｂの全画素成分において相関係数が０に最も近くなるような係数ｃとｄ及びＳｂの値を抽出する。これにより求まったＳｓとＳｂの信号は、それぞれ皮膚の血流変化及び脳の血流変化を示す。

今回、立ち上がり成分は皮膚血流変化の成分に等しい前提で説明したが、若干の脳血流成分も含むことも考えられるため、ａ及びｂを変数として扱ってもよい。

式（１）では係数を求めるために皮膚血流変化と脳血流変化の分布の相関性を利用したが、独立成分分析等の多変量解析を用いても良い。また、ヒトと同じような光学特性を持つファントムを使って皮膚血流変化と脳血流変化を分離できる最適なａ、ｂ、ｃ、ｄをあらかじめ求めてもよい。

また、皮膚血流の変化と脳血流の変化は、それぞれ時間的に連続に変化すると考えられる。そのため、フレーム間の相関性が高いと考えられる。式（１）に加え、フレーム間の相関性及び画素ごとの動きベクトルも求めることで、式（１）を満たすＳｓとＳｂを精度よく求めても良い。

このような画像演算を行うことにより、立ち上がり成分と立ち下がり成分にそれぞれ異なる比率で含まれる皮膚血流変化の成分と脳血流変化の成分から、画像として皮膚血流変化と脳血流変化を別々に切り分けることが可能となる。

本実施形態では信号処理回路１１５内で画像処理を行ったが、外部のコンピュータ及び演算処理回路を利用して実施しても良い。

また、本実施形態では光検出器がイメージセンサである例について説明したが、これに限定されない。光検出器として、アバランシェフォトダイオードとメモリとの組み合わせ、またはＰＩＮフォトダイオードとメモリとの組み合わせを用いても良い。光検出器として、アバランシェフォトダイオードとメモリとの組み合わせ、またはＰＩＮフォトダイオードとメモリとの組み合わせを用いた場合であっても、例えば、反射パルス光の立ち上り成分と立ち下がり成分とをそれぞれパルスごとに検出し、メモリに繰り返し蓄積することで十分な信号量が得られる。メモリに蓄積した信号量を数（１）に従って演算することで、皮膚血流変化と脳血流の変化とを分離することができる。

（実施形態２）
次に、本開示の実施形態２における撮像装置２０１を説明する。本実施形態は、それぞれ互いに異なる波長のパルス光を出射する２つの光源を用いる点が実施形態１と異なっている。実施形態２における撮像装置２０１を用いて、血流のヘモグロビン情報を求める例について説明する。以下、実施形態１と異なる点を中心に説明する。

図８は、本実施形態における撮像装置２０１の構成を模式的に示す図である。撮像装置２０１は、第１の光源１０３と、第２の光源２０３と、イメージセンサ１１３と、ダブルバンドパスフィルタ２１２と、光学系１１１と、制御回路１１４と、信号処理回路１１５とを備える。第１の光源１０３、第２の光源２０３は、対象物１０２が位置する方向に向けてパルス光を出射する。本実施形態では、第１の光源１０３は、中心波長が７５０ｎｍの狭帯域のパルス光を出射するレーザ光源であり、第２の光源は、中心波長が８５０ｎｍの狭帯域のパルス光を出射するレーザ光源である。ダブルバンドパスフィルタ２１２は、光学系１１１とイメージセンサ１１３との間に配置され、第１の光源１０３、第２の光源２０３からの光の波長に相当する波長の光のみを主に透過させる。制御回路１１４は、第１の光源１０３、第２の光源２０３、およびイメージセンサ１１３に接続され、これらの動作を制御する。より具体的には、制御回路１１４は、第１の光源１０３、第２の光源２０３の発光タイミングと、イメージセンサ１１３の各画素の信号蓄積および信号排出のタイミングとを同期して制御する。これにより、生体内部の頭皮および脳血流の情報を高い精度で検出することができ、特に、血流に含まれる酸素化ヘモグロビンと脱酸素化ヘモグロビンの変化量を検出することができる。

図９は、ダブルバンドパスフィルタ２１２の分光透過率の例を示すグラフである。図示されるように、ダブルバンドパスフィルタ２１２は、第１の光源１０３から出射される７５０ｎｍを中心波長とする狭帯域の光と、第２の光源２０３から出射される８５０ｎｍを中心波長とする狭帯域の光とを透過させ、それ以外の波長の光を遮光する。このようなダブルバンドパスフィルタ２１２を配置することにより、外乱光（例えば背景光）がイメージセンサ１１３に入射することを抑制できる。

図１０Ａから図１０Ｄは、本実施形態における撮像装置２０１の動作の例を示すタイミング図である。図１０Ａから図１０Ｄにおいて、信号Ａ１は、第１の光源１０３から出射されるパルス光の波形を示している。信号Ａ２は、第２の光源２０３から出射されるパルス光の波形を示している。信号Ｅは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。信号Ｆは、浮遊拡散層４０４のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。

図１０Ａは、第一のフレームの画像信号を取得する第１のフレーム期間の動作を例示している。第１のフレーム期間は、７５０ｎｍの波長の光を出射する第１の光源１０３を用いて撮像する期間である。制御回路１１４は、まず、第１の光源１０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。第１のフレーム期間における浮遊拡散層４０４に蓄積された信号電荷は、反射してきた７５０ｎｍの波長のパルス光の立ち上がり成分に基づく画像の生成に用いられる。

図１０Ｂは、第二のフレームの画像信号を取得する第２のフレーム期間の動作を例示している。第２のフレーム期間は、７５０ｎｍの波長の光を出射する第１の光源１０３を用いて撮像する期間である。制御回路１１４は、第１の光源１０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。第２のフレーム期間における浮遊拡散層４０４に蓄積された信号電荷は、反射してきた７５０ｎｍの波長のパルス光の立ち下がり成分に基づく画像の生成に用いられる。

図１０Ｃは、第三のフレームの画像信号を取得する第３のフレーム期間の動作を例示している。第３のフレーム期間は、８５０ｎｍの波長の光を出射する第２の光源２０３を用いて撮像する期間である。制御回路１１４は、まず、第２の光源２０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。第３のフレーム期間における浮遊拡散層４０４に蓄積された信号電荷は、反射してきた８５０ｎｍの波長のパルス光の立ち上がり成分に基づく画像の生成に用いられる。

図１０Ｄは、第四のフレームの画像信号を取得する第４のフレーム期間の動作を例示している。第４のフレーム期間は、８５０ｎｍの波長の光を出射する第２の光源２０３を用いて撮像する期間である。制御回路１１４は、第２の光源２０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。第４のフレーム期間における浮遊拡散層４０４に蓄積された信号電荷は、反射してきた８５０ｎｍの波長のパルス光の立ち下がり成分に基づく画像の生成に用いられる。

イメージセンサ１１３から信号処理回路１１５に送られた、フレームごとに蓄積された立ち上がり成分の信号及び立ち下がり成分の信号には、それぞれ７５０ｎｍの波長の画像データ及び８５０ｎｍの波長の画像データが含まれる。一般に酸素化ヘモグロビンと脱酸素化ヘモグロビンの波長に対する吸光係数は既知であるため、異なる２種類の波長の画像データから、立ち上がり成分と立ち下がり成分の酸素化ヘモグロビン量及び脱酸素化ヘモグロビン量を算出することができる。ただし、立ち上がり成分も立ち下がり成分も、どちらも皮膚血流と脳血流のヘモグロビン量が異なる比率で含まれるため、これらを分離すればよい。分離方法は実施形態１と同様の方法で実施が可能なため、ここでは説明は省略する。

以上のように、本実施形態における撮像装置２０１は、対象物１０２に照射されるパルス光を発する第１の光源１０３、第２の光源２０３と、イメージセンサ１１３と、制御回路１１４と、信号処理回路１１５とを備える。イメージセンサ１１３は、複数の画素を有し、各画素が、フォトダイオード４０３と、電荷蓄積部である浮遊拡散層４０４とを有する。第１の光源１０３は、第一の波長域（例えば７５０ｎｍを中心とする波長域）のパルス光を出射する。

第２の光源２０３は、第二の波長域（例えば８５０ｎｍを中心とする波長域）のパルス光を出射する。制御回路１１４は、第１の光源１０３にパルス光を出射させるタイミングと、第２の光源２０３にパルス光を出射させるタイミングと、浮遊拡散層４０４に信号電荷を蓄積させるタイミングと、信号電荷を排出するタイミングとを制御する。制御回路１１４は、以下の動作を実行する。
（１）第１のフレーム期間において、第１の光源１０３にパルス光を出射させる。
（２）第１の光源１０３から出射されたパルス光のうち、主に対象物１０２の表面で反射された表面反射成分Ｉ１がイメージセンサ１１３に入射している期間である立ち上がり期間の少なくとも一部を含む期間に、イメージセンサ１１３の浮遊拡散層４０４に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０４に蓄積させる。
（３）第２のフレーム期間において、第１の光源１０３にパルス光を出射させる。
（４）第１の光源１０３から出射されたパルス光のうち、表面反射成分Ｉ１の後端がイメージセンサ１１３に入射した後、主に対象物１０２の内部で散乱されて戻ってきた内部散乱成分Ｉ２がイメージセンサ１１３に入射している期間に、イメージセンサ１１３の浮遊拡散層４０４に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、浮遊拡散層４０４に信号電荷を蓄積させる。
（５）第３のフレーム期間において、第２の光源２０３にパルス光を出射させる。
（６）第２の光源２０３から出射されたパルス光のうち、主に対象物１０２の表面で反射された表面反射成分Ｉ１がイメージセンサ１１３に入射している期間である立ち上がり期間の少なくとも一部を含む期間に、イメージセンサ１１３の浮遊拡散層４０４に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０４に蓄積させる。
（７）第４のフレーム期間において、第２の光源２０３にパルス光を出射させる。
（８）第２の光源２０３から出射されたパルス光のうち、表面反射成分Ｉ１の後端がイメージセンサ１１３に入射した後、対象物１０２の内部で散乱されて戻ってきた内部散乱成分Ｉ２がイメージセンサ１１３に入射している期間に、イメージセンサ１１３の浮遊拡散層４０４に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、浮遊拡散層４０４に信号電荷を蓄積させる。

信号処理回路１１５は、第１のフレーム期間における画像信号と第３のフレーム期間における画像信号とから、立ち上がり成分での酸素化ヘモグロビン量及び脱酸素化ヘモグロビン量を算出し、第２のフレーム期間における画像信号と第４のフレーム期間における画像信号とから、立ち下がり成分での酸素化ヘモグロビン量及び脱酸素化ヘモグロビン量を算出した後、画像演算により、皮膚血流と脳血流のヘモグロビン濃度変化の分布を求める。

以上の構成および動作により、フレームごとに生体から反射したパルス光の立ち上がり成分と立ち下がり成分を検出することで、皮膚血流中のヘモグロビン変化と脳血流中のヘモグロビン変化の分布を求めることができる。

本実施形態では２種類の波長の光を用いたが、３種類又はそれ以上の波長の光を用いても良い。

（実施形態３）
次に、本開示の実施形態３における撮像装置２０１を説明する。本実施形態は、一つの画素に含まれる電荷蓄積部を複数設けることで、１つのフレーム期間中に複数の波長の反射光を検出する点、または１つのフレーム期間中に立ち上がり成分と立ち下がり成分を検出できる点が実施形態１及び実施形態２と異なっている。以下、実施形態１および２と異なる点を中心に説明する。

図１１は、イメージセンサ１１３の１つの画素４０１の概略的な構成を示す図である。なお、図１１は、１つの画素４０１の構成を模式的に示しており、現実の構造を必ずしも反映していない。画素４０１は、光電変換を行うフォトダイオード４０３と、信号電荷を蓄積する電荷蓄積部である２つの浮遊拡散層４０４、４０５と、信号電荷を排出するドレイン４０２とを含む。各浮遊拡散層４０４、４０５およびドレイン４０２の機能は、図２を参照しながら説明した機能と同様である。

イメージセンサ１１３は、制御回路１１４からの指令に基づいて各画素４０１における信号電荷の蓄積および排出を制御する制御回路４１４を備えている。制御回路４１４は、プロセッサとメモリとを有する回路（例えば、マイクロコントローラユニット）であり得る。制御回路４１４は、メモリに格納された制御プログラムに従い、外部の制御回路１１４からの指示に応じて浮遊拡散層４０４、４０５への信号電荷の蓄積、およびドレイン４０２への信号電荷の排出を制御する。

１回のパルス光の発光に起因して各画素４０１に入射した光は、フォトダイオード４０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路４１４から入力される制御信号に従って、ドレイン４０２に排出されるか、浮遊拡散層４０４、４０５のどちらかに振り分けられる。

図１２Ａおよび１２Ｂは、本実施形態における撮像装置２０１の動作の例を示すタイミング図である。図１２Ａ及び図１２Ｂにおいて、信号Ａ１は、第１の光源１０３から出射されるパルス光の波形を示している。信号Ａ２は、第２の光源２０３から出射されるパルス光の波形を示している。信号Ｅは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。信号Ｆ１は、浮遊拡散層４０４のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。信号Ｆ２は、浮遊拡散層４０５のＯＮ、ＯＦＦのタイミングを示す。

図１２Ａは、第一のフレームの画像信号を取得する第１のフレーム期間の動作を例示している。第１のフレーム期間に、７５０ｎｍの波長の光を出射する第１の光源１０３と、８５０ｎｍの波長の光を出射する第２の光源２０３とを用いて撮像する期間である。制御回路１１４は、まず、第１の光源１０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。次に、第２の光源２０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０５に信号電荷を蓄積させる。第１のフレーム期間における浮遊拡散層４０４、４０５に蓄積された信号電荷は、反射してきた７５０ｎｍ、８５０ｎｍのそれぞれの波長のパルス光の立ち上がり成分に基づく画像の生成に用いられる。

図１２Ｂは、第二のフレームの画像信号を取得する第２のフレーム期間の動作を例示している。第２のフレーム期間に、７５０ｎｍの波長の光を出射する第１の光源１０３と、８５０ｎｍの波長の光を出射する第２の光源２０３を用いて撮像する期間である。制御回路１１４は、まず、第１の光源１０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０４に信号電荷を蓄積させる。次に、第２の光源２０３を所定の周期で複数回発光させ、その発光に同期して浮遊拡散層４０５に信号電荷を蓄積させる。第２のフレーム期間における浮遊拡散層４０４、４０５に蓄積された信号電荷は、反射してきた７５０ｎｍ、８５０ｎｍのそれぞれの波長のパルス光の立ち下がり成分に基づく画像の生成に用いられる。

イメージセンサ１１３から信号処理回路１１５に送られた、浮遊拡散層４０４に蓄積された立ち上がり成分の信号及び浮遊拡散層４０５に蓄積された立ち下がり成分の信号には、それぞれ７５０ｎｍの波長の画像データ及び８５０ｎｍの波長の画像データが含まれる。一般に、酸素化ヘモグロビンと脱酸素化ヘモグロビンの波長に対する吸光係数は既知であるため、異なる２種類の波長の画像データから、立ち上がり成分と立ち下がり成分の酸素化ヘモグロビン量及び脱酸素化ヘモグロビン量を算出することができる。ただし、立ち上がり成分も立ち下がり成分も、どちらも皮膚血流と脳血流のヘモグロビン量が異なる比率で含まれるため、これらを分離すればよい。分離方法は実施形態１と同様の方法で実施が可能なため、ここでは説明は省略する。

以上のように、本実施形態における撮像装置２０１は、対象物１０２に照射されるパルス光を発する第１の光源１０３、第２の光源２０３と、イメージセンサ１１３と、制御回路１１４と、信号処理回路１１５とを備える。イメージセンサ１１３は、複数の画素を有し、各画素が、フォトダイオード４０３と、浮遊拡散層４０４、４０５とを有する。第１の光源１０３は、第一の波長域（例えば７５０ｎｍを中心とする波長域）のパルス光を出射する。第２の光源２０３は、第二の波長域（例えば８５０ｎｍを中心とする波長域）のパルス光を出射する。制御回路１１４は、第１の光源１０３にパルス光を出射させるタイミングと、第２の光源２０３にパルス光を出射させるタイミングと、浮遊拡散層４０４に信号電荷を蓄積させるタイミングと、浮遊拡散層４０５に信号電荷を蓄積させるタイミングと、信号電荷を排出するタイミングとを制御する。制御回路１１４は、以下の動作を実行する。
（１）第１のフレーム期間において、第１の光源１０３にパルス光を出射させ、次に第２の光源２０３にパルス光を出射させる。
（２）第１の光源１０３から出射されたパルス光のうち、対象物１０２の表面で反射された表面反射成分Ｉ１がイメージセンサ１１３に入射している期間である立ち上がり期間の少なくとも一部を含む期間に、イメージセンサ１１３の浮遊拡散層４０４に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０４に蓄積させる。次に、第２の光源２０３から出射されたパルス光のうち、立ち上がり期間の少なくとも一部を含む期間に、イメージセンサ１１３の浮遊拡散層４０５に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０５に蓄積させる。
（３）第２のフレーム期間において、第１の光源１０３にパルス光を出射させ、次に第２の光源２０３にパルス光を出射させる。
（４）第１の光源１０３から出射されたパルス光のうち、表面反射成分Ｉ１の後端がイメージセンサ１１３に入射した後、対象物１０２の内部で散乱されて戻ってきた内部散乱成分Ｉ２がイメージセンサ１１３に入射している期間に、イメージセンサ１１３の浮遊拡散層４０４に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０４に蓄積させる。次に、第２の光源２０３から出射されたパルス光のうち、表面反射成分Ｉ１の後端がイメージセンサ１１３に入射した後、対象物１０２の内部で散乱されて戻ってきた内部散乱成分Ｉ２がイメージセンサ１１３に入射している期間に、イメージセンサ１１３の浮遊拡散層４０５に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０５に蓄積させる。

信号処理回路１１５は、第１のフレーム期間における浮遊拡散層４０４及び浮遊拡散層４０５に蓄積された信号電荷から、立ち上がり成分での酸素化ヘモグロビン量及び脱酸素化ヘモグロビン量を算出し、第２のフレーム期間における浮遊拡散層４０４及び浮遊拡散層４０５に蓄積された信号電荷から、立ち下がり成分での酸素化ヘモグロビン量及び脱酸素化ヘモグロビン量を算出した後、画像演算により、皮膚血流と脳血流のヘモグロビン濃度変化の分布を求める。

以上の構成および動作により、生体から反射した各波長のパルス光の立ち上がり成分と立ち下がり成分を、フレーム別で検出することで、皮膚血流中のヘモグロビン変化と脳血流中のヘモグロビン変化の分布を高速に求めることができる。これにより、実施形態１及び２と比べ、フレームレートが早くなる。

本実施形態では２つの浮遊拡散層を用いて説明したが、波長の数が増加するにつれ、浮遊拡散層を増加し、同様の動作を実施することで、多波長を使用する場合においてもフレームレートを早くすることが可能である。

（実施形態４）
次に、本開示の実施形態４における撮像装置１０１を説明する。本実施形態は、浮遊拡散層の制御の高速化により、対象物１０２により反射されたパルス光の立ち上がり成分と立ち下がり成分とを、第１の光源１０３により出射されたパルス光とほぼ同じタイミングで取得することができる。実施形態１から３と比べてフレームレートを向上させることができる。

画素の概略的な構成は図１１と同じである。なお、図１１は、１つの画素４０１の構成を模式的に示しており、現実の構造を必ずしも反映していない。画素４０１は、光電変換を行うフォトダイオード４０３と、信号電荷を蓄積する電荷蓄積部である２つの浮遊拡散層４０４、４０５と、信号電荷を排出するドレイン４０２とを含む。各浮遊拡散層４０４、４０５およびドレイン４０２の機能は、図２を参照しながら説明した機能と同様である。

イメージセンサ１１３は、制御回路１１４からの指令に基づいて各画素４０１における信号電荷の蓄積および排出を制御する制御回路４１４を備えている。制御回路４１４は、プロセッサとメモリとを有する回路（例えば、マイクロコントローラユニット）であり得る。制御回路４１４は、メモリに格納された制御プログラムに従い、外部の制御回路１１４からの指示に応じて浮遊拡散層４０４、４０５への信号電荷の蓄積、およびドレイン４０２への信号電荷の排出を制御する。

１回のパルス光の発光に起因して各画素４０１に入射した光は、フォトダイオード４０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路４１４から入力される制御信号に従って、ドレイン４０２に排出されるか、浮遊拡散層４０４、４０５のどちらかに振り分けられる。

図１３は、本実施形態における撮像装置１０１の動作の例を示すタイミング図である。図１３において、信号Ａは、第１の光源１０３から出射されるパルス光の波形を示している。信号Ｅは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。信号Ｆ１は、浮遊拡散層４０４のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。信号Ｆ２は、浮遊拡散層４０５のＯＮ、ＯＦＦのタイミングを示す。

１つのフレーム期間に、７５０ｎｍの波長の光を出射する第１の光源１０３を用いて撮像する。制御回路１１４は、第１の光源１０３を発光させ、その発光に同期して、パルス光の立ち上がり成分を、高速に動作が制御された浮遊拡散層４０４に信号電荷として蓄積させる。次に、パルス光の立ち下がり成分を、高速に動作が制御された浮遊拡散層４０５に信号電荷として蓄積させる。この動作を１フレーム内に複数回繰り返すことで、対象物１０２により反射されたパルス光のうち、立ち上がり成分は浮遊拡散層４０４に、立ち下がり成分は浮遊拡散層４０５に蓄積され、画像の生成に用いられる。

イメージセンサ１１３から信号処理回路１１５に送られた画像データには、浮遊拡散層４０４に蓄積された立ち上がり成分の画像データ、及び浮遊拡散層４０５に蓄積された立ち下がり成分の画像データが含まれる。ただし、立ち上がり成分も立ち下がり成分も、どちらも皮膚血流と脳血流の血流量が異なる比率で含まれるため、これらを分離すればよい。分離方法は実施形態１と同様の方法で実施が可能なため、ここでは説明は省略する。

図１４は、本実施形態における撮像装置１０１の動作の変形例を示すタイミング図である。図１４において、信号Ａは、第１の光源１０３から出射されるパルス光の波形を示している。信号Ｅは、電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示している。信号Ｆ１は、浮遊拡散層４０４のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。信号Ｆ２は、浮遊拡散層４０５のＯＮ、ＯＦＦのタイミングを示す。

図７Ｃ及び図７Ｄに示す実施形態１の変形例において説明したように、イメージセンサ１１３で検出される反射パルス光の立ち上り成分の強度は立ち下がり成分の強度に比べて大きく、信号量が飽和しやすいため、図１４に示すように、立ち上り成分を検出する露光回数を、立ち下がり成分を検出する露光回数よりも少なくしてもよい。

以上のように、本実施形態における撮像装置１０１は、対象物１０２に照射されるパルス光を発する第１の光源１０３と、イメージセンサ１１３と、制御回路１１４と、信号処理回路１１５とを備える。イメージセンサ１１３は、複数の画素を有し、各画素が、フォトダイオード４０３と、浮遊拡散層４０４、４０５とを有する。第１の光源１０３は、第一の波長域（例えば７５０ｎｍを中心とする波長域）のパルス光を出射する。制御回路１１４は、第１の光源１０３にパルス光を出射させるタイミングと、浮遊拡散層４０４に信号電荷を蓄積させるタイミングと、浮遊拡散層４０５に信号電荷を蓄積させるタイミングと、信号電荷を排出するタイミングとを制御する。制御回路１１４は、以下の動作を実行する。
（１）一つのフレーム期間において、第１の光源１０３にパルス光を出射させる。
（２）第１の光源１０３から出射されたパルス光のうち、対象物１０２の表面で反射された表面反射成分Ｉ１がイメージセンサ１１３に入射している期間である立ち上がり期間の少なくとも一部を含む期間に、イメージセンサ１１３を、浮遊拡散層４０４に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０４に蓄積させる。次に、第１の光源１０３から出射されたパルス光のうち、表面反射成分Ｉ１の後端がイメージセンサ１１３に入射した後、対象物１０２の内部で散乱されて戻ってきた内部散乱成分Ｉ２がイメージセンサ１１３に入射している期間に、イメージセンサ１１３を、浮遊拡散層４０５に信号電荷を蓄積させる状態であって、かつ信号電荷が排出されない状態にして、信号電荷を浮遊拡散層４０５に蓄積させる。
（３）（２）を１フレーム内で繰り返す。
（４）信号処理回路１１５は、浮遊拡散層４０４に蓄積された信号から、立ち上り成分での血流変化量を算出し、浮遊拡散層４０５に蓄積された信号から、立ち下がり成分での血流変化量を算出し、画像演算により、皮膚血流と脳血流の血流変化量の分布を求める。

なお、本実施の形態は１つの波長の光を用いて説明したが、対象物１０２に照射する、互いに異なる波長の光の数を増加させ、それに応じて浮遊拡散層の数を増加させてもよい。対象物１０２に照射する、互いに異なる波長の光の数を増加させることで、血中のヘモグロビン濃度変化を求めることが可能となる。

以上の構成および動作により、生体から反射した各波長のパルス光の立ち上がり成分と立ち下がり成分を、１つのフレーム内で検出することで、皮膚血流中の血流変化と脳血流中の血流変化の分布を高速に求めることができる。これにより、実施形態１から３と比べ、フレームレートがさらに早くなる。

本開示における撮像装置は、例えば、非接触で対象物の内部情報を取得するカメラ、測定機器等に有用である。本開示における撮像装置は、例えば、生体・医療センシング等に応用できる。

１０１ 撮像装置
１０２ 対象物
１０３ 第１の光源
２０３ 第２の光源
１１３ イメージセンサ
１１４ 制御回路
４０１ 画素
４０２ ドレイン
４０３ フォトダイオード
４０４ 浮遊拡散層
４１４ 制御回路

Claims (8)

1. 対象物に照射される、１つまたはそれ以上のパルス光を出射する光源と、
   前記対象物から戻った１つまたはそれ以上の反射パルス光を検出する複数の画素を含むイメージセンサと、を備え、
   前記複数の画素の各々は、
   前記対象物から戻った光を信号電荷に変換する光電変換部と、
   第１の電荷蓄積部および第２の電荷蓄積部と、を含み、
   前記イメージセンサは、
   前記１つまたはそれ以上の反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上がり期間の少なくとも一部を含む第１期間において、前記第１の電荷蓄積部で前記信号電荷を蓄積し、
   前記強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始よりも後であって、前記立ち下がり期間の一部を含む第２期間において、前記第２の電荷蓄積部で前記信号電荷を蓄積する、
   撮像装置。
2. 前記イメージセンサは、
   前記立ち上がり期間と前記立ち下がり期間との間の第３期間において、前記第１の電荷蓄積部および前記第２の電荷蓄積部で前記信号電荷を蓄積しない、
   請求項１に記載の撮像装置。
3. 前記イメージセンサは、複数のフレーム期間のそれぞれにおいて、前記第１の電荷蓄積部または前記第２の電荷蓄積部に蓄積された前記信号電荷を基に、１つのフレームの前記対象物の画像を取得し、
   前記第１期間および前記第２期間は、それぞれ、前記複数のフレーム期間の内の異なるフレーム期間に含まれる、
   請求項１または２に記載の撮像装置。
4. 前記イメージセンサは、複数のフレーム期間のそれぞれにおいて、前記第１の電荷蓄積部または前記第２の電荷蓄積部に蓄積された前記信号電荷を基に、１つのフレームの前記対象物の画像を取得し、
   前記第１期間および前記第２期間は、前記複数のフレーム期間の内の同一のフレーム期間に含まれる、
   請求項１または２に記載の撮像装置。
5. 前記１つまたはそれ以上の反射パルス光は、第１の反射パルス光と第２の反射パルス光とを含み、
   前記イメージセンサは、
   前記第１の反射パルス光の前記第１期間において、前記第１の電荷蓄積部で前記信号電荷を蓄積し、
   前記第２の反射パルス光の前記第２期間において、前記第２の電荷蓄積部で前記信号電荷を蓄積する、
   請求項１から４のいずれか１項に記載の撮像装置。
6. 前記１つまたはそれ以上の反射パルス光は、複数の反射パルス光を含み、
   前記イメージセンサは、
   複数の第１期間において、前記第１の電荷蓄積部で前記信号電荷を蓄積し、
   複数の第２期間において、前記第２の電荷蓄積部で前記信号電荷を蓄積し、
   前記複数の第１期間の数は、前記複数の第２期間の数よりも少ない、
   請求項１から４のいずれか１項に記載の撮像装置。
7. 前記対象物は生体であり、
   前記第２期間において蓄積された前記信号電荷に基づいて、前記生体の脳血流の時間変化を示すデータを生成する処理回路と、をさらに備える、
   請求項１から６のいずれかに記載の撮像装置。
8. １つまたはそれ以上のパルス光を対象物に照射する工程と、
   前記対象物から戻った１つまたはそれ以上の反射パルス光を、複数の画素を含むイメージセンサで検出する工程と、
   を含む、対象物の内部の情報を取得する方法であって、
   前記複数の画素の各々は、
   前記対象物から戻った光を信号電荷に変換する光電変換部と、
   第１の電荷蓄積部および第２の電荷蓄積部と、を含み、
   前記検出する工程において、前記イメージセンサは、
   前記１つまたはそれ以上の反射パルス光の強度が増加を開始してから増加が終了するまでの期間である立ち上がり期間の少なくとも一部を含む第１期間において、前記第１の電荷蓄積部で前記信号電荷を蓄積し、
   前記強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始よりも後であって、前記立ち下がり期間の一部を含む第２期間において、前記第２の電荷蓄積部で前記信号電荷を蓄積する、
   対象物の内部の情報を取得する方法。

Images