JP6814983B2

JP6814983B2 - 撮像装置

Info

Publication number: JP6814983B2
Application number: JP2018508932A
Authority: JP
Inventors: 貴真安藤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-03-31
Filing date: 2017-03-10
Publication date: 2021-01-20
Anticipated expiration: 2037-03-10
Also published as: CN108605086A; JPWO2017169656A1; CN108605086B; US10531015B2; US20180367742A1; WO2017169656A1

Description

本開示は、撮像装置に関する。

ピコセカンドオーダの超高速撮像（超高時間分解撮像ともいう）は、超高速ダイナミクスまたは化学反応の観察に不可欠な技術である。超高速ダイナミクスに関しては、例えば、フェムト秒レーザ加工時などの極短時間で発生する現象の観察により、材料物性の解明、破壊検査、アブレーション観察、または微細加工の精度の向上が図れる。超高速撮像による化学反応観察に関しては、例えば、分子レベルの動きである光化学反応の観測またはタンパク質の挙動の追跡が可能である。超高速撮像による化学反応観察は、医療、創薬、ヘルスケア、またはバイオテクノロジの分野に応用可能である。このような超高速撮像を実現するための技術の例が、例えば非特許文献１および２に開示されている。

Ｎａｋａｇａｗａ，Ｋｅｉｉｃｈｉｅｔａｌ．， "Ｓｅｑｕｅｎｔｉａｌｌｙｔｉｍｅｄａｌｌ−ｏｐｔｉｃａｌｍａｐｐｉｎｇｐｈｏｔｏｇｒａｐｈｙ（ＳＴＡＭＰ），" ＮａｔｕｒｅＰｈｏｔｏｎｉｃｓ，８，９，ｐｐ．６９５−７００（２０１４）Ｇａｏ，Ｌｉａｎｇｅｔａｌ．， "Ｓｉｎｇｌｅ−ｓｈｏｔｃｏｍｐｒｅｓｓｅｄｕｌｔｒａｆａｓｔｐｈｏｔｏｇｒａｐｈｙａｔｏｎｅｈｕｎｄｒｅｄｂｉｌｌｉｏｎｆｒａｍｅｓｐｅｒｓｅｃｏｎｄ，" Ｎａｔｕｒｅ，５１６，７５２９，ｐｐ．７４−７７（２０１４）

従来の超高時間分解撮像では、透過率または反射率の波長依存性に偏りがある対象を撮像する場合には適用できなかったり、高価な装置を用いたりする必要があった。

本開示の一態様は、例えばピコセカンドオーダの超高時間分解撮像を、対象の分光特性に依存せず、かつ、安価に実現し得る新たな撮像技術を提供する。

本開示の一態様に係る撮像装置は、パルス光を発する光源と、前記パルス光の光路上に配置された反射符号化素子と、撮像素子と、を備える。前記反射符号化素子は、前記光路と交差し、光透過性および光反射性を有する第１膜と、前記光路と交差し、光透過性および光反射性を有する第２膜と、前記第１膜と前記第２膜との間に位置し、かつ前記光路と交差する少なくとも１つの面上に配列された、各々が、入射する光の偏光度、位相、および強度からなる群から選択される少なくとも１つを変調させる、複数の変調領域を含む変調素子と、を含む。前記撮像素子は、対象からの光を受光し、受光した前記対象からの光に基づき、前記対象の画像を示す１つ以上の電気信号を出力する。前記第１膜および前記第２膜からなる群から選択される少なくとも一方は、前記光路に垂直な面に対して傾斜している。前記反射符号化素子は、前記第１膜と前記第２膜との間で前記パルス光を多重反射させながら、前記第２膜から前記パルス光の一部を前記対象に向けて複数回に亘って出射させる。

上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、例えば数ピコセカンド以上数百ピコセカンド以下の超高速撮像を安価に実現し得る撮像装置を提供できる。

図１は、本開示の実施形態１の撮像装置を示す模式図である。図２は、実施形態１における符号化照明を説明するための図である。図３Ａは、実施形態１における符合化照明から出射される光の強度の２次元分布の一例を示す図である。図３Ｂは、実施形態１における符合化照明から出射される光の強度の２次元分布の他の例を示す図である。図４は、実施形態１における時間分解撮像方法の概要を示すフローチャートである。図５は、本開示の実施形態２の撮像装置を示す模式図である。図６は、本開示の実施形態３における光学系を示す図である。図７は、本開示の実施形態４における反射符号化素子を示す図である。図８は、本開示の実施形態５における撮像素子の配置を示す図である。

本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

非特許文献１は、前述のような超高速撮像を可能にする技術の例を開示している。非特許文献１の技術では、広い波長帯域のパルス光が波長ごとに時間的に引き伸ばされて観察対象を照射する。観察対象の像情報を有する光は、波長に応じて空間的に分離して撮像素子で撮像される。これにより、シングルショットでの超高速撮像が実現される。

非特許文献２は、ストリークカメラを用いて、強度変調符合化された対象の２次元像を時間的にシフトさせて重畳取得することを開示している。取得された重畳画像から、符合化情報に基づいて統計演算処理を行うことにより、ピコセカンドオーダの超高時間分解画像が再構成される。非特許文献２の技術は、圧縮センシング技術の応用例であるといえる。

圧縮センシングとは、少ないサンプル数の取得データから、それよりも多くのデータを復元する技術である。測定対象の２次元座標を（ｘ、ｙ）、波長をλとすると、求めたいデータｆは、ｘ、ｙ、λの３次元のデータである。これに対し、撮像素子によって得られる画像データｇは、λ軸方向に圧縮および多重化された２次元のデータである。相対的にデータ量が少ない取得画像ｇから、相対的にデータ量が多いデータｆを求める問題は、いわゆる不良設定問題であり、このままでは解くことができない。しかし、一般に、自然画像のデータは冗長性を有しており、それを巧みに利用することでこの不良設定問題を良設定問題に変換することができる。画像の冗長性を活用してデータ量を削減する技術の例に、ｊｐｅｇ圧縮がある。ｊｐｅｇ圧縮は、画像情報を周波数成分に変換し、データの本質的でない部分、例えば、視覚の認識性が低い成分を除去するといった方法が用いられる。圧縮センシングでは、このような技法を演算処理に組入れ、求めたいデータ空間を冗長性で表された空間に変換することで未知数を削減し解を得る。この変換には、例えば、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、トータルバリエーション（ＴＶ）等が使用される。

本発明者は、従来の超高時間分解撮像には、単一波長の光を用いる場合、または、分光特性に偏りがある対象を撮像する場合には適用できなかったり、高価な装置を用いたりする必要があるという課題を見出した。本発明者は、光の反射と変調とを利用することにより、上記の課題を解決できることに想到した。

本開示は、以下の項目に記載の撮像装置を含む。

［項目１］
本開示の項目１に係る撮像装置は、
パルス光を発する光源と、
前記パルス光の光路上に配置された反射符号化素子であって、
前記光路と交差し、光透過性および光反射性を有する第１膜と、
前記光路と交差し、光透過性および光反射性を有する第２膜と、
前記第１膜と前記第２膜との間に位置し、かつ前記光路と交差する少なくとも１つの面上に配列された、各々が、入射する光の偏光度、位相、および強度からなる群から選択される少なくとも１つを変調させる、複数の変調領域を含む変調素子と、
を含む反射符号化素子と、
対象からの光を受光し、受光した前記対象からの光に基づき、前記対象の画像を示す１つ以上の電気信号を出力する撮像素子と、
を備え、
前記第１膜および前記第２膜からなる群から選択される少なくとも一方は、前記光路に垂直な面に対して傾斜し、
前記反射符号化素子は、前記第１膜と前記第２膜との間で前記パルス光を多重反射させながら、前記第２膜から前記パルス光の一部を前記対象に向けて複数回に亘って出射させる。

［項目２］
本開示の項目１に記載の撮像装置は、
前記１つ以上の電気信号と、前記第２膜から出射された前記パルス光の前記一部の強度の空間分布とに基づいて、各々が前記対象の時間ごとの画像を示す複数のデータを生成する信号処理回路をさらに備えてもよい。

［項目３］
本開示の項目２に記載の撮像装置において、
前記信号処理回路は、統計的方法によって前記複数のデータを生成してもよい。

［項目４］
本開示の項目２または３に記載の撮像装置において、
前記複数のデータの数は、前記１つ以上の電気信号の数よりも多くてもよい。

［項目５］
本開示の項目２から４のいずれかに記載の撮像装置において、
前記信号処理回路は、前記１つ以上の電気信号の値を要素とするベクトルｇと、前記第２膜から出射された前記パルス光の前記一部の時間ごとの強度の空間分布によって決定される行列Ｈとを用いて、

（ここで、τΦ（ｆ）は正則化項、τは重み係数を示す）
の式によって計算されるベクトルｆ’を、前記複数のデータとして生成してもよい。

［項目６］
本開示の項目１から５のいずれかに記載の撮像装置において、
前記第１膜および前記第２膜の、前記パルス光に対する透過率は、５％以下であってもよい。

［項目７］
本開示の項目１から６のいずれかに記載の撮像装置において、
前記変調素子は、前記光路と交差する第１面、および前記第１面と反対側の第２面を有し、
前記第１膜は、前記第１面に直接接しており、
前記第２膜は、前記第２面に直接接していてもよい。

［項目８］
本開示の項目１から７のいずれかに記載の撮像装置において、
前記反射符号化素子と前記対象との間に、少なくとも１つの集光レンズを含む光学系をさらに備えていてもよい。

本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅｓｃａｌｅｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙｌａｒｇｅｓｃａｌｅｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａｌａｒｇｅｓｃａｌｅｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅｌｏｇｉｃｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

以下、図面を参照しながら本開示の実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示している。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

本明細書では、画像を示す信号（例えば、各画素の画素値を表す信号の集合）を、「画像信号」、「画像情報」、または「画像データ」と称することがある。画像を示す信号を、単に「画像」と称することもある。

（実施形態１）
図１は、本開示の実施形態１の撮像装置１００の構成を模式的に示す図である。図１は、撮像装置１００だけでなく、測定対象物である対象１１０、および撮像装置１００から出力される画像、および信号処理回路１６０から出力される複数の画像の例も示している。撮像装置１００は、光源１２０と、ビームエクスパンダ１３０と、反射符号化素子１４０と、撮像素子（ｉｍａｇｅｓｅｎｓｏｒ）１５０とを備えている。反射符号化素子１４０は、光源１２０と対象１１０との間に配置されている。ビームエクスパンダ１３０は、光源１２０と反射符号化素子１４０との間に配置されている。撮像素子１５０は、光源１２０から出射され、ビームエクスパンダ１３０、反射符号化素子１４０、および対象１１０を透過した光を検出し、対象１１０の画像を示す電気信号である撮影画像１７０を出力する。撮影画像１７０は、信号処理回路１６０によって処理される。信号処理回路１６０は、撮影画像１７０から、時間分解画像Ｆ_１、Ｆ_２、・・・Ｆ_ｗ（まとめて「時間分解画像Ｆ」と表現することがある）を生成して出力する。

光源１２０は、パルス光を発する。光源１２０は、例えばピコセカンドオーダ以下のパルス幅の高速パルス光を出射するレーザーダイオード等によって実現され得る。ピコセカンドオーダとは、１ピコ秒（ｐｓ）以上１マイクロ秒（μｓ）未満の時間を意味する。光源１２０は、例えば、数ピコ秒以上数十ピコ秒以下のパルス幅のパルス光を発する。図１は、一例として、光源１２０が３０ｐｓのパルス幅のパルス光を出射している状況の例を示している。

光源１２０が発する光の波長は、特定の波長に限定されず、対象１１０に応じて適宜決定される。光源１２０は、可視の波長範囲に限らず、Ｘ線、紫外、近赤外、中赤外、遠赤外、または電波（例えばマイクロ波など）の波長範囲の電磁波を出射してもよい。対象１１０が例えば生体である場合、光源１２０からの光の波長は、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲の光は、赤色から近赤外線の波長範囲に含まれ、体内での吸収率が低いことで知られている。本明細書では、可視光のみならず赤外線および紫外線を含む放射全般を「光」と称する。光源１２０から出射されたパルス光は、ビームエクスパンダ１３０を通過して反射符合化素子１４０に入射する。

ビームエクスパンダ１３０は、光源１２０から出射されたパルス光の空間的なサイズを拡大する。ビームエクスパンダ１３０により、パルス光は、対象１１０の被検出部を十分覆うだけの照射面積にまで拡大される。ビームエクスパンダ１３０は、不要であれば省略してもよい。

反射符号化素子１４０は、光源１２０からの光の光路上に配置されている。反射符合化素子１４０は、互いに対向する第１膜１４２と第２膜１４４とを有する。第１膜１４２および第２膜１４４の各々は、光源１２０からの光の光路に交差して配置され、光透過性および光反射性を有する。第２膜１４４は、第１膜１４２を透過した光の光路上に配置されている。本実施形態における第１膜１４２および第２膜１４４は、平行である。第１膜１４２および第２膜１４４は、入射するパルス光の進行方向に垂直な方向に対して角度θで傾斜している。第１膜１４２と第２膜１４４との距離は、図１に示す例では１０ｍｍであるが、これに限定されない。第１膜１４２と第２膜１４４との距離は、例えば１ｍｍ以上１００ｍｍ以下であり得る。第１膜１４２と第２膜１４４との距離は、角度θに依存して適切な値に設定される。第１膜１４２と第２膜１４４とは、厳密に平行である必要はなく、後述する符号化が可能な限りにおいて、互いに傾斜していてもよい。第１膜１４２および第２膜１４４の両方が、入射するパルス光の進行方向に垂直な方向に対して角度θで傾斜している必要はない。第１膜１４２および第２膜１４４の少なくとも一方が、入射するパルス光の進行方向に垂直な方向に対して角度θで傾斜していればよい。

反射符合化素子１４０の第１膜１４２および第２膜１４４は、例えば、複数の層を含む誘電体膜である。この誘電体膜は、入射光の一部を透過させ、入射光の他の一部を反射する。本実施形態では、第１膜１４２および第２膜１４４の各々は、入射光の多く（例えば８０％以上９９．９％以下）を反射し、入射光の残りの部分を透過させる。第１膜１４２および第２膜１４４における反射率および透過率は、上記の例に限らず、用途に応じて適宜設定される。第１膜１４２および第２膜１４４は、光反射性を有しているため、「反射素子」と呼ぶことができる。

反射符合化素子１４０には、空間的にまばらに複数の吸収体１４６が配置されている。これらの吸収体１４６は、第１膜１４２と第２膜１４４との間の空間、または、第１膜１４２上もしくは第２膜１４４上に配置され得る。複数の吸収体１４６は、２次元的または３次元的に配置され得る。吸収体１４６は、光の少なくとも一部を吸収する。図１において、吸収体１４６は、黒い矩形で表現されている。図１は、簡略化のため、少数の吸収体１４６のみを示しているが、実際には多数の吸収体１４６が反射符号化素子１４０内に配置され得る。

吸収体１４６が配置された領域は、光の強度を変調させる変調領域として機能する。そこで、本実施形態では、複数の吸収体１４６が配置された複数の変調領域を含む部分を、「変調素子」と称する。すなわち、本実施形態における反射符号化素子１４０は、第１膜１４２と第２膜１４４との間に配置された変調素子を有している。変調素子は、光路に交差する少なくとも１つの面上に配列された、光の強度を変調する複数の変調領域を有する。

反射符合化素子１４０に入射した光線は、第１膜１４２と第２膜１４４との間で多重反射する。多重反射しながら、当該光線の一部は、複数回に亘って第２膜１４４を透過して対象１１０に向かう。言い換えれば、反射符号化素子１４０に入射した光の一部が、時間軸において離散的に、対象１１０の側に出射する。この過程は、図２に示すように、複数の変調領域である複数の遮光領域を有する符号化照明Ｐが、遮光領域の配置を変化させながら一定の時間間隔で明滅していると考えることができる。図２は、符号化照明Ｐの異なる２つの状態である符号化照明Ｐ_１および符号化照明Ｐ_２を例示している。

本実施形態における反射符号化素子１４０の第１膜１４２および第２膜１４４は、光の進行方向に垂直な平面に対して角度θだけ傾いている。このため、符合化照明Ｐの状態である符号化パターンは、反射符合化素子１４０の第１膜１４２と第２膜１４４との間を光が往復するごとに変化する。符号化照明Ｐの符号化パターンを変化させるためには、反射符号化素子１４０の第２膜１４４で反射された光が第１膜１４２で反射されて第２膜１４４に再び到達するまでの間に光線の位置が変化すれば良い。この光線の位置の変化を生じさせるためには、反射符号化素子１４０の傾き角度θを大きい値に設定する必要はなく、例えば、０度より大きく１０度以下にすれば十分である。

時間軸において離散的に形成される符合化照明Ｐ_１、Ｐ_２、・・・、Ｐ_ｗからの光の出射時間差は、反射符合化素子１４０の屈折率と内部を進行する光の光路長差とによって決まる。例えば、第１膜１４２と第２膜１４４との距離が１０ｍｍ、屈折率が１．５であるとすると、ある時点で第２膜１４４から出射される光と、多重反射して次に第２膜１４４から出射される光との間の光路長差は３０ｍｍである。光の速度を３．０×１０^８ｍ／ｓとすると、符合化照明Ｐが点灯してから次に点灯するまでの時間差は約１００ｐｓである。この時間差は、第１膜１４２と第２膜１４４との距離を縮小することによって短縮できる。例えば、第１膜１４２と第２膜１４４との距離を１ｍｍにすれば、時間差は約１０ｐｓになり、極めて短くなる。

一定の時間間隔で反射符号化素子１４０から出射される光のパルスは、対象１１０を、時間によって異なる符号化パターンによって強度変調する。このように強度変調された対象１１０の像が、撮像素子１５０によって取得される。撮像素子１５０は、反射符号化素子１４０で多重反射が生じている間（即ち、符号化照明Ｐが符号化パターンを変化させている間）、露光を継続する。露光中、対象１１０が高速に動的に変化すると、時間の経過とともに変化する対象１１０の画像と、符合化照明Ｐの符合化パターンである光強度の空間分布とが重畳された画像が撮像素子１５０の撮像面に形成される。撮像素子１５０は、その画像を示す電気信号である撮影画像１７０を生成して出力する。図１には、撮像素子１５０から出力される撮影画像１７０の例が模式的に示されている。なお、撮像素子１５０と対象１１０との間に、少なくとも１つのレンズを含む光学系を設置し、対象１１０にフォーカスを合わせて撮影してもよい。

撮影画像１７０は、信号処理回路１６０に直接的にまたは不図示の記録媒体（例えばメモリ）を介して送られる。信号処理回路１６０は、撮影画像１７０を取得すると、既知である符号化照明Ｐの情報に基づいて、統計演算処理を行う。符号化照明Ｐの情報は、本実施形態では、反射符号化素子１４０から出射され、対象１１０を照射する光の強度の空間分布を示す情報である。これにより、信号処理回路１６０は、撮影画像１７０を、複数の時間分解画像Ｆ_１、Ｆ_２、・・・、Ｆ_ｗに再構成する。時間分解画像Ｆｋ（ｋは、１以上ｗ以下の整数、ｗは時間分解数）は、露光を開始してから、反射符号化素子１４０の第２膜１４４をｋ番目に通過する光による画像を表す。時間分解画像Ｆの相互の時間差は、符号化照明Ｐの時間差に対応している。例えば、図１に示すように、符号化照明Ｐが１００ｐｓ間隔のパルス光である場合には、時間分解画像Ｆも１００ｐｓ間隔で得られる。

反射符号化素子１４０は、光の経路に直交する平面に投影して格子状に区分けしたとき、２次元的に配列された、光透過率が異なる複数の領域を含む。ここでは、反射符号化素子１４０は、光が入射する方向から見て、縦にＭ個、横にＮ個のＭ×Ｎ個の矩形領域を含むものとする。反射符号化素子１４０における各領域の光透過率の空間分布は、例えばランダム分布または準ランダム分布であり得る。

ランダム分布および準ランダム分布は次の式（１）で定義される自己相関関数を用いて定義することができる。

式（１）において、ｘ（ｍ，ｎ）は、反射符号化素子１４０において、縦方向にｍ番目、横方向にｎ番目に配置された矩形領域の光透過率を表す。ｉは、矩形領域の位置を示す変数であり、ｉ＝−（Ｍ−１），・・・，−１，０，１，・・・，（Ｍ−１）、ｊ＝−（Ｎ−１），・・・，−１，０，１，・・・，（Ｎ−１）である。ただし、ｍ＜１，ｎ＜１，ｍ＞Ｍ，ｎ＞Ｎのときｘ（ｍ，ｎ）＝０とする。このとき、ランダム分布とは、式（１）で定義される自己相関関数ｙ（ｉ，ｊ）がｙ（０，０）において極大値を有し、その他（ｉ≠０、ｊ≠０）において極大値を有さないことを言う。より具体的には、自己相関関数ｙ（ｉ，ｊ）は、ｉ＝０からＭ−１および−（Ｍ−１）に向かうにつれて単調に減少し、かつ、ｊ＝０からＮ−１および−（Ｎ−１）に向かうにつれて単調に減少することを言う。また、準ランダム分布とは、自己相関関数ｙ（ｉ，ｊ）がｙ（０，０）のほかにｉ方向にＭ／１０箇所以下の極大値を有し、ｊ方向にＮ／１０箇所以下の極大値を有することを言う。

反射符号化素子１４０の各領域の光透過率は、各領域（セル）の透過率が略０または略１のいずれかの値を取り得るバイナリ−スケールの透過率分布でもよいし、透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布でも良い。全セルのうちの一部（例えば半分）のセルを、透明領域に置き換えてもよい。そのような構成では、複数の透明領域は、例えば市松状（チェッカー状）に配置され得る。すなわち、反射符号化素子１４０における複数の領域の２つの配列方向（例えば、縦方向および横方向）において、光透過率が異なる領域と、透明領域とが交互に配列され得る。

反射符号化素子１４０は、複数の層を含む誘電体膜、有機材料、回折格子構造、各種遮光材料などを用いて構成され得る。

図３Ａは、本実施形態における符号化照明Ｐの強度分布の例を示す図である。図３Ａにおいて、光強度を０から１で正規化した場合、白い部分の光強度はほぼ１であり、黒い部分の光強度はほぼ０である。符号化照明Ｐにおける光強度の２次元分布は、例えばランダム分布または準ランダム分布であり得る。ランダム分布および準ランダム分布の考え方は、前述したとおりである。各符号化照明Ｐ_１、Ｐ_２、・・・、Ｐ_ｗは、２次元的に異なるランダム分布を有している。

符号化照明Ｐによる対象１１０の符号化過程は、各時間（ｔ＝ｔ_１、ｔ_２、・・・、ｔ_ｗ）の光による画像を区別するためのマーキングを行う過程といえる。そのようなマーキングが可能である限り、光強度の分布は任意に設定してよい。図３Ａに示す例では、黒い部分の数と白い部分の数との比率は１：１であるが、このような比率に限定されない。例えば、白い部分の数：黒い部分の数＝１：９のような一方に偏りのある分布であってもよい。

図３Ｂは、符号化照明Ｐの他の構成例を示す図である。この場合、符号化照明Ｐにおける各領域は、３段階以上の光強度の値を有する。

図３Ａおよび図３Ｂに示すように、符号化照明Ｐは、時間ｔ_１、ｔ_２、・・・、ｔ_ｗごとに異なる空間強度分布をもつ。ただし、各時間の空間強度分布は、空間方向に平行移動させた際に一致しても良い。

このような符号化照明Ｐの空間強度分布に関する情報は、設計データまたは実測によって事前に取得され、後述する演算処理に利用される。

なお、反射符号化素子１４０では、反射の回数が増加するほど、吸収体１４６による光の減衰が大きくなる。このため、実際には、図３Ａおよび図３Ｂに示す複数の符号化照明のうち、符号化照明Ｐ_１が最も明るく、符号化照明Ｐ_ｗは最も暗くなる。

次に、撮像素子１５０および信号処理回路１６０の構成を説明する。

撮像素子１５０は、撮像面に２次元に配列された複数の光検出セル（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの撮像素子である。撮像素子１５０は、例えばＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサ、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、またはミリ波アレイセンサであり得る。光検出セルは、例えばフォトダイオードを含む。撮像素子１５０は、必ずしもモノクロタイプの撮像素子である必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。撮像素子１５０は、可視の波長範囲に限らず、Ｘ線、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲に検出感度を有していてもよい。

信号処理回路１６０は、撮像素子１５０から出力された画像信号を処理する回路である。信号処理回路１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）および画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、例えばメモリなどの記録媒体に格納され、ＣＰＵなどのプロセッサがそのプログラムを実行することにより、後述する演算処理を実行できる。信号処理回路１６０は、撮像装置１００の外部の要素であってもよい。撮像装置１００に電気的に接続されたパーソナルコンピュータ（ＰＣ）、またはインターネット上のクラウドサーバなどの信号処理装置が、信号処理回路１６０を有していてもよい。そのような信号処理装置と撮像装置とを含むシステムは、「時間分解システム」と称することができる。

以下、本実施形態における撮像装置１００の動作を説明する。

図４は、本実施形態における時間分解撮像方法の概要を示すフローチャートである。まず、ステップＳ１０１において、反射符号化素子１４０を用いて入射光の光学特性（例えば光の電界の振幅）を時間ごとに空間的に変調させる。これは、反射符号化素子１４０における第１膜および第２膜と、その間の変調素子によって実現される。なお、変調させる光学特性は、振幅に限らず、後述する実施形態のように、位相特性または偏光特性でもよい。次に、ステップＳ１０２において、反射符号化素子１４０を透過した光である符号化照明Ｐによって符号化された対象の像が時間軸において重畳した画像を撮像素子１５０によって取得する。これは、前述のように、反射符号化素子１４０において多重反射が生じている間、撮像素子１５０が露光を継続することによって実現される。続くステップＳ１０３において、撮像素子１５０によって取得された撮影画像１７０と、符号化照明Ｐの光強度の空間分布とに基づいて、時間ごとの複数の画像を生成する。

図１には、撮影画像１７０の例が模式的に示されている。図１に示す撮影画像１７０に含まれている複数の黒い点は、符号化によって生じた低輝度の部分を模式的に表している。図１に示す黒い点の数および配置は、現実の数および配置を反映していない。実際には、図１に示す数よりも多くの低輝度の部分が生じ得る。撮像素子１５０における複数の光検出セルによって多重像の情報が複数の電気信号に変換され、撮影画像１７０が生成される。

次に、撮影画像１７０、および符号化照明Ｐの時間ごとの強度の空間分布特性に基づいて、時間ごとの時間分解画像Ｆを再構成する方法を説明する。

求めたいデータは時間分解画像Ｆであり、そのデータをｆと表す。時間分解数をｗとすると、ｆは各時間の画像データｆ_１、ｆ_２、・・・、ｆ_ｗを統合したデータである。求めるべき画像データのｘ方向の画素数をｎ、ｙ方向の画素数をｍとすると、画像データｆ_１、ｆ_２、・・・、ｆ_ｗの各々は、ｎ×ｍ画素の２次元データの集まりである。したがって、データｆは要素数ｎ×ｍ×ｗの３次元データである。一方、符号化照明Ｐによって符号化および多重化されて取得される撮影画像１７０のデータｇの要素数はｎ×ｍである。すなわち、対象１１０の時間ごとの複数の画像データｆのデータ数は、撮像素子１５０から出力される電気信号である撮影画像１７０のデータ数よりも多い。本実施形態におけるデータｇは、以下の式（２）で表すことができる。

ここで、ｆ_１、ｆ_２、・・・、ｆ_ｗは、ｎ×ｍ個の要素を有するデータであるため、右辺のベクトルは、厳密にはｎ×ｍ×ｗ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換して表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ_１、ｆ_２、・・・、ｆ_ｗを時間ごとに異なる符号化情報で符号化し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×ｗ列の行列である。

さて、ベクトルｇと行列Ｈとが与えられれば、式（２）の逆問題を解くことでｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×ｗが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施形態の信号処理回路１６０は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（３）を解くことにより、求めるデータｆを推定する。

ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項（または安定化項）である。式（３）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路１６０は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。

式（３）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等によって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象１１０のスパース性は、対象１１０のテキスチャによって異なる。対象１１０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数であり、この値が大きいほど冗長的なデータの削減量が多くなり、小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。

なお、ここでは式（３）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、時間分解画像Ｆの数は任意であり、各時間間隔も任意に設定してよい。

本実施形態によれば、比較的安価な構成で、ピコセカンドオーダ以下の超高速撮像が可能である。本実施形態によれば、狭帯域（例えば単一波長）の光を用いる場合、または、対象１１０の透過率または反射率の波長依存性に偏りがある場合であっても、高い時間分解能の撮像が可能である。

（実施形態２）
実施形態２の撮像装置は、反射符号化素子１４０における変調素子が、光の強度ではなく偏光度を空間的に変調させる点で、実施形態１の撮像装置とは異なっている。以下、実施形態１と異なる点を説明し、同様の内容についての詳細な説明は省略する。

図５は、本実施形態における撮像装置２００の構成を模式的に示す図である。本実施形態における反射符号化素子１４０は、第１膜である第１の反射素子２３０と、第２膜である第２の反射素子２４０と、それらの間の変調素子２１０とを有する。第１の反射素子２３０および第２の反射素子２４０の少なくとも１つは、光源１２０からの光の入射方向に垂直な面に対し、角度θだけ傾斜して設置されている。第１の反射素子２３０および第２の反射素子２４０は、所定の光透過率を有しており、一部の光を透過させ、他の一部の光を反射する。第１の反射素子２３０および第２の反射素子２４０は、例えば、複数の層を含む誘電体膜で形成することができる。変調素子２１０は、透過する光の偏光度を２次元的にランダムに変調する。第１の反射素子２３０が光軸に対して角度θだけ傾いているため、多重反射を繰り返すごとに第２の反射素子２４０において光線が透過する位置が変化する。このため、２次元的な偏光分布が変化する。したがって、反射符号化素子１４０は、一定の時間間隔で、対象１１０に、空間的に偏光方向が異なる光束を出射する。

本実施形態における撮像装置２００は、光源１２０と第１の反射素子２３０との間に配置された直線偏光子であるポラライザ１８０と、第２の反射素子２４０と対象１１０との間に配置された直線偏光子であるアナライザ１９０とを備えている。図５に示されている例では、ポラライザ１８０の偏光透過軸の方向とアナライザ１９０の偏光透過軸の方向とは一致している。反射符号化素子１４０の前後にポラライザ１８０とアナライザ１９０とをそれぞれ設けることにより、反射符号化素子１４０から出力された光の偏光状態の空間分布を光強度の空間分布に変換することができる。

本実施形態では、ポラライザ１８０、反射符号化素子１４０、およびアナライザ１９０の組み合わせが、図２に示す符号化照明Ｐとして機能する。本実施形態でも、符号化照明Ｐは、２次元的な強度分布を示す符号化パターンを有する。

本実施形態における変調素子２１０は、光源１２０からの光の光路に直交する１つの面上に２次元的に配列された、光の偏光度を変調させる複数の変調領域を有する。各変調領域には、例えば液晶、水晶、セロハン等の複屈折材料が、領域ごとに偏光方向がランダムになるように配置される。あるいは、偏光度を変調させる空間光変調器（ＳＬＭ）を用いても良い。ＳＬＭは動的に空間的な偏光分布を変更できるが、本実施形態における変調素子２１０は、空間的にランダムな偏光分布を実現できれば良く、動的に変化させる必要はない。

吸収体を用いて強度変調する実施形態１の構成では、多重反射の際に、反射の回数に応じて遮蔽率が増加する。これに対し、本実施形態の構成では、反射の回数が増加しても遮蔽率が変化しない。したがって、本実施形態によれば、実施形態１よりも多くの符号化照明Ｐの状態を実現でき、高時間分解撮像の時間分解数を増やすことができる。本実施形態では、例えば、図５に示されているように、第１の反射素子２３０と第２の反射素子２４０との間の距離を１．５ｍｍとすれば、約１０ｐｓごとの画像を取得することができる。

本実施形態における第１の反射素子２３０および第２の反射素子２４０の光透過率は、比較的小さい値に設定され得る。第１の反射素子２３０および第２の反射素子２４０の光透過率は、例えば、５％以下であってもよく、１％以下であってもよく、０．１％以下であってもよい。一例として、光透過率が１％、光反射率が９９％の場合、符号化照明Ｐ_１から符号化照明Ｐ_１０の光強度は表１に示すとおりである。

この場合、符号化照明Ｐ_１と符号化照明Ｐ_１０との光強度差を、２割弱に抑えることができ、符号化照明Ｐ間の光強度差を低減することができる。第１の反射素子２３０および第２の反射素子２４０の光透過率を低くすると、全体的に絶対的な光量が低下する。しかし、光源１２０の強度を高くすることにより、対象１１０を強度変調する上で十分な光強度を確保することが可能である。第１の反射素子２３０および第２の反射素子２４０の反射率を高くすると、不要な反射光である迷光が多く発生する。そこで、迷光対策を施しても良い。例えば、第１の反射素子２３０によって光源１２０側に反射される光の進行方向に光吸収部材を設置しても良い。

第１の反射素子２３０および第２の反射素子２４０は、後述の実施形態４（図７）のように、変調素子２１０に密着していてもよい。これらを密着させることにより、第１膜と第２膜との間の光路長差を小さくすることができる。その結果、符号化照明Ｐのパルス間隔を縮小できるため、より短い時間での高速撮影を行うことができる。

光源１２０として、直線偏光を出射するレーザ光源を用いる場合、ポラライザ１８０を省略しても良い。しかし、この場合でもアナライザ１９０は配置される。

（実施形態３）
実施形態３は、符号化照明Ｐの変調パターンを、光学系を用いて縮小する点で、実施形態１、２と異なっている。以下、実施形態１、２と異なる事項を説明し、同様の内容についての詳細な説明は省略する。

図６は、実施形態３の光学系２２０を模式的に示す図である。本実施形態の撮像装置は、反射符号化素子１４０と対象１１０との間に、少なくとも１つの集光レンズを含む光学系２２０を備えている。光学系２２０は、集光光学系であり、比較的高い倍率で、入射光を集束させる。本実施形態における符号化照明Ｐは、実施形態１、２のいずれの構成を備えていてもよい。

光学系２２０は、反射符号化素子１４０から出射した光を集束させることにより、符号化照明Ｐの空間的なサイズを縮小する。その結果、図６に例示するように、縮小された符号化照明Ｐ’で対象１１０を照射する場合と同等の効果が得られる。光学系２２０を配置することにより、符号化照明Ｐの変調パターンの空間解像度を高めることができる。その結果、例えば細胞または分子などの微細な対象１１０を観察することができる。

光学系２２０を配置することにより、反射符号化素子１４０を作成する際の微細加工の負荷を低減することができる。例えば、反射符号化素子１４０の符号化分布の解像度である隣接する変調領域の中心間の距離が１μｍ以上１０μｍ以下であっても、光学系２２０の倍率を、例えば、２倍以上２０倍以下にすることにより、サブミクロン（１μｍ未満）の解像度の符号化照明Ｐを実現することができる。さらに、紫外線またはＸ線のような短波長の電磁波を用いれば、空間分解能をさらに向上させることができる。

（実施形態４）
実施形態４は、変調素子２１０が位相変調素子である点で、実施形態２と異なっている。以下、実施形態２と異なる点を説明し、同様の内容についての詳細な説明は省略する。

図７は、本実施形態における変調素子２１０、ポラライザ１８０、およびアナライザ１９０の構成を模式的に示す図である。図７では、光源１２０および撮像素子１５０などの構成要素の図示は省略されている。本実施形態における変調素子２１０は、光源１２０からの光の光路に交差する１つの面上に配列された、光の位相を変調させる複数の変調領域を有している。複数の変調領域は、第２の反射素子２４０から出射される光の位相が２次元的にランダムに異なるように透過光を変調させる。図７において、変調素子２１０の黒と白の箇所は、屈折率または位相のシフト量が異なることを示す。例えば、黒の領域を１回透過した光と白の領域を１回透過した光との間で位相が１８０度異なる。このように構成することで、出射光の位相の空間的な分布が時間軸において異なる符号化照明Ｐを生成できる。出射光の位相は対象１１０の位相によりさらに変調される。本実施形態によれば、超高速撮影が可能な位相差顕微鏡を実現できる。本実施形態における撮像素子１５０は、画素ごとに、位相差の情報をポラライザ１８０、およびアナライザ１９０の構成により強度情報に変換して画像情報として出力する。

変調素子２１０における位相分布は、バイナリ（２種類）の位相分布に限定されない。段階的なグレースケールの位相分布であっても良い。変調素子２１０は、屈折率の異なる複数の材料、液晶、複屈折材料または空間光変調器（ＳＬＭ）を用いて容易に構成できる。

図７に示すように、本実施形態における第１の反射素子２３０および第２の反射素子２４０は変調素子２１０に密着している。言い換えれば、第１の反射素子２３０および第２の反射素子２４０、および変調素子２１０は、単一の光学部品として作製され、配置されている。このような構成により、第１の反射素子２３０および第２の反射素子２４０間の距離を短くできるため、時間分解能を高めることができる。第１の反射素子２３０および第２の反射素子２４０は、変調素子２１０から離れていても良い。

（実施形態５）
実施形態５は、撮像素子１５０が対象１１０の反射像を撮影する点で、実施形態１から４と異なっている。以下、実施形態１から４と異なる点を説明し、同様の内容についての詳細な説明は省略する。

図８は、本実施形態における撮像素子１５０の配置を示す図である。符号化照明Ｐによって光学変調（例えば、強度変調、偏光変調、または位相変調など）された対象１１０の反射像が撮像素子１５０によって観察される。本実施形態において、反射符号化素子１４０の構成は、実施形態１から４のいずれの構成でもよい。

本実施形態では、符号化照明Ｐから出射される光の強度の３次元的な空間分布が予め取得され得る。これにより、撮像素子１５０によって取得された画像に基づいて、対象１１０の３次元像を生成できる。あるいは、符号化照明Ｐと撮像素子１５０との間の視差に基づく幾何学的計算により、対象１１０の３次元像を再構成できる。

本開示における撮像装置は、例えばピコセカンドオーダ以下の超高速撮像用のカメラまたは測定機器に有用である。本開示における撮像装置は、例えば、超高速ダイナミクス、化学反応または分子の挙動の観察等に応用できる。

１００，２００撮像装置
１１０対象
１２０光源
１３０ビームエクスパンダ
１４０反射符合化素子
１５０撮像素子
１６０信号処理回路
１７０撮影画像
１８０ポラライザ
１９０アナライザ
２１０変調素子
２２０光学系
２３０第１の反射素子
２４０第２の反射素子
Ｆ，Ｆ_１，Ｆ_２，Ｆ_ｗ時間分解画像
Ｐ，Ｐ’，Ｐ_１，Ｐ_２，Ｐ_ｗ符合化照明

Claims

パルス光を発する光源と、
前記パルス光の光路上に配置された反射符号化素子であって、
前記光路と交差し、光透過性および光反射性を有する第１膜と、
前記光路と交差し、光透過性および光反射性を有する第２膜と、
前記第１膜と前記第２膜との間に位置し、かつ前記光路と交差する少なくとも１つの面上に配列された、各々が、入射する光の偏光度、位相、および強度からなる群から選択される少なくとも１つを変調させる、複数の変調領域を含む変調素子と、
を含む反射符号化素子と、
対象からの光を受光し、受光した前記対象からの光に基づき、前記対象の画像を示す１つ以上の電気信号を出力する撮像素子と、
を備え、
前記第１膜および前記第２膜からなる群から選択される少なくとも一方は、前記光路に垂直な面に対して傾斜し、
前記反射符号化素子は、前記第１膜と前記第２膜との間で前記パルス光を多重反射させながら、前記第２膜から前記パルス光の一部を前記対象に向けて複数回に亘って出射させる、
撮像装置。
前記１つ以上の電気信号と、前記第２膜から出射された前記パルス光の前記一部の強度の空間分布とに基づいて、各々が前記対象の時間ごとの画像を示す複数のデータを生成する信号処理回路をさらに備える、
請求項１に記載の撮像装置。
前記信号処理回路は、統計的方法によって前記複数のデータを生成する、
請求項２に記載の撮像装置。
前記複数のデータの数は、前記１つ以上の電気信号の数よりも多い、
請求項２または３に記載の撮像装置。
前記信号処理回路は、前記１つ以上の電気信号の値を要素とするベクトルｇと、前記第２膜から出射された前記パルス光の前記一部の時間ごとの強度の空間分布によって決定される行列Ｈとを用いて、
（ここで、τΦ（ｆ）は正則化項、τは重み係数を示す）
の式によって計算されるベクトルｆ’を、前記複数のデータとして生成する、
請求項２から４のいずれかに記載の撮像装置。
前記第１膜および前記第２膜の、前記パルス光に対する透過率は、５％以下である、
請求項１から５のいずれかに記載の撮像装置。
前記変調素子は、前記光路と交差する第１面、および前記第１面と反対側の第２面を有し、
前記第１膜は、前記第１面に直接接しており、
前記第２膜は、前記第２面に直接接している、
請求項１から６のいずれかに記載の撮像装置。
前記反射符号化素子と前記対象との間に、少なくとも１つの集光レンズを含む光学系をさらに備える、
請求項１から７のいずれかに記載の撮像装置。