JP7404533B2 - 撮像システム及び撮像装置 - Google Patents

Description

本開示の技術は、撮像システム及び撮像装置に関する。

細胞等の小さな観察対象物体を撮像する装置を小型化するために、光学系部品を排除した、いわゆるレンズフリーのデジタルホログラフィが知られている。デジタルホログラフィでは、レーザ光等のコヒーレントな光を発する光源と撮像センサとを用いて観察対象物体を撮像し、撮像により得られた干渉縞画像を再構成することにより、再構成画像が生成される。

また、このデジタルホログラフィに超解像技術を適用することが知られている（例えば、特許文献１参照）。超解像技術は、撮像センサの解像度を超える画像を生成する技術である。特許文献１には、照射角度が異なる複数の照射位置から観察対象物体に光を照射することにより得られる複数の画像に基づいて、超解像の干渉縞画像（以下、超解像干渉縞画像という。）を生成することが開示されている。超解像干渉縞画像を再構成することにより、高精細な再構成画像が得られる。

また、デジタルホログラフィにおいて、微小な流路であるマイクロ流路（マイクロ流体チャネルとも称される。）に流れる細胞等を観察対象として撮像を行うことが知られている（例えば、特許文献２参照）。特許文献２には、マイクロ流路に流れる観察対象物体を撮像センサにより動画撮像しながら、干渉縞画像をリアルタイムに処理することが開示されている。

特表２０１４－５０７６４５号公報 特開２０１７－０７５９５８号公報

特許文献１に記載の技術は、複数の照射位置から観察対象物体に光を照射することにより、複数回の撮像を行う必要があるので、複数回の撮像中に観察対象物体が静止していることが前提とされている。このため、特許文献１に記載の技術では、特許文献２に記載のようにマイクロ流路に流れる観察対象物体の超解像干渉縞画像を生成することは困難である。

本開示の技術は、流路を流れる観察対象物体の超解像干渉縞画像を生成することを可能とする撮像システム及び撮像装置を提供することを目的とする。

上記目的を達成するために、本開示の撮像システムは、第１方向に向けて光を照射する光源であって、第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、第１方向に直交する撮像面であって、かつ第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、流路を通過した光を撮像して干渉縞画像を出力する撮像センサと、撮像センサから出力される複数の干渉縞画像に基づいて、超解像干渉縞画像を生成する情報処理装置とを備える。

複数の画素は、撮像面内において、Ｘ方向に第１配列ピッチで配列されており、かつＸ方向に直交するＹ方向に第２配列ピッチで配列されていることが好ましい。

第１配列ピッチをＸ方向成分とし、かつ第２配列ピッチをＹ方向成分とする対角方向ベクトルが、第２方向に平行であることが好ましい。

第１配列ピッチと第２配列ピッチとは等しいことが好ましい。

連続する２つの撮像周期において撮像センサから出力される２つの干渉縞画像のずれ量は、Ｘ方向への成分が第１配列ピッチの非整数倍であり、かつＹ方向への成分が第２配列ピッチの非整数倍であることが好ましい。

ずれ量は、Ｘ方向への成分が第１配列ピッチよりも小さく、かつＹ方向への成分が第２配列ピッチよりも小さいことが好ましい。

情報処理装置は、連続する２つの撮像周期において撮像センサから出力される２つの干渉縞画像に基づいてずれ量を算出し、算出したずれ量と、２つの干渉縞画像とに基づいて超解像干渉縞画像を生成することが好ましい。

情報処理装置は、超解像干渉縞画像を再構成することにより再構成画像を生成することが好ましい。

情報処理装置は、再構成位置を変更しながら再構成画像を生成する再構成処理と、再構成処理により再構成画像が生成されるたびに再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、合焦位置検出処理により検出した合焦位置における再構成画像を最適再構成画像として出力する最適再構成画像出力処理とを実行する。

第１方向に向けて光を照射する光源であって、第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、第１方向に直交する撮像面であって、かつ第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、流路を通過した光を撮像して干渉縞画像を出力する撮像センサとを備える。

本開示の技術によれば、流路を流れる観察対象物体の超解像干渉縞画像を生成することを可能とする撮像システム及び撮像装置を提供することができる。

デジタルホログラフィシステムの構成の一例を示す図である。 撮像装置の構成の一例を示す図である。 マイクロ流路と撮像センサとの位置関係の一例を示す平面図である。 撮像センサの画素配列の一例を示す図である。 対角方向ベクトルを説明する図である。 細胞により干渉縞が生成される様子を示す図である。 回折光及び透過光が、互いに強め合う場合における波面を示す図である。 回折光及び透過光が、互いに弱め合う場合における波面を示す図である。 撮像センサから出力される干渉縞画像の一例を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置の機能構成の一例を示すブロック図である。 撮像装置の撮像動作を説明する図である。 ずれ量算出処理の一例を模式的に示す図である。 ずれ量ＤのＸ方向成分及びＹ方向成分の第１配列ピッチ及び第２配列ピッチとの関係の一例を示す図である。 位置合わせ処理及び統合処理の一例を模式的に示す図である。 再構成処理を説明する図である。 繰り返し処理の流れの一例を示すフローチャートである。 合焦位置の探索処理の一例を示す図である。 撮像センサの変形例を示す図である。 変形例に係る対角方向ベクトルを説明する図である。

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

図１は、撮像システムの一例であるデジタルホログラフィシステム２の構成を示す。デジタルホログラフィシステム２は、情報処理装置１０と撮像装置１１とで構成される。情報処理装置１０には、撮像装置１１が接続されている。

情報処理装置１０は、例えば、デスクトップ型のパーソナルコンピュータである。情報処理装置１０には、ディスプレイ５、キーボード６、及びマウス７などが接続されている。キーボード６及びマウス７は、ユーザが情報を入力するための入力デバイス８を構成する。入力デバイス８には、タッチパネル等も含まれる。

図２は、撮像装置１１の構成の一例を示す。撮像装置１１は、光源２０及び撮像センサ２２を有する。光源２０は、例えばレーザーダイオードである。光源２０は、発光ダイオードとピンホールとを組み合わせて構成されたものであってもよい。

光源２０と撮像センサ２２との間には、マイクロ流路１３が配置される。マイクロ流路１３は、例えばシリコーン樹脂により形成された流路ユニットに形成されており、液体を流すことが可能な流路である。流路ユニットは、透光性を有しており、流路ユニットの外部からマイクロ流路１３内に光を照射することが可能である。流路ユニットは、撮像装置１１内に固定されていてもよいし、撮像装置１１に対して着脱自在であってもよい。

マイクロ流路１３には、細胞１２等を含む溶液１４を導入するための開口部１３Ａと、マイクロ流路１３に導入された溶液１４を排出するための開口部１３Ｂが設けられている。マイクロ流路１３は、本開示の技術に係る「流路」の一例である。

溶液１４は、図示しないタンクからマイクロ流路１３の開口部１３Ａに導入され、マイクロ流路１３内を一定の速度で流れて開口部１３Ｂから排出される。光源２０、撮像センサ２２、及びマイクロ流路１３は、例えば、図示しないインキュベータ内に配置されている。撮像装置１１は、例えば、溶液１４に含まれる細胞１２を撮像対象として撮像を行う。細胞１２は、本開示の技術に係る「観察対象物体」の一例である。

光源２０は、マイクロ流路１３に向けて照射光２３を照射する。照射光２３は、コヒーレントな光である。照射光２３は、マイクロ流路１３に入射し、マイクロ流路１３を通過した後、撮像センサ２２の撮像面２２Ａに入射する。矢印で示すＺ方向は、照射光２３の照射方向である。光源２０から照射される照射光２３が広がりを有する光束である場合には、Ｚ方向は、光束の中心軸方向に対応する。Ｚ方向は、本開示の技術に係る「第１方向」の一例である。

マイクロ流路１３は、Ｚ方向に直交するＡ方向に延伸している。マイクロ流路１３は、観察対象物体としての細胞１２を、Ａ方向に流す流路である。Ａ方向は、本開示の技術に係る「第２方向」の一例である。また、図２において、符号Ｂは、Ｚ方向及びＡ方向に直交する方向を示している。

なお、マイクロ流路１３の形状、及び開口部１３Ａ，１３Ｂの数は、適宜変更可能である。また、光源２０と撮像センサ２２との間に配置されるマイクロ流路１３の数は１に限られず、２以上であってもよい。本実施形態では、光源２０と撮像センサ２２との間に１つのマイクロ流路１３が配置されているとする。

撮像センサ２２は、例えば、モノクロのＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。撮像センサ２２の撮像動作は、情報処理装置１０により制御される。撮像センサ２２は、撮像面２２Ａが、Ｚ方向に直交するように配置されている。なお、撮像面２２Ａと、マイクロ流路１３が形成された流路ユニットとの距離Ｌは、可能な限り小さいことが好ましい。また、撮像面２２Ａと流路ユニットとを接触させる（すなわち、Ｌ＝０とする）ことも好ましい。

マイクロ流路１３内の溶液１４に照射光２３が入射し、細胞１２で照射光２３が回折されることにより、細胞１２の形状が反映された干渉縞が生じる。

図３は、平面視におけるマイクロ流路１３と撮像センサ２２との位置関係の一例を示す。撮像センサ２２は、平面視における外形が矩形状である。撮像センサ２２は、各辺が、マイクロ流路１３が細胞１２を流す方向であるＡ方向に対して４５°の角度をなすように、傾斜した状態で配置されている。

図４は、撮像センサ２２の画素配列の一例を示す。撮像センサ２２は、撮像面２２Ａに配置された複数の画素２２Ｂを有する。画素２２Ｂは、入射光を光電変換することにより、入射光量に応じた画素信号を出力する光電変換素子である。撮像面２２Ａには、Ａ方向とは非平行に複数の画素２２Ｂが二次元配列されている。

画素２２Ｂは、Ｘ方向及びＹ方向に沿って等ピッチで配列されている。画素２２Ｂの配列は、いわゆる正方配列である。なお、Ｘ方向は、Ｚ方向に直交する方向である。Ｙ方向は、Ｘ方向及びＺ方向に直交する方向である。本実施形態では、Ｘ方向及びＹ方向は、平面視における撮像センサ２２の外形の直交する２辺とそれぞれ平行である（図３参照）。すなわち、Ｘ方向がＡ方向となす角度θｘと、Ｙ方向がＡ方向となす角度θｙとは、それぞれ４５°である。

画素２２Ｂは、Ｘ方向に第１配列ピッチΔＸで配列されており、かつ、Ｙ方向に第２配列ピッチΔＹで配列されている。本実施形態では、第１配列ピッチΔＸと第２配列ピッチΔＹは等しい。すなわち、本実施形態では、画素２２Ｂの配列は、いわゆる正方配列である。

また、図５に示すように、第１配列ピッチΔＸをＸ方向成分とし、かつ第２配列ピッチΔＹをＹ方向成分とする対角方向ベクトルＶは、Ａ方向に平行である。

撮像センサ２２は、撮像面２２Ａに入射する光を撮像し、画素２２Ｂの各々から出力される画素信号により構成される画像データを出力する。以下では、単に、画像を出力するという。

図６は、観察対象物体としての細胞１２により干渉縞が生成される様子を示す。マイクロ流路１３に入射した照射光２３は、一部が細胞１２によって回折される。すなわち、照射光２３は、細胞１２によって回折される回折光３０と、細胞１２によって回折されず、マイクロ流路１３を透過する透過光３１とに分かれる。透過光３１は平面波である。回折光３０及び透過光３１は、マイクロ流路１３を透過して、撮像センサ２２の撮像面２２Ａに入射する。

回折光３０と透過光３１とは、互いに干渉することにより、干渉縞３３が生じる。干渉縞３３は、明部３６及び暗部３８により構成される。図６では、干渉縞３３は、明部３６及び暗部３８をそれぞれ円形として図示しているが、干渉縞３３の形状は、細胞１２の形状及び内部構造に応じて変化する。撮像センサ２２は、撮像面２２Ａに形成された干渉縞３３を含む光像を撮像し、干渉縞３３を含む干渉縞画像ＦＰ（図７参照）を出力する。干渉縞画像ＦＰは、ホログラム画像とも称される。

図７及び図８は、回折光３０及び透過光３１の波面を示す。図７は、回折光３０及び透過光３１が、互いに強め合う場合における波面を示す。図８は、回折光３０及び透過光３１が、互いに弱め合う場合における波面を示す。図７及び図８において、実線は回折光３０及び透過光３１の最大振幅の波面を示す。これに対して、破線は回折光３０及び透過光３１の最小振幅の波面を示す。

図７において、撮像面２２Ａ上に示す白点３５は、回折光３０及び透過光３１の波面が揃って強め合う部分である。白点３５の部分は、干渉縞３３の明部３６（図６参照）に対応する。図８において、撮像面２２Ａ上に示す黒点３７は、回折光３０及び透過光３１の波面が半波長分ずれて弱め合う部分である。黒点３７の部分は、干渉縞３３の暗部３８（図６参照）に対応する。

図９は、撮像センサ２２から出力される干渉縞画像ＦＰの一例を示す。図９に示す干渉縞画像ＦＰは、撮像センサ２２の撮像領域に含まれる１つの細胞１２（図６参照）により照射光２３が回折されることにより生じた１つの干渉縞３３が含まれている。

図１０は、情報処理装置１０のハードウェア構成の一例を示す。図１０に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）４０、記憶装置４１、及び通信部４２を備え、これらはバスライン４３を介して相互接続されている。また、バスライン４３には、前述のディスプレイ５及び入力デバイス８が接続されている。

ＣＰＵ４０は、記憶装置４１に格納された作動プログラム４１Ａ及び各種データ（図示せず）を読み出して処理を実行することにより、各種機能を実現する演算装置である。ＣＰＵ４０は、本開示の技術に係るプロセッサの一例である。

記憶装置４１は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、又はストレージ装置等を含む。ＲＡＭは、例えば、ワークエリア等として用いられる揮発性メモリである。ＲＯＭは、例えば、作動プログラム４１Ａ及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。ストレージは、ＯＳ（Operating System）、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。

通信部４２は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。情報処理装置１０は、通信部４２を介して撮像装置１１に接続される。ディスプレイ５は、各種画面を表示する。情報処理装置１０は、各種画面を通じて、入力デバイス８からの操作指示の入力を受け付ける。

図１１は、情報処理装置１０の機能構成の一例を示す。情報処理装置１０の機能は、作動プログラム４１Ａに基づいてＣＰＵ４０が処理を実行することにより実現される。図１１に示すように、ＣＰＵ４０には、撮像制御部５０、画像処理部５１、繰り返し制御部５２、及び表示制御部５３が構成される。

撮像制御部５０は、撮像装置１１の動作を制御する。具体的には、撮像制御部５０は、光源２０による照射光２３の発生動作、及び撮像センサ２２の撮像動作を制御する。以下、光源２０による照射光２３の発生動作と、撮像センサ２２の撮像動作とを合わせて、撮像装置１１の撮像動作という。撮像制御部５０は、入力デバイス８から入力される操作信号に基づいて、撮像装置１１に撮像動作を実行させる。

撮像制御部５０は、１撮像周期ごとに周期的に撮像を行うように撮像装置１１を駆動する。すなわち、撮像装置１１は、動画撮像を行う。図１２に示すように、撮像装置１１は、１撮像周期ごとに撮像動作を行い、干渉縞画像ＦＰを出力する。干渉縞画像ＦＰ（Ｎ）は、第Ｎ撮像周期に撮像装置１１から出力された干渉縞画像ＦＰを表す。ここで、Ｎは、正の整数である。以下、撮像周期を区別する必要がない場合には、単に、干渉縞画像ＦＰと表す。

画像処理部５１は、撮像装置１１から出力される干渉縞画像ＦＰ（図９参照）に基づいて再構成処理及び合焦位置検出処理等を行い、観察対象物体である細胞１２にフォーカスが合った最適再構成画像ＢＰを出力する。

繰り返し制御部５２は、撮像装置１１の撮像周期に同期して、画像処理部５１に、再構成処理及び合焦位置検出処理等を繰り返し実行させる。画像処理部５１は、１撮像周期ごとに、最適再構成画像ＢＰを出力する。

表示制御部５３は、画像処理部５１から１撮像周期ごとに出力される最適再構成画像ＢＰを、ディスプレイ５に表示させる。これにより、ディスプレイ５には、最適再構成画像ＢＰがリアルタイムに表示される。

撮像制御部５０は、入力デバイス８から撮像開始信号が入力されたことに応じて、撮像装置１１に撮像動作を開始させ、入力デバイス８から撮像停止信号が入力されたことに応じて、撮像装置１１の撮像動作を停止させる。繰り返し制御部５２は、撮像装置１１が撮像動作を開始することに応じて画像処理部５１に動作を開始させ、撮像動作が停止することに応じて画像処理部５１の動作を停止させる。

画像処理部５１は、干渉縞画像取得部６０、超解像処理部６１、再構成画像生成部６２、合焦位置検出部６３、及び最適再構成画像出力部６４を有する。

干渉縞画像取得部６０は、１撮像周期ごとに、撮像装置１１がマイクロ流路１３を撮像した結果出力される干渉縞画像ＦＰ（図１２参照）を取得する。干渉縞画像取得部６０は、取得した干渉縞画像ＦＰを記憶装置４１に記憶させる。

超解像処理部６１は、記憶装置４１に記憶された複数の干渉縞画像ＦＰに基づいて、超解像干渉縞画像ＳＰを生成する。具体的には、超解像処理部６１は、連続する２つの撮像周期において撮像センサ２２から出力される２つの干渉縞画像ＦＰと、各干渉縞画像ＦＰに含まれる干渉縞３３のずれ量とに基づいて、超解像干渉縞画像ＳＰを生成する。

図１３は、ずれ量算出処理を模式的に示す。図１３に示すように、超解像処理部６１は、記憶装置４１から直前の２撮像周期において撮像センサ２２から出力された干渉縞画像ＦＰ（Ｎ）及び干渉縞画像ＦＰ（Ｎ－１）を取得する。干渉縞画像ＦＰ（Ｎ）は、第Ｎ撮像周期に撮像センサ２２から出力された干渉縞画像ＦＰである。干渉縞画像ＦＰ（Ｎ－１）は、第Ｎ－１撮像周期に撮像センサ２２から出力された干渉縞画像ＦＰである。

超解像処理部６１は、位相限定相関法等の画像解析による手法を用いて、干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）の画像マッチングを行うことにより、干渉縞３３のずれ量Ｄを算出する。ずれ量Ｄは、１撮像周期における細胞１２のＡ方向への移動量に対応する。

超解像処理を行うためには、図１４に示すように、ずれ量Ｄは、Ｘ方向への成分Ｄｘが第１配列ピッチΔＸの非整数倍であり、かつＹ方向への成分Ｄｙが第２配列ピッチΔＹの非整数倍である必要がある。以下、Ｘ方向への成分Ｄｘを「Ｘ方向成分Ｄｘ」といい、Ｙ方向への成分Ｄｙを「Ｙ方向成分Ｄｙ」という。図１４は、Ｘ方向成分Ｄｘが第１配列ピッチΔＸよりも小さく、かつＹ方向成分Ｄｙが第２配列ピッチΔＹよりも小さい場合を示している。Ｘ方向成分Ｄｘ及びＹ方向成分Ｄｙは、それぞれ第１配列ピッチΔＸ及び第２配列ピッチΔＹの非整数倍であればよく、第１配列ピッチΔＸ及び第２配列ピッチΔＹよりも大きくてもよい。

マイクロ流路１３内を流れる細胞１２の速度を制御することによりずれ量Ｄを精密に制御することは難しいが、上記のように位相限定相関法等の手法を用いて、２つの干渉縞画像ＦＰを画像解析することにより、ずれ量Ｄを容易に求めることができる。

干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とは、超解像技術に係るいわゆる「画素ずらし」における２つの画像に対応し、かつ、ずれ量Ｄは、画素ずらし量に対応する。画素ずらし技術は、特公昭５０－１７１３４号公報、又は特開２００１－１１１８７９号公報等により知られている。

超解像処理部６１は、ずれ量Ｄを求めた後、干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とをずれ量Ｄに基づいて位置合わせし、位置合わせ後の干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とを統合することにより、超解像干渉縞画像ＳＰを生成する。

図１５は、位置合わせ処理及び統合処理を模式的に示す。図１５は、干渉縞画像ＦＰ（Ｎ）及び干渉縞画像ＦＰ（Ｎ－１）のＸ方向に関する画素値の変化を例示している。超解像処理部６１は、干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とのうち、例えば、干渉縞画像ＦＰ（Ｎ－１）を、ずれ量Ｄに基づいて移動させることにより位置合わせを行う。具体的には、超解像処理部６１は、Ｘ方向について、ずれ量ＤのＸ方向成分Ｄｘだけ干渉縞画像ＦＰ（Ｎ－１）を移動させ、かつ、Ｙ方向について、ずれ量ＤのＸ方向成分Ｄｘだけ干渉縞画像ＦＰ（Ｎ－１）を移動させる。なお、図１５では、Ｘ方向に関する位置合わせのみを示しているが、Ｙ方向についても同様に位置合わせが行われる。

超解像処理部６１は、位置合わせを行った干渉縞画像ＦＰ（Ｎ）と干渉縞画像ＦＰ（Ｎ－１）とを統合する統合処理を行う。これにより、干渉縞画像ＦＰに対して解像度が２倍に増加した超解像干渉縞画像ＳＰが生成される。なお、単純な統合処理では、超解像干渉縞画像ＳＰの画素が等間隔に配列されない場合があるので、超解像干渉縞画像ＳＰの画素配列を等間隔化する処理を加えてもよい。

前述のように、撮像面２２ＡにＡ方向とは非平行に複数の画素２２Ｂが二次元配列されていることにより、ずれ量Ｄには、０でない有限のＸ方向成分Ｄｘ及びＹ方向成分Ｄｙが生じる。したがって、超解像干渉縞画像ＳＰは、干渉縞画像ＦＰに対してＸ方向及びＹ方向に解像度が増加する。Ｘ方向成分ＤｘとＹ方向成分Ｄｙとが等しい場合には、超解像干渉縞画像ＳＰは、Ｘ方向とＹ方向とに関して生じる解像度の偏りが低減して均等化されるので、前述のように角度θｘ及びθｙ（図４参照）をそれぞれ４５°とすることが好ましい。

なお、超解像処理部６１は、２枚の干渉縞画像ＦＰに限られず、３枚以上の干渉縞画像ＦＰを用いて超解像干渉縞画像ＳＰを生成してもよい。多くの干渉縞画像ＦＰを用いるほど生成される超解像干渉縞画像ＳＰの解像度が増加する一方、処理負荷が増加する。このため、許容される処理負荷に応じて、超解像処理に用いる干渉縞画像ＦＰの枚数を決定することが好ましい。

図１１に戻り、再構成画像生成部６２は、超解像処理部６１により生成された超解像干渉縞画像ＳＰを再構成することにより再構成画像ＲＰを生成し、生成した再構成画像ＲＰを記憶装置４１に記憶させる。超解像処理部６１から再構成画像生成部６２には、１撮像周期ごとに超解像干渉縞画像ＳＰが入力される。再構成画像生成部６２は、入力された１枚の超解像干渉縞画像ＳＰに対して再構成位置を変更しながら複数の再構成画像ＲＰを生成する。

具体的には、図１６に示すように、再構成画像生成部６２は、再構成位置Ｐを一定値ずつ変更しながら、再構成位置Ｐを変更するたびに再構成画像ＲＰを生成する。再構成位置Ｐは、撮像センサ２２の撮像面２２Ａから光源２０の方向への距離ｄにより表される位置（いわゆる深さ位置）である。

再構成画像生成部６２は、例えば、下式（１）～（３）で表されるフレネル変換式に基づいて再構成処理を行う。

ここで、Ｉ（ｘ，ｙ）は、超解像干渉縞画像ＳＰを表す。ｘは、超解像干渉縞画像ＳＰの画素のＸ座標を表す。ｙは、超解像干渉縞画像ＳＰの画素のＹ座標を表す。Δｘは、超解像干渉縞画像ＳＰの画素のＸ方向への配列ピッチである。Δｙは、超解像干渉縞画像ＳＰの画素のＹ方向への配列ピッチである。λは、照射光２３の波長である。

式（１）に示すように、Γ（ｍ，ｎ）は、超解像干渉縞画像ＳＰがフレネル変換された複素振幅画像である。ここで、ｍ＝１，２，３，・・・Ｎｘ－１、及びｎ＝１，２，３，・・・Ｎｙ－１である。Ｎｘは、超解像干渉縞画像ＳＰのＸ方向への画素数を表している。Ｎｙは、超解像干渉縞画像ＳＰのＹ方向への画素数を表している。

式（２）に示すように、Ａ_０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の強度成分を表す強度分布画像である。式（３）に示すように、φ_０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の位相成分を表す位相分布画像である。

再構成画像生成部６２は、式（１）に超解像干渉縞画像ＳＰを適用することにより複素振幅画像Γ（ｍ，ｎ）を求め、求めた複素振幅画像Γ（ｍ，ｎ）を、式（２）又は式（３）に適用することにより、強度分布画像Ａ_０（ｍ，ｎ）又は位相分布画像φ_０（ｍ，ｎ）を求める。再構成画像生成部６２は、強度分布画像Ａ_０（ｍ，ｎ）と位相分布画像φ_０（ｍ，ｎ）とのうちのいずれか１つを求めて、再構成画像ＲＰとして出力し、記憶装置４１に記憶させる。

本実施形態では、再構成画像生成部６２は、位相分布画像φ_０（ｍ，ｎ）を再構成画像ＲＰとして出力する。位相分布画像φ_０（ｍ，ｎ）は、観察対象物体の屈折率分布を表す画像である。本実施形態での観察対象物体である細胞１２は、半透明であるので、照射光２３の大部分は、細胞１２により吸収されずに、透過するか、又は回折されるので、強度分布には像がほとんど現れない。このため、本実施形態では、再構成画像ＲＰとして位相分布画像φ_０（ｍ，ｎ）を用いることが好ましい。

照射光２３の波長λは、例えば、撮像装置１１から供給される撮像条件１１Ａに含まれる。再構成画像生成部６２は、撮像条件１１Ａに含まれる波長λの値を用いて、式（１）の演算を行う。また、再構成画像生成部６２は、再構成位置Ｐに対応する距離ｄを一定値ずつ変更しながら式（１）の演算を行うことにより複素振幅画像Γ（ｍ，ｎ）を求め、求めた複素振幅画像Γ（ｍ，ｎ）を、式（２）又は式（３）に適用する。

また、再構成画像生成部６２は、下限位置Ｐ１から上限位置Ｐ２の範囲内で、再構成位置Ｐを一定値ずつ変更する。再構成画像生成部６２は、例えば、下限位置Ｐ１を初期位置として、再構成位置Ｐの変更を開始する。再構成位置Ｐの変更は、式（１）の距離ｄを変更することに対応する。

なお、再構成画像生成部６２は、フレネル変換式を用いる方法に限られず、フーリエ反復位相回復法等により再構成処理を行ってもよい。

図１１に戻り、合焦位置検出部６３は、再構成画像生成部６２から出力されて記憶装置４１に記憶される各再構成画像ＲＰの鮮鋭度を求め、鮮鋭度が極大化される再構成位置Ｐ（以下、合焦位置Ｐｍ）を探索する。合焦位置検出部６３は、１撮像周期ごとに、合焦位置Ｐｍを検出して最適再構成画像出力部６４に入力する。

合焦位置検出部６３は、例えば、再構成画像ＲＰのコントラスト値を鮮鋭度として算出する。なお、合焦位置検出部６３は、再構成画像ＲＰにおける細胞１２の像の広がりを断面プロファイル等で評価した値を鮮鋭度としてもよい。また、合焦位置検出部６３は、フーリエ解析等によって周波数解析を行うことにより鮮鋭度を求めてもよい。

最適再構成画像出力部６４は、合焦位置検出部６３により１撮像周期ごとに合焦位置Ｐｍが検出されるたびに、合焦位置Ｐｍに対応する再構成画像ＲＰを記憶装置４１から取得する。また、最適再構成画像出力部６４は、取得した再構成画像ＲＰを最適再構成画像ＢＰとして表示制御部５３に出力する最適再構成画像出力処理を行う。

図１７は、繰り返し制御部５２による繰り返し処理の流れの一例を示す。撮像装置１１による撮像動作（図１２参照）が開始されると、干渉縞画像取得部６０は、第Ｎ撮像周期に対応する干渉縞画像ＦＰ（Ｎ）を取得する（ステップＳ１０）。干渉縞画像取得部６０が取得した干渉縞画像ＦＰ（Ｎ）は、記憶装置４１に記憶される。ここで、記憶装置４１には、第Ｎ－１撮像周期に対応する干渉縞画像ＦＰ（Ｎ－１）が既に記憶されているとする。

超解像処理部６１は、記憶装置４１から干渉縞画像ＦＰ（Ｎ）及び干渉縞画像ＦＰ（Ｎ－１）を読み込み、ずれ量の算出処理（図１３参照）、位置合わせ処理及び統合処理（図１５参照）を行うことにより、超解像干渉縞画像ＳＰを生成する（ステップＳ１１）。

次に、再構成画像生成部６２は、超解像処理部６１により生成された超解像干渉縞画像ＳＰに基づき、再構成位置Ｐを初期位置に設定したうえで、前述の再構成処理を行うことにより、再構成画像ＲＰを生成する（ステップＳ１２）。ステップＳ１２では、１つの再構成位置Ｐに対する再構成画像ＲＰが生成されて、記憶装置４１に記憶される。

次に、合焦位置検出部６３は、記憶装置４１から再構成画像ＲＰを読み込み、当該再構成画像ＲＰの鮮鋭度を算出し、算出した鮮鋭度に基づいて合焦位置Ｐｍを検出する（ステップＳ１３）。なお、合焦位置Ｐｍは、鮮鋭度が極大化される再構成位置Ｐであるので、合焦位置Ｐｍの検出には、少なくとも３枚の再構成画像ＲＰについて鮮鋭度を算出する必要がある。このためには、ステップＳ１３が少なくとも３回繰り返される必要がある。

繰り返し制御部５２は、合焦位置検出部６３により合焦位置Ｐｍが検出されたか否かを判定する（ステップＳ１４）。繰り返し制御部５２は、合焦位置Ｐｍが検出されなかったと判定した場合には（ステップＳ１４：ＮＯ）、処理をステップＳ１２に戻す。ステップＳ１２では、再構成画像生成部６２により再構成位置Ｐが一定値だけ変更されたうえで、再構成画像ＲＰが再度生成される。ステップＳ１２及びステップＳ１３の各処理は、ステップＳ１４において判定が肯定されるまでの間、繰り返し実行される。

繰り返し制御部５２は、合焦位置検出部６３により合焦位置Ｐｍが検出された場合には（ステップＳ１４：ＹＥＳ）、処理をステップＳ１５に移行させる。ステップＳ１５では、最適再構成画像出力部６４は、合焦位置検出部６３により検出された合焦位置Ｐｍに対応する再構成画像ＲＰを記憶装置４１から取得し、取得した再構成画像ＲＰを最適再構成画像ＢＰとして表示制御部５３に出力する（ステップＳ１５）。

表示制御部５３は、最適再構成画像出力部６４から入力された最適再構成画像ＢＰをディスプレイ５に表示させる（ステップＳ１６）。

次に、繰り返し制御部５２は、入力デバイス８から撮像停止信号が入力されたか否かを判定する（ステップＳ１７）。繰り返し制御部５２は、撮像停止信号が入力されなかったと判定した場合には（ステップＳ１７：ＮＯ）、撮像周期の番号を表すパラメータＮ（図１２参照）をインクリメントして（ステップＳ１８）、処理をステップＳ１０に戻す。ステップＳ１０では、干渉縞画像取得部６０は、第Ｎ＋１撮像周期に対応する干渉縞画像ＦＰ（Ｎ＋１）を取得する。ステップＳ１１では、超解像処理部６１により、干渉縞画像ＦＰ（Ｎ＋１）及び干渉縞画像ＦＰ（Ｎ）に基づいて超解像干渉縞画像ＳＰが生成される。ステップＳ１０からステップＳ１８までの各処理は、ステップＳ１７において判定が肯定されるまでの間、１撮像周期ごとに繰り返し実行される。

繰り返し制御部５２は、入力デバイス８から撮像停止信号が入力されたと判定した場合には（ステップＳ１７：ＹＥＳ）、一連の繰り返し処理を終了させる。

図１８は、図１７のステップＳ１３において合焦位置検出部６３により実行される合焦位置Ｐｍの探索処理の一例を示す。図１８に示すように、合焦位置検出部６３は、例えば、いわゆる山登り方式による鮮鋭度のピーク判定を行う。合焦位置検出部６３は、鮮鋭度を算出するたびに、算出した鮮鋭度を再構成位置Ｐと関連付けてプロットする。鮮鋭度は、再構成位置Ｐが合焦位置Ｐｍに近づくに連れて増大し、合焦位置Ｐｍを過ぎると減少する。合焦位置検出部６３は、鮮鋭度が増大から減少に転じたことを検出した場合に、１つ前の再構成位置Ｐを合焦位置Ｐｍとして検出する。合焦位置Ｐｍは、観察対象物体である細胞１２の深さ位置に対応する。

以上のように、本開示の技術によれば、観察対象物体である細胞１２が流れるＡ方向とは非平行に複数の画素２２Ｂを二次元配列することにより、細胞１２に起因する干渉縞３３の位置がＸ方向及びＹ方向にずれた複数の干渉縞画像ＦＰが得られる。複数の干渉縞画像ＦＰを超解像処理することにより、超解像干渉縞画像ＳＰが得られる。したがって、本開示の技術によれば、流路を流れる観察対象物体の超解像干渉縞画像を生成することができる。

さらに、本開示の技術によれば、超解像干渉縞画像ＳＰを再構成し、鮮鋭度が極大化される再構成位置Ｐにおける再構成画像ＲＰを検出することにより、高精細な最適再構成画像ＢＰを取得することができる。

［変形例］
以下に、各種変形例について説明する。上記実施形態では、図４に示すように、第１配列ピッチΔＸと第２配列ピッチΔＹとが等しい撮像センサ２２を用いているが、第１配列ピッチΔＸと第２配列ピッチΔＹとが異なる撮像センサ２２を用いてもよい。

図１９は、撮像センサ２２の変形例を示す。図１９は、第１配列ピッチΔＸよりも第２配列ピッチΔＹが長い撮像センサ２２を示している。この場合、Ｘ方向がＡ方向となす角度θｘと、Ｙ方向がＡ方向となす角度θｙとを、それぞれ４５°以外の角度とする。

具体的には、図２０に示すように、第１配列ピッチΔＸをＸ方向成分とし、かつ第２配列ピッチΔＹをＹ方向成分とする対角方向ベクトルＶがＡ方向と平行になるように、角度θｘ及びθｙを決定すればよい。

すなわち、下式（４）及び（５）を満たす角度θｘ及びθｙを求めればよい。なお、下式（４）及び（５）では、角度をラジアンで表している。

これにより、第１配列ピッチΔＸと第２配列ピッチΔＹとが異なる場合であっても、超解像干渉縞画像ＳＰにおいて、Ｘ方向とＹ方向とに関して生じる解像度の偏りが低減して均等化される。

また、上記実施形態では、式（３）により求まる位相分布画像φ_０（ｍ，ｎ）を再構成画像ＲＰとしているが、これに限られず、式（２）により求まる強度分布画像Ａ_０（ｍ，ｎ）を再構成画像ＲＰとしてもよい。観察対象物体が細胞集団（いわゆるコロニー）等の厚みを有るものである場合に、強度分布に像が現れるため、強度分布画像Ａ_０（ｍ，ｎ）を再構成画像ＲＰとすることが好ましい。

また、位相分布画像φ_０（ｍ，ｎ）と強度分布画像Ａ_０（ｍ，ｎ）とのうち、いずれを再構成画像ＲＰとして用いるかを、入力デバイス８によりユーザが選択可能としてもよい。これにより、ユーザは、観察対象物体に応じて最適な再構成画像ＲＰを選択することができる。

また、上記実施形態では、観察対象物体を細胞としているが、観察対象物体は、細胞には限られず、死細胞、又はゴミ等の物体であってもよい。

上記実施形態に係るデジタルホログラフィシステム２は、撮像装置１１に光学レンズを備えない、いわゆるレンズフリーイメージングと呼ばれる技術に関する。本開示の技術は、レンズフリーイメージングに限定されず、デジタルホログラフィ全般（例えば、参照光を用いる場合など）に適用可能である。

情報処理装置１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置１０を、処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。

このように、情報処理装置１０のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４１Ａ等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化すること、あるいは、複数のストレージデバイスに分散して格納することも可能である。

上記実施形態において、例えば、撮像制御部５０、画像処理部５１、繰り返し制御部５２、及び表示制御部５３といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４１Ａ）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ４０に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device: PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／又は、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip: SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記実施形態及び各変形例は、矛盾が生じない範囲で適宜組み合わせ可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

２ デジタルホログラフィシステム
５ ディスプレイ
６ キーボード
７ マウス
８ 入力デバイス
１０ 情報処理装置
１１ 撮像装置
１１Ａ 撮像条件
１２ 細胞
１３ マイクロ流路
１３Ａ，１３Ｂ 開口部
１４ 溶液
２０ 光源
２２ 撮像センサ
２２Ａ 撮像面
２２Ｂ 画素
２３ 照射光
３０ 回折光
３１ 透過光
３３ 干渉縞
３５ 白点
３６ 明部
３７ 黒点
３８ 暗部
４０ ＣＰＵ
４１ 記憶装置
４１Ａ 作動プログラム
４２ 通信部
４３ バスライン
５０ 撮像制御部
５１ 画像処理部
５２ 繰り返し制御部
５３ 表示制御部
６０ 干渉縞画像取得部
６１ 超解像処理部
６２ 再構成画像生成部
６３ 合焦位置検出部
６４ 最適再構成画像出力部
ΔＸ 配列ピッチ
ΔＹ 配列ピッチ
θｘ，θｙ 角度
ＢＰ 最適再構成画像
Ｄ ずれ量
Ｄｘ Ｘ方向成分
Ｄｙ Ｙ方向成分
ＦＰ 干渉縞画像
Ｌ 距離
Ｐ１ 下限位置
Ｐ２ 上限位置
Ｐ 再構成位置
Ｐｍ 合焦位置
ＲＰ 再構成画像
ＳＰ 超解像干渉縞画像
Ｖ 対角方向ベクトル
ｄ 距離

Claims (10)

1. 第１方向に向けて光を照射する光源であって、前記第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、
   前記第１方向に直交する撮像面であって、かつ前記第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、前記流路を通過した光を撮像して干渉縞画像を出力する撮像センサと、
   前記撮像センサから出力される複数の干渉縞画像に基づいて、超解像干渉縞画像を生成する情報処理装置と、
   を備える撮像システム。
2. 前記複数の画素は、前記撮像面内において、２次元配列の配列方向の一方向をＸ方向とし、他方をＹ方向とした場合に、前記Ｘ方向に第１配列ピッチで配列されており、かつ前記Ｘ方向に直交するＹ方向に第２配列ピッチで配列されている、
   請求項１に記載の撮像システム。
3. 前記第１配列ピッチと、前記第２配列ピッチよりなる対角方向ベクトルが、前記第２方向に平行である、
   請求項２に記載の撮像システム。
4. 前記第１配列ピッチと前記第２配列ピッチとは等しい、
   請求項３に記載の撮像システム。
5. 連続する２つの撮像周期において前記撮像センサから出力される２つの前記干渉縞画像のずれ量は、前記Ｘ方向への成分が前記第１配列ピッチの非整数倍であり、かつ前記Ｙ方向への成分が前記第２配列ピッチの非整数倍である、
   請求項２から請求項４のうちいずれか１項に記載の撮像システム。
6. 前記ずれ量は、前記Ｘ方向への成分が前記第１配列ピッチよりも小さく、かつ前記Ｙ方向への成分が前記第２配列ピッチよりも小さい、
   請求項５に記載の撮像システム。
7. 前記情報処理装置は、連続する２つの撮像周期において前記撮像センサから出力される２つの前記干渉縞画像に基づいて前記ずれ量を算出し、算出した前記ずれ量と、前記２つの前記干渉縞画像とに基づいて前記超解像干渉縞画像を生成する、
   請求項５又は請求項６に記載の撮像システム。
8. 前記情報処理装置は、前記超解像干渉縞画像を再構成することにより再構成画像を生成する、
   請求項１から請求項７のうちいずれか１項に記載の撮像システム。
9. 前記情報処理装置は、
   再構成位置を変更しながら前記再構成画像を生成する再構成処理と、
   前記再構成処理により前記再構成画像が生成されるたびに前記再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、
   前記合焦位置検出処理により検出した前記合焦位置における前記再構成画像を最適再構成画像として出力する最適再構成画像出力処理と、
   を実行する、
   請求項８に記載の撮像システム。
10. 第１方向に向けて光を照射する光源であって、前記第１方向に直交する第２方向に観察対象物体を流す流路に向けて光を照射する光源と、
    前記第１方向に直交する撮像面であって、かつ前記第２方向とは非平行に複数の画素が二次元配列された撮像面を有し、前記流路を通過した光を撮像して干渉縞画像を出力する撮像センサと、
    を備える撮像装置。