JP6719721B2 - 断層画像生成システム、断層画像生成方法、および断層画像生成プログラム - Google Patents

Description

本発明は、正対する２つの放物面鏡を用いた断層画像生成システムおよび断層画像生成方法に関するものである。

従来から、被写界深度を浅くするための手法として、複数の小口径の結像系を用いて、大口径の結像系に相当する分解能を得る合成開口法が知られている（例えば、非特許文献１，２を参照。）。これは、多数の小口径の結像系を用いて多視点から撮影対象を見ることにより、仮想的に被写界深度を浅くする手法である。
また、共焦点撮像法は、顕微鏡で特定の一点のみを可視化する手法であり（例えば、非特許文献３を参照。）、顕微鏡の焦点とレーザの焦点を一致させて撮影を行うものである。共焦点撮像法において、共焦点光学系は、従来の顕微鏡と異なり、焦点の合った部分だけが際立って明るく撮像されるため（非合焦の部分は暗い）、焦点の合っていない箇所からの不要な散乱光が除去され、高コントラストになり、高解像度の撮影が可能である。
また、暗視野顕微鏡は、共焦点撮像法と同様、顕微鏡に用いられる手法であり、撮影対象に光源を対物レンズに当たらない角度で照射して、物体に当たって散乱した光のみを撮影することにより、細胞壁などの特定の位置にある物体のみを可視化するものである。

また、断層画像の生成において、所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上する撮像システムが知られている（例えば、特許文献１を参照。）。特許文献１に開示された撮像システムは、結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得し、それらの画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た被写体の画像を生成するものであるが、結像光学系の中に開口絞りが存在し（特許文献１中の図２を参照）、この開口絞りを調整することで被写界深度を制御している。

また、撮影した画像のピンボケ等を低減する技術として、被写界深度の制御技術があり、結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像した画像と、ボケ関数をデコンボリューションさせることによって、所望の被写界深度の制御画像を生成する技術が知られている。その中で、被写体が二次元コードである場合、二次元コードの構成単位であるセル上に配置されることを制約とした幾何変形行列を用いて、二次元コードの復元画像を決定する技術が知られている（特許文献２を参照。）。

特開２０１４−９０４０１号公報 再公表２０１２／０２９２３８号公報

Levoy, M., Chen, B., Vaish, V., Horowitz, M., McDowall, I., and Bolas, M., syn-thetic aperture confocal imaging. Proc. SIGGRAPH, pp. 825-834, 2004. Tagawa, S., Mukaigawa, Y., Kim, J., Raskar, R., Matsushita, Y., and Yagi, Y., Hemispherical confocal imaging. IPSJ Trans. on CVA, Vol. 3, pp 222-235, 2011. Minsky, M., Microscopy apparatus. US Patent 3013467, 1961.

上述した合成開口法では、複数の視点からの画像が必要となるため、複数台のカメラを使用して撮影を行う必要がある。このときカメラの外部および内部パラメータの幾何学的な補正や光学的な補正が必要となる。そのため、装置の作成コストが大きいといった問題がある。複数枚のミラーを利用して撮影する方法もあるが、解像度が低下するといった問題がある。
また、共焦点撮像法では、対象となる１点のみを計測する手法であるため、面を撮影するためには二次元の走査が必要である。また、共焦点撮像法や暗視野顕微鏡では、開口数の高い大きなレンズを作製することが難しいといった理由から、比較的大きな物体を計測するのには困難である。
また、特許文献１に開示された撮像システムでは、開口絞りを調整することで被写界深度を制御することから、その構成上、非常に浅い被写界深度を実現することは困難である。

そこで、本発明者らは、被写界深度の非常に浅い撮像装置に特化した最適化を行うことにより、解像度の低下を防ぎつつ、幾何学的および光学的な補正の必要がない断層画像生成システムを開発し、本発明を完成した。

すなわち、上記状況に鑑みて、本発明は、被写界深度の非常に浅い撮像装置を用いて撮影した画像と、その撮像装置が持つ位置依存の光学的なボケを利用して、より鮮明な断層画像を生成するシステムおよび方法を提供することを目的とする。

上記課題を解決すべく、本発明の断層画像生成システムは、下記の１）撮像装置と２）断層画像生成手段とから構成される。
１）撮像装置
結像光学系の焦点位置に被写体を配置する。そして、結像光学系の光軸方向に被写体を平行移動させる移動手段を設ける。
２）断層画像生成手段
下記ａ）〜ｃ）を用いて、被写体の断層画像を生成する。
ａ）上記の移動手段により被写体を移動させて異なる位置から撮影された複数の撮影画像
ｂ）被写体の位置に依存するボケ関数
ｃ）撮影画像の画素値に関する上界と下界の制約

ここで、結像光学系は、第１放物面鏡と第２放物面鏡を正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置し、第２放物面鏡の焦点位置に被写体を配置したものが好適に用いられる。すなわち、撮像装置は、正対する２つの放物面鏡（第１放物面鏡と第２放物面鏡）によって構成される。一方の放物面鏡（第２放物面鏡）の焦点位置に置いた対象物体（被写体）から出た光は、放物面鏡（第２放物面鏡）によって平行光として反射され、平行な反射光は、正対する放物面鏡（第１放物面鏡）により反射され、もう一方の焦点、すなわち、放物面鏡（第１放物面鏡）の焦点に集光する。そのため、放物面鏡の最大直径を開口とする非常に浅い被写界深度を持つ撮像系を実現できる。この撮像装置によって撮影された画像は、焦点付近に設置した撮像素子と対象物体（被写体）の位置関係に依存する独特な光学的なボケを生じる。この位置依存の光学的なボケ方を事前に計測しておいて、光学的なボケに基づく光線強度に関する制約を用いた最適化を行うことによって、鮮明な断層画像を撮影する。

つまり、正対する２つの放物面鏡を用いて、集光する光を撮影することにより、解像度の犠牲を減らした撮影が可能となり、高い開口数を持ち、被写界深度の浅い撮影装置を実現することができる。また、被写体の位置依存の光学的なボケ、すなわち、被写体の位置によって独特に変化するボケ方を解析し、ボケ度合いを用いた最適化処理を行い、より鮮明な断層画像の撮影を行うことが可能となる。
なお、正対する２つの放物面鏡（第１放物面鏡と第２放物面鏡）の中心間距離が、それぞれの焦点距離の合計距離よりも小さい場合でも大きい場合でも、被写体から出る光の光路は同じで、一方の放物面鏡（第２放物面鏡）の焦点位置に置いた対象物体（被写体）から出た光は、放物面鏡（第２放物面鏡）によって平行光として反射され、平行な反射光は、正対する放物面鏡（第１放物面鏡）により反射され、もう一方の焦点、すなわち、放物面鏡（第１放物面鏡）の焦点に集光する。

本発明の断層画像生成システムの断層画像生成手段において、上記ｃ）の制約は撮影画像の画素値の上界と下界の制約であり、上界は前記ボケ関数から算出した値であり、下界は非負値である。
光線強度は負の値にならないという条件と、ボケ度合いから推定される上界を定めることにより、より鮮明な断層画像の撮影を行うことが可能となる。

本発明の断層画像生成システムの断層画像生成手段は、推定する断層画像にボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、上記制約を満たす画像を推定断層画像として生成する。

本発明の断層画像生成システムにおいて、第１放物面鏡と第２放物面鏡は、それぞれの開口径が同じであることが好ましい。開口径が同じ放物面鏡を正対させることにより、放物面鏡による反射光の利用率を高めることができる。
また、第１放物面鏡と第２放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことがより好ましい。この場合、正対する２つの放物面鏡を用いて、集光する光を撮影することにより、解像度を犠牲にしない撮影が可能となり、開口数でみると顕微鏡より高い開口数を持ち、撮影範囲も大きく取れるため、レンズでは実現できない被写界深度の非常に浅い撮影装置を実現できる。

本発明の断層画像生成システムにおいて、被写体を光軸方向に垂直な方向に平行移動させる第２移動手段を更に備え、そして、断層画像生成手段は、光軸方向に垂直な方向に平行移動させながら被写体をする撮影した画像を用いて、被写体の断層画像を生成することが好ましい。

本発明の断層画像生成システムの撮像装置において、装置外側に光源、第２放物面鏡の焦点位置に光入射口、撮像素子と被写体の間に光遮蔽用マスクが設けられる。

次に、本発明の断層画像生成方法について説明する。
本発明の断層画像生成方法は、下記１）〜３）のステップを備える。
１）結像光学系の光軸方向に被写体を平行移動させる移動ステップ
２）光軸方向に移動させて異なる位置から被写体を撮影する撮像ステップ
３）被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する上界と下界の制約とを用いて、被写体の断層画像を生成する断層画像生成ステップ

ここで、結像光学系は、第１放物面鏡と第２放物面鏡を正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置し、第２放物面鏡の焦点位置に被写体を配置したものが好適に用いられる。
上記３）の断層画像生成ステップにおいて、上記制約は撮影画像の画素値の上界と下界の制約であり、上界は前記ボケ関数から算出した値であり、下界は非負値である。

また、断層画像生成ステップは、推定する断層画像にボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、上記制約を満たす画像を断層画像として生成する。

また、第１放物面鏡と第２放物面鏡は、それぞれの開口径が同じであることが好ましい。光の利用率を高めることができる。さらに、第１放物面鏡と第２放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことがより好ましい。被写界深度の非常に浅い撮影装置を実現できる。

また、被写体を光軸方向に垂直な方向に平行移動させる第２移動ステップを更に備え、断層画像生成ステップは、光軸方向に垂直な方向に平行移動させながら被写体をする撮影した画像を用いて、被写体の断層画像を生成することが好ましい。

本発明の断層画像生成プログラムについて説明する。
本発明の断層画像生成プログラムは、コンピュータを、本発明の断層画像生成システムにおける断層画像生成手段として機能させるプログラムである。
他の観点によれば、本発明の断層画像生成プログラムは、コンピュータに、本発明の断層画像生成方法における断層画像生成ステップを実行させるためのプログラムである。

本発明によれば、被写界深度の浅い撮像装置を用いて撮影した画像と、撮像装置が持つ位置依存の光学的なボケを利用して、より鮮明な断層画像を生成できるといった効果がある。

断層画像生成方法のフロー図 正対する２つの放物面鏡の説明図 断層画像生成システムの撮像装置の構成図 放物面鏡の光学特性の説明図 撮像装置における正対する放物面鏡の説明図（１） 撮像装置における正対する放物面鏡の説明図（２） 撮像装置における正対する放物面鏡の説明図（３） 撮像装置における焦点上の被写体の撮像画像の説明図 撮像装置における水平方向のボケ度合いの説明図 撮像装置における奥行き方向のボケ度合いの説明図（１） 撮像装置における奥行き方向のボケ度合い説明図（２） 撮像装置における水平・奥行き方向のボケ度合いの説明図（１） 撮像装置における水平・奥行き方向のボケ度合いの説明図（２） 撮像装置における奥行き方向の強度分布図 撮像装置における水平方向の強度分布図 被写体の説明図 被写体１の撮像画像 被写体２の撮像画像 被写体２の撮像画像の説明図 被写体の撮像位置に関する説明図 断層画像の生成に用いるボケ関数の説明図 画素値の上界の制約に関する説明図（１） 画素値の上界の制約に関する説明図（２） 画素値の上界の制約に関する説明図（３） 画素値の上界の制約に関する説明図（４） ボケ関数（行列）を用いた最適化の説明図

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

まず、本発明の断層画像生成方法の処理フローについて説明する。
図１は、本発明の断層画像生成方法のフローを示している。本発明の断層画像生成方法は、２つの放物面鏡を正対させた撮像装置に被写体を配置する配置ステップと、被写体を平行移動させる移動ステップと、異なる位置から被写体を撮影する撮像ステップと、被写体の位置に依存するボケ関数と撮影画像の画素値の上界と下界の制約を用いて、断層画像を生成する断層画像生成ステップから成る。
２つの放物面鏡を正対させた撮像装置では、曲率とサイズが同じ第１放物面鏡と第２放物面鏡とを中心間距離が焦点距離となるように縁同士を合せて正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置させる。そして、第２放物面鏡の焦点位置に被写体を配置する。

次に、本発明の断層画像生成方法ならびに断層画像生成システムで用いる光学系、すなわち、正対する２つの放物面鏡を用いた結像光学系について、図２を参照して説明する。
本発明で用いる光学系では、第１放物面鏡３と第２放物面鏡２が正対配置され、第１放物面鏡３の焦点Ｆ_１の位置に撮像素子６が配置され、第２放物面鏡２の焦点Ｆ_２の位置に被写体４が配置される。そして、撮像素子６に被写体４の直接光が入らないように、撮像素子６と被写体４の間には光遮断用マスク８が設けられる。

図２（１）に示す光学系は、曲率と開口径が同じ２つの第１放物面鏡３と第２放物面鏡２とを中心間距離が焦点距離となるように正対配置させたものである。曲率が同じ２つ放物面鏡は焦点距離も同じである。この場合、第１放物面鏡３の焦点Ｆ_１の位置が第２放物面鏡２の中心部と重なり、第２放物面鏡２の焦点Ｆ_２の位置が第１放物面鏡３の中心部と重なる。第２放物面鏡２の焦点Ｆ_２の位置に被写体４が配置されていると、被写体４から出射した光は、第２放物面鏡２で反射すると平行光となり、第１放物面鏡３に向う。そして、この平行光は第１放物面鏡３で反射すると第１放物面鏡３の焦点Ｆ_１の位置に集光する。第１放物面鏡３の焦点Ｆ_１の位置に撮像素子６が配置されているので、撮像素子６によって被写体４が鮮明に撮影されることになる。図２（１）に示す光学系の場合、２つの第１放物面鏡３と第２放物面鏡２の縁は合わさっていないが、縁が合わさるまで放物面鏡の開口径を拡げてもよい。２つの第１放物面鏡３と第２放物面鏡２の縁同士が合わさった場合、開口径が最も大きくなり、また被写体４の光が外部に漏れることがなく、撮像素子６に入る光量を最大化することが可能である。
なお、２つの放物面鏡の縁同士が合わさらない場合、開口径が同じである必要はないが、被写体４から出射した光は、第２放物面鏡２で反射すると平行光となり、第１放物面鏡３に向うことから、第２放物面鏡２よりも第１放物面鏡３の開口径を大きくするべきである。

図２（２）に示す光学系は、曲率と開口径が同じ２つの第１放物面鏡３と第２放物面鏡２とを中心間距離が焦点距離より大きく、それぞれの焦点距離の合計より小さくなるように正対配置させたものである。この場合、第１放物面鏡３の焦点Ｆ_１の位置が第２放物面鏡２の中心部から離れ、また、第２放物面鏡２の焦点Ｆ_２の位置が第１放物面鏡３の中心部から離れる。第２放物面鏡２の焦点Ｆ_２の位置に被写体４が配置されていると、被写体４から出射した光は、第２放物面鏡２で反射すると平行光となり、第１放物面鏡３に向う。そして、この平行光は第１放物面鏡３で反射すると第１放物面鏡３の焦点Ｆ_１の位置に集光する。第１放物面鏡３の焦点Ｆ_１の位置に撮像素子６が配置されているので、撮像素子６によって被写体４が鮮明に撮影されることになる。図２（２）に示す光学系の場合、２つの第１放物面鏡３と第２放物面鏡２の縁は合わさっていないが、縁が合わさるまで放物面鏡の開口径を拡げてもよい。２つの第１放物面鏡３と第２放物面鏡２の縁同士が合わさった場合、開口径が最も大きくなり、また被写体４の光が外部に漏れることがなく、撮像素子６に入る光量を最大化することが可能である。
また、図２（２）に示す光学系の場合、曲率が異なる、すなわち焦点距離が異なる２つの放物面鏡を用いることも可能である。なお、一方の放物面鏡の焦点距離が中心間距離より大きい場合であっても、本発明で用いる光学系として適用することが可能である。

図２（３）に示す光学系は、曲率と開口径が同じ２つの第１放物面鏡３と第２放物面鏡２とを中心間距離が、それぞれの焦点距離の合計より大きくなるように正対配置させたものである。この場合、第２放物面鏡２の焦点Ｆ_２の位置に被写体４が配置されるのではなく、第１放物面鏡３の焦点Ｆ_１の位置に被写体４が配置され、第２放物面鏡２の焦点Ｆ_２の位置に撮像素子６が配置される。被写体４から出射した光は、第１放物面鏡３で反射すると平行光となり、第２放物面鏡２に向う。そして、この平行光は第２放物面鏡２で反射すると第２放物面鏡２の焦点Ｆ_２の位置に集光する。第２放物面鏡２の焦点Ｆ_２の位置に撮像素子６が配置されているので、撮像素子６によって被写体４が鮮明に撮影されることになる。図２（３）に示す光学系の場合も、曲率が異なる（すなわち焦点距離が異なる）２つの放物面鏡を用いることが可能である。また、開口径が異なる２つの放物面鏡を用いることも可能である。被写体４から出射した光は、第１放物面鏡３で反射すると平行光となり、第２放物面鏡２に向うことから、第１放物面鏡３よりも第２放物面鏡２の開口径を大きくするべきである。

以下では、本発明の断層画像生成システムならびに断層画像生成方法で用いる撮像装置の一実施形態について説明する。図３は、断層画像生成システムで用いる撮像装置の構成図を示している。
撮像装置１は、曲率とサイズが同じ第１放物面鏡３と第２放物面鏡２とを中心間距離が焦点距離となるように縁同士を合せて正対配置させて構成される。つまり、撮像装置１は、頂点と焦点同士が一致する同じ形状の放物面鏡（２，３）一対で構成される。下側に配置された第１放物面鏡３の焦点位置には撮像素子６を配置する。撮像素子６にはレンズを設けていない。一方、上側に配置された第２放物面鏡２の焦点位置には被写体４を配置する。下側に配置された第１放物面鏡３の焦点位置には開口孔１０が設けられ、照明光源７の光が２枚の放物面鏡の内部に入射できるようになっている。このため、被写体からの光は、下側に配置された第１放物面鏡３の開口孔１０から入る光が被写体を透過したものになる。この透過光の中で、撮像素子への直接到達する光は、被写体の内部層の可視化を阻害する可能性がある。このため、薄い光遮断用マスク８を、撮像素子と被写体の間に設け、撮像素子に光が直接到達しないようにしている。光遮断用マスク８は円板状であり、透明なマスク支持部９によって正対する放物面鏡の内部で支持されている。

ここで、同じ２つ放物面鏡を中心間距離が焦点距離となるように縁同士を合せて正対配置させた撮像装置の光学的特徴について説明する。図４（１）に示すように、放物面鏡では、放物面鏡の焦点から出た光は、鏡で反射して平行な光束となる。また、図４（２）に示すように、平行な光束は、鏡で反射した後、焦点に集まるといった特徴を有する。

図５に示すように、上側に配置された放物面鏡の焦点にある撮影対象物からの光、すなわち、下側に配置された放物面鏡の開口孔から入る光による透過光は、上側の放物面鏡により反射され平行な光束となる。平行な光束は、下側の放物面鏡により反射され、下側に配置された放物面鏡の焦点に置かれた撮像素子に集束する。

図６は、撮像装置の寸法パラメータと方向軸についての説明図である。放物面鏡の開口幅をｗとし、２つ放物面鏡を中心間距離である焦点距離をｌとする。また、被写体の移動方向であって、結像光学系の光軸方向（撮像装置の奥行き方向、垂直方向）をＺ軸、光軸方向に垂直な方向（撮像装置の水平方向）をＸ−Ｙ軸とする。また、撮像素子の２次元配列の方向をＶ軸、Ｕ軸とする。

本撮像装置では、撮像素子の面に垂直方向（Ｚ軸方向）に、被写体が焦点から僅かに移動しただけで、被写体からの光線は撮像素子で収束しなくなり、その結果、ぼやけた画像が生成される。つまり、本撮像装置では、焦点に存在する特定の層のみを鮮明に画像化することができるのである。

ここで、本撮像装置のＦ値（Ｆ−number）について説明する。Ｆ値は、一般的に、レンズの焦点距離を有効口径で割った値であり、レンズの明るさを示す指標として用いられ、下記数式１で表される。数式１において、ｆは平行光線が一点に集まる焦点距離であり、φは有効開口の直径である。

カメラの場合は、Ｆ値は絞りの開き具合（光の取り込む穴の大きさ）を数値化したものである。これに対して、本撮像装置の場合、図７に示すように、放物面鏡の開口幅ｗの２倍の開口幅の平行光線を集束できる焦点距離ｌのレンズと見做すことができる。したがって、数式１におけるｆとφは、それぞれ焦点距離ｌと放物面鏡の開口幅ｗの２倍に対応する。図６に示すＹ座標系において、ｙ＝０のときの放物面鏡の表現は、下記数式２で表される。

本撮像装置では、ｌは放物面鏡の焦点距離であり、１つの放物面鏡のＺ方向の距離は焦点距離ｌの半分となる。また、ｘ方向の距離は開口幅ｗの半分となる。したがって、ｘ＝ｗ／２，ｚ＝ｌ／２を上記数式２に当てはめると下記数式３が成立する。数式３から、放物面鏡の開口幅ｗを求めることができる。

上記数式３から、ｗを求めると、ｗ＝２√2・ｌとなる。このｗを用いて、本撮像装置のＦ値を求める。下記数式４に示すように、Ｆ値＝０．１７７であり、既存のレンズと比べて非常に小さな値となっていることがわかる。また、放物面鏡のスケールが変化したとしても、Ｆ値は放物面鏡の焦点長さｌと開口幅ｗに依存しないので一定である。

次に、本撮像装置の特性に関し、幾何学的収差の影響について、シミュレーションを用いて確認した結果を説明する。対象点の三次元位置に応じて変化する点像分布関数（Point spread function；ＰＳＦ）を測定することによって評価を行った。本撮像装置の利点を示すために、Ｆ値の小さい従来のカメラ装置によって撮像された画像と比較した。
光学系の点光源からのインパルス入力に対する応答を表す関数である点像分布関数（ＰＳＦ）の形状は、本撮像装置に配置された点光源の三次元位置に応じて変化する。本撮像装置の特性を分析するために、撮像素子内の異なる光源位置についての点像分布関数（ＰＳＦ）の形状をシミュレーション環境で測定した。シミュレーションの実験設定は、次のとおりである。
焦点距離ｐは６５ｍｍに設定され、放物面鏡の開口幅ｗは上記数式３から１８４ｍｍとして決定された。 撮像素子は、サイズ２０ｍｍ角で、画素数２０１×２０１ピクセルのものを用いた。被写体の位置、すなわち、点光源の位置を移動させながら、本撮像装置における点像分布関数（ＰＳＦ）の形状を観察した。

図８は、本撮像装置において、焦点位置に被写体、すなわち、焦点上に点光源がある場合に、撮像素子にて撮影された画像を示している。図８（２）に示すように、撮影された画像は鮮明であり、ぼやけていない画像である。焦点上に点光源がある場合には、他方の放物面鏡の焦点に集光するため、撮像素子上で集光し、鮮明に撮影される。
図９は、本撮像装置において、焦点位置に被写体を右水平方向に４ｍｍ移動させて、撮像素子にて撮影された画像を示している。図９（２）に示すように、撮影された画像はボケが生じていたが、撮像素子の面上に集光して撮影されている。

図１０は、本撮像装置において、焦点位置に被写体を奥行き方向に０．４ｍｍだけ僅かに移動させて、本撮像素子にて撮影された画像を示している。図１０（２）に示すように、撮影された画像は大きくボケが生じていた。本撮像素子は、開口数（Numerical Aperture,；NA）が大きいため、奥行き方向の少しのズレで、撮像素子の画像が大きくぼけることになる。これは、図１１に示すように、上側の放物面鏡の焦点上の点光源が、奥行き方向に僅かに移動した場合には、撮像素子の面から上にズレた位置に結像するからである。

図１２に示すように、点光源を焦点位置から水平方向に移動、或は、奥行き方向に移動させた場合に、撮像素子によってどのように撮影されるかをシミュレーション環境で確認した。図１３は、シミュレーション環境での確認結果を示している。図１３から、水平方向に移動してもぼやけるが、奥行き方向には僅かに移動するだけで（水平方向の移動距離の１／１０）、撮影画像が大きくぼやける（移動時のボケ度合いが大きい）ことが確認できた。

図１４および図１５は、撮像素子のイメージセンサの平面上（Ｕ，Ｖ）で観測された点像分布関数（ＰＳＦ）を示す。図６に示したＺ軸とＸ軸に沿って点光源を移動させながら撮像素子で撮影した。本撮像装置は回転対称であるので、これら二つの軸を使用して装置の特性を知ることができる。図１４から、Ｚ軸に沿って点光源が移動した場合は、ＰＳＦの形状が急激に変化することがわかる。一方、図１５から、Ｘ軸沿って点光源が移動した場合は、ＰＳＦの形状変化は比較的緩やかである。Ｚ方向に移動する場合は、Ｘ方向の場合とは対照的に、大きくぼやけていることがわかる。

次に、被写体として層状サンプルを用いて、本撮像装置の性能を確認した結果について説明する。層状の被写体のサンプルは、図１６に示すように、メッシュ柄の画像と、蝶々の画像とが、それぞれ厚さ０．１ｍｍの透明な膜として作製され、２層の平坦面から構成される２層構造物体である。サンプルの面の大きさは２０ｍｍ×２０ｍｍであり、２層を構成する膜同士は１．２ｍｍ間隔で分離されている。この層状サンプルを被写体１とする。

本撮像装置を用いて、２層構造物体の被写体１を撮影した画像について示す。なお、比較例として、開口数ＮＡ＝０．５３のレンズ（シュナイダーファストＣマウントレンズ、１７ｍｍＦＬ、Ｆ値＝０．９５）とカメラ（Ｇｒａｓｓｈｏｐｐｅｒ２）により撮影した画像を示す。
図１７（１）は被写体１の上層、下層の画像を示している。図１７（２）は、比較例としてＮＡ＝０．５３のレンズを用いて撮影した画像を示している。図１７（３）は、本撮像装置を用いて撮影した画像を示している。また、図１７（２）（３）におけるＺは、奥行き方向の移動距離を示し、Ｚ＝０．０ｍｍは下層に焦点位置を合せた場合を示し、Ｚ＝−１．２ｍｍは上層に焦点位置を合せた場合を示している。下層の位置を原点とし、上層から下層に向ってプラス、下層から上層に向ってマイナスとしている。
比較例では、レンズの絞り機構を調整して、焦点位置を変化させ、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１７（２）に計５種類の撮影画像を示す。いずれの撮影画像も上層の画像と下層の画像の両方の画像が同じ明瞭さ、もしくは同じぼやけ方で表れているのが確認できる。
一方、本撮像装置では、レンズや絞り機構を用いず、被写体を奥行き方向に移動させ、焦点位置から被写体を僅かに移動させて、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１７（３）に計５種類の撮影画像を示す。焦点位置を上層の画像に合せた撮影画像では、上層のメッシュ柄の模様が表れている。また、焦点位置を下層の画像に合せた撮影画像では、下層の蝶々の模様が表れている。

他の例の被写体として、被写体１とは異なる層状サンプルを用いて、本撮像装置の性能を確認した結果について説明する。この層状サンプルを被写体２とする。被写体２は、蝶々の画像とＡＢＣＤ文字の画像とが、それぞれ厚さ０．１ｍｍの透明な膜として作製され、２層の平坦面から構成される２層構造物体である。サンプルの面の大きさは２０ｍｍ×２０ｍｍであり、２層を構成する膜同士は１．２ｍｍ間隔で分離されている。
本撮像装置を用いて、２層構造物体の被写体２を撮影した画像について示す。なお、比較例は、上述した比較例と同様で、開口数ＮＡ＝０．５３のレンズにより撮影した画像を示す。
図１８（１）は被写体１の上層、下層の画像を示している。図１８（２）は、比較例としてＮＡ＝０．５３（Ｆ０．９５）のレンズを用いて撮影した画像を示している。図１８（３）は、本撮像装置を用いて撮影した画像を示している。図１７と同様、図１８（２）（３）におけるＺは、奥行き方向の移動距離を示し、Ｚ＝０．０ｍｍは下層に焦点位置を合せた場合を示し、Ｚ＝−１．２ｍｍは上層に焦点位置を合せた場合を示している。下層の位置を原点とし、上層から下層に向ってプラス、下層から上層に向ってマイナスとしている。
比較例では、レンズの絞り機構を調整して、焦点位置を変化させ、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１８（２）に計５種類の撮影画像を示す。いずれの撮影画像も上層の蝶々の画像だけが確認でき、下層の文字画像は蝶々の画像の下に隠れてしまっている。
一方、本撮像装置では、被写体を奥行き方向に移動させ、焦点位置から被写体を僅かに移動させて、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図１８（３）に計５種類の撮影画像を示す。焦点位置を上層の画像に合せた撮影画像では、上層の蝶々の模様が表れており、焦点位置を下層の画像に合せた撮影画像では、下層のＡＢＣＤ文字画像が表れている。

図１７，図１８に示す結果から、本撮像装置では、上層の画像に隠れた下層の画像が確認でき、従来のレンズベースのシステムよりも、はるかに浅い被写界深度のイメージングを達成できることがわかる。しかしながら、本撮像装置により撮影された画像は、従来のレンズベースのシステムで撮影された画像と比べ、周辺領域でボケ度合いが著しいこと、そして、光が集束しない他の層の画像が目的とする層の画像に若干残っていることの問題がある。

図１９，図２０を参照して、本撮像装置による撮影画像のボケに関して説明する。
図１９に示す層状の被写体は、被写体２と同様に、蝶々の画像とＡＢＣＤ文字の画像とが、それぞれ厚さ０．１ｍｍの透明な膜として作製され２層構造物体であるが、被写体２と異なり更に薄く、２層を構成する膜同士は０．５ｍｍ間隔で分離されている。図１９では、本撮像装置の焦点位置と被写体（２層構造物体）の相対位置が異なる５つの位置における撮影画像を示している。２層構造物体を撮像素子へ向かう方向（奥行き方向）に移動させて、５種類の相対位置で撮影する。それぞれ５種類の相対位置は、図１９に示すように、ａ）焦点位置が２層構造物体の下層の更に下の位置、ｂ）焦点位置が２層構造物体の下層と重なる位置、ｃ）焦点位置が２層構造物体の上層と下層の間の位置、ｄ）焦点位置が２層構造物体の上層と重なる位置、ｅ）焦点位置が２層構造物体の上層の更に上の位置である。すなわち、撮影は０．２５ｍｍ間隔で行う。
上記ａ）の位置と上記ｂ）の位置に焦点位置がある場合、下層のＡＢＣＤ文字の画像が確認できる。一方、上記ｄ）の位置と上記ｅ）の位置に焦点位置がある場合、上層の蝶々の画像が確認できる。また、上記ｃ）の位置に焦点位置がある場合、蝶々の画像とＡＢＣＤ文字の画像とが混ざった画像が確認できる。なお、ＡＢＣＤ文字はそれぞれ異なる色彩で描かれており、そのため文字によっては見づらくなっている。

図２０は、本撮影装置によって撮影した画像を、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する制約とを用いて、鮮明化処理を行って最適化を行った結果を示している。図２０では、（１）撮影対象（上層、下層）、（２）本撮影装置による撮影画像（上層、下層）、（３）本撮影装置による撮影画像に対して鮮明化処理を行った画像（上層、下層）、（４）本撮影装置による撮影位置を図１９で示した５ヶ所で撮影し鮮明化処理を行った画像（上層、下層）を示している。図２０に示すように、本撮影装置による撮影画像に対して鮮明化処理を行った画像は、撮影対象に近似していることがわかる。また、本撮影装置による撮影位置を図１９で示した５ヶ所で撮影し鮮明化処理を行った画像は、撮影対象に更に近似していることがわかる。

（ボケ関数と画素値の制約について）
以下では、図２１〜２６を参照して、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する制約について説明する。
被写体の位置に依存するボケ関数に関しては、２つの放物面鏡を正対配置させた本撮像装置を用いて予め計測しておくことが必要である。すなわち、２つの放物面鏡を正対配置させ、焦点位置から被写体を動かして、例えば、図１９の５ヶ所の位置に動かして、それぞれの被写体の位置に依存するボケ関数を予め計測する。
画像のボケ方を表すボケ関数として、行列で表記する。以下では、ボケ関数を表す行列を、ボケ行列と呼ぶ。撮影対象となる画像の位置（例えば、中央と周辺）によって、異なるボケ方をして撮影されることから（中央では全体に拡がるが、周辺ではある一方向に拡がるなどの違いがある）、画像の位置毎にボケ方を計測し、それらを列毎に示して行列の形で表す。
すなわち、ボケ行列を予め計測し、撮影画像を利用して鮮明な撮影対象の画像を推定する。図２１に示すように、具体的には、撮影画像と、推定画像にボケ行列を掛けた画像との誤差が最小となるように、撮影対象を推定する。その際、光線強度に関する制約、すなわち、撮影画像の画素値に関する制約を用いた最適化を行う。

本撮影画像では、照明光源によって照らされた被写体（撮影対象）の散乱光を計測するため、撮像素子には、被写体の光が必ず到達するため、撮影対象の光線強度は負にならず、撮影画像の画素値は負になることは無い。つまり、撮影画像の画素値に関する制約として、下界は非負値であるということが当てはまる。したがって、撮影画像の画素値の非負値制約を、推定画像の最適化に用いることができる。

また、撮影対象の光線強度はとして、ボケが生じた画像とボケ行列より上界を定めることができる。すなわち、撮影画像の画素値に関する制約として、上界をボケが生じた画像とボケ行列より決定できる。
図２２に示すように、撮影対象のある画素がボケて撮影されたと仮定する。予めボケ行列は計測されており、ボケ行列から、例えば５×５画素においては、中央が“４”、中央の縦一列は上から“１，２，４，２，１”、中央の横一列は左から“１，２，４，２，１”、中央から左上、右上、左下、右下はそれぞれ“１”といったように、中央に画素値が周辺に拡がりボケが生じることがわかっている。

図２３に示すように、例えば中央の最上位の画素値で、ボケ行列と撮影画像と比べると、ボケ行列では“１”であるのに対して、撮影画像では“４”である。撮影画像の各画素値は、画素に当る本来の光と、画素の周辺からぼけた光との足し合わせになる。そのため、撮影画像の画素値から撮影対象の画素値を推定することが可能であり、撮影対象はこの推定した画素値以下の光線強度であるという制約を設けることが可能になる。
中央の最上位の画素値で説明する。ボケ行列では“１”であるのに対して、撮影画像では“４”である。ボケ行列では全体の光量は、ボケ行列の各値の合計であり、ここでは“２０”である。すなわち、ボケ行列における中央の最上位の値“１”は、全体の光量の１／２０であることを示している。撮影画像の１画素（最上位の画素）には、注目している撮影対象からの光と、その他の周辺画素からの光がぼけて撮影されている。よって、Ｘを撮影対象の推定画素値とし、αを周辺からのボケの光による値とすると、下記数式５が成り立つことになる。αは周辺からのボケの光であり、０以上の値であるから、下記数式６が成立する。下記数式６から、撮影対象の１画素（最上位の画素）の推定画素値として、その上界が“８０”とすることができるのである（図２４を参照）。

もう１つ他の画素を例にして説明する。例えば中央の画素値で、ボケ行列と撮影画像と比べると、ボケ行列では“４”であるのに対して、撮影画像では“９”である。先ほどと同様に、撮影画像の各画素値は、画素に当る本来の光と、画素の周辺からぼけた光との足し合わせになる。ボケ行列では全体の光量は、ボケ行列の各値の合計であり、ここでは“２０”であるので、ボケ行列における中央の値“４”は、全体の光量の４／２０であることを示すことになる。撮影画像の中央の画素には、注目している撮影対象からの光と、その他の周辺画素からの光がぼけて撮影されているので、Ｘを撮影対象の推定画素値とし、αを周辺からのボケの光による値とすると、下記数式７が成り立つことになる。αは周辺からのボケの光であり、０以上の値であるから、下記数式８が成立する。下記数式８から、撮影対象の１画素（最上位の画素）の推定画素値として、その上界が“４５”とすることができるのである。

上述の如く、例として５×５画素マトリクスにおける中央の画素と中央の最上位の画素の２つを例に挙げると、中央の画素値の上界の制約は４５とでき、中央の最上位の画素値の上界の制約は８０とできることがわかる。この例において、同様に他の画素値を調べると、図２５のような値となることがわかる。
以上のようにして、撮影画像の画素値に関する制約として、上界と下界を制約として設けることができるのである。

図２６は、ボケ行列を用いた最適化の説明図である。例えば、図１８に示す被写体２の２層構造物体の断層画像を鮮明化する場合、本撮像装置を用いて上層に焦点を合わせて画像を撮影し、また下層に焦点を合わせて画像を撮影する。予め、上層に焦点を合わせた位置におけるボケ行列を計測しておく。同様に、下層に焦点を合わせた位置におけるボケ行列を予め計測しておく。ボケ行列は、対応する撮影対象の位置から光が出た時に、撮影画像にどのように影響するかを示すもので、各点から出る光のボケ特性ベクトルの集合である。撮影画像は、放物面鏡を用いた撮影装置などによって撮影された画像ベクトルである。ボケ行列と推定する撮影対象を掛け合わしたものと、撮影画像との誤差が最小になるように最適化する。最適化の際には、撮影対象の画素値の上界と下界の制約を用いる。
ボケ行列は、被写体の位置に依存するものである。被写体の位置を色々と変え、複数個所で予めボケ行列を計測しておき、実際の撮影対象においても、被写体の位置を変えて、複数個所で撮影した画像を用いる。すなわち、鮮明化処理に用いる画像を増やすことで、より精度の高い推定を行い、鮮明で推定精度の高い断層画像を生成することが可能になる。

本発明は、葉脈の構造解析など層構造物体の内部構造の解析や可視化、撮影対象に埃やカビなど取り除くことが困難な遮蔽物が存在する際の遮蔽物除去、半透明物体の内部構造の可視化、推定された断層画像を積み重ねることで半透明物体の内部構造を再現する３Ｄスキャナとして有用である。

１ 撮像装置
２ 第２放物面鏡
３ 第１放物面鏡
４ 被写体
５ 被写体支持台
６ 撮像素子
７ 照明光源
８ 光遮断用マスク
９ マスク支持部
１０ 開口孔
１１ 移動ステージ
１２ 垂直方向駆動機構
１３ 水平方向駆動機構
１４ 放物面鏡の固定支持部
１５ 移動機構支持部
１６ 台座

Claims (15)

1. 結像光学系の焦点位置に被写体を配置して、結像光学系の光軸方向に被写体を平行移動させる移動手段を備えた撮像装置と、
   前記移動手段により被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、推定する断層画像の画素値に関する上界が前記ボケ関数の算出値である制約と下界が非負値である制約とを用いて、被写体の断層画像を生成する断層画像生成手段と、
   を備えたことを特徴とする断層画像生成システム。
2. 前記結像光学系は、第１放物面鏡と第２放物面鏡を正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置し、第２放物面鏡の焦点位置に被写体を配置したものであることを特徴とする請求項１に記載の断層画像生成システム。
3. 前記断層画像生成手段は、
   推定する断層画像に前記ボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、前記制約を満たす画像を断層画像として生成することを特徴とする請求項１又は２に記載の断層画像生成システム。
4. 第１放物面鏡と第２放物面鏡は、それぞれの開口径が同じであることを特徴とする請求項２に記載の断層画像生成システム。
5. 第１放物面鏡と第２放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことを特徴とする請求項２に記載の断層画像生成システム。
6. 前記被写体を前記光軸方向に垂直な方向に平行移動させる第２移動手段を更に備え、
   前記断層画像生成手段は、
   前記光軸方向に垂直な方向に平行移動させながら前記被写体をする撮影した画像を用いて、
   前記被写体の断層画像を生成することを特徴とする請求項１〜５の何れかに記載の断層画像生成システム。
7. 前記撮像装置において、
   装置外側に光源、
   第２放物面鏡の焦点位置に光入射口、
   前記撮像素子と前記被写体の間に光遮蔽用マスク、
   が設けられたことを特徴とする請求項２に記載の断層画像生成システム。
8. 結像光学系の光軸方向に被写体を平行移動させる移動ステップと、
   光軸方向に移動させて異なる位置から被写体を撮影する撮像ステップと、
   被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、推定する断面画像の画素値に関する上界が前記ボケ関数の算出値である制約と下界が非負値である制約とを用いて、被写体の断層画像を生成する断層画像生成ステップ、
   を備えたことを特徴とする断層画像生成方法。
9. 前記結像光学系は、第１放物面鏡と第２放物面鏡を正対配置させ、第１放物面鏡の焦点位置に撮像素子を配置し、第２放物面鏡の焦点位置に被写体を配置したものであることを
   特徴とする請求項８に記載の断層画像生成方法。
10. 前記断層画像生成ステップは、推定する断層画像に前記ボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、前記制約を満たす画像を断層画像として生成することを特徴とする請求項８又は９に記載の断層画像生成方法。
11. 第１放物面鏡と第２放物面鏡は、
    それぞれの開口径が同じであることを特徴とする請求項９に記載の断層画像生成方法。
12. 第１放物面鏡と第２放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことを特徴とする請求項９に記載の断層画像生成方法。
13. 前記被写体を前記光軸方向に垂直な方向に平行移動させる第２移動ステップを更に備え、
    前記断層画像生成ステップは、前記光軸方向に垂直な方向に平行移動させながら前記被写体をする撮影した画像を用いて、前記被写体の断層画像を生成することを特徴とする請求項８〜１２の何れかに記載の断層画像生成方法。
14. コンピュータを、請求項１〜７の何れかの断層画像生成システムにおける前記断層画像生成手段として機能させる断層画像生成プログラム。
15. コンピュータに、請求項８〜１３の何れかの断層画像生成方法における前記断層画像生成ステップを実行させるための断層画像生成プログラム。

Images