JP6421416B2

JP6421416B2 - 立体視表示方法及び観測装置

Info

Publication number: JP6421416B2
Application number: JP2014023749A
Authority: JP
Inventors: 西坂　崇之; 崇之西坂
Original assignee: Gakushuin School Corp
Current assignee: Gakushuin School Corp
Priority date: 2014-02-10
Filing date: 2014-02-10
Publication date: 2018-11-14
Anticipated expiration: 2034-02-10
Also published as: JP2015152638A

Description

本発明は、顕微鏡下で観測対象物をリアルタイムで立体視する表示方法及び観測装置に関する。

近年の光学顕微鏡に関する技術の発展はめざましく、現在は水溶液中の１個の蛋白質を対象に研究ができる段階にまで到達している。この発展を可能にしたのは、全反射照明など光学系の新技術、様々なタイプの高感度カメラの開発、光学フィルターの特性の向上などである。数多くの実験的手法があみ出され、今や「１分子生理学」という新しい流れが生まれつつある。
例えば、分子モーターや蛋白質分解酵素は、基質の結合によりダイナミックな構造変化を伴い、それが機能に密接に関係すると考えられている。

このような１個の生体分子の中で起こる構造変化を、分子レベルで生きたまま顕微鏡下で可視化できるようにする技術が求められている。
特に、顕微鏡下で運動する原子分子の３次元位置情報が得られれば、蛋白質１分子の変位を正確に検知するなど、飛躍的な進歩が望める。

本発明者は、特許文献１において、１枚のプリズムを用いて光学顕微鏡で取得した像を２つに分割し、微細粒子の３次元の位置情報を得る手段を開示した。
しかし、実際に画像を撮影する時に観察している対象は、２つに分割した２次元の像であり、３次元で何が起きているかはわからない。画像に対して画像解析を行い、キャリブレーションを行って座標を求め、そしてコンピューターの中で始めて３次元の画像が再構成されるという長い手順が必要である。
そのため、リアルタイムでは３次元的に観察できず、実験中に試料に操作を加えることも無理であった。

特許第４７８９１７７号

そこで、本発明は、顕微鏡下の微細物質をリアルタイムで立体視する表示方法と、それを実施する観測装置を提供することを課題とする。

本発明の立体視観測装置は、合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、観測対象物から受光面に至る光路の途中に配設され、観測光の進行方向を２つの異なる方向に変える偏向部材と、その偏向部材を介して受光面に達した２つの像をそれぞれ含む２つの画像データを、立体視用の右目用画像データ及び左目用画像データに変換する画像処理手段と、その画像処理手段から出力される右目用画像データ及び左目用画像データを立体視用に表示する３次元画像表示装置とを備えることを特徴とする。なお、３次元画像表示装置としては、公知の３Ｄモニターが利用できる。

同様に、合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、観測対象物から受光面に至る光路の途中に配設され、一部の観測光の進行方向を部分的に変える偏向部材と、その偏向部材を介して受光面に達した像と、偏向部材を介さないで受光面に達した像とをそれぞれ含む２つの画像データを、立体視用の右目用画像データ及び左目用画像データに変換する画像処理手段と、その画像処理手段から出力される右目用画像データ及び左目用画像データを立体視用に表示する３次元画像表示装置とを設けて構成してもよい。

ここで、偏向部材としてはウェッジプリズムが使用でき、そのウェッジプリズムの傾斜面を、受光面に対向する側に配置してもよい。

観測光の進行方向を２つの異なる方向に変える場合は、偏向部材として、同一の傾斜角をもつ２基のウェッジプリズムを用い、その２基のウェッジプリズムを、各傾斜面の傾斜方向を逆に配向された形態で組み合わせて配置してもよい。

画像処理手段として、受光面に達した画像データを取り込み、立体視用の右目用画像データ及び左目用画像データに分割して変換する画像処理手段を用い、汎用性に寄与させてもよい。

本観測装置に、光ピンセットを有するマニピュレータを付設して、観測対象を操作できるようにしてもよい。

本発明の立体視表示方法は、合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、観測対象物から受光面に至る光路の途中に配設され、観測光の進行方向を２つの異なる方向に変える偏向部材とを備えた構成において、画像処理手段によって、偏向部材を介して受光面に達した２つの像をそれぞれ含む２つの画像データを、立体視用の右目用画像データ及び左目用画像データに変換し、３次元画像表示装置によって、画像処理手段から出力された右目用画像データ及び左目用画像データを、同じ高さで重ねてそれぞれを左右の眼に独立に表示することを特徴とする。

同様に、合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、観測対象物から受光面に至る光路の途中に配設され、一部の観測光の進行方向を部分的に変える偏向部材とを備えた構成において、画像処理手段によって、偏向部材を介して受光面に達した像と、偏向部材を介さないで受光面に達した像とをそれぞれ含む２つの画像データを、立体視用の右目用画像データ及び左目用画像データに変換し、３次元画像表示装置によって、画像処理手段から出力された右目用画像データ及び左目用画像データを、同じ高さで重ねてそれぞれを左右の眼に独立に表示してもよい。

本発明によると、リアルタイムで立体視が行え、実験中に試料に操作を加えることも可能であり、微細物質の動態の解明に寄与する。

本発明の光学系の要部構成を示す説明図本発明の観測装置の要部構成を示す説明図観測対象物がｚ方向へ変位した時の像を示す説明図観測対象物がｘ方向へ変位した時の像を示す説明図観測対象物がｙ方向へ変位した時の像を示す説明図

以下に、図面を基に本発明の実施形態を説明する。
なお、蛍光色素１分子程度の微細粒子を例示するが、ｍｍオーダーの大きな物体にも適宜適用可能である。また、実施形態は、本発明の趣旨を逸脱しない範囲で、上記従来技術など従来公知の技術を援用して適宜設計変更可能である。

図１及び２は、本発明の光学系及び観測装置の要部構成を示す説明図であり、図３〜５は、光学系の基本原理を示す模式図である。
本発明装置は、従来の蛍光顕微鏡等の顕微鏡装置に、プリズム等の偏向部材と、ＣＣＤカメラ等の受光素子での入力画像データ処理する画像処理手段と、画像処理手段から出力される立体視用画像データを表示する表示装置とを組み込むことによって構成される。

観測対象物としては、例えば水溶液中で３次元的に移動する蛋白質が挙げられる。
観測対象物から、合焦及び絞り機構を有するレンズ系を介して観測対象物からの光を受光する受光面に至る光路の途中に、その観測光の進行方向を２つの異なる方向に変える偏向部材が配設される。
図示の例では、偏向部材としてダブルウェッジプリズムを採用している。一般に、ウェッジプリズムは、光学的隔離用コンポーネントとして使用されている。
なお、偏向部材は、輝点信号の進行方向を変える作用を有するものであればよく、プリズムの代わりに、ミラーや、光の方向を電磁気的に制御する素子も利用できる。

本実施例では、同一形状のウェッジプリズムを２基組み合わせ、光路の中央に配置した。しかし、ウェッジプリズムの数は２基に限らず３基以上でもよく、後述のように１基でもよい。また、その複数のウェッジプリズムの形状も同一でなくてもよい。

２基のウェッジプリズムは、同一の傾斜角をもつものを用い、その２基のウェッジプリズムの各傾斜面の傾斜方向を逆に配向した形態で組み合わせて配置する。更に、その傾斜面が、カメラに対向する側になるように配置することが好ましい。

ウェッジプリズムによる作用は、次の通りである。
図１及び３に示す例では、対物レンズが上下する方位(z軸方向)に沿って、３通りの試料位置Ａ〜Ｃを配列して示している。図３では、観測対象物が観測面に垂直な方向（ｚ方向）へ変位した時、観測面に平行な受光面における２つの像の変位が模式的に示されている。
対物レンズが上下する方位(z軸方向)に沿った各試料位置Ａ〜Ｃに位置する観測対象物の像は、それぞれ焦点ａ〜ｃに対応する。

観測対象物の１点から出た光は、対物レンズによって平行にされ、もう１枚のレンズによって集光されるが、ウェッジプリズムがあると、それを透過した観測光は、進行方向が変えられるので、図示のように分割されて２つの像を結ぶ。
そして、試料位置Ａ〜Ｃに応じて、焦点ａ〜ｃの位置も同じ方向にずれるので、受光面では、２つの像も、試料位置Ａ〜Ｃに応じた位置及び形状を現す。
このとき、観測対象物が観測面に垂直な方向へ変位した時は、受光面における２つの像の輝度の重心は、逆方向へ対称的に変位する。
そのため、その移動量から、観測面と平行な方位への変位を相対量として求めることができる。

図４は、同様に、観測対象物が観測面に平行な横方向（ｘ方向）へ変位した時、受光面における２つの像の変位を示す説明図である。
観測対象物が観測面に平行な横方向へ変位した時（試料位置Ｂ、Ｄ、Ｅ）は、受光面における２つの像も、同一の横方向へ揃って変位する。
そのため、その移動量から、観測面と平行な方位への変位を絶対量として求めることができる。
その際、受光面における各像の位置は、画像解析によって、輝度に関する重心を独立に算出して求める。

図５は、観測対象物が観測面に平行な縦方向（ｙ方向）へ変位した時、受光面における２つの像の変位を示す説明図である。
この場合も、上記と同様に、観測対象物が観測面に平行な縦方向へ変位した時（試料位置Ｂ、Ｆ、Ｇ）は、受光面における２つの像も、同一の縦方向へ揃って変位するので、その移動量から、観測面と平行な方位への変位を絶対量として求めることができる。

このように、ウェッジプリズムによって分割された２つの光は、観測対象物の奥行き方向（z方向）の動きは左右の動きに変換される。そのため、２つの像の相対的な変位からz方向の位置が求められ、２つの像の平均の位置から、xy方向の位置が求められ、１枚の画像からxyzすべての情報を取り出すことができる。
ここで、ウェッジプリズムによって分割された２つの光は、異なる方向から受光面に結像するため、観測対象物の奥行き方向の動きは、受光面での左右の動き、すなわち光の角度の変化に変換されている。この光の角度のずれを、次のように、立体視の視差に適用できる。

すなわち、ウェッジプリズムによって分割されて受光面に達した２つの像をそれぞれ含む２つの画像データを、ＰＣ等の画像処理手段に取り込み、立体視用の右目用画像データ及び左目用画像データに変換し、次いで、その画像処理手段から出力される右目用画像データ及び左目用画像データを、３Ｄモニターに同じ高さで重ねて左右の眼に独立に表示すればよい。

上記構成によって立体視観測は可能であるが、様々な仕様のカメラやモニターや演算処理装置があるため、例えば画像の取り込みソフトとビデオボードを動作させる言語のリンクなど、各仕様に合わせてソフトウェアを用意する必要がある。
そこで、どのカメラで撮影した映像でも、モニターの周波数の速さで立体視が行えるように、受光面に達した画像データを、１台のＰＣ等の画像処理手段に取り込み、画像処理によって２つの画像データに分割し、そのまま立体視することが好ましい。
なお、本構成は、図２の実施例では、一般のカメラシステムとは独立に設けているが、両者を一体化させてもよい。

更に、観測対象物の設置部に光ピンセット等を有するマニピュレータを設けて、観測中に観測対象物を操作できるようにしてもよい。
なお、光ピンセットは、強力な赤外光を水中で集光させることにより、微細粒子を非接触でとらえる部材である。その光の照射角度を変えることで、とらえた微細粒子を３次元方向へ自在に動かしたり、細胞の特定の部分に力を加えたり、分子を引きはがしたりすることが可能である。

また、本発明によると、実験しているその場で、観察している試料のそれぞれの傾向を検知できる。例えば、多数のバクテリアの中から、３次元的に特別な振る舞いをする個体があったとしても、従来の方法では、一匹一匹をすべて解析してから、ようやくその個体を突き止められるという長い作業が必要であった。しかし、本発明装置によれば、リアルタイムで所望の個体を特定することが容易なので、ただその個体を追跡して記録すれば済み、実験の効率が飛躍的に上がる。
また、３次元的な広がりをもつ特徴的な構造があった場合、その傾向を大まかにでもリアルタイムで確認できれば、溶液条件や温度等を変化させるといった外乱を加えて、構造がどう変化するかを観測することが容易である。

医療分野への応用も可能である。
例えば、バクテリアやウィルスといった病原体を３次元でマニピュレーションし観察することは、感染や発症のメカニズムの解明に寄与する。超分子集合体である繊毛のような特殊な器官に注目し、遺伝的に欠陥をもった器官においては、動きや発生する力にどういった違いが現れるのかの解明に寄与する。病気の原因となっているタンパク質の動作機構解明は、薬剤の開発に寄与する。

なお、ウェッジプリズムは、上記実施例のように、必ずしも２つ設けなくてもよい。ウェッジプリズムを複数用いてもよいが、全ての観測光をプリズムに透過させるのではなく、偏向させないで直進させる観測光も生成させてもよい。
この場合も、前記の場合と同様に、受光面において２つの像の変位を検知できる。そのため、偏向部材を介して受光面に達した像と、偏向部材を介さないで受光面に達した像との位置関係から、観測対象物の位置を解析することが可能になる。
前記実施例との違いは、光学素子が簡便になるという点と、受光面における２つの像の相対距離が半分になるという点である。

本発明によると、簡易な構成でありながらも、リアルタイムで立体視が行え、実験中に試料に操作を加えることも可能であるので、微細物質の動態の解明をはじめ、医療分野への応用も可能であり、産業上非常に有用である。

Claims

合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、
観測対象物から受光面に至る光路の途中に配設され、観測光の進行方向を２つの異なる方向に変える偏向部材と、
その偏向部材を介して受光面に達した２つの像をそれぞれ含む２つの画像データを、それぞれ、立体視用の右目用画像データ及び左目用画像データに変換する画像処理手段と、
その画像処理手段から出力される右目用画像データ及び左目用画像データを立体視用に表示する３次元画像表示装置とを備え、
画像処理手段から出力される立体視用の右目用画像データ及び左目用画像データを、それぞれ独立に、３次元画像表示装置を介して、観測者の右目及び左目それぞれにそのまま投じリアルタイムの立体視に供する
ことを特徴とする立体視観測装置。
合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、
観測対象物から受光面に至る光路の途中に配設され、一部の観測光の進行方向を部分的に変える偏向部材と、
その偏向部材を介して受光面に達した像と、偏向部材を介さないで受光面に達した像とをそれぞれ含む２つの画像データを、それぞれ、立体視用の右目用画像データ及び左目用画像データに変換する画像処理手段と、
その画像処理手段から出力される右目用画像データ及び左目用画像データを立体視用に表示する３次元画像表示装置とを備え、
画像処理手段から出力される立体視用の右目用画像データ及び左目用画像データを、それぞれ独立に、３次元画像表示装置を介して、観測者の右目及び左目それぞれにそのまま投じリアルタイムの立体視に供する
ことを特徴とする立体視観測装置。
偏向部材が、ウェッジプリズムであり、
そのウェッジプリズムの傾斜面が、受光面に対向する側に配置される
請求項１または２に記載の立体視観測装置。
偏向部材が、同一の傾斜角をもつ２基のウェッジプリズムであり、
その２基のウェッジプリズムが、各傾斜面の傾斜方向を逆に配向された形態で組み合わされて配置される
請求項１または３に記載の立体視観測装置。
画像処理手段が、受光面に達した画像データを取り込み、立体視用の右目用画像データ及び左目用画像データに分割して変換する画像処理手段である
請求項１ないし４のいずれかに記載の立体視観測装置。
観測装置が、光ピンセットを有するマニピュレータを備える
請求項１ないし５のいずれかに記載の立体視観測装置。
合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、
観測対象物から受光面に至る光路の途中に配設され、観測光の進行方向を２つの異なる方向に変える偏向部材とを備えた構成において、
画像処理手段によって、偏向部材を介して受光面に達した２つの像をそれぞれ含む２つの画像データを、それぞれ、立体視用の右目用画像データ及び左目用画像データに変換し、
３次元画像表示装置によって、画像処理手段から出力された右目用画像データ及び左目用画像データを、同じ高さで重ねてそれぞれを左右の眼に独立に表示し、
画像処理手段から出力される立体視用の右目用画像データ及び左目用画像データを、それぞれ独立に、３次元画像表示装置を介して、観測者の右目及び左目それぞれにそのまま投じリアルタイムの立体視に供する
ことを特徴とする立体視表示方法。
合焦及び絞り機構を有するレンズ系と、そのレンズ系を介して観測対象物からの光を受光する受光面と、
観測対象物から受光面に至る光路の途中に配設され、一部の観測光の進行方向を部分的に変える偏向部材とを備えた構成において、
画像処理手段によって、偏向部材を介して受光面に達した像と、偏向部材を介さないで受光面に達した像とをそれぞれ含む２つの画像データを、それぞれ、立体視用の右目用画像データ及び左目用画像データに変換し、
３次元画像表示装置によって、画像処理手段から出力された右目用画像データ及び左目用画像データを、同じ高さで重ねてそれぞれを左右の眼に独立に表示し、
画像処理手段から出力される立体視用の右目用画像データ及び左目用画像データを、それぞれ独立に、３次元画像表示装置を介して、観測者の右目及び左目それぞれにそのまま投じリアルタイムの立体視に供する
ことを特徴とする立体視表示方法。