WO2002056259A1

WO2002056259A1 - Appareil support de verification tridimensionnelle, procede de verification de structure tridimensionnelle, support d'enregistrement et programme

Info

Publication number: WO2002056259A1
Application number: PCT/JP2001/010778
Authority: WO
Inventors: Eisaku Katayama; Norio Baba
Original assignee: Center For Advanced Science And Technology Incubation, Ltd.
Priority date: 2001-01-05
Filing date: 2001-12-10
Publication date: 2002-07-18
Also published as: US6828555B2; JPWO2002056259A1; JP3619837B2; EP1363245A1; US20040069946A1

Description

明細書立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラム技術分野

本発明は、画像処理装置、画像処理方法、記憶媒体及びプログラムに関する。また本出願は、下記の日本特許出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

特願 2 0 0 1— 7 5 2 出願日 2 0 0 1年 1月 5日背景技術

物質の構造解析を高い空間分解能で決定するには、 X線回折や多次元 NMR法などの構造解析法を用いることが必須である。物質が X線回折の対象となるには、その物質が良質の結晶を作ること、そして同型置換などにより位相を決定できることが必須である。また、物質が多次元 NMR法の対象となるには、物質の分子量が大きくないこと、そして高濃度で溶解度の高い試料が大量に得られることが必須である。

上述した条件を満たさない物質は電子顕微鏡により構造解析せざるを得ない。しカゝし、汎用されるクライオ電子顕微鏡法ではコントラス,トが低い上に、電子線照射による物質の損傷が著しく、単一分子の立体構造を解析 ·決定することは困難である。

特に、複数の分子が複合体を形成する場合、或いは機能遂行に伴って構造変化をする場合、たとえ個々の分子の構造が既知であっても、それら複数の分子をどのように組み合わせるべき力、、或いは機能遂行に伴って分子構造がどのように変化するかを適格に解析する手段はなかった。このような場合は、既存の状況証拠を組み合わせて最も確からしい構造を推定して仮想モデルを構築するのみであつた。しかし、この仮想モデルの妥当性を検証することはできなかった。

そこで本発明は、このような問題を解決することを目的とする。発明の開示

即ち、本発明の第 1の形態は、物質の立体構造を示すために算出された 3次元算出画像の妥当性を検証することで、立体構造を検証することを支援する立体構造検証支援装置であって、 3次元算出画像に影を付けることで物質の立体構造を推定表示する 3次元推定付影画像を、回転しながら表示させる第 1の表示部と、実験的な構造解析により得られた物質の画像を、 3次元推定付影画像に合わせて回転しながら立体的に表示させる第 2の表示部と、を備えることを特徴とする立体構造検証支援装置を提供する。

第 1の形態の立体構造検証支援装置において、第 2の表示部は、複数の角度から得られた複数の影付きの 2次元画像を画像として角度順に連続して表示することで、物質の画像を回転しながら立体的に表示してもよい。この場合、 2次元画像は、透過型電子顕微鏡により得られた濃淡画像であってもよい。

3次元推定付影画像は、例えば透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して得られる。

複数の角度から見た物質の複数の第 1の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を 3次元の画像情報で表す 3次元濃淡情報を生成する第 2 の重畳部と、第 2の重畳部による 3次元濃淡情報を形状情報に重ねる第 1の重畳部と、 3次元濃淡情報から、形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して 3次元画像を生成する情報加工部と、を有する 3次元画像生成部を更に備えてもよい。

複数の角度から見た物質の複数の第 1の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、濃淡画像情報の濃淡情報を、外殻の周辺に分布させて 3次元算出画像を生成する画像情報生成部と、を有する 3次元画像生成部を更に備えてもよい。

本発明の第 2の形態は、物質の立体構造を示すために算出された 3次元算出画像を検証することで、立体構造を検証する立体構造検証方法であって、 3次元算出画像に影を付けた 3次元推定付影画像と、実験的な構造解析により得られた物質の画像とを、同時に回転しながら表示して、 3次元推定付影画像と画像とを比較することを特徴とする立体構造検証方法を提供する。

第 2の形態の立体構造検証方法において、複数の角度から得られた複数の影付きの 2次元画像を、角度順に連続して表示することで、物質の画像を回転しながら立体的に表示してもよい。この場合、 2次元画像は、例えば透過型電子顕微鏡により得られた濃淡画像である。

透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、 3次元推定付影画像を得てもよい。

複数の角度から見た物質の複数の第 1の画像情報を用いて、物質の外殻を示す形状情報を算出し、投影型の撮像装置により得られた物質の濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を 3次元の画像情報で表す 3次元濃淡情報を生成し、 3次元濃淡情報を形状情報に重ね、 3次元濃淡情報から、形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して 3次元算出画像を生成してもよい。

複数の角度から見た物質の複数の第 1の画像情報を用いて、物質の外殻を示す形状情報を算出し、濃淡画像情報の濃淡情報を、外殻の周辺に分布させて 3次元算出画像を生成してもよい。

本発明の第 3の形態は、物質の立体構造を示すために算出された 3次元算出画像を検証することで、立体構造を検証することを支援するプログラムを格納した記録媒体であって、プログラムは、 3次元算出画像に影を付けた 3次元推定付影画像を回転しながら表示する第 1の表示モジュールと、実験的な構造解析により得られた物質の画像を、 3次元推定付影画像と同時に回転しながら表示する第 2 の表示モジュールと、を備えることを特徴とする記録媒体を提供する。

本発明の第 4の形態は、物質の立体構造を示すために算出された 3次元算出画像を検証することで、立体構造を検証することを支援するプログラムであって、 3次元算出画像に影を付けた 3次元推定付影画像を回転しながら表示する第 1 の表示モジュールと、実験的な構造解析により得られた物質の画像を、 3次元推定付影画像と同時に回転しながら表示する第 2の表示モジュールと、を備えることを特徴とするプログラムを提供する。

第 3の形態の記録媒体、及び第 4の形態のプログラムにおいて、プログラムは、複数の角度から見た物質の複数の第 1の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出モジュールと、透過型電子顕微鏡により得られた濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布モジュールと、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を 3次元の画像情報で表す 3次元濃淡情報を生成する第 2の重畳モジュールと、第 2の重畳部による 3次元濃淡情報を形状情報に重ねる第 1の重畳モジュールと、 3次元濃淡情報から、形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して 3 次元算出画像を生成する情報加工モジュールと、更に備えてもよい。

また、プログラムは、複数の角度から見た物質の複数の第 1の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出モジュールと、透過型電子顕微鏡により得られた濃淡画像情報の濃淡情報を、外殻の周辺に分布させて 3次元算出画像を生成する画像情報生成モジュールと、を備えてもよい。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。図面の簡単な説明

図 1は、本発明の一実施の形態である立体構造検証支援装置 1 0 0の構成を示す。

図 2は、 3次元画像生成部 2 0 0の構成を示す。

図 3は、形状算出部 2 6 0の構成を示す。

図 4は、 3次元画像生成部 2 0 0のハードウェア構成図の一例を示す。

図 5は、濃淡画像情報を得る方法を説明する図である。

図 6は、濃淡画像情報を得る方法を説明する図である。

図 7は、濃淡画像情報を得る方法を説明する図である。

図 8は、 3次元濃淡情報の一例の縦断面情報を示す。

図 9は、 3次元濃淡情報の縦断面情報の他の例を示す。

図 1 0は、第 1の重畳部 2 8 0による重畳画像の一例の縦断面情報を示す。図 1 1は、情報加工部 3 0 0による 3次元再構成画像の一例の縦断面図を示す。

図 1 2は、 3次元画像生成部 2 0 0の第 2の動作例を説明する図である。図 1 3は、 3次元画像生成部 2 0 0の第 2の動作例を説明する図である。図 1 4は、立体構造検証支援装置 1 0 0による表示装置 8 0 0の表示例を示す。発明を実施するための最良の形態

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。図 1は、本発明の実施の形態の一例である立体構造検証支援装置 1 0 0を示す。立体構造検証支援装置 1 0 0は 3次元画像生成部 2 0 0と、第 1の表示部 1 2 0 及び第 2の表示部 1 4 0を備える。第 1の表示部 1 2 0は、付影部 1 2 2及ぴ角度指定部 1 2 4を有する。立体構造検証支援装置 1 0 0は、透過型電子顕微鏡などの投影型の撮像装置により得られた投影画像である濃淡画像情報から、 3次元算出画像の一例である 3次元再構成画像を 3次元画像生成部 2 0 0を用いて算出する。また、立体構造検証支援装置 1 0 0は、第 1の表示部 1 2 0を用いて 3 次元再構成画像に影を付けることで物質の立体構造を推定表示する 3次元推定付影画像にして、表示装置 8 0 0に回転表示させると共に、透過型電子顕微鏡などの実験的な構造解析により得られた物質の画像を第 2の表示部 1 4 0を用いて表示装置 8 0 0に立体的に回転表示させる。すなわち、立体構造検証支援装置 1 0 0は、 3次元推定付影画像及び実験的な構造解析による画像を同時に概略同じ角度に回転させて表示することで、 3次元推定付影画像と画像とを比較し、 2 つの画像の違いを見つけやすく表示することで、立体構造の検証を支援する装置である。ここで、 3次元推定付影画像と実験的な構造解析による画像は並列表示されるのが好ましい。

透過型電子顕微鏡等において、得られた画像の解像度が希望より低い場合が多々あるが、画像の解像度が低い場合にも、立体構造検証支援装置 1 0 0力 S 3次元再構成画像と画像を回転しつつ表示するので、これら 2つの回転している画像を比較して、 3次元再構成画像と画像との違いを発見することが可能になる。

3次元画像生成部 2 0 0は複数の角度から見た第 1の画像情報と、透過型電子顕微鏡等により得られた複数の投影画像情報すなわち濃淡画像情報を用いて、被写体の立体構造に関する 3次元情報を得る装置である。ここで第 1の画像情報として濃淡画像情報を用いることもできる。

図 2は 3次元画像生成部 2 0 0の構成の一例を示す。本例において、 3次元画像生成部 2 0 0は、分布部 2 2 0、第 2の重畳部 2 4 0、形状算出部 2 6 0、第 1の重畳部 2 8 0、情報加工部 3 0 0、画像情報生成部 3 2 0、及ぴ出力部 3 6 0を備える。

分布部 2 2 0は、外部から取得した複数の濃淡画像情報を各々撮像した角度すなわち投影した角度に引き延ばして分布させることで濃淡分布情報を生成し、第 2の重畳部 2 4 0に出力する。具体例として、分布部 2 2 0は濃淡画像情報の濃淡を均等に引き延ばした方向に分布させる。

第 2の重畳部 2 4 0は分布部 2 2 0による複数の濃淡分布情報を、角度を維持したまま重ねることで 3次元濃淡情報を生成し、第 1の重畳部 2 8 0に出力する _c 生成した 3次元濃淡情報は被写体を 3次元の画像情報で表す情報となる。ここでの 3次元濃淡情報中には偽情報が含まれる可能性がある。

形状算出部 2 6 0は、 3つ以上の角度から見た 3つ以上の画像情報から被写体の特定の点すなわち処理対象点の高さ情報を算出し、複数の処理対象点の高さ情報を用いて被写体の外殻を示す形状情報を算出する。

図 3は形状算出部 2 6 0の構成の一例を示す。形状算出部 2 6 0は、位置対応部 2 6 2、高さ情報算出部 2 6 4、及び形状情報算出部 2 6 6を備える。

位置対応部 2 6 2は、角度順において連続する 2枚の画像情報中の複数の処理対象点の位置を認識して各々対応付け、高さ情報算出部 2 6 4に出力する。

詳細には、例えば角度順において連続する第 1の画像情報及ぴ第 2の画像情報中の処理対象点の位置を対応付け、さらに第 2の画像情報とその直後の角度である第 3の画像情報において処理対象点の位置を対応付ける。この対応付けを第 3 及び第 4の画像情報、 · · ·といった他の画像組合せに対しても順次行う。各処理対象点は、 2組以上の画像組合せにおいてそれぞれ対応付けられる。

また、位置対応部 2 6 2は、画像情報中に基準線を定めておき、この基準線と処理対象点との距離も測定する。画像組合せを構成する 2枚の画像中における基準線ど処理対象点との距離の差が一定以上である場合、位置対応部は当該処理基準線の位置認識 ·対応付けを再度行う。

ここで、各画像情報が同一の回転を回転中心として被写体を予め定められた角度ずつ回転して撮像することにより得られた画像であったり、或いは 3つ以上の画像情報のうち、第 1及ぴ第 2の画像は一の回転軸を回転中心として被写体を予め定められた角度回転して撮像して得られた画像であり、第 3の画像は被写体を他の回転軸を回転中心として第 1の画像を撮像した位置から予め定められた角度ほど回転して撮像して得られた画像である場合、位置対応部は、前記した予め定められた角度を用いて、処理対象点の位置を対応付ける。

高さ情報算出部 2 6 4は、位置対応部 2 6 2により 2枚の画像情報内で対応付けられた処理対象点の高さ情報を各々算出し、形状情報算出部 2 6 6に出力する。高さ情報算出部 2 6 4で行う処理は、いわゆる立体視法の処理と同じである。ここで、各処理対象点は、少なくとも 2組以上の画像組合せにおいてそれぞれ対応付けられているため、高さ情報算出部 2 6 4は各処理対象点の高さ情報を複数算出する。高さ情報算出部 2 6 4は、複数の高さ情報を基にした最小二乗誤差法により、出力すべき高さ情報を算出する。ここで最小二乗誤差法による誤差が一定以上である場合、位置対応部 2 6 2は、処理対象点の位置を再検出する。

形状情報算出部 2 6 6は、高さ情報算出部 2 6 4が算出した処理対象点の高さ情報と、画像情報から求められる処理対象点の平面情報とを用いて被写体の形状情報を算出する。形状情報算出部 2 6 6は算出した形状情報を画像情報生成部 3

2 0及ぴ第 1の重畳部 2 8 0に出力する。

図 2に戻り、第 1の重畳部 2 8 0は、第 2の重畳部 2 4 0による 3次元濃淡情報に、形状算出部 2 6 0による形状情報を重ねて重畳画像を生成し、情報加工部

3 0 0に出力する。

情報加工部 3 0 0は、第 1の重畳部 2 8 0が出力した重畳画像を用いて、 3次元濃淡分布情報から、形状情報の周辺に存在する或いは形状情報と重なる情報のみを抽出して 3次元再構成画像を生成し、出力部 3 6 0に出力する。 3次元濃淡情報に偽情報が含まれる場合、偽情報と形状情報とは重なり得ない。従って、情報加工部 3 0 0が抽出する情報には偽情報は含まれない。その結果、 3次元再構成画像はより正確に被写体の 3次元構造を示す画像となる。

画像情報生成部 3 2 0は、形状算出部 2 6 0が算出した形状情報が示す外殻の該当個所周辺に、外部から取得した濃淡画像情報を分布させることで、被写体の 3次元再構成画像を生成し、生成した 3次元再構成画像を出力部 3 6 0に出力する。例として、画像情報生成部 3 2 0は、外殻の当該箇所から一定の範囲にある領域にのみ濃淡画像情報の濃度を均等に分布させることで 3次元濃淡画像情報を生成する。

ここで、画像情報生成部 3 2 0は、濃淡画像情報を撮像した角度に引き延ばして重ねるという過程を経ずに被写体の 3次元再構成画像を生成するため、偽情報が発生することはない。

出力部 3 6 0は、形状算出部 2 6 0による形状情報、画像情報生成部 3 2 0による 3次元再構成画像、及ぴ情報加工部 3 0 0による 3次元再構成画像を外部のプリンター或いは表示装置等に出力する。

図 1に戻り、第 1の表示部 1 2 0の付影部 1 2 2は、 3次元画像生成部 2 0 0 により算出された 3次元再構成画像に影付けを行つて 3次元推定付影画像を生成し、生成した 3次元推定付影画像を回転させつつ表示装置 8 0 0に出力して表示する。影付け方法としては、仮想的な光源から画像中の物体に接線を引き、物体において、接線との接点を基準に前記した仮想的な光源とは反対側にある部分の濃度を濃くする方法がある。ここで、濃度を濃くする際にグラデーションを付けてもよい。

第 1の表示部 1 2 0の角度指定部 1 2 4は、 3次元推定付影画像の回転角度を指示するために付影部 1 2 2に出力する。

つまり、第 1の表示部 1 2 0は、付影部 1 2 2が角度指定部 1 2 4の指示に従いつつ 3次元推定付影画像の角度を連続的に変えて表示装置 8 0 0に出力することで、表示装置 8 0 0に 3次元推定付影画像を回転表示する。

第 2の表示部 1 4 0は、実験的な構造解析により得られた物質の画像を、 3次元推定付影画像に合わせて回転しながら立体的に表示する。

一例として、第 2の表示部 1 4 0は複数の角度から撮像された複数の影付きの物質の 2次元画像を、角度順に連続して表示することで、物質を回転しながら立体的に表示する。これにより、 2次元画像の一例である透過型電子顕微鏡による濃淡画像をそのまま使用して、物質の構造を立体的に表示することが可能になる _c また、複数の影付きの物質の 2次元画像を角度順に連続して表示する場合、第 1の表示部 1 2 0は、 3次元推定付影画像の表示角度が、第 2の表示部 1 4 0により表示されている 2次元画像の撮像角度と同じになるようにする。具体的には、角度指定部 1 2 4は 2次元画像を撮像した角度をキーボード等から入力してもらつてもよく、第 2の表示部 1 4 0が 2次元画像とともに角度情報を取得し、その角度情報を角度指定部 1 2 4に出力してもよい。ここで 2次元画像は、例えば透過型電子顕微鏡で撮像された投影画像である。

なお、図 1の構成によれば、立体構造検証支援装置 1 0 0は、濃淡画像情報から算出した 3次元再構成画像の妥当性を検証することで立体構造を検証することを支援する装置である。これに対し、立体構造検証支援装置 1 0 0を、濃淡画像情報から 3次元再構成画像を算出する代わりに、状況証拠に基づいてシミュレーシヨンで作成されたモデルの画像である 3次元算出画像を直接付影部 1 2 2 で取得する構成としてもよい。これにより、立体構造検証支援装置 1 0 0は、推定モデルの立体構造の妥当性の検証を支援する装置となる。この場合、立体構造検証支援装置 1 0 0は 3次元画像生成部 2 0 0を備えなくてもよい。

図 4は、 3次元画像生成部 2 0 0のハードウエア構成図の一例を示す。本例において、 3次元画像生成部 2 0 0は、 C P U (central processing unit) 6 0 2 、 R OM (read only memory) 6 0 4 、 R AM (random access memory) 6 0 6 、ディスプレイ 6 0 8、プリンター 6 1 0、入力装置 6 1 2 、ハードディスク装置 6 1 4 、 F D (floppy disk) ドライブ 6 1 6、及ぴ C D— R OM (compact disk ROM) ドライブ 6 1 8を有する。

C P U 6 0 2は、 R AM 6 0 6及ぴ R OM 6 0 4に格納されたプログラムに基づいて処理を行う。ディスプレイ 6 0 8は、各種情報を表示する。プリンター 6 1 0は各種情報を印刷する。入力装置 6 1 2は、 3次元画像生成部 2 0 0に対する設定等を入力する。 F Dドライブ 6 1 6は、フロッピーディスク 6 2 0からデータ又はプログラムを読み取って C P U 6 0 2に渡す。 C D— R OMドライブ 6 1 8は、 C D— R OM 6 2 2からデータ又はプログラムを読み取って C P U 6 0 2に渡す。ハードディスク 6 1 8は、 F Dドライブ 6 1 6又は C D— R OMドライブ 6 1 8によって読み出されたデータ又はプログラムや、 C P U 6 0 2がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータ又はプログラムを読み取って C P U 6 0 2に渡す。

本例では、上述した 3次元画像生成部 2 0 0の各機能部を実現するプログラムを有する C D— R OM 6 2 2力ら、当該プログラムを読み出してハードディスク 6 1 8にインストールさせておき、ハードディスク 6 1 8から当該プログラムを読出して C P U 6 0 2が実行することにより、上記 3次元画像生成部 2 0 0の機能部を実現する。

前記したプログラムは、より具体的には、付影部 1 2 2を実現するための付影モジュール、角度指定部 1 2 4を実現するための角度指定モジュール、第 2の表示部を実現するための第 2の表示モジュール、分布部 2 2 0を実現するための分布モジュール、第 2の重畳部 2 4 0を実現するための第 2の重畳モジュール、形状算出部 2 6 0を実現するための形状算出モジュール、第 1の重畳部 2 8 0を実現するための第 1の重畳モジュール、情報加工部 3 0 0を実現するための情報加ェモジュール、画像情報生成部 3 2 0を実現するための画像情報生成モジュール、及ぴ出力部 3 6 0を実現するための出力モジュールを有する。各モジュールの動作は対応する機能部の動作と概略同じであるため説明を省略する。また、前記したプログラムは、 C D— R QM 6 2 2ではなくフロッピーディスク 6 2 0や、 M Oや MDなど他の記録媒体に格納されてもよい。

次に、図 5〜図 1 2を用いて 3次元画像生成部 2 0 0の第 1の動作例を説明する。本例では、並列かつ上向きに並んだ 2つの半球状の被写体 4 0 0を投影型の撮像装置で撮像し、 3次元画像生成部 2 0 0を用いて 3次元再構成画像を生成する。

まず、濃淡画像情報を得る段階について説明する。図 5、図 6、図 7に示すように、少なくとも異なる 3つの角度（本例では A方向、 B方向、及ぴ C方向）から被写体を撮像して投影画像情報すなわち濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0を得る。ここで、図 5および図 6に示すように A方向と B方向の角度の間隔と、 B方向と C方向の角度の間隔を各々等しい値 0とするのが好ましい。

また、 B方向および C方向は同一の軸 4 0 1を回転中心として A方向から回転した角度でもよく、異なる軸 4 0 1および 4 0 2を回転中心として A方向からそれぞれ回転した角度でもよい。

そして、濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0を 3次元画像生成部 2 0 0 に入力する。ここで濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0は第 1の画像情報も兼ねる。

本例において、 3次元画像生成部 2 0 0の分布部 2 2 0は、各濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0を撮像方向に引き延ばして濃淡分布情報 4 2 5 , 4 4 5、及ぴ 4 6 5を生成し、第 2の重畳部が、濃淡分布情報 4 2 5、 4 4 5、及ぴ 4 6 5を角度を維持したまま重ね合わせて 3次元濃淡情報を生成する。

図 8は、本例における 3次元濃淡情報の縦断面情報の一例を示す。 3次元濃淡情報は、全ての濃淡分布情報が重なった部分に物体が存在することを示す。図 7 は、濃淡分布情報 4 2 5、 4 4 5、及ぴ 4 6 5の全てが重なった部分すなわち情報 4 7 0、 4 7 2、 4 7 4、 4 7 6、及び 4 7 8に、被写体 4 0 0が存在することを示す。し力し、本来被写体 4 0 0は 2つのみであり、上記した 5つの情報のうち 3つは偽情報である。'

図 9は、本例における 3次元濃淡情報の縦断面情報の他の例を示す。本例において、濃淡画像情報 4 2 0 , 4 4 0、及ぴ 4 6 0の濃度はそれぞれ異なっている。また、濃淡分布情報 4 2 5、 4 4 5、及ぴ 4 6 5は、濃淡画像情報 4 2 0、 4 4 0、及び 4 6 0の濃淡を撮像した角度に引き延ばして均等に分布させたものである。この場合、情報 4 7 0〜4 7 8以外の部分も情報 4 7 0〜4 7 8の一つと同等以上の濃度を有する可能性があるため、偽情報がさらに増える場合もある。また、 3次元画像生成部 2 0 0の形状算出部 2 6 0は濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0から被写体 4 0 0の外殻を示す形状情報 2 6 5を算出する。ここで形状算出部 2 6 0は被写体 4 0 0の外殻全体は算出できず、図中 A方向、 B 方向および C方向の視野に共通して含まれる部分となる。本例においては被写体 4 0 0の球状部のみ外殻が算出される。

そして、 3次元画像生成部 2 0 0の第 1の重畳部 2 8 0は 3次元濃淡画像情報に形状算出部 2 6 0による形状情報を重畳する。

図 1 0は本例における第 1の重畳部 2 8 0による重畳画像の縦断面情報を示す。本例において、形状算出部 2 6 0による 2つの形状情報 2 6 5は、それぞれ情報 4 7 0及ぴ 4 7 2に重なる。従って、情報加工部 3 0 0は、情報 4 7 0及ぴ

4 7 2が物体を表す真の情報であり、情報 4 7 4 , 4 7 6及び 4 7 8が偽情報であると判断し、情報 4 7 0及び 4 7 2のみを抽出して 3次元再構成画像として出力部 3 6 0に出力する。

この結果、偽情報が 3次元再構成画像に含まれることはなくなる。

ここで、形状情報 2 6 5の信頼性が高い場合、情報加工部 3 0 0は形状情報 2

6 5を加味した 3次元再構成画像を出力する。また、濃淡分布情報 4 2 5 , 4 4 5及ぴ 4 6 5の焦点がはっきりしていない場合などは情報 4 7 0の境界及ぴ 4

7 2の境界は明確にはならない。この場合、情報加工部 3 0 0は形状情報 2 6 5 から予め定められた距離内に存在する情報を、情報 4 7 0及ぴ 4 7 2とする。また、第 1の重畳部 2 8 0による重畳情報をディスプレイ等に表示させることで、情報加工部 3 0 0の動作を人が代理してもよく、また、情報加工部 3 0 0による 3次元再構成画像に人の判断を加味することで偽情報を取り除いてもよレ、。この場合、より状況に即して偽情報を取り除くことができる。

図 1 1は本例における情報加工部 3 0 0による 3次元再構成画像の縦断面図を示す。情報加工部 3 0 0による 3次元再構成画像は被写体 4 0 0を精度よく再現していることがわかる。

そして、出力部 3 6 0は、必要に応じて形状算出部 2 6 0による形状情報 2 6

5、及び情報加工部 3 0 0による 3次元再構成画像すなわち情報 4 7 0及び情報 4 7 2を表示装置或いは印刷装置等に出力する。

すなわち、第 1の動作例では、 3次元画像生成部 2 0 0は、分布部 2 2 0、第 2の重畳部 2 4 0、形状算出部 2 6 0、第 1の重畳部 2 8 0、及ぴ情報加工部 3 0 0を用いて、より正確な 3次元再構成画像を得る。

次に、図 1 2及び図 1 3を用いて 3次元画像生成部 2 0 0の第 2の動作例を説明する。本例において、 3次元画像生成部 2 0 0は第 1の動作例と同様に濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0を用いて被写体 4 0 0の 3次元再構成画像を得る。

まず、図 1 2に例示するように形状算出部 2 6 0は形状情報 2 6 5を算出する。そして、図 1 3に例示するように画像情報生成部 3 2 0力形状情報 2 6 5の周囲にのみ濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0を分布させ、 3つの濃淡画像情報がすべて重なった部分すなわち情報 4 7 0及ぴ 4 7 2を 3次元再構成画像とする。この結果、 3次元再構成画像に偽情報が含まれることはなくなる。

ここで、形状情報 2 6 5の信頼性が高い場合、画像情報生成部 3 2 0は形状情報 2 6 5を加味した 3次元再構成画像を出力する。また、情報 4 7 0の境界及ぴ 4 7 2の境界がはつきりしない場合、画像情報生成部 3 2 0は形状情報 2 6 5力ら予め定められた距離内に存在する情報を、情報 4 7 0及び 4 7 2とする。ここで、形状情報 2 6 5の信頼性が高い場合、画像情報生成部 3 2 0は形状情報 2 6 5を加味した 3次元再構成画像を出力する。また、濃淡分布情報 4 2 5、 4 4 5 及び 4 6 5の焦点がはっきりしていない場合などは情報 4 7 0の境界及ぴ 4 7 2の境界は明確にはならない。この場合、'画像情報生成部 3 2 0は形状情報 2 6 5から予め定められた距離内に存在する情報を、情報 4 7 0及び 4 7 2とする。例えば、被写体 4 0 0の厚み Dが既知である場合は外殻から厚み Dの範囲内に濃淡画像情報 4 2 0、 4 4 0、及ぴ 4 6 0の濃度情報を均等に分布させる。このとき、前記した濃淡情報は、投影方向に厚み Dの範囲内で分布させるのが更に好ましい。

すなわち、第 2の動作例では、 3次元画像生成部 2 0 0は、形状算出部 2 6 0、画像情報生成部 3 2 0を用いてより正確な 3次元再構成画像を得る。

3次元画像生成部 2 0 0は、撮像可能な角度に制限がある場合に、特に上述した効果を発揮する。例えば、透過型電子顕微鏡より得た画像情報を投影画像情報とする場合、撮像可能な角度には制限があるが、 3次元画像生成部 2 0 0を用いることで被写体の分子レベルの立体構造を明らかにすることが可能となる。

詳細な例としては、細胞の蛋白質の構造やその変化を明ら力にしたい場合がある。この場合、いわゆる急速凍結ディープエッチ'レプリカ法により得られる蛋白質の型を透過型電子顕微鏡により撮像し、 3次元画像生成部 2 0 0で処理することで、偽情報すなわちいわゆるゴーストを取り除いた状態で、被写体である蛋白質の立体構造を示す 3次元情報を得ることができる。

図 1 4は、立体構造検証支援装置 1 0 0による表示装置 8 0 0の表示例を示す。本例において、表示画像 8 2 0は第1の表示部1 2 0による表示画像すなわち 3 次元推定付影画像であり、表示画像 8 4 0は第 2の表示部 1 4 0による表示画像すなわち実験的な構造解析により得られた画像である。図 1 4に示すように、立体構造検証支援装置 1 0 0によれば、 3次元推定付影画像と実験的な構造解析により得られた画像とが並列に回転されつつ表示されるため、 2つの回転画像の比較を容易に行える。従って、立体構造の検証をより容易に行える。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。産業上の利用可能性

上記説明から明らかなように、本発明によれば、物質の構造の推定モデル或いは 3次元再構成画像等の 3次元算出画像の妥当性の検証を支援するのに好適な立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラムを提供することができる。

Claims

請求の範囲

1 .物質の立体構造を示すために算出された 3次元算出画像の妥当性を検証することで、立体構造を検証することを支援する立体構造検証支援装置であって、前記 3次元算出画像に影を付けることで前記物質の立体構造を推定表示する 3次元推定付影画像を、回転しながら表示させる第 1の表示部と、

実験的な構造解析により得られた前記物質の画像を、前記 3次元推定付影画像に合わせて回転しながら立体的に表示させる第 2の表示部と、

を備えることを特徴とする立体構造検証支援装置。

2 . 前記第 2の表示部は、複数の角度から得られた複数の影付きの 2次元画像を前記画像として角度順に連続して表示することで、前記物質を回転しながら立体的に表示することを特徴とする請求項 1に記載の立体構造検証支援装置。

3 . 前記 2次元画像は、透過型電子顕微鏡により得られた濃淡画像であることを特徴とする請求項 2に記載の立体構造検証支援装置。

4 . 前記 3次元推定付影画像は、透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して得られることを特徴とする請求項 1に記載の立体構造検証支

5 . 複数の角度から見た前記物質の複数の第 1の画像情報を用いて、前記物質の外殻を示す形状情報を算出する形状算出部と、

前記濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、

複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を 3次元の画像情報で表す 3次元濃淡情報を生成する第 2の重畳部と、

前記第 2の重畳部による前記 3次元濃淡情報を前記形状情報に重ねる第 1の重畳部と、

前記 3次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記 3次元画像を生成する情報加工部と、

を有する 3次元画像生成部を更に備えることを特徴とする請求項 3に記載の立体構造検証支援装置。

6 .複数の角度から見た前記物質の複数の第 1の画像情報を用いて、前記物質の外殻を示す形状情報を算出する形状算出部と、

前記濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて 3次元算出画像を生成する画像情報生成部と、

7 . 物質の立体構造を示すために算出された 3次元算出画像を検証することで、立体構造を検証する立体構造検証方法であって、

前記 3次元算出画像に影を付けた 3次元推定付影画像と、実験的な構造解析により得られた前記物質の画像とを、同時に回転しながら表示して、前記 3次元推定付影画像と前記画像とを比較して立体構造を検証することを特徴とする立体構造検証方法。

8 .複数の角度から得られた複数の影付きの 2次元画像を前記画像として角度順に連続して表示することで、前記物質の画像を回転しながら立体的に表示することを特徴とする請求項 7に記載の立体構造検証方法。

9 . 前記 2次元画像は、透過型電子顕微鏡により得られた濃淡画像であることを特徴とする請求項 8に記載の立体構造検証方法。

1 0 . 透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、前記 3 次元推定付影画像を得ることを特徴とする請求項 7に記載の立体構造検証方法。

1 1 . 複数の角度から見た前記物質の複数の第 1の画像情報を用いて、前記物質の外殻を示す形状情報を算出し、

投影型の撮像装置により得られた前記物質の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を 3次元の画像情報で表す 3次元濃淡情報を生成し、前記 3次元濃淡情報を前記形状情報に重ね、前記 3次元濃淡情報から、前記形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して前記 3次元算出画像を生成することを特徴とする請求項 7に記載の立体構造検証方法。

1 2 . 複数の角度から見た前記物質の複数の第 1の画像情報を用いて、前記物質の外殻を示す形状情報を算出し、

前記濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて 3次元算出画像を生成することを特徴とする請求項 7に記載の立体構造検証方法。

1 3 .物質の立体構造を示すために算出された 3次元算出画像を検証することで、立体構造を検証することを支援するプログラムを格納した記録媒体であって、前記プログラムは、

前記 3次元算出画像に影を付けた 3次元推定付影画像を回転しながら表示する第 1の表示モジュールと、

実験的な構造解析により得られた前記物質の画像を、前記 3次元推定付影画像と同時に回転しながら表示する第 2の表示モジユールと、

を備えることを特徴とする記録媒体。

1 4 . 前記プログラムは、

複数の角度から見た前記物質の複数の第 1の画像情報を用いて、前記物質の外殻を示す形状情報を算出する形状算出モジュールと、

透過型電子顕微鏡により得られた濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布モジュールと、

複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を 3次元の画像情報で表す 3次元濃淡情報を生成する第 2の重畳モジュールと、

前記第 2の重畳部による前記 3次元濃淡情報を前記形状情報に重ねる第 1の重畳モジユーノレと、

前記 3次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記 3次元算出画像を生成する情報加工モジュールと、

を更に備えることを特徴とする請求項 1 3に記載の記録媒体。

1 5 . 前記プログラムは、

透過型電子顕微鏡により得られた前記濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて 3次元算出画像を生成する画像情報生成モジユールと、

を備えることを特徴とする請求項 1 3に記載の記録媒体。

1 6 .物質の立体構造を示すために算出された 3次元算出画像を検証することで、立体構造を検証することを支援するプログラムであって、

実験的な構造解析により得られた前記物質の画像を、前記 3次元推定付影画像と同時に回転しながら表示する第 2の表示モジュールと、

を備えることを特徴とするプログラム。

1 7 . 更に、

透過型電子顕微鏡により得られた濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布モジユールと、

前記第 2の重畳部による前記 3次元濃淡情報を前記形状情報に重ねる第 1の重畳モジュールと、

を更に備えることを特徴とする請求項 1 6に記載のプログラム。

1 8 . 更に、

透過型電子顕微鏡により得られた前記濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて 3次元算出画像を生成する画像情報生成モジュールと、を備えることを特徴とする請求項 1 6に記載のプログラム。