JP3619837B2 - 立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラム - Google Patents
立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラム Download PDFInfo
- Publication number
- JP3619837B2 JP3619837B2 JP2002556845A JP2002556845A JP3619837B2 JP 3619837 B2 JP3619837 B2 JP 3619837B2 JP 2002556845 A JP2002556845 A JP 2002556845A JP 2002556845 A JP2002556845 A JP 2002556845A JP 3619837 B2 JP3619837 B2 JP 3619837B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- information
- substance
- dimensional structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012795 verification Methods 0.000 title claims description 52
- 238000000034 method Methods 0.000 title claims description 21
- 239000000126 substance Substances 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 claims description 55
- 230000005540 biological transmission Effects 0.000 claims description 22
- 230000010365 information processing Effects 0.000 claims description 20
- 238000012916 structural analysis Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 238000002441 X-ray diffraction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010995 multi-dimensional NMR spectroscopy Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical, image processing or photographic arrangements associated with the tube
- H01J37/222—Image processing arrangements associated with the tube
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/26—Electron or ion microscopes
- H01J2237/2611—Stereoscopic measurements and/or imaging
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/26—Electron or ion microscopes
- H01J2237/2617—Comparison or superposition of transmission images; Moiré
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Description
技術分野
本発明は、画像処理装置、画像処理方法、記憶媒体及びプログラムに関する。また本出願は、下記の日本特許出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
特願２００１−７５２ 出願日 ２００１年１月５日
背景技術
物質の構造解析を高い空間分解能で決定するには、Ｘ線回折や多次元ＮＭＲ法などの構造解析法を用いることが必須である。物質がＸ線回折の対象となるには、その物質が良質の結晶を作ること、そして同型置換などにより位相を決定できることが必須である。また、物質が多次元ＮＭＲ法の対象となるには、物質の分子量が大きくないこと、そして高濃度で溶解度の高い試料が大量に得られることが必須である。
上述した条件を満たさない物質は電子顕微鏡により構造解析せざるを得ない。しかし、汎用されるクライオ電子顕微鏡法ではコントラストが低い上に、電子線照射による物質の損傷が著しく、単一分子の立体構造を解析・決定することは困難である。
特に、複数の分子が複合体を形成する場合、或いは機能遂行に伴って構造変化をする場合、たとえ個々の分子の構造が既知であっても、それら複数の分子をどのように組み合わせるべきか、或いは機能遂行に伴って分子構造がどのように変化するかを適格に解析する手段はなかった。このような場合は、既存の状況証拠を組み合わせて最も確からしい構造を推定して仮想モデルを構築するのみであった。しかし、この仮想モデルの妥当性を検証することはできなかった。
そこで本発明は、このような問題を解決することを目的とする。
発明の開示
即ち、本発明の第１の形態は、物質の立体構造を示すために算出された３次元算出画像の妥当性を検証することで、立体構造を検証することを支援する立体構造検証支援装置であって、３次元算出画像に影を付けることで物質の立体構造を推定表示する３次元推定付影画像を、回転しながら表示させる第１の表示部と、実験的な構造解析により得られた物質の画像を、３次元推定付影画像に合わせて回転しながら立体的に表示させる第２の表示部と、を備えることを特徴とする立体構造検証支援装置を提供する。
第１の形態の立体構造検証支援装置において、第２の表示部は、複数の角度から得られた複数の影付きの２次元画像を画像として角度順に連続して表示することで、物質の画像を回転しながら立体的に表示してもよい。この場合、２次元画像は、透過型電子顕微鏡により得られた濃淡画像であってもよい。
３次元推定付影画像は、例えば透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して得られる。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、第２の重畳部による３次元濃淡情報を形状情報に重ねる第１の重畳部と、３次元濃淡情報から、形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して３次元画像を生成する情報加工部と、を有する３次元画像生成部を更に備えてもよい。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元算出画像を生成する画像情報生成部と、を有する３次元画像生成部を更に備えてもよい。
本発明の第２の形態は、物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証する立体構造検証方法であって、３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた物質の画像とを、同時に回転しながら表示して、３次元推定付影画像と画像とを比較することを特徴とする立体構造検証方法を提供する。
第２の形態の立体構造検証方法において、複数の角度から得られた複数の影付きの２次元画像を、角度順に連続して表示することで、物質の画像を回転しながら立体的に表示してもよい。この場合、２次元画像は、例えば透過型電子顕微鏡により得られた濃淡画像である。
透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、３次元推定付影画像を得てもよい。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出し、投影型の撮像装置により得られた物質の濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成し、３次元濃淡情報を形状情報に重ね、３次元濃淡情報から、形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して３次元算出画像を生成してもよい。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出し、濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元算出画像を生成してもよい。
本発明の第３の形態は、物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムを格納した記録媒体であって、プログラムは、３次元算出画像に影を付けた３次元推定付影画像を回転しながら表示する第１の表示モジュールと、実験的な構造解析により得られた物質の画像を、３次元推定付影画像と同時に回転しながら表示する第２の表示モジュールと、を備えることを特徴とする記録媒体を提供する。
本発明の第４の形態は、物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムであって、３次元算出画像に影を付けた３次元推定付影画像を回転しながら表示する第１の表示モジュールと、実験的な構造解析により得られた物質の画像を、３次元推定付影画像と同時に回転しながら表示する第２の表示モジュールと、を備えることを特徴とするプログラムを提供する。
第３の形態の記録媒体、及び第４の形態のプログラムにおいて、プログラムは、複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出モジュールと、透過型電子顕微鏡により得られた濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布モジュールと、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳モジュールと、第２の重畳部による３次元濃淡情報を形状情報に重ねる第１の重畳モジュールと、３次元濃淡情報から、形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して３次元算出画像を生成する情報加工モジュールと、更に備えてもよい。
また、プログラムは、複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出モジュールと、透過型電子顕微鏡により得られた濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元算出画像を生成する画像情報生成モジュールと、を備えてもよい。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
発明を実施するための最良の形態
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の実施の形態の一例である立体構造検証支援装置１００を示す。立体構造検証支援装置１００は３次元画像生成部２００と、第１の表示部１２０及び第２の表示部１４０を備える。第１の表示部１２０は、付影部１２２及び角度指定部１２４を有する。立体構造検証支援装置１００は、透過型電子顕微鏡などの投影型の撮像装置により得られた投影画像である濃淡画像情報から、３次元算出画像の一例である３次元再構成画像を３次元画像生成部２００を用いて算出する。また、立体構造検証支援装置１００は、第１の表示部１２０を用いて３次元再構成画像に影を付けることで物質の立体構造を推定表示する３次元推定付影画像にして、表示装置８００に回転表示させると共に、透過型電子顕微鏡などの実験的な構造解析により得られた物質の画像を第２の表示部１４０を用いて表示装置８００に立体的に回転表示させる。すなわち、立体構造検証支援装置１００は、３次元推定付影画像及び実験的な構造解析による画像を同時に概略同じ角度に回転させて表示することで、３次元推定付影画像と画像とを比較し、２つの画像の違いを見つけやすく表示することで、立体構造の検証を支援する装置である。ここで、３次元推定付影画像と実験的な構造解析による画像は並列表示されるのが好ましい。
透過型電子顕微鏡等において、得られた画像の解像度が希望より低い場合が多々あるが、画像の解像度が低い場合にも、立体構造検証支援装置１００が３次元再構成画像と画像を回転しつつ表示するので、これら２つの回転している画像を比較して、３次元再構成画像と画像との違いを発見することが可能になる。
３次元画像生成部２００は複数の角度から見た第１の画像情報と、透過型電子顕微鏡等により得られた複数の投影画像情報すなわち濃淡画像情報を用いて、被写体の立体構造に関する３次元情報を得る装置である。ここで第１の画像情報として濃淡画像情報を用いることもできる。
図２は３次元画像生成部２００の構成の一例を示す。本例において、３次元画像生成部２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、情報加工部３００、画像情報生成部３２０、及び出力部３６０を備える。
分布部２２０は、外部から取得した複数の濃淡画像情報を各々撮像した角度すなわち投影した角度に引き延ばして分布させることで濃淡分布情報を生成し、第２の重畳部２４０に出力する。具体例として、分布部２２０は濃淡画像情報の濃淡を均等に引き延ばした方向に分布させる。
第２の重畳部２４０は分布部２２０による複数の濃淡分布情報を、角度を維持したまま重ねることで３次元濃淡情報を生成し、第１の重畳部２８０に出力する。生成した３次元濃淡情報は被写体を３次元の画像情報で表す情報となる。ここでの３次元濃淡情報中には偽情報が含まれる可能性がある。
形状算出部２６０は、３つ以上の角度から見た３つ以上の画像情報から被写体の特定の点すなわち処理対象点の高さ情報を算出し、複数の処理対象点の高さ情報を用いて被写体の外殻を示す形状情報を算出する。
図３は形状算出部２６０の構成の一例を示す。形状算出部２６０は、位置対応部２６２、高さ情報算出部２６４、及び形状情報算出部２６６を備える。
位置対応部２６２は、角度順において連続する２枚の画像情報中の複数の処理対象点の位置を認識して各々対応付け、高さ情報算出部２６４に出力する。
詳細には、例えば角度順において連続する第１の画像情報及び第２の画像情報中の処理対象点の位置を対応付け、さらに第２の画像情報とその直後の角度である第３の画像情報において処理対象点の位置を対応付ける。この対応付けを第３及び第４の画像情報、・・・といった他の画像組合せに対しても順次行う。各処理対象点は、２組以上の画像組合せにおいてそれぞれ対応付けられる。
また、位置対応部２６２は、画像情報中に基準線を定めておき、この基準線と処理対象点との距離も測定する。画像組合せを構成する２枚の画像中における基準線と処理対象点との距離の差が一定以上である場合、位置対応部は当該処理基準線の位置認識・対応付けを再度行う。
ここで、各画像情報が同一の回転を回転中心として被写体を予め定められた角度ずつ回転して撮像することにより得られた画像であったり、或いは３つ以上の画像情報のうち、第１及び第２の画像は一の回転軸を回転中心として被写体を予め定められた角度回転して撮像して得られた画像であり、第３の画像は被写体を他の回転軸を回転中心として第１の画像を撮像した位置から予め定められた角度ほど回転して撮像して得られた画像である場合、位置対応部は、前記した予め定められた角度を用いて、処理対象点の位置を対応付ける。
高さ情報算出部２６４は、位置対応部２６２により２枚の画像情報内で対応付けられた処理対象点の高さ情報を各々算出し、形状情報算出部２６６に出力する。高さ情報算出部２６４で行う処理は、いわゆる立体視法の処理と同じである。ここで、各処理対象点は、少なくとも２組以上の画像組合せにおいてそれぞれ対応付けられているため、高さ情報算出部２６４は各処理対象点の高さ情報を複数算出する。高さ情報算出部２６４は、複数の高さ情報を基にした最小二乗誤差法により、出力すべき高さ情報を算出する。ここで最小二乗誤差法による誤差が一定以上である場合、位置対応部２６２は、処理対象点の位置を再検出する。
形状情報算出部２６６は、高さ情報算出部２６４が算出した処理対象点の高さ情報と、画像情報から求められる処理対象点の平面情報とを用いて被写体の形状情報を算出する。形状情報算出部２６６は算出した形状情報を画像情報生成部３２０及び第１の重畳部２８０に出力する。
図２に戻り、第１の重畳部２８０は、第２の重畳部２４０による３次元濃淡情報に、形状算出部２６０による形状情報を重ねて重畳画像を生成し、情報加工部３００に出力する。
情報加工部３００は、第１の重畳部２８０が出力した重畳画像を用いて、３次元濃淡分布情報から、形状情報の周辺に存在する或いは形状情報と重なる情報のみを抽出して３次元再構成画像を生成し、出力部３６０に出力する。３次元濃淡情報に偽情報が含まれる場合、偽情報と形状情報とは重なり得ない。従って、情報加工部３００が抽出する情報には偽情報は含まれない。その結果、３次元再構成画像はより正確に被写体の３次元構造を示す画像となる。
画像情報生成部３２０は、形状算出部２６０が算出した形状情報が示す外殻の該当個所周辺に、外部から取得した濃淡画像情報を分布させることで、被写体の３次元再構成画像を生成し、生成した３次元再構成画像を出力部３６０に出力する。例として、画像情報生成部３２０は、外殻の当該箇所から一定の範囲にある領域にのみ濃淡画像情報の濃度を均等に分布させることで３次元濃淡画像情報を生成する。
ここで、画像情報生成部３２０は、濃淡画像情報を撮像した角度に引き延ばして重ねるという過程を経ずに被写体の３次元再構成画像を生成するため、偽情報が発生することはない。
出力部３６０は、形状算出部２６０による形状情報、画像情報生成部３２０による３次元再構成画像、及び情報加工部３００による３次元再構成画像を外部のプリンター或いは表示装置等に出力する。
図１に戻り、第１の表示部１２０の付影部１２２は、３次元画像生成部２００により算出された３次元再構成画像に影付けを行って３次元推定付影画像を生成し、生成した３次元推定付影画像を回転させつつ表示装置８００に出力して表示する。影付け方法としては、仮想的な光源から画像中の物体に接線を引き、物体において、接線との接点を基準に前記した仮想的な光源とは反対側にある部分の濃度を濃くする方法がある。ここで、濃度を濃くする際にグラデーションを付けてもよい。
第１の表示部１２０の角度指定部１２４は、３次元推定付影画像の回転角度を指示するために付影部１２２に出力する。
つまり、第１の表示部１２０は、付影部１２２が角度指定部１２４の指示に従いつつ３次元推定付影画像の角度を連続的に変えて表示装置８００に出力することで、表示装置８００に３次元推定付影画像を回転表示する。
第２の表示部１４０は、実験的な構造解析により得られた物質の画像を、３次元推定付影画像に合わせて回転しながら立体的に表示する。
一例として、第２の表示部１４０は複数の角度から撮像された複数の影付きの物質の２次元画像を、角度順に連続して表示することで、物質を回転しながら立体的に表示する。これにより、２次元画像の一例である透過型電子顕微鏡による濃淡画像をそのまま使用して、物質の構造を立体的に表示することが可能になる。
また、複数の影付きの物質の２次元画像を角度順に連続して表示する場合、第１の表示部１２０は、３次元推定付影画像の表示角度が、第２の表示部１４０により表示されている２次元画像の撮像角度と同じになるようにする。具体的には、角度指定部１２４は２次元画像を撮像した角度をキーボード等から入力してもらってもよく、第２の表示部１４０が２次元画像とともに角度情報を取得し、その角度情報を角度指定部１２４に出力してもよい。ここで２次元画像は、例えば透過型電子顕微鏡で撮像された投影画像である。
なお、図１の構成によれば、立体構造検証支援装置１００は、濃淡画像情報から算出した３次元再構成画像の妥当性を検証することで立体構造を検証することを支援する装置である。これに対し、立体構造検証支援装置１００を、濃淡画像情報から３次元再構成画像を算出する代わりに、状況証拠に基づいてシミュレーションで作成されたモデルの画像である３次元算出画像を直接付影部１２２で取得する構成としてもよい。これにより、立体構造検証支援装置１００は、推定モデルの立体構造の妥当性の検証を支援する装置となる。この場合、立体構造検証支援装置１００は３次元画像生成部２００を備えなくてもよい。
図４は、３次元画像生成部２００のハードウエア構成図の一例を示す。本例において、３次元画像生成部２００は、ＣＰＵ（central processing unit）６０２、ＲＯＭ（read only memory）６０４、ＲＡＭ(random access memory)６０６、ディスプレイ６０８、プリンター６１０、入力装置６１２、ハードディスク装置６１４、ＦＤ（floppy disk）ドライブ６１６、及びＣＤ−ＲＯＭ（compact disk ROM）ドライブ６１８を有する。
ＣＰＵ６０２は、ＲＡＭ６０６及びＲＯＭ６０４に格納されたプログラムに基づいて処理を行う。ディスプレイ６０８は、各種情報を表示する。プリンター６１０は各種情報を印刷する。入力装置６１２は、３次元画像生成部２００に対する設定等を入力する。ＦＤドライブ６１６は、フロッピーディスク６２０からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ＣＤ−ＲＯＭドライブ６１８は、ＣＤ−ＲＯＭ６２２からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ハードディスク６１８は、ＦＤドライブ６１６又はＣＤ−ＲＯＭドライブ６１８によって読み出されたデータ又はプログラムや、ＣＰＵ６０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。
本例では、上述した３次元画像生成部２００の各機能部を実現するプログラムを有するＣＤ−ＲＯＭ６２２から、当該プログラムを読み出してハードディスク６１８にインストールさせておき、ハードディスク６１８から当該プログラムを読出してＣＰＵ６０２が実行することにより、上記３次元画像生成部２００の機能部を実現する。
前記したプログラムは、より具体的には、付影部１２２を実現するための付影モジュール、角度指定部１２４を実現するための角度指定モジュール、第２の表示部１４０を実現するための第２の表示モジュール、分布部２２０を実現するための分布モジュール、第２の重畳部２４０を実現するための第２の重畳モジュール、形状算出部２６０を実現するための形状算出モジュール、第１の重畳部２８０を実現するための第１の重畳モジュール、情報加工部３００を実現するための情報加工モジュール、画像情報生成部３２０を実現するための画像情報生成モジュール、及び出力部３６０を実現するための出力モジュールを有する。各モジュールの動作は対応する機能部の動作と概略同じであるため説明を省略する。また、前記したプログラムは、ＣＤ−ＲＯＭ６２２ではなくフロッピーディスク６２０や、ＭＯやＭＤなど他の記録媒体に格納されてもよい。
次に、図５〜図１２を用いて３次元画像生成部２００の第１の動作例を説明する。本例では、並列かつ上向きに並んだ２つの半球状の被写体４００を投影型の撮像装置で撮像し、３次元画像生成部２００を用いて３次元再構成画像を生成する。
まず、濃淡画像情報を得る段階について説明する。図５、図６、図７に示すように、少なくとも異なる３つの角度（本例ではＡ方向、Ｂ方向、及びＣ方向）から被写体を撮像して投影画像情報すなわち濃淡画像情報４２０、４４０、及び４６０を得る。ここで、図５および図６に示すようにＡ方向とＢ方向の角度の間隔と、Ｂ方向とＣ方向の角度の間隔を各々等しい値θとするのが好ましい。
また、Ｂ方向およびＣ方向は同一の軸４０１を回転中心としてＡ方向から回転した角度でもよく、異なる軸４０１および４０２を回転中心としてＡ方向からそれぞれ回転した角度でもよい。
そして、濃淡画像情報４２０、４４０、及び４６０を３次元画像生成部２００に入力する。ここで濃淡画像情報４２０、４４０、及び４６０は第１の画像情報も兼ねる。
本例において、３次元画像生成部２００の分布部２２０は、各濃淡画像情報４２０、４４０、及び４６０を撮像方向に引き延ばして濃淡分布情報４２５、４４５、及び４６５を生成し、第２の重畳部２４０が、濃淡分布情報４２５、４４５、及び４６５を角度を維持したまま重ね合わせて３次元濃淡情報を生成する。
図８は、本例における３次元濃淡情報の縦断面情報の一例を示す。３次元濃淡情報は、全ての濃淡分布情報が重なった部分に物体が存在することを示す。図７は、濃淡分布情報４２５、４４５、及び４６５の全てが重なった部分すなわち情報４７０、４７２、４７４、４７６、４７８及び４７９に、被写体４００が存在することを示す。しかし、本来被写体４００は２つのみであり、上記した６つの情報のうち４つは偽情報である。
図９は、本例における３次元濃淡情報の縦断面情報の他の例を示す。本例において、濃淡画像情報４２０、４４０、及び４６０の濃度はそれぞれ異なっている。また、濃淡分布情報４２５、４４５、及び４６５は、濃淡画像情報４２０、４４０、及び４６０の濃淡を撮像した角度に引き延ばして均等に分布させたものである。この場合、情報４７０〜４７８以外の部分も情報４７０〜４７８の一つと同等以上の濃度を有する可能性があるため、偽情報がさらに増える場合もある。
また、３次元画像生成部２００の形状算出部２６０は濃淡画像情報４２０、４４０、及び４６０から被写体４００の外殻を示す形状情報２６５を算出する。ここで形状算出部２６０は被写体４００の外殻全体は算出できず、図中Ａ方向、Ｂ方向およびＣ方向の視野に共通して含まれる部分となる。本例においては被写体４００の球状部のみ外殻が算出される。
そして、３次元画像生成部２００の第１の重畳部２８０は３次元濃淡画像情報に形状算出部２６０による形状情報を重畳する。
図１０は本例における第１の重畳部２８０による重畳画像の縦断面情報を示す。本例において、形状算出部２６０による２つの形状情報２６５は、それぞれ情報４７０及び４７２に重なる。従って、情報加工部３００は、情報４７０及び４７２が物体を表す真の情報であり、情報４７４，４７６、４７８及び４７９が偽情報であると判断し、情報４７０及び４７２のみを抽出して３次元再構成画像として出力部３６０に出力する。
この結果、偽情報が３次元再構成画像に含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、情報加工部３００は形状情報２６５を加味した３次元再構成画像を出力する。また、濃淡分布情報４２５、４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、情報加工部３００は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。
また、第１の重畳部２８０による重畳情報をディスプレイ等に表示させることで、情報加工部３００の動作を人が代理してもよく、また、情報加工部３００による３次元再構成画像に人の判断を加味することで偽情報を取り除いてもよい。この場合、より状況に即して偽情報を取り除くことができる。
図１１は本例における情報加工部３００による３次元再構成画像の縦断面図を示す。情報加工部３００による３次元再構成画像は被写体４００を精度よく再現していることがわかる。
そして、出力部３６０は、必要に応じて形状算出部２６０による形状情報２６５、及び情報加工部３００による３次元再構成画像すなわち情報４７０及び情報４７２を表示装置或いは印刷装置等に出力する。
すなわち、第１の動作例では、３次元画像生成部２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、及び情報加工部３００を用いて、より正確な３次元再構成画像を得る。
次に、図１２及び図１３を用いて３次元画像生成部２００の第２の動作例を説明する。本例において、３次元画像生成部２００は第１の動作例と同様に濃淡画像情報４２０、４４０、及び４６０を用いて被写体４００の３次元再構成画像を得る。
まず、図１２に例示するように形状算出部２６０は形状情報２６５を算出する。
そして、図１３に例示するように画像情報生成部３２０が、形状情報２６５の周囲にのみ濃淡画像情報４２０、４４０、及び４６０を分布させ、３つの濃淡画像情報がすべて重なった部分すなわち情報４７０及び４７２を３次元再構成画像とする。この結果、３次元再構成画像に偽情報が含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元再構成画像を出力する。また、情報４７０の境界及び４７２の境界がはっきりしない場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元再構成画像を出力する。また、濃淡分布情報４２５、４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。例えば、被写体４００の厚みＤが既知である場合は外殻から厚みＤの範囲内に濃淡画像情報４２０、４４０、及び４６０の濃度情報を均等に分布させる。このとき、前記した濃淡情報は、投影方向に厚みＤの範囲内で分布させるのが更に好ましい。
すなわち、第２の動作例では、３次元画像生成部２００は、形状算出部２６０、画像情報生成部３２０を用いてより正確な３次元再構成画像を得る。
３次元画像生成部２００は、撮像可能な角度に制限がある場合に、特に上述した効果を発揮する。
例えば、透過型電子顕微鏡より得た画像情報を投影画像情報とする場合、撮像可能な角度には制限があるが、３次元画像生成部２００を用いることで被写体の分子レベルの立体構造を明らかにすることが可能となる。
詳細な例としては、細胞の蛋白質の構造やその変化を明らかにしたい場合がある。この場合、いわゆる急速凍結ディープエッチ・レプリカ法により得られる蛋白質の型を透過型電子顕微鏡により撮像し、３次元画像生成部２００で処理することで、偽情報すなわちいわゆるゴーストを取り除いた状態で、被写体である蛋白質の立体構造を示す３次元情報を得ることができる。
図１４は、立体構造検証支援装置１００による表示装置８００の表示例を示す。本例において、表示画像８２０は第１の表示部１２０による表示画像すなわち３次元推定付影画像であり、表示画像８４０は第２の表示部１４０による表示画像すなわち実験的な構造解析により得られた画像である。図１４に示すように、立体構造検証支援装置１００によれば、３次元推定付影画像と実験的な構造解析により得られた画像とが並列に回転されつつ表示されるため、２つの回転画像の比較を容易に行える。従って、立体構造の検証をより容易に行える。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
産業上の利用可能性
上記説明から明らかなように、本発明によれば、物質の構造の推定モデル或いは３次元再構成画像等の３次元算出画像の妥当性の検証を支援するのに好適な立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である立体構造検証支援装置１００の構成を示す。
【図２】３次元画像生成部２００の構成を示す。
【図３】形状算出部２６０の構成を示す。
【図４】３次元画像生成部２００のハードウエア構成図の一例を示す。
【図５】濃淡画像情報を得る方法を説明する図である。
【図６】濃淡画像情報を得る方法を説明する図である。
【図７】濃淡画像情報を得る方法を説明する図である。
【図８】３次元濃淡情報の一例の縦断面情報を示す。
【図９】３次元濃淡情報の縦断面情報の他の例を示す。
【図１０】第１の重畳部２８０による重畳画像の一例の縦断面情報を示す。
【図１１】情報加工部３００による３次元再構成画像の一例の縦断面図を示す。
【図１２】３次元画像生成部２００の第２の動作例を説明する図である。
【図１３】３次元画像生成部２００の第２の動作例を説明する図である。
【図１４】立体構造検証支援装置１００による表示装置８００の表示例を示す。
本発明は、画像処理装置、画像処理方法、記憶媒体及びプログラムに関する。また本出願は、下記の日本特許出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
特願２００１−７５２ 出願日 ２００１年１月５日
背景技術
物質の構造解析を高い空間分解能で決定するには、Ｘ線回折や多次元ＮＭＲ法などの構造解析法を用いることが必須である。物質がＸ線回折の対象となるには、その物質が良質の結晶を作ること、そして同型置換などにより位相を決定できることが必須である。また、物質が多次元ＮＭＲ法の対象となるには、物質の分子量が大きくないこと、そして高濃度で溶解度の高い試料が大量に得られることが必須である。
上述した条件を満たさない物質は電子顕微鏡により構造解析せざるを得ない。しかし、汎用されるクライオ電子顕微鏡法ではコントラストが低い上に、電子線照射による物質の損傷が著しく、単一分子の立体構造を解析・決定することは困難である。
特に、複数の分子が複合体を形成する場合、或いは機能遂行に伴って構造変化をする場合、たとえ個々の分子の構造が既知であっても、それら複数の分子をどのように組み合わせるべきか、或いは機能遂行に伴って分子構造がどのように変化するかを適格に解析する手段はなかった。このような場合は、既存の状況証拠を組み合わせて最も確からしい構造を推定して仮想モデルを構築するのみであった。しかし、この仮想モデルの妥当性を検証することはできなかった。
そこで本発明は、このような問題を解決することを目的とする。
発明の開示
即ち、本発明の第１の形態は、物質の立体構造を示すために算出された３次元算出画像の妥当性を検証することで、立体構造を検証することを支援する立体構造検証支援装置であって、３次元算出画像に影を付けることで物質の立体構造を推定表示する３次元推定付影画像を、回転しながら表示させる第１の表示部と、実験的な構造解析により得られた物質の画像を、３次元推定付影画像に合わせて回転しながら立体的に表示させる第２の表示部と、を備えることを特徴とする立体構造検証支援装置を提供する。
第１の形態の立体構造検証支援装置において、第２の表示部は、複数の角度から得られた複数の影付きの２次元画像を画像として角度順に連続して表示することで、物質の画像を回転しながら立体的に表示してもよい。この場合、２次元画像は、透過型電子顕微鏡により得られた濃淡画像であってもよい。
３次元推定付影画像は、例えば透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して得られる。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、第２の重畳部による３次元濃淡情報を形状情報に重ねる第１の重畳部と、３次元濃淡情報から、形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して３次元画像を生成する情報加工部と、を有する３次元画像生成部を更に備えてもよい。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元算出画像を生成する画像情報生成部と、を有する３次元画像生成部を更に備えてもよい。
本発明の第２の形態は、物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証する立体構造検証方法であって、３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた物質の画像とを、同時に回転しながら表示して、３次元推定付影画像と画像とを比較することを特徴とする立体構造検証方法を提供する。
第２の形態の立体構造検証方法において、複数の角度から得られた複数の影付きの２次元画像を、角度順に連続して表示することで、物質の画像を回転しながら立体的に表示してもよい。この場合、２次元画像は、例えば透過型電子顕微鏡により得られた濃淡画像である。
透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、３次元推定付影画像を得てもよい。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出し、投影型の撮像装置により得られた物質の濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成し、３次元濃淡情報を形状情報に重ね、３次元濃淡情報から、形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して３次元算出画像を生成してもよい。
複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出し、濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元算出画像を生成してもよい。
本発明の第３の形態は、物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムを格納した記録媒体であって、プログラムは、３次元算出画像に影を付けた３次元推定付影画像を回転しながら表示する第１の表示モジュールと、実験的な構造解析により得られた物質の画像を、３次元推定付影画像と同時に回転しながら表示する第２の表示モジュールと、を備えることを特徴とする記録媒体を提供する。
本発明の第４の形態は、物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムであって、３次元算出画像に影を付けた３次元推定付影画像を回転しながら表示する第１の表示モジュールと、実験的な構造解析により得られた物質の画像を、３次元推定付影画像と同時に回転しながら表示する第２の表示モジュールと、を備えることを特徴とするプログラムを提供する。
第３の形態の記録媒体、及び第４の形態のプログラムにおいて、プログラムは、複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出モジュールと、透過型電子顕微鏡により得られた濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布モジュールと、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳モジュールと、第２の重畳部による３次元濃淡情報を形状情報に重ねる第１の重畳モジュールと、３次元濃淡情報から、形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して３次元算出画像を生成する情報加工モジュールと、更に備えてもよい。
また、プログラムは、複数の角度から見た物質の複数の第１の画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出モジュールと、透過型電子顕微鏡により得られた濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元算出画像を生成する画像情報生成モジュールと、を備えてもよい。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
発明を実施するための最良の形態
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の実施の形態の一例である立体構造検証支援装置１００を示す。立体構造検証支援装置１００は３次元画像生成部２００と、第１の表示部１２０及び第２の表示部１４０を備える。第１の表示部１２０は、付影部１２２及び角度指定部１２４を有する。立体構造検証支援装置１００は、透過型電子顕微鏡などの投影型の撮像装置により得られた投影画像である濃淡画像情報から、３次元算出画像の一例である３次元再構成画像を３次元画像生成部２００を用いて算出する。また、立体構造検証支援装置１００は、第１の表示部１２０を用いて３次元再構成画像に影を付けることで物質の立体構造を推定表示する３次元推定付影画像にして、表示装置８００に回転表示させると共に、透過型電子顕微鏡などの実験的な構造解析により得られた物質の画像を第２の表示部１４０を用いて表示装置８００に立体的に回転表示させる。すなわち、立体構造検証支援装置１００は、３次元推定付影画像及び実験的な構造解析による画像を同時に概略同じ角度に回転させて表示することで、３次元推定付影画像と画像とを比較し、２つの画像の違いを見つけやすく表示することで、立体構造の検証を支援する装置である。ここで、３次元推定付影画像と実験的な構造解析による画像は並列表示されるのが好ましい。
透過型電子顕微鏡等において、得られた画像の解像度が希望より低い場合が多々あるが、画像の解像度が低い場合にも、立体構造検証支援装置１００が３次元再構成画像と画像を回転しつつ表示するので、これら２つの回転している画像を比較して、３次元再構成画像と画像との違いを発見することが可能になる。
３次元画像生成部２００は複数の角度から見た第１の画像情報と、透過型電子顕微鏡等により得られた複数の投影画像情報すなわち濃淡画像情報を用いて、被写体の立体構造に関する３次元情報を得る装置である。ここで第１の画像情報として濃淡画像情報を用いることもできる。
図２は３次元画像生成部２００の構成の一例を示す。本例において、３次元画像生成部２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、情報加工部３００、画像情報生成部３２０、及び出力部３６０を備える。
分布部２２０は、外部から取得した複数の濃淡画像情報を各々撮像した角度すなわち投影した角度に引き延ばして分布させることで濃淡分布情報を生成し、第２の重畳部２４０に出力する。具体例として、分布部２２０は濃淡画像情報の濃淡を均等に引き延ばした方向に分布させる。
第２の重畳部２４０は分布部２２０による複数の濃淡分布情報を、角度を維持したまま重ねることで３次元濃淡情報を生成し、第１の重畳部２８０に出力する。生成した３次元濃淡情報は被写体を３次元の画像情報で表す情報となる。ここでの３次元濃淡情報中には偽情報が含まれる可能性がある。
形状算出部２６０は、３つ以上の角度から見た３つ以上の画像情報から被写体の特定の点すなわち処理対象点の高さ情報を算出し、複数の処理対象点の高さ情報を用いて被写体の外殻を示す形状情報を算出する。
図３は形状算出部２６０の構成の一例を示す。形状算出部２６０は、位置対応部２６２、高さ情報算出部２６４、及び形状情報算出部２６６を備える。
位置対応部２６２は、角度順において連続する２枚の画像情報中の複数の処理対象点の位置を認識して各々対応付け、高さ情報算出部２６４に出力する。
詳細には、例えば角度順において連続する第１の画像情報及び第２の画像情報中の処理対象点の位置を対応付け、さらに第２の画像情報とその直後の角度である第３の画像情報において処理対象点の位置を対応付ける。この対応付けを第３及び第４の画像情報、・・・といった他の画像組合せに対しても順次行う。各処理対象点は、２組以上の画像組合せにおいてそれぞれ対応付けられる。
また、位置対応部２６２は、画像情報中に基準線を定めておき、この基準線と処理対象点との距離も測定する。画像組合せを構成する２枚の画像中における基準線と処理対象点との距離の差が一定以上である場合、位置対応部は当該処理基準線の位置認識・対応付けを再度行う。
ここで、各画像情報が同一の回転を回転中心として被写体を予め定められた角度ずつ回転して撮像することにより得られた画像であったり、或いは３つ以上の画像情報のうち、第１及び第２の画像は一の回転軸を回転中心として被写体を予め定められた角度回転して撮像して得られた画像であり、第３の画像は被写体を他の回転軸を回転中心として第１の画像を撮像した位置から予め定められた角度ほど回転して撮像して得られた画像である場合、位置対応部は、前記した予め定められた角度を用いて、処理対象点の位置を対応付ける。
高さ情報算出部２６４は、位置対応部２６２により２枚の画像情報内で対応付けられた処理対象点の高さ情報を各々算出し、形状情報算出部２６６に出力する。高さ情報算出部２６４で行う処理は、いわゆる立体視法の処理と同じである。ここで、各処理対象点は、少なくとも２組以上の画像組合せにおいてそれぞれ対応付けられているため、高さ情報算出部２６４は各処理対象点の高さ情報を複数算出する。高さ情報算出部２６４は、複数の高さ情報を基にした最小二乗誤差法により、出力すべき高さ情報を算出する。ここで最小二乗誤差法による誤差が一定以上である場合、位置対応部２６２は、処理対象点の位置を再検出する。
形状情報算出部２６６は、高さ情報算出部２６４が算出した処理対象点の高さ情報と、画像情報から求められる処理対象点の平面情報とを用いて被写体の形状情報を算出する。形状情報算出部２６６は算出した形状情報を画像情報生成部３２０及び第１の重畳部２８０に出力する。
図２に戻り、第１の重畳部２８０は、第２の重畳部２４０による３次元濃淡情報に、形状算出部２６０による形状情報を重ねて重畳画像を生成し、情報加工部３００に出力する。
情報加工部３００は、第１の重畳部２８０が出力した重畳画像を用いて、３次元濃淡分布情報から、形状情報の周辺に存在する或いは形状情報と重なる情報のみを抽出して３次元再構成画像を生成し、出力部３６０に出力する。３次元濃淡情報に偽情報が含まれる場合、偽情報と形状情報とは重なり得ない。従って、情報加工部３００が抽出する情報には偽情報は含まれない。その結果、３次元再構成画像はより正確に被写体の３次元構造を示す画像となる。
画像情報生成部３２０は、形状算出部２６０が算出した形状情報が示す外殻の該当個所周辺に、外部から取得した濃淡画像情報を分布させることで、被写体の３次元再構成画像を生成し、生成した３次元再構成画像を出力部３６０に出力する。例として、画像情報生成部３２０は、外殻の当該箇所から一定の範囲にある領域にのみ濃淡画像情報の濃度を均等に分布させることで３次元濃淡画像情報を生成する。
ここで、画像情報生成部３２０は、濃淡画像情報を撮像した角度に引き延ばして重ねるという過程を経ずに被写体の３次元再構成画像を生成するため、偽情報が発生することはない。
出力部３６０は、形状算出部２６０による形状情報、画像情報生成部３２０による３次元再構成画像、及び情報加工部３００による３次元再構成画像を外部のプリンター或いは表示装置等に出力する。
図１に戻り、第１の表示部１２０の付影部１２２は、３次元画像生成部２００により算出された３次元再構成画像に影付けを行って３次元推定付影画像を生成し、生成した３次元推定付影画像を回転させつつ表示装置８００に出力して表示する。影付け方法としては、仮想的な光源から画像中の物体に接線を引き、物体において、接線との接点を基準に前記した仮想的な光源とは反対側にある部分の濃度を濃くする方法がある。ここで、濃度を濃くする際にグラデーションを付けてもよい。
第１の表示部１２０の角度指定部１２４は、３次元推定付影画像の回転角度を指示するために付影部１２２に出力する。
つまり、第１の表示部１２０は、付影部１２２が角度指定部１２４の指示に従いつつ３次元推定付影画像の角度を連続的に変えて表示装置８００に出力することで、表示装置８００に３次元推定付影画像を回転表示する。
第２の表示部１４０は、実験的な構造解析により得られた物質の画像を、３次元推定付影画像に合わせて回転しながら立体的に表示する。
一例として、第２の表示部１４０は複数の角度から撮像された複数の影付きの物質の２次元画像を、角度順に連続して表示することで、物質を回転しながら立体的に表示する。これにより、２次元画像の一例である透過型電子顕微鏡による濃淡画像をそのまま使用して、物質の構造を立体的に表示することが可能になる。
また、複数の影付きの物質の２次元画像を角度順に連続して表示する場合、第１の表示部１２０は、３次元推定付影画像の表示角度が、第２の表示部１４０により表示されている２次元画像の撮像角度と同じになるようにする。具体的には、角度指定部１２４は２次元画像を撮像した角度をキーボード等から入力してもらってもよく、第２の表示部１４０が２次元画像とともに角度情報を取得し、その角度情報を角度指定部１２４に出力してもよい。ここで２次元画像は、例えば透過型電子顕微鏡で撮像された投影画像である。
なお、図１の構成によれば、立体構造検証支援装置１００は、濃淡画像情報から算出した３次元再構成画像の妥当性を検証することで立体構造を検証することを支援する装置である。これに対し、立体構造検証支援装置１００を、濃淡画像情報から３次元再構成画像を算出する代わりに、状況証拠に基づいてシミュレーションで作成されたモデルの画像である３次元算出画像を直接付影部１２２で取得する構成としてもよい。これにより、立体構造検証支援装置１００は、推定モデルの立体構造の妥当性の検証を支援する装置となる。この場合、立体構造検証支援装置１００は３次元画像生成部２００を備えなくてもよい。
図４は、３次元画像生成部２００のハードウエア構成図の一例を示す。本例において、３次元画像生成部２００は、ＣＰＵ（central processing unit）６０２、ＲＯＭ（read only memory）６０４、ＲＡＭ(random access memory)６０６、ディスプレイ６０８、プリンター６１０、入力装置６１２、ハードディスク装置６１４、ＦＤ（floppy disk）ドライブ６１６、及びＣＤ−ＲＯＭ（compact disk ROM）ドライブ６１８を有する。
ＣＰＵ６０２は、ＲＡＭ６０６及びＲＯＭ６０４に格納されたプログラムに基づいて処理を行う。ディスプレイ６０８は、各種情報を表示する。プリンター６１０は各種情報を印刷する。入力装置６１２は、３次元画像生成部２００に対する設定等を入力する。ＦＤドライブ６１６は、フロッピーディスク６２０からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ＣＤ−ＲＯＭドライブ６１８は、ＣＤ−ＲＯＭ６２２からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ハードディスク６１８は、ＦＤドライブ６１６又はＣＤ−ＲＯＭドライブ６１８によって読み出されたデータ又はプログラムや、ＣＰＵ６０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。
本例では、上述した３次元画像生成部２００の各機能部を実現するプログラムを有するＣＤ−ＲＯＭ６２２から、当該プログラムを読み出してハードディスク６１８にインストールさせておき、ハードディスク６１８から当該プログラムを読出してＣＰＵ６０２が実行することにより、上記３次元画像生成部２００の機能部を実現する。
前記したプログラムは、より具体的には、付影部１２２を実現するための付影モジュール、角度指定部１２４を実現するための角度指定モジュール、第２の表示部１４０を実現するための第２の表示モジュール、分布部２２０を実現するための分布モジュール、第２の重畳部２４０を実現するための第２の重畳モジュール、形状算出部２６０を実現するための形状算出モジュール、第１の重畳部２８０を実現するための第１の重畳モジュール、情報加工部３００を実現するための情報加工モジュール、画像情報生成部３２０を実現するための画像情報生成モジュール、及び出力部３６０を実現するための出力モジュールを有する。各モジュールの動作は対応する機能部の動作と概略同じであるため説明を省略する。また、前記したプログラムは、ＣＤ−ＲＯＭ６２２ではなくフロッピーディスク６２０や、ＭＯやＭＤなど他の記録媒体に格納されてもよい。
次に、図５〜図１２を用いて３次元画像生成部２００の第１の動作例を説明する。本例では、並列かつ上向きに並んだ２つの半球状の被写体４００を投影型の撮像装置で撮像し、３次元画像生成部２００を用いて３次元再構成画像を生成する。
まず、濃淡画像情報を得る段階について説明する。図５、図６、図７に示すように、少なくとも異なる３つの角度（本例ではＡ方向、Ｂ方向、及びＣ方向）から被写体を撮像して投影画像情報すなわち濃淡画像情報４２０、４４０、及び４６０を得る。ここで、図５および図６に示すようにＡ方向とＢ方向の角度の間隔と、Ｂ方向とＣ方向の角度の間隔を各々等しい値θとするのが好ましい。
また、Ｂ方向およびＣ方向は同一の軸４０１を回転中心としてＡ方向から回転した角度でもよく、異なる軸４０１および４０２を回転中心としてＡ方向からそれぞれ回転した角度でもよい。
そして、濃淡画像情報４２０、４４０、及び４６０を３次元画像生成部２００に入力する。ここで濃淡画像情報４２０、４４０、及び４６０は第１の画像情報も兼ねる。
本例において、３次元画像生成部２００の分布部２２０は、各濃淡画像情報４２０、４４０、及び４６０を撮像方向に引き延ばして濃淡分布情報４２５、４４５、及び４６５を生成し、第２の重畳部２４０が、濃淡分布情報４２５、４４５、及び４６５を角度を維持したまま重ね合わせて３次元濃淡情報を生成する。
図８は、本例における３次元濃淡情報の縦断面情報の一例を示す。３次元濃淡情報は、全ての濃淡分布情報が重なった部分に物体が存在することを示す。図７は、濃淡分布情報４２５、４４５、及び４６５の全てが重なった部分すなわち情報４７０、４７２、４７４、４７６、４７８及び４７９に、被写体４００が存在することを示す。しかし、本来被写体４００は２つのみであり、上記した６つの情報のうち４つは偽情報である。
図９は、本例における３次元濃淡情報の縦断面情報の他の例を示す。本例において、濃淡画像情報４２０、４４０、及び４６０の濃度はそれぞれ異なっている。また、濃淡分布情報４２５、４４５、及び４６５は、濃淡画像情報４２０、４４０、及び４６０の濃淡を撮像した角度に引き延ばして均等に分布させたものである。この場合、情報４７０〜４７８以外の部分も情報４７０〜４７８の一つと同等以上の濃度を有する可能性があるため、偽情報がさらに増える場合もある。
また、３次元画像生成部２００の形状算出部２６０は濃淡画像情報４２０、４４０、及び４６０から被写体４００の外殻を示す形状情報２６５を算出する。ここで形状算出部２６０は被写体４００の外殻全体は算出できず、図中Ａ方向、Ｂ方向およびＣ方向の視野に共通して含まれる部分となる。本例においては被写体４００の球状部のみ外殻が算出される。
そして、３次元画像生成部２００の第１の重畳部２８０は３次元濃淡画像情報に形状算出部２６０による形状情報を重畳する。
図１０は本例における第１の重畳部２８０による重畳画像の縦断面情報を示す。本例において、形状算出部２６０による２つの形状情報２６５は、それぞれ情報４７０及び４７２に重なる。従って、情報加工部３００は、情報４７０及び４７２が物体を表す真の情報であり、情報４７４，４７６、４７８及び４７９が偽情報であると判断し、情報４７０及び４７２のみを抽出して３次元再構成画像として出力部３６０に出力する。
この結果、偽情報が３次元再構成画像に含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、情報加工部３００は形状情報２６５を加味した３次元再構成画像を出力する。また、濃淡分布情報４２５、４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、情報加工部３００は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。
また、第１の重畳部２８０による重畳情報をディスプレイ等に表示させることで、情報加工部３００の動作を人が代理してもよく、また、情報加工部３００による３次元再構成画像に人の判断を加味することで偽情報を取り除いてもよい。この場合、より状況に即して偽情報を取り除くことができる。
図１１は本例における情報加工部３００による３次元再構成画像の縦断面図を示す。情報加工部３００による３次元再構成画像は被写体４００を精度よく再現していることがわかる。
そして、出力部３６０は、必要に応じて形状算出部２６０による形状情報２６５、及び情報加工部３００による３次元再構成画像すなわち情報４７０及び情報４７２を表示装置或いは印刷装置等に出力する。
すなわち、第１の動作例では、３次元画像生成部２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、及び情報加工部３００を用いて、より正確な３次元再構成画像を得る。
次に、図１２及び図１３を用いて３次元画像生成部２００の第２の動作例を説明する。本例において、３次元画像生成部２００は第１の動作例と同様に濃淡画像情報４２０、４４０、及び４６０を用いて被写体４００の３次元再構成画像を得る。
まず、図１２に例示するように形状算出部２６０は形状情報２６５を算出する。
そして、図１３に例示するように画像情報生成部３２０が、形状情報２６５の周囲にのみ濃淡画像情報４２０、４４０、及び４６０を分布させ、３つの濃淡画像情報がすべて重なった部分すなわち情報４７０及び４７２を３次元再構成画像とする。この結果、３次元再構成画像に偽情報が含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元再構成画像を出力する。また、情報４７０の境界及び４７２の境界がはっきりしない場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元再構成画像を出力する。また、濃淡分布情報４２５、４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。例えば、被写体４００の厚みＤが既知である場合は外殻から厚みＤの範囲内に濃淡画像情報４２０、４４０、及び４６０の濃度情報を均等に分布させる。このとき、前記した濃淡情報は、投影方向に厚みＤの範囲内で分布させるのが更に好ましい。
すなわち、第２の動作例では、３次元画像生成部２００は、形状算出部２６０、画像情報生成部３２０を用いてより正確な３次元再構成画像を得る。
３次元画像生成部２００は、撮像可能な角度に制限がある場合に、特に上述した効果を発揮する。
例えば、透過型電子顕微鏡より得た画像情報を投影画像情報とする場合、撮像可能な角度には制限があるが、３次元画像生成部２００を用いることで被写体の分子レベルの立体構造を明らかにすることが可能となる。
詳細な例としては、細胞の蛋白質の構造やその変化を明らかにしたい場合がある。この場合、いわゆる急速凍結ディープエッチ・レプリカ法により得られる蛋白質の型を透過型電子顕微鏡により撮像し、３次元画像生成部２００で処理することで、偽情報すなわちいわゆるゴーストを取り除いた状態で、被写体である蛋白質の立体構造を示す３次元情報を得ることができる。
図１４は、立体構造検証支援装置１００による表示装置８００の表示例を示す。本例において、表示画像８２０は第１の表示部１２０による表示画像すなわち３次元推定付影画像であり、表示画像８４０は第２の表示部１４０による表示画像すなわち実験的な構造解析により得られた画像である。図１４に示すように、立体構造検証支援装置１００によれば、３次元推定付影画像と実験的な構造解析により得られた画像とが並列に回転されつつ表示されるため、２つの回転画像の比較を容易に行える。従って、立体構造の検証をより容易に行える。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
産業上の利用可能性
上記説明から明らかなように、本発明によれば、物質の構造の推定モデル或いは３次元再構成画像等の３次元算出画像の妥当性の検証を支援するのに好適な立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である立体構造検証支援装置１００の構成を示す。
【図２】３次元画像生成部２００の構成を示す。
【図３】形状算出部２６０の構成を示す。
【図４】３次元画像生成部２００のハードウエア構成図の一例を示す。
【図５】濃淡画像情報を得る方法を説明する図である。
【図６】濃淡画像情報を得る方法を説明する図である。
【図７】濃淡画像情報を得る方法を説明する図である。
【図８】３次元濃淡情報の一例の縦断面情報を示す。
【図９】３次元濃淡情報の縦断面情報の他の例を示す。
【図１０】第１の重畳部２８０による重畳画像の一例の縦断面情報を示す。
【図１１】情報加工部３００による３次元再構成画像の一例の縦断面図を示す。
【図１２】３次元画像生成部２００の第２の動作例を説明する図である。
【図１３】３次元画像生成部２００の第２の動作例を説明する図である。
【図１４】立体構造検証支援装置１００による表示装置８００の表示例を示す。
Claims (14)
- 物質の立体構造を示すために算出された３次元算出画像の妥当性を検証することで、立体構造を検証することを支援する立体構造検証支援装置であって、
複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出する形状算出部、および、透過型電子顕微鏡により得られた複数の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元算出画像を生成する画像情報生成部を有する３次元画像生成部と、
前記３次元画像生成部により生成された前記３次元算出画像に影を付けることで前記物質の立体構造を推定表示する３次元推定付影画像を、回転しながら表示させる第１の表示部と、
実験的な構造解析により得られた前記物質の画像を、前記３次元推定付影画像に合わせて回転しながら立体的に表示させる第２の表示部と、
を備えることを特徴とする立体構造検証支援装置。 - 前記第２の表示部は、複数の角度から得られた複数の影付きの２次元画像を前記画像として角度順に連続して表示することで、前記物質を回転しながら立体的に表示することを特徴とする請求項１に記載の立体構造検証支援装置。
- 物質の立体構造を示すために算出された３次元算出画像の妥当性を検証することで、立体構造を検証することを支援する立体構造検証支援装置であって、
透過型電子顕微鏡により得られた複数の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部、および、複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部を有する３次元画像生成部と、
前記３次元画像生成部により生成された前記３次元濃淡画像に基づいて、前記３次元算出画像に影を付けることで前記物質の立体構造を推定表示する３次元推定付影画像を、回転しながら表示させる第１の表示部と、
実験的な構造解析により得られた前記物質の画像を、前記３次元推定付影画像に合わせて回転しながら立体的に表示させる第２の表示部と、
を備えることを特徴とする立体構造検証支援装置。 - 前記第２の表示部は、複数の角度から得られた複数の影付きの２次元画像を前記画像として角度順に連続して表示することで、前記物質を回転しながら立体的に表示することを特徴とする請求項３に記載の立体構造検証支援装置。
- 前記３次元画像生成部は、
複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出する形状算出部と、
前記第２の重畳部による前記３次元濃淡情報を前記形状情報に重ねる第１の重畳部と、
前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元画像を生成する情報加工部と、
をさらに有することを特徴とする請求項３に記載の立体構造検証支援装置。 - 物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証する立体構造検証方法であって、
複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出し、
透過型電子顕微鏡により得られた複数の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元算出画像を生成し、
前記３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた前記物質の画像とを、同時に回転しながら表示して、前記３次元推定付影画像と前記画像とを比較して立体構造を検証することを特徴とする立体構造検証方法。 - 物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証する立体構造検証方法であって、
透過型電子顕微鏡により得られた複数の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、
複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を３次元の画像情報で表す３次元濃淡情報を生成し、
前記３次元濃淡画像に基づいた前記３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた前記物質の画像とを、同時に回転しながら表示して、前記３次元推定付影画像と前記画像とを比較して立体構造を検証することを特徴とする立体構造検証方法。 - 複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出し、
前記第２の重畳部による前記３次元濃淡情報を前記形状情報に重ね、
前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元画像を生成する段階をさらに備えることを特徴とする請求項７に記載の立体構造検証方法。 - 物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムを格納した記録媒体であって、前記プログラムはコンピュータに、
複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出する段階と、
透過型電子顕微鏡により得られた複数の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元算出画像を生成する段階と、
前記３次元濃淡画像に基づたて前記３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた前記物質の画像とを、同時に回転しながら表示して、前記３次元推定付影画像と前記画像とを比較して立体構造を検証する段階と
を実行させる記録媒体。 - 物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムを格納した記録媒体であって、前記プログラムはコンピュータに、
透過型電子顕微鏡により得られた複数の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する段階と、
複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を３次元の画像情報で表す３次元濃淡情報を生成する段階と、
前記３次元画像生成部により生成された前記３次元濃淡画像に基づいて前記３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた前記物質の画像とを、同時に回転しながら表示して、前記３次元推定付影画像と前記画像とを比較して立体構造を検証する段階と
を実行させる記録媒体。 - 前記プログラムは前記コンピュータに、
複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出し、
前記第２の重畳部による前記３次元濃淡情報を前記形状情報に重ね、
前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元画像を生成する段階をさらに実行させることを特徴とする請求項１０に記載の記録媒体。 - 物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムであって、コンピュータに、
複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出する段階と、
透過型電子顕微鏡により得られた複数の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元算出画像を生成する段階と、
前記３次元濃淡画像に基づたて前記３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた前記物質の画像とを、同時に回転しながら表示して、前記３次元推定付影画像と前記画像とを比較して立体構造を検証する段階と
を実行させるプログラム。 - 物質の立体構造を示すために算出された３次元算出画像を検証することで、立体構造を検証することを支援するプログラムであって、コンピュータに、
透過型電子顕微鏡により得られた複数の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する段階と、
複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を３次元の画像情報で表す３次元濃淡情報を生成する段階と、
前記３次元画像生成部により生成された前記３次元濃淡画像に基づいて前記３次元算出画像に影を付けた３次元推定付影画像と、実験的な構造解析により得られた前記物質の画像とを、同時に回転しながら表示して、前記３次元推定付影画像と前記画像とを比較して立体構造を検証する段階と
を実行させるプログラム。 - 前記コンピュータに、
複数の角度から見た前記物質の複数の第１の画像情報を用いて、前記物質の外殻を示す形状情報を算出し、
前記第２の重畳部による前記３次元濃淡情報を前記形状情報に重ね、
前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元画像を生成する段階をさらに実行させることを特徴とする請求項１３に記載のプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001000752 | 2001-01-05 | ||
| JP2001000752 | 2001-01-05 | ||
| PCT/JP2001/010778 WO2002056259A1 (fr) | 2001-01-05 | 2001-12-10 | Appareil support de verification tridimensionnelle, procede de verification de structure tridimensionnelle, support d'enregistrement et programme |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002056259A1 JPWO2002056259A1 (ja) | 2004-05-20 |
| JP3619837B2 true JP3619837B2 (ja) | 2005-02-16 |
Family
ID=18869482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002556845A Expired - Fee Related JP3619837B2 (ja) | 2001-01-05 | 2001-12-10 | 立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6828555B2 (ja) |
| EP (1) | EP1363245A1 (ja) |
| JP (1) | JP3619837B2 (ja) |
| WO (1) | WO2002056259A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006062132A1 (ja) * | 2004-12-07 | 2006-06-15 | The University Of Tokyo | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
| US7880738B2 (en) | 2005-07-14 | 2011-02-01 | Molsoft Llc | Structured documents and systems, methods and computer programs for creating, producing and displaying three dimensional objects and other related information in those structured documents |
| CN103426199B (zh) * | 2013-08-09 | 2016-08-10 | 中国科学院自动化研究所 | 一种三维几何场景的低噪声实时全局光照绘制方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62219075A (ja) * | 1986-03-20 | 1987-09-26 | Hitachi Medical Corp | 三次元画像の半透明表示方法 |
| JPH0470983A (ja) * | 1990-07-05 | 1992-03-05 | Toshiba Corp | 立体表示装置 |
| US6051834A (en) * | 1991-05-15 | 2000-04-18 | Hitachi, Ltd. | Electron microscope |
| JP2888108B2 (ja) * | 1993-09-29 | 1999-05-10 | 凸版印刷株式会社 | 視差画像作成方法および装置 |
| US6369812B1 (en) * | 1997-11-26 | 2002-04-09 | Philips Medical Systems, (Cleveland), Inc. | Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks |
| JP3016427B2 (ja) * | 1998-02-02 | 2000-03-06 | 日本電気株式会社 | 原子座標生成方法 |
| JP2001312717A (ja) * | 2000-04-28 | 2001-11-09 | Inst Of Physical & Chemical Res | ３次元形状解析方法 |
-
2001
- 2001-12-10 WO PCT/JP2001/010778 patent/WO2002056259A1/ja active Search and Examination
- 2001-12-10 EP EP20010273174 patent/EP1363245A1/en not_active Withdrawn
- 2001-12-10 JP JP2002556845A patent/JP3619837B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-02 US US10/612,820 patent/US6828555B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002056259A1 (fr) | 2002-07-18 |
| US6828555B2 (en) | 2004-12-07 |
| JPWO2002056259A1 (ja) | 2004-05-20 |
| EP1363245A1 (en) | 2003-11-19 |
| US20040069946A1 (en) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10176567B2 (en) | Physical registration of images acquired by Fourier Ptychography | |
| Lanzavecchia et al. | Conical tomography of freeze-fracture replicas: a method for the study of integral membrane proteins inserted in phospholipid bilayers | |
| EP1653858B1 (en) | Mapping the coronary arteries on a sphere | |
| CN108765548A (zh) | 基于深度相机的三维场景实时重建方法 | |
| JP5524692B2 (ja) | 情報処理装置および方法ならびにプログラム | |
| CN110009561A (zh) | 一种监控视频目标映射到三维地理场景模型的方法及系统 | |
| JP3603204B2 (ja) | 立体構造検証支援装置、立体構造検証支援方法、及びプログラム | |
| JP4130428B2 (ja) | 画像処理方法及び画像処理プログラム | |
| RU2419882C2 (ru) | Способ визуализации секущих плоскостей для изогнутых продолговатых структур | |
| JPH02899A (ja) | グラフ表示装置と物体の３次元像を発生する方法 | |
| JP4840876B2 (ja) | ３次元像合成方法および装置 | |
| Wadhwa | Revealing and analyzing imperceptible deviations in images and videos | |
| JP3619837B2 (ja) | 立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラム | |
| JPWO2005009242A1 (ja) | 医用画像処理装置及び方法 | |
| RU2011109181A (ru) | Ультразвуковая визуализация | |
| JP4010034B2 (ja) | 画像作成装置 | |
| JP2001204725A (ja) | Ｘ線ｃｔ装置 | |
| JP3603203B2 (ja) | 画像処理装置、画像処理方法、記録媒体、及びプログラム | |
| US20040233193A1 (en) | Method for visualising a spatially resolved data set using an illumination model | |
| Baba et al. | A novel “ghost”-free tomographic image reconstruction method applicable to rotary-shadowed replica specimens | |
| JP6073121B2 (ja) | 立体表示装置及び立体表示システム | |
| Ito et al. | A 3D reconstruction method with color reproduction from multi-band and multi-view images | |
| Rohe | Computing Displacements from Phase Quantities. | |
| CN110490977A (zh) | 一种用于全息设备的图像处理方法、系统和存储介质 | |
| Numata et al. | A hashing algorithm of depth image matching for liver surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040315 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040315 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040929 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3619837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |