JP3603203B2 - 画像処理装置、画像処理方法、記録媒体、及びプログラム - Google Patents
画像処理装置、画像処理方法、記録媒体、及びプログラム Download PDFInfo
- Publication number
- JP3603203B2 JP3603203B2 JP2002550599A JP2002550599A JP3603203B2 JP 3603203 B2 JP3603203 B2 JP 3603203B2 JP 2002550599 A JP2002550599 A JP 2002550599A JP 2002550599 A JP2002550599 A JP 2002550599A JP 3603203 B2 JP3603203 B2 JP 3603203B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image information
- image
- subject
- grayscale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/419—Imaging computed tomograph
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pulmonology (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
技術分野
本発明は、画像処理装置、画像処理方法、記録媒体及びプログラムに関する。また本出願は、下記の日本特許出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
特願２０００−３８１６３６ 出願日 ２０００年１２月１５日
特願２００１−１２０２６２ 出願日 ２００１年４月１８日
背景技術
透過型電子顕微鏡などにより得られた投影画像を用いた場合、一枚のみでは被写体の撮像方向の構造すなわち深さ方向の情報を得ることはできない。この場合、複数角度から撮像した複数の投影画像による濃淡を撮像した角度に引き延ばして重ね、濃淡の重なりを見ることで、被写体の深さ方向の情報を得ることができる。
複数角度から撮像した複数の投影画像による濃淡を撮像した角度に引き延ばして重ねた場合、本来被写体が存在しない部分に濃淡の重なりが生じ、あたかもその部分に被写体が存在するように見せる偽情報が発生する場合がある。従来は、この偽情報の発生を抑えたり、あるいは偽情報を取り除くことは難しかった。従って、複数の角度から見た投影画像情報を処理して被写体を立体構造を正確に表す３次元画像情報を得ることはできなかった。
そこで本発明は、このような問題を解決することを目的とする。
発明の開示
このような目的を達成するために、本発明の第１の形態によれば、本発明の第１の形態は、被写体の画像情報を処理して前記被写体の立体構造に関する情報である３次元情報を得る画像処理装置であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を示す形状情報を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報を、前記形状情報に重ねる第１の重畳部と、を備えることを特徴とする画像処理装置を提供する。
上記画像処理装置において、前記濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、を備え、前記第１の重畳部は、前記第２の重畳部による前記３次元濃淡情報を前記形状情報に重ねてもよい。この場合、前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して３次元画像情報を生成する情報加工部を更に備えてもよい。この場合、更に、前記複数の角度とは異なる角度から見た場合に得られるべき前記濃淡画像情報を前記３次元画像情報から算出する濃淡画像情報生成部を更に備えてもよい。
前記投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の前記被写体の濃淡画像情報をそれぞれ抽出する抽出部を更に備え、前記第１の重畳部は、前記抽出部が抽出した複数の前記濃淡画像情報を用いてもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成しており、前記物質の濃淡画像情報を、前記一の濃淡画像情報とし、更に、基準となる一の前記被写体が向いている角度である基準角度を取得すると共に、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出する角度算出部を備えてもよい。
本発明の第２の形態は、被写体の画像情報を処理して前記被写体の立体構造に関する情報である３次元情報を得る画像処理装置であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を示す形状情報を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元画像情報を生成する画像情報生成部を備えることを特徴とする画像処理装置を提供する。
上記した画像処理装置において、前記複数の角度とは異なる角度から見た場合に得られるべき前記濃淡画像情報を前記３次元画像情報から算出する濃淡画像情報生成部を更に備えてもよい。
前記投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の前記被写体の濃淡画像情報をそれぞれ抽出する抽出部を更に備え、前記画像情報生成部は、前記抽出部が抽出した複数の前記濃淡画像情報を用いてもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成しており、前記物質の濃淡画像情報を、前記一の濃淡画像情報とし、更に、基準となる一の前記被写体が向いている角度である基準角度を取得すると共に、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出する角度算出部を備えてもよい。
また、上記した２つの形態の画像処理装置は、以下の形態であってもよい。
前記濃淡画像情報は、透過型電子顕微鏡により得られた画像情報であってもよい。
前記第１の画像情報として、前記被写体の型の画像情報を用いてもよい。
前記形状算出部は、角度順において連続する第１及び第２の画像における前記被写体中の処理対象点の位置を対応付けるとともに、前記第２の画像及び第３の画像における前記処理対象点の位置を対応付ける位置対応部と、前記位置対応部による２組の位置対応付けを用いて前記処理対象点の位置の高さを示す高さ情報を算出する高さ情報算出部と、前記高さ情報算出部による複数の処理対象点の前記高さ情報を用いて前記被写体の前記形状情報を生成する形状情報算出部と、を備え、３以上の前記第１の画像を用いて前記形状情報を算出してもよい。この場合、前記第１、第２及び第３の画像は、同一の回転軸を回転中心として予め定められた角度ずつ前記被写体を回転して撮像して得られた画像であり、前記高さ情報算出部は、前記予め定められた角度を用いて前記高さ情報を算出してもよい。また、前記第１及び第２の画像は一の回転軸を回転中心として前記被写体を予め定められた角度回転して撮像して得られた画像であり、前記第３の画像は前記被写体を他の回転軸を回転中心として前記第１の画像を撮像した位置から前記予め定められた角度ほど回転して撮像して得られた画像であり、前記高さ情報算出部は、前記予め定められた角度を用いて前記高さ情報を算出してもよい。前記位置対応部は、前記被写体中に予め定められた基準線と前記処理対象点の前記画像上の間隔を算出し、前記第１の画像における前記間隔と前記第２の画像における前記間隔の差が一定以上の時に、前記第１及び第２の画像における前記処理対象点の位置を再検出し、前記第２の画像における前記間隔と前記第３の画像における前記間隔の差が一定以上の時に、前記第２及び第３の画像における前記処理対象点の対応付けを再度行ってもよい。前記高さ情報算出部は、前記第１及び第２の画像による高さ情報と、前記第２及び第３の画像による高さ情報とを基にした最小二乗誤差法により、前記高さ情報を算出してもよい。更にこの場合、前記位置対応部は、前記最小二乗誤差法における誤差が一定以上の時に前記処理対象点の位置を再検出してもよい。
本発明の第３の形態によれば、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理方法であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を示す形状情報を算出し、投影型の撮像装置により得られた前記被写体の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成し、前記３次元濃淡情報を前記形状情報に重ね、前記３次元濃淡情報から、前記形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して３次元画像情報を生成することを特徴とする画像処理方法を提供する。
上記画像処理方法において、前記投影型の撮像装置により得られた一の濃淡画像情報中から、複数の角度に向いている複数の前記被写体の濃淡画像情報を抽出し、抽出した前記濃淡画像情報を用いて、前記濃淡分布情報を生成してもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成し、前記物質の濃淡画像情報を、前記一の濃淡画像情報としてもよい。更にこの場合、基準となる一の前記被写体が向いている角度である基準角度を認識し、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出してもよい。
本発明の第４の形態によれば、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理方法であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を算出し、投影型の撮像装置により得られた前記被写体の濃淡画像情報の濃淡情報を、それぞれ前記外殻の周辺に分布させて３次元画像情報を生成することを特徴とする画像処理方法を提供する。
上記画像処理方法において、前記投影型の撮像装置により得られた一の濃淡画像情報中から、複数の角度に向いている複数の前記被写体の濃淡画像情報を抽出し、注出した前記濃淡画像情報をそれぞれ前記外殻の周辺に分布させて３次元画像情報を生成してもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成し、前記物質の濃淡画像情報を、前記一の濃淡画像情報としてもよい。更にこの場合、基準となる一の前記被写体が向いている角度である基準角度を認識し、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出してもよい。
本発明の第５の形態によれば、コンピュータにて実行可能であり、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理用のプログラムであって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の立体形状を示す形状情報を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報を、前記形状情報に重ねる第１の重畳部と、を備えることを特徴とするプログラムを提供する。
本発明の第６の形態によれば、コンピュータにて実行可能であり、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理用のプログラムであって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元画像情報を生成する画像情報生成部と、を備えることを特徴とするプログラムを提供する。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【図面の簡単な説明】
図１は、画像処理装置２００の構成を示す。
図２は、形状算出部２６０の構成を示す。
図３は、画像処理装置２００のハードウエア構成図の一例を示す。
図４は、濃淡画像情報を得る方法を説明する図である。
図５は、濃淡画像情報を得る方法を説明する図である。
図６は、濃淡画像情報を得る方法を説明する図である。
図７は、３次元濃淡情報の一例の縦断面情報を示す。
図８は、３次元濃淡情報の縦断面情報の他の例を示す。
図９は、第１の重畳部２８０による重畳画像の一例の縦断面情報を示す。
図１０は、情報加工部３００による３次元画像情報の一例の縦断面図を示す。
図１１は、濃淡画像情報生成部３４０の動作の一例を示す。
図１２は、画像処理装置２００の第２の動作例を説明する図である。
図１３は、画像処理装置２００の第２の動作例を説明する図である。
図１４は、本発明の第２の実施形態である画像処理装置２０１の構成を示す。
図１５は、被写体の一例である、螺旋対称性を有する物質４９０を構成する粒子４９１である。
図１６は、抽出部２１０及び角度算出部２１５の動作の一例を示す。
図１７は、抽出部２１０及び角度算出部２１５の動作の他の例を示す
発明を実施するための最良の形態
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
（第１の実施形態）
図１は、本発明の第１の実施形態である画像処理装置２００の構成を示す。画像処理装置２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、情報加工部３００、画像情報生成部３２０、濃淡画像情報生成部３４０、及び出力部３６０を備える。画像処理装置２００は複数の角度から見た第１の画像情報と、透過型電子顕微鏡等により得られた複数の投影画像情報すなわち濃淡画像情報を用いて、被写体の立体構造に関する３次元情報を得る装置である。ここで第１の画像情報として濃淡画像情報を用いることもできる。
分布部２２０は、外部から取得した複数の濃淡画像情報を各々撮像した角度すなわち投影した角度に引き延ばして分布させることで濃淡分布情報を生成し、第２の重畳部２４０に出力する。具体例として、分布部２２０は濃淡画像情報の濃淡を均等に引き延ばした方向に分布させる。
第２の重畳部２４０は分布部２２０による複数の濃淡分布情報を、角度を維持したまま重ねることで３次元濃淡情報を生成し、第１の重畳部２８０に出力する。生成した３次元濃淡情報は被写体を３次元の画像情報で表す情報となる。ここでの３次元濃淡情報中には偽情報が含まれる可能性がある。
形状算出部２６０は、３つ以上の角度から見た３つ以上の画像情報から被写体の特定の点すなわち処理対象点の高さ情報を算出し、複数の処理対象点の高さ情報を用いて被写体の外殻を示す形状情報を算出する。
図２は形状算出部２６０の構成の一例を示す。形状算出部２６０は、位置対応部２６２、高さ情報算出部２６４、及び形状情報算出部２６６を備える。
位置対応部２６２は、角度順において連続する２枚の画像情報中の複数の処理対象点の位置を認識して各々対応付け、高さ情報算出部２６４に出力する。
詳細には、例えば角度順において連続する第１の画像情報及び第２の画像情報中の処理対象点の位置を対応付け、さらに第２の画像情報とその直後の角度である第３の画像情報において処理対象点の位置を対応付ける。この対応付けを第３及び第４の画像情報、・・・といった他の画像組合せに対しても順次行う。各処理対象点は、２組以上の画像組合せにおいてそれぞれ対応付けられる。
また、位置対応部２６２は、画像情報中に基準線を定めておき、この基準線と処理対象点との距離も測定する。画像組合せを構成する２枚の画像中における基準線と処理対象点との距離の差が一定以上である場合、位置対応部は当該処理基準線の位置認識・対応付けを再度行う。
ここで、各画像情報が同一の回転を回転中心として被写体を予め定められた角度ずつ回転して撮像することにより得られた画像であったり、或いは３つ以上の画像情報のうち、第１及び第２の画像は一の回転軸を回転中心として被写体を予め定められた角度回転して撮像して得られた画像であり、第３の画像は被写体を他の回転軸を回転中心として第１の画像を撮像した位置から予め定められた角度ほど回転して撮像して得られた画像である場合、位置対応部は、前記した予め定められた角度を用いて、処理対象点の位置を対応付ける。
高さ情報算出部２６４は、位置対応部２６２により２枚の画像情報内で対応付けられた処理対象点の高さ情報を各々算出し、形状情報算出部２６６に出力する。高さ情報算出部２６４で行う処理は、いわゆる立体視法の処理と同じである。ここで、各処理対象点は、少なくとも２組以上の画像組合せにおいてそれぞれ対応付けられているため、高さ情報算出部２６４は各処理対象点の高さ情報を複数算出する。高さ情報算出部２６４は、複数の高さ情報を基にした最小二乗誤差法により、出力すべき高さ情報を算出する。ここで最小二乗誤差法による誤差が一定以上である場合、位置対応部２６２は処理対象点の位置を再検出する。
形状情報算出部２６６は、高さ情報算出部２６４が算出した処理対象点の高さ情報と、画像情報から求められる処理対象点の平面情報とを用いて被写体の形状情報を算出する。形状情報算出部２６６は算出した形状情報を画像情報生成部３２０、第１の重畳部２８０、及び出力部３６０に出力する。
図１に戻り、第１の重畳部２８０は、第２の重畳部２４０による３次元濃淡情報に、形状算出部２６０による形状情報を重ねて重畳画像を生成し、情報加工部３００に出力する。
情報加工部３００は、第１の重畳部２８０が出力した重畳画像を用いて、３次元濃淡分布情報から、形状情報の周辺に存在する或いは形状情報と重なる情報のみを抽出して３次元画像情報を生成し、濃淡画像情報生成部３４０及び出力部３６０に出力する。３次元濃淡情報に偽情報が含まれる場合、偽情報と形状情報とは重なり得ない。従って、情報加工部３００が抽出する情報には偽情報は含まれない。その結果、３次元画像情報はより正確に被写体の３次元構造を示す情報となる。
画像情報生成部３２０は、形状算出部２６０が算出した形状情報が示す外殻の該当個所周辺に、外部から取得した濃淡画像情報を分布させることで、被写体の３次元画像情報を生成し、生成した３次元画像情報を濃淡画像情報生成部３４０及び出力部３６０に出力する。例として、画像情報生成部３２０は、外殻の当該箇所から一定の範囲にある領域にのみ濃淡画像情報の濃度を均等に分布させることで３次元濃淡画像情報を生成する。
ここで、画像情報生成部３２０は、濃淡画像情報を撮像した角度に引き延ばして重ねるという過程を経ずに被写体の３次元画像情報を生成するため、偽情報が発生することはない。
濃淡画像情報生成部３４０は、画像情報生成部３２０又は情報加工部３００が生成した３次元画像情報を用いて指定された角度からみた被写体の投影画像すなわち濃淡画像情報を生成し、出力部３６０に出力する。濃淡画像情報生成部３４０は、指定された角度を例えばキーボード等の外部入力装置を介して取得する。
出力部３６０は、形状算出部２６０による形状情報、画像情報生成部３２０による３次元画像情報、情報加工部３００による３次元画像情報、及び濃淡画像情報生成部３４０による濃淡画像情報を外部のプリンター或いは表示装置等に出力する。
図３は、画像処理装置２００のハードウエア構成図の一例を示す。本例において、画像処理装置２００は、ＣＰＵ（central processing unit）６０２、ＲＯＭ（read only memory）６０４、ＲＡＭ（randam access memory）６０６、ディスプレイ６０８、プリンター６１０、入力装置６１２、ハードディスク装置６１４、ＦＤ（floppy disk）ドライブ６１６、及びＣＤ−ＲＯＭ（compact disk ROM）ドライブ６１８を有する。
ＣＰＵ６０２は、ＲＡＭ６０６及びＲＯＭ６０４に格納されたプログラムに基づいて処理を行う。ディスプレイ６０８は、各種情報を表示する。プリンター６１０は各種情報を印刷する。入力装置６１２は、画像処理装置２００に対する設定等を入力する。ＦＤドライブ６１６は、フロッピー（登録商標）ディスク６２０からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ＣＤ−ＲＯＭドライブ６１８は、ＣＤ−ＲＯＭ６２２からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ハードディスク６１８は、ＦＤドライブ６１６又はＣＤ−ＲＯＭドライブ６１８によって読み出されたデータ又はプログラムや、ＣＰＵ６０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。
本例では、上述した画像処理装置２００の各機能部を実現するプログラムを有するＣＤ−ＲＯＭ６２２から、当該プログラムを読み出してハードディスク６１８にインストールさせておき、ハードディスク６１８から当該プログラムを読出してＣＰＵ６０２が実行することにより、上記画像処理装置２００の機能部を実現する。
前記したプログラムは、より具体的には、分布部２２０を実現するための分布モジュール、第２の重畳部２４０を実現するための第２の重畳モジュール、形状算出部２６０を実現するための形状算出モジュール、第１の重畳部２８０を実現するための第１の重畳モジュール、情報加工部３００を実現するための情報加工モジュール、画像情報生成部を実現するための画像情報生成モジュール、濃淡画像情報生成部３４０を実現するための濃淡画像情報生成モジュール、及び出力部３６０を実現するための出力モジュールを有する。また、前記したプログラムは、ＣＤ−ＲＯＭ６２２ではなくフロッピー（登録商標）ディスク６２０や、ＭＯやＭＤなど他の記録媒体に格納されてもよい。
次に、図４〜図１１を用いて画像処理装置２００の第１の動作例を説明する。本例では、並列かつ上向きに並んだ２つの半球状の被写体４００を投影型の撮像装置で撮像し、画像処理装置２００を用いて３次元画像情報を生成する。
まず、濃淡画像情報を得る段階について説明する。図４、図５、図６に示すように、少なくとも異なる３つの角度（本例ではＡ方向、Ｂ方向、及びＣ方向）から被写体を撮像して投影画像情報すなわち濃淡画像情報４２０、４４０、及び４６０を得る。ここで、図４および図５に示すようにＡ方向とＢ方向の角度の間隔と、Ｂ方向とＣ方向の角度の間隔を各々等しい値θとするのが好ましい。
また、Ｂ方向およびＣ方向は同一の軸４０１を回転中心としてＡ方向から回転した角度でもよく、異なる軸４０１および４０２を回転中心としてＡ方向からそれぞれ回転した角度でもよい。
そして、濃淡画像情報４２０、４４０、及び４６０を画像処理装置２００に入力する。ここで濃淡画像情報４２０、４４０、及び４６０は第１の画像情報も兼ねる。
本例において、画像処理装置２００の分布部２２０は、各濃淡画像情報４２０、４４０、及び４６０を撮像方向に引き延ばして濃淡分布情報４２５、４４５、及び４６５を生成し、第２の重畳部が、濃淡分布情報４２５、４４５、及び４６５を角度を維持したまま重ね合わせて３次元濃淡情報を生成する。
図７は、本例における３次元濃淡情報の縦断面情報の一例を示す。３次元濃淡情報は、全ての濃淡分布情報が重なった部分に物体が存在することを示す。図７は、濃淡分布情報４２５、４４５、及び４６５の全てが重なった部分すなわち情報４７０、４７２、４７４、４７６、４７８、及び４７９に、被写体４００が存在することを示す。しかし、本来被写体４００は２つのみであり、上記した６つの情報のうち３つは偽情報である。
図８は、本例における３次元濃淡情報の縦断面情報の他の例を示す。本例において、濃淡画像情報４２０、４４０、及び４６０の濃度はそれぞれ異なっている。また、濃淡分布情報４２５、４４５、及び４６５は、濃淡画像情報４２０、４４０、及び４６０の濃淡を撮像した角度に引き延ばして均等に分布させたものである。この場合、情報４７０〜４７９以外の部分も情報４７０〜４７９の一つと同等以上の濃度を有する可能性があるため、偽情報がさらに増える場合もある。
また、画像処理装置２００の形状算出部２６０は濃淡画像情報４２０、４４０、及び４６０から被写体４００の外殻を示す形状情報２６５を算出する。ここで形状算出部２６０は被写体４００の外殻全体は算出できず、図中Ａ方向、Ｂ方向およびＣ方向の視野に共通して含まれる部分となる。本例においては被写体４００の球状部のみ外殻が算出される。
そして、画像処理装置２００の第１の重畳部２８０は３次元濃淡画像情報に形状算出部２６０による形状情報を重畳する。
図９は本例における第１の重畳部２８０による重畳画像の縦断面情報を示す。本例において、形状算出部２６０による２つの形状情報２６５は、それぞれ情報４７０及び４７２に重なる。従って、情報加工部３００は、情報４７０及び４７２が物体を表す真の情報であり、情報４７４，４７６、４７８及び４７９が偽情報であると判断し、情報４７０及び４７２のみを抽出して３次元画像情報として濃淡画像情報生成部３４０及び出力部３６０に出力する。
この結果、偽情報が３次元画像情報に含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、情報加工部３００は形状情報２６５を加味した３次元画像情報を出力する。また、濃淡分布情報４２５、４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、情報加工部３００は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。
また、第１の重畳部２８０による重畳情報をディスプレイ等に表示させることで、情報加工部３００の動作を人が代理してもよく、また、情報加工部３００による３次元画像情報に人の判断を加味することで偽情報を取り除いてもよい。この場合、より状況に即して偽情報を取り除くことができる。
図１０は本例における情報加工部３００による３次元画像情報の縦断面図を示す。情報加工部３００による３次元画像情報は被写体４００を精度よく再現していることがわかる。
図１１は、濃淡画像情報生成部３４０の動作の一例を示す。本例では、濃淡画像情報生成部３４０は、情報加工部３００による３次元情報を用いて図中真横すなわち入力された濃淡画像情報４２０、４４０及び４６０とは異なる角度から見た投影画像すなわち濃淡画像情報４８０を生成する。本図からも明らかなように、濃淡画像情報生成部３４０は、任意の指定された角度から見た投影画像すなわち濃淡画像情報を生成して出力部３６０に出力することができる。
ここで、図１１の例において、濃淡画像情報生成部３４０が生成した濃淡画像情報４８０は被写体４００を真横から見た濃淡画像情報とは厳密には異なる。これは、情報加工部３００による３次元画像情報が被写体４００と完全には一致しないことに起因する。
しかし、画像処理装置２００に入力される濃淡画像情報が透過型電子顕微鏡による画像である場合、濃淡画像情報は一つの原子或いは分子内でも濃淡が生じる。第２の重畳部２４０が更に多くの角度からの濃淡画像情報を重畳させて、情報加工部３００が上記した濃淡を考慮し、濃度が薄いところを削除することで、算出される３次元画像情報はより被写体４００に近くなる。その結果、濃淡画像情報生成部３４０が生成する濃淡画像情報は、実写で得られる濃淡画像情報にさらに近くなる。
そして、出力部３６０は、必要に応じて形状算出部２６０による形状情報２６５、情報加工部３００による３次元画像情報すなわち情報４７０及び情報４７２、濃淡画像情報生成部３４０による濃淡画像情報を表示装置或いは印刷装置等に出力する。
すなわち、第１の動作例では、画像処理装置２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、及び情報加工部３００を用いて、より正確な３次元画像情報を得る。
次に、図１２及び図１３を用いて画像処理装置２００の第２の動作例を説明する。本例において、画像処理装置２００は第１の動作例と同様に濃淡画像情報４２０、４４０、及び４６０を用いて被写体４００の３次元画像情報を得る。
まず、図１２に例示するように形状算出部２６０は形状情報２６５を算出する。
そして、図１３に例示するように画像情報生成部３２０が、形状情報２６５の周囲にのみ濃淡画像情報４２０、４４０、及び４６０を分布させ、３つの濃淡画像情報がすべて重なった部分すなわち情報４７０及び４７２を３次元画像情報とする。この結果、３次元画像情報に偽情報が含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元画像情報を出力する。また、情報４７０の境界及び４７２の境界がはっきりしない場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元画像情報を出力する。また、濃淡分布情報４２５、４５５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。例えば、被写体４００の厚みＤが既知である場合は外殻から厚みＤの範囲内に濃淡画像情報４２０、４４０、及び４６０の濃度情報を均等に分布させる。このとき、前記した濃淡情報は、投影方向に厚みＤの範囲内にのみ分布させるのが更に好ましい。
そして、濃淡画像情報生成部３４０は、画像情報生成部３２０による３次元情報を用いて入力された濃淡画像情報４２０、４４０、及び４６０とは異なる角度から見た投影画像すなわち濃淡画像情報を生成する。
すなわち、第２の動作例では、画像処理装置２００は、形状算出部２６０、画像情報生成部３２０を用いてより正確な３次元画像情報を得る。
以上から、画像処理装置２００によれば、複数の角度から見た投影画像情報を用いることで、被写体を立体構造をより正確に表す３次元画像情報を得ることができる。
画像処理装置２００は、撮像可能な角度に制限がある場合に、特に上述した効果を発揮する。
例えば、透過型電子顕微鏡より得た画像情報を投影画像情報とする場合、撮像可能な角度には制限があるが、画像処理装置２００を用いることで被写体の分子レベルの立体構造を明らかにすることが可能となる。
詳細な例としては、細胞の蛋白質の構造やその変化を明らかにしたい場合がある。この場合、いわゆる急速凍結ディープエッチ・レプリカ法により得られる蛋白質の型を透過型電子顕微鏡により撮像し、画像処理装置２００で処理することで、偽情報すなわちいわゆるゴーストを取り除いた状態で、被写体である蛋白質の立体構造を示す３次元情報を得ることができる。
（第２の実施形態）
図１４は、本発明の第２の実施形態である画像処理装置２０１の構成を示す。画像処理装置２０１は、機能部として、抽出部２１０、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、情報加工部３００、画像情報生成部３２０、濃淡画像情報生成部３４０、及び出力部３６０を備える。抽出部２１０は、更に角度算出部２１５を有する。
画像処理装置２０１は、電子顕微鏡等の投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の被写体の濃淡画像情報をそれぞれ抽出し、抽出した複数の濃淡画像情報を用いて、被写体の立体構造に関する３次元情報を得る装置である。ここで、被写体としては、例えば図１５に示すように、生物界に広く存在する分子等、螺旋対称性を有する物質４９０を構成する粒子４９１である。
画像処理装置２０１において、抽出部２１０及び角度算出部２１５以外の機能部の動作は、第１の実施形態である画像処理装置２００の動作と同様であるので、説明は省略する。
抽出部２１０は、一の濃淡画像情報が入力された場合に、当該一の濃淡画像情報中から被写体の濃淡画像情報を抽出して分布部２２０及び画像情報生成部３２０に出力する。ここで、抽出部２１０は、前記した一の濃淡画像情報中に複数の被写体の濃淡画像情報が含まれている場合には、複数の被写体の濃淡画像情報をそれぞれ抽出する。また、第１の画像情報が濃淡画像情報である場合には、抽出部２１０は、抽出した濃淡画像情報を形状算出部２６０にも出力する。
角度算出部２１５は、抽出部２１０が抽出した濃淡画像情報が示す被写体の向きすなわち角度を算出し、被写体の濃淡画像情報と共に、分布部２２０及び画像情報生成部３２０、場合によっては形状算出部２６０に出力する。
図１６は、抽出部２１０及び角度算出部２１５の動作の一例を示す。本例は、一の濃淡画像情報が螺旋対称性を有する物質であり、かつ、被写体がこの螺旋対称性を有する物質を構成する粒子の場合である。
まず、抽出部２１０は、前記した一の濃淡画像情報の中において、基準となる一の被写体の基準濃淡画像情報を外部入力或いは自身で決定する（Ｓ１０）。そして、基準濃淡画像情報と同一の濃淡画像情報を前記した一の濃淡画像情報から検索する（Ｓ２０）。ここで、抽出部２１０は、規定の誤差内にある濃淡画像情報を同一の濃淡画像情報と見なしてもよい。
そして、抽出部２１０は、基準濃淡画像情報と、Ｓ２０で検索した濃淡画像情報の間に存在する複数の粒子の濃淡画像情報をそれぞれ抽出する（Ｓ３０）。
ここで、粒子の濃淡画像情報を認識する方法としては、例えば濃淡画像情報と基準濃淡画像情報の距離を取得し、この距離毎に前記した一の濃淡画像情報を区切る方法がある。
そして、角度算出部２１５は、Ｓ２０で検索した濃淡画像情報と基準濃淡画像情報の間に存在する濃淡画像情報の数すなわち粒子の数を認識し（Ｓ４０）、認識した粒子の数で螺旋の回転角度、例えば３６０°を割ることで、一つの粒子により螺旋が回転する角度を算出する（Ｓ５０）。
そして角度算出部２１５は、Ｓ５０で算出した角度を基準濃淡画像情報が示す角度に加算或いは減算していくことで、粒子が向いている角度を算出する（Ｓ６０）。すべての粒子の角度を算出するまで、Ｓ５０の動作を繰り返す（Ｓ７０）。
図１７は、抽出部２１０及び角度算出部２１５の動作の他の例を示す。
まず、抽出部２１０は、被写体のモデリング画像を一定の角度回転させ（Ｓ１００）す。そして、抽出部２１０は、前記した一の濃淡画像情報の一部を抽出し（Ｓ１１０）、モデリング画像と比較してその画像一致度を算出する（Ｓ１２０）。画像一致度が基準値以上であると判断した場合（Ｓ１３０）に、抽出部２１０は、当該一部を被写体の濃淡画像情報と認識して抽出する（Ｓ１４０）。角度算出部２１５は、Ｓ１００における回転角度を被写体が向いている角度とする（Ｓ１５０）。
前記した一の濃淡画像情報の全域にわたってＳ１１０〜Ｓ１５０の動作を繰り返した後（Ｓ１６０）、抽出部２１０及び角度算出部２１５は、規定された角度に達するまでＳ１００からＳ１４０までの動作を繰り返す（Ｓ１７０）。
すなわち、画像処理装置２０１によれば、抽出部２１０及び角度算出部２１５が、一の濃淡画像情報から、異なる角度を向いた複数の被写体の濃淡画像情報を抽出するため、必ずしも複数の濃淡画像情報が必要ではなくなる。
従って、画像処理装置２０１によれば、螺旋対称性を有する物質を複数撮像した場合、最も鮮明な濃淡画像情報のみを用いることで、より鮮明な３次元画像情報を得ることが可能になる。また、試料作成或いは実験装置等における、物理的な制約により撮像角度に制限がある場合にも、３次元画像情報を得ることが可能になる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。各構成部の機能の一部を人が代行してもよいことも明らかである。
産業上の利用可能性
以上の説明から明らかなように、本発明によれば、複数の角度から見た投影画像情報を処理して被写体を立体構造をより正確に表す３次元画像情報を得る画像処理装置、画像処理方法、記録媒体、及びプログラムを提供することができる。
本発明は、画像処理装置、画像処理方法、記録媒体及びプログラムに関する。また本出願は、下記の日本特許出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
特願２０００−３８１６３６ 出願日 ２０００年１２月１５日
特願２００１−１２０２６２ 出願日 ２００１年４月１８日
背景技術
透過型電子顕微鏡などにより得られた投影画像を用いた場合、一枚のみでは被写体の撮像方向の構造すなわち深さ方向の情報を得ることはできない。この場合、複数角度から撮像した複数の投影画像による濃淡を撮像した角度に引き延ばして重ね、濃淡の重なりを見ることで、被写体の深さ方向の情報を得ることができる。
複数角度から撮像した複数の投影画像による濃淡を撮像した角度に引き延ばして重ねた場合、本来被写体が存在しない部分に濃淡の重なりが生じ、あたかもその部分に被写体が存在するように見せる偽情報が発生する場合がある。従来は、この偽情報の発生を抑えたり、あるいは偽情報を取り除くことは難しかった。従って、複数の角度から見た投影画像情報を処理して被写体を立体構造を正確に表す３次元画像情報を得ることはできなかった。
そこで本発明は、このような問題を解決することを目的とする。
発明の開示
このような目的を達成するために、本発明の第１の形態によれば、本発明の第１の形態は、被写体の画像情報を処理して前記被写体の立体構造に関する情報である３次元情報を得る画像処理装置であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を示す形状情報を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報を、前記形状情報に重ねる第１の重畳部と、を備えることを特徴とする画像処理装置を提供する。
上記画像処理装置において、前記濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、を備え、前記第１の重畳部は、前記第２の重畳部による前記３次元濃淡情報を前記形状情報に重ねてもよい。この場合、前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して３次元画像情報を生成する情報加工部を更に備えてもよい。この場合、更に、前記複数の角度とは異なる角度から見た場合に得られるべき前記濃淡画像情報を前記３次元画像情報から算出する濃淡画像情報生成部を更に備えてもよい。
前記投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の前記被写体の濃淡画像情報をそれぞれ抽出する抽出部を更に備え、前記第１の重畳部は、前記抽出部が抽出した複数の前記濃淡画像情報を用いてもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成しており、前記物質の濃淡画像情報を、前記一の濃淡画像情報とし、更に、基準となる一の前記被写体が向いている角度である基準角度を取得すると共に、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出する角度算出部を備えてもよい。
本発明の第２の形態は、被写体の画像情報を処理して前記被写体の立体構造に関する情報である３次元情報を得る画像処理装置であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を示す形状情報を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元画像情報を生成する画像情報生成部を備えることを特徴とする画像処理装置を提供する。
上記した画像処理装置において、前記複数の角度とは異なる角度から見た場合に得られるべき前記濃淡画像情報を前記３次元画像情報から算出する濃淡画像情報生成部を更に備えてもよい。
前記投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の前記被写体の濃淡画像情報をそれぞれ抽出する抽出部を更に備え、前記画像情報生成部は、前記抽出部が抽出した複数の前記濃淡画像情報を用いてもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成しており、前記物質の濃淡画像情報を、前記一の濃淡画像情報とし、更に、基準となる一の前記被写体が向いている角度である基準角度を取得すると共に、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出する角度算出部を備えてもよい。
また、上記した２つの形態の画像処理装置は、以下の形態であってもよい。
前記濃淡画像情報は、透過型電子顕微鏡により得られた画像情報であってもよい。
前記第１の画像情報として、前記被写体の型の画像情報を用いてもよい。
前記形状算出部は、角度順において連続する第１及び第２の画像における前記被写体中の処理対象点の位置を対応付けるとともに、前記第２の画像及び第３の画像における前記処理対象点の位置を対応付ける位置対応部と、前記位置対応部による２組の位置対応付けを用いて前記処理対象点の位置の高さを示す高さ情報を算出する高さ情報算出部と、前記高さ情報算出部による複数の処理対象点の前記高さ情報を用いて前記被写体の前記形状情報を生成する形状情報算出部と、を備え、３以上の前記第１の画像を用いて前記形状情報を算出してもよい。この場合、前記第１、第２及び第３の画像は、同一の回転軸を回転中心として予め定められた角度ずつ前記被写体を回転して撮像して得られた画像であり、前記高さ情報算出部は、前記予め定められた角度を用いて前記高さ情報を算出してもよい。また、前記第１及び第２の画像は一の回転軸を回転中心として前記被写体を予め定められた角度回転して撮像して得られた画像であり、前記第３の画像は前記被写体を他の回転軸を回転中心として前記第１の画像を撮像した位置から前記予め定められた角度ほど回転して撮像して得られた画像であり、前記高さ情報算出部は、前記予め定められた角度を用いて前記高さ情報を算出してもよい。前記位置対応部は、前記被写体中に予め定められた基準線と前記処理対象点の前記画像上の間隔を算出し、前記第１の画像における前記間隔と前記第２の画像における前記間隔の差が一定以上の時に、前記第１及び第２の画像における前記処理対象点の位置を再検出し、前記第２の画像における前記間隔と前記第３の画像における前記間隔の差が一定以上の時に、前記第２及び第３の画像における前記処理対象点の対応付けを再度行ってもよい。前記高さ情報算出部は、前記第１及び第２の画像による高さ情報と、前記第２及び第３の画像による高さ情報とを基にした最小二乗誤差法により、前記高さ情報を算出してもよい。更にこの場合、前記位置対応部は、前記最小二乗誤差法における誤差が一定以上の時に前記処理対象点の位置を再検出してもよい。
本発明の第３の形態によれば、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理方法であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を示す形状情報を算出し、投影型の撮像装置により得られた前記被写体の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成し、前記３次元濃淡情報を前記形状情報に重ね、前記３次元濃淡情報から、前記形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して３次元画像情報を生成することを特徴とする画像処理方法を提供する。
上記画像処理方法において、前記投影型の撮像装置により得られた一の濃淡画像情報中から、複数の角度に向いている複数の前記被写体の濃淡画像情報を抽出し、抽出した前記濃淡画像情報を用いて、前記濃淡分布情報を生成してもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成し、前記物質の濃淡画像情報を、前記一の濃淡画像情報としてもよい。更にこの場合、基準となる一の前記被写体が向いている角度である基準角度を認識し、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出してもよい。
本発明の第４の形態によれば、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理方法であって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を算出し、投影型の撮像装置により得られた前記被写体の濃淡画像情報の濃淡情報を、それぞれ前記外殻の周辺に分布させて３次元画像情報を生成することを特徴とする画像処理方法を提供する。
上記画像処理方法において、前記投影型の撮像装置により得られた一の濃淡画像情報中から、複数の角度に向いている複数の前記被写体の濃淡画像情報を抽出し、注出した前記濃淡画像情報をそれぞれ前記外殻の周辺に分布させて３次元画像情報を生成してもよい。この場合、前記被写体は、螺旋対称性を有する物質を構成し、前記物質の濃淡画像情報を、前記一の濃淡画像情報としてもよい。更にこの場合、基準となる一の前記被写体が向いている角度である基準角度を認識し、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出してもよい。
本発明の第５の形態によれば、コンピュータにて実行可能であり、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理用のプログラムであって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の立体形状を示す形状情報を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報を、前記形状情報に重ねる第１の重畳部と、を備えることを特徴とするプログラムを提供する。
本発明の第６の形態によれば、コンピュータにて実行可能であり、被写体の画像情報を処理して前記被写体の３次元情報を得る画像処理用のプログラムであって、複数の角度から見た前記被写体の複数の第１の画像情報を用いて、前記被写体の外殻を算出する形状算出部と、投影型の撮像装置により得られた前記被写体の濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて３次元画像情報を生成する画像情報生成部と、を備えることを特徴とするプログラムを提供する。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【図面の簡単な説明】
図１は、画像処理装置２００の構成を示す。
図２は、形状算出部２６０の構成を示す。
図３は、画像処理装置２００のハードウエア構成図の一例を示す。
図４は、濃淡画像情報を得る方法を説明する図である。
図５は、濃淡画像情報を得る方法を説明する図である。
図６は、濃淡画像情報を得る方法を説明する図である。
図７は、３次元濃淡情報の一例の縦断面情報を示す。
図８は、３次元濃淡情報の縦断面情報の他の例を示す。
図９は、第１の重畳部２８０による重畳画像の一例の縦断面情報を示す。
図１０は、情報加工部３００による３次元画像情報の一例の縦断面図を示す。
図１１は、濃淡画像情報生成部３４０の動作の一例を示す。
図１２は、画像処理装置２００の第２の動作例を説明する図である。
図１３は、画像処理装置２００の第２の動作例を説明する図である。
図１４は、本発明の第２の実施形態である画像処理装置２０１の構成を示す。
図１５は、被写体の一例である、螺旋対称性を有する物質４９０を構成する粒子４９１である。
図１６は、抽出部２１０及び角度算出部２１５の動作の一例を示す。
図１７は、抽出部２１０及び角度算出部２１５の動作の他の例を示す
発明を実施するための最良の形態
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
（第１の実施形態）
図１は、本発明の第１の実施形態である画像処理装置２００の構成を示す。画像処理装置２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、情報加工部３００、画像情報生成部３２０、濃淡画像情報生成部３４０、及び出力部３６０を備える。画像処理装置２００は複数の角度から見た第１の画像情報と、透過型電子顕微鏡等により得られた複数の投影画像情報すなわち濃淡画像情報を用いて、被写体の立体構造に関する３次元情報を得る装置である。ここで第１の画像情報として濃淡画像情報を用いることもできる。
分布部２２０は、外部から取得した複数の濃淡画像情報を各々撮像した角度すなわち投影した角度に引き延ばして分布させることで濃淡分布情報を生成し、第２の重畳部２４０に出力する。具体例として、分布部２２０は濃淡画像情報の濃淡を均等に引き延ばした方向に分布させる。
第２の重畳部２４０は分布部２２０による複数の濃淡分布情報を、角度を維持したまま重ねることで３次元濃淡情報を生成し、第１の重畳部２８０に出力する。生成した３次元濃淡情報は被写体を３次元の画像情報で表す情報となる。ここでの３次元濃淡情報中には偽情報が含まれる可能性がある。
形状算出部２６０は、３つ以上の角度から見た３つ以上の画像情報から被写体の特定の点すなわち処理対象点の高さ情報を算出し、複数の処理対象点の高さ情報を用いて被写体の外殻を示す形状情報を算出する。
図２は形状算出部２６０の構成の一例を示す。形状算出部２６０は、位置対応部２６２、高さ情報算出部２６４、及び形状情報算出部２６６を備える。
位置対応部２６２は、角度順において連続する２枚の画像情報中の複数の処理対象点の位置を認識して各々対応付け、高さ情報算出部２６４に出力する。
詳細には、例えば角度順において連続する第１の画像情報及び第２の画像情報中の処理対象点の位置を対応付け、さらに第２の画像情報とその直後の角度である第３の画像情報において処理対象点の位置を対応付ける。この対応付けを第３及び第４の画像情報、・・・といった他の画像組合せに対しても順次行う。各処理対象点は、２組以上の画像組合せにおいてそれぞれ対応付けられる。
また、位置対応部２６２は、画像情報中に基準線を定めておき、この基準線と処理対象点との距離も測定する。画像組合せを構成する２枚の画像中における基準線と処理対象点との距離の差が一定以上である場合、位置対応部は当該処理基準線の位置認識・対応付けを再度行う。
ここで、各画像情報が同一の回転を回転中心として被写体を予め定められた角度ずつ回転して撮像することにより得られた画像であったり、或いは３つ以上の画像情報のうち、第１及び第２の画像は一の回転軸を回転中心として被写体を予め定められた角度回転して撮像して得られた画像であり、第３の画像は被写体を他の回転軸を回転中心として第１の画像を撮像した位置から予め定められた角度ほど回転して撮像して得られた画像である場合、位置対応部は、前記した予め定められた角度を用いて、処理対象点の位置を対応付ける。
高さ情報算出部２６４は、位置対応部２６２により２枚の画像情報内で対応付けられた処理対象点の高さ情報を各々算出し、形状情報算出部２６６に出力する。高さ情報算出部２６４で行う処理は、いわゆる立体視法の処理と同じである。ここで、各処理対象点は、少なくとも２組以上の画像組合せにおいてそれぞれ対応付けられているため、高さ情報算出部２６４は各処理対象点の高さ情報を複数算出する。高さ情報算出部２６４は、複数の高さ情報を基にした最小二乗誤差法により、出力すべき高さ情報を算出する。ここで最小二乗誤差法による誤差が一定以上である場合、位置対応部２６２は処理対象点の位置を再検出する。
形状情報算出部２６６は、高さ情報算出部２６４が算出した処理対象点の高さ情報と、画像情報から求められる処理対象点の平面情報とを用いて被写体の形状情報を算出する。形状情報算出部２６６は算出した形状情報を画像情報生成部３２０、第１の重畳部２８０、及び出力部３６０に出力する。
図１に戻り、第１の重畳部２８０は、第２の重畳部２４０による３次元濃淡情報に、形状算出部２６０による形状情報を重ねて重畳画像を生成し、情報加工部３００に出力する。
情報加工部３００は、第１の重畳部２８０が出力した重畳画像を用いて、３次元濃淡分布情報から、形状情報の周辺に存在する或いは形状情報と重なる情報のみを抽出して３次元画像情報を生成し、濃淡画像情報生成部３４０及び出力部３６０に出力する。３次元濃淡情報に偽情報が含まれる場合、偽情報と形状情報とは重なり得ない。従って、情報加工部３００が抽出する情報には偽情報は含まれない。その結果、３次元画像情報はより正確に被写体の３次元構造を示す情報となる。
画像情報生成部３２０は、形状算出部２６０が算出した形状情報が示す外殻の該当個所周辺に、外部から取得した濃淡画像情報を分布させることで、被写体の３次元画像情報を生成し、生成した３次元画像情報を濃淡画像情報生成部３４０及び出力部３６０に出力する。例として、画像情報生成部３２０は、外殻の当該箇所から一定の範囲にある領域にのみ濃淡画像情報の濃度を均等に分布させることで３次元濃淡画像情報を生成する。
ここで、画像情報生成部３２０は、濃淡画像情報を撮像した角度に引き延ばして重ねるという過程を経ずに被写体の３次元画像情報を生成するため、偽情報が発生することはない。
濃淡画像情報生成部３４０は、画像情報生成部３２０又は情報加工部３００が生成した３次元画像情報を用いて指定された角度からみた被写体の投影画像すなわち濃淡画像情報を生成し、出力部３６０に出力する。濃淡画像情報生成部３４０は、指定された角度を例えばキーボード等の外部入力装置を介して取得する。
出力部３６０は、形状算出部２６０による形状情報、画像情報生成部３２０による３次元画像情報、情報加工部３００による３次元画像情報、及び濃淡画像情報生成部３４０による濃淡画像情報を外部のプリンター或いは表示装置等に出力する。
図３は、画像処理装置２００のハードウエア構成図の一例を示す。本例において、画像処理装置２００は、ＣＰＵ（central processing unit）６０２、ＲＯＭ（read only memory）６０４、ＲＡＭ（randam access memory）６０６、ディスプレイ６０８、プリンター６１０、入力装置６１２、ハードディスク装置６１４、ＦＤ（floppy disk）ドライブ６１６、及びＣＤ−ＲＯＭ（compact disk ROM）ドライブ６１８を有する。
ＣＰＵ６０２は、ＲＡＭ６０６及びＲＯＭ６０４に格納されたプログラムに基づいて処理を行う。ディスプレイ６０８は、各種情報を表示する。プリンター６１０は各種情報を印刷する。入力装置６１２は、画像処理装置２００に対する設定等を入力する。ＦＤドライブ６１６は、フロッピー（登録商標）ディスク６２０からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ＣＤ−ＲＯＭドライブ６１８は、ＣＤ−ＲＯＭ６２２からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ハードディスク６１８は、ＦＤドライブ６１６又はＣＤ−ＲＯＭドライブ６１８によって読み出されたデータ又はプログラムや、ＣＰＵ６０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。
本例では、上述した画像処理装置２００の各機能部を実現するプログラムを有するＣＤ−ＲＯＭ６２２から、当該プログラムを読み出してハードディスク６１８にインストールさせておき、ハードディスク６１８から当該プログラムを読出してＣＰＵ６０２が実行することにより、上記画像処理装置２００の機能部を実現する。
前記したプログラムは、より具体的には、分布部２２０を実現するための分布モジュール、第２の重畳部２４０を実現するための第２の重畳モジュール、形状算出部２６０を実現するための形状算出モジュール、第１の重畳部２８０を実現するための第１の重畳モジュール、情報加工部３００を実現するための情報加工モジュール、画像情報生成部を実現するための画像情報生成モジュール、濃淡画像情報生成部３４０を実現するための濃淡画像情報生成モジュール、及び出力部３６０を実現するための出力モジュールを有する。また、前記したプログラムは、ＣＤ−ＲＯＭ６２２ではなくフロッピー（登録商標）ディスク６２０や、ＭＯやＭＤなど他の記録媒体に格納されてもよい。
次に、図４〜図１１を用いて画像処理装置２００の第１の動作例を説明する。本例では、並列かつ上向きに並んだ２つの半球状の被写体４００を投影型の撮像装置で撮像し、画像処理装置２００を用いて３次元画像情報を生成する。
まず、濃淡画像情報を得る段階について説明する。図４、図５、図６に示すように、少なくとも異なる３つの角度（本例ではＡ方向、Ｂ方向、及びＣ方向）から被写体を撮像して投影画像情報すなわち濃淡画像情報４２０、４４０、及び４６０を得る。ここで、図４および図５に示すようにＡ方向とＢ方向の角度の間隔と、Ｂ方向とＣ方向の角度の間隔を各々等しい値θとするのが好ましい。
また、Ｂ方向およびＣ方向は同一の軸４０１を回転中心としてＡ方向から回転した角度でもよく、異なる軸４０１および４０２を回転中心としてＡ方向からそれぞれ回転した角度でもよい。
そして、濃淡画像情報４２０、４４０、及び４６０を画像処理装置２００に入力する。ここで濃淡画像情報４２０、４４０、及び４６０は第１の画像情報も兼ねる。
本例において、画像処理装置２００の分布部２２０は、各濃淡画像情報４２０、４４０、及び４６０を撮像方向に引き延ばして濃淡分布情報４２５、４４５、及び４６５を生成し、第２の重畳部が、濃淡分布情報４２５、４４５、及び４６５を角度を維持したまま重ね合わせて３次元濃淡情報を生成する。
図７は、本例における３次元濃淡情報の縦断面情報の一例を示す。３次元濃淡情報は、全ての濃淡分布情報が重なった部分に物体が存在することを示す。図７は、濃淡分布情報４２５、４４５、及び４６５の全てが重なった部分すなわち情報４７０、４７２、４７４、４７６、４７８、及び４７９に、被写体４００が存在することを示す。しかし、本来被写体４００は２つのみであり、上記した６つの情報のうち３つは偽情報である。
図８は、本例における３次元濃淡情報の縦断面情報の他の例を示す。本例において、濃淡画像情報４２０、４４０、及び４６０の濃度はそれぞれ異なっている。また、濃淡分布情報４２５、４４５、及び４６５は、濃淡画像情報４２０、４４０、及び４６０の濃淡を撮像した角度に引き延ばして均等に分布させたものである。この場合、情報４７０〜４７９以外の部分も情報４７０〜４７９の一つと同等以上の濃度を有する可能性があるため、偽情報がさらに増える場合もある。
また、画像処理装置２００の形状算出部２６０は濃淡画像情報４２０、４４０、及び４６０から被写体４００の外殻を示す形状情報２６５を算出する。ここで形状算出部２６０は被写体４００の外殻全体は算出できず、図中Ａ方向、Ｂ方向およびＣ方向の視野に共通して含まれる部分となる。本例においては被写体４００の球状部のみ外殻が算出される。
そして、画像処理装置２００の第１の重畳部２８０は３次元濃淡画像情報に形状算出部２６０による形状情報を重畳する。
図９は本例における第１の重畳部２８０による重畳画像の縦断面情報を示す。本例において、形状算出部２６０による２つの形状情報２６５は、それぞれ情報４７０及び４７２に重なる。従って、情報加工部３００は、情報４７０及び４７２が物体を表す真の情報であり、情報４７４，４７６、４７８及び４７９が偽情報であると判断し、情報４７０及び４７２のみを抽出して３次元画像情報として濃淡画像情報生成部３４０及び出力部３６０に出力する。
この結果、偽情報が３次元画像情報に含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、情報加工部３００は形状情報２６５を加味した３次元画像情報を出力する。また、濃淡分布情報４２５、４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、情報加工部３００は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。
また、第１の重畳部２８０による重畳情報をディスプレイ等に表示させることで、情報加工部３００の動作を人が代理してもよく、また、情報加工部３００による３次元画像情報に人の判断を加味することで偽情報を取り除いてもよい。この場合、より状況に即して偽情報を取り除くことができる。
図１０は本例における情報加工部３００による３次元画像情報の縦断面図を示す。情報加工部３００による３次元画像情報は被写体４００を精度よく再現していることがわかる。
図１１は、濃淡画像情報生成部３４０の動作の一例を示す。本例では、濃淡画像情報生成部３４０は、情報加工部３００による３次元情報を用いて図中真横すなわち入力された濃淡画像情報４２０、４４０及び４６０とは異なる角度から見た投影画像すなわち濃淡画像情報４８０を生成する。本図からも明らかなように、濃淡画像情報生成部３４０は、任意の指定された角度から見た投影画像すなわち濃淡画像情報を生成して出力部３６０に出力することができる。
ここで、図１１の例において、濃淡画像情報生成部３４０が生成した濃淡画像情報４８０は被写体４００を真横から見た濃淡画像情報とは厳密には異なる。これは、情報加工部３００による３次元画像情報が被写体４００と完全には一致しないことに起因する。
しかし、画像処理装置２００に入力される濃淡画像情報が透過型電子顕微鏡による画像である場合、濃淡画像情報は一つの原子或いは分子内でも濃淡が生じる。第２の重畳部２４０が更に多くの角度からの濃淡画像情報を重畳させて、情報加工部３００が上記した濃淡を考慮し、濃度が薄いところを削除することで、算出される３次元画像情報はより被写体４００に近くなる。その結果、濃淡画像情報生成部３４０が生成する濃淡画像情報は、実写で得られる濃淡画像情報にさらに近くなる。
そして、出力部３６０は、必要に応じて形状算出部２６０による形状情報２６５、情報加工部３００による３次元画像情報すなわち情報４７０及び情報４７２、濃淡画像情報生成部３４０による濃淡画像情報を表示装置或いは印刷装置等に出力する。
すなわち、第１の動作例では、画像処理装置２００は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、及び情報加工部３００を用いて、より正確な３次元画像情報を得る。
次に、図１２及び図１３を用いて画像処理装置２００の第２の動作例を説明する。本例において、画像処理装置２００は第１の動作例と同様に濃淡画像情報４２０、４４０、及び４６０を用いて被写体４００の３次元画像情報を得る。
まず、図１２に例示するように形状算出部２６０は形状情報２６５を算出する。
そして、図１３に例示するように画像情報生成部３２０が、形状情報２６５の周囲にのみ濃淡画像情報４２０、４４０、及び４６０を分布させ、３つの濃淡画像情報がすべて重なった部分すなわち情報４７０及び４７２を３次元画像情報とする。この結果、３次元画像情報に偽情報が含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元画像情報を出力する。また、情報４７０の境界及び４７２の境界がはっきりしない場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元画像情報を出力する。また、濃淡分布情報４２５、４５５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。例えば、被写体４００の厚みＤが既知である場合は外殻から厚みＤの範囲内に濃淡画像情報４２０、４４０、及び４６０の濃度情報を均等に分布させる。このとき、前記した濃淡情報は、投影方向に厚みＤの範囲内にのみ分布させるのが更に好ましい。
そして、濃淡画像情報生成部３４０は、画像情報生成部３２０による３次元情報を用いて入力された濃淡画像情報４２０、４４０、及び４６０とは異なる角度から見た投影画像すなわち濃淡画像情報を生成する。
すなわち、第２の動作例では、画像処理装置２００は、形状算出部２６０、画像情報生成部３２０を用いてより正確な３次元画像情報を得る。
以上から、画像処理装置２００によれば、複数の角度から見た投影画像情報を用いることで、被写体を立体構造をより正確に表す３次元画像情報を得ることができる。
画像処理装置２００は、撮像可能な角度に制限がある場合に、特に上述した効果を発揮する。
例えば、透過型電子顕微鏡より得た画像情報を投影画像情報とする場合、撮像可能な角度には制限があるが、画像処理装置２００を用いることで被写体の分子レベルの立体構造を明らかにすることが可能となる。
詳細な例としては、細胞の蛋白質の構造やその変化を明らかにしたい場合がある。この場合、いわゆる急速凍結ディープエッチ・レプリカ法により得られる蛋白質の型を透過型電子顕微鏡により撮像し、画像処理装置２００で処理することで、偽情報すなわちいわゆるゴーストを取り除いた状態で、被写体である蛋白質の立体構造を示す３次元情報を得ることができる。
（第２の実施形態）
図１４は、本発明の第２の実施形態である画像処理装置２０１の構成を示す。画像処理装置２０１は、機能部として、抽出部２１０、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、情報加工部３００、画像情報生成部３２０、濃淡画像情報生成部３４０、及び出力部３６０を備える。抽出部２１０は、更に角度算出部２１５を有する。
画像処理装置２０１は、電子顕微鏡等の投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の被写体の濃淡画像情報をそれぞれ抽出し、抽出した複数の濃淡画像情報を用いて、被写体の立体構造に関する３次元情報を得る装置である。ここで、被写体としては、例えば図１５に示すように、生物界に広く存在する分子等、螺旋対称性を有する物質４９０を構成する粒子４９１である。
画像処理装置２０１において、抽出部２１０及び角度算出部２１５以外の機能部の動作は、第１の実施形態である画像処理装置２００の動作と同様であるので、説明は省略する。
抽出部２１０は、一の濃淡画像情報が入力された場合に、当該一の濃淡画像情報中から被写体の濃淡画像情報を抽出して分布部２２０及び画像情報生成部３２０に出力する。ここで、抽出部２１０は、前記した一の濃淡画像情報中に複数の被写体の濃淡画像情報が含まれている場合には、複数の被写体の濃淡画像情報をそれぞれ抽出する。また、第１の画像情報が濃淡画像情報である場合には、抽出部２１０は、抽出した濃淡画像情報を形状算出部２６０にも出力する。
角度算出部２１５は、抽出部２１０が抽出した濃淡画像情報が示す被写体の向きすなわち角度を算出し、被写体の濃淡画像情報と共に、分布部２２０及び画像情報生成部３２０、場合によっては形状算出部２６０に出力する。
図１６は、抽出部２１０及び角度算出部２１５の動作の一例を示す。本例は、一の濃淡画像情報が螺旋対称性を有する物質であり、かつ、被写体がこの螺旋対称性を有する物質を構成する粒子の場合である。
まず、抽出部２１０は、前記した一の濃淡画像情報の中において、基準となる一の被写体の基準濃淡画像情報を外部入力或いは自身で決定する（Ｓ１０）。そして、基準濃淡画像情報と同一の濃淡画像情報を前記した一の濃淡画像情報から検索する（Ｓ２０）。ここで、抽出部２１０は、規定の誤差内にある濃淡画像情報を同一の濃淡画像情報と見なしてもよい。
そして、抽出部２１０は、基準濃淡画像情報と、Ｓ２０で検索した濃淡画像情報の間に存在する複数の粒子の濃淡画像情報をそれぞれ抽出する（Ｓ３０）。
ここで、粒子の濃淡画像情報を認識する方法としては、例えば濃淡画像情報と基準濃淡画像情報の距離を取得し、この距離毎に前記した一の濃淡画像情報を区切る方法がある。
そして、角度算出部２１５は、Ｓ２０で検索した濃淡画像情報と基準濃淡画像情報の間に存在する濃淡画像情報の数すなわち粒子の数を認識し（Ｓ４０）、認識した粒子の数で螺旋の回転角度、例えば３６０°を割ることで、一つの粒子により螺旋が回転する角度を算出する（Ｓ５０）。
そして角度算出部２１５は、Ｓ５０で算出した角度を基準濃淡画像情報が示す角度に加算或いは減算していくことで、粒子が向いている角度を算出する（Ｓ６０）。すべての粒子の角度を算出するまで、Ｓ５０の動作を繰り返す（Ｓ７０）。
図１７は、抽出部２１０及び角度算出部２１５の動作の他の例を示す。
まず、抽出部２１０は、被写体のモデリング画像を一定の角度回転させ（Ｓ１００）す。そして、抽出部２１０は、前記した一の濃淡画像情報の一部を抽出し（Ｓ１１０）、モデリング画像と比較してその画像一致度を算出する（Ｓ１２０）。画像一致度が基準値以上であると判断した場合（Ｓ１３０）に、抽出部２１０は、当該一部を被写体の濃淡画像情報と認識して抽出する（Ｓ１４０）。角度算出部２１５は、Ｓ１００における回転角度を被写体が向いている角度とする（Ｓ１５０）。
前記した一の濃淡画像情報の全域にわたってＳ１１０〜Ｓ１５０の動作を繰り返した後（Ｓ１６０）、抽出部２１０及び角度算出部２１５は、規定された角度に達するまでＳ１００からＳ１４０までの動作を繰り返す（Ｓ１７０）。
すなわち、画像処理装置２０１によれば、抽出部２１０及び角度算出部２１５が、一の濃淡画像情報から、異なる角度を向いた複数の被写体の濃淡画像情報を抽出するため、必ずしも複数の濃淡画像情報が必要ではなくなる。
従って、画像処理装置２０１によれば、螺旋対称性を有する物質を複数撮像した場合、最も鮮明な濃淡画像情報のみを用いることで、より鮮明な３次元画像情報を得ることが可能になる。また、試料作成或いは実験装置等における、物理的な制約により撮像角度に制限がある場合にも、３次元画像情報を得ることが可能になる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。各構成部の機能の一部を人が代行してもよいことも明らかである。
産業上の利用可能性
以上の説明から明らかなように、本発明によれば、複数の角度から見た投影画像情報を処理して被写体を立体構造をより正確に表す３次元画像情報を得る画像処理装置、画像処理方法、記録媒体、及びプログラムを提供することができる。
Claims (26)
- 被写体の画像情報を処理して前記被写体の立体構造に関する情報である３次元画像情報を得る画像処理装置であって、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の外殻を示す形状情報を算出する形状算出部と、
前記濃淡画像情報に示される濃度を、それぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、
前記複数の濃淡画像情報による複数の前記濃淡分布情報を重ね合わせて、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、
前記３次元濃淡画像情報を、前記形状情報に重畳する第１の重畳部と、
前記第１の重畳部が重畳した前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元画像情報を生成する情報加工部と
備える画像処理装置。 - 前記情報加工部は、前記第１の重畳部が重畳した前記３次元濃淡情報から、前記形状情報が示す前記外殻に重なる濃淡情報のみを抽出して前記３次元画像情報を生成する請求項１に記載の画像処理装置。
- 被写体の画像情報を処理して前記被写体の立体構造に関する情報である３次元画像情報を得る画像処理装置であって、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の外殻を示す形状情報を算出する形状算出部と、
前記濃淡画像情報の濃淡情報を、前記形状情報が示す前記外殻の周辺に分布させて前記３次元画像情報を生成する画像情報生成部と
を備えることを特徴とする画像処理装置。 - 前記画像情報生成部は、前記外殻から一定の範囲にある領域のみ前記濃淡情報の濃度を均等に分布させて前記３次元画像情報を生成することを特徴とする請求項３に記載の画像処理装置。
- 前記複数の角度とは異なる角度から見た場合に得られるべき前記濃淡画像情報を前記３次元画像情報から算出する濃淡画像情報生成部を更に備えることを特徴とする請求項１又は３に記載の画像処理装置。
- 前記濃淡画像情報は、透過型電子顕微鏡により得られた画像情報であることを特徴とする請求項１又は３に記載の画像処理装置。
- 前記第１の画像情報として、前記被写体の型の画像情報を用いることを特徴とする請求項１又は３に記載の画像処理装置。
- 前記投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の前記被写体の濃淡画像情報をそれぞれ抽出する抽出部を更に備え、
前記第１の重畳部は、前記抽出部が抽出した複数の前記濃淡画像情報を用いることを特徴とする請求項１に記載の画像処理装置。 - 前記投影型の撮像装置により得られた一の濃淡画像情報中に含まれる、複数の角度に向いている複数の前記被写体の濃淡画像情報をそれぞれ抽出する抽出部を更に備え、
前記画像情報生成部は、前記抽出部が抽出した複数の前記濃淡画像情報を用いることを特徴とする請求項３に記載の画像処理装置。 - 前記被写体は、螺旋対称性を有する物質を構成しており、前記物質の濃淡画像情報を、前記一の濃淡画像情報とし、
更に、
基準となる一の前記被写体が向いている角度である基準角度を取得すると共に、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出する角度算出部を備えることを特徴とする請求項８又は９に記載の画像処理装置。 - 前記形状算出部は、
角度順において連続する第１及び第２の画像における前記被写体中の処理対象点の位置を対応付けるとともに、前記第２の画像及び第３の画像における前記処理対象点の位置を対応付ける位置対応部と、
前記位置対応部による２組の位置対応付けを用いて前記処理対象点の位置の高さを示す高さ情報を算出する高さ情報算出部と、
前記高さ情報算出部による複数の処理対象点の前記高さ情報を用いて前記被写体の前記形状情報を生成する形状情報算出部と、を備え、３以上の前記第１の画像を用いて前記形状情報を算出することを特徴とする請求項１又は３に記載の画像処理装置。 - 前記第１、第２及び第３の画像は、同一の回転軸を回転中心として予め定められた角度ずつ前記被写体を回転して撮像して得られた画像であり、前記高さ情報算出部は、前記予め定められた角度を用いて前記高さ情報を算出することを特徴とする請求項１１に記載の画像処理装置。
- 前記第１及び第２の画像は一の回転軸を回転中心として前記被写体を予め定められた角度回転して撮像して得られた画像であり、前記第３の画像は前記被写体を他の回転軸を回転中心として前記第１の画像を撮像した位置から前記予め定められた角度ほど回転して撮像して得られた画像であり、前記高さ情報算出部は、前記予め定められた角度を用いて前記高さ情報を算出することを特徴とする請求項１１に記載の画像処理装置。
- 前記位置対応部は、前記被写体中に予め定められた基準線と前記処理対象点の前記画像上の間隔を算出し、前記第１の画像における前記間隔と前記第２の画像における前記間隔の差が一定以上の時に、前記第１及び第２の画像における前記処理対象点の位置を再検出し、前記第２の画像における前記間隔と前記第３の画像における前記間隔の差が一定以上の時に、前記第２及び第３の画像における前記処理対象点の対応付けを再度行うことを特徴とする請求項１１に記載の画像処理装置。
- 前記高さ情報算出部は、前記第１及び第２の画像による高さ情報と、前記第２及び第３の画像による高さ情報とを基にした最小二乗誤差法により、前記高さ情報を算出することを特徴とする請求項１１に記載の画像処理装置。
- 前記位置対応部は、前記最小二乗誤差法における誤差が一定以上の時に前記処理対象点の位置を再検出することを特徴とする請求項１５に記載の画像処理装置。
- 被写体の画像情報を処理して前記被写体の３次元画像情報を得る画像処理方法であって、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の外殻を示す形状情報を算出し、
投影型の撮像装置により得られた前記被写体の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、
前記複数の濃淡画像情報による複数の前記濃淡分布情報を重ね合わせて、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成し、
前記３次元濃淡情報を、前記形状情報に重畳して、前記３次元濃淡情報から、前記形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して前記３次元画像情報を生成することを特徴とする画像処理方法。 - 被写体の画像情報を処理して前記被写体の３次元画像情報を得る画像処理方法であって、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の外殻を算出し、
前記濃淡画像情報の濃淡情報を、それぞれ前記外殻の周辺に分布させて前記３次元画像情報を生成することを特徴とする画像処理方法。 - 前記投影型の撮像装置により得られた一の濃淡画像情報中から、複数の角度に向いている複数の前記被写体の濃淡画像情報を抽出し、抽出した前記濃淡画像情報を用いて、前記濃淡分布情報を生成することを特徴とする請求項１７に記載の画像処理方法。
- 前記投影型の撮像装置により得られた一の濃淡画像情報中から、複数の角度に向いている複数の前記被写体の濃淡画像情報を抽出し、抽出した前記濃淡画像情報をそれぞれ前記外殻の周辺に分布させて３次元画像情報を生成することを特徴とする請求項１８に記載の画像処理方法。
- 前記被写体は、螺旋対称性を有する物質を構成し、前記物質の濃淡画像情報を、前記一の濃淡画像情報とすることを特徴とする請求項１９又は２０に記載の画像処理方法。
- 基準となる一の前記被写体が向いている角度である基準角度を認識し、一つの前記被写体により前記螺旋が回転する角度を、前記基準角度に加算或いは減算することで、各々の前記被写体が向いている角度を算出することを特徴とする請求項２１に記載の画像処理方法。
- コンピュータにて実行可能であり、写体の画像情報を処理して前記被写体の３次元画像情報を得る画像処理用のプログラムを格納した記録媒体であって、前記プログラムは、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の立体形状を示す形状情報を算出する形状算出部と、
前記濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、
前記複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ね合わせて、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、
前記３次元濃淡画像情報を、前記形状情報に重畳する第１の重畳部と、
前記第１の重畳部が重畳した前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元画像情報を生成する情報加工部と
を備えることを特徴とする記録媒体。 - コンピュータにて実行可能であり、写体の画像情報を処理して前記被写体の３次元画像情報を得る画像処理用のプログラムを格納した記録媒体であって、前記プログラムは、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の外殻を算出する形状算出部と、
前記濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて前記３次元画像情報を生成する画像情報生成部と、
を備えることを特徴とする記録媒体。 - コンピュータにて実行可能であり、被写体の画像情報を処理して前記被写体の３次元画像情報を得る画像処理用のプログラムであって、前記コンピュータに、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の立体形状を示す形状情報を算出する形状算出機能、
前記濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布機能、
複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重畳して、前記被写体を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳機能、
前記３次元濃淡画像情報を、前記形状情報に重畳する第１の重畳機能、および
前記第１の重畳機能が重畳した前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元画像情報を生成する情報加工機能
を実現させることを特徴とするプログラム。 - コンピュータにて実行可能であり、被写体の画像情報を処理して前記被写体の３次元画像情報を得る画像処理用のプログラムであって、前記コンピュータに、
透過型の撮像装置により複数の角度から得られた前記被写体の濃淡画像情報を用いて、前記被写体の外殻を算出する形状算出機能、および
前記濃淡画像情報の濃淡情報を、前記外殻の周辺に分布させて前記３次元画像情報を生成する画像情報生成機能
を実現させることを特徴とするプログラム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000381636 | 2000-12-15 | ||
| JP2000381636 | 2000-12-15 | ||
| JP2001120262 | 2001-04-18 | ||
| JP2001120262 | 2001-04-18 | ||
| PCT/JP2001/010777 WO2002048961A1 (en) | 2000-12-15 | 2001-12-10 | Mage processor, image processing method, recording medium and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002048961A1 JPWO2002048961A1 (ja) | 2004-04-15 |
| JP3603203B2 true JP3603203B2 (ja) | 2004-12-22 |
Family
ID=26605890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002550599A Expired - Fee Related JP3603203B2 (ja) | 2000-12-15 | 2001-12-10 | 画像処理装置、画像処理方法、記録媒体、及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7639865B2 (ja) |
| EP (1) | EP1353294A1 (ja) |
| JP (1) | JP3603203B2 (ja) |
| AU (1) | AU2002221101A1 (ja) |
| WO (1) | WO2002048961A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4974680B2 (ja) | 2004-12-07 | 2012-07-11 | 国立大学法人 東京大学 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
| JP6320789B2 (ja) * | 2014-02-17 | 2018-05-09 | 株式会社ミツトヨ | 変位検出装置、変位検出システム、及び変位検出方法 |
| NO20140653A1 (no) | 2014-05-27 | 2015-11-30 | Idex Asa | Biometrisk sensor |
| CN111445398B (zh) * | 2020-03-11 | 2023-06-20 | 浙江大华技术股份有限公司 | 热成像图像处理方法、设备及计算机可读存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62219075A (ja) * | 1986-03-20 | 1987-09-26 | Hitachi Medical Corp | 三次元画像の半透明表示方法 |
| JPH0470983A (ja) * | 1990-07-05 | 1992-03-05 | Toshiba Corp | 立体表示装置 |
| US5414261A (en) * | 1993-07-01 | 1995-05-09 | The Regents Of The University Of California | Enhanced imaging mode for transmission electron microscopy |
| JP3304681B2 (ja) * | 1995-04-25 | 2002-07-22 | 株式会社日立製作所 | 電子顕微鏡及び３次元原子配列観察方法 |
| JP3403875B2 (ja) * | 1995-10-16 | 2003-05-06 | 大日本スクリーン製造株式会社 | 三次元計測方法および表示方法、ならびに三次元計測装置 |
| JP3869876B2 (ja) * | 1995-12-19 | 2007-01-17 | キヤノン株式会社 | 画像計測方法及び画像計測装置 |
| SE9601229D0 (sv) * | 1996-03-07 | 1996-03-29 | B Ulf Skoglund | Apparatus and method for providing reconstruction |
| JP3419213B2 (ja) * | 1996-08-30 | 2003-06-23 | ミノルタ株式会社 | ３次元形状データ処理装置 |
| JPH10161034A (ja) * | 1996-12-02 | 1998-06-19 | Nikon Corp | コンフォーカル顕微鏡及びコンフォーカル顕微鏡を用いた３次元画像の作成方法 |
| JP3914638B2 (ja) * | 1997-09-09 | 2007-05-16 | シーケーディ株式会社 | 形状計測装置 |
| JPH11250850A (ja) * | 1998-03-02 | 1999-09-17 | Hitachi Ltd | 走査電子顕微鏡及び顕微方法並びに対話型入力装置 |
| JP3603204B2 (ja) * | 2001-03-12 | 2004-12-22 | 株式会社東京大学Ｔｌｏ | 立体構造検証支援装置、立体構造検証支援方法、及びプログラム |
| US6980937B2 (en) * | 2001-12-07 | 2005-12-27 | International Business Machines Corporation | Method and system for quantifying the step profile characteristics semiconductor features using surface analysis data |
-
2001
- 2001-12-10 AU AU2002221101A patent/AU2002221101A1/en not_active Abandoned
- 2001-12-10 EP EP01270859A patent/EP1353294A1/en not_active Withdrawn
- 2001-12-10 WO PCT/JP2001/010777 patent/WO2002048961A1/ja active Search and Examination
- 2001-12-10 JP JP2002550599A patent/JP3603203B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-13 US US10/461,920 patent/US7639865B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2002048961A1 (ja) | 2004-04-15 |
| WO2002048961A1 (en) | 2002-06-20 |
| AU2002221101A1 (en) | 2002-06-24 |
| US7639865B2 (en) | 2009-12-29 |
| US20040041806A1 (en) | 2004-03-04 |
| EP1353294A1 (en) | 2003-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6381302B1 (en) | Computer assisted 2D adjustment of stereo X-ray images | |
| CN102834845B (zh) | 用于多摄像装置校准的方法与装置 | |
| US8917317B1 (en) | System and method for camera calibration | |
| JP2008537190A (ja) | 赤外線パターンを照射することによる対象物の三次元像の生成 | |
| TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
| WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
| JP2004184240A (ja) | 画像測定装置、画像測定方法、画像処理装置 | |
| WO2020151078A1 (zh) | 一种三维重建的方法和装置 | |
| JP3603203B2 (ja) | 画像処理装置、画像処理方法、記録媒体、及びプログラム | |
| Benalcazar et al. | A 3D iris scanner from multiple 2D visible light images | |
| KR102082277B1 (ko) | 파노라마 영상 생성 방법 및 그 장치 | |
| Wu et al. | Detecting image forgeries using metrology | |
| JP2008203995A (ja) | 物体形状生成方法、物体形状生成装置及びプログラム | |
| JP4082718B2 (ja) | 画像認識方法および画像表示方法および画像認識装置 | |
| JP6840968B2 (ja) | 形状推定方法、形状推定装置および形状推定プログラム | |
| JP2007275258A (ja) | 画像表示装置 | |
| JP6846003B2 (ja) | 造形物検査装置、造形物検査制御装置および造形物検査方法 | |
| JP2005245734A (ja) | 領域抽出方法 | |
| CN110717471B (zh) | 基于支持向量机模型b超图像目标检测方法及b超扫描仪 | |
| JP3619837B2 (ja) | 立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラム | |
| Toldo et al. | Photo-consistent planar patches from unstructured cloud of points | |
| JP2008003800A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2001059715A (ja) | 実物体の時空間画像を用いた形状復元方法及び画像処理方法並びに形状復元システム | |
| JPH07246195A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040315 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040315 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040914 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3603203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |