JPWO2006062132A1 - 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム - Google Patents

立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム Download PDF

Info

Publication number
JPWO2006062132A1
JPWO2006062132A1 JP2006546736A JP2006546736A JPWO2006062132A1 JP WO2006062132 A1 JPWO2006062132 A1 JP WO2006062132A1 JP 2006546736 A JP2006546736 A JP 2006546736A JP 2006546736 A JP2006546736 A JP 2006546736A JP WO2006062132 A1 JPWO2006062132 A1 JP WO2006062132A1
Authority
JP
Japan
Prior art keywords
target
unit
stereoscopic image
transmission
image reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006546736A
Other languages
English (en)
Other versions
JP4974680B2 (ja
Inventor
片山　栄作
栄作 片山
馬場　則男
則男 馬場
義隆 木森
義隆 木森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Todai TLO Ltd
University of Tokyo NUC
Original Assignee
Todai TLO Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Todai TLO Ltd, University of Tokyo NUC filed Critical Todai TLO Ltd
Priority to JP2006546736A priority Critical patent/JP4974680B2/ja
Publication of JPWO2006062132A1 publication Critical patent/JPWO2006062132A1/ja
Application granted granted Critical
Publication of JP4974680B2 publication Critical patent/JP4974680B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/419—Imaging computed tomograph
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/2611—Stereoscopic measurements and/or imaging

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

対象の外郭を示す形状情報だけでなく内部構造に関する情報をも含む立体画像を再構成する。対象の立体画像を再構成する立体画像再構成装置であって、濃淡で示された複数の透過型画像を撮像する撮像部と、透過型画像において複数の特徴領域を選択する特徴領域選択部と、複数の特徴領域のそれぞれの、透過型画像上の位置に基づいて、複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置を提供する。

Description

本発明は、立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムに関する。特に本発明は、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムに関する。本出願は、下記の日本出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の一部とする。
特願２００４−３５４５６３ 出願日 ２００４年１２月７日
従来、透過型電子顕微鏡を用いて複数の角度から対象を撮像した複数の透過型画像を、撮像方向に引き延ばして重ね合わせた場合の、濃淡の重なりに基づいて、対象の立体構造を示す立体画像を再構成する立体画像再構成装置が提案されている。また、複数の透過型画像を引き延ばして重ね合わせた場合の濃淡の重なりだけでなく、当該複数の透過型画像から算出した対象の外郭を示す形状情報に更に基づいて、より精度よく対象の立体画像を再構成する立体画像再構成装置が提案されている（例えば、特許文献１参照。）。
国際公開番号ＷＯ２００２／０４８９６１号公報
しかしながら、電子顕微鏡試料支持法の特殊性により、複数の透過型画像を引き延ばして重ね合わせることにより得られた濃淡の重なりによって示される領域には、実際には対象が存在していない、ゴーストと呼ばれる領域も含まれており、当該濃淡の重なりのみに基づいて再構成される立体画像の精度は低かった。また、対象の外郭を示す形状情報に更に基づいて再構成された立体画像には、対象の内部構造を示す情報が含まれていないので、特許文献１に記載の立体画像再構成装置は、対象の内部構造を知るという目的には利用できなかった。
そこで本発明は、上記の課題を解決することができる立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムを提供することを目的とする。この目的は請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第１の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択部と、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える。
当該立体画像再構成装置は、対象の立体構造の概略を示す情報を入力する立体構造情報入力部と、入力された立体構造の概略に基づき、複数の透過型画像のそれぞれに対して、対象を強調する画像処理を行う強調処理部とを更に備え、特徴領域選択部は、複数の透過型画像のそれぞれにおいて、強調処理部によって強調された対象に含まれる複数の特徴領域を選択してもよい。特徴領域分布算出部は、複数の透過型画像のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象の輪郭の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してもよい。撮像部は、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を含む複数の透過型画像を撮像してもよい。当該立体画像再構成装置は、複数の特徴領域のうち、既知の立体構造を有する特徴領域における、立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する収束処理算出部と、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部によって算出された画像処理操作を実行する収束処理部とを更に備えてもよい。
立体画像再構成部は、特徴領域分布算出部により算出された複数の特徴領域の空間的な分布に基づいて対象における電子線の透過方向の厚みを算出する厚み算出部、および、厚み算出部により算出された対象の厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付ける微小領域割付部を有してもよい。微小領域割付部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り付けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚み内の微小領域に濃淡の二値のいずれかを割り付けてもよい。当該立体画像再構成装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報に整合させて、複数の微小領域に濃淡を割り付けてもよい。
上記課題を解決するために、本発明の第２の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付部とを備える。微小領域割付部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り付けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚み内の微小領域に濃淡の二値のいずれかを割り付けてもよい。当該立体画像再構成装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報に整合させて、複数の微小領域に濃淡を割り付けてもよい。
また、本発明の第３の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像段階と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択段階と、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出段階と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成段階とを備える。
また、本発明の第４の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像段階と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像段階により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付段階とを備える。
また、本発明の第５の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択部と、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置として機能させる。
また、本発明の第６の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付部とを備える立体画像再構成装置として機能させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、対象の外郭を示す形状情報だけでなく、対象の内部構造に関する情報をも含む立体画像を再構成することができる。
本発明の実施形態に係る立体画像再構成装置１０の機能構成の一例を示すブロック図である。 本発明の実施形態に係る撮像部１００により撮像される透過型画像の第１の例である透過型画像３００ａを示す図である。 本発明の実施形態に係る撮像部１００により撮像される透過型画像の第２の例である透過型画像３００ｂを示す図である。 本発明の実施形態に係る撮像部１００により撮像される透過型画像の第３の例である透過型画像３００ｃを示す図である。 本発明の実施形態に係る立体画像再構成部１５０による複数の透過型画像の重ね合わせ処理の一例を示す図である。 本発明の実施形態に係る立体画像再構成部１５０による立体画像の再構成処理の一例を示す図である。 本発明の実施形態に係る強調処理部１２０における処理の一例を示す図である。 本発明の実施形態に係る収束処理算出部１６０における処理の一例を示す図である。 本発明の実施形態に係る立体画像再構成装置１０を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。 本発明の他の実施形態に係る立体画像再構成装置２０の機能構成の一例を示すブロック図である。 本発明の実施形態に係る立体画像再構成装置２０を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。 本発明の実施形態に係る撮像部１００により撮像される対象２０２を模式的に示す図である。 本発明の実施形態に係る撮像部１００により撮像される透過型画像３０２ａ、３０２ｂを示す図である。 本発明の実施形態に係る厚み算出部１５２により算出される対象２０２の厚みを模式的に示す平面図である。 本発明の実施形態に係る撮像部１００により撮像される透過型画像３０２ａ、３０２ｂのヒストグラムを示す図である。 本発明の実施形態に係る微小領域割付部１５４により分割される対象２０２の厚み内の微小領域を示す図である。 本発明のさらに他の実施形態に係る立体画像再構成装置３０の機能構成の一例を示すブロック図である。 本発明の実施形態に係る立体画像再構成装置３０を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。
符号の説明
１０ 立体画像再構成装置、２０ 立体画像再構成装置、３０ 立体画像再構成装置、１００ 撮像部、１１０ 立体構造情報入力部、１２０ 強調処理部、１３０ 特徴領域選択部、１４０ 特徴領域分布算出部、１５０ 立体画像再構成部、１６０ 収束処理算出部、１７０ 収束処理部、１８０ 出力部、２００ 対象、２０２ 対象、２１０〜２２０ 軸、３００ａ〜ｃ 透過型画像、３０２ａ〜ｂ 透過型画像、４００ａ〜ｃ 濃淡分布情報
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の実施形態に係る立体画像再構成装置１０の機能構成の一例を示すブロック図である。立体画像再構成装置１０は、例えば細胞の蛋白質等である対象を撮像した画像に基づいて、対象の立体構造を示す立体画像を再構成する。
本発明の実施形態に係る立体画像再構成装置１０は、対象の外郭を示す形状情報だけでなく、対象の内部構造に関する情報をも含む立体画像を再構成することを目的とする。また、本発明の実施形態に係る立体画像再構成装置１０は、従来の立体画像再構成装置に比べて、より少ない枚数の画像に基づいて、精度の高い立体画像を再構成することを更なる目的とする。
立体画像再構成装置１０は、撮像部１００、立体構造情報入力部１１０、強調処理部１２０、特徴領域選択部１３０、特徴領域分布算出部１４０、立体画像再構成部１５０、収束処理算出部１６０、収束処理部１７０、及び出力部１８０を備える。撮像部１００は、例えば透過型電子顕微鏡であってよく、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する。ここで、撮像部１００は、例えば、ネガティブ染色法等によって内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を含む、複数の透過型画像を撮像してよい。そして、撮像部１００は、撮像した複数の透過型画像を、強調処理部１２０及び立体画像再構成部１５０に出力する。
立体構造情報入力部１１０は、例えば利用者の操作等に基づいて、対象の立体構造の概略を入力する。そして、立体構造情報入力部１１０は、入力した立体構造の概略を示す情報を、強調処理部１２０及び収束処理算出部１６０に出力する。強調処理部１２０は、立体構造情報入力部１１０によって入力された、対象の立体構造の概略に基づき、撮像部１００によって撮像された複数の透過型画像のそれぞれに対して、対象を強調する画像処理を実行する。そして、強調処理部１２０は、対象を強調する画像処理を実行した複数の透過型画像を、特徴領域選択部１３０に出力する。
特徴領域選択部１３０は、強調処理部１２０から受け取った複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選択部１３０は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択した複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び大きさ等を、特徴領域分布算出部１４０に出力する。特徴領域分布算出部１４０は、複数の透過型画像と、複数の透過型画像のそれぞれにおいて特徴領域選択部１３０により選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部１３０から受け取る。そして、特徴領域分布算出部１４０は、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴領域分布算出部１４０は、算出した複数の特徴領域のそれぞれの分布を示す情報を、立体画像再構成部１５０に出力する。
立体画像再構成部１５０は、撮像部１００から受け取った複数の透過型画像を重ね合わせて対象の立体構造を再構成する。この場合に、立体画像再構成部１５０は、特徴領域分布算出部１４０により算出された、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する。そして、立体画像再構成部１５０は、再構成した立体画像を収束処理算出部１６０に出力する。
収束処理算出部１６０は、特徴領域選択部１３０によって選択された複数の特徴領域のうち、既知の立体構造を有する特徴領域における、立体画像再構成部１５０によって再構成された当該特徴領域の立体構造の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する。そして、収束処理算出部１６０は、再構成された立体画像と、算出した画像処理操作を示す情報とを、収束処理部１７０に出力する。収束処理部１７０は、特徴領域選択部１３０によって選択された複数の特徴領域のうち、未知の立体構造を有する特徴領域における、立体画像再構成部１５０によって再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部１６０によって算出された画像処理操作を実行する。そして、収束処理部１７０は、画像処理を実行した立体画像を、出力部１８０に出力する。出力部１８０は、例えばＬＣＤパネル等の表示装置やハードディスクドライブ等の記憶装置であってよく、収束処理部１７０から受け取った立体画像を外部に出力して、利用者に提供する。
本発明の実施形態に係る立体画像再構成装置１０によれば、複数の角度から対象を撮像した複数の透過型画像のそれぞれにおける、複数の特徴領域の空間的な分布に基づいて、対象全体に濃淡を割り付けた立体画像を再構成することができる。これにより、従来の立体画像再構成装置とは異なり、立体構造を有する対象の外殻を示す形状情報だけでなく、内部構造に関する情報をも含む立体画像を、利用者に提供することができる。
また、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を、透過型電子顕微鏡を用いて撮像すると共に、対象中の特定の内部構造の空間位置を、例えばパターン認識等の別手法により推定した情報に従って制限を加えることにより、従来の、濃淡情報の組み合わせのみにより立体画像を再構成する場合に比べて、試料と撮像方向との角度を変えて得る傾斜画像の数が非常に少数で済むため、画像の撮像によって対象の構造が破壊される程度を低く抑えつつ、立体画像を再構成することができる。
なお、本図において、収束処理算出部１６０は、立体構造情報入力部１１０によって入力された立体構造の概略を示す情報に基づいて、既知の立体構造を有する特徴領域における立体構造の濃淡が当該既知の立体構造に収束する画像処理操作を算出するとして説明したが、これに代えて、収束処理算出部１６０は、強調処理部１２０が用いる立体構造の概略とは異なる、例えば利用者によって別途入力された情報等に基づいて、画像処理操作を算出してもよい。
図２は、本発明の実施形態に係る撮像部１００により撮像される透過型画像の第１の例である透過型画像３００ａを示す。図３は、本発明の実施形態に係る撮像部１００により撮像される透過型画像の第２の例である透過型画像３００ｂを示す。図４は、本発明の実施形態に係る撮像部１００により撮像される透過型画像の第３の例である透過型画像３００ｃを示す。撮像部１００は、少なくとも３つの互いに異なる角度から対象２００を撮像する。本実施形態において、撮像部１００は、Ａ方向から対象２００を撮像することにより透過型画像３００ａを出力する。また、撮像部１００は、Ｂ方向から対象２００を撮像することにより透過型画像３００ｂを出力する。また、撮像部１００は、Ｃ方向から対象２００を撮像することにより透過型画像３００ｃを出力する。ここで、図３及び図４に示すように、Ａ方向とＢ方向とがなす角度と、Ａ方向とＣ方向とがなす角度とは、互いに等しい角度θとなることが好ましい。また、Ｂ方向及びＣ方向は、同一の軸２１０を回転中心としてＡ方向を回転させた方向であってよく、また、互いに異なる軸、例えば軸２１０と軸２２０とのそれぞれを回転中心としてＡ方向を回転させた方向であってもよい。
図５は、本発明の実施形態に係る立体画像再構成部１５０による複数の透過型画像の重ね合わせ処理の一例を示す。立体画像再構成部１５０は、撮像部１００により撮像された複数の透過型画像のそれぞれを、当該透過型画像の撮像方向に引き延ばして、複数の濃淡分布情報を生成する。そして、立体画像再構成部１５０は、生成した複数の濃淡分布情報を、それぞれの濃度分布情報に対応する透過型画像における撮像方向の間の角度の関係を維持したまま重ね合わせる。
具体的には、立体画像再構成部１５０は、撮像部１００が対象２００をＡ方向から撮像した透過型画像３００ａを、Ａ方向に引き延ばして、濃淡分布情報４００ａを生成する。また、立体画像再構成部１５０は、撮像部１００が対象２００をＢ方向から撮像した透過型画像３００ｂを、Ｂ方向に引き延ばして、濃淡分布情報４００ｂを生成する。また、立体画像再構成部１５０は、撮像部１００が対象２００をＣ方向から撮像した透過型画像３００ｃを、Ｃ方向に引き延ばして、濃淡分布情報４００ｃを生成する。そして、立体画像再構成部１５０は、生成した濃淡分布情報４００ａ、濃淡分布情報４００ｂ、及び濃淡分布情報４００ｃのそれぞれを、Ａ方向、Ｂ方向、及びＣ方向の間の角度の関係を維持したまま重ね合わせる。なお、本図においては、Ａ方向、Ｂ方向、及びＣ方向を含む平面における濃度分布情報の縦断面が示されている。
ここで、立体画像再構成部１５０は、重ね合わせた濃淡分布情報のうち、すべての濃淡分布情報が重なり合う領域である領域４１０を、対象２００が存在している領域であるとして検出する。但し、領域４００には、実際には対象２００が存在していない、ゴーストと呼ばれる領域も含まれているので、立体画像再構成部１５０は、領域４００を検出したのみでは、対象２００の立体構造を示す立体画像を高い精度で再構成することはできない。
図６は、本発明の実施形態に係る立体画像再構成部１５０による立体画像の再構成処理の一例を示す。特徴領域選択部１３０は、複数の透過型画像のそれぞれにおいて、複数の特徴領域を選択する。具体的には、撮像部１００が、対象に対する角度が単調増加、或いは単調減少する順序で、複数の透過型画像を撮像した場合において、特徴領域選択部１３０は、一の透過型画像において選択した特徴領域が、当該一の透過型画像に前後して撮像された他の透過型画像において、何れの領域に対応するかを検出する。ここで、特徴領域選択部１３０は、例えば、相互相関処理と呼ばれる公知の画像処理技術を用いることにより、それぞれの透過型画像において対応する特徴領域を検出してよい。また、特徴領域選択部１３０は、当該一の透過型画像における特徴領域として、例えば、他の領域に比べて、画像における濃淡の変化がより大きい領域を選択してよい。そして、特徴領域選択部１３０は、前述した、前後して撮像された２枚の透過型画像において対応する特徴領域を検出する処理を、複数の透過型画像に含まれる前後して撮像された２枚の透過型画像の組のそれぞれにおいて順次実行することにより、当該複数の透過型画像において、複数の特徴領域のそれぞれを追跡する。
続いて、特徴領域分布算出部１４０は、複数の透過型画像のそれぞれにおいて、特徴領域選択部１３０により選択された複数の特徴領域のそれぞれの位置に基づいて、当該複数の特徴領域のそれぞれの、対象全体における空間的な位置を算出する。具体的には、特徴領域分布算出部１４０は、同一点を異なる角度から観測した場合の視差に基づいて、当該同一点の高さ情報を算出するステレオ計測法と呼ばれる公知の手法を用いることにより、互いに異なる角度から撮像された複数の透過型画像における、複数の特徴領域のそれぞれの位置の変化から、当該複数の特徴領域のそれぞれの、対象全体における空間的な位置を算出する。例えば、本図において、特徴領域分布算出部１４０は、複数の特徴領域の空間的な位置を、点５００ａ、点５００ｂ、及び点５００ｃとして算出する。ここで、点５００ａ、点５００ｂ、及び点５００ｃは、図２に示したＡ方向から見た場合に、重なって見える点であるとする。但し、本図においては、説明を簡潔にするべく、３個の特徴領域のみが示されているが、特徴領域分布算出部１４０が空間的な位置を算出する特徴領域の数は３個に限定されず、より多数の特徴領域について空間的な位置を算出することが、より高い精度で対象２００の立体画像を再構成する上では好ましい。
なお、特徴領域分布算出部１４０は、複数の特徴領域のそれぞれにおける重心位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してよい。また、これに代えて、特徴領域分布算出部１４０は、複数の透過型画像のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象の輪郭の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してもよい。多くの場合、透過型画像に含まれる対象の輪郭を示す部分画像は、他の部分画像に比べて特徴が明確であるので、対象の輪郭の位置に基づくことによって、当該対象領域の位置の変化を、高い精度で算出することができる。これにより、複数の特徴領域のそれぞれの空間的な位置を高い精度で算出して、対象の立体画像を、より高い精度で再構成することができる。
続いて、立体画像再構成部１５０は、撮像された複数の透過型画像を撮像方向に引き延ばすことにより得られた濃淡分布情報に基づいて検出した、対象２００が存在する領域４１０と、特徴領域分布算出部１４０により算出された、複数の特徴領域の空間的な位置とに基づいて、対象２００の立体画像を再構成する。具体的には、立体画像再構成部１５０は、領域４１０のうち、本図に示した点５００ａ、点５００ｂ、及び点５００ｃのそれぞれの近傍に、対象２００の少なくとも一部が存在しているとして、それぞれの点の近傍に、領域４１０の全体における濃淡を均等に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成する。本例では、対象２００をＡ方向から見た場合には、複数の特徴領域の空間的な位置である、点５００ａ、点５００ｂ、及び点５００ｃが重なって見えるので、透過型画像３００ａのみを用いた場合には、対象２００に３個の特徴領域が存在しているのか、或いは１個の特徴領域のみが存在しているのかを判断することはできない。しかし、立体画像再構成装置１０によれば、Ａ方向だけでなく、Ｂ方向やＣ方向といった、複数の異なる角度から対象を撮像した複数の透過型画像に基づいて、特徴領域のそれぞれの空間的な位置を算出することにより、対象２００に、点５００ａ、点５００ｂ、及び点５００ｃのそれぞれが存在していることを検出することができる。そして、立体画像再構成装置１０は、このようにして取得した、対象２００の内部構造を示す情報に基づいて、対象２００全体に濃淡を割り付けた立体画像を再構成することができる。
本発明の実施形態に係る立体画像再構成装置１０によれば、複数の透過型画像を引き延ばして重ね合わせることにより検出した領域だけでなく、ステレオ計測法等により算出した、複数の特徴領域の空間的な位置に更に基づいて、対象の立体画像を再構成することができる。従って、複数の透過型画像を引き延ばして重ね合わせることにより検出した領域のみに基づいて、対象の立体画像を再構成する場合や、対象の外殻の形状情報に基づいて対象の立体画像を再構成する場合に比べて、それぞれの透過型画像から、より多くの情報を取得して、対象の立体画像を再構成することができる。即ち、立体画像再構成装置１０によれば、従来の立体画像再構成装置に比べて、より少ない枚数の透過型画像から、立体画像を再構成することができる。これにより、画像を撮像する際の、対象に透過させる電子線によって対象の構造が破壊される程度を低く抑えながらも、精度の高い立体画像を再構成することができる。また、これにより、多数の画像を撮像している間に構造が変化してしまうような、構造が不安定である対象を用いる場合であっても、精度の高い立体画像を再構成することができる。
図７は、本発明の実施形態に係る強調処理部１２０における処理の一例を示す。強調処理部１２０は、撮像部１００によって撮像された透過型画像を、立体構造情報入力部１１０によって入力された対象の立体構造の概略に基づいて、例えば公知のモルフォロジカルフィルタ（Ｍｏｒｐｈｏｌｏｇｉｃａｌ Ｆｉｌｔｅｒ）処理と呼ばれる技術等を用いて画像処理することにより、当該透過型画像における対象を強調する。なお、対象の立体構造の概略とは、例えば、対象が線状である場合における、対象の太さを示す情報等であってよく、利用者によって入力された情報であってよい。以降、本図を用いて、強調処理部１２０における画像処理の例について説明する。
図７（ａ）は、撮像部１００によって撮像された透過型画像の、ある断層線上における位置と輝度との関係を示している。なお、本例において、透過型画像は、２５６階調のグレースケール画像として撮像されている。図７（ｂ）は、立体構造情報入力部１１０によって入力された、対象の立体構造の概略を示す。本例において、対象は、線状の構造を有しており、図７（ｂ）は、対象の典型的な太さＴを示している。
そして、強調処理部１２０は、撮像された透過型画像と、入力された対象の立体構造の概略とに基づいて、透過型画像のうち、対象以外の部分、即ち背景ノイズを検出する。具体的には、強調処理部１２０は、撮像された透過型画像のうち、対象の構造における典型的な太さＴとの差が、例えば利用者等によって予め定められた基準値以下である太さの構造として認識される領域、即ち、図７（ａ）に示した、領域６００、領域６１０、及び領域６２０を、対象の一部を示す領域として検出する。そして、強調処理部１２０は、撮像された透過型画像から、対象の一部を示す領域として検出した部分を取り除いた画像である背景画像を生成する。図７（ｃ）は、このようにして強調処理部１２０が生成した背景画像における、図７（ａ）の場合と同一の断層線上における位置と輝度との関係を示している。
そして、強調処理部１２０は、撮像された透過型画像から、取得した背景画像を差し引くことにより、対象を示す画像である対象画像を生成する。具体的には、強調処理部１２０は、撮像された透過型画像に含まれる画素のそれぞれの輝度から、背景画像に含まれる、対応する画素の輝度を差し引くことにより得られた画像を、対象画像とする。図７（ｄ）は、このようにして強調処理部１２０が生成した対象画像における、図７（ａ）の場合と同一の断層線上における位置と輝度との関係を示している。
そして、強調処理部１２０は、生成した対象画像に対して二値化処理を行う。具体的には、強調処理部１２０は、生成した対象画像に含まれる、対象を示す領域のそれぞれについて、当該領域における輝度の最大値を、例えば２５５等とするように、当該領域におけるコントラストを強調することにより、対象を強調した対象強調画像を生成する。図７（ｅ）は、このようにして強調処理部１２０が生成した対象強調画像における、図７（ａ）の場合と同一の断層線上における位置と輝度との関係を示している。
強調処理部１２０は、以上のようにして、撮像された透過型画像に対して対象を強調する画像処理を実行した画像を、特徴領域選択部１３０及び立体画像再構成部１５０に出力する。
本発明の実施形態に係る立体画像再構成装置１０によれば、撮像した透過型画像における濃淡情報から、対象を示す濃淡情報とは異なる背景ノイズを除去して、対象を強調することができる。これにより、対象の立体画像を、より高い精度で再構成することができる。
図８は、本発明の実施形態に係る収束処理算出部１６０における処理の一例を示す。本例において、立体画像再構成部１５０により再構成された、ある特徴領域の立体画像の濃淡は、図８（ａ）に示すように、点７００ａ、点７００ｂ、及び点７００ｃという３個の点を含んでいる。しかし、例えば立体構造情報入力部１１０によって入力された、当該特徴領域における既知の立体構造は、１個の点のみを含んでいたとする。つまり、本例においては、当該特徴領域における再構成された立体画像の濃淡にブレが発生している。
この場合、まず、収束処理算出部１６０は、当該特徴領域において再構成された立体画像の濃淡が、既知の立体構造に収束する画像処理操作を算出する。具体的には、収束処理算出部１６０は、点７００ａを基準として立体画像の濃淡を収束させるべく、図８（ｂ）に示すように、点７００ａ及び点７００ｃのそれぞれが、点７００ａの位置に収束する画像処理操作を算出する。ここで、画像処理操作とは、例えば、特徴領域の少なくとも一部に対する拡大、縮小、回転、変形等の、多様な画像処理を含んでいてよい。そして、収束処理部１７０は、本図に示した特徴領域とは異なる、立体構造が未知である他の特徴領域において再構成された立体画像の濃淡に対して、収束処理算出部１６０によって算出された画像処理操作を実行する。
透過型電子顕微鏡を用いて複数の角度から対象を撮像する場合、装置上の制約や、対象の試料の特性等により、当該角度に制限が生じる場合がある。具体的には、図３及び図４において示した角度θが、±６０度程度の範囲内に限定される。そして、当該範囲外の角度における対象の投影像が不足することにより、再構成された立体画像の断層像面において、本来、方向に依らず均一な分解能を有するべき再構成像が、高さ方向の分解能のみ劣化するという問題が発生する。このため、全ての断層像が一方向に伸びていたり、または、実際とは異なる、誤った構造や形態を表したりする立体画像が再構成されてしまい、十分に高い解像度で対象の立体構造を示す立体画像を再構成することができない場合がある。しかし、本発明の実施形態に係る立体画像再構成装置１０によれば、立体構造が既知である特徴領域における立体画像の濃淡を、当該既知である立体構造に収束させる画像処理操作を算出して、立体構造が未知である他の特徴領域における立体構造の濃淡に対して、当該画像処理操作を実行することができる。これにより、再構成した立体画像に対して、対象全体において濃淡の修正を行うことができるので、より高い解像度で対象の立体構造を示す、品質の高い立体画像を出力することができる。
図９は、本発明の実施形態に係る立体画像再構成装置１０を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。まず、撮像部１００が、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する（Ｓ１０００）。続いて、立体構造情報入力部１１０は、対象の立体構造の概略を示す情報を入力する（Ｓ１０１０）。続いて、強調処理部１２０は、入力された立体構造の概略に基づき、撮像された複数の透過型画像のそれぞれに対して、対象を強調する画像処理を実行する（Ｓ１０２０）。
続いて、特徴領域選択部１３０は、複数の透過型画像のそれぞれにおいて、強調処理部によって強調された対象に含まれる複数の特徴領域を選択する（Ｓ１０３０）。続いて、特徴領域分布算出部１４０は、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する（Ｓ１０４０）。続いて、立体画像再構成部１５０は、複数の透過型画像を重ね合わせて対象の立体構造を再構成する（Ｓ１０５０）。ここで、立体画像再構成部１５０は、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する。
続いて、収束処理算出部１６０は、複数の特徴領域のうち、既知の立体構造を有する特徴領域における、再構成された当該特徴領域の立体構造の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する（Ｓ１０６０）。続いて、収束処理部１７０は、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部１６０によって算出された画像処理操作を実行する（Ｓ１０７０）。そして、出力部１８０は、収束処理部１７０によって画像処理が実行された立体画像を外部に出力して、利用者に提供する（Ｓ１０８０）。
図１０は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホストコントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィックコントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホストコントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
ホストコントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィックコントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィックコントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
入出力コントローラ１５８４は、ホストコントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブートプログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスクドライブ１５５０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される立体画像再構成プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。立体画像再構成プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される立体画像再構成プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図９にかけて説明した立体画像再構成装置１０として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
図１１は、本発明の他の実施形態に係る立体画像再構成装置２０の機能構成の一例を示すブロック図である。立体画像再構成装置２０は、撮像部１００、立体構造情報入力部１１０、特徴領域選択部１３０、特徴領域分布算出部１４０、立体画像再構成部１５０、及び出力部１８０を備える。立体画像再構成部１５０は、厚み算出部１５２、微小領域割付部１５４、逆投影部１５６を備える。
撮像部１００は、立体画像再構成装置１０の撮像部１００と同一の構成、機能を有する。撮像部１００は、対象を複数の角度から撮像して、複数の透過型画像を取得し、特徴領域選択部１３０及び厚み算出部１５２に出力する。立体構造情報入力部１１０は、例えば利用者の操作等に基づいて、対象の立体構造における既知の情報を入力する。そして、立体構造情報入力部１１０は、入力された立体構造の概略を示す情報を、微小領域割付部１５４に出力する。
特徴領域選択部１３０は、撮像部１００から受け取った複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選択部１３０は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択した複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び大きさ等を、特徴領域分布算出部１４０に出力する。特徴領域分布算出部１４０は、複数の透過型画像と、複数の透過型画像のそれぞれにおいて特徴領域選択部１３０により選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部１３０から受け取る。そして、特徴領域分布算出部１４０は、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴領域分布算出部１４０は、算出した複数の特徴領域のそれぞれの分布を示す情報を、厚み算出部１５２に出力する。
厚み算出部１５２は、特徴領域分布算出部１４０により算出された複数の特徴領域の空間的な分布に基づいて対象における電子線の透過方向の厚みを算出する。厚み算出部１５２は、特徴領域の空間的な分布、および、算出した厚みを微小領域割付部１５４に出力する。
微小領域割付部１５４は、厚み算出部１５２により算出されたその対象の厚み内の領域を複数の微小領域に分割する。さらに、微小領域割付部１５４は、撮像部１００により撮像された複数の透過型画像による濃淡に整合するべく、その複数の微小領域の各々に濃淡を割り付けた立体画像を再構成する。この場合に、微小領域割付部１５４は、まず、その対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割する。さらに微小領域割付部１５４は、分割した複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして、微小領域割付部１５４は、その対象の厚み内の微小領域の各々に、濃淡の二値のいずれかを割り付けて、その透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、その透過型画像における対応する微小領域の濃淡の整数値に一致するように、その厚み内の微小領域に濃淡の二値のいずれかを割り付ける。微小領域割付部１５４は、同様にして、対象全体について、厚み内の微小領域に濃淡の二値のいずれかを割り付けることにより、その対象全体についての密度分布を取得する。微小領域割付部１５４は、取得した密度分布を逆投影部１５６に供給する。
逆投影部１５６は、取得した対象２０２の密度分布上に、透過型画像の濃淡を割り付けて、対象２０２の立体画像を再構成する。逆投影部１５６は、再構成した立体画像を出力部１８０に出力する。
図１２は、本発明の実施形態に係る立体画像再構成装置２０を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。図１３は、本発明の実施形態に係る撮像部１００により撮像される対象２０２を模式的に示す図である。図１４は、本発明の実施形態に係る撮像部１００により撮像される透過型画像３０２ａ、３０２ｂを示す図である。なお、本フローチャートのステップＳ１０５２以降は、上記図１３、図１４に加え、図１５から図１７を参照して説明する。
撮像部１００は、図１３に示すように、対象２０２に対して一の角度（０°）から電子線を透過させることにより、図１４（ａ）に示す対象２０２を含む透過型画像３０２ａを撮像する（Ｓ１０００）。撮像部１００は、また、対象２０２に対して平面上の他の角度（１０°）から電子線を透過させることにより、図１４（ｂ）に示す対象２０２を含む透過型画像３０２ｂを撮像する（同ステップ）。以下、同様に、撮像部１００は、対象２０２の特定の平面に対して１０度ずつ角度を変えて、複数の透過型画像を撮像する。なお、以下、説明の便宜上、透過型画像３０２ａ、ｂ以外の非図示の透過型画像についてはその説明を一部省略する。
続いて、立体構造情報入力部１１０は、対象２０２の既知の情報を入力する（Ｓ１０１０）。例えば、対象２０２がファイバー状の内部構造であることが既知の情報として知られている場合には、そのファイバー状の構造の長さ、太さ等がユーザから立体構造情報入力部１１０に入力される。続いて、特徴領域選択部１３０は、透過型画像３０２ａ、ｂのそれぞれにおいて、対象２０２に含まれる複数の特徴領域を選択する（Ｓ１０３０）。続いて、特徴領域分布算出部１４０は、透過型画像３０２ａ、ｂのそれぞれにおいて選択された複数の特徴領域のそれぞれの、透過型画像３０２ａ、ｂにおける位置に基づいて、対象２０２全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象２０２全体における複数の特徴領域の空間的な分布を算出する（Ｓ１０４０）。なお、ステップＳ１０１０、Ｓ１０３０、Ｓ１０４０は、図１から図１０に示す立体画像再構成装置１０の動作と同様である。
図１５は、本発明の実施形態に係る厚み算出部１５２により算出される対象２０２の厚みを模式的に示す平面図である。図１６は、本発明の実施形態に係る撮像部１００により撮像される透過型画像３０２ａ、３０２ｂのヒストグラムを示す図である。図１７は、本発明の実施形態に係る微小領域割付部１５４により濃淡が割り付けられる微小領域割付画像である。
厚み算出部１５２は、図１５に示すように、特徴領域分布算出部１４０により算出された対象２０２全体における複数の特徴領域の空間的な分布に基づいて、対象２０２における電子線の透過方向の厚みｄを算出する（Ｓ１０５２）。なお、図１５は、算出された厚みの一例であって、対象２０２を撮像した角度（０°）と断面Ｌを含む平面上において平行する図１３に示す補助線Ａにおける対象２０２の厚みｄを示す。また、厚み算出部１５２は、また、図１７の微小領域割付画像における微小領域ΔｐΔｑに対応して、図１５の厚みｄを微小領域ΔｐΔｑに分割する。
続いて、微小領域割付部１５４は、図１５に示す厚み内の微少領域ΔｐΔｑに対応して、図１６（ａ）に示す透過型画像３０２ａの線分Ｌ上の領域を複数の微小領域Δｐ（例えばΔp×Δpの大きさの画素）に分割する（Ｓ１０５４）。同様に、微小領域割付部１５４は、図１５に示す厚み内の微少領域ΔｐΔｑに対応して、図１６（ｂ）に示す透過型画像３０２ｂの線分Ｌ上の領域を複数の微小領域Δｐに分割する（同ステップ）。
続いて、微小領域割付部１５４は、透過型画像３０２ａの線分Ｌ上の微小領域ΔｐにおけるＳ番目の画素（画素Ｓ）について、図１６（ａ）に示すように、濃淡に比例した整数値として画素値ＮＳ，０を割り当てる（Ｓ１０５６）。一例として、微小領域割付部１５４は、透過型画像３０２ａの線分Ｌ上の画素Ｓを白黒の２５６階調であらわした場合の画素値をＮＳ，０とする。同様に、微小領域割付部１５４は、その線分Ｌ上の他の画素Ｓ−１等について、濃淡に比例した整数値として画素値ＮＳ−１，０等を割り当てる。さらに同様に、微小領域割付部１５４は、透過型画像３０２ｂの線分Ｌ上の微小領域Δｐのそれぞれに対応する画素についても、図１６（ｂ）に示すように、濃淡に比例した整数値を画素値として割り当てる。
微小領域割付部１５４は、微小領域割付画像の微小領域に濃淡の二値を割り付ける（Ｓ１０５８）。この場合に、まず、微小領域割付部１５４は、二次元の画面を微小領域ΔｐΔｑに分割した微小領域割付画像を準備する。次に、特定の角度（０°）について、微小領域割付部１５４は、図１５の厚みｄに含まれる微小領域に対応する図１７（ａ）の微小領域ΔｐΔｑ（図１７（ａ）における一点鎖線の領域内）に、図１６（ａ）の画素Ｓに対して割り当てられた画素値ＮＳ，０に対応した二値を割り付ける。この場合に、微小領域割付部１５４は、透過型画像３０２ａが撮像された角度（０°）から見た厚み方向の微小領域群ＰＳ，０に含まれる微小領域ΔｐΔｑの当該二値の合計ＫＳ，０が、透過型画像３０２ａの線分Ｌ上の画素Ｓの画素値ＮＳ，０に一致するように、二値を割り付ける。
例えば、図１７（ａ）に示す例において、微小領域割付部１５４は、角度（０°）における画素Ｓの画素値ＮＳ，０に「４」を割り当てていたとする。この場合に、微小領域割付部１５４は、微小領域群ＰＳ，０に含まれる微小領域ΔｐΔｑの当該二値の合計ＫＳ，０が「４」となる拘束条件の下で、角度（０°）における微小領域群ＰＳ，０に含まれる複数の微小領域ΔｐΔｑのうち、４つの微小領域８００ｃ、ｄ、ｅ、ｆに構造が存在することを示す白（図面上は黒、値は１であってもよい。）を割り付ける。この場合に、微小領域割付部１５４は、厚みｄに対応する領域に含まれる微小領域のうちの４つの微小領域を、一旦、ランダムに選択して白を割り付けてもよい。
次に、微小領域割付部１５４は、上記角度（０°）に係る拘束条件を満たしつつ、他の角度（１０°）について、微小領域割付画像の微小領域に濃淡の二値を割り付ける。この場合に、微小領域割付部１５４は、上記角度（０°）の場合に割り付けた白の微小領域の位置を、上記拘束条件を満たしつつ変更する。
例えば、微小領域割付部１５４は、図１７（ａ）における微小領域群ＰＳ，０の二値の合計ＫＳ，０を保ちつつ、図１７（ｂ）における微小領域群ＰＳ，１０の二値の合計ＫＳ，１０が画素値ＮＳ，１０になるべく、図１７（ａ）で一旦、割り付けた微小領域８００ｆを８０２ｅに割り付けなおす。なお、図１７（ｂ）においては、図１７（ａ）の一点鎖線を省略しているが、図１７（ｂ）においても、図１５の厚みｄに含まれる微小領域に対応する微小領域ΔｐΔｑに白が割り付けられることが好ましい。
同様に、微小領域割付部１５４は、二つの角度（０°、１０°）の両方について線分Ｌ上の画素Ｓの拘束条件を満たして、微小領域割付画像の微小領域に白を割り付ける。さらに、他の角度についても、これらの角度について線分Ｌ上の画素Ｓの拘束条件を満たして、微小領域割付画像の微小領域に白を割り付ける。
このようにして微小領域割付部１５４は、線分Ｌ上の他の画素について、それぞれの画素に対応する、厚み内の各微小領域ΔｐΔｑに濃淡の二値のいずれかを割り付ける。さらに、微小領域割付部１５４は、断面Ｌ上以外、つまり線分Ｌ上以外の厚み内の微小領域ΔｐΔｑ全体について、二値のいずれかを割り付ける。
続いて、微小領域割付部１５４は、線分Ｌ上、および、線分Ｌ上以外の厚み内の微小領域ΔｐΔｑ全体に割り付けた二値の分布から、断面Ｌと垂直な方向、つまり厚み方向と垂直な方向の微小領域ΔｐΔｑ全体の二値の分布を取得する。つまり微小領域割付部１５４は、対象２０２全体の微小領域ΔｐΔｑの二値の分布である密度分布を取得する。微小領域割付部１５４は、取得した密度分布を逆投影部１５６に供給する。続いて、逆投影部１５６は、取得した対象２０２の密度分布上に透過型画像の濃淡を割り付けて、対象２０２の立体画像を再構成する（Ｓ１０６０）。
具体的には、まず、逆投影部１５６は、白の座標を中心に正規分布を展開して重み関数を生成する。逆投影部１５６は、生成した重み関数により算出される重み値に従って、透過型画像の濃淡を逆投影して割り付けることにより、対象２０２の立体画像を再構成する。これにより、複数の特徴領域のそれぞれの空間的な位置と、複数の微小領域に係る濃淡のそれぞれの空間的な位置とを高精度に算出し、対象２０２の立体画像をより高い精度で再構成することができる。さらに、複数の透過型画像の複数の微小領域のそれぞれの濃淡に比例した整数値に一致するように、厚み内の微小領域の各々に濃淡に二値を割り付けるので、高速に対象２０２の立体画像を再構成することができる。続いて、逆投影部１５６は、再構成した立体画像を出力部１８０に出力する。そして、出力部１８０は、逆投影部１５６によって画像処理が実行された立体画像を外部に出力して、利用者に提供する（Ｓ１０８０）。
なお、ステップＳ１０５８において、微小領域割付部１５４は、ステップＳ１０４０において算出した特徴領域の分布、および、ステップＳ１０５２において算出した厚みに基づいて、各微小領域ΔｐΔｑに二値を割り付ける。換言すれば、濃淡に基づく点分布に関する拘束条件に加え、特徴領域に関する拘束条件、および、厚みに関する拘束条件によって、立体画像を再構成する。また、これらに加え、微小領域割付部１５４は、ステップＳ１０１０にて入力された既知の情報に整合させて、各微小領域ΔｐΔｑに二値を割り付けてもよい。例えば、対象２０２がファイバー状の内部構造で形成されていることが既知である場合に、ファイバー状の構造の長さおよび太さ等が入力された場合に、微少領域割付部１５４は、白の微小領域をランダムに割り振ることに替えて、白の微小領域の集合がファイバー状の構造の長さおよび太さと同程度になるように、二値を割り付ける。これにより、対象２０２に係る既知の情報を基づいて、複数の特徴領域のそれぞれの空間的な位置と、複数の微小領域に係る濃淡のそれぞれの空間的な位置とをより高精度に算出し、対象２０２の立体画像をより高い精度で再構成することができる。
なお、図１７に示す白の微小領域の割り付けが複数の透過型画像に係る拘束条件によって収束する条件として、マルチステレオ計測等によって初期設定の白の微小領域をある誤差範囲で分布させること、隣接する白の微小領域どうしの最大距離に制限を設けること、実際の透過画像が微小領域割付画像の投影像またはその近似画像として解釈した場合に整合することである。上記第３の条件において、実際の透過画像と微小領域割り付け画像の投影像との差を小さくする確率論的手法として、ステップＳ１０５４において、モンテカルロ的手法を用いたが、遺伝的アルゴリズム等他の手法であってもよい。
図１８は、本発明のさらに他の実施形態に係る立体画像再構成装置３０の機能構成の一例を示すブロック図である。立体画像再構成装置３０は、対象２０２に特徴領域が少なく、厚みを特定することが困難な場合であっても、対象２０２の立体画像を再構成することができる。立体画像再構成装置３０は、撮像部１００、立体構造情報入力部１１０、微小領域割付部１５４、逆投影部１５６、及び出力部１８０を備える。立体画像再構成装置３０の撮像部１００および立体構造情報入力部１１０は、図１１から図１７の立体画像再構成装置２０同一の構成、機能を有するので、説明を省略する。
立体画像再構成装置３０の微小領域割付部１５４は、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部１００により撮像された複数の透過型画像による濃淡に整合するべく、その複数の微小領域の各々に濃淡を割り付ける。例えば、微小領域割付部１５４は、まず、予め定められた厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、分割した複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして、微小領域割付部１５４は、微小領域割付画像における予め定められた厚み内の微小領域の各々に、濃淡の二値のいずれかを割り付けて、その透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、その透過型画像における対応する微小領域の濃淡の整数値に一致するように、その厚み内の微小領域に濃淡の二値のいずれかを割り付ける。このようにして、微小領域割付部１５４は、対象２０２全体の微小領域ΔｐΔｑの二値の分布である密度分布を取得する。ここで、微小領域割付部１５４は、立体構造情報入力部１１０から対象の立体構造における既知の情報を取得し、その既知の情報に整合させて、複数の微小領域に濃淡を割付ける。そして、微小領域割付部１５４は、取得した密度分布を逆投影部１５６に供給する。逆投影部１５６は、取得した対象２０２の密度分布上に、透過型画像の濃淡を割り付けて、対象２０２の立体画像を再構成する。逆投影部１５６は、再構成した立体画像を出力部１８０に出力する。なおここで、予め定められた厚みの一例は、所定の大きさを有する矩形の微小領域割付画像の全体である。また、予め定められた厚みの他の例は、対象の厚さまたは形状の概略が分かっている場合における、当該厚さまたは形状である。
図１９は、本発明の実施形態に係る立体画像再構成装置３０を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。なお、立体画像再構成装置３０を用いる立体画像再構成方法は、立体画像再構成装置２０を用いる立体画像再構成方法と共通する処理を有する。よって、本フローチャートにおいて、この共通する処理は説明を一部省略する。
撮像部１００は、図１３に示すように、対象２０２に対して、対象２０２の一の断面Ｌを含む平面上の一の角度（０°）、および、他の角度（１０°）から電子線を透過させることにより、図１４（ａ）（ｂ）に示す対象２０２を含む透過型画像３０２ａ、ｂを撮像する（Ｓ１０００）。
続いて、立体構造情報入力部１１０は、対象２０２の既知の情報を入力する（Ｓ１０１０）続いて、微小領域割付部１５４は、図１５に示す厚み内の微少領域ΔｐΔｑに対応して透過型画像３０２ａ、ｂの線分Ｌ上の領域を複数の微小領域Δｐに分割する（Ｓ１０５４）。続いて、微小領域割付部１５４は、透過型画像３０２ａ、ｂの線分Ｌ上の微小領域Δｐについて、濃淡に比例した整数値として画素値を割り当てる（Ｓ１０５６）。続いて、微小領域割付部１５４は、微小領域割付画像の厚み内、例えば矩形の微小領域割付画像の全体に含まれる微小領域ΔｐΔｑについて、二値のいずれかを割り付ける（Ｓ１０５８）。これにより、複数の透過画像の複数の微小領域のそれぞれの濃淡に比例した整数値に一致するように、厚み内の微小領域の各々に濃淡に二値を割り付けるので、高速に対象２０２の立体画像を再構成することができる。
なお、また、微小領域割付部１５４は、ステップＳ１０１０にて入力された既知の情報に整合させて、各微小領域ΔｐΔｑに二値を割り付ける。これにより、対象２０２に係る既知の情報を基づいて複数の微小領域に係る濃淡のそれぞれの空間的な位置をより高精度に算出し、対象２０２の立体画像をより高い精度で再構成することができる。
続いて、微小領域割付部１５４は、線分Ｌ上、および、線分Ｌ上以外の厚み内の微小領域ΔｐΔｑ全体に割り付けた二値の分布から、密度分布を取得する。微小領域割付部１５４は、取得した密度分布を逆投影部１５６に供給する。逆投影部１５６は、取得した対象２０２の密度分布上に、透過型画像の濃淡を割り付けて、対象２０２の立体画像を再構成する（Ｓ１０６０）。続いて、逆投影部１５６は、再構成した立体画像を出力部１８０に出力する。そして、出力部１８０は、微小領域割付部１５４によって画像処理が実行された立体画像を外部に出力して、利用者に提供する（Ｓ１０８０）。
以上説明した立体画像再構成装置２０、３０は、透過型画像に係る点分布の拘束条件からの立体画像を再構成するので、ＣＴスキャン等の他の方法と同じ枚数の透過型画像から、より高精度の立体画像を再構成することができ、また、上記他の方法の１０分の１の枚数程度の透過型画像から、上記方法と同程度の精度の立体画像を再構成することができる。これにより、立体画像再構成装置２０、３０は、例えば、死角があって全方向からの透過型画像が得られない等の不完全な透過型画像から立体画像を再構成することができる。また、立体画像再構成装置２０、３０は、上記点分布の拘束条件に加え、例えば、「孤立点は不許可」、「所定の分散の範囲内」等の既知の情報の拘束条件を設定することにより、不完全な透過型画像を補完し立体画像を再構成、または、より高精度に立体画像を再構成することができる。
なお、立体画像再構成装置２０、３０を用いる立体画像再構成方法において、撮像する透過型画像の枚数、対象２０２の厚み内の微少領域ΔｐΔｑの粒度は、対象２０２の構造が既知であるか否か、または、既知である場合にはその概略構造に応じて設定することが好ましい。例えば、本実施形態においては、撮像部１００は、これらに応じて、１０度より大きい角度ステップ、または、１０度より小さい角度ステップで透過型画像を撮像してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

Claims (15)

  1. 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、
    前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
    前記複数の透過型画像のそれぞれにおいて、前記対象に含まれる複数の特徴領域を選択する特徴領域選択部と、
    前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、
    前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部と
    を備える立体画像再構成装置。
  2. 前記対象の立体構造の概略を示す情報を入力する立体構造情報入力部と、
    入力された前記立体構造の概略に基づき、前記複数の透過型画像のそれぞれに対して、前記対象を強調する画像処理を行う強調処理部と
    を更に備え、
    前記特徴領域選択部は、前記複数の透過型画像のそれぞれにおいて、前記強調処理部によって強調された前記対象に含まれる前記複数の特徴領域を選択する
    請求項１に記載の立体画像再構成装置。
  3. 前記特徴領域分布算出部は、前記複数の透過型画像のそれぞれにおける、前記複数の特徴領域のそれぞれに含まれる前記対象の輪郭の位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出する請求項１に記載の立体画像再構成装置。
  4. 前記撮像部は、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する前記対象を含む前記複数の透過型画像を撮像する請求項２または３に記載の立体画像再構成装置。
  5. 前記複数の特徴領域のうち、既知の立体構造を有する特徴領域における、前記立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する収束処理算出部と、
    前記複数の特徴領域のうち、未知の立体構造を有する特徴領域における、前記立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、前記収束処理算出部によって算出された画像処理操作を実行する収束処理部と
    を更に備える請求項１に記載の立体画像再構成装置。
  6. 前記立体画像再構成部は、
    前記特徴領域分布算出部により算出された前記複数の特徴領域の空間的な分布に基づいて前記対象における前記電子線の透過方向の厚みを算出する厚み算出部、および、
    前記厚み算出部により算出された前記対象の厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付ける微小領域割付部、
    を有する請求項１に記載の立体画像再構成装置。
  7. 前記微小領域割付部は、前記対象の厚み内の前記微少領域に対応して前記複数の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の前記微小領域の各々には濃淡の二値のいずれかを割り付けて、前記透過型画像を撮像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項６に記載の立体画像再構成装置。
  8. 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、
    前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項６に記載の立体画像再構成装置。
  9. 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、
    前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
    前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付部と
    を備える立体画像再構成装置。
  10. 前記微小領域割付部は、前記対象の厚み内の前記微少領域に対応して前記複数の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の前記微小領域の各々には濃淡の二値のいずれかを割り付けて、前記透過型画像を撮像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項９に記載の立体画像再構成装置。
  11. 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、
    前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項９に記載の立体画像再構成装置。
  12. 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、
    前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像段階と、
    前記複数の透過型画像のそれぞれにおいて、前記対象に含まれる複数の特徴領域を選択する特徴領域選択段階と、
    前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出段階と、
    前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成段階と
    を備える立体画像再構成方法。
  13. 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、
    前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像段階と、
    前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像段階により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付段階と
    を備える立体画像再構成方法。
  14. 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、
    前記コンピュータを、
    前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
    前記複数の透過型画像のそれぞれにおいて、前記対象に含まれる複数の特徴領域を選択する特徴領域選択部と、
    前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、
    前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部と
    を備える立体画像再構成装置として機能させる立体画像再構成プログラム。
  15. 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、
    前記コンピュータを、
    前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
    前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付部と
    を備える立体画像再構成装置として機能させる立体画像再構成プログラム。
JP2006546736A 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム Expired - Fee Related JP4974680B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006546736A JP4974680B2 (ja) 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004354563 2004-12-07
JP2004354563 2004-12-07
PCT/JP2005/022471 WO2006062132A1 (ja) 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
JP2006546736A JP4974680B2 (ja) 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012036457A Division JP2012133796A (ja) 2004-12-07 2012-02-22 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

Publications (2)

Publication Number Publication Date
JPWO2006062132A1 true JPWO2006062132A1 (ja) 2008-06-12
JP4974680B2 JP4974680B2 (ja) 2012-07-11

Family

ID=36577959

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006546736A Expired - Fee Related JP4974680B2 (ja) 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
JP2012036457A Pending JP2012133796A (ja) 2004-12-07 2012-02-22 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012036457A Pending JP2012133796A (ja) 2004-12-07 2012-02-22 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

Country Status (3)

Country Link
US (1) US7853069B2 (ja)
JP (2) JP4974680B2 (ja)
WO (1) WO2006062132A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006062132A1 (ja) * 2004-12-07 2006-06-15 The University Of Tokyo 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
US7806144B2 (en) 2006-10-17 2010-10-05 Baxter International Inc. Flow restrictor for infusion system
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
EP2708874A1 (en) * 2012-09-12 2014-03-19 Fei Company Method of performing tomographic imaging of a sample in a charged-particle microscope
JP7074344B2 (ja) * 2016-10-11 2022-05-24 淳 山崎 立体物形成指示装置、立体物の製造方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618570B2 (ja) * 1985-03-28 1994-03-16 株式会社日立製作所 ２次元断層像撮影装置
JP2002109516A (ja) * 2000-09-27 2002-04-12 Inst Of Physical & Chemical Res ３次元形状復元方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149247A (en) * 1975-12-23 1979-04-10 Varian Associates, Inc. Tomographic apparatus and method for reconstructing planar slices from non-absorbed and non-scattered radiation
US4149248A (en) * 1975-12-23 1979-04-10 Varian Associates, Inc. Apparatus and method for reconstructing data
US4365339A (en) * 1975-12-23 1982-12-21 General Electric Company Tomographic apparatus and method for reconstructing planar slices from non-absorbed and non-scattered radiation
US5552602A (en) * 1991-05-15 1996-09-03 Hitachi, Ltd. Electron microscope
US5866905A (en) * 1991-05-15 1999-02-02 Hitachi, Ltd. Electron microscope
US6051834A (en) * 1991-05-15 2000-04-18 Hitachi, Ltd. Electron microscope
JP3287858B2 (ja) * 1991-05-15 2002-06-04 株式会社日立製作所 電子顕微鏡装置及び電子顕微方法
US5414261A (en) * 1993-07-01 1995-05-09 The Regents Of The University Of California Enhanced imaging mode for transmission electron microscopy
JP3304681B2 (ja) * 1995-04-25 2002-07-22 株式会社日立製作所 電子顕微鏡及び３次元原子配列観察方法
SE9601229D0 (sv) * 1996-03-07 1996-03-29 B Ulf Skoglund Apparatus and method for providing reconstruction
JPH11250850A (ja) * 1998-03-02 1999-09-17 Hitachi Ltd 走査電子顕微鏡及び顕微方法並びに対話型入力装置
AU2002221101A1 (en) * 2000-12-15 2002-06-24 Norio Baba Mage processor, image processing method, recording medium and program
EP1363245A1 (en) * 2001-01-05 2003-11-19 Center for Advanced Science and Technology Incubation, Ltd. Three-dimensional verification supporting apparatus, three-dimensional structure verification method, record medium, and program
JP3603204B2 (ja) * 2001-03-12 2004-12-22 株式会社東京大学Ｔｌｏ 立体構造検証支援装置、立体構造検証支援方法、及びプログラム
DE10126641A1 (de) * 2001-05-31 2002-12-12 Siemens Ag Verfahren zum Betrieb eines Computertomographen
JP2004132944A (ja) * 2002-08-16 2004-04-30 Foundation For The Promotion Of Industrial Science 製造誤差評価システム及び方法並びにプログラム
WO2006062132A1 (ja) * 2004-12-07 2006-06-15 The University Of Tokyo 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
US7538329B2 (en) * 2005-02-02 2009-05-26 Nomadics, Inc. Energy-transfer nanocomposite materials and methods of making and using same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618570B2 (ja) * 1985-03-28 1994-03-16 株式会社日立製作所 ２次元断層像撮影装置
JP2002109516A (ja) * 2000-09-27 2002-04-12 Inst Of Physical & Chemical Res ３次元形状復元方法

Also Published As

Publication number Publication date
JP4974680B2 (ja) 2012-07-11
WO2006062132A1 (ja) 2006-06-15
US7853069B2 (en) 2010-12-14
JP2012133796A (ja) 2012-07-12
US20070253612A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
US10726557B2 (en) Method and system for preparing text images for optical-character recognition
US10410087B2 (en) Automated methods and systems for locating document subimages in images to facilitate extraction of information from the located document subimages
RU2419881C2 (ru) Анизометрический синтез текстуры
JP4870779B2 (ja) デジタル画像露光量及びトーンスケールの調節
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
US7612784B2 (en) Image processor and method, computer program, and recording medium
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
JP2012133796A (ja) 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
WO2004109596A2 (en) Image region filling by example-based inpainting
US20210312599A1 (en) Automatic synthesis of a content-aware sampling region for a content-aware fill
US9959672B2 (en) Color-based dynamic sub-division to generate 3D mesh
CN116503388A (zh) 缺陷检测方法、装置及存储介质
JP5539488B2 (ja) 参照背景色に基づく透明化塗りつぶしの判定
TWI439961B (zh) Conversion algorithm for voids generated after converting 2D images
CN115359108A (zh) 焦点堆栈重建指导下的基于散焦的深度预测方法及系统
CN113506305B (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN111724326B (zh) 图像处理方法及装置、电子设备及存储介质
US10964094B1 (en) Visualization system that transforms 2D images of objects slices into 3D point clouds
CN110533040A (zh) 一种环形区域二值化图像处理方法及装置
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
WO2022237657A1 (zh) 图像处理方法、装置及电子设备
JP7276978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI823963B (zh) 一種光學成像處理方法及存儲介質
US20220222769A1 (en) Dynamic allocation of system of chip resources for efficient signal processing
KR102195279B1 (ko) 리져널 와핑을 이용한 이미지 정합 방법 및 그 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120410

R150 Certificate of patent or registration of utility model

Ref document number: 4974680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees