WO2006062132A1

WO2006062132A1 - 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

Info

Publication number: WO2006062132A1
Application number: PCT/JP2005/022471
Authority: WO
Inventors: Eisaku Katayama; Norio Baba; Yoshitaka Kimori
Original assignee: The University Of Tokyo; Toudai Tlo, Ltd.
Priority date: 2004-12-07
Filing date: 2005-12-07
Publication date: 2006-06-15
Also published as: JP4974680B2; JPWO2006062132A1; US7853069B2; JP2012133796A; US20070253612A1

Abstract

　対象の外郭を示す形状情報だけでなく内部構造に関する情報をも含む立体画像を再構成する。対象の立体画像を再構成する立体画像再構成装置であって、濃淡で示された複数の透過型画像を撮像する撮像部と、透過型画像において複数の特徴領域を選択する特徴領域選択部と、複数の特徴領域のそれぞれの、透過型画像上の位置に基づいて、複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置を提供する。

Description

明細書

立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

技術分野

[0001] 本発明は、立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムに関する。特に本発明は、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムに関する。本出願は、下記の日本出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の一部とする。

特願 2004— 354563 出願曰 2004年 12月 7曰

背景技術

[0002] 従来、透過型電子顕微鏡を用いて複数の角度から対象を撮像した複数の透過型画像を、撮像方向に引き延ばして重ね合わせた場合の、濃淡の重なりに基づいて、対象の立体構造を示す立体画像を再構成する立体画像再構成装置が提案されている。また、複数の透過型画像を引き延ばして重ね合わせた場合の濃淡の重なりだけでなぐ当該複数の透過型画像から算出した対象の外郭を示す形状情報に更に基づいて、より精度よく対象の立体画像を再構成する立体画像再構成装置が提案されている（例えば、特許文献 1参照。 ) o

[0003] 特許文献 1：国際公開番号 WO2002Z048961号公報

発明の開示

発明が解決しょうとする課題

[0004] しカゝしながら、電子顕微鏡試料支持法の特殊性により、複数の透過型画像を引き延ばして重ね合わせることにより得られた濃淡の重なりによって示される領域には、実際には対象が存在していない、ゴーストと呼ばれる領域も含まれており、当該濃淡の重なりのみに基づいて再構成される立体画像の精度は低力つた。また、対象の外郭を示す形状情報に更に基づいて再構成された立体画像には、対象の内部構造を示す情報が含まれていないので、特許文献 1に記載の立体画像再構成装置は、対象の内部構造を知るという目的には利用できなかった。

[0005] そこで本発明は、上記の課題を解決することができる立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムを提供することを目的とする。この目的は請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

課題を解決するための手段

[0006] 上記課題を解決するために、本発明の第 1の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択部と、複数の透過型画像のそれぞれにお！/、て選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づ!、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える。

[0007] 当該立体画像再構成装置は、対象の立体構造の概略を示す情報を入力する立体構造情報入力部と、入力された立体構造の概略に基づき、複数の透過型画像のそれぞれに対して、対象を強調する画像処理を行う強調処理部とを更に備え、特徴領域選択部は、複数の透過型画像のそれぞれにおいて、強調処理部によって強調された対象に含まれる複数の特徴領域を選択してもよい。特徴領域分布算出部は、複数の透過型画像のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象の輪郭の位置に基づ、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してもよい。撮像部は、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を含む複数の透過型画像を撮像してもよい。当該立体画像再構成装置は、複数の特徴領域のうち、既知の立体構造を有する特徴領域における、立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する収束処理算出部と、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部によって算出された画像処理操作を実行する収束処理部とを更に備えてもよい。

[0008] 立体画像再構成部は、特徴領域分布算出部により算出された複数の特徴領域の空間的な分布に基づ!、て対象における電子線の透過方向の厚みを算出する厚み算出部、および、厚み算出部により算出された対象の厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべぐ複数の微小領域の各々に濃淡を割り付ける微小領域割付部を有してもよい。微小領域割付部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、複数の透過型画像の複数の微小領域のそれぞれにつ!、て濃淡に比例した整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り付けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚み内の微小領域に濃淡の二値の、ずれかを割り付けてもよ!、。当該立体画像再構成装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報に整合させて、複数の微小領域に濃淡を割り付けてもよ、。

[0009] 上記課題を解決するために、本発明の第 2の形態にぉヽては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべぐ複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付部とを備える。微小領域割付部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、複数の透過型画像の複数の微小領域のそれぞれにつ!、て濃淡に比例した整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り付けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計力透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚み内の微小領域に濃淡の二値の、ずれかを割り付けてもよ!ヽ。当該立体画像再構成装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報に整合させて、複数の微小領域に濃淡を割り付けてもよ、。

[0010] また、本発明の第 3の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して複数の角度カゝら電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像段階と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択段階と、複数の透過型画像のそれぞれにお！/、て選択された複数の特徴領域のそれぞれの位置に基づ！、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出段階と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成段階とを備える。

[0011] また、本発明の第 4の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して複数の角度カゝら電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像段階と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像段階により撮像された複数の透過型画像による濃淡に整合するべぐ複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付段階とを備える。

[0012] また、本発明の第 5の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択部と、複数の透過型画像のそれぞれにお、て選択された複数の特徴領域のそれぞれの位置に基づ!、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置として機能させる。

[0013] また、本発明の第 6の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべぐ複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付部とを備える立体画像再構成装置として機能させる。

[0014] なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなぐこれらの特徴群のサブコンビネーションもまた、発明となりうる。

発明の効果

[0015] 本発明によれば、対象の外郭を示す形状情報だけでなぐ対象の内部構造に関する情報をも含む立体画像を再構成することができる。

図面の簡単な説明

[0016] [図 1]本発明の実施形態に係る立体画像再構成装置 10の機能構成の一例を示すブロック図である。

[図 2]本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 1の例である透過型画像 300aを示す図である。

[図 3]本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 2の例である透過型画像 300bを示す図である。

[図 4]本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 3の例である透過型画像 300cを示す図である。

[図 5]本発明の実施形態に係る立体画像再構成部 150による複数の透過型画像の重ね合わせ処理の一例を示す図である。

[図 6]本発明の実施形態に係る立体画像再構成部 150による立体画像の再構成処理の一例を示す図である。

[図 7]本発明の実施形態に係る強調処理部 120における処理の一例を示す図である

[図 8]本発明の実施形態に係る収束処理算出部 160における処理の一例を示す図である。

[図 9]本発明の実施形態に係る立体画像再構成装置 10を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。

[図 10]本発明の実施形態に係るコンピュータ 1500のハードウェア構成の一例を示すブロック図である。

[図 11]本発明の他の実施形態に係る立体画像再構成装置 20の機能構成の一例を示すブロック図である。

[図 12]本発明の実施形態に係る立体画像再構成装置 20を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。

[図 13]本発明の実施形態に係る撮像部 100により撮像される対象 202を模式的に示す図である。

[図 14]本発明の実施形態に係る撮像部 100により撮像される透過型画像 302a、 30 2bを示す図である。

[図 15]本発明の実施形態に係る厚み算出部 152により算出される対象 202の厚みを模式的に示す平面図である。

[図 16]本発明の実施形態に係る撮像部 100により撮像される透過型画像 302a、 30 2bのヒストグラムを示す図である。

[図 17]本発明の実施形態に係る微小領域割付部 154により分割される対象 202の厚み内の微小領域を示す図である。

[図 18]本発明のさらに他の実施形態に係る立体画像再構成装置 30の機能構成の一例を示すブロック図である。

[図 19]本発明の実施形態に係る立体画像再構成装置 30を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。

符号の説明

[0017] 10 立体画像再構成装置、 20 立体画像再構成装置、 30 立体画像再構成装置、 100 撮像部、 110 立体構造情報入力部、 120 強調処理部、 130 特徴領域選択部、 140 特徴領域分布算出部、 150 立体画像再構成部、 160 収束処理算出部、 170 収束処理部、 180 出力部、 200 対象、 202 対象、 210〜220 軸、 30 Oa〜c 透過型画像、 302a〜b 透過型画像、 400a〜c 濃淡分布情報

発明を実施するための最良の形態

[0018] 以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範隨こかかる発明を限定するものではなぐまた実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

[0019] 図 1は、本発明の実施形態に係る立体画像再構成装置 10の機能構成の一例を示すブロック図である。立体画像再構成装置 10は、例えば細胞の蛋白質等である対象を撮像した画像に基づ！/、て、対象の立体構造を示す立体画像を再構成する。 [0020] 本発明の実施形態に係る立体画像再構成装置 10は、対象の外郭を示す形状情報だけでなぐ対象の内部構造に関する情報をも含む立体画像を再構成することを目的とする。また、本発明の実施形態に係る立体画像再構成装置 10は、従来の立体画像再構成装置に比べて、より少ない枚数の画像に基づいて、精度の高い立体画像を再構成することを更なる目的とする。

[0021] 立体画像再構成装置 10は、撮像部 100、立体構造情報入力部 110、強調処理部 120、特徴領域選択部 130、特徴領域分布算出部 140、立体画像再構成部 150、収束処理算出部 160、収束処理部 170、及び出力部 180を備える。撮像部 100は、例えば透過型電子顕微鏡であってよぐ対象に対して複数の角度カゝら電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する。ここで、撮像部 100は、例えば、ネガティブ染色法等によって内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を含む、複数の透過型画像を撮像してよい。そして、撮像部 100は、撮像した複数の透過型画像を、強調処理部 1 20及び立体画像再構成部 150に出力する。

[0022] 立体構造情報入力部 110は、例えば利用者の操作等に基づいて、対象の立体構造の概略を入力する。そして、立体構造情報入力部 110は、入力した立体構造の概略を示す情報を、強調処理部 120及び収束処理算出部 160に出力する。強調処理部 120は、立体構造情報入力部 110によって入力された、対象の立体構造の概略に基づき、撮像部 100によって撮像された複数の透過型画像のそれぞれに対して、対象を強調する画像処理を実行する。そして、強調処理部 120は、対象を強調する画像処理を実行した複数の透過型画像を、特徴領域選択部 130に出力する。

[0023] 特徴領域選択部 130は、強調処理部 120から受け取った複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選択部 130は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択した複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び大きさ等を、特徴領域分布算出部 140に出力する。特徴領域分布算出部 140は、複数の透過型画像と、複数の透過型画像のそれぞれにお！、て特徴領域選択部 130により選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部 130から受け取る。そして、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにお V、て選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づ、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴領域分布算出部 140は、算出した複数の特徴領域のそれぞれの分布を示す情報を、立体画像再構成部 150に出力する。

[0024] 立体画像再構成部 150は、撮像部 100から受け取った複数の透過型画像を重ね合わせて対象の立体構造を再構成する。この場合に、立体画像再構成部 150は、特徴領域分布算出部 140により算出された、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する。そして、立体画像再構成部 150は、再構成した立体画像を収束処理算出部 160に出力する。

[0025] 収束処理算出部 160は、特徴領域選択部 130によって選択された複数の特徴領域のうち、既知の立体構造を有する特徴領域における、立体画像再構成部 150によつて再構成された当該特徴領域の立体構造の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する。そして、収束処理算出部 160は、再構成された立体画像と、算出した画像処理操作を示す情報とを、収束処理部 170に出力する。収束処理部 170は、特徴領域選択部 130によって選択された複数の特徴領域のうち、未知の立体構造を有する特徴領域における、立体画像再構成部 150によって再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部 160によって算出された画像処理操作を実行する。そして、収束処理部 170は、画像処理を実行した立体画像を、出力部 180に出力する。出力部 180は、例えば LCDパネル等の表示装置やハードディスクドライブ等の記憶装置であってよぐ収束処理部 170から受け取った立体画像を外部に出力して、利用者に提供する。

[0026] 本発明の実施形態に係る立体画像再構成装置 10によれば、複数の角度から対象を撮像した複数の透過型画像のそれぞれにおける、複数の特徴領域の空間的な分布に基づいて、対象全体に濃淡を割り付けた立体画像を再構成することができる。これにより、従来の立体画像再構成装置とは異なり、立体構造を有する対象の外殻を示す形状情報だけでなぐ内部構造に関する情報をも含む立体画像を、利用者に提供することができる。

[0027] また、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を、透過型電子顕微鏡を用いて撮像すると共に、対象中の特定の内部構造の空間位置を、例えばパターン認識等の別手法により推定した情報に従って制限をカロえることにより、従来の、濃淡情報の組み合わせのみにより立体画像を再構成する場合に比べて、試料と撮像方向との角度を変えて得る傾斜画像の数が非常に少数で済むため、画像の撮像によって対象の構造が破壊される程度を低く抑えつつ、立体画像を再構成することができる。

[0028] なお、本図において、収束処理算出部 160は、立体構造情報入力部 110によって入力された立体構造の概略を示す情報に基づ!/ヽて、既知の立体構造を有する特徴領域における立体構造の濃淡が当該既知の立体構造に収束する画像処理操作を算出するとして説明した力これに代えて、収束処理算出部 160は、強調処理部 12 0が用いる立体構造の概略とは異なる、例えば利用者によって別途入力された情報等に基づいて、画像処理操作を算出してもよい。

[0029] 図 2は、本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 1の例である透過型画像 300aを示す。図 3は、本発明の実施形態に係る撮像部 100〖こより撮像される透過型画像の第 2の例である透過型画像 300bを示す。図 4は、本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 3の例である透過型画像 300cを示す。撮像部 100は、少なくとも 3つの互いに異なる角度カゝら対象 20 0を撮像する。本実施形態において、撮像部 100は、 A方向から対象 200を撮像することにより透過型画像 300aを出力する。また、撮像部 100は、 B方向力も対象 200を撮像することにより透過型画像 300bを出力する。また、撮像部 100は、 C方向から対象 200を撮像することにより透過型画像 300cを出力する。ここで、図 3及び図 4に示すように、 A方向と B方向とがなす角度と、 A方向と C方向とがなす角度とは、互いに等しい角度 Θとなることが好ましい。また、 B方向及び C方向は、同一の軸 210を回転中心として A方向を回転させた方向であってよぐまた、互いに異なる軸、例えば軸 2 10と軸 220とのそれぞれを回転中心として A方向を回転させた方向であってもよい。

[0030] 図 5は、本発明の実施形態に係る立体画像再構成部 150による複数の透過型画像の重ね合わせ処理の一例を示す。立体画像再構成部 150は、撮像部 100により撮像された複数の透過型画像のそれぞれを、当該透過型画像の撮像方向に引き延ばして、複数の濃淡分布情報を生成する。そして、立体画像再構成部 150は、生成した複数の濃淡分布情報を、それぞれの濃度分布情報に対応する透過型画像における撮像方向の間の角度の関係を維持したまま重ね合わせる。

[0031] 具体的には、立体画像再構成部 150は、撮像部 100が対象 200を A方向から撮像した透過型画像 300aを、 A方向に引き延ばして、濃淡分布情報 400aを生成する。また、立体画像再構成部 150は、撮像部 100が対象 200を B方向から撮像した透過型画像 300bを、 B方向に引き延ばして、濃淡分布情報 400bを生成する。また、立体画像再構成部 150は、撮像部 100が対象 200を C方向から撮像した透過型画像 30 Ocを、 C方向に引き延ばして、濃淡分布情報 400cを生成する。そして、立体画像再構成部 150は、生成した濃淡分布情報 400a、濃淡分布情報 400b、及び濃淡分布情報 400cのそれぞれを、 A方向、 B方向、及び C方向の間の角度の関係を維持したまま重ね合わせる。なお、本図においては、 A方向、 B方向、及び C方向を含む平面における濃度分布情報の縦断面が示されて、る。

[0032] ここで、立体画像再構成部 150は、重ね合わせた濃淡分布情報のうち、すべての濃淡分布情報が重なり合う領域である領域 410を、対象 200が存在している領域であるとして検出する。但し、領域 400には、実際には対象 200が存在していない、ゴ一ストと呼ばれる領域も含まれているので、立体画像再構成部 150は、領域 400を検出したのみでは、対象 200の立体構造を示す立体画像を高、精度で再構成することはできない。

[0033] 図 6は、本発明の実施形態に係る立体画像再構成部 150による立体画像の再構成処理の一例を示す。特徴領域選択部 130は、複数の透過型画像のそれぞれにおいて、複数の特徴領域を選択する。具体的には、撮像部 100が、対象に対する角度が単調増加、或いは単調減少する順序で、複数の透過型画像を撮像した場合において、特徴領域選択部 130は、一の透過型画像において選択した特徴領域が、当該一の透過型画像に前後して撮像された他の透過型画像にお！、て、何れの領域に対応するかを検出する。ここで、特徴領域選択部 130は、例えば、相互相関処理と呼ばれる公知の画像処理技術を用いることにより、それぞれの透過型画像において対応する特徴領域を検出してよい。また、特徴領域選択部 130は、当該一の透過型画像における特徴領域として、例えば、他の領域に比べて、画像における濃淡の変化がより大きい領域を選択してよい。そして、特徴領域選択部 130は、前述した、前後して撮像された 2枚の透過型画像にお、て対応する特徴領域を検出する処理を、複数の透過型画像に含まれる前後して撮像された 2枚の透過型画像の組のそれぞれにおいて順次実行することにより、当該複数の透過型画像において、複数の特徴領域のそれぞれを追跡する。

[0034] 続、て、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにお!/、て、特徴領域選択部 130により選択された複数の特徴領域のそれぞれの位置に基づいて、当該複数の特徴領域のそれぞれの、対象全体における空間的な位置を算出する。具体的には、特徴領域分布算出部 140は、同一点を異なる角度から観測した場合の視差に基づいて、当該同一点の高さ情報を算出するステレオ計測法と呼ばれる公知の手法を用いることにより、互いに異なる角度力撮像された複数の透過型画像における、複数の特徴領域のそれぞれの位置の変化から、当該複数の特徴領域のそれぞれの、対象全体における空間的な位置を算出する。例えば、本図において、特徴領域分布算出部 140は、複数の特徴領域の空間的な位置を、点 500a、点 500b 、及び点、 500cとして算出する。ここで、点、 500a、点、 500b、及び点、 500cは、図 2に示した A方向力も見た場合に、重なって見える点であるとする。但し、本図においては、説明を簡潔にするベぐ 3個の特徴領域のみが示されているが、特徴領域分布算出部 140が空間的な位置を算出する特徴領域の数は 3個に限定されず、より多数の特徴領域について空間的な位置を算出することが、より高い精度で対象 200の立体画像を再構成する上では好ましヽ。

[0035] なお、特徴領域分布算出部 140は、複数の特徴領域のそれぞれにおける重心位置に基づ、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してよい。また、これに代えて、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象の輪郭の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してもよい。多くの場合、透過型画像に含まれる対象の輪郭を示す部分画像は、他の部分画像に比べて特徴が明確であるので、対象の輪郭の位置に基づくことによって、当該対象領域の位置の変化を、高い精度で算出することができる。これにより、複数の特徴領域のそれぞれの空間的な位置を高い精度で算出して、対象の立体画像を、より高い精度で再構成することができる。

[0036] 続、て、立体画像再構成部 150は、撮像された複数の透過型画像を撮像方向に引き延ばすことにより得られた濃淡分布情報に基づいて検出した、対象 200が存在する領域 410と、特徴領域分布算出部 140により算出された、複数の特徴領域の空間的な位置とに基づいて、対象 200の立体画像を再構成する。具体的には、立体画像再構成部 150は、領域 410のうち、本図に示した点 500a、点 500b、及び点 500c のそれぞれの近傍に、対象 200の少なくとも一部が存在しているとして、それぞれの点の近傍に、領域 410の全体における濃淡を均等に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成する。本例では、対象 200を A 方向から見た場合には、複数の特徴領域の空間的な位置である、点 500a、点 500b 、及び点 500cが重なって見えるので、透過型画像 300aのみを用いた場合には、対象 200に 3個の特徴領域が存在しているのカゝ、或いは 1個の特徴領域のみが存在しているのかを判断することはできない。しかし、立体画像再構成装置 10によれば、 A 方向だけでなぐ B方向や C方向といった、複数の異なる角度から対象を撮像した複数の透過型画像に基づいて、特徴領域のそれぞれの空間的な位置を算出することにより、対象 200に、点、500a、点、500b、及び点、500cのそれぞれ力 ^存在して! /、ることを検出することができる。そして、立体画像再構成装置 10は、このようにして取得した、対象 200の内部構造を示す情報に基づいて、対象 200全体に濃淡を割り付けた立体画像を再構成することができる。

[0037] 本発明の実施形態に係る立体画像再構成装置 10によれば、複数の透過型画像を引き延ばして重ね合わせることにより検出した領域だけでなぐステレオ計測法等により算出した、複数の特徴領域の空間的な位置に更に基づいて、対象の立体画像を再構成することができる。従って、複数の透過型画像を引き延ばして重ね合わせることにより検出した領域のみに基づいて、対象の立体画像を再構成する場合や、対象の外殻の形状情報に基づ、て対象の立体画像を再構成する場合に比べて、それぞれの透過型画像から、より多くの情報を取得して、対象の立体画像を再構成することができる。即ち、立体画像再構成装置 10によれば、従来の立体画像再構成装置に比べて、より少ない枚数の透過型画像から、立体画像を再構成することができる。これにより、画像を撮像する際の、対象に透過させる電子線によって対象の構造が破壊される程度を低く抑えながらも、精度の高い立体画像を再構成することができる。また、これにより、多数の画像を撮像している間に構造が変化してしまうような、構造が不安定である対象を用いる場合であっても、精度の高い立体画像を再構成することができる。

[0038] 図 7は、本発明の実施形態に係る強調処理部 120における処理の一例を示す。強調処理部 120は、撮像部 100によって撮像された透過型画像を、立体構造情報入力部 110によって入力された対象の立体構造の概略に基づいて、例えば公知のモルフォロジカルフィルタ（Morphological Filter)処理と呼ばれる技術等を用いて画像処理することにより、当該透過型画像における対象を強調する。なお、対象の立体構造の概略とは、例えば、対象が線状である場合における、対象の太さを示す情報等であってよぐ利用者によって入力された情報であってよい。以降、本図を用いて、強調処理部 120における画像処理の例について説明する。

[0039] 図 7 (a)は、撮像部 100によって撮像された透過型画像の、ある断層線上における位置と輝度との関係を示している。なお、本例において、透過型画像は、 256階調のグレースケール画像として撮像されている。図 7 (b)は、立体構造情報入力部 110によって入力された、対象の立体構造の概略を示す。本例において、対象は、線状の構造を有しており、図 7 (b)は、対象の典型的な太さ Tを示している。

[0040] そして、強調処理部 120は、撮像された透過型画像と、入力された対象の立体構造の概略とに基づいて、透過型画像のうち、対象以外の部分、即ち背景ノイズを検出する。具体的には、強調処理部 120は、撮像された透過型画像のうち、対象の構造における典型的な太さ Tとの差が、例えば利用者等によって予め定められた基準値以下である太さの構造として認識される領域、即ち、図 7 (a)に示した、領域 600、領域 610、及び領域 620を、対象の一部を示す領域として検出する。そして、強調処理部 120は、撮像された透過型画像から、対象の一部を示す領域として検出した部分を取り除いた画像である背景画像を生成する。図 7 (c)は、このようにして強調処理部 120が生成した背景画像における、図 7 (a)の場合と同一の断層線上における位置と輝度との関係を示して、る。

[0041] そして、強調処理部 120は、撮像された透過型画像から、取得した背景画像を差し引くことにより、対象を示す画像である対象画像を生成する。具体的には、強調処理部 120は、撮像された透過型画像に含まれる画素のそれぞれの輝度から、背景画像に含まれる、対応する画素の輝度を差し引くことにより得られた画像を、対象画像とする。図 7 (d)は、このようにして強調処理部 120が生成した対象画像における、図 7 (a )の場合と同一の断層線上における位置と輝度との関係を示している。

[0042] そして、強調処理部 120は、生成した対象画像に対して二値化処理を行う。具体的には、強調処理部 120は、生成した対象画像に含まれる、対象を示す領域のそれぞれについて、当該領域における輝度の最大値を、例えば 255等とするように、当該領域におけるコントラストを強調することにより、対象を強調した対象強調画像を生成する。図 7 (e)は、このようにして強調処理部 120が生成した対象強調画像における、図 7 (a)の場合と同一の断層線上における位置と輝度との関係を示している。

[0043] 強調処理部 120は、以上のようにして、撮像された透過型画像に対して対象を強調する画像処理を実行した画像を、特徴領域選択部 130及び立体画像再構成部 150 に出力する。

[0044] 本発明の実施形態に係る立体画像再構成装置 10によれば、撮像した透過型画像における濃淡情報から、対象を示す濃淡情報とは異なる背景ノイズを除去して、対象を強調することができる。これにより、対象の立体画像を、より高い精度で再構成することができる。

[0045] 図 8は、本発明の実施形態に係る収束処理算出部 160における処理の一例を示す。本例において、立体画像再構成部 150により再構成された、ある特徴領域の立体画像の濃淡は、図 8 (a)〖こ示すよう〖こ、点 700a、点 700b、及び点 700cという 3個の点を含んでいる。しかし、例えば立体構造情報入力部 110によって入力された、当該特徴領域における既知の立体構造は、 1個の点のみを含んでいたとする。つまり、本例にお 1ヽては、当該特徴領域における再構成された立体画像の濃淡にブレが発生している。

[0046] この場合、まず、収束処理算出部 160は、当該特徴領域において再構成された立体画像の濃淡が、既知の立体構造に収束する画像処理操作を算出する。具体的には、収束処理算出部 160は、点 700aを基準として立体画像の濃淡を収束させるベく、図 8 (b)に示すように、点 700a及び点 700cのそれぞれ力点 700aの位置に収束する画像処理操作を算出する。ここで、画像処理操作とは、例えば、特徴領域の少なくとも一部に対する拡大、縮小、回転、変形等の、多様な画像処理を含んでいてよい。そして、収束処理部 170は、本図に示した特徴領域とは異なる、立体構造が未知である他の特徴領域にぉヽて再構成された立体画像の濃淡に対して、収束処理算出部 160によって算出された画像処理操作を実行する。

[0047] 透過型電子顕微鏡を用いて複数の角度から対象を撮像する場合、装置上の制約や、対象の試料の特性等により、当該角度に制限が生じる場合がある。具体的には、図 3及び図 4において示した角度 Θ力 ± 60度程度の範囲内に限定される。そして、当該範囲外の角度における対象の投影像が不足することにより、再構成された立体画像の断層像面において、本来、方向に依らず均一な分解能を有するべき再構成像が、高さ方向の分解能のみ劣化するという問題が発生する。このため、全ての断層像が一方向に伸びていたり、または、実際とは異なる、誤った構造や形態を表したりする立体画像が再構成されてしま!/ヽ、十分に高！、解像度で対象の立体構造を示す立体画像を再構成することができない場合がある。しかし、本発明の実施形態に係る立体画像再構成装置 10によれば、立体構造が既知である特徴領域における立体画像の濃淡を、当該既知である立体構造に収束させる画像処理操作を算出して、立体構造が未知である他の特徴領域における立体構造の濃淡に対して、当該画像処理操作を実行することができる。これにより、再構成した立体画像に対して、対象全体において濃淡の修正を行うことができるので、より高い解像度で対象の立体構造を示す、品質の高い立体画像を出力することができる。

[0048] 図 9は、本発明の実施形態に係る立体画像再構成装置 10を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。まず、撮像部 100が、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する（S1000)。続いて、立体構造情報入力部 1 10は、対象の立体構造の概略を示す情報を入力する（S1010)。続いて、強調処理部 120は、入力された立体構造の概略に基づき、撮像された複数の透過型画像のそれぞれに対して、対象を強調する画像処理を実行する（S1020)。

[0049] 続、て、特徴領域選択部 130は、複数の透過型画像のそれぞれにお!/、て、強調処理部によって強調された対象に含まれる複数の特徴領域を選択する（S1030)。続いて、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する（S1040)。続いて、立体画像再構成部 150は、複数の透過型画像を重ね合わせて対象の立体構造を再構成する（S1050)。ここで、立体画像再構成部 150は、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する。

[0050] 続いて、収束処理算出部 160は、複数の特徴領域のうち、既知の立体構造を有する特徴領域における、再構成された当該特徴領域の立体構造の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する（S1060)。続いて、収束処理部 17 0は、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部 160によって算出された画像処理操作を実行する（S1070)。そして、出力部 180は、収束処理部 1 70によって画像処理が実行された立体画像を外部に出力して、利用者に提供する（ S1080)。 [0051] 図 10は、本発明の実施形態に係るコンピュータ 1500のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ 1500は、ホストコント口ーラ 1582によりネ目互に接続される CPU1505、 RAM1520,グラフィックコントローラ 1575、及び表示装置 1580を有する CPU周辺部と、入出力コントローラ 1584によりホストコントローラ 1582に接続される通信インターフェイス 1530、ハードディスクドライブ 1540、及び CD— ROMドライブ 1560を有する入出力部と、入出力コントローラ 1584〖こ接続される ROM1510、フレキシブルディスクドライブ 1550、及び入出力チップ 1570を有するレガシー入出力部とを備える。

[0052] ホストコントローラ 1582は、 RAM1520と、高い転送レートで RAM1520をアクセスする CPU1505及びグラフィックコントローラ 1575とを接続する。 CPU1505は、 RO M1510及び RAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ 1575は、 CPU1505等が RAM1520内に設けたフレームバッファ上に生成する画像データを取得し、表示装置 1580上に表示させる。これに代えて、グラフィックコントローラ 1575は、 CPU1505等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。

[0053] 入出力コントローラ 1584は、ホストコントローラ 1582と、比較的高速な入出力装置である通信インターフェイス 1530、ハードディスクドライブ 1540、 CD— ROMドライブ 1560を接続する。通信インターフェイス 1530は、ネットワークを介して他の装置と通信する。ハードディスクドライブ 1540は、コンピュータ 1500内の CPU1505が使用するプログラム及びデータを格納する。 CD— ROMドライブ 1560は、 CD—ROM15 95力プログラム又はデータを読み取り、 RAM1520を介してハードディスクドライブ 1540に提供する。

[0054] また、入出力コントローラ 1584〖こは、 ROM1510と、フレキシブルディスクドライブ 1 550、及び入出力チップ 1570の比較的低速な入出力装置とが接続される。 ROM1 510は、コンピュータ 1500が起動時に実行するブートプログラムや、コンピュータ 15 00のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ 1550は、フレキシブルディスク 1590からプログラム又はデータを読み取り、 RAM15 20を介してハードディスクドライブ 1540に提供する。入出力チップ 1570は、フレキシブルディスクドライブ 1550や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。

[0055] RAM1520を介してハードディスクドライブ 1540に提供される立体画像再構成プログラムは、フレキシブルディスク 1590、 CD— ROM1595、又は ICカード等の記録媒体に格納されて利用者によって提供される。立体画像再構成プログラムは、記録媒体から読み出され、 RAM1520を介してコンピュータ 1500内のハードディスクドライブ 1540にインストールされ、 CPU 1505において実行される。コンピュータ 1500にインストールされて実行される立体画像再構成プログラムは、 CPU1505等に働きかけて、コンピュータ 1500を、図 1から図 9にかけて説明した立体画像再構成装置 10として機能させる。

[0056] 以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク 1590、 CD— ROM1595の他〖こ、 DVDや PD等の光学記録媒体、 MD等の光磁気記録媒体、テープ媒体、 ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたノヽードディスク又は RAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ 1500に提供してもよい。

[0057] 図 11は、本発明の他の実施形態に係る立体画像再構成装置 20の機能構成の一例を示すブロック図である。立体画像再構成装置 20は、撮像部 100、立体構造情報入力部 110、特徴領域選択部 130、特徴領域分布算出部 140、立体画像再構成部 150、及び出力部 180を備える。立体画像再構成部 150は、厚み算出部 152、微小領域割付部 154、逆投影部 156を備える。

[0058] 撮像部 100は、立体画像再構成装置 10の撮像部 100と同一の構成、機能を有する。撮像部 100は、対象を複数の角度から撮像して、複数の透過型画像を取得し、特徴領域選択部 130及び厚み算出部 152に出力する。立体構造情報入力部 110 は、例えば利用者の操作等に基づいて、対象の立体構造における既知の情報を入力する。そして、立体構造情報入力部 110は、入力された立体構造の概略を示す情報を、微小領域割付部 154に出力する。

[0059] 特徴領域選択部 130は、撮像部 100から受け取った複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選択部

130は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択した複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び大きさ等を、特徴領域分布算出部 140に出力する。特徴領域分布算出部 140は、複数の透過型画像と、複数の透過型画像のそれぞれにお、て特徴領域選択部 130により選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部 130から受け取る。そして、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにお V、て選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づ、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴領域分布算出部 140は、算出した複数の特徴領域のそれぞれの分布を示す情報を、厚み算出部 152に出力する。

[0060] 厚み算出部 152は、特徴領域分布算出部 140により算出された複数の特徴領域の空間的な分布に基づ！、て対象における電子線の透過方向の厚みを算出する。厚み算出部 152は、特徴領域の空間的な分布、および、算出した厚みを微小領域割付部 154に出力する。

[0061] 微小領域割付部 154は、厚み算出部 152により算出されたその対象の厚み内の領域を複数の微小領域に分割する。さらに、微小領域割付部 154は、撮像部 100により撮像された複数の透過型画像による濃淡に整合するべぐその複数の微小領域の各々に濃淡を割り付けた立体画像を再構成する。この場合に、微小領域割付部 154 は、まず、その対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割する。さらに微小領域割付部 154は、分割した複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして、微小領域割付部 154は、その対象の厚み内の微小領域の各々に、濃淡の二値のいずれかを割り付けて、その透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、その透過型画像における対応する微小領域の濃淡の整数値に一致するように、その厚み内の微小領域に濃淡の二値のいずれかを割り付ける。微小領域割付部 154は、同様にして、対象全体について、厚み内の微小領域に濃淡の二値のいずれかを割り付けることにより、その対象全体についての密度分布を取得する。微小領域割付部 154は、取得した密度分布を逆投影部 156に供給する。

[0062] 逆投影部 156は、取得した対象 202の密度分布上に、透過型画像の濃淡を割り付けて、対象 202の立体画像を再構成する。逆投影部 156は、再構成した立体画像を出力部 180に出力する。

[0063] 図 12は、本発明の実施形態に係る立体画像再構成装置 20を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。図 13は、本発明の実施形態に係る撮像部 100により撮像される対象 202を模式的に示す図である。図 14は、本発明の実施形態に係る撮像部 100により撮像される透過型画像 302a、 302bを示す図である。なお、本フローチャートのステップ S 1052以降は、上記図 13 、図 14にカ卩え、図 15から図 17を参照して説明する。

[0064] 撮像部 100は、図 13に示すように、対象 202に対して一の角度 (0° )から電子線を透過させることにより、図 14 (a)に示す対象 202を含む透過型画像 302aを撮像する（S1000)。撮像部 100は、また、対象 202に対して平面上の他の角度（10° )から電子線を透過させることにより、図 14 (b)に示す対象 202を含む透過型画像 302bを撮像する（同ステップ)。以下、同様に、撮像部 100は、対象 202の特定の平面に対して 10度ずつ角度を変えて、複数の透過型画像を撮像する。なお、以下、説明の便宜上、透過型画像 302a、 b以外の非図示の透過型画像についてはその説明を一部省略する。

[0065] 続いて、立体構造情報入力部 110は、対象 202の既知の情報を入力する（S1010 )。例えば、対象 202がファイバー状の内部構造であることが既知の情報として知られている場合には、そのファイバー状の構造の長さ、太さ等がユーザ力立体構造情報入力部 110に入力される。続いて、特徴領域選択部 130は、透過型画像 302a、 b のそれぞれにおいて、対象 202に含まれる複数の特徴領域を選択する（S1030)。続いて、特徴領域分布算出部 140は、透過型画像 302a、 bのそれぞれにおいて選択された複数の特徴領域のそれぞれの、透過型画像 302a、 bにおける位置に基づいて、対象 202全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象 202全体における複数の特徴領域の空間的な分布を算出する (S 1040)。なお、ステップ S1010、 S1030、 S1040iま、図 1力ら図 10に示す立体画像再構成装置 10の動作と同様である。

[0066] 図 15は、本発明の実施形態に係る厚み算出部 152により算出される対象 202の厚みを模式的に示す平面図である。図 16は、本発明の実施形態に係る撮像部 100〖こより撮像される透過型画像 302a、 302bのヒストグラムを示す図である。図 17は、本発明の実施形態に係る微小領域割付部 154により濃淡が割り付けられる微小領域割付画像である。

[0067] 厚み算出部 152は、図 15に示すように、特徴領域分布算出部 140により算出された対象 202全体における複数の特徴領域の空間的な分布に基づいて、対象 202〖こおける電子線の透過方向の厚み dを算出する（S1052)。なお、図 15は、算出された厚みの一例であって、対象 202を撮像した角度 (0° )と断面 Lを含む平面上において平行する図 13に示す補助線 Aにおける対象 202の厚み dを示す。また、厚み算出部 152は、また、図 17の微小領域割付画像における微小領域 A p A qに対応して、図 15の厚み dを微小領域 Δ p Δ qに分割する。

[0068] 続いて、微小領域割付部 154は、図 15に示す厚み内の微少領域 Δ ρ A qに対応して、図 16 (a)に示す透過型画像 302aの線分 L上の領域を複数の微小領域 Δ ρ (例えば Δ ρ Χ Δ ρの大きさの画素）に分割する（S1054)。同様に、微小領域割付部 154 は、図 15に示す厚み内の微少領域 A p A qに対応して、図 16 (b)に示す透過型画像 302bの線分 L上の領域を複数の微小領域 Δ pに分割する（同ステップ)。

[0069] 続、て、微小領域割付部 154は、透過型画像 302aの線分 L上の微小領域 Δ pにおける S番目の画素（画素 S)について、図 16 (a)に示すように、濃淡に比例した整数値として画素値 N を割り当てる（S1056)。一例として、微小領域割付部 154は、透

S, 0

過型画像 302aの線分 L上の画素 Sを白黒の 256階調であらわした場合の画素値を N とする。同様に、微小領域割付部 154は、その線分 L上の他の画素 S—1等につ

S, 0

いて、濃淡に比例した整数値として画素値 N 等を割り当てる。さらに同様に、微

S- 1, 0

小領域割付部 154は、透過型画像 302bの線分 L上の微小領域 Δ pのそれぞれに対応する画素についても、図 16 (b)に示すように、濃淡に比例した整数値を画素値として割り当てる。 [0070] 微小領域割付部 154は、微小領域割付画像の微小領域に濃淡の二値を割り付ける（S1058)。この場合に、まず、微小領域割付部 154は、二次元の画面を微小領域 Δ p Δ qに分割した微小領域割付画像を準備する。次に、特定の角度 (0° )につヽて、微小領域割付部 154は、図 15の厚み dに含まれる微小領域に対応する図 17 (a) の微小領域 Δ p Δ q (図 17 (a)における一点鎖線の領域内）に、図 16 (a)の画素 Sに対して割り当てられた画素値 N に対応した二値を割り付ける。この場合に、微小領

S, 0

域割付部 154は、透過型画像 302aが撮像された角度 (0° )から見た厚み方向の微小領域群 P に含まれる微小領域 Δ p Δ qの当該二値の合計 K 力透過型画像 3

S, 0 S, 0

02aの線分 L上の画素 Sの画素値 N に一致するように、二値を割り付ける。

S, 0

[0071] 例えば、図 17 (a)に示す例において、微小領域割付部 154は、角度 (0° )における画素 Sの画素値 N に「4」を割り当てて、たとする。この場合に、微小領域割付部

S, 0

154は、微小領域群 P に含まれる微小領域 A p A qの当該二値の合計 K が「4」

S, 0 S, 0 となる拘束条件の下で、角度 (0° )における微小領域群 P に含まれる複数の微小

S, 0

領域 A p A qのうち、 4つの微小領域 800c、 d、 e、 fに構造が存在することを示す白（図面上は黒、値は 1であってもよい。）を割り付ける。この場合に、微小領域割付部 15 4は、厚み dに対応する領域に含まれる微小領域のうちの 4つの微小領域を、ー且、ランダムに選択して白を割り付けてもよヽ。

[0072] 次に、微小領域割付部 154は、上記角度 (0° )に係る拘束条件を満たしつつ、他の角度（10° )につ、て、微小領域割付画像の微小領域に濃淡の二値を割り付ける。この場合に、微小領域割付部 154は、上記角度 (0° )の場合に割り付けた白の微小領域の位置を、上記拘束条件を満たしつつ変更する。

[0073] 例えば、微小領域割付部 154は、図 17 (a)における微小領域群 P の二値の合計

S, 0

K を保ちつつ、図 17 (b)における微小領域群 P の二値の合計 K が画素値

S, 0 S, 10 S, 10

N になるベぐ図 17 (a)でー且、割り付けた微小領域 800fを 802eに割り付けな

S, 10

おす。なお、図 17 (b)においては、図 17 (a)の一点鎖線を省略している力図 17 (b) にお、ても、図 15の厚み dに含まれる微小領域に対応する微小領域 Δ p Δ qに白が割り付けられることが好まし、。

[0074] 同様に、微小領域割付部 154は、二つの角度 (0° 、 10° )の両方について線分 L 上の画素 sの拘束条件を満たして、微小領域割付画像の微小領域に白を割り付ける。さらに、他の角度についても、これらの角度について線分 L上の画素 Sの拘束条件を満たして、微小領域割付画像の微小領域に白を割り付ける。

[0075] このようにして微小領域割付部 154は、線分 L上の他の画素について、それぞれの画素に対応する、厚み内の各微小領域 Δ p Δ qに濃淡の二値の、ずれかを割り付ける。さらに、微小領域割付部 154は、断面 L上以外、つまり線分 L上以外の厚み内の微小領域 Δ p Δ q全体につ、て、二値の、ずれかを割り付ける。

[0076] 続いて、微小領域割付部 154は、線分 L上、および、線分 L上以外の厚み内の微小領域 Δ ρ Δ (ΐ全体に割り付けた二値の分布から、断面 Lと垂直な方向、つまり厚み方向と垂直な方向の微小領域 Δ ρ Δ q全体の二値の分布を取得する。つまり微小領域割付部 154は、対象 202全体の微小領域 Δ p Δ qの二値の分布である密度分布を取得する。微小領域割付部 154は、取得した密度分布を逆投影部 156に供給する。続いて、逆投影部 156は、取得した対象 202の密度分布上に透過型画像の濃淡を割り付けて、対象 202の立体画像を再構成する（S1060)。

[0077] 具体的には、まず、逆投影部 156は、白の座標を中心に正規分布を展開して重み関数を生成する。逆投影部 156は、生成した重み関数により算出される重み値に従つて、透過型画像の濃淡を逆投影して割り付けることにより、対象 202の立体画像を再構成する。これにより、複数の特徴領域のそれぞれの空間的な位置と、複数の微小領域に係る濃淡のそれぞれの空間的な位置とを高精度に算出し、対象 202の立体画像をより高い精度で再構成することができる。さらに、複数の透過型画像の複数の微小領域のそれぞれの濃淡に比例した整数値に一致するように、厚み内の微小領域の各々に濃淡に二値を割り付けるので、高速に対象 202の立体画像を再構成することができる。続いて、逆投影部 156は、再構成した立体画像を出力部 180に出力する。そして、出力部 180は、逆投影部 156によって画像処理が実行された立体画像を外部に出力して、利用者に提供する（S1080)。

[0078] なお、ステップ S1058において、微小領域割付部 154は、ステップ S1040において算出した特徴領域の分布、および、ステップ S1052において算出した厚みに基づいて、各微小領域 A p A qに二値を割り付ける。換言すれば、濃淡に基づく点分布に関する拘束条件に加え、特徴領域に関する拘束条件、および、厚みに関する拘束条件によって、立体画像を再構成する。また、これらに加え、微小領域割付部 154は、ステップ S1010にて入力された既知の情報に整合させて、各微小領域 Δ ρ A qに二値を割り付けてもよい。例えば、対象 202がファイバー状の内部構造で形成されていることが既知である場合に、ファイバー状の構造の長さおよび太さ等が入力された場合に、微少領域割付部 154は、白の微小領域をランダムに割り振ることに替えて、白の微小領域の集合がファイバー状の構造の長さおよび太さと同程度になるように、二値を割り付ける。これにより、対象 202に係る既知の情報を基づいて、複数の特徴領域のそれぞれの空間的な位置と、複数の微小領域に係る濃淡のそれぞれの空間的な位置とをより高精度に算出し、対象 202の立体画像をより高い精度で再構成することがでさる。

[0079] なお、図 17に示す白の微小領域の割り付けが複数の透過型画像に係る拘束条件によって収束する条件として、マルチステレオ計測等によって初期設定の白の微小領域をある誤差範囲で分布させること、隣接する白の微小領域どうしの最大距離に制限を設けること、実際の透過画像が微小領域割付画像の投影像またはその近似画像として解釈した場合に整合することである。上記第 3の条件において、実際の透過画像と微小領域割り付け画像の投影像との差を小さくする確率論的手法として、ステツプ S1054において、モンテカルロ的手法を用いた力遺伝的アルゴリズム等他の手法であってもよい。

[0080] 図 18は、本発明のさらに他の実施形態に係る立体画像再構成装置 30の機能構成の一例を示すブロック図である。立体画像再構成装置 30は、対象 202に特徴領域が少なぐ厚みを特定することが困難な場合であっても、対象 202の立体画像を再構成することができる。立体画像再構成装置 30は、撮像部 100、立体構造情報入力部 1 10、微小領域割付部 154、逆投影部 156、及び出力部 180を備える。立体画像再構成装置 30の撮像部 100および立体構造情報入力部 110は、図 11から図 17の立体画像再構成装置 20同一の構成、機能を有するので、説明を省略する。

[0081] 立体画像再構成装置 30の微小領域割付部 154は、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部 100により撮像された複数の透過型画像による濃淡に整合するべぐその複数の微小領域の各々に濃淡を割り付ける。例えば、微小領域割付部 154は、まず、予め定められた厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、分割した複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして、微小領域割付部 154は、微小領域割付画像における予め定められた厚み内の微小領域の各々に、濃淡の二値のいずれかを割り付けて、その透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計力その透過型画像における対応する微小領域の濃淡の整数値に一致するように、その厚み内の微小領域に濃淡の二値のいずれかを割り付ける。このようにして、微小領域割付部 154は、対象 20 2全体の微小領域 A p A qの二値の分布である密度分布を取得する。ここで、微小領域割付部 154は、立体構造情報入力部 110から対象の立体構造における既知の情報を取得し、その既知の情報に整合させて、複数の微小領域に濃淡を割付ける。そして、微小領域割付部 154は、取得した密度分布を逆投影部 156に供給する。逆投影部 156は、取得した対象 202の密度分布上に、透過型画像の濃淡を割り付けて、対象 202の立体画像を再構成する。逆投影部 156は、再構成した立体画像を出力部 180に出力する。なおここで、予め定められた厚みの一例は、所定の大きさを有する矩形の微小領域割付画像の全体である。また、予め定められた厚みの他の例は、対象の厚さまたは形状の概略が分かっている場合における、当該厚さまたは形状である。

[0082] 図 19は、本発明の実施形態に係る立体画像再構成装置 30を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。なお、立体画像再構成装置 30を用いる立体画像再構成方法は、立体画像再構成装置 20を用いる立体画像再構成方法と共通する処理を有する。よって、本フローチャートにおいて、この共通する処理は説明を一部省略する。

[0083] 撮像部 100は、図 13に示すように、対象 202に対して、対象 202の一の断面 Lを含む平面上の一の角度 (0° )、および、他の角度（10° )から電子線を透過させることにより、図 14 (a) (b)に示す対象 202を含む透過型画像 302a、 bを撮像する（S 100 0)。 [0084] 続いて、立体構造情報入力部 110は、対象 202の既知の情報を入力する（S1010 )続いて、微小領域割付部 154は、図 15に示す厚み内の微少領域 A p A qに対応して透過型画像 302a、 bの線分 L上の領域を複数の微小領域 Δ ρに分割する（S1054 )。続いて、微小領域割付部 154は、透過型画像 302a、 bの線分 L上の微小領域 Δ ρ について、濃淡に比例した整数値として画素値を割り当てる（S1056)。続いて、微小領域割付部 154は、微小領域割付画像の厚み内、例えば矩形の微小領域割付画像の全体に含まれる微小領域 Δ ρ A qについて、二値のいずれかを割り付ける（S10 58)。これにより、複数の透過画像の複数の微小領域のそれぞれの濃淡に比例した整数値に一致するように、厚み内の微小領域の各々に濃淡に二値を割り付けるので、高速に対象 202の立体画像を再構成することができる。

[0085] なお、また、微小領域割付部 154は、ステップ S1010にて入力された既知の情報に整合させて、各微小領域 A p A qに二値を割り付ける。これにより、対象 202に係る既知の情報を基づいて複数の微小領域に係る濃淡のそれぞれの空間的な位置をより高精度に算出し、対象 202の立体画像をより高い精度で再構成することができる。

[0086] 続いて、微小領域割付部 154は、線分 L上、および、線分 L上以外の厚み内の微小領域 Δ ρ Δ (ΐ全体に割り付けた二値の分布から、密度分布を取得する。微小領域割付部 154は、取得した密度分布を逆投影部 156に供給する。逆投影部 156は、取得した対象 202の密度分布上に、透過型画像の濃淡を割り付けて、対象 202の立体画像を再構成する（S1060)。続いて、逆投影部 156は、再構成した立体画像を出力部 180に出力する。そして、出力部 180は、微小領域割付部 154によって画像処理が実行された立体画像を外部に出力して、利用者に提供する（S1080)。

[0087] 以上説明した立体画像再構成装置 20、 30は、透過型画像に係る点分布の拘束条件からの立体画像を再構成するので、 CTスキャン等の他の方法と同じ枚数の透過型画像から、より高精度の立体画像を再構成することができ、また、上記他の方法の 10分の 1の枚数程度の透過型画像から、上記方法と同程度の精度の立体画像を再構成することができる。これにより、立体画像再構成装置 20、 30は、例えば、死角があって全方向からの透過型画像が得られない等の不完全な透過型画像から立体画像を再構成することができる。また、立体画像再構成装置 20、 30は、上記点分布の拘束条件に加え、例えば、「孤立点は不許可」、「所定の分散の範囲内」等の既知の情報の拘束条件を設定することにより、不完全な透過型画像を補完し立体画像を再構成、または、より高精度に立体画像を再構成することができる。

[0088] なお、立体画像再構成装置 20、 30を用いる立体画像再構成方法にぉヽて、撮像する透過型画像の枚数、対象 202の厚み内の微少領域 Ap A qの粒度は、対象 202 の構造が既知である力否力または、既知である場合にはその概略構造に応じて設定することが好ましい。例えば、本実施形態においては、撮像部 100は、これらに応じて、 10度より大きい角度ステップ、または、 10度より小さい角度ステップで透過型画像を撮像してもよい。

[0089] 以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

Claims

請求の範囲

[1] 対象を撮像した画像に基づ!、て前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、

前記対象に対して複数の角度力電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、

前記複数の透過型画像のそれぞれにお、て、前記対象に含まれる複数の特徴領域を選択する特徴領域選択部と、

前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部と

を備える立体画像再構成装置。

[2] 前記対象の立体構造の概略を示す情報を入力する立体構造情報入力部と、入力された前記立体構造の概略に基づき、前記複数の透過型画像のそれぞれに対して、前記対象を強調する画像処理を行う強調処理部と

を更に備え、

前記特徴領域選択部は、前記複数の透過型画像のそれぞれにおいて、前記強調処理部によって強調された前記対象に含まれる前記複数の特徴領域を選択する請求項 1に記載の立体画像再構成装置。

[3] 前記特徴領域分布算出部は、前記複数の透過型画像のそれぞれにおける、前記複数の特徴領域のそれぞれに含まれる前記対象の輪郭の位置に基づ!、て、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出する請求項 1に記載の立体画像再構成装置。

[4] 前記撮像部は、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する前記対象を含む前記複数の透過型画像を撮像する請求項 2または 3〖こ記載の立体画像再構成装置。

[5] 前記複数の特徴領域のうち、既知の立体構造を有する特徴領域における、前記立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する収束処理算出部と、

前記複数の特徴領域のうち、未知の立体構造を有する特徴領域における、前記立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、前記収束処理算出部によって算出された画像処理操作を実行する収束処理部とを更に備える請求項 1に記載の立体画像再構成装置。

[6] 前記立体画像再構成部は、

前記特徴領域分布算出部により算出された前記複数の特徴領域の空間的な分布に基づ!/、て前記対象における前記電子線の透過方向の厚みを算出する厚み算出部、および、

前記厚み算出部により算出された前記対象の厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するベぐ前記複数の微小領域の各々に濃淡を割り付ける微小領域割付部、を有する請求項 1に記載の立体画像再構成装置。

[7] 前記微小領域割付部は、前記対象の厚み内の前記微少領域に対応して前記複数の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の前記微小領域の各々には濃淡の二値のいずれかを割り付けて、前記透過型画像を撮像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項 6に記載の立体画像再構成装置。

[8] 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、

前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項 6に記載の立体画像再構成装置。

[9] 対象を撮像した画像に基づ！、て前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、

前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべぐ前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付部と

を備える立体画像再構成装置。

[10] 前記微小領域割付部は、前記対象の厚み内の前記微少領域に対応して前記複数の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の前記微小領域の各々には濃淡の二値のいずれかを割り付けて、前記透過型画像を撮像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項 9に記載の立体画像再構成装置。

[11] 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、

前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項 9に記載の立体画像再構成装置。

[12] 対象を撮像した画像に基づ！、て前記対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、前記対象に対して複数の角度力電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像段階と、

前記複数の透過型画像のそれぞれにお、て、前記対象に含まれる複数の特徴領域を選択する特徴領域選択段階と、

前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの位置に基づ!/、て、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出段階と、

前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成段階と

を備える立体画像再構成方法。

[13] 対象を撮像した画像に基づ！、て前記対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、

前記対象に対して複数の角度力電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像段階と、

前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像段階により撮像された前記複数の透過型画像による濃淡に整合するべぐ前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付段階と

を備える立体画像再構成方法。

[14] 対象を撮像した画像に基づ！、て前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、

前記コンピュータを、前記対象に対して複数の角度力電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、

前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの位置に基づ!/、て、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、

前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部と

を備える立体画像再構成装置として機能させる立体画像再構成プログラム。

対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、

前記コンピュータを、