JP5427133B2 - 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム - Google Patents

画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム Download PDF

Info

Publication number
JP5427133B2
JP5427133B2 JP2010160529A JP2010160529A JP5427133B2 JP 5427133 B2 JP5427133 B2 JP 5427133B2 JP 2010160529 A JP2010160529 A JP 2010160529A JP 2010160529 A JP2010160529 A JP 2010160529A JP 5427133 B2 JP5427133 B2 JP 5427133B2
Authority
JP
Japan
Prior art keywords
image
density
image processing
observation object
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010160529A
Other languages
English (en)
Other versions
JP2012022922A (ja
Inventor
貴 久保
隆仁 橋本
紀恵 矢口
則男 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Priority to JP2010160529A priority Critical patent/JP5427133B2/ja
Priority to PCT/JP2011/066035 priority patent/WO2012008512A1/ja
Priority to US13/810,034 priority patent/US8588499B2/en
Priority to EP11806842.8A priority patent/EP2595172B1/en
Publication of JP2012022922A publication Critical patent/JP2012022922A/ja
Application granted granted Critical
Publication of JP5427133B2 publication Critical patent/JP5427133B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/20Means for supporting or positioning the objects or the material; Means for adjusting diaphragms or lenses associated with the support
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical or photographic arrangements associated with the tube
    • H01J37/222Image processing arrangements associated with the tube
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/419Imaging computed tomograph
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/20Positioning, supporting, modifying or maintaining the physical state of objects being observed or treated
    • H01J2237/202Movement
    • H01J2237/20207Tilt

Description

本発明は電子線またはエックス線を用いた観察対象物の画像処理に係り、特に取得された二次元画像から三次元構造を再構成する方法に関するものである。
電子顕微鏡において、取得された二次元画像から三次元構造を再構成することによって観察対象となる構造をより直感的に観察し、さらに、再構成した画像から、任意の箇所を抽出し定量化するニーズが高まっている。このような観察を行なうために種々の手法が考案されている。
例えば、非特許文献1に記載されているように観察対象を連続的に傾斜させて取得された各連続傾斜二次元画像を取得時の傾斜角度から逆投影させて三次元画像を再構成する逆投影手法や、非特許文献2に記載されているように上記連続傾斜二次元画像を各投影方向における真値画像とし、未知なる三次元画像を各方向に投影した結果と該真値の誤差が最小となるよう、代数的に再構成する手法がある。
更には、非特許文献3に記載されているように画像は点の集合体と考え、上記連続傾斜二次元画像を基に三次元画像の点配置を最適化するDots concentration reconstraction法、非特許文献4に記載されているように、基準となる再構成画像を代数的再構成法にて作成し、該再構成画像をある閾値で領域分けした後、該領域の情報を用いて再度代数的再構成を行なうDiscrete algebraic reconstruction technique(DART)がある。
Jose-Maria Carazo et al.,Algorithms for 3D reconstruction, Joachim Frank, ELECTRON TOMOGRAPHY 2(2005) Springer, New York, pp228-231. Jose-Maria Carazo et al.,Algorithms for 3D reconstruction, Joachim Frank, ELECTRON TOMOGRAPHY 2(2005) Springer, New York, pp231-234. N.Baba, et al.,Anovel Method of Reconstructing a Tomogram by Convergence of an Innumerable Dots Map Without the "Missing-Wedge"Effect, Frontiers of Electron Microscopy in Materials , S-15, Session-1, 2October, 2009. K.J.Batenburg, et al.,3D imaging of nanomaterials by disctrete tomography, Ultramicroscopy 109(2009) 730-740
上記非特許文献1、2の技術では、再構成された三次元画像の情報は上記連続傾斜二次元画像取得時の傾斜角度以外の情報を持たないため、逆投影法、代数的再構成法を用いて、より高精度で三次元再構成を行なうためには、画像取得時に、傾斜角度範囲を-90°〜+90°とし、傾斜刻み角度をできるだけ小さく設定する必要がある。
しかしながら、現在、汎用的に使用されている電子顕微鏡は観察対象を薄膜状に加工して試料ホルダーに設置し、観察を行なう構造となっている。電子顕微鏡では、傾斜制限がある場合や、大きく傾斜しても、試料ホルダーの構造物が電子線を妨害し、像ができないなど、観察が行なえる傾斜角度に制限がある。即ち、汎用的に使用されている電子顕微鏡を用いた際、三次元再構成画像には情報欠落部が発生する。
図1は1例として二次元構造物の再構成を示したものである。該二次元構造物を再構成するためには、該構造物を傾斜し、異なる角度から投影した複数の一次元画像が必要となる。図1(a)は傾斜範囲が±60°の一次元画像を用いた再構成である。この場合は、±60°以上の傾斜像による情報が欠落してしまい、図1(b)に示す±90°の一次元画像を用いた再構成画像に比べ、多くの偽像や像の欠落が表れる。更に、該偽像は再構成された構造をぼかしてしまうため、構造の境界を判断することが困難で、定量性も低下する。尚、図1(c)は構造物の形状を示す。
また、上記非特許文献3の技術は、上記情報欠落部を補完する手法であり、再構成画像の偽像や像の欠落を大きく低減できるが、該手法は観察対象物の構造が単成分であることが適用条件とされている。該適用条件に適する構造物は限られており、該手法は汎用的な手法ではない。
上記非特許文献4の技術は、上記情報欠落部を補完する手法であり、再構成画像の偽像や像の欠落を大きく低減できるが、該手法は観察対象物の組成数が既知であることが適用条件とされている。しかし、再構成の対象となる構造物の組成数が既知である場合は限られており(特に生物系の構造物は組成数が未知である場合が多い)、該手法は適用試料に制限がある。
本発明は以上述べた種々な課題に鑑みて成されたもので、その目的とするところは、再構成画像の偽像や像の欠落を大きく低減し、再構成の精度を向上するとともに、複数成分で構成されている観察対象物に対しても、構造物の組成数が未知である試料に対しても適用できる画像処理を提供することにある。
上記目的を達成するための本発明の一つの特徴は、観察対象物に電子線またはエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置を用いた画像処理方法において、該観察対象物をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納し、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算をし、上記観察対象物の投影画像を元に初期再構成画像を生成し、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成して格納し、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を算出する誤差算出演算をし、該誤差から処理の優先度を決定し、階調レベル毎に密度を算出する密度算出演算をし、該密度から処理の優先度を決定し、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることにある。
その他、本発明は前記目的を達成する上で種々の特徴を有するが、それらの詳細については以下述べる実施の形態で明らかにする。
本発明によると、複数の成分で構成された観察対象であっても情報欠落部を補完した三次元再構成をおこなうことができ、再構成画像の偽像や像の欠落を大きく低減し、高精度な三次元再構成像を得ることができる。
情報欠落部が及ぼす再構成画像の偽像と像の欠落を表す図 本発明の一実施例に係る装置構成の概略図 本実施例における画像濃度値の考え方を示す図 本実施例におけるクォンタムユニットを再配列する処理部の概略フロー図 本実施例における初期再構成画像の生成方法を説明する図 本実施例の各クォンタムユニット余剰誤差の積算値算出方法を説明する図 本実施例の仮移動先の導出方法を説明する図 本実施例の画像における構造物の概念図 本実施例の連続体形成を拘束条件としたクォンタムユニット再配列処理説明図 モデルを用いた本実施例と従来方法の再構成結果の比較を表す図
以下、本発明の実施の形態を図示する一実施例を参照して説明する。尚、以下述べる実施例では電子顕微鏡及びその画像処理を例に挙げて説明するが、これらに限るものでないことは勿論である。
また、本発明の一つの特徴は、再構成された三次元画像の各ピクセルの濃度値を最適化することで、傾斜角度制限によって発生する再構成画像の偽像や像の欠落の低減を図るものである。以下の実施例は二次元画像の再構成を記すが、三次元画像とは二次元画像を厚み方向に複数枚組み合わせたものであり、二次元画像の再構成と三次元画像の再構成の原理は同一である。
図2に本発明における装置構成の一実施例を示す。本実施例における電子顕微鏡は電子線を試料1に照射するための照射レンズ系2と、試料に焦点を合わせるための対物レンズ系3、試料を透過した電子線像を拡大する拡大レンズ系4、拡大した像を検出する画像検出部5と、種々の演算制御処理をおこなうコンピュータ6とコンピュータ内部の演算装置7と、データを記憶する記憶装置8と、コンピュータとマイクロプロセッサとの通信を行なうコミュニケーションインターフェイス9a,9bと、バス10を介して制御信号を送るマイクロプロセッサ11と、マイクロプロセッサ11より出力された信号をデジタルアナログ変換するDAC12と、DAC12より出力された信号を増幅し、試料傾斜装置13へ出力する電源14と、パラメータの入力を行なうためのキーボード15aとマウス15bから成る入力装置15と、画像を出力するための出力装置16を備えている。
入力装置15で設定した傾斜角度範囲、傾斜刻み角度はコミニュケーションインターフェイス9a,9bからバス10を介してマイクロプロセッサ11に送られる。その後、マイクロプロセッサ11からバス10を介してDAC12に入力され、電源14で増幅された後、試料傾斜装置13へと出力される。
試料1は試料傾斜装置13にて連続的に上記傾斜角度範囲内を上記傾斜刻み角度で傾斜され、各々の傾斜角度で画像検出部5により像を検出する。画像検出部5により検出した各傾斜角度の画像は第1から第Nの画像としてコンピュータ内部の記憶装置8へ格納する。該格納した画像の内、傾斜角度が0°付近の画像を1枚用いて初期再構成画像を演算装置7にて生成する。
上記初期再構成画像を上記傾斜角度範囲内において、上記傾斜刻み角度で投影し、第1´から第N´の画像を生成し、上記第1から第Nの画像と該第1´から第N´の画像の誤差をそれぞれ演算装置7で算出する。該誤差が最小となるよう、上記初期再構成画像の濃度値を演算装置7で最適化し、最適化された該画像を記憶装置8へ格納する。
その後、演算装置7にて構造物が連続体を形成していることを拘束条件とし、再度上記再構成画像の濃度値を最適化し、記憶装置8へ格納する。上記異なる最適化方法の条件を共に満たすまで、上記演算を繰り返すことにより、傾斜角度制限によって発生する偽像や像の欠落が低減された三次元画像を再構成することができる。
以下、本発明における演算装置7にて行われる処理の詳細説明を、二次元画像の再構成を例にとり行なう。尚、本実施例は権利の範囲を限定するものではない。
はじめに本実施例における画像の考え方について説明する。画像とは様々な濃度値を有するピクセルを配列したものである。つまり、二次元画像とは濃度値を二次元的に配列したものである。しかし、図3に示すように、本実施例ではある濃度値を量子化し、この単位量子をクォンタムユニットと考え、ピクセルの濃度値を該クォンタムユニットの積算で表している。つまり、二次元画像は該クォンタムユニットを三次元的に配列したものと考える。
続いて、本実施例における再構成について説明する。上記従来技術で示されているように未知の二次元画像は該二次元画像を様々な方向から投影した複数の一次元画像を用いて再構成することができ、同様に未知の三次元画像は複数の二次元投影画像から再構成することができる。本実施例も従来技術と同様に複数の投影画像を用いて再構成を行なう。再構成対象を異なる方向へ投影した画像を第1から第Nの画像とし、該各投影方向を第1から第Nの方向とする。
一次元投影画像とは二次元画像を投影方向に圧縮したものであり、ある1つの投影画像から再構成画像の総濃度値を決定することができる。また、該総濃度値から再構成画像における、上記クォンタムユニットの総数を決定することができる。つまり、一次元投影画像を用いて、上記全てのクォンタムユニットを再構成画像の所定の位置へ再配列することで二次元画像を再構成することができる。
次に、上記クォンタムユニットを再構成画像の所定の位置へ再配列する方法について説明する。
1枚の投影画像には上記クォンタムユニットの量に関する情報と投影方向に垂直方向の位置に関する情報が含まれている。しかし、上記画像には、投影方向の位置に関する情報が含まれていない。該投影方向の位置に関する情報は様々な投影方向の画像を用いて導出することができる。
図4に本実施例におけるクォンタムユニット再配列部の概略フローを示す。初めにパラメータの初期条件設定を行なう。この時、N及びMはカウンタであり、Nmax、Mmaxは最大繰り返し回数、Fはステップ404繰り返しの要否を判別するフラグである。
次に、ステップ402にて未知の二次元構造を複数の方向にて投影して得た、投影画像Ii(x)を入力する。その後、ステップ403にてIi(x)の内、ある1枚の投影画像Ii1(x)の情報を用い、初期再構成画像G(x,y)を生成する。
次に、該再構成画像G(x,y)を投影した画像とステップ402にて入力された全投影画像Ii(x)の情報を用いて該再構成画像G(x,y)の全クォンタムユニットを再配列する(ステップ404)。尚、本ステップの詳細な説明は図6及び図7を用いて後述する。
続いて、ステップ405にてフラグの判定を行い、フラグが”false”であった場合、ステップ406にて現在のループ回数の判定が行なわれる。該ループ回数が設定された回数に未達であった場合、該回数に達するまでステップ404を繰り返す。該ループを抜けた後はステップ408にてフラグを”true”に変更し、ステップ409の処理を行なう。
ステップ409では上記再構成画像G(x,y)に対し、構造物は必ず連続体を形成するという拘束条件を付加し、この条件を満たすよう、上記再構成画像G(x,y)内のクォンタムユニットを再配列する。本ステップの詳細な説明は図8及び図9を用いて後述する。
その後、ステップ410にてループ回数の判定が行なわれ、該回数が設定された回数に未達であった場合、ステップ404の処理へ移行する。この時、フラグは”true”であるため、ステップ404はループせず、ステップ409へ移行する。ステップ410の判定条件を満たした場合、ステップ412にて上記再構成画像が出力され、再構成が終了する。
以下、各ステップの詳細について順次説明する。
ステップ403では、各辺のサイズが投影画像と等しく、各ピクセルの濃度値が0の二次元画像を生成する。次に、図5に示すように、未知の構造図5(a)を投影した1枚の一次元投影画像図5(b)から上記クォンタムユニットの量と投影方向に垂直方向の位置は定まるため、この条件を満たすよう、上記クォンタムユニットを上記二次元画像に配列し、初期再構成画像図5(c)を生成する。この際、投影方向の位置情報は乱数を用いて決定する。初期再構成画像に配列された各クォンタムユニットは個別に管理され、各クォンタムユニットを移動させることで再構成画像の全ピクセルの濃度値最適化を行なう。
ステップ404では、初めに、初期再構成画像を第1から第Nの方向で投影し、第1´から第N´の投影画像を生成する。図6に示すように、上記第1から第Nの投影画像を真値とし、第1´から第N´の投影画像を推定値として同一方向の投影画像における各余剰誤差を算出する。この時、各投影方向の軸をS軸とし、また、これに垂直な軸をT軸として、該誤差に於ける座標Tiの値を、該座標Tiを通るS軸(STi軸)上に存在する全クォンタムユニットに格納する。これを全投影方向に対して行い、各クォンタムユニットに自らが係わる全ての余剰誤差の積算値を格納する。その後、全クォンタムユニットの該積算値を用い、降順に並び替え、移動するクォンタムユニットの優先順位を決定する。
次に、各クォンタムユニットの移動先の決定を行なう。移動先の決定処理は上記優先順位が高いクォンタムユニットから行なわれる。尚、移動先決定処理は大分して2つの処理にて行なわれる。1つめの処理にて各投影方向に於ける仮移動先を決定し、2つめの処理で該仮移動量の平均値から実際の移動先を決定する。
1つめの処理の詳細は図7に示すように、第1の投影画像(真値)と第1´の投影画像(推定値)の不足誤差を算出し、最も不足誤差が大きい座標Tmを算出する。移動先決定処理を行なっているクォンタムユニットの第1の投影方向に於ける仮移動先は上記Tmの誤差を減少させる位置である。ここで、移動元クォンタムユニットの移動に関して次のような拘束条件を設ける。
<拘束条件(1)>
CTに用いる全投影画像は未知なる断層像を投影したものであり、投影方向が定まれば、投影画像の濃度値は必然的に定まるため、初期再構成画像に於ける該画像の生成に用いた投影方向の濃度積算値は一定でなければならない。故にクォンタムユニットの移動方向は初期再構成画像生成時の投影方向に限定される。
以上の拘束条件により、移動元クォンタムユニットのT軸上の座標をTsとすると、第1の投影方向(S軸)でT軸上の座標Tmを通る直線STmと初期再構成画像を生成した投影方向(Sb軸)でT軸上の座標Tsを通る直線SbTsの交点の座標が移動元クォンタムユニットの仮移動先となる。
続いて、以上で移動先が決定したクォンタムユニットの次に移動優先順位が高いクォンタムユニットも同様な方法で仮移動先を決定する。この際、不足誤差最大である座標Tmの値から1クォンタムユニット分の濃度値を減算した結果を用いて、誤差最大である座標Tm´を算出する。以上の処理を上記優先順位が高い順に全てのクォンタムユニットに対して行い、第1の投影方向に於ける全てのクォンタムユニットの仮移動先を決定する。また、第二から第Nの投影方向に対しても上記と同様に全クォンタムユニットの仮移動先を決定する。
以上のように1つめの処理にて全クォンタムユニットの全投影方向に於ける仮移動先を決定し、2つめの処理にて全クォンタムユニットの実際の移動先を決定する。本実施例では、実際の移動先を全投影方向に於ける仮移動量の平均値とした。
以上の処理にて、該移動先へ全クォンタムユニットを移動し、ステップ406の判定を行なう。その後、判定条件を満たすまで、ステップ404の処理を繰り返す。尚、本実施例では実際の移動先を全投影方向に於ける仮移動量の平均値としたが、実際の移動先を決定するアルゴリズムは平均値以外にも中央値を用いた方法、最頻値を用いた方法などが考えられる。
ステップ409では、ステップ404とは異なる方法でクォンタムユニットを再配列する。本処理では、投影画像を用いず、初期再構成画像の情報のみで再配列を行なう。
図8に示すように、一般的に画像にて構造物を認識するためには、同階調のピクセルが数ピクセル以上連続で存在していなければならない。ステップ409の処理では上記概念から、初期再構成画像に対して以下の拘束条件を付加し、これを満たすよう、再配列を行なう。
<拘束条件(2)>
各階調レベルの領域は個々に分散するも、それぞれにおいては連続領域を形成しなければならない。
本実施例は、画像の濃度値をクォンタムユニットの積算値で表現しているため、クォンタムユニットの濃度値を単位階調レベルとすると、初期再構成画像を階調レベル毎に分割することができる。つまり、各階調レベルに存在するクォンタムユニットが連続領域を形成するよう、クォンタムユニットを移動することで上記条件で拘束された画像を再構成することができる。以下、上記拘束条件を用いたクォンタムユニット移動に関する処理の詳細を示す。
まず、初期再構成画像の全クォンタムユニットから上記拘束条件を満たすために移動しなければならないクォンタムユニットを選定する。ここで、本実施例では、連続体の判定方法として、対象クォンタムユニットを中心としたある領域内に存在するクォンタムユニットの密度を用いる。つまり、該密度に対して閾値を設け、閾値以上であれば連続体とみなす。以上より、移動クォンタムユニットの選定は、全クォンタムユニットに対してそれぞれ上記密度を算出し、閾値以下のクォンタムユニット全てを移動対象とする方法にて行なう。
次に移動対象となった上記クォンタムユニットの移動優先順位を決定する。この時、該優先順位は上記移動対象となったクォンタムユニットが存在する画像内で決定するのではなく、図9に示すように、上記クォンタムユニットが存在する軸内で決定する。尚、本実施例での該軸(Sb軸)は初期再構成画像生成時に用いた投影方向に平行な軸であり、Sb軸と直交するT軸のある座標を通る軸とした(例えば、座標Tiを通る場合、該軸はSbTi軸であり、座標Ti+1を通る場合、該軸はSbTi+1軸である。)。また、該優先順位は密度が低いクォンタムユニット程、高く設定する。
本実施例における密度の算出は、該順位決定対象となるクォンタムユニットを中心にある領域を設け、領域内に存在するピクセル数と該領域内の該クォンタムユニットと同じ階調レベルに在るクォンタムユニット数の比率(クォンタムユニット数 / ピクセル数)から行なう。上記演算をSb軸内に存在する全てのクォンタムユニットに対して行い、上記比率が低いものから順に移動の優先権を与える。
続いて、移動先の優先順位を決定する。該優先順位も上記順位と同様にある領域内に存在するピクセル数とクォンタムユニット数の比率で行なう。但し、本処理は密度の算出をSb軸上の全てのピクセルにて行い、上記比率が高いものから順に移動先となる優先権を与える。
上記移動元優先権が高いクォンタムユニットを上記移動先優先権が高いピクセルへ順次移動し、T軸座標がTiの時のクォンタムユニット再配列が終了する。その後、T軸座標をTi+1、Ti+2と順次移動し、上記再配列処理を行なう。
以上、全ての軸における再配列が終了したら本処理によるクォンタムユニットの再配列は終了となる。
ステップ409の再配列処理後、ステップ410の判定基準を満たしていた場合、上記初期再構成画像を出力し、再構成処理が終了する。ステップ410の判定基準が未達の場合は、ステップ404へ戻り、判定基準を満たすまでステップ404とステップ409の再配列処理を繰り返し行なう。
図10にモデルを用いた本実施例と従来方法との再構成結果の比較例を示す。図10(a)がモデル、図10(b)に本実施例の結果、図10(c)に従来手法の結果を示す。前記モデルは観察対象の傾斜角度範囲が-60°から+60°であり、傾斜刻み角度は2°である。
従来手法の結果では各構造の周辺部に多くの偽像が見て取れる。また、リング形状部は像の一部が欠け、連続体を形成しておらず、棒状部は中腹部の像が欠けて棒状を形成していない。これに対し、本実施例の結果では、上記偽像や像の欠落が大きく低減されている。
最後に、上記において、ステップ406、ステップ410で繰り返し回数による判定を用いているが、該ステップでの判定は該方法に限らず、他にも投影画像との誤差を用いる方法などが考えられる。
上記実施例では電子顕微鏡を用いた電子線コンピュータトモグラフィを例として記載したが、本発明はエックス線コンピュータトモグラフィにも同様に適用可能である。
尚、本発明は、半導体デバイスの三次元形状の可視化、計測や、触媒粒子の粒径計測、分布状態の観察やナノ材料の正確な三次元材料解析を可能とし、材料解析分野での幅広い適用が期待できる。また、細胞や高分子材料においても、細胞内器官の形態の可視化、成分混合状態の観察などの適用が期待できる。
更に、電子線コンピュータトモグラフィ、エックス線コンピュータトモグラフィなどでの適用時は、試料ダメージの軽減、被曝量の軽減などが期待できる。
1・・・試料
2・・・照射レンズ系
3・・・対物レンズ系
4・・・拡大レンズ系
5・・・画像検出部
6・・・コンピュータ
7・・・内部演算装置
8・・・記憶装置
9a,9b・・・コミュニケーションインターフェイス
10・・・バス
11・・・マイクロプロセッサ
12・・・DAC(デジタルーアナログ変換器)
13・・・試料傾斜装置
14・・・電源
15・・・入力装置
16・・・出力装置

Claims (49)

  1. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置を用いた画像処理方法において、該観察対象物をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納し、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算をし、上記観察対象物の投影画像を元に初期再構成画像を生成し、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成して格納し、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を算出する誤差算出演算をし、該誤差から処理の優先度を決定し、階調レベル毎に密度を算出する密度算出演算をし、該密度から処理の優先度を決定し、上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理方法。
  2. 請求項1において、前記画像の濃度値を単位濃度値の積算値とすることを特徴とする画像処理方法。
  3. 請求項1において、前記単位濃度値の総数は全投影画像で共通であることを特徴とする画像処理方法。
  4. 請求項1において、前記画像生成時の投影方向に平行な単位濃度値の総数は不変とすることを拘束条件とした画像処理方法。
  5. 請求項1において、構造物は各成分で必ず連続体を形成することを拘束条件とした画像処理方法。
  6. 請求項5において、前記連続体を同一もしくは同一以上の濃度値を有するピクセルの密度で判定することを特徴とした画像処理方法。
  7. 請求項6において、前記判定する密度の閾値を任意に設定できる画像処理方法。
  8. 請求項1記載の画像処理方法にて得られた結果を用い、濃度値毎、もしくは任意の濃度値範囲毎に上記結果の領域を定義する画像処理方法。
  9. 請求項8記載の画像処理結果を用い、更に測定装置から得られた情報を用いて、観察対象物における、任意領域の体積、表面積、連続領域の個数、質量などを算出できる画像処理方法。
  10. 請求項1において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理方法。
  11. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置を用いた画像処理方法において、該照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納し、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算をし、上記観察対象物の投影画像を元に初期再構成画像を生成し、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成して格納し、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を算出する誤差算出演算をし、該誤差から処理の優先度を決定し、階調レベル毎に密度を算出する密度算出演算をし、該密度から処理の優先度を決定し、上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理方法。
  12. 請求項11において、前記画像の濃度値を単位濃度値の積算値とすることを特徴とする画像処理方法。
  13. 請求項11において、前記単位濃度値の総数は全投影画像で共通であることを特徴とする画像処理方法。
  14. 請求項11において、前記画像生成時の投影方向に平行な単位濃度値の総数は不変とすることを拘束条件とした画像処理方法。
  15. 請求項11において、構造物は各成分で必ず連続体を形成することを拘束条件とした画像処理方法。
  16. 請求項15において、前記連続体を同一もしくは同一以上の濃度値を有するピクセルの密度で判定することを特徴とした画像処理方法。
  17. 請求項16において、前記判定する密度の閾値を任意に設定できる画像処理方法。
  18. 請求項11記載の画像処理方法にて得られた結果を用い、濃度値毎、もしくは任意の濃度値範囲毎に上記結果の領域を定義する画像処理方法。
  19. 請求項18記載の画像処理結果を用い、更に測定装置から得られた情報を用いて、観察対象物における、任意領域の体積、表面積、連続領域の個数、質量などを算出できる画像処理方法。
  20. 請求項11において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理方法。
  21. 観察対象物に電子線又はエックス線を照射し、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置において、該観察対象物をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成するステップ、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納するステップ、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算するステップ、該誤差から処理の優先度を決定するステップ、階調レベル毎に密度を演算するステップ、該密度から処理の優先度を決定するステップ、上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させるステップを有するプログラムを格納したことを特徴とする画像処理記憶媒体。
  22. 請求項21において、前記画像の濃度値を単位濃度値の積算値とすることを特徴とする画像処理記憶媒体。
  23. 請求項21において、前記単位濃度値の総数は全投影画像で共通であることを特徴とする画像処理記憶媒体。
  24. 請求項21記載の初期再構成画像において、前記画像生成時の投影方向に平行な単位濃度値の総数は不変とすることを拘束条件とした画像処理記憶媒体。
  25. 請求項21記載の初期再構成画像において、構造物は各成分で必ず連続体を形成することを拘束条件とした画像処理記憶媒体。
  26. 請求項25記載の初期再構成画像において、前記連続体を同一もしくは同一以上の濃度値を有するピクセルの密度で判定することを特徴とした画像処理記憶媒体。
  27. 請求項26記載の密度判定処理において、前記判定する密度の閾値を任意に設定できる画像処理記憶媒体。
  28. 請求項21において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理記憶媒体。
  29. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置において、該照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成するステップ、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納するステップ、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算するステップ、該誤差から処理の優先度を決定するステップ、階調レベル毎に密度を演算するステップ、該密度から処理の優先度を決定するステップ、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させるステップを有するプログラムを格納したことを特徴とする画像処理記憶媒体。
  30. 請求項29において、前記画像の濃度値を単位濃度値の積算値とすることを特徴とする画像処理記憶媒体。
  31. 請求項30において、前記単位濃度値の総数は全投影画像で共通であることを特徴とする画像処理記憶媒体。
  32. 請求項29記載の初期再構成画像において、該画像生成時の投影方向に平行な単位濃度値の総数は不変とすることを拘束条件とした画像処理記憶媒体。
  33. 請求項29記載の初期再構成画像において、構造物は各成分で必ず連続体を形成することを拘束条件とした画像処理記憶媒体。
  34. 請求項33記載の初期再構成画像において、前記連続体を同一もしくは同一以上の濃度値を有するピクセルの密度で判定することを特徴とした画像処理記憶媒体。
  35. 請求項34記載の密度判定処理において、前記判定する密度の閾値を任意に設定できる画像処理記憶媒体。
  36. 請求項29において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理記憶媒体。
  37. 観察対象物に電子線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置において、上記観察対象物をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成する手段、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納する手段、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算する誤差算出手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する密度算出手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理手段を搭載した電子線コンピュータトモグラフィシステム。
  38. 観察対象物にエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置において、上記照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成する手段、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納する手段、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算する誤差算出手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する密度算出手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理手段を搭載したエックス線コンピュータトモグラフィシステム。
  39. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の傾斜角度を任意に設定できる傾斜装置からなる測定装置において、該測定装置をある角度ステップで傾斜し、得られた画像を傾斜角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成する手段、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納する手段、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算する誤差算出手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する密度算出手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理システム。
  40. 請求項39において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理システム。
  41. 請求項40において、前記誤差算出演算と前記密度算出演算の回数をそれぞれ異なる値に設定して並列処理を行い、複数の結果を導出できることを特徴とする画像処理システム。
  42. 請求項41において、複数台のパーソナルコンピュータを用いて前記並列処理を行うことを特徴とする画像処理システム。
  43. 観察対象物に電子線又はエックス線を照射する照射装置と、観察対象物からの応答を検出する検出装置と、観察対象物を保持する手段と、観察対象物の周辺における前記照射装置の位置を任意に設定できる移動装置からなる測定装置において、該照射装置をある角度ステップで移動し、得られた画像を移動角度毎に第1から第Nの画像データとして格納する手段、格納した第1から第Nの画像データの位置合せをおこなう位置合せ演算手段を有し、上記観察対象物の投影画像を元に初期再構成画像を生成する手段、該再構成画像を任意の角度に投影して第1´から第N´の画像データを生成し格納する手段、上記第1から第Nの画像と上記第1´から第N´の画像それぞれについて対応するピクセルの誤差を演算する誤差算出手段、該誤差から処理の優先度を決定する手段、階調レベル毎に密度を演算する密度算出手段、該密度から処理の優先度を決定する手段、更に上記それぞれの優先度で上記再構成画像の各ピクセルの濃度値を変化させることを特徴とする画像処理システム。
  44. 請求項43において、前記誤差算出演算と前記密度算出演算の回数を個別に設定できることを特徴とした画像処理システム。
  45. 請求項44において、前記誤差算出演算と前記密度算出演算の回数をそれぞれ異なる値に設定して並列処理を行い、複数の結果を導出できることを特徴とする画像処理システム。
  46. 請求項45において、複数台のパーソナルコンピュータを用いて前記並列処理を行うことを特徴とする画像処理システム。
  47. 請求項43において、前記画像データを階調レベル表現に変更する手段と、複数の画像を用いて前記階調レベル表現の各構成要素を変更する手段と前記階調レベル表現を画像データに変更する手段とを備えたことを特徴とする画像処理システム。
  48. 請求項47において、複数の画像を用いて前記階調レベル表現の各構成要素を変更する手段として、連続体を構成するように変更することを特徴とする画像処理システム。
  49. 請求項48において、前記連続体は、前記階調レベル表現の各構成要素の密度に基づいて判断することを特徴とする画像処理システム。
JP2010160529A 2010-07-15 2010-07-15 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム Active JP5427133B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010160529A JP5427133B2 (ja) 2010-07-15 2010-07-15 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム
PCT/JP2011/066035 WO2012008512A1 (ja) 2010-07-15 2011-07-14 画像処理方法、画像処理システム、およびエックス線コンピュータトモグラフィシステム
US13/810,034 US8588499B2 (en) 2010-07-15 2011-07-14 Image processing method, image processing system, and X-ray computed tomography system
EP11806842.8A EP2595172B1 (en) 2010-07-15 2011-07-14 Image processing method, image processing system, and x-ray computed tomography system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010160529A JP5427133B2 (ja) 2010-07-15 2010-07-15 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム

Publications (2)

Publication Number Publication Date
JP2012022922A JP2012022922A (ja) 2012-02-02
JP5427133B2 true JP5427133B2 (ja) 2014-02-26

Family

ID=45469508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010160529A Active JP5427133B2 (ja) 2010-07-15 2010-07-15 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム

Country Status (4)

Country Link
US (1) US8588499B2 (ja)
EP (1) EP2595172B1 (ja)
JP (1) JP5427133B2 (ja)
WO (1) WO2012008512A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105099677B (zh) 2014-04-21 2018-12-14 阿里巴巴集团控股有限公司 一种基于磁力计的验证方法和设备
JP2016205899A (ja) * 2015-04-17 2016-12-08 株式会社ミツトヨ 回転テーブルの制御方法及び装置
US10368822B2 (en) * 2015-08-31 2019-08-06 General Electric Company Iterative X-ray imaging optimization method and system
EP3297018B1 (en) * 2016-09-19 2019-03-27 FEI Company Tomographic imaging method
EP3176569B1 (en) 2016-10-11 2018-12-26 FEI Company Arrangement for x-ray tomography
JP7084653B2 (ja) * 2019-12-18 2022-06-15 学校法人 工学院大学 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2602426B2 (ja) * 1986-03-20 1997-04-23 株式会社日立メデイコ 三次元画像表示装置
US4866612A (en) 1986-03-05 1989-09-12 Hitachi Medical Corporation Imaging system including means to provide a display image with shadows and three dimensional perspectives by a combination of voxel and surface method
JP2005326332A (ja) * 2004-05-17 2005-11-24 Sony Corp 画像情報処理装置および方法、並びにプログラム
WO2007046458A1 (ja) * 2005-10-21 2007-04-26 Axion Japan Co., Ltd パノラマ画像撮影装置及びパノラマ撮影における画像処理方法
US7548604B2 (en) * 2007-01-04 2009-06-16 General Electric Company Method and apparatus for reduction of metal artifacts in CT imaging
JP2008283892A (ja) * 2007-05-16 2008-11-27 Institute Of Physical & Chemical Research 電子顕微鏡用標識
JP2009237704A (ja) * 2008-03-26 2009-10-15 Shimadzu Corp 3次元画像化方法およびx線断層像撮影装置

Also Published As

Publication number Publication date
US20130202180A1 (en) 2013-08-08
JP2012022922A (ja) 2012-02-02
WO2012008512A1 (ja) 2012-01-19
EP2595172A1 (en) 2013-05-22
US8588499B2 (en) 2013-11-19
EP2595172A4 (en) 2014-05-21
EP2595172B1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
JP5427133B2 (ja) 画像処理方法、画像処理記憶媒体、画像処理システム、および電子線またはエックス線コンピュータトモグラフィシステム
Goris et al. Electron tomography based on a total variation minimization reconstruction technique
US11670017B2 (en) Systems and methods for reprojection and backprojection via homographic resampling transform
Gontard et al. Photogrammetry of the three-dimensional shape and texture of a nanoscale particle using scanning electron microscopy and free software
EP2648206B1 (en) Transmission electron microscope for reconstructing a three-dimensional structure and transmission electron microscope image reconstruction method
Alpers et al. Geometric reconstruction methods for electron tomography
AU2016200833B2 (en) A computed tomography imaging process and system
Jørgensen et al. On the accuracy of triple phase boundary lengths calculated from tomographic image data
Jiang et al. Sampling limits for electron tomography with sparsity-exploiting reconstructions
JP6014738B2 (ja) 三次元画像の投影方法
EP2731078B1 (en) Shape extraction method and shape extraction system
CN111670460A (zh) 用于对象的图像重建的、特别是基于计算机断层摄影的图像重建的方法,以及用于该方法的设备、系统和计算机程序产品
Ching et al. Rotation-as-fast-axis scanning-probe x-ray tomography: the importance of angular diversity for fly-scan modes
Karimi et al. A hybrid stochastic-deterministic gradient descent algorithm for image reconstruction in cone-beam computed tomography
Xie et al. Comparative studies of total-variation-regularized sparse reconstruction algorithms in projection tomography
Jun et al. Alignment theory of parallel-beam computed tomography image reconstruction for elastic-type objects using virtual focusing method
Van den Broek et al. A model based atomic resolution tomographic algorithm
Nakano et al. Molecular size dependence on achievable resolution from XFEL single-particle 3D reconstruction
JP7084653B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Wan et al. Iterative methods in large field electron microscope tomography
EP4075126A1 (en) Phase retrieval in electron microscopy
Venkatakrishnan et al. A phantom-based forward projection approach in support of model-based iterative reconstructions for HAADF-STEM tomography
Brandt et al. Motion without correspondence from tomographic projections by Bayesian inversion theory
Buurlage et al. A projection-based data partitioning method for distributed tomographic reconstruction
Kreuz et al. Improving reconstructions in nanotomography for homogeneous materials via mathematical optimization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5427133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350