JP5198654B2 - 合成画像作成方法及び装置 - Google Patents

合成画像作成方法及び装置 Download PDF

Info

Publication number
JP5198654B2
JP5198654B2 JP2011507303A JP2011507303A JP5198654B2 JP 5198654 B2 JP5198654 B2 JP 5198654B2 JP 2011507303 A JP2011507303 A JP 2011507303A JP 2011507303 A JP2011507303 A JP 2011507303A JP 5198654 B2 JP5198654 B2 JP 5198654B2
Authority
JP
Japan
Prior art keywords
image
pattern
imaging
images
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011507303A
Other languages
English (en)
Other versions
JPWO2010114117A1 (ja
Inventor
伸一 篠田
康隆 豊田
良一 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Priority to JP2011507303A priority Critical patent/JP5198654B2/ja
Publication of JPWO2010114117A1 publication Critical patent/JPWO2010114117A1/ja
Application granted granted Critical
Publication of JP5198654B2 publication Critical patent/JP5198654B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22Treatment of data
    • H01J2237/221Image processing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/28Scanning microscopes
    • H01J2237/2813Scanning microscopes characterised by the application
    • H01J2237/2817Pattern inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Length-Measuring Devices Using Wave Or Particle Radiation (AREA)

Description

本発明は、電子顕微鏡等によってパターンを検査する技術に関し、特に、複数の画像を合成して1枚の画像を生成するパノラマ合成を行う技術に関する。
半導体ウエハに形成された高精度の配線パターンの出来映えを検査するのに、従来から測長走査型電子顕微鏡(Critical-Dimension Scanning Electron Microscope: CD-SEM)が広く用いられている。近年、半導体デバイスはプロセスの微細化が進み、45nmプロセスノードの製品の量産が行なわれている。配線パターンの微細化が進むに伴い、検出すべき欠陥も小さくなる。そのため、CD-SEMの撮像倍率は高倍率となる。
近年、配線パターンの微細化に伴い、光学近接効果に起因したパターンの変形が問題となっている。そのため、光学近接効果補正OPC(Optical Proximity Correction)が実施されている。OPCの適正化を目的としてOPCシミュレーションが実施される。OPCシミュレーションでは、OPCを行なって形成したマスクやウエハの配線パターンを撮像し、その画像データをOPCシミュレーションにフィードバックする。こうして、OPCシミュレーションの高精度化、精度の向上が実現される。
OPCシミュレーションにフィードバックする撮像画像は、高倍率で2ミクロン*2ミクロン〜8ミクロン*8ミクロン程の広さの領域が必要である。これは、1画素1nmの分解能の場合、数千画素となる。
広範囲にて高倍率の画像を取得するには、その広さを撮像できるように撮像系の画素数を増やすか、又は、複数回に分割して撮像し、後で1枚にパノラマ合成を行えばよい。特開昭61−22549号公報には、パノラマ合成方法が記載されている。
電子顕微鏡では、撮像対象に電子線を照射し、そこから得られる2次電子を検出して、電子像を生成する。従って、撮像対象がウエハの場合、電子線照射により、レジストが縮み、パターンが変形することが知られている。シュリンクなどパターンの変形を低減するには、電子線の量等を調節する必要がある。特開2008−66312号公報には、電子線の量等を調節する方法が記載されている。
特開昭61−22549号公報 特開2008−66312号公報
パノラマ合成では、複数の画像を接合するとき、画像の縁が隣接する画像の縁と重畳するように、接合する。従って、画像の接合領域に対応する撮像対象上の領域では、複数回の電子線が照射される。撮像対象がウエハの場合、電子線の重複照射によりレジストが縮み、パターンが変形する。このような画像データをOPCシミュレーションにフィードバックしても、OPCシミュレーションの精度を向上させることはできない。
このようなパターンの変形は、電子線量、レジストの材質、パターン形状等によって異なり、予測することが難しい。
本発明の目的は、複数回に分割して撮像した画像をパノラマ合成する場合に、電子線の重複照射に起因するパターンの変形を回避することができる合成画像作成方法及び装置を提供することにある。
本発明によると、複数の画像を繋ぎ合わせて1枚の画像を生成するとき、隣接する2つの画像の縁の接合領域同士を重ね合わせて、1枚の画像を生成する。隣接する2つの画像のうち、撮像順序が早い画像の接合領域を残し、撮像順序が遅い画像の接合領域を消去する。撮像順序が早い画像の接合領域では、撮像順序が遅い画像の接合領域と比較して、電子線照射回数が少ないから、電子線照射に起因したパターンの変形が少ない。
本発明によると、撮像順序が早い画像の接合領域において、電子線照射に起因したパターンの変形を補正する。電子線照射回数とパターンの変形量の関係は予め求めておく。このパターン変形情報に基づいて、接合領域にあるパターンを修正する。
本発明によれば、複数回に分割して撮像した画像をパノラマ合成する場合に、電子線の重複照射に起因する領域におけるパターンの変形を回避することができる撮像装置及び撮像方法を提供することにある。撮像によるパターンの変形に対応し、精度の良い連結画像が得られる。
本発明の合成画像作成装置の構成の例を示す図である。 本発明の合成画像作成装置の構成の他の例を示す図である。 本発明の合成画像作成装置の撮像順序情報記憶部と撮像位置情報記憶部に格納されているデータの例を示す図である。 本発明の合成画像作成装置の変形情報記憶部に格納されているデータの例を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部の構成例を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部の変形補正部の構成例を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部における画像の接合領域の概念を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部における画像の接合領域の概念を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部における画像の接合領域を説明する図である。 本発明の合成画像作成装置において電子線照射回数を算出する処理を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部の変形補正部のパターン部位検出部の構成例を示す図である。 本発明のパターン部位検出部におけるパターン部位の検出方法の概念を示す図である。 本発明のパターン部位検出部におけるパターン部位の検出方法の概念を示す図である。 本発明のパターン部位検出部におけるパターン部位の検出方法の概念を示す図である。 本発明の合成画像作成装置の変形情報記憶部に格納されているデータの変形量を求める方法の概念を示す図である。 本発明の合成画像作成装置の変形情報記憶部に格納されているデータの変形量を求める方法の概念を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部の変形補正部の補正部の構成例を示す図である。 図13に示した本発明の補正部の領域抽出部の構成例を示す図である。 図14に示した本発明の補正部の領域抽出部の閉図形塗潰し部の構成例を示す図である。 図14に示した本発明の閉図形塗潰し部におけるパターンの閉図形を求める概念を示す図である。 図14に示した本発明の閉図形塗潰し部におけるパターンの閉図形を求める概念を示す図である。 図13に示した本発明の補正部の領域複写変形部の構成例を示す図である。 図17に示した本発明の領域複写変形部におけるバイリニア補間処理を説明する図である。 図17に示した本発明の領域複写変形部におけるバイリニア補間処理を説明する図である。 本発明の合成画像作成装置の画像処理部の画像合成部の画像貼合せ部の構成例を示す図である。 撮像対象を16個の領域に分割して、各領域の画像を撮像する処理を示す図である。 本発明の合成画像作成装置の画像処理部の画像合成部における接合処理の処理を示す図である。 本発明の合成画像作成方法において、画像貼合せによる接合領域の電子線照射回数の概念を示す図である。 電子線照射に起因して、撮像対象の電子デバイスのパターンの変形の概念を示す図である。 本発明の合成画像作成装置の他の例の構成を示す図である。 本発明のパノラマ画像合成方法の他の例を説明する図である。 本発明のパノラマ画像合成方法において、撮像領域の重畳領域について、所定の設定に基づいて残すべきパターンエッジを決定する工程を説明するフローチャート図である。
1…画像メモリ 2…画像合成部 3…撮像順序情報記憶部 4…変形情報記憶部 5…撮像位置情報記憶部 6…設計データ記憶部 7… 変形情報生成部 11…撮像装置 12…撮像制御装置 13…画像処理部 21…補正画像選択部 22…変形補正部 23…画像貼合せ部 24…接合領域検出部 25…パターン部位検出部 26…補正部
27…電子線照射回数算出部 28…画像記憶部 231…マッチング処理部 232…合成部 251…平滑化処理部 252…2値化処理部 253…膨張処理部 254…マッチング処理部 255…テンプレートパターン記憶部 256…膨張処理部 261…平滑化処理部 262…2値化処理部 263…領域抽出部 264…領域複写変形部 265…画像貼付処理部 266…連結成分抽出部 267…閉図形塗潰し部 268…膨張処理部 2671…連結成分選択部 2672…閉図形生成部 2673…塗潰し部 2641…画像選択部 2642…バイリニア補間部 2643…記憶部 s0…位置情報 s1…画像データ s2…パターン部位 s3…変形量測定位置
図1を参照して本発明の合成画像作成装置の第1の例の構成について説明する。本例の合成画像作成装置は、撮像装置11、撮像制御装置12、及び、画像処理部13を有する。画像処理部13は、画像メモリ1、画像合成部2、撮像順序情報記憶部3、変形情報記憶部4、撮像位置情報記憶部5、及び、設計データ記憶部6を有する。
撮像装置11は、走査型電子顕微鏡(SEM)、又は、測長走査型電子顕微鏡(CD-SEM)であってよい。走査型電子顕微鏡は、撮像対象のマスク又はウェハに電子線を照射し、そこから放出される2次電子を検出して画像データを取得する。本発明の合成画像作成装置によると、撮像対象のパターンを複数回に分割して撮像し、それを合成して1つの画像を生成する。従って、画像データとして、複数の分割画像が得られる。1つのパターンを9分割して撮像する場合、9枚の分割画像のデータが得られる。撮像制御装置12は、複数の分割画像の撮像位置と撮像順序を設定する。
画像メモリ1は、撮像装置11によって取得した、画像データを記憶する。例えば、1つのパターンを9分割して撮像する場合、9枚の分割画像が画像メモリ1に格納される。
撮像位置情報記憶部5は、撮像制御装置12から提供された、複数の分割画像の撮像位置を記憶する。撮像順序情報記憶部3は、撮像制御装置12から提供された、複数の分割画像の撮像順序を記憶する。撮像位置情報記憶部5及び撮像順序情報記憶部3に記憶される情報の例は、図3を参照して説明する。変形情報記憶部4は、撮像時の電子線照射に起因するレジストの変形情報を記憶する。変形情報記憶部4に記憶される変形情報の例は、後に図4を参照して説明する。設計データ記憶部6は、配線パターンの基となる設計データを記憶する。即ち、撮像対象の配線パターンを含む広範囲なパターン情報を格納する。
画像合成部2は、撮像位置情報記憶部5、撮像順序情報記憶部3、変形情報記憶部4、及び、設計データ記憶部6に記憶された情報に基づいて画像メモリ1に格納されている複数枚の画像データを合成して1枚の画像を生成する。画像合成部2は、更に、画像を合成するとき、分割画像の接合領域における配線パターンを補正する。こうして補正された配線パターンの情報は、変形情報記憶部4に保存される。画像合成部2の詳細は図5を参照して説明する。
本発明の画像処理部13はコンピュータ又は演算装置によって構成してよい。また、画像処理部13における処理は、ソフトウエアを用いて実行してもよい。即ち、コンピュータによってソフトウエアを実行させてもよく、又は、LSIに組み込んでハード処理で行ってもいい。
図2は、本発明の合成画像作成装置の第2の例の構成を示す。本例では、撮像位置情報記憶部5は設けられていない。その代わり、撮像順序情報記憶部3に、撮像位置情報が格納される。
図24を参照して本発明の合成画像作成装置の第3の例の構成について説明する。本例の合成画像作成装置は、撮像装置11、撮像制御装置12、及び、画像処理部13を有する。画像処理部13は、画像メモリ1、撮像順序情報記憶部3、変形情報記憶部4、設計データ記憶部6、及び、変形情報生成部7を有する。
変形情報生成部7は、撮像順序情報記憶部3から撮像順序情報を入力し、画像メモリ1から画像データを入力し、分割画像の接合領域における配線パターンを補正する。こうして補正された配線パターンの情報は、変形情報記憶部4に保存される。変形情報生成部7における処理は、図1及び図2に示した画像合成部2における分割画像の接合領域における配線パターンを補正する処理と同様である。画像合成部2における画像合成処理は、例えば、図13に示す補正部における処理と同様であってよい。
図3を参照して、図1に示した撮像順序情報記憶部3及び撮像位置情報記憶部5に記憶されたデータの例を説明する。撮像順序情報記憶部3には、撮像順序情報テーブル301が格納される。撮像順序情報テーブル301は、撮像順序の順番をアドレスとして画像ファイル名を格納するメモリテーブルによって実現できる。撮像位置情報記憶部5には、撮像位置情報テーブル302が格納される。撮像位置情報テーブル302は、画像ファイル名に対応付けしたアドレスに撮像位置(x、y座標値)を格納するメモリテーブルによって実現できる。
撮像順序情報及び撮像位置情報テーブル303は、撮像順序、画像ファイル名、及び、撮像位置を有する。撮像順序と画像ファイル名は1対1で対応するので、撮像順序情報と撮像位置情報を1つのテーブル303に格納することができる。図2の本発明の合成画像作成装置の第2の例の撮像順序情報記憶部3には、本例の撮像順序情報及び撮像位置情報テーブル303が格納されてよい。
図4に変形情報記憶部4に記憶されているパターンの変形情報の例を示す。変形情報記憶部4は変形情報テーブルを格納する。変形情報テーブルは、例えば、接合領域の位置、電子線照射回数、パターン部位、変形量測定位置、及び、パターン変形量を含む。接合領域の位置は、画像における接合領域の位置を示し、例えば、上部、下部、右部、左部等である。電子線照射回数は、接合領域に対する電子線照射回数を表す。パターン部位は、パターンの形状的な位置を表し、例えば、端点(ラインの終端部分)、コーナー部、直線部、矩形部、斜線部等である。変形量測定位置は、パターンの変形量の測定位置を表し、例えば、端点の場合には、幅等である。パターンの場合には、例えば、上下左右の幅である。測定位置は、基準点からパターンの特定の位置までの距離であってもよい。変形量の測定方法は、図12A及び図12Bを参照して、説明する。パターン変形量は、パターンの変形寸法を示し、通常、縮小量である。画像合成を行うとき、この変形情報テーブルを利用して接合、即ち、貼り合せを行う。
図4に示す変形情報テーブルでは、接合領域は3bit、電子線照射回数は2bit、パターン部位は3bit、パターンにおける位置は3bitの計11bitのアドレスを有する。
変形情報テーブルを作成するには、テストパターンを複数回撮像し、撮像毎に、テストパターン画像の各部位を測長する。各部位を測長するには、各パターンの中心線など基準となる点を利用する。前回と今回の撮像の結果より、測長値の差分値が得られる。これが変形量である。パターンの変形は、基本的には縮小である。
図23を参照して、接合領域におけるパターンの変形の例を説明する。撮像対象には、最も外側の点線で表すパターンが形成されていたものとする。撮像毎に、この接合領域に電子線が照射される。電子線照射毎にパターンが縮小し、電子線照射回数が4回目では実線で示すパターンとなる。そこで、本発明によると、実線で示すパターン画像を補正して、最も外側の点線で示すパターン画像を得る。補正量が、nmのオーダの場合、補正量を画素に変換する必要がある。例えば、補正後の画像データには画素換算の値を付加してもよい。
図12A及び図12Bを参照して、変形量の求め方を説明する。図12Aはパターン形状の場合を示す。破線で示す輪郭線は電子線照射前の像、実線で示す輪郭線は電子線照射後の像を示す。右上、右下、左上、左下のコーナーにおいて、電子線照射前後の基準点cからの距離の差分を求める。図示の例では、左上のコーナーでは、上側の差分D1を求めている、左下のコーナーでは、下側の差分D2と左側の差分D3を求めている。右下のコーナーでは右側の差分D3を求めている。上下左右のコーナーの曲率の変化を求めてもよい。
図12Bはラインの端点の場合を示す。破線で示すラインa1は電子線照射前の像、実線で示すラインa2は電子線照射後の像を示す。電子線照射前後の基準点cからラインの輪郭までの距離の差分を求める。図示のように、ラインの端点の差分D1を求めてもよいが、ラインの幅の差分D3、D4を求めてもよい。尚、輪郭線a2が、パターンを表すのか、それとも、ラインの端点をあらわすのか、不明な場合には、ラインの幅Lを測定することにより決める。
図7A及び図7Bを参照して、本発明による合成画像作成装置において、複数の画像を接合して1つのパノラマ画像を生成する場合を説明する。ここでは、画像の撮像順序と画像の接合順序を説明する。撮像対象上の領域700に、縦に並んだ2つの領域701、702を設定する。領域701は領域aと領域bからなり、領域702は領域bと領域cからなる。2つの領域701、702は領域bにおいて重複する。領域701、702の順に撮像したものとする。1回の撮像では、1回の電子線の照射を行うものとする。領域701を撮像することによって、領域a、bには、それぞれ1回の電子線が照射されるが、次に、領域702を撮像すると、領域aには2回目の電子線が照射されるが、領域bには1回の電子線が照射される。領域bでは、パターンが変形している可能性がある。
参照符号703は、領域701、702を、それぞれ撮像した画像711、712を示す。画像711は、非接合領域711aと接合領域711bからなり、画像712は、非接合領域712aと接合領域712bからなる。画像712の接合領域712bは、領域bに対応する画像部分であり、従って、2回の電子線照射によって得られた像である。従って、画像712の接合領域712bでは、変形したパターンの像が得られている可能性がある。
2つの画像711、712を接合して、パノラマ画像704、705を生成する。パノラマ画像704は、先に撮像した画像711の上に、後に撮像した画像712を重ねるように接合することによって合成されたものである。この場合、2つの画像の貼り合せ領域において、接合領域711bが消去され、接合領域712bが残る。従って、パノラマ画像704は、後に撮像した画像712の接合領域712bを含む。従って、接合するとき、画像712の接合領域712bにおけるパターンの修正を行う必要がある。
パノラマ画像705は、後に撮像した画像712の上に、先に撮像した画像711を重ねるように接合することによって合成されたものである。この場合、2つの画像の重畳領域において、接合領域711bが残り、接合領域712bが消去される。従って、パノラマ画像705は、先に撮像した画像711の接合領域711bを含む。パノラマ画像705は、全て1回の電子線照射によって得られた画像からなる。従って、接合するとき、2つの画像の接合領域におけるパターンの修正は不要である。
図7Bに示す例では、撮像対象上の領域720に、横に並んだ2つの領域721、722を設定する。領域721は領域aと領域bからなり、領域722は領域bと領域cからなる。2つの領域721、722は領域bにおいて重複する。領域721、722の順に撮像したものとする。参照符号723は、領域721、722を、それぞれ撮像した画像731、732を示す。
2つの画像731、732を接合して、パノラマ画像724、725を生成する。パノラマ画像724は、後に撮像した画像732の上に、先に撮像した画像731を重ねるように接合することによって合成されたものである。この場合、2つの画像の重畳領域において、接合領域731bが残り、接合領域732bが消去される。従って、パノラマ画像724は、先に撮像した画像731の接合領域731bを含む。パノラマ画像724は、全て1回の電子線照射によって得られた画像からなる。従って、接合するとき、2つの画像の接合領域におけるパターンの修正は不要である。パノラマ画像725は、先に撮像した画像731の上に、後に撮像した画像732を重ねるように接合することによって合成されたものである。この場合、2つの画像の重畳領域において、接合領域731bが消去され、接合領域732bが残る。従って、パノラマ画像725は、後に撮像した画像732の接合領域732bを含む。従って、接合するとき、画像732の接合領域732bにおけるパターンの修正を行う必要がある。
以上のように、2つの画像を接合してパノラマ画像を生成する場合、接合領域におけるパターンの修正を回避するには、撮像順序が遅い画像の上に、撮像順序が早い画像を重畳し、撮像順序が早い画像の接合領域を残すとよい。
図8A及び図8Bを参照して、撮影順序と接合領域における電子線照射回数の関係を説明する。撮像対象800上に、9個の領域a〜iを設定する。全ての領域a〜iの寸法は同一であり、横の寸法をLx、縦の寸法をLyとする。隣接する2つの領域は、それぞれ重複領域を有する。即ち、各領域は非重複領域と、重複領域からなる。横に隣接する2つの領域の重複領域の幅をΔxとし、縦に隣接する2つの領域の重複領域の幅をΔyとする。撮像対象の横の寸法は3Lx−2Δx、縦の寸法は3Ly−2Δyとなる。
1回の電子線照射によって1つの画像を生成するものとする。9個の領域a〜iをアルファベット順に撮像し、9枚の画像A〜Iを得る。こうして、9枚の画像A〜Iを生成すると、各領域a〜iにおいて、非重複領域11、12、13、21、22、23、31、32、33では、電子線が1回照射される。しかしながら、重複領域23、25、43,45、63、65、32、34、36、52、54、56では、電子線が2回照射される。重複領域66、70、106、110では、電子線が4回照射される。
尚、左上の領域aの非重複領域11の横方向の寸法はMx=Lx−Δx、縦方向の寸法はMy=Ly−Δyである。中央上側の領域Bの非重複領域12の横方向の寸法はNx=Lx−2Δx、縦方向の寸法はMy=Ly−Δyである。中央の領域Eの非重複領域22の横方向の寸法はNx=Lx−2Δx、縦方向の寸法はNy=Ly−2Δyである。
左上の領域aの重複領域のうち横方向に延びる重複領域32の長さはMx、縦方向に延びる重複領域23の長さはMyである。中央の領域Eの重複領域のうち横方向に延びる重複領域34、54の長さは、Nxであり、縦方向に延びる重複領域43、45の長さは、Nyである。4つの重複領域66、70、106、110の横方向の寸法はΔx、縦方向の寸法はΔyである。
図8Bの表801は、9枚の画像A〜Iをアルファベット順に生成する場合に、各領域a〜iの重複領域における電子線の照射回数を示す。この表801は、撮像画像、重複領域、及び、電子線照射回数の関係を示す。先ず、最初に領域aに電子線を照射し、画像Aを生成したとする。重複領域23、32、66における電子線照射回数はいずれも1回である。次に、領域bに電子線を照射し、画像Bを生成したとする。重複領域23、66における電子線照射回数はいずれも2回である。しかしながら、重複領域34、70、25における電子線照射回数はいずれも1回である。
図9を参照して、本発明による合成画像作成装置において、各重複領域における電子線照射回数を算出する処理を説明する。即ち、図8Bに示した、各重複領域における電子線の照射回数を示す表を作成する。本例では、図3に示した撮像順序情報テーブル303が予め与えられているものとする。即ち、全ての画像に対して、撮像順序と撮像位置が予め設定されている。ここでは、図8に示したように、領域a〜iのアルファベット順に撮像し、9枚の画像を得るものとする。領域a〜iの位置は、予め与えられている。例えば、領域a〜iを、X座標及びY座標が小さい順に並べる。こうして、領域a〜iを並べたら、順に画像A〜Iを割り当てる。
ステップS11にて、全ての接合領域における電子線照射回数を表すインデックスを、k=0とし、撮像順序を表すインデックスをn=1とする。図8Aの例では、9個の領域a〜iに対して、16個の重複領域23、25、43、45、63、65、32、34、36、52、54、56、66、70、106、110がある。各重複領域に対して、電子線照射回数を格納するメモリ領域を設け、クリヤする。そして撮像順序に対応するカウンタ値nに1をセットする。
ステップS12にて、撮像順序情報テーブルの撮像順序nに対応する撮像位置を読み出す。現時点ではn=1なので撮像順序1番目の画像の撮像位置を読み出す。図3に示した撮像順序情報テーブル303を参照することによって、撮像順序1番目の画像は、9個の画像A〜Iのうちのどの画像かが判る。本例では、アルファベット順に画像を撮像するとして、撮像順序1番目の画像は、画像Aである。
ステップS13にて、撮像順序情報テーブルの撮像順序nに対応する領域に含まれる全ての重複領域に対応するメモリ領域に電子線照射回数として1を加算する。本例では、領域aに含まれる重複領域23、32、66に対応するメモリ領域に電子線照射回数として1を加算する。
ステップS14にて、図8(b)のテーブルの領域aに含まれる重複領域23、32、66に対応する電子線照射回数の欄に、1を格納する。
ステップS15にて、撮像順序を表すインデックスを1増加する。即ち、n=n+1とする。ステップS16にて、撮像順序nが撮像順序最終値より大きいか否かを判定する。本例では、9個の画像を生成するから、撮像順序最終値は9である。撮像順序nが撮像順序最終値より大きい場合は終了し、それ以外はステップS12へ戻り、ステップS12〜ステップS15の処理を繰り返す。こうして、ステップS15の処理が終了すると、図8Bに示した表が生成される。
図5を参照して、本発明による画像合成部2の例を説明する。本例の画像合成部2は、補正画像選択部21、変形補正部22、及び、画像貼合せ部23を有する。補正画像選択部21は、撮像順序情報記憶部3から撮像順序を入力し、画像メモリ1から2枚の画像を読み込む。補正画像選択部21は、2枚の画像のうち、撮像順序が遅い方の画像を変形補正部22へ出力し、撮像順序が早い画像を画像貼合せ部23へ出力する。本例では、撮像順序が遅い方の画像を補正し、撮像順序が早い画像は補正しない。
補正画像選択部21は、撮像順序に基づいて切り替えるセレクタによって構成してよい。即ち、2つのセレクタを設け、一方のセレクタは撮像順序が遅い方の画像を選択して、変形補正部22へ出力し、他方のセレクタは撮像順序の早い画像を選択して、画像貼合せ部23へ出力する。
変形補正部22は、撮像順序情報記憶部3から撮像順序を入力し、変形情報記憶部4から電子線照射に起因するレジストの変形情報を入力し、設計データ記憶部6から設計データを入力する。変形補正部22は、これらの情報を使用して、補正画像選択部21からの撮像順序が遅い方の画像のうち接合領域における配線パターンを補正する。図7を参照して説明したように、撮像対象上の隣接する領域を順に撮像すると、後から撮像した画像には、電子線を重複して照射した画像部分が含まれる。従って、本例の変形補正部22は、撮像順序が遅い方の画像について、接合領域の像を補正する。変形補正部22は、この補正画像を画像貼合せ部23に出力し、同時に、テンプレート画像として変形情報記憶部4にフィードバックする。
画像貼合せ部23は、補正画像選択部21から撮像順序が遅い方の画像を入力し、変形補正部22から撮像順序が遅い方の画像の補正画像を入力し、更に、撮像順序情報記憶部3から撮像順序を入力する。画像貼合せ部23は、2つの画像について、接合領域の像のマッチング処理を行い、接合位置を検出して画像を合成する。画像貼合せ部23における処理の詳細は、後に、図19を参照して説明する。
本例の変形補正部22は、2つの画像の接合領域において、電子線照射回数が同一となるように、撮像順序の遅い画像を補正してもよい。それには撮像順序の早い画像と撮像順序の遅い画像の間において、接合領域における電子線照射回数の差分を計算する。この差分に相当する分の変形量に基づいて、接合領域の像を補正してよい。
本例の変形補正部22は、撮像順序の遅い画像について補正を行うが、撮像順序の早い画像21aも補正してもよい。即ち、撮像順序の早い画像と遅い画像の両者において、接合領域において、電子線照射回数が同一となるように、パターンの補正を行う。例えば、2つの画像の接合領域において、電子線照射回数が1回目に相当するように、パターンの変形を行ってよい。
図6を参照して、本発明による画像合成部2の変形補正部22の例を説明する。変形補正部22は、接合領域検出部24、パターン部位検出部25、補正部26、撮像回数算出部27、及び、画像記憶部28を有する。
接合領域検出部24は、画像メモリ1から画像を入力し、撮像順序情報記憶部3から撮像順序s0を入力し、画像における接合領域を検出する。接合領域は、電子線照射回数が複数となる可能性のある領域の画像部分である。接合領域検出部24は、接合領域の画像データs1をパターン部位検出部25、補正部26及び電子線照射回数算出部27に出力する。
パターン部位検出部25は、接合領域検出部24から接合領域の画像データs1を入力し、設計データ記憶部6から設計データを入力する。パターン部位検出部25は、接合領域の画像データs1からパターン部位s2と変形量測定位置s3を検出し、それを補正部26に出力する。パターン部位s2、及び、変形量測定位置s3は、図4を参照して説明した。即ち、パターン部位s2は、端点、コーナー、直線、矩形、斜線等である。変形量測定位置s3は、パターン部位s2の種類によって異なり、例えば、パターン部位が端点の場合は、幅、基準位置から上端までの距離等である。パターン部位検出部25の詳細は図10及び図11を参照して説明する。
補正部26は、接合領域検出部24からの接合領域の画像データs1と、パターン部位検出部25からのパターン部位s2及び変形量測定位置s3と、変形情報記憶部4からの変形量と、設計データ記憶部6からの設計データを入力し、接合領域の画像データを補正し、それを画像記憶部28に記憶する。補正部26における補正処理の詳細は図13を参照して説明する。
接合領域に複数のパターンがある場合には、このような補正処理をパターン毎に繰り返せばよい。2回目以降の補正処理では、画像記憶部28から、補正処理後の画像データを読み出し、補正したパターン部位のみを上書きしてもよいし、補正したパターン部位を、既存の画像データに貼り合せてもよい。
電子線照射回数算出部27は、接合領域検出部24から、接合領域の画像データs1を入力し、撮像順序情報記憶部3から撮像順序を入力し、各接合領域の電子線照射回数を計算する。電子線照射回数算出部27は、各接合領域の電子線照射回数を、変形情報記憶部4のテーブルに格納する。
図10を参照して、本発明による画像合成部2の変形補正部22のパターン部位検出部25の例を説明する。本例のパターン部位検出部25は、平滑化処理部251、2値化処理部252、2つの膨張処理部253、256、マッチング処理部254、及び、テンプレートパターン生成部255を有する。平滑化処理部251は、接合領域検出部24からの接合領域の画像データs1を入力し、それを平滑化する。2値化処理部252は、平滑化処理部251からの接合領域の画像データs1を2値化し、膨張処理部253に出力する。膨張処理部253は、2値化処理部252からの2値化データを膨張処理によって膨張させる。
一方、テンプレートパターン生成部255は、設計データ記憶部6から、接合領域に対応する設計データを読み出し、接合領域内のパターンからテンプレート画像を作成する。テンプレートパターン生成部255は、テンプレート画像を、変形情報記憶4及び膨張処理部256に出力する。膨張処理部256は、テンプレート画像を、膨張処理によって膨張させる。
マッチング処理部254は、接合領域の画像データs1から得られた2値化且つ膨脹化データと、テンプレート画像の膨張化データをマッチングさせ、パターン部位を検出する。マッチング処理部254は、パターン部位s2及び変形量測定位置s3を補正部26に出力する。
マッチング処理部254は、正規化相関処理を用いたマッチングを用いてよい。しかしながら、本例のマッチング処理部254は、2値化した画像間のマッチングを行う。従って、単に黒画素と白画素の一致した数を求め、それを所定の閾値と比較することにより、テンプレート画像のパターンと同一であるかを判定してもよい。
本例の平滑化処理部251は、ガウスフィルタを用いて入力データを平滑化してよい。2値化処理部252は、一般的な2値化処理によって入力データを2値化してよい。即ち、閾値より大きい画素値を1、閾値より小さい画素値を0とする。膨張処理部253、256は、一般的な膨張処理によって入力データを2値化してよい。例えば、黒画素が1画素あれば、その周囲の隣接する8画素全てを黒にする。このような処理を繰り返すことによって、パターンを膨張化する。
図11A、図11B、及び、図11Cを参照して、テンプレートパターン生成部255におけるテンプレートパターン生成方法の例を説明する。撮像画像の撮像位置と、接合領域が撮像画像の上下左右のどの位置であるかが判っていれば、撮像画像の接合領域の設計データ上の座標範囲が判る。その座標範囲を含む設計データを、2値の画像データに変換し、コーナー検出フィルタを用いてコーナーを検出する。
図11Aは、接合領域に対応する設計データのパターンの例を示す。本例のパターンは、幅Lの帯状の突起を含む。本例のパターンは、2つの端点(ラインエンド)P1、P2、2つのコーナー部P3、P4、及び、隣接する端点の間の直線部を含む。図11Bは、コーナー検出フィルタの例を示す。フィルタF1〜F4を用いることによって、端点P1、P2及びコーナー部P3、P4を検出することができる。例えば、設計データの端点P1を含むパターン部位の輪郭線が、フィルタF1と一致すれば、フィルタF1に対応する形状のコーナーがあると判断する。こうして、検出したパターン部位の輪郭線をテンプレート画像とする。尚、テンプレートパターンは、設計データから生成したから、図11Aに示すように、直角形状を含む。しかしながら、端点やコーナー部の撮像画像は実際には直角にはならない。そのため、端点やコーナー部を検出したら、図11Cに示すように、実際のパターンに近い輪郭形状に補間したパターンによって、テンプレートパターンを置き換えてもよい。
図13を参照して、本発明による画像合成部2の変形補正部22の補正部26の例を説明する。補正部26は、平滑化処理部261、2値化処理部262、領域抽出部263、領域複写変形部264、および、画像貼付処理部265を有する。平滑化処理部261は、接合領域検出部24からの接合領域の画像データs1を入力し、それを平滑化する。2値化処理部262は、平滑化処理部261からの接合領域の画像データs1を2値化し、領域抽出部263に出力する。領域抽出部263は、2値化処理部262からの2値化データと、設計データ記憶部6からの設計データと、パターン部位検出部25からのパターン部位s2及び変形量測定位置s3を入力する。領域抽出部263は、パターン領域を抽出し、パターン領域の画像データを領域複写変形部264に出力する。領域抽出部263の詳細は図14を参照して説明する。
領域複写変形部264は、領域抽出部263からのパターン領域の画像データと、変形情報記憶部4からの電子線照射に起因するレジストの変形情報と、接合領域検出部24からの接合領域の画像データs1を入力し、パターン画像を複写補正する。領域複写変形部264の詳細は図17を参照して説明する。領域複写変形部264は、補正したパターン画像を、画像貼付処理部265に出力する。画像貼付処理部265は、接合領域検出部24からの接合領域の画像データs1と、領域複写変形部264からの補正パターン画像を入力し、接合領域の画像データs1に補正パターン画像を貼り付ける。
図14を参照して、本発明による画像合成部2の変形補正部22の補正部26の領域抽出部263の例を説明する。領域抽出部263は、連結成分抽出部266、閉図形塗潰し部267、及び、膨張処理部268を有する。連結成分抽出部266は、2値化処理部262からの接合領域の画像データs1の2値化データを入力し、黒画素の連結成分を抽出する。連結成分抽出266は、一般的に知られている8連結法を用いて連結成分を抽出してよい。
閉図形塗潰し部267は、連結成分抽出部266からの黒画素の連結成分と、設計データ記憶部6からの設計データと、パターン部位検出部25からのパターン部位s2及び変形量測定位置s3を入力し、閉図形を作成し、閉図形内部を塗潰す。膨張処理部268は、塗潰した閉図形を膨張させる。膨張処理部268における膨張処理は、図10を参照し説明したパターン部位検出部25の膨張処理部253、256における膨張処理と同一であってよい。2値化して求めたパターンの縁部分は閾値により変動する。そのため、本来のパターンの縁が、閉図形に完全に入らない可能性がある。そのため、閉図形を膨張処理させることにより、パターンの縁が確実に閉図形に入るように、マージンを持たせる。
図15及び図16A、図16Bを参照して、本発明による画像合成部2の変形補正部22の補正部26の領域抽出部263の閉図形塗潰し部267の例を説明する。閉図形塗潰し部267は、連結成分選択部2671、閉図形生成部2672、及び、塗潰し部2673を有する。
連結成分選択部2671は、連結成分抽出部266からの接合領域の画像データs1の2値化データの黒画素の連結成分と、パターン部位検出部25からのパターン部位S2及び変形量測定位置s3を入力する。連結成分選択部2671は、連結成分抽出部266から入力した連結成分のうち、補正対象パターン1601が含まれる連結成分を、例えば以下のように、選択する。連結成分選択部2671は、先ず、連結成分1603の各画素について、補正対象パターン1601が存在する画素位置との距離を求める。この距離に基づいて、連結成分1603のうち、補正対象パターン1601が存在する画素位置に最も近い画素を含む連結成分1604を選択する。
閉図形生成部2672は、連結成分選択部2671によって選択した連結成分のうち、補正対象パターンが含まれる連結成分からなる閉図形を生成する。図16Aは、連結成分抽出部266から入力した連結成分1603がコーナーのパターンである場合を示す。図示の例のように、連結成分1603は、補正対象パターン1601内の部分と補正対象パターン1601外の部分の2つの領域に分けることができる。設計データ記憶部6から、連結成分1603の設計データ1602が得られている。閉図形生成部2672は、連結成分1603に対応する設計データ1602を用いて、この2つの領域のうち、補正対象パターン1601内の部分を、選択する。こうして選択した補正対象パターン1601内の部分を1つの閉図形とする。
塗潰し部2673は、閉図形を黒塗りする。こうして、図16Bに示すように、黒塗りされた閉図形1604が得られる。
図17及び図18A、図18Bを参照して、本発明による画像合成部2の変形補正部22の補正部26の領域複写変形部264の例を説明する。領域複写変形部264は、画像選択部2641、バイリニア補間部2642、及び、記憶部2643を有する。画像選択部2641は、領域抽出部263からのパターン領域の画像データと、接合領域検出部24からの接合領域の画像データs1を入力し、パターン領域に対応する接合領域の画像データs1を選択し、記憶部2643に記憶する。
領域抽出部263から入力するパターン領域の画像データは、図16に示したように、黒塗りされた閉図形である。例えば、画像選択部2641は、黒塗りされた閉図形の画素を1とし、黒塗りされていない部分の画素を0とする。この画素の値に、画素の座標を乗算した値を、記憶部2643に記憶させてよい。
バイリニア補間部2642は、記憶部2643から、パターン領域に対応する接合領域の画像データs1を入力し、変形情報記憶部4から、レジストの変形情報を入力する。バイリニア補間部2642は、接合領域の画像データs1を、変形情報を用いて、バイリニア補間によって、補正、即ち、拡大する。
図18A及び図18Bを参照して、バイリニア補間部2642におけるバイリニア補間処理を説明する。図18Aは、領域抽出部263から入力する接合領域1801の画像データs1、即ち、閉図形パターン1802の例を示す。このパターン1802の幅は、mライン目において、x方向に53画素目から200画素目までの147画素であったとする。変形情報記憶部4からの変形情報によると、この接合領域1801におけるパターン1802の変形量は、左側-3nm、右側が-2nmであったとする。1nm=1画素で換算する。この場合、パターン1802を、左側にて3画素分拡大させ、右側にて2画素分拡大させる。その結果、パターン1804の幅は、mライン目において、x方向に50画素目から202画素目までの152画素になる。また、点1803は左側に3画素分移動し点1805となる。図18Bは、バイリニア補間処理によって拡大されたパターン1804を示す。ここでは、変形情報記憶部4からの変形情報が、X方向の拡大量の場合を説明した。変形情報が、X方向の拡大量の場合も同様である。
図19に本発明による画像合成部2の画像貼合せ部23の例を示す。画像貼合せ部23は、マッチング処理部231と合成部232を有する。マッチング処理部231は、補正画像選択部21から撮像順序が遅い方の画像を入力し、変形補正部22から撮像順序が遅い方の画像の変形画像を入力する。図5を参照して説明したように、画像合成部2では、基本的には、撮像順序が遅い方の画像の接合領域の像を変形するが、撮像順序が早い方の画像については変形しない。そこで、本例のマッチング処理部231では、撮像順序が遅い方の画像、即ち、補正変形した画像をテンプレートとして、撮像順序が早い方の画像のうちの接合領域の画像の位置を検出する。本例では、変形補正部22において、変形が補正された画像をテンプレートとして、位置決めするため、高精度のマッチングが可能となる。
合成部232は、マッチング処理部231からの位置情報、補正画像選択部21からの撮像順序が遅い方の画像、変形補正部22からの撮像順序が遅い方の画像、及び、撮像順序情報記憶部3からの撮像順序を、入力する。合成部232は、マッチング処理部231にて検出した位置情報に基づいて、2つの画像を接合し合成する。
図22を参照して、本発明による画像合成部2の画像貼合せ部23における接合処理の方法を説明する。撮像対象2201に、4個の領域a〜dを設定する。全ての領域a〜dの寸法は同一であるものとする。図示のように隣接領域には破線にて示す重複領域が設けられている。先ず、撮像順序を説明する。アルファベット順に撮像する場合、領域aを撮像した後に領域bを撮像する。従って、領域aと領域bの重複領域では、1回目の電子線の照射後の短い時間の後に2回目の電子線の照射が行われる。一方、領域aの次に領域dを撮像し、次に、領域b、領域cの順に撮像する場合、領域aと領域bの重複領域では、1回目の電子線の照射後の比較的長い時間の後に2回目の電子線の照射が行われる。従って、アルファベット順に、即ち、隣接する領域を順番に撮像するよりも、隣接しない領域を選択して撮像したほうがよい。
ここでは、領域a、領域d、領域b、領域cの順に撮像するものとする。アルファベットに付加した数字は撮像順序を表す。全ての領域を撮像した後では、細長い重複領域では、電子線の照射回数は2回、中央の正方形の重複領域では、電子線の照射回数は4回となる。
4つの画像2202は、領域a、領域d、領域b、領域cの順に撮像して得たものである。アルファベットに付加した数字は撮像順序を表す。図示のように、画像Aの場合、全ての領域にて、電子線照射回数が1回の画像が得られる。画像Dの場合、破線にて示す正方形の接合領域では、電子線照射回数が2回の画像となるが、それ以外の領域では、電子線照射回数が1回の画像が得られる。画像Bの場合、細長い接合領域では、電子線照射回数が2回の画像となり、正方形の接合領域では、電子線照射回数が3回の画像が得られ、それ以外の領域では、電子線照射回数が1回の画像が得られる。画像Cの場合、細長い接合領域では、電子線照射回数が2回の画像となり、正方形の接合領域では、電子線照射回数が3回の画像が得られ、それ以外の領域では、電子線照射回数が1回の画像が得られる。
次に、接合順序を説明する。上述のように、一般に、撮像順序が早い画像ほど、電子線照射回数が少ない画像が得られる。既に説明したように、2つの画像を接合するとき、重ねあわされる接合領域では、下側の接合領域が消去され上側の接合領域が残る。パノラマ画像が、電子線照射回数が少ない領域からの画像をできるだけ多く含むようにするには、撮像順序が遅い画像を下側に配置し、撮像順序が早い画像を上側に配置し、接合領域では撮像順序が早い画像の接合領域が残るようにすればよい。
パノラマ画像2203は、画像A、画像B、画像D、及び、画像Cの順に、接合領域を重ね合わせて合成したもののである。アルファベットに付加した数字は重ね合わせの順序を表す。パノラマ画像2204は、パノラマ画像2203の各接合領域における電子線照射回数を表す。細長い接合領域では、電子線照射回数が2回の画像となり、正方形の接合領域では、電子線照射回数が4回の画像となり、それ以外の領域では、電子線照射回数が1回の画像となる。
パノラマ画像2205は、画像C、画像D、画像B、及び、画像Aの順に、接合領域を重ね合わせて合成したもののである。アルファベットに付加した数字は重ね合わせの順序を表す。パノラマ画像2206は、パノラマ画像2205の各接合領域における電子線照射回数を表す。画像Bと画像Dの間の細長い接合領域では、電子線照射回数が2回の画像となり、それ以外の領域では、電子線照射回数が1回の画像となる。
パノラマ画像2207は、画像C、画像B、画像D、及び、画像Aの順に、接合領域を重ね合わせて合成したもののである。アルファベットに付加した数字は重ね合わせの順序を表す。パノラマ画像2208は、パノラマ画像2207の各接合領域における電子線照射回数を表す。全ての領域において、電子線照射回数が1回の画像となる。パノラマ画像2207における4個の画像の重ね合わせ順序と、撮像対象2201における、4個の領域a〜dにおける撮像順序を比較すると、丁度反対である。即ち、撮像順序の反対の順序にて、画像を接合すればよい。
図20及び図21を参照して、本発明による接合処理を説明する。図20に示すように、撮像対象上に横4個、縦4個の合計16個の領域1〜16を設定し、それらを撮像した画像1〜16を接合して1枚のパノラマ画像を生成する。撮像順は、隣接する領域は、連続して撮像しないようにする。隣接する領域における重複領域にて、短時間で連続して電子線を照射すると、重複領域が帯電し、画像が歪んだり、パターンが見えなくなる場合がある。
本例の接合処理によると、初めに領域の位置座標に基づいて全ての接合領域の座標を求める。次に、撮像順序に基づいて、全ての画像を貼り合わせする。
ステップS21にて、各画像の接合位置座標を初期化しておき、ステップS22にて、領域1〜16に対応する16個の画像1〜16の1番目の画像を読み込み、ステップS23にて、2番目の画像2を読み込み、ステップS24にて、1番目の画像1と2番目の画像2の接合領域の位置を求め、その座標を記憶する。
ステップS25にて、現在の画像が最終番目かどうか判定し、最終番目でなければ、1プラスした番目の画像を読み込む。こうしてステップS25及びステップS26を繰り返し、最終番目の画像の接合領域の位置を求める。
ステップS27にて、合成画像領域に画像1〜16の接合座標をマッピングする。ここでは、2枚の画像間の接合領域の位置を求めるが、それを繰り返すことにより、合成画像領域に全ての画像を配置した場合の各接合領域の座標値が得られる。
例えば、x方向だけで説明する。各画像のx方向の寸法が100画素であるとする。合成画像領域の原点(x=0)に、画像1の左上を整合させる。画像1と画像2の間の接合領域が、画像1の80画素目から100画素目までとする。画像2は80画素目から180画素までとなる。画像2と画像3の間の接合領域が、画像2の70画素目から100画素目までとする。画像3は150画素目(80画素+70画素)から250画素までとなる。合成画像領域における画像1〜16の接合位置は、原点から各画像の左端のx方向の座標で表す。例えば、画像1の接合位置は0、画像2の接合位置は80、画像3の接合位置は150となる。このように画像1〜16の接合位置を、マッピングした座標として求める。次に撮像する順番を用いて接合する。
ステップS31にて、合成画像領域の全画像の確定フラグを0クリヤする。撮像順序として1を設定する。ステップS32にて、撮像順序に設定された値に対応する画像を読み込む。ここでは撮像順序1の画像を読み込む。ステップS33にて、読み込んだ画像に対応する合成画像領域における接合位置を読み出す。ステップS34にて、接合位置から確定フラグが0の画素についてのみ画像を書き込む。撮像順序1に対応する画像を書き込むとき、全て確定フラグは0である。そこで、撮像順序1に対応する画像領域の全画素が書き込まれる。ステップS35にて、ステップS34にて、書き込んだ全画素位置に対応する確定フラグに1を書き込む。これは、上書きを防ぐための処理となる。撮像順序1に対応する画像領域は全て書き込まれるので撮像順序1に対応する画像領域は全てに確定フラグに1を書き込む。
本例によると、画素に画像が書き込まれていると、確定フラグが1になるから、それ以降は、その画素は上書きされない。こうして、撮像順に画像が書き込まれ、書き込まれた画像は、上書きはされないため、最初に書き込まれた画像、即ち、撮像順序が最も早い画像が残る。
ステップS36にて、撮像順序に+1を加算し、ステップS37にて、撮像順序が最終値より、大きいかどうかを判定する。大きい場合は終了し、それ以外はステップS32〜ステップS37の処理を繰り返す。撮像順序が最終値になれば、合成後の画像が完成し、どの画素でも電子線照射回数1回目のデータとなる。
これまでの実施例では、撮像順序の早い画像、すなわちパノラマ画像を形成する上でビームの照射量が一番少ないと考えられる撮像領域から、パノラマ画像を形成するためのパターンを抽出した。以下に、他の基準に基づいてパノラマ画像形成用パターンを抽出する法を説明する。
図25を参照して、パノラマ画像合成の他の例を説明する。本例では、4つの撮像領域(第1の撮像領域2501、第2の撮像領域2502、第3の撮像領域2503、第4の撮像領域2504)を設定し、パノラマ画像を形成する。先ず、第1の撮像領域2501を最初に撮像し、以降、第2、第3、第4の順で撮像(SEMによるビーム走査)を行う。また、パノラマ画像合成のために、重畳領域2511〜2514を設定する。
本例では、例えばパターン2505やパターン2506については、パターン変形の観点から、第1の撮像領域2505内に含まれるパターンエッジを残すことが望ましい。しかしながら、例えばパターン2507等に関しては、必ずしもそうではない。例えば、パターン2507の大部分は、第2の撮像領域2502に含まれ、第1の撮像領域2501と第2の撮像領域2502が重畳する重畳領域2511には、パターン2507の僅かに一部分のみが含まれる。このような場合は、重畳領域2511に含まれるパターン2507の一部も、第2の撮像領域2502から抽出する。それにより、パターン2507全体について、接続部の少ないパターン画像を取得することができる。
ビーム走査の繰り返しに基づくパターン変形等の影響が少ないのであれば、1つの視野(撮像領域)にてパターン抽出を行うことが望ましい場合がある。例えば、パターン2507の左端から右端までの寸法を測定する場合を想定する。測定基準となる一端と他端の間にパターンの接合部がない方が好ましい。そのため、パターン2507にフラグを立てておき、このパターン2507の接続回数がなるべく少なくなるように、撮像領域を決定するようなアルゴリズムを設計するとよい。逆にパターン2506とパターン2510との間のギャップ寸法を測定する場合には、そのギャップ部分が1つの撮像領域内に入ることが望ましい。この場合には、第1の撮像領域2501から、2つのパターンを抽出するとよい。また、このようなパターン抽出すべき撮像領域を決定する場合に、パターンの設計データに露光シミュレーションを施してもよい。露光シミュレーションによって、パターンが変化する。そこで、パターンの寸法値が所定値より大きくなった箇所、又は、パターン間の距離が所定値より小さくなった箇所等が一視野(撮像領域)に収まるように撮像領域を選択する。この場合、撮像順番とは異なる判断基準に基づいて、パターンを抽出すべき視野(撮像領域)を決定するようなアルゴリズムが必要である。
更に、ある視野(撮像領域)において、あるパターンの属する占有面積、又は、パターン面積の比率が所定値以上である場合に、撮像順番とは異なる判断基準に基づいて、パターン抽出をすべき視野(撮像領域)を決定してもよい。例えば、パターン2507について、撮像領域2501と撮像領域2502における占有面積を比較すると、パターン2507の殆どは撮像領域2502に含まれている。このような場合には、撮像領域2502からパターン抽出を行えばよい。それによって、パターン2507について、接続部が極めて少ない画像を形成することができる。
半導体デバイスの設計データには、パターンの大きさや形状に関する情報が記録されている。従って、設計データのレイアウトデータ上で、撮像領域を設定することできる。それによって、撮像領域、或いは重畳領域内に含まれるパターンの面積等を算出することができる。これを、上述の撮像順番とは異なる判断基準として用いることができる。
また、測定を希望する位置についても、設計データに基づいて、予め設定できるように構成してよい。それによって、上述の判断を自動的に実施することができる。パターン2508や2509については、他の事情がなければ、撮像順に従ってパターン抽出用の視野(撮像領域)の選択を行うことが望ましい。
一方、パターン2510の場合、その一部が、4つの撮像領域が跨る重畳領域2515内にある。この場合、パターンの変形を極力嫌うのであれば、重畳領域2511に属する部分については、撮像領域2501からパターン抽出を行い、その他の部分については、撮像領域2502からパターン抽出を行い、それを合成すればよい。また1つの撮像領域のみからパターン抽出を行うことを望むのであれば、撮像領域2502からパターンを抽出すればよい。パターンの種類や走査電子顕微鏡の使用者の測定目的に応じて、設定すべき条件は変化するため、任意の設定を可能とすることが望ましい。
図26は、パターンを抽出すべき撮像領域を決定し、パノラマ画像を形成する工程を説明するフローチャートである。まず、先に説明した実施例のように、接合処理開始(S2601)に続いて、各重畳領域についてパターンマッチング(S2602)を行う。次に、設計データを参照すること等によって、重畳領域に含まれるパターンの認定(S2603)を行う。次に、認定されたパターンは、所定条件が設定されているパターンであるか否かを判断(S2604)する。ここで所定条件とは、先に説明した測定位置や占有面積等について予め設定された基準条件である。例えば、パターンの占有面積が所定値以上である撮像領域を選択する、パターンを1つの撮像領域より抽出する、等である。所定の条件が設定されたパターンの場合には、所定の条件に基づいて、撮像領域を選択し、当該パターンを抽出(S2606)する。認定されたパターンが、所定条件が設定されているパターンでない場合には、撮像順番を基準として、即ち、撮像回数が少ない撮像領域を選択(S2605)する。
こうして選択した撮像領域からパターンを抽出し、接合パターンを形成(S2607)する。次に、接合パターン形成が済んでいないパターンが存在するか否かを判定(S2608)する。接合パターン形成が済んでいないパターンが存在する場合には、再度S2604〜S2607の処理を行う。接合パターン形成が済んでいないパターンが存在しなくなったら、最後に、パノラマ画像を完成(S2609)させる。以上のような構成によれば、種々の条件に基づいて、パターン抽出すべき撮像領域を自動で決定することが可能となる。
以上本発明の例を説明したが本発明は上述の例に限定されるものではなく、請求の範囲に記載された発明の範囲にて様々な変更が可能であることは、当業者によって容易に理解されよう。

Claims (20)

  1. 走査電子顕微鏡による画像を繋ぎ合わせて1つの画像を生成する合成画像作成方法において、
    電子デバイスのパターンを含む撮像対象を複数の領域に分割し、該領域毎に画像を撮像し、該撮像した画像を画像メモリに格納するステップと、
    前記画像の撮像位置を記憶するステップと、
    前記画像の撮像順序を記憶するステップと、
    前記撮像位置及び前記撮像順序に基づいて前記画像メモリから取り出した複数の画像を接合する画像合成ステップと、
    を有し、
    前記画像合成ステップでは、隣接する2つの画像の縁に設けた接合領域同士が重畳するように、且つ、隣接する2つの画像のうち、撮像順序が遅い画像の接合領域が消え、撮像順序が早い画像の接合領域が残るように、画像を接合することを特徴とする合成画像作成方法。
  2. 請求項1記載の合成画像作成方法において、
    前記撮像順序は、撮像対象上の複数の領域ついて、隣接する領域を連続して撮像しないように、設定されていることを特徴とする合成画像作成方法。
  3. 請求項1記載の合成画像作成方法において、前記画像合成ステップにおける画像の接順序は、前記撮像順序とは逆の順であることを特徴とする合成画像作成方法。
  4. 請求項1記載の合成画像作成方法において、
    電子線の照射に起因した電子デバイスのパターンの変形に関する情報を変形情報記憶装置に記憶するステップと、
    前記パターンの変形に関する情報に基づいて、前記画像の接合領域における前記パターンを補正するパターン補正ステップと、
    を有する合成画像作成方法。
  5. 請求項4記載の合成画像作成方法において、
    前記パターン補正ステップにおいて、前記2つの画像のうち、撮像順序が遅い画像の接合領域におけるパターンの変形が、撮像順序が早い画像におけるパターンの変形量と同一となるように、前記撮像順序が遅い画像のパターンを補正することを特徴とする合成画像作成方法。
  6. 請求項4記載の合成画像作成方法において、
    前記パターンの変形に関する情報は、電子線照射回数と前記パターンの変形量を含むことを特徴とする合成画像作成方法。
  7. 請求項4記載の合成画像作成方法において、
    前記パターンの変形に関する情報は、複数回の撮像によって得たテストパターンの画像の差分情報に基づいて作成することを特徴とする合成画像作成方法。
  8. 請求項4記載の合成画像作成方法において、
    前記パターンの変形に関する情報は、撮像順序の早い撮像画像の接合領域を基準に、撮像順序の遅い撮像画像の接合領域の差分情報に基づいて作成することを特徴とする合成画像作成方法。
  9. 請求項4記載の合成画像作成方法において、
    前記パターン補正ステップは、
    前記画像の接合領域における前記パターンの像の部位を検出するパターン部位検出ステップと、
    前記パターン部位における変形量を前記変形情報記憶装置から読み出すステップと、
    前記パターン部位における変形量に基づいて前記パターンを補正するステップと、を有することを特徴とする合成画像作成方法。
  10. 請求項記載の合成画像作成方法において、
    前記パターン部位検出ステップは、
    設計データから前記パターンに対応するテンプレートパターンを生成するテンプレートパターン生成ステップと、
    前記接合領域を2値化する2値化ステップと、
    前記テンプレートパターン生成ステップによって得たテンプレートと前記2値化ステップによって得た2値化画像データをマッチングさせるマッチングステップと、
    を有することを特徴とする合成画像作成方法。
  11. 請求項10記載の合成画像作成方法において、
    前記パターン部位検出ステップは、更に、
    前記テンプレートの輪郭を膨脹させる膨脹化ステップと、
    前記2値化画像データの輪郭を膨脹させる膨脹化ステップと、
    を有し、前記マッチングステップは、前記膨脹化した画像データをマッチングさせることを特徴とする合成画像作成方法。
  12. 電子デバイスのパターンを含む撮像対象の走査電子顕微鏡像を取得するための撮像装置と、該撮像装置によって取得した画像データを記憶する画像メモリと、該画像メモリに格納された画像を繋ぎ合わせて1つの画像を生成する画像処理部と、を有する合成画像作成装置において、
    前記画像処理部は、前記撮像装置によっ撮像された画像の撮像位置及び撮像順序を記憶する記憶部と、前記パターンの設計データを記憶する設計データ記憶部と、前記画像メモリに格納されている複数の画像を接合して1枚の画像を生成する画像合成部と、を有し、
    前記画像合成部は、前記撮像位置及び前記撮像順序に基づいて前記画像メモリから取り出した複数の画像を、隣接する2つの画像の縁に設けた接合領域同士が重畳するように、接合し、
    更に、隣接する2つの画像のうち、撮像順序が遅い画像の接合領域が消え、撮像順序が早い画像の接合領域が残るように、画像を接合することを特徴とする合成画像作成装置。
  13. 請求項12記載の合成画像作成装置において、
    前記撮像順序は、撮像対象上の複数の領域ついて、隣接する領域を連続して撮像しないように、設定されていることを特徴とする合成画像作成装置。
  14. 請求項12記載の合成画像作成装置において、前記画像合成部における画像の接順序は、前記撮像順序とは逆の順であることを特徴とする合成画像作成装置。
  15. 請求項12記載の合成画像作成装置において、
    前記記憶部は、電子線の照射に起因した電子デバイスのパターンの変形に関する情報を格納しており、
    前記画像合成部は、前記パターンの変形に関する情報に基づいて、前記画像の接合領域における前記パターンを補正することを特徴とする合成画像作成装置。
  16. 請求項12記載の合成画像作成装置において、
    前記画像合成部は、前記2つの画像のうち、撮像順序が遅い画像の接合領域におけるパターンの変形が、撮像順序が早い画像におけるパターンの変形量と同一となるように、前記撮像順序が遅い画像のパターンを補正することを特徴とする合成画像作成装置。
  17. 請求項15記載の合成画像作成装置において、
    前記パターンの変形に関する情報は、電子線照射回数と前記パターンの変形量を含むことを特徴とする合成画像作成装置。
  18. 請求項15記載の合成画像作成装置において、
    前記パターンの変形に関する情報は、複数回の撮像によって得たテストパターンの画像の差分情報に基づいて作成することを特徴とする合成画像作成装置。
  19. 請求項15記載の合成画像作成装置において、
    前記パターンの変形に関する情報は、撮像順序の早い撮像画像の接合領域を基準に、撮像順序の遅い撮像画像の接合領域の差分情報に基づいて作成することを特徴とする合成画像作成装置。
  20. 走査電子顕微鏡と該走査電子顕微鏡による画像を繋ぎ合わせて1つの画像を生成する合成画像作成装置を備えた走査電子顕微鏡装置において、
    前記合成画像作成装置は、電子デバイスのパターンを含む撮像対象の走査電子顕微鏡像を記憶する画像メモリと、該画像メモリに格納された画像を繋ぎ合わせて1つの画像を生成する画像処理部と、
    前記画像処理部は、前記走査電子顕微鏡によっ撮像された画像の撮像位置及び撮像順序を記憶する記憶部と、前記パターンの設計データを記憶する設計データ記憶部と、前記画像メモリに格納されている複数の画像を接合して1枚の画像を生成する画像合成部と、を有し、
    前記画像合成部は、前記撮像位置及び前記撮像順序に基づいて前記画像メモリから取り出した複数の画像を、隣接する2つの画像の縁に設けた接合領域同士が重畳するように、接合し、
    更に、隣接する2つの画像のうち、撮像順序が遅い画像の接合領域が消え、撮像順序が早い画像の接合領域が残るように、画像を接合する走査電子顕微鏡装置。
JP2011507303A 2009-04-03 2010-04-02 合成画像作成方法及び装置 Expired - Fee Related JP5198654B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011507303A JP5198654B2 (ja) 2009-04-03 2010-04-02 合成画像作成方法及び装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009091390 2009-04-03
JP2009091390 2009-04-03
JP2011507303A JP5198654B2 (ja) 2009-04-03 2010-04-02 合成画像作成方法及び装置
PCT/JP2010/056062 WO2010114117A1 (ja) 2009-04-03 2010-04-02 合成画像作成方法及び装置

Publications (2)

Publication Number Publication Date
JPWO2010114117A1 JPWO2010114117A1 (ja) 2012-10-11
JP5198654B2 true JP5198654B2 (ja) 2013-05-15

Family

ID=42828401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011507303A Expired - Fee Related JP5198654B2 (ja) 2009-04-03 2010-04-02 合成画像作成方法及び装置

Country Status (3)

Country Link
US (1) US20120092482A1 (ja)
JP (1) JP5198654B2 (ja)
WO (1) WO2010114117A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5542478B2 (ja) * 2010-03-02 2014-07-09 株式会社日立ハイテクノロジーズ 荷電粒子線顕微鏡
US10535129B2 (en) 2011-01-26 2020-01-14 Hitachi High-Technologies Corporation Pattern matching apparatus and computer program
CN103703755B (zh) * 2011-07-22 2016-02-10 富士胶片株式会社 全景图像产生方法和图像捕获设备
DE102012204697A1 (de) * 2012-03-23 2013-09-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur optimierung der bestimmung von aufnahmebereichen
JP5783953B2 (ja) * 2012-05-30 2015-09-24 株式会社日立ハイテクノロジーズ パターン評価装置およびパターン評価方法
JP6572117B2 (ja) * 2015-12-04 2019-09-04 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
GB2545492B (en) * 2015-12-18 2020-07-01 Imagination Tech Ltd Capturing an image of a scene from a captured sequence of scene portions
EP3236486A1 (en) * 2016-04-22 2017-10-25 Carl Zeiss Microscopy GmbH Method for generating a composite image of an object and particle beam device for carrying out the method
JP7018770B2 (ja) 2018-01-15 2022-02-14 東芝Itコントロールシステム株式会社 放射線検査装置
US11747292B2 (en) 2019-03-20 2023-09-05 Hitachi High-Tech Corporation Charged particle beam apparatus
KR20210010148A (ko) * 2019-07-19 2021-01-27 삼성전자주식회사 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 복수의 카메라들을 이용한 사진 촬영 방법
CN110969576B (zh) * 2019-11-13 2021-09-03 同济大学 一种基于路侧ptz相机的高速公路路面图像拼接方法
TWI738510B (zh) * 2020-09-15 2021-09-01 倍利科技股份有限公司 半導體元件圖像疊合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128197A (ja) * 2002-10-02 2004-04-22 Jeol Ltd パターン接続精度検査方法
JP2004163420A (ja) * 2002-10-22 2004-06-10 Nano Geometry Kenkyusho:Kk パターン検査装置および方法
JP2005277395A (ja) * 2004-02-23 2005-10-06 Nano Geometry Kenkyusho:Kk パターン検査装置および方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0786466B2 (ja) * 1990-07-18 1995-09-20 大日本スクリーン製造株式会社 プリント基板のパターン検査装置
US6587581B1 (en) * 1997-01-10 2003-07-01 Hitachi, Ltd. Visual inspection method and apparatus therefor
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
US6528787B2 (en) * 1999-11-30 2003-03-04 Jeol Ltd. Scanning electron microscope
US7864369B2 (en) * 2001-03-19 2011-01-04 Dmetrix, Inc. Large-area imaging by concatenation with array microscope
EP1455378B1 (en) * 2001-11-21 2013-08-14 Hitachi High-Technologies Corporation Sample imaging method and charged particle beam system
US7456377B2 (en) * 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
JP4338627B2 (ja) * 2004-12-17 2009-10-07 株式会社日立ハイテクノロジーズ 荷電粒子線装置と荷電粒子線顕微方法
JP4490864B2 (ja) * 2005-04-28 2010-06-30 株式会社日立ハイテクノロジーズ 画像形成方法
JP4769025B2 (ja) * 2005-06-15 2011-09-07 株式会社日立ハイテクノロジーズ 走査型電子顕微鏡用撮像レシピ作成装置及びその方法並びに半導体パターンの形状評価装置
WO2008118886A1 (en) * 2007-03-23 2008-10-02 Bioimagene, Inc. Digital microscope slide scanning system and methods
JP4951496B2 (ja) * 2007-12-26 2012-06-13 株式会社日立ハイテクノロジーズ 画像生成方法及びその画像生成装置
JP5412169B2 (ja) * 2008-04-23 2014-02-12 株式会社日立ハイテクノロジーズ 欠陥観察方法及び欠陥観察装置
JP5030906B2 (ja) * 2008-09-11 2012-09-19 株式会社日立ハイテクノロジーズ 走査荷電粒子顕微鏡を用いたパノラマ画像合成方法およびその装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128197A (ja) * 2002-10-02 2004-04-22 Jeol Ltd パターン接続精度検査方法
JP2004163420A (ja) * 2002-10-22 2004-06-10 Nano Geometry Kenkyusho:Kk パターン検査装置および方法
JP2005277395A (ja) * 2004-02-23 2005-10-06 Nano Geometry Kenkyusho:Kk パターン検査装置および方法

Also Published As

Publication number Publication date
WO2010114117A1 (ja) 2010-10-07
JPWO2010114117A1 (ja) 2012-10-11
US20120092482A1 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
JP5198654B2 (ja) 合成画像作成方法及び装置
US7679055B2 (en) Pattern displacement measuring method and pattern measuring device
JP5030906B2 (ja) 走査荷電粒子顕微鏡を用いたパノラマ画像合成方法およびその装置
JP4951496B2 (ja) 画像生成方法及びその画像生成装置
JP4659004B2 (ja) 回路パターン検査方法、及び回路パターン検査システム
KR101522804B1 (ko) 패턴 매칭 장치 및 기록 매체
JP4982544B2 (ja) 合成画像形成方法及び画像形成装置
JP5604067B2 (ja) マッチング用テンプレートの作成方法、及びテンプレート作成装置
WO2013121939A1 (ja) オーバーレイ計測方法、計測装置、走査型電子顕微鏡およびgui
WO2011114644A1 (ja) 走査荷電粒子顕微鏡を用いた画像生成方法及び装置、並びに試料の観察方法及び観察装置
US8994815B2 (en) Method of extracting contour lines of image data obtained by means of charged particle beam device, and contour line extraction device
TWI417676B (zh) 描繪裝置、描繪裝置用資料處理裝置、及描繪裝置用之描繪資料產生方法
WO2011080873A1 (ja) パターン計測条件設定装置
JPH1173501A (ja) 参照画像作成方法およびパターン検査装置
US20110286685A1 (en) Image formation method and image formation device
WO2009090727A1 (ja) 表示装置
JPH11257940A (ja) パターン評価方法及びパターン評価装置
US9224226B2 (en) Image display device for direct drawing apparatus, and recording medium
JP5198546B2 (ja) 回路パターン検査方法、及び回路パターン検査システム
JP2011171510A (ja) 荷電粒子ビーム描画装置
WO2018138874A1 (ja) 荷電粒子線装置
JP4750084B2 (ja) キャリブレーション方法およびキャリブレーション装置
JP2008014717A (ja) 欠陥検査システムおよび欠陥検査方法
JP5396496B2 (ja) 合成画像形成方法及び画像形成装置
JP2012042483A (ja) 画像生成装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5198654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees