JP4753711B2 - ３次元画像表示装置、３次元画像表示装置の操作方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

Description

本発明は、荷電粒子線を観察対象の試料に照射し、試料から得られる信号を検出して観察像を得る荷電粒子線装置や、光学的に拡大した画像を撮像・表示するデジタルマイクロスコープ等の３次元画像表示装置、３次元画像表示装置の操作方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。

今日、微小物体を拡大する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等の他、電子レンズを使った電子顕微鏡が利用されている。電子顕微鏡は、電子の進行方向を自由に屈折させ、光学顕微鏡のような結像システムを電子光学的に設計したものである。電子顕微鏡には、試料や標本を透過した電子を電子レンズを用いて結像する透過型の他、試料表面で反射した電子を結像する反射型、収束電子線を試料表面上に走査して各走査点からの二次電子を用いて結像する走査型電子顕微鏡、加熱あるいはイオン照射によって試料から放出される電子を結像する表面放出型（電界イオン顕微鏡）等がある。

走査型電子顕微鏡（Scanning Electron Microscope：ＳＥＭ）は、対象となる試料に細い電子線（電子プローブ）を照射した際に発生する二次電子や反射電子を、二次電子検出器、反射電子検出器等それぞれの検出器を用いて取り出し、ブラウン管やＬＣＤ等の表示画面上に表示して、主として試料の表面形態を観察する装置である。一方、透過型電子顕微鏡（Transmission Electron Microscope：ＴＥＭ）は、薄膜試料に電子線を透過させ、その際に試料中で原子により散乱、回折された電子を電子回折パターン又は透過電顕像として得ることによって主に物質の内部構造を観察できる。

電子線が固体試料に照射されたとき、電子のエネルギーによって固体中を透過するが、その際に試料を構成する原子核や電子との相互作用によって弾性的な衝突、弾性散乱やエネルギー損失を伴う非弾性散乱を生じる。非弾性散乱によって試料元素の殻内電子を励起したり、Ｘ線等を励起したり、また二次電子を放出し、それに相当するエネルギーを損失する。二次電子は衝突する角度によって放出される量が異なる。一方、弾性散乱によって後方に散乱し、試料から再び放出される反射電子は、原子番号に固有の量が放出される。ＳＥＭはこの二次電子や反射電子を利用する。ＳＥＭは電子を試料に照射し、放出される二次電子や反射電子を検出して観察像を結像している。

このような電子顕微鏡で撮像した電子線観察像を利用して、３次元画像を生成することが行われている。一般的には、電子顕微鏡で視差を生じさせるよう傾けて撮像した２枚以上のステレオペア像に基づいて、３次元画像を再構築することが行われている（例えば特許文献１）。この方法は、一般的にはまず１枚目の画像を撮像し、次に視差を生じされるよう所定の角度に観察対象を傾斜させて、かつ１枚目の画像と同じ視点となるように位置合わせを行い、２枚目の画像を撮像した後、これらの２枚の画像に基づいて画像処理を行い３次元画像を演算する。

また一方で、微小物体等を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。マイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光又は透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤ等の受光素子を備える。ＣＣＤを用いて電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献２）。

拡大観察装置においては、一般に拡大倍率が高くなると焦点深度が浅くなり、ピントの合う領域が狭くなるため、観察対象の試料（ワーク）に凹凸や高低差があると全体を観察することが困難となる。このため、画像全体にピントの合った画像を深度合成によって作成する手法が利用されている。深度合成は、高さ方向にレンズ又は試料を移動させ、光軸方向における相対距離を変化させて複数の画像を撮影し、ピントの合った部分を抽出して合成することで、焦点深度の深い画像を撮像する。また、複数の画像を撮影する際に、レンズ又は観察対象の移動量を同時に記録しておけば、合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を３次元データとして構築することも可能である。３次元データに基づいて３次元画像を拡大観察装置の表示部に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さ等表面形状の測定を行うことができる。また上記と同様に、視差画像に基づいて３次元画像を構築することもできる。
特開平１−２３５１４０号公報 特開２０００−２１４７９０号公報

このような電子顕微鏡等の荷電粒子線装置あるいは光学顕微鏡やデジタルマイクロスコープ等の拡大観察装置で撮像した画像から３次元画像を構築し、これをディスプレイ等の表示部で表示させて拡大・縮小や回転させる等、視点を変更したり、あるいは高さや体積等の演算を行うといった３次元画像表示装置が開発されている。また３次元画像表示装置で、２つの３次元画像を並べて表示し、これらを対比して観察したり、相違点を調べることも可能である。例えば、所定の基準品と、比較品とを対比させ、異常が見られないかを確認することができる。このような３次元画像の比較においては、２つの画像の相違する部分を自動的に抽出する技術も開発されている。

本願出願人は先に、２つの３次元画像の差分を抽出して表示可能な拡大観察装置を開発した（特願２００４−１５２５４５号）。この拡大観察装置では、基準となる３次元画像と比較対象となる３次元画像の表示倍率が同じとなるよう表示倍率を調整し、さらに基準３次元画像で表示される対象物の視点と、比較３次元画像で表示される視点とを一致させるように調整した状態で、２つの３次元画像を重ね合わせた際の形状の差分を抽出し、これを３次元差分画像として表示部に表示可能としている。これにより、複数の３次元画像の形状の相違部分のみを検出、比較することができる。

しかしながら、この方法では単純に一方の３次元画像全体から他方の３次元画像全体を減算することで差分を求めていたため、不要な差分が検出されるという問題があった。このことを、図５１〜図５２に基づいて説明する。図５１は、比較対象となる３次元画像として第１の３次元画像Ｇ４を左に、第２の３次元画像Ｇ５を右に、それぞれ表示部に表示した状態を示している。この例では、高さをイメージさせるために、３次元画像の各部の高さに応じて等高線状に着色している。これら第１の３次元画像Ｇ４、第２の３次元画像Ｇ５の差分を抽出する例を、図５２に示す。図５２において左側領域は、第１の３次元画像Ｇ４、第２の３次元画像Ｇ５を重ね合わせた状態、図５２の右側領域は第１の３次元画像Ｇ４から第２の３次元画像Ｇ５を減算した３次元差分画像Ｇ６を、それぞれ示している。このように、従来の差分画像の演算方法は、単純に３次元画像同士を、底面が一致するように重ねた状態として、一方から他方を減算することで差分画像を算出していた。この結果、図５２の右側に示す差分画像のように、平面部分においても差分が検出されて段差状に表示されている。通常の比較では、図５１の左右に示す第１の３次元画像Ｇ４、第２の３次元画像Ｇ５のように、平面状から何らかの突出、窪みを有するような形状同士を比較する場合は、互いの３次元画像の平面状の部分を一致させて、この面を基準として突出量や窪み量を比較することが求められている。にもかかわらず、従来の差分抽出手法では、３次元画像の底面を一致させるようにして差分を検出していたため、本来差分として検出したくない平面状の領域まで差分として抽出されることとなって、不都合が生じていた。

さらに、上記の例では比較対象の画像の平面が平行になっているが、一方に対して他方が傾斜している場合もあり得る。このような場合は更に不要な差分が検出されることとなる。このためユーザは傾斜や高度差が差分として検出されないように、傾きを調整し、さらに高さ方向の調整を行って平面を一致させた後、差分を抽出する必要がある。このような位置合わせの作業には、傾きと高さの調整、平面内の平行移動、回転等があり、極めて煩雑で容易でないという問題があった。

本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、複数の３次元画像を対比して差分を抽出する際に、必要な部分を検出し、必要でない部分を検出しないように指定可能な３次元画像表示装置、３次元画像表示装置の操作方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を提供することにある。

上記の目的を達成するために、本発明の第１の３次元画像表示装置は、観察対象の３次元画像を取得可能な３次元画像取得手段と、３次元画像取得手段で取得された第１の３次元画像と第２の３次元画像を表示可能な表示部と、表示部に、該第１の３次元画像と、該第２の３次元画像を表示させた状態において、該第１の３次元画像が有する大きさに関する情報に基づいて、該第２の３次元画像の表示倍率が同じとなるよう表示倍率を調整可能な倍率調整部と、表示部で表示される、倍率調整部により倍率調整された３次元画像に対して、さらに第１の３次元画像で表示される対象物の視点と、第２の３次元画像で表示される対象物の視点とを一致させるように調整可能であって、少なくとも移動、傾き、回転のいずれかを調整可能な視点調整部と、表示部上において少なくともＸ，Ｙ方向の軸を持つ直交座標軸を表示可能な直交座標軸表示手段と、表示部に表示される３次元画像に重ねて表示可能な基準となる平面を基準面として生成する基準面生成手段と、基準面生成手段で生成された基準面を、直交座標軸と別個に移動させるための基準面移動手段と、表示部に、第１の３次元画像と第２の３次元画像を表示させ、基準面移動手段で基準面を第１の３次元画像の所望の位置に位置合わせした状態で、この基準面を基準として、第２の３次元画像との差分を演算して、表示部上に３次元差分画像として表示可能な差分抽出部とを備える。これにより、３次元画像の任意の位置に基準面を重ねて表示させることが可能となり、ユーザは３次元画像に対する表示や演算、比較等が視覚的に容易に行えるようになる。また、複数の画像の相違点を比較する際に、基準となる平面をユーザが任意に設定できるので、判り易い差分画像として表示できる。さらに、表示部において複数の３次元データを対比する際に自動的に表示倍率を同じにできる。さらにまた視点調整部で同じ視点に調整すれば、倍率と姿勢を同じにしてこれらの比較を容易にできる。

また、第２の３次元画像表示装置は、基準面生成手段が、基準面を複数設定可能に構成できる。

さらに、第３の３次元画像表示装置は、基準面移動手段が、基準面を平行移動させる。これにより、複数の３次元画像を比較する際に、基準面を３次元画像の底の位置から平行移動させて、比較に適した平面に調整することが可能となる。

さらにまた、第４の３次元画像表示装置は、差分抽出部が、リアルタイムで３次元差分画像を演算して表示部上の表示を更新可能に構成している。これにより、現在設定された条件での３次元差分画像を確認できるので、設定条件の調整を容易に行える利点が得られる。

さらにまた、第５の３次元画像表示装置はさらに、表示部で表示される３次元画像に対して、基準面によって指定された領域の体積又は容積を演算可能な演算手段を備える。これにより、表示部上で表示される３次元画像に対する演算が容易に行える。特に基準面を移動させて領域を指定することで、演算対象領域を視覚的に指定でき、所望の領域の指定が容易になる。

さらにまた、第６の３次元画像表示装置は、基準面生成手段が、３次元画像上で指定された任意の点に基づき、この点を基準位置として近傍の３次元画像の表面の形状を抽出し、基準位置で３次元画像の表面に接する面を基準面とする。これにより、ユーザは所望の位置を３次元画像上から指定して、基準面を容易に設定できる。また、傾斜している面を基準面として指定することも可能であり、複数の３次元画像同士で傾斜面を位置合わせする際等にも好適に利用できる。

さらにまた、第７の３次元画像表示装置は、３次元画像取得手段が、観察対象を撮像するための撮像部と、撮像部で取得された信号に基づいて３次元の観察画像を生成する３次元画像生成部とを備える。これにより、撮像部で撮像されたデータに基づいて３次元画像を構築し、さらにこの３次元画像に対して比較や観察を容易に行うことが可能となる。

さらにまた、第８の３次元画像表示装置は、基準面の傾斜を調整可能に構成できる。

さらにまた、第９の３次元画像表示装置は、３次元画像及び／又は差分抽出部が抽出した３次元差分画像にハイライト処理を付加して、表示部に表示可能なハイライト処理手段を備える。これにより、複数の３次元画像の相違を観察する際に、３次元画像のどの部分が異なっているかを３次元画像上で表示できるので、確認を容易に行える。

さらにまた、第１０の３次元画像表示装置は、ハイライト処理が３次元画像及び／又は３次元着色画像への着色処理である。これにより、複数の３次元画像の相違を観察する際に、３次元画像の相違部分を着色して表示できるので、確認が容易となる。

さらにまた、第１１の３次元画像表示装置は、差分抽出部が、所定値を超える差分のみを検出して３次元差分画像を生成可能に構成している。これにより、細かな相違を排除して、一定以上の違いのみを検出するようにし、差分の検出を実効的に行うことができる。

さらにまた、第１２の３次元画像表示装置は、さらに各３次元画像に重ねて表示される３次元画像の透過率を調整可能な透過率調整部を備える。これにより、複数の３次元画像を重ねて表示する際に、これらを同時に表示させて重なり具合を確認でき、しかも適切な比率に変更できるので、ユーザの嗜好や観察目的等に応じた表示状態に調整できる。

さらにまた、第１３の３次元画像表示装置は、３次元画像データがさらに高さ情報を有しており、３次元画像データが有する該高さ情報に基づいて、高さ毎に割り当てられた色を着色する着色画像生成部を備える。これにより、高さ毎に着色された３次元着色画像として、高さを色で判別することができる。

さらにまた、第１４の３次元画像表示装置は、差分抽出部が抽出した差分データを保存可能に構成している。これにより、差分データや３次元差分画像を保存して単独での表示や重ね合わせ表示、解析等に再利用することができる。

さらにまた、第１５の３次元画像表示方法は、複数の３次元の観察画像を取得して各々表示部に表示し、これらの３次元画像を対比して観察可能な３次元画像表示方法であって、第１の３次元画像及び第２の３次元画像を取得すると共に、表示部に並べて、あるいは重ねて表示する工程と、第１の３次元画像が有する大きさに関する情報に基づいて、第１の３次元画像と第２の３次元画像の表示倍率が同じとなるように、表示倍率を調整し、さらに必要に応じて、第１の３次元画像で表示される対象物の視点と、第２の３次元画像で表示される対象物の視点とを一致させるように表示部における第１の３次元画像、及び第２の３次元画像の姿勢を調整する工程と、表示部に表示される３次元画像に重ねて表示可能な、基準となる平面を基準面として生成し、この基準面を、表示部上において少なくともＸ，Ｙ方向の軸を持つ直交座標軸と別個に、所望の位置に配置させる工程と、この基準面を基準として、第１の３次元画像と第２の３次元画像との差分を演算して、表示部上に３次元差分画像として表示する工程とを含む。これにより、複数の画像の相違点を比較する際に、基準となる平面をユーザが任意に設定できるので、判り易い差分画像として表示できる。

さらにまた、第１６の拡大観察操作プログラムは、複数の３次元の観察画像を取得して各々表示部に表示し、これらの３次元画像を対比して観察可能な３次元画像表示プログラムであって、第１の３次元画像及び第２の３次元画像を取得すると共に、表示部に並べて、あるいは重ねて表示する機能と、第１の３次元画像が有する大きさに関する情報に基づいて、第１の３次元画像と第２の３次元画像の表示倍率が同じとなるように、表示倍率を調整し、さらに必要に応じて、第１の３次元画像で表示される対象物の視点と、第２の３次元画像で表示される対象物の視点とを一致させるように表示部における第１の３次元画像、及び第２の３次元画像の姿勢を調整する機能と、表示部に表示される３次元画像に重ねて表示可能な、基準となる平面を基準面として生成し、この基準面を、表示部上において少なくともＸ，Ｙ方向の軸を持つ直交座標軸と別個に、所望の位置に配置させる機能と、この基準面を基準として、第１の３次元画像と第２の３次元画像との差分を演算して、表示部上に３次元差分画像として表示する機能とをコンピュータに実現可能である。これにより、複数の画像の相違点を比較する際に、基準となる平面をユーザが任意に設定できるので、判り易い差分画像として表示できる。

さらにまた、第１７のコンピュータで読み取り可能な記録媒体又は機器は、３次元画像表示プログラムを記録したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ、ｂｌｕ−ｌａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。また上記のプログラムは、ネットワークを介してダウンロード可能な形態も含まれる。

以上の本発明の３次元画像表示装置、３次元画像表示方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器によれば、複数の画像の相違点を比較する際に、基準となる平面をユーザが任意に設定できるので、判り易い差分画像として表示できる。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための３次元画像表示装置、３次元画像表示方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を例示するものであって、本発明は３次元画像表示装置、３次元画像表示方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を以下のものに特定しない。

また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。

本発明の実施例において使用される３次元画像表示装置とこれに接続される設定、操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ、ＯＦＤＭ方式等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において３次元画像表示装置とは、３次元画像の表示を行う装置のみならず、３次元画像やその元となる２次元画像を取得するための拡大観察装置、これらにコンピュータ、外部記憶装置等の周辺機器を組み合わせた撮像システムも含む意味で使用する。
（第１の実施の形態）

以下、図１から図２を用いて、本発明の第１の実施の形態に係る３次元画像表示装置を説明する。この３次元画像表示装置は拡大観察装置であり、図１に示すように観察対象の試料を照明するための照明部６０と、照明部６０により照明された試料を撮像する撮像部１０と、撮像部１０で撮像された拡大画像を表示する表示部５２を有する情報処理装置５０を備える。さらに図１の拡大観察装置は、試料を固定する試料固定部（試料Ｓを載置するステージ３０）と、光学系１１を介して入射する試料固定部に固定された試料Ｓからの反射光又は透過光を電気的に読み取る撮像素子（ＣＣＤ１２）と、試料固定部と光学系１１の光軸方向における相対距離を変化させ焦点を調整する焦点調整部（ステージ昇降器２０）とを備える。さらにまた情報処理装置５０は、図２に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の２次元位置情報と共に記憶する焦点距離情報記憶部（メモリ５３）と、撮像素子によって読み取られた画像を表示する表示部５２と、表示部５２によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部（操作部５５、ポインティングデバイス５５Ａ）と、領域設定部によって設定された領域に対応する試料Ｓの一部又は全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Ｓの光軸方向における平均高さを演算する演算部（制御部５１）とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光又は透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ（深さ）を演算できる。

撮像部１０は、図２に示すように、試料Ｓを載置する試料固定部の一形態であるステージ３０と、ステージ３０を移動させるステージ昇降器２０と、ステージ３０に固定された試料に光学系を介して入射される光の反射光又は透過光を、２次元状に配置された画素毎に電気的に読み取る撮像素子の一形態としてＣＣＤ１２と、ＣＣＤ１２を駆動制御するＣＣＤ駆動回路１３とを備える。さらに撮像部１０には、拡大観察装置本体である情報処理装置５０が接続される。情報処理装置５０は、撮像素子によって電気的に読み取られた画像データを記憶する画像データ記憶部の一形態としてメモリ５３と、撮像素子によって電気的に読み取られた画像データに基づいて画像を表示するディスプレイやモニタ等の表示部５２と、表示部５２上に表示される画面に基づいて入力その他の操作を行う操作部５５と、操作部５５によって入力された情報に基づいて画像処理その他各種の処理を行う制御部５１とを備える。表示部５２を構成するディスプレイは、高解像度表示が可能なモニタであり、ＣＲＴや液晶パネル等が利用される。

操作部５５はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察装置操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図１の例では、操作部５５はマウス５５ａ等のポインティングデバイス５５Ａで構成される。

図１に本発明の実施の形態に係る拡大観察装置の外観図を示す。光学系及び撮像素子を有するカメラ１０ａは、スタンド台４１から鉛直方向に延びる支柱４２に固定されたカメラ取り付け部４３に取り付けられる。スタンド台４１には、試料Ｓを載置するステージ３０が上部に取り付けられたステージ昇降器２０が配置される。カメラ１０ａ及びステージ昇降器２０は情報処理装置５０に接続されて制御される。情報処理装置５０は、表示部５２、及びマウス５５ａ等の操作部５５を備える。表示部５２には、観察画像が表示される。

また、情報処理装置５０である拡大観察装置にはコンピュータ７０を接続可能であり、コンピュータ７０に別途拡大観察装置操作プログラムをインストールして、コンピュータ７０側からも拡大観察装置を操作することもできる。本明細書において、３次元画像表示プログラムとは、コンピュータを使って拡大観察装置を操作する拡大観察装置操作プログラムを含み、拡大観察装置に外部接続された汎用もしくは専用コンピュータにインストールされる操作プログラムの他、上述した拡大観察装置の制御部である情報処理装置５０に内蔵された操作プログラムも含む。拡大観察装置には、予め拡大観察装置を操作する操作機能あるいは操作プログラムが内蔵されている。この操作プログラムは、書き換え可能なソフトウェア、ファームウェア等の形態で拡大観察装置に対してインストール、あるいはアップデートすることも可能である。従って、本明細書において拡大観察装置操作プログラムを実行させるコンピュータには、拡大観察装置自体も含まれる。

図２に本発明の実施の形態に係る拡大観察装置のブロック図を示す。情報処理装置５０は、表示部５２と、制御プログラム・焦点距離情報・受光データ・２次元情報等を記憶するメモリ５３と、情報処理装置５０がカメラ１０ａ及びステージ昇降器２０とデータを通信するためのインターフェイス５４と、操作者が拡大観察装置に関する操作を行う操作部５５とから構成される。ステージ昇降器２０は、例えばステッピングモータ２１と、ステッピングモータ２１の昇降を制御するモータ制御部２２とから構成される。撮像部１０は、撮像素子として例えばＣＣＤ１２等の受光素子と、ＣＣＤ１２を駆動制御するＣＣＤ駆動回路１３と、照明部６０からステージ３０上に載置された試料Ｓに対して照射された光の透過光や反射光をＣＣＤ１２上に結像させる光学系１１とを備える。
（画素ずらし手段）

さらに撮像部１０は、画素ずらしによってＣＣＤ１２の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるＣＣＤ駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。図２においては、ステージ３０に固定された試料Ｓから光学系１１を介してＣＣＤ１２に入射される反射光又は透過光の入射光路を、少なくとも一の方向に、その方向におけるＣＣＤ１２の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部１４を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。

情報処理装置５０は、モータ制御回路２２に対してステッピングモータ２１の制御に関する制御データを入力することによって、試料固定部であるステージ３０と、光学系１１及び撮像素子であるＣＣＤ１２を有するカメラ１０ａとの光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、情報処理装置５０は、ステージ昇降器２０の制御に必要な制御データをモータ制御回路２２に入力することによってステッピングモータ２１の回転を制御し、ステージ３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ２１は、回転に応じた回転信号を生成する。情報処理装置５０は、モータ制御回路２２を介して入力される回転信号に基づいて、試料固定部と光学系１１の光軸方向における相対距離に関する情報としてのステージ３０の高さｚを記憶する。なお本実施の形態においては、ステージ３０の高さを変化させることによって試料固定部と光学系の光軸方向における相対距離を変化させる例を示したが、ステージ３０を固定して光学系１１の高さ、例えばカメラ１０ａの高さを変化させてもよい。

ＣＣＤ１２は、ｘ方向及びｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。ＣＣＤ１２上に結像された試料Ｓの像は、ＣＣＤ１２の各画素において受光量に応じて電気信号に変換され、ＣＣＤ駆動回路１３においてさらにデジタルデータに変換される。情報処理装置５０は、ＣＣＤ駆動回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図２中のｚ方向）とほぼ垂直な面内（図２中のｘ、ｙ方向）における試料の２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にメモリ５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その光学系及び撮像素子における解像度において試料の形状を認識できる程度の傾きの範囲内にある観察面であればよい。

また、以上の説明では試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料を固定する構成とすることもできる。さらにカメラ１０ａは、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。

図１に示す照明部６０は、試料に落射光を照射するための落射照明６０Ａと、透過光を照射するための透過照明６０Ｂを備える。これらの照明は、光ファイバー６１を介して情報処理装置５０と接続される。情報処理装置５０は光ファイバー６１を接続するコネクタ６２を備えると共に、コネクタ６２を介して光ファイバー６１に光を送出するための光源（図示せず）を内蔵する。光源にはハロゲンランプ等が用いられる。
（制御部５１）

制御手段である制御部５１は、撮像した観察画像を、表示部５２で表示可能な解像度に変換して表示するよう制御する。図１の拡大観察装置においては、撮像部１０がＣＣＤ１２によって試料Ｓを撮像した観察画像を表示部５２に表示する。一般にＣＣＤ等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部１０で読み取ったときの読取解像度を第一の解像度とすると、表示部５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。
（第２の実施の形態）

次に、本発明の第２の実施の形態に係る拡大観察装置を、図３を用いて説明する。第２の実施の形態の拡大観察装置において、撮像部であるカメラは、試料Ｓに対して照射された第一の光源（レーザ１０１）からの光の反射光を第一の光学系１００を介して第一の受光素子（フォトダイオード１１２）によって受光する第一の撮像部と、試料Ｓに対して照射された第二の光源（白色ランプ２０１）からの光の反射光を第二の光学系２００を介して第二の受光素子（ＣＣＤ２１２）によって受光する第二の撮像部とを備える。

まず、第一の撮像部について説明する。第一の光学系１００は、試料Ｓに単色光（例えばレーザ光）を照射するレーザ１０１、第一のコリメートレンズ１０２、偏光ビームスプリッタ１０３、１／４波長板１０４、水平偏向装置１０５、垂直偏向装置１０６、第一のリレーレンズ１０７、第二のリレーレンズ１０８、対物レンズ１０９、結像レンズ１１０、ピンホール板１１１、フォトダイオード１１２を有する。

第一の光源には、例えば赤色レーザ光を発する半導体レーザ１０１が用いられる。レーザ駆動回路１１５によって駆動されるレーザ１０１から出射されたレーザ光は、第一のコリメートレンズ１０２を通り、偏光ビームスプリッタ１０３で光路を変えられ、１／４波長板１０４を通過する。この後、水平偏向装置１０５及び垂直偏向装置１０６によって水平（横）方向及び垂直（縦）方向に偏向された後、第一のリレーレンズ１０７及び第二のリレーレンズ１０８を通過し、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。

水平偏向装置１０５及び垂直偏向装置１０６は、それぞれガルバノミラーで構成され、レーザ光を水平及び垂直方向に偏向させることにより、試料Ｓの表面をレーザ光で走査する。ステージ３０は、ステージ昇降器２０によりｚ方向（光軸方向）に駆動される。これにより、対物レンズ１０９の焦点と試料Ｓとの光軸方向での相対距離を変化させることができる。

試料Ｓで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ１０９、第二のリレーレンズ１０８及び第一のリレーレンズ１０７を通り、水平偏向装置１０５及び垂直偏向装置１０６を介して１／４波長板１０４を再び通る。この結果、レーザ光は偏光ビームスプリッタ１０３を透過し、結像レンズ１１０によって集光される。集光されたレーザ光は、結像レンズ１１０の焦点位置に配置されたピンホール板１１１のピンホールを通過してフォトダイオード１１２に入射する。フォトダイオード１１２は受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプ及びゲイン制御回路（図示せず）を介してＡ／Ｄコンバータ１１３に入力され、デジタルデータに変換される。ここでは、第一の受光素子としてフォトダイオードを用いる例を示したが、フォトマルチプライヤ等を用いてもよい。また、レーザ１０１は赤色レーザに限定されず、青色、紫外光レーザを用いてもよい。このような短波長レーザを用いることによって高解像度の高さデータが得られる。

上記のような構成の第一の撮像部により、試料Ｓの高さ（深さ）情報を得ることができる。以下に、その原理を簡単に説明する。上述のように、ステージ３０がステージ昇降器２０のステッピングモータ２１及びモータ制御回路２２によってｚ方向（光軸方向）に駆動されると、対物レンズ１０９の焦点と試料Ｓとの光軸方向における相対距離が変化する。そして、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）に結ばれたときに、試料Ｓの表面で反射されたレーザ光は上記の光路を経て結像レンズ１１０で集光され、ほとんどすべてのレーザ光がピンホール板１１１のピンホールを通過する。したがって、このときにフォトダイオード１１２の受光量が最大になる。逆に、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）からずれている状態では、結像レンズ１０９によって集光されたレーザ光はピンホール板１１１からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、フォトダイオード１１２の受光量は著しく低下する。

したがって、試料Ｓの表面の任意の点について、ステージ３０をｚ方向（光軸方向）に駆動しながらフォトダイオード１１２の受光量を検出すれば、その受光量が最大になるときのステージ３０の高さを求めることができる。

実際には、ステージ３０を１ステップ移動するたびに水平偏向装置１０５及び垂直偏向装置１０６によって試料Ｓの表面を走査してフォトダイオード１１２の受光量を取得する。図４は、１つの点（画素）におけるステージ３０の高さｚに対する受光データＤの変化を示す。ステージ３０を測定範囲の下端から上端までｚ方向に移動させたとき、走査範囲内の複数の点（画素）について、図４に示したように高さｚに応じて変化する受光データＤが得られる。この受光データＤに基づいて、最大受光量とそのときの焦点距離Ｚｆが各点（画素）ごとに得られる。この受光データＤの最大値に対応するステージ３０の高さｚが焦点距離Ｚｆとなる。したがって、この焦点距離Ｚｆに基づいて試料Ｓの表面高さのｘ−ｙ平面での分布が得られる。この処理は、インターフェイス５３を介して入力されると共にメモリ５３に記憶されたＣＣＤ１２の受光データＤを画素の配置情報（ｘ、ｙ）及び高さ情報ｚに基づいて、制御部５１によって行われる。

得られた表面高さの分布は、いくつかの方法で表示部５２に表示することができる。例えば３次元表示によって試料の高さ分布（表面形状）を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの２次元分布として表示できる。また高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。

第２の実施の形態においても、第１の実施の形態と同様に、第一の撮像部によって得られた高さデータに基づき、ポインティングデバイス５５Ａ等によって表示部５２の画像上の２点を指定することによって矩形状に領域の設定を行い、領域内の平均高さや各領域間の相対高さを演算し、表示部５２に表示することができる。

また、ｘ−ｙ走査範囲内の各点（画素）について得られた受光量を輝度データとする輝度信号から、試料ｗの表面画像（白黒画像）が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った被写界深度の非常に深い共焦点画像が得られる。また、任意の注目画素で最大受光量が得られた高さ（ｚ方向位置）に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。

次に、第二の撮像部について説明する。第二の光学系２００は、試料Ｓに白色光（カラー画像撮影用の照明光）を照射するための第二の光源２０１、第二のコリメートレンズ２０２、第１ハーフミラー２０３、第２ハーフミラー２０４、第２受光素子としてのＣＣＤ２１２を有する。また、第二の光学系２００は第一の光学系１００の対物レンズ１０９を共用し、両光学系１００、２００の光軸は一致している。

第二の光源２０１には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光又は室内光を利用してもよい。第二の光源２０１から出た白色光は、第二のコリメートレンズ２０２を通り、第一のハーフミラー２０３で光路を曲げられ、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。

試料Ｓで反射された白色光は、対物レンズ１０９、第一のハーフミラー２０３、第二のリレーレンズ１０８を通過し、第二のハーフミラー２０４で反射されてカラーで受光可能なＣＣＤ２１２に入射して結像する。ＣＣＤ２１２は、第一の光学系１００のピンホール板１１１のピンホールと共役又は共役に近い位置に設けられている。ＣＣＤ２１２で撮像されたカラー画像は、ＣＣＤ駆動回路２１３によって読み出されると共にデジタルデータに変換される。このようにして得られたカラー画像は、試料Ｓの観察用の拡大カラー画像として表示部５２に表示される。

また、第一の撮像部で得られた被写界深度の深い共焦点画像と第二の撮像部で得られた通常のカラー画像とを組み合わせて、すべての画素でピントの合った被写界深度の深いカラー共焦点画像を生成し、表示することもできる。例えば、第二の撮像部で得られたカラー画像を構成する輝度信号を第一の光学系１００で得られた共焦点画像の輝度信号で置き換えることにより、簡易的にカラー共焦点画像を生成することができる。

ここでは、共焦点光学系である第一の光学系１００を有する第一の撮像部と非共焦点光学系である第二の光学系２００を有する第二の撮像部を備える拡大観察装置を示したが、第１の撮像部のみを備える構成とすることもできる。

また、第１の実施の形態に係る拡大観察装置のように、受光素子は２次元状に配置された画素毎に受光量を読み取る２次元撮像素子（例えばＣＣＤ）であり、焦点調整部が領域設定部によって設定された領域に対応する試料の一部又は全部に対応する受光量の和に基づいて焦点を調整する構成とした場合、共焦点光学系のような複雑な構成を必要とすることなく、簡単な構成で試料の高さを測定することができる。特に、この拡大観察装置においては、画素単位でなく、操作者によって設定された領域単位、すなわち相当数の画素の相対距離に対する受光データの変化から受光データの最大値を判断すると共に、そのときの平均焦点距離に基づいて平均高さを演算することから、白色光を光源としＣＣＤを受光素子として用いた場合であっても、各画素における受光データの焦点距離に対する変化のばらつきを低減でき、信頼性の高い平均高さの測定を行うことができる。さらに、２次元撮像素子としてカラーＣＣＤを用いる場合は、ＲＧＢの受光データに基づいてその画素の受光データを算出してもよく、またＲＧＢのうちの１又は２の色調の受光データに基づいてその画素の受光データとしてもよい。

また、領域設定部によって設定された領域が、試料の大きさよりも大きく試料の全部を含んでいる場合には、試料以外の部分、すなわちステージの上面は平均高さの演算の対象から除外することが好ましい。より正確な試料の高さを演算することができるからである。この場合ステージの上面であるか否かは、その画素とその画素に隣接する画素との高さの差が所定高さ以上あるか否か等によって判別することができる。もちろん、領域設定部によって設定された領域が、試料の一部であっても、ステージの上面が領域に含まれる場合は、平均高さの演算の対象から除外することが好ましい。

また、以上の実施の形態においては、試料固定部に固定された試料からの反射光を電気的に読み取る例を示したが、試料の背面から光を照射してその透過光を電気的に読み取るように構成してもよい。また、以上の説明では、試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付けその先端に試料を固定する構成とすることもできる。
（３次元画像）

また拡大観察装置は、２次元的な画像のみならず、３次元画像を表示させることもできる。３次元データに基づいて３次元画像を拡大観察装置の表示部５２に再現することで、様々な視点や角度から立体的に画像を観察、評価したり、高さ等表面形状やプロファイルの測定を行うことができる。３次元画像を生成して表示するには、例えば光軸方向における相対距離、すなわち観察対象の試料とレンズの距離を変化させて、画像を複数枚撮像し、同時に画像撮像時の移動量を記録しておく。これによって合成画像を作成する際に観察対象の高さ情報も得ることができるので、取得した画像を３次元データとして構築できる。なお３次元データの生成や後述する位置合わせ等の処理は、制御部５１で行われる。制御部５１等の部材は、所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図２や図３に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図２や図３に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。

一般的な３次元データの撮像方法を図５に基づいて説明する。まずステップＳ１で撮像部１０、ステージ昇降器２０及び情報処理装置５０等を初期化する。そしてステップＳ２で、レンズの移動量と移動範囲を設定する。レンズの移動範囲はレンズの高さの範囲であり、例えばユーザが大まかな高さを移動開始位置として指定する。またレンズの移動量はレンズの一回当たりの移動距離であり、細かく設定するほど詳細な画像が撮像できる反面、生成に時間がかかるので、観察目的に応じて適切な値に設定する。指定方法としては、ユーザが画像の精細さを指定し、これに応じた移動距離を拡大観察装置側が自動的に設定したり、ユーザが直接移動距離を数値等で指定する、あるいはデフォルトの既定値を利用する等の方法がある。

次にステップＳ３では、上記で指定された移動開始位置にレンズを設定する。そしてステップＳ４で撮像を開始する。撮像後、ステップＳ５でレンズをステップＳ２で設定された移動量だけ移動させ、ステップＳ６で移動範囲が終了位置に達したか否かを判定を行う。終了位置に達していない場合はステップＳ４に戻って撮像と移動ステップを繰り返す。移動の結果、ステップＳ２で設定された移動範囲を終えた時点でステップＳ７に移行し、２次元の撮像画像を合成する。そしてステップＳ８で、撮像された複数の２次元画像データに基づいて３次元画像データを構築し、表示部５２に表示させる。
（３次元画像データの作成）

３次元データの構築には、レンズの位置とそのときに撮像された画像から、高さ方向に変化するプロファイルが演算できるので、異なる高さ毎に撮像された複数枚の２次元画像データを合成することで、立体的な形状を構築できる。例えば撮像された２次元画像で得られる離散的なプロファイルを補完して、連続的なプロファイルを合成する。この処理はハードウェア的に高速に行うことができる。

以下、図６のフローチャートに基づいて３次元画像を合成する一手順を説明する。ここでは、複数の２次元画像を入力画像とし、これらに基づいて３次元画像データを生成すると共に、３次元画像をピントのあった状態に合成した２次元合成画像を生成する。まず、ステップＳ６０１で各部の初期化を、ステップＳ６０２で合成画像を作成する領域として用意された合成画像領域の初期化を行う。そしてステップＳ６０３で、入力画像である２次元画像データの周波数解析を行う。例えば２次元離散フーリエ変換や２次元離散ウェーブレット変換等によって、画像データの周波数成分を検出できる。さらにステップＳ６０４で、一定の領域について合成画像と入力画像を比較する。一定の領域とは、合成画像領域を所定の基準領域に分割したものであり、この基準領域を単位として合成画像と入力画像を比較しながら合成画像領域を走査していく。

そして、ステップＳ６０５で入力画像が合成画像よりピントが合っているかどうかを判定する。ピントの合焦点の度合いについては、上記ステップＳ６０３における周波数的な解析の結果から判断できる。判定の結果、入力画像の方がピントが合っている場合はステップＳ６０６に移行して、一定の領域について合成画像データを入力画像データと入れ替える。さらに、入れ替えた入力画像データを撮像時の高さ情報も合わせて保存される。そしてステップＳ６０７に進む。一方、ピントが合っていない場合はステップＳ６０６をスキップしてステップＳ６０７にジャンプする。なお、最初のループでは合成画像データの入力がない状態であるため、入力画像がそのまま合成画像として入力される。そしてステップＳ６０７のループを繰り返す内、ピントの合う画像と次々に入れ替えられ、最終的にピントのあった２次元合成画像が取得される。

ステップＳ６０７では、次の入力画像が存在するか否かを判定する。存在する場合はステップＳ６０３に戻ることで、すべての入力画像について上記の処理を繰り返す。存在しない場合は処理を終了する。以上のステップを経て、複数の２次元画像データからピントのあった２次元合成画像が取得され、同時に各ピントの合った位置における高さ情報が得られているため、立体的な情報を持つ３次元画像データが構築される。

以上のようにして構築された３次元画像は、自由に観察視点を変更したり画像を拡大・縮小等して表示させることができる。観察視点の変更には、任意の方向への画像の回転、反転、変形等の処理も含まれる。変更操作は、マウス５５ａ等のポインティングデバイス５５Ａで行われる。画像の回転は、マウス５５ａを操作し、画像を選択してドラッグしたままマウスポインタ５５ｅを移動させることで、ドラッグされた方向に回転する。また拡大・縮小は、ホイールマウスのスクロールボタン５５ｄに画面の拡大、縮小機能を割り当てることも可能である。これらの方法に限られず、操作部として操作ボタンやツールをソフトウェア画面上に配置して操作したり、操作機能をキーボードの特定のキーに割り付けたり、操作用の専用ハードウェアを操作部とすることもできる。

このような３次元画像の取得方法や、取得された３次元データの表示を変更する手法は、既知の方法や将来開発される方法が適宜利用できる。例えば、オープンＧＬ（Open Graphics Library）等のＡＰＩが利用できる。

取得された３次元データについては、上述の撮像過程で取得した撮像位置に関する基準情報を併せて保持できる。位置に関する基準情報は、撮像時におけるＸ，Ｙ，Ｚ方向の基準となる情報である。上述の通り３次元データの構築には、撮像時のレンズの高さとその高さで撮像された２次元画像が用いられ、異なる高さ毎に撮像された複数枚の２次元画像データを合成して３次元画像データが構築されるため、上述したレンズの移動量や移動範囲といった画像撮像時の高さ方向の移動量が記録されている。この情報を高さ方向、すなわちＺ方向の基準情報として利用する。また、Ｘ，Ｙ方向については、例えば３次元画像データの構築に使用された２次元画像の１ピクセルが、実際にどのくらいの長さに相当するかという実寸法に関する情報が利用できる。これらの基準情報を保持することで、複数の３次元画像を比較する際の倍率の調整や位置合わせ等に利用できる。なお、ここで必要な情報は必ずしも撮像された画像の実寸法に相当する情報でなくともよく、他の３次元画像データと相対的に比較できる情報であれば足り、例えば撮像時の拡大率や解像度、ドット数等も利用できる。このように、３次元画像データに基準情報を持たせることで、後述するように比較対象となる各３次元画像が持つＸ，Ｙ，Ｚ方向の基準データを元に、基準となる３次元画像データに合わせて比較する３次元画像の表示倍率を拡大縮小する。

また、基準情報に加えて、倍率情報や撮影条件に関する情報を併せて保持することもできる。例えば、照明の強度や撮影時刻、試料名等、任意のデータを３次元画像データと共に保存することができる。データの保存形式としては、３次元画像データファイルに、これらの情報を保持する専用のデータ領域を設けて、この部分にデータを書き込む方法等が利用できる。あるいは、個別のファイルに保存したデータを関連付けて保存することもできる。
（表示領域）

このようにして撮像された３次元画像を同一画面上に複数並べて表示させることで、対比を容易に行うことができる。図７に、本発明の一実施の形態に係る３次元画像表示プログラムとして、拡大観察装置操作プログラムのインターフェース画面を示す。この図に示すインターフェース画面は、２つの表示領域Ａ、Ｂを設け、画面の左側を表示領域Ａ、右側を表示領域Ｂとしている。このように、一の画面上の任意の位置に表示領域（３次元画像）を配置する構成の他、例えば画面に境界線を表示して複数の表示領域に分割してもよい。あるいは、別ウィンドウで表示領域を構成し、一画面上に複数のウィンドウを縮小して並べて表示することもできる。

それぞれの表示領域Ａ、Ｂには、異なる３次元画像を表示できる。各々の領域において表示したい３次元画像をユーザは選択する。例えば、「ファイルを開く」ダイヤログボックスから、保存されたファイルを選択して開く。各々の３次元画像は、それぞれ個別に視点を変更したり、回転、拡大・縮小することができる。例えば一方の画像を固定したまま他方の画像のみを回転させたり拡大縮小できる。また、複数の３次元画像を連動して視点変更、拡大・縮小等させることもできる。このような各画像を連動させた表示変更モードと、独立させた個別の表示変更モードとを切り替えて操作できる。図８は、図７の状態から表示領域Ａの３次元画像を固定したまま、表示領域Ｂの３次元画像の視点を変更した状態を示す。また図９は、図７の状態から表示領域Ｂの３次元画像を固定したまま、表示領域Ａの３次元画像の表示を変更した状態をそれぞれ示す。さらに図１０は、図７の状態から、表示領域Ａ、Ｂ両方の３次元画像を同時に変化させる例を示す。上記の例では、マウス５５ａの左右ボタン５５ｂ、５５ｃにそれぞれの画像の視点変更を割り当てている。マウス５５ａの左ボタン５５ｂを押下したままマウス５５ａを移動させると、その方向に画面左の表示領域Ａの３次元画像が回転し（図９）、同様にマウス５５ａの右ボタン５５ｃを操作すると、画面右に配置された表示領域Ｂの３次元画像が操作できる（図８）。また、マウス５５ａの左右ボタン５５ｂ、５５ｃを同時に押下して操作すると、左右の３次元画像が同時に操作でき、同じように回転される（図１０）。さらに、この例ではマウス５５ａのスクロールボタン５５ｄを回転させると２つの表示領域が同時に拡大・縮小される（図１１〜図１３）。スクロールボタン５５ｄを手前から奥に回転させると、画面が拡大表示され、図１１から図１２、図１３のように細部が確認できる。また逆に回転させると画面が縮小されて、図１３から図１２、図１１のように切り替えられる。この例に限られず、一方の倍率を固定して、他方の３次元画像のみを拡大・縮小表示させることもできる。なお、各表示領域で異なる観察対象を表示することはもちろん、同一の観察対象を各表示領域で異なる視点から表示することも可能であることはいうまでもない。

このように２つの画像を同一画面に表示させ、さらに表示態様を自由に変化可能とすることによって、画像の対比が容易に行える。また、任意の表示領域に表示される観察対象を固定し、他の表示領域に表示される観察対象を他の画像と入れ替えて表示することも可能である。また、入れ替える画像を自動的に切り替えて表示させてもよい。この機能は、特に良品と不良品の判別等の作業に好適に利用できる。例えば、基準となるリファレンス品と検査対象品を同時に表示させ、一方の表示領域でリファレンス品を表示させたまま、他方の表示領域で検査対象品の画像を順次入れ替えて表示することにより、同じ種類の検査対象品を順次比較検査できる。また、後述するように各画像を同じ姿勢や角度等の表示状態で表示させることにより、リファレンス品と検査品をさらに効率よく対比観察できる。さらにまた、入れ替える画像をスライドショーのように自動的に更新してもよい。これによって同じ種類の検査品から不良品を容易に発見できるようになる。

もちろん、表示部５２には一の画像のみを表示させることもできる。図１６に、他の実施の形態として異なるインターフェース画面に対象画像を表示する例を示す。このように、表示部に一の画像のみを表示させるモードと、複数の表示領域を表示するモードとを制御部５１で切り替えて表示できる。
（画像の位置合わせ）

さらに、複数の表示領域で表示される画像群は、それぞれが同一の姿勢や位置、角度や傾きで表示されるように調整できる。この調整は、ユーザが手動で行う他、自動的に行うこともできる。例えば、図１４に示すように２つの観察対象のワークＷ１、Ｗ２の初期表示状態が合致しないでずれることも考えられる。初期位置がずれているとその後の比較がしづらくなるので、図１５に示すように２つのワークＷ１、Ｗ２が同一の姿勢で表示されるように画像の視点や傾きを修正する。この例では、左側の表示領域ＡのワークＷ１をリファレンスとして固定し、右側の表示領域Ｂに表示されるワークＷ２が、表示領域ＡのワークＷ１と同一の姿勢で表示されるように、画像認識やパターンマッチングの技術を利用して自動調整される。例えば各画像から特徴点を抽出して同一の箇所を特定し、この位置を基準として同一の姿勢となるようにいずれか、あるいは両方の画像を回転させる。両方の画像を回転させる際には、水平姿勢の正面図や平面図、右斜め上４５°から見た斜視図等、基準となる所定の表示形態を予め設定しておき、両方の画像をこの姿勢に合致させる。あるいは、任意の時点における一方の表示領域での表示状態に視点や拡大率を合わせるように、他方の表示領域における表示状態を調整することもできる。例えば図９や図１０に示すインターフェース画面において、類似のワークＷ３、Ｗ４が異なる視点で表示されている状態から、両者の姿勢を揃えるように一方を回転させ、また一方のワークを回転、拡大縮小させるのに同期して、他方のワークの表示状態も同様に変更することができる。

ワークＷ１、Ｗ２の位置合わせを行う具体的な手法を、図１７のフローチャートに基づいて説明する。まず、ステップＳ１７１で各部の初期化を行う。次いでステップＳ１７２でワークW１の画像合成処理を、ステップＳ１７３でワークW２の画像合成処理をそれぞれ行う。画像合成処理は、図６に基づいて上述した３次元画像データの作成と同様の処理である。ここでは、ピントのあった２次元画像同士の位置決めを行う。次にステップＳ１７４で、ワークW１とワークW２の２次元合成画像間でパターンマッチングを行う。さらにステップＳ１７５で、ワークW１とワークW２の画像のパターンマッチング結果に基づいて、画像間の位置ずれしている回転角度及び拡大率を計算する。この計算結果を基に、ステップＳ１７６で一方の画像について位置の補正を行う。すなわち、基準となる画像と略同一の表示となるように、回転角度と拡大率を変更して表示する。これによって、２次元画像の位置合わせが実現される。

以上の手順では、３次元画像を特定の姿勢で表示した２次元画像を対象に画像の位置あわせを行った。この例に限られず、３次元画像データ同士の位置合わせを行うこともできる。例えば、３次元のパターンマッチングや、３次元の各画像データから立体画像の重心を算出し、重心の軸を基準として３次元画像の姿勢を調整することで、３次元画像を同一姿勢に一致させることができる。重心軸の算出にはモーメントの演算等が利用できる。これによって、３次元の画像データを使って２次元データよりも正確な位置合わせが実現される。

姿勢や角度等を同じくする表示態様で複数の画像を表示させることによって、両者の共通部分の認識や相違点の把握を容易に行える。さらに、位置合わせの自動調整機能を使用することで、撮像された画像の表示状態を手動で一致させる手間を省くことができ、例えば画像撮像時の位置決め作業を簡素化して画像取り込みを容易にできる。

またこの位置合わせは、任意のタイミングで実行できる。例えば画像を画面に表示させた際の初期状態として自動的に行わせることもできる。あるいは、それぞれの画像に対して回転や拡大・縮小等の処理を行った後に、これらの操作をリセットして同一姿勢や初期状態、あるいは設定された状態に回転角度や拡大率等を戻すこともできる。設定された状態としては、任意の回転角や姿勢が設定でき、例えば平面図や斜視図の表示姿勢等が指定できる。特に自動調整された状態を初期状態に設定しておくことで、常に同じ姿勢で対比可能な状態に角度や拡大率を戻すことができ、操作のやり直しや確認作業等に便利である。なお設定された姿勢や初期状態に戻す機能は、すべての表示領域に対して一律に実行する他、任意の表示領域のみを対象とすることもできる。このような位置合わせ機能の実行には、専用の位置合わせボタンを用意しておくことで、機能の呼び出しが容易となりユーザは任意のタイミングで所定の姿勢への復帰を行える。また、画面をダブルクリックする、あるいは特定のショートカットを割り当てる等の方法で位置合わせ機能や初期状態へのリセットを実行させることも可能である。

上記の例では表示領域Ａ、Ｂの２つで３次元画像を表示させる例を示したが、３以上の３次元画像を表示させることも可能であることはいうまでもない。また、３次元画像に限られず２次元画像等を表示することも可能である。さらに、同一の観察対象を複数の画面に表示させることも可能である。例えば、同一の試料につき、正面と背面を同時に確認する等、視点を変えた画像を表示させる場合に有効である。
（キャリブレーション機能）

次に、画像の位置合わせについて具体例を詳述する。図１８は、画像の位置合わせ等の操作を行う拡大観察装置操作プログラムのコントローラ部３００のユーザインターフェース画面を示すイメージ図である。まず画像の位置合わせ、すなわち同一の対象物を複数の画像で表示する際に、各画像で表示される対象物の大きさが一致するように補正するキャリブレーション機能について説明する。キャリブレーション機能は、例えば同一の試料を異なる倍率で撮像したため、得られた３次元画像のサイズが異なる場合に、これらの３次元画像で表示される試料の大きさを画面上で揃えるように、一方を拡大・縮小して他方に合わせるよう補正する機能である。キャリブレーション機能は、図２６に基づいて後述する倍率調整部５２２により実現される。図１８において、下段の「ファイル選択」欄３０２から、まず基準（リファレンス）となる３次元画像データを選択する。図の例ではプルダウンメニューで選択しているが、「ファイルを開く」ダイヤログ画面等から選択することも可能であることはいうまでもない。ファイルを選択して「３Ｄを表示」ボタン３０４を押下すると、表示部５２Ｂとして図１９のような３次元画像のビューワ画面が開き、選択された３次元画像が表示される。この状態では、一の３次元画像のみが表示され、ユーザは上記と同様に画像の拡大・縮小や回転、移動等を行うことができる。また下部の「３Ｄを閉じる」ボタン３０６を押下すると、図１９のビューワ画面を閉じる。

次に、基準３次元画像と比較したい比較３次元画像データを、同じく図１８の「ファイル選択」欄３０２から選択する。ファイルを選択後、「ファイル選択」欄３０２の上段に設けられた「３Ｄファイル比較」欄３１０の「比較モード」ボタン３１２を押下すると、表示部５２Ｂは図２０に示すような画面に切り替わり、表示領域Ａ、表示領域Ｂに分割される。ここでは、既に表示されている基準３次元画像が左側の表示領域Ａに表示されると共に、その右側の表示領域Ｂに、選択した比較対象の３次元画像が並んで表示される。これらの画像データは、同一あるいは類似の対象を撮影したものであるが、撮像時の倍率が異なっており、表示されるイメージの大きさが一致しない。この状態から、図１８の「３Ｄファイル比較」欄３１０の「連動モード」ボタン３１４を押下すると、図２１に示すように、比較３次元画像の表示倍率が変更されて、左側の基準３次元画像と同じ大きさとなるように縮小して表示される。拡大縮小倍率の調整は、上述したとおり３次元データと共に保存された撮像位置に関する基準情報に基づいて行われる。ここでは、各画像の撮像時の倍率を比較して、左側の基準３次元画像の倍率を基準として、右側の比較３次元画像の倍率を一致させるように自動的に拡大縮小率を演算し、演算された値に基づいて表示倍率を変更している。これによって、同じスケールで画像を並べて比較できるので、対比して観察する際に非常に便利となる。なお、倍率調整部５２２は、表示の拡大縮小倍率の調整を自動で行うこともできるが、手動で行うようにすることもできる。
（画像の視点合わせ）

次に、観察の視点を合わせる手順について説明する。上記と同様に、図１８のコントローラ部３００から基準３次元画像を選択して表示させ、所望の視点に調整する。視点の調整は、上述の通りマウスのドラッグ等により行える。ここでは、図１９の基準３次元画像を図２２のように視点を変更したものとする。次に、上記と同様にして図１８のコントローラ部３００から比較対象の比較３次元画像を選択して「比較モード」ボタン３１２を押下すると、図２３に示すように基準３次元画像が左側の表示領域Ａに、比較３次元画像が右側の表示領域Ｂに、各々表示される。この状態から、図１８の「３Ｄファイル比較」欄３１０の「同期セット」ボタン３１６を押下すると、図２４に示すように比較３次元画像の姿勢が、左側の基準３次元画像と同じ視点となるように変更される。視点の変更処理には、上述した画像認識やパターンマッチングの技術が利用される。各画像の回転角度やオフセット位置等を演算し、比較３次元画像の表示姿勢が基準３次元画像と一致するように演算して処理される。またこの際に、上述した３次元データと共に保存された撮像位置に関する基準情報を利用してもよい。以上のようにして、同じ視点から２つの画像を対比して観察できるので、ユーザは視点合わせを手動で行う必要が無く便利に使用できる。

さらにこの状態から、図１８の「３Ｄファイル比較」欄３１０の「連動モード」ボタン３１４を押下すると、図２５に示すように、視点を同じに維持したまま比較３次元画像の表示倍率が変更されて、左側の基準３次元画像と同じ視点及び倍率で表示される。このように、倍率及び視点の一致を共に行うことで、様々な画像を観察しやすい優れた環境が実現される。

またユーザは、表示中の３次元画像を表示状態を、２次元画像として保存することもできる。図１８のコントローラ部３００画面上部の「高さ調整」スライダ３２０の下に設けられた「保存」ボタン３２２を押下すると、２次元画像として保存するダイヤログボックスが開くので、保存先やファイル名、ファイル形式等を指定して、３次元画像を現在表示中の２次元画像として保存する。また、「保存」ボタン３２２の下に設けられた「リセット」ボタン３２４は、３次元画像を回転、移動等させた後初期状態に戻したい場合に押下すると、ファイルを開いた直後の状態での初期状態の姿勢に戻る。さらに「保存」ボタン３２２の上方に配置された「高さ調整」スライダ３２０は、３次元画像の立体感を調整するものである。「高さ調整」スライダ３２０を中間位置から下方に移動させるほど、立体感が強調され、逆に上方に移動させるほど立体感が弱められ平面に近付く。なお、ここで説明したコントローラ部３００の機能や操作方法は一例であって、プログラムのユーザインターフェース画面や操作方法等は、適宜変更可能であることはいうまでもない。また、コントローラ部に相当するハードウェアを拡大観察装置に設置することもできる。
（３次元表現パターン画像）

次に、３次元画像の高さに基づいて３次元表現パターン画像を生成する手順について説明する。撮像部で撮像された３次元画像は高さ情報を有しているが、その表面状態によっては高さが判別しづらいことがある。一般に、３次元画像はコンピュータグラフィック（ＣＧ）の技法を用いて、表面を撮像した画像データ（テクスチャ）を３次元画像に貼り付ける等、表示画面上で擬似的に再現されたものであるため、表面の模様が複雑な場合等、高低差を判別し難くなることがある。そこで、３次元画像の表面を高低差に応じて色分けするよう着色し、色の違いで高さを表現することが行われている。例えば、高い位置から低い位置にかけて、色を赤→橙→黄→緑→水→青→黒となるように、一定幅の高さ毎に色を区切ったり、あるいはカラーグラデーションによって漸増的に色変化させる等して、所定の範囲の色変化を有する色パレットを作成し、色パレットの各色に対して高さを割り当てる。色パレットは、表示部で表示可能な色数の範囲内で、色の区分けを決定する。例えば８色や１６色、２５６色といった区分けを行う。色パレットに含まれる区分けされた色と高さの割り当ては、割り当て部５１２が自動的に行う。割り当て部５１２で決定された対応関係に基づいて、高さあるいは高さの範囲毎に色が１：１に対応する。なお、高さに対応する色をそのまま３次元着色画像に表示してもよいし、３次元画像上で高さ方向（Ｚ方向）に隣接する色同士の間でグラデーションを施し、色同士の境界部分をなめらかに表示するようにしてもよい。
（制御部５１のブロック図）

図２６に、生成された３次元画像に対して種々の処理を行う制御部５１の構成をブロック図で示す。この図に示すように、制御部５１は３次元画像を保持又は記憶するための記憶部５３Ａと、生成、調整された３次元画像や３次元着色画像を表示するための表示部５２と、ユーザが各種の操作を行うための操作部５５とを接続している。記憶部５３Ａは、上記の手順で生成した３次元画像を一時的に保存するメモリや、データファイルとして保存するハードディスク等の二次記憶媒体等が利用できる。３次元画像データは、上述の通り、高さに関する情報及び大きさに関するＸ，Ｙ，Ｚ方向の基準データを含んでいる。操作部５５は、上述の通りユーザが拡大観察装置に対して操作を行うための入力デバイスである。また図２６に示す制御部５１は、割り当て部５１２と、着色画像生成部５１４と、画像調整部５１６と、モード切替部５１８と、差分抽出部５２６とを備える。画像調整部５１６はさらに、透過率調整部５２０と、倍率調整部５２２と、視点調整部５２４とを備えている。なお画像調整部５１６は、後述の通り３次元着色画像のみならず、元の３次元画像に対しても種々の調整を行うことができる。
（割り当て部５１２）

割り当て部５１２は、まず３次元画像データが有する高さ情報の分布を調べ、その最大高さと最小高さを検出する。一方で、所定の範囲の色を階調表示させて高さを表現する色パレットを予め設定し、この色パレットの範囲の終端に位置する最大色と最小色が、最大高さと最小高さになるように、高さと色の対応関係を割り当てる。割り当ては均等に行い、高さと色の範囲の終端値を一致させた状態で、色の区分け数で高さの高低差を均等に割り、区分けされた色毎の高さを算出する。３次元画像の高さは、最小値が０となるように相対的な高低差で算出することにより、分かり易くできる。また色の区分は、範囲の終端値である最大色と最小色を決定し、この間の区分けする増分が高さで５、１０、１００等、区切りのよい値となるように割り当てると、表示部５２での表示が見やすくなり好ましい。
（着色画像生成部５１４）

このようにして対応関係が決まると、これに基づいて３次元画像の表面の高さ毎に色を割り当てていき、３次元着色画像を着色画像生成部５１４で生成する。３次元着色画像は、３次元画像の表面を走査し、各位置の高さ情報を色情報に置き換えて作成される。この例においては、３次元画像の表面位置のみについて着色を行うことで処理の簡素化を図っている。着色は、例えば、ワイヤフレームモデルをベースにして、各高さに割り当てられた色のテクスチャデータを表面に貼り付ける。ただ、より詳細な観察を行うためにサーフェスモデルやソリッドモデルを使用したり、ボクセル（３D画素）データに変換することもできる。一例として、図２７の３次元画像を３次元着色画像に変換した例を図２８に示す。３次元着色画像を表示するには、図１８に示すコントローラ部３００おいて「高さ／カラー」ボタン３２６を押下する。これにより３次元画像が３次元着色画像に切り替えられ、高さに応じて色分けされて表示されるので、試料の表面模様等に拘わらず形状、特に高さのイメージを容易に把握できるようになる。
（色ゲージ４０２）

さらに、表示部５２の一部に色と高さの対応関係を示す色ゲージ４０２を表示する。図２８の例では画面の左側に色ゲージ４０２を表示しているが、色ゲージ４０２は任意の位置に配置してよく、また表示／非表示を切り替え可能としてもよい。この図に示す色ゲージ４０２は、バー状の色パレットを縦置きに表示し、色に割り当てられた高さの代表値を併記している。色ゲージ４０２によって、どの色がどの程度の高さに相当するかの指標がユーザに理解でき、さらに高さの数値を併記することで表示部５２における長さと実際の寸法の尺度の表示ともなる。この例では、最低高さを基準すなわち０とする相対高さを示しており、最高高さを色ゲージ４０２の上部に表示することで、試料のピーク高さが理解できる。なお、高さの代表値は５、１０、１００等、一定の増分とすることもできる。またこの例では、最低高さを０とした相対高さを示しているが、相対高さの基準値は任意の値が使用でき、又は絶対的な高さ表記とすることもできる。色ゲージ４０２を表示することで、ユーザは色と高さとの対応関係を確認できるので、この具体的な関係や値を一々記憶しておく必要がなく、色で高低のイメージを把握しつつ、具体的な値は色ゲージ４０２を参照して観察を容易にできる。
（スケールグリッド４０４）

さらに、３次元画像のＸ，Ｙ，Ｚ方向の大きさを示すスケールグリッド４０４を表示することもできる。図２９に、図２８の３次元着色画像にスケールグリッド４０４を表示した例を示す。この図に示すように、スケールグリッド４０４は３次元画像のＸ，Ｙ，Ｚ方向の直交座標軸を表示し、各座標軸上には尺度を表記する。尺度の表記は、色ゲージ４０２の尺度表記と一致させるが、ここでも５、１０、１００等、一定の増分の代表値としてもよい。スケールグリッド４０４を表示することで、３次元画像の奥行きや幅等の実際の寸法を把握できる。またスケールグリッド４０４は、３次元画像に付随して表示され、３次元画像を回転させると、スケールグリッド４０４も一体となって回転する。このため、直交座標が３次元画像の基準線のようにも機能し、回転角度や視点の確認にも役立つ。スケールグリッド４０４の表示切り替えは、図１８に示すコントローラ部３００の「スケール」ボタン３３０を押下することで、トグル式にＯＮ／ＯＦＦを切り替え可能である。
（透過率調整部５２０）

また、着色画像生成部５１４で生成された３次元着色画像は、表示部５２上で元の３次元画像上に重ねて表示可能である。また、元の３次元画像と独立して表示させてもよい。例えば元の３次元画像と並べて３次元着色画像を表示したり、３次元着色画像のみを表示させるよう構成できる。さらに３次元着色画像は透過性を持たせることができ、３次元画像に３次元着色画像を重ねて表示する際に、３次元画像の表面パターンが３次元着色画像の下から透けて見えるように調整できる。図３０に、図２９の３次元着色画像において透過率を５０％に設定した状態を示す。図３０は、図２７の元の３次元画像と図２８の３次元着色画像とを重ね合わせた状態に表示されており、これによって３次元画像で表示される観察対象の試料の高さと表面状態とを同時に確認できる。透過率は、図２６の画像調整部５１６に含まれる透過率調整部５２０で調整される。図１８に示すコントローラ部３００の例では、「高さ／カラー」ボタン３２６の下に設けられた透過率調整スライダ３２８を操作することで、透過率を０〜１００％まで連続的に調整できる。これにより、元の３次元画像と色による高さ情報とを同時に、所望の比率で表示でき、ユーザの嗜好や観察目的等に応じて調整できる。また透過率調整部５２０は、３次元着色画像でなく３次元画像の透過率を調整することでも同様の効果を得られる。
（倍率調整部５２２）

さらに、図２６の画像調整部５１６に含まれる倍率調整部５２２は、上述した画像の位置合わせを行うキャリブレーション機能を実行するための部材である。倍率調整部５２２により、後述するように複数の３次元画像を表示する際の試料の大きさを表示部５２の画面上で自動的に揃えることができる。
（視点調整部５２４）

さらにまた、図２６の画像調整部５１６に含まれる視点調整部５２４は、上述した複数の３次元画像の視点を合わせる機能を実現する。視点調整部５２４は、基準となる３次元画像で表示される対象物の視点と、比較対象となる３次元画像で表示される対象物の視点とを一致させるように調整する。具体的には、上述の通り画像認識やパターンマッチング等の手法により、基準となる３次元画像の回転角度やオフセット量を検出し、これに基づいて比較３次元画像の姿勢を変更する。この視点調整部５２４は、３次元画像に対しても、３次元着色画像に対しても適用可能である。また、この視点調整部５２４は自動で相互の３次元画像の視点が一致するよう調整するが、ユーザが手動で３次元画像や３次元着色画像の姿勢を変更して、各画像の視点が一致するよう調整することもできる。
（高さ基準位置の指定）

さらに視点調整部は、３次元着色画像に限らず、複数の３次元画像を重ね合わせる際に、重ね合わせの基準となる高さを指定可能とすることで、重ね合わせを行う３次元画像間の高さに関してずれがある場合でも重ね合わせを容易に行える。異なる３次元画像においては、同じ形状を含んでいても高さ方向に位置ずれやオフセットが存在することがあり、このような画像においてはそのままで比較や重ね合わせを行う前に、基準となる高さを揃えてやることでこれらの作業をより適切に行うことができる。基準高さの指定は、３次元画像上から所望の位置をマウス等のポインティングデバイスでクリックすること等により容易に行える。このようにして、高さ方向の基準が異なる３次元画像においても、指定された基準に基づいて各画像の基準を揃えることにより、重ね合わせを容易に行うことができる。
（モード切替部５１８）

以上は、一枚の３次元画像に対して３次元着色画像を生成、表示する例を説明したが、本実施の形態では図３１及び図３２に示すように、複数の３次元画像に対しても同様に３次元着色画像を生成、表示できる。この際、高さと色の対応関係は、各画像毎に独立して設定することもできるし、統一した対応関係をすべての画像に適用することもできる。本実施の形態に係る拡大観察装置は、各３次元画像毎に独立して対応関係を設定する通常モードと、１の３次元画像を基準３次元画像として、これに基づいて設定される対応関係をすべての３次元画像に適用する絶対値比較モードを備えている。これらのモードは、図２６において制御部５１に含まれるモード切替部５１８により切り替えられる。モード切替部５１８は、ユーザが操作部５５によって命令を入力し、これに基づいてモードを切り替える。

図３１及び図３２は、類似する形状で大きさの異なる試料を撮像した３次元画像を、表示部５２の表示領域Ａ、Ｂにそれぞれ表示したものである。この例では、表示領域Ａに示す３次元画像を基準３次元画像とし、表示領域Ｂに示す３次元画像を比較３次元画像とする。これらの図に示す複数の３次元着色画像の表示例において、図３１は通常モードによる表示を、図３２は、絶対値比較モードによる表示を、それぞれ示している。
（通常モード）

通常モードでは、上述の通り各々の３次元画像に含まれる高さの最大値及び最小値に色パレットの最大色及び最小色をそれぞれ割り当て、各３次元画像毎に独立した対応関係を設定して、着色画像生成部５１４が３次元着色画像を生成して表示部５２に表示する。図３１の例では、表示領域Ａ、Ｂそれぞれにおいて各３次元画像に、色パレットの色をすべて割り当てて３次元着色画像を生成しているため、ダイナミックレンジを広くとり表現力の高い表示が可能で、各３次元着色画像を単独で観察するのに適している。また、通常モードにおいて、上述したスケールグリッド４０４の表示ＯＮ／ＯＦＦや透過率の変更が利用できる。図３３に、図３１の通常モードにおいて３次元着色画像の透過率を透過率調整スライダ３２８で０％として元の３次元画像を表示させた例を、また図３４に、同じく図３１の透過率を５０％として元の３次元画像に３次元着色画像を重ねて表示させた例を、それぞれ示す。一方、この状態では各３次元着色画像に着色した色パターンのスケール感が統一されていないため、実際の大きさを対比するには適していない。
（絶対値比較モード）

これに対して、図３２に示す絶対値比較モードでは、基準３次元画像である表示領域Ａの３次元画像データに基づいて決定された色パレットの対応関係を、表示領域Ｂの比較対象３次元画像にも適用している。このように共通の対応関係に基づいて着色を行う結果、同じ高さが同じ色で表示されるため、高さの比較という観察には適している。図３２の例では、同時にキャリブレーション機能を実行して、右側の比較３次元画像の表示倍率を変更して左側の基準３次元画像と同じスケールで表示している。これにより、高さののみならず、大きさも統一した状態でより精度の高い比較が可能となる。もちろん、各画像は独立して拡大縮小表示や回転、移動等が自在に行えるため、必要な部位を拡大して観察することも容易に行える。さらに、両者を連動して拡大縮小、回転、移動等視点変更を行えることも、上述した通りである。さらに、透過率調整スライダ３２８により３次元着色画像の透過率の調整も可能である。例えば、同じスケールで試料の表面状態を確認したい場合は、図３５に示すように３次元着色画像の透過率を０％として元の３次元画像のみを表示させることもでき、また図３６に示すように透過率を５０％として元の３次元画像と３次元着色画像をそれぞれ重ねた状態に表示して、表面状態と高さを同時に観察することもできる。さらに、各表示領域に色ゲージ４０２を表示し、またスケールグリッド４０４の表示をＯＮ／ＯＦＦすることも可能であることは上述した通りである。特に、各画像は独立して視点を変更できるので、スケールグリッド４０４を表示させたまま画像に回転させるとスケールグリッド４０４も付随して回転し、スケールグリッド４０４の表示状態から現在の視点の位置を確認できるので、各画像における視点の位置を把握できる利点が得られる。このように、絶対値比較モードは複数の試料を対比して観察する用途に好適に利用できる。

なお、上記の例では基準３次元画像と一の比較３次元画像の２つの画像を表示する例を示したが、３以上の画像を表示可能であることはいうまでもない。複数の画像は、表示部５２を複数の表示領域に分割して、並べて一覧表示する。また、別ウィンドウを開いてウィンドウ毎に個別に表示させてもよい。
（表現パターン）

以上のようにして、高さを色で表現して３次元着色画像を生成したが、色に限られず、表示部５２で表現可能な他の表現パターンを用いて高さを表現することもできる。例えば表現パターンとして、色に変わって輝度や明るさ、濃淡、あるいはテクスチャやハッチング等表面模様の変更や、所定高さ毎に色やハッチングパターンが異なる等高線を付加する手法等が利用できる。特に輝度を表現パターンとして使用すると、表示画面がモノクロで色を表現できない場合等に、明暗で高さを表現できる。また逆に色の再現性が優れた表示部５２の場合は、明るさ、色相、彩度のいずれかを変更するように表現パターンを設定することもでき、さらに複数の表現パターンを組み合わせることもできる。このようにして、着色画像生成部に代わって表現パターン画像生成部が、３次元着色画像に代わって３次元表現パターン画像を生成することでも、表示部において高さを様々な表現パターンにより表現できる。
（差分抽出部５２６）

以上のようにして異なる３次元画像を表示部に表示した状態で、これらを対比しながら相違点を比較することが可能である。ただ、３次元画像で表示される試料の表面状態によっては、細かな差異が観察しづらいことがある。そこで本実施の形態に係る拡大観察装置では、３次元画像を比較して自動的に相違部分を検出する差分抽出機能を備えている。差分抽出機能は、図２６に示す制御部５１において、差分抽出部５２６により実現される。差分抽出部５２６は、比較対象となる３次元画像が重ね合わされた状態から、相違点を抽出して差分データを生成する。好ましくは、差分抽出機能を実行する前に、比較対象となる３次元画像は予め表示倍率及び視点を一致させておく。これらは、上述した倍率調整部５２２と視点調整部５２４とでそれぞれ実行される。なお、これら倍率調整部５２２、視点調整部５２４、及び差分抽出部５２６による一連の処理は、同時に実行させることもできる。すなわち、ユーザが差分抽出機能を呼び出すと、倍率調整部５２２、視点調整部５２４、及び差分抽出部５２６が各々の機能を順次実行して、自動的に差分抽出が実行されるように構成する。もちろん、ユーザが各機能を個別に手動あるいは自動で実行することも可能であることはいうまでもない。
（差分抽出機能を実行する手順）

ここで差分抽出機能を実行する一例を、図３７〜図４４に基づいて説明する。まずユーザは、予め生成され保持された３次元画像の中から、比較したい３次元画像を選択する。ここでは、図３７及び図３８に示す３次元画像の差分を調べる例を考える。これらの３次元画像は、図３９に示すように表示部５２Ｃの画面上に同時に表示して対比することができる。図３９の例では左側の表示領域Ａに図３７の３次元画像が、表示領域Ｂに図３８の３次元画像が、各々表示されている。このように個別の画面で同時に表示させて対比することもできるが、ここでは一の画面にこれらの３次元画像を表示させ、重ね合わせを実行する。まず、必要に応じて倍率調整部５２２を使用して両画像の表示倍率を一致させる。そして、図４０に示すように視点調整部５２４を使用して３次元画像同士が重なるように視点を調整する。このとき、それぞれの３次元画像に対して、上述した透過率調整部を使用して、表示の透過率を調整する。透過率は各々の３次元画像毎に独立して個別に調整してもよく、また表示の比率を変更して両画像の透過率を相対的に調整することもできる。透過率を調整することで、２つの３次元画像が重ねられても両者を視認でき、重なり具合を確認することができる。またユーザは、一方の３次元画像を固定して他方の３次元画像を回転、移動させながら、あるいは各３次元画像を適宜選択して個別に回転や移動を行いながら、手動で２つの３次元画像データがなるべく重なるように調整する。また、ユーザが手動で一致させる方法によらず、画像認識により両画像の一致部分を検出する等してして、視点調整部５２４が自動で両画像が重なるように調整するよう構成することもできる。
（３次元差分画像）

このようにして、両３次元画像を図４１に示すように一致させる。そして、この状態から差分抽出部５２６が両画像の差分を抽出する。抽出された差分は、図４２に示すように断片的な３次元画像となるので、このような３次元差分画像のみを表示部に表示させることが可能となる。また３次元差分画像は、図４２に示すように比較する３次元画像の相違点をすべて抽出した３次元差分画像とすることもできるが、図４３に示すように、予め設定された閾値に基づき、この閾値を超えるもののみを３次元差分画像として扱うこともできる。閾値を設定することで、ノイズや細かな表面形状の差異、あるいは視点合わせ上のずれ等を排除して、必要な差異のみを抽出することが可能となる。閾値は、例えば体積で指定し、抽出された３次元の差分領域の断片の体積を各々演算して、体積閾値を超える断片を３次元差分画像とする。あるいは、閾値を面積で指定し、抽出された差分領域の表示視点における面積を各々演算して、面積閾値を超える断片を３次元差分画像としてもよい。このようにして得られた３次元差分画像を、図４４に示すように表示部５２Ｃの表示領域Ｂに表示し、一方表示領域Ａに、対比する３次元画像の重ね合わせ状態を示す。以上のようにして、対比する３次元画像の相違点を抽出して表示し、観察に利用できる。さらに抽出された３次元差分画像のみを図４３に示すように別画面で表示させたり、図４４に示すように元の重ね合わせ画像や単独画像と対比できるように同一画面上に分けて表示することができ、あるいは重ね合わせ画像や単独の３次元差分画像上にオーバーラップするように表示させることもできる。３次元差分画像を元の画像上にオーバーラップさせて表示させる際には、元の３次元画像のみならず３次元差分画像も透過率調整部で透過率を調整するように構成してもよい。

以上の例では、２つの３次元画像に対して差分を抽出したが、３以上の３次元画像に対して差分を抽出することもできる。また、一の基準３次元画像に対して、比較３次元画像を順次入れ替えて各々差分抽出部５２６により３次元差分画像を生成し保存するよう構成することもできる。これにより、異常の発見や不良品の検出等にも効果的に利用できる。例えば良品を基準３次元画像として登録しておき、部分的な欠損や穿孔位置のずれ等を含む比較３次元画像を検出し、その原因も特定できる。３次元差分画像の生成を判りやすく説明するために、図４５の図形を基準３次元画像Ｇ１とし、図４６の図形を比較３次元画像Ｇ２として、これらに基づいて３次元差分画像Ｇ３を生成する例について考える。この例では、３次元画像をワイヤーフレーム状に表示している。また比較３次元画像Ｇ２の外形を基準３次元画像Ｇ１とほぼ等しくし、上面に直方体状の凹部を形成している。まず必要に応じて倍率調整部５２２でこれらの表示倍率を調整した後、図４７に示すようにこれら基準３次元画像Ｇ１と比較３次元画像Ｇ２とを視点調整部５２４等により重ね合わせる。すると、これらの図形の主要な相違点である直方体状の凹部が、図４８のような３次元差分画像Ｇ３として差分抽出部５２６により抽出される。また、両画像の外形部分の差は、差異が少ないため差分として検出されない。抽出された３次元差分画像Ｇ３は、図４８のように単独で表示することもでき、また図４９に示すように基準３次元画像Ｇ１の上に重ねて表示することもできる。
（ハイライト処理）

また、このような３次元差分画像に対してハイライト処理を施して、３次元差分画像単独で表示させたり、あるは元の３次元画像上に重ねて表示させるよう構成してもよい。ハイライト処理は、差分として抽出された領域が、元の３次元画像上でどの部分にあたるかをユーザに視認しやすいように行われる。ハイライト処理の例としては、着色処理や輝度・明るさ・濃淡の変更、ハッチングパターンや線種・陰影・グレーアウト等の模様の付加、点滅させる等の処理が挙げられる。あるいは、線種を変更する方法も採用できる。例えば元の３次元画像及び抽出された３次元差分画像を、異なる線種でワイヤフレーム表示する。線種としては、実線、波線、点線、一点鎖線や太線、細線、二重線等と変更し、元の３次元画像と３次元差分画像とを区別できるようにする。あるいは、３次元画像と３次元差分画像との境界部分を線で表示する。このようにして、ユーザは元の３次元画像上で差分を視覚的に容易に認識できる。ハイライト処理は図２６において差分抽出部５２６により行う他、制御部５１の着色画像生成部５１４の機能、処理等と共通にすることもできる。
（３次元差分画像データの利用）

抽出された３次元差分画像は、元の３次元画像とは別のデータとして、記憶部に保存することもできる。また、得られた３次元差分画像を参照して元の３次元画像の形状の測定を行うことにより、対比した画像間の相違点をより正確にかつ立体的に把握することも可能となる。図５０に、３次元画像の表面プロファイルを測定する拡大観察装置操作プログラムのユーザインターフェース画面の一例を示す。図５０において、画面の上面には３次元画像のイメージを表示する表示領域４１２を、画面右側には各種の操作を行うコンソール領域４１４を、画面の下方には所定の断面における３次元画像の表面プロファイルを示すプロファイル領域４１６を各々配置している。この図に示すように、表示領域４１２で表示される３次元画像上にプロファイル線を配置し、このプロファイル線における断面形状をプロファイル領域４１６で確認することができる。図５０の例では２本のプロファイル線に対して、各々の断面形状をプロファイル領域４１６で表示している。このようなプロファイルの観察画面において、上述した差分抽出機能で生成される３次元差分画像を参照すると、３次元画像のどの部分が相違しているかを把握できるので、この部分をより精細に調査すべく、図５０の画面において該当する部分のプロファイル面を精査する等、３次元画像の比較作業を効率的にかつ詳細に行うために上記差分抽出機能を利用できる。
（基準面に基づく３次元差分画像の抽出）

さらに、３次元画像に重ねて基準面を表示すると共に、この基準面を移動させることができる。図５３に、基準面を表示、移動可能な３次元画像表示装置８００のブロック図を示す。この図に示すブロック図は、観察対象の３次元画像を取得可能な３次元画像取得手段８０２と、３次元画像取得手段８０２で取得された３次元の観察画像を表示可能な表示部２８と、表示部２８で表示される３次元画像に対して、少なくとも移動、傾き、回転、拡大／縮小のいずれかを調整可能な視点調整部５２４と、複数の３次元画像の表示倍率が同じとなるよう表示倍率を調整可能な倍率調整部５２２と、表示部２８に表示される３次元画像に重ねて表示可能な、基準となる平面を生成する基準面生成手段８０４と、基準面生成手段８０４で生成された基準面を移動させるための基準面移動手段８０６と、基準面を基準として３次元画像との差分を演算して３次元差分画像を生成する差分抽出部５２６と、基準面によって指定された領域の体積又は容積を演算可能な演算手段８０８と、３次元画像及び／又は３次元差分画像にハイライト処理を付加するハイライト処理手段８１０とを備える。なお、これら基準面生成手段８０４や差分抽出部５２６、演算手段８０８、ハイライト処理手段８１０等の部材は、ＣＰＵやＡＳＩＣ等で構成された制御部５１で実現できることは、上述の通りである。また、ユーザは制御部５１に接続された操作部５５から各種操作を行う。
（３次元画像取得手段８０２）

３次元画像取得手段８０２は、撮像部１０、３次元画像生成部８０９等で取得、生成された３次元画像データを読み込む。図５３の例では、デジタルマイクロスコープのＣＣＤ等の撮像手段や、電子顕微鏡の電子線撮像部等で撮像した画像データに基づいて、３次元画像生成部８０９で３次元画像を構築し、３次元画像取得手段８０２でデータを取り込む。３次元画像の撮像と取得は、リアルタイムに行う必要はなく、例えば上述した記憶部と同様に、３次元画像を一時的に保存するメモリや、データファイルとして保存するハードディスク等の二次記憶媒体等を利用し、既に得られた３次元画像データを入力する形態とすることもできる。

３次元画像取得手段８０２から取得された３次元画像は、表示部２８に表示される。また、視点調整部５２４を調整して、表示部２８上に表示される３次元画像の姿勢あるいは視点を変更することができる。視点調整部５２４は、各３次元画像の移動、傾き、回転、拡大／縮小等を調整可能である。また、３次元差分画像についても、同様に姿勢や視点を調整可能である。視点調整部５２４としては、上述した操作プログラムの倍率設定部６１１や観察視野移動設定部６１２等で実現される。また倍率調整部５２２は、３次元画像に含まれる大きさに関する情報に基づいて、複数の３次元画像の表示倍率が同じになるように表示倍率を調整する。倍率調整部５２２は、視点調整部５２４に組み込んだり統合することもできる。
（基準面生成手段８０４）

基準面生成手段８０４は、３次元画像と重ねて表示可能な基準面を生成して、表示部２８上に表示する。基準面は、例えば３次元画像の差分を演算する際の基準として利用する。図５６に、基準面Ｋを表示する例を示す。基準面Ｋは、スケールグリッドとして３次元画像と重ねて表示される。基準面Ｋを示すスケールグリッドは、他のスケールグリッドと区別するため、水平面を示す枠に、さらに十字を付加している。また、他のスケールグリッドよりも太線や細線、破線や着色した線等として区別することもできる。この例では、高さが０となる面が基準面Ｋとなる。
（基準面移動手段８０６）

また基準面Ｋは、基準面移動手段８０６を用いて表示部２８上で自由に移動させることもできる。図５６の例では、高さが０となる面が基準面Ｋであるため、基準面移動手段８０６による基準面Ｋの移動は、水平面を維持しつつ上下方向への平行移動となる。このように高さの基準となる面を平行移動させることで、ユーザは調整が容易に行え、差分を抽出する際の基準位置を適切な位置に調整できる。
（差分抽出部５２６）

差分抽出部５２６は、表示部２８に表示された複数の３次元画像について、基準面移動手段８０６で指定された基準面Ｋに従い、これら３次元画像との差分を演算して３次元差分画像を生成し、表示部２８上に表示する。図５１の例では、表示部２８を左右２つの領域に分割し、左側領域に第１の３次元画像Ｇ４、右側領域に第２の３次元画像Ｇ５をそれぞれ示している。また図５２の例では、左側領域に第１の３次元画像Ｇ４と第２の３次元画像Ｇ５を重ねた状態、右側領域にこれらの３次元差分画像Ｇ６を示している。３次元差分画像Ｇ６は、差分抽出部５２６が演算する。差分抽出部５２６はリアルタイムで３次元差分画像Ｇ６を演算可能であり、図５４、図５５に示すように第２の３次元画像Ｇ５を第１の３次元画像Ｇ４に対して相対的に移動させると、これに応じて３次元差分画像Ｇ６が新たに演算され、表示部２８上での表示が更新される。

従来、複数の３次元画像の差分を演算する際は、各３次元画像の底部や頂部といった端面を基準として行われていた。例えば、図５１に示す２つの３次元画像から３次元差分画像Ｇ６を演算する場合、従来の方法では各３次元画像の底面を高さ０、すなわち基準面Ｋ１として、その差分を演算していた。その結果、演算される３次元差分画像Ｇ６は、図５２に示すように、各３次元画像の平面部においても差分が検出されて、段差となって３次元差分画像Ｇ６上に表れる。すなわち、図５２の左側領域では第１の３次元画像Ｇ４と第２の３次元画像Ｇ５が重ねて表示されているが、各３次元画像の底面が基準となって重ね合わせているため、同じ位置とすべきと思われる平坦面がずれた状態に重なっており、その結果図５２の右側領域ではこの高低差が差分として検出された３次元差分画像Ｇ６が生成されている。具体的には、この３次元差分画像Ｇ６は、実線の枠で囲まれた部分が高さ０の平面を示しており、全体に窪んだ状態に表現されている。これでは、各画像の平坦面を基準とした差分の抽出ができない。一般に差分を検出したい用途においては、特定の基準面に対して、どれだけ突出量や窪み量があるかを調べることが求められる。特に差分検出においては、単に基準品に対する不良品の検出に止まらず、不良品とされた商品のどの程度の欠損や製造不良があったのかの検出や、あるいは差分の体積を検出して、良品／不良品の判定をさらに微調整する等の高度な判定が実現できる。このためには、基準面をユーザが任意に指定できることが好ましい。

このような要求に応えるため、本実施の形態においては、図５６に示すように、基準面Ｋを基準面移動手段８０６で移動可能とすることで、予め差分を演算したい各３次元画像の平坦面に基準面Ｋを設定し、３次元画像を基準面Ｋからの突出量と窪み量として生成することができる。これにより、差分が感覚的により把握し易くなり、対比をさらに便利に行うことができる。図５６の例では、左側領域に表示される第１の３次元画像Ｇ４については、図５１と同様に底面に基準面Ｋを設定し、一方右側領域に表示される第２の３次元画像Ｇ５については、平坦面に基準面Ｋが一致するよう、基準面移動手段８０６で基準面Ｋを底面から上方に平行移動させる。このように、基準面移動手段８０６は水平状態を保ったまま平行に上下に移動可能とすることで、基準面Ｋを容易に調整して平坦面と重ねることができる。この状態で、差分抽出部５２６で３次元差分画像Ｇ７を演算すると、図５７の左側領域に示すように、第１の３次元画像Ｇ４と第２の３次元画像Ｇ５の平坦部分が一致して表示されており、同じと思われる面が重なった状態で表示される結果、図５７の右側領域に示すように、各３次元画像の平坦面が差分として検出されることなく、平坦面を基準とした差分のみが表現された３次元差分画像Ｇ７が生成される。またこの例においても、図５８、図５９に示すように、左側領域での第１の３次元画像Ｇ４と第２の３次元画像Ｇ５の重なり具合に応じて差分抽出部５２６がリアルタイムに３次元差分画像Ｇ７を生成可能である。このように、差分を演算する際の基準面Ｋをユーザが設定可能とすることで、より視覚的に把握しやすい３次元差分画像を得ることができる。
（ハイライト処理手段８１０）

以上の例では、ハイライト処理手段８１０が３次元画像や３次元差分画像に対してハイライト処理として、各３次元画像の高さに応じて色を変化させた着色処理を施しており、色によって高さの高低を表現している。左側領域及び右側領域には、それぞれ着色される色と高さの対応関係を示す色ゲージ４０２が表示される。色ゲージ４０２は、上述した図２８等の例と同様の形態が採用できる。図５１、図５６の例では、第１の３次元画像Ｇ４と第２の３次元画像Ｇ５それぞれについて、独立して底面から上面までに均等に着色処理の区間が割り当てられている。この方法では、各３次元画像毎に高さの分布を把握するのには適しているが、複数の画像でどの部分が同じ高さに相当しているかを確認することはできない。そこで、複数の３次元画像について着色処理の分布割り当てを同様に行うこともできる。すなわち、各３次元画像に設定される基準面Ｋと連動させて、基準面Ｋからの高さが同じであれば同じ色に着色されるように着色処理を施すことで、高さの比較を容易に行えるようになる。図６０は、図５６と同じ第１の３次元画像Ｇ４と第２の３次元画像Ｇ５について、基準面Ｋと連動させて各３次元画像に対して同様の着色分布割り当てを実行した例を示している。この場合は、各３次元画像から、基準面Ｋに対して最も低い位置と、最も高い位置とを選択し、この範囲で均等に着色分布割り当てが実行される。図６０の例では、第１の３次元画像Ｇ４及び第２の３次元画像Ｇ５の最も高い位置（５０．０μｍ）と、第２の３次元画像Ｇ５の最も低い位置（−２０μｍ）との間で、均等に着色分布割り当てが実行される。また、各３次元画像について、着色分布を示す色ゲージ４０２は、各３次元画像中の底面と上面の高さが表示され、その３次元画像に含まれる高さの分布が判別できるように表示される。このように、複数の形状を比較する際に、基準となる高さを合わせることで、相違点を認識し易くできる。

なお上記の例では、基準面は差分の演算の際の基準として利用したが、基準面の利用はこの例に限られない。例えば、傾斜面の算出や修正、高さの比較等にも利用できる。例えば、３次元画像が傾斜面を有する場合に、該傾斜面と一致させるように基準面を調整し、その傾斜角度を算出したり、傾斜面が水平となるように３次元画像を回転させて、他の３次元画像との比較を容易にすることができる。また、複数の突出部を有する３次元画像等において、突出部の頂部を対比したり、高度差を測定するために、基準面を利用してもよい。この場合は複数の基準面を表示させることで、高低差の把握が視覚的に容易に行える。このように、基準面は表示部２８上で複数を同時に表示させることもできる。
（演算手段８０８）

さらにまた、基準面で規定された領域について、図５３の演算手段８０８で体積や容積の演算を行うことができる。図６１〜図６４に、このような演算を行う一例を示す。これらの例では、上記とは別の３次元画像を一のみ表示して、垂直方向にも第２の基準面Ｋ２を複数表示し、これらの垂直平面である第２の基準面Ｋ２で区画した領域内において、さらに基準面Ｋで規定される平面に対して、面積や突出量や窪み量の体積／容積を演算している。このように基準面を複数用いて、演算手段８０８に演算させる領域を指定することができる。この例では、第２の基準面Ｋ２の指定に、垂直方向に伸びる指示線を利用している。また、３次元画像の内、第２の基準面Ｋ２で区画された領域のみ、すなわち演算対象の領域のみを表示させ、演算しない領域は非表示とすることで、ユーザは測定箇所を視覚的に把握できる。

図６１の例では、高さ０の基準面Ｋに対して、突出量（山）の体積をMount：４８４．７７μｍ３、窪み量（谷）の容積をVallay：１１８４３４．３５μｍ３、幅をWidth：８６．３３μｍ、深さをDepth：８７．１１μｍと演算し、結果を表示部２８の上方に表示している。また演算結果は、表示部２８上部の演算結果表示欄７７２８Ｂに表示して出力する他、適宜外部出力することも可能であることはいうまでもない。さらに図６２は、第２の基準面Ｋ２でより広い領域を指定して同様に突出量、窪み量等を測定した結果を示している。さらにこれらの演算において、第２の基準面Ｋ２のみならず、高さ０の基準面Ｋを調整することもできる。図６３は、図６２の状態から基準面Ｋを上方向に移動させた例、図６４は逆に下方向に移動させた例をそれぞれ示している。これらの例でも、演算手段８０８はリアルタイムに演算結果を表示、出力することができる。

以上のように、基準面を一又は複数利用して各種の演算に利用することもでき、３次元画像表示装置の表示能力をさらに高めてユーザの便宜に資すことができる。
（基準面設定機能）

また、差分抽出を行う前に、比較対象の画像同士の間に傾斜がある場合、これらの角度差を無くすように画像の姿勢を調整することで、差分の観察が容易となる。このような調整には、傾きの調整、高度差の調整、平面内の平行移動、回転等の４種類の調整作業が必要となり、手動で視点調整部５２４等を操作して調整する作業は容易でない。このため基準面生成手段８０４に、このような調整作業を容易にする基準面設定機能を備えることもできる。以下、図６５〜図７１に基づいて、位置合わせのための調整と、差分抽出の詳細を説明する。なお、これらの図において３次元画像は、高さに応じて等高線状に色分けする機能を実行している。

従来の差分表示による比較手順では、まず図６５に示すように、比較される３次元画像と、基準となる３次元画像とをそれぞれ読み込み、表示部上に表示して、図６６に示すように差分を表示するための差分比較モードに移行していた。この例では、基準とする３次元画像Ｇ８を、図６５の右側に示すような矩形状平面に三角推上の突出部と円筒状の凹部を有するものとし、一方の比較対象の３次元画像Ｇ９を図６６の左側に示すように、基準３次元画像Ｇ８に加えて、半球型の突出部と、すり鉢状の凹部とを付加したものとする。この場合においては、両３次元画像の３次元差分画像Ｇ１０として、半球型の突出部とすり鉢状の凹部のみを検出したい。しかしながら、図６５の左側に示すように、比較３次元画像Ｇ９は矩形状平面が基準３次元画像Ｇ８に対して傾斜している。このため、このまま両者の差分画像を抽出すると、図６６の左側に示すように、比較３次元画像Ｇ９の基準となる平面Ｂ３が基準３次元画像Ｇ８の対応する平面Ｂ４（図６６の例では水平面であり、本来差分が０となるべき位置を示す）から傾斜していることによって、図６６の右側に示すように３次元差分画像Ｇ１０にも平面の傾斜と高度差が検出されている。この例で本来検出したい３次元差分画像Ｇ１０は、すり鉢状の窪みと半球状の突出した形状部分のみであり、傾きや高さのずれは形状測定の妨げとなるため、検出しないように調整したい。そのためには、上述の通り視点調整部５２４等による３次元画像の傾斜（図６７）と高度差の調整（図６８）、さらには平行面内での移動（図６９）及び回転（図７０）が必要となる。特に、傾きと高度差の調整については、細かい調整が必要であるが、十分な調整を行うには煩雑な操作が必要であり、ユーザの負担となる。

そこで、このような調整作業を容易にするために、基準面設定機能を利用する。次に、この基準面設定機能を利用して３次元差分画像を表示する手順を、図７１のフローチャートに基づいて説明する。まず、ステップＳ７１１で、基準３次元画像Ｇ８と、比較３次元画像Ｇ９とを読み込み、表示部に表示する。この状態では、図６５と同じであり、比較３次元画像Ｇ９が基準３次元画像Ｇ８に対して傾斜している。

次にステップＳ７１２で、各３次元画像の位置合わせを行うために高さ方向の基準となる平面（基準面）を、それぞれ設定する。基準面の設定方法としては、３点の座標を指定し、この３点を通る平面を算出する方法や、３次元画像上の１点を基準位置として指定し、指定された基準位置の周辺の形状データを抽出して、基準位置で３次元画像表面に接する面の傾きを自動的に算出する方法などが利用できる。いずれの方法でも、ユーザは表示部の画面上から基準面を容易に指定できる。図７２は、左右の各３次元画像について、ユーザが指定した基準位置Ｐ１、Ｐ２に対して、これらの点を含む基準面を自動的に演算して表示する例を示している。演算された基準面は、３次元画像に重ねて矩形状の領域Ｂ１、Ｂ２として表示され、３次元画像上のどの面が指定されたかをユーザは視覚的に把握できる。また、図７２のように検出された面に着色して表示することもでき、更に視認性を向上できる。加えて、この例では基準面に対する法線Ｎ１、Ｎ２を基準位置から突出させており、傾斜面の角度を画面上で把握し易くしている。なお、このような法線は、３次元画像から外部に突出する方向に表示しているが、内部側にも突出方向に延長させてもよい。このようにして各３次元画像に対して基準面を指定することで、画像の傾きを補正して位置合わせ容易に行える。

さらにステップＳ７１３で差分を表示するため、差分比較モードに移行する。ここでは、上記で指定された基準面に基づいて比較３次元画像Ｇ９の傾斜が補正され、さらに基準面を一致させるように高さ方向に比較３次元画像Ｇ９を移動させることにより、図７３に示すように、傾きと高さが調整された状態で基準３次元画像Ｇ８と比較３次元画像Ｇ９とを重ねて画面左側に表示する。さらに図７３の画面右側に、これらの３次元差分画像Ｇ１１を表示させている。

このように差分比較モードに移行する段階で、予め３次元画像の傾きと高さが調整済みであるため、後は必要に応じて視点調整部５２４等を操作して各３次元画像を図７４に示すように平行面内に移動させ、あるいは図７５に示すように回転させて、これらのずれを修正することにより、所望の差分形状を得ることができる。この例では、元となる基準３次元画像Ｇ８と比較３次元画像Ｇ９の調整に応じて、３次元差分画像Ｇ１１の表示もリアルタイムに更新される。

なお、この例では比較３次元画像Ｇ９側を傾斜、移動させて調整しているが、基準３次元画像Ｇ８側を調整したり、基準３次元画像Ｇ８と比較３次元画像Ｇ９の両方を調整することもできることはいうまでもない。好ましくは、指定した基準平面が平面となるように、両者を調整する。

さらに、傾きの補正の必要がないような態様では、基準面の傾斜を調整する機能をＯＦＦもしくは省略して、表示インターフェースを簡素化できる。図７６の例では、基準面Ｂ５がスケールの底面と平行となるように固定しており、スケールの目盛り上で基準面Ｂ５をマウスなどで直接ドラッグすることにより、基準面Ｂ５の高さを変更可能としている。これにより、高さ方向の平行移動のみの調整とし、操作を更に簡素化できる。
（電子顕微鏡）

また、以上はデジタルマイクロスコープに本発明の３次元画像表示装置、３次元画像表示方法、３次元画像表示プログラムを適用した実施例について説明したが、本発明はこれに限られず、他の拡大観察装置である電子顕微鏡等にも適用できる。一例として、ＳＥＭについて図７７に基づき説明する。ＳＥＭは一般に加速電子の電子線を発生させ試料に到達させるまでの光学系と、試料を配置する試料室（チャンバ）と、試料室内を真空にするための排気系と、像観察のための操作系で構成される。図７７の電子顕微鏡７０００は、このような部材により荷電粒子線による電子線観察像の観察を行うための電子線撮像部７７４２の構成を示している。また、図７７のコンピュータ７７０１にインストールされた電子顕微鏡の操作プログラムで、電子顕微鏡の像観察条件の設定や各種操作を行い、観察像の表示を行う表示部７７２８に表示する。

光学系は、加速電子の電子線を発生させる電子銃７７０７、加速電子の束を絞り込んで細束化するレンズ系、試料から発生する二次電子や反射電子を検出する検出器を備える。図７７に示す走査型電子顕微鏡７０００は、光学系として電子線を照射する電子銃７７０７と、電子銃７７０７から照射される電子線がレンズ系の中心を通過するように補正するガンアライメントコイル７７０９と、電子線のスポットの大きさを細く絞る収束レンズ７７１２であるコンデンサレンズと、収束レンズ７７１２で収束された電子線を試料７７２０上で走査させる電子線偏向走査コイル７７１８と、走査に伴い試料７７２０から放出される二次電子を検出する二次電子検出器７７２１と、反射電子を検出する反射電子検出器７７２２を備える。

試料室７７３１には、試料台７７３３、試料導入装置、Ｘ線検出用分光器等が備えられる。試料台７７３３（ステージ）はＸ、Ｙ、Ｚ移動、回転、傾斜機能を備える。排気系は、加速電子の電子線が気体成分通過中に極力エネルギーを失うことなく試料に到達するために必要で、ロータリーポンプ、油拡散ポンプが主として用いられる。

操作系は二次電子像、反射電子像、Ｘ線像等を表示、観察しながら照射電流の調整、焦点合わせ等を行う。二次電子像等の出力は、アナログ信号であれば写真機によるフィルム撮影が一般的であったが、近年は画像をデジタル信号に変換した出力が可能となり、データの保存や画像処理、印刷等の多種多様な処理が可能である。図７７のＳＥＭは、二次電子像や反射電子像等の観察像を表示する表示部７７２８と印刷のためのプリンタ７７２９を備える。また操作系は、像観察条件として少なくとも加速電圧又はスポットサイズ（入射電子線束の直径）を設定するために必要な設定項目の設定手順を誘導（ガイダンス）する誘導手段を備える。

図７７に示すＳＥＭは、コンピュータ７７０１と接続され、コンピュータ７７０１を電子顕微鏡７０００の操作を行うコンソールとして使用し、また必要に応じて像観察条件や画像データを保存したり、画像処理や演算を行う。図７７に示すＣＰＵやＬＳＩ等で構成される中央演算処理部７７０２は、走査型電子顕微鏡７０００を構成する各ブロックを制御する。電子銃高圧電源７７０３を制御することにより、フィラメント７７０４、ウェーネルト７７０５、アノード７７０６からなる電子銃７７０７より電子線を発生させる。電子銃７７０７から発生された電子線７７０８は、必ずしもレンズ系の中心を通過するとは限らず、ガンアライメントコイル７７０９をガンアライメントコイル制御部７７１０によって制御することで、レンズ系の中心を通過するように補正を行う。次に、電子線７７０８は収束レンズ制御部７７１１によって制御される収束レンズ７７１２であるコンデンサコイルによって細く絞られる。収束された電子線７７０８は、電子線７７０８を偏向する非点収差補正コイル７７１７、電子線偏向走査コイル７７１８、対物レンズ７７１９、及び電子線７７０８のビーム開き角を決定する対物レンズ絞り７７１３を通過し、試料７７２０に至る。非点収差補正コイル７７１７は非点収差補正コイル制御部７７１４によって制御され、走査速度等を制御する。同様に電子線偏向走査コイル７７１８は電子線偏向走査コイル制御部７７１５によって、対物レンズ７７１９は対物レンズ制御部７７１６によって、それぞれ制御され、これらの作用によって試料上を走査する。試料７７２０上を電子線７７０８が走査することにより、試料７７２０から二次電子、反射電子等の情報信号が発生され、この情報信号は二次電子検出器７７２１、反射電子検出器７７２２によりそれぞれ検出される。検出された二次電子の情報信号は二次電子検出増幅部７７２３を経て、また反射電子の情報信号は反射電子検出器７７２２で検出されて反射電子検出増幅部７７２４を経て、それぞれＡ／Ｄ変換器７７２５、７７２６によりＡ／Ｄ変換され、画像データ生成部７７２７に送られ、画像データとして構成される。この画像データはコンピュータ７７０１に送られ、コンピュータ７７０１に接続されたモニタ等の表示部７７２８にて表示され、必要に応じてプリンタ７７２９にて印刷される。排気系ポンプ７７３０は、試料室７７３１内部を真空状態にする。排気系ポンプ７７３０に接続された排気制御部７７３２が真空度を調整し、試料７７２０や観察目的に応じて高真空から低真空まで制御する。

電子銃７７０７はあるエネルギーをもった加速電子を発生させるソースとなる部分で、Ｗ（タングステン）フィラメントやＬａＢ_６フィラメントを加熱して電子を放出させる熱電子銃の他、尖状に構成したＷの先端に強電界を印加して電子を放出させる電界放射電子銃がある。レンズ系には、収束レンズ、対物レンズ、対物レンズ絞り、電子線偏向走査コイル、非点収差補正コイル等が装着されている。収束レンズは電子銃で発生した電子線をさらに収斂して細くする。対物レンズは最終的に電子プローブを試料に焦点合わせするためのレンズである。対物レンズ絞りは収差を小さくするために用いられる。検出器には、二次電子を検出する二次電子検出器と反射電子を検出する反射電子検出器がある。二次電子はエネルギーが低いのでコレクタにより捕獲され、シンチレータにより光電子に変換されて、光電子倍増管で信号増幅される。一方、反射電子の検出にはシンチレータあるいは半導体型が用いられる。
（試料台７７３３）

観察位置の位置決めは、試料７７２０を載置した試料台７７３３を物理的に移動させて行う。この場合は観察位置決め手段が試料台７７３３で構成される。試料台７７３３は試料７７２０の観察位置を調整可能なように様々な方向への移動、調整が可能である。移動、調整の方向は、試料台７７３３の観察位置を移動、調整させるため、試料台７７３３の平面方向であるＸ軸及びＹ軸方向、Ｒ軸（回転）方向への移動及び微調整が可能である他、試料の傾斜角度を調整するために試料台７７３３のＴ軸方向の調整、ならびに対物レンズと試料との距離（ワーキングディスタンス）を調整するために試料台７７３３のＺ軸方向の調整が可能である。

観察像の位置決めや観察視野の移動には、試料台を物理的に移動させる方法に限られず、例えば電子銃から照射される電子線の走査位置をシフトさせる方法（イメージシフト）も利用できる。あるいは両者を併用する方法も利用できる。あるいはまた、広い範囲で一旦画像データを取り込み、データをソフトウェア的に処理する方法も利用できる。この方法では、一旦データが取り込まれてデータ内で処理されるため、ソフトウェア的に観察位置を移動させることが可能で、試料台の移動や電子線の走査といったハードウェア的な移動を伴わないメリットがある。予め大きな画像データを取り込む方法としては、例えば様々な位置の画像データを複数取得し、これらの画像データをつなぎ合わせることで広い面積の画像データを取得する方法がある。あるいは、低倍率で画像データを取得することによって、取得面積を広く取ることができる。

次に、ＳＥＭの操作を行う操作プログラムの一例を図７８に示す。この図では、ユーザが像観察条件を個別に設定可能なマニュアル観察モードが選択されている。この図に示す操作画面は、結像された観察像を表示する第１表示領域４７と、位置表示、広域図、ｅプレビュー、及び比較画像を表示する第２表示領域４８と、観察像の画像補正を設定する画像補正設定手段６０１と、検出器、加速電圧、真空度、及びスポットサイズ等の像観察条件を個別に設定する個別条件設定手段６０３と、以前に記憶された画像ファイルに対応する像観察条件から一の観察条件を設定するファイル対応条件設定手段６０４と、プレビュー機能を設定するプレビュー設定手段６０５と、視野設定部として、観察像等の倍率を設定する倍率設定部６１１と、観察視野の移動を設定する観察視野移動設定部６１２と、コントラスト及び明るさを設定するコントラスト・明るさ設定手段６１３と、非点収差の調整を設定する非点収差調整設定手段６１４と、光軸の調整を設定する光軸調整設定手段６１５とを備える。マニュアル観察モードでは、画像補正設定手段６０１において、シャープネスを設定するシャープネス設定手段６０１ａと、ハイライトを設定するハイライト設定手段６０１ｂと、ガンマ補正を設定するガンマ補正設定手段６０１ｃと、観察像の輝度分布を示す輝度分布図（ヒストグラム）６０１ｄと、オーバーレンジ抽出設定手段６０１ｅとが表示される。オーバーレンジ抽出設定手段は、オーバーレンジした領域を抽出して表示するよう設定するものである。具体的には、観察像が表示された状態で、オーバーレンジ抽出設定手段６０１ｅの一態様である「オーバーレンジチェック」欄をチェックすると、観察像のアンダー領域あるいはオーバー領域なったオーバーレンジ領域を他の中間色領域と異なる態様で表示される。また、上記と同様個別条件設定手段６０３によって像観察条件を個別に設定することもできる。個別条件設定手段６０３で設定可能な項目としては、「検出器」ボックス６０３ａ、「加速電圧」ボックス６０３ｂ、「真空度」ボックス６０３ｃ、「スポットサイズ」ボックス６０３ｄ等が用意されているが、非点収差調整設定手段、光軸調整設定手段等を含めてもよい。また、「ファイルから読み出す」ボタン（ファイル対応条件設定手段）４０４によって、以前に記憶された画像ファイルに対応する像観察条件から一の観察条件を設定することができる。さらに、プレビュー設定手段の一態様である「ｅプレビュー設定」ボタン６０５によって、上述したプレビュー機能が実行される。

次に、この操作プログラムを操作して３次元画像を生成する手順を、図７９のフローチャートに基づいて説明する。まずステップＳ７９１で、基準となる第１の観察像を取得する。図４は、ＳＥＭを操作して第１の観察像を撮像する様子を示す。図８０〜図８３の画面は図２の表示部７７２８に表示されており、ここでは画面下段のタブの内「３Ｄ」タブ６２１が選択され、３次元画像の生成機能が選択されている。この３次元画像生成プログラムでは、下段のタブが各機能を切り換えるモード切替部を構成しており、このタブを切り換えることで、機能を選択することができる。また操作プログラムのメニュー画面からモードを切り換えることもできる。図８０の画面では、表示部７７２８に表示されるインターフェースの内、画面の右側が現在処置中の画像を示す第１表示領域４７である。また画面左側の上部には、第２表示領域４８が設けられ、第２表示領域４８の下部に設けられたタブを切り換えることによって広域図や位置表示、ｅプレビュー、比較画像等を切り替えて表示する。
（「１枚目の撮影」ステップ）

まず「１枚目の撮影」ステップでは、第１の観察像の撮影条件の決定及び画像の調整を行う。ここでは、説明表示欄６３０で３次元画像の作成には２枚の画像が必要なことを説明した後、「撮影準備」として、対象となる画像が第１表示領域４７に表示されているかどうかをユーザに確認させる。所望の観察像が第１表示領域４７に表示されていない場合は、下方のタブを「３Ｄ」タブ６２１から「オート観察１」、「オート観察２」、「マニュアル観察」等のタブに切り換えて、３次元画像として表示したい観察対象の観察条件や観察位置等を指定し、第１表示領域４７に表示させる。また必要に応じて画像の微調整を行う。例えばフォーカスの調整を行う際には「倍率誤差補正」ボタン６５２を押下する。このようにして所望の観察像を第１表示領域４７に表示させた後、説明表示欄６３０の説明通り、「撮影」ボタン６５４を押下して第１の観察像を撮影する。撮影された第１の観察像は、必要に応じて画像データ記憶部であるコンピュータのハードディスク、記録媒体等に保存される。このようにして第１の観察像を取得すると、説明表示欄６３０の下方に設けられた「次へ」ボタン６５６が押下可能となり、これを押下することで、図８１の画面に切り替わり、図７９のフローチャートのステップＳ７９２に進む。

なお、第１の観察像は、上述のようにＳＥＭ等の電子線撮像部で新たに撮像する他、既に撮像されデータとして保存された画像データの中から選択することもできる。例えば図８０の画面左で切替タブの上部には「最近保存した画像」の一覧表示欄６６０が設けられており、過去に保存した画像を呼び出すことができる。また画像データ記憶部に記録された画像データ中から、ファイラ等を用いて所望の画像を第１の観察像として選択することもできる。
（「２枚目の撮影」ステップ）

次に、第１の観察像に基づいて第２の観察像を取得するために、図７９のフローチャートのステップＳ７９２で観察対象となる試料の傾斜、位置合わせを行う。試料の傾斜は、第１の観察像に対して視差を生じさせる程度とする。その傾斜角度は、倍率によって最適値は異なるが、例えば３〜７°、好ましくは５°程度とする。図８０及び図８１の例では、図８０の「次へ」ボタン６５６を押下すると、第１表示領域４７に表示中の試料が自動的に適切な回転軸及び傾斜角度にて傾斜され、図８１の第１表示領域４７に示すように傾斜前の第１の観察像と、傾斜後の第２の観察像とが並べて表示される。このように、プログラム側で自動的に傾斜を実行させることにより、ユーザは回転の角度や回転軸等を意識することなく３次元画像の生成を行える。例えばマウス等による回転操作では、回転軸や回転角度の微調整が困難であり、またキーボードからの指定では、数値での入力となるため実際の回転軸の位置等をイメージし辛い。そこで、このような面倒な操作を自動で行わせることにより、ユーザの負担を軽減できる。なお、操作に慣れたユーザ向けには、このような自動設定でなくマニュアル設定に切り換えるよう構成してもよい。すなわち、マニュアル操作によって傾斜角度を任意に設定することができる。

試料を傾斜して表示させる方法としては、観察対象を傾斜させる方法、撮像部を傾斜される方法、光路を傾斜方法がある。この例では、試料を裁置する試料台を傾斜させている。ただ、電子線撮像部側を傾けたり、電子顕微鏡の入射電子の入射角を傾ける等光路を傾斜させる方法によっても同様の効果を実現することができる。これらの場合は試料台を固定させたままで傾斜画像を取得できる。

また図８１に示すように、回転前と回転後の観察像を並べて表示することにより、特に手動設定の場合はユーザが傾斜の状態を回転の前後で対比しながら確認できるので、調整が容易となる。図８１の例では、第１表示領域４７を左右に分割して、左の第１分割表示領域４７Ａに第１の観察像を、右の第２分割表示領域４７Ｂに、第２の観察像を撮像するために操作中の対象画像が表示される。なお、これらの表示を入れ替えることも可能であることはいうまでもない。またこの例では第１表示領域４７を２分割しているが、３以上の画面に分割することも可能であり、さらに左右に限られず上下に分割する等、そのレイアウトや画面サイズも適宜変更できる。さらに、第２表示領域４８を利用して画像の対比に利用したり、第２表示領域４８を複数の画面に分割することも可能である。

このような自動設定の後、図７９のステップＳ７９２ではさらに、傾斜された表示中の試料が、第１の観察像と同じ視点で表示されるように位置合わせと画像の微調整を行う。図８１の説明表示欄６３０では、「位置を合わせる」、「２枚目を撮像する」との手順が説明される。ユーザはこれに従い、「倍率」ボタン６１１ａで傾斜された観察像を拡大しながら、「中心移動」ボタン６１２ａ等を使用して、第１の観察像とほぼ同じ位置となるように移動させる。「中心移動」ボタン６１２ａを押下すると、マウス等で表示領域状をクリックしたポイントが画面の中心となるように移動される。また移動には、マウスやキーボード等のポインティングデバイスを利用することもできる。

なお、上記の手順は順番を入れ替えることも可能である。すなわち、一枚目の画像を取得し、視差を生じさせ、二枚目の画像を取得するフロー図の手順に限られず、例えば視差を生じさせるために傾斜させ、事前に撮影してあった一枚目の画像を読み出し、二枚目の画像取得する手順、あるいは視差を生じさせるために傾斜させ、一枚目の画像を取得し、事前に撮影してあった画像を二枚目の画像として読み出す、といった手順も可能である。
（倍率連動機能）

さらに、第１分割表示領域４７Ａと第２分割表示領域４７Ｂの表示倍率を同一に保つ倍率連動機能を備えている。すなわち、第１分割表示領域４７Ａ又は第２分割表示領域４７Ｂのいずれか一方を拡大／縮小すると、他方もこれに追随して同様に拡大／縮小される。これによって、一方の拡大／縮小操作に合わせて他方の拡大／縮小操作を行う手間を省くことができ、常に第１分割表示領域４７Ａと第２分割表示領域４７Ｂの表示倍率を等しくして、両画像の対比を容易に行える。特に、基準となる第１の観察像に関する参照画像を第１分割表示領域４７Ａに表示し、これに合わせるように第２分割表示領域４７Ｂに表示される観察対象の位置や姿勢を倍率設定部６１１や観察視野移動設定部６１２等の視野設定部で調整する際、詳細な位置合わせのために拡大表示させる場合に、一々対応する画像の倍率を調整しなくて済むため、操作手数を少なくして使い易い環境が実現される。特にＳＥＭ等の荷電粒子線装置の観察倍率は、ダイナミックレンジが非常に広く、数万倍、数十万倍の高倍率まで観察可能であるため、同じ視野を探す対象が非常に広範になる可能性がある。このような場合に、倍率連動した参照画像を利用することで、作業能率を大きく向上させることができる。また倍率のみならず、視野の移動にも自動的に追随させるよう構成してもよく、これによってさらに操作を省力化して比較を容易に行える。なお、このような連動機能は、ＯＮ／ＯＦＦすることができ、第１分割表示領域４７Ａ、第２分割表示領域４７Ｂの各画像を個別に拡大／縮小することもできる。また、いずれか一方の画像を操作したときのみ倍率の連動機能をＯＮさせ、他方の画像を操作したときは連動させずに単独で拡大／縮小させるように構成してもよい。

以上のようにして第２の観察像の像観察条件が設定されると、図７９のステップＳ７９３に進み「撮影」ボタン６５４を押下して第２の観察像を撮像する。撮像された第２の観察像は、画像データファイルとして画像データ記憶部であるコンピュータのハードディスク、記録媒体等に保存される。

そして図７９のステップＳ７９４で、図８２の画面に切り換えられ、これら第２の観察像及び第１の観察像に基づいて、３次元画像生成部８０９で３次元画像を合成する。図８２の例では、生成される３次元画像の精細さ、処理速度に応じて生成条件を調整した３次元画像生成モード選択部６７０として、「ファーストモード」と「ファインモード」の２つのモードを用意している。「ファーストモード」では３次元画像の構築時間が短いものの得られる３次元画像が若干荒くなり、「ファインモード」では構築に時間がかかるものの滑らかな３次元画像を得ることができる。ユーザは観察目的等に応じてこのような速度重視又は画質重視のモードを選択し、「次へ」ボタン６７２を押下すると、選択されたモードにて３次元画像が生成される。２枚の視差画像から３次元画像を生成する手法は、既知の、あるいは将来開発される手法が適宜利用できる。
（３次元画像表示領域７２０）

このようにして３次元画像が生成されると、表示部７７２８に３次元画像が表示される。ここでは、図８３に示すように別ウィンドウとして生成された３次元画像を表示するための３次元画像表示領域７２０が３次元画像生成プログラムのインターフェース画面上に重ねて表示される。この３次元画像表示領域７２０は、３次元画像の表示、操作、計測、照明シミュレーション等を実行する３次元画像表示プログラムのインターフェース画面７００に組み込まれている。ユーザはこのインターフェース画面７００から、構築された３次元画像に対して移動や回転、計測を行ったり、照明条件に基づいて仮想的に配置した光源で生じる照明光の反射状態を擬似的に表現した照明シミュレーションを再現できる。

図８３に示す３次元画像表示プログラムのユーザインターフェース画面７００の例では、画面の左側に３次元画像表示領域７２０を、右側に照明シミュレーション設定部７３０を配置している。照明シミュレーション設定部７３０は、上から操作対象を指定するための「ドラッグ対象」欄７３１、３次元画像の表面における反射状態を設定するための「見え方」欄７３６、３次元画像の凹凸のみを表示するための「凹凸のみ表示」欄７６０、「見え方」欄７３６で「カスタム」を選択すると表示される、照明条件を構成する３次元画像表面の反射係数や拡散係数等の照明パラメータを連続的に変化させて反射の状態を調整するための「表面」スライダ７３６Ｂ、照明の光量を調整するための「ライト明るさ」欄７３４、３次元画像や背景の色を指定、変更するための「色指定」欄７３８、３次元画像の高さを強調するための「高さ調整」欄７４０、３次元画像の高さ毎に等高線状に色分けした画像と実画像とを重ねて表示する比率を変更するための「高さ／ＳＥＭ像」欄７５０、高さの目安となるＸＹＺ軸に関する寸法を示したスケールの表示、非表示を選択するための「スケール」欄７７０、及び印刷、保存、リセット、比較、終了等の各種操作を行うためのボタン類７８０が設けられている。図８３の画面では「ドラッグ対象」欄７３１のラジオボタンを「物」に選択しており、３次元画像表示領域７２０で表示される３次元画像をマウス等の操作部５５で選択して移動、回転等操作できる。３次元画像表示領域７２０の下段にはマウスの操作方法が示されており、マウスの左ボタンでドラッグすると３次元画像を回転でき、右ボタンでドラッグすると拡大縮小でき、ホイールボタンでドラッグするとＸ−Ｙ平面に移動できる。また、ツールボタンやスライダ等を設けて操作するように構成してもよい。また「見え方」欄７３６のドロップダウンリストでは「カスタム」の他、既定の照明条件セットとして「石膏風」、「プラスチック風」、「金属風」、「蛙の肌」、「照明なし」、「ワイヤフレーム」等、得られる反射付３次元画像のイメージを想起し易い名称を付された様々な照明条件に予め設定された照明状態を選択することで、照明シミュレーションを実行した反射付３次元画像を表示できる。また「ドラッグ対象」欄７３１で「ライト」を選択することにより、光源アイコンが３次元画像表示領域７２０に表示され、「ライト明るさ」欄７３４のスライダを調整することにより、照明光の光量を調整できる。また「凹凸のみ表示」欄７６０のチェックボックスをＯＮすることにより、反射付３次元画像が表面のテクスチャを非表示とした凹凸のみのソリッドモデルで表示される。さらに「見え方」欄７３６のドロップダウンリストで「ワイヤフレーム」を選択すれば、３次元画像をワイヤフレームで表示することもできる。

以上の３次元画像表示プログラムは３次元画像生成プログラムと一体的に統合されており、３次元画像生成プログラムの一機能として利用できる。また３次元画像の生成画面や表示画面、操作画面等のユーザインターフェース画面は、上記の例に限られず、例えば３次元画像表示領域と照明シミュレーション設定部を一体にした３次元画像表示プログラムとする等、デザインや配置、大きさや形状等を適宜変更することができる。

なお以上の方法では、２枚の観察像に基づいて３次元画像を構築する例を説明したが、画像取得枚数は２枚に限られず、必要な画像枚数分視差を生じさせて画像取得を繰り返し、これらに基づいて３次元画像を構築することもできる。

このようにして取得された３次元画像を、図７７の第１表示領域４７や図８３の３次元画像表示領域７２０に複数表示し、上述したデジタルマイクロスコープと同様の手順で図５３の３次元差分画像を差分抽出部５２６で生成し、表示させることができる。このようにして、電子顕微鏡等においても、複数の３次元画像の対比や差分抽出を容易に行うことができる。

本発明の３次元画像表示装置、３次元画像表示方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器は、走査型、透過型等の電子顕微鏡や微細表面形状計測装置、デジタルマイクロスコープ等に適用して、撮像された観察像から３次元画像を生成し、各種演算や複数画像の対比を行う際に好適に利用できる。

本発明の実施の形態に係る３次元画像表示装置の外観図である。 本発明の第１の実施の形態に係る３次元画像表示装置のブロック図である。 本発明の第２の実施の形態に係る３次元画像表示装置のブロック図である。 高さｚに対する受光データの変化を示すグラフである。 ３次元データの撮像方法の一例を示すフローチャートである。 複数の２次元画像データから合成画像を生成する一手順を説明するフローチャートである。 本発明の一実施の形態に係る３次元画像表示プログラムのインターフェース画面を示すイメージ図である。 図７の状態から表示領域Ｂの３次元画像の視点を変更した状態を示すイメージ図である。 図７の状態から表示領域Ａの３次元画像の視点を変更した状態を示すイメージ図である。 図７の状態から表示領域Ａ、Ｂの３次元画像の視点を同時に変更した状態を示すイメージ図である。 表示領域Ａ、Ｂの３次元画像の拡大率を変更した状態を示すイメージ図である。 表示領域Ａ、Ｂの３次元画像の拡大率を変更した状態を示すイメージ図である。 表示領域Ａ、Ｂの３次元画像の拡大率を変更した状態を示すイメージ図である。 ２つの画像の表示状態が合致しない例を示すイメージ図である。 図１４の画像の表示状態を一致させた例を示すイメージ図である。 本発明の他の実施の形態に係る３次元画像表示プログラムのインターフェース画面を示すイメージ図である。 ワークの位置合わせを行う一手順を説明するフローチャートである。 ３次元画像表示プログラムのコントローラ部のユーザインターフェース画面の一例を示すイメージ図である。 図１８の操作に基づき基準となる３次元画像を表示するイメージ図である。 図１９の基準３次元画像と、比較対象の３次元画像とを表示するイメージ図である。 図２０の画面から、比較３次元画像を基準３次元画像と同じ倍率に変更して表示する例を示すイメージ図である。 図１９の基準３次元画像を表示する視点を変更した例を示すイメージ図である。 図２２の基準３次元画像と、比較対象の３次元画像とを表示するイメージ図である。 図２３の画面から、比較３次元画像の視点を基準３次元画像と同じに変更して表示する例を示すイメージ図である。 図２４の画面から、さらに比較３次元画像を基準３次元画像と同じ倍率に変更して表示する例を示すイメージ図である。 ３次元着色画像を生成する制御部の構成を示すブロック図である。 ３次元画像の一例を示すイメージ図である。 図２７の３次元画像を３次元着色画像に変換した一例を示すイメージ図である。 図２８の３次元着色画像にスケールグリッドを表示した例を示すイメージ図である。 図２９の３次元着色画像の透過率を５０％に設定した例を示すイメージ図である。 複数の３次元着色画像を通常モードで表示する例を示すイメージ図である。 複数の３次元着色画像を絶対値比較モードで表示する例を示すイメージ図である。 図３１の３次元着色画像の透過率を０％として元の３次元画像を表示させた例を示すイメージ図である。 図３１の３次元着色画像の透過率５０％とした例を示すイメージ図である。 図３２の３次元着色画像の透過率を０％として元の３次元画像を表示させた例を示すイメージ図である。 図３２の３次元着色画像の透過率を５０％とした例を示すイメージ図である。 差分抽出を行う３次元画像の一例を示すイメージ図である。 差分抽出を行う３次元画像の一例を示すイメージ図である。 図３７及び図３８の３次元画像を表示部に同時に表示したイメージ図である。 図３７及び図３８の３次元画像が重なるように視点調整部で視点を調整する状態を示すイメージ図である。 図３７及び図３８の３次元画像を重ね合わせた状態を示すイメージ図である。 図４１の３次元画像から差分を抽出した状態を示すイメージ図である。 図４２の抽出された差分から、さらに所定の閾値を超える部分を抽出した３次元差分画像を示すイメージ図である。 図４１の３次元差分画像の重ね合わせ画像と、図４３の３次元差分画像とを表示部に同時に表示したイメージ図である。 基準３次元画像の一例を示すイメージ図である。 比較３次元画像の一例を示すイメージ図である。 図４５の基準３次元画像と図４６の比較３次元画像とを重ね合わせた状態を示すイメージ図である。 図４７の重ね合わせ画像から抽出される３次元差分画像を示すイメージ図である。 図４６の基準３次元画像上に図４８の３次元差分画像を重ねて表示する例を示すイメージ図である。 ３次元画像の表面プロファイルを測定する３次元画像表示プログラムのユーザインターフェース画面の一例を示すイメージ図である。 第１の３次元画像と第２の３次元画像を表示部に表示した状態を示すイメージ図である。 図５１の第１の３次元画像と第２の３次元画像の３次元差分画像を抽出した状態を示すイメージ図である。 ３次元画像表示装置のブロック図である。 図５２の第１の３次元画像と第２の３次元画像を相対的に移動させた際に３次元差分画像が更新される状態を示すイメージ図である。 図５２の第１の３次元画像と第２の３次元画像を相対的に移動させた際に３次元差分画像が更新される状態を示すイメージ図である。 第１の３次元画像と第２の３次元画像を表示部に表示し、基準面を移動させた状態を示すイメージ図である。 図５６の第１の３次元画像と第２の３次元画像の３次元差分画像を抽出した状態を示すイメージ図である。 図５７の第１の３次元画像と第２の３次元画像を相対的に移動させた際に３次元差分画像が更新される状態を示すイメージ図である。 図５７の第１の３次元画像と第２の３次元画像を相対的に移動させた際に３次元差分画像が更新される状態を示すイメージ図である。 第１の３次元画像と第２の３次元画像について、基準面と連動させて着色分布を割り当てた例を示すイメージ図である。 ３次元画像に対して各種の演算を行う例を示すイメージ図である。 ３次元画像に対して第２の基準面を移動させて各種の演算を行う例を示すイメージ図である。 図６２の３次元画像に対して基準面を上方に移動させて各種の演算を行う例を示すイメージ図である。 図６２の３次元画像に対して基準面を下方に移動させて各種の演算を行う例を示すイメージ図である。 比較３次元画像と基準３次元画像を表示する例を示すイメージ図である。 図６５の比較３次元画像と基準３次元画像を重ねて、これらの３次元差分画像を表示する例を示すイメージ図である。 図６６の比較３次元画像と基準３次元画像の傾斜を調整する様子を示すイメージ図である。 図６６の比較３次元画像と基準３次元画像の高度差を調整する様子を示すイメージ図である。 図６６の比較３次元画像と基準３次元画像の平行面内での位置を調整する様子を示すイメージ図である。 図６６の比較３次元画像と基準３次元画像の平行面内での回転を調整する様子を示すイメージ図である。 基準面設定機能を利用して３次元差分画像を表示する手順を示すフローチャートである。 基準位置に対する基準面を、比較３次元画像と基準３次元画像上にそれぞれ表示する例を示すイメージ図である。 基準３次元画像と比較３次元画像の傾きと高さが調整された状態で、これらの３次元差分画像を表示する例を示すイメージ図である。 図７３の比較３次元画像と基準３次元画像の平行面内での位置を調整する様子を示すイメージ図である。 図７３の比較３次元画像と基準３次元画像の平行面内での回転を調整する様子を示すイメージ図である。 傾斜のない比較３次元画像と基準３次元画像を表示した状態で、基準面をスケールと平行に調整する様子を示すイメージ図である。 電子顕微鏡の電子線撮像部の構成を示すブロック図である。 電子顕微鏡操作プログラムの操作画面を示すイメージ図である。 ３次元画像を生成する手順を示すフローチャートである。 「１枚目の撮像」ステップを実行中の３次元画像生成プログラムのユーザインターフェース画面を示すイメージ図である。 「２枚目の撮像」ステップを実行中の３次元画像生成プログラムのユーザインターフェース画面を示すイメージ図である。 「３Ｄ画像作成」ステップを実行中の３次元画像生成プログラムのユーザインターフェース画面を示すイメージ図である。 ３次元画像を表示する画面の一例を示す３次元画像生成プログラムのユーザインターフェース画面を示すイメージ図である。

１０…撮像部；１０ａ…カメラ；１１…光学系
１２、２１２…ＣＣＤ；１３、２１３…ＣＣＤ駆動回路
１４…光路シフト部
２０…ステージ昇降器；２１…ステッピングモータ
２２…モータ制御回路
２８…表示部
３０…ステージ
４１…スタンド台；４２…支柱；４３…カメラ取り付け部
４７…第１表示領域；４７Ａ…第１分割表示領域；４７Ｂ…第２分割表示領域
４８…第２表示領域
５０…情報処理装置
５１…制御部
５２、５２Ｂ、５２Ｃ…表示部
５３…メモリ；５３Ａ…記憶部
５４…インターフェイス
５５…操作部；５５Ａ…ポインティングデバイス
５５ａ…マウス；５５ｂ…左ボタン；５５ｃ…右ボタン
５５ｄ…スクロールボタン；５５ｅ…マウスポインタ
６０…照明部；６０Ａ…落射照明；６０Ｂ…透過照明
６１…光ファイバー；６２…コネクタ
７０…コンピュータ
１００…第一の光学系
１０１…レーザ；１０２…第一のコリメートレンズ
１０３…偏光ビームスプリッタ；１０４…１／４波長板
１０５…水平偏向装置；１０６…垂直偏向装置
１０７…第一のリレーレンズ；１０８…第二のリレーレンズ
１０９…対物レンズ；１１０…結像レンズ
１１１…ピンホール板；１１２…フォトダイオード
１１３…Ａ／Ｄコンバータ；１１５…レーザ駆動回路
２００…第二の光学系
２０１…白色ランプ；２０２…第二のコリメートレンズ
２０３…第１ハーフミラー；２０４…第２ハーフミラー
３００…コントローラ部
３０２…「ファイル選択」欄
３０４…「３Ｄを表示」ボタン；３０６…「３Ｄを閉じる」ボタン
３１０…「３Ｄファイル比較」欄
３１２…「比較モード」ボタン；３１３…「サブ切換」ボタン
３１４…「連動モード」ボタン；３１６…「同期セット」ボタン
３２０…「高さ調整」スライダ
３２２…「保存」ボタン；３２４…「リセット」ボタン
３２６…「高さ／カラー」ボタン；３２８…透過率調整スライダ
３３０…「スケール」ボタン
４０２…色ゲージ；４０４…スケールグリッド
４１２…表示領域；４１４…コンソール領域；４１６…プロファイル領域
５１２…割り当て部
５１４…着色画像生成部
５１６…画像調整部
５１８…モード切替部
５２０…透過率調整部
５２２…倍率調整部
５２４…視点調整部
５２６…差分抽出部
６０１…画像補正設定手段；６０１ａ…シャープネス設定手段
６０１ｂ…ハイライト設定手段；６０１ｃ…ガンマ補正設定手段
６０１ｄ…輝度分布図；６０１ｅ…オーバーレンジ抽出設定手段
６０３…個別条件設定手段；６０３ａ…「検出器」ボックス
６０３ｂ…「加速電圧」ボックス；６０３ｃ…「真空度」ボックス
６０３ｄ…「スポットサイズ」ボックス
６０４…ファイル対応条件設定手段；６０５…「ｅプレビュー設定」ボタン
６１１…倍率設定部；６１１ａ…「倍率」ボタン
６１２…観察視野移動設定部；６１２ａ…「中心移動」ボタン
６１３…コントラスト・明るさ設定手段；６１４…非点収差調整設定手段
６１５…光軸調整設定手段
６２１…「３Ｄ」タブ；６３０…説明表示欄
６４０…フロー図；６４１…「１枚目の撮影」欄
６５０…観察条件設定部；６５２…「倍率誤差補正」ボタン
６５４…「撮影」ボタン；６５６…「次へ」ボタン
６６０…「最近保存した画像」の一覧表示欄
６７０…３次元画像生成モード選択部；６７２…「次へ」ボタン
６８１…枠状；６８２…ガイド線
７００…３次元画像表示プログラムのインターフェース画面
７２０…３次元画像表示領域；７３０…照明シミュレーション設定部
７３１…「ドラッグ対象」欄；７３４…「ライト明るさ」欄
７３６…「見え方」欄；７３６Ｂ…「表面」スライダ；７３８…「色指定」欄
７４０…「高さ調整」欄；７５０…「高さ／ＳＥＭ像」欄
７６０…「凹凸のみ表示」欄；７７０…「スケール」欄；７８０…ボタン類
８００…３次元画像表示装置
８０２…３次元画像取得手段
８０４…基準面生成手段
８０６…基準面移動手段
８０８…演算手段
８０９…３次元画像生成部
８１０…ハイライト処理手段
７０００…電子顕微鏡
７７０１…コンピュータ
７７０２…中央演算処理部
７７０３…電子銃高圧電源
７７０４…フィラメント
７７０５…ウェーネルト
７７０６…アノード
７７０７…電子銃
７７０８…電子線
７７０９…ガンアライメントコイル
７７１０…ガンアライメントコイル制御部
７７１１…収束レンズ制御部
７７１２…収束レンズ
７７１３…対物レンズ絞り
７７１４…非点収差補正コイル制御部
７７１５…電子線偏向走査コイル制御部
７７１６…対物レンズ制御部
７７１７…非点収差補正コイル
７７１８…電子線偏向走査コイル
７７１９…対物レンズ
７７２０…試料
７７２１…二次電子検出器
７７２２…反射電子検出器
７７２３…二次電子検出増幅部
７７２４…反射電子検出増幅部
７７２５…Ａ／Ｄ変換器；７７２６…Ａ／Ｄ変換器
７７２７…画像データ生成部
７７２８…表示部
７７２８Ｂ…演算結果表示欄
７７２９…プリンタ
７７３０…排気系ポンプ
７７３１…試料室
７７３２…排気制御部
７７３３…試料台
７７４２…電子線撮像部
Ｓ…試料；Ａ、Ｂ…表示領域；Ｗ１、Ｗ２…ワーク
Ｇ１…基準３次元画像
Ｇ２…比較３次元画像
Ｇ３…３次元差分画像
Ｇ４…第１の３次元画像
Ｇ５…第２の３次元画像
Ｇ６…３次元差分画像
Ｇ７…３次元差分画像
Ｇ８…基準３次元画像
Ｇ９…比較３次元画像
Ｇ１０…３次元差分画像
Ｇ１１…３次元差分画像
Ｂ１、Ｂ２…基準面
Ｂ３…平面
Ｂ４…平面
Ｂ５…基準面
Ｎ１、Ｎ２…基準面に対する法線
Ｐ１、Ｐ２…基準位置
Ｋ、Ｋ１…基準面；Ｋ２…第２の基準面

Claims (17)

1. 観察対象の３次元画像を取得可能な３次元画像取得手段と、
   前記３次元画像取得手段で取得された第１の３次元画像と第２の３次元画像を表示可能な表示部と、
   前記表示部に、該第１の３次元画像と、該第２の３次元画像を表示させた状態において、該第１の３次元画像が有する大きさに関する情報に基づいて、該第２の３次元画像の表示倍率が同じとなるよう表示倍率を調整可能な倍率調整部と、
   前記表示部で表示される、前記倍率調整部により倍率調整された３次元画像に対して、さらに前記第１の３次元画像で表示される対象物の視点と、前記第２の３次元画像で表示される対象物の視点とを一致させるように調整可能であって、少なくとも移動、傾き、回転のいずれかを調整可能な視点調整部と、
   前記表示部上において少なくともＸ，Ｙ方向の軸を持つ直交座標軸を表示可能な直交座標軸表示手段と、
   前記表示部に表示される３次元画像に重ねて表示可能な基準となる平面を基準面として生成する基準面生成手段と、
   前記基準面生成手段で生成された基準面を、前記直交座標軸と別個に移動させるための基準面移動手段と、
   前記表示部に、第１の３次元画像と第２の３次元画像を表示させ、前記基準面移動手段で基準面を第１の３次元画像の所望の位置に位置合わせした状態で、この基準面を基準として、第２の３次元画像との差分を演算して、前記表示部上に３次元差分画像として表示可能な差分抽出部と、
   を備えることを特徴とする３次元画像表示装置。
2. 請求項１に記載の３次元画像表示装置であって、
   前記基準面生成手段が、基準面を複数設定可能に構成してなることを特徴とする３次元画像表示装置。
3. 請求項１又は２に記載の３次元画像表示装置であって、
   前記基準面移動手段が、前記基準面を平行移動させることを特徴とする３次元画像表示装置。
4. 請求項２又は３に記載の３次元画像表示装置であって、
   前記差分抽出部が、リアルタイムで３次元差分画像を演算して前記表示部上の表示を更新可能に構成してなることを特徴とする３次元画像表示装置。
5. 請求項１から４のいずれかに記載の３次元画像表示装置であって、
   さらに前記表示部で表示される３次元画像に対して、前記基準面によって指定された領域の体積又は容積を演算可能な演算手段
   を備えることを特徴とする３次元画像表示装置。
6. 請求項１から５のいずれかに記載の３次元画像表示装置であって、
   前記基準面生成手段が、３次元画像上で指定された任意の点に基づき、この点を基準位置として近傍の３次元画像の表面の形状を抽出し、基準位置で３次元画像の表面に接する面を基準面とすることを特徴とする３次元画像表示装置。
7. 請求項１から６のいずれかに記載の３次元画像表示装置であって、
   前記３次元画像取得手段が、
   観察対象を撮像するための撮像部と、
   前記撮像部で取得された信号に基づいて３次元の観察画像を生成する３次元画像生成部と、
   を備えることを特徴とする３次元画像表示装置。
8. 請求項１から７のいずれかに記載の３次元画像表示装置であって、
   前記基準面の傾斜を調整可能に構成してなることを特徴とする３次元画像表示装置。
9. 請求項１から８のいずれか一に記載の３次元画像表示装置であって、さらに
   ３次元画像及び／又は前記差分抽出部が抽出した３次元差分画像にハイライト処理を付加して、前記表示部に表示可能なハイライト処理手段
   を備えることを特徴とする３次元画像表示装置。
10. 請求項９に記載の３次元画像表示装置であって、
    前記ハイライト処理が３次元画像及び／又は３次元着色画像への着色処理であることを特徴とする３次元画像表示装置。
11. 請求項１から１０のいずれか一に記載の３次元画像表示装置であって、
    前記差分抽出部が、所定値を超える差分のみを検出して３次元差分画像を生成可能に構成してなることを特徴とする３次元画像表示装置。
12. 請求項１から１１のいずれか一に記載の３次元画像表示装置であって、さらに
    各３次元画像に重ねて表示される３次元画像の透過率を調整可能な透過率調整部を備えることを特徴とする３次元画像表示装置。
13. 請求項１から１２のいずれか一に記載の３次元画像表示装置であって、
    前記３次元画像データがさらに高さ情報を有しており、
    前記３次元画像表示装置はさらに、
    前記３次元画像データが有する該高さ情報に基づいて、高さ毎に割り当てられた色を着色する着色画像生成部を備えることを特徴とする３次元画像表示装置。
14. 請求項１から１３のいずれかに記載の３次元画像表示装置であって、
    前記差分抽出部が抽出した差分データを保存可能に構成してなることを特徴とする３次元画像表示装置。
15. 複数の３次元の観察画像を取得して各々表示部に表示し、これらの３次元画像を対比して観察可能な３次元画像表示方法であって、
    第１の３次元画像及び第２の３次元画像を取得すると共に、前記表示部に並べて、あるいは重ねて表示する工程と、
    第１の３次元画像が有する大きさに関する情報に基づいて、第１の３次元画像と第２の３次元画像の表示倍率が同じとなるように、表示倍率を調整し、さらに必要に応じて、前記第１の３次元画像で表示される対象物の視点と、前記第２の３次元画像で表示される対象物の視点とを一致させるように前記表示部における第１の３次元画像、及び第２の３次元画像の姿勢を調整する工程と、
    前記表示部に表示される３次元画像に重ねて表示可能な、基準となる平面を基準面として生成し、この基準面を、前記表示部上において少なくともＸ，Ｙ方向の軸を持つ直交座標軸と別個に、所望の位置に配置させる工程と、
    この基準面を基準として、第１の３次元画像と第２の３次元画像との差分を演算して、前記表示部上に３次元差分画像として表示する工程と、
    を含むことを特徴とする３次元画像表示方法。
16. 複数の３次元の観察画像を取得して各々表示部に表示し、これらの３次元画像を対比して観察可能な３次元画像表示プログラムであって、
    第１の３次元画像及び第２の３次元画像を取得すると共に、前記表示部に並べて、あるいは重ねて表示する機能と、
    第１の３次元画像が有する大きさに関する情報に基づいて、第１の３次元画像と第２の３次元画像の表示倍率が同じとなるように、表示倍率を調整し、さらに必要に応じて、前記第１の３次元画像で表示される対象物の視点と、前記第２の３次元画像で表示される対象物の視点とを一致させるように前記表示部における第１の３次元画像、及び第２の３次元画像の姿勢を調整する機能と、
    前記表示部に表示される３次元画像に重ねて表示可能な、基準となる平面を基準面として生成し、この基準面を、前記表示部上において少なくともＸ，Ｙ方向の軸を持つ直交座標軸と別個に、所望の位置に配置させる機能と、
    この基準面を基準として、第１の３次元画像と第２の３次元画像との差分を演算して、前記表示部上に３次元差分画像として表示する機能と、
    をコンピュータに実現可能であることを特徴とする３次元画像表示プログラム。
17. 請求項１６に記載される３次元画像表示プログラムを記録したコンピュータで読み取り可能な記録媒体又は記録した機器。