JP5925706B2 - デジタル顕微鏡法の画像強調スポットライト・モード - Google Patents

Description

本発明は、デジタル画素からなる画像の表示に関し、より具体的には、デジタル顕微鏡法によって生成された画像の表示に関する。

デジタル顕微鏡は、走査電子顕微鏡（ＳＥＭ）であるにせよ、または透過型電子顕微鏡（ＴＥＭ）、透過型走査電子顕微鏡（ＳＴＥＭ）、スモール・デュアル・ビーム顕微鏡（ＳＤＢ）、集束イオン・ビーム顕微鏡（ＦＩＢ）もしくは光学顕微鏡（ＬＭ）であるにせよ、一組のデジタル画素を生成し、表示する。このようなデジタル画素セットは一般に、人間が知覚しうる量よりもはるかに多くのデータを含む。例えば、表示グレー・スケールは画像中の全てのデジタル画素値を網羅していなければならず、したがって表示グレー・スケールは、より低コントラストの複数の領域を、それらの領域が見分けのつかない１つの灰色の領域に見えることがあるような形で表示し、それにより人間が特徴部分（フィーチャ（ｆｅａｔｕｒｅ））を見分けることを妨げる。

生体画像など、多くのタイプの画像では、軟組織に対応する低強度の（ほの暗い）画素の領域の中に、例えば骨に対応する高強度の（明るい）画素が散在している。集積回路の画像、例えば集束イオン・ビーム（ＦＩＢ）装置によって集められた集積回路の画像でも同じ現象が起こり、一部の表面が低強度の画素領域を提供する。前述のとおり、使用するグレー・シェード・スケール（ｇｒａｙ ｓｈａｄｅ ｓｃａｌｅ）は、画像中の全ての画素強度を包含する十分に大きなものでなければならない。しかし、このより大きなスケールは、似た強度の画素を、同じグレー・シェードを有する画素として示すことがあり、またはよく似ているために人間にはその差異が分からないグレー・シェードを示すことがある。

さらに、画像化装置が表示画面を供給するアセンブリでは、より多くのデータを集めるべき領域をユーザが指示する単純な方法がある場合に、画像化装置が、表示されているエリア内の関心領域（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）に関するより多くの情報を集めることができる場合がしばしばある。例えば、走査電子顕微鏡（ＳＥＭ）などの走査装置は、より幅の狭いビームおよびより密に配置された走査パターンを使用して、または低い走査レートもしくは高いサンプリング・レートを使用して、単位面積当たりの画素数をより多くすることができる。これらの技法によって生成される、最初の画像のより大きな領域に対するより多くの画素は、提供された表示空間内で実際に使用することができる数よりも多いであろう。さらに、画像化装置は、画像内のより小さな領域に対して、そのサンプリング・グレー・シェード・スケールおよび焦点範囲（ｒａｎｇｅ ｏｆ ｆｏｃｕｓ）を異なるものに調整することができ、それによってその領域に対するより多くの詳細およびより高い明瞭性を提供することができる。しかし、現在のところ、最初のより大きな画像に関してこれらの機能をユーザが利用する簡単な方法はないようである。

Ｉｍａｇｅ Ｄｉａｇｎｏｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌは、そのウェブサイトｈｔｔｐ：／／ｗｗｗ．ｉｍａｇｅｄｉａｇｎｏｓｔ．ｄｅ／ｅｎｇｌｉｓｈ／に、移動およびサイズ調整が可能なスポットライト（ｓｐｏｔｌｉｇｈｔ）を有し、このスポットライトが、グレー・シェード・スケールをスポットライト領域内のグレー・シェードに整合させる、マンモグラフィ画像表示装置を示している。類似の方策として、ｈｔｔｐ：／／ｗｗｗ．ｄｅｘｉｓ．ｃｏｍにウェブサイトを有するＤｅｘｉｓ Ｄｉｇｉｔａｌ Ｄｉａｇｎｏｓｔｉｃ Ｉｍａｇｉｎｇは、スポットライトを有し、このスポットライトが、グレー・シェードが強調されたイメージをスポットライト・エリア上に提供するシステムを示している。

本出願の譲受人に譲渡された米国特許第６，８８９，１１３号は、別のプログラムで生み出されたある形状を画像上にドラッグ・アンド・ドロップすることによって、ユーザが、表示装置もしくは画像形成装置またはその両方を制御することができる画像表示アセンブリを開示している。しかしながら、人間の見え方を改善するスポットライト画像強調（ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ）は開示されていないようである。

人間の患者の皮膚の表面の母斑（ｍｏｌｅ）の検査を容易にする提案されたある画像強調法が、Ｃｅｌｅｂｉ他、「Ｃｏｎｔｒａｓｔ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎ Ｄｅｒｍｏｓｃｏｐｙ Ｉｍａｇｅｓ ｂｙ Ｍａｘｉｍｉｚｉｎｇ ａ Ｈｉｓｔｏｇｒａｍ Ｂｉｍｏｄａｌｉｔｙ Ｍｅａｓｕｒｅ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ ２００９）に示されている。この方法は、結果として生じる画像の画素強度のヒストグラムの双峰性（ｂｉｍｏｄａｌｉｔｙ）を最大にするＲＧＢを、グレー・スケール変換重み付けスキーム（ｇｒａｙ ｓｃａｌｅ ｃｏｎｖｅｒｓｉｏｎ ｗｅｉｇｈｔｉｎｇ ｓｃｈｅｍｅ）に対して選択することによってイメージを強調する。これは、問題のある母斑を検出する自動化されたしきい値アルゴリズムの効率を高める。

したがって、より大きな画像内の関心領域に関する集められた画像データをより完全に利用するユーザ・フレンドリーな機構であり、そのような関心領域に関するより完全なデータ・セットを集めるためにその領域の再画像化を指令するユーザ・フレンドリーな機構が求められている。

米国特許第６，８８９，１１３号

ｈｔｔｐ：／／ｗｗｗ．ｉｍａｇｅｄｉａｇｎｏｓｔ．ｄｅ／ｅｎｇｌｉｓｈ／ ｈｔｔｐ：／／ｗｗｗ．ｄｅｘｉｓ．ｃｏｍ Ｃｅｌｅｂｉ他、「Ｃｏｎｔｒａｓｔ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎ Ｄｅｒｍｏｓｃｏｐｙ Ｉｍａｇｅｓ ｂｙ Ｍａｘｉｍｉｚｉｎｇ ａ Ｈｉｓｔｏｇｒａｍ Ｂｉｍｏｄａｌｉｔｙ Ｍｅａｓｕｒｅ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ ２００９）

本発明の目的は、デジタル顕微鏡法の最初の画像を見ている人が、表示装置および／または顕微鏡を操作して、最初の画像内の関心領域の強調された画像を得ることを可能にすることにある。

好ましい一実施形態では、スポットライト・モードが、スポットライト関心領域に対するグレー・シェード・スケールを、そのスポットライト領域に存在する画素強度の変動幅に整合させる。次いで、そのスポットライト・モードに対して使用したグレー・シェード・スケールを、最初の画像に対して一般化し、それによってスポットライト領域内の特徴部分に類似した特徴部分の詳細を示すことができる。このスポットライト・モードを使用してさらに、スポットライト内のいくつかの領域を強調表示すること、スポットライト領域を反転コントラスト（ｒｅｖｅｒｓｅ ｃｏｎｔｒａｓｔ）で示すこと、スポットライトが配置された領域に関するデータ（例えば画素強度のヒストグラム）を表示すること、画像特徴部分の測定を実施すること、およびスポットライト領域内のあるパターンを認識し、次いで画像内の別の場所にあるそのパターンを探索することができる。

好ましい一実施形態では、スポットライト・モードが、表示された画像から選択されたスポットライト領域の再画像化をユーザが指令することを可能にする容易な機構を提供する。このような再画像化は、より細いビームの（走査顕微鏡に対する）使用、より細かい画素サンプリング・レート（単位走査あたりのサンプル数として測定される）の使用、表示された画像スポットライト領域に存在する画素強度により良好に適合するように調整されたアナログ−デジタル前置増幅器利得の使用、および表示された画像の領域内の最も高い点よりも低い可能性がある画像化された物体のスポットライト領域内の最も高い（最も近い範囲の）点に設定された焦点範囲の使用を可能にすることがある。

以上では、以下の本発明の詳細な説明をより十分に理解できるように、本発明の特徴および技術上の利点をかなり広く概説した。以下では、本発明の追加の特徴および利点を説明する。開示される着想および特定の実施形態を、本発明の同じ目的を達成するために他の構造を変更しまたは設計するベースとして容易に利用することができることを当業者は理解すべきである。さらに、このような等価の構造は、添付の特許請求の範囲に記載された本発明の趣旨および範囲を逸脱しないことを当業者は理解すべきである。

次に、本発明および本発明の利点のより完全な理解のため、添付図面に関して書かれた以下の説明を参照する。

灰色の背景をバックにした白色の柱体の顕微鏡写真を示す表示画面のスクリーン・ショットであり、柱体を含む関心領域上に、コントラストを強調するスポットライトが配置されている。 灰色の背景だけに排他的に当てられた異なる位置にあるより小さなサイズのスポットライトを示す、図１の表示画面を示す図である。 表示画面全体にわたって使用されている図２のスポットライトのグレー・スケールを示す、図１の表示画面を示す図である。 さまざまなサイズの３つのスポットライトを示す、図１の表示画面を示す図である。 反転コントラスト・モードのスポットライトを示す、図１の表示画面を示す図である。 ヒストグラム・モードのスポットライトを示す、図１の表示画面を示す図である。 柱体を横切る線走査を測定する目的に使用されている測定ツールを示す、図１の表示画面を示す図である。 特定のタイプの柱体の柱体頂部を認識する目的に使用されているパターン認識ツールを示す、図１の表示画面を示す図である。 図８に示したパターン認識を実行する目的に使用されるパターン認識走査を示す図である。 図１〜８に示した実施形態の表示装置を使用する諸ステップの流れ図である。 図９のプロセスのステップのうちの１つのステップをより詳細に示す流れ図である。 さまざまなタイプのスポットライト画像化を選択するためのアイコン・バーを有する表示画面を示す図である。 選択されたスポットライトを示す、図１１の表示画面を示す図である。 サイズおよび分解能が増大した、図１２のスポットライト領域を示す図である。 焦点調整を例示するために、画像化されたエリアの形状を描写する図である。 調整可能な前置増幅器利得を有するサンプリング回路を示す図である。 アナログ−デジタル・サンプリング中およびその後のデジタル画素値から表示画素強度への変換中に画素輝度情報がどのように失われるのかを示す一連のグラフである。 本発明のいくつかの実施形態を実行するために使用可能な典型的なデュアル・ビーム・システムの概略図である。

ユーザによる制御が可能な画像強調は、使用可能な画像データをユーザがより完全に利用するのに役立つことがある。例えば、図１〜９に示すように、好ましい一実施形態では、表示画面１０が、ユーザによって制御されるスポットライト１２を含む。本明細書で使用されるとき、「スポットライト」は、ユーザによって位置、サイズおよび形状が制御される画像の領域（１つまたは複数）であって、リアルタイム・アクションが実行される領域（１つまたは複数）である。マウス、マルチタッチ・スクリーン、タッチパッドなどの好ましいユーザ・インタフェースは例えば、直観的で使いやすい動的なリアルタイム制御を可能にする。「アクション」は、グレーレベル変換、関心領域（「ＲＯＩ」）のさまざまな測定および／または解析、またはパターン探索の開始のうちの１つまたは複数を含むことがある。次いで、ＲＯＩに対して加えたアクションに基づいて、ツールに依存する別のアクションを開始することができる。表示画面１０に示された画像には、明るい（すなわち高強度の）一組の柱体１６が、より暗い灰色の背景１８をバックにして示されている。自動動作モードでは、スポットライト１２内に示されている領域に対応するイメージ・データ中の画素輝度値だけをグレー・シェード・スケールが包含するように、スポットライトがグレー・シェード・スケールを自動的に設定する。したがって、図１では、スポットライト内の明るい柱体と背景のより明るい部分とによって、背景と柱体の間のコントラストが強調されている。スポットライト１２内に明るい柱体が一部分も含まれていない図２では、スポットライト１２内に存在する輝度範囲が画像１０全体の輝度範囲よりもはるかに狭く、スポットライト１２内の背景１８の表示コントラストが非常に強調されており、これによってユーザは、そのままであれば見ることができないであろう詳細を知覚することができる。したがって、このとき、像強度から画素値への変換は、像強度の最初の範囲に対する良好な「適合」を有する。

図１と図２の比較において、スポットライトのサイズは、例えばマウス上のサムホイールによってユーザが制御する。図３は、図２のスポットライト１２に対して使用したグレー・シェード・スケールを、ユーザ・コマンドによって画面全体に適用した様子を示している。生体イメージ、集積回路のイメージなど多くのタイプの画像では、赤血球、接続経路などの特徴部分のタイプが、画像化媒体に対して類似した反射率を有するため、この適用は特に有用である。したがって、ある特徴部分のタイプのある例の特性を強調するあるグレー・スケール範囲が、同じ特徴部分のタイプの別の例の特性を強調することがある。例えば、１つの赤血球の特性を示すグレー・シェード・スケールは、画像中の別の赤血球の特性を示す可能性が高い。画像を見ている人の関心の対象が赤血球である場合には、赤血球にスポットライトを当てたときに、スポットライトのグレー・スケールを一般化することが非常に有益であることがある。

図４は、異なるいくつかのスポットライトを使用する効果を示し、これは例えば、ユーザ入力を伝達する目的に使用されるマウスを右クリックし、次いでカーソルを別の画面領域へ移動させ、マウスを左クリックして追加のスポットライトを起動することによって達成される。図５は、スポットライト内の画像反転の指令を示す。図６は、スポットライト・エリア内の画素輝度のヒストグラムの提示を示す。好ましい一実施形態では次いで、そのヒストグラムの画素強度スケールの一部分をユーザが選択して、スポットライトを表示するためのグレー・シェード・スケールの範囲として使用することができる。近隣の画素コントラスト値のヒストグラムなど、画素情報の他の多くの抽出情報を提示することができる。図７は、コントラストの線を見つけ出し、そのような２本の線間の距離を測定するスポットライト・ツールを示す。

図８は、スポットライト内で高コントラスト線のあるパターンを見つけ、画像内の別の場所にある類似のパターンを見つけ出し、続いてそれらのパターンを強調表示するように設計されたパターンが一致した特徴部分を示す。図８Ａは、特徴部分自動認識ソフトウェアを示し、その結果が図８に示されている。図（Ａ）では、第１の画像８１０が取得されている。図（Ｂ）は、関心の特徴部分（Ｆｅａｔｕｒｅ ｏｆ Ｉｎｔｅｒｅｓｔ）（ＦｏＩ）の周囲に配置された正方形のカーソル８１２を示している。このシステムは次いで、この第１の画像内でそのＦｏＩの再出現を探索し、そうするように指令された場合には、続いて取得した図（Ｃ）および図（Ｄ）に示されているようないくつかの画像内でそのＦｏＩの再出現を探索する。図（Ｃ）では、第２の画像８１４が取得されている。このシステムは、矢印８１８によって示されているように、画像にわたって、あるラスタ・パターンに従って窓８１６を走査する。次いで、走査したこの窓内の画素を図（Ｂ）のＦｏＩ内の画素と相互相関させて、所定の最小適合基準よりも高い最良の適合を見つける。図（Ｄ）は、相互相関が最小しきい値を上回るだけの十分な類似性を図（Ｂ）の構造に対して有する構造をそれぞれが含む２つの領域８２０を第２の画像８１４が含んでいたことを示している。このシステムは次いで、整合しているそれらの領域を、それらの領域の周囲にフレーム８２０を配置することによって強調表示する。潜在的には、この手順を、半自動化されたまたは完全に自動化された手順に基づいて実行して、ＦｏＩに関して多数の画像を解析することができる。オペレータは、第１の画像内において、複数の異なるＦｏｌタイプを定義することができ、その場合には、それぞれのＦｏＩタイプを色コード（例えば異なる色のフレーム）で区別することが可能である。

図９は、図１〜８Ａに示した機能を含むシステムの動作の流れ図９１０である。オペレータは最初に、機器動作モード、例えば単一の画像の取得、複数の画像の取得、画像モンタージュ（ｍｏｎｔａｇｅ）（すなわち２×２、３×３などの画像アレイ）の表示などを９１２で決定する。次に、９１４で第１の画像を取得し、処理する（このステップは図１０により詳細に示されている）。モンタージュを表示する場合には、画像を取得、処理したときにそれぞれの画像を９１６でモンタージュとして配置する。全ての画像を取得したら（判断ボックス９１８）、９２０で全ての画像の画像処理の結果の概要をオペレータに対して表示する。

図１０を参照すると、ユーザが実施する一連の操作１０１０が示されている。ステップ１０１２で、ユーザは画像を取得する。この図に記載されているとおり、この画像は、透過型電子顕微鏡、透過型走査電子顕微鏡、走査電子顕微鏡、集束イオン・ビームまたは光学顕微鏡からの画像とすることができる。ステップ１０１４で、ユーザは、より綿密に調べたい画像上の関心領域へカーソルを移動させる。ユーザは次いで、関心領域を再取得するのか、または既に集めたその領域に対するデータを単純に、しかし既に表示されている画像に対して使用した局所画像処理とは異なる局所画像処理を使用して表示するのかを選択する。再取得を選択しなかった場合には、局所画像処理法を選択する（ステップ１０１８）。再取得を選択した場合には、１０１７で異なる拡大倍率を選択することができる。この場合には、（走査装置に対する）新たなビーム電流およびサンプリング・レートをシステムが１０１９で自動的に選択する。全てのケースで、ＲＯＩ内の輝度（反射率）範囲に基づいて１０２１で前置増幅器の利得が設定され、１０２３でＲＯＩ内の最も高い点に基づいて焦点範囲が設定される。

選択した方法が有利でない場合（判断ステップ１０２０）、ユーザは、判断ブロック１０１６で、別の画像化法を選択する。ステップ１０２０でその方法が有利であると評価した場合、ユーザは、判断ステップ１０２２で、カーソルを別の関心領域へ移動させ、同時に、既に生成したスポットライト（１つまたは複数）を維持する（ステップ１０２４）。関心領域が見からなかった場合には（判断ステップ１０２２）、全ての有利なイメージおよび関連情報を保存する（ステップ１０２６）。

前述のとおり、使用可能なデータを有利な方法で表示すれば有益な結果を得ることができるが、他の実施形態では、スポットライト・ユーザ制御手段を操作して、スポットライト・エリア内での追加のイメージ・データ収集を指令する。これは、少なくとも３つの異なる点で有益であることがある。

第１に、スポットライト・エリア内で追加の画像化を実行する場合であって、最初のフレームに対するビームの鮮明さ（ｓｈａｒｐｎｅｓｓ）がまだ最大ではなく、かつ／またはサンプリング・レートが最大でなかった場合には、ビーム（イオンまたは電子）を鮮明にし、かつ／または画素サンプリング・レートを高くして、スポットライト領域の分解能をより微細にすることができる。たとえ分解能を高めることが不可能な場合でも、スポットライト領域を拡大し、スポットライト領域をより大きな拡大倍率で示すことができ、このことが、画像を見ている人が微妙な特徴部分を見分けるのに役立つことがある。

図１１は、表示画面の横に表示された一組のアイコン１１１２を使用することによって、長方形の再画像化スポットライトをユーザが選択することができる表示画面１１１０を示す。カーソル１１１４を使用することによって、再画像化拡大用のアイコン１１１２ａが選択されている。図１２は、ユーザによって選択され、アイコン１１１２ａによって示された、表示画面１１１０上の長方形のスポットライト１２１４を示す。図１３は、拡大されたスポットライトの画像を示し、この画像では、分解能がより高くなっているため、追加のいくつかの詳細１３１６を見ることができる。

さらに、図１４に示すように、新たなスポットライト・フレームについて、焦点面の高さを、フレーム全体に対してではなくスポットライト・エリア１２に対して最適化することができる。図１４は、画像化中のエリアの形状の描写１４１０である。焦点は一般に、高度が最も高い特徴部分（フレーム１４１０では装置に最も近い範囲１４１４）に設定され、それにより、他の範囲のいくつかの特徴部分は潜在的に焦点からやや外れる。スポットライト・エリア１２内の高度が最も高い特徴部分１４１６が特徴部分１４１４ほどには高くない場合には、特徴部分１４１６の範囲へ焦点を移動させ、それによってスポットライト・エリア１２を焦点により近づけることができる。

デジタル・サンプリング回路１５１０の略図を示す図１５を参照すると、前置増幅器１５１４を調整することによって、アナログ−デジタル（Ａ／Ｄ）変換器１５１２のサンプリング範囲を、検出器１５１６によって電圧範囲に変換される輝度範囲がスポットライト１２（図１〜８）内においてより大きな特異性でサンプリングされるように変更することができる。調整された前置増幅器を用いて新たなイメージを取得するためには、図１１のアイコン・バー１１１２からアイコン１１１２ｂを選択する。好ましい一実施形態では、新たなイメージが取得されるたびに、出現する輝度に対して前置増幅器が調整される。

Ａ／Ｄサンプリングによる情報の潜在的な減失、および続くグレー・シェード・スケールを介したデジタル画素値から表示画素強度への変換による情報の潜在的な減失を例示するため、図１６に、画像化されている領域上の未加工の輝度値の密度関数１６１０を示す。グラフ１６２０は、ある特定の範囲内に含まれる輝度を有するそれぞれの画素エリアが同じデジタル画素値に変換されるＡ／Ｄサンプリングの効果を示す（表示を容易にするため、出力ビット数が非常に少ないＡ／Ｄ変換器について示した）。最後に、グラフ１６３０は、グレー・シェード・スケールを介してデジタル画素値を表示強度に変換する効果を示す（この場合も、表示を容易にするため、出力値の数が非常に少ないグレー・シェード・スケールについて示した）。場合によっては、異なる画素強度値に同じ表示強度が割り当てられる。このことは、情報がさらに減失すること、およびそれによって画像を見ている人にとっては明瞭性が高まることを表す。それぞれのケースで、変換機構が受け入れなければならない入力値の範囲を狭くする場合には、より細いグラフ・バー・セットを使用することができ、その結果、より細かく感度がより高い変換が得られる。

図１７は、真空室１７０８内で試料１７０６上で動作するための走査電子顕微鏡カラム１７０２や集束イオン・ビームカラム１７０４のような、画像化装置を有する典型的なデュアル・ビーム・システム１７００の概略図である。一次電子ビーム１７２０が試料１７０６に衝突すると二次電子１７２２が二次電子検出器１７２４によって検出される。二次電子電流は画像処理装置１７３２によって処理されて、表示装置１７３４上に画像が形成される。デュアル・ビーム・システム１７００の動作を制御するコントローラ１７４０に対する制御コマンドを、キーボード１７３６のような入力装置によって、ユーザが入力することができる。上述したように、ユーザからの入力コマンドに応じて、コントローラは表示装置１７３４上の画像上にスポットライトを配置し、ついでユーザが決定した動作を実行する。それらの動作は、例えば、スポットライト領域内の画像の特性の変更、画像化装置に新しい画像を取得させること、画像のスポットライト領域に対応する試料の領域の異なる画像化パラメータを使用すること、画像のスポットライト領域のパラメータを画像全体に適用すること、スポットライトが配置された部分の画像を取得するために先に使用されたパラメータを使用して試料の画像を再取得することを含む。

本発明のいくつかの実施形態によれば、画像化アセンブリは、最初の画像フレーム上で画像化プロセスを実行する画像化装置であり、像強度をデジタル画素値に変換して一組のデジタル画素を生成する画像化装置と、画像を表示する表示画面、表示データ処理装置およびユーザ制御手段を有する表示装置であり、ユーザが、表示画面にスポットライトを配置し、それによってスポットライト領域を画定し、事前定義の一組のユーザ・コマンドの中から、スポットライト領域内の画像データに関係した１つまたは複数のユーザ・コマンドを選択することができる表示装置とを備え、この画像化アセンブリは、そのユーザ・コマンドに応答してスポットライト領域の表示を変化させる。

いくつかの実施形態では、事前定義のユーザ・コマンドによって、スポットライト領域内のグレー・シェード・スケールが変化する。いくつかの実施形態では、事前定義のユーザ・コマンドが利用され、事前定義の追加のユーザ・コマンドによって、スポットライト領域のグレー・シェード・スケールが最初の画像フレームに一般化される。いくつかの実施形態では、事前定義のユーザ・コマンドによって、スポットライト領域が反転コントラストで示される。

いくつかの実施形態では、事前定義のユーザ・コマンドによって、表示データ処理装置が、スポットライト領域に類似した画素配列を有する最初の画像フレームの他のエリアを探索し、それらのエリアを表示装置上で強調表示する。いくつかの実施形態では、事前定義のユーザ・コマンドによって、スポットライト内の特徴部分の測定が実施される。いくつかの実施形態では、ユーザ制御手段がマウスまたはタッチ・スクリーンを含む。

いくつかの実施形態では、事前定義のユーザ・コマンドによって、画像化装置がスポットライト領域を再画像化する。いくつかの実施形態では、スポットライト・エリアを再画像化するときに、画像化装置が、最初に画像化したスポットライト・エリア内に見られる像強度範囲により良好に適合した像強度−画素値変換を使用する。いくつかの実施形態では、画像化装置が焦点範囲の調整を含み、スポットライト・エリアを再画像化するときに、スポットライト領域の最も近い範囲の要素の方が、最初の画像フレームの最も近い範囲の要素よりも画像化装置から近い場合に、画像化装置が、スポットライト領域の最も近い範囲の要素に整合するように焦点範囲を調整する。

いくつかの実施形態では、画像化装置が走査ビームを利用し、最初のフレームを画像化するのに使用した走査ビームが、可能な最も細いビームでなかった場合に、スポットライト領域の再画像化に対してより細いビームが使用される。いくつかの実施形態では、画像化装置が走査ビームを利用し、走査ビームからの戻り（ｒｅｔｕｒｎ）をサンプリングし、最初のフレームを画像化するのに使用した単位走査長当たりのサンプリング・レートが可能な最高のものでなかった場合に、スポットライト領域の再画像化に対してより速いサンプリング・レートが使用される。

いくつかの実施形態では、画像化装置が走査電子顕微鏡である。いくつかの実施形態では、画像化装置が透過型電子顕微鏡である。いくつかの実施形態では、画像化装置が集束イオン・ビーム顕微鏡である。いくつかの実施形態では、画像化装置がスモール・デュアル・ビーム顕微鏡である。いくつかの実施形態では、画像化装置がデジタル光学顕微鏡である。

本発明のいくつかの実施形態によれば、画像表示アセンブリは、表示画面および表示画面を制御する表示データ処理アセンブリを有する画像表示装置と、前記表示データ処理アセンブリに接続されたユーザ制御手段とを備え、ユーザ制御手段によって、ユーザは、表示画面上にスポットライトを配置することができ、それによりスポットライトの内側とスポットライトの外側とで画像が異なって表示され、ユーザ制御手段によって、ユーザは、スポットライトの外側での画像の表示のされ方がスポットライトの内側での画像の表示のされ方と同じになるように、スポットライトの外側での画像の表示のされ方を変化させることができる。

いくつかの実施形態では、デジタル画素値を表示画素強度に変換するスケールを、スポットライト領域内のデジタル画素値の範囲により良好に適合するように変更することによって、スポットライト内の画像が異なって表示される。

本発明のいくつかの実施形態によれば、画像表示アセンブリは、表示画面および表示画面を制御する表示データ処理アセンブリを有する画像表示装置と、表示データ処理アセンブリに接続されたユーザ制御手段とを備え、ユーザ制御手段によって、ユーザは、表示画面上にスポットライトを配置すること、およびスポットライト内のあるパターンを検出し、スポットライトの外側に出現する類似のパターンを強調表示するアルゴリズムを実行させることができる。

本発明のいくつかの実施形態によれば、画像形成および表示アセンブリは、アナログ電気信号をデジタル電気信号に変換し、それによって一組の画素を形成するアナログ−デジタル変換器を含むデジタル画像形成装置と、画像形成装置から画素を受け取るように適合された画像表示装置であり、表示画面および表示画面を制御する表示データ処理アセンブリを有し、それによって表示画面が第１の画像を表示することができる画像表示装置と、表示データ処理アセンブリに接続されたユーザ制御手段とを備え、ユーザ制御手段によって、ユーザは、表示画面上にスポットライトを配置すること、およびデジタル画像形成装置が、スポットライト・エリアに対応する領域を再画像化するようにし、画像表示装置が、再画像化されたスポットライト領域を表示するようにすることができる。

いくつかの実施形態では、デジタル画像形成装置が、最初に画像化したスポットライト・エリア内に見られる像強度の範囲により良好に適合した像強度−画素値変換を使用してスポットライト・エリアを再画像化する。いくつかの実施形態では、デジタル画像形成装置が焦点範囲の調整を含み、スポットライト・エリアを再画像化するときに、スポットライト領域の最も近い範囲の要素の方が、最初の画像フレームの最も近い範囲の要素よりもデジタル画像形成装置から近い場合に、デジタル画像形成装置が、スポットライト領域の最も近い範囲の要素に整合するように焦点範囲を調整する。

いくつかの実施形態では、デジタル画像形成装置が走査ビームを利用し、最初のフレームを画像化するのに使用した走査ビームが、可能な最も細いビームでなかった場合に、スポットライト領域の再画像化に対してより細いビームが使用される。いくつかの実施形態では、デジタル画像形成装置が走査ビームを利用し、走査ビームからの戻りをサンプリングし、最初のフレームを画像化するのに使用した単位走査長当たりのサンプリング・レートが可能な最高のものでなかった場合に、スポットライト領域の再画像化に対してより速いサンプリング・レートが使用される。

本明細書に記載の発明は幅広い適用可能性を有し、上記の例において説明し、示した多くの利点を提供することができる。本発明の実施形態は、具体的な用途によって大きく異なる。全ての実施形態が、これらの全ての利点を提供するわけではなく、全ての実施形態が、本発明によって達成可能な全ての目的を達成するわけでもない。本発明を実施するのに適した粒子ビーム・システムは例えば、本出願の譲受人であるＦＥＩ Ｃｏｍｐａｎｙから市販されている。添付図面は、本発明の理解を助けることが意図されており、特に明記しない限り、一律の尺度では描かれていない。

上述のステップおよびプロセスを実行する実行する方法と該方法を実行する装置の両方が本発明の範囲に含まれることを理解されたい。さらに、本発明の実施形態は、コンピュータ・ハードウェアによって、ハードウェアとソフトウェアの組合せによって、またはコンピュータ可読の非一時的記憶装置に記憶されたコンピュータ命令によって実現することができることも理解されたい。本発明の方法は、標準プログラミング技法を使用した、本明細書に記載された方法および図に基づくコンピュータ・プログラムとして実現することができ、このコンピュータ・プログラムには、コンピュータ・プログラムを含むように構成されたコンピュータ可読の非一時的記憶媒体が含まれ、そのように構成された記憶媒体は、コンピュータを、予め定義された特定の方式で動作させる。コンピュータ・システムと通信するため、それぞれのプログラムは、高水準手続き型プログラミング言語またはオブジェクト指向プログラミング言語で実現することができる。しかしながら、所望ならば、それらのプログラムを、アセンブラ言語または機械語で実現することもできる。いずれにせよ、その言語は、コンパイルまたは解釈される言語とすることができる。さらに、そのプログラムは、そのプログラムを実行するようにプログラムされた専用集積回路上で実行することができる。

さらに、方法論は、限定はされないが、荷電粒子ツールもしくは他の画像化デバイスとは別個の、荷電粒子ツールもしくは他の画像化デバイスと一体の、または荷電粒子ツールもしくは他の画像化デバイスと通信するパーソナル・コンピュータ、ミニコンピュータ、メインフレーム、ワークステーション、ネットワーク化されたコンピューティング環境または分散コンピューティング環境、コンピュータ・プラットホームなどを含む、任意のタイプのコンピューティング・プラットホームで実現することができる。本発明の諸態様は、取外し可能であるか、またはコンピューティング・プラットホームと一体であるかを問わない、ハードディスク、光学式読取りおよび／または書込み記憶媒体、ＲＡＭ、ＲＯＭなどの記憶媒体上または記憶装置上に記憶された機械可読コードであって、プログラム可能なコンピュータが、本明細書に記載された手順を実行するために、その記憶媒体または記憶装置を読んだときにそのコンピュータを構成し、動作させるために、そのコンピュータが読むことができるように記憶された機械可読コードとして実現することができる。さらに、機械可読コードまたは機械可読コードの一部を、有線または無線ネットワークを介して伝送することができる。本明細書に記載された発明は、マイクロプロセッサまたは他のデータ処理装置と連携して上述の諸ステップを実現する命令またはプログラムを含む、これらのさまざまなタイプのコンピュータ可読記憶媒体、およびその他のさまざまなタイプのコンピュータ可読記憶媒体を含む。本発明はさらに、本明細書に記載された方法および技法に従ってプログラムされたコンピュータを含む。

入力データに対してコンピュータ・プログラムを使用して、本明細書に記載された機能を実行し、それによって入力データを変換して出力データを生成させることができる。この出力情報は、表示モニタなどの１つまたは複数の出力装置に出力される。本発明の好ましい実施形態では、変換されたデータが物理的な実在する物体を表し、これには、その物理的な実在する物体の特定の視覚的描写を表示画面上に生成することが含まれる。本発明の好ましい実施形態はさらに、粒子ビームを使用して試料を画像化するために、ＦＩＢ、ＳＥＭなどの粒子ビーム装置を利用する。試料を画像化するために使用されるこのような粒子は試料と本来的に相互作用し、その結果、試料はある程度、物理的に変形する。さらに、本明細書の全体を通じて、「計算する」、「決定する」、「測定する」、「生成させる」、「検出する」、「形成する」、「制御する」などの用語を利用した議論は、コンピュータ・システムまたは同様の電子装置の動作および処理に言及し、そのコンピュータ・システムまたは同様の電子装置は、コンピュータ・システム内の物理量として表されたデータを操作し、そのデータを、その同じコンピュータ・システムまたは他の情報記憶装置内、伝送装置内もしくは表示装置内の、物理量として同様に表された他のデータに変換する。

本明細書で特に定義されていない場合、その用語は、その通常の一般的な意味で使用されることが意図されている。本明細書において、用語「自動」、「自動化された」または類似の用語が使用されるとき、これらの用語は、自動プロセスもしくは自動ステップまたは自動化されたプロセスもしくは自動化されたステップの手動による開始を含むものと理解される。以上の議論および特許請求の範囲では、用語「含む（ｉｎｃｌｕｄｉｎｇ）」および「備える（ｃｏｍｐｒｉｓｉｎｇ）」が、オープン・エンド（ｏｐｅｎ−ｅｎｄｅｄ）型の用語として使用されており、したがって、これらの用語は、「．．．を含むが、それらだけに限定はされない（ｉｎｃｌｕｄｉｎｇ，ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味すると解釈すべきである。用語「集積回路」は、マイクロチップの表面にパターン形成された一組の電子構成部品およびそれらの相互接続（ひとまとめにして内部電気回路要素）を指す。用語「半導体デバイス」は、総称的に、集積回路（ＩＣ）を指し、この集積回路（ＩＣ）は、半導体ウェーハと一体でも、またはウェーハから切り離されていても、または回路板上で使用するためにパッケージングされていてもよい。本明細書では用語「ＦＩＢ」または「集束イオン・ビーム」が、イオン光学部品によって集束させたビームおよび整形されたイオン・ビームを含む、平行イオン・ビームを指すために使用される。

本発明および本発明の利点を詳細に説明したが、添付の特許請求の範囲によって定義された本発明の趣旨および範囲から逸脱することなく、本明細書に、さまざまな変更、置換および改変を加えることができることを理解されたい。さらに、本出願の範囲が、本明細書に記載されたプロセス、機械、製造、組成物、手段、方法およびステップの特定の実施形態に限定されることは意図されていない。当業者なら本発明の開示から容易に理解するように、本明細書に記載された対応する実施形態と実質的に同じ機能を実行し、または実質的に同じ結果を達成する既存のまたは今後開発されるプロセス、機械、製造、組成物、手段、方法またはステップを、本発明に従って利用することができる。したがって、添付の特許請求の範囲は、その範囲内に、このようなプロセス、機械、製造、組成物、手段、方法またはステップを含むことが意図されている。

１０ 表示画面
１２ スポットライト
１６ 柱体
１８ 背景

Claims (24)

1. 最初の画像フレーム上で画像化プロセスを実行する画像化装置であり、像強度をデジタル画素値に変換して一組のデジタル画素を生成する画像化装置と、
   画像を表示する表示画面、表示データ処理装置およびユーザ制御手段を有する表示装置であり、ユーザが、前記表示画面にスポットライトを配置し、それによってスポットライト領域を画定し、事前定義の一組のユーザ・コマンドの中から、前記スポットライト領域内の画像データに関係した１つまたは複数のユーザ・コマンドを選択することができる表示装置と
   を備え、
   前記表示データ処理装置に、前記スポットライト領域に類似した画素配列を有する前記最初の画像フレームの他のエリアを探索し、それらのエリアを前記表示装置上で強調表示させる所定のユーザ・コマンドに応答して、前記スポットライト領域の表示を変化させる
   画像化アセンブリ。
2. 事前定義のユーザ・コマンドによって、前記スポットライト領域内のグレー・シェード・スケールが変化する、請求項１に記載の画像化アセンブリ。
3. 前記事前定義のユーザ・コマンドが利用され、事前定義の追加のユーザ・コマンドによって、前記スポットライト領域のグレー・シェード・スケールが前記最初の画像フレームに一般化される、請求項２に記載の画像化アセンブリ。
4. 事前定義のユーザ・コマンドによって、前記スポットライト領域が反転コントラストで
   示される、請求項１に記載の画像化アセンブリ。
5. 事前定義のユーザ・コマンドによって、前記スポットライト内の特徴部分の測定が実施される、請求項１に記載の画像化アセンブリ。
6. 事前定義のユーザ・コマンドによって、前記画像化装置が前記スポットライト領域を再画像化する、請求項１に記載の画像化アセンブリ。
7. 前記ユーザ制御手段がマウスまたはタッチ・スクリーンを含む、請求項１に記載の画像化アセンブリ。
8. 前記スポットライト・エリアを再画像化するときに、前記画像化装置が、最初に画像化したスポットライト・エリア内に見られる像強度範囲により良好に適合した像強度−画素値変換を使用する、請求項６に記載の画像化アセンブリ。
9. 前記画像化装置が焦点範囲の調整を含み、前記スポットライト・エリアを再画像化するときに、前記スポットライト領域の最も近い範囲の要素の方が、前記最初の画像フレームの最も近い範囲の要素よりも画像化装置から近い場合に、前記画像化装置が、前記スポットライト領域の最も近い範囲の要素に整合するように前記焦点範囲を調整する、請求項６に記載の画像化アセンブリ。
10. 前記画像化装置が走査ビームを利用し、前記最初のフレームを画像化するのに使用した前記走査ビームが、可能な最も細いビームでなかった場合に、前記スポットライト領域の前記再画像化に対してより細いビームが使用される、請求項６に記載の画像化アセンブリ。
11. 前記画像化装置が走査ビームを利用し、前記走査ビームからの戻りをサンプリングし、前記最初のフレームを画像化するのに使用した単位走査長当たりのサンプリング・レートが可能な最高のものでなかった場合に、前記スポットライト領域の前記再画像化に対してより速いサンプリング・レートが使用される、請求項６に記載の画像化アセンブリ。
12. 前記画像化装置が走査電子顕微鏡である、請求項１に記載の画像化アセンブリ。
13. 前記画像化装置が透過型電子顕微鏡である、請求項１に記載の画像化アセンブリ。
14. 前記画像化装置が集束イオン・ビーム顕微鏡である、請求項１に記載の画像化アセンブリ。
15. 前記画像化装置がスモール・デュアル・ビーム顕微鏡である、請求項１に記載の画像化アセンブリ。
16. 前記画像化装置がデジタル光学顕微鏡である、請求項１に記載の画像化アセンブリ。
17. 画像を表示する表示画面および前記表示画面を制御する表示データ処理アセンブリを有する画像表示装置と、
    前記表示データ処理アセンブリに接続されたユーザ制御手段と
    を備え、
    前記ユーザ制御手段によって、ユーザが、前記表示画面上にスポットライトを配置することができ、それにより前記スポットライトの内側と前記スポットライトの外側とで画像が異なって表示され、
    前記ユーザ制御手段によって、前記スポットライトの内側で、あるパターンと類似したパターンの位置を突き止めるために前記画像上で探索することができ、さらに、ユーザが、前記スポットライトの外側での画像の表示のされ方が前記スポットライトの内側での画像の表示のされ方と同じになるように、前記スポットライトの外側での画像の表示のされ方を変化させることができる
    画像表示アセンブリ。
18. デジタル画素値を表示画素強度に変換するスケールを、スポットライト領域内のデジタル画素値の範囲により良好に適合するように変更することによって、前記スポットライト内の画像が異なって表示される、請求項１７に記載の画像表示アセンブリ。
19. 表示画面および前記表示画面を制御する表示データ処理アセンブリを有する画像表示装置と、
    前記表示データ処理アセンブリに接続されたユーザ制御手段と
    を備え、
    前記ユーザ制御手段によって、ユーザが、前記表示画面上にスポットライトを配置すること、および前記スポットライト内のあるパターンを検出し、前記スポットライトの外側に出現する類似のパターンを強調表示するアルゴリズムを実行させることができる
    画像表示アセンブリ。
20. アナログ電気信号をデジタル電気信号に変換し、それによって一組の画素を形成するアナログ−デジタル変換器を含むデジタル画像形成装置と、
    前記画像形成装置から前記画素を受け取るように適合された画像表示装置であり、表示画面および前記表示画面を制御する表示データ処理アセンブリを有し、それによって前記表示画面が第１の画像を表示することができる画像表示装置と、
    前記表示データ処理アセンブリに接続されたユーザ制御手段と
    を備え、
    前記ユーザ制御手段によって、ユーザが、あるパターンを有するエリアを画定する前記表示画面上にスポットライトを配置すること、前記スポットライトの内側で、前記パターンと類似したパターンの位置を突き止めるために前記画像上で前記表示データ処理アセンブリによって探索を開始させること、および前記デジタル画像形成装置が、スポットライト・エリアに対応する領域を再画像化するようにし、前記画像表示装置が、再画像化された前記スポットライト領域を表示するようにすることができる
    画像形成および表示アセンブリ。
21. 前記デジタル画像形成装置が前記スポットライト・エリアを再画像化するときに、前記デジタル画像形成装置が、最初に画像化したスポットライト・エリア内に見られる像強度の範囲により良好に適合した像強度−画素値変換を使用する、請求項２０に記載の画像化アセンブリ。
22. 前記デジタル画像形成装置が焦点範囲の調整を含み、前記スポットライト・エリアを再画像化するときに、前記スポットライト領域の最も近い範囲の要素の方が、前記最初の画像フレームの最も近い範囲の要素よりも前記デジタル画像形成装置から近い場合に、前記デジタル画像形成装置が、前記スポットライト領域の最も近い範囲の要素に整合するように前記焦点範囲を調整する、請求項２０に記載の画像化アセンブリ。
23. 前記デジタル画像形成装置が走査ビームを利用し、前記最初のフレームを画像化するのに使用した前記走査ビームが、可能な最も細いビームでなかった場合に、前記スポットライト領域の前記再画像化に対してより細いビームが使用される、請求項２０に記載の画像化アセンブリ。
24. 前記デジタル画像形成装置が走査ビームを利用し、前記走査ビームからの戻りをサンプリングし、前記最初のフレームを画像化するのに使用した単位走査長当たりのサンプリング・レートが可能な最高のものでなかった場合に、前記スポットライト領域の前記再画像化に対してより速いサンプリング・レートが使用される、請求項２０に記載の画像化アセンブリ。

Images