JP7298813B1 - 原子顕微鏡で目標位置を認識するための装置及び方法 - Google Patents

Abstract

【課題】原子顕微鏡でプローブの目標位置を認識する。【解決手段】プローブが配置されるように構成されたカンチレバー（Ｃａｎｔｉｌｅｖｅｒ）と、前記カンチレバーの上面を撮影する撮影部と、前記カンチレバー、前記駆動部及び前記撮影部と動作可能に連結された制御部とを含み、前記制御部は、前記撮影部を通じて撮影された映像に基づいて前記カンチレバーを認識するように学習された認識モデルを利用して前記映像から前記カンチレバーを認識した結果データを獲得し、前記獲得された結果データを利用して前記カンチレバーで目標位置を算出するように構成され、前記結果データは、前記カンチレバーの境界を含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を表したバウンディングボックスデータ、及び前記カンチレバーと前記カンチレバーでない客体とを分割した分割データ（ｓｅｇｍｅｎｔａｔｉｏｎ ｄａｔａ）のうち少なくとも一つを含む。【選択図】図１ａ

Description

本発明は、原子顕微鏡で目標位置を認識するための装置及び方法に関する。

一般的に、走査型プローブ顕微鏡（Ｓｃａｎｎｉｎｇ Ｐｒｏｂｅ Ｍｉｃｒｏｓｃｏｐｅ、ＳＰＭ）は、カンチレバー（ｃａｎｔｉｌｅｖｅｒ）という小さい棒に付くナノサイズのプローブ（ｐｒｏｂｅ）が試料表面に近接する時、試料とプローブとの間に相互作用する物理量を測定する装置を意味する。このような走査型プローブ顕微鏡は、走査型トンネル顕微鏡（Ｓｃａｎｎｉｎｇ Ｔｕｎｎｅｌｉｎｇ Ｍｉｃｒｏｓｃｏｐｅ、ＳＴＭ）及び原子間力顕微鏡（Ａｔｏｍｉｃ Ｆｏｒｃｅ Ｍｉｃｒｏｓｃｏｐｅ、ＡＦＭ）（以下、「原子顕微鏡」という）を含むことができる。

ここで、原子顕微鏡は、原子顕微鏡に備えられた光学部のレーザー光がカンチレバーのプローブに対応する位置に照射され、これによりカンチレバーが撓むことによりプローブが試料の表面をスキャン（ｓｃａｎ）することで、試料表面の形状（または、屈曲）をイメージ化した試料イメージを獲得することができる。

このように試料イメージを獲得するためには、カンチレバーが試料をスキャンするに適合な目標位置を正確に認識する必要があるが、カンチレバーの製造社によってサイズと模様が多様であり、かかる目標位置を正確に認識し難いという問題点がある。

従って、原子顕微鏡で目標位置を正確に認識するための装置及び方法が要求される。

本発明は、解決しようとする課題は、原子顕微鏡で目標位置を算出するための装置及び方法を提供することにある。

具体的に、本発明が解決しようとする課題は、カンチレバーのサイズと模様に関係なく、目標位置を正確に認識するための装置及び方法を提供することにある。

本発明の課題は、以上で言及した課題に制限されず、言及されなかったまた他の課題は、下記の記載から当業者に明確に理解できるであろう。

前述したような課題を解決するために、原子顕微鏡で目標位置を認識するための装置及び方法が提供される。

本発明の実施例による原子顕微鏡において目標位置を認識するための装置は、プローブが配置されるように構成されたカンチレバー（Ｃａｎｔｉｌｅｖｅｒ）と、前記カンチレバーの上面を撮影する撮影部と、前記カンチレバー、前記駆動部及び前記撮影部と動作可能に連結された制御部とを含み、前記制御部は、前記撮影部を通じて撮影された映像に基づいて前記カンチレバーを認識するように学習された認識モデルを利用して前記映像から前記カンチレバーを認識した結果データを獲得し、前記獲得された結果データを利用して前記カンチレバーで目標位置を算出するように構成され、前記結果データは、前記カンチレバーの境界を含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を表したバウンディングボックスデータ、及び前記カンチレバーと前記カンチレバーでない客体とを分割した分割データ（ｓｅｇｍｅｎｔａｔｉｏｎ ｄａｔａ）のうち少なくとも一つを含む。

本発明の実施例による原子顕微鏡の制御部により行われる目標位置を認識するための方法は、撮影部を通じてプローブが配置されるように構成されたカンチレバー（Ｃａｎｔｉｌｅｖｅｒ）の上面を撮影する段階と、前記撮影部を通じて撮影された映像に基づいて前記カンチレバーを認識するように学習された認識モデルを利用して前記映像から前記カンチレバーを認識した結果データを獲得する段階と、前記獲得された結果データを利用して前記カンチレバーで目標位置を算出する段階とを含み、前記結果データは、前記カンチレバーの境界を含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を表したバウンディングボックスデータ、及び前記カンチレバーと前記カンチレバーでない客体とを分割した分割データ（ｓｅｇｍｅｎｔａｔｉｏｎ ｄａｔａ）のうち少なくとも一つを含む。

その他の実施例の具体的な事項は、詳細な説明及び図面に含まれている。

本発明は、原子顕微鏡のカンチレバーを認識するように学習された人工ニューラルネットワークモデルを利用することで、カンチレバーのサイズと模様に関係なく目標位置を正確に認識することができる。

また、本発明は、上述した人工ニューラルネットワークモデルを利用することで、プローブの位置に対応する目標位置を認識するための演算速度を速くして原子顕微鏡の認識性能を向上させることができる。

また、本発明は、原子顕微鏡のプローブ位置に対応する目標位置を認識して光学部のレーザー光が、カンチレバーが試料をスキャンするに適合な目標位置に照射されるようにカンチレバーの位置を自動的に調整することができる。

本発明による効果は、以上で例示した内容によって制限されず、さらに多様な効果が本明細書内に含まれている。

本発明の実施例による原子顕微鏡システムを説明するための概路図である。 本発明の実施例による原子顕微鏡システムを説明するための概路図である。 本発明の実施例による電子装置の概略的なブロック図である。 本発明の実施例によりカンチレバーの位置を認識するために利用される学習された認識モデルを説明するための例示図である。 本発明の実施例によるバウンディングボックスデータを利用して目標位置を算出する方法を説明するための例示図である。 本発明の実施例による分割データを利用して目標位置を算出する方法を説明するための例示図である。 本発明の実施例による原子顕微鏡システムでカンチレバーの目標位置を算出するための方法を説明するためのフローチャートである。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になるであろう。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現され、但し、本実施例は本発明の開示を完全にさせ、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇により定義されるだけである。図面の説明と関連して、類似した構成要素については類似した参照符号が使用されることができる。

本文書において、「有する」、「有することができる」、「含む」または「含むことができる」などの表現は、当該特徴（例：数値、機能、動作、または部品などの構成要素）の存在を示し、追加的な特徴の存在を排除しない。

本文書において、「ＡまたはＢ」、「Ａまたは／及びＢのうち少なくとも一つ」または「Ａまたは／及びＢのうち一つまたはそれ以上」などの表現は、共に並べられた項目の全ての可能な組み合わせを含むことができる。例えば、「ＡまたはＢ」、「Ａ及びＢのうち少なくとも一つ」または「ＡまたはＢのうち少なくとも一つ」は、（１）少なくとも一つのＡを含む、（２）少なくとも一つのＢを含む、または（３）少なくとも一つのＡ及び少なくとも一つのＢの両方を含む場合を全て指称することができる。

本文書で使用された「第１」、「第２」、「第一」または「第二」などの表現は多様な構成要素を順序及び／または重要度に関係なく修飾することができ、一構成要素を他の構成要素と区分するために使用されるだけで、当該構成要素を限定しない。例えば、第１使用者機器と第２使用者機器は、順序または重要度と関係なく、互いに異なる使用者機器を表すことができる。例えば、本文書に記載された権利範囲を逸脱せず第１構成要素は第２構成要素と命名されることができ、同様に、第２構成要素も第１構成要素に変えて命名されることができる。

ある構成要素（例：第１構成要素）が他の構成要素（例：第２構成要素）に「（機能的にまたは通信的に）連結されて（（ｏｐｅｒａｔｉｖｅｌｙ ｏｒ ｃｏｍｍｕｎｉｃａｔｉｖｅｌｙ）ｃｏｕｐｌｅｄ ｗｉｔｈ／ｔｏ）」いるか「接続されて（ｃｏｎｎｅｃｔｅｄ ｔｏ）」いると言及された時は、上記ある構成要素が上記他の構成要素に直接的に連結されるか、他の構成要素（例：第３構成要素）を通じて連結されていることができると理解されるべきである。一方、ある構成要素（例：第１構成要素）が他の構成要素（例：第２構成要素）に「直接連結されて」いるか「直接接続されて」いると言及された時は、上記ある構成要素と上記他の構成要素との間に他の構成要素（例：第３構成要素）が存在しないと理解されることができる。

本文書で使用された表現「～するように構成された（または設定された）（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、状況によって、例えば、「～に適合した（ｓｕｉｔａｂｌｅ ｆｏｒ）」、「～する能力を有する（ｈａｖｉｎｇ ｔｈｅ ｃａｐａｃｉｔｙ ｔｏ）」、「～するように設計された（ｄｅｓｉｇｎｅｄ ｔｏ）」、「～するように変更された（ａｄａｐｔｅｄ ｔｏ）」、「～するように作られた（ｍａｄｅ ｔｏ）」、または「～をすることができる（ｃａｐａｂｌｅ ｏｆ）」に変えて使用されることができる。用語「～するように構成された（または設定された）」は、ハードウェア的に「特に設計された（ｓｐｅｃｉｆｉｃａｌｌｙ ｄｅｓｉｇｎｅｄ ｔｏ）」ことだけを必ずしも意味するものではない。その代わり、ある状況では「～するように構成された装置」という表現は、その装置が他の装置または部品と共に「～することができる」ことを意味することができる。例えば、文句「Ａ、Ｂ、及びＣを行うように構成された（または設定された）プロセッサ」は当該動作を行うための専用プロセッサ（例：組み込まれたプロセッサ）、またはメモリー装置に格納された一つ以上のソフトウェアプログラムを実行することで、当該動作を行うことができる汎用プロセッサ（ｇｅｎｅｒｉｃ－ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）を意味することができる。

本文書で使用された用語は、単に特定の実施例を説明するために使用されたもので、他の実施例の範囲を限定しようとする意図ではないことがある。単数の表現は文脈上明らかに異なって意味しない限り、複数の表現を含むことができる。技術的であるか科学的な用語を含み、ここで使用される用語は本文書に記載された技術分野で通常の知識を有する者により一般的に理解されるものと同一の意味を有することができる。本文書に使用された用語のうち一般的な辞書に定義された用語は、関連技術の文脈上有する意味と同一または類似した意味で解釈されることができ、本文書で明らかに定義されない限り、理想的であるか過度に形式的な意味で解釈されない。場合によって、本文書で定義された用語でも本文書の実施例を排除するように解釈されることができない。

本発明の様々な実施例のそれぞれの特徴が部分的にまたは全体的に互いに結合または組み合わせ可能であり、当業者が充分に理解できるように技術的に多様な連動及び駆動が可能であり、各実施例が互いに対して独立して実施可能でもよく、連関関係で共に実施可能でもよい。

以下で、添付の図面を参照して本発明の多様な実施例を詳しく説明する。

図１ａ及び図１ｂは、本発明の実施例による原子顕微鏡システムを説明するための概路図である。提示された実施例において、図１ａは原子顕微鏡システムが一体化された場合を説明するための概路図であり、図１ｂは原子顕微鏡システムが原子顕微鏡及びこれを駆動及び制御する電子装置を含む場合を説明するための概路図である。

先ず、原子顕微鏡システムが一体化された場合を図１ａを参照して説明する。

図１ａを参照すると、原子顕微鏡システム１００は、試料の表面的特性を原子単位でイメージ化して分析及び観察できるようにするための顕微鏡装置であって、下面にプローブ１１５が配置されたカンチレバー１１０、カンチレバー１１０を動かすように駆動する第１駆動部１２０、プローブ１１５に対応するカンチレバー１１０の上面の位置にレーザー光を照射する光学部１３０、照射された位置で反射したレーザー光の位置を検出する光学検出部１４０、試料１５５が装着され、試料１５５をスキャンするように駆動する第２駆動部１５０、カンチレバー１１０の上面を撮影するための撮影部１６０、これらを制御する制御部１７０、及び試料１５５の表面特性を表した試料イメージを表示する表示部１８０を含む。

原子顕微鏡システム１００の制御部１７０は、第２駆動部１５０を通じて試料１５５をスキャンしながら、積層されたピエゾ（ｓｔａｃｋｅｄ ｐｉｅｚｏ）のようなＺスキャナ（図示せず）またはチューブスキャナ（ｔｕｂｅ ｓｃａｎｎｅｒ、図示せず）を通じてカンチレバー１１０の下面に配置されたプローブ１１５が試料１５５の表面を追従しながらスキャンするようにする。プローブ１１５が試料１５５の表面をスキャンする間に、プローブ１１５と試料１５５の表面との間の原子間相互作用が起きるようになり、プローブ１１５を試料１５５の表面側へ引っ張る引力及び／または押し出す斥力が発生してカンチレバー１１０が上下に撓むようになる。

ここで、第１駆動部１２０は、後述するように、カンチレバー１１０の表面に映るレーザー光のスポットの位置を変更させられるように、カンチレバー１１０を移動させる駆動部である。第１駆動部１２０は、上述した図示しないＺスキャナやチューブスキャナと別途で具備されることが一般的であるが、統合的に構成されることを排除するものではない。また、第１駆動部１２０、図示しないＺスキャナやチューブスキャナ以外に相対的に大きい変位で撮影部１６０とカンチレバー１１０間の位置を変動させられるＺステージ（図示せず）がさらに具備されることができる。

一方、第１駆動部１２０は、図１ａ及び図１ｂではカンチレバー１１０に直接連結されると図示されているが、これは説明の便宜のためのもので、他の構成を介してカンチレバー１１０と連結されることができる。

光学部１３０は、カンチレバー１１０の上面でプローブ１１５に対応する目標位置にレーザー光を照射し、これにより、カンチレバー１１０から反射したレーザー光は、ＰＳＰＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｐｏｓｉｔｉｏｎ Ｄｅｔｅｃｔｏｒ）のような光学検出部１４０に映る。これにより、カンチレバー１１０の撓みまたは歪みは、光学検出部１４０に映ったレーザー光のスポットの動きを検出することで測定されることができ、試料１５５表面の情報が得られる。制御部１７０は、このように生成された試料イメージを表示部１８０により表示することができる。

ここで、目標位置は、カンチレバー１１０が試料をスキャンするために適合に駆動されることができる位置であることができる。例えば、目標位置は、カンチレバー１１０の下面に配置されたプローブ１１５の位置に対応する上面の位置、カンチレバー１１０が試料をスキャンするために適合に駆動されることができる既設定された位置または所望の位置であることができるが、これに限定されない。原子顕微鏡の製造社によって光学部で照射されるレーザー光のスポット模様またはスポットサイズが多様であり、カンチレバーの駆動のためにレーザー光が照射される位置が多様であることができるため、上述した目標位置はこれに基づいて多様な位置になることができる。

このように試料イメージを獲得するためには、光学部１３０のレーザー光がプローブ１１５に対応する目標位置に正確に照射される必要があり、このため、カンチレバー１１０の上面でプローブ１１５に対応する目標位置を認識する必要がある。しかし、カンチレバー１１０は、製造社によってまたは測定用途によって多様に具備されることができるため、これを正確に認識するための方法が要求される。

プローブ１１５に対応するカンチレバー１１０の上面の位置を正確に認識するために、制御部１７０は撮影部１６０を通じてカンチレバー１１０の上面を撮影し、撮影部１６０を通じて撮影された映像に基づいてカンチレバー１１０を認識することができる。

ここで、撮影部１６０は、対物レンズ、鏡筒及びＣＣＤカメラが含まれて構成されることができ、対物レンズ及びＣＣＤカメラは鏡筒に結合されることで対物レンズにより光学的に拡大された像がＣＣＤカメラにより撮影されることができるように構成されることができる。かかる具体的構成は公知の構成であり、図１ａ及び１ｂでは、図示省略していることに留意すべきである。

具体的に、撮影された映像に基づいてカンチレバー１１０を認識するために、制御部１７０はカンチレバー１１０を多様な環境で撮影した複数の参照映像（または学習映像）に基づいてカンチレバー１１０を認識するように学習された認識モデルを利用することができる。ここで、複数の参照映像は、カンチレバー１１０周辺の照明強さ、及び／または撮影部１６０の焦点距離（即ち、カメラ及び／または対物レンズの焦点距離）などを一定に変化させながら撮影された映像であることができる。

認識モデルは、複数の参照映像を予め学習し、新しく入力される映像からカンチレバーを認識するように構成された人工ニューラルネットワークモデルであることができる。多様な実施例において、認識モデルは、予め学習された畳み込みニューラルネットワーク（ＣＮＮ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であることができるが、これに限定されない。予め学習された畳み込みニューラルネットワークは、入力された入力値に対して畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）演算を行う一つ以上の階層から構成されることができ、入力値から畳み込み演算を行い、出力値を推論することができる。例えば、予め学習された畳み込みニューラルネットワークは、複数の人工ニューラルネットワークステージで分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）動作、客体の境界を含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を設定（または調整）するための回帰（ｂｏｕｎｄｉｎｇ ｂｏｘ ｒｅｇｒｅｓｓｉｏｎ）動作、及び客体と客体でない背景とを分割（ｓｅｇｍｅｎｔａｔｉｏｎ）するためのバイナリーマスキング（ｂｉｎａｒｙ ｍａｓｋｉｎｇ）動作を並行するＭａｓｋ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であることができるが、これに限定されない。

かかる認識モデルは、一つのステージが分類動作及び回帰動作を行いクラスラベル（ｃｌａｓｓ ｌａｂｅｌ）データ及びバウンディングボックスデータを出力し、他の一つのステージがバイナリーマスキング動作を行い、分割データを出力することができる。

制御部１７０は、このように出力されたデータのうちバウンディングボックスデータ及び分割データを利用してカンチレバー１１０の上面でプローブ１１５に対応する位置を算出することができる。

制御部１７０は、光学部１３０のレーザー光が算出された位置に照射されるようにカンチレバー１１０及び／または光学部１３０の位置を調整することができる。ここで、カンチレバー１１０の位置は、第１駆動部１２０により調整されることができ、光学部１３０の位置調整のために別途の駆動装置がさらに具備されることができる。

このような認識モデルを処理するために、制御部１７０は、ニューラルプロセッシングユニット（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＮＰＵ）１７５を含むことができる。ＮＰＵ１７５は、ＡＩチップセット（またはＡＩプロセッサ）またはＡＩアクセラレーター（ＡＩ ａｃｃｅｌｅｒａｔｏｒ）であることができる。換言すると、ＮＰＵ１７５は、人工ニューラルネットワークの遂行に最適化したプロセッサチップに該当することができる。

多様な実施例において、カンチレバー１１０を認識するためにｓｕｍｍｅｒ、ａｃｃｕｍｕｌａｔｏｒ、メモリーなどがＮＰＵ１７５にハードウェア的に具現されることができる。また、ＮＰＵ１７５は、原子顕微鏡システム１００と独立した（ｓｔａｎｄ－ａｌｏｎｅ）装置として具現されることができるが、これに限定されない。

図１ｂを参照すると、原子顕微鏡システム１００は、プローブ１１５が配置されたカンチレバー１１０、第１駆動部１２０、光学部１３０、光学検出部１４０、試料１５５が装着される第２駆動部１５０、及び撮影部１６０を含み、これらを制御するための電子装置２００が別途具備されることができる。

電子装置２００は、原子顕微鏡システム１００を制御し、カンチレバー１１０のプローブ１１５位置を認識及び調整するためのタブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートブック及び／またはＰＣなどのうち少なくとも一つを含むことができる。

このような電子装置２００は、カンチレバー１１０のプローブ１１５が配置された位置に光学部１３０のレーザー光が照射されるように撮影部１６０を通じてカンチレバー１１０の上面を撮影した映像を受信し、受信された映像に基づいてカンチレバー１１０を認識することができる。カンチレバー１１０を認識するために上述した認識モデルを利用することができるが、これに限定されない。

電子装置２００は、認識されたカンチレバー１１０でプローブ１１５に対応する位置を算出し、算出された位置に光学部１３０のレーザー光が照射されるようにするための指示を原子顕微鏡システム１００に伝達することができる。

これを通じて、本発明は、原子顕微鏡のカンチレバーを認識するように学習された人工ニューラルネットワークモデルを利用することで、カンチレバーのサイズと模様に関係なく目標位置を正確に認識することができ、原子顕微鏡のビーム整列（ｂｅａｍ ａｌｉｇｎｍｅｎｔ）を自動化することができる。

下記では、図２を参照して電子装置２００についてより具体的に説明する。

図２は、本発明の実施例による電子装置の概略的なブロック図である。

図２を参照すると、電子装置２００は、通信部２１０、表示部２２０、格納部２３０及び制御部２４０を含む。

通信部２１０は、電子装置２００が外部装置と通信可能に連結する。通信部２１０は、有／無線通信を利用して原子顕微鏡システム１００と連結され、原子顕微鏡システム１００の駆動及び制御と関連した多様なデータを送受信することができる。具体的に、通信部２１０は、原子顕微鏡システム１００の第１駆動部１２０、光学部１３０、光学検出部１４０、第２駆動部１５０、及び撮影部１６０の駆動及び制御のための指示を伝達するか、撮影部１６０を通じて撮影された映像を受信することができる。また、通信部２１０は、原子顕微鏡システム１００から試料イメージを受信することができる。

表示部２２０は、使用者に各種のコンテンツ（例：テキスト、イメージ、ビデオ、アイコン、バナーまたはシンボルなど）を表示することができる。具体的に、表示部２２０は、原子顕微鏡システム１００から受信された試料イメージを表示することができる。

多様な実施例において、表示部２２０はタッチスクリーンを含むことができ、例えば、電子ペンまたは使用者の身体の一部を利用したタッチ（ｔｏｕｃｈ）、ジェスチャー（ｇｅｓｔｕｒｅ）、近接、ドラッグ（ｄｒａｇ）、スワイプ（ｓｗｉｐｅ）またはホバリング（ｈｏｖｅｒｉｎｇ）入力などを受信することができる。

格納部２３０は、原子顕微鏡システム１００を駆動及び制御するために使用される多様なデータを格納することができる。多様な実施例において、格納部２３０は、フラッシュメモリー（登録商標）タイプ（ｆｌａｓｈ（登録商標） ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリー（例えば、ＳＤまたはＸＤメモリーなど）、ラム（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリー、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含むことができる。電子装置２００は、インターネット（ｉｎｔｅｒｎｅｔ）上で前記格納部２３０の格納機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）と関連して動作することもできる。

制御部２４０は、通信部２１０、表示部２２０、及び格納部２３０と動作可能に連結され、原子顕微鏡システム１００を制御し、カンチレバー１１０の目標位置を認識するための多様な命令を行うことができる。

制御部２４０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、アプリケーションプロセッサ（ＡＰ）、デジタル信号処理装置（ＤＳＰ）、算術論理演算装置（ＡＬＵ）及び人工ニューラルネットワークプロセッサ（ＮＰＵ）２４５のうち少なくとも一つを含むように構成されることができる。

具体的に、制御部２４０は、通信部２１０を通じて原子顕微鏡システム１００の撮影部１６０を通じてカンチレバー１１０の上面を撮影した映像を受信し、受信された映像に基づいて認識モデルを利用して映像からカンチレバー１１０を認識することができる。換言すると、制御部２４０は、認識モデルを通じて認識されたカンチレバー１１０に関する結果データを獲得することができる。このような結果データは、上述したようにバウンディングボックスデータ及び分割データを含むことができる。

多様な実施例において、認識モデルは外部のサーバーに格納されて、制御部２４０は通信部２１０を通じてサーバーに映像を送信し、外部のサーバーで算出された結果データを受信するように構成されることもできる。

制御部２４０は、バウンディングボックスデータ及び分割データのうち少なくとも一つを利用して目標位置を算出し、算出された目標位置にレーザー光が照射されるようにカンチレバー１１０及び／または光学部１３０の駆動を調整するための指示を原子顕微鏡システム１００に伝達することができる。

このように認識モデルを利用してカンチレバー１１０を認識する動作は、ＮＰＵ２４５により行われることができる。

下記では、図３～図５を参照してカンチレバー１１０を認識し、認識結果によってカンチレバー１１０のプローブ１１５位置を算出するための方法を具体的に説明する。

図３は、本発明の実施例によってカンチレバーの位置を認識するために利用される学習された認識モデルを説明するための例示図である。

図３を参照すると、学習された認識モデル３００は、複数の人工ニューラルネットワークステージを含むことができる。

具体的に、学習された認識モデル３００は、畳み込みニューラルネットワーク３１５、領域提案ニューラルネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）３２５、関心領域整列ニューラルネットワーク（ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ） Ａｌｉｇｎ Ｎｅｔｗｏｒｋ）３４０及び複数の全結合ニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｎｅｔｗｏｒｋ）３５０、３５５を含むことができる。ここで、複数の全結合ニューラルネットワークは、第１全結合ニューラルネットワーク３５０及び第２全結合ニューラルネットワーク３５５を含む。

撮影部１６０を通じて撮影されたカンチレバー１１０の映像３１０が認識モデル３００の入力値として入力されると、認識モデル３００は映像で特徴を抽出するための畳み込み演算を行う畳み込みニューラルネットワーク３１５を通じて特徴データ（Ｆｅａｔｕｒｅ Ｍａｐ）３２０を獲得することができる。

このような特徴データ３２０は、カンチレバー１１０が含まれると予想される候補領域を提案するための領域提案ニューラルネットワーク３２５に入力される。認識モデル３００は、領域提案ニューラルネットワーク３２５を通じて特徴データ３２０からカンチレバー１１０が含まれると予想される候補領域（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ）及びこれに対する点数（ｏｂｊｅｃｔｎｅｓｓ ｓｃｏｒｅ）を含むデータ３３０を獲得することができる。

認識モデル３００は、畳み込みニューラルネットワーク３１５を通じて出力された特徴データ３２０及び領域提案ニューラルネットワーク３２５を通じて出力されたデータ３３０に基づいて候補領域データ３３５を獲得することができる。ここで、候補領域データ３３５は、特徴データ３２０でカンチレバー１１０が含まれると予想される少なくとも一つの候補領域に対応して抽出されたデータであることができる。少なくとも一つの候補領域は、予測された客体の形態によって多様なサイズを有することができる。

このような候補領域データ３３５は、線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を利用して固定されたサイズに変換させるための関心領域整列ニューラルネットワーク３４０に入力される。ここで、固定されたサイズは、ｎ×ｎ形態であることができるが（ｎ＞０）、これに限定されない。

認識モデル３００は、関心領域調整ニューラルネットワーク３４０を通じてｎ×ｎ形態の関心領域データ３４５を出力することができる。この時、関心領域データ３４５は、線形補間を利用して候補領域データ３３５を固定されたサイズで整列させたデータであることができるが、これに限定されない。

このような関心領域データ３４５は、第１全結合ニューラルネットワーク３５０及び第２全結合ニューラルネットワーク３５５のそれぞれに入力される。ここで、第１全結合ニューラルネットワーク３５０は、複数の全結合層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）を含むことができるが、これに限定されない。第２全結合ニューラルネットワーク３５５は、オートエンコーダー（Ａｕｔｏ Ｅｎｃｏｄｅｒ）構造が追加されたマスクブランチネットワーク（ｍａｓｋ ｂｒａｎｃｈ ｎｅｔｗｏｒｋ）または少なくとも一つの全結合層（または畳み込み層）であることができるが、これに限定されない。ここで利用されたオートエンコーダーは、入力データにノイズ（ｎｏｉｓｅ）を追加した後、ノイズのない原本入力を再構成して出力するように学習されたエンコーダーであり、認識モデル３００の分割性能を向上させることができる。

認識モデル３００は、第１全結合ニューラルネットワーク３５０を通じて分類データ３６０及びバウンディングボックスデータ３６５を出力し、第２全結合ニューラルネットワーク３５５を通じて分割データ３７０を出力することができる。例えば、バウンディングボックスデータ３６５は、カンチレバーを含むバウンディングボックスを表すイメージであり、分割データ３７０はカンチレバーと、カンチレバーでない背景とを表すイメージであることができる。

このように出力されたバウンディングボックスデータ３６５及び分割データ３７０は、カンチレバー１１０のプローブ１１５の位置を算出するために利用されることができる。

多様な実施例において認識モデルの認識正確度を向上させるために、結果データの周辺をクラスタリングする後処理方式（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）が利用されることができる。例えば、クラスタリング方式は、ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）及び／またはＣｈａｎ－Ｖｅｓｅアルゴリズムなどが利用されることができるが、これに限定されない。

このように学習された認識モデルを利用することで、本発明は、プローブの位置を認識するための演算速度を速くして、原子顕微鏡の認識性能を向上させることができる。

下記では、図４を参照してバウンディングボックスデータを利用してカンチレバー１１０の目標位置を算出するための方法を具体的に説明する。

図４は、本発明の実施例によるバウンディングボックスデータを利用してカンチレバーの目標位置を算出する方法を説明するための例示図である。提示された実施例における方法は、図１ａの制御部１７０または図２の制御部２４０により行われることができる。下記では、図１ａの制御部１７０で行われる場合を説明する。

図４を参照すると、バウンディングボックスデータ４００は、カンチレバー４１０を含む矩形のバウンディングボックス４２０を含む。バウンディングボックス４２０の左側上端の第１頂点４３０座標（ｘ１、ｙ１）及び右側下端の第２頂点４４０座標（ｘ２、ｙ２）は、目標位置を算出するために利用されることができる。

具体的に、制御部１７０は、目標位置４５０を表す座標（ｘ、ｙ）を算出するために、ｘを算出するための数式「（ｘ１＋ｘ２）／２」及びｙを算出するための数式「ｙ１＋（ｙ２－ｙ１）＊ｒａｔｉｏ」を利用することができる（０＜ｒａｔｉｏ＜１、ｄｅｆａｕｌｔ ｒａｔｉｏ＝４／５）。

このように座標（ｘ、ｙ）が算出されると、制御部１７０は、算出された座標（ｘ、ｙ）に光学部１３０のレーザー光が照射されるようにカンチレバー１１０及び／または光学部１３０の位置を調整することができる。

これを通じて、本発明は原子顕微鏡のビーム整列を自動化することができる。

下記では、図５を参照して分割データを利用してカンチレバー１１０の目標位置を算出するための方法を具体的に説明する。

図５は、本発明の実施例による分割データを利用してカンチレバーの目標位置を算出する方法を説明するための例示図である。提示された実施例における方法は、図１ａの制御部１７０または図２の制御部２４０により行われることができる。下記では、図１ａの制御部１７０で行われる場合を説明する。

図５の（ａ）を参照すると、分割データ５００は、カンチレバーを表す真の（Ｔｒｕｅ）値及びカンチレバーを除いた客体、すなわち、背景を表す偽りの（ｆａｌｓｅ）値を含むことができる。

制御部１７０は、真値及び偽値に基づいて分割データ５００を二進化して図５の（ｂ）のように二進化データ５１０を生成することができる。

制御部１７０は、図５の（ｃ）のように、二進化データ５１０から外郭線５２０を抽出することができる。外郭線を抽出するために、制御部１７０は、キャニーエッジ検出アルゴリズム（Ｃａｎｎｙ Ｅｄｇｅ）及び／またはＯｐｅｎＣＶのｆｉｎｄｃｏｎｔｏｕｒ関数を利用することができるが、これに限定されない。

制御部１７０は、抽出された外郭線５２０に基づいて図５の（ｄ）のようにバウンディングボックス５３０を生成することができる。バウンディングボックス５３０は、抽出された外郭線が含まれるように矩形の形態で生成されることができる。

制御部１７０は、生成されたバウンディングボックス５３０の左側上端の第１頂点の座標及び右側上端の第２頂点の座標を利用してプローブの位置を算出することができ、具体的な算出方法は、図４で説明したように行われることができる。

下記では、図６を参照して原子顕微鏡システムでカンチレバーの目標位置を算出するための方法を説明する。

図６は、本発明の実施例による原子顕微鏡システムでカンチレバーの目標位置を算出するための方法を説明するためのフローチャートである。下記で述べる動作は、図１ａの制御部１７０または図２の制御部２４０により行われることができる。下記では、図１ａの制御部１７０で行われる場合を説明する。

図６を参照すると、制御部１７０は、撮影部１６０を通じてプローブ１１５が配置されたカンチレバー１１０を撮影し（Ｓ６００）、撮影された映像に基づいてカンチレバー１１０を認識するように学習された認識モデルを利用して映像からカンチレバー１１０を認識した結果データを獲得する（Ｓ６１０）。ここで、結果データは、カンチレバー１１０の境界を含むバウンディングボックスを表したバウンディングボックスデータ、及びカンチレバー１１０とカンチレバー１１０でない客体（例：背景）とを分割した分割データを含むことができる。

制御部１７０は、獲得された結果データを利用してカンチレバー１１０で目標位置を算出する（Ｓ６２０）。具体的に、制御部１７０は、バウンディングボックスデータを利用して目標位置を算出するか、分割データを利用して目標位置を算出することができる。

バウンディングボックスデータを利用する場合、制御部１７０は、バウンディングボックスをなす複数の頂点に対する座標値を利用して目標位置を算出することができる。

分割データを利用する場合、制御部１７０は、分割データを二進化して二進化データを獲得し、獲得された二進化データを利用してカンチレバー１１０の外郭線を検出することができる。制御部１７０は、検出された外郭線を含むバウンディングボックスを生成し、生成されたバウンディングボックスをなす複数の頂点に対する座標値を利用して目標位置を算出することができる。

このように目標位置が算出されると、制御部１７０は、目標位置に光学部１３０のレーザー光が照射されるように第１駆動部１２０を通じてカンチレバー１１０の位置を調整することができる。また、別途の駆動装置により光学部１３０の位置が調整されることもできる。

これを通じて、本発明は、原子顕微鏡のカンチレバーを認識するように学習された人工ニューラルネットワークモデルを利用することで、カンチレバーのサイズと模様に関係なくカンチレバーが試料をスキャンするに適合した目標位置を正確に認識することができる。

本発明の実施例による装置及び方法は、多様なコンピュータ手段を通じて行われることができるプログラム命令形態で具現され、コンピュータ読取可能媒体に記録されることができる。コンピュータ読取可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。

コンピュータ読取可能媒体に記録されるプログラム命令は、本発明のために特に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータ読取可能記録媒体の例には、ハードディスク、プロッピィーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム命令を格納し行うように特に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタプリターなどを使用してコンピュータにより実行されることができる高級言語コードを含む。

上述したハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その反対も同一である。

以上、添付の図面を参照して本発明の実施例をさらに詳しく説明したが、本発明は必ずしもこのような実施例に限られるものではなく、本発明の技術思想を逸脱しない範囲内で多様に変形実施されることができる。よって、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのもので、このような実施例により本発明の技術思想の範囲が限定されるものではない。従って、以上で記述した実施例は、全ての面で例示的なものであり、限定的ではないと理解すべきである。本発明の保護範囲は、以下の特許請求の範囲により解釈されるべきであり、それと同等な範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈されるべきである。

１００：原子顕微鏡システム
１１０：カンチレバー
１１５：プローブ
１２０：第１駆動部
１３０：光学部
１４０：光学検出部
１５０：第２駆動部
１５５：試料
１６０：撮影部
１７０：制御部
１７５：ＮＰＵ
１８０：表示部
２００：電子装置
２１０：通信部
２２０：表示部
２３０：格納部
２４０：制御部
２４５：ＮＰＵ

Claims (14)

1. プローブが配置されるように構成されたカンチレバー（Ｃａｎｔｉｌｅｖｅｒ）と、
   前記カンチレバーの上面を撮影する撮影部と、
   前記カンチレバー及び前記撮影部と動作可能に連結された制御部とを含み、
   前記制御部は、
   前記撮影部を通じて撮影された映像に基づいて前記カンチレバーを認識するように学習された認識モデルを利用して前記映像から前記カンチレバーを認識した結果データを獲得し、
   前記獲得された結果データを利用して前記カンチレバー上の目標位置を算出するように構成され、
   前記結果データは、前記カンチレバーの境界を含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を表したバウンディングボックスデータ、及び前記カンチレバーと前記カンチレバーでない客体とを分割した分割データ（ｓｅｇｍｅｎｔａｔｉｏｎ ｄａｔａ）のうち少なくとも一つを含む、原子顕微鏡の目標位置を認識するための装置。
2. 前記カンチレバーの表面にレーザー光を照射するように構成された光学部と、
   前記カンチレバーの位置を調整するように構成された駆動部とをさらに含み、
   前記制御部は、前記算出された目標位置に前記光学部のレーザー光が照射されるように前記駆動部を通じて前記カンチレバーの位置を調整するように構成される、請求項１に記載の原子顕微鏡の目標位置を認識するための装置。
3. 前記カンチレバーの表面にレーザー光を照射するように構成された光学部をさらに含み、
   前記制御部は、前記算出された目標位置に前記光学部のレーザー光が照射されるように前記光学部の位置を調整するように構成される、請求項１に記載の原子顕微鏡の目標位置を認識するための装置。
4. 前記認識モデルは、
   前記カンチレバーの周辺環境に関する複数の参照映像を利用して前記カンチレバーを認識するように学習された人工ニューラルネットワークモデルである、請求項１に記載の原子顕微鏡の目標位置を認識するための装置。
5. 前記複数の参照映像は、
   前記カンチレバーの周辺の照明強さ、及び前記撮影部の焦点距離のうち少なくとも一つを変化させながら撮影された映像である、請求項４に記載の原子顕微鏡の目標位置を認識するための装置。
6. 前記制御部は、
   前記バウンディングボックスをなす複数の頂点に対する座標値を利用して前記目標位置を算出するように構成される、請求項１に記載の原子顕微鏡の目標位置を認識するための装置。
7. 前記制御部は、
   前記分割データを二進化して二進化データを獲得し、前記獲得された二進化データを利用して前記カンチレバーの外郭線を検出し、前記検出された外郭線を含むバウンディングボックスを生成し、前記生成されたバウンディングボックスをなす複数の頂点に対する座標値を利用して前記目標位置を算出するように構成される、請求項１に記載の原子顕微鏡の目標位置を認識するための装置。
8. 原子顕微鏡の制御部により行われる目標位置を認識するための方法において、
   撮影部を通じてプローブが配置されるように構成されたカンチレバー（Ｃａｎｔｉｌｅｖｅｒ）の上面を撮影する段階と、
   前記撮影部を通じて撮影された映像に基づいて前記カンチレバーを認識するように学習された認識モデルを利用して前記映像から前記カンチレバーを認識した結果データを獲得する段階と、
   前記獲得された結果データを利用して前記カンチレバー上の目標位置を算出する段階とを含み、
   前記結果データは、前記カンチレバーの境界を含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を表したバウンディングボックスデータ、及び前記カンチレバーと前記カンチレバーでない客体とを分割した分割データ（ｓｅｇｍｅｎｔａｔｉｏｎ ｄａｔａ）のうち少なくとも一つを含む、目標位置を認識するための方法。
9. 前記算出された目標位置に光学部の光が照射されるように前記カンチレバーの位置を調整する段階をさらに含む、請求項８に記載の目標位置を認識するための方法。
10. 前記算出された目標位置に光学部の光が照射されるように前記光学部の位置を調整する段階をさらに含む、請求項8に記載の目標位置を認識するための方法。
11. 前記認識モデルは、
    前記カンチレバーの周辺環境に関する複数の参照映像を利用して前記カンチレバーを認識するように学習された人工ニューラルネットワークモデルである、請求項８に記載の目標位置を認識するための方法。
12. 前記複数の参照映像は、
    前記カンチレバーの周辺の照明強さ、及び前記撮影部の焦点距離のうち少なくとも一つを変化させながら撮影された映像である、請求項１１に記載の目標位置を認識するための方法。
13. 前記獲得された結果データを利用して前記カンチレバー上の前記目標位置を算出する段階は、
    前記バウンディングボックスをなす複数の頂点に対する座標値を利用して前記目標位置を算出する段階である、請求項８に記載の目標位置を認識するための方法。
14. 前記獲得された結果データを利用して前記カンチレバー上の前記目標位置を算出する段階は、
    前記分割データを二進化して二進化データを獲得する段階と、
    前記獲得された二進化データを利用して前記カンチレバーの外郭線を検出する段階と、
    前記検出された外郭線を含むバウンディングボックスを生成する段階と、
    前記生成されたバウンディングボックスをなす複数の頂点に対する座標値を利用して前記目標位置を算出する段階とを含む、請求項８に記載の目標位置を認識するための方法。

Images