JP5815018B2 - レーザ加工用タッチスクリーンインタフェイス - Google Patents

Description

本発明は、撮像装置用タッチスクリーンユーザインタフェイスに関する。特に、検査する被検査物を保持する移動ステージが顕微鏡に設けられ、タッチスクリーンインタフェイスがコントローラに接続されている、顕微鏡システム用タッチスクリーンインタフェイスに関する。このコントローラは、タッチスクリーンユーザインタフェイスからのコマンドを受信し、移動ステージを駆動するコマンドにそれらを変換する。より詳細には、本発明は、ユーザがタッチスクリーンユーザインタフェイスを介してシステムにコマンドを入力することができ、タッチスクリーン上の被検査物の画像に触れると言うよりも、ユーザが被検査物を直接動かしているかのように、移動ステージをこれらのコマンドに応答させることができる、光学顕微鏡用のタッチスクリーンユーザインタフェイスに関する。

光学顕微鏡の分野は広く、裸眼の人の目で通常見ることができるサイズよりも小さい被検査物を撮像又は検査又はそれらに関する情報を抽出するために倍率に依存した様々な種類の光学装置及び他の装置を包含している。特に、コンピュータが顕微鏡に取り付けられ、顕微鏡が生成した画像データを表示し、顕微鏡の種々の性能を制御するためのユーザインタフェイスを提供するコンピュータを利用した顕微鏡に関係する。光学顕微鏡だけでなく、電子顕微鏡や共焦点顕微鏡などの装置もまた、画像取得、表示、管理、及びユーザインタフェイス機能のためのコンピュータを有している。より詳細には、被検査物に対してレーザビーム経路の位置合わせ及び設計を行い、選択的にレーザ加工の結果を検査するために顕微鏡が使われる、レーザ加工システムに用いられる光学顕微鏡に関係する。このような光学顕微鏡を利用する例示的なレーザ加工システムは、レーザアブレーション誘導結合プラズマ質量分析（LA ICP-MS）、レーザアブレーション誘導結合プラズマ発光分光（ICP-OES/ICP-AES）、及びマトリックス支援レーザ脱離イオン化飛行時間（MALDI-TOF）分光を含んでいる。

コンピュータを利用した顕微鏡システムに共通する問題点は、レーザが当たる被検査物上の点をユーザが選択する必要があることである。これにより、レーザにより生成される被検査物の試料の組成及び性質が規制される。多くの場合に、被検査物は試料チャンバ内で密閉されてアクセスが制限される。これは、遠隔制御を利用して、検査中に頻繁に被検査物に対して視野をあちこちに動かす必要があることを意味する。これに、一部の被検査物の三次元性質及び高倍率の典型的な顕微鏡システムにおける被写界深度の制限が加わり、これらが組み合わさると、要求されたように被検査物を撮像するために３つの回転軸を含む三次元において視野を動かす必要が生じる。このように視野を変更するための制御を２以上の移動要素で分ける場合があるという問題があり、視野と被検査物の関係の遷移を要求されたように行うためにこれらの移動を調整することは困難な作業となり得る。いずれの場合でも、レーザビームと被検査物の関係を変更することは、これらの種類のシステムで共通の課題である。設定時間を短くし、より容易かつ迅速に被検査物を位置決めするユーザインタフェイスにおける改良は絶対的な利点となる。

１９９９年１月１２日の発明者Mary M. Yangによる米国特許第５，８５９，７００号「HIGH
RESOLUTION IMAGING MICROSCOPE(HIRIM) AND USES THEREOF」は、一種のデジタル画像処理顕微鏡、具体的には、デジタル画像処理分光光度計及びこの顕微鏡と相互作用するコンピュータについて詳細に述べている。特に、大量の分光分析データを取得し、これをディスプレイに表示可能なコンピュータについて述べられている。２００６年６月３１日の発明者Nicholas James Salmon及びErnst Hans Karl
Stelzerによる米国特許第６，９９１，３７４号「COMPUTER CONTROLLED
MICROSCOPE」は、画像データセットからパラメータ設定を記憶し、システムによって記録されるときに、それを関連する画像データセットに適用できるコンピュータ制御光学顕微鏡が記載されている。２０１０年６月１２日の発明者Michael Roger Cane、Michael Andrew Beadman、及びSymon D'Oyly Cottonによる米国特許第７，６４７，０８５号「METHOD
AND APPARATUS FOR INVESTIGATING TISSUE HISTOLOGY」は、タッチスクリーンインタフェイスを備えたコンピュータを利用した光学顕微鏡であるが、そのタッチスクリーンは、操作又はプログラミングステップを開始するためにのみ使用されるものが記載されている。

タッチスクリーン技術は周知であり、広く商業的に利用されている。この技術は、ユーザがディスプレイスクリーンに触れることにより、システムにコマンドを入力することができる機器をディスプレイに追加することを含んでいる。タッチスクリーンディスプレイは、典型的には、ユーザの接触による静電容量の変化を検出することにより、あるいはスクリーンを横断する赤外線伝送の変化を検出することにより動作する。スクリーンは、ユーザの接触に反応してスクリーン上の接触点の座標をコントローラに送信する。コントローラは、典型的には、スクリーン接触の座標を、マウスやトラックボールなどのポインティングデバイスからのものと認識し、プログラムされた内容に応じて適切な動作を行う。

したがって、必要とされているものは、システムの視野を変更するためにユーザによる移動ステージへのコマンドの入力が可能で、システム設定を改善し、スループットを増大し、被検査物とレーザビームとの関係を要求されたように変更できることに関連する問題を克服できる、移動ステージに作用的に接続された、コンピュータを利用した顕微鏡システム用のタッチスクリーンユーザインタフェイスである。

本発明は、レーザ加工システムにおける光学顕微鏡と一体化したタッチスクリーンインタフェイスに関する。本発明の一態様は、コントローラと視野と検査する被検査物とを有する光学系を含み、また、コントローラに作用的に接続されたタッチスクリーンユーザインタフェイスを含んでいる。本発明の他の態様は、コントローラに作用的に接続され、被検査物を保持し、被検査物と視野の関係を変化させる移動ステージを含んでいる。コントローラは、タッチスクリーンユーザインタフェイスからのユーザコマンドを入力し、ユーザコマンドを出力コマンドに変換し、出力コマンドを移動ステージに出力可能である。移動ステージは、出力コマンドに応答して、タッチスクリーンからの入力ユーザコマンドに従い、視野と被検査物との関係を変更する。

本発明によって利益を得る例示的なレーザ加工システムは、レーザアブレーション誘導結合プラズマ質量分析、レーザアブレーション誘導結合プラズマ発光分光、及びマトリックス支援レーザ脱離イオン化飛行時間分光を含んでいる。本発明の実施形態の模式図を図１に示す。これらのシステムは、光学顕微鏡を用いて、処理される被検査物をすべて検査できる。動作中、被検査物はシステム内に配置され、レーザビームが被検査物に当たり処理を始める開始位置を選択するために光学顕微鏡が使用される。これは、被検査物の視野画像を取得し、それをタッチスクリーンモニタに表示することにより実現できる。この表示は、「生」及び連続的であり、カメラ視野内のあらゆる変化がタッチスクリーンモニタ上に表示されることを意味する。このタッチスクリーン表示の例を図２ａに示す。モニタ上で、グラフィックオーバーレイは、レーザビームが最初に被検査物に当たる位置を示している。また、モニタは、レーザビームがその後被検査物に当たるように沿わせるツール経路を示すグラフィックオーバーレイを表示する。レーザビームが被検査物に当たる位置を変更するために、ユーザはスクリーンに触れて、スクリーン上で指をドラッグする。コントローラは、スクリーン上におけるユーザの指の移動を検出し、タッチスクリーン上の被検査物の画像が、試料を視野内で再配置していると言うよりも、ユーザが画像自体を動かしているかのように見せるため、カメラの視野に対して被検査物を動かすように移動ステージを導く。

図２ａ及び図２ｂは、本発明を用いてレーザ加工のための新しい開始点を選択する方法を示している。ユーザが、図２ａにおけるレーザ加工用の開始点を変更したいと思っているとすると、ユーザは、被検査物の画像を示すスクリーン上のどこかに触れることにより始めることができる。ユーザがスクリーン上の指をドラッグすると、タッチスクリーンインタフェイスは、スクリーン上のユーザの指の動きを検出し、光学顕微鏡の視野内で被検査物を物理的に動かすように移動ステージを導き、モニタ上で検査する画像を変化させる。コントローラを適切にプログラミングすることにより、スクリーンに触れ、スクリーン上で指をドラッグすれば、スクリーン上の画像データを指によりドラッグされたかのように見せることができる。実際には、コントローラは、カメラの視野内の被検査物を動かすように移動ステージを導き、タッチスクリーン上で指をドラッグすると言うよりも、ユーザが手で被検査物を動かしたかのように見える動きをシミュレートすることができる。図２ｂに、レーザビーム衝突点を示すオンスクリーングラフィックオーバーレイに対する画像データの移動を示すユーザ入力後のタッチスクリーンを示している。

コントローラは、ユーザタッチスクリーン入力に応答するための多くの異なるオプションを提供するようにプログラムされ得る。コントローラは、画像データをスクリーンから入力された動きよりも速く又は遅く動かすように、移動ステージを動かすことができる。これは、被検査物の移動を加速するか、微調整のために微少な動きに対して被検査物を敏感にさせる効果がある。また、コントローラは、スクリーン上で指を上下に動かすことにより、例えば、視野内で被検査物が上下に動き、被検査物に焦点が合ったり、被検査物から焦点が外れたりするＺ軸移動に関連する動きを読み取ることができる。必要に応じて、三次元で被検査物を動かすように他の動きをプログラムすることができる。あるいは、ユーザタッチスクリーン入力に応答して、カーソル又は他のスクリーングラフィックを動かすようにコントローラをプログラムすることもできる。例えば、このモードにおいては、ユーザは、スクリーンに触れ、レーザビームの位置を示すグラフィックデバイスを動かすことによりレーザビームが被検査物に当たる点を動かすことができる。次に、コントローラは、レーザビームを選択された位置に当てるために、レーザビームに対して被検査物を動かすように移動ステージを導く。

タッチスクリーンインタフェイス、コントローラ、及び移動ステージを、光学顕微鏡を備えたレーザ加工システムに付加することにより、ユーザは、タッチスクリーンと相互に作用し、被検査物を直接操作しているように見せることができる。これは２つの理由により有意義である。１つ目の理由は、被検査物は、加工のための特定環境において密閉される場合があるからである。レーザ加工システムでは、加工を可能にするために、窒素やアルゴンなどの不活性ガス雰囲気内に被検査物を密閉する必要が生じる場合があり、この場合、被検査物を直接操作することが困難である。さらに、複雑な移動ステージを用いて部品を動かす場合には、所望の位置変化をもたらすように、２つ以上のアクチュエータ／ステージ／エンコーダユニットの移動を調整する必要が生じ得る。適切にプログラムされたタッチスクリーンインタフェイスを追加することにより、これらの移動のすべてを簡単なスクリーン接触に低減することができる。ここで述べる改良をレーザ加工システムに付与することにより、システムの動作をより容易にし、システムスループットを増大させることができる。

図１は、タッチスクリーンレーザ加工システムを示す図である。 図２ａは、画像及びグラフィックとともにタッチスクリーンを示す図である。 図２ｂは、移動した画像及びグラフィックとともにタッチスクリーンを示す図である。 図３は、画像及びツール経路とともにタッチスクリーンを示す図である。 図４は、付加的な視野カメラを有するタッチスクリーンレーザ加工システムを示す図である。

本発明は、レーザ加工システムにおける光学顕微鏡と一体化したタッチスクリーンインタフェイスに関する。本発明の実施形態を図１に示す。本実施形態は、被検査物１０と、レーザビーム１４を有するレーザ１２とを含んでいる。レーザビーム１４は、光学顕微鏡１６により被検査物１０に導かれる。この光学顕微鏡１６は、レーザ１０の光軸とカメラ視野２０とを組み合わせて、視野２０内に収まる被検査物１０の一部をカメラ１８で撮像できるようにした例示的な光学装置である。例えば半透鏡（図示せず）などの他の光学装置を用いてレーザビーム１４とカメラ視野２０とを組み合わせることもできる。さらに、このシステムは、カメラ視野２０とレーザビーム１４とが同一の光軸上に無いものとして構成することができ、このため、レーザビーム１４及びカメラ視野２０を導くために別個の光学装置（図示せず）を必要とし得る。この場合において、コントローラ２２は、カメラ視野２０とレーザビーム１４との間の実際のオフセットを計算し、このオフセットをその後の計算に適用する。

カメラ１８は、画像データを取得し、それをコントローラ２２に送信するようにカメラに指示するコントローラ２２に接続されている。コントローラ２２は、カメラ１８からの画像データをタッチスクリーンモニタ２４に表示する。カメラ１８は、典型的には、画像データを連続的に取得できるか、あるいは連続的に見えるのに十分なほど高いフレームレートで画像データを取得できるビデオタイプカメラである。コントローラ２２は、レーザビーム１４とカメラ視野２０に対して被検査物１０を移動する移動ステージ２６にも接続されている。本実施形態では、被検査物１０が移動ステージ２６により動かされる例を示すが、このシステムは、被検査物１０に対してレーザビーム１４及び視野２０を移動することもでき、あるいはそれぞれに移動ステージ（図示せず）を取り付けることにより、これらの要素間の移動を分割することもできる。本発明の実施形態は、レーザビーム１４及び視野２０に対して被検査物１０の位置を最大三次元（Ｘ、Ｙ及びＺ）及び３つの軸周りの３つの回転軸（ロー、ファイ及びシータ）において変更することができ、システムが被検査物１０の所望の部分にレーザビーム１４を照射できるようになっている。

本発明の一実施形態では、レーザビーム１４を用いて被検査物１０から物質を切除し、切除した物質の検査が可能となっている。典型的には、検査用に切除するためにユーザが被検査物１０の特定の１以上の部分を選択したいと思う場合を考える。例えば、被検査物１０が２種類以上の物質からなり、ユーザが、１つの物質のみの調査を望む場合がある。ユーザは、タッチスクリーン２４に表示された視野２０に収まる被検査物１０の画像を利用して、タッチスクリーン２４に触れることによりコントローラ２２を通じて移動ステージ２６に命令して、レーザビーム１４及び視野２０に対して被検査物１０を動かし、被検査物１０上でレーザビーム１４を位置決めする。この工程を図２ａ及び図２ｂに示す。図２ａは、被検査物３２の画像を表示するタッチスクリーンディスプレイ３０を有する本発明の一実施形態を示している。タッチスクリーンディスプレイ３０上の被検査物の画像３２には、レーザビームを放出するようにレーザを導いた際にレーザビーム１４が被検査物に当たる点３４を示しているオーバーレイグラフィックがオーバーレイされている。図２ｂは、レーザビームが被検査物１０上に当たる点３４をユーザが変更する方法を示している。図２ｂにおいて、ユーザは、スクリーン上の点３８に触れて、矢印に示す経路に沿ってスクリーン上で指を点４０にドラッグする。これにより、コントローラ２２は、被検査物１０を視野２０内に移動するように移動ステージ２６を導き、タッチスクリーンディスプレイ３０上で被検査物の画像３２を変化させ、これによりレーザが当たる被検査物１０の点３４を移動することができる。

このとき、典型的にユーザはレーザを導いてビーム１４を照射して物質を切除する。この移動では、スクリーン３８，４０上のユーザの指の移動が、被検査物１０とカメラ視野２０との関係の移動に正確に一致するようにプログラムすることができ、これにより、ユーザが、被検査物１０とカメラ視野２０との関係を変更し、したがって、スクリーン３８，４０上のユーザの指の移動に対して一対一対応でタッチスクリーンディスプレイ３０に表示された被検査物の画像３２の位置を変更できることに留意されたい。他の実施形態では、システムは、スクリーン３８，４０上におけるユーザ入力指移動を拡大又は縮小するようにプログラムされる。これらの場合において、タッチスクリーンディスプレイ３０上の被検査物の画像３２をユーザ入力の指移動３８，４０よりも速く又は遅く動かすように、被検査物１０と視野２０との関係をプログラムすることができ、これにより、入力移動を誇張してより広い被検査物領域における動きを加速することができ、あるいは入力移動を遅くして正確性を向上することができる。

このようなタッチスクリーン３０からのユーザ入力に応答して移動ステージ２６を導くためには、移動ステージに対するコマンドを出力するために、例えば、スクリーン座標における点３８から点４０に指をドラッグすることにより生成される入力ユーザコマンドをコントローラ２２が変換する必要が生じる。これは、移動ステージの複数の軸間の移動を分割することを伴う場合がある。例えば、被検査物１０が一組のＸ，Ｙステージ上に保持される場合には、コントローラ２２により、タッチスクリーン３０上の斜め方向移動入力を移動ステージ２６のＸ軸及びＹ軸の双方に対する出力コマンドに変換し、斜め方向ユーザコマンドに対応する被検査物１０の斜め方向移動を生じさせる必要がある。被検査物が三次元の表面細部を有する場合には、他の例を用いてもよい。この場合には、新たな領域に撮像領域を移動して被検査物の高さがわずかでも変化すれば、カメラの視野の移動により、光学顕微鏡の焦点がずれてしまう。システムが焦点を再び合わせる必要があることを示す出力コマンドをコントローラ２２により生成する必要がある。焦点を再び合わせることは、移動ステージにより顕微鏡１６内の光学部品を移動させるか、被検査物１０を上下に動かすか、顕微鏡１６を上下に動かすか、あるいはこれらの動きを組み合わせること（図示せず）により実現できる。

図３は、本発明のさらなる実施形態を示すもので、タッチスクリーンディスプレイ４１が被検査物４２の画像を表示する。被検査物４２の画像上には、被検査物から物質を切除するためにレーザが導かれる複数の位置を示す例示的なツール経路４４，４６，４８が示されている。ラスタパターン４４、点集合４６、及び任意の経路４８が示されている。これらの例示のツール経路４４，４６，４８は、ユーザにより設計され、グラフィック入力ソフトウェア（図示せず）を用いて被検査物の画像と関連づけられる。これらのツール経路と図２ａ及び図２ｂに示された点との違いは、これらのパターンが被検査物の位置と関連づけられ、ユーザがこのタッチスクリーン４２を使って被検査物４２の画像を移動させる際には、ツール経路４４，４６，４８は被検査物の画像と一緒に移動し、視野内で被検査物がどこに移動したかを問わずに、レーザは被検査物の同じ位置から物質を除去することになる。

本発明の他の実施形態を図４に示す。本実施形態は、より広い視野５２を有する第２のカメラ５０を備え、タッチスクリーン５４を有する第２のモニタ上に視野５２が表示される。このタッチスクリーンモニタ５４は、変換されて移動ステージ２６の移動を生じさせるコマンドを入力するためにコントローラ２２と通信を行う。高解像度カメラ１８は、顕微鏡１６を介して被検査物１０の高解像度の映像の検査を続ける。本実施形態では、広視野カメラ５０及びタッチスクリーンモニタ５４を用いてレーザ加工システムに対して被検査物を移動することができ、狭視野（高解像度）カメラ１８及びモニタ２４を用いて被検査物を検査できる。作動中、システムは、１つ又は２つのタッチスクリーンインタフェイスを持っていてもよく、あるいは１つのモニタ上で表示を合成してもよい。

本発明の主題がここに開示されており、それらの教示から種々の本発明の修正、置換、及び変形が可能であることは明らかであろう。したがって、本発明は、具体的に説明されたのとは異なる方法で実施されてもよく、その幅及び範囲は特許請求の範囲によってのみ限定されることが理解される。

Claims (8)

1. 被検査物を加工するように構成されたレーザ加工システムであって、
   コントローラと、
   前記コントローラに作用的に接続された、第１の視野を有する第１のカメラと、
   触れたユーザの指の移動によってユーザコマンドを入力可能なタッチスクリーンユーザインタフェイスであって、前記コントローラに作用的に接続されて前記第１のカメラからの画像を表示するタッチスクリーンユーザインタフェイスと、
   前記コントローラに作用的に接続された、前記被検査物と前記第１の視野との関係を変化させる移動ステージと、
   を備え、
   前記コントローラは、前記タッチスクリーンユーザインタフェイスから前記入力されたユーザコマンドを受け取り、前記ユーザコマンドを、前記タッチスクリーンユーザインタフェイス上の前記ユーザの指の移動と、前記被検査物と前記第１の視野との関係の移動とを正確に一致させる出力コマンドに変換し、前記出力コマンドを前記移動ステージに通信可能であり、
   前記移動ステージは、前記出力コマンドに応答して、前記入力されたユーザコマンドに従い、前記ユーザが前記被検査物を直接動かしているかのように前記タッチスクリーンユーザインタフェイス上の前記被検査物の画像を見せるように、前記第１の視野と前記被検査物との関係を変更する、
   レーザ加工システム。
2. 前記レーザ加工システムが、レーザアブレーション誘導結合プラズマ質量分析、レーザアブレーション誘導結合プラズマ発光分光、又はマトリックス支援レーザ脱離イオン化飛行時間分光のうちの１つである、請求項１に記載のレーザ加工システム。
3. 前記第１のカメラは、光学顕微鏡を利用して前記被検査物を撮像する、請求項１に記載のレーザ加工システム。
4. 前記コントローラに作用的に接続された、前記第１の視野よりも広い第２の視野を撮像するための第２のカメラを備えた、請求項１に記載のレーザ加工システム。
5. 被検査物を加工するためのレーザ加工システムを制御する方法であって、
   入力及び出力コマンドを有するコントローラを用意し、
   前記コントローラに作用的に接続された、第１の視野を有する第１のカメラを用意し、
   前記コントローラに作用的に接続された、ユーザコマンドを入力可能なタッチスクリーンユーザインタフェイスを用意し、
   前記コントローラに作用的に接続された、前記被検査物と前記第１の視野との関係を変更する移動ステージを用意し、
   前記タッチスクリーンユーザインタフェイスに触れたユーザの指の移動によってユーザコマンドを入力し、前記入力されたユーザコマンドを前記入力コマンドとして前記コントローラに通信し、
   前記コントローラを用いて、前記入力コマンドを、前記タッチスクリーンユーザインタフェイス上の前記ユーザの指の移動と、前記被検査物と前記第１の視野との関係の移動とを正確に一致させる出力コマンドに変換し、前記出力コマンドを前記移動ステージに通信し、
   前記移動ステージは、前記出力コマンドに応答して、前記入力されたユーザコマンドに従い、前記ユーザが前記被検査物を直接動かしているかのように前記タッチスクリーンユーザインタフェイス上の前記被検査物の画像を見せるように、前記第１の視野と前記被検査物との関係を変更し、これにより前記レーザ加工システムを制御する、
   方法。
6. 前記レーザ加工システムは、レーザアブレーション誘導結合プラズマ質量分析、レーザアブレーション誘導結合プラズマ発光分光、又はマトリックス支援レーザ脱離イオン化飛行時間分光のうちの１つである、請求項５に記載の方法。
7. 前記第１のカメラは、光学顕微鏡を利用して前記被検査物を撮像する、請求項５に記載の方法。
8. 前記コントローラに作用的に接続された、前記第１の視野よりも広い第２の視野を撮像するための第２のカメラを用意する、請求項５に記載の方法。

Images