JP5249343B2 - ロボット、医療ワークステーションおよび、対象物の表面に画像を投影する方法 - Google Patents

Description

本発明は、ロボット、医療ワークステーションおよび、対象物の表面に画像を投影する方法に関する。

たとえば外科においては、生物を手術治療する外科医に情報を提供するコンピュータベースの情報システムがますます多用されるようになっている。これらの情報とは、たとえば生物の生体パラメータ、リスク構造または手術の目標ポジションなどとすることができる。情報はたとえば情報システムの表示装置によって画面に表示される一方で、情報システムは当該システムを操作するための入力手段を含みうる。情報が表示装置によって画面に表示されることにより、外科医は手術台と、表示装置と、場合により入力手段とにそれぞれ目配りすることが必要である。

そこで本発明の目的は、視覚情報を容易に把握するための前提条件を実現する装置を提供することである。

本発明の上記課題は、ロボットアームと、ロボットアームに取り付けてもしくはロボットアームに組み込まれて対象物の表面に画像を投影するための装置とを備えたロボットによって解決される。

本発明の上記課題はまた、対象物の表面に画像を投影する方法であって、
ロボットのロボットアームに組み込まれてもしくはロボットアームに取り付けられて画像を投影する装置によって、特に生物である対象物の表面に画像を投影するステップ
を有する方法によって解決される。

本発明による方法または本発明によるロボットは特に医療分野向けに想定されているものであるが、ただし医療以外の分野での使用、たとえば機械類の保守、点検または修理に際する使用も考えられる。

ロボットは一般に、対象物を自動処理するために合理的なツールを備え、複数の運動軸に関して、特に向き、位置および径路の点でプログラマブルな処理マシンである。ロボットは一般に、マニピュレータとも称されるロボットアームと、制御装置と、場合によりたとえばツールを掴むためのグリッパとして形成されているかまたは、たとえば医療技術分野で使用される場合に、医療技術器具を取り付けるために形成されていてよいエフェクタとを含んでいる。マニピュレータまたはロボットアームは基本的にロボットの可動部を表している。ロボットアームは、特に、たとえば電気駆動装置を介して、たとえばコンピュータとして形成された制御装置によって制御される複数の軸を有している。

本発明によれば、特に生物である対象物の表面に画像を投影するように、画像を投影する装置は、ロボットのロボットアームに組み込まれているもしくは当該アームに取り付けられている。したがって、ロボットアームを適切に制御することにより、対象物の表面に画像を投影することは比較的容易に可能である。画像を投影する装置は、特に、ロボットのいわゆるツールセンターポイント（ＴＣＰ）の近傍に組み込まれるもしくは取り付けられることが可能である。投影場所はたとえばソフトウェアによって選択可能である。

本発明によるロボットの一実施形態においては、ロボットは特にロボットアームに取り付けられてもしくはロボットアームに組み込まれて対象物の表面に投影された画像の画像を記録する装置を備え、特にロボットのデータ処理装置は、画像を記録する装置によって記録された対象物の表面に投影された画像の画像に対応した画像データセットを分析するように構成されている。対象物の表面に投影された画像の画像を記録する装置は、たとえば、特に自動的に環境の２．５Ｄ画像を供するカメラまたはセンサである。画像を記録する装置はまた、たとえば台架、壁面あるいは天井に取り付けられていることが可能である。

たとえば、投影された画像が特にロボットのデータ処理装置のバーチャル入力手段またはさらなる別のデータ処理装置のバーチャル入力手段である場合には、本発明によるロボットの一実施態様においては、特にロボットのデータ処理装置は、バーチャル入力手段の操作を認識するように、人の動きについて画像データセットを分析するように構成されている。バーチャル入力手段は、たとえば、投影画像によって対象物の表面に表されたバーチャル操作エレメントを有することが可能であり、この場合、データ処理装置は、たとえばパターン認識アルゴリズムを用いて、当該人がバーチャル表示された操作エレメントに触れたか否かについて画像データセットを分析する。それゆえ、画像または画像データセットの分析に基づいて、当該人物の動作を認識し、それをバーチャル入力手段の操作として解釈することが可能である。特に対象物が生物たとえば治療されるべき患者である場合には、当該人たとえば外科医または一般に医師は滅菌環境においてバーチャル入力手段を操作することが可能である。

本発明によるロボットのさらなる別の実施形態においては、ロボットは、対象物の表面の表面ジオメトリに起因する投影画像のひずみを認識し、画像を投影するための装置を制御して投影画像のひずみが少なくとも部分的に補償されるようにする手段を有している。ひずみとは、画像高さ、すなわち投影画像の画像中心からの画素の距離が対応する物点の高さに非線形的に依存していることとして理解される。これはまた、結像基準が対応する物点の高さに依存しているということもできる。ひずみは、たとえば、投影画像の画像中心を通らない直線のイメージが曲面化して再現されるという結果をもたらすことになる。

ひずみを認識するための手段は、本発明によるロボットの一実施態様においては、特にロボットアームに組み込まれてもしくはロボットアームに取り付けられて画像を記録するための装置と、データ処理装置とを有し、当該データ処理装置は、本実施形態においては、分析された画像データセットに基づいてひずみを認識するように構成されている。これはたとえば次のようにして実現することができる。すなわち、投影画像の画像に対応する画像データセットが投影画像に対応する画像データセットと比較されることができる。これにより、ひずみを求めるためのステレオシステムが生ずる。こうして、投影画像の投影に際して、投影画像の反転イメージを考慮することができるため、ひずみを少なくとも部分的に補償することが可能である。

ひずみの決定はたとえば画像の投影中に行うことができる。ただし、ひずみの決定は、たとえば、画像を投影するための装置の、基準画像によるキャリブレーションプロセス中に実施されることも可能である。

本発明によるロボットのさらなる別の実施形態においては、データ処理装置は、あらかじめ準備されたさらなる別の画像データセット、特に対象物の三次元画像データセットに基づいて、画像を投影する装置を制御し、それによって投影画像のひずみが少なくとも部分的に補償されるように構成されている。対象物が生物である場合には、対象物の上記さらなる別の画像データセットは特に画像生成医用技術装置たとえば磁気共鳴装置、コンピュータ断層撮影装置、Ｘ線装置または超音波装置によって準備されることができる。

本発明によるロボットは、特に、医療ワークステーション環境で使用されるように想定されている。本発明による医療ワークステーションの一実施形態においては、当該ワークステーションは、本発明によるロボットのほかに、上記生物およびロボットの位置を認識するためのナビゲーションシステムを有し、その際、ロボットのデータ処理装置は、投影画像のひずみの少なくとも部分的な補償にあたってロボットおよび上記生物の位置が考慮されるようにして、画像を投影する装置を制御するように構成されている。したがって、本発明による医療ワークステーションのこの実施態様は、本発明による方法のためにさらなる以下のステップつまり
−特にナビゲーションシステムによってロボットおよび上記生物の位置を算定するステップと、
−上記生物およびロボットのポジションに基づくと共にあらかじめ上記生物について記録された画像データセットに基づいて、上記生物の表面に投影された画像に予測されるひずみを算定するステップと、
−ロボットおよび上記生物のポジションに基づくと共に上記生物の上記画像データセットに基づいて、上記表面投影画像に予測されるひずみを少なくとも部分的に補償するステップと、
を実施することができるように構成されている。

ナビゲーションシステムについては、医療技術分野、特に最小侵襲医療技術分野において、たとえば独国特許第１９９５１５０３Ｂ４号明細書に開示されている。ナビゲーションシステムは、たとえばロボットに配置されたマーカと、上記生物または上記生物が載置された患者ベッドシートに配置されたマーカと、当該マーカを認識する装置とを有する。マーカを認識する装置はたとえば光学装置であって、たとえばステレオカメラである。マーカを認識する装置によって記録されたマーカに基づいて、ナビゲーションシステムは、主に一般に公知の方法で、ロボットおよび上記生物のポジションを決定することができる。ロボットおよび上記生物のポジションに基づくと共に上記生物について記録された特に三次元画像データセットに基づいて、データ処理装置は投影画像に予測されるひずみを計算し、それに応じて画像を投影するための装置を調整するために、予測されるひずみは少なくとも部分的に補償され得る。

ナビゲーションシステムのマーカを認識する装置は、投影画像の画像を記録するためにも使用することができる。それゆえ、この画像に対応する画像データセットは上記ひずみを認識する手段のためにも使用することが可能である。

ナビゲーションシステムが上記生物の治療中も上記生物の位置を決定するために使用される場合には、患者の動きに起因して予測されるひずみの部分的補償も実現することが可能である。この補償はたとえば投影するための装置自体によって実施可能である。

ただし、本発明による方法の一実施形態においては、上記の少なくとも部分的な補償は、ロボットアームが上記生物の動きに応じて連行されることによって実現される。

したがって、本発明によるロボットまたは本発明による方法によって、いわゆる拡張リアリティー（英語：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の利用が可能である。拡張リアリティーとは、一般に、コンピュータ支援による現実感の拡張として理解される。

本発明の実施例については添付の概略図面により例示的に表されている。

ロボットを示す図である。 図１に示したロボットを配備した医療ワークステーションを示す図である。 バーチャル入力手段を示す図である。 画像生成医用技術装置を示す図である。

図１は、本実施例において台座Ｓに取り付けられた場合のロボットアームＡを有するロボットＲを示している。ロボットアームＡは基本的に、ロボットＲの可動部を表しており、複数の軸１〜６と、複数のレバー７〜１０と、たとえばツールまたは医療器具を取り付けることのできるフランジＦとを有する。

各々の軸１〜６は、本実施例においては、ロボットＲの制御コンピュータ１７に図示されていない方法で電気的に接続された電気駆動装置で可動されるため、制御コンピュータ１７または制御コンピュータ１７で実行されるコンピュータプログラムは電気駆動装置を制御して、ロボットＲのフランジＦの位置および向きを基本的に自由に空間において設定することができる。ロボットＲの電気駆動装置はたとえば、それぞれ１つの電動機１１〜１６と、場合により、電動機１１〜１６を制御する電子式出力制御装置とを有する。

本実施例においては、ロボットアームＡ、特にフランジＦには、対象物の表面に画像を投影し得るプロジェクタ１８が組み込まれている。別法として、プロジェクタ１８はロボットアームＡの構造物、特にフランジＦに、たとえば着脱式に取り付けられることが可能である。

プロジェクタ１８はコンピュータたとえば制御コンピュータ１７に図示されていない方法で電気的に接続されている。

本実施例においては、ロボットＲは図２に示した医療ワークステーションの一部として配備されている。

本実施例によって示した医療ワークステーションはロボットＲのほかに、場合により高さ調節も可能な患者ベッドシートＬと、ナビゲーションシステムとを有する。患者ベッドシートＬは、図２に示した患者Ｐをその上に載置できるように形成されている。この患者は、たとえば、図２には図示されていない外科医によって手術されることができる。

ロボットＲは、本実施例においては、プロジェクタ１８によって患者Ｐの表面に画像２０を投影するように構成されている。図３に詳細に示した投影画像２０は、本実施例においては、制御コンピュータ１７用または図中には詳細に図示されていないさらなる別のデータ処理装置用の入力手段を表しており、たとえばキーボードの形を有している。投影画像２０の形でのバーチャル入力手段はさらに、たとえば現実のキーボードのキーに相当するバーチャル操作エレメント２１を含んでいる。

本実施例においては、ロボットＲはさらに、ロボットアームＡに組み込まれてもしくは当該アームに取り付けられて制御コンピュータ１７と電気的に接続されたカメラ１９を有する。カメラ１９は患者Ｐ上に投影された画像２０の画像を記録するように配向されている。投影画像２０の画像に対応した画像データセットは、制御コンピュータ１７、または制御コンピュータ１７で実行されるコンピュータプログラムにより、パターン認識アルゴリズムを用いて、図中に図示されていない人物たとえば患者Ｐを手術する外科医が投影画像２０の形で表されたバーチャルな、バーチャル入力手段のバーチャル操作エレメント２１を操作するか否かについて分析される。制御コンピュータ１７で実行されるコンピュータプログラムが、上記画像データセットの分析に基づいて、外科医がたとえばバーチャル操作エレメント２１の一領域に触れたことを認識すると、制御コンピュータ１７で実行されるコンピュータプログラムはこのバーチャル操作エレメント２１の操作に対応するリアクションを指令する。

患者Ｐの表面が曲面化していることにより、投影画像２０はひずみを生ずる。これは、本実施例においては、患者Ｐ上に画像２０を投影する前に図中に詳細には図示されていない基準画像がプロジェクタ１８によって患者Ｐ上に投影されることにより少なくとも部分的に補償される。その際、基準画像は、画像２０もそこに投影されることになる患者Ｐの表面の基本的に同一の箇所に投影される。

続いて、カメラ１９により、投影された基準画像の画像が記録され、この画像に属する画像データセットが制御コンピュータ１７で実行されるさらなる別のコンピュータプログラムによって分析される。投影された基準画像の画像に対応する画像データセットと、投影された基準画像の基準表示とに基づいて、制御コンピュータ１７はプロジェクタ１８を制御して、その後に投写される投影画像２０のひずみが少なくとも部分的に補償されるようにすることができる。

さらなる別の実施形態においては、患者Ｐの手術前に同患者につき、図４に示した画像生成医用技術装置２２によって特に三次元画像データセットが準備される。医用技術装置２２はたとえば、磁気共鳴装置、コンピュータ断層撮影装置、Ｘ線装置たとえばＣアーム付きＸ線装置、または超音波装置である。

患者Ｐについて準備された三次元画像データセットはたとえば患者Ｐの診断のために使用することができ、ロボットＲの制御コンピュータ１７に入力される。ロボットＲおよび患者Ｐの位置に基づいてならびに患者Ｐの三次元画像データセットに基づいて、制御コンピュータ１７で実行されるさらなる別のコンピュータプログラムが投影画像２０に予測されるひずみを決定し、これによって、プロジェクタ１８の投影を変化させて、投影画像２０に予測されるひずみが少なくとも部分的に補償されるようにすることが可能である。

ロボットＲおよび患者Ｐの位置を求めるように、上記のナビゲーションシステムが使用される。ナビゲーションシステムは、当業者に一般に知られていて、たとえばステレオカメラ２３と、患者Ｐに配置された基準マークＭ１と、ロボットＲに配置された基準マークＭ２とを有する。ロボットＲおよび患者Ｐの位置を決定するように、ステレオカメラ２８は基準マークＭ１，Ｍ２の画像を記録し、それに対応する画像データセットはナビゲーションシステムのコンピュータ２４によって一般に公知の方法で評価される。ナビゲーションシステムのコンピュータ２４はさらに、図中に図示されていない方法で、ロボットＲの制御コンピュータ１７に接続されているため、制御コンピュータ１７はロボットＲ、特にそのプロジェクタ１８の位置および患者Ｐの位置に関する情報を得ることができる。

本実施例においてはさらに、患者Ｐの動きに起因する投影画像２０のひずみの変化は、たとえば認識された動きまたは動きに起因する患者Ｐの位置変化に基づいてプロジェクタ１８が再調整されるかまたはロボットアームＡが患者Ｐの動きと共に連行されてひずみの変化が少なくとも部分的に補償されることにより、補償されるように構成されている。

Claims (14)

1. ロボットアームと、
   前記ロボットアームに取り付けてもしくは前記ロボットアームに組み込まれて対象物の表面に画像を投影する装置と、
   データ処理装置と、
   対象物の表面に画像を投影する前記装置により投影される前記画像の画像を記録する装置であって、該装置は、前記ロボットアームに取り付けられてもしくは前記ロボットアームに組み込まれて画像を記録する装置と、
   を備えたロボットであって、
   前記投影画像は、前記データ処理装置のバーチャル入力手段または他のデータ処理装置のバーチャル入力手段を表していて、前記データ処理装置は、画像を記録する前記装置によって記録された前記対象物の前記表面に投影された前記画像の画像に対応する画像データセットを分析し、前記データ処理装置は、前記バーチャル入力手段の操作を認識するように、人の動きについて前記画像データセットを分析し、
   前記生物の表面に投影された前記画像に予測されるひずみを、前記対象物および前記ロボットの位置に基づいてならびにあらかじめ前記対象物について記録された画像データセットに基づいて算定し、前記表面に投影された画像の予測される前記ひずみを、前記ロボットおよび前記生物の位置に基づいてならびに前記生物の前記画像データセットに基づいて少なくとも部分的に補償する
   ように構成されている、ロボット。
2. 前記対象物の表面の表面ジオメトリに起因する前記投影画像のひずみを認識し、前記画像を投影する前記装置を制御して前記投影画像の前記ひずみが少なくとも部分的に補償されるようにする手段、すなわち前記画像を記録する前記装置および前記データ処理装置（１７）を有する請求項１記載のロボット。
3. 前記ひずみを認識する前記手段は、特に前記ロボットアームに組み込まれてもしくは前記ロボットアームに取り付けられて画像を記録する前記装置と、前記データ処理装置とを有し、前記データ処理装置は分析された前記画像データセットに基づいて前記ひずみを認識するように構成されている請求項２記載のロボット。
4. 前記データ処理装置は、あらかじめ準備されたさらなる別の画像データセット、特に前記対象物の三次元画像データセットに基づいて前記画像を投影する前記装置を制御し、それによって前記投影画像のひずみが少なくとも部分的に補償されるように構成されている請求項２または３記載のロボット。
5. 前記対象物は生物であり、前記対象物の前記さらなる別の画像データセットは画像生成医用技術装置によって準備されたものである請求項４記載のロボット。
6. 請求項１〜５のいずれか一項記載のロボットを備える医療ワークステーション。
7. 請求項５記載のロボットと、前記生物および前記ロボットのポジションを認識するためのナビゲーションシステムとを含み、前記データ処理装置は、前記投影画像の前記ひずみの少なくとも部分的な補償にあたって前記ロボットおよび前記生物の位置が考慮されるようにして、前記画像を投影する前記装置を制御するように構成されている医療ワークステーション。
8. 前記ナビゲーションシステムは、前記ロボットに配置されたマーカと、前記生物または前記生物が載置された患者ベッドシートに配置されたマーカと、前記マーカを検出するための装置とを有する請求項７記載の医療ワークステーション。
9. 前記マーカを検出する前記装置は前記対象物の表面に投影された前記画像の画像を記録するためにも使用され、前記ロボットの前記データ処理装置は、前記マーカを検出する前記装置によって記録された前記対象物の表面に投影された前記画像の画像に対応する画像データセットを分析するように構成されている請求項８記載の医療ワークステーション。
10. 対象物の表面に画像を投影する方法であって、
    ロボットのロボットアームに組み込まれてもしくは前記ロボットアームに取り付けられて画像を投影する装置によって、特に生物である対象物の表面に画像を投影するステップと、
    前記生物の表面に投影された前記画像の画像を前記ロボットアームに取り付けたもしくは前記ロボットアームに組み込まれたカメラによって記録するステップであって、前記投影画像はバーチャル入力手段を表す、ステップであり、該記録するステップは、前記生物の表面に投影された前記画像に予測されるひずみを、前記生物および前記ロボットの位置に基づいてならびにあらかじめ前記生物について記録された画像データセットに基づいて算定するステップと、前記表面に投影された画像の予測される前記ひずみを、前記ロボットおよび前記生物の位置に基づいてならびに前記生物の前記画像データセットに基づいて少なくとも部分的に補償するステップと、をさらに有する、ステップと、
    前記カメラによって記録された画像に対応するさらなる別の画像データセットを人の動きについて分析して、前記バーチャル入力手段の操作を認識するステップと、
    を有する、方法。
11. 特にナビゲーションシステムによって前記ロボットおよび前記対象物の位置を算定するステップをさらに有する請求項１０記載の方法。
12. 前記生物の動きに起因して前記表面に投影された画像に予測される前記ひずみの少なくとも部分的な補償を実現することを含む請求項１１記載の方法。
13. 前記生物の動きに起因して前記表面投影画像に予測される前記ひずみの少なくとも部分的な補償を前記動きに応じた前記ロボットアームの連行によって実現することを含む請求項１２記載の方法。
14. 前記生物の前記画像データセットは画像生成医用技術装置によって記録されたものである請求項１０〜１３のいずれか一項記載の方法。
    

Images