JP7003985B2 - 医療用支持アームシステムおよび制御装置 - Google Patents

Description

本開示は、医療用支持アームシステムおよび制御装置に関する。

従来、例えば下記の特許文献１には、医療用観察装置において、術部の画像を撮影する撮像部と、前記撮像部が接続され、少なくとも６自由度で動作可能に回転軸が設けられる保持部と、を備え、前記回転軸のうち、少なくとも２軸は当該回転軸の状態に基づいて駆動が制御される能動軸であり、少なくとも１軸は接触を伴う外部からの直接的な操作に従って回転する受動軸である構成が記載されている。

国際公開第２０１６／０１７５３２号

ところで、人体内部に挿入される内視鏡において、観察対象物の前に障害物があったとしても、斜視鏡を用いることで、障害物に遮られることなく観察対象物の観察が可能となる。しかし、斜視鏡が用いられる場合にハンドアイコーディネイトが維持されることが求められる。

そこで、斜視鏡を支持するアームが用いられる場合にハンドアイコーディネイトが維持されるようにアームを制御する技術が提供されることが望まれる。

本開示によれば、術野内の観察対象物の像を取得するスコープを支持する多関節アームと、前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、を備える、医療用支持アームシステムが提供される。

以上説明したように本開示によれば、斜視鏡を支持するアームが用いられる場合にハンドアイコーディネイトが維持されるようにアームを制御することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の実施の形態に係る医療用支持アーム装置の構成例を示す斜視図である。 本開示の一実施形態に係る理想関節制御について説明するための説明図である。 本開示の一実施形態に係るロボットアーム制御システムの一構成例を示す機能ブロック図である。 本開示の一実施形態に係る斜視鏡の構成を示す模式図である。 斜視鏡と直視鏡を対比して示す模式図である。 斜視鏡を腹壁から人体内部に挿入して観察対象物を観察している様子を示す模式図である。 斜視鏡を腹壁から人体内部に挿入して観察対象物を観察している様子を示す模式図である。 斜視鏡の光軸を説明するための図である。 斜視鏡の動作を説明するための図である。 モデル化と制御について説明するための図である。 全身協調制御の拡張を６軸アームおよび斜視鏡ユニットに適用した場合における各リンク構成の例を示す図である。 全身協調制御の拡張を６軸アームおよび斜視鏡ユニットに適用した場合における各リンク構成の例を示す図である。 本実施形態に適用され得る斜視鏡の第１の例を示す図である。 本実施形態に適用され得る斜視鏡の第１の例を示す図である。 本実施形態に適用され得る斜視鏡の第２の例を示す図である。 本実施形態に適用され得る斜視鏡の第２の例を示す図である。 本実施形態に適用され得る斜視鏡の第３の例を示す図である。 本実施形態に適用され得る斜視鏡の第３の例を示す図である。 斜視角固定型の斜視鏡について説明するための図である。 斜視角固定型の斜視鏡のズーム操作を考慮した仮想回転リンクの更新について説明するための図である。 斜視角可変型の斜視鏡の回転操作を考慮した仮想回転リンクの更新について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．内視鏡システムの構成例
２．支持アーム装置の具体的構成例
３．斜視鏡の基本的構成
４．本実施形態に係る斜視鏡を支持するアームの制御
５．仮想リンクの設定
６．まとめ

＜＜１．内視鏡システムの構成例＞＞
図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

＜＜２．支持アーム装置の具体的構成例＞＞
次に、本開示の実施の形態に係る支持アーム装置の具体的構成例について詳細に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。また、本開示の実施の形態に係る支持アーム装置が医療分野に適用された場合、本開示の実施の形態に係る支持アーム装置は、医療用支持アーム装置として機能し得る。

＜２－１．支持アーム装置の外観＞
まず、図３を参照して、本実施形態に係る支持アーム装置４００の概略構成について説明する。図３は、本実施形態に係る支持アーム装置４００の外観を示す概略図である。

本実施形態に係る支持アーム装置４００は、ベース部４１０及びアーム部４２０を備える。ベース部４１０は支持アーム装置４００の基台であり、ベース部４１０からアーム部４２０が延伸される。また、図３には図示しないが、ベース部４１０内には、支持アーム装置４００を統合的に制御する制御部が設けられてもよく、アーム部４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵやＤＳＰ等の各種の信号処理回路によって構成される。

アーム部４２０は、複数の能動関節部４２１ａ～４２１ｆと、複数のリンク４２２ａ～４２２ｆと、アーム部４２０の先端に設けられた先端ユニットとしての内視鏡装置４２３とを有する。

リンク４２２ａ～４２２ｆは略棒状の部材である。リンク４２２ａの一端が能動関節部４２１ａを介してベース部４１０と連結され、リンク４２２ａの他端が能動関節部４２１ｂを介してリンク４２２ｂの一端と連結され、さらに、リンク４２２ｂの他端が能動関節部４２１ｃを介してリンク４２２ｃの一端と連結される。リンク４２２ｃの他端は受動スライド機構１００を介してリンク４２２ｄに連結され、さらに、リンク４２２ｄの他端は受動関節部２００を介してリンク４２２ｅの一端と連結される。リンク４２２ｅの他端は能動関節部４２１ｄ，４２１ｅを介してリンク４２２ｆの一端と連結される。内視鏡装置４２３は、アーム部４２０の先端、すなわち、リンク４２２ｆの他端に、能動関節部４２１ｆを介して連結される。このように、ベース部４１０を支点として、複数のリンク４２２ａ～４２２ｆの端同士が、能動関節部４２１ａ～４２１ｆ、受動スライド機構１００及び受動関節部２００によって互いに連結されることにより、ベース部４１０から延伸されるアーム形状が構成される。

かかるアーム部４２０のそれぞれの能動関節部４２１ａ～４２１ｆに設けられたアクチュエータが駆動制御されることにより、内視鏡装置４２３の位置及び姿勢が制御される。本実施形態において、内視鏡装置４２３は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部４２０の先端に設けられる先端ユニットは内視鏡装置４２３に限定されず、アーム部４２０の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置４００は、医療用器具を備えた医療用支持アーム装置として構成される。

ここで、以下では、図３に示すように座標軸を定義して支持アーム装置４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部４１０に対する上下方向をｚ軸方向及び上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部４１０からアーム部４２０が延伸されている方向（すなわち、ベース部４１０に対して内視鏡装置４２３が位置している方向）をｙ軸方向及び前後方向と定義する。さらに、ｙ軸及びｚ軸と互いに直交する方向をｘ軸方向及び左右方向と定義する。

能動関節部４２１ａ～４２１ｆはリンク同士を互いに回動可能に連結する。能動関節部４２１ａ～４２１ｆはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部４２１ａ～４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部４２０の駆動を制御することができる。ここで、能動関節部４２１ａ～４２１ｆは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部４２１ａ～４２１ｆは回転機構を有するため、以下の説明において、能動関節部４２１ａ～４２１ｆの駆動制御とは、具体的には、能動関節部４２１ａ～４２１ｆの回転角度及び／又は発生トルク（能動関節部４２１ａ～４２１ｆが発生させるトルク）が制御されることを意味する。

受動スライド機構１００は、受動形態変更機構の一態様であり、リンク４２２ｃとリンク４２２ｄとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構１００は、リンク４２２ｃとリンク４２２ｄとを互いに直動可能に連結してもよい。ただし、リンク４２２ｃとリンク４２２ｄとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構１００は、例えばユーザによって進退動の操作が行われ、リンク４２２ｃの一端側の能動関節部４２１ｃと受動関節部２００との間の距離を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。

受動関節部２００は、受動形態変更機構の一態様であり、リンク４２２ｄとリンク４２２ｅとを互いに回動可能に連結する。受動関節部２００は、例えばユーザによって回動の操作が行われ、リンク４２２ｄとリンク４２２ｅとの成す角度を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。

なお、本明細書において、「アーム部の姿勢」とは、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部４２１ａ～４２１ｆに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態をいう。また、「アーム部の形態」とは、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態をいう。

本実施形態に係る支持アーム装置４００は、６つの能動関節部４２１ａ～４２１ｆを有し、アーム部４２０の駆動に関して６自由度が実現されている。つまり、支持アーム装置４００の駆動制御は制御部による６つの能動関節部４２１ａ～４２１ｆの駆動制御により実現される一方、受動スライド機構１００及び受動関節部２００は、制御部による駆動制御の対象とはなっていない。

具体的には、図３に示すように、能動関節部４２１ａ，４２１ｄ，４２１ｆは、接続されている各リンク４２２ａ，４２２ｅの長軸方向及び接続されている内視鏡装置４２３の撮影方向を回転軸方向とするように設けられている。能動関節部４２１ｂ，４２１ｃ，４２１ｅは、接続されている各リンク４２２ａ～４２２ｃ，４２２ｅ，４２２ｆ及び内視鏡装置４２３の連結角度をｙ－ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部４２１ａ，４２１ｄ，４２１ｆは、いわゆるヨーイングを行う機能を有し、能動関節部４２１ｂ，４２１ｃ，４２１ｅは、いわゆるピッチングを行う機能を有する。

このようなアーム部４２０の構成を有することにより、本実施形態に係る支持アーム装置４００ではアーム部４２０の駆動に対して６自由度が実現されるため、アーム部４２０の可動範囲内において内視鏡装置４２３を自由に移動させることができる。図３では、内視鏡装置４２３の移動可能範囲の一例として半球を図示している。半球の中心点ＲＣＭ（遠隔運動中心）が内視鏡装置４２３によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置４２３の撮影中心を半球の中心点に固定した状態で、内視鏡装置４２３を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。

以上、本実施形態に係る支持アーム装置４００の概略構成について説明した。次に、本実施形態に係る支持アーム装置４００におけるアーム部４２０の駆動、すなわち、関節部４２１ａ～４２１ｆの駆動を制御するための全身協調制御及び理想関節制御について説明する。

＜２－２．一般化逆動力学について＞
次に、本実施形態における支持アーム装置４００の全身協調制御に用いられる一般化逆動力学の概要について説明する。

一般化逆動力学は、複数のリンクが複数の関節部によって連結されて構成される多リンク構造体（例えば本実施形態においては図２に示すアーム部４２０）において、各種の操作空間（Ｏｐｅｒａｔｉｏｎ Ｓｐａｃｅ）における様々な次元に関する運動目的を、各種の拘束条件を考慮しながら、複数の当該関節部に生じさせるトルクに変換する、多リンク構造体の全身協調制御における基本演算である。

操作空間は、ロボット装置の力制御における重要な概念である。操作空間は、多リンク構造体に作用する力と多リンク構造体の加速度との関係を記述するための空間である。多リンク構造体の駆動制御を位置制御ではなく力制御によって行う際に、多リンク構造体と環境との接し方を拘束条件として用いる場合に操作空間という概念が必要となる。操作空間は、例えば、多リンク構造体が属する空間である、関節空間、デカルト空間、運動量空間等である。

運動目的は、多リンク構造体の駆動制御における目標値を表すものであり、例えば、駆動制御によって達成したい多リンク構造体の位置、速度、加速度、力、インピーダンス等の目標値である。

拘束条件は、多リンク構造体の形状や構造、多リンク構造体の周囲の環境及びユーザによる設定等によって定められる、多リンク構造体の位置、速度、加速度、力等に関する拘束条件である。例えば、拘束条件には、発生力、優先度、非駆動関節の有無、垂直反力、摩擦錘、支持多角形等についての情報が含まれる。

一般化動力学においては、数値計算上の安定性と実時間処理可能な演算効率とを両立するため、その演算アルゴリズムは、第１段階である仮想力決定プロセス（仮想力算出処理）と、第２段階である実在力変換プロセス（実在力算出処理）によって構成される。第１段階である仮想力算出処理では、各運動目的の達成に必要な、操作空間に作用する仮想的な力である仮想力を、運動目的の優先度と仮想力の最大値を考慮しながら決定する。第２段階である実在力算出処理では、非駆動関節、垂直反力、摩擦錘、支持多角形等に関する拘束を考慮しながら、上記で得られた仮想力を関節力、外力等の実際の多リンク構造体の構成で実現可能な実在力に変換する。以下、仮想力算出処理及び実在力算出処理について詳しく説明する。なお、以下の仮想力算出処理、実在力算出処理及び後述する理想関節制御の説明においては、理解を簡単にするために、具体例として、図３に示した本実施形態に係る支持アーム装置４００のアーム部４２０の構成を例に挙げて説明を行う場合がある。

（２－２－１．仮想力算出処理）
多リンク構造体の各関節部におけるある物理量によって構成されるベクトルを一般化変数ｑと呼ぶ（関節値ｑ又は関節空間ｑとも呼称する。）。操作空間ｘは、一般化変数ｑの時間微分値とヤコビアンＪとを用いて、以下の数式（１）で定義される。

本実施形態では、例えば、ｑはアーム部４２０の関節部４２１ａ～４２１ｆにおける回転角度である。操作空間ｘに関する運動方程式は、下記数式（２）で記述される。

ここで、ｆは操作空間ｘに作用する力を表す。また、Λ^－１は操作空間慣性逆行列、ｃは操作空間バイアス加速度と呼ばれるものであり、それぞれ下記数式（３）、（４）で表される。

なお、Ｈは関節空間慣性行列、τは関節値ｑに対応する関節力（例えば関節部４２１ａ～４２１ｆおける発生トルク）、ｂは重力、コリオリ力、遠心力を表す項である。

一般化逆動力学においては、操作空間ｘに関する位置、速度の運動目的は、操作空間ｘの加速度として表現できることが知られている。このとき、上記数式（１）から、運動目的として与えられた目標値である操作空間加速度を実現するために、操作空間ｘに作用するべき仮想力ｆ_ｖは、下記数式（５）のような一種の線形相補性問題（ＬＣＰ：Ｌｉｎｅａｒ Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｐｒｏｂｌｅｍ）を解くことによって得られる。

ここで、Ｌ_ｉとＵ_ｉはそれぞれ、ｆ_ｖの第ｉ成分の負の下限値（－∞を含む）、ｆ_ｖの第ｉ成分の正の上限値（＋∞を含む）とする。上記ＬＣＰは、例えばＩｔｅｒａｔｉｖｅ法、Ｐｉｖｏｔ法、ロバスト加速度制御を応用する方法等を用いて解くことができる。

なお、操作空間慣性逆行列Λ^－１、バイアス加速度ｃは、定義式である上記数式（３）、（４）の通り算出すると計算コストが大きい。従って、多リンク構造体の一般化力（関節力τ）から一般化加速度（関節加速度）を得る準動力学計算（ＦＷＤ）を応用することにより、操作空間慣性逆行列Λ^－１の算出処理をより高速に算出する方法が提案されている。具体的には、操作空間慣性逆行列Λ^－１、バイアス加速度ｃは、順動力学演算ＦＷＤを用いることにより、関節空間ｑ、関節力τ、重力ｇ等の多リンク構造体（例えば、アーム部４２０及び関節部４２１ａ～４２１ｆ）に作用する力に関する情報から得ることができる。このように、操作空間に関する順動力学演算ＦＷＤを応用することにより、関節部の数Ｎに対してＯ（Ｎ）の計算量で操作空間慣性逆行列Λ^－１を算出することができる。

ここで、運動目的の設定例として、絶対値Ｆ_ｉ以下の仮想力ｆ_ｖｉで操作空間加速度の目標値（ｘの２階微分に上付きバーを付して表す）を達成するための条件は、下記数式（６）で表現できる。

また、上述したように、操作空間ｘの位置、速度に関する運動目的は、操作空間加速度の目標値として表すことができ、具体的には下記数式（７）で表現される（操作空間ｘの位置、速度の目標値を、ｘ、ｘの１階微分に上付きバーを付して表す）。

その他、分解操作空間の考え方を用いることにより、他の操作空間の線形和で表される操作空間（運動量、デカルト相対座標、連動関節等）に関する運動目的を設定することもできる。なお、競合する運動目的間には優先度を与える必要がある。優先度毎かつ低優先度から順に上記ＬＣＰを解き、前段のＬＣＰで得られた仮想力を次段のＬＣＰの既知外力として作用させることができる。

（２－２－２．実在力算出処理）
一般化逆動力学の第２段階である実在力算出処理では、上記（２－２－１．仮想力決定プロセス）で得られた仮想力ｆ_ｖを、実在の関節力と外力で置換する処理を行う。仮想力による一般化力τ_ｖ＝Ｊ_ｖ ^Ｔｆ_ｖを関節部に生じる発生トルクτ_ａと外力ｆ_ｅとで実現するための条件は、下記数式（８）で表現される。

ここで、添え字ａは駆動関節部の集合（駆動関節集合）を表し、添え字ｕは非駆動関節部の集合（非駆動関節集合）を表す。すなわち、上記数式（８）の上段は非駆動関節部による空間（非駆動関節空間）の力の釣り合いを表しており、下段は駆動関節部による空間（駆動関節空間）の力の釣合いを表している。Ｊ_ｖｕ、Ｊ_ｖａは、それぞれ、仮想力ｆ_ｖが作用する操作空間に関するヤコビアンの非駆動関節成分、駆動関節成分である。Ｊ_ｅｕ、Ｊ_ｅａは、外力ｆ_ｅが作用する操作空間に関するヤコビアンの非駆動関節成分、駆動関節成分である。Δｆ_ｖは仮想力ｆ_ｖのうち、実在力で実現不能な成分を表す。

上記数式（８）の上段は不定であり、例えば下記数式（９）に示すような２次計画問題（ＱＰ：Ｑｕａｄｒａｔｉｃ Ｐｒｏｇｒａｍｉｎｇ Ｐｒｏｂｌｅｍ）を解くことで、ｆ_ｅ及びΔｆ_ｖを得ることができる。

ここで、εは上記数式（８）の上段の両辺の差であり、数式（８）の等式誤差を表す。ξはｆ_ｅとΔｆ_ｖとの連結ベクトルであり、変数ベクトルを表す。Ｑ_１及びＱ_２は、最小化の際の重みを表す正定値対称行列である。また、上記数式（９）の不等式拘束は、垂直反力、摩擦錐、外力の最大値、支持多角形等、外力に関する拘束条件を表現するのに用いられる。例えば、矩形の支持多角形に関する不等式拘束は、下記数式（１０）のように表現される。

ここで、ｚは接触面の法線方向を表し、ｘ及びｙはｚに垂直な直交２接線方向を表す。（Ｆ_ｘ，Ｆ_ｙ，Ｆ_ｚ）及び（Ｍ_ｘ，Ｍ_ｙ，Ｍ_ｚ）は、接触点に作用する外力及び外力モーメントである。μ_ｔ及びμ_ｒは、それぞれ並進、回転に関する摩擦係数である。（ｄ_ｘ，ｄ_ｙ）は支持多角形のサイズを表している。

上記数式（９）、（１０）から、最小ノルム又は最小誤差の解ｆ_ｅ、Δｆ_ｖが求められる。上記数式（９）から得られたｆ_ｅ、Δｆ_ｖを上記数式（８）の下段に代入することにより、運動目的を実現するために必要な関節力τ_ａを得ることができる。

基底が固定され、非駆動関節が無い系の場合は、関節力のみで全ての仮想力を置換可能であり、上記数式（８）において、ｆ_ｅ＝０、Δｆ_ｖ＝０とすることができる。この場合、上記数式（８）の下段から、関節力τ_ａについて以下の数式（１１）を得ることができる。

以上、本実施形態に係る一般化逆動力学を用いた全身協調制御について説明した。上記のように、仮想力算出処理及び実在力算出処理を順に行うことにより、所望の運動目的を達成するための関節力τ_ａを得ることができる。すなわち、逆に言えば、算出された関節力τ_ａを関節部４２１ａ～４２１ｆの運動における理論モデルに反映することにより、関節部４２１ａ～４２１ｆが、所望の運動目的を達成するように駆動される。

なお、ここまで説明した一般化逆動力学を用いた全身協調制御について、特に、仮想力ｆ_ｖの導出過程や、上記ＬＣＰを解き仮想力ｆ_ｖを求める方法、ＱＰ問題の解法等の詳細については、例えば、本願出願人による先行特許出願である特開２００９－９５９５９号公報や特開２０１０－１８８４７１号公報を参照することができる。

＜２－３．理想関節制御について＞
次に、本実施形態に係る理想関節制御について説明する。各関節部４２１ａ～４２１ｆの運動は、下記数式（１２）の二次遅れ系の運動方程式によってモデル化される。

ここで、Ｉ_ａは関節部における慣性モーメント（イナーシャ）、τ_ａは関節部４２１ａ～４２１ｆの発生トルク、τ_ｅは外部から各関節部４２１ａ～４２１ｆに作用する外トルク、ν_ｅは各関節部４２１ａ～４２１ｆにおける粘性抵抗係数である。上記数式（１２）は、関節部４２１ａ～４２１ｆにおけるアクチュエータの運動を表す理論モデルとも言える。

上記＜２－２．一般化逆動力学について＞で説明したように、一般化逆動力学を用いた演算により、運動目的及び拘束条件を用いて、当該運動目的を実現するために各関節部４２１ａ～４２１ｆに作用させるべき実在力であるτ_ａを算出することができる。従って、理想的には、算出された各τ_ａを上記数式（１２）に適用することにより、上記数式（１２）に示す理論モデルに従った応答が実現する、すなわち、所望の運動目的が達成されるはずである。

しかし、実際には、様々な外乱の影響により、関節部４２１ａ～４２１ｆの運動と上記数式（１２）に示すような理論モデルとの間には誤差（モデル化誤差）が生じる場合がある。モデル化誤差は、多リンク構造体の重量、重心、慣性テンソル等のマスプロパティに起因するものと、における関節部４２１ａ～４２１ｆ内部における摩擦や慣性等に起因するものとに大別することができる。このうち、前者のマスプロパティに起因するモデル化誤差は、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データの高精度化や同定手法の適用によって、理論モデル構築時に比較的容易に低減することが可能である。

一方、後者の関節部４２１ａ～４２１ｆ内部の摩擦や慣性等に起因するモデル化誤差は、例えば関節部４２１ａ～４２１ｆの減速機４２６における摩擦等、モデル化が困難な現象に起因しており、理論モデル構築時に無視できないモデル化誤差が残留し得る。また、上記数式（１２）におけるイナーシャＩ_ａや粘性抵抗係数ν_ｅの値と、実際の関節部４２１ａ～４２１ｆにおけるこれらの値との間に誤差が生じている可能性がある。これらのモデル化が困難な誤差は、関節部４２１ａ～４２１ｆの駆動制御において外乱となり得る。従って、このような外乱の影響により、実際には、関節部４２１ａ～４２１ｆの運動は、上記数式（１２）に示す理論モデル通りには応答しない場合がある。よって、一般化逆動力学によって算出された関節力である実在力τ_ａを適用しても、制御目標である運動目的が達成されない場合が生じる。本実施形態では、各関節部４２１ａ～４２１ｆにアクティブな制御系を付加することで、上記数式（１２）に示す理論モデルに従った理想応答を行うよう、関節部４２１ａ～４２１ｆの応答を補正することを考える。具体的には、本実施形態では、関節部４２１ａ～４２１ｆのトルクセンサ４２８、４２８ａを用いた摩擦補償型のトルク制御を行うに留まらず、要求される発生トルクτ_ａ、外トルクτ_ｅに対して、イナーシャＩ_ａ及び粘性抵抗係数ν_ａに至るまで理論値に従った理想応答を行うことが可能となる。

本実施形態では、このように、支持アーム装置４００の関節部４２１ａ～４２１ｆが上記数式（１２）に示すような理想的な応答を行うように関節部の駆動を制御することを、理想関節制御と呼称する。ここで、以下の説明では、当該理想関節制御によって駆動が制御されるアクチュエータのことを、理想的な応答が行われることから仮想アクチュエータ（ＶＡ：Ｖｉｒｔｕａｌｉｚｅｄ Ａｃｔｕａｔｏｒ）とも呼称する。以下、図４を参照して、本実施形態に係る理想関節制御について説明する。

図４は、本開示の一実施形態に係る理想関節制御について説明するための説明図である。なお、図４では、理想関節制御に係る各種の演算を行う概念上の演算器をブロックで模式的に図示している。

ここで、アクチュエータ６１０が上記数式（１２）で表される理論モデルに従った応答を行なうことは、上記数式（１２）の右辺が与えられたときに、左辺の回転角加速度が達成されることに他ならない。また、上記数式（１２）に示すように、理論モデルには、アクチュエータ６１０に作用する外トルク項τ_ｅが含まれている。本実施形態では、理想関節制御を行うために、トルクセンサ６１４によって外トルクτ_ｅを測定する。また、エンコーダ６１３によって測定されたアクチュエータ６１０の回転角度ｑに基づいて外乱に起因するトルクの推定値である外乱推定値τ_ｄを算出するために、外乱オブザーバ６２０を適用する。

ブロック６３１は、上記数式（１２）に示す関節部４２１ａ～４２１ｆの理想的な関節モデル（Ｉｄｅａｌ Ｊｏｉｎｔ Ｍｏｄｅｌ）に従った演算を行う演算器を表している。ブロック６３１は、発生トルクτ_ａ、外トルクτ_ｅ、回転角速度（回転角度ｑの１階微分）を入力として、上記数式（１２）の左辺に示す回転角加速度目標値（回転角目標値ｑ^ｒｅｆの２階微分）を出力することができる。

本実施形態では、上記＜２－２．一般化逆動力学について＞で説明した方法によって算出された発生トルクτ_ａと、トルクセンサ６１４によって測定された外トルクτ_ｅが、ブロック６３１に入力される。一方、微分演算を行う演算器を表すブロック６３２に、エンコーダ６１３によって測定された回転角度ｑが入力されることにより、回転角速度（回転角度ｑの１階微分）が算出される。上記発生トルクτ_ａ及び外トルクτ_ｅに加えて、ブロック６３２によって算出された回転角速度がブロック６３１に入力されることにより、ブロック６３１によって回転角加速度目標値が算出される。算出された回転角加速度目標値は、ブロック６３３に入力される。

ブロック６３３は、アクチュエータ６１０の回転角加速度に基づいてアクチュエータ６１０に生じるトルクを算出する演算器を表す。本実施形態においては、具体的には、ブロック６３３は、回転角加速度目標値にアクチュエータ６１０における公称イナーシャ（ノミナルイナーシャ）Ｊ_ｎを乗じることにより、トルク目標値τ^ｒｅｆを得ることができる。理想の応答においては、アクチュエータ６１０に当該トルク目標値τ^ｒｅｆを生じさせることにより、所望の運動目的が達成されるはずであるが、上述したように、実際の応答には外乱等の影響が生じる場合がある。従って、本実施形態においては、外乱オブザーバ６２０によって外乱推定値τ_ｄを算出し、外乱推定値τ_ｄを用いて当該トルク目標値τ^ｒｅｆを補正する。

外乱オブザーバ６２０の構成について説明する。図４に示すように、外乱オブザーバ６２０は、トルク指令値τと、エンコーダ６１３によって測定された回転角度ｑから算出される回転角速度に基づいて、外乱推定値τ_ｄを算出する。ここで、トルク指令値τは、外乱の影響が補正された後の、最終的にアクチュエータ６１０に生じさせるトルク値である。例えば、外乱推定値τ_ｄが算出されていない場合には、トルク指令値τはトルク目標値τ^ｒｅｆとなる。

外乱オブザーバ６２０は、ブロック６３４とブロック６３５とから構成される。ブロック６３４は、アクチュエータ６１０の回転角速度に基づいてアクチュエータ６１０に生じるトルクを算出する演算器を表す。本実施形態においては、具体的には、エンコーダ６１３によって測定された回転角度ｑから、ブロック６３２によって算出された回転角速度がブロック６３４に入力される。ブロック６３４は、伝達関数Ｊ_ｎｓによって表される演算を行うことにより、すなわち、当該回転角速度を微分することにより回転角加速度を求め、更に算出された回転角加速度にノミナルイナーシャＪ_ｎを乗じることにより、実際にアクチュエータ６１０に作用しているトルクの推定値（トルク推定値）を算出することができる。

外乱オブザーバ６２０内では、当該トルク推定値とトルク指令値τとの差分が取られることにより、外乱によるトルクの値である外乱推定値τ_ｄが推定される。具体的には、外乱推定値τ_ｄは、前周の制御におけるトルク指令値τと、今回の制御におけるトルク推定値との差分であってよい。ブロック６３４によって算出されるトルク推定値は実際の測定値に基づくものであり、ブロック６３３によって算出されたトルク指令値τはブロック６３１に示す関節部４２１ａ～４２１ｆの理想的な理論モデルに基づくものであるため、両者の差分を取ることによって、上記理論モデルでは考慮されていない外乱の影響を推定することができるのである。

また、外乱オブザーバ６２０には、系の発散を防ぐために、ブロック６３５に示すローパスフィルター（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）が設けられる。ブロック６３５は、伝達関数ｇ／（ｓ＋ｇ）で表される演算を行うことにより、入力された値に対して低周波成分のみを出力し、系を安定化させる。本実施形態では、ブロック６３４によって算出されたトルク推定値とトルク指令値τ^ｒｅｆとの差分値は、ブロック６３５に入力され、その低周波成分が外乱推定値τ_ｄとして算出される。

本実施形態では、トルク目標値τ^ｒｅｆに外乱オブザーバ６２０によって算出された外乱推定値τ_ｄを加算するフィードフォワード制御が行われることにより、最終的にアクチュエータ６１０に生じさせるトルク値であるトルク指令値τが算出される。そして、トルク指令値τに基づいてアクチュエータ６１０が駆動される。具体的には、トルク指令値τが対応する電流値（電流指令値）に変換され、当該電流指令値がモータ６１１に印加されることにより、アクチュエータ６１０が駆動される。

以上、図４を参照して説明した構成を取ることにより、本実施形態に係る関節部４２１ａ～４２１ｆの駆動制御においては、摩擦等の外乱成分があった場合であっても、アクチュエータ６１０の応答を目標値に追従させることが可能となる。また、関節部４２１ａ～４２１ｆの駆動制御について、理論モデルが仮定するイナーシャＩ_ａ及び粘性抵抗係数ν_ａに従った理想応答を行うことが可能となる。

なお、以上説明した理想関節制御の詳細については、例えば、本願出願人による先行特許出願である特開２００９－２６９１０２号公報を参照することができる。

以上、本実施形態において用いられる一般化逆動力学について説明するとともに、図４を参照して本実施形態に係る理想関節制御について説明した。以上説明したように、本実施形態においては、一般化逆動力学を用いることにより、アーム部４２０の運動目的を達成するための各関節部４２１ａ～４２１ｆの駆動パラメータ（例えば関節部４２１ａ～４２１ｆの発生トルク値）を、拘束条件を考慮して算出する、全身協調制御が行われる。また、図４を参照して説明したように、本実施形態においては、上記一般化逆動力学を用いた全身協調制御により算出された発生トルク値に対して外乱の影響を考慮した補正を行うことにより、関節部４２１ａ～４２１ｆの駆動制御において理論モデルに基づいた理想的な応答を実現する、理想関節制御が行われる。従って、本実施形態においては、アーム部４２０の駆動について、運動目的を達成する高精度な駆動制御が可能となる。

＜２－４．ロボットアーム制御システムの構成＞
次に、上記＜２－２．一般化逆動力学について＞及び上記＜２－３．理想関節制御について＞で説明した全身協調制御や理想関節制御がロボットアーム装置の駆動制御に適用された、本実施形態に係るロボットアーム制御システムの構成について説明する。

図５を参照して、本開示の一実施形態に係るロボットアーム制御システムの一構成例について説明する。図５は、本開示の一実施形態に係るロボットアーム制御システムの一構成例を示す機能ブロック図である。なお、図５に示すロボットアーム制御システムでは、ロボットアーム装置のアーム部の駆動の制御に関わる構成について主に図示している。

図５を参照すると、本開示の一実施形態に係るロボットアーム制御システム１は、ロボットアーム装置１０、制御装置２０及び表示装置３０を備える。本実施形態においては、制御装置２０によって、上記＜２－２．一般化逆動力学について＞で説明した全身協調制御及び上記＜２－３．理想関節制御について＞で説明した理想関節制御における各種の演算が行われ、その演算結果に基づいてロボットアーム装置１０のアーム部の駆動が制御される。また、ロボットアーム装置１０のアーム部には後述する撮像部１４０が設けられており、撮像部１４０によって撮影された画像が表示装置３０の表示画面に表示される。以下、ロボットアーム装置１０、制御装置２０及び表示装置３０の構成について詳細に説明する。

ロボットアーム装置１０は、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部を有し、当該アーム部を可動範囲内で駆動させることにより、当該アーム部の先端に設けられる先端ユニットの位置及び姿勢の制御を行う。ロボットアーム装置１０は、図３に示す支持アーム装置４００に対応している。

図５を参照すると、ロボットアーム装置１０は、アーム制御部１１０及びアーム部１２０を有する。また、アーム部１２０は、関節部１３０及び撮像部１４０を有する。

アーム制御部１１０は、ロボットアーム装置１０を統合的に制御するとともに、アーム部１２０の駆動を制御する。アーム制御部１１０は、図３を参照して説明した制御部（図３には図示せず。）に対応している。具体的には、アーム制御部１１０は駆動制御部１１１を有し、駆動制御部１１１からの制御によって関節部１３０の駆動が制御されることにより、アーム部１２０の駆動が制御される。より具体的には、駆動制御部１１１は、関節部１３０のアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部１３０における回転角度及び発生トルクを制御する。ただし、上述したように、駆動制御部１１１によるアーム部１２０の駆動制御は、制御装置２０における演算結果に基づいて行われる。従って、駆動制御部１１１によって制御される、関節部１３０のアクチュエータにおけるモータに対して供給される電流量は、制御装置２０における演算結果に基づいて決定される電流量である。

アーム部１２０は、複数の関節部と複数のリンクから構成される多リンク構造体であり、アーム制御部１１０からの制御によりその駆動が制御される。アーム部１２０は、図３に示すアーム部４２０に対応している。アーム部１２０は、関節部１３０及び撮像部１４０を有する。なお、アーム部１２０が有する複数の関節部の機能及び構成は互いに同様であるため、図５では、それら複数の関節部を代表して１つの関節部１３０の構成を図示している。

関節部１３０は、アーム部１２０においてリンク間を互いに回動可能に連結するとともに、アーム制御部１１０からの制御によりその回転駆動が制御されることによりアーム部１２０を駆動する。関節部１３０は、図３に示す関節部４２１ａ～４２１ｆに対応している。また、関節部１３０は、アクチュエータを有する。

関節部１３０は、関節駆動部１３１及び関節状態検出部１３２を有する。

関節駆動部１３１は、関節部１３０のアクチュエータにおける駆動機構であり、関節駆動部１３１が駆動することにより関節部１３０が回転駆動する。関節駆動部１３１は、駆動制御部１１１によってその駆動が制御される。例えば、関節駆動部１３１は、モータ及びモータドライバに対応する構成であり、関節駆動部１３１が駆動することは、モータドライバが駆動制御部１１１からの指令に応じた電流量でモータを駆動することに対応している。

関節状態検出部１３２は、関節部１３０の状態を検出する。ここで、関節部１３０の状態とは、関節部１３０の運動の状態を意味していてよい。例えば、関節部１３０の状態には、関節部１３０の回転角度、回転角速度、回転角加速度、発生トルク等の情報が含まれる。本実施形態においては、関節状態検出部１３２は、関節部１３０の回転角度を検出する回転角度検出部１３３及び関節部１３０の発生トルク及び外トルクを検出するトルク検出部１３４を有する。なお、回転角度検出部１３３及びトルク検出部１３４は、アクチュエータのエンコーダ及びトルクセンサに、それぞれ対応している。関節状態検出部１３２は、検出した関節部１３０の状態を制御装置２０に送信する。

撮像部１４０は、アーム部１２０の先端に設けられる先端ユニットの一例であり、撮影対象の画像を取得する。撮像部１４０は、図３に示す撮像ユニット４２３に対応している。具体的には、撮像部１４０は、撮影対象を動画や静止画の形式で撮影することのできるカメラ等である。より具体的には、撮像部１４０は、２次元上に配列された複数の受光素子を有し、当該受光素子における光電変換により、撮影対象の画像を表す画像信号を取得することができる。撮像部１４０は、取得した画像信号を表示装置３０に送信する。

なお、図３に示す支持アーム装置４００において撮像ユニット４２３がアーム部４２０の先端に設けられていたように、ロボットアーム装置１０においても、実際には撮像部１４０がアーム部１２０の先端に設けられている。図５では、撮像部１４０が複数の関節部１３０及び複数のリンクを介して最終段のリンクの先端に設けられる様子を、関節部１３０と撮像部１４０との間にリンクを模式的に図示することにより表現している。

なお、本実施形態においては、アーム部１２０の先端には先端ユニットとして各種の医療用器具が接続され得る。当該医療用器具としては、例えば、メスや鉗子等の各種の施術器具や、超音波検査装置の探触子等の各種の検査装置の一ユニット等、施術に際して用いられる各種のユニットが挙げられる。また、本実施形態では、図５に示す撮像部１４０や、内視鏡、顕微鏡等の撮像機能を有するユニットも医療用器具に含まれてよい。このように、本実施形態に係るロボットアーム装置１０は、医療用器具を備えた医療用ロボットアーム装置であると言える。同様に、本実施形態に係るロボットアーム制御システム１は、医療用ロボットアーム制御システムであると言える。なお、図５に示すロボットアーム装置１０は、撮像機能を有するユニットを先端ユニットとして備えるＶＭロボットアーム装置であるとも言える。また、アーム部１２０の先端に、２つの撮像ユニット（カメラユニット）を有するステレオカメラが設けられ、撮像対象を３Ｄ画像として表示するように撮影が行われてもよい。

以上、ロボットアーム装置１０の機能及び構成について説明した。次に、制御装置２０の機能及び構成について説明する。図５を参照すると、制御装置２０は、入力部２１０、記憶部２２０及び制御部２３０を有する。

制御部２３０は、制御装置２０を統合的に制御するとともに、ロボットアーム装置１０におけるアーム部１２０の駆動を制御するための各種の演算を行う。具体的には、制御部２３０は、ロボットアーム装置１０のアーム部１２０の駆動を制御するために、全身協調制御及び理想関節制御における各種の演算を行う。以下、制御部２３０の機能及び構成について詳しく説明するが、全身協調制御及び理想関節制御については、上記＜２－２．一般化逆動力学について＞及び上記＜２－３．理想関節制御について＞で既に説明しているため、ここでは詳しい説明は省略する。

制御部２３０は、全身協調制御部２４０及び理想関節制御部２５０を有する。

全身協調制御部２４０は、一般化逆動力学を用いた全身協調制御に関する各種の演算を行う。本実施形態では、全身協調制御部２４０は、関節状態検出部１３２によって検出された関節部１３０の状態に基づいてアーム部１２０の状態（アーム状態）を取得する。また、全身協調制御部２４０は、当該アーム状態と、アーム部１２０の運動目的及び拘束条件と、に基づいて、操作空間におけるアーム部１２０の全身協調制御のための制御値を、一般化逆動力学を用いて算出する。なお、操作空間とは、例えばアーム部１２０に作用する力とアーム部１２０に発生する加速度との関係を記述するための空間である。

全身協調制御部２４０は、アーム状態取得部２４１、演算条件設定部２４２、仮想力算出部２４３及び実在力算出部２４４を有する。

アーム状態取得部２４１は、関節状態検出部１３２によって検出された関節部１３０の状態に基づいて、アーム部１２０の状態（アーム状態）を取得する。ここで、アーム状態とは、アーム部１２０の運動の状態を意味していてよい。例えば、アーム状態には、アーム部１２０の位置、速度、加速度、力等の情報が含まれる。上述したように、関節状態検出部１３２は、関節部１３０の状態として、各関節部１３０における回転角度、回転角速度、回転角加速度、発生トルク等の情報を取得している。また、後述するが、記憶部２２０は、制御装置２０によって処理される各種の情報を記憶するものであり、本実施形態においては、記憶部２２０には、アーム部１２０に関する各種の情報（アーム情報）、例えばアーム部１２０を構成する関節部１３０及びリンクの数や、リンクと関節部１３０との接続状況、リンクの長さ等の情報が格納されていてよい。アーム状態取得部２４１は、記憶部２２０から当該アーム情報を取得することができる。従って、アーム状態取得部２４１は、関節部１３０の状態とアーム情報とに基づいて、複数の関節部１３０、複数のリンク及び撮像部１４０の空間上の位置（座標）（すなわち、アーム部１２０の形状や撮像部１４０の位置及び姿勢）や、各関節部１３０、リンク及び撮像部１４０に作用している力等の情報をアーム状態として取得することができる。アーム状態取得部２４１は、取得したアーム情報を演算条件設定部２４２に送信する。

演算条件設定部２４２は、一般化逆動力学を用いた全身協調制御に関する演算における演算条件を設定する。ここで、演算条件とは、運動目的及び拘束条件であってよい。運動目的は、アーム部１２０の運動に関する各種の情報であってよい。具体的には、運動目的は、撮像部１４０の位置及び姿勢（座標）、速度、加速度並びに力等の目標値であったり、アーム部１２０の複数の関節部１３０及び複数のリンクの位置（座標）、速度、加速度及び力等の目標値であったりしてもよい。また、拘束条件は、アーム部１２０の運動を制限（拘束）する各種の情報であってよい。具体的には、拘束条件は、アーム部の各構成部材が移動不可能な領域の座標や、移動不可能な速度、加速度の値、発生不可能な力の値等であってよい。また、拘束条件における各種の物理量の制限範囲は、アーム部１２０の構造的に実現することが不可能であることから設定されてもよいし、ユーザによって適宜設定されてもよい。また、演算条件設定部２４２は、アーム部１２０の構造についての物理モデル（例えば、アーム部１２０を構成するリンクの数や長さ、リンクの関節部１３０を介した接続状況、関節部１３０の可動範囲等がモデル化されたもの）を有し、当該物理モデルに、所望の運動条件及び拘束条件が反映された制御モデルを生成することにより、運動条件及び拘束条件を設定してもよい。

本実施形態においては、運動目的及び拘束条件を適切に設定することにより、アーム部１２０に所望の動作を行わせることが可能となる。例えば、運動目的として、撮像部１４０の位置の目標値を設定することにより撮像部１４０をその目標の位置に移動させることはもちろんのこと、アーム部１２０が空間上の所定の領域内に侵入しないようにする等、拘束条件によって移動の制約を設けてアーム部１２０を駆動させることも可能である。

運動目的の具体例として、例えば、運動目的は、撮像部１４０の撮影方向が施術部位に固定された状態で、撮像部１４０が施術部位を頂点とした円錐の面内を移動する、当該円錐の軸を旋回軸とした旋回動作である、ピボット動作であってもよい。また、当該ピボット動作においては、撮像部１４０と円錐の頂点に当たる点との距離が一定に保たれた状態で旋回動作が行われてもよい。このようなピボット動作を行うことにより、観察部位を等距離からかつ異なる角度から観察できるようになるため、手術を行うユーザの利便性を向上させることができる。

また、他の具体例として、運動目的は、各関節部１３０における発生トルクを制御する内容であってもよい。具体的には、運動目的は、アーム部１２０に作用する重力を打ち消すように関節部１３０の状態を制御するとともに、更に外部から与えられた力の方向へのアーム部１２０の移動をサポートするように関節部１３０の状態を制御するパワーアシスト動作であってもよい。より具体的には、パワーアシスト動作においては、アーム部１２０の各関節部１３０における重力による外トルクを打ち消す発生トルクを各関節部１３０に生じさせるように各関節部１３０の駆動が制御されることにより、アーム部１２０の位置及び姿勢が所定の状態で保持される。この状態で更に外部から（例えばユーザから）外トルクが加えられた場合に、与えられた外トルクと同じ方向の発生トルクを各関節部１３０に生じさせるように各関節部１３０の駆動が制御される。このようなパワーアシスト動作を行うことにより、ユーザが手動でアーム部１２０を動かす場合に、ユーザはより小さい力でアーム部１２０を移動させることができるため、あたかも無重力下でアーム部１２０を動かしているような感覚をユーザに対して与えることができる。また、上述したピボット動作と当該パワーアシスト動作とを組み合わせることも可能である。

ここで、本実施形態において、運動目的とは、全身協調制御において実現されるアーム部１２０の動作（運動）を意味していてもよいし、当該動作における瞬時的な運動目的（すなわち、運動目的における目標値）を意味していてもよい。例えば上記のピボット動作であれば、撮像部１４０がピボット動作を行うこと自体が運動目的であるが、ピボット動作を行っている最中においては、当該ピボット動作における円錐面内での撮像部１４０の位置や速度等の値が、瞬時的な運動目的（当該運動目的における目標値）として設定されている。また例えば上記のパワーアシスト動作であれば、外部から加えられた力の方向へのアーム部１２０の移動をサポートするパワーアシスト動作を行うこと自体が運動目的であるが、パワーアシスト動作を行っている最中においては、各関節部１３０に加えられる外トルクと同じ方向への発生トルクの値が、瞬時的な運動目的（当該運動目的における目標値）として設定されている。本実施形態における運動目的は、瞬時的な運動目的（例えばある時間におけるアーム部１２０の各構成部材の位置や速度、力等の目標値）と、瞬時的な運動目的が連続的に達成された結果、経時的に実現されるアーム部１２０の各構成部材の動作の、双方を含む概念である。全身協調制御部２４０における全身協調制御のための演算における各ステップでは瞬時的な運動目的がその都度設定され、当該演算が繰り返し行われることにより、最終的に所望の運動目的が達成される。

なお、本実施形態においては、運動目的が設定される際に、各関節部１３０の回転運動における粘性抵抗係数も適宜設定されてよい。上述したように、本実施形態に係る関節部１３０は、アクチュエータの回転運動における粘性抵抗係数を適宜調整できるように構成される。従って、運動目的の設定に際して各関節部１３０の回転運動における粘性抵抗係数も設定することにより、例えば外部から加えられる力に対して回転しやすい状態や回転し難い状態を実現することができる。例えば上述したパワーアシスト動作であれば、関節部１３０における粘性抵抗係数が小さく設定されることにより、ユーザがアーム部１２０を移動させる際に要する力がより小さくてよく、ユーザに与えられる無重力感がより助長される。このように、各関節部１３０の回転運動における粘性抵抗係数は、運動目的の内容に応じて適宜設定されてよい。

ここで、本実施形態においては、後述するように、記憶部２２０には、全身協調制御に関する演算において用いられる運動目的や拘束条件等の演算条件に関するパラメータが格納されていてもよい。演算条件設定部２４２は、記憶部２２０に記憶されている拘束条件を、全身協調制御の演算に用いる拘束条件として設定することができる。

また、本実施形態においては、演算条件設定部２４２は、複数の方法によって運動目的を設定することができる。例えば、演算条件設定部２４２は、アーム状態取得部２４１から送信されるアーム状態に基づいて運動目的を設定してもよい。上述したように、アーム状態には、アーム部１２０の位置の情報やアーム部１２０に対して作用する力の情報が含まれる。従って、例えばユーザがアーム部１２０を手動で移動させようとしている場合には、アーム状態取得部２４１によって、ユーザがアーム部１２０をどのように移動させようとしているか、に関する情報もアーム状態として取得される。従って、演算条件設定部２４２は、取得されたアーム状態に基づいて、ユーザがアーム部１２０を移動させた位置や速度、力等を瞬時的な運動目的として設定することができる。このように運動目的が設定されることにより、アーム部１２０の駆動は、ユーザによるアーム部１２０の移動を追随し、サポートするように制御される。

また、例えば、演算条件設定部２４２は、入力部２１０からユーザによって入力される指示に基づいて運動目的を設定してもよい。後述するが、入力部２１０は、ユーザが制御装置２０にロボットアーム装置１０の駆動制御に関する情報や命令等を入力するための入力インターフェースであり、本実施形態においては、ユーザによる入力部２１０からの操作入力に基づいて、運動目的が設定されてもよい。具体的には、入力部２１０は、例えばレバー、ペダル等のユーザが操作する操作手段を有し、当該レバー、ペダル等の操作に応じて、アーム部１２０の各構成部材の位置や速度等が、演算条件設定部２４２によって瞬時的な運動目的として設定されてもよい。

更に、例えば、演算条件設定部２４２は、記憶部２２０に記憶されている運動目的を、全身協調制御の演算に用いる運動目的として設定してもよい。例えば、空間上の所定の点で撮像部１４０が静止するという運動目的であれば、当該所定の点の座標を運動目的として予め設定することができる。また、例えば、撮像部１４０が空間上において所定の軌跡上を移動するという運動目的であれば、当該所定の軌跡を表す各点の座標を運動目的として予め設定することができる。このように、運動目的が予め設定できるものである場合には、当該運動目的が予め記憶部２２０に記憶されていてもよい。また、例えば上述したピボット動作であれば、運動目的は円錐の面内における位置や速度等を目標値とするものに限られるし、パワーアシスト動作であれば、運動目的は力を目標値とするものに限られる。このように、ピボット動作やパワーアシスト動作のような運動目的が予め設定されている場合には、これらの運動目的における瞬時的な運動目的として設定され得る目標値の範囲や種類等に関する情報が、記憶部２２０に記憶されていてもよい。演算条件設定部２４２は、このような運動目的に関する各種の情報も含めて、運動目的として設定することができる。

なお、演算条件設定部２４２が、上記のいずれの方法で運動目的を設定するかは、ロボットアーム装置１０の用途等に応じてユーザによって適宜設定可能であってよい。また、演算条件設定部２４２は、また、上記の各方法を適宜組み合わせることにより、運動目的及び拘束条件を設定してもよい。なお、記憶部２２０に格納されている拘束条件の中に運動目的の優先度が設定されていてもよく、複数の互いに異なる運動目的が存在する場合には、演算条件設定部２４２は、当該拘束条件の優先度に応じて運動目的を設定してもよい。演算条件設定部２４２は、アーム状態並びに設定した運動目的及び拘束条件を仮想力算出部２４３に送信する。

仮想力算出部２４３は、一般化逆動力学を用いた全身協調制御に関する演算における仮想力を算出する。仮想力算出部２４３が行う仮想力の算出処理は、例えば、上記＜２－２－１．仮想力算出処理＞で説明した一連の処理であってよい。仮想力算出部２４３は、算出した仮想力ｆ_ｖを実在力算出部２４４に送信する。

実在力算出部２４４は、一般化逆動力学を用いた全身協調制御に関する演算における実在力を算出する。実在力算出部２４４が行う実在力の算出処理は、例えば、上記＜２－２－２．実在力算出処理＞で説明した一連の処理であってよい。実在力算出部２４４は、算出した実在力（発生トルク）τ_ａを理想関節制御部２５０に送信する。なお、本実施形態においては、実在力算出部２４４によって算出された発生トルクτ_ａのことを、全身協調制御における関節部１３０の制御値という意味で、制御値又は制御トルク値とも呼称する。

理想関節制御部２５０は、一般化逆動力学を用いた理想関節制御に関する各種の演算を行う。本実施形態では、理想関節制御部２５０は、実在力算出部２４４によって算出された発生トルクτ_ａに対して外乱の影響を補正することにより、アーム部１２０の理想的な応答を実現するトルク指令値τを算出する。なお、理想関節制御部２５０によって行われる演算処理は、上記＜２－３．理想関節制御について＞で説明した一連の処理に対応している。

理想関節制御部２５０は、外乱推定部２５１及び指令値算出部２５２を有する。

外乱推定部２５１は、トルク指令値τと、回転角度検出部１３３によって検出された回転角度ｑから算出される回転角速度に基づいて、外乱推定値τ_ｄを算出する。なお、ここでいうトルク指令値τは、最終的にロボットアーム装置１０に送信されるアーム部１２０での発生トルクを表す指令値である。このように、外乱推定部２５１は、図４に示す外乱オブザーバ６２０に対応する機能を有する。

指令値算出部２５２は、外乱推定部２５１によって算出された外乱推定値τ_ｄを用いて、最終的にロボットアーム装置１０に送信されるアーム部１２０に生じさせるトルクを表す指令値であるトルク指令値τを算出する。具体的には、指令値算出部２５２は、上記数式（１２）に示す関節部１３０の理想モデルから算出されるτ^ｒｅｆに外乱推定部２５１によって算出された外乱推定値τ_ｄを加算することにより、トルク指令値τを算出する。例えば、外乱推定値τ_ｄが算出されていない場合には、トルク指令値τはトルク目標値τ^ｒｅｆとなる。このように、指令値算出部２５２の機能は、図４に示す外乱オブザーバ６２０以外の機能に対応している。

以上説明したように、理想関節制御部２５０においては、外乱推定部２５１と指令値算出部２５２との間で繰り返し情報のやり取りが行われることにより、図４を参照して説明した一連の処理が行われる。理想関節制御部２５０は算出したトルク指令値τをロボットアーム装置１０の駆動制御部１１１に送信する。駆動制御部１１１は、送信されたトルク指令値τに対応する電流量を、関節部１３０のアクチュエータにおけるモータに対して供給する制御を行うことにより、当該モータの回転数を制御し、関節部１３０における回転角度及び発生トルクを制御する。

本実施形態に係るロボットアーム制御システム１においては、ロボットアーム装置１０におけるアーム部１２０の駆動制御は、アーム部１２０を用いた作業が行われている間継続的に行われるため、ロボットアーム装置１０及び制御装置２０における以上説明した処理が繰り返し行われる。すなわち、ロボットアーム装置１０の関節状態検出部１３２によって関節部１３０の状態が検出され、制御装置２０に送信される。制御装置２０では、当該関節部１３０の状態と、運動目的及び拘束条件とに基づいて、アーム部１２０の駆動を制御するための全身協調制御及び理想関節制御に関する各種の演算が行われ、演算結果としてのトルク指令値τがロボットアーム装置１０に送信される。ロボットアーム装置１０では、当該トルク指令値τに基づいてアーム部１２０の駆動が制御され、駆動中又は駆動後の関節部１３０の状態が、再び関節状態検出部１３２によって検出される。

制御装置２０が有する他の構成についての説明を続ける。

入力部２１０は、ユーザが制御装置２０にロボットアーム装置１０の駆動制御に関する情報や命令等を入力するための入力インターフェースである。本実施形態においては、ユーザによる入力部２１０からの操作入力に基づいて、ロボットアーム装置１０のアーム部１２０の駆動が制御され、撮像部１４０の位置及び姿勢が制御されてもよい。具体的には、上述したように、ユーザによって入力部２１０から入力されたアームの駆動の指示に関する指示情報が演算条件設定部２４２に入力されることにより、演算条件設定部２４２が当該指示情報に基づいて全身協調制御における運動目的を設定してもよい。このように、ユーザが入力した指示情報に基づく運動目的を用いて全身協調制御が行われることにより、ユーザの操作入力に応じたアーム部１２０の駆動が実現される。

具体的には、入力部２１０は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等のユーザが操作する操作手段を有する。例えば入力部２１０がペダルを有する場合、ユーザは当該ペダルを足で操作することによりアーム部１２０の駆動を制御することができる。従って、ユーザが患者の施術部位に対して両手を使って処置を行っている場合であっても、足によるペダルの操作によって撮像部１４０の位置及び姿勢、すなわち、施術部位の撮影位置や撮影角度を調整することができる。

記憶部２２０は、制御装置２０によって処理される各種の情報を記憶する。本実施形態においては、記憶部２２０は、制御部２３０によって行われる全身協調制御及び理想関節制御に関する演算において用いられる各種のパラメータを記憶することができる。例えば、記憶部２２０は、全身協調制御部２４０による全身協調制御に関する演算において用いられる運動目的及び拘束条件を記憶していてもよい。記憶部２２０が記憶する運動目的は、上述したように、例えば撮像部１４０が空間上の所定の点で静止することのような、予め設定され得る運動目的であってよい。また、拘束条件は、アーム部１２０の幾何的な構成やロボットアーム装置１０の用途等に応じて、ユーザによって予め設定され、記憶部２２０に格納されていてもよい。また、記憶部２２０には、アーム状態取得部２４１がアーム状態を取得する際に用いるアーム部１２０に関する各種の情報が記憶されていてもよい。更に、記憶部２２０には、制御部２３０による全身協調制御及び理想関節制御に関する演算における演算結果や演算過程で算出される各数値等が記憶されてもよい。このように、記憶部２２０には、制御部２３０によって行われる各種の処理に関するあらゆるパラメータが格納されていてよく、制御部２３０は、記憶部２２０と相互に情報を送受信しながら各種の処理を行うことができる。

以上、制御装置２０の機能及び構成について説明した。なお、本実施形態に係る制御装置２０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバ等の各種の情報処理装置（演算処理装置）によって構成することができる。次に、表示装置３０の機能及び構成について説明する。

表示装置３０は、各種の情報を表示画面上にテキスト、イメージ等様々な形式で表示することにより、当該情報をユーザに対して視覚的に通知する。本実施形態においては、表示装置３０は、ロボットアーム装置１０の撮像部１４０によって撮影された画像を表示画面上に表示する。具体的には、表示装置３０は、撮像部１４０によって取得された画像信号に各種の画像処理を施す画像信号処理部（図示せず。）や処理された画像信号に基づく画像を表示画面上に表示させる制御を行う表示制御部（図示せず。）等の機能及び構成を有する。なお、表示装置３０は、上記の機能及び構成以外にも、一般的に表示装置が有する各種の機能及び構成を有してもよい。表示装置３０は、図１に示す表示装置５０４１に対応している。

以上、図５を参照して、本実施形態に係るロボットアーム装置１０、制御装置２０及び表示装置３０の機能及び構成について説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

以上説明したように、本実施形態によれば、ロボットアーム装置１０における多リンク構造体であるアーム部１２０が、少なくとも６自由度以上の自由度を有するとともに、当該アーム部１２０を構成する複数の関節部１３０のそれぞれの駆動が駆動制御部１１１によって制御される。そして、当該アーム部１２０の先端には医療用器具が設けられる。このように、各関節部１３０の駆動が制御されることにより、より自由度の高いアーム部１２０の駆動制御が実現され、よりユーザにとって操作性の高い医療用のロボットアーム装置１０が実現される。

より具体的には、本実施形態によれば、ロボットアーム装置１０において、関節状態検出部１３２によって関節部１３０の状態が検出される。そして、制御装置２０において、当該関節部１３０の状態と、運動目的及び拘束条件とに基づいて、アーム部１２０の駆動を制御するための一般化逆動力学を用いた全身協調制御に関する各種の演算が行われ、演算結果としてのトルク指令値τが算出される。更に、ロボットアーム装置１０において、当該トルク指令値τに基づいてアーム部１２０の駆動が制御される。このように、本実施形態においては、一般化逆動力学を用いた全身協調制御により、アーム部１２０の駆動が制御される。従って、力制御によるアーム部１２０の駆動制御が実現され、よりユーザにとって操作性の高いロボットアーム装置が実現される。また、本実施形態では、全身協調制御において、例えばピボット動作やパワーアシスト動作といった、よりユーザの利便性を向上させる各種の運動目的を実現する制御が可能となる。更に、本実施形態においては、例えばアーム部１２０を手動で移動させたり、ペダルからの操作入力により移動させたりといった、多様な駆動手段が実現されるため、ユーザの利便性の更なる向上が実現される。

また、本実施形態においては、アーム部１２０の駆動制御について、全身協調制御と併せて理想関節制御が適用される。理想関節制御においては、関節部１３０内部の摩擦や慣性等の外乱成分を推定し、推定した外乱成分を用いたフィードフォワード制御が行われる。従って、摩擦等の外乱成分がある場合であっても、関節部１３０の駆動について理想的な応答を実現することができる。よって、アーム部１２０の駆動制御において、振動等の影響がより少ない、高精度の応答性と高い位置決め精度や安定性が実現される。

更に、本実施形態においては、アーム部１２０を構成する複数の関節部１３０のそれぞれが、理想関節制御に適合した構成を有し、各関節部１３０における回転角度、発生トルク及び粘性抵抗係数を電流値によって制御することができる。このように、各関節部１３０の駆動が電流値によって制御され、また、全身協調制御により各関節部１３０の駆動がアーム部１２０全体の状態を把握しながら制御されるため、カウンターバランスが不要となり、ロボットアーム装置１０の小型化が実現される。

＜＜３．斜視鏡の基本的構成＞＞
続いて、内視鏡の例として斜視鏡の基本的構成について説明する。

図６は、本開示の一実施形態に係る斜視鏡４１００の構成を示す模式図である。図６に示すように、斜視鏡４１００は、カメラヘッド４２００の先端に装着されている。斜視鏡４１００は図１及び図２で説明した鏡筒５００３に対応し、カメラヘッド４２００は、図１及び図２で説明したカメラヘッド５００５に対応する。斜視鏡４１００とカメラヘッド４２００は互いに独立して回動可能とされている。斜視鏡４１００とカメラヘッド４２００の間には、各関節部５０３３ａ，５０３３ｂ，５０３３ｃと同様にアクチュエータが設けられており、斜視鏡４１００はアクチュエータの駆動によってカメラヘッド４２００に対して回転する。これにより、後述する回転角θ_Ｚが制御される。

斜視鏡４１００は支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりに斜視鏡４１００を保持し、また術者や助手の操作によって斜視鏡４１００を所望の部位が観察できるように移動させる機能を有する。

図７は、斜視鏡４１００と直視鏡４１５０を対比して示す模式図である。直視鏡４１５０では、対物レンズの被写体への向き（Ｃ１）と直視鏡４１５０の長手方向（Ｃ２）は一致する。一方、斜視鏡４１００では、対物レンズの被写体への向き（Ｃ１）は、斜視鏡４１００の長手方向（Ｃ２）に対して所定の角度φを有している。

図８及び図９は、斜視鏡４１００を腹壁４３２０から人体内部に挿入して観察対象物４３００を観察している様子を示す模式図である。図８及び図９において、トロッカ点Ｔは、トロッカ５０２５ａが配置される位置であり、人体への斜視鏡４１００の挿入位置を示している。図８及び図９に示すＣ３方向は、トロッカ点Ｔと観察対象物４３００を結ぶ方向である。観察対象物４３００の前に臓器などの障害物４３１０が存在する場合、直視鏡４１５０で図８及び図９に示すＣ３方向から観察対象物４３００を観察すると、障害物４３１０の陰となって観察対象物４３００の全域を観察することができない。図８では、斜視鏡４１００を用い、斜視鏡４１００の挿入方向がＣ３方向とは異なる状態４４００と、状態４４００の場合に斜視鏡４１００で撮像した撮像画像４４１０を示している。斜視鏡４１００を用いた場合であっても、図８に示す状態４４００では、観察対象物４３００は障害物４３１０の陰となってしまう。

一方、図９は、図８の状態に加え、斜視鏡４１００の挿入方向を図８の状態４４００から変え、対物レンズの向きも変えた状態４４２０と、状態４４２０の場合の撮像画像４４３０を示している。図９の状態４４２０のように斜視鏡４１００の挿入方向を変え、対物レンズの向きも変えることで、障害物４３１０に遮られることなく、視点を変えて観察対象物４３００を観察することが可能となる。

＜＜４．本実施形態に係る斜視鏡を支持するアームの制御＞＞
本実施形態では、ハンドアイコーディネイトを維持した斜視鏡ホルダアームを実現することを可能とする技術について主に説明する。なお、ハンドアイコーディネイトは、手の感覚と目の感覚（視覚）との協調（手の感覚と目の感覚（視覚）とが合うこと）を意味し得る。かかる技術は、「（１）斜視鏡ユニットを、複数の連動リンクとしてモデル化すること」を特徴の一つとして有する。また、かかる技術は、「（２）アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」を特徴の一つとして有する。

まず、斜視鏡の使用方法と動作について説明する。図１０は、斜視鏡の光軸を説明するための図である。図１０を参照すると、斜視鏡４１００における硬性鏡軸Ｃ２および斜視鏡光軸Ｃ１が示されている。また、図１１は、斜視鏡の動作を説明するための図である。図１１を参照すると、斜視鏡光軸Ｃ１は、硬性鏡軸Ｃ２に対して傾斜している。また、図１１を参照すると、内視鏡装置４２３はカメラヘッドＣＨを有している。

ここで、スコピストは手術中に、斜視鏡の回転操作に伴い、術者のハンドアイコーディネイトを維持するため、カメラヘッドＣＨを回転させ、モニタ画面の調整を行う。そして、スコピストがカメラヘッドＣＨを回転させると、硬性鏡軸Ｃ２周りにアーム動特性が変化する。モニタ上の表示画面は、斜視鏡光軸Ｃ１周りに回転する。図１１には、硬性鏡軸Ｃ２周りの回転角度がｑ_ｉとして示され、斜視鏡光軸Ｃ１周りの回転角度がｑ_ｉ＋１として示されている。

続いて、上記の「（１）斜視鏡ユニットを、複数の連動リンクとしてモデル化すること」について説明する。本実施形態においては、上記のような硬性鏡軸Ｃ２周りの動作および斜視鏡光軸Ｃ１周りの動作の特性をモデル化して制御を行う。まず、斜視鏡を、実回転リンクと仮想回転リンクとでモデル化する。なお、本実施形態においては、実リンクの例として実回転リンクを用い、仮想リンクの例として仮想回転リンクを用いて主に説明する。しかし、実回転リンクの代わりに他の実リンク（並進する実リンクなど）が用いられてもよいし、仮想回転リンクの代わりに他の仮想リンク（並進する仮想リンクなど）が用いられてもよい。実回転リンクの軸は、硬性鏡軸Ｃ２（＝イメージャの回転軸）であってよく、仮想回転リンクの軸は、斜視鏡光軸Ｃ１であってよい。ここで、仮想回転リンクは、実際には存在しないリンクであり、実回転リンクと連動して動作を行う。

図１２は、モデル化と制御について説明するための図である。図１２を参照すると、各リンクにおける回転角度が示されている。また、図１２を参照すると、モニタ座標系ＭＮＴが示されている。具体的には、下記の（１３）で表される相対運動空間ｃが０になるように制御がなされる。

続いて、上記の「（２）アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」について説明する。本実施形態においては、連動リンクと相対運動空間を用いた拡張により、統一的に全身協調制御を行う。関節空間には、実回転軸と仮想回転軸が考慮される。実回転軸と仮想回転軸は、アーム構成に依らない。また、運動目的には、デカルト空間に加え、相対運動空間が考慮される。デカルト空間の運動目的を変えることで、様々な動作が可能となる。

例えば、かかる全身協調制御の拡張を６軸アームおよび斜視鏡ユニットに適用した場合を想定する。図３には、各リンクにおける回転角度がｑ_１～ｑ_８として示されている。ｑ_７が上記の実回転リンクの軸（＝イメージャの回転軸）周りの回転角度に相当し、ｑ_８が仮想回転リンクの軸周りの回転角度に相当している。図１３および図１４は、全身協調制御の拡張を６軸アームおよび斜視鏡ユニットに適用した場合における各リンク構成の例を示す図である。このとき、制御式は、下記の（１４）のように表される。

ここで、上記の（１４）において、ｑ_８の時間微分値と相対運動空間ｃの時間微分値とが、全身協調制御の拡張部分に相当する。

以上、「（２）アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」について説明した。

＜＜５．仮想リンクの設定＞＞
続いて、仮想リンクの設定について説明する。演算条件設定部２４２は、仮想リンクの例としての仮想回転リンクを設定する仮想リンク設定部として機能し得る。例えば、演算条件設定部２４２は、仮想リンクの距離および向きの少なくともいずれか一方を設定することによって仮想リンクを設定する。図１３に「仮想回転リンク」と「実回転リンク」との例が示されている。図１３に示されるように、実回転リンクは、スコープの鏡筒軸に対応するリンクである。仮想回転リンクは、スコープの斜視鏡光軸Ｃ１に対応するリンクである。

演算条件設定部２４２は、アームの実回転リンク先端と、斜視鏡光軸Ｃ１上に存在する任意の点及び上記点間を結ぶ線を基準に定義された座標系に基づき仮想回転リンクをモデル化し、全身協調制御を用いる。これによって、アームのハードウェア構成に依存せずに、仮想回転リンク座標系における姿勢固定や、術中であればスコープ挿入位置となるトロッカ点の位置を維持しながら仮想回転リンク先端にある任意点方向への視点固定などの運動目的の実現が可能となる。なお、実回転リンク先端は、アーム上の光軸Ｃ１が通過する点を意味し得る。

演算条件設定部２４２は、接続されるスコープ仕様や、空間上の任意の点に基づいて仮想回転リンクを設定することが可能である。スコープ仕様に基づく仮想回転リンクの設定によれば、仮想回転リンクが設定される条件を、特定のスコープが用いられる場合に限定する必要がないため、スコープ変更時に仮想回転リンク設定による動的なモデル更新のみで、運動目的の動作実現が可能となる。

スコープ仕様は、スコープの構造的仕様およびスコープの機能的仕様のうち少なくともいずれか一方を含み得る。このとき、スコープの構造的仕様は、スコープの斜視角、スコープの寸法のうち少なくともいずれか一方を含んでよい。スコープ仕様は、スコープの軸の位置を含んでもよい（スコープの軸に関する情報は、実回転リンクの設定に利用され得る）。また、スコープの機能的仕様は、スコープのフォーカス距離を含んでよい。

例えば、スコープ仕様に基づく仮想回転リンク設定のケースにおいては、斜視角情報からは実回転リンク先端からの接続リンクとなる仮想回転リンクの方向決定が可能となる。また、スコープ寸法情報からは実回転リンク先端に接続する仮想回転リンクまでの距離の決定が可能となる。フォーカス距離情報からは、フォーカス点を運動目的の固定対象とするために仮想回転リンクの長さを決定することが可能となる。これによって、同一制御アルゴリズムを用いて、仮想回転リンクの設定変更のみで、様々な種類のスコープ変更に対応した運動目的の動作実現が可能となる。

さらに、スコープが変更される場合において、上記の仮想回転リンクは、アームのハードウェア構成に依存しない仮想的なリンクとして動的に変更され得る。例えば、斜視角３０度の斜視鏡から斜視角４５度の斜視鏡に変更された際に、変更後のスコープ仕様に基づき新たな仮想回転リンクを再設定することが可能となる。これによって、スコープ変更に応じた運動目的の切り替えが可能となる。

スコープ仕様に基づく仮想回転リンク設定は、スコープ仕様の情報がアームシステムに設定された時点で更新されるが、アームシステムへの情報入力手段は限定されない。例えば、演算条件設定部２４２が、スコープ接続時にスコープに対応するスコープＩＤを認識し、認識したスコープＩＤに対応するスコープの仕様を取得することも可能である。

このとき、演算条件設定部２４２は、スコープＩＤがスコープのメモリに書き込まれている場合には、当該メモリから読み込んだスコープＩＤを認識してもよい。かかる場合には、変更後のスコープ仕様がユーザから入力されなくても仮想回転リンクが更新されるため、手術をスムーズに継続され得る。あるいは、スコープ表面にスコープＩＤの表記がある場合などには、当該スコープＩＤを見たユーザが入力部２１０を介してスコープＩＤを入力情報として入力し、演算条件設定部２４２は、入力情報に基づいてスコープＩＤを認識してもよい。

また、スコープＩＤに対応するスコープ仕様は、どこから取得されてもよい。例えば、スコープ仕様がアームシステム内のメモリに蓄積されている場合には、アームシステム内のメモリからスコープ仕様が取得されてもよい。あるいは、スコープ仕様がネットワークに接続された外部装置に蓄積されている場合には、ネットワーク経由でスコープ仕様が取得されてもよい。このようにして取得されたスコープ仕様に基づいて仮想回転リンクが自動設定され得る。

仮想回転リンクは、接続されるスコープ先端から任意の距離に存在する観察対象物の任意点を仮想回転リンク先端として設定することも考えられる。そこで、演算条件設定部２４２は、センサから得られるスコープ先端から観察対象物までの距離または向きに基づいて仮想回転リンクを設定または変更してもよい。演算条件設定部２４２は、観察対象物の位置が動的に変化するケースにおいても、観察対象物の空間的な位置を特定するためのセンサ情報を基に、スコープ先端に対する方向や距離情報を取得し、その情報をもとに仮想回転リンクの設定または更新を行ってもよい。これによって、観察対象物を注視し続ける動作要求に対して、術中に観察対象物の切り替えを行いながら、注視動作の実現が可能となる。

センサの種類は特に限定されない。例えば、センサは、測距センサ、可視光センサおよび赤外線センサの少なくともいずれか一つを含んでもよい。また、センサ情報はどのように取得されてもよい。

例えば、ＵＩ（ユーザインタフェース）が用いられる場合、ユーザがモニタ上あるいは３次元データ上の任意の点をダイレクト指定することでその位置情報を決定できてもよい。ユーザのダイレクト操作により、直感的にあらゆる部位やポイントを観察対象物として指定可能となる。すなわち、演算条件設定部２４２は、表示装置３０によって表示される像上の座標が入力部２１０を介して入力された場合、その座標に基づいて観察対象物を決定し、観察対象物からスコープの先端までの距離または向きに基づいて仮想回転リンクを設定してもよい。この場合、ダイレクト指定は、どのような操作によって行われてもよく、画面のタッチ操作であってもよいし、視線による注視操作などであってもよい。

また、画像認識技術を使用するケースにおいては、取得した２Ｄあるいは３Ｄ映像情報から特定の観察対象物の位置を自動認識して、空間的な位置を特定することも可能である。すなわち、演算条件設定部２４２は、画像認識によって認識される（観察対象物からスコープの先端までの）距離または向きに基づいて仮想回転リンクを設定してもよい。

画像認識による観察対象物の空間的な位置特定の技術を用いた場合、観察対象物の動的な動きがあるケースにおいてもその位置をリアルタイムに取得してもよい。すなわち、演算条件設定部２４２は、画像認識によって動的に認識される（観察対象物からスコープの先端までの）距離または向きに基づいて仮想回転リンクを動的に更新してもよい。これによって、仮想回転リンク先端点をリアルタイムに更新可能となる。例えば、動きのある観察対象物であっても、画像認識により観察対象物として認識し続けることで、注視継続を行うことが可能となる。

例えば、演算条件設定部２４２は、仮想回転リンク先端情報に基づく姿勢固定や視点固定の運動目的を継続するためのアーム姿勢変更量を全身協調制御により算出し、アーム上の各実回転リンクの回転指令として反映してもよい。これによって、観察対象物の追従（特に術中であれば鉗子追従など）の実現も可能となる。すなわち、仮想回転リンク中心に観察対象物を捉え続ける運動目的を、実回転リンクの制御により実現することができる。

また、手術のケースにおいては、ナビゲーションシステムやＣＴ装置を利用することで患者の特定部位の空間的な位置を特定することができる。すなわち、演算条件設定部２４２は、ナビゲーションシステムまたはＣＴ装置によって認識される（観察対象物からスコープの先端までの）距離または向きに基づいて仮想回転リンクを設定してもよい。これによって、手術目的に合わせて特定部位とスコープとの関係に基づく任意の運動目的の実現が可能となる。

さらに、ＣＴ装置やＭＲＩ装置など術前に取得した患者座標情報は、術中のナビゲーションシステムやＣＴ装置と組み合わせることで、患者の特定部位の空間的な位置を術中にリアルタイムに特定することができる。すなわち、演算条件設定部２４２は、術前にＣＴ装置またはＭＲＩ装置によって取得された患者座標情報と、術中にナビゲーションシステムまたはＣＴ装置によって動的に認識される（観察対象物からスコープの先端までの）距離または向きとに基づいて、仮想回転リンクを動的に更新してもよい。これによって、手術目的に合わせて特定部位とスコープとの関係に基づく任意の運動目的の実現が可能となる。

また、アームの移動または姿勢変化により、アーム実回転リンク先端の空間的な位置は変化する。しかし、アーム仮想回転リンク先端に位置する観察対象物が静止しているようなケースでは、仮想回転リンク長(アーム実回転リンク先端と観察対象物の距離)の更新により観察対象部を仮想回転リンク先端に維持するような運動目的を実現してもよい。すなわち、演算条件設定部２４２は、アームの移動量または姿勢に応じて仮想回転リンクを動的に更新してもよい。これによって、ユーザは観察対象物を継続して観察し続けることが可能となる。

上記では、スコープが斜視鏡である場合を主に想定した。しかし、上記したように、スコープ仕様に基づきスコープの斜視角を任意に変更可能である。したがって、スコープは、直視鏡であってもよいし、側視鏡であってもよい。すなわち、演算条件設定部２４２は、任意の斜視角を持つ内視鏡（直視鏡、斜視鏡、側視鏡含む）の切り替えに対応して、仮想回転リンクの設定変更が可能である。あるいは、任意の斜視角を持つ内視鏡として、同一デバイス内で斜視角を変更可能な（斜視角可変型の斜視鏡）が存在する。そこで、スコープとして、斜視角可変型の斜視鏡が用いられてもよい。通常はスコープ切り替えにより斜視角を変更するが、斜視角可変型の斜視鏡を用いれば、同一デバイスで斜視角変更が可能となる。

図１８は、斜視角可変型の斜視鏡について説明するための図である。図１８を参照すると、斜視角可変型の斜視鏡の斜視角が、０°、３０°、４５°、９０°、１２０°の間で変更可能である様子が示されている。しかし、斜視角可変型の斜視鏡の斜視角の変更範囲は、これらの角度に限定されない。斜視鏡の切り替え時と同様に、変更後の斜視角情報をアームシステムで検知あるいはアームシステムに入力することで、仮想回転リンクの設定変更による任意の運動目的の実現が可能となる。

一般に、斜視鏡スコープの体内挿入量を変更するズーム操作や、斜視鏡視野方向を変えるスコープ回転操作といったユースケースにおいては、斜視鏡光軸方向を考慮せずにアーム実回転リンク情報だけを基準にその操作を行った場合、観察対象物をカメラ中心に捉え続けることは難しい。

これに対し、観察対象物を先端とした仮想回転リンクをモデル化することで、アーム実回転リンクとその先に接続される仮想回転リンクとの接続関係（斜視鏡の場合斜視角に相当）を維持したまま、仮想回転リンク先端注視動作を運動目的として与えるとよい。すなわち、演算条件設定部２４２は、斜視鏡のズーム操作または回転操作に基づいて、仮想回転リンクを動的に更新するとよい。かかる例について、図１９および図２０を参照しながら説明する。

図１９は、斜視角固定型の斜視鏡のズーム操作を考慮した仮想回転リンクの更新について説明するための図である。図１９を参照すると、斜視角固定型の斜視鏡４１００と観察対象物４３００とが示されている。例えば、図１９に示されるように、演算条件設定部２４２は、ズーム操作が行われた場合、仮想回転リンクの距離および向きを変更することによって（図１９に示されるように、拡大操作の場合には、仮想回転リンクの距離を短くし、仮想回転リンクの向きをスコープ軸に対して大きく傾けることによって）、観察対象物４３００がカメラ中心に捉えられ、運動目的が実現され得る。なお、斜視角可変型の斜視鏡も、ズーム操作時に観察対象物４３００をカメラ中心に捉え続けることが可能である。すなわち、演算条件設定部２４２は、ズーム操作が行われた場合、仮想回転リンクの向き（姿勢）を固定した状態で、斜視角と仮想回転リンクの距離とを変更することによって、観察対象物４３００がカメラ中心に捉えられ、運動目的が実現され得る。

図２０は、斜視角固定型の斜視鏡の回転操作を考慮した仮想回転リンクの更新について説明するための図である。図２０を参照すると、斜視角固定型の斜視鏡４１００と観察対象物４３００とが示されている。例えば、図２０に示されるように、演算条件設定部２４２は、回転操作が行われた場合、図２０に示されるように、斜視角と仮想回転リンクの距離とを固定した状態で、仮想回転リンクの向き（姿勢）を変更することによって、観察対象物４３００がカメラ中心に捉えられ、運動目的が実現され得る。なお、斜視角可変型の斜視鏡も、回転操作時に観察対象物４３００をカメラ中心に捉え続けることが可能である。すなわち、演算条件設定部２４２は、回転操作が行われた場合、仮想回転リンクの距離と仮想回転リンクの向き（姿勢）とを固定した状態で、斜視角を変更することによって、観察対象物４３００がカメラ中心に捉えられ、運動目的が実現され得る。

図１９および図２０に示した例では、観察対象物が静止している場合を主に想定した。しかし、観察対象物が移動する場合も想定される。かかる場合には、上記したような観察対象物の追従と追従した観察対象物に基づくズーム操作または回転操作の運動目的とを組み合わせて実現することも可能である。すなわち、演算条件設定部２４２は、画像認識によって動的に認識される（観察対象物からスコープの先端までの）距離または向きと、スコープのズーム操作または回転操作とに基づいて、仮想回転リンクを動的に更新してもよい。
以上、仮想回転リンクの設定について説明した。

＜＜６．まとめ＞＞
本実施形態によれば、術野内の観察対象物の像を取得するスコープを支持する多関節アーム（アーム部１２０）と、スコープの鏡筒軸に対応する実リンクとスコープの光軸に対応する仮想リンクとの関係に基づいて、多関節アームを制御する制御部（アーム制御部１１０）と、を備える、医療用支持アームシステムが提供される。かかる構成によれば、斜視鏡を支持するアーム部１２０が用いられる場合にハンドアイコーディネイトが維持されるようにアーム部１２０を制御することが可能となる。

より具体的に、本実施形態によれば、斜視鏡を、実回転リンクの軸と仮想回転リンクの軸との複数の連動リンクとしてモデル化し、それを考慮した全身協調制御を用いることで、運動目的やアーム構成に依存しない制御が可能となる。特に、運動目的に、モニタ座標系における姿勢固定の指令を与えることで、ハンドアイコーディネイトを維持したアームの動作を実現することができる。

本実施形態に適用され得る内視鏡の種類は特に限定されない。斜視鏡モデルは、内視鏡を取り付ける際にアームシステムに設定を行えばよい。

図１５Ａおよび図１５Ｂは、本実施形態に適用され得る斜視鏡の第１の例を示す図である。図１５Ａおよび図１５Ｂに示すように、本実施形態に係る斜視鏡は、斜視角３０°の斜視鏡であってもよい。

図１６Ａおよび図１６Ｂは、本実施形態に適用され得る斜視鏡の第２の例を示す図である。図１６Ａおよび図１６Ｂに示すように、本実施形態に係る斜視鏡は、斜視角４５°の斜視鏡であってもよい。

図１７Ａおよび図１７Ｂは、本実施形態に適用され得る斜視鏡の第３の例を示す図である。図１７Ａおよび図１７Ｂに示すように、本実施形態に係る斜視鏡は、斜視角７０°の側視鏡であってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
術野内の観察対象物の像を取得するスコープを支持する多関節アームと、
前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、
を備える、医療用支持アームシステム。
（２）
前記医療用支持アームシステムは、
前記仮想リンクを設定する仮想リンク設定部を備える、
前記（１）に記載の医療用支持アームシステム。
（３）
前記仮想リンク設定部は、前記スコープの仕様に基づいて前記仮想リンクを設定する、
前記（２）に記載の医療用支持アームシステム。
（４）
前記スコープの仕様は、前記スコープの構造的仕様および前記スコープの機能的仕様のうち少なくともいずれか一方を含む、
前記（３）に記載の医療用支持アームシステム。
（５）
前記構造的仕様は、前記スコープの斜視角、前記スコープの寸法のうち少なくともいずれか一方を含み、前記機能的仕様は、前記スコープのフォーカス距離を含む、
前記（４）に記載の医療用支持アームシステム。
（６）
前記仮想リンク設定部は、前記スコープに対応するスコープＩＤを認識し、認識した前記スコープＩＤに対応する前記スコープの仕様を取得する、
前記（４）または（５）に記載の医療用支持アームシステム。
（７）
前記仮想リンク設定部は、前記スコープのメモリに書き込まれている前記スコープＩＤを認識する、
前記（６）に記載の医療用支持アームシステム。
（８）
前記仮想リンク設定部は、ユーザからの入力情報に基づいて前記スコープＩＤを認識する、
前記（６）に記載の医療用支持アームシステム。
（９）
前記仮想リンク設定部は、センサから得られる前記スコープの先端から前記観察対象物までの距離または向きに基づいて前記仮想リンクを設定する、
前記（２）～（８）のいずれか一項に記載の医療用支持アームシステム。
（１０）
前記仮想リンク設定部は、表示装置によって表示される前記像上の座標が入力装置を介して入力された場合、前記座標に基づいて前記観察対象物を決定し、前記観察対象物から前記スコープの先端までの前記距離または前記向きに基づいて前記仮想リンクを設定する、
前記（９）に記載の医療用支持アームシステム。
（１１）
前記医療用支持アームシステムは、前記表示装置および前記入力装置の少なくともいずれか一方を有する、
前記（１０）に記載の医療用支持アームシステム。
（１２）
前記仮想リンク設定部は、画像認識によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
前記（９）に記載の医療用支持アームシステム。
（１３）
前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きに基づいて前記仮想リンクを動的に更新する、
前記（１２）に記載の医療用支持アームシステム。
（１４）
前記仮想リンク設定部は、ナビゲーションシステムまたはＣＴ装置によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
前記（９）に記載の医療用支持アームシステム。
（１５）
前記仮想リンク設定部は、術前にＣＴ装置またはＭＲＩ装置によって取得された患者座標情報と、術中にナビゲーションシステムまたはＣＴ装置によって動的に認識される前記距離または前記向きとに基づいて、前記仮想リンクを動的に更新する、
前記（１４）に記載の医療用支持アームシステム。
（１６）
前記仮想リンク設定部は、前記多関節アームの移動量または姿勢に応じて前記仮想リンクを動的に更新する、
前記（２）～（１５）のいずれか一項に記載の医療用支持アームシステム。
（１７）
前記仮想リンク設定部は、前記仮想リンクの距離および向きの少なくともいずれか一方を設定することによって前記仮想リンクを設定する、
前記（２）～（１６）のいずれか一項に記載の医療用支持アームシステム。
（１８）
前記スコープは、直視鏡、斜視鏡または側視鏡である、
前記（１）～（１７）のいずれか一項に記載の医療用支持アームシステム。
（１９）
前記スコープは、斜視角可変型の内視鏡である、
前記（１）～（１７）のいずれか一項に記載の医療用支持アームシステム。
（２０）
前記仮想リンク設定部は、前記スコープのズーム操作または回転操作に基づいて、前記仮想リンクを動的に更新する、
前記（２）～（１６）のいずれか一項に記載の医療用支持アームシステム。
（２１）
前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きと、前記スコープのズーム操作または回転操作とに基づいて、前記仮想リンクを動的に更新する、
前記（１２）に記載の医療用支持アームシステム。
（２２）
スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記スコープを支持する多関節アームを制御する制御部を備える、
制御装置。

１ ロボットアーム制御システム
１０ ロボットアーム装置
２０ 制御装置
３０ 表示装置
１１０ アーム制御部
１１１ 駆動制御部
１２０ アーム部
１３０ 関節部
１３１ 関節駆動部
１３２ 間接状態検出部
１３３ 回転角度検出部
１３４ トルク検出部
１４０ 撮像部
２１０ 入力部
２２０ 記憶部
２３０ 制御部
２４０ 全身協調制御部
２４１ アーム状態取得部
２４２ 演算条件設定部
２４３ 仮想力算出部
２４４ 実在力算出部
２５０ 理想関節制御部
２５１ 外乱推定部
２５２ 指令値算出部

Claims (22)

1. 術野内の観察対象物の像を取得するスコープを支持する多関節アームと、
   前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、
   前記仮想リンクを設定する仮想リンク設定部と、
   を備え、
   前記仮想リンク設定部は、センサから得られる前記スコープの先端から前記観察対象物までの距離または向きに基づいて前記仮想リンクを設定する、
   医療用支持アームシステム。
2. 術野内の観察対象物の像を取得するスコープを支持する多関節アームと、
   前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、
   前記仮想リンクを設定する仮想リンク設定部と、
   を備え、
   前記仮想リンク設定部は、前記多関節アームの移動量または姿勢に応じて前記仮想リンクを動的に更新する、
   医療用支持アームシステム。
3. 前記仮想リンク設定部は、前記スコープの仕様に基づいて前記仮想リンクを設定する、
   請求項１又は２に記載の医療用支持アームシステム。
4. 前記スコープの仕様は、前記スコープの構造的仕様および前記スコープの機能的仕様のうち少なくともいずれか一方を含む、
   請求項３に記載の医療用支持アームシステム。
5. 前記構造的仕様は、前記スコープの斜視角、前記スコープの寸法のうち少なくともいずれか一方を含み、前記機能的仕様は、前記スコープのフォーカス距離を含む、
   
   請求項４に記載の医療用支持アームシステム。
6. 前記仮想リンク設定部は、前記スコープに対応するスコープＩＤを認識し、認識した前記スコープＩＤに対応する前記スコープの仕様を取得する、
   請求項３に記載の医療用支持アームシステム。
7. 前記仮想リンク設定部は、前記スコープのメモリに書き込まれている前記スコープＩＤを認識する、
   請求項６に記載の医療用支持アームシステム。
8. 前記仮想リンク設定部は、ユーザからの入力情報に基づいて前記スコープＩＤを認識する、
   請求項６に記載の医療用支持アームシステム。
9. 前記仮想リンク設定部は、表示装置によって表示される前記像上の座標が入力装置を介して入力された場合、前記座標に基づいて前記観察対象物を決定し、前記観察対象物から前記スコープの先端までの前記距離または前記向きに基づいて前記仮想リンクを設定する、
   請求項１に記載の医療用支持アームシステム。
10. 前記医療用支持アームシステムは、前記表示装置および前記入力装置の少なくともいずれか一方を有する、
    請求項９に記載の医療用支持アームシステム。
11. 前記仮想リンク設定部は、画像認識によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
    請求項１に記載の医療用支持アームシステム。
12. 前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きに基づいて前記仮想リンクを動的に更新する、
    請求項１１に記載の医療用支持アームシステム。
13. 前記仮想リンク設定部は、ナビゲーションシステムまたはＣＴ装置によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
    請求項１に記載の医療用支持アームシステム。
14. 前記仮想リンク設定部は、術前にＣＴ装置またはＭＲＩ装置によって取得された患者座標情報と、術中にナビゲーションシステムまたはＣＴ装置によって動的に認識される前記距離または前記向きとに基づいて、前記仮想リンクを動的に更新する、
    請求項１３に記載の医療用支持アームシステム。
15. 前記仮想リンク設定部は、前記多関節アームの移動量または姿勢に応じて前記仮想リンクを動的に更新する、
    請求項１に記載の医療用支持アームシステム。
16. 前記仮想リンク設定部は、前記仮想リンクの距離および向きの少なくともいずれか一方を設定することによって前記仮想リンクを設定する、
    請求項１から１５のいずれか一つに記載の医療用支持アームシステム。
17. 前記スコープは、直視鏡、斜視鏡または側視鏡である、
    請求項１から１６のいずれか一つに記載の医療用支持アームシステム。
18. 前記スコープは、斜視角可変型の内視鏡である、
    請求項１から１６のいずれか一つに記載の医療用支持アームシステム。
19. 前記仮想リンク設定部は、前記スコープのズーム操作または回転操作に基づいて、前記仮想リンクを動的に更新する、
    請求項１から１５のいずれか一つに記載の医療用支持アームシステム。
20. 前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きと、前記スコープのズーム操作または回転操作とに基づいて、前記仮想リンクを動的に更新する、
    請求項１１に記載の医療用支持アームシステム。
21. 術野内の観察対象物の像を取得するスコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記スコープを支持する多関節アームを制御する制御部と、
    前記仮想リンクを設定する仮想リンク設定部と、
    を備え、
    前記仮想リンク設定部は、センサから得られる前記スコープの先端から前記観察対象物までの距離または向きに基づいて前記仮想リンクを設定する、
    制御装置。
22. 術野内の観察対象物の像を取得するスコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記スコープを支持する多関節アームを制御する制御部と、
    前記仮想リンクを設定する仮想リンク設定部と、
    を備え、
    前記仮想リンク設定部は、前記多関節アームの移動量または姿勢に応じて前記仮想リンクを動的に更新する、
    制御装置。

Images