JPWO2018159328A1 - 医療用アームシステム、制御装置及び制御方法 - Google Patents

Abstract

【課題】人体内部に内視鏡を挿入して行う手術に関し、利便性と安全性の確保とを両立させることが可能な仕組みを提案する。【解決手段】複数のリンクが関節部により連結され、先端に内視鏡を連結可能な多関節アームと、患者の体腔内に仮想面を設定し、前記内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように前記多関節アームを制御する制御部と、を備える医療用アームシステム。【選択図】図１

Description

本開示は、医療用アームシステム、制御装置及び制御方法に関する。

近年、医療用機器に関する技術開発が盛んに行われている。例えば、下記特許文献１では、遠隔操作型手術システムにおける医療用マニピュレータおよびその制御方法に関し、特に腹腔鏡下手術、胸腹腔鏡下手術など、体内に内視鏡や鉗子などの医療器具を挿入して行う低侵襲手術を支援する技術が開示されている。

国際公開第２０１４／１９９４１３号

しかし、上記特許文献１等に開示されている技術は、開発されてから未だ日が浅く、様々な観点で十分な提案がなされているとは言い難い。例えば、手術中の安全性を確保することも、十分な提案がなされていない観点のひとつである。

そこで、本開示では、人体内部に内視鏡を挿入して行う手術に関し、利便性と安全性の確保とを両立させることが可能な仕組みを提案する。

本開示によれば、複数のリンクが関節部により連結され、先端に内視鏡を連結可能な多関節アームと、患者の体腔内に仮想面を設定し、前記内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように前記多関節アームを制御する制御部と、を備える医療用アームシステムが提供される。

また、本開示によれば、患者の体腔内に仮想面を設定し、内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように、複数のリンクが関節部により連結されて先端に内視鏡を連結可能な多関節アームを制御する制御部、を備える制御装置が提供される。

また、本開示によれば、患者の体腔内に仮想面を設定し、内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように、複数のリンクが関節部により連結されて先端に内視鏡を連結可能な多関節アームを制御すること、を含むプロセッサにより実行される制御方法が提供される。

以上説明したように本開示によれば、人体内部に内視鏡を挿入して行う手術に関し、利便性と安全性の確保とを両立させることが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る医療用支持アーム装置を適用可能な内視鏡手術システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の実施の形態に係る医療用支持アーム装置の構成例を示す斜視図である。 医療支持アーム装置の構成例を示すブロック図である。 第１の実施形態に係る第１の設定方法における位置合わせ方法を説明するための図である。 同実施形態に係る第１の設定方法におけるバーチャルウォールの設定を説明するための図である。 同実施形態に係る第１の設定方法におけるバーチャルウォールの設定処理の流れの一例を示すフローチャートである。 同実施形態に係る第２の設定方法における位置合わせ方法を説明するための図である。 同実施形態に係る第２の設定方法におけるバーチャルウォールの設定を説明するための図である。 同実施形態に係る第２の設定方法におけるバーチャルウォールの設定処理の流れの一例を示すフローチャートである。 同実施形態に係る第３の設定方法におけるバーチャルウォールの設定を説明するための図である。 同実施形態に係る第３の設定方法におけるバーチャルウォールの設定を説明するための図である。 同実施形態に係る第３の設定方法におけるバーチャルウォールの設定処理の流れの一例を示すフローチャートである。 同実施形態に係るバーチャルウォールの設定を説明するための図である。 同実施形態に係るバーチャルウォールの設定を説明するための図である。 同実施形態に係るバーチャルウォールの設定を説明するための図である。 同実施形態に係るバーチャルウォールの設定を説明するための図である。 同実施形態に係るバーチャルウォールの設定を説明するための図である。 同実施形態に係るバーチャルウォールの設定を説明するための図である。 同実施形態に係るバーチャルウォールの設定を説明するための図である。 第２の実施形態の概要を説明するための図である。 同実施形態の概要を説明するための図である。 同実施形態に係る拘束対象点の一例を説明するための図である。 同実施形態に係る内視鏡制御処理の概要を説明するための図である。 同実施形態に係る内視鏡手術システムによる目標計算処理の流れの一例を示すフローチャートである。 同実施形態に係る目標位置計算を説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．基本構成
１．１．内視鏡手術システムの構成例
１．２．医療用支持アーム装置の具体的構成例
１．３．制御装置の構成例
２．第１の実施形態
２．１．概要
２．２．詳細
３．第２の実施形態
３．１．概要
３．２．詳細
４．まとめ

＜＜１．基本構成＞＞
まず、図１〜図４を参照して、本開示の一実施形態に係る内視鏡手術システムの基本構成を説明する。

＜１．１．内視鏡手術システムの構成例＞
図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成される多関節アームであり、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１は、先端に内視鏡５００１を連結可能である。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

＜１．２．医療用支持アーム装置の具体的構成例＞
次に、本開示の実施の形態に係る医療用支持アーム装置の具体的構成例について詳細に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。

まず、図３を参照して、本実施形態に係る支持アーム装置４００の概略構成について説明する。図３は、本実施形態に係る支持アーム装置４００の外観を示す概略図である。

本実施形態に係る支持アーム装置４００は、ベース部４１０及びアーム部４２０を備える。ベース部４１０は支持アーム装置４００の基台であり、ベース部４１０からアーム部４２０が延伸される。また、図３には図示しないが、ベース部４１０内には、支持アーム装置４００を統合的に制御する制御部が設けられてもよく、アーム部４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵやＤＳＰ等の各種の信号処理回路によって構成される。

アーム部４２０は、複数の能動関節部４２１ａ〜４２１ｆと、複数のリンク４２２ａ〜４２２ｆと、アーム部４２０の先端に設けられた先端ユニットとしての内視鏡装置４２３とを有する。

リンク４２２ａ〜４２２ｆは略棒状の部材である。リンク４２２ａの一端が能動関節部４２１ａを介してベース部４１０と連結され、リンク４２２ａの他端が能動関節部４２１ｂを介してリンク４２２ｂの一端と連結され、さらに、リンク４２２ｂの他端が能動関節部４２１ｃを介してリンク４２２ｃの一端と連結される。リンク４２２ｃの他端は受動スライド機構１００を介してリンク４２２ｄに連結され、さらに、リンク４２２ｄの他端は受動関節部２００を介してリンク４２２ｅの一端と連結される。リンク４２２ｅの他端は能動関節部４２１ｄ，４２１ｅを介してリンク４２２ｆの一端と連結される。内視鏡装置４２３は、アーム部４２０の先端、すなわち、リンク４２２ｆの他端に、能動関節部４２１ｆを介して連結される。このように、ベース部４１０を支点として、複数のリンク４２２ａ〜４２２ｆの端同士が、能動関節部４２１ａ〜４２１ｆ、受動スライド機構１００及び受動関節部２００によって互いに連結されることにより、ベース部４１０から延伸されるアーム形状が構成される。

かかるアーム部４２０のそれぞれの能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータが駆動制御されることにより、内視鏡装置４２３の位置及び姿勢が制御される。本実施形態において、内視鏡装置４２３は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部４２０の先端に設けられる先端ユニットは内視鏡装置４２３に限定されず、アーム部４２０の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置４００は、医療用器具を備えた医療用支持アーム装置として構成される。

ここで、以下では、図３に示すように座標軸を定義して支持アーム装置４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部４１０に対する上下方向をｚ軸方向及び上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部４１０からアーム部４２０が延伸されている方向（すなわち、ベース部４１０に対して内視鏡装置４２３が位置している方向）をｙ軸方向及び前後方向と定義する。さらに、ｙ軸及びｚ軸と互いに直交する方向をｘ軸方向及び左右方向と定義する。

能動関節部４２１ａ〜４２１ｆはリンク同士を互いに回動可能に連結する。能動関節部４２１ａ〜４２１ｆはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部４２１ａ〜４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部４２０の駆動を制御することができる。ここで、能動関節部４２１ａ〜４２１ｆは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部４２１ａ〜４２１ｆは回転機構を有するため、以下の説明において、能動関節部４２１ａ〜４２１ｆの駆動制御とは、具体的には、能動関節部４２１ａ〜４２１ｆの回転角度及び／又は発生トルク（能動関節部４２１ａ〜４２１ｆが発生させるトルク）が制御されることを意味する。

受動スライド機構１００は、受動形態変更機構の一態様であり、リンク４２２ｃとリンク４２２ｄとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構１００は、リンク４２２ｃとリンク４２２ｄとを互いに直動可能に連結してもよい。ただし、リンク４２２ｃとリンク４２２ｄとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構１００は、例えばユーザによって進退動の操作が行われ、リンク４２２ｃの一端側の能動関節部４２１ｃと受動関節部２００との間の距離を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。受動スライド機構１００の構成の詳細は後述する。

受動関節部２００は、受動形態変更機構の一態様であり、リンク４２２ｄとリンク４２２ｅとを互いに回動可能に連結する。受動関節部２００は、例えばユーザによって回動の操作が行われ、リンク４２２ｄとリンク４２２ｅとの成す角度を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。受動関節部２００の構成の詳細は後述する。

なお、本明細書において、「アーム部の姿勢」とは、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態をいう。また、「アーム部の形態」とは、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態をいう。

本実施形態に係る支持アーム装置４００は、６つの能動関節部４２１ａ〜４２１ｆを有し、アーム部４２０の駆動に関して６自由度が実現されている。つまり、支持アーム装置４００の駆動制御は制御部による６つの能動関節部４２１ａ〜４２１ｆの駆動制御により実現される一方、受動スライド機構１００及び受動関節部２００は、制御部による駆動制御の対象とはなっていない。

具体的には、図３に示すように、能動関節部４２１ａ，４２１ｄ，４２１ｆは、接続されている各リンク４２２ａ，４２２ｅの長軸方向及び接続されている内視鏡装置４２３の撮影方向を回転軸方向とするように設けられている。能動関節部４２１ｂ，４２１ｃ，４２１ｅは、接続されている各リンク４２２ａ〜４２２ｃ，４２２ｅ，４２２ｆ及び内視鏡装置４２３の連結角度をｙ−ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部４２１ａ，４２１ｄ，４２１ｆは、いわゆるヨーイングを行う機能を有し、能動関節部４２１ｂ，４２１ｃ，４２１ｅは、いわゆるピッチングを行う機能を有する。

このようなアーム部４２０の構成を有することにより、本実施形態に係る支持アーム装置４００ではアーム部４２０の駆動に対して６自由度が実現されるため、アーム部４２０の可動範囲内において内視鏡装置４２３を自由に移動させることができる。図３では、内視鏡装置４２３の移動可能範囲の一例として半球を図示している。半球の中心点ＲＣＭ（遠隔運動中心）が内視鏡装置４２３によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置４２３の撮影中心を半球の中心点に固定した状態で、内視鏡装置４２３を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。

＜１．３．制御装置の構成例＞＞
ここまで、本実施形態に係る支持アーム装置４００の構成について説明した。以下、本実施形態に係る支持アーム装置４００におけるアーム部４２０の駆動制御、すなわち、能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータ４３０の回転駆動を制御するための制御装置の構成例について説明する。

図４は、制御装置３５０を含む支持アーム装置４００の全体構成例を示すブロック図である。制御装置３５０は、制御部３５１と記憶部３５７と入力部３５９とを備える。

制御部３５１は、例えばＣＰＵやＤＳＰ等の各種の信号処理回路によって構成される。制御部３５１は、制御装置３５０を統合的に制御するとともに、支持アーム装置４００におけるアーム部４２０の駆動を制御するための各種の演算を行う。具体的に、制御部３５１は、全身協調制御部３５３と理想関節制御部３５５とを有する。全身協調制御部３５３は、支持アーム装置４００のアーム部４２０の能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータ４３０を駆動制御するために、全身協調制御における各種の演算を行う。理想関節制御部３５５は、外乱の影響を補正することにより全身協調制御に対する理想的な応答を実現する理想関節制御における各種の演算を行う。記憶部３５７は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶素子であってもよく、あるいは、半導体メモリ、ハードディスク、外付けの記憶装置であってよい。

入力部３５９は、ユーザが制御部３５１に対して支持アーム装置４００の駆動制御に関する情報や命令等を入力するための入力インタフェースである。入力部３５９は、例えばレバー、ペダル等のユーザが操作する操作手段を有し、当該レバー、ペダル等の操作に応じて、アーム部４２０の各構成部材の位置や速度等が、瞬時的な運動目的として設定されてもよい。かかる入力部３５９は、例えばレバーやペダルの他、マウス、キーボード、タッチパネル、ボタン及びスイッチ等のユーザが操作する操作手段を有してもよい。

また、制御装置３５０により制御されるアーム部４２０は、能動関節部４２１を備える。能動関節部４２１（４２１ａ〜４２１ｆ）は、リンク４２２ａ〜４２２ｆ及び内視鏡装置４２３を接続又は支持するための支持部材等、アーム部４２０の駆動に必要な各種の構成を有する。ここまでの説明及び以下の説明において、アーム部４２０の関節部の駆動とは、能動関節部４２１ａ〜４２１ｆにおけるアクチュエータ４３０の駆動を意味していてもよい。

能動関節部４２１は、トルクセンサ４２８、エンコーダ４２７及びアクチュエータ４３０を備える。なお、図４では、アクチュエータ４３０とエンコーダ４２７及びトルクセンサ４２８とが分離して図示されているが、エンコーダ４２７及びトルクセンサ４２８はアクチュエータ４３０に含まれて構成されてもよい。

アクチュエータ４３０は、モータと、モータドライバと、減速機と、から構成される。アクチュエータ４３０は、例えば力制御に対応するアクチュエータである。アクチュエータ４３０では、モータの回転が減速機によって所定の減速比で減速され、出力軸を介して後段の他の部材に伝達されることにより、当該他の部材が駆動されることとなる。

モータは、回転駆動力を生み出す駆動機構である。モータは、モータドライバからの制御により、制御部からのトルク指令値に対応するトルクを発生するように駆動される。モータとしては、例えばブラシレスモータが用いられる。ただし、本実施形態はかかる例に限定されず、モータとしては各種の公知の種類のモータが用いられてよい。

モータドライバは、モータに電流を供給することによりモータを回転駆動させるドライバ回路（ドライバＩＣ（Integrated Circuit））であり、モータに供給する電流量を調整することにより、モータの回転数を制御することができる。モータドライバは、制御部からのトルク指令値τに対応する電流をモータに供給することにより、当該モータを駆動させる。

また、モータドライバは、モータに供給する電流量を調整することにより、アクチュエータ４３０の回転運動における粘性抵抗係数を調整することができる。これにより、アクチュエータ４３０における回転運動、すなわち、能動関節部４２１ａ〜４２１ｆにおける回転運動に対して、所定の抵抗を負荷することが可能となる。例えば、能動関節部４２１ａ〜４２１ｆを、外部から加えられる力に対して回転しやすい状態（すなわち、アーム部４２０を手動で移動しやすい状態）にすることもできるし、逆に、外部から加えられる力に対して回転し難い状態（すなわち、アーム部４２０を手動で移動し難い状態）にすることもできる。

モータの回転軸（駆動軸）には、減速機が連結される。減速機は、連結されたモータの回転軸の回転速度（すなわち、入力軸の回転速度）を、所定の減速比で減速させて出力軸に伝達する。本実施形態では、減速機の構成は特定のものに限定されず、減速機としては各種の公知の種類の減速機が用いられてよい。ただし、減速機としては、例えばハーモニックドライブ（登録商標）等の、高精度に減速比が設定可能なものが用いられることが好ましい。また、減速機の減速比は、アクチュエータ４３０の用途に応じて適宜設定され得る。例えば、本実施形態のように、アクチュエータ４３０が支持アーム装置４００の能動関節部４２１ａ〜４２１ｆに適用される場合であれば、１：１００程度の減速比を有する減速機が好適に用いられ得る。

エンコーダ４２７は、入力軸の回転角度（すなわち、モータの回転軸の回転角度）を検出する。エンコーダ４２７によって検出された入力軸の回転数と、減速機の減速比と、に基づいて、能動関節部４２１ａ〜４２１ｆの回転角度、回転角速度及び回転角加速度等の情報を得ることができる。エンコーダ４２７としては、例えば磁気式エンコーダ、光学式エンコーダ等の各種の公知のロータリエンコーダが用いられてよい。なお、エンコーダ４２７は、アクチュエータ４３０の入力軸にのみ設けられてもよいし、減速機よりも後段に、アクチュエータ４３０の出力軸の回転角度等を検出するためのエンコーダが更に設けられてもよい。

トルクセンサ４２８は、アクチュエータ４３０の出力軸に接続され、アクチュエータ４３０に作用するトルクを検出する。トルクセンサ４２８は、アクチュエータ４３０によって出力されるトルク（発生トルク）を検出する。また、トルクセンサ４２８は、アクチュエータ４３０に外部から加えられる外トルクも検出することができる。

以上、能動関節部４２１の構成について説明した。ここで、本実施形態では、アーム部４２０の動作が力制御によって制御される。当該力制御においては、支持アーム装置４００では、各アクチュエータ４３０に設けられたエンコーダ４２７及びトルクセンサ４２８によって、各能動関節部４２１ａ〜４２１ｆの回転角度、及び各能動関節部４２１ａ〜４２１ｆに作用するトルクがそれぞれ検出される。このとき、トルクセンサ４２８によって検出される各能動関節部４２１ａ〜４２１ｆに作用するトルクには、アーム部４２０及び／又は内視鏡装置４２３に作用する力も含まれ得る。

また、エンコーダ４２７によって検出された回転角度、及びトルクセンサ４２８によって検出されたトルク値に基づいて、現在のアーム部４２０の状態（位置、速度等）が取得され得る。支持アーム装置４００では、取得されたアーム部４２０の状態（アーム状態）に基づいて、アーム部４２０が所望の運動目的を実行するために必要な、各能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータ４３０が発生すべきトルクが算出され、当該トルクを制御値として各能動関節部４２１ａ〜４２１ｆのアクチュエータ４３０が駆動されることになる。

なお、アクチュエータ４３０としては、一般的に力制御によってその動作が制御される各種の装置において用いられている、各種の公知のアクチュエータを用いることができる。例えば、アクチュエータ４３０としては、本願出願人による先行特許出願である特開２００９−２６９１０２号公報や特開２０１１−２０９０９９号公報等に記載のものを好適に用いることができる。

本実施形態に係る支持アーム装置４００において、アクチュエータ４３０、及びアクチュエータを構成する各部品の構成は上記の構成に限定されず、他の構成であってもよい。

以上、内視鏡手術システムの基本構成を説明した。以下では、上記説明した内視鏡手術システムの具体的な実施形態を説明する。

＜＜２．第１の実施形態＞＞
本実施形態は、バーチャルウォールの設定に関する。

＜２．１．概要＞
本実施形態によれば、多関節アームに連結されて患者の人体内部へ挿入される手術器具の先端と患者との相対的位置関係を計算して、相対的位置関係の計算結果に基づいて手術器具が患者の人体内部で移動可能な範囲を手術器具の先端座標系で設定する制御部、を備える医療用アームシステムが提供される。医療用アームシステムは、患者の体腔内の臓器から所定距離離れた領域を、手術器具の移動可能な範囲として設定する。これにより、手術器具と臓器との接触を避けつつ、手術器具が臓器から離れすぎてしまうことも避けることが可能となる。医療用アームシステムの制御部は、内視鏡手術システム５０００のアーム制御装置５０４５、又はアーム制御装置５０４５に搭載されるＣＰＵ等のプロセッサとして実現され得る。また、上記制御部は、医療用アームシステムとは別体の情報処理装置として実現されてもよい。

より簡易には、本実施形態に係る内視鏡手術システム５０００は、患者とアームの相対位置により、移動可能領域を設定し、対象物（例えば、内視鏡又は術具等の手術器具）が移動可能領域から出ないように制御を行う。移動可能領域から出ないような制御が行われることで、臓器損傷のリスクを軽減することが可能である。さらに、移動可能領域から出ない範囲では自在に手術器具を移動させることが可能であるので、術者の利便性が向上する。

移動可能領域を定義する境界は、バーチャルウォール（仮想平面／仮想曲面）として設定されてもよい。バーチャルウォールの設定方法は多様に考えられる。

例えば、第１の設定方法として、内視鏡手術システム５０００は、患者の体腔内の形状データに基づいて、術具、内視鏡がアクセスしたくない領域に対して、バーチャルウォールを定義し、動作制限を行う。これにより、複雑な形状のバーチャルウォールを簡単に設定することが可能となる。なお、患者の体腔内の形状データは、術前又は術中等の任意のタイミングで取得され得る。形状データは、例えば、ＣＴ（Computed Tomography）画像又はＭＲＩ（Magnetic Resonance Imaging）画像である。これらは、術前に撮影されることが多いので、バーチャルウォール設定のための追加の負担をなくすことができる。

例えば、第２の設定方法として、内視鏡手術システム５０００は、患者の腹囲の大きさなどの測定結果に基づいて、術具、内視鏡がアクセスしたくない領域に対して、バーチャルウォールを定義し、動作制限を行う。腹囲の測定は簡易かつ短時間で実行可能であるので、緊急手術の場合、又はＣＴ画像及びＭＲＩ画像を撮影していない場合にも、バーチャルウォールを設定することが可能となる。

例えば、第３の設定方法として、内視鏡手術システム５０００は、内視鏡（術具）先端からの距離に応じたバーチャルウォールを定義し、動作制限を行う。これにより、例えば手術中に患者の体内の状況が変化した場合にも、内視鏡手術システム５０００は、その場で新しいバーチャルウォールを設定することが可能となる。

また、内視鏡手術システム５０００は、移動可能領域の設定を変更できる。

また、内視鏡手術システム５０００は、移動可能領域の設定を解除できる。

＜２．２．詳細＞
以下、本実施形態に係る内視鏡手術システム５０００の技術的特徴を詳細に説明する。

まず、内視鏡手術システム５０００は、ナビゲーション手術の技術を用いて、患者とＣＴ画像又はＭＲＩ画像とを位置合わせを行う。位置合わせの方法は、大きく分けて、Surface matching registration、及びPaired point registrationの２種類がある。

Surface matching registrationでは、手術器具で患者の皮膚表面をなぞることで表面形状を測定し、測定結果とＣＴ画像又はＭＲＩ画像から計算される表面形状とを合わせる処理が行われる。皮膚表面をなぞらなくても、３次元センサで皮膚表面形状を取得して、取得結果とＣＴ画像又はＭＲＩ画像から計算される表面形状とを合わせる処理が行われてもよい。

Paired point registrationでは、ＣＴ又はＭＲＩ撮影時に患者にマーカーを貼り、患者上の点と画像上の点とで一致するペアを複数準備し、それぞれの座標を合わせることでレジストレーションが行われる。

内視鏡手術システム５０００は、患者とＣＴ画像又はＭＲＩ画像との位置合わせを完了後、患者と手術器具との位置合わせを行う。そして、内視鏡手術システム５０００は、バーチャルウォールを設定する。そして、内視鏡手術システム５０００は、バーチャルウォールにより定義された移動可能領域の範囲内に内視鏡（術具）先端が含まれるよう、術具又は内視鏡を動作させることができる。

詳しくは、内視鏡手術システム５０００は、患者にも手術器具にもマーカーをつけ、患者位置に対する手術器具の位置姿勢を相対座標で求めてもよい。また、内視鏡手術システム５０００は、患者（詳しくは、患者表面）位置を患者（詳しくは、患者表面）座標系とし、手術器具位置を手術器具座標系とし、患者内臓の部分に患者内臓空間を定義してもよい。また、内視鏡手術システム５０００は、ＣＴ画像又はＭＲＩ画像を用いて、患者内臓空間に、手術器具が移動してよい領域と、手術器具が移動してはいけない領域を定義し、それぞれ、患者座標系を用いて、器具移動可能領域、器具移動不可領域を記述してもよい。

−バーチャルウォールの設定方法の一例
バーチャルウォールの設定方法は、多様に考えらえる。以下、第１〜第３の設定方法を説明する。

（１）第１の設定方法
第１の設定方法では、ＣＴ画像（又はＭＲＩ画像）を活用してバーチャルウォールが設定される。以下、第１の設定方法における処理の流れを簡単に説明する。

まず、内視鏡手術システム５０００は、ＣＴ画像を測定する。次いで、内視鏡手術システム５０００は、ＣＴ画像から３Ｄ内臓を作成する。次に、内視鏡手術システム５０００は、手術中の患者とＣＴ画像とを位置合わせする。次いで、内視鏡手術システム５０００は、患者の座標系をベースとしてバーチャルウォールを定義する。次に、内視鏡手術システム５０００は、患者とアームの位置合わせをする。次いで、内視鏡手術システム５０００は、アームの座標系から患者の座標系への変換行列を求める。次に、内視鏡手術システム５０００は、バーチャルウォールの空間を、変換行列を用いてアーム座標系で記述し、アームの制御に利用する。そして、内視鏡手術システム５０００は、術具・内視鏡の先端をアーム座標系で記述し、バーチャルウォールを超えないように制御を行う。

以下、第１の設定方法における処理について詳細に説明する。

・位置合わせ
図５は、本実施形態に係る第１の設定方法における位置合わせ方法を説明するための図である。図５に示すように、アーム先端（例えば、カメラヘッド５００５）にアーム位置を測定するためのマーカー６００１が取り付けられる。位置計測装置６０００は、マーカー６００１に基づいてアーム先端位置（及び姿勢）を測定する。また、図５に示すように、患者に患者位置（及び姿勢）を計測するためのマーカー６００２が取り付けられる。位置計測装置６０００は、マーカー６００２に基づいて患者位置を測定する。

次いで、内視鏡手術システム５０００は、測定したアーム先端位置・姿勢に対して、符号６００３に示す内視鏡（術具）先端座標系を設定する。また、内視鏡手術システム５０００は、測定した患者位置・姿勢に対して符号６００４に示す患者座標系を設定する。

そして、内視鏡手術システム５０００は、患者座標系から内視鏡（術具）先端座標系への変換行列を求める。

・バーチャルウォールの設定
図６は、本実施形態に係る第１の設定方法におけるバーチャルウォールの設定を説明するための図である。図６に示すように、内視鏡手術システム５０００は、符号６００５に示す移動可能領域を設定する。具体的には、内視鏡手術システム５０００は、患者座標系を用いて、移動可能領域を記述し、移動可能領域（即ち、バーチャルウォール）の設定を行う。その際、内視鏡手術システム５０００は、精密な患者の位置が測定できているため、ＣＴ画像との３次元位置合わせを行い、ＣＴからの３Ｄデータを利用して、移動可能領域を定義することもできる。また、内視鏡手術システム５０００は、簡易的に手術台からの高さなどによって、移動可能領域を定義することもできる。

内視鏡手術システム５０００は、符号６００４に示す患者座標系で記述された移動可能領域に対して、患者座標系から符号６００３に示す内視鏡（術具）先端座標系への変換行列を用いて座標変換を行い、内視鏡（術具）先端座標系で移動可能領域を扱えるようにする。そして、内視鏡手術システム５０００は、内視鏡（術具）先端座標系で記述された移動可能領域を超えないように、アーム先端位置の制御を行う。

・処理の流れ
図７は、本実施形態に係る第１の設定方法におけるバーチャルウォールの設定処理の流れの一例を示すフローチャートである。図７に示すように、まず、内視鏡手術システム５０００は、アーム位置を計測するマーカーを位置計測装置６０００で測定する（ステップＳ１０２）。次いで、内視鏡手術システム５０００は、アームのマーカーからの座標変換を行い、内視鏡（術具）先端座標系を設定する（ステップＳ１０４）。次に、内視鏡手術システム５０００は、患者位置計測するマーカーを位置計測装置６０００で測定する（ステップＳ１０６）。次いで、内視鏡手術システム５０００は、患者のマーカーからの座標変換を行い、患者座標系を設定する（ステップＳ１０８）。次に、内視鏡手術システム５０００は、患者座標系から内視鏡（術具）先端座標系の変換行列を求める（ステップＳ１１０）。

次いで、内視鏡手術システム５０００は、ＣＴデータが有るか否かを判定する（ステップＳ１１２）。ＣＴデータが有ると判定された場合（ステップＳ１１２／ＹＥＳ）、内視鏡手術システム５０００は、ＣＴ画像の３Ｄデータとの３次元位置合わせを行う（ステップＳ１１４）。次いで、内視鏡手術システム５０００は、術前にＣＴ画像の３Ｄデータから決定した移動可能領域を設定する（ステップＳ１１６）。一方で、ＣＴデータが無いと判定された場合（ステップＳ１１２／ＮＯ）、内視鏡手術システム５０００は、手術台からの高さに応じた移動可能領域を設定する（ステップＳ１１８）。

移動可能領域を設定後、内視鏡手術システム５０００は、患者座標系で記述された移動可能領域に対して、患者座標系から内視鏡（術具）先端座標系への変換行列を用いて、座標変換を行う（ステップＳ１２０）。そして、内視鏡手術システム５０００は、内視鏡（術具）先端座標系で記述された移動可能領域を超えないように、アーム先端位置の制御を行う（ステップＳ１２２）。

（２）第２の設定方法
第２の設定方法では、簡易的なバーチャルウォールが設定される。以下、第２の設定方法における処理の流れを簡単に説明する。

まず、患者の腹囲が測定される。次いで、内視鏡手術システム５０００は、バーチャルウォールの高さを決め、バーチャルウォールの高さを手術台に対して定義する。次に、内視鏡手術システム５０００は、アームと手術台とを位置合わせする。次いで、内視鏡手術システム５０００は、バーチャルウォールをアームの座標系で記述し、アームの制御に利用する。そして、内視鏡手術システム５０００は、術具・内視鏡の先端をアーム座標系で記述し、バーチャルウォールを超えないように制御を行う。なお、腹囲の測定方法としては、（１）術前に医師または医療スタッフが患者の腹囲を測定し内視鏡手術システムに入力する方法や、（２）内視鏡手術システムに別途カメラ（ステレオカメラ含む）やデプスセンサ等を設け患者の腹囲を計測する方法、（３）アーム先端で患者の腹部に触れて（なぞって）腹囲を測定する方法などが考えられる。また、患者が寝た状態での手術台からの腹部の高さを、（１）カメラ（ステレオカメラ含む）やデプスセンサで計測したり、（２）アーム先端を腹部に合わせて高さを計測したりし、その測定結果に基づいて、内視鏡手術システム５０００はバーチャルウォールの高さを定義することも可能である。

以下、第２の設定方法における処理について詳細に説明する。

・位置合わせ
図８は、本実施形態に係る第２の設定方法における位置合わせ方法を説明するための図である。図８に示すように、本方法では、符号６０１１に示すアーム基準位置、符号６０１２に示す手術台基準位置、及び符号６０１３に示す患者基準位置が定義される。内視鏡手術システム５０００は、アーム基準位置と手術台基準位置までの位置関係（x，y，z）を測定する。また、内視鏡手術システム５０００は、手術台基準位置から患者基準位置までの位置関係（x，y，z）を測定する。なお、図８に示した例では、患者基準位置は、x，yが患者のへそのx，y位置、zが手術台の高さである。

次いで、内視鏡手術システム５０００は、アーム基準位置座標系から符号６０１４に示す内視鏡（術具）先端座標系への変換行列を求める。また、内視鏡手術システム５０００は、アーム基準位置座標系から患者基準位置への変換行列を求め、患者座標系を設定する。

そして、内視鏡手術システム５０００は、患者座標系から内視鏡（術具）先端座標系への変換行列を求める。

・バーチャルウォールの設定
図９は、本実施形態に係る第２の設定方法におけるバーチャルウォールの設定を説明するための図である。図９に示すように、内視鏡手術システム５０００は、符号６０１５に示す移動可能領域を設定する。体的には、内視鏡手術システム５０００は、患者座標系を用いて、移動可能領域を記述し、移動可能領域（即ち、バーチャルウォール）の設定を行う。その際、内視鏡手術システム５０００は、簡易的に手術台からの高さなどによって、移動可能領域を定義することもできる。また、術前に測定された患者の胴囲を用いて、内視鏡手術システム５０００は、胴囲に応じた高さで移動可能領域を定義することもできる。

内視鏡手術システム５０００は、患者座標系で記述された移動可能領域に対して、患者座標系から内視鏡（術具）先端座標系への変換行列を用いて座標変換を行い、内視鏡（術具）先端座標系で移動可能領域を扱えるようにする。そして、内視鏡手術システム５０００は、内視鏡（術具）先端座標系で記述された移動可能領域を超えないように、アーム先端位置の制御を行う。

・処理の流れ
図１０は、本実施形態に係る第２の設定方法におけるバーチャルウォールの設定処理の流れの一例を示すフローチャートである。図１０に示すように、まず、内視鏡手術システム５０００は、アーム基準位置と手術台基準位置までの位置関係（x，y，z）を測定し、手術台基準位置からアーム基準位置への変換行列を求める（ステップＳ２０２）。次いで、内視鏡手術システム５０００は、アーム基準位置からの座標変換を行い、内視鏡（術具）先端座標系を設定する（ステップＳ２０４）。次に、内視鏡手術システム５０００は、手術台基準位置から患者基準位置までの位置関係（x，y，z）を測定する（ステップＳ２０６）。次いで、内視鏡手術システム５０００は、手術台基準位置から患者位置までの変換行列を求め、患者座標系を設定する（ステップＳ２０８）。次に、内視鏡手術システム５０００は、患者座標系から内視鏡（術具）先端座標系の変換行列を求める（ステップＳ２１０）。

次いで、内視鏡手術システム５０００は、患者胴囲の測定結果が有るか否かを判定する（ステップＳ２１２）。患者胴囲の測定結果が有ると判定された場合（ステップＳ２１２／ＹＥＳ）、内視鏡手術システム５０００は、患者の胴囲に応じた移動可能領域を設定する（ステップＳ２１４）。一方で、患者胴囲の測定結果が無いと判定された場合（ステップＳ２１２／ＮＯ）、内視鏡手術システム５０００は、手術台からの高さに応じた移動可能領域を設定する（ステップＳ２１６）。

移動可能領域を設定後、内視鏡手術システム５０００は、患者座標系で記述された移動可能領域に対して、患者座標系から内視鏡（術具）先端座標系への変換行列を用いて、座標変換を行う（ステップＳ２１８）。そして、内視鏡手術システム５０００は、内視鏡（術具）先端座標系で記述された移動可能領域を超えないように、アーム先端位置の制御を行う（ステップＳ２２０）。

（３）第３の設定方法
第３の設定方法では、距離に応じたバーチャルウォールが設定される。以下、第３の設定方法における処理の流れを簡単に説明する。

まず、内視鏡手術システム５０００は、内視鏡先端座標系を設定する。次いで、内視鏡手術システム５０００は、距離センサで臓器までの距離を測定する。次に、内視鏡手術システム５０００は、距離に応じたバーチャルウォールを定義する。次いで、内視鏡手術システム５０００は、バーチャルウォールの空間を、変換行列を用いてアーム座標系で記述し、アームの制御に利用する。そして、内視鏡手術システム５０００は、術具・内視鏡の先端をアーム座標系で記述し、バーチャルウォールを超えないように制御を行う。

以下、第３の設定方法における処理について詳細に説明する。

・バーチャルウォールの設定
図１１は、本実施形態に係る第３の設定方法におけるバーチャルウォールの設定を説明するための図である。図１１に示すように、内視鏡手術システム５０００は、符号６０２１に示す移動可能領域を設定する。具体的には、まず、内視鏡手術システム５０００は、距離センサにより内視鏡先端から患者体内の臓器までの距離を測定する。これにより、内視鏡手術システム５０００は、患者体内の開空間の大きさを知得する。なお、距離計測には、デプスセンサ、３Ｄ内視鏡（ステレオ）、オートフォーカス距離、単眼ステレオ、又はＳＬＡＭ（Simultaneous Localization and Mapping）などの技術が活用され得る。そして、内視鏡手術システム５０００は、距離に応じた移動可能領域を、符号６０２２に示す内視鏡先端座標系で記述する。

そして、内視鏡手術システム５０００は、内視鏡先端座標系で記述された移動可能領域を超えないように、アーム先端位置の制御を行う。

第３の設定方法におけるバーチャルウォールの設定について、図１２を参照してさらに詳しく説明する。

図１２は、本実施形態に係る第３の設定方法におけるバーチャルウォールの設定を説明するための図である。図１２では、患者５０７１の腹壁に穿刺されたトロッカ５０２５ａから患者５０７１の体腔内に内視鏡５００１の鏡筒５００３が挿入された様子が示されている。内視鏡手術システム５０００は、内視鏡先端から臓器までの距離ＷＤ（Working Distance）を測定する。次いで、内視鏡手術システム５０００は、測定した距離ＷＤから内視鏡最短距離（最短でピントが合う距離）であるＷＤ_ｍｉｎを引いた距離を、バーチャルウォール設定距離ＷＤ_ＶＷとして設定する。そして、内視鏡手術システム５０００は、バーチャルウォール設定距離ＷＤ_ＶＷ及び内視鏡の画角６０３１に基づいて、バーチャルウォール６０３２を設定する。このバーチャルウォール６０３２に含まれる領域が、内視鏡の移動可能領域である。このような設定により、ピントが合わない距離にまで内視鏡５００１が臓器に近づくことを防止することができる。

なお、内視鏡５００１は、測距センサを備え、距離ＷＤは、かかる測距センサにより測定される。測距センサは、カメラヘッド５００５に設けられてもよいし、鏡筒５００３に設けられてもよい。また、内視鏡５００１に設けられる撮像装置(例えば、上述した撮像部５００９)が測距センサとして機能してもよい。測距方法としては、ＴＯＦ（Time of Flight）方式、オートフォーカスの距離に基づく測距、ステレオ画像に基づく測距、及びＳＬＡＭ（Simultaneous Localization and Mapping）技術の利用等、多様な技術が採用され得る。内視鏡５００１に測距センサが備えられることで、内視鏡手術システム５０００は、患者体内の開空間の大きさを知得し、バーチャルウォールを設定するための情報として使用することが可能となる。

・処理の流れ
図１３は、本実施形態に係る第３の設定方法におけるバーチャルウォールの設定処理の流れの一例を示すフローチャートである。図１３に示すように、まず、内視鏡手術システム５０００は、アーム基準位置からの座標変換を行い、内視鏡先端座標系を設定する（ステップＳ３０２）。次いで、内視鏡手術システム５０００は、距離センサにより内視鏡先端から患者体内の臓器までの距離ＷＤを測定する（ステップＳ３０４）。

次に、内視鏡手術システム５０００は、内視鏡最短距離ＷＤ_ｍｉｎ情報が有るか否かを判定する（ステップＳ３０６）。内視鏡最短距離ＷＤ_ｍｉｎ情報が有ると判定された場合（ステップＳ３０６／ＹＥＳ）、内視鏡手術システム５０００は、内視鏡最短距離ＷＤ_ｍｉｎを、測定した距離ＷＤから引いたバーチャルウォール設定距離ＷＤ_ｖｗを設定する（ステップＳ３０８）。一方で、内視鏡最短距離ＷＤ_ｍｉｎが無いと判定された場合（ステップＳ３０６／ＮＯ）、内視鏡手術システム５０００は、測定した距離ＷＤをバーチャルウォール設定距離ＷＤ_ｖｗとして設定する（ステップＳ３１０）。

次いで、内視鏡手術システム５０００は、バーチャルウォール設定距離ＷＤ_ｖｗ及び内視鏡の画角に応じた移動可能領域を内視鏡先端座標系で設定する（ステップＳ３１２）。そして、内視鏡手術システム５０００は、内視鏡先端座標系で記述された移動可能領域を超えないように、アーム先端位置の制御を行う（ステップＳ３１４）。

−バーチャルウォールの設定に関するイメージ
以下、図１４〜図２０を参照して、バーチャルウォールの設定に関するイメージを説明する。図１４〜図２０は、本実施形態に係るバーチャルウォールの設定を説明するための図である。

図１４に示すように、レジストレーションの際には、例えば患者５０７１に４つのマーカー６００２（６００２Ａ〜６００２Ｄ）が取り付けられる。図１５は、大腸付近を撮影対象としたＣＴ画像の一例である。図１６は、ＣＴ画像から３次元化した大腸のイメージである。内視鏡手術システム５０００は、患者の体に取り付けられたマーカーを利用して、術前に測定した大腸の位置を手術中の患者の体の位置に位置合わせする。図１７は、設定されるバーチャルウォールの第１の例である。第１の例では、大腸にも触れないバーチャルウォール６０４１が設定されている。図１８は、設定されるバーチャルウォールの第２の例である。第２の例では、大腸には触れられるが、その奥の臓器には触れられないバーチャルウォール６０４２が設定されている。図１９は、設定されるバーチャルウォールの第３の例である。第３の例では、簡易的なバーチャルウォール６０４３が設定されている。この簡易的なバーチャルウォール６０４３は、測定された腹囲に応じて高さが調整され得る。図２０は、設定されるバーチャルウォールの第４の例である。第４の例では、簡易的なバーチャルウォール６０４４が設定されている。この簡易的なバーチャルウォール６０４４は、身体の中心位置から弧を描くように設定されており、測定された腹囲に応じて弧が調整され得る。

−バーチャルウォールの設定に関する補足
内視鏡手術システム５０００は、手術中に内視鏡、術具の動作範囲が狭くなる方向に対してバーチャルウォールを設定することを容易に行えるようにしておくことが望ましい。例えば、内視鏡手術システム５０００は、手術中に、移動可能領域が狭まるよう移動可能領域の境界を定義するバーチャルウォールを再設定する。これにより、術者は、安全に手術を行うための設定を簡単に行うことができる。

また、内視鏡手術システム５０００は、手術中に内視鏡、術具の動作範囲が広くなる方向に対してバーチャルウォールを設定することは慎重に行うようにしておくことが望ましい。例えば、ＵＩでＯＫ又はＮＧを選択させ、ＯＫが選択された場合にのみ設定する等、簡単には設定できないようにしておくことが望ましい。動作範囲が広くなる方向にバーチャルウォールが設定されると、手術器具の臓器接触リスクが相対的に高くなるところ、操作の確認が行われることで、そのような設定を誤って行うことを防止することができる。

また、内視鏡手術システム５０００は、バーチャルウォールを解除できるようにしておくことが望ましい。

−アーム先端位置の制御
内視鏡手術システム５０００は、内視鏡（術具）先端座標系で記述されたバーチャルウォール（即ち、移動可能領域）を超えないように、アーム先端位置の制御を行う。具体的には、内視鏡手術システム５０００は、操作空間内の運動目的を下記の数式（１）のように設定する。

ここで、数式（１）の左辺は、操作空間内の運動目的である。また、Δｘ＝ｘ_ｗ−ｘであり、バーチャルウォールの設定位置ｘ_ｗと現在の内視鏡（術具）先端位置ｘとの差を表す。また、Ｋ_ｐ及びＫ_ｖの設定値により、バーチャルウォールに達した時の特性（例えば、硬さ）を変更することが可能である。

上記数式（１）に示した運動目的から、全軸協調制御を介し各関節に作用するトルクτ_αが算出されるので、アーム全体としては、上記数式（１）に示した運動目的に相当する反力を受けた動作となる。

−効果
本実施形態によれば、内視鏡手術システム５０００は、臓器損傷のリスクを軽減することが可能である。また、内視鏡手術システム５０００は、手術中に内視鏡、術具を操作する医師のストレスを低減することが可能である。また、内視鏡手術システム５０００は、ジョイスティック、マスタースレイブなどの触覚がない操作についても、術者が安心して内視鏡、術具の操作を行うことを可能にする。

本実施形態に係る技術は、制御対象が臓器に触れることが防止されるので、特に内視鏡に有効である。また、本実施形態に係る技術は、鉗子、術具については、例えば膵臓など損傷しやすい部分を保護したり、神経損傷などを起こしやすい部分に対して、保護したりするような使い方を実現可能である。

＜＜３．第２の実施形態＞＞
＜３．１．概要＞
本実施形態は、バーチャルウォールの使用に関する。

本実施形態によれば、患者の体腔内に仮想面を設定し、多関節アームに取り付けられて患者の体腔内へ挿入される内視鏡のうち体腔内の所定の点を仮想面上に拘束するように多関節アームを制御する制御部、を備える医療用アームシステムが提供される。適切な仮想面（例えば、第１の実施形態において説明したバーチャルウォール）が設定される場合、内視鏡のうち体腔内の所定の点が仮想面に拘束されることで、臓器損傷リスクを軽減させることが可能である。さらに、本実施形態に係る医療用アームシステムは、内視鏡により得られる画像の中心領域（中心又はその付近）に体腔内の対象物（即ち、観察対象物）が存在するように多関節アームを制御する。これにより、内視鏡により得られる画像の中心領域に手術器具又は腫瘍等の対象物を捉えることが可能となり、術者の利便性が向上する。医療用アームシステムの制御部は、内視鏡手術システム５０００のアーム制御装置５０４５、又はアーム制御装置５０４５に搭載されるＣＰＵ等のプロセッサとして実現され得る。また、上記制御部は、医療用アームシステムとは別体の情報処理装置として実現されてもよい。仮想面上に拘束される所定の点を、以下で拘束対象点とも称する。

以下、図２１及び図２２を参照して、本実施形態の概要を説明する。なお、以下では、拘束対象点は内視鏡の先端であるものとする。

図２１及び図２２は、本実施形態の概要を説明するための図である。図２１では、患者５０７１の腹壁に穿刺されたトロッカ５０２５ａから患者５０７１の体腔内に内視鏡５００１の鏡筒５００３が挿入された様子が示されている。実線で示された内視鏡５００１は、現在の位置姿勢を示しており、破線で示された内視鏡５００１は、本実施形態に係る内視鏡制御処理による移動先の（即ち、未来の）位置姿勢を示している。また、患者５０７１の腹壁に穿刺されたトロッカ５０２５ｄから鉗子５０２３が挿入されている。図２２では、図２１に示した内視鏡５００１により得られる画像（以下、内視鏡映像とも称する）が示されており、左図が現在の位置姿勢で得られる画像であり、右図が本実施形態に係る内視鏡制御処理による移動後に得られる画像である。

図２１を参照すると、内視鏡５００１の現在の位置姿勢では、鉗子５０２３の先端が内視鏡５００１の視野６０５２内に捉えられているものの、中心軸（即ち、光軸）６０５１上にはない。そのため、図２２の左図に示すように、中心に鉗子５０２３の先端が映っていない内視鏡映像が得られることになる。本実施形態に係る内視鏡手術システム５０００は、このような状況において、画面中心に鉗子５０２３等の術具が映るように、内視鏡５００１を移動させる処理を行う。詳しくは、内視鏡手術システム５０００は、鉗子５０２３の先端が中心軸６０５１上に位置するように、図示しない支持アーム装置５０２７により内視鏡５００１を移動させる。これにより、図２２の右図に示すように、中心に鉗子５０２３の先端が映った内視鏡映像が得られることになる。

このように、内視鏡手術システム５０００は、術具を自動で追従して、術具が画面中心に映った内視鏡映像を提供することが可能となる。よって、術者は、手術を中断して内視鏡５００１を操作せずとも、快適に手術を継続することが可能となる。また、追従の対象物が上記説明したように鉗子である場合、鉗子は手術における使用頻度が高いので、術者の利便性を特に向上させることが可能である。

さらに、図２１を参照すると、仮想面６０５０が設定されている。仮想面６０５０は、例えば、上述した第１の実施形態において説明した処理により設定されたバーチャルウォールであってもよい。本実施形態に係る内視鏡手術システム５０００は、内視鏡先端を仮想面６０５０上に拘束して移動させる。これにより、内視鏡手術システム５０００は、内視鏡を臓器に接触させることなく、術具を自動で追従することが可能である。また、内視鏡を単純に傾けるだけでは撮影対象（臓器及び術具）から遠ざかってしまうところ、内視鏡先端が仮想面上に拘束されるので、撮影対象から遠ざかることを防止することが可能である。

なお、図２１では、仮想面６０５０が直線（即ち、平面）として図示されているが、仮想面６０５０は曲面であってもよく、例えば、臓器から所定の距離を保つ曲面であってよい。

続いて、図２３を参照して、拘束対象点の一例を説明する。図２３は、本実施形態に係る拘束対象点の一例を説明するための図である。図２３では、患者５０７１の腹壁に穿刺されたトロッカ５０２５ａから患者５０７１の体腔内に、内視鏡５００１Ａ〜５００１Ｃの各々の鏡筒５００３が挿入された様子が示されている。図２３の左側に示す内視鏡５００１Ａは、内視鏡の長手方向（即ち、進行方向）の対象物６０６０Ａを撮像対象とする直視鏡である。図２３の中央に示す内視鏡５００１Ｂは、内視鏡の長手方向から斜めにずれた方向の対象物６０６０Ｂを撮像対象とする斜視鏡である。図２３の右側に示す内視鏡５００１Ｃは、内視鏡の長手方向と直交する方向（即ち、内視鏡の側面）の対象物６０６０Ｃを撮像対象とする側視鏡である。内視鏡手術システム５０００は、内視鏡５００１Ａ〜５００１Ｃの長手方向の先端の点６０７０Ａ〜６０７０Ｃを、拘束対象点としてもよい。この場合、臓器に接触する可能性が最も高い、内視鏡５００１のうち患者の体腔内に挿入される部分において最もトロッカ５０２５ａから遠い点が、仮想面に拘束されることとなるので、臓器損傷リスクを最小化することができる。内視鏡手術システム５０００は、内視鏡５００１Ａ〜５００１Ｃの対物レンズ上の点６０７１Ａ〜６０７１Ｃを、拘束対象点としてもよい。対物レンズは、典型的には図２３に示すように内視鏡先端の付近に存在するので、内視鏡先端を拘束対象点とする場合と同様に、臓器損傷リスクを軽減することができる。もちろん、拘束対象点は、これらの例に限定されず、内視鏡先端付近に存在する任意の点とすることができる。なお、以下では、拘束対象点は内視鏡先端であるものとして説明する。

続いて、図２４を参照して、上述した内視鏡制御を実現する処理の概要を説明する。

図２４は、本実施形態に係る内視鏡制御処理の概要を説明するための図である。図２４に示した各々のブロックは処理を示しており、内視鏡制御処理は複数の処理から成る。図２４に示すように、内視鏡手術システム５０００は、画像処理を行って、術具等のターゲットを検出する。次いで、内視鏡手術システム５０００は、検出結果に基づいてターゲットの位置を算出する。次に、内視鏡手術システム５０００は、算出されたターゲットの位置及びトロッカ位置に基づいて、現在の内視鏡の姿勢を算出する。次いで、内視鏡手術システム５０００は、算出した現在の内視鏡の姿勢及び仮想面（平面又は曲面）の設定情報に基づいて、目標となる内視鏡先端位置を算出する。次に、内視鏡手術システム５０００は、現在の内視鏡の姿勢と目標となる内視鏡先端位置とに基づいて内視鏡の姿勢の変化量を演算し、演算した変化量に応じた姿勢変化を実現させるためのアームの制御情報（即ち指令）を生成する。そして、内視鏡手術システム５０００は、生成した指令に従って動作するようロボットアーム（例えば、アーム部５０３１）を制御する。内視鏡手術システム５０００は、以上説明した一連の処理を繰り返し行う。

＜３．２．詳細＞
以下、本実施形態に係る内視鏡制御処理の詳細を説明する。

（１）はじめに
本実施形態によれば、内視鏡手術システム５０００は、内視鏡映像から術具を認識して自動で追従する機能を実現可能である。以下では、画像処理部分（マーカ検出）および検出結果からアームが内視鏡を操作して、トロッカ点を考慮しつつ画面中心に術具がくるように移動させるための計算方法を説明する。

以下、機能要件を説明した後、画像処理による術具（マーカー）の検出方法を記載し、そのあとに検出結果から目標となる移動情報と姿勢情報に変換して動作するまでの計算方法を説明する。

（２．１）機能要件
内視鏡下外科手術を想定すると、以下の制約が設定される。アームの操作は、これらの制約を守った上で、画面中心に術具をとらえ続けるような連続的な操作を実現することが望ましい。
・トロッカ点から内視鏡が離れないこと
・開始時点の内視鏡先端部に設定される面（例えば、第１の実施形態におけるバーチャルウォール）上を移動すること
・内視鏡映像には２Ｄが使用されること
・カメラおよび内視鏡のキャリブレーションは行わずに実現できること

なお、以下では、直視鏡のみを説明対象とし斜視鏡を説明対象外とするが、もちろん、斜視鏡にも本技術は適用可能である。

（２．２）画像処理
内視鏡手術システム５０００は、画像処理により術具（例えば、術具の先端位置及び／又は姿勢）を検出する。

例えば、目印となるマーカーを術具先端部に取り付けることで、内視鏡映像に基づく画像処理により術具の位置が検出されてもよい。マーカーは、検出容易であることが望ましい。例えば、マーカーは青又は緑といった、体腔内では目立つ色であってもよい。また、マーカーは、２次元コード又はバーコード等の特定のパターンであってもよい。これにより、内視鏡手術システム５０００は、追従の対象物を容易に認識することが可能となる。

例えば、目印となるマーカーを術具の体外に出ている部分に取り付けることで、外部のセンサによるマーカーの検出結果、術具の長さ及び姿勢等の情報に基づいて術具の位置が検出されてもよい。

なお、術具の検出は、画像処理以外の手法により行われてもよい。

例えば、特別なトロッカを作成することで、術具の挿入量とトロッカの角度とに基づいて術具の位置が算出されてもよい。

例えば、術具を内視鏡とは別のロボットアームに取り付けることで、ロボットアームの位置姿勢情報から術具の位置が算出されてもよい。

（２．３）目標計算
（２．３．１）処理の概要
内視鏡手術システム５０００は、目標計算を行う。目標計算は、位置及び姿勢の二つを計算して、移動を指示するための計算である。

詳しくは、内視鏡手術システム５０００は、最初に目標位置を画像処理結果から求めたあと、トロッカ点を起点とした現在の姿勢及び目標位置到達時の姿勢に基づいて、姿勢の変化量を決定する。また、内視鏡手術システム５０００は、画像処理の結果から移動量を求める間はエンコーダから取得される現在の位置・姿勢を基に目標計算を行うが、実際の指令を行う場合は、最後に行った指令値に、算出した値を足し合わせて行う。この理由は、現在値と指令値との間に制御誤差に起因するズレが発生していて、指令値を出す場合に現在値を起点にゴールを設定してしまうと動作がスムーズでなくなり、また誤差が大きくなっていく問題が発生するためである。

以下、図２５を参照して、目標計算処理の流れの一例を説明する。

図２５は、本実施形態に係る内視鏡手術システム５０００による目標計算処理の流れの一例を示すフローチャートである。図２５に示すように、内視鏡手術システム５０００は、まず、座標計算を行う。

座標計算において、内視鏡手術システム５０００は、まず、現在値基準で座標を計算する。詳しくは、内視鏡手術システム５０００は、画像処理結果を取得する（ステップＳ４０２）。次いで、内視鏡手術システム５０００は、検出位置をカメラ座標系に変換する（即ち、２Ｄから３Ｄへの変換）（ステップＳ４０４）。次に、内視鏡手術システム５０００は、カメラ座標系からＷｏｒｌｄ座標系へ変換する（ステップＳ４０６）。次いで、内視鏡手術システム５０００は、トロッカ点から単位ベクトルへ変換する（ステップＳ４０８）。次に、内視鏡手術システム５０００は、既定平面（即ち、仮想面）との交点までの長さを求める（ステップＳ４１０）。次いで、内視鏡手術システム５０００は、トロッカ点から既定平面までのベクトルをＷｏｒｌｄ座標系へ変換する（ステップＳ４１２）。

内視鏡手術システム５０００は、現在値基準で座標を計算した後、指令値基準で座標を計算する。詳しくは、内視鏡手術システム５０００は、内視鏡の長さを基に挿入深さへ変換する（ステップＳ４１４）。

座標計算後、内視鏡手術システム５０００は、姿勢計算を行う。

姿勢計算において、内視鏡手術システム５０００は、まず、現在値基準で姿勢を計算する。詳しくは、内視鏡手術システム５０００は、現在の姿勢ベクトルを取得する（ステップＳ４１６）。次いで、内視鏡手術システム５０００は、計算した新しい目標ベクトルの姿勢を求める（ステップＳ４１８）。次に、内視鏡手術システム５０００は、計算した新しい目標ベクトルとの間の相対的な姿勢変化量を求める（ステップＳ４２０）。

内視鏡手術システム５０００は、現在値基準で姿勢を計算した後、指令値基準で姿勢を計算する。詳しくは、内視鏡手術システム５０００は、最終指令値の姿勢からの姿勢変化量に変換する（ステップＳ４２２）。

以上説明した処理により、内視鏡手術システム５０００は、目標位置及び目標姿勢を得る。

（２．３．２）目標位置計算
図２６は、本実施形態に係る目標位置計算を説明するための図である。図２６に示すように、画像処理結果は、カメラ先端の画面中心を（０．５，０．５）としたカメラ座標系から見た位置が、［０．０−１．０］に正規化された値で通知される。そのままでは無次元の値のため、内視鏡手術システム５０００は、最初にメートル単位系に変換する。ただし、内視鏡手術システム５０００は、画像処理結果は２Ｄで奥行き方向の情報がないため、変換の際に奥行きを例えば５０［ｍｍ］と仮定して、画角と組み合わせて仮想的な位置とする。

奥行を５０［ｍｍ］と仮定した理由を説明する。第１の理由は、仮定した値が実際の値より大きいと、（ｘ，ｙ）の移動量が実際の（ｘ，ｙ）より大きくなり、オーバーランする（振動的になる）ためである。第２の理由は、想定術式での撮影距離を５０［ｍｍ］〜１００［ｍｍ］と設定して、最短の距離としたためである。第３の理由は、実距離のほうが大きい場合、次の画像処理結果で新たに残差から移動が決定されるため、最終的にゴールに到達可能なためである。

また、無次元の値（ｘ，ｙ）をメートル単位（Ｘ，Ｙ，Ｚ）に変換するためには、以下の数式（２）〜（４）が使用される。

ただし、ｚ_{ｃｏｎｓｔ}は、仮定した奥行距離（今回は０．０５）である。

カメラ座標系とアームの最終軸（Camera Yaw軸）とは、ｚ軸回りに０度、±９０度、１８０度のいずれか回転した状態で取り付けられている。例えば、１８０度回転した状態で取り付けられている場合、ｚ軸回りの回転行列をかけて内視鏡の長さＬをｚ軸方向に足すことで、Ｃａｍｅｒａ Ｙａｗ軸の座標系から見た位置Ｐ_{Ｃａｍｅｒａ Ｙａｗ}へ変換される。

内視鏡手術システム５０００は、求めた対象の位置から、内視鏡映像の中心部に対象物が映るようにするために、カメラの光軸上に対象物が一致するようにカメラを移動させる。その際、内視鏡の場合、トロッカ点から内視鏡が外れないこと、および動作開始時に設定した平面上を先端が動作すること、という二つの拘束条件を考慮した動作が行われることが望ましい。そのため、内視鏡手術システム５０００は、先端の目標位置として、トロッカ点と対象の位置を結んだ線上かつ、指定平面との交点を求める。内視鏡手術システム５０００は、この計算を、例えば以下のように行う。

カメラ座標系Ｏ_ｃからみた、対象からトロッカ点方向の単位ベクトルをｗ_ｃ、対象の位置をｑ_ｃ、既定平面の原点をＯ_Ｐとする。このとき、Ｏ_ｃからみたＯ_ｐ平面上と交わる点ｑ’は、ｑ’＝ｑ_ｃ＋αｗ_ｃとおける（αは、ベクトルの長さを決めるスカラー値である）。ここで、αを求めるためにｑ’をＯ_ｐから見た場合、ｑ’のｚは０となることを利用する。そこで、この値をｑ’_ｐとおいたとき、ｑ’_ｐは次式のように表される。

この関係式からｑ’_ｐのｚが０になるような方程式は、次式のように表される。

ただし、ｚ（・）は、ベクトルのｚの値をとる関数である。上記数式（７）をαについて解くと、次式が導かれる。

上記数式（８）をｑ’_ｃと組み合わせると、次式が導かれる。

上記数式（９）に示したｑ’_ｃが、目標位置となる。

目標位置は、現在値を基準に決定されるが、指令値は最終指令値を基準にした相対的な変位量として指令される。そのため、現在値としての先端位置ｐ_ｃと求めたｑ’_ｃおよび最終指令値ｐを用いると、新しい指令値ｐ’は次式で表される。

（２．３．３）目標姿勢計算
内視鏡手術システム５０００は、目標位置が決まったあとに目標姿勢を求める。すでに目標姿勢についての情報としてｗ_ｐがあるため、このｗ_ｐと現在の姿勢の単位ベクトルｖ_ｐからクォータニオンを使って次式のように姿勢を求めることができる。以下では、ｗ_ｐとｖ_ｐをクォータニオンへ変換したものをそれぞれｑ_ｗ、ｑ_ｖとおく。なお、本節におけるｑ_ｗ及びｑ_ｖは、（３．３．２）におけるｑ_ｗ及びｑ_ｖと記号が同じであるが別の意味であることに注意されたい。

ｑ_ｗ内でｗ_ｐの符号がマイナスとなっている理由は、もともとのベクトルが対象位置からトロッカ方向へのベクトルであるためであり、方向を反転させる目的でマイナスが適用されている。ベクトルをクォータニオンに変換したもの同士の積は、実部は虚部のベクトルの内積が符号を反転したものとなり、虚部は二つのベクトルのクロス積となる。またクロス積は、二つのベクトルと直交した回転軸となることがわかっている。

そのため、二つのベクトルのなす角をθ、クロス積の結果をｕとおいたとき、次式の関係から、ｕを回転軸としてθ回転させればよいことになる。

そこで、これら２つを用いて回転を表すクォータニオンｑ_ｒは次式で表される。

ｑ_ｒも、目標位置と同様に計算結果は現在の姿勢を基にしているが、指令値は最終指令値からの変化として計算される。この指令値は、ｐを用いて次式で表される。

（３）実施環境
これまでに説明した方法で実際に動作実験を行ったところ、良好な動作結果が得られた。そこで、以下では、実験に用いた構成及び環境について説明する。

（３．１）調整パラメータ
実機で動作するにあたって、動作に関係するいくつかのパラメータを調整した。ここではそのパラメータ及び最終的な値を説明する。

（３．１．１）画像処理周期
映像自体は６０［Ｈｚ］の周期で更新されるが、実際にこの周期で目標を更新したところ発散的な振動が発生して安定した動作を行えなかった。原因として以下のようなものが考えられる。
・次回更新周期までに移動を完了しようとして高速移動になる
・移動が速く画像がぶれて処理結果が不安定になる
・ノイズに対しても敏感に反応してしまう

対策方法としては最大速度の制限を加えるなどが考えられた。今回は、画像の更新周期を５［Ｈｚ］に落とすことで、最終的に安定した動作が実現された。

（３．１．２）更新ごとの追従量
追従動作は、次の画処理結果の更新値がくるまでに画処理結果に基づいて決定した位置への移動を行う動作である。理想的には、次の更新時点で完全に前回の結果の位置にいることが望ましい。ただし、今回、画像処理による位置は奥行き方向を仮想的な距離としているため、誤差が大きいことが予想された。そこで、１回の画処理結果に対して次回の更新タイミングまでに進む量（即ち、追従量）は、理想的な目標位置の半分とした。つまり、画像処理の周期を半分とした場合と同様の動作が行われる。また、このような追従量の設定は、Ｐ制御におけるゲインを０．５としたときと同等の効果を期待して行われた。

（３．１．３）速度制限
上記説明したように、一回の画像処理結果に対する移動量は、次回画処理結果の更新までに全体の半分の距離まで近づいているように調整されている。しかし、マーカーが一度画面外に出た後、再び画面に映るような場合、移動距離が大きいためどうしても移動速度が大きくなってしまう。例えば、患者の体腔内の臓器近くで動作する内視鏡があまり高速で動作をすると、接触の危険や不安が生じ得る。そこで、内視鏡手術システム５０００は、内視鏡先端の移動速度を所定の速度以下に制限する。これにより、内視鏡が患者の体腔内の臓器に接触する危険や不安を低減することができる。

今回の手法では、トロッカ点を拘束点としているため、先端の位置は大きく変化しない一方で、姿勢が大きく変化する。そのため、姿勢の変化速度が、最大で１０［ｄｅｇ／ｓ］以下になるように速度制限を行った。これによって、画面外からマーカーが入ってきた場合も、急激な動きを緩和して安定した動作を行わせることが可能となった。

以上説明した調整パラメータの設定を、下記の表１にまとめた。

（３．１．４）ＣＣＵの設定
画像処理は、カメラの画づくりの影響を受けるため、使用したＣＣＵの設定をＡｕｔｏ Ｅｘｐｏｓｕｒｅとして、Ｗｈｉｔｅ Ｂａｌａｎｃｅは実験直前にＷｈｉｔｅ Ｂａｌａｎｃｅ調整機能を使用して調整した３２００［Ｋ］を使用した。２種類の実験環境で実験を行ったが、いずれの場合も接続した光源装置の影響が支配的だったため、いずれも同じパラメータで良好な動作を示した。

（４）拘束の解除
内視鏡手術システム５０００は、仮想面への拘束対象点の拘束を解除してもよい。例えば、アーム部５０３１がユーザからの外力を受けて、アーム制御装置５０４５がパワーアシスト制御を行ったことをトリガとして、内視鏡手術システム５０００は、仮想面への拘束対象点の拘束を解除してもよい。また、内視鏡手術システム５０００は、術者による音声入力又は図示しないボタン等への入力により拘束の解除が指示されたことをトリガとして、仮想面への拘束対象点の拘束を解除してもよい。内視鏡手術システム５０００は、ロボットアームを手術で使用しなくなった場合、内視鏡の交換、洗浄などで内視鏡５００１を患者の体腔外に取り出す場合など、体腔内での処置のための操作とは異なる操作が行われる場合に、仮想面への拘束対象点の解除を行う。これにより、仮想面に拘束対象点を拘束する理由が消失した場合に、手術を妨げ続けないようにすることが可能となる。

（５）術者による操作
内視鏡手術システム５０００は、術者による操作入力に基づいて、アーム部５０３１を制御する。例えば、内視鏡手術システム５０００は、術者５０６７による入力装置５０４７（フットスイッチ５０５７を含む）又は図示しないボタン等への操作入力に基づいて、アーム部５０３１を駆動して内視鏡５００１の位置及び姿勢を制御してもよい。アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよく、その場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。また、内視鏡手術システム５０００は、ユーザからの外力に基づきアーム部５０３１を制御する、いわゆるパワーアシスト制御を行ってもよい。

内視鏡手術システム５０００は、術者による操作入力に基づいてアーム部５０３１を制御する際にも、内視鏡５００１の拘束対象点を仮想面に拘束する。これにより、術者は、内視鏡５００１の拘束対象点を仮想面に拘束させつつ、内視鏡５００１を自在に動かすことが可能となるので、術者の利便性が向上する。さらに、内視鏡５００１の拘束対象点が仮想面に拘束されるので、内視鏡５００１から対象物までの距離が近づきすぎたり離れすぎたりすること、及びそれに伴うピントのずれを防止することが可能となる。また、内視鏡５００１の拘束対象点が仮想面に拘束されるので、臓器損傷リスクを軽減させることが可能である。

術者による操作入力は、音声入力であってもよい。例えば、術者が内視鏡映像の画面を見ながら上下左右の指示を音声で行うと、内視鏡手術システム５０００は、内視鏡５００１の拘束対象点を仮想面に拘束しつつ、指示された方向の内視鏡映像が得られるように内視鏡５００１の位置及び姿勢を制御する。これにより、術者は音声入力のみで内視鏡５００１を自在に動かすことが可能となるので、例えば内視鏡５００１への手での操作入力のために術具を一旦置く等の動作が不要となり、術者の利便性がさらに向上する。さらに、内視鏡５００１の拘束対象点が仮想面に拘束されるので、内視鏡５００１から対象物までの距離が近づきすぎたり離れすぎたりすること、及びそれに伴うピントのずれを防止することが可能となる。また、内視鏡５００１の拘束対象点が仮想面に拘束されるので、臓器損傷リスクを軽減させることが可能である。

（６）補足
上記では、内視鏡手術システム５０００が、内視鏡５００１の光軸上に対象物が存在するようにアーム部５０３１を制御することで、内視鏡により得られる画像の中心に対象物を存在させる技術について詳しく説明したが、本技術はかかる例に限定されない。例えば、内視鏡手術システム５０００は、内視鏡５００１の光軸付近に対象物が存在するようアーム部５０３１を制御してもよい。これにより、内視鏡により得られる画像の中心付近に対象物を存在させることが可能となる。なお、許容される光軸から対象物までのずれ（トロッカ点を原点とする角度差）の具体的な値は任意であるが、内視鏡５００１の倍率及び対象物までの距離等に応じて変動し得る。

（７）まとめ
本実施形態では、内視鏡映像上のマーカーを検出して、その位置が画面中心になるように追従し続ける機能及び当該機能の実験について説明した。一方で、目標位置及び目標姿勢の計算には、トロッカ点と既定平面を考慮した計算方法を用いた。そして、実験の結果、マーカーに対する追従が可能なことが示された。

＜＜４．まとめ＞＞
以上、図１〜図２６を参照して、本開示の一実施形態について詳細に説明した。

第１の実施形態に係る内視鏡手術システム５０００は、医療用ロボットアームに取り付けられて患者の人体内部へ挿入される手術器具の先端と患者との相対的位置関係を計算して、相対的位置関係の計算結果に基づいて手術器具が患者の人体内部で移動可能な範囲を手術器具の先端座標系で設定する。かかる設定に基づいて、対象物（例えば、内視鏡又は術具等の手術器具）が移動可能領域から出ないように制御が行われることで、臓器損傷のリスクを軽減することが可能である。さらに、移動可能領域から出ない範囲では自在に手術器具を移動させることが可能であるので、術者の利便性が向上する。

第２の実施形態に係る内視鏡手術システム５０００は、患者の人体内部に仮想面を設定し、医療用ロボットアームに取り付けられて患者の人体内部へ挿入される内視鏡の光軸上に患者の人体内部に存在する対象物が一致するように、医療用ロボットアームを制御して内視鏡の先端を仮想面上に拘束しながら内視鏡を移動させる。これにより、内視鏡により得られる画像の中心部に手術器具又は腫瘍等の対象物を捉えることが可能となり、術者の利便性が向上する。さらに、適切な仮想面（例えば、第１の実施形態において説明したバーチャルウォール）が設定されることで、臓器損傷リスクを軽減させることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャート等を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数のリンクが関節部により連結され、先端に内視鏡を連結可能な多関節アームと、
患者の体腔内に仮想面を設定し、前記内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように前記多関節アームを制御する制御部と、
を備える、
医療用アームシステム。
（２）
前記制御部は、前記内視鏡により得られる画像の中心領域に前記体腔内の観察対象物が存在するように前記多関節アームを制御する、前記（１）に記載の医療用アームシステム。
（３）
前記観察対象物は、術具である、前記（２）に記載の医療用アームシステム。
（４）
前記観察対象物は、鉗子である、前記（３）に記載の医療用アームシステム。
（５）
前記観察対象物は、前記術具に取り付けられたマーカーである、前記（３）又は（４）に記載の医療用アームシステム。
（６）
前記制御部は、前記所定の点の移動速度を所定の速度以下に制限する、前記（１）〜（５）のいずれか一項に記載の医療用アームシステム。
（７）
前記制御部は、前記仮想面への前記所定の点の拘束を解除する、前記（１）〜（６）のいずれか一項に記載の医療用アームシステム。
（８）
前記制御部は、術者による操作入力に基づいて、前記多関節アームを制御する、前記（１）〜（７）のいずれか一項に記載の医療用アームシステム。
（９）
前記操作入力は、音声入力である、前記（８）に記載の医療用アームシステム。
（１０）
前記所定の点は、前記内視鏡の長手方向の先端の点である、前記（１）〜（９）のいずれか一項に記載の医療用アームシステム。
（１１）
前記制御部は、前記体腔内の臓器から所定距離離れた領域を、前記多関節アームに連結される手術器具の移動可能領域として設定する、前記（１）〜（１０）のいずれか一項に記載の医療用アームシステム。
（１２）
前記移動可能領域を定義する境界は、前記仮想面である、前記（１１）に記載の医療用アームシステム。
（１３）
前記制御部は、前記体腔内の形状データに基づいて前記仮想面を設定する、前記（１２）に記載の医療用アームシステム。
（１４）
前記形状データは、ＣＴ（Computed Tomography）画像又はＭＲＩ（Magnetic Resonance Imaging）画像である、前記（１３）に記載の医療用アームシステム。
（１５）
前記制御部は、前記患者の腹囲に基づいて前記仮想面を設定する、前記（１２）〜（１４）のいずれか一項に記載の医療用アームシステム。
（１６）
前記制御部は、手術中に前記手術器具の動作範囲が狭くなる方向に前記仮想面を設定する、前記（１２）〜（１５）のいずれか一項に記載の医療用アームシステム。
（１７）
前記制御部は、前記内視鏡の先端からの距離に応じた前記仮想面を設定する、前記（１６）に記載の医療用アームシステム。
（１８）
前記内視鏡は、測距センサを備える、前記（１７）に記載の医療用アームシステム。
（１９）
前記制御部は、前記内視鏡の内視鏡最短距離を、前記測距センサにより測定された前記内視鏡の先端から臓器までの距離から引いた距離を、前記仮想面の設定距離として設定する、前記（１８）に記載の医療用アームシステム。
（２０）
患者の体腔内に仮想面を設定し、内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように、複数のリンクが関節部により連結されて先端に内視鏡を連結可能な多関節アームを制御する制御部、
を備える、制御装置。
（２１）
患者の体腔内に仮想面を設定し、内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように、複数のリンクが関節部により連結されて先端に内視鏡を連結可能な多関節アームを制御すること、
を含むプロセッサにより実行される制御方法。

５０００ 内視鏡手術システム
５００１ 内視鏡
５００３ 鏡筒
５００５ カメラヘッド
５００７ レンズユニット
５００９ 撮像部
５０１１ 駆動部
５０１３ 通信部
５０１５ カメラヘッド制御部
５０１７ 術具
５０１９ 気腹チューブ
５０２１ エネルギー処置具
５０２３ 鉗子
５０２５ トロッカ
５０２７ 支持アーム装置
５０２９ ベース部
５０３１ 直接アーム部
５０３１ アーム部
５０３３ 関節部
５０３５ リンク
５０３７ カート
５０３９ カメラコントロールユニット
５０４１ 表示装置
５０４３ 光源装置
５０４５ アーム制御装置
５０４７ 入力装置
５０４９ 処置具制御装置
５０５１ 気腹装置
５０５３ レコーダ
５０５５ プリンタ
５０５７ フットスイッチ
５０５９ 通信部
５０６１ 画像処理部
５０６３ 制御部
５０６５ 伝送ケーブル
５０６７ 術者
５０６９ 患者ベッド
５０７１ 患者
６０００ 位置計測装置
６００１ マーカー
６００２ マーカー

Claims (21)

1. 複数のリンクが関節部により連結され、先端に内視鏡を連結可能な多関節アームと、
   患者の体腔内に仮想面を設定し、前記内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように前記多関節アームを制御する制御部と、
   を備える医療用アームシステム。
2. 前記制御部は、前記内視鏡により得られる画像の中心領域に前記体腔内の観察対象物が存在するように前記多関節アームを制御する、請求項１に記載の医療用アームシステム。
3. 前記観察対象物は、術具である、請求項２に記載の医療用アームシステム。
4. 前記観察対象物は、鉗子である、請求項３に記載の医療用アームシステム。
5. 前記観察対象物は、前記術具に取り付けられたマーカーである、請求項３に記載の医療用アームシステム。
6. 前記制御部は、前記所定の点の移動速度を所定の速度以下に制限する、請求項１に記載の医療用アームシステム。
7. 前記制御部は、前記仮想面への前記所定の点の拘束を解除する、請求項１に記載の医療用アームシステム。
8. 前記制御部は、術者による操作入力に基づいて、前記多関節アームを制御する、請求項１に記載の医療用アームシステム。
9. 前記操作入力は、音声入力である、請求項８に記載の医療用アームシステム。
10. 前記所定の点は、前記内視鏡の長手方向の先端の点である、請求項１に記載の医療用アームシステム。
11. 前記制御部は、前記体腔内の臓器から所定距離離れた領域を、前記多関節アームに連結される手術器具の移動可能領域として設定する、請求項１に記載の医療用アームシステム。
12. 前記移動可能領域を定義する境界は、前記仮想面である、請求項１１に記載の医療用アームシステム。
13. 前記制御部は、前記体腔内の形状データに基づいて前記仮想面を設定する、請求項１２に記載の医療用アームシステム。
14. 前記形状データは、ＣＴ（Computed Tomography）画像又はＭＲＩ（Magnetic Resonance Imaging）画像である、請求項１３に記載の医療用アームシステム。
15. 前記制御部は、前記患者の腹囲に基づいて前記仮想面を設定する、請求項１２に記載の医療用アームシステム。
16. 前記制御部は、手術中に前記手術器具の動作範囲が狭くなる方向に前記仮想面を設定する、請求項１２に記載の医療用アームシステム。
17. 前記制御部は、前記内視鏡の先端からの距離に応じた前記仮想面を設定する、請求項１６に記載の医療用アームシステム。
18. 前記内視鏡は、測距センサを備える、請求項１７に記載の医療用アームシステム。
19. 前記制御部は、前記内視鏡の内視鏡最短距離を、前記測距センサにより測定された前記内視鏡の先端から臓器までの距離から引いた距離を、前記仮想面の設定距離として設定する、請求項１８に記載の医療用アームシステム。
20. 患者の体腔内に仮想面を設定し、内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように、複数のリンクが関節部により連結されて先端に内視鏡を連結可能な多関節アームを制御する制御部、
    を備える制御装置。
21. 患者の体腔内に仮想面を設定し、内視鏡のうち前記体腔内の所定の点を前記仮想面上に拘束するように、複数のリンクが関節部により連結されて先端に内視鏡を連結可能な多関節アームを制御すること、
    を含むプロセッサにより実行される制御方法。

Images