JP7115493B2 - 手術アームシステム及び手術アーム制御システム - Google Patents

Description

本開示は、斜視鏡の制御装置及び医療用システムに関する。

従来、例えば下記の特許文献１には、作業時に違和感のないように、内視鏡画像の上下左右方向と作業者の上下左右操作方向とが一致する内視鏡画像をモニタに表示可能とすることを想定した技術が記載されている。

特開２００６－２１８０２７号公報

近時においては、人体内部に挿入される硬性鏡として、斜視鏡が用いられるようになっている。しかし、斜視鏡による斜視回転はスコープ軸に対して回るため、単純な水平方向または上下方向の移動に比べて回転後の視野が直感的にわかりにくいという問題がある。そのため、斜視回転によって観察対象物が画面の視野外に出てしまったり、視野に映っていた器具を見失うなどの問題が発生していた。

そこで、観察対象物をモニタ画像の視野から見失わないようにすることが求められていた。

本開示によれば、複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームと、前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する制御システムと、を備え、前記制御システムは、前記斜視鏡を通して撮像される視野内で、前記視野内の前記観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御する、手術アームシステムが提供される。

また、本開示によれば、複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームを制御し、前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する手術アーム制御システムであって、前記斜視鏡を通して撮像される視野内で、前記視野内の前記観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御する、手術アーム制御システムが提供される。

本開示によれば、観察対象物をモニタ画像の視野から見失わないようにすることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る医療用支持アーム装置を適用可能な内視鏡手術システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の実施の形態に係る医療用支持アーム装置の構成例を示す斜視図である。 医療支持アーム装置の構成例を示すブロック図である。 斜視鏡１００の外観を示す模式図である。 斜視回転によって視野２００が変わる様子を示す模式図である。 斜視回転によってモニタに映し出される視野が変化する様子を示す模式図である。 視野２００の中心から観察対象物２１０までの距離を算出する手法を示す模式図である。 画面内の被写体位置に応じて斜視回転の速度を規定するマップの例を示す模式図である。 画面中央Ｏから観察対象物２１０までの距離（横軸）と、斜視回転速度（縦軸）との関係を示す特性図である。 斜視鏡１００の斜視回転により対物光学系の光軸の向きが変化する様子を示す模式図である。 トロッカ点中心の光学軸の回転やそれに近い動きを与えることで、ＸＹ方向の移動を行った場合を示す模式図である。 Ｙ方向の移動の例を示しており、Ｙ方向の動きとともに、斜視回転を行う場合を示す模式図である。 拘束点３００を中心とした回転の例を示す模式図である。 観察対象物を画面中央に移動させるアームの制御を説明するための図である。 観察対象物を画面中央に移動させるアームの制御を説明するための図である。 観察対象物を画面中央に移動させる制御処理の概要を説明するための図である。 目標計算処理の流れの一例を示すフローチャートである。 目標位置計算を説明するための図である。 本実施形態による斜視鏡の制御により、斜視を左に向けた場合の具体例を説明するための模式図である。 本実施形態による斜視鏡の制御により、斜視を左に向けた場合の具体例を説明するための模式図である。 本実施形態による斜視鏡の制御により、斜視を左に向けた場合の具体例を説明するための模式図である。 本実施形態による斜視鏡の制御により、斜視を左に向けた場合の具体例を説明するための模式図である。 斜視回転動作と追従動作を行うための支持アーム装置の制御部の構成を示す模式図である。 図３に示した構成例において、アーム部の先端に斜視鏡の回転とカメラヘッドの回転を独立して制御する保持ユニットが設けられた構成を示す模式図である。 図２２に示す構成例における、アーム部及び制御装置を含む支持アーム装置と、内視鏡ユニット、ＣＣＵの構成を示す模式図である。 図２２及び図２３に示す構成において、処理の流れを示すシーケンス図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．基本構成
１．１．内視鏡システムの構成例
１．２．医療用支持アーム装置の具体的構成例
１．３．制御装置の構成例
２．斜視鏡による斜視回転動作と観察対象物への追従動作
２．１．斜視鏡の回転動作
２．２．視野の中心からの距離に応じた斜視回転速度の変更
２．３．観察対象物への追従動作
２．４．斜視回転動作と追従動作のための制御部の構成例
２．５．追従動作の詳細
２．６．追従動作の具体例
３．斜視鏡の回転を独立して制御する保持ユニットを設けた例
４．まとめ

＜＜１．基本構成＞＞
まず、図１～図４を参照して、本開示の一実施形態に係る内視鏡システムの基本構成を説明する。

＜１．１．内視鏡システムの構成例＞
図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、斜視鏡であるものとする。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

＜１．２．医療用支持アーム装置の具体的構成例＞
次に、本開示の実施の形態に係る医療用支持アーム装置の具体的構成例について詳細に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。

まず、図３を参照して、本実施形態に係る支持アーム装置１４００の概略構成について説明する。図３は、本実施形態に係る支持アーム装置１４００の外観を示す概略図である。

本実施形態に係る支持アーム装置１４００は、ベース部１４１０及びアーム部１４２０を備える。ベース部１４１０は支持アーム装置１４００の基台であり、ベース部１４１０からアーム部１４２０が延伸される。また、図３には図示しないが、ベース部１４１０内には、支持アーム装置１４００を統合的に制御する制御部が設けられてもよく、アーム部１４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵやＤＳＰ等の各種の信号処理回路によって構成される。

アーム部１４２０は、複数の能動関節部１４２１ａ～１４２１ｆと、複数のリンク１４２２ａ～１４２２ｆと、アーム部１４２０の先端に設けられた先端ユニットとしての内視鏡装置４２３とを有する。

リンク１４２２ａ～１４２２ｆは略棒状の部材である。リンク１４２２ａの一端が能動関節部１４２１ａを介してベース部１４１０と連結され、リンク１４２２ａの他端が能動関節部１４２１ｂを介してリンク１４２２ｂの一端と連結され、さらに、リンク１４２２ｂの他端が能動関節部１４２１ｃを介してリンク１４２２ｃの一端と連結される。リンク１４２２ｃの他端は受動スライド機構１１００を介してリンク１４２２ｄに連結され、さらに、リンク１４２２ｄの他端は受動関節部２００を介してリンク１４２２ｅの一端と連結される。リンク１４２２ｅの他端は能動関節部１４２１ｄ，１４２１ｅを介してリンク１４２２ｆの一端と連結される。内視鏡装置１４２３は、アーム部１４２０の先端、すなわち、リンク１４２２ｆの他端に、能動関節部１４２１ｆを介して連結される。このように、ベース部１４１０を支点として、複数のリンク１４２２ａ～１４２２ｆの端同士が、能動関節部１４２１ａ～１４２１ｆ、受動スライド機構１１００及び受動関節部１２００によって互いに連結されることにより、ベース部１４１０から延伸されるアーム形状が構成される。

かかるアーム部１４２０のそれぞれの能動関節部１４２１ａ～１４２１ｆに設けられたアクチュエータが駆動制御されることにより、内視鏡装置１４２３の位置及び姿勢が制御される。本実施形態において、内視鏡装置１４２３は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部１４２０の先端に設けられる先端ユニットは内視鏡装置１４２３に限定されず、アーム部１４２０の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置１４００は、医療用器具を備えた医療用支持アーム装置として構成される。

ここで、以下では、図３に示すように座標軸を定義して支持アーム装置１４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部１４１０に対する上下方向をｚ軸方向及び上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部１４１０からアーム部１４２０が延伸されている方向（すなわち、ベース部１４１０に対して内視鏡装置１４２３が位置している方向）をｙ軸方向及び前後方向と定義する。さらに、ｙ軸及びｚ軸と互いに直交する方向をｘ軸方向及び左右方向と定義する。

能動関節部１４２１ａ～１４２１ｆはリンク同士を互いに回動可能に連結する。能動関節部１４２１ａ～１４２１ｆはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部１４２１ａ～１４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部１４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部１４２０の駆動を制御することができる。ここで、能動関節部１４２１ａ～１４２１ｆは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部１４２１ａ～１４２１ｆは回転機構を有するため、以下の説明において、能動関節部１４２１ａ～１４２１ｆの駆動制御とは、具体的には、能動関節部１４２１ａ～１４２１ｆの回転角度及び／又は発生トルク（能動関節部１４２１ａ～１４２１ｆが発生させるトルク）が制御されることを意味する。

受動スライド機構１１００は、受動形態変更機構の一態様であり、リンク１４２２ｃとリンク１４２２ｄとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構１１００は、リンク１４２２ｃとリンク１４２２ｄとを互いに直動可能に連結してもよい。ただし、リンク１４２２ｃとリンク１４２２ｄとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構１１００は、例えばユーザによって進退動の操作が行われ、リンク１４２２ｃの一端側の能動関節部１４２１ｃと受動関節部１２００との間の距離を可変とする。これにより、アーム部１４２０の全体の形態が変化し得る。受動スライド機構１１００の構成の詳細は後述する。

受動関節部１２００は、受動形態変更機構の一態様であり、リンク１４２２ｄとリンク１４２２ｅとを互いに回動可能に連結する。受動関節部１２００は、例えばユーザによって回動の操作が行われ、リンク１４２２ｄとリンク１４２２ｅとの成す角度を可変とする。これにより、アーム部１４２０の全体の形態が変化し得る。受動関節部１２００の構成の詳細は後述する。

なお、本明細書において、「アーム部の姿勢」とは、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部１４２１ａ～１４２１ｆに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態をいう。また、「アーム部の形態」とは、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態をいう。

本実施形態に係る支持アーム装置１４００は、６つの能動関節部１４２１ａ～１４２１ｆを有し、アーム部１４２０の駆動に関して６自由度が実現されている。つまり、支持アーム装置１４００の駆動制御は制御部による６つの能動関節部１４２１ａ～１４２１ｆの駆動制御により実現される一方、受動スライド機構１１００及び受動関節部１２００は、制御部による駆動制御の対象とはなっていない。

具体的には、図３に示すように、能動関節部１４２１ａ，１４２１ｄ，１４２１ｆは、接続されている各リンク１４２２ａ，１４２２ｅの長軸方向及び接続されている内視鏡装置１４２３の撮影方向を回転軸方向とするように設けられている。能動関節部１４２１ｂ，１４２１ｃ，１４２１ｅは、接続されている各リンク１４２２ａ～１４２２ｃ，１４２２ｅ，１４２２ｆ及び内視鏡装置４２３の連結角度をｙ－ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部１４２１ａ，１４２１ｄ，１４２１ｆは、いわゆるヨーイングを行う機能を有し、能動関節部１４２１ｂ，１４２１ｃ，１４２１ｅは、いわゆるピッチングを行う機能を有する。

このようなアーム部１４２０の構成を有することにより、本実施形態に係る支持アーム装置１４００ではアーム部１４２０の駆動に対して６自由度が実現されるため、アーム部１４２０の可動範囲内において内視鏡装置１４２３を自由に移動させることができる。図３では、内視鏡装置１４２３の移動可能範囲の一例として半球を図示している。半球の中心点ＲＣＭ（遠隔運動中心）が内視鏡装置１４２３によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置１４２３の撮影中心を半球の中心点に固定した状態で、内視鏡装置１４２３を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。

また、アーム部１４２０は、上記の自由度に加え、リンク１４２２ｆと同軸上で内視鏡装置１４２３を回転させる１４２１ｇの自由度を有していても良い。これにより、リンク１４２２ｆの長手軸を回転軸として内視鏡装置１４２３を回転させることが可能となる。

＜１．３．制御装置の構成例＞＞
ここまで、本実施形態に係る支持アーム装置１４００の構成について説明した。以下、本実施形態に係る支持アーム装置１４００におけるアーム部１４２０の駆動制御、すなわち、能動関節部１４２１ａ～１４２１ｆに設けられたアクチュエータ１４３０の回転駆動を制御するための制御装置の構成例について説明する。

図４は、制御装置１３５０を含む支持アーム装置１４００の全体構成例を示すブロック図である。制御装置１３５０は、制御部１３５１と記憶部１３５７と入力部１３５９とを備える。

制御部１３５１は、例えばＣＰＵやＤＳＰ等の各種の信号処理回路によって構成される。制御部１３５１は、制御装置１３５０を統合的に制御するとともに、支持アーム装置１４００におけるアーム部１４２０の駆動を制御するための各種の演算を行う。具体的に、制御部１３５１は、全身協調制御部１３５３と理想関節制御部１３５５とを有する。全身協調制御部１３５３は、支持アーム装置１４００のアーム部１４２０の能動関節部１４２１ａ～１４２１ｆに設けられたアクチュエータ１４３０を駆動制御するために、全身協調制御における各種の演算を行う。理想関節制御部１３５５は、外乱の影響を補正することにより全身協調制御に対する理想的な応答を実現する理想関節制御における各種の演算を行う。記憶部１３５７は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶素子であってもよく、あるいは、半導体メモリ、ハードディスク、外付けの記憶装置であってよい。

入力部３５９は、ユーザが制御部３５１に対して支持アーム装置４００の駆動制御に関する情報や命令等を入力するための入力インタフェースである。入力部３５９は、例えばレバー、ペダル等のユーザが操作する操作手段を有し、当該レバー、ペダル等の操作に応じて、アーム部４２０の各構成部材の位置や速度等が、瞬時的な運動目的として設定されてもよい。かかる入力部３５９は、例えばレバーやペダルの他、マウス、キーボード、タッチパネル、ボタン及びスイッチ等のユーザが操作する操作手段を有してもよい。

また、制御装置１３５０により制御されるアーム部１４２０は、能動関節部１４２１を備える。能動関節部１４２１（１４２１ａ～１４２１ｆ）は、リンク１４２２ａ～１４２２ｆ及び内視鏡装置１４２３を接続又は支持するための支持部材等、アーム部１４２０の駆動に必要な各種の構成を有する。ここまでの説明及び以下の説明において、アーム部１４２０の関節部の駆動とは、能動関節部１４２１ａ～１４２１ｆにおけるアクチュエータ４３０の駆動を意味していてもよい。

能動関節部１４２１は、トルクセンサ１４２８、エンコーダ１４２７及びアクチュエータ１４３０を備える。なお、図４では、アクチュエータ１４３０とエンコーダ１４２７及びトルクセンサ１４２８とが分離して図示されているが、エンコーダ１４２７及びトルクセンサ１４２８はアクチュエータ１４３０に含まれて構成されてもよい。

アクチュエータ１４３０は、モータと、モータドライバと、減速機と、から構成される。アクチュエータ１４３０は、例えば力制御に対応するアクチュエータである。アクチュエータ１４３０では、モータの回転が減速機によって所定の減速比で減速され、出力軸を介して後段の他の部材に伝達されることにより、当該他の部材が駆動されることとなる。

モータは、回転駆動力を生み出す駆動機構である。モータは、モータドライバからの制御により、制御部からのトルク指令値に対応するトルクを発生するように駆動される。モータとしては、例えばブラシレスモータが用いられる。ただし、本実施形態はかかる例に限定されず、モータとしては各種の公知の種類のモータが用いられてよい。

モータドライバは、モータに電流を供給することによりモータを回転駆動させるドライバ回路（ドライバＩＣ（Integrated Circuit））であり、モータに供給する電流量を調整することにより、モータの回転数を制御することができる。モータドライバは、制御部からのトルク指令値τに対応する電流をモータに供給することにより、当該モータを駆動させる。

また、モータドライバは、モータに供給する電流量を調整することにより、アクチュエータ１４３０の回転運動における粘性抵抗係数を調整することができる。これにより、アクチュエータ１４３０における回転運動、すなわち、能動関節部１４２１ａ～１４２１ｆにおける回転運動に対して、所定の抵抗を負荷することが可能となる。例えば、能動関節部１４２１ａ～１４２１ｆを、外部から加えられる力に対して回転しやすい状態（すなわち、アーム部１４２０を手動で移動しやすい状態）にすることもできるし、逆に、外部から加えられる力に対して回転し難い状態（すなわち、アーム部１４２０を手動で移動し難い状態）にすることもできる。

モータの回転軸（駆動軸）には、減速機が連結される。減速機は、連結されたモータの回転軸の回転速度（すなわち、入力軸の回転速度）を、所定の減速比で減速させて出力軸に伝達する。本実施形態では、減速機の構成は特定のものに限定されず、減速機としては各種の公知の種類の減速機が用いられてよい。ただし、減速機としては、例えばハーモニックドライブ（登録商標）等の、高精度に減速比が設定可能なものが用いられることが好ましい。また、減速機の減速比は、アクチュエータ１４３０の用途に応じて適宜設定され得る。例えば、本実施形態のように、アクチュエータ１４３０が支持アーム装置４００の能動関節部１４２１ａ～１４２１ｆに適用される場合であれば、１：１００程度の減速比を有する減速機が好適に用いられ得る。

エンコーダ１４２７は、入力軸の回転角度（すなわち、モータの回転軸の回転角度）を検出する。エンコーダ１４２７によって検出された入力軸の回転数と、減速機の減速比と、に基づいて、能動関節部１４２１ａ～１４２１ｆの回転角度、回転角速度及び回転角加速度等の情報を得ることができる。エンコーダ１４２７としては、例えば磁気式エンコーダ、光学式エンコーダ等の各種の公知のロータリエンコーダが用いられてよい。なお、エンコーダ１４２７は、アクチュエータ１４３０の入力軸にのみ設けられてもよいし、減速機よりも後段に、アクチュエータ１４３０の出力軸の回転角度等を検出するためのエンコーダが更に設けられてもよい。

トルクセンサ１４２８は、アクチュエータ１４３０の出力軸に接続され、アクチュエータ１４３０に作用するトルクを検出する。トルクセンサ１４２８は、アクチュエータ１４３０によって出力されるトルク（発生トルク）を検出する。また、トルクセンサ１４２８は、アクチュエータ１４３０に外部から加えられる外トルクも検出することができる。

以上、能動関節部１４２１の構成について説明した。ここで、本実施形態では、アーム部１４２０の動作が力制御によって制御される。当該力制御においては、支持アーム装置１４００では、各アクチュエータ１４３０に設けられたエンコーダ１４２７及びトルクセンサ１４２８によって、各能動関節部１４２１ａ～１４２１ｆの回転角度、及び各能動関節部１４２１ａ～１４２１ｆに作用するトルクがそれぞれ検出される。このとき、トルクセンサ１４２８によって検出される各能動関節部１４２１ａ～１４２１ｆに作用するトルクには、アーム部１４２０及び／又は内視鏡装置１４２３に作用する力も含まれ得る。

また、エンコーダ１４２７によって検出された回転角度、及びトルクセンサ１４２８によって検出されたトルク値に基づいて、現在のアーム部１４２０の状態（位置、速度等）が取得され得る。支持アーム装置１４００では、取得されたアーム部１４２０の状態（アーム状態）に基づいて、アーム部１４２０が所望の運動目的を実行するために必要な、各能動関節部１４２１ａ～１４２１ｆに設けられたアクチュエータ１４３０が発生すべきトルクが算出され、当該トルクを制御値として各能動関節部１４２１ａ～１４２１ｆのアクチュエータ１４３０が駆動されることになる。

なお、アクチュエータ１４３０としては、一般的に力制御によってその動作が制御される各種の装置において用いられている、各種の公知のアクチュエータを用いることができる。例えば、アクチュエータ１４３０としては、本願出願人による先行特許出願である特開２００９－２６９１０２号公報や特開２０１１－２０９０９９号公報等に記載のものを好適に用いることができる。

本実施形態に係る支持アーム装置１４００において、アクチュエータ１４３０、及びアクチュエータを構成する各部品の構成は上記の構成に限定されず、他の構成であってもよい。

以上、内視鏡システムの基本構成を説明した。以下では、上記説明した内視鏡システムの具体的な実施形態を説明する。

＜＜２．斜視鏡による斜視回転動作と観察対象物への追従動作＞＞
＜２．１．斜視鏡の回転動作＞
本実施形態では、上述した内視鏡５００１（内視鏡装置４２３）として、斜視鏡を用いる。図５は、斜視鏡１００の外観を示す模式図である。斜視鏡１００では、対物レンズの被写体への向き（Ｃ１）は、斜視鏡１００の長手方向（スコープ軸Ｃ２）に対して所定の角度φを有している。つまり、斜視鏡１００では、スコープの接眼光学系に対して対物光学系が角度を成している。斜視鏡１００では、観察のために斜視鏡１００をスコープ軸Ｃ２を回転軸として回転（以下、斜視回転という）させる動作が行われる。斜視回転を行うことで、回り込んだ視野や上下左右の周辺視野を得ることが可能である。

図６は、斜視回転によって表示装置５０４１に表示された視野２００が変わる様子を示す模式図である。図６に示すように、視野２００がモニタに表示されている状態で、斜視回転角αだけ斜視鏡を斜視回転し、視野２００の天地方向を制御すると、モニタに表示される視野は、視野２００から視野２００’に変化する。従って、斜視回転およびカメラの天地方向の２軸を制御することで、上下左右の周辺視野を得ることができる。

図７は、斜視回転によってモニタに映し出される視野が変化する様子を示す模式図である。図７は、斜視鏡で体内を観察する様子を示しており、様々な臓器２１５の中にユーザ（術者）が見ようとする観察対象物２１０が存在する状態を示している。図７では、モニタの視野２００を矩形領域で示し、視野２００とともに、ユーザ（術者）が見ようとする観察対象物２１０とスコープ軸Ｃ２を示している。また、図７では、術者が鉗子などの術具２２０を観察対象物２１０に接触させ、観察対象物２１０を把持等している様子を示している。

図７に示すように、観察対象物２１０は、スコープ軸Ｃ２の位置に対して視野２００の下側（術具２２０を操作する術者側）に位置している。図７では、スコープ軸Ｃ２を中心として斜視鏡１００を回転させた場合に、視野２００に対して観察対象物２１０が移動する様子を示している。

図７に示す「斜視下」の図では、斜視鏡１００対物光学系の光軸を視野２００の上下方向で下側に向けた状態を示している。この場合、視野２００の中に観察対象物２１０が入り、術者はモニタ上で観察対象物２１０を視認することができる。

図７に示す「斜視右」の図では、斜視鏡１００対物光学系の光軸を視野２００の左右方向で右側に向けた状態を示している。この場合、視野２００から観察対象物２１０が外れ、術者はモニタ上で観察対象物２１０を視認することができなくなる。

図７に示す「斜視上」の図では、斜視鏡１００の対物光学系の光軸を視野２００の上下方向で上側に向けた状態を示している。また、図７に示す「斜視左」の図では、斜視鏡１００対物光学系の光軸を視野２００の左右方向で左側に向けた状態を示している。これらの場合も、視野２００から観察対象物２１０が外れ、術者はモニタ上で観察対象物２１０を視認することができなくなる。

以上のように、斜視鏡１００では、斜視回転を行うことで、観察対象物２１０に対する視野の位置を変化させることができ、スコープ軸Ｃ２の周辺の比較的広い範囲を視認できる。一方、図７に示したように、斜視回転によってユーザが見たい部分や器具がモニタの視野２００から外れてしまい、それらの場所を見失ってしまう可能性がある。

このため、本実施形態では、観察対象物２１０の位置を検出して、観察対象物２１０が画面中央に移動するようにアームを制御する。また、本実施形態では、視野２００に対する観察対象物２１０の位置に応じて斜視回転の際の回転速度を変更する。具体的に、視野２００の中心から観察対象物２１０が離れるほど、斜視回転の際の回転速度が遅くなるように制御が行われる。視野２００の中心から観察対象物２１０が離れるほど、斜視回転を行った際に観察対象物２１０が視野２００から外れやすくなる。このため、視野２００の中心から観察対象物２１０が離れるほど、斜視回転の際の回転速度を遅くすることで、観察対象物２１０が視野２００から外れにくくなり、観察対象物２１０の位置を見失ってしまうことが抑制されることになる。但し、追従機能と斜視回転の速度は異なるため、追従のために画面を上下左右方向に動かす自由度の移動速度と、斜視回転の速度を協調させて制御しないと、画面外に外れてしまう可能性がある。このため、観察対象物２１０が画面中央に来るように制御しつつ、画面中央から対象物２１までの距離Ｌ、若しくは相対位置に応じて、斜視回転の速度を減速するように制御する。

＜２．２．視野の中心からの距離に応じた斜視回転速度の変更＞
ここでは、視野２００の中心から観察対象物２１０までの距離に応じた斜視回転速度の変更について説明する。図８は、視野２００の中心から観察対象物２１０までの距離を算出する手法を示す模式図である。図８に示すように、斜視回転速度をω［ｒａｄ／ｓ］、画面中央Ｏから観察対象物２１０の位置ｐまでのピクセル数を（ｘ，ｙ）［ｐｉｘｅｌｓ］としたとき、画面中央から観察対象物２１０の位置までのピクセル数ｌは、l＝√（ｘ^２＋ｙ^２）で得られる。ここから斜視回転速度ω＝ｆ（ｌ）の関数で調整することで実現する。例えば画面中央から対角の画面頂点までのピクセル数をｌｍａｘ［ｐｉｘｅｌｓ］、斜視回転速度の最高速をωｍａｘとしたとき、
ω＝ωｍａｘ＊（ｌｍａｘ－l）＝ωｍａｘ＊（ｌｍａｘ－√（ｘ２＋ｙ２））
とする。
これにより、観察対象物２１０の位置が画面中央のときω＝ωｍａｘ、観察対象物２１０の位置が対角の画面頂点のときω＝０という形で調整される。この例では、線形な計算としているが、高次の関数等を使用してもよい。また、カメラから被写体までの距離Ｚ［ｍｍ］、画角θが既知であれば、画面中央から観察対象物２１０までの距離Ｌ［ｍｍ］を計算して、ω＝ｆ（Ｌ）としてもよい。

図９は、画面内の被写体位置に応じて斜視回転の速度を規定するマップの例を示す模式図である。マップ４００は、図８に基づき、画面中央Ｏからの距離が大きくなるほど斜視回転の速度を小さくする例を示している。マップ４００のドットの濃さは斜視回転の速度に対応しており、マップ４１０は、マップ４００におけるドットの濃さと斜視回転の速度との関係を示している。マップ４１０に示すように、ドットの濃度が濃くなるほど、斜視回転の速度は速くなる。従って、マップ４００において、画面中央Ｏからの距離が大きくなるほど斜視回転の速度は低下する。

また、ドットの濃さと、斜視回転の速度及び被写体（観察対象物２１０）との距離との関係を示している。マップ４２０によれば、被写体との距離が近いほど斜視回転の速度は低くなる。被写体との距離が近い程、斜視鏡１００の動きに応じて視野２００内で観察対象物２１０の動く量が増大するため、被写体との距離が近いほど斜視回転の速度を低下させることで、視野２００から観察対象物２１０を見失うことを抑制できる。

図１０は、画面中央Ｏから観察対象物２１０までの距離（横軸）と、斜視回転速度（縦軸）との関係を示す特性図である。上述したように画面中央Ｏから観察対象物２１０までの距離が大きくなるほど、斜視回転の速度が低下するように制御が行われるが、制御の手法として図１０に示すようなバリエーションが想定できる。

図１０に示す特性１の場合、斜視回転の速度を優先して制御が行われる。アームのＸＹ方向の移動が十分速い場合は、このような特性でも観察対象物２１０への追従は可能である。画面端（Ｌｍａｘ）でも斜視鏡回転速度は０ではないため、斜視回転開始時の観察対象物２１０の位置によっては観察対象物２１０が画面から外れることもあり得る。

図１０に示す特性２、特性３の場合、アームのＸＹ移動の速度が斜視回転による視野の展開よりも遅いケースを想定している。観察対象物２１０が画面中央Ｏに近い時には斜視回転を速く行い、画面端（Ｌｍａｘ）でも斜視鏡回転速度は０ではない。観察対象物２１０が画面中央Ｏから一定距離以上離れたときも速度を持つため、斜視回転開始時の観察対象物２１０の位置によっては観察対象物２１０が画面から外れることもあり得る。

また、図１０に示す特性４の場合は、ＸＹ移動がかなり遅い場合で、観察対象物２１０を絶対に視野２００からはずさないケースを想定している。観察対象物２１０が画面中央Ｏからある程度外れると、斜視回転を完全に停止してＸＹ移動のみが行われる。

特性１～４のいずれにおいても、斜視回転の最高速とアームのＸＹ移動の速度の関係、観察対象物２１０が視野２００外へ移動することを許容するかどうか、等に応じて特性が変わることなる。
＜２．３．観察対象物への追従動作＞
［観察対象物を画面中央に移動させるアームの動かし方］
図１１は、斜視鏡１００の長軸中心の回転（斜視回転）により対物光学系の光軸の向きが変化する様子を示している。図１０に示すように、斜視回転によって術者が見る方向を変えることが可能であるが、図７で説明したように視野も移動してしまう。一方、図１２は、トロッカ点中心の光学軸の回転やそれに近い動きを与えることで、ＸＹ方向の移動を行った場合を示している。なお、トロッカ点とは、トロッカが人体に挿入される位置をいうものとする。図１２に示すように、トロッカ点を中心として斜視鏡１００に回転の動き（斜視鏡ピボットの動き）を加えると、視野を外さずに斜視回転角を変えることができる。このような動きを行う場合は、斜視回転角とＸＹ移動を連動させて動かす。

以下では、斜視鏡１００の斜視回転と併用する、視野に対する斜視鏡１００の動き方の例について説明する。図１３は、斜視鏡の姿勢を変えない平行移動の例を示しており、平行移動の動きとともに、斜視回転を行う場合を示す模式図である。この場合、カメラ視野に対する斜視鏡１００の姿勢を変えずに移動が行われる。

斜視角α(Y軸周り)、斜視回転角ψ(Z軸周り)、硬性鏡長さL、観察対象物までの距離R、視野中央の点V、平行移動の量(ax, ay, az)としたとき、平行移動を表す同時変換行列は以下になる。

また、斜視角と斜視回転角の同時変換行列は以下のように表すことができる。なお、硬性鏡根元の初期位置は簡易化のため(0,0,0)の原点とする

この時、視野中央の点Vは以下のようになる。

以上のこの式から明らかなように、硬性鏡を平行移動させるのと同じ移動量だけ視野が移動することができる。逆にVを一定に保つようにψの値に応じたax, ayを制御することで図１３のように斜視回転をさせつつ対象点を見続けることができる。さらに(Rcosψα, Rsinψsinα)の変化量よりもVの位置を一定位置に保つために動く(ax, ay)の変化量が十分早ければ、斜視鏡の回転によって対象物が視野から外れることがなくなるため、前述のように斜視回転速度を制御すると対象物を画面から見失うことなく斜視を回転することができる。また、(Rcosψα, Rsinψsinα)と (ax, ay)の変化量の相対差が影響するため斜視回転角の速度以外に(ax, ay)の速度を調整することでも同様の動きが実現できる。このような動きは、トロッカ点の拘束がないケースに限定され、例えば、胸部の小開胸／小切開での斜視鏡下手術の場合に相当する。Ｙ方向を動きであるため、視野２００とカメラの距離は維持される。

また、図１４は、拘束点３００を中心とした回転によって視野を上下左右方向に移動する例を示している。拘束点３００は、例えばトロッカ点に相当する。この場合、アームの構成としては、拘束点３００を中心とした３自由度でも実現可能である。拘束点３００を中心とするX軸周りの回転をφ、Y軸周りの回転をθ、とすると、各々の回転行列は以下のようになる。

また、拘束点３００を中心とした回転の同時変換行列は以下のようになる。

この時、視野中央の点Ｖは以下のように表すことができる。

上記のVが保たれるようにθ、φ、ψが調整されれば視野が外れない。目標とする斜視角ψが決まっているとき、Vの値を保つようなθとφの目標値が選ぶ。この目標値を指令値としてθ、φ、ψを制御する際に、前述の斜視回転角の調整を入れることにより、目標値に追従する過程においても視野から対象物を外すことなく制御することが可能となる。

またψの姿勢によってθおよびφの変化に対するVの変化量も変わるため斜視回転角ψの値に応じてXとYの変化量が同じになるようθとφの回転速度を調整してもよい。なお上記計算は計算が煩雑になるため簡易実装のためα=0、ψ＝0として斜視回転角に関係なく硬性鏡軸をθ、φで回転させて視野の移動を簡単化してもよい。

［観察対象物を画面中央に移動させるアームの制御］
以下では、拘束点３００を中心に斜視鏡１００を動かす場合に、観察対象物２１０が視野２００の中央に位置するように追従を行う例について、説明する。画面内の対象物の位置を画像認識等によって認識し、その情報に基づいて観察対象物を画面内で移動するようなアームの制御方法を用いてもよい。また、視線検出によって術者の観察対象点を定め、観察対象点を視野の中央に移動させることもできる。

本実施形態によれば、支持アーム装置に取り付けられて患者の人体内部へ挿入される内視鏡の光軸上に患者の人体内部に存在する対象物が一致するように、支持アーム装置を制御して内視鏡を移動させる制御部、を備える情報処理装置が提供される。画像認識等によって対象物を認識して対象物が画面中心に映るようにアームを制御することで、内視鏡により得られる画像の中心部に手術器具又は腫瘍等の対象物を捉えることが可能となり、術者の利便性が向上する。かかる情報処理装置は、内視鏡手術システム５０００と別に構成されてもよいし、内視鏡手術システム５０００に含まれる任意の装置として構成されてもよい。

以下、図１５及び図１６を参照して、本実施形態の概要を説明する。

図１５及び図１６は、本実施形態の概要を説明するための図である。図１５では、患者５０７１の腹壁に穿刺されたトロッカ５０２５ａから患者５０７１の体腔内に内視鏡５００１の鏡筒５００３が挿入された様子が示されている。実線で示された内視鏡５００１は、現在の位置姿勢を示しており、破線で示された内視鏡５００１は、本実施形態に係る内視鏡制御処理による移動先の（即ち、未来の）位置姿勢を示している。また、患者５０７１の腹壁に穿刺されたトロッカ５０２５ｄから鉗子５０２３が挿入されている。図１６では、図１５に示した内視鏡５００１により得られる画像（以下、内視鏡映像とも称する）が示されており、左図が現在の位置姿勢で得られる画像であり、右図が本実施形態に係る内視鏡制御処理による移動後に得られる画像である。

図１５を参照すると、内視鏡５００１の現在の位置姿勢では、鉗子５０２３の先端が内視鏡５００１の視野６０５２内に捉えられているものの、中心軸（即ち、光軸）６０５１上にはない。そのため、図１６の左図に示すように、中心に鉗子５０２３の先端が映っていない内視鏡映像が得られることになる。本実施形態に係る内視鏡手術システム５０００は、このような状況において、画面中心に鉗子５０２３等の術具が映るように、内視鏡５００１を移動させる処理を行う。詳しくは、内視鏡手術システム５０００は、鉗子５０２３の先端が中心軸６０５１上に位置するように、図示しない支持アーム装置５０２７により内視鏡５００１を移動させる。これにより、図１６の右図に示すように、中心に鉗子５０２３の先端が映った内視鏡映像が得られることになる。なお、以下では、斜視角および斜視回転角を無視して、鉗子５０２３の先端を中心軸６０５１上に位置させる例を示すが、斜視角および斜視回転角を考慮することで、斜視鏡２００の制御を行うことができる。また、鉗子５０２３の先端を中心軸６０５１上に位置させる例を示すが、観察対象物２１０を画像認識することにより、観察対象物２１０をターゲットとして中心軸６０５１上に位置させる場合ことも同様に行うことができる。

このように、内視鏡手術システム５０００は、術具を自動で追従して、術具が画面中心に映った内視鏡映像を提供することが可能となる。よって、術者は、内視鏡５００１を操作せずとも、快適に手術を継続することが可能となる。

＜２．４．斜視回転動作と追従動作のための制御部の構成例＞
図２１は、上述した斜視回転動作と追従動作を行うための支持アーム装置１４００の制御部１３５１の構成を示す模式図である。図２１に示すように、制御部１３５１は、観察対象物２１０を撮像して得られる視野２００内で、視野の中心から観察対象物２１０の位置までの距離を取得する距離取得部１３５１ａと、視野の中心から観察対象物２１０の位置までの距に基づいて、斜視鏡１００の斜視回転の速度又は斜視鏡１００の移動速度を算出する速度算出部１３５１ｂと、を備える。距離取得部１３５１ａによる視野の中心から観察対象物２１０の位置までの距離の取得は、ＣＣＵ５０３９の制御部５０６３が観察対象物２１０を画像認識した結果に基づいて行われる。

また、制御部１３５１は、ＣＣＵ５０３９の制御部５０６３が観察対象物２１０を画像認識した結果に基づいて、観察対象物２１０が視野２００の中心に位置するように支持アーム装置１４００を制御する。この際、制御部１３５１は、視野２００内の観察対象物２１０の位置に応じて、斜視鏡１００の斜視回転の速度又は斜視鏡１００の移動速度の少なくとも一方を制御する。制御部１３５１は、視野２００内の観察対象物２１０の位置に応じて、斜視鏡１００の長軸周りの回転角及び回転速度を制御する。ＣＣＵ５０３９の制御部５０６３は、上述したように、各種の画像認識技術を用いて、観察対象物２１０の画像の特徴と視野２００内での位置を認識することができる。制御部１３５１は、ＣＣＵ５０３９から、観察対象物２１０の視野２００内での位置に関する情報を取得する。

術者は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、入力装置５０４７を操作することで、表示装置５０４１に表示された術部から観察対象物２１０を指定することができる。制御部５０６３は、指定された観察対象物２１０に基づいて、観察対象物２１０の画像の特徴と視野２００内での位置を認識する。

＜２．５．追従動作の詳細＞
続いて、図１７を参照して、上述した内視鏡制御を実現する処理を説明する。

図１７は、本実施形態に係る内視鏡制御処理の概要を説明するための図である。図１７に示した各々のブロックは処理を示しており、内視鏡制御処理は複数の処理から成る。図１７に示すように、内視鏡手術システム５０００は、画像処理を行って、術具等のターゲットを検出する。次いで、内視鏡手術システム５０００は、検出結果に基づいてターゲットの位置を算出する。次に、内視鏡手術システム５０００は、算出されたターゲットの位置及びトロッカ位置に基づいて、現在の内視鏡の姿勢を算出する。次いで、内視鏡手術システム５０００は、算出した現在の内視鏡の姿勢及び仮想面（平面又は曲面）の設定情報に基づいて、目標となる内視鏡先端位置を算出する。次に、内視鏡手術システム５０００は、現在の内視鏡の姿勢と目標となる内視鏡先端位置とに基づいて内視鏡の姿勢の変化量を演算し、演算した変化量に応じた姿勢変化を実現させるためのアームの制御情報（即ち指令）を生成する。そして、内視鏡手術システム５０００は、生成した指令に従って動作するよう支持アーム（例えば、アーム部５０３１）を制御する。内視鏡手術システム５０００は、以上説明した一連の処理を繰り返し行う。

以下、本実施形態に係る内視鏡制御処理の詳細を説明する。

（１）はじめに
本実施形態によれば、内視鏡手術システム５０００は、内視鏡映像から術具を認識して自動で追従する機能を実現可能である。以下では、画像処理部分（マーカ検出）および検出結果からアームが内視鏡を操作して、トロッカ点を考慮しつつ画面中心に術具がくるように移動させるための計算方法を説明する。

以下、機能要件を説明した後、画像処理による術具（マーカー）の検出方法を記載し、そのあとに検出結果から目標となる移動情報と姿勢情報に変換して動作するまでの計算方法を説明する。

ここでは、斜視角および斜視回転角を無視して、拘束点中心にアームを動かした場合の例を示す。

（２）画像処理
内視鏡手術システム５０００は、画像処理により術具（例えば、術具の先端位置及び／又は姿勢）を検出する。

例えば、目印となるマーカーを術具先端部に取り付けることで、内視鏡映像に基づく画像処理により術具の位置が検出されてもよい。マーカーは、検出容易であることが望ましい。例えば、マーカーは青又は緑といった、体腔内の臓器や血管の色と比べて目立つ色（例えば、色相環において臓器や血管の色とは反対側に位置する色）であってもよい。また、マーカーは、２次元コード又はバーコード等の特定のパターンであってもよい。

例えば、目印となるマーカーを術具の体外に出ている部分に取り付けることで、外部のセンサによるマーカーの検出結果、術具の長さ及び姿勢等の情報に基づいて術具の位置が検出されてもよい。

なお、術具の検出は、画像処理以外の手法により行われてもよい。

例えば、特別なトロッカを作成することで、術具の挿入量とトロッカの角度とに基づいて術具の位置が算出されてもよい。

例えば、術具を内視鏡とは別の支持アーム装置に取り付けることで、支持アーム装置の位置姿勢情報から術具の位置が算出されてもよい。

（３）目標計算
内視鏡手術システム５０００は、目標計算を行う。目標計算は、位置及び姿勢の二つを計算して、移動を指示するための計算である。

詳しくは、内視鏡手術システム５０００は、最初に目標位置を画像処理結果から求めたあと、トロッカ点を起点とした現在の姿勢及び目標位置到達時の姿勢に基づいて、姿勢の変化量を決定する。また、内視鏡手術システム５０００は、画像処理の結果から移動量を求める間はエンコーダから取得される現在の位置・姿勢を基に目標計算を行うが、実際の指令を行う場合は、最後に行った指令値に、算出した値を足し合わせて行う。この理由は、現在値と指令値との間に制御誤差に起因するズレが発生していて、指令値を出す場合に現在値を起点にゴールを設定してしまうと動作がスムーズでなくなり、また誤差が大きくなっていく問題が発生するためである。

以下、図１８を参照して、目標計算処理の流れの一例を説明する。

図１８は、本実施形態に係る内視鏡手術システム５０００による目標計算処理の流れの一例を示すフローチャートである。図１８に示すように、内視鏡手術システム５０００は、まず、座標計算を行う。

座標計算において、内視鏡手術システム５０００は、まず、現在値基準で座標を計算する。詳しくは、内視鏡手術システム５０００は、画像処理結果を取得する（ステップＳ４０２）。次いで、内視鏡手術システム５０００は、検出位置をカメラ座標系に変換する（即ち、２Ｄから３Ｄへの変換）（ステップＳ４０４）。次に、内視鏡手術システム５０００は、カメラ座標系からＷｏｒｌｄ座標系へ変換する（ステップＳ４０６）。次いで、内視鏡手術システム５０００は、トロッカ点から単位ベクトルへ変換する（ステップＳ４０８）。次に、内視鏡手術システム５０００は、既定平面（即ち、仮想面）との交点までの長さを求める（ステップＳ４１０）。次いで、内視鏡手術システム５０００は、トロッカ点から既定平面までのベクトルをＷｏｒｌｄ座標系へ変換する（ステップＳ４１２）。

内視鏡手術システム５０００は、現在値基準で座標を計算した後、指令値基準で座標を計算する。詳しくは、内視鏡手術システム５０００は、内視鏡の長さを基に挿入深さへ変換する（ステップＳ４１４）。

座標計算後、内視鏡手術システム５０００は、姿勢計算を行う。

姿勢計算において、内視鏡手術システム５０００は、まず、現在値基準で姿勢を計算する。詳しくは、内視鏡手術システム５０００は、現在の姿勢ベクトルを取得する（ステップＳ４１６）。次いで、内視鏡手術システム５０００は、計算した新しい目標ベクトルの姿勢を求める（ステップＳ４１８）。次に、内視鏡手術システム５０００は、計算した新しい目標ベクトルとの間の相対的な姿勢変化量を求める（ステップＳ４２０）。

内視鏡手術システム５０００は、現在値基準で姿勢を計算した後、指令値基準で姿勢を計算する。詳しくは、内視鏡手術システム５０００は、最終指令値の姿勢からの姿勢変化量に変換する（ステップＳ４２２）。

以上説明した処理により、内視鏡手術システム５０００は、目標位置及び目標姿勢を得る。

（４）目標位置計算
図１９は、本実施形態に係る目標位置計算を説明するための図である。図１９に示すように、画像処理結果は、カメラ先端の画面中心を（０．５，０．５）としたカメラ座標系から見た位置が、［０．０－１．０］に正規化された値で通知される。そのままでは無次元の値のため、内視鏡手術システム５０００は、最初にメートル単位系に変換する。ただし、内視鏡手術システム５０００は、画像処理結果は２Ｄで奥行き方向の情報がないため、変換の際に奥行きを例えば５０［ｍｍ］と仮定して、画角と組み合わせて仮想的な位置とする。

奥行を５０［ｍｍ］と仮定した理由を説明する。第１の理由は、仮定した値が実際の値より大きいと、（ｘ，ｙ）の移動量が実際の（ｘ，ｙ）より大きくなり、オーバーランする（振動的になる）ためである。第２の理由は、想定術式での撮影距離を５０［ｍｍ］～１００［ｍｍ］と設定して、最短の距離としたためである。第３の理由は、実距離のほうが大きい場合、次の画像処理結果で新たに残差から移動が決定されるため、最終的にゴールに到達可能なためである。

（５）目標姿勢計算
内視鏡手術システム５０００は、目標位置が決まったあとに目標姿勢を求める。制御部１３５１は、目標位置及び目標姿勢に基づいて、アーム部これにより、アーム部１４２０を制御する。

＜２．６．追従動作の具体例＞
図２０Ａ～図２０Ｄは、本実施形態による斜視鏡の制御により、斜視を左に向けた場合の具体例を説明するための模式図である。図２０Ａ～図２０Ｄにおいても、図７と同様に、様々な臓器２１５の中にユーザ（術者）が見ようとする観察対象物２１０が存在する状態を示している。ここで、図２０Ａは、スコープ軸Ｃの位置に対して対物光学系の光軸が視野２００の下側（術具２２０を操作する術者側）に向いている状態（斜視下の状態）を示している。図２０Ｂは、図２０Ａの視野２００を拡大して示している。この場合に、視野２００の左側を見ようとして斜視回転を行うと、図２０Ｃに示すように、観察対象物２１０への追従動作を行わない既存の技術では、図２０Ｂに比べて斜視回転により観察対象物２１０の左側が観察できるようになる反面、観察対象物２１０が見えなくなってしまう。

一方、本実施形態では、図２０Ｄに示すように、観察対象物２１０が画面中央に位置するように、観察対象物２１０へ追従するようにアームの制御を行うため、観察対象物２１０を見失うことなく斜視鏡１００を左向きに回転させることが可能である。

＜＜３．斜視鏡の回転を独立して制御する保持ユニットを設けた例＞＞
上述した図３に示した構成例では、アーム部１４２０の能動関節部１４２１ａ～１４２１ｆの制御のみで斜視鏡１００の姿勢と位置を変更する例を示した。一方、アーム部１４２０の先端に斜視鏡の回転を独立して制御する、アクチュエータ内蔵の保持ユニットが設けられていても良い。この場合、斜視鏡１００の回転は保持ユニットで行い、斜視鏡全体の位置や術部に対する姿勢はアームの能動関節部で制御することが可能となる。

図２２は、図３に示した構成例において、アーム部１４２０の先端に斜視鏡１００の回転とカメラヘッド７１００の回転を独立して制御する保持ユニット７０００が設けられた構成を示す模式図である。保持ユニット７０００は、アーム部１４２０の先端の内視鏡ユニット取付け部７３００に装着され、カメラヘッド取り付け部７１００、カメラヘッド回転駆動部７２００、斜視鏡取付け部７４００、斜視鏡回転駆動部７５００を備えている。

図２２に示すように、カメラヘッド５００５は、カメラヘッド取り付け部７１００を介してカメラヘッド回転駆動部７２００に装着されている。カメラヘッド回転駆動部７２００は、モータなどのアクチュエータ７２１０を備え、内視鏡ユニット取付け部７３００及び保持ユニット７０００の本体に対してカメラヘッド５００５を回転させる。

また、斜視鏡１００は、斜視鏡取付け部７４００を介して斜視鏡回転駆動部７５００に装着されている。斜視鏡回転駆動部７５００は、モータなどのアクチュエータ７５１０を備え、内視鏡ユニット取付け部７３００及び保持ユニット７０００の本体に対して斜視鏡１００をその軸周りに回転させる。

図２３は、図２２に示す構成例における、アーム部１４２０及び制御装置１３５０を含む支持アーム装置１４００と、内視鏡ユニット５００６、ＣＣＵ５０３９の構成を示す模式図である。制御装置１３５０は、図４に示した構成に加え、ＣＣＵ５０３９との通信を行うＣＣＵ通信部１３５８を備えている。ＣＣＵ５０３９は、図２に示した構成に加え、制御装置１３５０と通信を行うアーム通信部５０６４を備えている。制御装置１３５０とＣＣＵ５０３９は、ＣＣＵ通信部１３５８とアーム通信部５０６４が通信を行うことにより、互いに情報の送受信が可能である。また、内視鏡ユニット５００６は、図２に示したカメラヘッド５００５に保持ユニット７０００の機能が追加されたものであり、図２に示した制御部５０１５の代わりに、内視鏡ユニット制御部５０１４を備えている。内視鏡ユニット５００６は、図２に示したカメラヘッド５００５の構成に加え、斜視制御部（第１の制御部）５０１６、カメラヘッド制御部（第２の制御部）５０１７、斜視鏡回転駆動部７５００、カメラヘッド回転駆動部７２００を備えている。斜視制御部５０１６、カメラヘッド制御部５０１７は、保持ユニット７０００に設けられていても良い。また、内視鏡ユニット制御部５０１４、斜視制御部５０１６、カメラヘッド制御部５０１７の機能は、制御装置１３５０の制御部１３５１が備えていても良い。

斜視制御部５０１６は、内視鏡ユニット制御部５０１４の指令に基づき、アクチュエータ７５１０を駆動する。アクチュエータ７５１０、斜視回転部エンコーダ７５２０は、斜視鏡回転駆動部７５００に設けられている。内視鏡ユニット制御部５０１４は、斜視回転部エンコーダ７５２０が検出するアクチュエータ７５１０の回転角に基づいて、アクチュエータ７５１０を駆動し、斜視鏡１００の軸周りの回転を制御する。

また、カメラヘッド制御部５０１７は、内視鏡ユニット制御部５０１４の指令に基づき、アクチュエータ７２１０を駆動する。アクチュエータ７２１０、カメラヘッド回転部エンコーダ７２２０は、カメラヘッド回転駆動部７２００に設けられている。内視鏡ユニット制御部５０１４は、カメラヘッド回転部エンコーダ７２２０が検出するアクチュエータ７２１０の回転角に基づいて、カメラヘッド５００５の軸周りの回転を制御する。

以上の構成により、内視鏡ユニット取付け部７３００に対して、斜視鏡１００とカメラヘッド５００５が独立して回転することができる。これにより、斜視鏡１００を回転させて所望の観察対象物を視認するとともに、カメラヘッド５００５を回転させて画像の天地を適正に制御することが可能となる。

図２４は、図２２及び図２３に示す構成において、処理の流れを示すシーケンス図である。先ず、ステップＳ５０２では、斜視鏡１００の斜視回転とカメラヘッド５００５の天地制御の姿勢に関する情報が、内視鏡ユニットからＣＣＵ５０３９に送られる。次のステップＳ５０４では、斜視鏡１００の斜視回転とカメラヘッド５００５の天地制御の姿勢に関する情報が、ＣＣＵ５０３９からアーム制御装置に送られる。

次のステップＳ５０６では、アーム制御指令および内視鏡ユニットの駆動指令値を算出する。次のステップＳ５０８では、内視鏡ユニットの駆動指令値が、駆動指令とともにアーム制御装置からＣＣＵ５０３９に送られる。また、ステップＳ５１０では、アーム制御指令に基づいてアームが制御される。

ステップＳ５１２では、内視鏡ユニットの駆動指令値が、駆動指令とともにＣＣＵ５０３９から内視鏡ユニットに送られる。次のステップＳ５１４では、駆動指令値に基づいて内視鏡ユニットが制御される。

次のステップＳ５１６では、斜視鏡１００の斜視回転とカメラヘッド５００５の天地制御の姿勢に関する情報が、内視鏡ユニットからＣＣＵ５０３９に送られる。次のステップＳ５０４では、斜視鏡１００の斜視回転とカメラヘッド５００５の天地制御の姿勢に関する情報が、ＣＣＵ５０３９からアーム制御装置に送られる。
次のステップＳ５１０では、

＜＜４．まとめ＞＞
以上説明したように本実施形態によれば、モニタの視野２００の中央から離れるほど斜視回転の速度を遅くするようにしたため、斜視鏡１００の斜視回転を用いて周囲を視認しようとした場合に、観察対象物２１０が視野２００から外れてしまうことを抑制できる。

また、本実施形態によれば、患者の人体内部に存在する観察対象物２１０を画像認識し、斜視鏡１００の対物光学系の光軸と観察対象物２１０の位置が一致するように、医療用アームを制御して内視鏡の先端を仮想面上に拘束しながら内視鏡を移動させる。これにより、斜視回転を行った場合に、視野２００の中心部に手術器具又は腫瘍等の観察対象物２１０を捉えることが可能となり、術者の利便性が向上する。

従って、術者は、見たい部分や器具などが常に画面内に維持されつつ斜視回転を行うことが可能となり、斜視回転で観察対象物２１０を見失うことを抑制できる。また、被写体を中心としたピボットの動作のように距離情報に基づいた姿勢制御を行わずに簡易的に実現が可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャート等を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームと、
前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する制御システムと、
を備え、
前記制御システムは、前記斜視鏡を通して撮像される視野内で、前記視野内の観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御する、手術アームシステム。
（２） 前記制御システムは、前記斜視鏡の長軸周りの回転角及び回転速度を制御する、前記（１）に記載の手術アームシステム。
（３） 前記制御システムは、前記視野内で前記観察対象物の位置を移動するように前記多関節アームの姿勢と移動速度を制御する、前記（１）又は（２）に記載の手術アームシステム。
（４） 前記制御システムは、前記視野内で、前記視野の中心から前記観察対象物の位置までの距離に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御する、前記（１）～（３）のいずれかに記載の手術アームシステム。
（５） 前記制御システムは、前記視野の中心から前記観察対象物の位置までの距離が長いほど前記回転速度を遅くする、前記（１）～（４）のいずれかに記載の手術アームシステム。
（６） 前記制御システムは、前記観察対象物の位置を判別した結果に基づいて、前記観察対象物が前記視野の中心に位置するように前記斜視鏡を支持する多関節アームを制御する、前記（１）～（５）のいずれかに記載の手術アームシステム。
（７） 前記制御システムは、前記観察対象物を画像認識した結果に基づいて、前記観察対象物が前記視野の中心に位置するように前記斜視鏡を支持する多関節アームを制御する、前記（６）に記載の手術アームシステム。
（８） 前記制御システムは、前記観察対象物が前記視野の端に位置する場合は、前記回転速度を０にする、前記（１）～（７）のいずれかに記載の手術アームシステム。
（９） 前記制御システムは、前記距離の増加量に対する前記回転速度の減少量が線形の関係になるように前記回転速度を制御する、前記（５）に記載の手術アームシステム。
（１０） 前記制御システムは、前記距離が所定範囲内の場合は、前記回転速度を前記中心と前記観察対象物の位置が一致する場合の前記回転速度と同一とする、前記（５）に記載の手術アームシステム。
（１１） 前記制御システムは、前記距離が所定範囲を超える場合は、前記回転速度を一定値とする、前記（５）に記載の手術アームシステム。
（１２） 前記制御システムは、前記斜視鏡の回転を制御する第１の制御部と前記多関節アームを制御する第２の制御部を備える、前記（１）～（１１）のいずれかに記載の手術アームシステム。
（１３） 前記多関節アームは、前記斜視鏡とカメラヘッドをそれぞれ独立して回転制御可能に保持する保持ユニットを備える、前記（１２）に記載の手術アームシステム。
（１４） 前記保持ユニットは前記第１の制御部を含み、
前記第２の制御部は、前記カメラヘッドと接続された画像処理部を介して、前記第１の制御部が取得した前記斜視鏡の回転角情報を取得し、前記回転角情報に基づいて前記多関節アームを制御する、前記（１３）に記載の手術アームシステム。
（１５） 複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームを制御し、前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する手術アーム制御システムであって、
前記斜視鏡を通して撮像される視野内で、前記視野内の観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御する、手術アーム制御システム。

１００ 斜視鏡
２００ 視野
２１０ 観察対象物
３５０ 制御装置
３５１ 制御部
３５１ａ 距離取得部
３５１ｂ 速度算出部
４００ 支持アーム装置

Claims (15)

1. 複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームと、
   前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する制御システムと、
   を備え、
   前記制御システムは、
   前記斜視鏡を通して撮像される視野内で、前記視野内の観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御し、
   前記視野の中心から前記観察対象物の位置までの距離が長いほど前記回転速度を遅くする、手術アームシステム。
2. 複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームと、
   前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する制御システムと、
   を備え、
   前記制御システムは、
   前記斜視鏡を通して撮像される視野内で、前記視野内の観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御し、
   前記観察対象物が前記視野の端に位置する場合は、前記回転速度を０にする、手術アームシステム。
3. 前記制御システムは、前記斜視鏡の長軸周りの回転角及び回転速度を制御する、請求項１又は２に記載の手術アームシステム。
4. 前記制御システムは、前記視野内で前記観察対象物の位置を移動するように前記多関節アームの姿勢と移動速度を制御する、請求項１から３のいずれか一項に記載の手術アームシステム。
5. 前記制御システムは、前記視野内で、前記視野の中心から前記観察対象物の位置までの距離に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御する、請求項１から４のいずれか一項に記載の手術アームシステム。
6. 前記制御システムは、前記観察対象物の位置を判別した結果に基づいて、前記観察対象物が前記視野の中心に位置するように前記斜視鏡を支持する多関節アームを制御する、請求項１から５のいずれか一項に記載の手術アームシステム。
7. 前記制御システムは、前記観察対象物を画像認識した結果に基づいて、前記観察対象物が前記視野の中心に位置するように前記斜視鏡を支持する多関節アームを制御する、請求項６に記載の手術アームシステム。
8. 前記制御システムは、前記距離の増加量に対する前記回転速度の減少量が線形の関係になるように前記回転速度を制御する、請求項１に記載の手術アームシステム。
9. 前記制御システムは、前記距離が所定範囲内の場合は、前記回転速度を前記中心と前記観察対象物の位置が一致する場合の前記回転速度と同一とする、請求項１に記載の手術アームシステム。
10. 前記制御システムは、前記距離が所定範囲を超える場合は、前記回転速度を一定値とする、請求項１に記載の手術アームシステム。
11. 前記制御システムは、前記斜視鏡の回転を制御する第１の制御部と前記多関節アームを制御する第２の制御部を備える、請求項１から１０のいずれか一項に記載の手術アームシステム。
12. 前記多関節アームは、前記斜視鏡とカメラヘッドをそれぞれ独立して回転制御可能に保持する保持ユニットを備える、請求項１１に記載の手術アームシステム。
13. 前記保持ユニットは前記第１の制御部を含み、
    前記第２の制御部は、前記カメラヘッドと接続された画像処理部を介して、前記第１の制御部が取得した前記斜視鏡の回転角情報を取得し、前記回転角情報に基づいて前記多関節アームを制御する、請求項１２に記載の手術アームシステム。
14. 複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームを制御し、前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する手術アーム制御システムであって、
    前記斜視鏡を通して撮像される視野内で、前記視野内の観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御し、前記視野の中心から前記観察対象物の位置までの距離が長いほど前記回転速度を遅くする、手術アーム制御システム。
15. 複数の関節部が複数のリンクにより回動可能に連結され、先端に斜視鏡を支持可能な多関節アームを制御し、前記斜視鏡の位置及び姿勢を変更するように前記多関節アームを制御する手術アーム制御システムであって、
    前記斜視鏡を通して撮像される視野内で、前記視野内の観察対象物の位置に基づいて、前記斜視鏡の回転速度または移動速度の少なくとも一方を制御し、前記観察対象物が前記視野の端に位置する場合は、前記回転速度を０にする、手術アーム制御システム。

Images