JP6657933B2 - 医療用撮像装置及び手術ナビゲーションシステム - Google Patents

医療用撮像装置及び手術ナビゲーションシステム Download PDF

Info

Publication number
JP6657933B2
JP6657933B2 JP2015252869A JP2015252869A JP6657933B2 JP 6657933 B2 JP6657933 B2 JP 6657933B2 JP 2015252869 A JP2015252869 A JP 2015252869A JP 2015252869 A JP2015252869 A JP 2015252869A JP 6657933 B2 JP6657933 B2 JP 6657933B2
Authority
JP
Japan
Prior art keywords
unit
arm
camera
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015252869A
Other languages
English (en)
Other versions
JP2017113343A (ja
Inventor
竜己 坂口
竜己 坂口
栄良 笠井
栄良 笠井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015252869A priority Critical patent/JP6657933B2/ja
Priority to US15/761,507 priority patent/US20180263710A1/en
Priority to CN201680073878.5A priority patent/CN108366833B/zh
Priority to PCT/JP2016/084354 priority patent/WO2017110333A1/en
Priority to EP16813041.7A priority patent/EP3393385A1/en
Publication of JP2017113343A publication Critical patent/JP2017113343A/ja
Application granted granted Critical
Publication of JP6657933B2 publication Critical patent/JP6657933B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Description

本開示は、医療用撮像装置及び手術ナビゲーションシステムに関する。
従来、正確な手術を補助するための手術ナビゲーションシステムが知られている。手術ナビゲーションシステムは、例えば、脳神経外科、耳鼻咽喉科、又は整形外科などの領域で利用され、撮像した術野画像に、事前に準備されたＭＲＩ画像又は３Ｄモデル等を重畳表示し、事前の計画に沿って手術が進められるように補助する。かかる手術ナビゲーションシステムは、例えば、顕微鏡、患者、又は術具の位置を検出するための位置検出装置を備えている。すなわち、顕微鏡又は術具は、いずれも、顕微鏡又は術具自身と患者との相対的３次元位置の関係を取得する手段を持たないために、互いの位置関係を知るための手段が必要とされる。
かかる位置検出装置としては、例えば、光学マーカ及び光学センサを用いた装置が知られている。特許文献１には、ＣＣＤカメラ等の光検出器で構成される位置センサと、術具としての硬性鏡に設けられ、ＬＥＤ等の光源で構成される発光部と、位置演算部と、により構成され、硬性鏡の位置及び姿勢を検出する手段が開示されている。
特開２００２−１０２２４９号公報
しかしながら、特許文献１に開示された光学式の位置検出装置では、硬性鏡に設けられた発光部と光学センサとの間に物理的な遮蔽が存在すると、もはや位置検出が不可能になる場合がある。例えば、手術現場には、多くの手術器具や手術スタッフが存在するため、発光部と光学センサとの間の物理的な遮蔽を防ぐには、光学センサを上方の高い位置に設置しなければならない等の不都合が生じ得る。
光学式の位置検出装置以外にも、磁場発生装置及び磁気センサを用いた磁場式の位置検出装置があるが、磁場式の位置検出装置では、位置検出のための磁場発生装置以外の機器又は術具に導電性の機器等が使用される場合、検出結果に誤差を生じたり、位置検出が不可能になったりするおそれがある。また、磁場式の位置検出装置においても、光学式の位置検出装置と同様に、磁場発生装置と磁気センサとの間に物理的な遮蔽が存在すると、もはや位置検出が不可能になり得る。
そこで、本開示では、光学センサや磁気センサ等の追加的なセンサを用いることなく、患者を撮影する撮像装置により取得される情報に基づいて所定の位置を算出可能な、新規かつ改良された医療用撮像装置及び手術ナビゲーションシステムを提案する。
本開示によれば、少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、カメラから出力される情報を検出するカメラ情報検出部と、姿勢情報及びカメラから出力される情報に基づいて所定の位置を算出する位置算出部と、を備える、医療用撮像装置が提供される。
さらに、本開示によれば、少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、カメラから出力される情報を検出するカメラ情報検出部と、姿勢情報及びカメラから出力される情報に基づいて所定の位置を算出する位置算出部と、カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部と、画像信号から生成される３Ｄ画像情報に含まれる患者の手術対象部位をあらかじめ用意された基準画像に重ね合わせて表示させながら、手術のナビゲーションを行うナビゲーション制御部と、を備える、手術ナビゲーションシステムが提供される。
以上説明したように本開示によれば、光学センサや磁気センサ等の追加的なセンサを用いることなく、患者を撮像する撮像装置により得られる情報に基づいて所定の位置の算出が可能な医療用撮像装置及び手術ナビゲーションシステムを実現することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が施されてもよい。
撮像装置を備えた手術ナビゲーションシステムの概略構成を説明するための説明図である。 撮像装置の構成例を示す説明図である。 撮像装置を備えた手術ナビゲーションシステムのシステム構成例を示すブロック図である。 撮像装置の位置計算部の機能構成を示すブロック図である。 撮像装置を備えた手術ナビゲーションシステムの使用例を示す説明図である。 本開示の第１の実施の形態に係る手術ナビゲーションシステムを適用可能な手術の様子を示す説明図である。 同実施形態に係る手術ナビゲーションシステムの術野の把握処理を示すフローチャートである。 同実施形態に係る手術ナビゲーションシステムの術野の把握処理を示すフローチャートである。 同実施形態に係る手術ナビゲーションシステムのレジストレーション処理を示すフローチャートである。 同実施形態に係る手術ナビゲーションシステムの自動レジストレーション処理を示すフローチャートである。 同実施形態に係る手術ナビゲーションシステムの術具の先端位置の検出処理を示すフローチャートである。 同実施形態に係る手術ナビゲーションシステムの術具の先端位置の検出処理を示すフローチャートである。 本開示の第２の実施の形態に係る撮像装置の構成例を示す説明図である。 同実施形態に係る手術ナビゲーションシステムを適用可能な手術の様子を示す説明図である。 同実施形態に係る手術ナビゲーションシステムのレジストレーション処理を示すフローチャートである。 同実施形態に係る手術ナビゲーションシステムの術具の先端位置の検出処理を示すフローチャートである。 同実施形態に係る撮像装置によるステレオカメラの位置ズレの診断処理を示すフローチャートである。 同実施形態に係る撮像装置による再キャリブレーション処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．手術ナビゲーションシステムの基本構成
１−１．手術ナビゲーションシステムの構成例
１−２．手術ナビゲーションシステムのシステム構成例
１−３．手術ナビゲーションシステムの使用例
２．第１の実施の形態（ベッドマウントアームを用いる例）
２−１．手術ナビゲーションシステムの概要
２−２．制御処理
２−３．まとめ
３．第２の実施の形態（アーム可動台車を用いる例）
３−１．手術ナビゲーションシステムの概要
３−２．制御処理
３−３．まとめ
なお、以下の説明において、「ユーザ」とは、術者及び助手等、撮像装置又は手術ナビゲーションシステムを使用する任意の医療スタッフのことを意味する。
＜＜１．手術ナビゲーションシステムの基本構成＞＞
まず、本開示に係る技術を適用可能な撮像装置、又は当該撮像装置を備えた手術ナビゲーションシステムの構成のうち、後で説明する各実施の形態に共通する基本構成について説明する。
＜１−１．手術ナビゲーションシステムの構成例＞
図１は、手術ナビゲーションシステムの概略構成を説明するための説明図である。図２は、撮像装置１０の構成例を示す説明図である。手術ナビゲーションシステムは、観察対象（患者１の術部）を撮像する撮像装置１０と、撮像装置１０により撮像された術野画像を用いて手術のナビゲーションを行うナビゲーション装置５０を備える。係る手術ナビゲーションシステムは、事前の計画に沿って手術が進められるように術者を補助するためのシステムである。ナビゲーション装置５０の表示装置５４には、撮像装置１０により撮像された術野画像に対して、事前に準備された、切開位置や患部の位置、処置手順等の情報を含む術前画像や術部の３Ｄモデルが重畳されて表示され得る。
（１−１−１．撮像装置）
撮像装置１０は、患者１の術部を撮像するための顕微鏡部１４と、顕微鏡部１４を支持するアーム部３０とを有する。顕微鏡部１４は、本開示の技術におけるカメラに相当し、略円筒形状の筒状部３１１１の内部に設けられる撮像部（図示せず）と、筒状部３１１１の外周の一部領域に設けられる操作部（以下、「カメラ操作インタフェース」とも言う。）１２と、から構成される。顕微鏡部１４は、撮像部によって電子的に撮像画像を取得する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
筒状部３１１１の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部３１１１の内部の撮像部に入射する。なお、筒状部３１１１の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子であってよい。
撮像素子によって生成された画像信号は、ＲＡＷデータとして図示しない制御装置１００に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ（Auto Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための一対の撮像素子を有するように構成されてもよい。この場合、顕微鏡部１４は、ステレオカメラとして構成される。３Ｄ表示が行われることにより、術者は術部の奥行きをより正確に把握することが可能になる。本開示に係る各実施の形態の撮像装置１０は、顕微鏡部１４としてステレオカメラを備える。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
カメラ操作インタフェース１２は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、カメラ操作インタフェース１２を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、カメラ操作インタフェース１２を介して、アーム部３０の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。
なお、ユーザが顕微鏡部１４を移動させようとする場合には、当該ユーザは筒状部３１１１を握るように把持した状態で顕微鏡部１４を移動させてもよい。この場合、カメラ操作インタフェース１２は、ユーザが筒状部３１１１を移動させている間でも操作可能なように、ユーザが筒状部３１１１を握った状態で指によって容易に操作しやすい位置に設けられてもよい。あるいは、ユーザは、入力装置（以下、「アーム操作インタフェース」とも言う。）を操作することによってアーム部３０の姿勢を制御し、顕微鏡部１４を移動させてもよい。
アーム部３０は、複数のリンク（第１リンク３１２３ａ〜第６リンク３１２３ｆ）が、複数の関節部（第１関節部３１２１ａ〜第６関節部３１２１ｆ）によって互いに回動可能に連結されることによって構成される。
第１関節部３１２１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部１４の筒状部３１１１の上端を、当該筒状部３１１１の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部３１２１ａは、第１軸Ｏ１が顕微鏡部１４の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部１４を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
第１リンク３１２３ａは、先端で第１関節部３１２１ａを固定的に支持する。具体的には、第１リンク３１２３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部３１２１ａの外周の上端部に当接するように、第１関節部３１２１ａに接続される。第１リンク３１２３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部３１２１ｂが接続される。
第２関節部３１２１ｂは、略円柱形状を有し、その先端で、第１リンク３１２３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部３１２１ｂの基端には、第２リンク３１２３ｂの先端が固定的に接続される。
第２リンク３１２３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部３１２１ｂの基端に固定的に接続される。第２リンク３１２３ｂの略Ｌ字形状の基端側の他辺には、第３関節部３１２１ｃが接続される。
第３関節部３１２１ｃは、略円柱形状を有し、その先端で、第２リンク３１２３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部３１２１ｃの基端には、第３リンク３１２３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部１４を含む先端側の構成を回動させることにより、水平面内での顕微鏡部１４の位置を変更するように、当該顕微鏡部１４を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
第３リンク３１２３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部３１２１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク３１２３ｃの基端側は角柱形状を有し、その端部に第４関節部３１２１ｄが接続される。
第４関節部３１２１ｄは、略円柱形状を有し、その先端で、第３リンク３１２３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部３１２１ｄの基端には、第４リンク３１２３ｄの先端が固定的に接続される。
第４リンク３１２３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部３１２１ｄの略円柱形状の側面に当接するように、第４関節部３１２１ｄに固定的に接続される。第４リンク３１２３ｄの基端には、第５関節部３１２１ｅが接続される。
第５関節部３１２１ｅは、略円柱形状を有し、その先端側で、第４リンク３１２３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部３１２１ｅの基端には、第５リンク３１２３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部１４を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部１４を含む先端側の構成を回動させることにより、顕微鏡部１４の高さ、すなわち顕微鏡部１４と観察対象との距離を調整することができる。
第５リンク３１２３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク３１２３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部３１２１ｅの基端が固定的に接続される。第５リンク３１２３ｅの第２の部材の基端（下端）には、第６関節部３１２１ｆが接続される。
第６関節部３１２１ｆは、略円柱形状を有し、その先端側で、第５リンク３１２３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部３１２１ｆの基端には、第６リンク３１２３ｆの先端が固定的に接続される。
第６リンク３１２３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベッド４０の上面に固定的に接続される。
第１関節部３１２１ａ〜第６関節部３１２１ｆの回転可能範囲は、顕微鏡部１４が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部３０においては、顕微鏡部１４の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部１４の動きに関して６自由度が実現されるようにアーム部３０を構成することにより、アーム部３０の可動範囲内において顕微鏡部１４の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
なお、図示するアーム部３０の構成はあくまで一例であり、アーム部３０を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部１４を自由に動かすためには、アーム部３０は６自由度を有するように構成されることが好ましいが、アーム部３０はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部３０においては、顕微鏡部１４の位置及び姿勢が固定された状態で、アーム部３０の姿勢を変更することが可能となる。従って、例えばナビゲーション装置５０の表示装置５４を見る術者の視界にアーム部３０が干渉しないように当該アーム部３０の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
ここで、第１関節部３１２１ａ〜第６関節部３１２１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部３１２１ａ〜第６関節部３１２１ｆに設けられる各アクチュエータの駆動が、制御装置１００によって適宜制御されることにより、アーム部３０の姿勢、すなわち顕微鏡部１４の位置及び姿勢が制御され得る。各関節部に備えられたエンコーダにより検出される値は、アーム部３０の姿勢に関する姿勢情報として用いられ得る。
また、第１関節部３１２１ａ〜第６関節部３１２１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置１００によって制御され得る。例えば、顕微鏡部１４の位置及び姿勢を固定したい場合には、制御装置１００は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部３０の姿勢、すなわち顕微鏡部１４の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部１４の位置及び姿勢を移動したい場合には、制御装置１００は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
このようなブレーキの動作は、上述したカメラ操作インタフェース１２を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部１４の位置及び姿勢を移動したい場合には、カメラ操作インタフェース１２を操作し、各関節部のブレーキを解除させる。これにより、アーム部３０の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部１４の位置及び姿勢を固定したい場合には、カメラ操作インタフェース１２を操作し、各関節部のブレーキを作動させる。これにより、アーム部３０の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
制御装置１００は、所定の制御方式に従って第１関節部３１２１ａ〜第６関節部３１２１ｆのアクチュエータを動作させることにより、アーム部３０の駆動を制御する。また、例えば、制御装置１００は、第１関節部３１２１ａ〜第６関節部３１２１ｆのブレーキの動作を制御することにより、アーム部３０の動作モードを変更する。
また、制御装置１００は、撮像装置１０の顕微鏡部１４の撮像部によって取得された画像信号を、ナビゲーション装置５０に出力する。このとき、制御装置１００は、患者１の術部の位置や、術具の位置の情報を併せてナビゲーション装置５０に出力する。
（１−１−２．ナビゲーション装置）
ナビゲーション装置５０は、ユーザによってナビゲーション装置５０の操作入力が行われるナビ操作インタフェース５２と、表示装置５４と、記憶装置５６と、ナビ制御装置６０とを備える。ナビ制御装置６０は、撮像装置１０から取得した画像信号に各種の信号処理を施すことにより、表示用の３Ｄ画像情報を生成するとともに、当該３Ｄ画像情報を表示装置５４に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
ナビゲーション装置５０は、手術室内に設けられ、ナビ制御装置６０の制御指令により、当該ナビ制御装置６０によって生成された３Ｄ画像情報に対応する画像を表示装置５４に表示する。ナビ制御装置６０は、本開示の技術におけるナビゲーション制御部に相当する。表示装置５４には、顕微鏡部１４によって撮影された術部の画像が表示され得る。なお、ナビゲーション装置５０は、術部の画像に代えて、又は術部の画像とともに、例えば患者１の身体情報や手術の術式についての情報等、手術に関する各種の情報を、表示装置５４に表示させてもよい。この場合、表示装置５４の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５４は複数設けられてもよく、複数の表示装置５４のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５４としては、液晶ディスプレイ装置又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
例えば、記憶装置５６には、３次元空間の所定の基準位置との相対関係があらかじめ求められた患者１の術部の術前画像や３Ｄモデルが記憶される。例えば、手術に先立って、患者１における術部を含む部分のＭＲＩ映像等を元に術前画像が作成されたり、術部の３Ｄモデルが作成されたりする。そして、術前画像又は３Ｄモデルに対して、あるいは、術前画像又は３Ｄモデルから得られる患者１の術部の輪郭線の画像等に対して、切開位置や患部の位置、切除位置等の手術を補助するための情報が重畳されて記憶装置５６に記憶され得る。ナビ制御装置６０は、顕微鏡部１４により撮像された３Ｄ画像情報に対して、少なくとも１つの術前画像又は３Ｄモデルを重畳させて３Ｄ画像情報を生成し、表示装置５４に表示させる。なお、記憶装置５６は、ナビゲーション装置５０内に備えられてもよいし、ネットワークを介して接続されたサーバ等に備えられてもよい。
＜１−２．手術ナビゲーションシステムのシステム構成例＞
図３は、手術ナビゲーションシステムのシステム構成例を示すブロック図である。また、図４は、制御装置１００のうちの位置計算部１１０の機能構成を示すブロック図である。撮像装置１０は、カメラ操作インタフェース１２と、顕微鏡部１４と、エンコーダ１６と、モータ１８と、アーム操作インタフェース２０と、制御装置１００とを備える。このうち、エンコーダ１６及びモータ１８は、アーム部３０の関節部に備えられたアクチュエータに搭載される。また、ナビゲーション装置５０は、ナビ操作インタフェース５２と、表示装置５４と、記憶装置５６と、ナビ制御装置６０とを備える。
制御装置１００は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置１００のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置１００は、撮像装置１０と別個の装置として設けられているが、制御装置１００は、撮像装置１０の内部に設置され、撮像装置１０と一体的に構成されてもよい。あるいは、制御装置１００は、複数の装置によって構成されてもよい。例えば、顕微鏡部１４や、アーム部３０の第１関節部３１２１ａ〜第６関節部３１２１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置１００と同様の機能が実現されてもよい。
また、ナビ制御装置６０も同様に、ＣＰＵ又はＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。ナビ制御装置６０のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、ナビ制御装置６０は、ナビゲーション装置５０と別個の装置として設けられているが、ナビ制御装置６０は、ナビゲーション装置５０の内部に設置され、ナビゲーション装置５０と一体的に構成されてもよい。あるいは、ナビ制御装置６０は、複数の装置によって構成されてもよい。
制御装置１００と顕微鏡部１４との通信、及び制御装置１００と第１関節部３１２１ａ〜第６関節部３１２１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。また、ナビ制御装置６０とナビ操作インタフェース５２との通信、ナビ制御装置６０表示装置５４との通信、及びナビ制御装置６０と記憶装置５６との通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
撮像装置１０の制御装置１００は、位置計算部１１０とアーム姿勢制御部１２０とを備える。位置計算部１１０は、顕微鏡部１４から取得される情報と、エンコーダ１６から取得される情報とに基づいて、所定の位置を算出する。位置計算部１１０は、算出結果をナビ制御装置６０に送信する。位置計算部１１０による算出結果は、アーム姿勢制御部１２０によって読み込み可能になっていてもよい。また、位置計算部１１０は、顕微鏡部１４で取得された画像信号に基づく画像情報を、ナビ制御装置６０に出力する。この場合、位置計算部１１０は、顕微鏡部１４により取得される画像信号から生成される画像情報を出力する出力部にも相当する。
図４に示すように、位置計算部１１０は、アーム姿勢情報検出部１１２と、カメラ情報検出部１１４と、位置算出部１１６とを備える。アーム姿勢情報検出部１１２は、エンコーダ１６によって検出された各関節部の回転角度についての情報に基づいて、アーム部３０の現在の姿勢、並びに顕微鏡部１４の現在の位置及び姿勢を把握する。また、カメラ情報検出部１１４は、顕微鏡部１４によって撮像される画像に関する画像情報を取得する。取得される画像情報には、顕微鏡部１４の焦点距離や拡大倍率の情報も含まれ得る。顕微鏡部１４の焦点距離は、例えば、アーム部３０における顕微鏡部１４を支持する第２関節部３１２１ｂの回転軸から患者１の術部までの距離に置き換えられて出力されてもよい。位置計算部１１０によって実行される処理については、後の各実施の形態において詳細に説明する。
図３に戻り、アーム姿勢制御部１２０は、ナビ制御装置６０からの制御指令に基づいて、アーム部３０の各関節部に備えられたモータ１８を駆動し、アーム部３０を所定の姿勢に制御する。これにより、例えば、顕微鏡部１４によって所望の角度から患者１の術部を撮像することができる。アーム姿勢制御部１２０は、位置計算部１１０の算出結果に基づいて、各モータ１８の制御を行ってもよい。
具体的に、アーム姿勢制御部１２０は、位置計算部１１０によって検出されたアーム部３０の姿勢情報を用いて、ユーザからの操作入力、あるいは、ナビ制御装置６０からの制御指令に応じた顕微鏡部１４の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出する。アーム姿勢制御部１２０は、算出した制御値に応じて各関節部のモータ１８を駆動させる。なお、この際、アーム姿勢制御部１２０によるアーム部３０の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
例えば、術者が、図示しないアーム操作インタフェース２０を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム姿勢制御部１２０によってアーム部３０の駆動が適宜制御され、顕微鏡部１４の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部１４を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該アーム操作インタフェース２０としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部３０は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部３０は、手術室から離れた場所に設置されるアーム操作インタフェース２０を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部３０が移動するように第１関節部３１２１ａ〜第６関節部３１２１ｆのモータ１８が駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部１４を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部１４を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部１４を移動させることが可能となり、ユーザの利便性を向上させることができる。
また、アーム部３０は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部１４の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部１４を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部１４が、その焦点距離を調整不可能に構成される場合には、顕微鏡部１４とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部１４とピボット点との距離を、顕微鏡部１４の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部１４は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１及び図２に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。
一方、顕微鏡部１４が、その焦点距離を調整可能に構成される場合には、顕微鏡部１４とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置１００は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部１４とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部１４の焦点距離を自動で調整してもよい。あるいは、顕微鏡部１４にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部１４とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。
＜１−３．手術ナビゲーションシステムの使用例＞
図５は、図１に示す手術ナビゲーションシステムの使用例を示す図である。図５では、術者３４０１が、手術ナビゲーションシステムを用いて、患者１を支持する支持台としてのベッド４０上の患者１に対して手術を行っている様子を概略的に示している。なお、図５では、理解を簡単にするために、手術ナビゲーションシステムを簡略化して図示している。
図５に示すように、手術時には、撮像装置１０によって撮影される術野画像が、表示装置５４に拡大表示される。表示装置５４は、術者３４０１から見えやすい位置に設置されており、術者３４０１は、表示装置５４に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。用いられる術具は、例えば、先端部に鉗子や把持具等を備えた術具、又は、電気メスや超音波メス等の種々の術具であってもよい。
手術中には、撮像装置１０により撮像される術野画像が、術前画像又は３Ｄモデルに重畳されて表示装置５４に表示される。術者３４０１は、表示装置５４に映し出された映像によって術部の様子を観察しつつ、表示装置５４に表示されるナビゲーション表示にしたがって、患部の切除等の各種の処置を行う。このとき、表示装置５４には、例えば、切開位置や切除位置、術具の先端位置又は姿勢等の情報が表示されてもよい。
以上、本開示に係る技術が適用され得る手術ナビゲーションシステムの概要について説明した。以下、本開示に係る技術の具体的な実施の形態の幾つかを説明する。なお、以下に説明する各実施の形態においては、顕微鏡部１４として、３Ｄ表示を可能とするステレオカメラ１４Ａを用いた例について説明する。
＜＜２．第１の実施の形態＞＞
＜２−１．手術ナビゲーションシステムの概要＞
本開示の第１の実施の形態に係る手術ナビゲーションシステムでは、撮像装置１０のアーム部３０が、ベッド４０に固定される（図１を参照。）。すなわち、アーム部３０における、ベッド４０に固定された固定部３２と患者１との位置関係は、一定に維持され得る。そのため、本実施形態に係る撮像装置１０は、アーム部３０の固定部３２、又は、固定部３２との相対位置関係が変わらない任意の空間位置を原点（基準位置）Ｐ０とする３次元座標系で、所定の位置を算出するよう構成される。なお、本実施形態に係る手術ナビゲーションシステムは、３次元座標の原点Ｐ０の位置を設定するためのリファレンスマーカや、術具の位置又は姿勢を特定するための術具マーカが用いられないシステムの例である。
図６は、本実施形態に係る手術ナビゲーションシステムが適用され得る手術の様子を示す説明図である。図示した例は、脳外科手術の様子を示しており、患者１は、ベッド４０上に俯せの状態で支持され、頭部は、固定具４２により固定されている。上述のとおり、３次元座標の原点Ｐ０の位置を設定するためのリファレンスマーカや、術具の位置又は姿勢を示すための術具マーカは用いられない。
＜２−２．制御処理＞
以下、図３及び図４を参照しながら、本実施形態に係る手術ナビゲーションシステムにおいて実行される制御処理について説明する。制御処理としては、術野の把握処理、レジストレーション処理、術具先端位置の検出処理について説明する。
（２−２−１．術野の把握処理）
まず、ステレオカメラ１４Ａによって撮像される術野を把握する処理の例について説明する。術野の把握処理とは、ステレオカメラ１４Ａによる撮像画像において、焦点が合わせられている位置をナビゲーション装置５０と共有するための処理であり得る。手術時においては、自動で、あるいは、ユーザの操作により、患者１の術部に焦点が合わせられるため、焦点が合わせられている位置とは、術部の位置とも言い得る。焦点が合わせられている位置は、ステレオカメラ１４Ａの焦点距離、拡大倍率、及び画角等に基づいて把握され得る。
図７は、術野を把握する処理において、撮像装置１０の制御装置１００により実行されるフローチャートである。ステップＳ１０２において、患者１の頭部に焦点が合わせられた状態で、アーム姿勢情報検出部１１２は、アーム部３０の各関節部に備えられたエンコーダ１６により検出された各関節部の回転角度についての情報に基づいて、アーム部３０の姿勢情報を検出する。
次いで、ステップＳ１０４において、カメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される情報を取得する。ステレオカメラ１４Ａから出力される情報は、ステレオカメラ１４Ａの焦点距離や拡大倍率、画角等（以下、「カメラパラメータ」とも言う。）の情報を含んでもよい。例えば、ステレオカメラ１４Ａの焦点距離は、アーム部３０におけるステレオカメラ１４Ａ側の最終回転軸から患者１の頭部までの光軸方向の距離の情報に置き換えられて出力されてもよい。なお、ステレオカメラ１４Ａの焦点距離や拡大倍率、画角等は、カメラ操作インタフェース１２の操作入力によって変更され、それらの設定値は、ステレオカメラ１４Ａのレンズ部分に備えられたポテンショメータ等によって検出され得る。
次いで、ステップＳ１０６において、位置算出部１１６は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａの焦点距離の情報とに基づいて、アーム部３０の姿勢の変化によっても位置が変化しない所定の基準位置に対する、患者１の頭部の相対位置を算出する。例えば、位置算出部１１６は、ベッド４０に固定されるアーム部３０の固定部３２の任意の位置を原点Ｐ０とした座標系（ｘｙｚ３次元座標系）で、患者１の頭部の相対的３次元座標を算出してもよい。原点Ｐ０は、アーム部３０の固定部３２との相対的位置関係が変化しない任意の位置であってもよい。
次いで、ステップＳ１０８において、位置算出部１１６は、算出した患者１の頭部の相対的３次元座標をナビ制御装置６０に送信する。位置算出部１１６は、少なくとも、アーム部３０の姿勢、又は、ステレオカメラ１４Ａの焦点距離、拡大倍率、画角等のうちのいずれか１つが変更された場合に、ステップＳ１０２〜ステップＳ１０８を行う。あるいは、あらかじめ設定された所定の時間間隔で、ステップＳ１０２〜ステップＳ１０８を繰り返し行ってもよい。
図８は、術野を把握する処理において、ナビゲーション装置５０のナビ制御装置６０により実行されるフローチャートである。ステップＳ１１２において、ナビ制御装置６０は、撮像装置１０の制御装置１００から、患者１の頭部の相対位置を取得する。次いで、ステップＳ１１４において、ナビ制御装置６０は、あらかじめ原点Ｐ０との相対位置関係を求めておいた患者１の頭部の３Ｄモデル及び術前画像のうちの少なくとも１つを記憶装置５６から呼び出し、位置計算部１１０から送信される患者１の頭部の相対位置を重畳して、表示用の３Ｄ画像情報を生成する。次いで、ステップＳ１１６において、ナビ制御装置６０は、生成した３Ｄ画像情報を表示装置５４に出力し、表示装置５４に画像を表示させる。
ナビ制御装置６０は、制御装置１００から送信される患者１の頭部の相対位置が変更されたとき、あるいは、あらかじめ設定された所定の時間間隔で、ステップＳ１１２〜ステップＳ１１６を繰り返し行ってもよい。表示される撮像画像における重畳のさせ方は、ナビ操作インタフェース５２を操作することによって変更できるようになっていてもよい。
術野を調整するために、ユーザは、ナビ操作インタフェース５２を操作し、ナビ制御装置６０を介して、アーム部３０の制御指令をアーム姿勢制御部１２０に送信してもよい。あるいは、ナビ制御装置６０自身が、所定の演算処理に基づいて、アーム部３０の制御指令をアーム姿勢制御部１２０に送信することができるようになっていてもよい。アーム姿勢制御部１２０は、アーム部３０の制御指令を、各関節部の動作に分解し、各関節部のモータ１８に対して回転角度や移動量の指示値として出力する。なお、アーム部３０の操作は、ナビ制御装置６０を経由することなく、ユーザによるアーム操作インタフェース２０の操作によって直接行われてもよい。
（２−２−２．レジストレーション処理）
次に、撮像画像中の患者１の頭部と、術前画像、あるいは、３Ｄモデル又は術前画像等に存在する基準点との間のレジストレーション（位置合わせ）処理の例について説明する。レジストレーション処理では、ステレオカメラ１４Ａにより取得された撮像画像中の患者１の頭部と、手術前に撮影されたＭＲＩ映像等を元に作成された術前画像又は３Ｄモデル、及び、基準点とが位置合わせされる。
図９は、レジストレーション処理のフローチャートを示す。まず、ステップＳ１２２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって患者１の頭部が撮影される。次いで、ステップＳ１２４において、位置算出部１１６は、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像、及び、カメラパラメータに基づいて、ステレオマッチング方法により、各画素の奥行値を推定する。奥行値の推定は、公知の技術を利用して行うことができる。
次いで、ステップＳ１２６において、位置算出部１１６は、得られた奥行値周辺の形状変化（起伏）を計算し、起伏の大きな特徴点を、適宜の数、抽出する。特徴点の数は、例えば３点以上であってよい。次いで、ステップＳ１２８において、位置算出部１１６は、抽出された特徴点の相対的３次元座標を算出する。このとき、アーム姿勢情報検出部１１２により検出される、各関節部のエンコーダ１６の検出値、及び、ステレオカメラ１４Ａのカメラパラメータが利用され、アーム部３０の固定部３２等を基準位置とする相対的３次元座標が得られる。
次いで、ステップＳ１３０において、位置算出部１１６は、ステレオカメラ１４Ａにより撮像された３Ｄ画像情報と、特徴点の相対的３次元座標の情報とをナビ制御装置６０へ送信する。これにより、ナビ制御装置６０では、特徴点の位置と、術前画像又は３Ｄモデル中の対応する基準点の位置との比較及びマッチングが行われ、比較結果が表示装置５４に表示され得る。ユーザは、表示された比較結果を見ながら、撮像画像中の患者１の頭部と術前画像又は３Ｄモデルとが位置合わせされるように、アーム部３０の姿勢を調整する。
本実施形態に係る手術ナビゲーションシステムでは、ステレオカメラ１４Ａが搭載されたアーム部３０がベッド４０に固定され、患者１の頭部との位置関係が一定に維持され得るため、１回のレジストレーション処理を行うことによって、術中に再度レジストレーションを行わなくてもよい。また、本実施形態に係る手術ナビゲーションシステムは、患者１の頭部との位置関係が不変のアーム部３０の固定部３２を基準位置とする相対位置を求めるため、３次元空間における患者１の頭部の絶対位置を求める必要がなく、リファレンスマーカを必要としない。
なお、アーム部３０の姿勢の調整は、ユーザの操作によらずに、アーム姿勢制御部１２０による自動補正制御によって行われてもよい。図１０は、アーム姿勢制御部１２０によって行われる自動レジストレーション処理のフローチャートである。制御装置１００の位置計算部１１０は、図９に示すフローチャートにしたがって、ステップＳ１２２〜ステップＳ１３０を行う。ステップＳ１３２において、制御装置１００のアーム姿勢制御部１２０は、ナビ制御装置６０から、特徴点の位置と術前画像又は３Ｄモデル中の対応する基準点の位置との比較結果を取得する。
次いで、ステップＳ１３４において、アーム姿勢制御部１２０は、特徴点の位置と術前画像又は３Ｄモデル中の基準点の位置との誤差を評価する。例えば、アーム姿勢制御部１２０は、特徴点の相対的３次元座標位置と、術前画像又は３Ｄモデル中の基準点の相対的３次元座標位置との距離が、あらかじめ設定された閾値未満に収まっているか否かを判定してもよい。誤差を評価した結果、特徴点の位置と術前画像又は３Ｄモデル中の対応する基準点の位置との間に大きなズレが有る場合（Ｓ１３４：Ｎｏ）、アーム姿勢制御部１２０は、ステップＳ１３６に進み、ステレオカメラ１４Ａの位置を移動させる際のピボット点を決定する。例えば、アーム姿勢制御部１２０は、ステレオ復元した患者１の頭部の仮想中心位置を算出し、当該仮想中心位置をピボット点としてもよい。
次いで、ステップＳ１３８において、アーム姿勢制御部１２０は、特徴点の位置と基準点の位置とのズレ量及びズレの方向に基づいて、アーム部３０の各関節部のモータ１８を制御し、ピボット点を中心にステレオカメラ１４Ａをピボット動作させた後、ステレオカメラ１４Ａにより撮影する。その後は、ステップＳ１２４に戻って、上記説明した各ステップＳ１２４〜ステップＳ１３４の処理を繰り返し行う。そして、ステップＳ１３４において、誤差を評価した結果、特徴点の位置と術前画像又は３Ｄモデル中の対応する基準点の位置との間に大きなズレが無い場合（Ｓ１３４：Ｙｅｓ）、アーム姿勢制御部１２０はレジストレーション処理を終了する。
アーム姿勢制御部１２０による自動レジストレーション処理が可能であれば、ユーザによる調整によらずに、ステレオカメラ１４Ａの位置を適切な位置に移動させて、撮像画像中の患者１の頭部と、術前画像又は３Ｄモデルとを容易に位置合わせすることができる。また、自動レジストレーション処理を行う場合であっても、本実施形態に係る手術ナビゲーションシステムでは、１回のレジストレーション処理が行われた後は、術中に再度レジストレーションが行われることはない。
（２−２−３．術具位置の検出処理）
次に、術具の先端位置を検出する処理の例について説明する。手術時において、例えば、図６に示したように、脳の表面に、位置検出専用術具であるプローブ４８を当て、当該プローブ４８の位置と術前画像上、又は、術部の３Ｄモデル上の基準点との位置関係を知りたい場合がある。具体的には、カメラとして、顕微鏡やビデオ顕微鏡を使用していない場合や、顕微鏡等を使用している場合であってもよりピンポイントに正確な位置を知りたい場合、さらには、術具の先端が脳実質の内部に埋まっている場合に、術具の先端位置を正確に知りたい場面が生じ得る。
図１１は、プローブ４８の先端位置の検出処理において、撮像装置１０の制御装置１００により実行されるフローチャートである。係るフローチャートは、基本的に、図９及び図１０に示したレジストレーション処理の後に実行されてもよい。すなわち、患者１の頭部とステレオカメラ１４Ａとの相対位置が決定された状態で、プローブ４８の先端位置の検出処理が実行されてもよい。
まず、ステップＳ１４２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって患者１の頭部が撮影される。次いで、ステップＳ１４４において、位置算出部１１６は、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像を画像処理することによって、プローブ４８の検出を試みる。例えば、位置算出部１１６は、あらかじめ記憶されたプローブ４８の把持部分の形状、あるいは、プローブ４８の把持部分及び先端部分の連結部の形状等とのマッチング処理により、撮像画像中のプローブ４８の検出を試みる。
次いで、ステップＳ１４６において、位置算出部１１６は、撮像画像中にプローブ４８が検出されたか否かを判別する。撮像画像中にプローブ４８が検出されない場合（Ｓ１４６：Ｎｏ）、ステップＳ１４２に戻って、プローブ４８が検出されるまで、ステップＳ１４２〜ステップＳ１４６を繰り返す。一方、ステップＳ１４６において、撮像画像中にプローブ４８が検出された場合（Ｓ１４６：Ｙｅｓ）、位置算出部１１６は、ステップＳ１４８において、プローブ４８の先端位置を算出する。例えば、位置算出部１１６は、あらかじめ記憶されたプローブ４８の形状及び長さの情報に基づいて、プローブ４８の先端位置を検出してもよい。
さらに、ステップＳ１５０において、位置算出部１１６は、プローブ４８の先端の相対的３次元座標と、３次元座標空間でのプローブ４８の姿勢とを算出する。プローブ４８の姿勢は、例えば画像処理によって算出されてもよい。次いで、ステップＳ１５２において、位置算出部１１６は、算出されたプローブ４８の先端の相対位置とプローブ４８の姿勢情報とをナビ制御装置６０に送信する。その後は、ステップＳ１４２に戻って、ステップＳ１４２〜ステップＳ１５２を繰り返す。
図１２は、プローブ４８の位置を検出する処理においてナビゲーション装置５０のナビ制御装置６０により実行されるフローチャートである。ステップＳ１６２において、ナビ制御装置６０は、撮像装置１０の制御装置１００から、プローブ４８の先端の相対位置情報及びプローブ４８の姿勢情報を取得する。次いで、ステップＳ１６４において、ナビ制御装置６０は、レジストレーションが完了している患者１の頭部の画像情報上にプローブ４８を描画し、表示装置５４にプローブ４８の画像をリアルタイムに表示させる。これにより、術者は、表示装置５４に表示されるナビゲーション表示を見ながら、プローブ４８の先端を所望の位置に移動させることができる。
＜２−３．まとめ＞
以上、本実施形態に係る撮像装置１０及び手術ナビゲーションシステムによれば、ステレオカメラ１４Ａが搭載されたアーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される情報とに基づいて、所定の位置を算出することができる。したがって、撮像装置１０とは別に、光学センサや磁気センサ等のセンサの追加が不要になる。これにより、センサのセッティングが不要になり、かつ、光学的な遮蔽や磁気的な遮蔽、ノイズ等の外乱による誤検出や検出不能状態をなくすことができる。また、手術ナビゲーションシステムにおける機材の点数を削減することができ、コストの低減に資することもできる。
また、本実施形態に係る撮像装置１０によれば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａの焦点距離等のカメラパラメータとに基づいて、ステレオカメラ１４Ａにより撮像される術部の相対的３次元座標を算出することができる。したがって、追加的なセンサを用いることなく、術部の相対的位置を検出して、ナビゲーション制御に利用することができる。
また、本実施形態に係る撮像装置１０によれば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される３Ｄ画像情報及びカメラパラメータとに基づいて、術部の特徴点の相対的３次元座標を算出することができる。したがって、追加的なセンサを用いることなく、ナビゲーション装置５０において、術部のレジストレーションを容易に行うことができる。さらに、撮像画像と術前画像とのマッチング結果を、アーム部３０の姿勢制御にフィードバックした場合には、術部の自動レジストレーションが可能になり、レジストレーション作業が簡略化される。
また、本実施形態に係る撮像装置１０によれば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される３Ｄ画像情報及びカメラパラメータとに基づいて、術具、あるいは、術具の先端の位置及び姿勢を算出することができる。したがって、追加的なセンサを用いることなく、ナビゲーション装置５０において、術具、あるいは、術具の先端の位置及び姿勢を正確に検出することができ、術具を表示装置５４に正確にリアルタイムに重畳表示させることができる。これにより、術具の先端が体内に進入している場合であっても、術者は、術部の先端を所望の位置に移動させることができる。
＜＜３．第２の実施の形態＞＞
＜３−１．手術ナビゲーションシステムの概要＞
本開示の第２の実施の形態に係る手術ナビゲーションシステムでは、撮像装置１０Ａのアーム部３０が、可動台車に設置される。すなわち、ベッド４０に対してアーム部３０が固定されておらず、アーム部３０のいずれの位置も患者１に対して変化し得るために、３次元座標の原点を設定する処理が必要になる。このため、本実施形態に係る手術ナビゲーションシステムでは、リファレンスマーカ１３４を用いて３次元座標の原点（基準位置）Ｐ０を設定する。
図１３は、本実施形態に係る手術ナビゲーションシステムで用いられる撮像装置１０Ａの構成例を示す説明図である。係る撮像装置１０Ａは、アーム部３０が可動台車３１３０に設置されている点以外は、図２に示した撮像装置１０と同様に構成され得る。係る撮像装置１０Ａは、ユーザによってベッド４０の脇の任意の位置に配置され得る。
図１４は、本実施形態に係る手術ナビゲーションシステムが適用され得る手術の様子を示す説明図である。図示した例は、脳外科手術の様子を示しており、患者１は、ベッド４０上に俯せの状態で支持され、頭部は、固定具４２により固定されている。固定具４２には、連結用の治具を介して、リファレンスマーカ１３４が接続されている。すなわち、リファレンスマーカ１３４と患者１との位置関係は、一定に維持され得る。そのため、本実施形態に係る撮像装置１０Ａは、リファレンスマーカ１３４の３次元位置に基づき特定される所定の位置を原点Ｐ０とする３次元座標系で、所定の位置を検出するよう構成される。また、本実施形態に係る手術ナビゲーションシステムでは、術具１４８が術具マーカ１３０を備え、当該術具マーカ１３０を利用して、術具１４８の位置及び姿勢が検出される。
リファレンスマーカ１３４及び術具マーカ１３０は、位置又は姿勢を検出するための標識とされる４つのマーカ部を備えた光学式マーカであってもよい。例えば、光源から出射される赤外線領域の波長の光を拡散反射するマーカ部とし、赤外線領域の波長に感度を有するステレオカメラ１４Ａにより取得される３Ｄ画像情報に基づいて、マーカの位置及び姿勢を検出するように構成してもよい。あるいは、赤色等の特徴的な色を有するマーカ部とし、ステレオカメラ１４Ａにより取得される３Ｄ画像情報に基づいて、マーカの位置及び姿勢を検出するように構成してもよい。マーカの位置及び姿勢によって、撮像画像中の４つのマーカ部の位置関係が変わるため、位置算出部１１６は、４つのマーカ部の位置関係を検出することにより、マーカの位置及び姿勢を特定することができる。
＜３−２．位置検出処理＞
以下、図３及び図４を参照しながら、本実施形態に係る手術ナビゲーションシステムにおいて実行される制御処理について説明する。
（３−２−１．術野の把握処理）
まず、本実施形態に係る撮像装置１０Ａの制御装置１００により実行される術野の把握処理について説明する。術野の把握処理は、基本的には図７に示したフローチャートに沿って実行される。ただし、本実施形態に係る撮像装置１０Ａでは、リファレンスマーカ１３４に基づき特定される所定の位置が３次元座標系の原点Ｐ０とされる。したがって、図７のステップＳ１０６において、位置算出部１１６は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａの焦点距離の情報とに基づいて、リファレンスマーカ１３４に基づき特定される所定の位置を原点Ｐ０とする、患者１の頭部の相対的３次元座標を算出する。原点Ｐ０は、例えば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力されるカメラパラメータとに基づいて算出されるリファレンスマーカ１３４の３次元座標の位置としてあらかじめ設定され得る。
原点Ｐ０とされるリファレンスマーカ１３４の位置は、リファレンスマーカ１３４の４つのマーカ部のうちのいずれかの位置であってもよいし、マーカ部とは別の、リファレンスマーカ１３４に対する相対位置が不変の任意の位置であってもよい。また、当該任意の原点Ｐ０に対する３次元座標は、リファレンスマーカ１３４の姿勢により定義され得る。すなわち、位置算出部１１６は、特定されるリファレンスマーカ１３４の姿勢に基づいて、ｘｙｚの３軸を特定することができる。これにより、位置算出部１１６は、原点Ｐ０に対する、患者１の頭部の相対的３次元座標を求めることができる。
本実施形態に係る手術ナビゲーションシステムでは、３次元位置が、リファレンスマーカ１３４により特定される原点Ｐ０に対する相対的３次元座標として算出される点以外は、第１の実施の形態に係る手術ナビゲーションシステムによる術野の把握処理の場合と同様に、術野の把握処理を実行することができる。
（３−２−２．レジストレーション処理）
次に、撮像画像中の患者１の頭部と、術前画像、あるいは、３Ｄモデル又は術前画像等に存在する基準点との間のレジストレーション処理の例について説明する。図１５は、レジストレーション処理のフローチャートを示す。
本実施形態に係る撮像装置１０Ａの制御装置１００においても、まず、図９に示したフローチャートと同様の手順に沿ってステップＳ１２２〜ステップＳ１３０を行う。これにより、ナビ制御装置６０では、特徴点の位置と、術前画像又は３Ｄモデル中の対応する基準点の位置との比較及びマッチングが行われ、比較結果が表示装置５４に表示される。ユーザは、表示された比較結果を見ながら、撮像画像中の患者１の頭部と術前画像又は３Ｄモデルとが位置合わせされるように、アーム部３０の姿勢を調整する。
患者１の頭部と術前画像又は３Ｄモデルとの位置合わせが完了すると、ステップＳ１７２において、カメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって、リファレンスマーカ１３４が撮影される。アーム部３０が設置された可動台車３１３０が移動しない限り、ステレオカメラ１４Ａの位置が移動してもよい。次いで、ステップＳ１７４において、位置算出部１１６は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力されるカメラパラメータとに基づいて、リファレンスマーカ１３４の３次元座標を算出し、当該リファレンスマーカ１３４により特定される所定の位置を原点Ｐ０に設定する。
次いで、ステップＳ１７６において、位置算出部１１６は、リファレンスマーカ１３４により特定される原点Ｐ０に対する、患者１の頭部の相対的３次元座標を算出し、保存する。当該患者１の頭部の相対的３次元座標の情報は、ナビゲーション装置５０にも送信され、保存されてもよい。
本実施形態に係る手術ナビゲーションシステムでは、ステレオカメラ１４Ａが可動台車３１３０に設置され、移動可能になっているため、可動台車３１３０の位置が変わった場合には、再度レジストレーション処理が実行される。換言すれば、患者１の頭部とリファレンスマーカ１３４との相対位置関係が変わらず、かつ、可動台車３１３０の位置が変わらない限り、１回のレジストレーション処理を行うことによって、術中に再度レジストレーションを行わなくてもよい。なお、本実施形態に係る手術ナビゲーションシステムにおいても、図１０に示すフローチャートにしたがって自動レジストレーション処理が行われてもよい。
（３−２−３．術具位置の検出処理）
次に、術具の先端位置を検出する処理の例について説明する。図１６は、位置検出専用術具（プローブ）１４８の先端位置の検出処理において撮像装置１０Ａの制御装置１００により実行されるフローチャートである。係るフローチャートは、基本的に、図１５に示したレジストレーション処理の後に実行されてもよい。すなわち、３次元座標の原点Ｐ０、及び、患者１の頭部とステレオカメラ１４Ａとの相対位置が決定された状態で、プローブ１４８の先端位置の検出処理が実行されてもよい。
まず、ステップＳ１８２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって患者１の頭部が撮影される。次いで、ステップＳ１８４において、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像中から術具マーカ１３０の検出を試みる。次いで、ステップＳ１８６において、位置算出部１１６は、撮像画像中に術具マーカ１３０が検出されたか否かを判別する。撮像画像中に術具マーカ１３０が検出されない場合（Ｓ１８６：Ｎｏ）、ステップＳ１８２に戻って、術具マーカ１３０が検出されるまで、ステップＳ１８２〜ステップＳ１８６を繰り返す。
一方、ステップＳ１８６において、撮像画像中に術具マーカ１３０が検出された場合（Ｓ１８６：Ｙｅｓ）、位置算出部１１６は、ステップＳ１８８において、プローブ１４８の先端位置を検出する。例えば、位置算出部１１６は、あらかじめ記憶されたプローブ１４８の形状及び長さの情報に基づいて、プローブ１４８の先端位置を検出してもよい。さらに、ステップＳ１９０において、位置算出部１１６は、リファレンスマーカ１３４により特定される原点Ｐ０に対する、プローブ１４８の先端の相対的３次元座標と、３次元空間におけるプローブ１４８の姿勢とを算出する。次いで、ステップＳ１９２において、位置算出部１１６は、算出されたプローブ１４８の先端の相対位置とプローブ１４８の姿勢情報とをナビ制御装置６０に送信する。その後は、ステップＳ１８２に戻って、ステップＳ１８２〜ステップＳ１９２を繰り返す。
ナビ制御装置６０は、図１２に示したフローチャートにしたがって、撮像装置１０の制御装置１００から、プローブ１４８の先端の相対位置及びプローブ１４８の姿勢情報を取得し、患者１の頭部の画像情報上にプローブ１４８を描画し、プローブ１４８の画像を表示装置５４にリアルタイムに表示させる。これにより、プローブ１４８の先端が体内に進入している場合であっても、術者は、表示装置５４に表示されるナビゲーション表示を見ながら、術部の先端を所望の位置に移動させることができる。
（３−２−４．位置ズレ診断処理）
次に、アーム部３０の位置ズレの診断処理について説明する。本実施形態に係る手術ナビゲーションシステムでは、リファレンスマーカ１３４が用いられるために、可動台車３１３０の移動等によるアーム部３０の位置ズレを診断することができる。図１７は、アーム部３０の位置ズレの診断処理を示すフローチャートである。係るフローチャートは、術中や作業中に、リファレンスマーカ１３４が画面に映り込んだ場合に、当該リファレンスマーカ１３４の画像情報を利用してアーム部３０の位置ズレの診断を行うものであり、基本的に、図１５に示したレジストレーション処理の後に実行される。すなわち、リファレンスマーカ１３４に基づき特定される３次元座標の原点Ｐ０、及び、患者１の頭部とステレオカメラ１４Ａとの相対位置が決定された状態で、位置ズレの診断処理が実行され得る。
まず、ステップＳ２０２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。次いで、ステップＳ２０４において、位置算出部１１６は、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像中にリファレンスマーカ１３４が存在するか否かを判別する。撮像画像中にリファレンスマーカ１３４が存在しない場合（Ｓ２０４：Ｎｏ）、アーム部３０の位置ズレの診断をできないことから、ステップＳ２０２に戻る。
撮像画像中にリファレンスマーカ１３４が存在する場合（Ｓ２０４：Ｙｅｓ）、位置算出部１１６は、ステップＳ２０６において、原点Ｐ０に対するリファレンスマーカ１３４の３次元座標を算出する。すなわち、ステップＳ２０６では、原点Ｐ０に対するリファレンスマーカ１３４の相対位置が算出される。次いで、ステップＳ２０８において、位置算出部１１６は、ステップＳ２０６で算出されたリファレンスマーカ１３４の相対位置と、現在の原点Ｐ０を設定した時点でのリファレンスマーカ１３４の相対位置との差を算出する。例えば、各相対位置に対応する３次元座標の各軸方向成分の差が求められる。なお、アーム部３０の位置ズレを生じていなければ、上記の相対位置の差はゼロになる。
次いで、ステップＳ２１０において、位置算出部１１６は、自動補正モードがオンになっているか否かを判別する。自動補正モードがオフになっている場合（Ｓ２１０：Ｎｏ）、ステップＳ２１２において、位置算出部１１６は、ステップＳ２０８で求められたリファレンスマーカ１３４の相対位置のズレ量をナビ制御装置６０に送信し、表示装置５４に表示させる。これにより、ユーザは、アーム部３０の位置ズレの有無を知ることができ、当該ズレ量が大きいと感じた場合には、自動補正モードをオンにしつつ、ユーザ自身がアーム部３０を移動させることにより、アーム部３０の位置ズレを明示的に補正することができる。
一方、自動補正モードがオンになっている場合（Ｓ２１０：Ｙｅｓ）、ステップＳ２１４において、位置算出部１１６は、アーム部３０の姿勢情報の置き換えを行う。アーム部３０の姿勢情報の置き換えは、例えば、今回算出されたリファレンスマーカ１３４の相対位置に対応するアーム部３０の姿勢情報を補正することにより行われてもよい。これにより、アーム部３０の姿勢情報の置き換えが行われた後、位置算出部１１６は、置き換え後のアーム部３０の姿勢情報との差分で、アーム部３０の姿勢情報を算出し、位置検出等の様々な計算に利用する。
以上のように位置ズレ診断処理を実行することにより、リファレンスマーカ１３４を撮像画像中に捉えることによって、いつでもアーム部３０の姿勢情報の正確性を評価することができる。また、例えば、アーム部３０が設置された可動台車３１３０が移動した場合には、捉えられたリファレンスマーカ１３４の位置情報を利用して、アーム部３０の姿勢のズレを検出し、アーム部３０の姿勢情報を置き換えることにより、常に正確な位置情報を算出することが可能になる。
なお、図１７に示したフローチャートの例では、リファレンスマーカ１３４の相対位置を比較することによりアーム部３０の位置ズレを測っているが、リファレンスマーカ１３４を捉えている状態でのアーム部３０の姿勢情報を用いて、アーム部３０の位置ズレを測ってもよい。
また、制御装置１００が、適宜のタイミングで、リファレンスマーカ１３４を撮像画像中に捉えるように動作し、位置ズレの診断及びアーム部３０の姿勢情報の自動補正を実行するようにしてもよい。図１８は、再キャリブレーション処理のフローチャートを示す。まず、ステップＳ２２２において、位置算出部１１６は再キャリブレーションを実行するために、アーム姿勢制御部１２０に指令を送り、ステレオカメラ１４Ａの撮像画像中にリファレンスマーカ１３４が入るよう、アーム部３０の姿勢を変化させる。このとき、ユーザの操作によってアーム部３０の姿勢制御が行われてもよいし、現在記憶されている患者１の頭部の位置とリファレンスマーカ１３４の位置との関係に基づいて、制御装置１００自身でステレオカメラ１４Ａの撮像画像中にリファレンスマーカ１３４が検出されるように、アーム部３０の自動姿勢制御が行われてもよい。
次いで、ステップＳ２２４において、位置算出部１１６は、ステレオカメラ１４Ａによって取得される撮像画像中にリファレンスマーカ１３４が存在するか否かを判別する。撮像画像中にリファレンスマーカ１３４が存在する場合（Ｓ２２４：Ｙｅｓ）、位置算出部１１６は、図１７のフローチャート中のステップＳ２０６、ステップＳ２０８、及びステップＳ２１４の手順に沿って、アーム部３０の姿勢情報の置き換えを行い、以降、このときのアーム部３０の姿勢情報との差分で、アーム部３０の姿勢を算出する。
一方、ステップＳ２２４において、撮像画像中にリファレンスマーカ１３４が存在しない場合（Ｓ２２４：Ｎｏ）、ステップＳ２２６に進み、位置算出部１１６は、ステレオカメラ１４Ａの画角が最大となっているか否かを判別する。画角がすでに最大になっている場合（Ｓ２２６：Ｙｅｓ）、ステレオカメラ１４Ａでリファレンスマーカ１３４を捉えることができず、キャリブレーションを自動実行させることができないため、処理を終了させる。一方、画角が最大になっていない場合（Ｓ２２６：Ｎｏ）、位置算出部１１６は、ステップＳ２２８において、ステレオカメラ１４Ａの画角を拡大させて撮像範囲を拡大させた後、ステップＳ２２４に戻り、ステップＳ２２４以降の各ステップを繰り返す。
これにより、アーム部３０がベッド４０に固定されていない場合において、アーム部３０が設置された可動台車３１３０が移動したときに、リファレンスマーカ１３４を撮像画像内に捉えることができれば、自動的に再キャリブレーションを完了させることができる。なお、キャリブレーションを行う場合、ステレオカメラ１４Ａの画角を拡大させる代わりに、あるいは、画角の拡大と併せて、アーム部３０の姿勢を変化させてステレオカメラ１４Ａの位置を後退させてもよい。
＜３−３．まとめ＞
以上、本実施形態に係る撮像装置１０Ａ及び手術ナビゲーションシステムによれば、ステレオカメラ１４Ａが搭載されたアーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される情報とに基づいて、所定の位置を算出することができる。したがって、第１の実施の形態に係る撮像装置１０Ａと同様の効果を得ることができる。また、本実施形態に係る撮像装置１０Ａにおいても、アーム部３０の姿勢情報、及び、ステレオカメラ１４Ａから取得される情報に基づいて、術部の相対的３次元座標、術部の特徴点の相対的３次元座標、術具又は術具の先端位置の相対的３次元座標を検出することができる。したがって、術野の把握処理、レジストレーション処理、及び、術具の先端位置の検出処理等の制御を簡略的に、かつ、正確に行うことができる。
また、本実施形態に係る撮像装置１０Ａ及び手術ナビゲーションシステムは、リファレンスマーカ１３４及び術具マーカ１３０を用いて位置検出処理を行うように構成されているため、レジストレーション処理の完了後に、可動台車３１３０の移動等によるアーム部３０の位置ズレの診断処理や、自動キャリブレーション処理を実行することができる。したがって、アーム部３０の位置ズレが生じた場合であっても、様々な位置検出処理の信頼性を維持することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記の各実施形態においては、アーム部３０に、カメラとしての顕微鏡部１４を備えるが、本開示の技術は係る例に限定されない。例えば、アーム部３０に、接眼部付顕微鏡と、当該接眼部付顕微鏡を介して得られる拡大画像を記録するカメラとが備えられてもよい。
また、上記の各実施形態においては、顕微鏡部１４としてのステレオカメラを用いて、所定の対象部位までの奥行値の情報を取得しているが、本開示の技術は係る例に限定されない。例えば、単眼カメラと併せて距離センサを用いることによっても、当該奥行値の情報を取得することができる。
また、上記第１の実施の形態では、撮像画像中の術具の検出が画像処理により行われ、第２の実施の形態では、撮像画像中の術具の検出が術具マーカの検出により行われていたが、各実施形態における術具の検出方法は、逆であってもよい。すなわち、第１の実施の形態と第２の実施の形態とは、３次元座標の原点Ｐ０の設定の仕方が異なるが、術具の検出方法は、上記の例に限られない。
また、上記実施形態では、撮像装置の制御装置１００が、位置計算部１１０及びアーム姿勢制御部１２０を備えるが、本開示の技術は係る例に限定されない。本開示に係る制御装置１００は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される情報とに基づいて、所定の位置情報を算出可能になっていればよく、アーム姿勢制御部１２０を備えていなくてもよい。この場合、アーム姿勢制御部１２０の機能を持つ他の制御装置により、アーム部３０の姿勢制御が行われてもよい。
また、上記各実施形態で説明したシステム構成及びフローチャートは一例であって、本開示の技術は係る例に限定されない。撮像装置の制御装置１００により実行されるフローチャート中の各ステップの一部が、ナビ制御装置側で実行されてもよい。例えば、図１０に示す自動レジストレーション処理において、アーム部３０のステップＳ１３２〜ステップＳ１３６をナビ制御装置６０が行い、計算結果を制御装置１００に送信してもよい。
なお、撮像装置及び手術ナビゲーションシステムの各機能を実現するためのコンピュータプログラムは、いずれかの制御装置等に実装され得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、前記カメラから出力される情報を検出するカメラ情報検出部と、前記姿勢情報及び前記カメラから出力される情報に基づいて所定の位置を算出する位置算出部と、を備える、医療用撮像装置。
（２）前記アームが、患者を支持する支持台に固定され、前記位置算出部は、前記アームの姿勢の変化によっても位置が変化しない所定の基準位置に対する相対位置を算出する、前記（１）に記載の医療用撮像装置。
（３）前記アームが、可動台車に設置され、前記位置算出部は、前記可動台車が所定の位置に配置された状態で、患者を支持する支持台に固定されたリファレンスマーカに基づき特定される所定の位置を基準位置として設定し、前記基準位置に対する相対位置を算出する、前記（１）に記載の医療用撮像装置。
（４）前記アームの制御を行うアーム制御部を備え、前記アーム制御部は、現在の基準位置を設定したときの前記リファレンスマーカの相対位置と、算出される前記リファレンスマーカの相対位置とが異なる場合に、前記算出された前記リファレンスマーカの相対位置を基準に前記アームの姿勢情報を補正する、前記（３）に記載の医療用撮像装置。
（５）前記位置算出部は、前記カメラによって撮像される画像に所定の検出対象が存在するか否かを判定し、前記検出対象が存在する場合に、前記検出対象の位置を算出する、前記（１）〜（４）のいずれか１項に記載の医療用撮像装置。
（６）前記位置算出部は、前記カメラによって撮像される前記画像に所定の検出対象が存在しない場合に、前記画像の撮像範囲を拡大させる、前記（５）に記載の医療用撮像装置。
（７）前記アームの制御を行うアーム制御部を備え、前記アーム制御部は、前記アームの姿勢を制御することにより、前記カメラによって撮像される画像に含まれる患者の手術対象部位を、あらかじめ用意された基準画像に対して位置合わせする、前記（１）〜（６）のいずれか１項に記載の医療用撮像装置。
（８）前記位置合わせをした場合であっても前記手術対象部位と前記基準画像とが位置ずれしている場合に、前記アーム制御部は、前記手術対象部位の仮想中心位置をピボット点として前記カメラの位置を調整することにより、前記手術対象部位と前記基準画像との位置合わせを再度行う、前記（７）に記載の医療用撮像装置。
（９）前記所定の位置は、前記カメラの焦点距離、患者の手術対象部位の位置、術具の位置、術具の先端位置、及びリファレンスマーカの位置のうちの少なくとも１つの位置を示す情報である、前記（１）〜（８）のいずれか１項に記載の医療用撮像装置。
（１０）前記アーム姿勢情報検出部は、前記関節部に備えられたエンコーダの出力に基づいて前記姿勢情報を検出する、前記（１）〜（９）のいずれか１項に記載の医療用撮像装置。
（１１）前記カメラから出力される情報が、前記カメラの焦点距離の情報、及び前記カメラにより取得される画像信号のうちのいずれか１つを含む、前記（１）〜（１０）のいずれか１項に記載の医療用撮像装置。
（１２）前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部を備える、前記（１）〜（１１）のいずれか１項に記載の医療用撮像装置。
（１３）少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、前記カメラから出力される情報を検出するカメラ情報検出部と、前記姿勢情報及び前記カメラから出力される情報に基づいて所定の位置を算出する位置算出部と、前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部と、前記画像信号から生成される３Ｄ画像情報に含まれる患者の手術対象部位をあらかじめ用意された基準画像に重ね合わせて表示させながら、手術のナビゲーションを行うナビゲーション制御部と、を備える、手術ナビゲーションシステム
１０，１０Ａ 撮像装置
１４ 顕微鏡部
１４Ａ ステレオカメラ
３０ アーム部
４８ プローブ（術具）
５０ ナビゲーション装置
５４ 表示装置
６０ ナビ制御装置
１００ 制御装置
１１０ 位置計算部
１１２ アーム姿勢情報検出部
１１４ カメラ情報検出部
１１６ 位置算出部
１２０ アーム姿勢制御部
１３０ 術具マーカ
１３４ リファレンスマーカ

Claims (7)

  1. エンコーダを備える少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を前記エンコーダの出力に基づいて検出するアーム姿勢情報検出部と、
    前記カメラから出力される情報を検出するカメラ情報検出部と、
    前記姿勢情報及び前記カメラから出力される情報に基づいて患者の手術対象部位の位置を算出する位置算出部と、
    前記アームの制御を行うアーム制御部と、
    を備え、
    前記アームが、患者を支持する支持台に固定され、
    前記位置算出部は、前記アームの姿勢の変化によっても位置が変化しない所定の基準位置に対する相対位置を算出し、
    前記アーム制御部は、前記アームの姿勢を制御することにより、前記カメラによって撮像される画像に含まれる前記手術対象部位を、あらかじめ用意された基準画像に対して位置合わせする、
    医療用撮像装置。
  2. 前記位置算出部は、前記カメラによって撮像される画像に所定の検出対象が存在するか否かを判定し、前記検出対象が存在する場合に、前記検出対象の位置を算出する、請求項１に記載の医療用撮像装置。
  3. 前記位置算出部は、前記カメラによって撮像される前記画像に所定の検出対象が存在しない場合に、前記画像の撮像範囲を拡大させる、請求項２に記載の医療用撮像装置。
  4. 前記位置合わせをした場合であっても前記手術対象部位と前記基準画像とが位置ずれしている場合に、
    前記アーム制御部は、前記手術対象部位の仮想中心位置をピボット点として前記カメラの位置を調整することにより、前記手術対象部位と前記基準画像との位置合わせを再度行う、請求項１に記載の医療用撮像装置。
  5. 前記カメラから出力される情報が、前記カメラの焦点距離の情報、及び前記カメラにより取得される画像信号のうちのいずれか１つを含む、請求項１〜４のいずれか一つに記載の医療用撮像装置。
  6. 前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部を備える、請求項１〜５のいずれか一つに記載の医療用撮像装置。
  7. エンコーダを備える少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を前記エンコーダの出力に基づいて検出するアーム姿勢情報検出部と、
    前記カメラから出力される情報を検出するカメラ情報検出部と、
    前記姿勢情報及び前記カメラから出力される情報に基づいて患者の手術対象部位の位置を算出する位置算出部と、
    前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部と、
    前記画像信号から生成される画像情報に含まれる患者の手術対象部位をあらかじめ用意された基準画像に重ね合わせて表示させながら、手術のナビゲーションを行うナビゲーション制御部と、
    前記アームの制御を行うアーム制御部と、
    を備え、
    前記アームが、患者を支持する支持台に固定され、
    前記位置算出部は、前記アームの姿勢の変化によっても位置が変化しない所定の基準位置に対する相対位置を算出し、
    前記アーム制御部は、前記アームの姿勢を制御することにより、前記カメラによって撮像される画像に含まれる前記手術対象部位を、あらかじめ用意された基準画像に対して位置合わせする、
    手術ナビゲーションシステム。
JP2015252869A 2015-12-25 2015-12-25 医療用撮像装置及び手術ナビゲーションシステム Expired - Fee Related JP6657933B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015252869A JP6657933B2 (ja) 2015-12-25 2015-12-25 医療用撮像装置及び手術ナビゲーションシステム
US15/761,507 US20180263710A1 (en) 2015-12-25 2016-11-18 Medical imaging apparatus and surgical navigation system
CN201680073878.5A CN108366833B (zh) 2015-12-25 2016-11-18 手术信息处理设备和方法
PCT/JP2016/084354 WO2017110333A1 (en) 2015-12-25 2016-11-18 Surgical information processing apparatus and method
EP16813041.7A EP3393385A1 (en) 2015-12-25 2016-11-18 Surgical information processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015252869A JP6657933B2 (ja) 2015-12-25 2015-12-25 医療用撮像装置及び手術ナビゲーションシステム

Publications (2)

Publication Number Publication Date
JP2017113343A JP2017113343A (ja) 2017-06-29
JP6657933B2 true JP6657933B2 (ja) 2020-03-04

Family

ID=57570279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015252869A Expired - Fee Related JP6657933B2 (ja) 2015-12-25 2015-12-25 医療用撮像装置及び手術ナビゲーションシステム

Country Status (5)

Country Link
US (1) US20180263710A1 (ja)
EP (1) EP3393385A1 (ja)
JP (1) JP6657933B2 (ja)
CN (1) CN108366833B (ja)
WO (1) WO2017110333A1 (ja)

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP6722502B2 (ja) * 2016-04-27 2020-07-15 株式会社キーエンス 三次元座標測定器
JP6883222B2 (ja) 2016-07-12 2021-06-09 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
JP2018075218A (ja) * 2016-11-10 2018-05-17 ソニー株式会社 医療用支持アーム及び医療用システム
JP6216863B1 (ja) * 2016-11-11 2017-10-18 アムキャッド・バイオメッド・コーポレイションＡｍＣａｄ Ｂｉｏｍｅｄ Ｃｏｒｐｏｒａｔｉｏｎ 頭部及び頚部の評価または介入用ポジショニング装置
US20180133085A1 (en) * 2016-11-14 2018-05-17 Amcad Biomed Corporation Positioning apparatus for head and neck assessment or intervention
US11701087B2 (en) 2016-11-14 2023-07-18 Amcad Biomed Corporation Method for head and neck assessment or intervention
DE102016122004B4 (de) * 2016-11-16 2024-03-21 Carl Zeiss Meditec Ag Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11109878B2 (en) 2017-10-30 2021-09-07 Cilag Gmbh International Surgical clip applier comprising an automatic clip feeding system
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11413042B2 (en) 2017-10-30 2022-08-16 Cilag Gmbh International Clip applier comprising a reciprocating clip advancing member
TWI730242B (zh) * 2017-12-27 2021-06-11 醫百科技股份有限公司 手術器具定位系統及其定位方法
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US20190200981A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) * 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11045591B2 (en) 2017-12-28 2021-06-29 Cilag Gmbh International Dual in-series large and small droplet filters
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US20190201087A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Smoke evacuation system including a segmented control circuit for interactive surgical platform
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11678927B2 (en) 2018-03-08 2023-06-20 Cilag Gmbh International Detection of large vessels during parenchymal dissection using a smart blade
US11457944B2 (en) 2018-03-08 2022-10-04 Cilag Gmbh International Adaptive advanced tissue treatment pad saver mode
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11166716B2 (en) 2018-03-28 2021-11-09 Cilag Gmbh International Stapling instrument comprising a deactivatable lockout
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
WO2019220555A1 (ja) * 2018-05-16 2019-11-21 株式会社島津製作所 イメージング装置
US20190354200A1 (en) * 2018-05-16 2019-11-21 Alcon Inc. Virtual foot pedal
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US11298186B2 (en) 2018-08-02 2022-04-12 Point Robotics Medtech Inc. Surgery assistive system and method for obtaining surface information thereof
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11291444B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
EP3744286A1 (en) * 2019-05-27 2020-12-02 Leica Instruments (Singapore) Pte. Ltd. Microscope system and method for controlling a surgical microscope
EP3753521A1 (de) * 2019-06-19 2020-12-23 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
EP3753520A1 (de) * 2019-06-19 2020-12-23 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
EP3753519A1 (de) * 2019-06-19 2020-12-23 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
JP2021040987A (ja) * 2019-09-12 2021-03-18 ソニー株式会社 医療用支持アーム、及び医療用システム
US11461929B2 (en) * 2019-11-28 2022-10-04 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for automated calibration
JP6901160B2 (ja) * 2019-12-05 2021-07-14 炳碩生醫股▲フン▼有限公司 手術支援システムおよびその表面情報を取得する方法
CN110897717B (zh) 2019-12-09 2021-06-18 苏州微创畅行机器人有限公司 导航手术系统及其注册方法与电子设备
KR102315803B1 (ko) * 2019-12-16 2021-10-21 쓰리디메디비젼 주식회사 의료용 카메라의 거치대
CN111407406B (zh) * 2020-03-31 2022-04-26 武汉联影智融医疗科技有限公司 头部位置标识系统、术中控制系统及控制方法
US10949986B1 (en) * 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4101951B2 (ja) * 1998-11-10 2008-06-18 オリンパス株式会社 手術用顕微鏡
JP4674948B2 (ja) 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
GB2428110A (en) * 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
DE102007054450A1 (de) * 2006-11-13 2008-05-15 Eberhard-Karls-Universität Universitätsklinikum Tübingen Vorrichtung zur Bereitstellung von Bildern für einen Operateur
JP2008210140A (ja) * 2007-02-26 2008-09-11 Sony Corp 情報抽出方法、登録装置、照合装置及びプログラム
DE102007055203A1 (de) * 2007-11-19 2009-05-20 Kuka Roboter Gmbh Einen Roboter aufweisende Vorrichtung, medizinischer Arbeitsplatz und Verfahren zum Registrieren eines Objekts
US9984437B2 (en) * 2011-09-13 2018-05-29 Koninklijke Philips N.V. Automatic online registration between a robot and images
WO2014028394A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN106061427B (zh) * 2014-02-28 2020-10-27 索尼公司 机器人臂设备、机器人臂控制方法和程序
KR102470468B1 (ko) * 2014-03-17 2022-11-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기준 타겟과의 정렬을 위한 시스템 및 방법

Also Published As

Publication number Publication date
CN108366833A (zh) 2018-08-03
CN108366833B (zh) 2021-10-12
EP3393385A1 (en) 2018-10-31
JP2017113343A (ja) 2017-06-29
US20180263710A1 (en) 2018-09-20
WO2017110333A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
JP6657933B2 (ja) 医療用撮像装置及び手術ナビゲーションシステム
JP6367905B2 (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
JP6609616B2 (ja) マルチポートの視点からの手術シーンの定量的な３次元イメージング
JP5707449B2 (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
US20140179997A1 (en) System with Decoupled Multiple Cameras for Use in Minimal-Invasive Surgery
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
US20190290371A1 (en) Optical systems for surgical probes, systems and methods incorporating the same, and methods for performing surgical procedures
JP7073618B2 (ja) 制御装置、制御方法及び医療用システム
KR20200047737A (ko) 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 기구가 진입할 때 기구의 제어를 입력 장치로 전환하는 방법
JP7444065B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
JP6666467B2 (ja) 医療用観察装置、及び制御方法
WO2020080209A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP2020074926A (ja) 医療用観察システム、信号処理装置及び医療用観察方法
US11638000B2 (en) Medical observation apparatus
WO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
US20230126611A1 (en) Information processing apparatus, information processing system, and information processing method
US20220400938A1 (en) Medical observation system, control device, and control method
WO2017169014A1 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
CN113015474A (zh) 用于核实场景特征的系统、方法和计算机程序
JP2019154883A (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
JP2019154886A (ja) 医療用表示制御装置、および表示制御方法
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置
WO2022269992A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
JP2023548279A (ja) 自動ナビゲートデジタル手術顕微鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181218

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R151 Written notification of patent or utility model registration

Ref document number: 6657933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees