JP6848785B2 - 手術システム、制御方法、及び制御装置 - Google Patents

手術システム、制御方法、及び制御装置 Download PDF

Info

Publication number
JP6848785B2
JP6848785B2 JP2017183151A JP2017183151A JP6848785B2 JP 6848785 B2 JP6848785 B2 JP 6848785B2 JP 2017183151 A JP2017183151 A JP 2017183151A JP 2017183151 A JP2017183151 A JP 2017183151A JP 6848785 B2 JP6848785 B2 JP 6848785B2
Authority
JP
Japan
Prior art keywords
unit
orientation
image
condition
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017183151A
Other languages
English (en)
Other versions
JP2018029980A (ja
JP2018029980A5 (ja
Inventor
大月 知之
知之 大月
宮本 敦史
敦史 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2018029980A publication Critical patent/JP2018029980A/ja
Publication of JP2018029980A5 publication Critical patent/JP2018029980A5/ja
Application granted granted Critical
Publication of JP6848785B2 publication Critical patent/JP6848785B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0075Apparatus for testing the eyes; Instruments for examining the eyes provided with adjusting devices, e.g. operated by control lever
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00Surgical drapes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00Surgical drapes
    • A61B46/20Surgical drapes specially adapted for patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • G05D3/20Control of position or direction using feedback using a digital comparing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0231Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors for eye surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Description

本開示は、手術用顕微鏡装置、制御方法、及び制御装置に関する。
外科手術において顕微鏡装置が用いられることがある。顕微鏡装置は、アーム部によって電子撮像式の顕微鏡部(ビデオ式の顕微鏡部)が支持されて構成される。術者は、当該顕微鏡部によって撮影された映像に基づいて、術部を拡大観察しながら手術を行う。
顕微鏡装置においては、所望の映像が得られるように、顕微鏡部の位置及び姿勢を高精度に制御可能であることが求められる。特に、高倍率で撮影を行っている場合には、顕微鏡部の位置及び姿勢の僅かなずれが映像の大きなずれにつながるため、顕微鏡部の位置及び姿勢の制御には、更に高い精度が求められる。一般的に、顕微鏡部の位置及び姿勢の移動は、ユーザによる人手によって行われているが、人手によってこのような高精度な位置決めを行おうとすると、当該ユーザには繊細な作業が求められることとなり、当該ユーザの負担の増加、位置決め作業が長引くことによる手術時間の増加につながっていた。
ここで、上記のような手術用顕微鏡装置ではなく、走査型電子顕微鏡に係る技術であるが、所望の画像を得るためのユーザの操作に係る負担を軽減するための技術が、特許文献1に開示されている。具体的には、特許文献1に記載の技術では、ユーザが指定した所望の画像が得られるように試料が載ったステージを自動で移動させる。当該技術によれば、ユーザが所望の画像を指定するという簡易な操作を行うだけで、当該所望の画像が自動的に得られることとなるため、当該ユーザの負担を軽減することができる。
特開2012−138219号公報
上記事情に鑑みれば、手術用顕微鏡装置においても、特許文献1に記載されているような、所望の映像を得るためのユーザの操作に係る負担を軽減し、当該ユーザの利便性を向上させる技術が求められていた。
そこで、本開示では、ユーザの利便性を向上させることが可能な、新規かつ改良された制御装置、制御方法及び手術用顕微鏡装置を提案する。
本開示によれば、術部の撮像画像を撮影する顕微鏡部と、前記顕微鏡部を支持するアーム部と、所望の画像を得るための前記顕微鏡部の位置及び姿勢の条件として、予め登録された位置姿勢条件を記憶する記憶部と、ユーザからの操作入力を受け付ける操作部と、前記操作部に対する操作入力に応じて、前記記憶部から前記位置姿勢条件を取得し、術中に前記顕微鏡部によって撮影される前記術部の撮像画像が前記所望の画像に対応する撮像画像となるように、取得した前記位置姿勢条件に基づいて、前記アーム部を駆動させ、前記顕微鏡部の位置及び姿勢を制御する制御部と、を備える、手術用顕微鏡装置が提供される。
また、本開示によれば、プロセッサが、ユーザからの操作入力を受け付ける操作部に対する前記操作入力に応じて、所望の画像を得るための、術部の撮像画像を撮影する顕微鏡部の位置及び姿勢の条件として、予め登録された位置姿勢条件を記憶する記憶部から前記位置姿勢条件を取得することと、術中に前記顕微鏡部によって撮影される前記術部の撮像画像が前記所望の画像に対応する撮像画像となるように、取得した前記位置姿勢条件に基づいて、前記顕微鏡部を支持するアーム部を駆動させ、当該顕微鏡部の位置及び姿勢を制御することと、を含む、制御方法が提供される。
また、本開示によれば、ユーザからの操作入力を受け付ける操作部に対する前記操作入力に応じて、所望の画像を得るための、術部の撮像画像を撮影する顕微鏡部の位置及び姿勢の条件として、予め登録された位置姿勢条件を記憶する記憶部から前記位置姿勢条件を取得し、術中に前記顕微鏡部によって撮影される前記術部の撮像画像が前記所望の画像に対応する撮像画像となるように、取得した前記位置姿勢条件に基づいて、前記顕微鏡部を支持するアーム部を駆動させ、当該顕微鏡部の位置及び姿勢を制御する制御部を備える、制御装置が提供される。
本開示によれば、術前に設定された所望の撮像画像を得るための位置姿勢条件を満たすように、術中に顕微鏡部によって撮影された術部の撮像画像に基づいて、当該顕微鏡部の位置及び姿勢が制御される。従って、ユーザが煩雑な操作を行うことなく、自動的に、所望の撮像画像が得られる位置及び姿勢に、顕微鏡部を移動させることができる。よって、ユーザに掛かる負荷を低減し、ユーザの利便性を向上させることができる。
以上説明したように本開示によれば、ユーザの利便性を向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
第1の実施形態に係る顕微鏡手術システムの概略的な一構成例を示す図である。 図1に示す顕微鏡手術システムを用いた手術の様子を示す図である。 第1の実施形態に係る駆動制御システムの機能構成の一例を示す機能ブロック図である。 位置姿勢条件を指定する際のGUIの一例を示す図である。 位置姿勢条件を登録する際のGUIの一例を示す図である。 位置姿勢条件を登録する際のGUIの一例を示す図である。 位置姿勢条件を登録する際のGUIの一例を示す図である。 第1の実施形態に係る制御方法の処理手順の一例を示すフロー図である。 探索開始位置及び探索開始姿勢について説明するための図である。 撮像画像に基づく眼の位置の検出処理について説明するための図である。 撮像画像に基づく眼の位置の検出処理について説明するための図である。 撮像画像に基づく眼の位置の検出処理について説明するための図である。 第2の実施形態に係る駆動制御システムの機能構成の一例を示す機能ブロック図である。 第2の実施形態に係る制御方法の処理手順の一例を示すフロー図である。 学習による位置姿勢条件の修正について説明するための図である。 画像の見た目についての指示を登録するための他のGUIの例を示す図である。 画像の見た目についての指示を登録するための他のGUIの例を示す図である。 画像の見た目についての指示を登録するための更に他のGUIの例を示す図である。 画像の見た目についての指示を登録するための更に他のGUIの例を示す図である。 画像の見た目についての指示を登録するための更に他のGUIの例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.顕微鏡手術システムの構成
1−2.駆動制御システムの構成
1−3.制御方法の処理手順
2.第2の実施形態
2−1.駆動制御システムの構成
2−2.制御方法の処理手順
3.変形例
3−1.学習による位置姿勢条件の更新
3−2.位置姿勢条件に含まれる指示の他の例
3−3.画像の見た目についての指示の登録方法の他の例
3−4.位置姿勢条件の指定方法の他の例
3−5.顕微鏡部の移動に対する制限
4.補足
なお、本明細書において、「ユーザ」とは、後述する顕微鏡手術システム及び/又は駆動制御システムを用いる医療スタッフ(術部に対して処置を行う医師(術者)、又は助手等)の少なくともいずれかのことを意味するものとする。特に区別する必要がある場合のみ、当該ユーザを、術者又は助手等と記載する。
また、以下の説明では、眼科手術に対して本開示に係る技術が適用される場合を例に挙げて説明を行う。ただし、本開示はかかる例に限定されず、本開示に係る技術は、例えば脳外科手術等、後述する顕微鏡手術システムを用いて行われ得る各種の手術に対して適用されてよい。
(1.第1の実施形態)
(1−1.顕微鏡手術システムの構成)
図1を参照して、本開示の第1の実施形態に係る顕微鏡手術システムの構成について説明する。図1は、第1の実施形態に係る顕微鏡手術システムの概略的な一構成例を示す図である。図1を参照すると、顕微鏡手術システム3000は、顕微鏡装置3100と、制御装置3200と、表示装置3300と、から構成される。
顕微鏡装置3100は、観察対象(術部である患者の眼)を拡大観察するための顕微鏡部3110と、顕微鏡部3110を先端で支持するアーム部3120と、アーム部3120の基端を支持するベース部3130と、を有する。
顕微鏡部3110は、略円筒形状の筒状部3111と、当該筒状部3111の内部に設けられる撮像部(図示せず)と、筒状部3111の外周の一部領域に設けられる操作部3113と、から構成される。顕微鏡部3110は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(ビデオ式の顕微鏡部)である。
筒状部3111の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光(以下、観察光ともいう)は、当該カバーガラスを通過して、筒状部3111の内部の撮像部に入射する。なお、筒状部3111の内部には例えばLED(Light Emitting Diode)等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばBayer配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、RAWデータとして制御装置3200に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部である眼の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
なお、当該撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有する。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
また、撮像部は、1つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者は術部の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
操作部3113は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部3113を介して、観察像の拡大倍率及び焦点距離(フォーカス)を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及びフォーカスが調整され得る。また、例えば、ユーザは、操作部3113を介して、アーム部3120の動作モード(後述するフリーモード及び固定モード)を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部3110を移動させようとする場合には、当該ユーザは筒状部3111を握るように把持した状態で、アーム部3120の動作モードをフリーモードにしつつ、当該顕微鏡部3110を移動させる様態が想定される。従って、操作部3113は、ユーザが筒状部3111を移動させている間でも操作可能なように、ユーザが筒状部3111を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
アーム部3120は、複数のリンク(第1リンク3123a〜第6リンク3123f)が、複数の関節部(第1関節部3121a〜第6関節部3121f)によって互いに回動可能に連結されることによって構成される。
第1関節部3121aは、略円柱形状を有し、その先端(下端)で、顕微鏡部3110の筒状部3111の上端を、当該筒状部3111の中心軸と平行な回転軸(第1軸O)まわりに回動可能に支持する。ここで、第1関節部3121aは、第1軸Oが顕微鏡部3110の撮像部の光軸と一致するように構成され得る。これにより、第1軸Oまわりに顕微鏡部3110を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
第1リンク3123aは、先端で第1関節部3121aを固定的に支持する。具体的には、第1リンク3123aは略L字形状を有する棒状の部材であり、その先端側の一辺が第1軸Oと直交する方向に延伸しつつ、当該一辺の端部が第1関節部3121aの外周の上端部に当接するように、第1関節部3121aに接続される。第1リンク3123aの略L字形状の基端側の他辺の端部に第2関節部3121bが接続される。
第2関節部3121bは、略円柱形状を有し、その先端で、第1リンク3123aの基端を、第1軸Oと直交する回転軸(第2軸O)まわりに回動可能に支持する。第2関節部3121bの基端には、第2リンク3123bの先端が固定的に接続される。
第2リンク3123bは、略L字形状を有する棒状の部材であり、その先端側の一辺が第2軸Oと直交する方向に延伸しつつ、当該一辺の端部が第2関節部3121bの基端に固定的に接続される。第2リンク3123bの略L字形状の基端側の他辺には、第3関節部3121cが接続される。
第3関節部3121cは、略円柱形状を有し、その先端で、第2リンク3123bの基端を、第1軸O及び第2軸Oと互いに直交する回転軸(第3軸O)まわりに回動可能に支持する。第3関節部3121cの基端には、第3リンク3123cの先端が固定的に接続される。第2軸O及び第3軸Oまわりに顕微鏡部3110を含む先端側の構成を回動させることにより、水平面内での顕微鏡部3110の位置を変更するように、当該顕微鏡部3110を移動させることができる。つまり、第2軸O及び第3軸Oまわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
第3リンク3123cは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第3関節部3121cの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第3リンク3123cの基端側は角柱形状を有し、その端部に第4関節部3121dが接続される。
第4関節部3121dは、略円柱形状を有し、その先端で、第3リンク3123cの基端を、第3軸Oと直交する回転軸(第4軸O)まわりに回動可能に支持する。第4関節部3121dの基端には、第4リンク3123dの先端が固定的に接続される。
第4リンク3123dは、略直線状に延伸する棒状の部材であり、第4軸Oと直交するように延伸しつつ、その先端の端部が第4関節部3121dの略円柱形状の側面に当接するように、第4関節部3121dに固定的に接続される。第4リンク3123dの基端には、第5関節部3121eが接続される。
第5関節部3121eは、略円柱形状を有し、その先端側で、第4リンク3123dの基端を、第4軸Oと平行な回転軸(第5軸O)まわりに回動可能に支持する。第5関節部3121eの基端には、第5リンク3123eの先端が固定的に接続される。第4軸O及び第5軸Oは、顕微鏡部3110を上下方向に移動させ得る回転軸である。第4軸O及び第5軸Oまわりに顕微鏡部3110を含む先端側の構成を回動させることにより、顕微鏡部3110の高さ、すなわち顕微鏡部3110と観察対象との距離を調整することができる。
第5リンク3123eは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材と、が組み合わされて構成される。第5リンク3123eの第1の部材の鉛直方向に延伸する部位の上端近傍に、第5関節部3121eの基端が固定的に接続される。第5リンク3123eの第2の部材の基端(下端)には、第6関節部3121fが接続される。
第6関節部3121fは、略円柱形状を有し、その先端側で、第5リンク3123eの基端を、鉛直方向と平行な回転軸(第6軸O)まわりに回動可能に支持する。第6関節部3121fの基端には、第6リンク3123fの先端が固定的に接続される。
第6リンク3123fは鉛直方向に延伸する棒状の部材であり、その基端はベース部3130の上面に固定的に接続される。
第1関節部3121a〜第6関節部3121fの回転可能範囲は、顕微鏡部3110が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部3120においては、顕微鏡部3110の動きに関して、並進3自由度及び回転3自由度の計6自由度の動きが実現され得る。このように、顕微鏡部3110の動きに関して6自由度が実現されるようにアーム部3120を構成することにより、アーム部3120の可動範囲内において顕微鏡部3110の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部である眼を観察することが可能となり、手術をより円滑に実行することができる。
なお、図示するアーム部3120の構成はあくまで一例であり、アーム部3120を構成するリンクの数及び形状(長さ)、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部3110を自由に動かすためには、アーム部3120は6自由度を有するように構成されることが好ましいが、アーム部3120はより大きな自由度(すなわち、冗長自由度)を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部3120においては、顕微鏡部3110の位置及び姿勢が固定された状態で、アーム部3120の姿勢を変更することが可能となる。従って、例えば表示装置3300を見る術者の視界にアーム部3120が干渉しないように当該アーム部3120の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
ここで、第1関節部3121a〜第6関節部3121fには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられる。そして、第1関節部3121a〜第6関節部3121fに設けられる各アクチュエータの駆動が制御装置3200によって適宜制御されることにより、アーム部3120の姿勢、すなわち顕微鏡部3110の位置及び姿勢が制御され得る。具体的には、制御装置3200は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部3120の現在の姿勢、並びに顕微鏡部3110の現在の位置及び姿勢を把握することができる。制御装置3200は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部3110の移動を実現するような各関節部に対する制御値(例えば、回転角度又は発生トルク等)を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置3200によるアーム部3120の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置3200によってアーム部3120の駆動が適宜制御され、顕微鏡部3110の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部3110を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部3120は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部3120は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部3120が移動するように第1関節部3121a〜第6関節部3121fのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部3110を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部3110を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部3110を移動させることが可能となり、ユーザの利便性を向上させることができる。
また、アーム部3120は、ユーザによる操作時に、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部3110の光軸が空間上の所定の点(以下、ピボット点という)を常に向くように、顕微鏡部3110を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部3110が、そのフォーカスを調整不可能に構成される場合には、顕微鏡部3110とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部3110とピボット点との距離を、顕微鏡部3110の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部3110は、ピボット点を中心とする焦点距離に対応する半径を有する半球面上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部3110が、そのフォーカスを調整可能に構成される場合には、顕微鏡部3110とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置3200は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部3110とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部3110のフォーカスを自動で調整してもよい。あるいは、顕微鏡部3110にAF機能が設けられる場合であれば、ピボット動作によって顕微鏡部3110とピボット点との距離が変化するごとに、当該AF機能によって自動でフォーカスの調整が行われてもよい。
また、第1関節部3121a〜第6関節部3121fには、その回転を拘束するブレーキが設けられる。当該ブレーキの動作は、制御装置3200によって制御される。例えば、顕微鏡部3110の位置及び姿勢を固定したい場合には、制御装置3200は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部3120の姿勢、すなわち顕微鏡部3110の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部3110の位置及び姿勢を移動したい場合には、制御装置3200は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
このようなブレーキの動作は、上述した操作部3113を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部3110の位置及び姿勢を移動したい場合には、操作部3113を操作し、各関節部のブレーキを解除させる。これにより、アーム部3120の動作モードが、各関節部における回転を自由に行えるモード(フリーモード)に移行する。また、ユーザは、顕微鏡部3110の位置及び姿勢を固定したい場合には、操作部3113を操作し、各関節部のブレーキを作動させる。これにより、アーム部3120の動作モードが、各関節部における回転が拘束されたモード(固定モード)に移行する。
制御装置3200は、顕微鏡装置3100及び表示装置3300の動作を制御することにより、顕微鏡手術システム3000の動作を統括的に制御する。例えば、制御装置3200は、所定の制御方式に従って第1関節部3121a〜第6関節部3121fのアクチュエータを動作させることにより、アーム部3120の駆動を制御する。また、例えば、制御装置3200は、第1関節部3121a〜第6関節部3121fのブレーキの動作を制御することにより、アーム部3120の動作モードを変更する。また、例えば、制御装置3200は、顕微鏡装置3100の顕微鏡部3110の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置3300に表示させる。当該信号処理では、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
なお、制御装置3200と顕微鏡部3110との通信、及び制御装置3200と第1関節部3121a〜第6関節部3121fとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
制御装置3200は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載された制御基板等であり得る。制御装置3200のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置3200は、顕微鏡装置3100と別個の装置として設けられているが、制御装置3200は、顕微鏡装置3100のベース部3130の内部に設置され、顕微鏡装置3100と一体的に構成されてもよい。あるいは、制御装置3200は、複数の装置によって構成されてもよい。例えば、顕微鏡部3110や、アーム部3120の第1関節部3121a〜第6関節部3121fにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置3200と同様の機能が実現されてもよい。
表示装置3300は、手術室内に設けられ、制御装置3200からの制御により、当該制御装置3200によって生成された画像データに対応する画像を表示する。つまり、表示装置3300には、顕微鏡部3110によって撮影された術部である眼の画像が表示される。なお、表示装置3300は、眼の画像に代えて、又は眼の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置3300の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置3300は複数設けられてもよく、複数の表示装置3300のそれぞれに、眼の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置3300としては、液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
図2は、図1に示す顕微鏡手術システム3000を用いた手術の様子を示す図である。図2では、術者3401が、顕微鏡手術システム3000を用いて、患者ベッド3403上の患者3405に対して手術を行っている様子を概略的に示している。なお、図2では、簡単のため、顕微鏡手術システム3000の構成のうち制御装置3200の図示を省略するとともに、顕微鏡装置3100を簡略化して図示している。
図2に示すように、手術時には、顕微鏡手術システム3000を用いて、顕微鏡装置3100によって撮影された術部である眼の画像が、手術室の壁面に設置される表示装置3300に拡大表示される。表示装置3300は、術者3401と対向する位置に設置されており、術者3401は、表示装置3300に映し出された画像によって眼の様子を観察しながら、当該眼に対して各種の処置を行う。
(1−2.駆動制御システムの構成)
図3を参照して、以上説明した顕微鏡手術システム3000に適用される、第1の実施形態に係る駆動制御システムの構成について説明する。図3は、第1の実施形態に係る駆動制御システムの機能構成の一例を示す機能ブロック図である。
ここで、第1の実施形態に係る駆動制御システムは、手術を開始する際に、術部についてユーザの所望の撮像画像を取得するために、図1に示す顕微鏡手術システム3000の顕微鏡装置3100のアーム部3120を駆動させ、顕微鏡部3110の位置及び姿勢を制御するシステムである。つまり、当該駆動制御システムは、手術を開始する際に、顕微鏡部3110を所望の眼の撮像画像が得られるような初期位置まで自動的に移動させるシステムである。以下では、この、第1の実施形態に係る駆動制御システムにおいて行われる、顕微鏡部3110の位置及び姿勢を初期位置まで自動で移動させる一連の制御のことを、初期動作制御とも呼称する。
当該駆動制御システムによる初期動作制御は、ユーザの指示に従って開始される。つまり、駆動制御システムが動作し初期動作制御が行われている間は、アーム部3120の動作モードは、上述したフリーモード及び固定モードのいずれでもない、いわば自動動作モードに切り替えられる。なお、当該自動動作モードは、ユーザからの指示により、適宜開始及び中断が可能である。
図3を参照すると、第1の実施形態に係る駆動制御システム1は、その機能として、術前情報取得部110と、術中情報取得部120と、駆動部130と、制御部140と、を備える。
術前情報取得部110は、顕微鏡手術システム3000に設けられる各種の入力装置(タッチパネル、リモコン等)から構成される。術前情報取得部110は、術前に、ユーザの所望の撮像画像を得るための術部に対する顕微鏡部3110の位置及び姿勢を規定する条件である位置姿勢条件についての情報を取得する。具体的には、位置姿勢条件は、術部である眼に対する顕微鏡部3110の位置及び姿勢が一意に決定され得るだけの情報を少なくとも含むように設定される。第1の実施形態では、位置姿勢条件には、撮像画像における眼の画像の見た目(撮像画像における眼の画像の位置、撮像画像における眼の画像の大きさ、撮像画像における頭頂方向等)についての指示、及び/又は眼に対する撮影方向(眼軸と顕微鏡部3110の光軸との位置関係)についての指示が少なくとも含まれる。ここで、第1の実施形態では、顕微鏡部3110における光学ズーム及び電子ズームの倍率については、駆動制御システム1において規定の値が定められている。従って、位置姿勢条件として、画像の見た目及び撮影方向が指定されれば、これらを実現するための眼に対する顕微鏡部3110の位置及び姿勢が一意に決定され得ることとなる。
なお、位置姿勢条件に含まれる指示は、互いに重複していてもよい。例えば、上述した例であれば、画像の見た目には、眼を鉛直上方から見ているか、鉛直上方からやや斜めの方向から見ているか、といった、撮影方向に関する情報も含まれ得る。そこで、第1の実施形態では、位置姿勢条件に含まれる指示に、優先度が設定され得る。当該優先度は、後述する位置姿勢条件を登録する際に、ユーザによって適宜設定されてよい。位置姿勢条件に含まれる指示が互いに重複する場合には、後述する制御部140の駆動制御部144は、より優先度の高い指示が優先されるように、顕微鏡部3110の位置及び姿勢を制御する。例えば、画像の見た目の優先度を撮影方向の優先度よりも高く設定した場合には、撮影方向をなるべく指示された方向(例えば鉛直下向き)にしながら撮像画像が指示された画像の見た目に十分に近くなるように顕微鏡部3110の位置及び姿勢が制御され得る。あるいは、撮影方向についての指示を必ず達成するように当該撮影方向の優先度をより高く設定した場合には、その撮影方向を実現しつつ撮像画像を指示された画像の見た目になるべく近付けるように、顕微鏡部3110の位置及び姿勢が制御され得る。
駆動制御システム1では、例えば、複数の互いに異なる位置姿勢条件が、駆動制御システム1に設けられ得る記憶部(図示せず)に予め登録されており、ユーザが、これらの中から自身が所望する位置姿勢条件を指定することにより、術前情報取得部110は、その位置姿勢条件を取得することができる。
図4に、位置姿勢条件を指定する際のGUI(Graphical User Interface)の一例を示す。図4は、位置姿勢条件を指定する際のGUIの一例を示す図である。例えば、図4に示すように、術前情報取得部110を構成する表示画面201上に、複数の互いに異なる位置姿勢条件をそれぞれ示すアイコン203が表示される。図示する例では、アイコン203には、術者の名前と、眼を切開する位置(上方又は耳側)が記載されている。例えば、表示画面201はタッチパネルと一体的に構成されており、ユーザは、いずれかのアイコン203をタッチすることにより、当該アイコン203に対応する位置姿勢条件を指定することが可能になる。なお、以上説明した図4に示すGUIに係る表示を術前情報取得部110を構成する表示画面201に表示させる制御は、制御部140によって実行され得る。
また、例えば、各アイコン203に対応する位置姿勢条件を事前に上記記憶部に登録する際には、ユーザは、図5−図7に示すGUIを用いて、その登録を行うことができる。図5−図7は、位置姿勢条件を登録する際のGUIの一例を示す図である。図5−図7では、一例として、位置姿勢条件の中でも、画像の見た目についての指示を登録するためのGUIを示している。
例えば、図5−図7に示すように、当該GUIでは、表示画面205上に、角膜輪部を示す円207と、患者の頭頂方向を示す矢印209と、が表示される。この円207の表示は、ユーザによる操作に応じて、その位置、大きさ及び真円度が適宜変更可能である。円207の位置は、実際に術中に顕微鏡部3110によって撮影され表示される撮像画像における角膜輪部の位置を示している。円207の大きさは、実際に術中に顕微鏡部3110によって撮影され表示される撮像画像における角膜輪部の大きさを示している。また、円207の真円度は、実際に術中に顕微鏡部3110によって撮影され表示される撮像画像における角膜輪部の形状を示すとともに、撮影方向を示している。例えば、図5及び図7に示すように円207が略真円であれば、顕微鏡部3110による撮影方向が略鉛直下向きであることを示している。また、図6に示すように円207が楕円であれば、顕微鏡部3110による撮影方向が鉛直下向きからやや斜めの方向であることを示している。ユーザは、自身が術中に見たい撮像画像を再現するように、円207の位置、大きさ及び真円度を適宜調整する。
また、矢印209の表示は、ユーザによる操作に応じて、その向きが適宜変更可能である。矢印209の向きは、実際に術中に顕微鏡部3110によって撮影され表示される撮像画像における患者の頭頂方向を示している。ユーザは、自身が術中に見たい撮像画像を再現するように、矢印209の向きを適宜調整する。
図5−図7に示す表示例は、ユーザによる調整が終わった後の円207及び矢印209のいくつかの配置の例を示している。例えば、図5に示す表示例に対応する位置姿勢条件は、上方切開に対応する位置姿勢条件であり得る。図5に示す表示例に従って位置姿勢条件が登録され、当該位置姿勢条件に基づいて初期動作制御が行われた場合には、顕微鏡部3110によって、頭頂部が撮像画面の下側に位置するように、かつ撮影方向が略鉛直下向きになるように眼が撮影されることとなる。
また、例えば、図6に示す表示例に対応する位置姿勢条件は、図5に示す表示例と同様に上方切開に対応する位置姿勢条件であり得る。ただし、図6に示す表示例に従って位置姿勢条件が登録され、当該位置姿勢条件に基づいて初期動作制御が行われた場合には、頭頂部が撮像画面の下側に位置するように、かつ撮影方向が鉛直下向きからやや斜めになった方向になるように眼が撮影されることとなる。
また、例えば、図7に示す表示例に対応する位置姿勢条件は、耳側切開に対応する位置姿勢条件であり得る。図7に示す表示例に従って位置姿勢条件が登録され、当該位置姿勢条件に基づいて初期動作制御が行われた場合には、頭頂部が撮像画面の右側に位置するように、かつ撮影方向が略鉛直下向きになるように眼が撮影されることとなる。
ユーザによる調整が終わった後の円207及び矢印209の状態が、位置姿勢条件に含まれる画像の見た目についての指示として、上記記憶部に登録されることとなる。当該GUIによれば、ユーザは、術中に得たい画像の見た目を直感的に登録することが可能になるため、より簡便に位置姿勢条件を登録することが可能になる。なお、以上説明した図5−7に示すGUIに係る表示を表示画面205に表示させる制御は、制御部140によって実行され得る。また、表示画面205は、術前情報取得部110を構成する表示装置の表示画面であってもよいし、駆動制御システム1に別途設けられる表示装置の表示画面であってもよい。
術前情報取得部110は、術前に取得した位置姿勢条件についての情報を、後述する制御部140の位置姿勢条件設定部141に提供する。
術中情報取得部120は、術中において、顕微鏡部3110の位置及び姿勢の制御を行うために必要な各種の情報(以下、術中情報ともいう)を取得する。当該術中情報は、術部である眼と顕微鏡部3110との位置関係を示す情報であり得る。術中情報取得部120は顕微鏡部3110によって構成され、術中情報として、撮像画像についての情報(撮像画像情報)を少なくとも取得する。また、顕微鏡手術システム3000には、患者ベッド3403の頭部方向に設けられるマーカ(例えば、磁気マーカ)、及び当該マーカを検出するセンサ(例えば、磁気センサ)が設けられてもよく、術中情報取得部120は、これらマーカ及びセンサによって構成されてもよい。この場合には、術中情報取得部120は、術中情報として、当該センサの検出値に基づいて、顕微鏡部3110に対する患者ベッド3403の頭部に対応する位置の相対位置についての情報を取得することができる。
術中情報取得部120は、術中に、随時、術中情報を取得する。なお、上述した例であれば、撮像画像情報の取得と、患者ベッド3403の相対位置についての情報の取得は、常に両方が取得されていてもよいし、いずれか一方のみが取得されるように経時的に適宜切り替えられてもよい。
術中情報取得部120は、取得した術中情報を、後述する制御部140の状態認識部142に提供する。
駆動部130は、顕微鏡装置3100のアーム部3120の各関節部に設けられるアクチュエータによって構成される。駆動部130は、後述する制御部140の駆動制御部144からの制御により、術中に得られた撮像画像に基づいて、位置姿勢条件を満たすように駆動される。これにより、位置姿勢条件を満たし所望の撮像画像が得られるように、アーム部3120が駆動され、顕微鏡部3110の位置及び姿勢が制御され得る。
制御部140は、制御装置3200によって構成され、駆動制御システム1における処理を統合的に制御する。制御部140は、その機能として、位置姿勢条件設定部141と、状態認識部142と、状態比較部143と、駆動制御部144と、を有する。制御部140を構成するプロセッサが所定のプログラムに従って動作することにより、これらの機能が実現され得る。
位置姿勢条件設定部141は、術前情報取得部110から提供された、術前に取得された位置姿勢条件についての情報に基づいて、位置姿勢条件を設定する。具体的には、位置姿勢条件設定部141は、当該位置姿勢条件についての情報から、当該位置姿勢条件に対応する所望の撮像画像の特徴量を抽出し、当該特徴量を示すパラメータを保持する。当該パラメータは、例えば、撮像画像における角膜輪部に対応する楕円又は円の中心位置、撮像画像における角膜輪部に対応する楕円又は円の長径及び短径の長さ、撮像画像における角膜輪部に対応する楕円又は円の長軸方向、及び撮像画像における頭頂方向等である。
位置姿勢条件設定部141は、設定した位置姿勢条件についての情報(すなわち、抽出した特徴量(上記のパラメータ)についての情報)を、状態比較部143及び駆動制御部144に提供する。
状態認識部142は、術中情報取得部120から提供される術中情報に基づいて、現在顕微鏡部3110によって取得されている撮像画像の状態を認識する。撮像画像の状態とは、撮像画像に含まれる位置姿勢条件に対応する情報、すなわち撮像画像に含まれる眼の画像の見た目、及び撮像画像における撮影方向のことであり得る。状態認識部142は、術中情報取得部120から提供される撮像画像情報に基づいて、各種の画像認識技術を用いて、その状態を認識する。この際、術中情報取得部120から提供される術中情報に、磁気センサ等の検出値に基づく患者ベッド3403の相対位置についての情報が含まれている場合には、状態認識部142は、当該患者ベッド3403の位置についての情報に基づいて、撮像画像における眼の概略位置や頭頂方向を認識してもよい。
状態認識部142は、認識した現在の撮像画像の状態についての情報を、状態比較部143及び駆動制御部144に提供する。
状態比較部143は、術前にユーザによって設定された位置姿勢条件と、状態認識部142によって認識された現在の撮像画像の状態とを比較し、現在の撮像画像の状態が、位置姿勢条件に対応する所望の撮像画像の状態に近いかどうかを判定する。具体的には、状態比較部143は、上述した位置姿勢条件に対応する所望の撮像画像の特徴量を抽出したのと同様に、状態認識部142から提供される現在の撮像画像の状態についての情報に基づいて、当該現在の撮像画像の特徴量を抽出する。そして、これらの画像の特徴量を比較することにより、現在の撮像画像の状態が、位置姿勢条件に対応する所望の撮像画像の状態に近いかどうかを判定する。
両者の画像の状態が離れていると判定された場合には、状態比較部143は、駆動制御部144に対して、位置姿勢条件に対応する所望の撮像画像が得られるようにアーム部3120を駆動させる旨の指示を出す。一方、両者の画像の状態が近いと判定された場合には、既に所望の撮像画像に十分近い画像が撮影されていることを示しているため、状態比較部143は、駆動制御部144に対して特段の指示を出さず、処理を終了する。
駆動制御部144は、状態比較部143から指示があった場合に、位置姿勢条件設定部141から提供された術前に設定された位置姿勢条件についての情報、及び状態認識部142から提供された現在の撮像画像の状態についての情報に基づいて、当該位置姿勢条件を満たすように駆動部130を駆動させ、顕微鏡部3110の位置及び姿勢を更新させる。更新された新たな位置及び姿勢において、術中情報取得部120が再度術中情報を取得し、当該術中情報に基づいて、状態認識部142による状態認識処理、及び状態比較部143による状態比較処理が再度行われる。
また、駆動制御部144は、ユーザによって外部から与えられる指示に従って駆動部130を駆動させ、顕微鏡部3110の位置及び姿勢を変更してもよい。例えば、駆動制御部144は、以上説明した初期動作制御に係る一連の処理が開始される際に、ユーザからの指示に従って駆動部130を駆動させ、顕微鏡部3110の位置及び姿勢を初期動作制御に係る一連の処理が開始される初期位置(探索開始位置)及び初期姿勢(探索開始姿勢)に移動させる。
以上、第1の実施形態に係る駆動制御システム1の構成について説明した。なお、制御部140の機能については、図8を参照しながら改めて詳しく説明する。
(1−3.制御方法の処理手順)
図8を参照して、第1の実施形態に係る制御方法の処理手順について説明する。図8は、第1の実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図8に示す各処理は、上述した図3に示す駆動制御システム1の制御部140によって実行される処理に対応している。
図8を参照すると、第1の実施形態に係る制御方法では、まず、術前に、ユーザによる入力に従って、位置姿勢条件が設定される(ステップS101)。ステップS101に示す処理は、図3に示す位置姿勢条件設定部141によって実行される処理に対応している。なお、位置姿勢条件の詳細については上述しているため、ここでは説明を省略する。
次に、ユーザによる初期動作制御開始の指示に従って、顕微鏡部3110が探索開始位置及び探索開始姿勢に移動される(ステップS103)。ステップS103に示す処理は、図3に示す駆動制御部144によって実行される処理に対応している。
図9は、探索開始位置及び探索開始姿勢について説明するための図である。図9では、簡単のため、図1に示す顕微鏡装置3100を簡略化して図示している。
図9(a)は、駆動制御システム1が初期動作制御を開始する前、すなわち収容時又は搬送時における顕微鏡部3110の位置及び姿勢を示している。第1の実施形態では、この初期動作制御開始前の顕微鏡部3110の位置及び姿勢は不定であってよい。
この状態から、初期動作制御を開始する旨のユーザの指示に従って、顕微鏡部3110が探索開始位置及び探索開始姿勢に移動する(図9(b))。探索開始位置及び探索開始姿勢は、図9(b)に示すように、患者ベッド3403の直上において、比較的上方であって、光軸が鉛直下向きを向いた位置及び姿勢である。一般的に、眼科手術では、患者3405が患者ベッド3403に仰向けで横臥し、眼が鉛直上方を向いた状態で、手術が行われることが多いため(図2を参照)、探索開始位置及び探索開始姿勢を上記のように設定することにより、眼を含む範囲を俯瞰するように撮像画像を得ることができる。ここで、上述したように、第1の実施形態では、顕微鏡部3110における倍率について規定の値が定められている。しかしながら、ステップS103において顕微鏡部3110が探索開始位置及び探索開始姿勢に移動した後には、後述するように、現在の撮像画像の状態を把握する処理(ステップS105)において眼の検出処理が行われ得る。従って、探索開始位置及び探索開始姿勢に顕微鏡部3110を移動させた際には、上記規定の値にかかわらず、当該顕微鏡部3110の倍率が自動的にできるだけ広角になるように設定しておいてもよい。これにより、探索開始位置及び探索開始姿勢における撮像画像に眼が含まれる可能性が高くなるため、上記眼の検出処理をより効率的に行うことが可能になる。なお、この場合には、後述するように、ステップS109において顕微鏡部3110の位置及び姿勢を更新する処理が行われる際に、適切なタイミングで顕微鏡部3110の倍率が上記規定の値に調整されればよい。
なお、上記の探索開始位置及び探索開始姿勢はあくまで一例であり、第1の実施形態では、探索開始位置及び探索開始姿勢は、術式等に応じてユーザによって適宜設定されてよい。
また、収容時又は搬送時における顕微鏡部3110の位置及び姿勢が、探索開始位置及び探索開始姿勢と同じ位置及び姿勢になるように、初期動作制御開始前から、駆動制御部144によって顕微鏡部3110の位置及び姿勢が制御されていてもよい。この場合には、ステップS103に示す処理を好適に省略することができる。
また、探索開始位置及び探索開始姿勢は予め設定されていなくてもよく、ステップS103に示す処理に代えて、ユーザが手動で操作し、眼が撮像画像に含まれるような任意の位置及び姿勢に顕微鏡部3110を移動させてもよい。
ステップS101で顕微鏡部3110が探索開始位置及び探索開始姿勢に移動すると、次に、術中情報に基づいて、現在の撮像画像の状態が認識される(ステップS105)。ステップS105に示す処理は、図3に示す状態認識部142によって実行される処理に対応している。なお、術中情報の詳細については上述しているため、ここでは説明を省略する。
ステップS105では、具体的には、まず、術中情報に含まれる撮像画像情報から、眼の位置が検出される。当該処理では、各種の公知の画像認識技術が用いられてよい。
図10−図12は、撮像画像に基づく眼の位置の検出処理について説明するための図である。図10は、眼科手術中の患者ベッド3403上の患者3405を上方から見た様子を概略的に示している。図10に示すように、眼科手術中には、患者ベッド3403上に仰向けに仰臥した患者3405に対してその全身にドレープ211が被せられる。ドレープ211には、術部である眼213に対応する位置に開口部が設けられており、当該眼213だけが露出するようになっている。眼213は、術中において、器具215によって開かれた状態で維持される。
図11は、探索開始位置及び探索開始姿勢において顕微鏡部3110によって撮影された撮像画像の一例を示している。図11に示すように、探索開始位置及び探索開始姿勢においては、例えば、患者の頭部近傍を上方から俯瞰した画像が得られている。眼213の検出は、当該撮像画像の中から、例えばドレープ211の色の中から白目の色を検出することによって行われ得る。なお、術中情報に、磁気センサ等の検出値に基づく患者ベッド3403の相対位置についての情報が含まれている場合には、当該情報に基づいて眼213の概略位置が検出されてもよい。
ステップS105では、眼213の位置が検出されると、次に、撮像画像に含まれる当該眼213の画像から、角膜輪部及び頭頂方向が検出される。図12は、顕微鏡部3110によって撮影された撮像画像に含まれる眼213の画像の一例を示している。図12に示すように、角膜輪部216は、虹彩217の白目部分との境界であるため、当該角膜輪部216は、眼213の画像内の色の変化を検出し、その色が変化する境界を特定することにより、検出され得る。
また、頭頂方向は、事前に座位で撮影しておいた患者3405の眼213の撮像画像から、当該眼213の血管や虹彩217のパターンを記録しておき、顕微鏡部3110によって撮影された撮像画像に含まれる眼213の画像から認識されるこれらのパターンを、事前に記録した上記パターンと比較することにより、検出され得る。あるいは、図11に示すように、ドレープ211と眼213との位置関係まで含むような撮像画像が得られている場合であれば、当該位置関係から患者3405の身体の向きを特定し、この身体の向きに基づいて頭頂方向が検出されてもよい。更に、あるいは、術中情報に、磁気センサ等の検出値に基づく患者ベッド3403の頭部の相対位置についての情報が含まれている場合には、当該情報に基づいて頭頂方向が検出されてもよい。
ステップS105で現在の撮像画像の状態が認識されると、次に、現在の撮像画像が、術前に設定された位置姿勢条件に対応する所望の撮像画像に近いかどうかが判定される(ステップS107)。ステップS107に示す処理は、図3に示す状態比較部143によって実行される処理に対応している。
具体的には、ステップS107では、ステップS105で認識された現在の撮像画像の状態から、当該撮像画像の特徴量が抽出される。当該特徴量は、上述した位置姿勢条件に対応する所望の撮像画像の特徴量を示すパラメータと同様のパラメータ(例えば、撮像画像における角膜輪部に対応する楕円又は円の中心位置、撮像画像における角膜輪部に対応する楕円又は円の長径及び短径の長さ、撮像画像における角膜輪部に対応する楕円又は円の長軸方向、及び撮像画像における頭頂方向等)として抽出される。そして、これらのパラメータを変数とする適当な評価関数を用いて、位置姿勢条件に含まれる指示内容についての一致度(具体的には、術前に設定された位置姿勢条件における画像の見た目と現在の撮像画像における画像の見た目との一致度、及び術前に設定された位置姿勢条件における撮影方向と現在の撮像画像における撮影方向との一致度)が、距離指標として算出される。
これらの距離指標のいずれもが所定のしきい値よりも小さい場合には、現在の撮像画像の状態が、位置姿勢条件に対応する所望の撮像画像の状態に十分近いと判定される。この場合には、既に所望の撮像画像に十分近い画像が撮影されていることを示しているため、一連の処理を終了する。この一連の処理が終了した時点(すなわち、初期動作制御が終了した時点)での顕微鏡部3110の位置及び姿勢の一例を図9(c)に示している。
一方、算出されたこれらの距離指標のいずれかが所定のしきい値よりも大きい場合には、現在の撮像画像の状態が、位置姿勢条件に対応する所望の撮像画像の状態から離れていると判定される。この場合には、ステップS109に進む。
なお、上述したように、位置姿勢条件に含まれる指示には優先度が設けられ得る。位置姿勢条件に含まれる指示に優先度を設ける場合には、上述した距離指標に対するしきい値を、指示ごとに、優先度に応じて変更すればよい。例えば、画像の見た目の優先度を撮影方向の優先度よりも高くしたい場合には、画像の見た目の一致度を示す距離指標に対するしきい値を、撮影方向の一致度を示す距離指標に対するしきい値よりも低くすればよい。
ステップS109では、術前に設定された位置姿勢条件を満たすようにアーム部3120が駆動され、顕微鏡部3110の位置及び姿勢が更新される。そして、ステップS105に戻り、更新された新たな位置及び姿勢において、ステップS105及びステップS107における処理が繰り返し実行される。なお、ステップS109に示す処理は、図3に示す駆動制御部144によって実行される処理に対応している。
ステップS109では、具体的には、そのタイミングにおける顕微鏡部3110の位置及び姿勢や、そのタイミングにおいて取得されている撮像画像の状態に基づいて、具体的な更新の内容(すなわち、顕微鏡部3110の移動量)が設定され得る。例えば、顕微鏡部3110が探索開始位置及び探索開始姿勢に近い位置及び姿勢である場合には、顕微鏡部3110の高さ及び姿勢を保ったまま、水平方向の移動により眼213が撮像画像の中心に来るように顕微鏡部3110の位置が移動される。また、例えば、眼213が撮像画像の中心に到達している場合であって、探索開始位置及び探索開始姿勢において顕微鏡部3110の倍率が広角に変更されている場合には、顕微鏡部3110の倍率が駆動制御システム1において定められている規定の値になるように、当該倍率が変更される。また、例えば、これらが達成されている場合には、撮像画像における眼213の大きさが、術前に設定された位置姿勢条件に含まれる画像の見た目における眼の大きさ(角膜輪部の大きさ)に近付くまで顕微鏡部3110が眼213に近付けられる。また、例えば、これらが達成されている場合には、術前に設定された位置姿勢条件に含まれる画像の見た目や撮影方向に近付くように、顕微鏡部3110の位置及び姿勢が微調整される。
ただし、このような段階的な移動を行うと、顕微鏡部3110を最終的な位置及び姿勢まで移動させるのに時間が掛かってしまう。従って、実際には、最終的な位置及び姿勢、その最終的な位置及び姿勢に到達するまでの移動ルート、並びにその最終的な位置及び姿勢に到達するまでの移動時間等を予測し、その予測結果に基づいて、移動時間が最短になるように顕微鏡部3110の位置及び姿勢が更新されてよい。
以上、第1の実施形態に係る制御方法の処理手順について説明した。
ここで、一般的に、これまで、顕微鏡装置を用いた手術における顕微鏡部の位置及び姿勢の調整は、ユーザによって手動で行われていた。例えば、ユーザは、顕微鏡部を直接把持して当該顕微鏡部を大まかな位置まで移動させた後、フットペダルによって当該顕微鏡部の位置を電動で微調整することにより、顕微鏡部の位置及び姿勢を調整していた。このように、顕微鏡部の位置及び姿勢を調整するためには比較的時間の掛かる煩雑な作業を行う必要があり、ユーザにとって負担となっていた。特に、高倍率で撮影を行う場合には、顕微鏡部の位置及び姿勢を僅かに変化させただけでも、撮像画像が大きく変化してしまうため、所望の撮像画像を得るための調整作業には更に繊細さが求められることとなり、作業時間及びユーザの負担はより増大することになる。作業時間が増大すれば、手術時間も長くなってしまうため、患者の負担も増加する。
これに対して、以上説明したように、第1の実施形態によれば、手術開始時に、所望の撮像画像が得られる位置及び姿勢に、自動で顕微鏡部3110を移動させることができる。従って、ユーザは、調整の手間を掛けることなく、所望の撮像画像をより簡便に得ることが可能になる。よって、手術時間の短縮、及びユーザ及び患者の負担軽減が実現され得る。
(2.第2の実施形態)
本開示の第2の実施形態について説明する。上述した第1の実施形態に係る初期動作制御では、顕微鏡部3110によって得られた現在の撮像画像の状態が、術前に設定された位置姿勢条件に対応する所望の撮像画像の状態に近いと判断された場合に、駆動制御システム1における一連の処理が終了していた。つまり、第1の実施形態に係る初期動作制御では、設定された位置姿勢条件を満たすように顕微鏡部3110の位置及び姿勢が制御された時点で、駆動制御システム1による顕微鏡部3110の駆動制御が終了する。一方、手術中には、患者3405の随意運動や術者3401による処置によって、眼が移動してしまうことがある。このような場合においては、術式や位置姿勢条件の内容によっては、眼が移動した場合であっても更に位置姿勢条件が満たされるように、当該眼の移動に追従するように顕微鏡部3110の位置及び姿勢が制御され続けることが好ましいことがある。
そこで、第2の実施形態では、一度位置姿勢条件を満たした時点で制御が終了するのではなく、ユーザによる終了指示があるまで、位置姿勢条件を満たすような顕微鏡部3110の位置及び姿勢の制御が継続されるように、駆動制御システムを構成する。これにより、第2の実施形態では、眼が移動した場合であっても位置姿勢条件に対応する所望の撮像画像が得られ続けることとなるため、ユーザの利便性を向上させることが可能になる。なお、以下では、この、第2の実施形態に係る駆動制御システムにおいて行われる、終了指示が入力されるまで眼の移動に追従しつつ位置姿勢条件を満たすように顕微鏡部3110の位置及び姿勢を自動で移動させる制御のことを、追従動作制御とも呼称する。
なお、第2の実施形態に係る駆動制御システムでは、制御を終了するためのトリガが異なること以外は、第1の実施形態と同様の処理が実行される。従って、以下の第2の実施形態についての説明では、第1の実施形態と相違する事項について主に説明することとし、第1の実施形態と重複する事項についてはその詳細な説明を省略する。
(2−1.駆動制御システムの構成)
図13を参照して、上述した顕微鏡手術システム3000に適用される、第2の実施形態に係る駆動制御システムの構成について説明する。図13は、第2の実施形態に係る駆動制御システムの機能構成の一例を示す機能ブロック図である。
図13を参照すると、第2の実施形態に係る駆動制御システム2は、その機能として、術前情報取得部110と、術中情報取得部120と、駆動部130と、制御部150と、を備える。なお、術前情報取得部110、術中情報取得部120及び駆動部130の機能は第1の実施形態と同様であるため、ここではその詳細な説明は省略する。
制御部150は、その機能として、位置姿勢条件設定部141と、状態認識部142と、終了判定部153と、駆動制御部144と、を有する。制御部150を構成するプロセッサが所定のプログラムに従って動作することにより、これらの機能が実現され得る。なお、位置姿勢条件設定部141、状態認識部142及び駆動制御部144の機能は第1の実施形態と同様であるため、ここではその詳細な説明は省略する。
終了判定部153は、ユーザから追従動作制御を終了する旨の指示があったかどうかを判定する。終了指示がなかったと判定した場合には、終了判定部153は、駆動制御部144に対して、位置姿勢条件に対応する所望の撮像画像が得られるようにアーム部3120を駆動させる旨の指示を出す。駆動制御部144は、当該指示に従って、術前に設定された位置姿勢条件を満たすように駆動部130を駆動させ、顕微鏡部3110の位置及び姿勢を更新させる。更新された新たな位置及び姿勢において、術中情報取得部120が再度術中情報を取得し、当該術中情報に基づいて、状態認識部142による状態認識処理が再度行われる。一方、終了指示があったと判定した場合には、終了判定部153は、駆動制御部144に対して特段の指示を出さず、処理を終了する。
以上、第2の実施形態に係る駆動制御システム2の構成について説明した。
(2−2.制御方法の処理手順)
図14を参照して、第2の実施形態に係る制御方法の処理手順について説明する。図14は、第2の実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図14に示す各処理は、図13に示す第2の実施形態に係る駆動制御システム2の制御部150によって実行される処理に対応している。
図14を参照すると、第2の実施形態に係る制御方法におけるステップS201〜ステップS205では、第1の実施形態に係る制御方法におけるステップS101〜ステップS105と同様の処理が実行される。すなわち、術前に位置姿勢条件が設定され(ステップS201)、顕微鏡部3110が探索開始位置及び探索開始姿勢に移動され(ステップS203)、術中情報に基づいて現在の撮像画像の状態が認識される(ステップS205)。
第2の実施形態に係る制御方法では、第1の実施形態とは異なり、次に、ユーザによる終了指示が入力されたかどうかが判定される(ステップS207)。ステップS207で終了指示が入力されたと判定された場合には、一連の処理を終了する。一方、ステップS207で終了指示が入力されていないと判定された場合には、ステップS209に進む。なお、ステップS207に示す処理は、図13に示す終了判定部153によって実行される処理に対応している。
ステップS209では、第1の実施形態に係る制御方法におけるステップS109と同様の処理が実行される。すなわち、術前に設定された位置姿勢条件を満たすようにアーム部3120が駆動され、顕微鏡部3110の位置及び姿勢が更新される。そして、ステップS205に戻り、更新された新たな位置及び姿勢において、ステップS205及びステップS207における処理が繰り返し実行される。
以上、第2の実施形態に係る制御方法の処理手順について説明した。第2の実施形態においても、第1の実施形態と同様に、所望の撮像画像が得られる位置及び姿勢に、自動で顕微鏡部3110を移動させることができる。従って、第1の実施形態と同様の効果が得られる、すなわち手術時間の短縮、並びにユーザ及び患者の負担軽減が実現され得る。更に、第2の実施形態によれば、手術中に眼が移動した場合であっても、その眼の移動に追従しつつ位置姿勢条件を満たすように自動で顕微鏡部3110が移動する。従って、眼の移動にかかわらず所望の撮像画像が常に得られることとなるため、ユーザの利便性を向上させることができる。
なお、図14に示す例では、ステップS203において顕微鏡部3110を探索開始位置及び探索開始姿勢に移動させる処理が実行されているが、第2の実施形態はかかる例に限定されない。例えば、第2の実施形態に係る追従動作制御が、第1の実施形態に係る初期動作制御が終了した後に連続して実行される様態も想定される。この場合には、追従動作制御を実行しようとした時点で、既に顕微鏡部3110の位置及び姿勢は、所望の撮像画像がほぼ得られているように制御されていることとなる。この場合にステップS203における処理を実行すると、一旦顕微鏡部3110の位置及び姿勢をリセットしてしまうこととなり、非効率である。従って、初期動作制御が終了した後に追従動作制御が連続して実行される場合のように、既に顕微鏡部3110によって所望の撮像画像に近い画像が得られているような場合には、ステップS203に示す処理は省略されてもよい。
また、第2の実施形態では、眼の移動に応じて顕微鏡部3110の位置及び姿勢が随時制御され得るが、例えば眼が僅かに動いたことや、眼が短時間周期で周期的に動いたことにも反応して顕微鏡部3110が移動してしまうと、撮像画像の表示が安定せず、かえって術者の利便性を低下させてしまうことが懸念される。眼の移動が小さいと考えられる間は、当該眼の移動に追従するような顕微鏡部3110の位置及び姿勢の制御は行われなくてもよい。また、眼が短時間周期で周期的に動く場合には、一定時間内での眼の動きの平均を取り、その平均に追従するように顕微鏡部3110の位置及び姿勢を制御してもよい。つまり、大局的な眼の動きについてのみ追従するように顕微鏡部3110の位置及び姿勢が制御されてもよい。
(3.変形例)
以上説明した第1及び第2の実施形態のいくつかの変形例について説明する。
(3−1.学習による位置姿勢条件の更新)
以上の説明では、位置姿勢条件を駆動制御システム1、2に事前に登録し、その中から初期動作制御及び追従動作制御を行う際に適宜選択していた。しかしながら、このように予め位置姿勢条件を登録しておく方式では、実際に初期動作制御又は追従動作制御手術を行った結果、予め登録された位置姿勢条件に対応する撮像画像と、実際に見たい画像との間に差異が存在することも想定され得る。この場合には、初期動作制御又は追従動作制御によって予め登録された位置姿勢条件を満たすように顕微鏡部3110が移動された後、真に所望の撮像画像が得られるように、術者が手動で当該顕微鏡部3110の位置及び姿勢を修正する作業が生じることとなる。
第1及び第2の実施形態では、このような術者による手動での顕微鏡部3110の位置及び姿勢の修正が行われた場合に、その修正結果に基づいて、予め登録されている位置姿勢条件が更新されてもよい。つまり、駆動制御システム1、2の制御部140、150は、登録されている位置姿勢条件を、学習により更新する機能を有してもよい。
ここでは、一例として、位置姿勢条件に含まれる画像の見た目が学習によって更新される場合について説明する。図15は、学習による位置姿勢条件の更新について説明するための図である。図15では、便宜的に、位置姿勢条件に含まれる画像の見た目を、図5−図7を参照して説明した画像の見た目を登録するためのGUIと同様の形式で示している。すなわち、図15において、円207は角膜輪部を示しており、矢印209は頭頂方向を示している。
図15(a)は、事前に登録された、学習が行われる前の位置姿勢条件に含まれる画像の見た目の一例を示している。図15(a)に示すように、例えば、学習が行われる前には、撮像画像の略中央に角膜輪部が位置するような画像の見た目が、位置姿勢条件として登録されていたとする。
これに対して、図15(a)に示す画像の見た目を含む位置姿勢条件を満たすように初期動作制御又は追従動作制御が行われ、その後、術者が顕微鏡部3110の位置及び姿勢を修正したとする。修正後の撮像画像に対応する画像の見た目を図15(b)に示す。図示する例であれば、撮像画像の中央からやや左にずれた位置に角膜輪部が存在している。なお、この修正後の撮像画像に対応する画像の見た目は、撮像画像に基づいて各種の画像認識処理を用いて特定され得る。
このように、初期動作制御後又は追従動作制御後に術者が修正を行った場合には、この修正後の画像の見た目が、当該術者にとっては適切な画像の見た目であると考えられる。従って、駆動制御システム1、2の制御部140、150は、今回設定された位置姿勢条件に含まれる画像の見た目についての指示内容を、この修正後の画像の見た目の内容で更新する。これにより、次回から当該術者が、当該位置姿勢情報を指定して初期動作制御又は追従動作制御を行った場合には、この修正後の画像の見た目を実現するように顕微鏡部3110の位置及び姿勢が制御されることとなるため、術者の利便性を向上させることができる。
なお、実際には、一度だけ行われた修正の結果に基づいて学習を行うのではなく、複数回行われた修正の結果に基づいて学習が行われてよい。この場合には、制御部140、150は、複数回修正が行われた結果得られた、修正後の撮像画像に対応する複数の画像の見た目から、修正後の平均的な画像の見た目を求め、この平均的な画像の見た目によって登録されている位置姿勢条件を更新すればよい。
(3−2.位置姿勢条件に含まれる指示の他の例)
上記の説明では、位置姿勢条件に含まれる指示として、画像の見た目及び撮影方向を挙げていた。ただし、第1及び第2の実施形態はかかる例に限定されない。例えば、位置姿勢条件には、画像の見た目及び撮影方向についての指示のいずれか一方のみが含まれてもよい。また、位置姿勢条件には他の指示が含まれてもよい。例えば、位置姿勢条件には、上述した画像の見た目及び/又は撮影方向に代えて、又はこれらに加えて、倍率、顕微鏡部と床との距離、顕微鏡部と眼との距離、及び/又は顕微鏡部3110の光軸周りの向き等についての指示が含まれてもよい。
また、上記の説明では、位置姿勢条件に含まれる指示は制御時の目標として登録されていた。例えば、撮影方向についての指示であれば、「鉛直下向き」等と、撮影方向の目標が登録されていた。ただし、第1及び第2の実施形態はかかる例に限定されず、位置姿勢条件に含まれる指示は制御時の制約として登録されてもよい。例えば、撮影方向についての指示として、「顕微鏡部3110の光軸が鉛直下向きから10°以内」等と、撮影方向の制約が登録されてもよい。
また、例えば、位置姿勢条件に含まれる指示は、特定の指標を最大化又は最小化する旨の指示(すなわち、特定の指標が最大又は最小となっているような所望の撮像画像を得るための術部に対する顕微鏡部3110の位置及び姿勢を規定する条件)であってもよい。例えば、位置姿勢条件に含まれる指示は、徹照の最大化であってよい。この場合、駆動制御システム1、2では、顕微鏡部3110によって撮影された撮像画像から網膜での反射光の輝度を算出し、当該輝度が最大となるときに徹照の最大化が実現されていると判断してよい。従って、具体的には、図3及び図13に示す駆動制御部144が、現在の顕微鏡部3110の位置及び姿勢から大きく変化しない範囲で当該位置及び当該姿勢を変化させながら、上記の輝度が最大となる場合を探索するように、顕微鏡部3110の位置及び姿勢を更新することにより、徹照の最大化を実現するような初期動作制御及び追従動作制御が実行され得る。なお、徹照の度合いと、眼軸と顕微鏡部3110の光軸との位置関係と、の間には、所定の相関があると考えられる。従って、上述した輝度が最大となるような顕微鏡部3110の位置及び姿勢を探索する際には、眼軸と顕微鏡部3110の光軸とのなす角が所定の角度に収まる範囲内(例えば15°以下等)で、顕微鏡部3110を移動させてよい。
あるいは、上記のように、徹照の度合いと、眼軸と顕微鏡部3110の光軸との位置関係と、の間には、所定の相関があると考えられるため、事前に、徹照が最大となるときの眼軸と顕微鏡部3110の光軸との位置関係を求めておき、初期動作制御時及び追従動作制御時には、この徹照が最大となる眼軸と顕微鏡部3110の光軸との位置関係を実現するように、駆動制御部144が顕微鏡部3110の位置及び姿勢を更新してもよい。ここで、一般的に、カメラによって眼を撮影している際における眼軸と当該カメラの光軸との位置関係は、当該カメラに対して既知の位置に配置された点光源によって当該眼を照らしながら撮影を行い、その撮像画像における当該点光源による照射光の角膜での反射像の位置と角膜輪部との位置関係から求めることができることが知られている。従って、顕微鏡部3110による撮像画像から、この方法を用いて眼軸と顕微鏡部3110の光軸との位置関係を求めることにより、上記の制御を行うことができる。
なお、位置姿勢条件に含まれる指示が徹照の最大化である場合には、併せて、眼の大きさについての指示が位置姿勢条件に含まれてもよい。眼の大きさについての指示が含まれることにより、徹照が最大となるように顕微鏡部3110の位置及び姿勢を更新する際に、撮像画像における当該眼の大きさがほぼ変化しないように顕微鏡部3110を移動させることができるため、撮像画像の表示が大きく変化することがなく、ユーザに対してより安定的な画像を提供することが可能になる。
また、この際、当該眼の大きさについての指示は、2次元的な指標(例えば角膜輪部に対応する円の大きさ)によって表現されるのではなく、眼の左右方向の長さや角膜輪部に対応する円の長軸等、1次元的な指標によって表現されることが好ましい。徹照が最大となるように顕微鏡部3110の位置及び姿勢を更新する際には、眼軸と顕微鏡部3110の光軸との位置関係を変更するように、すなわち撮影方向を変更するように顕微鏡部3110が移動されることが想定されるが、眼の大きさについての指示が2次元的な指標によって表現されていると、当該指示には必然的に撮影方向についての指示も含まれることとなるため、その眼の大きさについての指示が、撮影方向を変更するような顕微鏡部3110の移動を制限してしまう可能性がある。これに対して、眼の大きさについての指示を1次元的な指標によって表現することにより、撮像画像における眼の大きさを略一定に保ちつつ、撮影方向を変更するような顕微鏡部3110の移動が実現され得るため、徹照が最大となるような顕微鏡部3110の位置及び姿勢の探索をより円滑に行うことが可能になる。
なお、上記の徹照の最大化のように、位置姿勢条件に含まれる指示が特定の指標の最大化又は最小化である場合には、好適に追従動作制御が行われてよい。追従動作制御を行うことにより、眼が移動したとしても、その移動に追従してユーザによって指定された特定の指標が最大となるように又は最小となるように顕微鏡部3110が自動で移動することとなるため、ユーザは常に当該特定の指標が最大化又は最小化された所望の撮像画像を得ることが可能になる。
(3−3.画像の見た目についての指示の登録方法の他の例)
上記の説明では、図5−図7に例示したGUIを用いて画像の見た目についての指示を登録していた。ただし、第1及び第2の実施形態はかかる例に限定されず、画像の見た目についての指示の登録には、他のGUIが用いられてもよい。なお、以下に説明する各GUIに係る表示についての表示制御は、図3及び図13に示す駆動制御システム1、2の制御部140、150によって実行され得る。また、これらのGUIに係る表示が表示される表示画面は、術前情報取得部110を構成する表示装置の表示画面であってもよいし、駆動制御システム1、2に別途設けられる表示装置の表示画面であってもよい。
図16及び図17は、画像の見た目についての指示を登録するための他のGUIの例を示す図である。図16及び図17に示すように、当該他のGUIでは、表示画面205上に角膜中心を示すマーク219と、頭頂方向を示す矢印209と、が表示される。当該矢印209は、図5−図7に示すGUIにおける矢印209と同様のものである。ユーザは、マーク219の位置及び矢印209の向きを調整することにより、撮像画像における角膜輪部の中心の位置、及び撮像画像における頭頂方向を、それぞれ指定することができる。指定された内容が、画像の見た目についての指示として登録され得る。図示する例であれば、図16に示す表示例は、上方切開に対応する画像の見た目に対応している。図17に示す表示例は、耳側切開に対応する画像の見た目に対応している。このように、ユーザが角膜中心及び頭頂方向を指定することにより、画像の見た目についての指示が登録されてもよい。なお、この場合には、当該GUIによる指示内容では、眼の画像の大きさは規定され得ないため、当該眼の画像の大きさを規定し得る指示内容が、位置姿勢条件として、別途ユーザによって登録され得る。眼の画像の大きさを規定し得る指示としては、例えば、撮像画像における倍率、及び顕微鏡部3110と眼との距離が挙げられる。
図18及び図19は、画像の見た目についての指示を登録するための更に他のGUIの例を示す図である。図18及び図19に示すように、当該更に他のGUIでは、表示画面205上に角膜輪部を示す円207が表示される。当該円207は、図5−図7に示すGUIにおける円207と同様のものである。ユーザは、円207の位置、大きさ及び真円度を調整することにより、撮像画像における角膜輪部の位置、撮像画像における角膜輪部の大きさ、及び撮像画像における角膜輪部の形状(撮影方向)を、それぞれ指定することができる。指定された内容が、画像の見た目についての指示として登録され得る。このように、角膜輪部の位置、大きさ及び形状を指定することにより、画像の見た目についての指示が登録されてもよい。なお、この場合には、当該GUIによる指示内容では、頭頂方向は規定され得ないため、当該頭頂方向を規定し得る指示内容が、位置姿勢条件として、別途ユーザによって登録され得る。頭頂方向を規定し得る指示としては、例えば、顕微鏡部3110の光軸周りの向きが挙げられる。
図20は、画像の見た目についての指示を登録するための更に他のGUIの例を示す図である。図20に示すように、当該更に他のGUIでは、表示画面205上に、過去に行われた手術時に撮影された患者3405の眼213の実際の撮像画像が表示される。また、頭頂方向を示す矢印209が、当該撮像画像に重畳して表示される。当該矢印209は、図5−図7に示すGUIにおける矢印209と同様のものである。当該撮像画像における眼213の画像は、ユーザの操作に応じて適宜大きさ及び位置を変更可能であり、ユーザは、眼213の位置及び大きさを調整することにより、今後行う手術時に得たい撮像画像における眼の画像の位置、及び撮像画像における眼の大きさを、それぞれ指定することができる。また、ユーザは、矢印209の方向を調整することにより、今後行う手術時に得たい撮像画像における頭頂方向を指定することができる。指定されたこれらの内容が、画像の見た目についての指示として登録され得る。このように、実際の撮像画像を表示させるGUIを用いて、画像の見た目についての指示が登録されてもよい。実際の撮像画像を用いることにより、ユーザは、実際の手術時に得たい画像の見た目を、自身の想定により合うように指定し、位置姿勢条件として登録することが可能となる。従って、初期動作制御後又は追従動作制御後に、所望する画像がより確実に当該ユーザに対して提供されることになり、当該ユーザにとっての利便性を向上させることができる。なお、実際の眼の撮像画像の代わりに、コンピュータグラフィクスにより生成した実際の眼の撮像画像に近い画像を用いるようにしてもよく、この場合にも実際の眼の撮像画像を用いる場合と同様の利便性向上を実現できる。
(3−4.位置姿勢条件の指定方法の他の例)
上記の説明では、図4に例示したGUIを用いて位置姿勢条件が指定されていた。ただし、第1及び第2の実施形態はかかる例に限定されず、位置姿勢条件の指定は、他の方法によって行われてもよい。
例えば、手術を開始する前、既に患者3405が患者ベッド3403上に横臥している状態で、ユーザが手動で顕微鏡部3110の位置及び姿勢を制御して撮像画像を取得し、その取得した撮像画像を、術中に得たい撮像画像として指定してもよい。つまり、本変形例では、図3及び図13に示す術前情報取得部110が顕微鏡部3110によって構成され、当該顕微鏡部3110によって撮影された撮像画像に基づいて、その撮像画像における画像の見た目(角膜輪部の位置、角膜輪部の大きさ、及び頭頂方向等)並びに撮影方向等が、位置姿勢条件として指定されてもよい。本変形例によれば、実際に顕微鏡部3110を術者が移動させることによって、その撮像画像として位置姿勢条件が指定されるため、よりユーザの意図に合致する撮像画像が得られるように位置姿勢条件を指定することが可能になる。
ただし、本変形例のように、術者によって手動で所望の撮像画像が得られるように顕微鏡部3110の位置及び姿勢が制御されることにより位置姿勢条件が指定される場合には、初期動作制御は行う必要がなくなる。従って、本変形例に係る位置姿勢条件の指定方法は、追従動作制御を実行する際に好適に適用され得る。
なお、本変形例に係る位置姿勢条件の指定方法が適用される場合には、その指定された位置姿勢条件(すなわち、術者による操作によって取得された撮像画像に基づく位置姿勢条件)が、今後用いられ得る規定の位置姿勢条件として駆動制御システム1、2に登録されてもよい。つまり、位置姿勢条件の登録が、本変形例に係る位置姿勢条件の指定方法と同様の方法によって行われてもよい。また、本変形例に係る位置姿勢条件の指定方法を上記(3−1.学習による位置姿勢条件の更新)で説明した学習処理と組み合わせて、既に登録されている位置姿勢条件が、術者による操作によって取得された撮像画像に基づく位置姿勢条件によって更新されてもよい。
(3−5.顕微鏡部の移動に対する制限)
第1の実施形態に係る初期動作制御及び第2の実施形態に係る追従動作制御では、位置姿勢条件を満たすように自動で顕微鏡部3110が移動する制御が行われる。第1及び第2の実施形態では、安全の観点から、この初期動作制御及び追従動作制御における顕微鏡部3110の移動に対して各種の制限が設定されてもよい。
このような制限としては、例えば、顕微鏡部3110と眼との距離に下限値を設ける、アーム部3120の可動範囲に制限を設ける、顕微鏡部3110の移動速度に上限値を設ける、及び/又はアーム部3120の各関節部のうち駆動する関節部を限定する(例えば、アーム部3120の姿勢が大きく変化しないように、先端側のいくつかの関節部のみを駆動する等)等が考えられる。
(4.補足)
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した第1及び第2の実施形態では、駆動制御システム1、2が眼科手術に適用され、術部が眼である場合について説明したが、本技術はかかる例に限定されない。例えば、駆動制御システム1、2は、開腹手術等、顕微鏡手術システム3000が適用され得る各種の手術に対して用いられてよい。また、駆動制御システム1、2が適用される手術に応じて、顕微鏡部3110による撮影対象となる術部も多様であってよい。駆動制御システム1、2が他の手術に対して適用される場合には、上述した第1及び第2の実施形態についての説明において「眼」と記載している箇所を、当該他の手術での術部に対応する生体組織に置き換えて、以上説明した駆動制御システム1、2を構成し、また、駆動制御システム1、2において行われる各処理を実行すればよい。
なお、顕微鏡手術システム3000を開腹手術等の他の手術に適用した場合には、眼に比べて術部である生体組織が大きく、当該生体組織を多様な位置及び方向から観察するために、術中において顕微鏡部3110の位置が比較的大きく変化することが想定される。これに対して、上述した第1及び第2の実施形態に係る初期動作制御及び追従動作制御では、指定した一の位置姿勢条件を満たすように自動的に顕微鏡部3110が移動される。従って、当該初期動作制御及び当該追従動作制御を、このような他の手術に対して適用しようとすると、顕微鏡部3110の位置を変更しようとする度に、新たに位置姿勢条件を指定する必要がある。よって、状況によっては、手動で顕微鏡部3110を移動させた方が簡便な場合も考えられる。
一方、顕微鏡手術システム3000を眼科手術に適用する場合には、術中において、術部である眼と顕微鏡部3110との位置関係はほぼ固定されると考えられる。つまり、一旦、所望の眼についての撮像画像が得られる位置及び姿勢に顕微鏡部3110を制御できれば、その後、大幅な移動は行われないことが想定される。従って、指定した一の位置姿勢条件を満たすように自動的に顕微鏡部3110が移動される点で、第1及び第2の実施形態に係る初期動作制御及び追従動作制御は、眼科手術における顕微鏡部3110の位置及び姿勢の制御と相性が良いと考えられる。
また、眼科手術では、比較的小さい術部である眼を観察するために、比較的高倍率で撮像画像が撮影されることが想定される。高倍率で撮影を行う場合には、顕微鏡部3110の位置及び姿勢を僅かに変化させただけでも、撮像画像が大きく変化してしまうため、当該顕微鏡部3110の位置及び姿勢を高精度に制御する必要があり、手動での操作では困難を伴うことが多い。これに対して、第1及び第2の実施形態に係る初期動作制御及び追従動作制御では、自動的に顕微鏡部3110の位置及び姿勢が制御され得るため、このような高倍率での撮影が求められる場合に特に好適である。
更に、第2の実施形態に係る追従動作制御では、術部の動きに追従しつつ指定した位置姿勢条件を満たすように顕微鏡部3110の位置及び姿勢が自動的に制御される。これに対して、開腹手術等の眼科手術以外の手術では、上記のように術部である生体組織が比較的大きく、その術中における動きもより大きいと考えられるため、その生体組織の動きに追従して顕微鏡部3110が移動すると、当該顕微鏡部3110の移動量も大きくなってしまう。一方、眼は術部としては比較的小さく、また、その術中における動きもより小さいため、その生体組織の動きに追従して顕微鏡部3110が移動しても、当該顕微鏡部3110の移動量も小さい範囲に抑えられる。よって、顕微鏡部3110が自動的に移動したとしても安全性がより確保され得る。
上記の各事情に鑑みれば、第1及び第2の実施形態に係る駆動制御システム1、2は、眼科手術に適用されることにより、より好ましい効果を奏するものであると考えられる。
なお、以上の説明において用いていた「角膜輪部」との用語は、「角膜境界」や「角膜範囲」等の用語と略同義である。また、頭頂方向を示す用語についても、「上方」、「下方」、「鼻側」、「耳側」等、一般的に用いられている各種の用語を用いることができる。このように、以上の説明において用いていた各種の用語は、当業者であれば容易に想到され得る他の用語に適宜読み替えることが可能である。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
術前に設定された位置姿勢条件を満たすように、術中に顕微鏡部によって撮影された術部の撮像画像に基づいて、前記顕微鏡部を支持するアーム部を駆動させ、前記顕微鏡部の位置及び姿勢を制御する制御部、
を備え、
前記位置姿勢条件は、前記位置姿勢条件に対応する所望の撮像画像を得るための、前記術部に対する前記顕微鏡部の位置及び姿勢を規定する条件である、
制御装置。
(2)
前記位置姿勢条件は、術部の画像の見た目についての指示を少なくとも含む、
前記(1)に記載の制御装置。
(3)
前記術部の画像の見た目についての指示は、前記撮像画像における前記術部の位置についての内容、前記撮像画像における前記術部の大きさについての内容、前記撮像画像における前記術部の形状についての内容、及び前記撮像画像における頭頂方向についての内容のうちの少なくともいずれかを含む、
前記(2)に記載の制御装置。
(4)
前記位置姿勢条件は、撮影方向についての指示、前記撮像画像における倍率についての指示、前記顕微鏡部と床との距離についての指示、及び前記顕微鏡部と前記術部との距離についての指示のうちの少なくともいずれかを含む、
前記(1)〜(3)のいずれか1項に記載の制御装置。
(5)
前記術部は眼である、
前記(1)〜(4)のいずれか1項に記載の制御装置。
(6)
前記位置姿勢条件は、前記眼の画像の見た目についての指示を少なくとも含み、
前記眼の画像の見た目についての指示は、前記撮像画像における前記眼の角膜輪部の位置についての内容、前記撮像画像における前記眼の角膜輪部の大きさについての内容、前記撮像画像における前記眼の角膜輪部の形状についての内容、及び前記撮像画像における頭頂方向についての内容のうちの少なくともいずれかを含む、
前記(5)に記載の制御装置。
(7)
前記位置姿勢条件は、特定の指標を最大化又は最小化する旨の指示を含む、
前記(1)〜(6)のいずれか1項に記載の制御装置。
(8)
前記術部は眼であり、
前記特定の指標は徹照であり、
前記徹照を最大化する旨の指示は、網膜からの反射光の輝度が最大であること、又は前記眼の眼軸と前記顕微鏡部の光軸とが所定の位置関係にあることを含む、
前記(7)に記載の制御装置。
(9)
術中に撮影された前記撮像画像が、術前に設定された前記位置姿勢条件に対応する前記所望の撮像画像に近付くまで、前記顕微鏡部の位置及び姿勢が制御される、
前記(1)〜(8)のいずれか1項に記載の制御装置。
(10)
術中に撮影された前記撮像画像が、術前に設定された前記位置姿勢条件に対応する前記所望の撮像画像に近付いたことは、それぞれの画像から抽出される特徴量を比較することにより判定される、
前記(9)に記載の制御装置。
(11)
終了指示が入力されるまで、術前に設定された前記位置姿勢条件を満たすように前記顕微鏡部の位置及び姿勢が制御される、
前記(1)〜(8)のいずれか1項に記載の制御装置。
(12)
前記術部を含む術部近傍を俯瞰した撮像画像に基づいて、前記位置姿勢条件を満たすように前記顕微鏡部を支持する前記アーム部が駆動され、前記顕微鏡部の位置及び姿勢が制御される、
前記(1)〜(11)のいずれか1項に記載の制御装置。
(13)
予め登録された前記位置姿勢条件の中から、一の前記位置姿勢条件が設定され、
設定された前記位置姿勢条件を満たすように、前記顕微鏡部の位置及び姿勢を制御する、
前記(1)〜(12)のいずれか1項に記載の制御装置。
(14)
設定された前記位置姿勢条件を満たすように前記顕微鏡部の位置及び姿勢が制御された後、前記顕微鏡部の位置及び姿勢が修正された場合に、修正後の前記顕微鏡部の位置及び姿勢に基づいて、設定された前記位置姿勢条件の登録内容が更新される、
前記(13)に記載の制御装置。
(15)
前記制御部は、予め登録された前記位置姿勢条件を示すアイコンを表示画面に表示させる、
前記(13)又は(14)に記載の制御装置。
(16)
プロセッサが、術前に設定された所望の撮像画像を得るための術部に対する顕微鏡部の位置及び姿勢を規定する条件である位置姿勢条件を満たすように、術中に前記顕微鏡部によって撮影された前記術部の撮像画像に基づいて、前記顕微鏡部を支持するアーム部を駆動させ、前記顕微鏡部の位置及び姿勢を制御する、
制御方法。
(17)
術部の撮像画像を撮影する顕微鏡部と、
前記顕微鏡部を支持するアーム部と、
術前に設定された所望の撮像画像を得るための前記術部に対する前記顕微鏡部の位置及び姿勢を規定する条件である位置姿勢条件を満たすように、術中に前記顕微鏡部によって撮影された前記術部の撮像画像に基づいて、前記アーム部を駆動させ、前記顕微鏡部の位置及び姿勢を制御する、制御装置と、
を備える、
手術用顕微鏡装置。
1、2 駆動制御システム
110 術前情報取得部
120 術中情報取得部
130 駆動部
140、150 制御部
141 位置姿勢条件設定部
142 状態認識部
143 状態比較部
144 駆動制御部
153 終了判定部
3000 顕微鏡手術システム
3100 顕微鏡装置
3110 顕微鏡部
3120 アーム部
3121a 第1関節部
3121b 第2関節部
3121c 第3関節部
3121d 第4関節部
3121e 第5関節部
3121f 第6関節部
3123a 第1リンク
3123b 第2リンク
3123c 第3リンク
3123d 第4リンク
3123e 第5リンク
3123f 第6リンク
3130 ベース部
3200 制御装置
3300 表示装置

Claims (25)

  1. 術部の画像を撮像する撮像部と、
    前記撮像部を支持するアーム部と、
    前記術部の所望の画像を得るための前記撮像部の位置及び姿勢の条件として、予め登録された位置姿勢条件を記憶する記憶部と、
    ユーザからの操作入力を受け付ける操作部と、
    前記操作部に対する操作入力に応じて、前記記憶部から前記位置姿勢条件を取得し、術中に前記撮像部によって撮像される前記術部の画像が前記所望の画像に対応する画像となるように、取得した前記位置姿勢条件に基づいて、前記アーム部を駆動させ、前記撮像部の位置及び姿勢を制御する制御部と、
    を備える、手術システム
  2. 前記位置姿勢条件は、ユーザごとに前記記憶部に記録される、
    請求項1に記載の手術システム
  3. 前記位置姿勢条件は、施術の種類ごとに前記記憶部に記録される、
    請求項1又は2に記載の手術システム
  4. 前記制御部は、前記撮像部の光軸が空間上の所定の点を常に向くように、前記アーム部を駆動させる、
    請求項1〜3のいずれか1項に記載の手術システム
  5. 前記撮像部は、立体視に対応する右目用及び左目用の画像信号を取得する、
    請求項1〜4のいずれか1項に記載の手術システム
  6. 前記撮像部は、AF(Auto Focus)機能を備える、
    請求項1〜5のいずれか1項に記載の手術システム
  7. 前記撮像部により撮像される前記術部の画像を表示する表示部をさらに備える、
    請求項1〜6のいずれか1項に記載の手術システム
  8. 前記位置姿勢条件は、前記術部の画像の見た目についての指示を少なくとも含む、
    請求項1〜7のいずれか1項に記載の手術システム
  9. 前記術部の画像の見た目についての指示は、前記画像における前記術部の位置についての内容、前記画像における前記術部の大きさについての内容、前記画像における前記術部の形状についての内容、及び前記画像における頭頂方向についての内容のうちの少なくともいずれかを含む、
    請求項8に記載の手術システム
  10. 前記位置姿勢条件は、撮影方向についての指示、前記画像における倍率についての指示、前記撮像部と床との距離についての指示、及び前記撮像部と前記術部との距離についての指示のうちの少なくともいずれかを含む、
    請求項1〜9のいずれか1項に記載の手術システム
  11. 前記術部は眼である、
    請求項1〜10のいずれか1項に記載の手術システム
  12. 前記位置姿勢条件は、前記眼の画像の見た目についての指示を少なくとも含み、
    前記眼の画像の見た目についての指示は、前記画像における前記眼の角膜輪部の位置についての内容、前記画像における前記眼の角膜輪部の大きさについての内容、前記画像における前記眼の角膜輪部の形状についての内容、及び前記画像における頭頂方向についての内容のうちの少なくともいずれかを含む、
    請求項11に記載の手術システム
  13. 前記位置姿勢条件は、特定の指標を最大化又は最小化する旨の指示を含む、
    請求項1〜12のいずれか1項に記載の手術システム
  14. 前記術部は眼であり、
    前記特定の指標は徹照であり、
    前記徹照を最大化する旨の指示は、網膜からの反射光の輝度が最大であること、又は前記眼の眼軸と前記撮像部の光軸とが所定の位置関係にあることを含む、
    請求項13に記載の手術システム
  15. 前記制御部は、術中に撮像された前記術部の画像が術前に設定された前記位置姿勢条件に対応する前記所望の画像に近付くまで、前記撮像部の位置及び姿勢制御る、
    請求項1〜14のいずれか1項に記載の手術システム
  16. 前記制御部は、術中に撮像された前記術部の画像が術前に設定された前記位置姿勢条件に対応する前記所望の画像に近付いたこと、それぞれの画像から抽出される特徴量を比較することにより判定る、
    請求項15に記載の手術システム
  17. 前記制御部は、終了指示が入力されるまで、術前に設定された前記位置姿勢条件を満たすように前記撮像部の位置及び姿勢制御る、
    請求項1〜16のいずれか1項に記載の手術システム
  18. 前記制御部は、前記術部を含む術部近傍を俯瞰した画像に基づいて、前記位置姿勢条件を満たすように前記撮像部を支持する前記アーム部駆動、前記撮像部の位置及び姿勢制御る、
    請求項1〜17のいずれか1項に記載の手術システム
  19. 前記制御部は、予め登録された複数の前記位置姿勢条件の中から一の前記位置姿勢条件設定
    設定された前記位置姿勢条件を満たすように、前記撮像部の位置及び姿勢を制御する、
    請求項1〜18のいずれか1項に記載の手術システム
  20. 前記制御部は、設定された前記位置姿勢条件を満たすように前記撮像部の位置及び姿勢が制御された後、前記撮像部の位置及び姿勢が修正された場合に、修正後の前記撮像部の位置及び姿勢に基づいて、設定された前記位置姿勢条件の登録内容更新る、
    請求項19に記載の手術システム
  21. 前記制御部は、前記ユーザによって前記撮像部の位置及び姿勢が修正されたことに基づいて、前記予め登録された位置姿勢条件を更新する、
    請求項1〜20のいずれか1項に記載の手術システム。
  22. 前記制御部は、予め登録された複数の前記位置姿勢条件の中から一の前記位置姿勢条件を指定するためのGUIを通じて指定された前記位置姿勢条件を満たすように、前記撮像部の位置及び姿勢を制御する、
    請求項19に記載の手術システム。
  23. 前記制御部は、前記GUIとして、予め登録された前記位置姿勢条件を示すアイコンを表示画面に表示させる、
    請求項22に記載の手術システム
  24. プロセッサが、
    ユーザからの操作入力を受け付ける操作部に対する前記操作入力に応じて、術部の所望の画像を得るための、前記術部の画像を撮像する撮像部の位置及び姿勢の条件として、予め登録された位置姿勢条件を記憶する記憶部から前記位置姿勢条件を取得することと、
    術中に前記撮像部によって撮像される前記術部の画像が前記所望の画像に対応する画像となるように、取得した前記位置姿勢条件に基づいて、前記撮像部を支持するアーム部を駆動させ、当該撮像部の位置及び姿勢を制御することと、
    を含む、制御方法。
  25. ユーザからの操作入力を受け付ける操作部に対する前記操作入力に応じて、術部の所望の画像を得るための、前記術部の画像を撮像する撮像部の位置及び姿勢の条件として、予め登録された位置姿勢条件を記憶する記憶部から前記位置姿勢条件を取得し、術中に前記撮像部によって撮像される前記術部の画像が前記所望の画像に対応する画像となるように、取得した前記位置姿勢条件に基づいて、前記撮像部を支持するアーム部を駆動させ、当該撮像部の位置及び姿勢を制御する制御部を備える、制御装置。
JP2017183151A 2016-03-30 2017-09-25 手術システム、制御方法、及び制御装置 Active JP6848785B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016067323 2016-03-30
JP2016067323 2016-03-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017539390A Division JP6217890B1 (ja) 2016-03-30 2017-02-07 制御装置、制御方法及び手術用顕微鏡装置

Publications (3)

Publication Number Publication Date
JP2018029980A JP2018029980A (ja) 2018-03-01
JP2018029980A5 JP2018029980A5 (ja) 2020-03-12
JP6848785B2 true JP6848785B2 (ja) 2021-03-24

Family

ID=59963802

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017539390A Active JP6217890B1 (ja) 2016-03-30 2017-02-07 制御装置、制御方法及び手術用顕微鏡装置
JP2017183151A Active JP6848785B2 (ja) 2016-03-30 2017-09-25 手術システム、制御方法、及び制御装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017539390A Active JP6217890B1 (ja) 2016-03-30 2017-02-07 制御装置、制御方法及び手術用顕微鏡装置

Country Status (5)

Country Link
US (3) US10595955B2 (ja)
EP (2) EP3266403B1 (ja)
JP (2) JP6217890B1 (ja)
CN (2) CN110786819B (ja)
WO (1) WO2017169135A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3266403B1 (en) * 2016-03-30 2020-04-15 Sony Corporation Control device, control method, and operating microscope device
DE102016122004B4 (de) * 2016-11-16 2024-03-21 Carl Zeiss Meditec Ag Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
US11513332B2 (en) 2016-11-29 2022-11-29 Sony Olympus Medical Solutions Inc. Microscope apparatus and control method
FR3076994B1 (fr) * 2018-01-25 2022-03-11 Keranova Dispositif et procede de controle du deplacement d'un appareil de therapie oculaire incluant un bras support articule
JP7094744B2 (ja) * 2018-03-23 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
DE102018206406B3 (de) * 2018-04-25 2019-09-12 Carl Zeiss Meditec Ag Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
WO2020008652A1 (ja) * 2018-07-06 2020-01-09 株式会社ニコン 支持装置及び手術支援システム
US20220096163A1 (en) 2019-01-31 2022-03-31 Intuitive Surgical Operations, Inc. Camera control systems and methods for a computer-assisted surgical system
JP7299046B2 (ja) * 2019-03-25 2023-06-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察制御装置及び医療用観察システム
JP7250592B2 (ja) * 2019-03-29 2023-04-03 株式会社トプコン 眼科装置
EP3744285A1 (en) * 2019-05-27 2020-12-02 Leica Instruments (Singapore) Pte. Ltd. Microscope system and method for controlling a surgical microcope
FR3098710B1 (fr) * 2019-07-19 2021-12-31 Keranova Appareil de decoupe a coupleur optique incluant un correcteur de polarisation
JP2021022840A (ja) * 2019-07-29 2021-02-18 ソニー株式会社 医療用観察システム、制御装置、および制御方法
JP7322356B2 (ja) 2019-07-30 2023-08-08 株式会社トプコン 眼科装置及び眼科システム
KR102274167B1 (ko) * 2019-09-05 2021-07-12 큐렉소 주식회사 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
JP2023511407A (ja) 2020-01-22 2023-03-17 フォトニック メディカル インク. 開放視野マルチモード深度検知校正デジタルルーペ
TWI730721B (zh) * 2020-04-14 2021-06-11 國立臺北教育大學 利用混合實境的教學系統
US11448868B2 (en) * 2020-05-07 2022-09-20 Kgg Inc Ergonomic EZ scope digital imaging system
USD1002014S1 (en) * 2020-08-31 2023-10-17 MAQUET CARDIOPULMONARY GmbH Universal holder system
USD993420S1 (en) * 2020-09-30 2023-07-25 Karl Storz Se & Co. Kg Robotic arm for exoscopes
CN112437229A (zh) * 2020-11-10 2021-03-02 苏州爱医斯坦智能科技有限公司 一种画面追踪方法、装置、电子设备及存储介质
CN114504385A (zh) * 2022-01-18 2022-05-17 上海术航机器人有限公司 手术机器人末端姿态调整方法、系统、设备和介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4989253A (en) * 1988-04-15 1991-01-29 The Montefiore Hospital Association Of Western Pennsylvania Voice activated microscope
JP3321198B2 (ja) * 1992-06-22 2002-09-03 オリンパス光学工業株式会社 顕微鏡静止画像観察システム
IT1274405B (it) * 1995-04-28 1997-07-17 San Raffaele Centro Fond Dispositivo di posizionamento e centramento automatico di testa ottica di microscopio
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
JP4630564B2 (ja) * 2004-03-30 2011-02-09 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
CN1299650C (zh) * 2005-03-11 2007-02-14 天津大学 具有力感觉的显微外科手术机器人控制系统
CN2860384Y (zh) * 2005-11-24 2007-01-24 苏州六六视觉科技股份有限公司 视频立体成像手术显微装置
US9392931B2 (en) * 2010-03-22 2016-07-19 Brainlab Ag Controlling a surgical microscope
US8398236B2 (en) * 2010-06-14 2013-03-19 Alcon Lensx, Inc. Image-guided docking for ophthalmic surgical systems
DE102010055772B4 (de) * 2010-12-23 2014-06-05 Carl Zeiss Meditec Ag Anordnung und Verfahren zur quantitativen Bestimmung des Blutflusses innerhalb von Blutgefäßen
JP5711531B2 (ja) 2010-12-24 2015-05-07 株式会社トプコン 試料ステージ装置、及び電子線装置
JP2013046649A (ja) * 2011-08-29 2013-03-07 Topcon Corp 眼科手術用顕微鏡
EP3028635B1 (en) * 2011-12-30 2017-10-18 Mako Surgical Corp. System for image-based robotic surgery
CN104411248B (zh) * 2012-06-28 2017-09-26 皇家飞利浦有限公司 在内窥镜外科手术中用于最佳图像采集的c型臂轨迹规划
CN102793583B (zh) * 2012-08-31 2014-11-05 深圳市长江力伟股份有限公司 一种用于外科手术的可佩戴式显微装置及其控制电路
DE102012222578A1 (de) 2012-12-07 2014-06-12 Leica Microsystems (Schweiz) Ag Operationsmikroskop
EP2967348B1 (en) * 2013-03-15 2022-03-23 Synaptive Medical Inc. Intelligent positioning system
JP6272885B2 (ja) 2013-09-24 2018-01-31 ソニー・オリンパスメディカルソリューションズ株式会社 医療用ロボットアーム装置、医療用ロボットアーム制御システム、医療用ロボットアーム制御方法及びプログラム
CN103815972A (zh) 2014-02-26 2014-05-28 上海齐正微电子有限公司 腹胸腔镜的手术区域自动跟踪系统及方法
KR20170035831A (ko) * 2014-03-14 2017-03-31 시냅티브 메디컬 (바베이도스) 아이엔씨. 인텔리전트 포지셔닝 시스템과 그것의 방법들
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
CN116172789A (zh) * 2014-10-17 2023-05-30 卡尔蔡司医疗技术股份公司 用于短脉冲激光眼科手术的系统
US10702353B2 (en) * 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
EP3383247A4 (en) * 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
WO2017138208A1 (ja) * 2016-02-10 2017-08-17 オリンパス株式会社 内視鏡システム
EP3266403B1 (en) * 2016-03-30 2020-04-15 Sony Corporation Control device, control method, and operating microscope device
JP6880606B2 (ja) * 2016-08-30 2021-06-02 株式会社ニデック 眼科用手術顕微鏡
WO2018078470A1 (en) * 2016-10-25 2018-05-03 Novartis Ag Medical spatial orientation system
US20180368656A1 (en) * 2017-05-24 2018-12-27 Camplex, Inc. Surgical visualization systems and displays

Also Published As

Publication number Publication date
US20180092705A1 (en) 2018-04-05
JP6217890B1 (ja) 2017-10-25
CN107438413B (zh) 2019-12-06
CN107438413A (zh) 2017-12-05
US10716471B2 (en) 2020-07-21
EP3659540A1 (en) 2020-06-03
EP3266403B1 (en) 2020-04-15
EP3266403A1 (en) 2018-01-10
EP3659540B1 (en) 2022-12-14
CN110786819B (zh) 2022-07-26
WO2017169135A1 (ja) 2017-10-05
CN110786819A (zh) 2020-02-14
EP3266403A4 (en) 2018-07-25
JP2018029980A (ja) 2018-03-01
US20200288975A1 (en) 2020-09-17
JPWO2017169135A1 (ja) 2018-04-05
US20180104018A1 (en) 2018-04-19
US10595955B2 (en) 2020-03-24
US11730365B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
JP6848785B2 (ja) 手術システム、制御方法、及び制御装置
JP6939778B2 (ja) 制御装置、制御方法及び手術システム
US20180263710A1 (en) Medical imaging apparatus and surgical navigation system
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
US20190053857A1 (en) Medical information processing apparatus, information processing method, and medical information processing system
CN109715106B (zh) 控制装置、控制方法及医疗系统
JP7480477B2 (ja) 医療用観察システム、制御装置及び制御方法
JP7286948B2 (ja) 医療用観察システム、信号処理装置及び医療用観察方法
WO2020080209A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
WO2018088113A1 (ja) 関節駆動用アクチュエータ及び医療用システム
JPWO2018100828A1 (ja) 顕微鏡装置及び制御方法
EP3603562B1 (en) Medical observation apparatus and observation field correction method
JPWO2018096763A1 (ja) 顕微鏡装置及び制御方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R151 Written notification of patent or utility model registration

Ref document number: 6848785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151