JP7143099B2 - 医療用観察システム - Google Patents

医療用観察システム Download PDF

Info

Publication number
JP7143099B2
JP7143099B2 JP2018057220A JP2018057220A JP7143099B2 JP 7143099 B2 JP7143099 B2 JP 7143099B2 JP 2018057220 A JP2018057220 A JP 2018057220A JP 2018057220 A JP2018057220 A JP 2018057220A JP 7143099 B2 JP7143099 B2 JP 7143099B2
Authority
JP
Japan
Prior art keywords
unit
imaging
light
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018057220A
Other languages
English (en)
Other versions
JP2019166156A (ja
Inventor
一博 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2018057220A priority Critical patent/JP7143099B2/ja
Priority to US16/282,345 priority patent/US11439477B2/en
Publication of JP2019166156A publication Critical patent/JP2019166156A/ja
Application granted granted Critical
Publication of JP7143099B2 publication Critical patent/JP7143099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • G02B27/20Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective for imaging minute objects, e.g. light-pointer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32Fiducial marks and measuring scales within the optical system
    • G02B27/34Fiducial marks and measuring scales within the optical system illuminated

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)

Description

本開示は、医療用観察システムに関する。
例えば、被観察体である患者の脳や心臓等における微小部位の手術を行う際に微小部位を観察する手術用顕微鏡が知られている。さらに、可動式のアームの先端に撮影部を配置し、撮影部が撮影する撮影領域を容易に移動できる手術用顕微鏡が知られている(例えば、特許文献1、2参照)。
特開2005-161086号公報 特開2001-299695号公報
術者等の操作者は、撮影部が撮像した画像が表示された表示装置を観察しながら、撮影領域を移動させる。このため、操作者が撮影領域を直感的に認識しづらいという課題があった。
本開示は、上記に鑑みてなされたものであって、操作者が撮影領域を直感的に認識できる医療用観察システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示の一態様に係る医療用観察システムは、被観察体を撮影する撮影部と、前記撮影部が撮影する撮影領域の外部であって、前記撮影領域の近傍に前記撮影部の撮影状態を認識可能とする光を前記被観察体に投影する光投影部と、を備える。
また、本開示の一態様に係る医療用観察システムは、前記光投影部は、前記撮影領域を認識可能とするパターンを投影する。
また、本開示の一態様に係る医療用観察システムは、前記光投影部は、前記パターンとして、前記撮影領域の大きさを認識可能とする枠、又は前記撮影領域の上下を認識可能とするマーカを投影する。
また、本開示の一態様に係る医療用観察システムは、操作者の操作を受け付ける入力部を備え、前記光投影部は、前記入力部が受け付けた前記操作者の指示に応じて、前記光を投影する。
また、本開示の一態様に係る医療用観察システムは、前記撮影部を移動させて前記撮影領域を移動させる操作の入力を受け付ける第1入力部を備え、前記光投影部は、前記第1入力部が前記入力を受け付けている間は前記光を投影する。
また、本開示の一態様に係る医療用観察システムは、前記撮影領域を拡大及び縮小させる操作の入力を受け付ける第1入力部を備え、前記光投影部は、前記撮影領域の大きさに応じて、前記光の形状又は位置を変化させる。
また、本開示の一態様に係る医療用観察システムは、前記撮影領域を拡大及び縮小させる操作の入力を受け付ける第1入力部を備え、前記光投影部は、前記撮影領域が拡大されて前記光が前記撮影領域の内部に位置する場合、前記光を前記撮影領域の外部に位置するように投影する。
また、本開示の一態様に係る医療用観察システムは、前記撮影部が撮影する画像の上方向に対応する前記撮影部の上方向と鉛直下方向とのなす角を検知する第1検知部と、前記なす角に応じて、前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する画像処理部と、を備える。
また、本開示の一態様に係る医療用観察システムは、前記画像処理部は、前記なす角が閾値を越えた場合に、前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する。
また、本開示の一態様に係る医療用観察システムは、操作者の操作を受け付ける入力部を備え、前記画像処理部は、前記入力部が受け付けた前記操作者の指示に応じて、前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する。
また、本開示の一態様に係る医療用観察システムは、前記撮影部を移動させて前記撮影領域を移動させる操作の入力を受け付ける第1入力部を備え、前記画像処理部は、前記第1入力部が前記入力を受け付けている間は前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する。
また、本開示の一態様に係る医療用観察システムは、前記撮影部を支持する支持部と、前記支持部を駆動制御して前記撮影部の上方向を制御する駆動制御部を備え、前記駆動制御部は、前記撮影部の上方向を前記鉛直下方向と反対の方向にする。
また、本開示の一態様に係る医療用観察システムは、前記駆動制御部は、前記なす角が閾値を越えた場合に、前記撮影部の上方向を前記鉛直下方向と反対の方向にする。
また、本開示の一態様に係る医療用観察システムは、操作者の操作を受け付ける入力部を備え、前記駆動制御部は、前記入力部が受け付けた前記操作者の指示に応じて、前記撮影部の上方向を前記鉛直下方向と反対の方向にする。
また、本開示の一態様に係る医療用観察システムは、前記撮影部を制御するとともに、前記撮影部が撮影した画像に画像処理を施す制御装置と、前記制御装置が生成した画像を表示する表示装置と、前記撮影部、前記制御装置、前記表示装置、術者、又は助手のうち、少なくともいずれか1つの位置を検知する第2検知部と、を備え、前記制御装置は、前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する。
また、本開示の一態様に係る医療用観察システムは、前記撮影部が撮影する画像の上方向に対応する前記撮影部の上方向と鉛直下方向とのなす角を検知する第1検知部を備え、前記なす角が閾値を越えた場合に、前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する。
また、本開示の一態様に係る医療用観察システムは、操作者の操作を受け付ける入力部を備え、前記制御装置は、前記入力部が受け付けた前記操作者の指示に応じて、前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する。
また、本開示の一態様に係る医療用観察システムは、前記撮影部を移動させて前記撮影領域を移動させる操作の入力を受け付ける第1入力部を備え、前記制御装置は、前記第1入力部が前記入力を受け付けている間は前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する。
また、本開示の一態様に係る医療用観察システムは、被観察体を撮影する撮影部と、前記撮影部の撮影方向に向けて第1照明光を出射する光出射部と、を備え、前記光出射部は、前記撮影部が撮影する撮影領域の外部であって、前記撮影領域の近傍に前記撮影部の撮影状態を認識可能とする第2照明光を前記被観察体に照射する。
また、本開示の一態様に係る医療用観察システムは、前記光出射部は、前記撮影領域の上下を認識可能とする前記第2照明光を出射する。
本開示によれば、操作者が撮影領域を直感的に認識できる医療用観察システムを実現することができる。
図1は、実施形態1に係る医療用観察システムの全体構成を示す図である。 図2は、実施形態1に係る顕微鏡部と顕微鏡部の周辺の構成を示す拡大斜視図である。 図3は、実施形態1に係る医療用観察システムの機能構成を示すブロック図である。 図4は、顕微鏡部と被観察体と位置関係を表す図である。 図5は、図4の位置関係において、表示装置に表示される画像を表す図である。 図6は、顕微鏡部と被観察体と位置関係を表す図である。 図7は、図6の位置関係において、表示装置に表示される画像を表す図である。 図8は、実施形態1に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図9は、実施形態1の変形例1に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図10は、実施形態1の変形例2に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図11は、実施形態1の変形例3に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図12は、実施形態1の変形例4に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図13は、実施形態1の変形例5に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図14は、実施形態1の変形例6に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図15は、実施形態1の変形例7に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図16は、実施形態1の変形例8に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図17は、実施形態1の変形例9に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図18は、実施形態1の変形例10に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図19は、実施形態1の変形例11に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図20は、実施形態1の変形例12に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図21は、実施形態1の変形例13に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図22は、実施形態1の変形例14に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図23は、実施形態1の変形例15に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図24は、実施形態1の変形例16に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図25は、実施形態1の変形例17に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図26は、実施形態1の変形例18に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。 図27は、顕微鏡部と被観察体との位置関係を表す図である。 図28は、図27の位置関係において、表示装置に表示される画像を表す図である。 図29は、顕微鏡部と被観察体との位置関係を表す図である。 図30は、図29の位置関係において、表示装置に表示される画像を表す図である。 図31は、実施形態2に係る医療用観察システムの機能構成を示すブロック図である。 図32は、被観察体、撮影部、制御装置、表示装置、術者、及び助手の位置関係を表す図である。 図33は、図32の位置関係において、表示装置に表示される画像を表す図である。 図34は、実施形態3に係る医療用観察システムの機能構成を示すブロック図である。 図35は、実施形態3に係る光出射部が光を出射することにより被観察体に映し出されるパターンを表す図である。
以下に、図面を参照して本開示に係る医療用観察システムの実施の形態を説明する。なお、これらの実施の形態により本開示が限定されるものではない。本開示は、撮影部を備える医療用観察システム一般に適用することができる。
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
(実施形態1)
〔医療用観察システムの概略構成〕
図1は、実施形態1に係る医療用観察システムの全体構成を示す図である。図1に示す医療用観察システム1は、被観察体の微小部位を拡大して観察する顕微鏡としての機能を有する医療用の観察装置2と、光ファイバ等によって構成されたライトガイド4を介して観察装置2に照明光を供給する光源装置3と、観察装置2が撮像した画像を表示する表示装置8と、医療用観察システム1の動作を統括的に制御する制御装置9と、を備える。
〔観察装置の概略構成〕
まず、観察装置2の概略構成について説明する。
観察装置2は、被観察体の微小部位を観察する顕微鏡部5と、顕微鏡部5の基端部に接続され、顕微鏡部5を回動可能に支持する支持部6と、支持部6の基端部を回動可能に保持し、床面上を移動可能なベース部7と、を備える。
図2は、実施形態1に係る顕微鏡部と顕微鏡部の周辺の構成を示す拡大斜視図である。顕微鏡部5は、円柱状の外観を有し、その内部に、ズーム機能及びフォーカス機能を有する光学系と、光学系が結像した被写体像を受光して光電変換を行うことによって画像信号を生成する撮像素子(図示略)と、被観察体に照明光を照射する光出射部(図示略)と、を有する。また、顕微鏡部5の側面には、観察装置2の動作指示の入力を受け付ける第1入力部26を構成するアーム操作スイッチ26aを含む各種スイッチが設けられている。操作者がアーム操作スイッチ26aを押下すると、支持部6の固定が解除され、顕微鏡部5が移動可能な状態となる。換言すると、操作者は、アーム操作スイッチ26aを押下することにより、撮影領域を移動させることができる。なお、顕微鏡部5のアーム操作スイッチ26aが配置されている方向Aが撮影部21の上方向である。撮影部21の上方向と撮影領域との対応関係は後述する。また、顕微鏡部5の下端部の開口面には、内部の光学系等を保護するカバーガラスが設けられている(図示略)。術者らの操作者は、顕微鏡部5を把持した状態で各種スイッチを操作しながら、顕微鏡部5を移動したり、顕微鏡部5の角度を変更したり、観察装置2のモードを変更したり、ズーム又はフォーカス動作を行ったりする。このため、操作者は、光学系の光軸の方向又は顕微鏡部5の撮像視野の中心方向を直感的に把握することができ、顕微鏡部5を所望の位置へ容易に移動させることができる。なお、顕微鏡部5の形状は、円筒状に限定されることなく、例えば多角筒状であってもよい。
図1に戻り、観察装置2の構成の説明を続ける。
支持部6は、先端側(顕微鏡部5側)から順に、第1関節部61、第1アーム部71と、第2関節部62、第2アーム部72と、第3関節部63と、第3アーム部73と、第4関節部64と、第4アーム部74と、第5関節部65と、第5アーム部75と、第6関節部66と、が連結されている。
第1関節部61は、先端側で顕微鏡部5を、この顕微鏡部5の光軸と一致する第1軸Oのまわりを回動可能に保持するとともに、基端側で第1アーム部71の先端部に固定された状態で第1アーム部71に保持される。
第2関節部62は、先端側で第1アーム部71を第1軸Oと直交する第2軸Oのまわりを回動可能に保持するとともに、基端側で第2アーム部72に保持される。同様に、第3関節部63~第6関節部66は、先端側で第2アーム部72~第4アーム部74をそれぞれ回動可能に保持するとともに、基端側で第3アーム部73~第5アーム部75の先端部にそれぞれ固定された状態で保持される。
第6関節部66は、先端側で第5アーム部75を回動可能に保持するとともに、基端側でベース部7に固定された状態で保持される。
第2アーム部72~第5アーム部75は、第3軸O~第6軸Oをそれぞれ回転軸として回動可能である。第4軸O及び第5軸Oは、第2軸Oとそれぞれ平行である。第3軸Oと第4軸O、第5軸Oと第6軸Oは、それぞれ直交する。
第1関節部61~第6関節部66は、それぞれの先端側の顕微鏡部5、第1アーム部71~第5アーム部75の回動を制御する電磁ブレーキ(図示略)及び検出部として機能する角度センサ(図示せず)をそれぞれ有する。電磁ブレーキは、顕微鏡部5の第1入力部26のアーム操作スイッチ26aが押下されることにより解除される。顕微鏡部5及び第1アーム部71~第5アーム部75は、電磁ブレーキが解除された場合、第1関節部61~第6関節部66に対してそれぞれ回動可能な状態となる。以下、顕微鏡部5、第1アーム部71~第5アーム部75が第1関節部61~第6関節部66に対して、それぞれ回動可能である状態をオールフリーモードという。なお、電磁ブレーキの代わりにエアブレーキ等のその他の手段を適用してもよい。
第1関節部61~第6関節部66には、顕微鏡部5、第1アーム部71~第5アーム部75の回動をそれぞれアシストするためのアクチュエータ(図示略)が設けられている。また、第1関節部61~第6関節部66には、各関節部の位置、速度、加速度、回転角度、回転速度、回転加速度、発生トルク等の少なくとも一部をそれぞれ検出するための検出部として機能する各種センサ(図示略)が設けられている。
以上の構成を有する支持部6は、顕微鏡部5における並進3自由度及び回転3自由度の計6自由度の動きを実現する。なお、実施形態1に係る支持部6では、全てのアクチュエータを設ける必要がなく、適宜変更してもよい。例えば、支持部6の第1アーム部71~第5アーム部75の一部にアクチュエータを設ければよい。
光源装置3は、制御装置9の制御のもと、ライトガイド4を介して観察装置2に照明光を供給する。光源装置3は、キセノンランプやメタルハライドランプ等の放電ランプ、LED(Light Emitting Diode)やLD(Laser Diode)等の固体発光素子、レーザ光源又はハロゲンランプ等の発光部材等を用いて構成される。
表示装置8は、制御装置9が生成した表示画像(映像信号)や医療用観察システムに関する各種情報を表示する。表示装置8は、液晶や有機EL(Electro Luminescence)等を用いて構成される。また、表示装置8は、モニタサイズが31インチ以上、好ましくは55インチ以上である。なお、実施形態1では、表示装置8は、モニタサイズを31インチ以上で構成しているが、これに限定されることなく、他のモニタサイズ、例えば2メガピクセル(例えば1920×1080ピクセルの所謂2Kの解像度)以上の解像度、好ましくは8メガピクセル(例えば3840×2160ピクセルの所謂4Kの解像度)以上の解像度、より好ましくは32メガピクセル(例えば7680×4320ピクセルの所謂8Kの解像度)以上の解像度を有する画像を表示可能なモニタサイズであればよい。もちろん、表示装置8は、3D画像を表示可能なモニタであってもよい。
制御装置9は、医療用観察システム1の各部を統括的に制御する。制御装置9は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるFPGA(Field Programmable Gate Array:図示略)を用いて構成するようにしてもよい。制御装置9は、後述する記録部93に記録された各部を制御するための命令(インストラクション)に従って医療用観察システム1の各部を制御する。なお、FPGAにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるFPGAをコンフィグレーションしてもよい。なお、制御装置9の詳細な構成は、後述する。
〔医療用観察システムの機能構成〕
次に、上述した医療用観察システム1の機能構成について説明する。図3は、実施形態1に係る医療用観察システムの機能構成を示すブロック図である。
〔観察装置の構成〕
まず、観察装置2の機能構成について説明する。
観察装置2は、顕微鏡部5と、支持部6と、駆動部24と、第1検知部25と、第1入力部26と、第1制御部27と、を備える。
顕微鏡部5は、被写体である被観察体の像を拡大して撮像することによって画像信号を生成する撮影部21と、光源装置3から供給された照明光を被観察体に向けて照射する光出射部22と、被観察体に光を投影する光投影部23と、を備える。
撮影部21は、ズーム及びフォーカス機能を有する光学系と、光学系によって結像された被観察体の像を受光して光電変換を行うことによって画像信号を生成する撮像素子と、を有する。撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)を用いて構成される。撮影部21が生成する撮像信号は、伝送ケーブル10を介して制御装置9に伝送される。なお、撮影部21が生成した撮像信号に対してE/O変換を行うことによって光信号によって制御装置9へ伝送してもよい。なお、撮影部21は、例えば2メガピクセル(例えば1920×1080ピクセルの所謂2Kの解像度)以上の解像度、好ましくは8メガピクセル(例えば3840×2160ピクセルの所謂4Kの解像度)以上の解像度、より好ましくは32メガピクセル(例えば7680×4320ピクセルの所謂8Kの解像度)以上の解像度があればよい。また、撮影部21は、所定の視差を設けた2つの撮像素子によって2つの画像信号を生成することによって3D画像信号を生成してもよい。
光出射部22は、1又は複数のレンズを用いて構成された照明光学系を有する。光出射部22は、ライトガイド4を介して光源装置3から供給された照明光を、撮影部21の撮像方向と同じ方向へ照明光を照射する。なお、光出射部22は、顕微鏡部5にLEDやレーザ光源等を設けることによって、ライトガイド等の光伝送を省略してもよい。
支持部6は、上述した図1及び図2のように、顕微鏡部5を回動可能に支持する。支持部6は、顕微鏡部5における並進3自由度及び回転3自由度の計6自由度の動きを実現する。
光投影部23は、撮影部21が撮影する撮影領域の外部であって、撮影領域の近傍に撮影部21の撮影状態を認識可能とする光を被観察体に投影する。具体的には、光投影部23は、撮影部21の撮影状態として、撮影領域を認識可能とするパターンを投影する。パターンは、撮影領域を囲う枠や撮影領域の所定の位置を表すマーカ等であるが、撮影領域を認識可能とする態様であれば特に限定されない。光投影部23は、LD(Laser Diode)等の固体発光素子、レーザ光源、又はキセノンランプやメタルハライドランプ等の放電ランプ、LED等の発光部材等を用いて構成される。なお、光投影部として、光源装置3にレーザ光源やLED等を設け、ライトガイド4により顕微鏡部5に伝送してもよい。光投影部23は、被観察体に対して、光を常に投影してもよいが、第1入力部26又は入力部92に対する入力等の操作者の指示に応じて、光を投影してもよい。例えば、光投影部23は、第1入力部26が入力を受け付けている間は光を投影してもよい。具体的には、光投影部23は、第1入力部26のアーム操作スイッチ26aが押下されている間は光を投影してもよい。また、本明細書において、撮影領域Bの近傍とは、例えば撮影領域Bの外周から50mm程度に含まれる領域を指すが特に限定されない。また、本明細書において、撮影状態とは、撮影領域の大きさや撮影領域の向き等を含む撮影部21の状態を表す。撮影領域の向きとは、表示装置8に表示される画像の向きと撮影部21の向きとの対応関係である。
駆動部24は、上述した第1関節部61~第6関節部66にそれぞれ設けられる電磁ブレーキ及びアクチュエータを有する。電磁ブレーキは、オールフリーモード動作の際に第1入力部26が入力を受け付ける解除指示に従って解除される。アクチュエータは、第1検知部25による状態検出結果に応じて、後述する制御装置9から送信されてくる制御信号に応じて動作する。
第1検知部25は、観察装置2の状態情報を逐次検出する。観察装置2の状態情報は、撮影部21の位置、フォーカス及びズームに関する情報、第1関節部61~第6関節部66の位置、速度、加速度、回転角度、回転速度、回転加速度、発生トルクの少なくとも一部に関する情報、第1アーム部71~第5アーム部75の位置、速度、加速度の少なくとも一部に関する情報、ならびに電動視野移動モード、オールフリーモード等の動作に関する情報を含む。第1検知部25は、これらの情報を検出するための各種センサを有する。具体的には、第1検知部25は、基準方向に対して第1アーム部71~第5アーム部75(第1軸O~第6軸O)それぞれの角度を検出する第1角度センサ部25a~第6角度センサ部25fを有する。ここで、基準方向とは、観察装置2(第1アーム部71~第5アーム部75)が床に設置されているときを基準としたときの重力方向(鉛直下方向)である。即ち、実施形態1では、基準方向を0度として説明する。もちろん、基準方向は、観察装置2(第1アーム部71~第5アーム部75)の設置場所によって変化する。例えば、観察装置2(第1アーム部71~第5アーム部75)の設置場所が天井懸架の場合、床設置のときと比べて基準方向が180度異なる。また、観察装置2(第1アーム部71~第5アーム部75)の設置場所が壁固定(垂直な壁に固定)の場合、床設置のときと比べて基準方向が90度異なる。なお、第1角度センサ部25aが検出する第1軸Oの方向と撮影部21の撮像方向とが同一の場合、第1角度センサ部25aを省略してもよい。
また、第1軸Oと直交する方向であって、顕微鏡部5のアーム操作スイッチ26aが配置されている方向Aが撮影部21の上方向である。撮影部21の上方向は、表示装置8に映し出される画面の上方向と対応している。第1検知部25は、基準方向と第2軸Oとのなす角として、撮影部21の上方向と鉛直下方向とのなす角を検知する。また、第1検知部25は、顕微鏡部5に加速度センサを設けることにより重力方向を検知し、撮影部21の上方向と鉛直下方向とのなす角を検知してもよい。
ここで、電動視野移動モードに含まれるXY動作モードは、支持部6を構成する複数の関節部の軸の一部を固定し、他の軸の動きによって撮影部21の撮像視野を上下左右に変更可能な動作モードである。具体的には、電動視野移動モード(XY動作モード)は、第4軸O~第6軸Oを固定したまま、第2軸Oと第3軸Oのみを電動で動作させることによって、撮影部21の撮像視野を上下左右に変更可能な動作モードである。
また、電動視野移動モードに含まれるピボット動作モードは、撮影部21の撮像視野の中心方向の1点で固定した状態で、その1点を頂点とした円錐面上を顕微鏡部5が支持部6の動きによって移動する旋回動作であり、ポイントロック動作とも呼ばれる。このピボット動作モードの旋回軸は、円錐の高さ方向の中心軸である。ピボット動作モードでは、固定点と撮影部21との距離が一定に保たれる。手術の際には、例えば手術部位が上述した固定点として選ばれる。このようなピボット動作モードによれば、手術部位を等距離で異なる角度から観察することができるため、ユーザが手術部位をより正確に把握することができる。
また、電動視野移動モードとして、XY動作モード、ピボット動作モード以外の動作モードを含んでいてもよい。
第1入力部26は、撮影部21を移動させて撮影領域を移動させる操作の入力を受け付ける。具体的には、第1入力部26は、撮影部21及び駆動部24に対する動作指示の入力を受け付け、撮影部21を移動させる。第1入力部26は、駆動部24が有する電磁ブレーキを解除してオールフリーモードを指示する入力を受け付けるアーム操作スイッチ26a、撮影部21におけるフォーカス及びズーム操作をそれぞれ指示する入力を受け付けるフォーカススイッチ及びズームスイッチ、電動視野移動モードの指示入力を受け付ける電動視野移動モードスイッチ、ならびに、パワーアシストモードの指示入力を受け付けるパワーアシストスイッチを有する。第1入力部26を構成する各種スイッチやボタン等は、図2に示すように、顕微鏡部5の側面に設けられる。なお、図2では、第1入力部26を構成する各種スイッチやボタン等の一部を記載している。また、図2では、第1入力部26を顕微鏡部5の側面に設ける構成を説明したが、これに限られない。例えば、第1入力部26として、顕微鏡部5とは別体のフットスイッチを設け、術者の足による操作によってオールフリーモードを指示する入力や撮影部21におけるフォーカス及びズーム操作を受け付けてもよい。
第1入力部26に対する操作に応じて撮像視野すなわち撮影領域が変更されるが、撮影領域の変更には、オールフリーモード及び電動視野移動モードにおける撮像視野の移動やズーム操作による撮像視野のサイズ変更等が含まれる。
第1制御部27は、第1入力部26が入力を受け付けた動作指示又は後述する制御装置9から入力された動作指示に応じて、撮影部21及び駆動部24の動作を制御する。また、第1制御部27は、後述する制御装置9の第2制御部94と連携して観察装置2を統括的に制御する。第1制御部27は、CPUやASIC等を用いて構成される。
〔制御装置の構成〕
次に、制御装置9の機能構成について説明する。
制御装置9は、画像処理部91と、入力部92と、記録部93と、第2制御部94と、を備える。
画像処理部91は、観察装置2から伝送された光信号の撮像信号に対して、O/E変換を行った後に、所定の画像処理を行って表示装置8が表示する表示用の表示画像(映像信号)を生成する。ここで、画像処理としては、色補正、色強調、輪郭強調及びマスク処理等の各種画像処理等が挙げられる。画像処理部91は、CPU、ASIC又はFPGA等を用いて構成される。
入力部92は、キーボード、マウス、タッチパネル等の操作者インタフェースを用いて実現され、各種情報の入力を受け付ける。
記録部93は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて構成され、医療用観察システム1が実行する各種プログラムや処理中のデータを一時的に記録する。
第2制御部94は、医療用観察システム1の各部を統括的に制御する。第2制御部94は、プログラムが記録された内部メモリ(図示略)を有するCPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるFPGAを用いて構成するようにしてもよい。なお、FPGAにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるFPGAをコンフィグレーションしてもよい。第2制御部94は、駆動制御部941と、照明制御部942と、投光制御部943と、表示制御部944と、を有する。
駆動制御部941は、支持部6の駆動を制御する。具体的には、駆動制御部941は、第1入力部26又は入力部92が受け付けた操作内容に応じて、支持部6の各アクチュエータや磁気ブレーキの駆動を制御する。
照明制御部942は、光出射部22が出射する照明光を制御する。
投光制御部943は、光投影部23が投光する光を制御する。
表示制御部944は、画像処理部91を制御することによって、表示装置8の表示態様を制御する。具体的には、表示制御部944は、観察装置2が光出射の調整中である旨の情報を表示装置8が表示画像上に重畳することで報知する。
〔顕微鏡部の位置と撮影領域との対応関係〕
次に、顕微鏡部5(撮影部21)と撮影領域との対応関係について説明する。
図4は、顕微鏡部と被観察体と位置関係を表す図である。図4の位置関係では、顕微鏡部5の上方向A1と被観察体に描かれた文字Lの上方向とが一致している。
図5は、図4の位置関係において、表示装置に表示される画像を表す図である。図5に示すように、顕微鏡部5の上方向A1と被観察体に描かれた文字Lの上方向が一致している場合、表示装置8の画面の上方向と表示装置8に表示された文字Lの上方向とが一致する。
図6は、顕微鏡部と被観察体と位置関係を表す図である。図6の位置関係では、被観察体に描かれた文字Lの上方向に対して、顕微鏡部5の上方向A2が傾いている。
図7は、図6の位置関係において、表示装置に表示される画像を表す図である。図7に示すように、被観察体に描かれた文字Lの上方向に対して、顕微鏡部5の上方向A2が傾いている場合には、傾きに応じて表示装置8の画面の上方向に対する表示装置8に表示された文字Lの上方向が傾く。
図4~図7を用いて説明したように、顕微鏡部5の上方向に応じて、表示装置8に表示される画像の上方向が定まるが、術者らがこの関係を直感的に把握することは困難である。また、従来、顕微鏡部5が撮像している撮影領域の大きさは、術者らが感覚的に認識するしかなかった。
〔光投影部の機能〕
図8は、実施形態1に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図8に示すように、光投影部23は、顕微鏡部5の撮影部21の撮影状態として、撮影領域Bを認識可能とする枠F1を被観察体に投影する。枠F1は、撮影領域Bの外部であって撮影領域Bの近傍に配置され、撮影領域Bを囲う長方形の枠である。その結果、術者らは撮影領域を直感的に認識することができる。なお、枠F1は、撮影領域Bの外部に配置されており、表示装置8に表示される画像に影響を与えないため、光投影部23が医療用観察システム1による観察を阻害することが防止されている。
実施形態1によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bを直感的に認識できる医療用観察システム1を実現することができる。
なお、光投影部23は、光を常に投影してもよいが、第1入力部26又は入力部92に対する入力等の操作者の指示に応じて、光を投影してもよい。光投影部23は、術者らが撮影領域Bを確認したいときだけ被観察体に光を投影すればよく、光を常に投影する場合に比べて消費電力を低減させることができるためである。また、光投影部23は、第1入力部26が入力を受け付けている間は光を投影してもよい。光投影部23は、第1入力部26が入力を受け付けて撮影領域Bが変更される時に光を投影するため、術者らは撮影領域Bが変更されたことを直感的に認識することができ、消費電力を低減させることができる。
また、第1入力部26に対する操作により撮影部21におけるズーム操作を行うと、図8における撮影領域Bが拡大又は縮小する。そのため、光投影部23は、撮影領域Bの大きさに応じて、被観察体に投影する光の形状又は位置を変化させてもよい。具体的には、光投影部23は、撮影領域Bの外周から枠F1までの距離が一定となるように、被観察体に投影する光の形状を変化させてもよい。ただし、光投影部23は、撮影領域Bの大きさを小さくする(撮影部21におけるズームの倍率をあげる)ほど、撮影領域Bの外周から枠F1までの距離を小さくしてもよい。
また、光投影部23は、撮影領域Bが拡大されて光が撮影領域Bの内部に位置する場合、光を撮影領域Bの外部に位置するように投影してもよい。換言すると、光投影部23は、一時的に撮影領域Bの内部に光を投影してもよい。光投影部23は、術者らが手術を行う時に撮影領域Bの外部に光を投影すればよいためである。
(変形例1)
図9は、実施形態1の変形例1に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図9に示すように、実施形態1の変形例1に係る光投影部23は、枠F2を被観察体に投影する。枠F2は、撮影領域Bの外部であって撮影領域Bの四隅の近傍に配置されているL字状の枠である。
(変形例2)
図10は、実施形態1の変形例2に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図10に示すように、実施形態1の変形例2に係る光投影部23は、枠F3を被観察体に投影する。枠F3は、撮影領域Bの外部であって撮影領域Bの四隅の近傍に配置されている点である。
(変形例3)
図11は、実施形態1の変形例3に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図11に示すように、実施形態1の変形例3に係る光投影部23は、枠F4を被観察体に投影する。枠F4は、撮影領域Bの外部であって撮影領域Bの各辺の近傍に、各辺に平行に配置されている線分である。
変形例1~変形例3によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bを直感的に認識できる医療用観察システム1を実現することができる。変形例1~変形例3のように、撮影領域Bが認識可能であれば、光投影部23が投影する光の形状は特に限定されない。
(変形例4)
図12は、実施形態1の変形例4に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図12に示すように、実施形態1の変形例4に係る光投影部23は、枠F5を投影する。枠F5は、撮影領域Bの外部であって撮影領域Bの近傍に配置され、撮影領域Bを囲う長方形の枠である。また、光投影部23は、顕微鏡部5の撮影部21の撮影状態として、撮影領域Bの上下を認識可能とするマーカM5を投影する。マーカM5は、枠F5の上側の長辺の中央近傍に投影された点である。その結果、術者らは、顕微鏡部5の上方向と撮影領域Bの上方向との対応関係を直感的に認識することができる。
なお、光投影部23は、ズーム操作によって変化する撮影領域Bの大きさに応じて、被観察体に投影する光の位置を変化させてもよい。具体的には、光投影部23は、撮影領域Bの外周からマーカM5までの距離が一定となるように、マーカM5を投影する位置を変化させてもよい。
(変形例5)
図13は、実施形態1の変形例5に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図13に示すように、実施形態1の変形例5に係る光投影部23は、枠F6を投影する。枠F6は、撮影領域Bの外部であって撮影領域Bの近傍に配置され、撮影領域Bを囲う長方形の枠である。また、光投影部23は、顕微鏡部5の撮影部21の撮影状態として、撮影領域Bの上下を認識可能とするマーカM6を投影する。マーカM6は、枠F6の下側の長辺に沿って投影された線分である。
変形例4、変形例5によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bの大きさ及び上方向を直感的に認識できる医療用観察システム1を実現することができる。変形例5、変形例6のように、撮影領域Bの上下を直感的に認識可能な態様であれば、マーカの形状は特に限定されない。
(変形例6)
図14は、実施形態1の変形例6に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図14に示すように、実施形態1の変形例6に係る光投影部23は、枠F7を投影する。枠F7は、撮影領域Bの外周を囲う長方形の1つの頂角を直線状に切り欠いた五角形であり、2つの長辺のうち頂角が切欠かれている側が顕微鏡部5の上方向に対応する。
(変形例7)
図15は、実施形態1の変形例7に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図15に示すように、実施形態1の変形例7に係る光投影部23は、枠F8を投影する。枠F8は、撮影領域Bの外周を囲い図の上方が狭まっている等脚台形の枠であり、上方が顕微鏡部5の上方向に対応する。
変形例6、変形例7によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bの大きさ及び上方向を直感的に認識できる医療用観察システム1を実現することができる。変形例6、変形例7のように、枠の形状を顕微鏡部5の上方向と下方向とで異ならせることにより、顕微鏡部5の上方向を直感的に認識可能としてもよい。
(変形例8)
図16は、実施形態1の変形例8に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図16に示すように、実施形態1の変形例8に係る光投影部23は、マーカM9を投影する。マーカM9は、撮影領域Bの外部における上側であって、撮影領域Bの近傍に配置されている顕微鏡部5の上方向を向く矢印である。
(変形例9)
図17は、実施形態1の変形例9に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図17に示すように、実施形態1の変形例9に係る光投影部23は、マーカM10を投影する。マーカM10は、撮影領域Bの外部であって撮影領域Bの四隅の1つの近傍に配置されたL字状のマークである。
変形例8、変形例9によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bの概略的な位置及び上方向を直感的に認識できる医療用観察システム1を実現することができる。変形例8、変形例9のように、1つのマーカによって、顕微鏡部5の上方向のみを認識可能とする構成であってもよい。
(変形例10)
図18は、実施形態1の変形例10に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図18に示すように、実施形態1の変形例10に係る光投影部23は、マーカM111及びマーカM112を投影する。以下において、撮影領域Bの中心を原点O、撮影領域Bの長辺に平行であり原点Oを通る直線をx軸、撮影領域Bの短辺に平行であり原点Oを通る直線をy軸とする。マーカM111及びマーカM112は、互いに色が異なり、撮影領域Bの外部であって撮影領域Bの四隅のうち2つの隅の近傍であって、原点Oに対して対角に位置する点である。なお、図18以降の各図では、色の違いをハッチングパターンの違いにより表している。また、マーカは、色が異なる代わりに、大きさや形状、模様、点滅のパターン等が異なる態様としてもよい。
(変形例11)
図19は、実施形態1の変形例11に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図19に示すように、実施形態1の変形例11に係る光投影部23は、マーカM121及びマーカM122を投影する。マーカM121及びマーカM122は、互いに色が異なり、撮影領域Bの外部であって撮影領域Bの長辺の中央近傍であって、原点Oに対して対向するようにy軸上に位置する点である。
(変形例12)
図20は、実施形態1の変形例12に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図20に示すように、実施形態1の変形例12に係る光投影部23は、マーカM131及びマーカM132を投影する。マーカM131及びマーカM132は、互いに色が異なり、撮影領域Bの外部であって撮影領域Bの短辺の中央近傍であって、原点Oに対して対向するようにx軸上に位置する点である。
変形例10~変形例12によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bの大きさ及び上方向を直感的に認識できる医療用観察システム1を実現することができる。変形例10~変形例12のように、互いに色が異なるマーカを、原点Oに対して点対称な配置することにより、顕微鏡部5の上方向と撮影領域Bの概略的な大きさとを認識可能としてもよい。これらの構成では、マーカの形状が点であり、複雑な形状とする必要がないため、光投影部23を簡易な構成で実現することができる。
(変形例13)
図21は、実施形態1の変形例13に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図21に示すように、実施形態1の変形例13に係る光投影部23は、マーカM141及びマーカM142を投影する。マーカM141及びマーカM142は、互いに同色であるが形状が異なり、撮影領域Bの外部における長辺の中央近傍であって、原点Oに対して対向するようにy軸上に位置する点及び線分である。
(変形例14)
図22は、実施形態1の変形例14に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図22に示すように、実施形態1の変形例14に係る光投影部23は、マーカM151及びマーカM152を投影する。マーカM151及びマーカM152は、互いに同色であるが形状が異なり、撮影領域Bの外部であって撮影領域Bの四隅のうち2つの隅の近傍であって、原点Oに対して対角に位置する点及びL字状のマークである。
(変形例15)
図23は、実施形態1の変形例15に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図23に示すように、実施形態1の変形例15に係る光投影部23は、マーカM161及びマーカM162を投影する。マーカM161及びマーカM162は、互いに同色であるが形状が異なり、撮影領域Bの外部における長辺の中央近傍であって、原点Oに対して対向するようにy軸上に位置する点及び線分である。マーカM162は、中央がy軸上に位置し、撮影領域Bの幅よりわずかに長い。その結果、操作者は、撮影領域Bの概略的な幅を直感的に認識することができる。
(変形例16)
図24は、実施形態1の変形例16に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図24に示すように、実施形態1の変形例16に係る光投影部23は、マーカM171及びマーカM172を投影する。マーカM171及びマーカM172は、互いに同色であるが形状が異なり、撮影領域Bの外部に原点Oに対してx軸を中心に対向するように位置する点及び線分である。マーカM172は、中央がy軸上に位置し、撮影領域Bの幅よりわずかに長い。その結果、操作者は、撮影領域Bの概略的な幅を直感的に認識することができる。
変形例13~変形例16によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bの大きさ及び上方向を直感的に認識できる医療用観察システム1を実現することができる。変形例13~変形例16のように、互いに形状が異なるマーカを配置することにより、顕微鏡部5の上方向と撮影領域Bの概略的な大きさとを認識可能としてもよい。
(変形例17)
図25は、実施形態1の変形例17に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図25に示すように、実施形態1の変形例17に係る光投影部23は、マーカM18を投影する。マーカM18は、撮影領域Bの外部であって撮影領域Bの四隅のうち3つの隅の近傍に配置された同色の点である。
変形例17によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bの大きさ及び上方向を直感的に認識できる医療用観察システム1を実現することができる。変形例17のように、同色の3つのマーカにより、顕微鏡部5の上方向と撮影領域Bの概略的な大きさとを認識可能としてもよい。
(変形例18)
図26は、実施形態1の変形例18に係る光投影部が光を投影することにより被観察体に映し出されるパターンを表す図である。図26に示すように、実施形態1の変形例18に係る光投影部23は、マーカM191及びマーカM192を投影する。マーカM191は、撮影領域Bの外部であって撮影領域Bの四隅のうち下方の2つの隅の近傍に配置された点である。マーカM192は、撮影領域Bの外部における上方の長辺の中央近傍に配置された、マーカM191とは色が異なる点である。
変形例18によれば、光投影部23が光を投影することにより被観察体に映し出されたパターンを見ることによって、操作者が撮影領域Bの大きさ及び上方向を直感的に認識できる医療用観察システム1を実現することができる。変形例18のように、色が異なる3つのマーカにより、顕微鏡部5の上方向と撮影領域Bの概略的な大きさとを認識可能としてもよい。
変形例17、変形例18では、マーカの形状が点であり、複雑な形状とする必要がないため、光投影部23を簡易な構成で実現することができる。
(変形例19)
図27は、顕微鏡部と被観察体との位置関係を表す図である。図27に示す方向Cは鉛直下方向であり、方向A11が顕微鏡部5の撮影部21の上方向である。変形例19において、第1検知部25は、撮影部21の上方向と鉛直下方向Cとのなす角を検知する。
図28は、図27の位置関係において、表示装置に表示される画像を表す図である。画像処理部91は、図28に示すように、撮影部21が撮影した画像に鉛直下方向Cを示す指標I1を重畳した画像を生成する。その結果、術者らは、表示装置8の画面を見ることにより、撮影部21の方向を認識することができる。このように、表示装置8側に顕微鏡部5の撮影部21の撮影状態を認識可能とする情報を表示してもよい。
なお、画像処理部91は、鉛直下方向Cと方向A11とのなす角が閾値を越えた場合に、撮影部21が撮影した画像に鉛直下方向Cを示す指標I1を重畳した画像を生成してもよい。
また、画像処理部91は、常に指標I1を重畳した画像を生成してもよいが、操作者の指示に応じて、撮影部21が撮影した画像に鉛直下方向Cを示す指標I1を重畳した画像を生成してもよい。具体的には、画像処理部91は、第1入力部26又は入力部92に対する入力等の操作者の指示に応じて、指標I1を重畳した画像を生成してもよい。また、画像処理部91は、第1入力部26のアーム操作スイッチ26aが入力を受け付けている間は撮影部21が撮影した画像に鉛直下方向Cを示す指標I1を重畳した画像を生成してもよい。
(変形例20)
図29は、顕微鏡部と被観察体との位置関係を表す図である。駆動制御部941は、図29に示すように、撮影部21の上方向を鉛直下方向Cと反対の方向にする。具体的には、駆動制御部941は、顕微鏡部5の撮影部21が鉛直下方向Cの反対方向とは異なる方向A21を向いている場合に、撮影部21の上方向を鉛直下方向Cの反対方向である方向A22にする。具体的には、駆動制御部941は、支持部6の各アクチュエータを駆動制御し、撮影部21の上方向が方向A22になるように顕微鏡部5を回動する。
図30は、図29の位置関係において、表示装置に表示される画像を表す図である。図30に示すように、駆動制御部941が、撮影部21の上方向を方向A21から方向A22に回転させると、表示装置8の下方と鉛直下方向Cに対応する指標I2の方向とが一致する。その結果、操作者は、撮影部21の撮像方向を容易に水平方向にすることができる。
なお、駆動制御部941は、鉛直下方向Cと方向A21とのなす角が閾値を越えた場合に、撮影部21の方向を鉛直下方向Cと反対の方向にしてもよい。
また、駆動制御部941は、操作者の指示に応じて、撮影部21の上方向を鉛直下方向Cと反対の方向にしてもよい。具体的には、駆動制御部941は、第1入力部26又は入力部92に対する入力等の操作者の指示に応じて、撮影部21の上方向を鉛直下方向Cと反対の方向にしてもよい。
(実施形態2)
図31は、実施形態2に係る医療用観察システムの機能構成を示すブロック図である。図31に示すように、医療用観察システム1Aにおいて、観察装置2Aは、撮影部21、制御装置9、表示装置8、術者、又は助手のうち、少なくともいずれか1つの位置を検知する第2検知部28Aを備える。
図32は、被観察体、撮影部、制御装置、表示装置、術者、及び助手の位置関係を表す図である。被観察体H、撮影部21を有する顕微鏡部5、制御装置9、表示装置8、術者W1、及び助手W2が図32のような位置関係であるとする。撮影部21の上方向は、図32の方向A2である。
図33は、図32の位置関係において、表示装置に表示される画像を表す図である。図33に示すように、制御装置9は、撮影部21が撮影した画像に第2検知部28Aが検知した位置を示す指標I11~I14を重畳した画像を生成する。指標I11は制御装置9の位置、指標I12は表示装置8の位置、指標I13は術者の位置、指標I14は助手の位置をそれぞれ表している。これらの指標I11~I14を表示装置8に表示させることにより、術者らは、表示装置8の画面を見ることにより、撮影部21の方向を認識することができる。このように、表示装置8側に顕微鏡部5の撮影部21の撮影状態を認識可能とする情報を表示してもよい。
なお、制御装置9は、撮影部21が撮影した画像に第2検知部28Aが検知した方向を示す指標を例えば矢印等で重畳した画像を生成してもよい。
また、制御装置9は、鉛直下方向Cと撮影部21の上方向とのなす角が閾値を越えた場合に、撮影部21が撮影した画像に検知した位置又は方向を示す指標I11~14を重畳した画像を生成してもよい。
また、制御装置9は、操作者の指示に応じて、撮影部21が撮影した画像に第2検知部28Aが検知した位置又は方向を示す指標I11~14を重畳した画像を生成してもよい。具体的には、制御装置9は、第1入力部26又は入力部92に対する入力等の操作者の指示に応じて、撮影部21が撮影した画像に第2検知部28Aが検知した位置又は方向を示す指標I11~14を重畳した画像を生成してもよい。
また、制御装置9は、第1入力部26のアーム操作スイッチ26aが入力を受け付けている間は撮影部21が撮影した画像に第2検知部28Aが検知した位置又は方向を示す指標I11~14を重畳した画像を生成してもよい。
(実施形態3)
図34は、実施形態3に係る医療用観察システムの機能構成を示すブロック図である。図34に示すように、医療用観察システム1Bにおいて、観察装置2Bの顕微鏡部5Bは、撮影部21の撮影方向に向けて第1照明光を出射する光出射部22Bを備えるが、実施形態1と異なり、光投影部を有しない。また、医療用観察システム1Bにおいて、制御装置9Bの第2制御部94Bは、投光制御部を有しない。
光出射部22Bは、撮影部21が撮影する撮影領域Bの外部であって、撮影領域Bの近傍に撮影部21の撮影状態を認識可能とする第2照明光を被観察体に照射する。具体的には、光出射部22Bは、撮影領域Bの上下を認識可能とする第2照明光を被観察体に出射する。
図35は、実施形態3に係る光出射部が光を出射することにより被観察体に映し出されるパターンを表す図である。図35に示すように、光出射部22Bは、被観察体の撮影領域Bに対して第1照明光を照射し、第1照明光の外側にスポット状の第2照明光を出射する。第2照明光は、撮影部21の上方向に対応するので、術者らは撮影領域Bの上方向を直感的に認識することができる。なお、図8等の各図においても、被観察体には光出射部から照明光(第1照明光)が照射されているが、図35以外の図においては、照明光の記載を省略した。
このように、光出射部22Bの出射部にレンズ等を配置することにより、第1照明光とは異なる第2照明光を発生させて撮影領域Bの上方向を認識可能としてもよい。この構成では、光投影部を設けなくてよいため、実施形態1より構成を簡単にすることができる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本開示のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な開示の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
1、1A、1B 医療用観察システム
2、2A、2B 観察装置
3 光源装置
4 ライトガイド
5、5B 顕微鏡部
6 支持部
7 ベース部
8 表示装置
9、9B 制御装置
10 伝送ケーブル
21 撮影部
22、22B 光出射部
23 光投影部
24 駆動部
25 第1検知部
25a~25f 第1角度センサ部~第6角度センサ部
26 第1入力部
26a アーム操作スイッチ
27 第1制御部
28A 第2検知部
61~66 第1関節部~第6関節部
71~75 第1アーム部~第5アーム部
91 画像処理部
93 記録部
92 入力部
94、94B 第2制御部
941 駆動制御部
942 照明制御部
943 投光制御部
944 表示制御部

Claims (20)

  1. 被観察体を撮影する撮影部と、
    前記撮影部が撮影する撮像視野である撮影領域の外部であって、前記撮影領域の近傍に前記撮影部の撮影状態を認識可能とする光を前記被観察体に投影する光投影部と、
    を備え
    前記光投影部は、前記撮影領域の上下を認識可能とするマーカを投影する医療用観察システム。
  2. 前記光投影部は、前記撮影領域を認識可能とするパターンを投影する請求項1に記載の医療用観察システム。
  3. 前記光投影部は、前記パターンとして、前記撮影領域の大きさを認識可能とする枠を投影する請求項2に記載の医療用観察システム。
  4. 操作者の操作を受け付ける入力部を備え、
    前記光投影部は、前記入力部が受け付けた前記操作者の指示に応じて、前記光を投影する請求項1~3のいずれか1つに記載の医療用観察システム。
  5. 前記撮影部を移動させて前記撮影領域を移動させる操作の入力を受け付ける第1入力部を備え、
    前記光投影部は、前記第1入力部が前記入力を受け付けている間は前記光を投影する請求項1~4のいずれか1つに記載の医療用観察システム。
  6. 前記撮影領域を拡大及び縮小させる操作の入力を受け付ける第1入力部を備え、
    前記光投影部は、前記撮影領域の大きさに応じて、前記光の形状又は位置を変化させる請求項1~4のいずれか1つに記載の医療用観察システム。
  7. 前記撮影領域を拡大及び縮小させる操作の入力を受け付ける第1入力部を備え、
    前記光投影部は、前記撮影領域が拡大されて前記光が前記撮影領域の内部に位置する場合、前記光を前記撮影領域の外部に位置するように投影する請求項1~4のいずれか1つに記載の医療用観察システム。
  8. 前記撮影部が撮影する画像の上方向に対応する前記撮影部の上方向と鉛直下方向とのなす角を検知する第1検知部と、
    前記なす角に応じて、前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する画像処理部と、
    を備える請求項1~7のいずれか1つに記載の医療用観察システム。
  9. 前記画像処理部は、前記なす角が閾値を越えた場合に、前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する請求項8に記載の医療用観察システム。
  10. 操作者の操作を受け付ける入力部を備え、
    前記画像処理部は、前記入力部が受け付けた前記操作者の指示に応じて、前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する請求項8に記載の医療用観察システム。
  11. 前記撮影部を移動させて前記撮影領域を移動させる操作の入力を受け付ける第1入力部を備え、
    前記画像処理部は、前記第1入力部が前記入力を受け付けている間は前記撮影部が撮影した画像に前記鉛直下方向を示す指標を重畳した画像を生成する請求項8に記載の医療用観察システム。
  12. 前記撮影部を支持する支持部と、
    前記支持部を駆動制御して前記撮影部の上方向を制御する駆動制御部を備え、
    前記駆動制御部は、前記撮影部の上方向を前記鉛直下方向と反対の方向にする請求項8に記載の医療用観察システム。
  13. 前記駆動制御部は、前記なす角が閾値を越えた場合に、前記撮影部の上方向を前記鉛直下方向と反対の方向にする請求項12に記載の医療用観察システム。
  14. 操作者の操作を受け付ける入力部を備え、
    前記駆動制御部は、前記入力部が受け付けた前記操作者の指示に応じて、前記撮影部の上方向を前記鉛直下方向と反対の方向にする請求項12に記載の医療用観察システム。
  15. 前記撮影部を制御するとともに、前記撮影部が撮影した画像に画像処理を施す制御装置と、
    前記制御装置が生成した画像を表示する表示装置と、
    前記撮影部、前記制御装置、前記表示装置、術者、又は助手のうち、少なくともいずれか1つの位置を検知する第2検知部と、を備え、
    前記制御装置は、前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する請求項1~14のいずれか1つに記載の医療用観察システム。
  16. 前記撮影部が撮影する画像の上方向に対応する前記撮影部の上方向と鉛直下方向とのなす角を検知する第1検知部を備え、
    前記なす角が閾値を越えた場合に、前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する請求項15に記載の医療用観察システム。
  17. 操作者の操作を受け付ける入力部を備え、
    前記制御装置は、前記入力部が受け付けた前記操作者の指示に応じて、前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する請求項15に記載の医療用観察システム。
  18. 前記撮影部を移動させて前記撮影領域を移動させる操作の入力を受け付ける第1入力部を備え、
    前記制御装置は、前記第1入力部が前記入力を受け付けている間は前記撮影部が撮影した画像に前記第2検知部が検知した位置又は方向を示す指標を重畳した画像を生成する請求項15に記載の医療用観察システム。
  19. 被観察体を撮影する撮影部と、
    前記撮影部の撮影方向に向けて第1照明光を出射する光出射部と、を備え、
    前記光出射部は、前記撮影部が撮影する撮像視野である撮影領域の外部であって、前記撮影領域の近傍に前記撮影部の撮影状態を認識可能とする第2照明光を前記被観察体に照射し、
    前記光出射部は、前記撮影領域の上下を認識可能とする前記第2照明光を出射する医療用観察システム。
  20. 被観察体を撮影する撮影部と、
    前記撮影部が撮影する撮影領域の外部であって、前記撮影領域の近傍に前記撮影部の撮影状態を認識可能とする光を前記被観察体に投影する光投影部と、
    前記撮影領域に対応する画像を表示する表示装置と、
    を備え
    前記光投影部は、前記撮影領域の上下を認識可能とするマーカを投影する医療用観察システム。
JP2018057220A 2018-03-23 2018-03-23 医療用観察システム Active JP7143099B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018057220A JP7143099B2 (ja) 2018-03-23 2018-03-23 医療用観察システム
US16/282,345 US11439477B2 (en) 2018-03-23 2019-02-22 Medical observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018057220A JP7143099B2 (ja) 2018-03-23 2018-03-23 医療用観察システム

Publications (2)

Publication Number Publication Date
JP2019166156A JP2019166156A (ja) 2019-10-03
JP7143099B2 true JP7143099B2 (ja) 2022-09-28

Family

ID=67983933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018057220A Active JP7143099B2 (ja) 2018-03-23 2018-03-23 医療用観察システム

Country Status (2)

Country Link
US (1) US11439477B2 (ja)
JP (1) JP7143099B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021199979A1 (ja) * 2020-03-30 2021-10-07
EP4205691A4 (en) * 2020-10-15 2024-02-21 Sony Olympus Medical Solutions Inc. MEDICAL IMAGE PROCESSING DEVICE AND MEDICAL OBSERVATION SYSTEM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198578A1 (ja) 2014-06-25 2015-12-30 パナソニックIpマネジメント株式会社 投影システム
JP2017037238A (ja) 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4488264B2 (ja) 2000-04-20 2010-06-23 オリンパス株式会社 手術用顕微鏡
JP3939328B2 (ja) 2005-02-16 2007-07-04 オリンパス株式会社 手術用顕微鏡
US10258425B2 (en) * 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US8477416B2 (en) * 2007-12-11 2013-07-02 Mitaka Kohki Co., Ltd. Stereomicroscope
JP5370398B2 (ja) * 2011-03-15 2013-12-18 オムロン株式会社 画像処理装置および画像処理プログラム
CN110268299A (zh) * 2016-11-12 2019-09-20 凯利博成像和诊断公司 带有可定位成像头的共焦显微镜

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198578A1 (ja) 2014-06-25 2015-12-30 パナソニックIpマネジメント株式会社 投影システム
JP2017037238A (ja) 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム

Also Published As

Publication number Publication date
US20190290384A1 (en) 2019-09-26
JP2019166156A (ja) 2019-10-03
US11439477B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
US11278369B2 (en) Control device, control method, and surgical system
US11510751B2 (en) Medical observation apparatus
US11422346B2 (en) Medical observation device, image movement correcting method, and medical observation system
JP7143099B2 (ja) 医療用観察システム
WO2018100828A1 (ja) 顕微鏡装置及び制御方法
US20210398304A1 (en) Medical observation system configured to generate three-dimensional information and to calculate an estimated region and a corresponding method
US20190290102A1 (en) Medical observation apparatus
JP7146735B2 (ja) 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム
JP5389483B2 (ja) 観察装置
US20190281233A1 (en) Image processing device, setting method, and program
US11606505B2 (en) Medical observation apparatus and medical observation system
JP2012120812A (ja) 歯科治療におけるビデオカメラによる治療支援システム
JP2020151406A (ja) 医療用保持装置及び医療用観察システム
JP7422563B2 (ja) 医療用投影装置および医療用観察システム
WO2018168578A1 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JP6247933B2 (ja) 拡大観察装置
JP2017037238A (ja) 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
CN109937567B (zh) 图像处理装置和方法以及非暂态计算机可读介质
US11336838B2 (en) Image processing apparatus and medical observation system
JPWO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220914

R151 Written notification of patent or utility model registration

Ref document number: 7143099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151