JPWO2017169650A1 - 医療用観察装置、映像移動補正方法及び医療用観察システム - Google Patents

医療用観察装置、映像移動補正方法及び医療用観察システム Download PDF

Info

Publication number
JPWO2017169650A1
JPWO2017169650A1 JP2018508927A JP2018508927A JPWO2017169650A1 JP WO2017169650 A1 JPWO2017169650 A1 JP WO2017169650A1 JP 2018508927 A JP2018508927 A JP 2018508927A JP 2018508927 A JP2018508927 A JP 2018508927A JP WO2017169650 A1 JPWO2017169650 A1 JP WO2017169650A1
Authority
JP
Japan
Prior art keywords
unit
video
video data
movement
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018508927A
Other languages
English (en)
Inventor
飯田 健一
健一 飯田
憲志 廣瀬
憲志 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of JPWO2017169650A1 publication Critical patent/JPWO2017169650A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)

Abstract

手術や検査等の医療行為の安全性をより高めることを可能にすることを課題として、観察対象を撮影した映像データである撮像映像データを取得する撮像部(310)と、前記撮像部(310)を支持する支持部と、前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別する判別部(342)と、前記判別部(342)によって、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部(343)と、を備える、医療用観察装置を提供する。

Description

本開示は、医療用観察装置、映像移動補正方法及び医療用観察システムに関する。
例えば脳神経外科等の微細な領域が対象となる外科手術(いわゆるマイクロサージェリー)において、術部を拡大観察するための観察装置が用いられている。観察装置は、アーム部(支持部)によって顕微鏡部が支持されて構成される(例えば、特許文献1)。
ここで、特許文献1に記載の観察装置の顕微鏡部は光学式のものであり、術者は、顕微鏡部に設けられる接眼部から直接当該顕微鏡部を覗き込んで術部を観察する。以下、光学式の顕微鏡部を備える観察装置のことを、光学式の観察装置ともいう。これまで、観察装置としては、このような光学式の観察装置が主流であった。
一方、近年、画像処理技術が進歩したことや、撮像画像の高画素化が実現したことにより、観察装置においては、撮像素子を備え、術部を電子的に撮影することが可能な、電子撮像式の顕微鏡部を備えるものが開発されている(例えば、特許文献2)。電子撮像式の顕微鏡部を備える観察装置(以下、電子撮像式の観察装置ともいう)では、顕微鏡部によって撮影された術部の映像が手術室内に設置される表示装置に映し出され、術者は、当該表示装置を介して術部を拡大観察しながら手術を行う。
特開2005−6960号公報 国際公開第2015/046081号
電子撮像式の観察装置では、上記のように、術者が表示装置を見ながら手術を行うため、その顕微鏡部及び支持部には、当該表示装置を観察する術者の視界をできるだけ遮らないことが求められる。従って、電子撮像式の観察装置の顕微鏡部及び支持部には、小型化に対する要請が大きい。
しかしながら、支持部を小型化、細径化すると、その剛性が小さくなり、当該支持部が弾性変形しやすくなってしまう。ここで、観察装置では、ユーザが、所望の視野が得られる位置まで顕微鏡部を移動させる際に、当該ユーザが顕微鏡部を手で直接把持して当該顕微鏡部を移動させる様態が想定される。この際、支持部の剛性が比較的小さいと、ユーザによる顕微鏡部の移動操作に伴い、支持部が比較的大きく弾性変形することとなる。従って、ユーザが顕微鏡部を所望の位置まで移動させ、手を離した際に、支持部が弾性復元することにより顕微鏡部が意図せず移動してしまい、視野が移動してしまう現象が生じ得る。以下の説明では、このような、支持部の弾性復元に起因する顕微鏡部の移動により、表示画面上の映像における視野が移動し、当該表示画面上の映像が所望の映像からずれてしまう現象のことを、映像ずれと呼称することとする。
映像ずれが生じると、顕微鏡部の位置の微調整を行う必要がある。このため、映像ずれは、ユーザの精神的、物理的な負担を増加させるとともに、手術の円滑な実行を妨げ、手術時間の増大を引き起こす原因となっていた。
一方、近年の画像処理技術の進歩により、電子撮像式の観察装置においては、例えば4K、8K等のより高解像度な映像を撮影可能になりつつある。高解像度での撮影が可能になると、例えば50インチ以上のより大画面の表示装置を用いた場合であっても、術部を鮮明に映し出すことができる。また、高解像度での撮影が可能になると、電子ズーム機能によって映像を拡大して表示させた場合であっても、鮮明な映像を得ることができる。例えば、4Kであれば2倍、8Kであれば4倍に電子ズーム機能によって映像を拡大した場合であっても、Full HD画質が確保され得る。従って、光学ズーム機能にそこまでの拡大性能が求められないため、顕微鏡部に搭載される光学系をより簡易にすることができる。このように、高解像度な撮影が可能な電子撮像式の観察装置においては、その顕微鏡部をより小型化することができるため、術者の視野の確保に寄与し得る。
しかしながら、大画面に映像が映し出される場合には、上記の映像ずれにおけるずれ量の見た目の大きさ(画面上でのずれ量の大きさ)は、小型の表示装置を用いた場合に比べてより大きなものとなる。また、光学ズーム機能に加えて電子ズーム機能によって映像を更に拡大して表示している場合にも、上記の映像ずれにおけるずれ量はより大きなものとなる。このように、電子撮像式の観察装置において、特に高解像度での撮影を行う場合には、顕微鏡部の僅かな移動が大きな映像ずれとなってしまうことが懸念される。
一方、観察装置においては、例えば手術室内を移動する医療スタッフの歩行等により、顕微鏡部が振動してしまう場合がある。このような振動は、拡大観察における意図しない映像の揺れ(映像揺れ)を引き起こすため、この揺れが収まるまで作業を行えないこととなり、術者の精神的な負担を増加させるとともに、手術の効率を低下させる原因となっていた。
上記事情に鑑みれば、医療用観察装置においては、映像ずれ及び/又は映像揺れ(以下、意図しない映像移動と総称する)の発生を抑制することができれば、手術や検査等の医療行為をより円滑に行うことができ、より安全性を高めることが可能になると考えられる。そこで、本開示では、手術や検査等の医療行為の安全性をより高めることが可能な、新規かつ改良された医療用観察装置、映像移動補正方法及び医療用観察システムを提案する。
本開示によれば、観察対象を撮影した映像データである撮像映像データを取得する撮像部と、前記撮像部を支持する支持部と、前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別する判別部と、前記判別部によって、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、を備える、医療用観察装置が提供される。
また、本開示によれば、観察対象を撮影した映像データである撮像映像データを取り込むことと、プロセッサが、前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別することと、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、を含む、映像移動補正方法が提供される。
また、本開示によれば、観察対象を撮影する医療用観察装置と、前記医療用観察装置によって撮影された前記観察対象の映像を表示する表示装置と、を備え、前記医療用観察装置は、観察対象を撮影した映像データである撮像映像データを取得する撮像部と、前記撮像部を支持する支持部と、前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別する判別部と、前記判別部によって、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、を有する、医療用観察システムが提供される。
本開示によれば、支持部によって支持された撮像部を有する医療用観察装置において、視野移動指示の入力がなく(すなわち、ユーザによる意図的な視野の移動が行われておらず)、かつ映像移動が発生している場合に、当該映像移動を補正する処理が実行される。従って、例えば支持部が比較的細く、その剛性が小さい場合であっても、ユーザが意図しない映像移動が抑制された、より安定的な映像を得ることが可能になる。よって、手術をより円滑に、より安全に行うことが可能になる。
以上説明したように本開示によれば、手術や検査等の医療行為の安全性をより高めることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
第1の実施形態に係る観察システムの構成を示す図である。 図1に示す観察システムを用いた手術の様子を示す図である。 第1の実施形態に係る映像移動補正システムの機能構成の一例を示すブロック図である。 画像処理部による映像移動が補正された表示映像データの生成処理について説明するための図である。 第1の実施形態に係る映像移動補正方法の処理手順の一例を示すフロー図である。 第2の実施形態に係る映像移動補正システムの機能構成の一例を示すブロック図である。 第2の実施形態に係る映像移動補正方法の処理手順の一例を示すフロー図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.観察システムの構成
1−2.映像移動補正システムの機能構成
1−3.映像移動補正方法
2.第2の実施形態
2−1.映像移動補正システムの機能構成
2−2.映像移動補正方法
3.補足
なお、以下の説明では、後述する観察システム及び映像移動補正システムを用いるユーザ、並びに後述する観察装置を操作するユーザのことを、便宜的に術者と記載することとする。ただし、この記載は、観察システム及び映像移動補正システムを用いるユーザ、並びに観察装置を操作するユーザを限定するものではなく、これらのシステムを用いる主体、及び観察装置を操作する主体は、助手や看護師等、他の医療スタッフであってもよい。
(1.第1の実施形態)
(1−1.観察システムの構成)
図1を参照して、本開示の第1の実施形態に係る観察システムの構成について説明するとともに、当該観察システムを構成する観察装置の構成について説明する。図1は、第1の実施形態に係る観察システムの構成を示す図である。
図1を参照すると、第1の実施形態に係る観察システム1は、顕微鏡部110を備え、当該顕微鏡部110によって患者の術部を撮影する観察装置10と、観察装置10によって撮影された術部の映像を表示する表示装置20と、から構成される。観察システム1は、手術又は検査等の医療行為を行う際に、患者の身体の一部である観察対象部位(手術対象部位(術部)又は検査対象部位)を観察するための医療用観察システムである。手術時又は検査時には、術者は、観察装置10によって撮影され表示装置20に表示された映像を参照しながら、対象部位を観察し、必要に応じて当該対象部位に対して各種の処置を行う。以下では、一例として、観察システム1を用いて手術を行う場合について説明することとし、その観察対象部位のことを術部とも呼称することとする。
(表示装置)
表示装置20は、後述する制御装置140からの制御により、観察装置10によって撮影された患者の術部の映像を表示する。表示装置20は、例えば手術室の壁面等、手術室内において術者によって視認され得る場所に設置される。表示装置20の種類は特に限定されず、表示装置20としては、例えばCRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、EL(Electro−Luminescence)ディスプレイ装置等、各種の公知の表示装置が用いられてよい。また、表示装置20は、必ずしも手術室内に設置されなくてもよく、ヘッドマウントディスプレイ(HMD:Head Mounted Display)や眼鏡型のウェアラブルデバイスのように、術者が身に付けて使用するデバイスに搭載されてもよい。
なお、後述するように、例えば観察装置10の顕微鏡部110の撮像部111がステレオカメラとして構成される場合、又は高解像度の撮影が可能に構成される場合には、それに対応して、3D表示可能な、又は高解像度での表示が可能な表示装置20が用いられ得る。
(観察装置)
観察装置10は、患者の術部を拡大観察するための顕微鏡部110と、顕微鏡部110を保持する支持部120(アーム部120)と、支持部120の一端が接続され顕微鏡部110及び支持部120を支持するベース部130と、観察装置10及び観察システム1の動作を制御する制御装置140と、を備える。
(ベース部)
ベース部130は、顕微鏡部110及び支持部120を支持する。ベース部130は板状の形状を有する架台131と、架台131の下面に設けられる複数のキャスター132と、を有する。架台131の上面に支持部120の一端が接続され、架台131から延伸される支持部120の他端(先端)に顕微鏡部110が接続される。また、観察装置10は、キャスター132を介して床面と接地し、当該キャスター132によって床面上を移動可能に構成されている。
なお、以下の説明では、観察装置10が設置される床面に対して鉛直な方向をz軸方向と定義する。z軸方向のことを上下方向又は垂直方向とも呼称する。また、z軸方向と互いに直交する2方向を、それぞれ、x軸方向及びy軸方向と定義する。x−y平面と平行な方向のことを水平方向とも呼称する。
(顕微鏡部)
顕微鏡部110は、患者の術部を拡大観察するための顕微鏡鏡体によって構成される。図示する例では、顕微鏡部110の光軸方向は、z軸方向と略一致している。顕微鏡部110は、電子撮像式の顕微鏡部に対応する構成を有しており、略円筒形状を有する筒状部112と、筒状部112内に設けられる撮像部111と、から構成される。撮像部111は、対物レンズ、ズームレンズ及びフォーカスレンズ等のレンズやミラー等の光学素子からなる光学系と、当該光学系を通過した光により観察対象である術部の像を撮影する撮像素子と、から構成される。
筒状部112の下端の開口面には、撮像部111を保護するためのカバーガラスが設けられる。筒状部112の内部には、光源も設けられており、撮影時には、当該光源からカバーガラス越しに被写体に対して照明光が照射される。当該照明光の被写体からの反射光(観察光)が、カバーガラスを介して撮像部111に入射することにより、当該撮像部111によって被写体の映像に係る信号(映像信号)が取得される。
撮像部111としては、各種の公知の電子撮像式の顕微鏡部に用いられている構成が適用されてよいため、ここではその詳細な説明は省略する。例えば、撮像部111の撮像素子としては、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal−Oxide−Semiconductor)センサ等の各種の公知の撮像素子が適用されてよい。また、撮像部111は、3D表示に対応して、1対の撮像素子を備えた、いわゆるステレオカメラとして構成されてもよい。また、撮像部111の光学系についても、各種の公知の構成が適用され得る。更に、撮像部111には、AF(Auto Focus)機能や光学ズーム機能等の、一般的に電子撮像式の顕微鏡部に備えられる各種の機能が搭載され得る。
なお、第1の実施形態では、撮像部111は、例えば4K、8K等の、高解像度での撮影が可能に構成されることが好ましい。撮像部111が高解像度での撮影が可能に構成されることにより、所定の解像度を確保しつつ、例えば50インチ以上の大画面の表示装置20に映像を表示させることが可能になるため、術者の視認性が向上する。また、撮像部111が高解像度での撮影が可能に構成されることにより、電子ズーム機能によって適宜拡大して映像を表示しても、所定の解像度を確保することが可能になる。例えば、4Kであれば2倍、8Kであれば4倍、16Kであれば8倍に電子ズーム機能によって映像を拡大した場合であっても、Full HD画質が確保され得る。これにより、顕微鏡部110にそこまでの光学ズーム機能が求められなくなり、顕微鏡部110の光学系をより簡易にすることが可能となるため、顕微鏡部110をより小型に構成することが可能になる。後述するように、術者の視界を確保するためには、顕微鏡部110はより小型であることが好ましいが、撮像部111を高解像度での撮影を可能に構成することにより、このような顕微鏡部110をより小型にできる効果も奏することができる。なお、具体的には、第1の実施形態では、後述する制御装置140による画像処理において、電子ズーム機能における倍率が、1倍(×1)、1.5倍(×1.5)、2倍(×2)、4倍(×4)及び8倍(×8)のいずれかに調整され得る。これに対応して、撮像部111は、例えば電子ズーム機能における倍率が2倍以上の場合であっても所定の解像度(例えばFull HD画質)が維持され得るような解像度での撮影が可能なように構成され得る。
顕微鏡部110によって取得された映像信号、すなわち映像データは制御装置140に送信され、当該制御装置140において、当該映像データに対して、例えばガンマ補正処理、ホワイトバランスの調整処理、電子ズーム機能に係る拡大処理(例えば、倍率が1倍(×1)、1.5倍(×1.5)、2倍(×2)、4倍(×4)又は8倍(×8))、及び画素間補正処理等、各種の画像処理が行われる。当該画像処理では、表示装置20に映像を表示するために一般的に行われる各種の画像処理が行われてよい。また、当該画像処理におけるホワイトバランス、電子ズームの倍率等の各種の設定は、術者によって適宜設定されてよい。ただし、後述するように、第1の実施形態では、制御装置140は、意図しない映像移動の発生を検出し、当該映像移動が検出された場合には、当該映像移動を補正するように上記画像処理を行う。なお、この映像移動補正処理の詳細については、下記(1−2.映像移動補正システムの機能構成)で改めて説明する。
上記の画像処理が行われた映像データが、手術室に設けられる表示装置20に送信され、当該表示装置20に、術部の映像が、例えば光学ズーム機能及び/又は電子ズーム機能によって所望の倍率に適宜拡大されて表示される。なお、制御装置140と表示装置20との間の通信は、有線又は無線の公知の各種の方式で実現されてよい。
なお、上記の画像処理は、必ずしも制御装置140によって行われなくてもよい。例えば、顕微鏡部110に上記の画像処理を行うための処理回路が設けられていてもよい。この場合、顕微鏡部110に搭載される当該処理回路において適宜画像処理が施された後の映像データが、顕微鏡部110から表示装置20に送信され得る。また、この場合、顕微鏡部110と表示装置20との間の通信は、有線又は無線の公知の各種の方式で実現されてよい。
顕微鏡部110には、顕微鏡部110の動作を制御するための各種のスイッチが設けられる。例えば、顕微鏡部110には、当該顕微鏡部110の撮影条件を調整するためのズームスイッチ151(ズームSW151)及びフォーカススイッチ152(フォーカスSW152)、並びに、支持部120の動作モードを変更するための動作モード変更スイッチ153(動作モード変更SW153)が設けられる。
術者は、ズームSW151及びフォーカスSW152を操作することにより、顕微鏡部110の倍率及び焦点距離を、それぞれ調整することができる。また、術者は、動作モード変更SW153を操作することにより、支持部120の動作モードを、固定モード及びフリーモードのいずれかに切り替えることができる。
ここで、固定モードは、支持部120に設けられる各回転軸における回転がブレーキにより規制されることにより、顕微鏡部110の位置及び姿勢が固定される動作モードである。フリーモードは、当該ブレーキが解除されることにより、支持部120に設けられる各回転軸が自由に回転可能な動作モードである。例えば、フリーモードでは、術者による直接的な操作によって顕微鏡部110の位置及び姿勢を調整可能である。ここで、直接的な操作とは、術者が手で顕微鏡部110を把持し、当該顕微鏡部110を直接移動させる操作のことを意味する。例えば、術者が動作モード変更SW153を押下している間は支持部120の動作モードがフリーモードとなり、術者が動作モード変更SW153から手を離している間は支持部120の動作モードが固定モードとなる。
なお、これらのスイッチは必ずしも顕微鏡部110に設けられなくてもよい。第1の実施形態では、これらのスイッチと同等の機能を有する、操作入力を受け付けるための機構が観察装置10に設けられればよく、当該機構の具体的な構成は限定されない。例えば、これらのスイッチは、観察装置10の他の部位に設けられてもよい。また、例えば、リモコンやフットスイッチ等の入力装置を用いて、これらのスイッチに対応する命令が、遠隔的に観察装置10に対して入力されてもよい。
また、簡単のため、図1では顕微鏡部110の筒状部112を簡易的に単純な円筒形状の部材として図示しているが、筒状部112には、術者によって把持される把持部が設けられ得る。当該把持部は、術者が把持する取っ手等の構造が、筒状部112の外周に形成されることによって実現され得る。あるいは、当該把持部は、筒状部112の形状が、術者によって把持されやすい形状に形成されることによって実現され得る。例えば、上記のように、フリーモード時には、術者が筒状部112を直接手で握った状態で、顕微鏡部110を移動させる操作が想定され得る。この際、術者は、動作モード変更SW153を押下しながら、顕微鏡部110を移動させる操作を行うこととなるため、筒状部112の形状及び動作モード変更SW153の配置位置は、フリーモード時の術者の操作性を考慮して適宜決定され得る。また、ズームSW151及びフォーカスSW152の配置位置も、同様に、術者の操作性を考慮して適宜決定されてよい。
(制御装置)
制御装置140は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Pocessor)等のプロセッサ、又はこれらのプロセッサとメモリ等の記憶素子がともに搭載された制御基板等であり得る。制御装置140を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、制御装置140における各機能が実現される。
例えば、制御装置140は、上記動作モード変更SW153を介した術者の操作入力に応じて、支持部120の各回転軸部に設けられるブレーキの駆動を制御することにより、上述した支持部120の動作モードを切り替える機能を有する。また、例えば、制御装置140は、上記ズームSW151及びフォーカスSW152を介した術者の操作入力に応じて、顕微鏡部110の撮像部111の光学系を適宜駆動させ、顕微鏡部110の倍率及び焦点距離を調整する機能を有する。また、制御装置140は、顕微鏡部110によって取得された映像データに対して各種の画像処理を施し、処理後の映像データに基づく映像を表示装置20に表示させる機能を有する。この際、第1の実施形態では、制御装置140によって必要に応じて映像移動補正処理が行われ、意図しない映像移動が抑制された映像を表示装置20に表示させる。
なお、図示する例では、制御装置140は、顕微鏡部110、支持部120及びベース部130とは異なる構成として設けられ、ケーブルによってベース部130と接続されているが、第1の実施形態はかかる例に限定されない。例えば、制御装置140と同様の機能を実現するプロセッサや制御基板等が、ベース部130内に配置されてもよい。また、制御装置140と同様の機能を実現するプロセッサや制御基板等が顕微鏡部110の内部に組み込まれることにより、制御装置140と顕微鏡部110とが一体的に構成されてもよい。あるいは、プロセッサや制御基板等が、支持部120を構成する各回転軸部にそれぞれ配置され、これら複数のプロセッサや制御基板等が互いに協働することにより、制御装置140と同様の機能が実現されてもよい。
(支持部)
支持部120は、顕微鏡部110を3次元的に移動させるとともに、移動後の顕微鏡部110を、その位置及び姿勢を固定的に支持する。第1の実施形態では、支持部120は、6自由度を有するバランスアームとして構成されている。ただし、第1の実施形態はかかる例に限定されず、支持部120は、用途に応じて顕微鏡部110を適宜移動し得るように構成されればよく、他の異なる数の自由度を有するように構成されてもよい。
支持部120には、6自由度に対応する6つの回転軸(第1軸O、第2軸O、第3軸O、第4軸O、第5軸O及び第6軸O)が設けられる。以下では、説明のため便宜的に、各回転軸を構成する部材をまとめて、回転軸部と呼称することとする。例えば、回転軸部は、軸受、当該軸受に回動可能に挿通されるシャフト、及び回転軸における回転を規制するブレーキ等によって構成され得る。後述する平行四辺形リンク機構240も、回転軸部の一つとみなすことができる。
支持部120は、各回転軸に対応する第1回転軸部210、第2回転軸部220、第3回転軸部230、第4回転軸部240、第5回転軸部250、第6回転軸部260と、これら第1回転軸部210〜第6回転軸部260によって互いに回動可能に接続される第1アーム部271、第2アーム部272、第3アーム部273及び第4アーム部274と、顕微鏡部110及び支持部120全体としてのモーメントの釣り合いを取るためのカウンターウエイト280と、によって構成される。なお、第4回転軸部240は、平行四辺形リンク機構240に対応する。
なお、以下の説明では、支持部120の構成について説明する際に、顕微鏡部110が設けられる側を先端側又は先端部等とも呼称し、ベース部130に近い側を基端側又は基端部等とも呼称することとする。
第1回転軸部210は、略円筒形状を有し、その中心軸が顕微鏡部110の筒状部112の中心軸と略一致するように、顕微鏡部110の筒状部112の基端部に接続される。第1回転軸部210は、顕微鏡部110の光軸と略一致する方向を回転軸方向(第1軸O 方向)として、顕微鏡部110を回動可能に支持する。図1に示す例では、第1軸Oは、z軸と略平行な回転軸として設けられている。第1回転軸部210によって第1軸O まわりに顕微鏡部110が回動することにより、顕微鏡部110によって撮影される映像の向きが調整されることとなる。
なお、図示する例では、第1回転軸部210を構成する円筒形状の筐体内に、顕微鏡部110の撮像部111の一部が格納されている。すなわち、顕微鏡部110及び第1回転軸部210が一体的な部材として構成されている。ただし、本実施形態はかかる例に限定されず、第1回転軸部210及び顕微鏡部110は、互いに別個の部材として構成されてもよい。
第1回転軸部210には、第1軸Oとは略垂直な方向に延伸する第1アーム部271の先端が接続される。また、第1アーム部271の基端には、当該第1アーム部271の延伸方向と略平行な方向を回転軸方向(第2軸O方向)として第1アーム部271を回動可能に支持する第2回転軸部220が設けられる。第2軸Oは、第1軸Oとは略垂直な回転軸であり、図1に示す例ではy軸と略平行な回転軸として設けられている。第2回転軸部220によって、第2軸Oを回転軸として顕微鏡部110及び第1アーム部271が回動することにより、顕微鏡部110のx軸方向の位置が調整されることとなる。
第2回転軸部220には、第1軸O及び第2軸Oと互いに略垂直な方向に延伸する第2アーム部272の先端が接続される。また、第2アーム部272の基端側は略L字状に屈曲しており、折り曲げられた短辺に当たる位置に、当該第2アーム部272の長辺に当たる部位の延伸方向と略平行な方向を回転軸方向(第3軸O方向)として第2アーム部272を回動可能に支持する第3回転軸部230が設けられる。第3軸Oは、第1軸O及び第2軸Oと略垂直な回転軸であり、図1に示す例ではx軸と略平行な回転軸として設けられている。第3回転軸部230によって、第3軸Oを回転軸として顕微鏡部110、第1アーム部271及び第2アーム部272が回動することにより、顕微鏡部110のy軸方向の位置が調整されることとなる。
このように、支持部120は、第2軸O及び第3軸Oまわりの回転がそれぞれ制御されることにより、顕微鏡部110の姿勢が制御されるように構成される。つまり、第2回転軸部220及び第3回転軸部230は、顕微鏡部110の姿勢を規定する回転軸部であり得る。
第3回転軸部230の基端側には、平行四辺形リンク機構240の上辺の先端が接続される。平行四辺形リンク機構240は、平行四辺形の形状に配置される4つのアーム(アーム241、242、243、244)と、当該平行四辺形の略頂点に対応する位置にそれぞれ設けられる4つの関節部(関節部245、246、247、248)と、によって構成される。
第3回転軸部230に対して、第3軸Oと略平行な方向に延伸するアーム241の先端が接続される。アーム241の先端付近には関節部245が、基端付近には関節部246がそれぞれ設けられる。関節部245、246には、アーム241の延伸方向と略垂直な、互いに略平行な回転軸(第4軸O)まわりに回動可能に、それぞれ、アーム242、243の先端が接続される。更に、アーム242、243の基端には、それぞれ、関節部247、248が設けられる。これら関節部247、248には、第4軸Oまわりに回動可能に、かつ、アーム241に対して略平行に、アーム244の先端及び基端がそれぞれ接続される。
このように、平行四辺形リンク機構240を構成する4つの関節部は、互いに略平行な略同一方向の回転軸(第4軸O)を有し、当該第4軸Oまわりに互いに連動して動作する。図1に示す例では、第4軸Oは、y軸と略平行な回転軸として設けられている。つまり、平行四辺形リンク機構240は、互いに異なる位置に配置され同一方向の回転軸で互いに連動して回転する複数の関節部を有するように構成され、一端での動作を他端に伝達する伝達機構として振る舞う。平行四辺形リンク機構240が設けられることにより、平行四辺形リンク機構240よりも先端側の構成(すなわち、顕微鏡部110、第1回転軸部210、第2回転軸部220、第3回転軸部230、第1アーム部271及び第2アーム部272)の動きが、平行四辺形リンク機構240の基端側に伝達されることとなる。
アーム242の基端から所定の距離離れた部位には、当該アーム242の延伸方向と垂直な方向を回転軸方向(第5軸O方向)として、平行四辺形リンク機構240を回動可能に支持する第5回転軸部250が設けられる。第5軸Oは、第4軸Oと略平行な回転軸であり、図1に示す例ではy軸と略平行な回転軸として設けられている。第5回転軸部250には、z軸方向に延設する第3アーム部273の先端が接続されており、顕微鏡部110、第1アーム部271、第2アーム部272及び平行四辺形リンク機構240は、第5回転軸部250を介して、第5軸Oを回転軸として第3アーム部273に対して回動可能に構成される。
第3アーム部273は略L字型の形状を有しており、その基端側は、床面と略平行になるように折り曲げられている。第3アーム部273の当該床面と略平行な面には、第5軸Oと直交する回転軸(第6軸O)まわりに第3アーム部273を回動可能な第6回転軸部260が接続される。図1に示す例では、第6軸Oは、z軸と略平行な回転軸として設けられている。
図示する例では、第6回転軸部260は、鉛直方向に延伸する第4アーム部274と一体的に構成されている。すなわち、第4アーム部274の先端が、第3アーム部273の基端の床面と略平行な面に接続される。また、第4アーム部274の基端は、ベース部130の架台131の上面に接続される。当該構成により、第6回転軸部260を介して、顕微鏡部110、第1アーム部271、第2アーム部272、平行四辺形リンク機構240及び第3アーム部273が、第6軸Oを回転軸としてベース部130に対して回動する。
平行四辺形リンク機構240の下辺を構成するアーム244は、上辺を構成するアーム241よりも長尺に形成されており、当該アーム242の、平行四辺形リンク機構240の第3回転軸部230が接続される部位と対角に位置する端は、平行四辺形リンク機構240の外部に延出されている。延出されたアーム244の端には、カウンターウエイト280が設けられる。カウンターウエイト280は、自身よりも先端側に配置される各構成(すなわち、顕微鏡部110、第1回転軸部210、第2回転軸部220、第3回転軸部230、第1アーム部271、第2アーム部272及び平行四辺形リンク機構240)の質量によって、第4軸Oまわりに発生する回転モーメント及び第5軸Oまわりに発生する回転モーメントを相殺可能なように、その質量及び配置位置が調整されている。
また、第5回転軸部250の配置位置は、当該第5回転軸部250よりも先端側に配置される各構成の重心が第5軸O上に位置するように調整されている。更に、第6回転軸部260の配置位置は、当該第6回転軸部260よりも先端側に配置される各構成の重心が第6軸O上に位置するように調整されている。
カウンターウエイト280の質量及び配置位置、第5回転軸部250の配置位置、及び第6回転軸部260の配置位置がこのように構成されることにより、支持部120は、顕微鏡部110及び支持部120全体としてモーメントの釣り合いが取れたバランスアームとして構成され得る。支持部120をバランスアームとして構成することにより、術者が顕微鏡部110を直接的な操作によって移動させようとした場合に、あたかも無重力下であるかのようなより小さい外力で当該顕微鏡部110を移動させることが可能となる。従って、術者の操作性を向上させることができる。
支持部120の第1回転軸部210〜第6回転軸部260には、それぞれ、第1回転軸部210〜第6回転軸部260における回転を規制するブレーキが設けられる。なお、平行四辺形リンク機構240は、4つの関節部(関節部245〜248)が互いに連動して回転するため、平行四辺形リンク機構240に対するブレーキは、これら4つの関節部の少なくともいずれかに設けられればよい。これらのブレーキの駆動は、制御装置140によって制御される。制御装置140からの制御により、これらのブレーキが一斉に解除されることにより、支持部120の動作モードがフリーモードに移行する。また、同じく制御装置140からの制御により、これらのブレーキが一斉に駆動させられることにより、支持部120の動作モードが固定モードに移行する。
なお、第1回転軸部210〜第6回転軸部260に設けられるブレーキとしては、一般的なバランスアームに用いられる各種のブレーキが適用されてよく、その具体的な機構は限定されない。例えば、これらのブレーキは、機械的に駆動するものであってもよいし、電気的に駆動する電磁ブレーキであってもよい。
以上、図1を参照して、第1の実施形態に係る観察システム1及び観察装置10の構成について説明した。なお、観察システム1及び観察装置10は、以下のように構成されてもよい。
例えば、支持部120の各回転軸部のうちの少なくとも1つにアクチュエータが搭載され、当該アクチュエータの駆動が制御装置140によって制御されることにより、支持部120の位置及び姿勢の制御、すなわち、顕微鏡部110の位置及び姿勢の制御が行われてもよい。この場合、例えば、術者が、リモコン、フットスイッチ等の各種の入力装置を介して行った操作入力に従って、支持部120が遠隔的に操作されてよい。あるいは、当該入力装置は、顕微鏡部110の外周面の一部領域に設けられる感圧センサであってもよい。例えば、術者が当該感圧センサに触れることにより、その触れた方向に顕微鏡部110が移動するように、上記アクチュエータの駆動が制御されてもよい。
あるいは、上記のように支持部120の各回転軸部のうちの少なくとも1つにアクチュエータが搭載される場合には、観察システム1に、観察装置10に対して顕微鏡部110の移動についての指示を発行するナビゲーション装置が設けられてもよい。この場合には、当該ナビゲーション装置からの指示を受けて、制御装置140がそのアクチュエータを駆動させ、顕微鏡部110の位置及び姿勢が制御され得る。なお、上記入力装置又はナビゲーション装置としては、一般的な観察装置において顕微鏡部を移動させる際に用いられている各種の公知のものが用いられてよい。
例えば、観察システム1では、表示装置20の画面上の映像の視野を僅かに移動させたいという要望や、あるいは、表示装置20の画面上の映像の上下左右を変化させないで、視野をいずれかの方向に平行移動したいという要望が生じ得るが、直接的な操作によって、顕微鏡部110を僅かに移動させたり、顕微鏡部110を水平面内でいずれかの方向に平行移動させたりすることは難しい場合がある。このような場合に、上記のようなアクチュエータによる顕微鏡部110の移動の制御を行うことにより、所望の視野が得られる位置まで、顕微鏡部110をより正確に移動させることが可能となる。なお、以下の説明では、直接的な操作による顕微鏡部110の移動のことを、手動での顕微鏡部110の移動と呼称し、アクチュエータの駆動による顕微鏡部110の移動のことを、自動での顕微鏡部110の移動と呼称することがある。
ここで、図2は、図1に示す観察システム1を用いた手術の様子を示す図である。図2では、術者401が、観察システム1を用いて、患者ベッド403上の患者405の術部407に対して手術を行っている様子を概略的に示している。なお、図2では、簡単のため、観察装置10を簡略化して図示している。
観察システム1では、観察装置10によって撮影された術部407の映像が表示装置20に映し出され、術者401がその表示装置20上の映像を見ながら手術を行う。しかしながら、その際、図2に示すように、術者401と表示装置20との間に観察装置10の顕微鏡部110及び支持部120が位置し得る。従って、顕微鏡部110及び支持部120には、術者401の視界をできるだけ遮らないように、小型であることが求められる。
そのため、第1の実施形態では、支持部120、特にその顕微鏡部110近傍の構成ができるだけ小型になるように、当該支持部120が構成され得る。これにより、表示装置20を見る術者401の視界がより良好になり、手術をより円滑に行うことが可能になる。例えば、術者401の良好な視界を実現するためには、支持部120において最も細い部分の直径が、60mm以下であることが好ましい。当該最も細い部分の直径は、より好ましくは30mm以下、更に好ましくは20mm以下、特に好ましくは10mm以下であってもよい。当該最も細い部分の直径が小さくなるほど、支持部120がより小型に構成されることとなり、術者401の視界を更に良好に確保することが可能になる。なお、支持部120において最も細い部分とは、例えば、当該支持部120を構成するアーム部(第1アーム部271、第2アーム部272、第3アーム部273及び第4アーム部274)の中で、顕微鏡部110の比較的近く(例えば、顕微鏡部110の姿勢を規定し得る回転軸(第2軸O及び第3軸O)に対応する第2回転軸部220及び第3回転軸部230の近く)に配されるアーム部であり得る。図1に示す構成例であれば、第2回転軸部220と第3回転軸部230との間に位置する第2アーム部272が、支持部120において最も細い部分に対応し得る。
しかしながら、支持部120を小型化、細径化すると、その剛性が小さくなってしまう。ここで、観察装置10では、術者401が、フリーモードにおいて、表示画面に映し出された映像を見ながら、所望の視野が得られる位置まで、直接的な操作によって顕微鏡部110を移動させる様態が想定される。この際、支持部120の剛性が比較的小さいと、術者401による顕微鏡部110の移動操作に伴い、支持部120が比較的大きく弾性変形することとなる。従って、術者が顕微鏡部110を所望の位置まで移動させ、手を離した際に、支持部120が弾性復元することにより顕微鏡部110が意図せず移動してしまい、映像ずれが生じ得る。
一方、観察装置10は、上記のように高解像度での撮影が可能に構成されてもよく、これにより、所定の解像度を確保しつつ、より大画面の表示装置20に映像を表示させることや、電子ズーム機能によって適宜拡大して映像を表示することが可能になる。しかしながら、このように大画面への表示や電子ズームによる拡大表示を行った場合には、上記の映像ずれにおけるずれ量は、より顕著なものとなる。
このように、映像ずれの発生は、観察装置10のような電子撮像式の観察装置に特有の問題であると言える。
一方、観察装置10では、例えば医療スタッフの歩行に伴う床の振動により、顕微鏡部110が揺れてしまうことがある。あるいは、上述したような自動での顕微鏡部110の移動を行った場合には、顕微鏡部110の停止時に、慣性により、顕微鏡部110が揺れてしまうことがある。このような意図せぬ顕微鏡部110の振動は、映像揺れを引き起こす原因となる。
映像ずれ及び/又は映像揺れ(すなわち、意図しない映像移動)が発生すれば、手術を円滑に、安全に行うことが困難になる恐れがある。従って、電子撮像式の観察装置においては、より安全な手術を実現するために、意図しない映像移動の発生を抑制することが重要である。
そこで、第1の実施形態では、上述した観察システム1に対して、意図しない映像移動を補正するための映像移動補正システムを組み込む。当該映像移動補正システムによって、手術中に生じた意図しない映像移動が適宜補正されることにより、より安全な手術を実現することが可能になる。
(1−2.映像移動補正システムの機能構成)
図3を参照して、上記映像移動補正システムの構成について詳細に説明する。図3は、第1の実施形態に係る映像移動補正システムの機能構成の一例を示すブロック図である。図3を参照すると、第1の実施形態に係る映像移動補正システム2は、その機能として、撮像部310と、表示部320と、視野移動指示取得部330と、制御部340と、を有する。
撮像部310は、図1に示す撮像部111に対応するものである。撮像部310は、手術中に観察対象を撮影した映像データを随時取得し、取得した当該映像データを後述する制御部340の記憶部341に送信する。
表示部320は、図1に示す表示装置20によって構成される。表示部320は、後述する制御部340の画像処理部344によって適宜画像処理が施された映像データに基づいて、撮像部310によって撮影された映像を表示する。
なお、以下では、区別のため、撮像部310によって取得された映像データのことを撮像映像データとも呼称し、表示部320によって表示される映像データ(すなわち、撮像映像データに対して各種の画像処理が施された後の映像データ)のことを表示映像データとも呼称することとする。
視野移動指示取得部330は、表示部320に表示される映像に対する明示的な視野の移動についての指示(以下、単に視野移動指示ともいう)を取得する。当該視野移動指示は、図1に示す顕微鏡部110を移動させる旨の指示(すなわち、撮像部111を移動させる旨の指示)を意味し得る。ここで、明示的な視野移動指示とは、術者による意図的な視野移動指示のことである。
上述したように、観察装置10では、術者がフリーモードにおいて直接的な操作によって顕微鏡部110を移動させる様態が想定されるため、視野移動指示取得部330は、例えば、図1に示す動作モード変更SW153によって構成され得る。視野移動指示取得部330は、動作モード変更SW153に対して、支持部120の動作モードをフリーモードにする旨の操作が入力されている場合に、視野移動指示を取得することができる。動作モード変更SW153が操作され、動作モードがフリーモードになっている間は、術者による直接的な操作によって顕微鏡部110の移動についての指示が入力されている状態であるとみなすことができるからである。視野移動指示取得部330は、視野移動指示を取得した場合に、当該視野移動指示を取得した旨の情報を、後述する制御部340の判別部342に送信する。
なお、第1の実施形態はかかる例に限定されず、視野移動指示は他の方法によって取得されてもよい。例えば、視野移動指示取得部330は、図1には図示しない各種の入力装置(上述したリモコンやフットスイッチ、感圧センサ等)によって構成されてもよく、術者のこれらの入力装置に対する顕微鏡部110を移動させる旨の操作があった場合に、視野移動指示を取得してもよい。あるいは、観察システム1に顕微鏡部110の移動についての指示を発行するナビゲーション装置が備えられる場合には、視野移動指示取得部330は、当該ナビゲーション装置からの指示を受け付ける通信装置等によって構成されてもよく、当該ナビゲーション装置から指示を取得した場合に、視野移動指示を取得してもよい。
制御部340は、CPU等のプロセッサ及びメモリ等の記憶素子が搭載された制御基板等によって構成される。なお、制御部340は、図1に示す制御装置140によって構成されてもよいし、制御装置140とは別個の装置によって構成されてもよい。制御部340は、映像移動補正システム2における各種の処理を統括的に制御する。制御部340は、その機能として、記憶部341と、判別部342と、補正部343と、を有する。制御部340を構成するプロセッサが所定のプログラムに従って動作することにより、これらの機能が実現される。
記憶部341は、メモリ等の記憶素子によって構成される。記憶部341は、撮像部310によって取得された撮像映像データを記憶する。記憶部341は、後述する判別部342による映像移動の発生の有無の判別処理、及び補正部343による映像移動補正処理を行うために必要な、所定の時間分の撮像映像データを一時的に記憶可能である。記憶部341は、撮像映像データを随時更新しながら、最新の撮像映像データを含む上記所定の時間分の撮像映像データを記憶する。記憶部341は、必要に応じて、適宜、記憶している撮像映像データを判別部342及び補正部343に提供する。
判別部342は、視野移動指示の入力の有無、及び映像移動の発生の有無を判別する。具体的には、判別部342は、視野移動指示取得部330から送信された視野移動指示を取得した旨の情報に基づいて、視野移動指示の入力の有無を判別する。また、判別部342は、記憶部341に記憶されている撮像映像データを解析することにより、映像移動の発生の有無を判別する。例えば、判別部342は、最新の撮像映像データと、過去の撮像映像データ(例えば、その直前の撮像映像データ)との差分を算出することにより、映像移動の発生の有無を判別することができる。
判別部342は、視野移動指示の入力の有無、及び映像移動の発生の有無の判別結果についての情報を、補正部343に提供する。
補正部343は、判別部342によって、視野移動指示の入力がなく、かつ、映像移動が発生していると判別された場合に、映像移動補正処理を行う。上記の場合には、術者が意図しない映像移動が発生している場合であると考えられるためである。例えば、動作モード変更SW153に対して支持部120の動作モードをフリーモードにする旨の操作が入力されていないにもかかわらず、映像移動が発生している場合には、意図しない映像ずれが生じていることが予想される。また、例えば、各種の入力装置に対して顕微鏡部110を移動させる旨の操作入力が行われていない、又はナビゲーション装置から顕微鏡部110を移動させる旨の指示が入力されていないにもかかわらず、映像移動が発生している場合には、意図しない映像揺れが生じていることが予想される。
ここで、映像補正処理とは、映像移動を補正して、撮像映像データに基づいて表示映像データを生成する処理のことである。具体的には、第1の実施形態では、補正部343は、画像処理部344として機能し、撮像映像データに対して適宜画像処理を施すことにより、映像移動が補正された表示映像データを生成する。図4は、画像処理部344による映像移動が補正された表示映像データの生成処理について説明するための図である。
図4では、撮像部310によって撮影された術部407の撮像映像409を模擬的に示している。図4に示すように、画像処理部344は、撮像映像409内の所定の領域411を切り出し、この切り出した領域411内の映像データに対して、各種の画像処理(例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る拡大及び画素間補正等)を施すことにより表示映像データを生成する。当該画像処理では、映像を表示するために一般的に行われる各種の画像処理が行われてよい。この際、画像処理部344は、記憶部341に記憶されている撮像映像データを解析することにより、映像移動における映像の移動量及び移動方向を算出し、算出した当該移動量及び当該移動方向に応じて、映像移動をキャンセルするように領域411の切り出し位置を適宜調整することにより、映像移動が補正された表示映像データを生成することができる。
一方、判別部342によって、視野移動指示が入力されていると判別された場合、又は映像移動が発生していないと判別された場合には、意図しない映像移動は発生していないと考えられる。この場合には、補正部343、すなわち画像処理部344は、映像移動の補正処理を行わず、撮像映像データに対して通常の画像処理のみを行い、表示映像データを生成する。この際にも、画像処理部344は、撮像映像409内の所定の領域411を切り出して表示映像データを生成するが、画像処理部344は、予め指定された所定の領域411を切り出すのみであり、映像移動の移動量及び移動方向に応じて当該領域411の位置を調整する処理は行わない。映像移動の補正を行わない場合における当該所定の領域411は、例えば、撮像映像409の中心と同じ位置を中心とする、撮像映像409と相似する形状の領域として設定され得る。
つまり、第1の実施形態では、画像処理部344は、撮像映像409から所定の領域411を切り出し、当該領域411に対応する撮像映像データに対して各種の画像処理を施すことにより表示映像データを生成するが、この際、意図しない映像移動が生じていない場合には、所定の位置の領域411を切り出し、意図しない映像移動が生じている場合には、当該映像移動を打ち消すように領域411の切り出し位置を適宜調整する。これにより、意図しない映像移動が生じている場合であっても、当該映像移動が補正された表示映像データが生成されることとなる。
画像処理部344は、生成した表示映像データを表示部320に送信し、当該表示映像データに基づいて表示部320に映像を表示させる。上記のように、意図しない映像移動が生じている場合には、当該映像移動が補正された表示映像データが生成されているため、術者に対して、映像移動が抑制されたより安定的な映像が提供されることとなる。従って、より円滑で、より安全に手術を行うことが可能になる。
以上、第1の実施形態に係る映像移動補正システム2の機能構成について説明した。
(1−3.映像移動補正方法)
図5を参照して、第1の実施形態に係る映像移動補正方法の処理手順について説明する。図5は、第1の実施形態に係る映像移動補正方法の処理手順の一例を示すフロー図である。なお、図5に示す各処理は、図3に示す映像移動補正システム2の制御部340によって実行される処理に対応している。これらの各処理の詳細については、映像移動補正システム2の機能構成について説明する際に既に説明しているため、以下の映像移動補正方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。
図5を参照すると、第1の実施形態に係る映像移動補正方法では、まず、撮像部310によって取得された撮像映像データが記憶される(ステップS101)。ステップS101における処理は、図3に示す記憶部341によって実行される処理に対応している。
次に、視野移動指示の取り込みが行われる(ステップS103)。ステップS103における処理は、図3に示す視野移動指示取得部330によって取得された視野移動指示が入力された旨の情報が、制御部340に送信される処理に対応している。
次に、視野移動指示の入力の有無が判別される(ステップS105)。ステップS105における処理は、図3に示す判別部342によって実行される処理に対応している。
ステップS105で視野移動指示の入力があると判別された場合には、ステップS107に進む。この場合には、術者が意図して顕微鏡部110を移動させていると考えられるため、映像移動補正処理を行う必要がない。従って、映像移動補正処理を行うことなく、ステップS107で、記憶されている撮像映像データに基づいて、撮像映像の所定の領域(例えば撮像映像の中心と同じ位置を中心とする所定の領域)が切り出されるとともに、この切り出された領域に対応する撮像映像データに対して各種の画像処理が行われることにより、表示映像データが生成される。なお、ステップS107における処理は、図3に示す画像処理部344によって実行される処理に対応している。
一方、ステップS105で視野移動指示の入力がないと判別された場合には、ステップS109に進む。ステップS109では、記憶されている撮像映像データに基づいて映像移動が検出される。そして、ステップS111で、この検出結果に基づいて、映像移動の発生の有無が判別される。ステップS109及びステップS111における処理は、図3に示す判別部342によって実行される処理に対応している。
ステップS111で映像移動の発生がないと判別された場合には、当然、映像移動補正処理を行う必要がない。従って、視野移動指示の入力があると判別された場合と同様に、ステップS107に進み、映像移動補正処理が行われずに表示映像データが生成される。
一方、ステップS111で映像移動の発生があると判別された場合には、術者が意図しない映像移動が発生していると考えられる。従って、この場合には、ステップS113に進み、記憶されている撮像映像データに基づいて、映像移動をキャンセルするように撮像映像から切り出す領域の位置が調整されるとともに、この切り出された領域に対応する撮像映像データに対して各種の画像処理が行われることにより、表示映像データが生成される。なお、ステップS113における処理は、図3に示す補正部343、すなわち画像処理部344によって実行される処理に対応している。
ステップS107又はステップS113における処理が終了すると、生成された表示映像データが表示部320に送信される(ステップS115)。そして、表示部320に、当該表示映像データに基づく映像が表示させられる。なお、ステップS115における処理は、図3に示す画像処理部344によって実行される処理に対応している。
以上、第1の実施形態に係る映像移動補正方法の処理手順について説明した。
(2.第2の実施形態)
本開示の第2の実施形態について説明する。なお、第2の実施形態は、上述した第1の実施形態において、映像移動の発生の有無の判別処理の方法、及び映像移動補正処理の方法が異なるものに対応する。これら以外は第1の実施形態と同様であるため、以下の第2の実施形態についての説明では、第1の実施形態と相違する事項について主に説明することとし、重複する事項についてはその詳細な説明を省略する。
(2−1.映像移動補正システムの機能構成)
第2の実施形態に係る映像移動補正システムが適用され得る観察システムの構成は、図1を参照して説明した第1の実施形態に係る観察システム1と同様であるため、その説明を省略する。ここでは、図6を参照して、第2の実施形態に係る映像移動補正システムの構成について説明する。図6は、第2の実施形態に係る映像移動補正システムの機能構成の一例を示すブロック図である。
図6を参照すると、第2の実施形態に係る映像移動補正システム3は、その機能として、表示部320と、視野移動指示取得部330と、顕微鏡部350と、を有する。また、顕微鏡部350は、その機能として、撮像部310と、制御部340aと、動き検出部360と、を有する。
このうち、撮像部310、表示部320、及び視野移動指示取得部330の機能は、第1の実施形態と略同様である。すなわち、撮像部310は、手術中に観察対象を撮影した映像データを随時取得し、後述する制御部340aの画像処理部344aに提供する。なお、図6では、説明のため、撮像部310を構成する撮像素子311及び光学系312(レンズ等)を表すブロックも図示している。表示部320は、後述する制御部340aの画像処理部344aによって生成された表示映像データに基づいて、撮像部310によって撮影された映像を表示する。視野移動指示取得部330は、視野移動指示を取得し、後述する制御部340aの判別部342aに提供する。
顕微鏡部350は、図1に示す顕微鏡部110に対応するものである。また、制御部340aは、CPU等のプロセッサ、又はプログラムとメモリ等の記憶素子とが搭載された制御基板等によって構成される。また、動き検出部360は、加速度センサ又はジャイロセンサ等の顕微鏡部350の動き(より詳細には撮像部310の動き)を検出可能なセンサによって構成される。このように、第2の実施形態では、ハードウェア構成としては、顕微鏡部350が、撮像部310と、制御部340aに対応するプロセッサ又は制御基板等と、動き検出部360に対応するセンサと、を備えるように構成され得る。以下、制御部340a及び動き検出部360の機能についてより詳細に説明する。
動き検出部360は、撮像部310の動きを検出し、撮像部310の動きを表す動き情報を取得する。動き検出部360を構成するセンサの種類は限定されず、上述した加速度センサ又はジャイロセンサ等、一般的に物体の動きを検出する際に用いられる各種のセンサが用いられてよい。ただし、後述するように、第2の実施形態では、動き検出部360によって取得された動き情報に基づいて、映像移動の発生の有無の判別処理、及び映像移動補正処理が行われる。従って、動き検出部360は、少なくとも撮像部310の撮像素子311の受光面と平行な面内方向での撮像部310の動きを検出し得るように構成されることが好ましい。また、ハードウェア的には、動き検出部360を構成するセンサは、撮像部310の振動をより高精度に検出できるように、撮像部310の比較的近傍に設置されることが好ましい。更に、顕微鏡部350の小型化のため、動き検出部360を構成するセンサも、比較的小型であることが好ましい。
動き検出部360は、取得した動き情報を、後述する制御部340aの判別部342a及び補正部343aに提供する。
制御部340aは、映像移動補正システム3における各種の処理を統括的に制御する。制御部340aは、その機能として、判別部342aと、補正部343aと、を有する。制御部340aを構成するプロセッサが所定のプログラムに従って動作することにより、これらの機能が実現される。なお、上記のように、制御部340aは、プロセッサ又は制御基板等によって構成され得るが、これらは、図1に示す制御装置140と同一の装置又は制御装置140の一部であってもよいし、制御装置140とは別個の装置であってもよい。
判別部342aは、視野移動指示の入力の有無、及び映像移動の発生の有無を判別する。具体的には、判別部342aは、視野移動指示取得部330から提供された視野移動指示を取得した旨の情報に基づいて、視野移動指示の入力の有無を判別する。この視野移動指示の入力の有無の判別処理は、第1の実施形態と同様である。
第2の実施形態では、映像移動の発生の有無の判別処理の方法が、第1の実施形態と異なる。具体的には、判別部342aは、動き検出部360から提供される動き情報に基づいて、映像移動の発生の有無を判別する。例えば、判別部342aは、動き検出部360によって撮像素子311の受光面と平行な面内方向における撮像部310の動きが検出された場合に、映像移動が発生したと判別する。
判別部342aは、視野移動指示の入力の有無、及び映像移動の発生の有無の判別結果についての情報を、補正部343aに提供する。
補正部343aは、判別部342aによって、視野移動指示の入力がなく、かつ、映像移動が発生していると判別された場合に、映像移動補正処理を行う。第1の実施形態と同様に、上記の場合には、術者が意図しない映像移動が発生している場合であると考えられるためである。
第2の実施形態においても、第1の実施形態と同様に、映像補正処理では、映像移動を補正して、撮像映像データに基づいて表示映像データが生成される。ただし、第2の実施形態では、その具体的な処理方法、すなわち補正部343aの機能が第1の実施形態と異なる。具体的には、第2の実施形態では、補正部343aは、撮像部310の光学系312を駆動させる駆動制御部345、及び撮像映像データに対して適宜画像処理を施すことにより表示映像データを生成する画像処理部344aとして機能する。
駆動制御部345は、動き検出部360から提供される動き情報に基づいて、映像移動における映像の移動量及び移動方向を算出し、算出した当該移動量及び当該移動方向に応じて、映像移動をキャンセルするような、観察光を撮像素子311に導光する光学系312に含まれるレンズの移動量を計算する。そして、駆動制御部345は、計算した移動量に従って当該レンズを適宜移動させることにより、映像移動を補正する。なお、この駆動制御部345による映像移動をキャンセルするようなレンズの移動処理には、デジタルカメラ等に搭載されている、いわゆるレンズシフト方式の手ぶれ防止機能に係る技術が適用されてよい。
画像処理部344aは、撮像部310によって取得された撮像映像データに対して、各種の画像処理(例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る拡大及び画素間補正等)を施すことにより、表示映像データを生成する。当該画像処理では、映像を表示するために一般的に行われる各種の画像処理が行われてよい。上記のように、駆動制御部345によって撮像部310の光学系312のレンズが適宜移動させられているため、画像処理部344aが取得する撮像映像データは、映像移動が補正されたものになっている。つまり、画像処理部344aは、映像移動が補正された表示映像データを生成することができる。
画像処理部344aは、生成した表示映像データを表示部320に送信し、当該表示映像データに基づいて表示部320に映像を表示させる。上記のように、意図しない映像移動が生じている場合には、当該映像移動が補正された表示映像データが生成されているため、術者に対して、映像移動が抑制されたより安定的な映像が提供されることとなる。従って、より円滑で、より安全に手術を行うことが可能になる。
以上、第2の実施形態に係る映像移動補正システム3の機能構成について説明した。なお、上記の構成例では、補正部343aは、いわゆるレンズシフト方式に係る技術を用いて映像移動を補正していたが、第2の実施形態はかかる例に限定されない。第2の実施形態では、補正部343aは、他の方法を用いて映像移動を補正してもよい。例えば、補正部343aは、デジタルカメラ等に搭載されている手ぶれ防止機能において用いられている、いわゆる光学式の補正方法に係る各種の技術を用いて、映像移動を補正することができる。ここで、光学式の補正方法とは、検出された撮像部310の動きに基づいて、撮像部310の撮像素子311又は光学系312(例えばレンズ等)の位置を移動させることにより、撮像素子311における観察光の受光位置を調整し、映像移動を補正する方法である。上述したレンズシフト方式も光学式の補正方法の一つである。光学式の補正方法としては、上述したレンズシフト方式以外に、イメージセンサシフト方式や、レンズユニットスイング方式等が知られている。補正部343aは、これらの各種の方式に従って、映像移動を補正してもよい。
(2−2.映像移動補正方法)
図7を参照して、第2の実施形態に係る映像移動補正方法の処理手順について説明する。図7は、第2の実施形態に係る映像移動補正方法の処理手順の一例を示すフロー図である。なお、図7に示す各処理は、図6に示す映像移動補正システム3の制御部340aによって実行される処理に対応している。これらの各処理の詳細については、映像移動補正システム3の機能構成について説明する際に既に説明しているため、以下の映像移動補正方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。
図7を参照すると、第2の実施形態に係る映像移動補正方法では、まず、撮像部310の動き情報の取り込みが行われる(ステップS201)。ステップS201における処理は、図6に示す動き検出部360によって取得された撮像部310の動き情報が制御部340aに提供される処理に対応している。
次に、視野移動指示の取り込みが行われる(ステップS203)。ステップS203における処理は、図6に示す視野移動指示取得部330によって取得された視野移動指示が入力された旨の情報が、制御部340aに送信される処理に対応している。
次に、視野移動指示の入力の有無が判別される(ステップS205)。ステップS205における処理は、図6に示す判別部342aによって実行される処理に対応している。
ステップS205で視野移動指示の入力があると判別された場合には、ステップS207に進む。この場合には、術者が意図して顕微鏡部110を移動させていると考えられるため、映像移動補正処理を行う必要がない。従って、映像移動補正処理を行うことなく、ステップS207で、撮像部310によって取得された撮像映像データに対して各種の画像処理が施されることにより、表示映像データが生成される。なお、ステップS207における処理は、図6に示す画像処理部344aによって実行される処理に対応している。
一方、ステップS205で視野移動指示の入力がないと判別された場合には、ステップS209に進む。ステップS209では、ステップS201で得られた動き情報に基づいて、映像移動を発生させるような撮像部310の動き(具体的には、例えば、撮像素子311の受光面と平行な面内方向における撮像部310の動き)が検出される。そして、ステップS211で、この検出結果に基づいて、映像移動の発生の有無が判別される。ステップS209及びステップS211における処理は、図6に示す判別部342aによって実行される処理に対応している。
ステップS211で映像移動の発生がないと判別された場合には、当然、映像移動補正処理を行う必要がない。従って、視野移動指示の入力があると判別された場合と同様に、ステップS207に進み、映像移動補正処理が行われずに表示映像データが生成される。
一方、ステップS211で映像移動の発生があると判別された場合には、術者が意図しない映像移動が発生していると考えられる。従って、この場合には、ステップS213に進み、映像移動をキャンセルするように撮像部310の光学系312の位置が移動させられる。なお、ステップS213における処理は、図6に示す補正部343aの駆動制御部345によって実行される処理に対応している。
ステップS213における処理が終了すると、ステップS207に進み、撮像部310によって取得された撮像映像データに対して各種の画像処理が施されることにより、表示映像データが生成される。ステップS213における処理が行われることにより、撮像部310によって取得される撮像映像データは映像移動が補正されたものになっているため、ステップS207においては、映像移動が補正された表示映像データが生成されることとなる。
ステップS207における処理が終了すると、生成された表示映像データが表示部320に送信される(ステップS215)。そして、表示部320に、当該表示映像データに基づく映像が表示させられる。なお、ステップS215における処理は、図6に示す画像処理部344aによって実行される処理に対応している。
以上、第2の実施形態に係る映像移動補正方法の処理手順について説明した。
(3.補足)
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、以上説明した、各実施形態における各構成は、可能な範囲で互いに組み合わされてよい。例えば、観察装置10において、第1の実施形態に係る映像移動の発生の有無の判別処理(すなわち、最新の撮像映像データと過去の撮像映像データとを比較することにより判別する方法)と、第2の実施形態に係る映像移動の発生の有無の判別処理(すなわち、撮像部310の動き情報に基づいて判別する方法)と、がともに行われてもよい。この場合には、例えば、そのいずれかにおいて映像移動が発生していると判別された場合に、最終的に映像移動が発生していると判別され得る。2つの互いに異なる方法によって、それぞれ映像移動の発生の有無が判別されることにより、より精度良く当該判別処理を行うことが可能になる。
また、以上では、一例として、観察システム1を用いて手術を行う場合について説明したが、本技術はかかる例に限定されない。以上説明したように、第1及び第2の実施形態によれば、意図しない映像移動が抑制された、より安定的な映像を得ることが可能になる。従って、例えば検査等、観察システム1を用いて行われ得る各種の医療行為において、同様の効果を奏することが可能である。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
観察対象を撮影した映像データである撮像映像データを取得する撮像部と、
前記撮像部を支持する支持部と、
前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別する判別部と、
前記判別部によって、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、
を備える、医療用観察装置。
(2)
前記判別部は、入力装置を介した前記撮像部を移動させる旨の操作入力の有無に応じて、前記視野移動指示の入力の有無を判別する、
前記(1)に記載の医療用観察装置。
(3)
前記判別部は、前記撮像部を移動させる旨の指示を前記医療用観察装置に対して発行するナビゲーション装置からの前記指示の入力の有無に応じて、前記視野移動指示の入力の有無を判別する、
前記(1)又は(2)に記載の医療用観察装置。
(4)
前記判別部は、最新の前記撮像映像データと、過去に取得された前記撮像映像データとを比較することにより、前記映像移動の発生の有無を判別する、
前記(1)〜(3)のいずれか1項に記載の医療用観察装置。
(5)
前記撮像部の動きを表す動き情報を取得する動き検出部、を更に備え、
前記判別部は、前記動き情報に基づいて、前記映像移動の発生の有無を判別する、
前記(1)〜(4)のいずれか1項に記載の医療用観察装置。
(6)
前記補正部は、前記撮像映像データに係る映像の所定の領域を切り出して前記表示映像データを生成する際に、前記所定の領域の切り出し位置を調整することにより、前記映像移動を補正する、
前記(1)〜(5)のいずれか1項に記載の医療用観察装置。
(7)
前記撮像部の動きを表す動き情報を取得する動き検出部、を更に備え、
前記補正部は、前記動き情報に基づいて、前記撮像部を構成する撮像素子又は光学系の位置を移動させることにより、前記映像移動を補正する、
前記(1)〜(5)のいずれか1項に記載の医療用観察装置。
(8)
前記補正部によって生成される表示映像データは、電子ズーム機能により2倍以上に拡大されて前記表示装置に表示される、
前記(1)〜(7)のいずれか1項に記載の医療用観察装置。
(9)
前記支持部において最も細い部分の直径が、30mm以下である、
前記(1)〜(8)のいずれか1項に記載の医療用観察装置。
(10)
観察対象を撮影した映像データである撮像映像データを取り込むことと、
プロセッサが、前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別することと、
前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、
を含む、映像移動補正方法。
(11)
観察対象を撮影する医療用観察装置と、
前記医療用観察装置によって撮影された前記観察対象の映像を表示する表示装置と、
を備え、
前記医療用観察装置は、
観察対象を撮影した映像データである撮像映像データを取得する撮像部と、
前記撮像部を支持する支持部と、
前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別する判別部と、
前記判別部によって、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、
を有する、
医療用観察システム。
1 観察システム
2、3 映像移動補正システム
10 顕微鏡装置
20 表示装置
110 顕微鏡部
111、310 撮像部
112 筒状部
120 支持部(アーム部)
130 ベース部
131 架台
132 キャスター
140 制御装置
151 ズームSW
152 フォーカスSW
153 動作モード変更SW
210 第1回転軸部
220 第2回転軸部
230 第3回転軸部
240 第4回転軸部(平行四辺形リンク機構)
250 第5回転軸部
260 第6回転軸部
241、242、243、244 アーム
245、246、247、248 関節部
271 第1アーム部
272 第2アーム部
273 第3アーム部
274 第4アーム部
320 表示部
330 視野移動指示取得部
340、340a 制御部
341 記憶部
342、342a 判別部
343、343a 補正部
344、344a 画像処理部
345 駆動制御部

Claims (11)

  1. 観察対象を撮影した映像データである撮像映像データを取得する撮像部と、
    前記撮像部を支持する支持部と、
    前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別する判別部と、
    前記判別部によって、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、
    を備える、医療用観察装置。
  2. 前記判別部は、入力装置を介した前記撮像部を移動させる旨の操作入力の有無に応じて、前記視野移動指示の入力の有無を判別する、
    請求項1に記載の医療用観察装置。
  3. 前記判別部は、前記撮像部を移動させる旨の指示を前記医療用観察装置に対して発行するナビゲーション装置からの前記指示の入力の有無に応じて、前記視野移動指示の入力の有無を判別する、
    請求項1に記載の医療用観察装置。
  4. 前記判別部は、最新の前記撮像映像データと、過去に取得された前記撮像映像データとを比較することにより、前記映像移動の発生の有無を判別する、
    請求項1に記載の医療用観察装置。
  5. 前記撮像部の動きを表す動き情報を取得する動き検出部、を更に備え、
    前記判別部は、前記動き情報に基づいて、前記映像移動の発生の有無を判別する、
    請求項1に記載の医療用観察装置。
  6. 前記補正部は、前記撮像映像データに係る映像の所定の領域を切り出して前記表示映像データを生成する際に、前記所定の領域の切り出し位置を調整することにより、前記映像移動を補正する、
    請求項1に記載の医療用観察装置。
  7. 前記撮像部の動きを表す動き情報を取得する動き検出部、を更に備え、
    前記補正部は、前記動き情報に基づいて、前記撮像部を構成する撮像素子又は光学系の位置を移動させることにより、前記映像移動を補正する、
    請求項1に記載の医療用観察装置。
  8. 前記補正部によって生成される表示映像データは、電子ズーム機能により2倍以上に拡大されて前記表示装置に表示される、
    請求項1に記載の医療用観察装置。
  9. 前記支持部において最も細い部分の直径が、30mm以下である、
    請求項1に記載の医療用観察装置。
  10. 観察対象を撮影した映像データである撮像映像データを取り込むことと、
    プロセッサが、前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別することと、
    前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、
    を含む、映像移動補正方法。
  11. 観察対象を撮影する医療用観察装置と、
    前記医療用観察装置によって撮影された前記観察対象の映像を表示する表示装置と、
    を備え、
    前記医療用観察装置は、
    観察対象を撮影した映像データである撮像映像データを取得する撮像部と、
    前記撮像部を支持する支持部と、
    前記撮像映像データに基づいて表示装置に表示される映像に対する視野移動指示の入力の有無、及び前記撮像映像データに基づいて表示装置に表示される映像に対する映像移動の発生の有無を判別する判別部と、
    前記判別部によって、前記視野移動指示の入力がなく、かつ前記映像移動が発生していると判別された場合に、前記撮像映像データに基づいて、表示装置に表示される映像データである表示映像データを、前記映像移動を補正して生成する補正部と、
    を有する、
    医療用観察システム。
JP2018508927A 2016-03-31 2017-03-10 医療用観察装置、映像移動補正方法及び医療用観察システム Pending JPWO2017169650A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016070022 2016-03-31
JP2016070022 2016-03-31
PCT/JP2017/009651 WO2017169650A1 (ja) 2016-03-31 2017-03-10 医療用観察装置、映像移動補正方法及び医療用観察システム

Publications (1)

Publication Number Publication Date
JPWO2017169650A1 true JPWO2017169650A1 (ja) 2019-02-14

Family

ID=59964167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508927A Pending JPWO2017169650A1 (ja) 2016-03-31 2017-03-10 医療用観察装置、映像移動補正方法及び医療用観察システム

Country Status (5)

Country Link
US (1) US11422346B2 (ja)
EP (1) EP3437547A4 (ja)
JP (1) JPWO2017169650A1 (ja)
CN (1) CN109152519A (ja)
WO (1) WO2017169650A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208752B2 (ja) * 2018-09-26 2023-01-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、医療用観察装置、および制御方法
EP4016541A1 (en) * 2018-11-23 2022-06-22 Siemens Healthcare GmbH Integrated medical image visualization and exploration
CN113392675B (zh) * 2020-03-12 2023-04-07 平湖莱顿光学仪器制造有限公司 一种呈现显微视频信息的方法与设备
CN111694476B (zh) * 2020-05-15 2022-07-08 平安科技(深圳)有限公司 平移浏览方法、装置、计算机系统及可读存储介质
JPWO2022080008A1 (ja) * 2020-10-15 2022-04-21
DE102021126658B8 (de) 2021-10-14 2023-01-05 Carl Zeiss Meditec Ag Medizinisches Visualisierungsystem und Verfahren zur Video-Stabilisierung bei einem solchen System

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP2005198700A (ja) * 2004-01-13 2005-07-28 Olympus Corp 手術用顕微鏡システム
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4832679B2 (ja) * 2001-09-11 2011-12-07 オリンパス株式会社 顕微鏡システム
JP4436623B2 (ja) 2003-06-19 2010-03-24 オリンパス株式会社 手術用顕微鏡システム
US7783133B2 (en) * 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
DE102007021981B4 (de) * 2007-05-10 2009-10-08 Leica Microsystems (Schweiz) Ag Optisches Gerät mit Vibrationskompensation
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
DE102007034286A1 (de) * 2007-07-20 2009-01-22 Carl Zeiss Surgical Gmbh Stativanordnung und Stativ für ein medizinisch-optisches Instrument
JP5683882B2 (ja) * 2009-10-15 2015-03-11 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10531869B2 (en) * 2009-12-16 2020-01-14 Boston Scientific Scimed, Inc. Tissue retractor for minimally invasive surgery
JP2012055498A (ja) * 2010-09-09 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JP5657375B2 (ja) * 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2014092197A1 (en) 2012-12-11 2014-06-19 Olympus Corporation Endoscopic device and method of controlling endoscopic device
CN104869937B (zh) 2013-02-25 2017-10-10 奥林巴斯株式会社 医疗用机械手和医疗用机械手控制方法
US10238457B2 (en) * 2013-09-13 2019-03-26 Vanderbilt University System and method for endoscopic deployment of robotic concentric tube manipulators for performing surgery
US9539059B2 (en) 2013-09-24 2017-01-10 Sony Olympus Medical Solutions Inc. Medical robot arm apparatus, medical robot arm control system, medical robot arm control method, and program
JP6150130B2 (ja) * 2014-01-30 2017-06-21 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
JP6519144B2 (ja) * 2014-11-06 2019-05-29 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP2005198700A (ja) * 2004-01-13 2005-07-28 Olympus Corp 手術用顕微鏡システム
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法

Also Published As

Publication number Publication date
EP3437547A1 (en) 2019-02-06
CN109152519A (zh) 2019-01-04
WO2017169650A1 (ja) 2017-10-05
US11422346B2 (en) 2022-08-23
US20190107699A1 (en) 2019-04-11
EP3437547A4 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
WO2017169650A1 (ja) 医療用観察装置、映像移動補正方法及び医療用観察システム
JP6552592B2 (ja) 手術用顕微鏡装置及び手術用顕微鏡システム
US11278369B2 (en) Control device, control method, and surgical system
JP2020116442A (ja) 医療用観察装置、手術用観察装置及び医療用観察システム
US11510751B2 (en) Medical observation apparatus
JP6816721B2 (ja) 医療用支持アーム装置及び医療用システム
JP2016093225A (ja) 医療用観察装置、医療用ビデオ顕微鏡装置及び医療用ビデオ顕微鏡システム
WO2018100828A1 (ja) 顕微鏡装置及び制御方法
JP6965338B2 (ja) 医療用観察装置、制御装置、及び観察視野補正方法
US20200093545A1 (en) Control apparatus, control method, and medical observation system
JP6704255B2 (ja) 医療用観察装置、医療用観察システム及び画揺れ補正方法
JP6656237B2 (ja) 手術用顕微鏡装置及び手術用顕微鏡システム
JP6935409B2 (ja) 医療用観察装置及び医療用観察システム
JPWO2016181730A1 (ja) 手術用顕微鏡装置及び手術用顕微鏡システム
US11648082B2 (en) Medical holding device, and medical observation device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210518