JP5927366B1 - 医療システム - Google Patents

医療システム Download PDF

Info

Publication number
JP5927366B1
JP5927366B1 JP2016504244A JP2016504244A JP5927366B1 JP 5927366 B1 JP5927366 B1 JP 5927366B1 JP 2016504244 A JP2016504244 A JP 2016504244A JP 2016504244 A JP2016504244 A JP 2016504244A JP 5927366 B1 JP5927366 B1 JP 5927366B1
Authority
JP
Japan
Prior art keywords
operator
virtual image
aerial display
display
medical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016504244A
Other languages
English (en)
Other versions
JPWO2016047173A1 (ja
Inventor
頼人 前田
頼人 前田
上 邦彰
邦彰 上
浩一 田代
浩一 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP5927366B1 publication Critical patent/JP5927366B1/ja
Publication of JPWO2016047173A1 publication Critical patent/JPWO2016047173A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024Hologram nature or properties
    • G03H1/0248Volume holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)

Abstract

タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出可能とする医療システムを提供する。タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイ15の元画像を表示する空中ディスプレイ用モニタ11と、虚像空中ディスプレイを表示させるための空中ディスプレイ用プレート12と、空中ディスプレイ用モニタ11を移動せしめる移動式ロボットアーム13と、術者(操作者)100の所定部位および手術室内における機器等の位置方向情報を検知するジェスチャセンサ14と、前記情報に基づいて前記空中ディスプレイ用モニタ11および移動式ロボットアーム13を駆動制御し、虚像空中ディスプレイ15を所定の空間に表出するシステムコントローラ3と、を具備する。

Description

本発明の実施形態は、医療システムに関し、特に、空中に虚像のディスプレイ画面を表示可能な医療システムに関する。
近年、技術の発展と共に、医療機器の種類は豊富となっており、また、その機能も充実してきている。また、手術室にはこれらの医療機器の他に、ルームライト、各種の表示装置、医療画像を撮像する内視鏡および記録装置等の各種機器が配置されている。
さらに特開平7−231896号公報には、これらの装置を含む各種医療機器を通信により集中制御する集中制御装置(システムコントローラ)を備える内視鏡手術システムが示されている。
この種の内視鏡手術システムにおける集中制御装置では、いわゆるタッチパネルにより構成された操作パネルにより、被制御機器のパラメータ等の設定または変更を行うことが一般的であるが、この操作パネルの操作を滅菌域に居る術者自らが行うことが望まれている。
しかしながら、この種の操作パネル(タッチパネル)は不潔域に設置されたラックまたはカートに載置されることが多く、滅菌域に居る術者が直接当該操作パネルを操作することは困難となる場合が多い。
したがって、術者は、不潔域に常在する看護師等に指示を出して、術者に代わって看護師に操作パネルを操作させる方法が採られることもあるが、指示が伝わるまでに時間を要し、また、指示の誤伝達若しくは誤認識による操作ミスが発生する虞もある。
さらに、当該操作パネルにドレープを取り付け、術者が自ら操作パネルと操作することも考えられるが、タッチパネルである操作パネル自体に意図しない物理的な接触が生じ、誤動作が発生する虞がある。また、操作パネル自体により視界が遮られることもあり、手術進行の妨げになってしまうという課題もある。
一方、特開2005−040613号公報に開示されるように、滅菌域においても使用できる入力装置としてジェスチャ装置が知られるほか、近年、空中に虚像であるディスプレイを表示する技術が再公表2009−131128号公報において提案されている。
上述した特開2005−040613号公報に記載された技術と再公表2009−131128号公報に記載された技術(空中に虚像ディスプレイを表出する技術)を組み合わせることにより、手術室における所定の空間位置に恰もタッチパネルと同様なGUI機能を備えた虚像の空中ディスプレイを表出することが可能となる。
このGUI(graphical user interface)機能を備えた虚像の空中ディスプレイは、その原理上、すなわち空間に表出された虚像であるが故に、入力操作面に対する物理的な接触を要しない。したがって、当該空中ディスプレイの表出が実現されることにより、滅菌域においても術者による入力操作が可能となる。
さらに、この空中ディスプレイを任意のタイミングで表出させることで、操作パネルにより視界を遮ることを避けることができる。
ところで、上述したGUI機能、すなわち入力操作機能を備えた空中ディスプレイは虚像であるが故に視野角が狭く、操作者(術者)が表示面の正面に立位しないと視認することができない。しかしながら手術シーンにおいては、術者はその立ち位置に制約があることが多いばかりか、常に同じ位置、同じ向きに位置できるとは限らず、すなわち、空中ディスプレイの表示面に容易にかつ常時立位することは困難であると考えられる。
これに対して上述した再公表2009−131128号公報に記載の技術は、そもそも上述した如き手術シーンにおける状況について考慮するものではなく、したがって、操作者と空中ディスプレイとを正対させる点については何等言及されていない。
一方、手術室の空間において、上述した如き入力操作機能を備えた虚像空中ディスプレイを術者の意図しない空間、例えば術者には見えない位置等に表出させてしまった場合、誤って術者の手の操作により、または、表出箇所に存在した機器等により誤動作させてしまう虞もある。
本発明は上述した事情に鑑みてなされたものであり、タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出可能とする医療システムを提供することを目的とする。
本発明の一態様の医療システムは、虚像を表示可能な医療システムであって、操作者の位置と向きとの少なくとも1つに関する情報を検知する第1の検知部と、前記情報に基づいて、空中に前記虚像を配置する領域を算出する算出部と、手術室内の物体の位置を検知する第2の検知部と、前記第2の検知部が検知した結果に基づいて、前記領域内に前記物体が存在するか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記像を前記領域内に配置する制御部と、を具備する。
図1は、本発明の第1の実施形態の医療システムの全体構成を示す図である。 図2は、第1の実施形態の医療システムにおける電気的な構成を示した図である。 図3は、第1の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。 図4は、第1の実施形態の医療システムにおける操作者の手指位置情報の検出動作を説明する図である。 図5は、本発明の第2の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。 図6は、本発明の第3の実施形態の医療システムにおける要部の構成を示した図である。 図7は、第3の実施形態の医療システムにおける電気的な構成を示した図である。 図8は、第3の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。 図9は、第3の実施形態の医療システムにおける操作パネルの一表示例を示した図である。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1から図4を用いて第1の実施形態の医療システムについて説明する。図1は、本発明の第1の実施形態の医療システムの全体構成を示す図、図2は、第1の実施形態の医療システムにおける電気的な構成を示した図、図3は、第1の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャート、図4は、第1の実施形態の医療システムにおける操作者の手指位置情報の検出動作を説明する図である。
図1に示すように、本実施形態の医療システム1は内視鏡下外科手術が行われる手術室に設けられたシステムであり、図1および図2に示すように、複数の医療機器で構成される被制御機器である周辺機器群2と、これら周辺機器群2を集中制御するとともに各種機器を制御するシステムコントローラ3と、看護師等の操作者による操作を受け付ける操作パネル4と、手術に係る所定の情報を選択的に表示する表示パネル5と、患者が載置される手術台6と、入力操作機能(GUI機能)を備えた虚像空中ディスプレイ15の元画像を表示する空中ディスプレイ用モニタ11と、前記虚像空中ディスプレイを表示させるための空中ディスプレイ用プレート12と、前記空中ディスプレイ用モニタ11の位置および向きを変更せしめる移動式ロボットアーム13と、術者(操作者)100の所定部位および手術室内における機器等のジェスチャを認識するジェスチャセンサ14と、術者等の音声を集音するマイク41と、術者等に対して所定の音声を発するためのスピーカ42と、で主要部が構成されている。
周辺機器群2は、観察、検査及び処置等を行う複数の医療機器で構成されている。本実施形態の医療システムにおいて前記複数の医療機器は、例えば、内視鏡用カメラ装置21、気腹装置22、電気メス装置23、光源装置24、内視鏡モニタ25等により構成される。なお、周辺機器群2はこれらの医療機器に限定されるものではなく、例えば、ビデオテープレコーダ(VTR)等を備えていてもよい。
システムコントローラ3は、周辺機器群2および当該医療システム1における各種装置の制御を司るものであり、図2に示すように、各種制御を行う制御部31と、前記周辺機器群2の他、操作パネル4、表示パネル5、移動式ロボットアーム13およびジェスチャセンサ14等との通信信号のインターフェースである通信I/F32と、前記空中ディスプレイ用モニタ11と接続された表示I/F33と、所定の情報を記録する記録部34と、前記マイク41およびスピーカ42に接続された音声I/F35と、で主要部が構成されている。
ここでシステムコントローラ3における前記制御部31は、前記虚像空中ディスプレイ15の操作者たる術者の、出術室における位置と方向との少なくとも1つに関する情報に基づいて前記虚像空中ディスプレイ15を配置する第1の領域を算出する算出部、前記第1の領域内に所定の物体が存在するか否かを判定する判定部、前記物体が前記第1の領域内に存在しないと前記判定部が判定した場合に、前記虚像空中ディスプレイ15を前記第1の領域内に配置するよう空中ディスプレイ用モニタ11および移動式ロボットアーム13等を制御する制御部としての役目を果たす。
通信I/F32は、システムコントローラ3に接続される前記各周辺機器群2から各種データおよび設定パラメータを受信し、これらのデータおよびパラメータ等を制御部31に入力し、または、周辺機器群2を操作するために制御部31において生成した信号を当該周辺機器群2に出力するためのインターフェースである。また、記録部34には、例えば、システムコントローラ3を動作させるためのプログラムおよびプログラムの実行に必要な各種データおよびパラメータ等が格納されている。
なお、前記空中ディスプレイ用モニタ11、移動式ロボットアーム13、ジェスチャセンサ14、マイク41およびスピーカ42に対するシステムコントローラ3における制御については後に詳述する。
操作パネル4は、例えば、液晶ディスプレイと液晶ディスプレイに重ねて配置されたタッチパネルセンサとが一体となって構成された、いわゆるタッチパネルディスプレイにより構成される。当該操作パネル4は、非滅菌域にいる看護師等が周辺機器群2の操作を行うための操作装置であり、操作情報はシステムコントローラ3における通信I/F32を介して制御部31に入力されるようになっている。
光源装置24は、照明光を伝送するライトガイドケーブルを介して内視鏡(図示せず)に接続されている。光源装置24からの照明光は内視鏡に供給され、内視鏡の挿入部が挿入された患者の腹部内の患部等を照明するようになっている。
本実施形態における医療システムにおいては、内視鏡の挿入部の基端側には、撮像素子を備えたカメラヘッドが装着され、患部等の光学像をカメラヘッド内の撮像素子で撮像する。この撮像素子で撮像された撮像信号は、ケーブルを介して内視鏡用カメラ装置21に伝送される。
内視鏡用カメラ装置21は、接続された内視鏡から伝送された撮像信号に所定の信号処理を施し、映像信号を生成する。そして内視鏡用カメラ装置21は、生成した映像信号を、システムコントローラ3を介してモニタ25に出力するようになっている。なお、本実施形態において前記モニタ25は天井16から吊り下げられ移動自在に配設され、入力された映像信号、すなわち患部等の内視鏡画像が表示されるようになっている。
気腹装置22には、図示しない炭酸ガスボンベが接続されており、気腹装置22から患者に伸びた気腹チューブを介して、患者の腹部内に炭酸ガスが供給されるようになっている。
前記システムコントローラ3の他、操作パネル4、表示パネル5、内視鏡用カメラ装置21、気腹装置22、電気メス装置23および光源装置24は、ラック26に設置されている。
なお、前記システムコントローラ3は、上述した周辺機器群2のほかに、患者が横たわる手術台6、天井16から吊り下げられた無影灯27などの、手術室に常設された設備も、被制御機器として制御する。
また、図1では、内視鏡下外科手術が行われる手術室に設けられた医療システム1を例示したが、医療システム1の用途は内視鏡下外科手術に限られず、他の手術や診察のために用いられてもよい。また、医療システム1は、診察室など手術室以外に設けられてもよい。
医療システム1は、さらに、図1では図示しない種々の装置及び設備を含んでもよい。例えば、術野を観察する術野カメラなどを含んでもよく、これらをシステムコントローラ3で制御してもよい。
次に、本発明を特徴づける入力操作機能(GUI機能)を備えた虚像空中ディスプレイおよび当該空中ディスプレイの表示機構について図1および図2を参照して説明する。
空中ディスプレイ用モニタ11は、入力操作機能(GUI機能)を備えた前記虚像空中ディスプレイ15(図1参照)の元画像を表示するモニタであって、図1に示すように、天井16から移動式ロボットアーム13を介して配設される。
この空中ディスプレイ用モニタ11に表示される、前記虚像空中ディスプレイ15のための「元画像」は、表示I/F33を介してシステムコントローラ3における制御部31に制御されるようになっている。なお、この「元画像」は、たとえばタッチパネルである前記操作パネル4に表示されるような操作パネル画面である。
移動式ロボットアーム13は、天井16から延設され前記空中ディスプレイ用モニタ11を天井16に対して移動自在に支持する。そして、前記通信I/F32を介して制御部31に接続され、当該制御部31の制御下に前記空中ディスプレイ用モニタ11の表示面の位置および向きが制御されるようになっている。
空中ディスプレイ用プレート12は、空中ディスプレイ用モニタ11に表示された映像を、前記虚像空中ディスプレイ15として表示させるための機能を備えたプレートであり、当該医療システム1が配設される手術室における、前記空中ディスプレイ用モニタ11の略下方の所定位置において固定して配設される。
ここで、前記空中ディスプレイ用プレート12は、再公表2009−131128号公報において開示されるように、手術室の空間に虚像の空中ディスプレイを表示させるための機能を備える。
そして、前記空中ディスプレイ用プレート12を対称面として、前記空中ディスプレイ用モニタ11の表示面の対称となる位置に、当該空中ディスプレイ用モニタ11の表示面からの光線が空中において結像され、空中ディスプレイ用モニタ11に表示された映像が空中に虚像(虚像空中ディスプレイ15)として表出される。
ジェスチャセンサ14は、前記手術室の所定位置に配設され、術者等の、前記虚像空中ディスプレイ15を操作する操作者の所定部位のジェスチャを認識することにより当該所定部位の手術室における位置または向きの情報を検出センサである。
本実施形態において前記ジェスチャセンサ14は、術者(操作者)の手術室における立ち位置、顔の位置、顔の向き(方向)の位置方向情報の他、図4に示すような術者の手指の位置を検出するようになっている。
さらにジェスチャセンサ14は、術者(操作者)に係る位置方向情報の他、手術室内に配置されている機器(前記周辺機器群2、操作パネル4、5等の他、手術室に存在する任意の機器または機材等)の位置情報を検出することもできるようになっている。
すなわち、ジェスチャセンサ14は、操作者の位置と方向との少なくとも1つに関する情報を検知する第1の検知部、および、前記情報に基づいて前記ディスプレイを配置する第1の領域に存在する物体を検知する第2の検知部としての役目を果たす。
マイク41は、術者等の音声を集音するマイクであって、本実施形態においては空中ディスプレイ用モニタ11を制御する制御部31に対して、当該システムコントローラ3の作用を制御するための音声を集音する。また、スピーカ42は、術者等に対して所定の音声を発するためのスピーカであって、本実施形態においては、システムコントローラ3が空中ディスプレイ用モニタ11を制御する際に、所定の警告音声を発する機能を有する。
<空中ディスプレイの位置制御>
次に、本実施形態の医療システム1において、手術室の空間に表出される虚像空中ディスプレイ15の位置制御の仕組みについて説明する。
上述したように、虚像空中ディスプレイ15は視野角が狭く、操作者(術者)が表示面の正面に立位しないと視認することができない。しかしながら手術シーンにおいては、術者はその立ち位置に制約があることが多いばかりか、常に同じ位置、同じ向きに位置できるとは限らず、すなわち、空中ディスプレイの表示面に容易にかつ常時立位することは困難であると考えられる。
本発明は係る事情に鑑み、上述したように本実施形態においては手術室の所定位置に前記ジェスチャセンサ14を備える。このジェスチャセンサ14により、術者(操作者)の手術室における立ち位置、顔の位置、顔の向き(方向)の情報を検出し、この位置方向情報をシステムコントローラ3に送出する。
当該位置方向情報を取得したシステムコントローラ3における制御部31は、移動式ロボットアーム13を駆動し、虚像空中ディスプレイ15が操作者の正面に位置するように空中ディスプレイ用モニタ11を移動せしめる。
システムコントローラ3の制御下に空中ディスプレイ用モニタ11が的確な位置に移動されたのち、この空中ディスプレイ用モニタ11の表示面に対して前記空中ディスプレイ用プレート12の面対称の位置に虚像空中ディスプレイ15を表出することができるようになっている。すなわち、手術室の空間において操作者の正面の位置に虚像空中ディスプレイ15が表出されることとなる。
本実施形態においては、さらに、操作者の正面の位置に移動された前記虚像空中ディスプレイ15を、操作者の手指の座標位置に応じて微調整するようになっている。すなわち、操作者の手指の座標位置と当該虚像空中ディスプレイ15の表示面とをキャリブレーションすることを可能とする。
ここでジェスチャセンサ14は、上述したように、図4に示すように術者(操作者)の手指の位置を検出するようになっている。具体的にジェスチャセンサ14は、操作者の手のひら51における所定の特徴点51aの座標位置を検出し、この位置情報をシステムコントローラ3に送出する。
ジェスチャセンサ14から操作者の手のひら51における前記特徴点51aの座標位置情報を取得したシステムコントローラ3は、移動式ロボットアーム13を駆動制御して、操作者の手指の座標位置と虚像空中ディスプレイ15の表示面とが一致するように空中ディスプレイ用モニタ11の位置および向きを調整する。
当該調整により操作者の手指の座標位置と当該虚像空中ディスプレイ15の表示面とがキャリブレーションされるが、本実施形態においては、ジェスチャセンサ14により随時当該操作者の手のひら51における前記特徴点51aの座標位置を検出し、システムコントローラ3により空中ディスプレイ用モニタ11の位置調整も随時行うことで、当該キャリブレーションも継続的に実行することが可能となっている。
上述したように操作者の手指の座標位置と虚像空中ディスプレイ15の表示面とのキャリブレーションが継続的に実行されている状態においては、例えば、操作者の手指が虚像空中ディスプレイ15の操作画像に重ね配置され、ジェスチャセンサ14が、操作者の手指である手のひら51における特徴点51aの座標位置を検知することにより、操作者は、手術室の空間に表出されている虚像空中ディスプレイ15における表示面に表示されている操作パネル画面(GUI画面)をあたかもその場に存在するタッチパネルのように操作することが可能となる。すなわち、これにより虚像空中ディスプレイ15は、入力操作機能(GUI機能)を備えることとなる。
<第1の実施形態の作用>
次に本発明の第1の実施形態の医療システムの作用について説明する。
図3は、第1の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。
図3に示すように、システムコントローラ3における制御部31は、マイク41に入力された術者(操作者)100からの「表示」の音声入力を受けると(ステップS1)、ジェスチャセンサ14において検出された、操作者100の手術室における立ち位置、顔の位置または顔の向き(方向)に係る位置方向情報を取得する(ステップS2)。
この後制御部31は、ステップS2において取得した操作者100に係る位置方向情報に基づいて、虚像空中ディスプレイ15が操作者100に正対する領域を算出する(ステップS3)。
さらに制御部31は、ジェスチャセンサ14からの情報に基づいて、手術室における前記虚像空中ディスプレイ15を表出しようとする領域内に、何らかの機器・機材等の障害物が存在するか否かを判定する(ステップS4)。
このステップS4において障害物が存在する場合は、制御部31はスピーカ42を制御し、障害物の影響で虚像空中ディスプレイ15を表出することができない旨を音声出力する(ステップS5)。
一方、ステップS4において、前記虚像空中ディスプレイ15を表出しようとする領域内に障害物が存在しないと制御部31が判定した際は、当該制御部31は、移動式ロボットアーム13を駆動制御し、ステップS2において取得した操作者100に係る位置方向情報に基づいて、虚像空中ディスプレイ15が操作者の正面に位置するように空中ディスプレイ用モニタ11を移動せしめる(ステップS6)。
このステップS6においてシステムコントローラ3(制御部31)の制御下に空中ディスプレイ用モニタ11が的確な位置に移動された後、空中ディスプレイ用モニタ11の表示面に対して前記空中ディスプレイ用プレート12の面対称の位置に虚像空中ディスプレイ15を表出する(ステップS7)。
この後制御部31は、操作者の手指の座標位置と当該虚像空中ディスプレイ15の表示面とをキャリブレーションする(ステップS8)。すなわち、本実施形態の医療システムにおいては、上述したように、まずジェスチャセンサ14が操作者の手のひら51における所定の特徴点51aの座標位置を検出し、この位置情報をシステムコントローラ3に送出する(図4参照)。
その後制御部31は、ジェスチャセンサ14から操作者の手のひら51における前記特徴点51aの座標位置情報を取得し、移動式ロボットアーム13を駆動制御して、操作者の手指の座標位置と虚像空中ディスプレイ15の表示面とが一致するように空中ディスプレイ用モニタ11の位置および向きを調整しキャリブレーションする。
本実施形態においては、上述したように操作者の手指の座標位置と虚像空中ディスプレイ15の表示面とのキャリブレーションを継続的に実行し、これにより、操作者は、手術室の空間に表出されている虚像空中ディスプレイ15における表示面に表示されている操作パネル画面(GUI画面)をあたかもその場に存在するタッチパネルのように操作することが可能となる。
そして、操作者の手指の座標位置と虚像空中ディスプレイ15の表示面とのキャリブレーションが継続的に実行されている状態において制御部31は、虚像空中ディスプレイ15におけるGUI画面をタッチパネルのように操作する“コントローラの操作”を有効とする(ステップS9)。
なお本実施形態においては、“コントローラの操作”が有効とされ虚像空中ディスプレイ15におけるGUI画面の操作が可能になると、例えば、術者(操作者)が周辺機器群2等の各種機器を滅菌域において操作することが可能となる。
ステップS9において、“コントローラの操作”が有効な状態にされた後、制御部31は、術者(操作者)100から「終了」の音声入力を受けるまで(ステップS10)、ジェスチャセンサ14からの情報に基づいて操作者100の顔の位置を監視し、当該操作者100の顔の位置および向きが虚像空中ディスプレイ15の視野範囲内に位置するか否かを判定する(ステップS11)。
すなわち、術者(操作者)は手術の進行により手術室内を移動することもあるが、上述したように虚像空中ディスプレイ15は視野範囲が狭いため、操作者100が移動すると視認できなってしまう。この状態において虚像空中ディスプレイ15に係る“コントローラの操作”が有効なままであると、操作者100の手等が誤って虚像空中ディスプレイ15の表示範囲に進入し、周辺機器群2等を誤動作させてしまう虞がある。
本発明は係る点に鑑み、“コントローラの操作”が有効にされた後は操作者100の顔の位置および向きを監視し、不慮の事故を防止するようにしている。すなわち、ステップS11において、制御部31は、当該操作者100の顔の位置が虚像空中ディスプレイ15の視野範囲から外れたと判定すると、当該“コントローラの操作”を無効とする(ステップS12)。すなわち、空間に浮かぶタッチパネルのように機能していた虚像空中ディスプレイ15に係るGUI操作を無効とする。
加えて制御部31は、スピーカ42を駆動し、音声応答により当該“コントローラの操作”を無効にした旨を操作者100に通知する(ステップS13)。
一方、ステップS11において当該操作者100の顔の位置が虚像空中ディスプレイ15の視野範囲内に位置する限り、制御部31は“コントローラの操作”の有効状態を継続し(ステップS14)、また、ステップS12において“コントローラの操作”が一旦無効とされた後、再び当該操作者100の顔の位置が虚像空中ディスプレイ15の視野範囲内に位置した場合は、“コントローラの操作”を再び有効に設定し(ステップS15)、併せて、音声応答により当該“コントローラの操作”を有効にした旨を操作者100に通知する(ステップS16)。
また、ステップS10において、“コントローラの操作”が有効な状態において操作者100から「終了」の音声入力を受けると、制御部31は、空中ディスプレイ用モニタ11における画面表示を停止し、これにより、それまで空間上に表出されていた虚像空中ディスプレイ15も消失することとなる(ステップS17)。
以上説明したように本第1の実施形態の医療システムによると、タッチパネルの如き入力操作機能(GUI機能)を備えた虚像の空中ディスプレイを、手術室における的確な空間位置に表出することができる。
これにより、滅菌域に居る術者が、不潔域の装置に触れることなくタッチパネルを操作するように医療システムにおける各種周辺機器を操作することが可能となる。
また、本第1の実施形態によると、上記効果に加えて、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、予め障害物の有無を確認したうえで表出するように空中ディスプレイ用モニタ11等を制御するので、意図しない操作者の手指の動作または手術室にすでに存在する機器等による誤動作を防止することができる。
さらに、本第1の実施形態によると、上記効果に加えて、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出した後においても、操作者の位置情報を監視することにより、操作者が虚像空中ディスプレイの視野範囲から外れた場合でも、意図しない操作者の手指の動作による誤動作を防止することができる。
(第2の実施形態)
次に本発明の第2の実施形態について説明する。
上述した第1の実施形態の医療システムは、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、システムコントローラ3における制御部31が術者(操作者)からの「表示」の音声入力を認識した後(図3におけるステップS1)、ジェスチャセンサ14において操作者の手術室における立ち位置、顔の位置または顔の向き(方向)に係る位置方向情報を取得し(図3におけるステップS2)、制御部31が前記操作者に係る位置方向情報に基づいて、虚像空中ディスプレイ15が操作者に正対する位置を算出する(図3におけるステップS3)ことにより、制御部31が手術室における前記虚像空中ディスプレイ15を表出しようとする領域内に、何らかの機器・機材等の障害物が存在するか否かを判定して(図3におけるステップS4)、予め障害物の有無を確認したうえで表出するように空中ディスプレイ用モニタ11等を制御した(図3におけるステップS5)。
これに対して本第2の実施形態の医療システムは、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、制御部31が操作者からの「表示」の音声入力を認識することで当該虚像空中ディスプレイの表出システムの稼働を開始する点では同じだが、この後、制御部31が、ジェスチャセンサ14において操作者100の「手のひら」の位置または方向に係る位置方向情報を取得し、係る「手のひら」の位置方向情報に基づいて、当該「手のひら」の面に応じた虚像空中ディスプレイ15の位置を算出することにより、以下、第1の実施形態と同様に、虚像空中ディスプレイ15を表出しようとする領域内における障害物の有無を確認したうえで空中ディスプレイ用モニタ11等を制御することを特徴とするものである。
すなわち、本第2の実施形態の医療システムは、その基本的な構成は第1の実施形態と同様であるが、第1の実施形態に比して空中ディスプレイの制御作用の一部を異にするものである。したがって、ここでは、第1の実施形態と異なる部分の説明にとどめ、第1の実施形態と同様の部分についての説明は省略する。
<第2の実施形態の作用>
ここで本発明の第2の実施形態の医療システムの作用について説明する。
図5は、本発明の第2の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。
図5に示すように、本第2の実施形態においては、システムコントローラ3における制御部31は、マイク41に入力された術者(操作者)100からの「表示」の音声入力を受けると(ステップS1)、ジェスチャセンサ14から位置情報に基づいて手術室における操作者100の「手のひら」の特徴点を取得する(ステップS102)。
すなわち、制御部31は、ジェスチャセンサ14が操作者の手のひら51における所定の特徴点51aの座標位置を検出し(図4参照)、この位置情報をシステムコントローラ3に送出する。
その後制御部31は、ジェスチャセンサ14から操作者の手のひら51における前記特徴点51aの座標位置情報を取得し、この「手のひら」の座標位置情報に基づいて当該「手のひら」の位置に応じた(すなわち、手のひらの中心点および手のひらの面に応じた)虚像空中ディスプレイ15の表出位置を算出する(ステップS103)。
この後制御部31は、ステップS103において算出した虚像空中ディスプレイ15を表出しようとする領域内に、何らかの機器・機材等の障害物が存在するか否かを判定する(ステップS4)。
このステップS4において障害物が存在する場合は、第1の実施形態と同様に、制御部31はスピーカ42を制御し、障害物の影響で虚像空中ディスプレイ15を表出することができない旨を音声出力する(ステップS5)。
一方、ステップS4において、前記虚像空中ディスプレイ15を表出しようとする領域内に障害物が存在しないと制御部31が判定した際は、当該制御部31は、ステップS103において算出した領域に虚像空中ディスプレイ15を表出すべく移動式ロボットアーム13を駆動制御し、空中ディスプレイ用モニタ11を移動せしめる(ステップS6)。
このステップS6においてシステムコントローラ3(制御部31)の制御下に空中ディスプレイ用モニタ11が的確な位置に移動された後、空中ディスプレイ用モニタ11の表示面に対して前記空中ディスプレイ用プレート12の面対称の位置に虚像空中ディスプレイ15を表出する(ステップS7)。
この後制御部31は、第1の実施形態と同様に、操作者の手指の座標位置と当該虚像空中ディスプレイ15の表示面とをキャリブレーションし(ステップS8)、操作者の手指の座標位置と虚像空中ディスプレイ15の表示面とのキャリブレーションが継続的に実行されている状態において制御部31は、虚像空中ディスプレイ15におけるGUI画面をタッチパネルのように操作する“コントローラの操作”を有効とする(ステップS9)。
以下“コントローラの操作”については上述した第1の実施形態と同様なので、ここでの説明は省略する。
以上説明したように本第2の実施形態の医療システムによると、第1の実施形態と同様に、タッチパネルの如き入力操作機能(GUI機能)を備えた虚像の空中ディスプレイを、手術室における的確な空間位置に表出することができ、滅菌域に居る術者が、不潔域の装置に触れることなくタッチパネルを操作するように医療システムにおける各種周辺機器を操作することが可能となる。
また、本第2の実施形態によると、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出する際、予め障害物の有無を確認したうえで表出するように空中ディスプレイ用モニタ11等を制御するので、手術室にすでに存在する機器等による誤動作を防止することができる。
さらに、本第2の実施形態によると、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出した後においても、操作者の位置情報を監視することにより、操作者が虚像空中ディスプレイの視野範囲から外れた場合でも、意図しない操作者の手指の動作による誤動作を防止することができる。
さらに、本第2の実施形態によると、操作者が自身の「手のひら」を翳した位置に虚像空中ディスプレイ15を表出するようにしたので、すなわち、操作者の意思がより濃く反映した位置に虚像空中ディスプレイ15を表出させることができる。
(第3の実施形態)
次に本発明の第3の実施形態について説明する。
上述した第1の実施形態の医療システムは、上述の如きタッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを所定空間位置に表出するための空中ディスプレイ用モニタ11を、移動式ロボットアーム13を介して移動自在とする。これにより手術室における虚像空中ディスプレイ15の表出する位置も比較的自由度を高く設定することが可能となる。
これに対して本第3の実施形態の医療システムは、虚像空中ディスプレイの表出位置は比較的限定した位置に制限されるものの、空中ディスプレイ用モニタを手術室の所定箇所に固定したシンプルな構成をなすことを特徴とする。
また、空中ディスプレイ用モニタの位置が固定されることから上述した空中ディスプレイ用プレートも小型化したプレートを採用するものとする。
このように第3の実施形態の医療システムは、虚像空中ディスプレイの表出位置は第1の実施形態に比して限定されることとなるが、空中ディスプレイ用モニタの移動機構および制御機構を省くことができ、より小規模なシステムにより手術室における虚像空中ディスプレイの表出を実現することができるというメリットを有する。
図6は、本発明の第3の実施形態の医療システムにおける要部であって、虚像空中ディスプレイの表出に係る機構の要部構成を示した図であり、図7は、第3の実施形態の医療システムにおける電気的な構成を示した図である。
図6および図7に示すように、本第3の実施形態の医療システム101は、内視鏡下外科手術が行われる手術室に設けられたシステムであり、第1の実施形態と同様な複数の医療機器で構成される被制御機器である周辺機器群2と、これら周辺機器群2を集中制御するとともに各種機器を制御するシステムコントローラ103と、看護師等の操作者による操作を受け付ける操作パネル4と、手術に係る所定の情報を選択的に表示する表示部である表示パネル5と、患者が載置される手術台6(図6では図示せず)と、入力操作機能(GUI機能)を備えた虚像空中ディスプレイ115の元画像を表示する空中ディスプレイ用モニタ111と、前記虚像空中ディスプレイを表示させるための空中ディスプレイ用プレート112と、前記空中ディスプレイ用モニタ111を手術室の所定位置に固定的に支持するアーム113と、術者(操作者)100の所定部位および手術室内における機器等のジェスチャを認識するジェスチャセンサ114と、術者等の音声を集音するマイク41と、術者等に対して所定の音声を発するためのスピーカ42と、で主要部が構成されている。
すなわち、本第3の実施形態の医療システムは、第1の実施形態に比して虚像空中ディスプレイの表出のための空中ディスプレイ用モニタの移動機構および制御機構を異にするものであり、その他の構成は第1の実施形態と同様である。したがって、ここでは、第1の実施形態と異なる部分の説明にとどめ、第1の実施形態と同様の部分についての説明は省略する。
第3の実施形態においてシステムコントローラ103は、周辺機器群2および当該医療システム101における各種装置の制御を司るものであり、図7に示すように、各種制御を行う制御部131と、前記周辺機器群2の他、操作パネル4、表示パネル5およびジェスチャセンサ114等との通信信号のインターフェースである通信I/F32と、前記空中ディスプレイ用モニタ111と接続された表示I/F33と、所定の情報を記録する記録部34と、前記マイク41およびスピーカ42に接続された音声I/F35と、で主要部が構成されている。
次に、本第3の実施形態における虚像空中ディスプレイおよび当該空中ディスプレイの表示機構について図6および図7を参照して説明する。
本第3の実施形態において空中ディスプレイ用モニタ111は、入力操作機能(GUI機能)を備えた前記虚像空中ディスプレイ115の元画像を表示するモニタであって、図6に示すように、当該医療システム101が配設される手術室における天井116の上面部(天井裏部)において、アーム113に支持され配設される。
この空中ディスプレイ用モニタ111に表示される、虚像空中ディスプレイ115のための「元画像」は、第1の実施形態と同様に、表示I/F33を介してシステムコントローラ103における制御部131に制御されるようになっている。
空中ディスプレイ用プレート112は、第1の実施形態における前記空中ディスプレイ用プレート12と同様の機能を備えたレートであって、すなわち、空中ディスプレイ用モニタ111に表示された映像を、虚像の前記虚像空中ディスプレイ115として表示させるための機能を備えたプレートである。
また、空中ディスプレイ用プレート112は、前記天井116における、手術室を上方から臨むように切り欠かれた箇所において、当該切り欠き部を塞ぐとともに当該天井116の張設面に対して略平行となる方向に位置するよう配設されている。なお、当該空中ディスプレイ用プレート112の機能は、第1の実施形態における空中ディスプレイ用プレート12と同等であるのでその機能についての説明は省略する。
また、前記空中ディスプレイ用モニタ111は、その表示面が、前記天井116の切り欠き部において露出している前記空中ディスプレイ用プレート112を当該天井116の裏側から臨む位置に配置されるように配設されている。
これにより、本第3の実施形態においては、当該空中ディスプレイ用プレート112を対称面として、前記空中ディスプレイ用モニタ111の表示面の対称となる位置には、当該空中ディスプレイ用モニタ111の表示面からの光線が空中において結像され、空中ディスプレイ用モニタ111に表示された映像が手術室の空中に虚像(虚像空中ディスプレイ115)として表出されることとなる。
ところで、上述した如き虚像空中ディスプレイは虚像であるが故に視野角(視野範囲)が狭く、操作者(術者)が表示面の正面に立位しないと視認することができない。一方で、本第3の実施形態においては空中ディスプレイ用モニタ111が固定化されているがゆえに虚像空中ディスプレイ115の表出位置は限定的である。
係る事情に鑑み本第3の実施形態の医療システムは、現在の操作者の立ち位置と虚像空中ディスプレイ115の表出位置との位置関係を把握し、操作者の立ち位置が虚像空中ディスプレイ115の視野範囲を外れている場合に当該操作者を虚像空中ディスプレイ115の視野範囲内に案内すべく、操作者に対して所定の情報を提供することを特徴とするものである。
図6に戻って前記ジェスチャセンサ114は、第1の実施形態と同様に、前記手術室の所定位置に配設され、術者等の、前記虚像空中ディスプレイ115を操作する操作者の所定部位のジェスチャを認識することにより当該所定部位の手術室における位置または向きの情報を検出センサである。
また、本第3の実施形態において前記ジェスチャセンサ114は、図4に示すような術者(操作者)の手指の位置の他、操作者の手術室における立ち位置の情報等を検出し、この位置情報をシステムコントローラ103に送出するようになっている。
具体的に本第3の実施形態においてジェスチャセンサ114からの位置情報を取得したシステムコントローラ103は、操作者の手のひら51における所定の特徴点51aの座標位置を検出することにより(図4参照)、操作者の手振り動作を検知するようになっている。
またシステムコントローラ103は、ジェスチャセンサ114からの、操作者の手術室における立ち位置情報を取得し、当該操作者の立ち位置と虚像空中ディスプレイ115の視野範囲までの距離を算出するようになっている。
そしてシステムコントローラ103は、操作者100の現在の立ち位置が虚像空中ディスプレイ115の視野範囲内にあるときは空中ディスプレイ用モニタ111を作動させて空中に虚像空中ディスプレイ115を表出する。
一方で、操作者100の立ち位置が虚像空中ディスプレイ115の視野範囲外にあるときは、システムコントローラ103は、前記操作パネル4に当該操作者100の立ち位置と虚像空中ディスプレイ115の視野範囲との位置関係を示す情報を表示せしめるよう制御するとともに、音声応答により、操作者100に対して虚像空中ディスプレイ115の視野範囲までの情報を提示するようスピーカ42を制御する。
<第3の実施形態の作用>
次に本発明の第3の実施形態の医療システムの作用について説明する。
図8は、第3の実施形態の医療システムにおける空中ディスプレイの制御作用を示すフローチャートである。また、図9は、第3の実施形態の医療システムにおける操作パネルの一表示例を示した図である。
図8に示すように、システムコントローラ103における制御部131は、ジェスチャセンサ114からの情報に基づき、操作者100の手振り動作を検知すると(ステップS21)、空中ディスプレイ用モニタ111の表示を制御して、当該空中ディスプレイ用モニタ111の表示面に対して前記空中ディスプレイ用プレート112の面対称の位置に虚像空中ディスプレイ115を表出せしめる(ステップS22)。
この後制御部131は、ジェスチャセンサ114において検出された、操作者100の手術室における立ち位置に係る情報を取得し(ステップS23)、操作者100の現在の立ち位置が虚像空中ディスプレイ115の視野範囲内にあるか否かを判定する(ステップS24)。
このステップS24において、操作者100の立ち位置が虚像空中ディスプレイ115の視野範囲内にある限り、制御部131は、操作者100が再び手振り動作により虚像空中ディスプレイ115の表出を停止する意思を確認するまでは虚像空中ディスプレイ115の表出を続ける(ステップS28)。
一方、前記ステップS24において、操作者100の立ち位置が虚像空中ディスプレイ115の視野範囲外にあるとき、または、操作者100が前記視野範囲内から視野範囲外に移動した際は、制御部131は、ジェスチャセンサ114からの、操作者100の手術室における立ち位置情報を取得し、当該操作者100の立ち位置と虚像空中ディスプレイ115の視野範囲までの距離を算出する(ステップS25)。
次にシステムコントローラ103における制御部131は、前記操作パネル4に、当該操作者100の立ち位置と虚像空中ディスプレイ115の視野範囲との位置関係を示す情報(たとえば図9に示す情報等)を表示せしめるよう制御する(ステップS26)。
具体的にこの情報は、たとえば図9に示すように、操作者100、虚像空中ディスプレイ115の視野範囲および虚像空中ディスプレイ115自体の位置関係を模式的に表示するとともに、操作者100に対して現在位置から虚像空中ディスプレイ115の視野範囲に入るまでの距離または方向等の情報(ナビゲート情報)を提示する。たとえば、制御部131は、操作者100が虚像空中ディスプレイ115の視野範囲外にいると判定部が判定する場合、虚像空中ディスプレイ115の視野範囲内に操作者100を誘導する通知を表示パネル5に表示する。
さらにシステムコントローラ103における制御部131は、操作者100に対して虚像空中ディスプレイ115の視野範囲に入るまでの情報、たとえば、上述したナビゲート情報を、音声応答により提示するようスピーカ42を制御する(ステップS27)。
一方、前記ステップS28において制御部131が、操作者100による再度の手振り動作(すなわち、虚像空中ディスプレイ115の表出を停止するという操作者100の意思による動作)を確認した場合は、空中ディスプレイ用モニタ111を非表示として虚像空中ディスプレイ115の表示も停止する(ステップS29)。
以上説明したように本第3の実施形態の医療システムによると、第1の実施形態と同様に、タッチパネルの如き入力操作機能(GUI機能)を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出することができ、滅菌域に居る術者が、不潔域の装置に触れることなくタッチパネルを操作するように医療システムにおける各種周辺機器を操作することが可能となる。
また、本第3の実施形態の医療システムによると、手術室内における虚像空中ディスプレイの表出位置を限定的に制限した、上述した第1の実施形態に比して小規模なシステムであっても、操作者を虚像空中ディスプレイの視野範囲内に的確に案内することができる。
加えて、本第3の実施形態の医療システムは、第1の実施形態に比して小規模なシステムであるがゆえに第1の実施形態に比して低コストで虚像空中ディスプレイの表出を実現することができる。
なお、本第3の実施形態においては、空中ディスプレイ用プレート112を天井116の切り欠き部に配設し、空中ディスプレイ用モニタ111を天井116の天井裏部に配設するものとしたが、これに限らず、空中ディスプレイ用プレート112を手術室の所定の壁面の切り欠き部に配設し、空中ディスプレイ用モニタ111を当該壁の裏面側部に配設するようにしても同様の作用効果を奏する。
また、前記第1および第2の実施形態においては、操作者の「音声入力」をトリガーとして当該虚像空中ディスプレイの表出システムを稼働させるものとしたが、これに限らず、たとえば、「音声入力」の代わりにまたは「音声入力」と併せて第3の実施形態において示した如く操作者の「手振り動作」を当該表出システム稼働のトリガーとしてもよい。
一方、逆に第3の実施形態においても、操作者の「手振り動作」の代わりにまたは「手振り動作」と併せて「音声入力」を当該表出システム稼働のトリガーとしてもよい。
さらに、上述した実施形態における虚像空中ディスプレイの表出システム稼働のトリガーは、操作者である術者の「音声入力」もしくは「手振り動作」に限らず、術者による他の意思表示、または、術者以外による者の操作等であってもよい。
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに1対1には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック(部)を想定して実施の形態を説明した。
また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の医療システムによれば、タッチパネルの如き入力操作機能を備えた虚像空中ディスプレイを、手術室における的確な空間位置に表出可能とする医療システムを提供することができる。
本出願は、2014年9月24日に日本国に出願された特願2014−194294号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (10)

  1. 像を表示可能な医療システムであって、
    操作者の位置と向きとの少なくとも1つに関する情報を検知する第1の検知部と、
    前記情報に基づいて、空中に前記虚像を配置する領域を算出する算出部と、
    手術室内の物体の位置を検知する第2の検知部と、
    前記第2の検知部が検知した結果に基づいて、前記領域内に前記物体が存在するか否かを判定する判定部と、
    前記判定部の判定結果に基づいて、前記像を前記領域内に配置する制御部と、
    を具備することを特徴とする医療システム。
  2. 前記第2の検知部は、前記領域内に存在する物体を検知し、
    前記制御部は、前記判定部が前記領域内に前記物体が存在しないと判定した場合に、前記虚像を前記領域内に配置する、
    ことを特徴とする請求項1に記載の医療システム。
  3. 前記情報は、前記操作者の立ち位置、前記操作者の顔の位置又は前記操作者の顏の向きのうち少なくとも1つを含む、
    ことを特徴とする請求項1に記載の医療システム。
  4. 前記虚像は、操作画面を含み、
    前記操作者の手指の位置を検知する第3の検知部を有し、
    前記制御部は、前記手指の位置と前記操作画面とが一致するように前記虚像の位置及び向きを調整する、
    ことを特徴とする請求項に記載の医療システム。
  5. 前記判定部は、前記情報に基づいて、前記操作者が前記虚像の視野範囲内にいるか否かを判定し、
    前記制御部は、
    前記操作者が前記虚像の視野範囲内にいると前記判定部が判定した場合、前記操作画面による操作を有効とし、
    前記操作者が前記虚像の視野範囲外にいると前記判定部が判定した場合、前記操作画面による操作を無効とする、
    ことを特徴とする請求項4に記載の医療システム。
  6. 手術に係る情報を表示する表示部を有し、
    前記制御部は、前記操作者が前記虚像の視野範囲外にいると前記判定部が判定した場合、前記虚像の視野範囲内に前記操作者を誘導する通知を、前記表示部に表示する、
    ことを特徴とする請求項に記載の医療システム。
  7. 前記第1の検知部、前記第2の検知部及び前記第3の検知部は、ジェスチャセンサの出力に基づいて、それぞれ前記情報、前記物体、前記手指の位置を取得する、
    ことを特徴とする請求項に記載の医療システム。
  8. モニタと、光線の進む方向を変化させるプレートとを有し、
    前記プレートを対称面とし、前記モニタの表示面に対して対称となる位置に、前記モニタの前記表示面から発する前記光線を結像することで、前記虚像を表示する、
    ことを特徴とする請求項に記載の医療システム。
  9. 前記制御部からの指示に基づき、前記虚像が表示可能である位置に前記モニタを配置する配置部を有する、
    ことを特徴とする請求項8に記載の医療システム。
  10. 前記配置部は、室内における天井又は壁から前記モニタを移動自在に支持する、
    ことを特徴とする請求項9に記載の医療システム。
JP2016504244A 2014-09-24 2015-03-19 医療システム Expired - Fee Related JP5927366B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014194294 2014-09-24
JP2014194294 2014-09-24
PCT/JP2015/058326 WO2016047173A1 (ja) 2014-09-24 2015-03-19 医療システム

Publications (2)

Publication Number Publication Date
JP5927366B1 true JP5927366B1 (ja) 2016-06-01
JPWO2016047173A1 JPWO2016047173A1 (ja) 2017-04-27

Family

ID=55580715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016504244A Expired - Fee Related JP5927366B1 (ja) 2014-09-24 2015-03-19 医療システム

Country Status (3)

Country Link
US (1) US9517109B2 (ja)
JP (1) JP5927366B1 (ja)
WO (1) WO2016047173A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021185922A (ja) * 2020-05-25 2021-12-13 株式会社モリタ製作所 制御装置、歯科診療システム、および制御方法
JP2022088930A (ja) * 2020-12-03 2022-06-15 株式会社吉田製作所 歯科診療システム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
CN109275333B (zh) * 2016-06-03 2022-05-17 柯惠Lp公司 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
ES2649789B1 (es) * 2016-07-14 2019-01-04 Fund Rioja Salud Sistema de visualizacion de imagenes medicas
JP2018147054A (ja) * 2017-03-01 2018-09-20 学校法人東邦大学 非接触遠隔ポインター制御装置
JP6922358B2 (ja) * 2017-04-06 2021-08-18 株式会社ニデック 生体観察システムおよび生体観察制御プログラム
EP3629978A4 (en) * 2017-05-25 2021-03-03 Covidien LP SYSTEMS AND METHODS FOR DETECTION OF OBJECTS IN THE FIELD OF VISION OF AN IMAGE CAPTURING DEVICE
JP7128457B2 (ja) * 2017-08-30 2022-08-31 クリナップ株式会社 吊戸棚
US10610307B2 (en) * 2017-09-28 2020-04-07 General Electric Company Workflow assistant for image guided procedures
JP7135324B2 (ja) * 2018-01-23 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP7119384B2 (ja) * 2018-01-23 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP6956686B2 (ja) * 2018-06-20 2021-11-02 三菱電機株式会社 角度制御装置および角度制御方法
US11488700B2 (en) * 2019-12-13 2022-11-01 Medtronic Minimed, Inc. Medical device configuration procedure guidance responsive to detected gestures
US20240155084A1 (en) * 2021-03-31 2024-05-09 Aiphone Co., Ltd. Intercom device and control system
WO2023079879A1 (ja) * 2021-11-04 2023-05-11 株式会社村上開明堂 空中操作装置及び立ち上げ方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142027A (ja) * 1999-11-16 2001-05-25 Samii Kk 医療機器用立体画像表示装置
JP2005040613A (ja) * 2003-07-25 2005-02-17 Siemens Ag 医療技術の制御システムおよび医療技術の検査および/または治療装置の操作方法
JP2009100996A (ja) * 2007-10-24 2009-05-14 Aloka Co Ltd 超音波診断システム
JP2011527760A (ja) * 2008-07-10 2011-11-04 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
JP2014067071A (ja) * 2012-09-10 2014-04-17 Askanet:Kk 空中タッチパネル
JP2014139621A (ja) * 2013-01-21 2014-07-31 National Institute Of Information & Communication Technology 可動式空中映像表示装置
JP2014153602A (ja) * 2013-02-12 2014-08-25 Ikutoku Gakuen 光学プレート及び空間画像表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231896A (ja) 1993-12-27 1995-09-05 Olympus Optical Co Ltd システム制御装置
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
DE102008015312A1 (de) * 2008-03-20 2009-10-01 Siemens Aktiengesellschaft Displaysystem zur Wiedergabe medizinischer Hologramme
US9241768B2 (en) * 2008-03-27 2016-01-26 St. Jude Medical, Atrial Fibrillation Division, Inc. Intelligent input device controller for a robotic catheter system
US9161817B2 (en) * 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
WO2009131128A1 (ja) 2008-04-22 2009-10-29 Fujishima Tomohiko 光学結像装置及びそれを用いた光学結像方法
DE102008034686A1 (de) * 2008-07-25 2010-02-04 Siemens Aktiengesellschaft Verfahren zur Darstellung von interventionellen Instrumenten in einem 3 D-Datensatz einer zu behandelnden Anatomie sowie Wiedergabesystem zur Durchführung des Verfahrens
US8704822B2 (en) * 2008-12-17 2014-04-22 Microsoft Corporation Volumetric display system enabling user interaction
US9439736B2 (en) * 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US20140282008A1 (en) * 2011-10-20 2014-09-18 Koninklijke Philips N.V. Holographic user interfaces for medical procedures
US20130225999A1 (en) * 2012-02-29 2013-08-29 Toshiba Medical Systems Corporation Gesture commands user interface for ultrasound imaging systems
US9554772B2 (en) * 2014-03-05 2017-01-31 Mammen Thomas Non-invasive imager for medical applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142027A (ja) * 1999-11-16 2001-05-25 Samii Kk 医療機器用立体画像表示装置
JP2005040613A (ja) * 2003-07-25 2005-02-17 Siemens Ag 医療技術の制御システムおよび医療技術の検査および/または治療装置の操作方法
JP2009100996A (ja) * 2007-10-24 2009-05-14 Aloka Co Ltd 超音波診断システム
JP2011527760A (ja) * 2008-07-10 2011-11-04 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
JP2014067071A (ja) * 2012-09-10 2014-04-17 Askanet:Kk 空中タッチパネル
JP2014139621A (ja) * 2013-01-21 2014-07-31 National Institute Of Information & Communication Technology 可動式空中映像表示装置
JP2014153602A (ja) * 2013-02-12 2014-08-25 Ikutoku Gakuen 光学プレート及び空間画像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021185922A (ja) * 2020-05-25 2021-12-13 株式会社モリタ製作所 制御装置、歯科診療システム、および制御方法
JP7267971B2 (ja) 2020-05-25 2023-05-02 株式会社モリタ製作所 制御装置、歯科診療システム、および制御方法
JP2022088930A (ja) * 2020-12-03 2022-06-15 株式会社吉田製作所 歯科診療システム

Also Published As

Publication number Publication date
US9517109B2 (en) 2016-12-13
WO2016047173A1 (ja) 2016-03-31
US20160310228A1 (en) 2016-10-27
JPWO2016047173A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP5927366B1 (ja) 医療システム
CN108778093B (zh) 内窥镜系统
US11602263B2 (en) Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
JP5911655B1 (ja) 医療システム
US20160007826A1 (en) Device and method for asissting laparoscopic surgery - rule based approach
US20170202624A1 (en) Device and method for assisting laparoscopic surgery utilizing a touch screen
JP2021118883A (ja) 医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置
KR20220028139A (ko) 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
JPWO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
US20190339836A1 (en) Information processing apparatus, method, and program
US20200015655A1 (en) Medical observation apparatus and observation visual field correction method
US20160180046A1 (en) Device for intermediate-free centralised control of remote medical apparatuses, with or without contact
JP5945644B1 (ja) 医療システム
US20160354164A1 (en) Surgical system and medical-device-interference avoidance method
CN110913787B (zh) 手术支持系统、信息处理方法和信息处理装置
JP6411284B2 (ja) 医療システムおよび医療システムにおける表示制御方法
US11375878B2 (en) Information presentation system including a flexible tubular insertion portion
WO2023171263A1 (ja) 制御装置および医療用ロボット
US20230404702A1 (en) Use of external cameras in robotic surgical procedures
US12016522B2 (en) Medical safety control apparatus, medical safety control method, and medical support system
CN114585322A (zh) 用于检测手术器械与患者组织的物理接触的系统和方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R151 Written notification of patent or utility model registration

Ref document number: 5927366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees