WO2021006201A1 - 医療用表示システム、制御装置、および制御方法 - Google Patents

医療用表示システム、制御装置、および制御方法 Download PDF

Info

Publication number
WO2021006201A1
WO2021006201A1 PCT/JP2020/026167 JP2020026167W WO2021006201A1 WO 2021006201 A1 WO2021006201 A1 WO 2021006201A1 JP 2020026167 W JP2020026167 W JP 2020026167W WO 2021006201 A1 WO2021006201 A1 WO 2021006201A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
area
information
surgical field
Prior art date
Application number
PCT/JP2020/026167
Other languages
English (en)
French (fr)
Inventor
加奈 松浦
吉岡　圭一
一真 高橋
祥次 渡邊
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021530671A priority Critical patent/JPWO2021006201A1/ja
Priority to US17/597,120 priority patent/US20220265384A1/en
Publication of WO2021006201A1 publication Critical patent/WO2021006201A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、術者の集中を妨げることなく、必要な情報を提示することができるようにする医療用表示システム、制御装置、および制御方法に関する。 本技術の医療用表示システムは、患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得する取得部と、術野画像信号と提示情報信号に基づいて、表示画像を生成する制御部とを有する制御装置を備え、制御部は、表示画像の表示領域のうち、上部領域に、提示情報信号から生成した提示情報を配置し、上部領域と水平方向に同等の長さを有する中部領域に、術野画像信号に基づいて生成した術野画像を配置し、上部領域より下側の領域に、制御装置を制御するためのユーザインターフェース情報を配置し、表示するように表示画像を生成する。本技術は、ディスプレイの表示を制御する制御装置に適用することができる。

Description

医療用表示システム、制御装置、および制御方法
　本技術は、医療用表示システム、制御装置、および制御方法に関し、特に、術者の集中を妨げることなく、必要な情報を提示することができるようにした医療用表示システム、制御装置、および制御方法に関する。
　医療用撮像装置により撮像された術野画像を見ながら手術を行う術者は、術野画像以外にも、他の医療機器の情報を見るなどして、手術に関する意思決定を行う必要がある。
　術者が複数の医療機器の情報を容易に得ることができるようにするための各種の技術が提案されている。例えば、特許文献１には、術野画像および複数の医療機器の情報を一つの画面に集約して表示する技術が開示されている。
特開２０１２－２２８２８６号公報
　術野画像とともに複数の医療機器の情報を一つの画面に表示する場合、通常、メインとなる術野画像が他の医療機器の情報よりも大きく表示されることが求められる。
　また、術野画像を見ている術者の集中が、他の医療機器の情報によって妨げられることのないようにすることが求められる。
　本技術はこのような状況に鑑みてなされたものであり、術者の集中を妨げることなく、必要な情報を提示することができるようにするものである。
　本技術の一側面の医療用表示システムは、患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得する取得部と、前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成する制御部とを有する制御装置を備え、前記制御部は、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、前記制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する。
　本技術の一側面の制御装置は、患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得する取得部と、前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成する制御部とを備え、前記制御部は、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する。
　本技術の一側面の制御方法は、制御装置が、患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得し、前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成し、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、前記制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する。
　本技術の一側面の画像処理システムにおいては、患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とが取得され、前記術野画像信号と前記提示情報信号に基づいて、表示画像が生成され、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、前記制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像が生成される。
　本技術の一側面の制御装置においては、患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とが取得され、前記術野画像信号と前記提示情報信号に基づいて、表示画像が生成され、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、前記制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像が生成される。
本技術の一実施の形態に係る医療用表示システムを用いた手術の様子を示す図である。 表示装置に表示される表示画像の領域構成の例を示す図である。 モニタリング情報などが表示された提示情報領域を拡大して示す図である。 操作メニューが表示された操作メニュー領域を拡大して示す図である。 表示画像の他の領域構成の例を示す図である。 表示画像のさらに他の領域構成の例を示す図である。 制御装置のハードウェア構成例を示すブロック図である。 制御装置の機能構成例を示すブロック図である。 制御装置の提示処理について説明するフローチャートである。 提示情報領域の表示方法の例を示す図である。 提示情報が表示された提示情報領域の表示方法の例を示す図である。 提示情報が表示された提示情報領域の他の表示方法の例を示す図である。 制御装置の強調表示処理について説明するフローチャートである。 「Reference」が選択された場合の表示装置に表示される表示画像の領域構成の例を示す図である。 参照情報グループを表す情報が表示された表示画像の例を示す図である。 サムネイル画像が表示された主な参照情報グループ領域を拡大して示す図である。 参照画像が一覧で表示された表示画像の例を示す図である。 選択された参照画像が表示された表示画像の例を示す図である。 ユーザにより選択された参照画像が２枚表示された表示画像を拡大して示す図である。 参照情報グループを表す情報が表示される表示画像の他の領域構成の例を示す図である。 参照画像が一覧で表示された他の表示画像の例を示す図である。 参照画像が一覧で表示されたさらに他の表示画像の例を示す図である。 制御装置の参照情報提示処理について説明するフローチャートである。 「Move」が選択された場合の表示装置１４に表示される表示画像の例を示す図である。 表示される方向指示子の例を示す図である。 術野画像の表示範囲の変更ができない方向を提示する表示画像の領域構成の例を示す図である。 制御装置の表示範囲変更処理について説明するフローチャートである。 アラートが表示される表示画像の領域構成の例を示す図である。 選択された参照画像が表示された表示画像の他の領域構成の例を示す図である。 ボタンが表示される表示画像の領域構成の例を示す図である。 「Zoom」が選択された場合の表示装置に表示される表示画像の例を示す図である。 視線と音声の組み合わせによる操作の例を示す図である。 ユーザの視線が向けられた領域に基づいて、サムネイル画像にフォーカスを当てた表示画像の例を示す図である。 視線と音声の組み合わせによる操作の他の例を示す図である。 提示情報領域を拡大して示す図である。 操作メニュー領域を拡大して示す図である。 操作メニュー領域を拡大して示す図である。 操作項目が表示された選択参照画像領域の下部領域の例を示す図である。 術野画像領域を分割した各領域に画像が表示される表示画像の例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
＜１．第１の実施の形態＞
・医療用表示システムの概要の説明
　まず、本技術が適用され得るシステムの概要を説明する。図１は、本技術の一実施の形態に係る医療用表示システムを用いた手術の様子を示す図である。
　図１の医療用表示システム１は、顕微鏡装置１１、制御装置１２、モニタリング装置１３、および表示装置１４から構成される。
　図１の例においては、このような各装置により構成される医療用表示システム１を用いて、患者ベッド２２上の患者２３に対して術者２１が手術を行っている様子が示されている。なお、以下の説明において、「ユーザ」とは、術者及び助手等、医療用表示システム１を使用する任意の医療スタッフのことを意味する。
　顕微鏡装置１１は、電子撮像式の顕微鏡装置（いわゆるビデオ式の顕微鏡装置）である。顕微鏡装置１１は、患者の術部を撮像し、術野が写る術野画像を表す信号を制御装置１２に出力する。なお、術野画像を撮像する装置として、顕微鏡装置１１の代わりに、内視鏡等の医療用撮像装置が用いられるようにしてもよい。
　制御装置１２は、サーバ装置やパーソナルコンピュータ等である。制御装置１２は、顕微鏡装置１１から供給される術野画像の信号（術野画像信号）と、外部装置を含む装置から供給される提示情報の信号（提示情報信号）に基づいて、表示画像を生成する。
　ここで、モニタリング装置１３は、外部装置に含まれる。したがって、モニタリング装置１３から供給されるモニタリング情報の信号（モニタリング情報信号）は、提示情報信号に含まれる。モニタリング装置１３からは、患者２３の生体情報（生体反応）をモニタリングすることによって得られたモニタリング情報を表す信号が供給される。
　制御装置１２は、術野画像と提示情報を含む表示画像を表示装置１４に表示させる。
　なお、制御装置１２と他の各装置との間の通信は、有線通信によって行われるようにしてもよいし、無線通信によって行われるようにしてもよい。
　制御装置１２と外部サーバ１６とは、例えば、インターネット、LAN（Local Area Network）などの所定のネットワーク１５を介して接続される。外部サーバ１６から取得された医療用情報が表示画像に対して重畳され、表示装置１４に表示されるようにすることも可能である。
　モニタリング装置１３は、患者２３の生体情報をモニタリングし、生体情報のモニタリング結果を表すモニタリング情報を生成する。患者２３の生体情報には、心電図、心拍数、血中酸素飽和度、動脈圧などが含まれる。モニタリング装置１３は、モニタリング情報を表す信号を制御装置１２に出力する。
　表示装置１４は、手術室の壁面などの、ユーザの近傍に設けられる。表示装置１４は、制御装置１２による制御に従って、制御装置１２により生成された表示画像を表示する。
　表示装置１４には、顕微鏡装置１１によって撮像された術野画像とともに、患者２３の生体情報、身体情報、手術の術式の情報等の、手術に関する各種の情報が表示される。表示装置１４の表示は、ユーザによる操作によって適宜切り替えられる。なお、表示装置１４としては、液晶ディスプレイ装置またはEL（Electro Luminescence）ディスプレイ装置などの、各種の表示装置が用いられる。
　表示装置１４の近傍には、手術を行っているユーザの様子を撮像するカメラ、ユーザが発する音声を検出するマイクロフォン、各種のセンサなどが設置される。後述するように、撮像された画像に基づいてユーザの視線が検出され、表示装置１４の表示が切り替えられる。また、マイクロフォンにより検出されたユーザの音声に基づいて、表示装置１４の表示が切り替えられたり、表示装置１４の表示を用いた操作が行われたりする。
　外部サーバ１６は、例えば、病院内に設置されたサーバ装置である。外部サーバ１６には医療用情報等が保存されている。
　このように、医療用表示システム１を用いた手術時には、制御装置１２によって生成された表示画像が表示装置１４に表示される。ユーザは、表示装置１４に表示された表示画像を見て術部の様子を観察しながら、患部の切除などの各種の処置を行う。
　図２は、表示装置１４に表示される表示画像の領域構成の例を示す図である。
　図２に示すように、表示画像は、術野画像が表示される領域である術野画像領域Ａ２の上下に、それぞれ、細幅帯状の領域である提示情報領域Ａ１と操作メニュー領域Ａ３が配置されることによって構成される。
　図２の例においては、提示情報領域Ａ１、術野画像領域Ａ２、操作メニュー領域Ａ３の水平方向の長さが同等の長さとされている。術野画像領域Ａ２は、提示情報領域Ａ１、操作メニュー領域Ａ３よりも垂直方向の幅（高さ）が広い領域とされている。
　提示情報領域Ａ１は、モニタリング装置１３によるモニタリング結果を表すモニタリング情報などを含む提示情報の表示領域である。提示情報領域Ａ１には、提示情報が、テキストやグラフなどを含む所定の表示形態で表示される。
　図３は、モニタリング情報などを含む提示情報が表示された提示情報領域Ａ１を拡大して示す図である。
　図３の例においては、左から順に、心電図波形、心拍数、脈波、血中酸素飽和度、および動脈圧がモニタリング情報として表示されている。これらのモニタリング情報の右側には、ユーザが使用する電気メスの出力を表す情報等の手術器具に関する情報と、タイマー等の時間に関する情報が表示される。
　このように、提示情報は、顕微鏡装置１１などの医療用撮像装置を除いた外部装置（モニタリング装置１３など）を含む装置から取得した提示情報信号から生成した情報である。そのため、提示情報領域Ａ１には、モニタリング情報以外にも、手術器具や時間に関する情報など、ユーザに対して提示する必要のある各種の情報が、提示情報として表示される。
　すなわち、提示情報には、少なくともモニタリング情報を含めることができる。そのため、提示情報は、モニタリング情報を含むモダリティ情報であるとも言える。また、提示情報には、手術器具や時間に関する情報を含めてもよい。さらに、モニタリング情報、手術器具や時間に関する情報は、リアルタイムに変化する情報とすることができる。
　図２の説明に戻り、表示画像上の中央の広い範囲に形成された術野画像領域Ａ２は、顕微鏡装置１１により撮像された術野画像の表示領域である。術野画像領域Ａ２に表示される術野画像は、リアルタイムに変化する画像である。
　操作メニュー領域Ａ３は、オプションとなる各種の項目からなる操作メニュー（操作パネル）の表示領域である。ユーザは、操作メニュー領域Ａ３の表示を用いることによって、表示装置１４に表示させる画像を選択したり、制御装置１２に対して外部サーバ１６との通信を行わせたりするなどの、各種の操作を行うことができる。このように、操作メニュー領域Ａ３には、ユーザの操作に用いられるユーザインターフェース情報が表示される。
　図４は、操作メニューが表示された操作メニュー領域Ａ３を拡大して示す図である。
　図４の例においては、ユーザが選択可能なオプション項目を表す「Extension」、「PB control」、「Zoom」、「Move」、「Pivot」、「Timer」、および「Reference」のテキストが表示されている。ユーザは、オプション項目を選択することによって、制御装置１２などの各装置を操作することができる。なお、各オプション項目がアイコンによって表示されるようにしてもよい。
　「Extension」は、制御装置１２に対して、外部サーバ１６との通信を行わせるための項目である。例えば、ユーザは、「Extension」の項目を選択することによって、手術室の外にいるユーザと音声通話をすることが可能となる。
　「PB control」は、表示装置１４に対して、表示画像内の所定の領域に出血開始直後の術野画像を表示させるための項目である。
　「Zoom」は、術野画像の表示倍率を制御するための項目である。
　「Move」は、表示装置１４に対して、術野画像の表示範囲を制御するための情報を表示させるための項目である。
　「Pivot」は、術部に対する顕微鏡装置１１の撮像角度を制御するための項目である。
　「Timer」は、表示装置１４に対して、提示情報領域Ａ１にタイマーを表示させるための項目である。例えば、ユーザは、提示情報領域Ａ１に、あらかじめ設定された時間とともに、経過時間を表示させることが可能となる。
　「Reference」は、制御装置１２に対して、後述する参照情報提示処理を行わせるための項目である。
　以上のような複数のオプション項目からなる操作メニューが操作メニュー領域Ａ３には表示される。
　図５は、表示画像の他の領域構成の例を示す図である。
　図５のＡ乃至Ｃには、操作メニューの配置位置が異なる表示画像が示されている。図５のＡ乃至Ｃの各表示画像は、操作メニューの配置位置が異なる点を除いて、図２を参照して説明した表示画像と同様である。重複する説明については適宜省略する。
　図５のＡの例においては、操作メニューの表示領域である操作メニュー領域Ａ３－１が、表示画像の左端に、縦長の領域として配置されている。提示情報領域Ａ１と操作メニュー領域Ａ３－１の間には所定の隙間が形成される。操作メニュー領域Ａ３－１には、例えば、各オプション項目が垂直方向に並べて表示される。この場合、術野画像領域Ａ２の垂直方向の幅をより広く確保することが可能となる。
　図５のＢの例においては、操作メニューの表示領域である操作メニュー領域Ａ３－２が、図５のＡの表示画像における操作メニュー領域Ａ３－１とは対称に右端に配置されている。
　図５のＣの例においては、表示画像の左端に操作メニュー領域Ａ３－１が配置され、右端に操作メニュー領域Ａ３－２が配置されている。このように、左端と右端の２つの領域に操作メニューが表示されるようにしてもよい。
　図２の例においては、操作メニュー領域Ａ３の水平方向の長さが、提示情報領域Ａ１（上部領域）および術野画像領域Ａ２（中部領域）の水平方向の長さと同等の長さであるものとして、その下側の領域となる下部領域に、ユーザインターフェース情報を配置した場合を示した。一方で、図５の例に示したように、操作メニュー領域Ａ３の水平方向の長さを、提示情報領域Ａ１（上部領域）および術野画像領域Ａ２（中部領域）の水平方向の長さと異なる長さとして、中部領域の左端または右端の少なくとも一方の領域に対応した左右部領域に、ユーザインターフェース情報を配置することも可能である。なお、上部領域は、例えば、四角形の画像の場合は、上辺を含む領域である。また、中部領域は、右辺または左辺を含み、上部領域とは異なる領域である。また、下部領域は、下辺を含む領域である。
　図６は、表示画像のさらに他の領域構成の例を示す図である。
　図６の左側に示すように、提示情報領域Ａ１および操作メニュー領域Ａ３が、術野画像領域Ａ２に重畳して配置されるようにしてもよい。このとき、提示情報領域Ａ１の表示と操作メニュー領域Ａ３の表示には所定の透過率が設定される。提示情報領域Ａ１の提示情報と操作メニュー領域Ａ３の操作メニューを上層としたとき、その下層には、術野画像領域Ａ２の術野画像の一部が透過して見えることになる。
　なお、図６の右側の領域構成は、図２を参照して説明した表示画像の領域構成と同じである。すなわち、提示情報領域Ａ１は、術野画像領域Ａ２の上部に接して配置される。操作メニュー領域Ａ３は、術野画像領域Ａ２の下部に接して配置される。
　以上のように、制御装置１２によれば、術野画像の上に配置した形で、提示情報を術野画像とともに一つの画像上に表示させることが可能となる。
　ここで、手術中の術者は、表示装置に表示された表示画像を見ながら手術をしていても、手元を見ることは多く、また、隣にいる人（助手など）や他の機器に視線を逸らすことも想定される。つまり、術者の視線は、左右の方向と下方向にいきやすい傾向にある。一方で、術者の視線が上方向にいくことは、意識的に視線を向けている可能性が高い。
　また、人の上下半視野には、視覚的注意の非対称性が存在することが論文などで開示されている。つまり、ヒトは上方向よりも下方向に注意が向くことが知られている。
　ここでは、提示情報が術野画像よりも上部に表示されることにより、術者が提示情報を見るためには意識的に視線を向けなければならないため、術野画像を見ながら手術を行っている術者の集中を妨げることなく、提示情報を提示することが可能となる。
・制御装置の構成
　図７は、制御装置１２のハードウェア構成例を示すブロック図である。
　制御装置１２において、CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。バス５４には、さらに、入出力インターフェース５５が接続されている。入出力インターフェース５５には、入力部５６、出力部５７、記録部５８、通信部５９、及びドライブ６０が接続されている。
　入力部５６は、マイクロフォン、キーボード、マウスなどよりなる。出力部５７は、スピーカ、ディスプレイなどよりなる。記録部５８は、ハードディスクや不揮発性のメモリなどよりなる。
　通信部５９は、ネットワークインターフェースなどよりなる。通信部５９は、顕微鏡装置１１や、モニタリング装置１３、ネットワーク１５を介して接続される外部サーバ１６などの外部の装置と通信を行う。
　ドライブ６０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体６１を駆動する。
　以上のように構成されるコンピュータでは、CPU５１が、ROM５２や記録部５８に記録されているプログラムを、入出力インターフェース５５およびバス５４を介して、RAM５３にロードして実行することにより、以上のような画面表示が行われる。
　図８は、制御装置１２の機能構成例を示すブロック図である。図８に示す機能部のうちの少なくとも一部は、図７のCPU５１により所定のプログラムが実行されることによって実現される。
　図８に示すように、制御装置１２においては、取得部８１、制御部８２、および表示制御部８３が実現される。
　取得部８１は、顕微鏡装置１１から出力された術野画像の信号と、モニタリング装置１３を含む外部装置から出力された提示情報の信号とを、図７の通信部５９を制御して取得する。取得部８１により取得された信号は制御部８２に供給される。なお、提示情報の信号は、制御装置１２内で生成され、取得部８１により取得されてもよい。
　制御部８２は、取得部８１から供給された信号に基づいて提示情報と術野画像を生成する。制御部８２は、術野画像の上部に提示情報を配置するとともに、術野画像の下部に操作メニューを配置することによって、図２の領域構成を有する表示画像を生成する。制御部８２は、表示画像を表示制御部８３に出力する。
　表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、表示画像を表示させる。
・制御装置の動作
　次に、図９のフローチャートを参照して、制御装置１２の提示処理について説明する。
　ステップＳ１において、取得部８１は、顕微鏡装置１１から出力された術野画像の信号と、外部装置から出力された提示情報の信号または制御装置１２により生成された提示情報の信号とを取得し、制御部８２に出力する。
　ステップＳ２において、制御部８２は、取得部８１から供給された信号に基づいて、表示画像を生成し、表示画像を表示制御部８３に出力する。
　ステップＳ３において、表示制御部８３は、表示画像を表示装置１４に出力し、表示画像を表示させる。
　ステップＳ４において、制御部８２は、処理を終了させるか否かを判定する。
　ステップＳ４で、処理を終了させないと判定された場合、処理はステップＳ１に戻り、それ以降の処理が行われる。すなわち、リアルタイムに変化する術野画像と提示情報が更新されて、表示画像に反映される。
　一方、ステップＳ４で、処理を終了させると判定された場合、提示処理は終了する。
　以上の処理により、制御装置１２は、術野画像を見ながら手術を行っているユーザの集中を妨げることなく、モニタリング情報を含む提示情報を提示することが可能となる。
＜２．第２の実施の形態＞
　この例においては、ユーザの表示装置１４に対する視線が検出される。検出された視線からユーザが見ている表示画像上の位置である注視点が求められ、求められた注視点に基づいて、図２の提示情報領域Ａ１の表示方法が切り替えられる。
　図１０は、提示情報領域Ａ１の表示方法の例を示す図である。
　図１０の上段において、提示情報の表示領域である提示情報領域Ａ１－１および操作メニュー領域Ａ３は、術野画像領域Ａ２に重畳して配置されている。
　表示装置１４に表示画像が表示された後に、制御装置１２において、ユーザの表示画像上の注視点が求められる。図１０の上段の例においては、ユーザの視線に基づいて、表示画像上の注視点Ｐ１が求められている。提示情報領域Ａ１－１上に注視点がない場合、制御装置１２は、提示情報領域Ａ１－１の表示に所定の透過率を設定する。
　図１０の下段の例においては、提示情報領域Ａ１－２上にある注視点Ｐ２が求められている。提示情報領域Ａ１－２上に注視点がある場合、制御装置１２は、提示情報領域Ａ１－２の表示に透過率を設定せずに表示画像を生成する。
　ユーザの表示装置１４に対する視線は、リアルタイムに検出される。制御装置１２は、検出された視線に基づいて、提示情報領域Ａ１の透過率を制御して表示画像を生成する。
　具体的には、図１１には、提示情報が表示された提示情報領域Ａ１の表示方法の例を示している。
　図１１の上段は、提示情報領域Ａ１－１上に注視点がない場合の表示である定常状態の例を示している。図３を参照して説明した提示情報領域Ａ１と同様なモニタリング情報などの提示情報が提示情報領域Ａ１－１に所定の透過率で表示されている。
　この定常状態で提示情報が表示されることにより、提示情報領域Ａ１－１の表示が視界の外に馴染むため、ユーザは、提示情報が気になることなく、手技に集中することが可能となる。
　また、図１１の矢印の先の下段は、提示情報領域Ａ１－２上に注視点がある場合の表示である強調表示の例を示している。図３を参照して説明した提示情報領域Ａ１と同様なモニタリング情報などの提示情報が提示情報領域Ａ１－２に透過率の設定なしに表示されている。
　ユーザは、提示情報を見る必要がある場合にのみ、提示情報領域Ａ１－２に視線を向けることで、強調表示された提示情報をはっきりと見ることが可能となる。
　なお、ここでは、ユーザの視線に限らず、ユーザによる音声、タッチ操作、ジェスチャ（動作）などのユーザに関する情報に基づいて、定常状態と強調表示の切り替えが行われるようにしても良い。
　また、透過率の設定により定常状態と強調表示の切り替えが行われる場合の例を説明したが、提示情報領域Ａ１の表示の他の設定により定常状態と強調表示が切り替えられるようにしてもよい。例えば、提示情報領域Ａ１の表示の輝度の変更、表示色の変更、または表示色の反転により、定常状態と強調表示が切り替えられるようにしてもよい。
　図１２は、提示情報が表示された提示情報領域Ａ１の他の表示方法の例を示す図である。
　ユーザの視線が提示情報領域Ａ１に向けられていない場合、図１２の上段の例においては、提示情報領域Ａ１以外の領域である術野画像領域Ａ２および操作メニュー領域Ａ３で構成される表示画像が表示される。
　ユーザの視線が所定の領域に向けられた場合、図１２の中段および下段の例においては、下部から上部にかけて提示情報領域Ａ１の表示が時間の経過とともに徐々に表示される。例えば、ユーザの視線が術野画像領域Ａ２上の上方に検出された場合、提示情報が表示される。また、ユーザの視線が所定の領域に向けられた場合、提示情報が、フェードインなどにより表示されるようにしてもよい。
　次に、図１３のフローチャートを参照して、制御装置１２の強調表示処理について説明する。
　図１３の強調表示処理は、表示装置１４に定常状態の表示画像が表示された後に開始される。
　ステップＳ１０１において、制御部８２は、カメラにより撮像された撮像画像に基づいて、ユーザの視線を検出する。制御部８２は、検出したユーザの視線に基づいて、表示画像上の注視点を求め、求めた注視点に基づいて、提示情報領域Ａ１に対する所定の期間以上の視線を検出したか否かを判定する。
　提示情報領域Ａ１に対する所定の期間以上の視線を検出したとステップＳ１０１において判定された場合、処理はステップＳ１０２に進む。
　ステップＳ１０２において、制御部８２は、強調表示で表示されるように提示情報を配置することによって、表示画像を生成し、表示画像を表示制御部８３に出力する。表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、表示画像を表示させる。
　ステップＳ１０３において、制御部８２は、強調表示処理を終了させるか否かを判定する。提示情報領域Ａ１に対する所定の期間以上の視線を検出していないとステップＳ１０１において判定された場合には、ステップＳ１０２をスキップして、処理はステップＳ１０３に進み、強調表示処理を終了させるか否かが判定される。
　強調表示処理を終了させないとステップＳ１０３において判定された場合、処理はステップＳ１０１に戻り、それ以降の処理が行われる。
　一方、強調表示処理を終了させるとステップＳ１０３において判定された場合、強調表示処理は終了する。
　以上の処理により、術野画像を見ながら手術を行っているユーザの集中を妨げることなく、提示情報を提示することが可能となる。また、ユーザが提示情報を必要としたときにだけ提示情報をはっきりと提示することが可能となる。
＜３．第３の実施の形態＞
　操作メニューのうち、「Reference」の項目が選択された場合、制御装置１２は、参照画像提示処理を行う。以下では、「Reference」が選択された場合について説明する。
　図１４は、「Reference」が選択された場合の表示装置１４に表示される表示画像の領域構成の例を示す図である。
　図１４のＡおよびＢに示すように、「Reference」が選択された場合の表示画像は、術野画像が表示される領域である術野画像領域Ａ２の上に細幅帯状の領域である提示情報領域Ａ１が配置され、矩形の領域である参照情報グループ領域Ａ１１乃至Ａ１４が術野画像領域Ａ２に重畳して配置されることによって構成される。
　図１４のＡおよびＢの各表示画像は、操作メニュー領域Ａ３がなく、参照情報グループ領域Ａ１１乃至Ａ１４がある点を除いて、図２を参照して説明した表示画像と同様であるため、重複する説明については適宜省略する。
　図１４のＡの例においては、参照情報グループ領域Ａ１１およびＡ１２が、表示画像の左側に垂直方向に並べて配置されている。参照情報グループ領域Ａ１１，Ａ１２と表示画像の左端の間には、所定の隙間が形成される。また、参照情報グループ領域Ａ１２と表示画像の下端の間、参照情報グループ領域Ａ１１と提示情報領域Ａ１の間にも、それぞれの所定の隙間が形成される。
　図１４のＡの例においては、さらに、参照情報グループ領域Ａ１３およびＡ１４が、参照情報グループ領域Ａ１１およびＡ１２とは対称に表示画像の右側に配置されている。
　参照情報グループ領域Ａ１１乃至Ａ１４は、参照画像の表示領域である。参照画像は、モニタリング装置１３によるモニタリング結果を表すモニタリング情報および外部サーバ１６から取得される医療用情報を含む。医療用情報には、病理画像、超音波画像、ICG(Indocyanine green)画像、MRI(Magnetic Resonance Imaging)画像、CT(Computed Tomography)画像、アンギオ画像（血管造影画像）、およびＸ線画像などが含まれる。
　参照画像は、所定の参照情報グループに分けられる。参照情報グループ領域Ａ１１乃至Ａ１４には、参照情報グループを表す情報が、参照情報グループ毎にそれぞれ表示される。
　参照情報グループのカテゴリに基づいて、参照情報グループ領域Ａ１１乃至Ａ１４の表示画像上の位置が決定されるようにしてもよい。このとき、参照情報グループのカテゴリが同じである参照情報グループのそれぞれの情報は、表示画像の左右のいずれかの側のうち、同一の側に並べて表示することができる。例えば、参照情報グループ領域Ａ１１，Ａ１２には、モニタリング情報や超音波画像といったリアルタイムで更新される参照画像が表示され、参照情報グループ領域Ａ１３，Ａ１４には、MRI画像やCT画像といった手術の開始前に用意される参照画像が表示される。
　図１４のＢに示すように、参照情報グループ領域Ａ１１乃至Ａ１４が、表示画像の左側に垂直方向に並べて配置されるようにしてもよい。また、参照情報グループ領域Ａ１１乃至Ａ１４が、図１４のＢの表示画像における参照情報グループ領域Ａ１１乃至Ａ１４とは対称に表示画像の右側に配置されるようにしてもよい。
　図１５は、参照情報グループを表す情報が表示された表示画像の例を示す図である。
　図１５の例においては、参照情報グループを表す情報として、参照情報グループに対応したサムネイル画像が参照情報グループ領域Ａ１１乃至Ａ１４に表示されている。
　図１５の例においては、参照画像が、参照情報グループとして、モニタリング情報、超音波画像、ICG画像、およびMRI画像の４つのグループに分類される。参照情報グループ領域Ａ１１乃至Ａ１４に表示される、参照情報グループに対応したサムネイル画像は、それぞれ、モニタリング情報、超音波画像、ICG画像、およびMRI画像を表す画像が用いられている。なお、参照情報グループは任意のグループを設定してもよいし、サムネイル画像も任意の画像を使用してよい。例えば、手術ナビゲーションを示す手術ナビゲーション画像を参照情報グループとして設定し、手術ナビゲーション画像を参照情報グループ領域に表示してもよい。なお、サムネイル画像は、各グループに紐づけられた参照画像から１枚選び、サムネイル画像として使用してもよい。
　図１６は、モニタリング情報のサムネイル画像が表示された参照情報グループ領域Ａ１１および超音波画像のサムネイル画像が表示された参照情報グループ領域Ａ１２を拡大して示す図である。
　図１６のＡの例においては、モニタリング装置１３によるモニタリング結果を表すモニタリング情報が、モニタリング情報を表すサムネイル画像として、参照情報グループ領域Ａ１１に、垂直方向に並べて表示されている。参照情報グループ領域Ａ１１に表示されるモニタリング情報は、図３を参照して説明した提示情報領域Ａ１に表示されるモニタリング情報を含む情報としてもよい。
　参照情報グループ領域Ａ１１の上部には、表示される参照情報グループの呼称と、参照情報グループを表す番号または記号が表示される。図１６のＡの例においては、参照情報グループ領域Ａ１１の上部に、参照情報グループであるモニタリング情報の呼称として、「Monitor」であるテキストが表示されている。また、「Monitor」のテキストの右側には、モニタリング情報を表す記号として「L1」であるテキストが表示されている。
　図１６のＢの例においては、外部サーバ１６から取得された超音波画像が、超音波画像を表すサムネイル画像として、参照情報グループ領域Ａ１２に表示されている。
　参照情報グループ領域Ａ１２の上部には、参照情報グループ領域Ａ１１と同様に、参照情報グループである超音波画像の呼称として、「Ultrasound」であるテキストが表示されている。また、「Ultrasound」のテキストの右側には、超音波画像を表す記号として「L2」であるテキストが表示されている。
　ユーザは、表示されるサムネイル画像を選択することによって、選択した参照情報グループに含まれる参照画像を一覧で表示させることができる。このとき、ユーザは、例えば、視線または音声によって参照情報グループのサムネイル画像を選択することができる。
　音声入力が行われる場合、ユーザは、参照情報グループの呼称、または参照情報グループを表す記号を音声として発することによって、参照情報グループのサムネイル画像を選択することができる。また、視線入力が行われる場合、ユーザは、参照情報グループの呼称を見ることによって、必要な参照情報グループを確実に選択することができる。
　図１７は、参照画像が一覧で表示された表示画像の例を示す図である。
　図１７の上段の表示画像は、図１５を参照して説明した参照情報グループのサムネイル画像が表示された表示画像と同じ表示画像である。表示画像の右斜め下側の破線の矩形Ｒ１は、参照情報グループ領域Ａ１４に表示されたMRI画像のサムネイル画像が選択されたことを表す。
　MRI画像が選択された場合、制御装置１２は、例えば、図１７の下段に示す表示画像を生成する。図１７の下段の表示画像の例においては、術野画像領域Ａ２の上に、提示情報領域Ａ１が配置され、矩形の参照画像領域Ａ３１－１乃至Ａ３１－７が術野画像領域Ａ２に重畳して配置されることによって、表示画像が構成される。
　すなわち、図１７の下段の表示画像の例においては、参照情報グループ領域Ａ１１乃至Ａ１４に表示された画像が消えた後に、参照画像領域Ａ３１－１乃至Ａ３１－７が、その順に右側から左側に向かって移動するように配置され、表示画像の下側に水平方向に並べて配置されている。
　参照画像領域Ａ３１－１乃至Ａ３１－７は、ユーザにより選択された参照情報グループに含まれる参照画像の表示領域である。図１７の下段の表示画像の例においては、参照画像領域Ａ３１－１乃至Ａ３１－７に、それぞれ異なるMRI画像である参照画像が表示される。なお、図１７の下段の例においては、参照画像領域は７つの領域である場合の例を示したが、表示画像を構成する参照画像領域の数は任意である。
　ユーザにより選択された参照情報グループに含まれる参照画像の数が、表示画像を構成する参照画像領域の数よりも多い場合、参照画像は参照画像領域の数だけ表示画像に表示される。この場合、制御装置１２は、ユーザによる所定の操作を受け付けることによって、参照画像領域に表示する参照画像を切り替える。図１７の下段の表示画像の例においては、選択された参照情報グループに含まれる参照画像の数に関する情報が操作メニューに表示されている。なお、このとき、参照情報グループの選択画面に戻る「Go Back」や、参照画像の選択をキャンセルして参照画像の表示を取りやめる「Cancel」といった操作項目を操作メニューに表示してもよい。
　ユーザにより選択された参照情報グループに含まれる参照画像の枚数が１枚の場合、参照画像領域を含む表示画像は生成されず、後述する選択参照画像領域に参照画像が表示された表示画像が生成される。
　また、参照画像が表示される参照画像領域Ａ３１－１乃至Ａ３１－７の上部には、表示されるそれぞれの参照画像を表す番号と記号が表示される。
　ユーザは、表示される参照画像を選択することによって、参照情報グループに含まれる参照画像のうちの選択した参照画像のみを表示させることができる。このとき、ユーザは、例えば、視線または音声によって参照画像を選択することができる。
　音声入力が行われる場合、ユーザは、それぞれの参照画像を表す番号または記号を音声として発することによって、参照画像を選択することができる。
　図１７の下段の表示画像の下側に示す破線の矩形Ｒ２は、参照画像領域Ａ３１－３に表示された参照画像がユーザにより選択されたことを表す。
　図１８は、選択された参照画像が表示された表示画像の例を示す図である。
　図１８の上段の表示画像は、図１７の参照画像領域Ａ３１－３に表示された表示画像が選択された後に表示される表示画像である。図１８の上段の表示画像の例においては、図２を参照して説明した表示画像に、矩形の選択参照画像領域Ａ４１が重畳して配置されて構成される。図１８の上段の表示画像の例においては、選択参照画像領域Ａ４１は、表示画像の右端に配置されている。選択参照画像領域Ａ４１と提示情報領域Ａ１、選択参照画像領域Ａ４１と操作メニュー領域Ａ３の間にはそれぞれの所定の隙間が形成される。
　選択参照画像領域Ａ４１は、参照情報グループに含まれる参照画像の一覧の中からユーザにより選択された参照画像の表示領域である。図１８の上段の表示画像の例においては、ユーザにより選択されたMRI画像が、選択参照画像領域Ａ４１に表示されている。なお、対象の部位等を見やすくするために、術野画像領域Ａ２が選択参照画像領域Ａ４１と反対の方向にシフトして配置されるようにしてもよい。
　選択参照画像領域Ａ４１に参照画像が表示された後に、選択参照画像領域Ａ４１に表示される参照画像と異なる参照画像が選択されたとき、図１８の下段に示すように、表示画像が、図２を参照して説明した表示画像に、矩形の選択参照画像領域Ａ４１およびＡ４２が重畳して配置されて構成されるようにしてもよい。
　図１８の下段の表示画像の例においては、選択参照画像領域Ａ４１およびＡ４２は、表示画像の右端に垂直方向に並べて配置されている。選択参照画像領域Ａ４２は、選択参照画像領域Ａ４１と同様に、参照情報グループに含まれる参照画像の一覧の中からユーザにより選択された参照画像の表示領域である。図１８の下段の表示画像の例においては、選択参照画像領域Ａ４２に、ICG画像が表示されている。なお、２枚の参照画像を表示している状態でさらにユーザが３枚目の参照画像を選択したときは、１枚目の参照画像を２枚目の参照画像が表示されていた表示領域に表示させ、さらに３枚目の参照画像を２枚目の参照画像が表示されていた表示領域に表示させてもよい。また、ユーザの「Cancel」の項目の選択などによって参照画像の表示が消された後に、もう一度「Reference」が選択されたとき、制御装置１２は、前回の「Reference」の選択時に選択されていた参照画像を、再び参照画像として表示または候補画像としてユーザに提示してもよい。候補画像は、前回選択されていた参照画像であることがわかるように、参照画像の一覧の中で他の画像とは異なる視覚エフェクトが付与された画像である。
　図１９は、ユーザにより選択された参照画像が２枚表示された表示画像を拡大する場合の例を示す図である。
　図１９の表示画像は、術野画像にテキストが重畳して表示されている点を除いて、図１８の下段に示して説明した表示画像と同様であるため、重複する説明については適宜省略する。
　図１９の例においては、選択参照画像領域Ａ４１およびＡ４２の左側に、選択参照画像領域Ａ４１およびＡ４２に表示される参照画像を表す番号と呼称が表示されている。ユーザは、視線によって表示された参照画像を選択し、選択した参照画像を表示画像上に拡大して表示させることができる。また、ユーザが、参照画像を表す番号または呼称を音声として発することによって、表示された参照画像が選択されるようにしてもよい。
　図１９に示すように、操作指示子領域Ａ５１が、術野画像領域Ａ２に重畳して配置されるようにしてもよい。図１９の例においては、操作指示子領域Ａ５１が、術野画像領域Ａ２の上側に配置されている。制御装置１２が検出したユーザの視線に基づいて、操作指示子領域Ａ５１が配置される表示画像上の位置が制御装置１２によって決定されるようにしてもよい。
　操作指示子領域Ａ５１は、術野画像領域Ａ２に表示された術野画像を表す番号と呼称の表示領域を含む。図１９の例においては、術野画像を表す呼称として「CAMERA」であるテキストが操作指示子領域Ａ５１に、術野画像を表す番号とともに表示されている。
　ユーザは、操作指示子領域Ａ５１に視線を向けることによって、術野画像を選択して初期状態、すなわち、図２を参照して説明した提示情報領域Ａ１、術野画像領域Ａ２、および操作メニュー領域Ａ３から構成される表示画像を表示させることができる。また、ユーザが、術野画像を表す番号または呼称を音声として発することによって、術野画像が選択されるようにしてもよい。
　以上のように、制御装置１２によれば、提示情報を術野画像の上に配置した形で、提示情報と術野画像を一つの画像上に表示させるとともに、手術室の外にある外部サーバ１６から取得された参照画像のうち、手術に必要な参照画像を表示させることが可能となる。
　なお、操作メニューから「Reference」の項目がユーザにより選択された場合、参照情報グループのサムネイル画像と異なる他の情報が、参照情報グループを表す情報として、参照情報グループ領域に表示されるようにしてもよい。
　図２０は、参照情報グループを表す情報が表示される表示画像の他の領域構成の例を示す図である。
　図２０には、参照情報グループを表す情報として、インデックスがテキストで表示される表示画像の領域構成が示されている。図２０の表示画像は、参照情報グループ領域の数と配置が異なる点を除いて、図１４を参照して説明した表示画像と同様であるため、重複する説明については適宜省略する。
　図２０の例においては、参照情報グループを表す情報の表示領域である参照情報グループ領域Ａ１５が、表示画像の左端に配置されている。なお、参照情報グループ領域Ａ１５は、表示画像の右端に配置されるようにしてもよい。
　図２０の例においては、参照情報グループ領域Ａ１５に参照情報グループの一覧であるインデックスがテキストで表示されている。インデックスには、例えば、参照情報グループの呼称と、参照情報グループを表す番号が含まれる。
　参照情報グループを表す情報としてインデックスが表示される場合も、参照情報グループを表す情報としてサムネイル画像が表示される場合と同様に、ユーザは、所定の視線または音声によって参照情報グループを選択し、選択した参照情報グループに含まれる参照画像を一覧で表示させることができる。
　また、図１７を参照して、選択された参照情報グループに含まれる参照画像の一覧が表示画像の下側に表示される場合の例を説明したが、参照画像の一覧が表示される位置は、ユーザの視線などに基づいて制御装置１２によって決定されるようにしてもよい。
　図２１は、参照画像が一覧で表示された他の表示画像の例を示す図である。
　図２１のＡおよびＢには、図１７を参照して説明した表示画像と比べて、参照画像の配置位置が異なる表示画像が示されている。図２１のＡおよびＢの各表示画像は、参照画像の配置位置が異なる点を除いて、図１７を参照して説明した表示画像と同様であるため、重複する説明についは適宜省略する。
　図２１のＡの例においては、ユーザにより選択された参照情報グループに含まれる参照画像の表示領域である参照画像領域Ａ３１－１乃至Ａ３１－４が、表示画像の左端に、矩形の領域として垂直方向に並べて配置されている。参照画像領域Ａ３１－１乃至Ａ３１－４には異なる参照画像が表示される。
　図２１のＡの例においては、表示画像を構成する参照画像領域の数が４つである場合の例を説明したが、参照画像領域の数は任意である。ユーザにより選択された参照情報グループに含まれる参照画像の枚数が、参照画像領域の数よりも多い場合、参照画像は参照画像領域の数だけ表示画像に表示される。この場合、制御装置１２は、ユーザによる所定の操作を受け付けることによって、参照画像領域に表示する参照画像を切り替えて、図２１のＢに示すような表示画像を生成する。
　図２１のＢの表示画像は、図２１のＡの表示画像の参照画像領域Ａ３１－１乃至Ａ３１－４が、ユーザにより選択された参照情報グループに含まれる参照画像の表示領域である参照画像領域Ａ３１－５乃至Ａ３１－８に置き換えられた表示画像である。参照画像領域Ａ３１－５乃至Ａ３１－８には、参照画像領域Ａ３１－１乃至Ａ３１－４に表示される参照画像と異なる参照画像が、それぞれ表示される。
　図２２は、参照画像が一覧で表示されたさらに他の表示画像の例を示す図である。
　図２２のＡおよびＢの例においては、参照画像領域Ａ３１－１乃至Ａ３１－８が、図２１のＡおよびＢの各表示画像における参照画像領域Ａ３１－１乃至Ａ３１－８とは対称に表示画像の右端に配置されている。
　このように、ユーザにより選択された参照情報グループに含まれる参照画像の一覧の配置位置は、表示画像の下端に限らず、表示画像の左端または右端とすることも可能である。
　ここで、参照画像の一覧の配置位置は、参照画像に関する情報に応じて決定することができる。例えば、参照画像が時系列で取得された画像である場合、表示画像の下端において、水平方向に、複数の参照画像が時系列に並ぶように配置すればよい。また、例えば、参照画像がスライス画像（MRI画像など）である場合には、表示画像の左端または右端において、垂直方向に、複数の参照画像がスライス順に並ぶように配置すればよい。
　次に、図２３のフローチャートを参照して、制御装置１２の参照情報提示処理について説明する。
　この参照情報提示処理は、操作メニューの「Reference」の項目がユーザによって選択されたとき、開始される。
　ステップＳ２０１において、取得部８１は、外部サーバ１６などから参照画像を取得する。取得された参照画像は、制御部８２に供給される。
　制御部８２は、術野画像の上部に提示情報を配置するとともに、例えば、参照情報グループのサムネイル画像を表示画像の左側と右側にそれぞれ配置することによって、図１４のＡの領域構成を有する表示画像を生成する。制御部８２は、表示画像を表示制御部８３に出力する。表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、参照情報グループを提示させる。
　ステップＳ２０２において、制御部８２は、ユーザによる参照情報グループのサムネイル画像の選択を受け付ける。例えば、制御部８２は、表示装置１４の近傍に設置されたカメラから供給される撮像画像に基づいて、ユーザの視線を検出する。制御部８２は、検出したユーザの視線に基づいて、ユーザにより選択された参照情報グループを特定する。
　ステップＳ２０３において、制御部８２は、ユーザにより選択された参照情報グループに含まれる参照画像を表示画像の下側に配置することによって、図１７の下段に示すような表示画像を生成する。制御部８２は、表示画像を表示制御部８３に出力する。表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、ユーザに選択された参照情報グループに含まれる参照画像の一覧を提示させる。
　ステップＳ２０４において、制御部８２は、ユーザによる参照画像の選択を受け付ける。例えば、制御部８２は、表示装置１４の近傍に設置されたカメラから供給される撮像画像に基づいて、ユーザの視線を検出する。制御部８２は、検出したユーザの視線に基づいて、ユーザにより選択された参照画像を特定する。
　ステップＳ２０５において、制御部８２は、ユーザにより選択された参照画像を表示画像の右端に配置することで、図１８の上段に示すような表示画像を生成する。制御部８２は、表示画像を表示制御部８３に出力する。表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、ユーザにより選択された参照画像を提示させる。
　以上で、参照情報提示処理が終了する。なお、ユーザにより選択された参照情報グループに含まれる参照画像の枚数が１枚の場合には、ステップＳ２０３，Ｓ２０４の処理はスキップされる。
　以上の処理により、制御装置１２は、ユーザの集中を妨げることなく、提示情報を提示するとともに、術野画像と参照画像を表示することが可能となる。
＜４．第４の実施の形態＞
　操作メニューのうち、「Move」の項目が選択された場合、制御装置１２は、表示範囲変更処理を行う。以下では、「Move」が選択された場合について説明する。
　図２４は、「Move」が選択された場合の表示装置１４に表示される表示画像の例を示す図である。
　図２４に示すように、「Move」が選択された場合の表示画像は、術野画像が表示される領域である術野画像領域Ａ２の上に細幅帯状の領域である提示情報領域Ａ１が配置され、方向指示子領域Ａ６１－０乃至Ａ６１－７が術野画像領域Ａ２に重畳して配置されることによって構成される。
　図２４の表示画像は、操作メニュー領域Ａ３がなく、方向指示子領域Ａ６１－０乃至Ａ６１－７がある点を除いて、図２を参照して説明した表示画像と同様であるため、重複する説明については適宜省略する。
　図２４の例においては、方向指示子領域Ａ６１－１，Ａ６１－３，Ａ６１－５，Ａ６１－７が術野画像領域Ａ２の４つの角にそれぞれ配置されている。方向指示子領域Ａ６１－０は、方向指示子領域Ａ６１－７，Ａ６１－１の中心に配置され、方向指示子領域Ａ６１－２は、方向指示子領域Ａ６１－１，Ａ６１－３の中心に配置されている。また、方向指示子領域Ａ６１－４は、方向指示子領域Ａ６１－３，Ａ６１－５の中心に配置され、方向指示子領域Ａ６１－６は、方向指示子領域Ａ６１－５，Ａ６１－７の中心に配置されている。
　方向指示子領域Ａ６１－０乃至Ａ６１－７は、表示されている術野画像の表示範囲を変更することができる方向を示す指示子の表示領域を含む。図２４の例においては、方向の呼称、および方向を表す番号がテキストで方向指示子として表示されている。さらに、方向を表すアイコンが方向指示として表示されている。これらの表示によって、ユーザは、次に何の操作をすればよいかを直感的に認識することができる。
　ユーザは、視線または音声によって方向指示子領域Ａ６１－０乃至Ａ６１－７に表示される方向指示子を選択して、術野画像の表示範囲を、選択した方向に向かって変更することができる。すなわち、方向指示子領域Ａ６１－０乃至Ａ６１－７に表示される方向指示子は、術野画像の画角を移動できる方向を示す。この画角の変更に際しては、顕微鏡装置１１内のカメラが駆動してもよいし、当該カメラにより撮像された撮像画像に対する画像処理で対応してもよい。また、所定の音声（音声コマンド）が入力された場合に、表示画像は、ユーザの視線位置に所定のマークを表示する構成としてもよい。さらに、所定のマークが表示画像の中心となるように追従する操作が行われてもよい。例えば、ユーザが音声入力により「Move」を選択した場合に、制御装置１２は、ユーザの視線位置を示す所定のマークを表示画像に表示し、所定のマークが表示画像の中心位置となるように術野画像の表示を変更する。
　術野画像の表示範囲を変更することができない方向がある場合、制御装置１２は、方向指示子領域Ａ６１－０乃至Ａ６１－７に表示される方向指示子のうち、表示範囲を変更することができる方向を示す方向指示子のみが表示された表示画像を生成する。
　図２５は、表示される方向指示子の例を示す図である。
　図２５の上段に示すように、術野画像の表示範囲を変更することができない方向がない場合、表示画像は、方向指示子領域Ａ６１－０乃至Ａ６－７に方向指示子が表示された表示画像となる。
　例えば、ユーザにより方向指示子領域Ａ６１－２に表示された方向指示子が選択された場合、表示範囲が右方向にずらされた術野画像が術野画像領域Ａ２に表示される。顕微鏡装置１１から供給される術野画像に所定の画像処理を行うことによって、表示範囲が変更されるようにしてもよいし、制御装置１２が顕微鏡装置１１の制御を行って、術野画像の表示範囲が変更されるようにしてもよい。
　また、例えば、右方向、右斜め上方向、および右斜め下方向に術野画像の表示範囲を変更することができない場合、制御装置１２は、図２５の矢印の先の下段に示すように、方向指示子領域Ａ６１－０、および方向指示子領域Ａ６１－４乃至Ａ６１－７に方向指示子が表示された表示画像を生成する。
　表示画像上の３つの破線の円は、方向指示子領域Ａ６１－１乃至Ａ６１－３に表示される方向指示子が、非表示であることを示す。方向指示子領域Ａ６１－１乃至Ａ６１－３に表示される方向指示子は、表示範囲が変更することができない右方向、右斜め上方向、および右斜め下方向を表す方向指示子である。
　以上のように、制御装置１２は、表示される術野画像の表示範囲を変更することができない方向を、その方向を示す方向指示子を非表示とすることによって、ユーザに提示する。ここでは、方向指示子と異なる表示によって、術野画像の表示範囲の変更ができない方向が示されるようにしてもよい。
　図２６は、術野画像の表示範囲の変更ができない方向を提示する表示画像の領域構成の例を示す図である。
　図２６のＡおよびＢには、術野画像の表示範囲が変更できない方向を表す情報である変更限界情報の配置位置が異なる表示画像が示されている。図２６のＡおよびＢの各表示画像は、操作メニュー領域Ａ３がなく、変更限界情報の表示領域がある点を除いて、図２を参照して説明した表示画像と同様であるため、重複する説明については適宜省略する。図２６のＡおよびＢの表示画像上に、方向指示子領域Ａ６１－０乃至Ａ６１－７が配置され、それぞれの領域に方向指示子が表示されるようにしてもよい。
　図２６のＡの例においては、変更限界情報の表示領域である変更限界情報領域Ａ７１－１が、表示画像の右端に縦長の領域として配置されている。変更限界情報領域Ａ７１－１には、例えば、所定の輝度が設定された単色の画像が表示される。
　図２６のＡの表示画像は、例えば、矢印Ｄ１で示すように、術野画像の表示範囲が右方向に向かって変更され続けて、右方向、右斜め上方向、および右斜め下方向に術野画像の表示範囲を変更することができなくなった場合に、制御装置１２により生成される。
　図２６のＢの例においては、変更限界情報の表示領域である変更限界情報領域Ａ７１－２が、表示画像の下端に細長帯状の領域として配置されている。図２６のＢの表示画像は、例えば、矢印Ｄ２で示すように、術野画像の表示範囲が下方向に向かって変更され続けて、下方向、左斜め下方向、および右斜め下方向に術野画像の表示範囲を変更することができなくなった場合に、制御装置１２により生成される。
　次に、図２７のフローチャートを参照して、制御装置１２の表示範囲変更処理について説明する。
　この表示範囲変更処理は、操作メニューの「Move」の項目がユーザによって選択されたとき、開始される。
　ステップＳ３０１において、制御部８２は、術野画像の上部に提示情報を配置するとともに、例えば、方向指示子を術野画像領域Ａ２の４つの角、並びにその角と角の中心位置に配置することによって、図２４の表示画像を生成する。制御部８２は、表示画像を表示制御部８３に出力する。表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、術野画像の表示範囲を変更することができる方向を提示させる。
　ステップＳ３０２において、制御部８２は、ユーザによる方向指示子の選択を受け付ける。例えば、制御部８２は、表示装置１４の近傍に設置されたカメラから供給される撮像画像に基づいて、ユーザの視線を検出する。制御部８２は、検出したユーザの視線に基づいて、ユーザにより選択された方向指示子を特定する。
　制御部８２は、ユーザにより選択された方向指示子に応じて、術野画像の表示範囲が変更された表示画像を生成する。制御部８２は、表示画像を表示制御部８３に出力する。表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、術野画像の表示範囲を変更した表示画像を表示させる。
　ステップＳ３０３において、制御部８２は、表示範囲を変更することができる限界であるか否かを判定する。
　表示範囲を変更することができる限界であるとステップＳ３０３において判定された場合、処理はステップＳ３０４に進む。
　ステップＳ３０４において、制御部８２は、例えば、方向指示子のうち、術野画像の表示範囲を変更することができる方向の方向指示子のみを配置した表示画像を生成する。制御部８２は、表示画像を表示制御部８３に出力する。表示制御部８３は、制御部８２から供給された表示画像を表示装置１４に出力し、図２５のＢに示したように、術野画像の表示範囲を変更できる限界であることを提示させる。また、図２６に示したように、術野画像の表示範囲を変更することができない方向に、変更限界情報を表示してもよい。
　ステップＳ３０５において、制御部８２は、ユーザによる選択に基づいて、表示範囲変更処理を終了させるか否かを判定する。なお、術野画像の表示範囲を変更できる限界ではないとステップＳ３０３において判定された場合には、ステップＳ３０４をスキップして、処理はステップＳ３０５に進み、ユーザによる選択に基づいて、表示範囲変更処理を終了させるか否かが判定される。
　表示範囲変更処理を終了させないとステップＳ３０５において判定された場合、処理はステップＳ３０１に戻り、それ以降の処理が行われる。
　一方、表示範囲変更処理を終了させるとステップＳ３０５において判定された場合、表示範囲変更処理は終了する。
　以上の処理により、制御装置１２は、ユーザの集中を妨げることなく、提示情報を提示するとともに、術野画像の表示範囲を変更することが可能となる。
＜５．変形例＞
・作業集中領域による表示位置調整の例
　制御装置１２は、表示装置１４の近傍に設置されたカメラから供給された撮像画像に基づいて検出したユーザの視線に基づいて、注視点を求める。このとき、注視点の分布に基づいて、制御装置１２によって所定の作業集中領域が求められてもよい。
　作業集中領域は、ユーザが視線を集中させていると想定される表示画像上の領域である。ここでは、術野画像に含まれる領域のうち、所定の時間内の変化が所定の量よりも大きい領域を、動きが大きい箇所である作業集中領域として求められてもよい。
　また、求められた作業集中領域に基づいて、表示画像上の所定の位置にアラートが表示されるようにしてもよい。
　図２８は、アラートが表示される表示画像の領域構成の例を示す図である。
　図２８のＡおよびＢの各表示画像は、アラートが表示される点を除いて、図２を参照して説明した表示画像と同様であるため、重複する説明については適宜省略する。
　図２８のＡの例においては、作業集中領域Ａ８１が術野画像領域Ａ２における略中央の円形の領域として、制御装置１２により求められる。図２８のＡの例においては、作業集中領域Ａ８１の近傍にアラート＃１が配置されている。また、アラート＃１は、術野画像領域Ａ２に重畳して配置されている。
　アラート＃１は、モニタリング情報等の情報に基づいて表示される。また、アラート＃１は、所定の透過率を設定して表示することができる。なお、作業集中領域Ａ８１は、説明の都合上表示しており、実際には表示されない。
　図２８のＢの例においては、アラート＃１が図２８のＡにおけるアラート＃１と異なり、提示情報領域Ａ１に配置されている。この場合、アラート＃１は、提示情報領域Ａ１に表示されるモニタリング情報などの提示情報と同様に、提示情報領域Ａ１に表示される。
　このように、アラート＃１の表示画像上の配置位置は、任意の位置とすることが可能である。また、モニタリング情報などに基づいた他の情報が、アラート＃１と同様に表示されるようにしてもよい。
　また、求められた作業集中領域に基づいて、術野画像領域Ａ２に重畳して配置される情報の配置位置が決められるようにしてもよい。例えば、第３の実施の形態において説明した、選択参照画像領域の配置位置が、作業集中領域に基づいて決められるようにしてもよい。
　図２９は、選択された参照画像が表示された表示画像の他の領域構成の例を示す図である。
　図２９のＡの表示画像は、選択画像領域の配置位置が異なる点を除いて、図１８の上段を参照して説明した表示画像と同様であるため、重複する説明については適宜省略する。
　図２９のＡの例においては、表示画像上の右寄りの上側の円形の領域が作業集中領域Ａ８１である。制御装置１２は、作業集中領域Ａ８１からより離れた表示画像上の左右のいずれかの端に、選択参照画像領域Ａ４１を配置する。図２９のＡの例においては、ユーザにより選択された参照画像の表示領域である参照画像領域Ａ４１－１が、表示画像上の左端に配置されている。
　図２９のＢの例においては、表示画像上の左寄りの下側の円形の領域が作業集中領域Ａ８１である。図２９のＢの例においては、ユーザにより選択された参照画像の表示領域である選択参照画像領域Ａ４１－２が、図２９のＡの表示画像における選択参照画像領域Ａ４１－１とは対称に表示画像上の右端に配置されている。
　このように、術野画像領域Ａ２に重畳して配置される情報を、作業集中領域に基づいて決められた位置に配置することも可能である。
・オールクリア操作の例
　ユーザは、所定の操作を行うことによって、表示画像の領域構成を制御することが可能である。例えば、ユーザは、視線、音声、ジェスチャ、タッチ操作などを行うことによって、図２を参照して説明した表示画像を表示させることができる。また、ユーザは、例えば、同様の操作を行うことによって、術野画像領域Ａ２のみによって構成された表示画像を表示させることも可能である。
　ここでは、表示画像上に表示されたボタンの押下によって、術野画像領域Ａ２のみによって構成された表示画像が表示されるようにしてもよい。
　図３０は、ボタンが表示される表示画像の領域構成の例を示す図である。
　図３０の上段の表示画像は、ボタンが配置される点を除いて、図２を参照して説明した表示画像と同様であるため、重複する説明については適宜省略する。
　図３０の上段の例においては、ボタンの表示領域であるボタン領域Ａ９１が、表示画像上の右斜め下の隅に、略正方形の領域として操作メニュー領域Ａ３に重畳して配置されている。ユーザは、ボタン領域Ａ９１に表示されたボタンを押下することによって、図３０の矢印の先に示す下段の表示画像を表示させることができる。
　図３０の下段の表示画像では、術野画像領域Ａ２が画面全体に配置され、術野画像のみが表示されている。
　以上のように、ユーザは、所定の操作を行うことによって、ワンアクションで、ある状態の表示画像から、初期状態の表示画像（図２の表示画像や図３０のＢの表示画像など）に切り替えることが可能となる。
・「Zoom」が選択された場合の例
　操作メニューのうち、「Zoom」の項目が選択された場合、制御部８２は、術野画像領域Ａ２が分割された表示画像を生成する。
　図３１は、「Zoom」が選択された場合の表示装置１４に表示される表示画像の例を示す図である。
　図３１の上段に示すように、「Zoom」が選択された場合の表示画像は、術野画像領域Ａ２の上に細幅帯状の領域である提示情報領域Ａ１が配置されることによって構成される。術野画像領域Ａ２は、矩形の術野画像分割領域Ａ１０１－０乃至Ａ１０１－８から構成される。
　術野画像分割領域Ａ１０１－０は、術野画像領域Ａ２が３×３（縦×横）の９つの領域に分割された領域のうち、中央に配置される領域である。術野画像分割領域Ａ１０１－１，Ａ１０１－５は、術野画像分割領域Ａ１０１－０の上下にそれぞれ配置され、同一な幅と高さをもつ矩形の領域である。術野画像分割領域Ａ１０１－２，Ａ１０１－４，Ａ１０１－６，Ａ１０１－８は、術野画像領域Ａ２のそれぞれの隅に配置され、同一な幅と高さをもつ矩形の領域である。術野画像分割領域Ａ１０１－３，Ａ１０１－７は、術野画像分割領域Ａ１０１－０の右と左にそれぞれ配置され、同一な幅と高さをもつ矩形である。
　なお、図３１の上段の例においては、それぞれの術野画像分割領域の大きさは同一でない場合の例を説明したが、全ての術野画像分割領域の大きさが等しいとすることも可能である。
　術野画像分割領域Ａ１０１－０乃至Ａ１０１－８には、術野画像領域Ａ２に表示される術野画像が分割されて表示される。また、術野画像分割領域Ａ１０１－０乃至Ａ１０１－８には、それぞれの領域の所定の位置に、それぞれの領域を表す番号とそれぞれの領域の呼称とが表示される。
　ユーザは、視線や音声によって術野画像分割領域Ａ１０１－０乃至Ａ１０１－８に表示される、分割された術野画像を選択することができる。例えば、術野画像分割領域Ａ１０１－０に表示される、分割された術野画像が選択された場合、制御装置１２は、図３１の矢印の先に示す下段の表示画像を生成する。
　図３１の下段の表示画像には、術野画像分割領域Ａ１０１－０に表示された術野画像が４倍に拡大されて術野画像領域Ａ２に表示されている。破線の矩形は、術野画像分割領域Ａ１０１－０に対応した領域を表す。
　術野画像分割領域に表示される術野画像がユーザにより選択された場合、制御部８２は、ユーザにより選択された領域に表示された術野画像を、所定の拡大倍率に拡大して術野画像領域Ａ２に配置する。術野画像を拡大する拡大倍率は、ユーザが術野画像分割領域に表示される術野画像を選択した後に、視線や音声によって指定されるようにしてもよい。
・視線と音声の組み合わせによる操作の例
　ユーザは、視線や音声などの複数の入力を組み合わせて、表示される情報を選択することが可能である。例えば、ユーザは、視線と音声を組み合わせて、第３の実施の形態において説明した参照情報グループのサムネイル画像を選択することが可能である。
　図３２は、視線と音声の組み合わせによる操作の例を示す図である。
　図３２の例においては、ユーザの視線が、参照情報グループ領域Ａ１１に表示されるサムネイル画像に向けられている。この視線は、制御装置１２が、表示装置１４の近傍に設置されたカメラから供給された撮像画像に基づいて検出した視線である。
　視線が向けられた参照情報グループ領域Ａ１１に表示されるサムネイル画像は、図１５を参照して説明した表示画像と同様である。図３２の例では、ハッチングされた、参照情報グループ領域Ａ１２乃至Ａ１４に表示されるサムネイル画像は、サムネイル画像が所定の透過率を設定されて表示されていることを表す。
　このように、制御部８２は、参照情報グループ領域Ａ１１乃至Ａ１４に表示されるサムネイル画像のうち、検出したユーザの視線が向けられているサムネイル画像以外のサムネイル画像に透過率を設定して、表示画像を生成する。つまり、ユーザの視線が向けられてフォーカスを当てるサムネイル画像には透過率を設定しない一方で、当該サムネイル画像以外のサムネイル画像には透過率が設定される。
　そして、ユーザは、視線を向けているサムネイル画像にフォーカスが当たっていることを確認した後に、「これを選択」などの所定の音声（音声コマンド）によって、視線を向けているサムネイル画像を選択することが可能である。
　また、ユーザの視線が向けられた領域に基づいて、サムネイル画像にフォーカスを当てるようにしてもよい。
　図３３は、ユーザの視線が向けられた領域に基づいて、サムネイル画像にフォーカスを当てた表示画像の例を示す図である。
　図３３の上段の例においては、ユーザの視線が、参照情報グループ領域Ａ１１のサムネイル画像の近傍に向けられている。このとき、制御部８２は、ユーザの視線に基づいて、例えば、破線で囲まれた矩形領域Ｒ３を、ユーザの視線が向けられた領域として決定する。破線で囲まれた矩形領域Ｒ３には、参照情報グループ領域Ａ１１乃至Ａ１４のうち、参照情報グループ領域Ａ１１の一部のみが含まれているため、制御部８２は、図３３の矢印の先の下段に示す表示画像を生成する。
　図３３の下段の表示画像は、図３２を参照して説明した表示画像と同様である。すなわち、制御部８２は、ユーザの視線が向けられた領域に含まれるサムネイル画像には透過率を設定せず、当該サムネイル画像以外のサムネイル画像には透過率を設定して、表示画像を生成する。そして、ユーザは、フォーカスが当たっているサムネイル画像を確認した後に、所定の音声によって当該サムネイル画像を選択することが可能である。
　なお、ユーザは、サムネイル画像に視線を向けずに、所定の音声によってフォーカスが当たっているサムネイル画像を選択することも可能である。
　図３４は、視線と音声の組み合わせによる操作の他の例を示す図である。
　図３４の例においては、ユーザの視線が、術野画像領域Ａ２上の略中央の位置に向けられている。図３４の表示画像には、ユーザの視線が向けられた術野画像領域Ａ２上の位置に、旗のアイコンであるマーキングＭ１が表示されている。ここでは、ユーザが、視線を向けながら「マーキング」などの所定の音声を発した場合に、制御装置１２は、ユーザの視線が向けられた位置にマーキングＭ１を重畳して配置した表示画像を生成している。
　また、所定の音声（音声コマンド）が入力された後に表示される表示画像は、ユーザの視線位置を画面に所定のマークで表示する構成としてもよい。例えば、図４に示す「Move」をユーザが音声入力で選択した場合に、制御装置１２は、検出されたユーザの視線位置に追従するように画面上にマークを表示する。このとき、制御装置１２は、マークの位置が画像の中心位置と重なるように、マークの位置に追従して術野画像の表示範囲を変更してもよい。
　また、提示情報領域Ａ１（ヘッダー領域）に表示される提示情報は、図３５に示すように、手術を始めた時刻からカウントされている手術時間のトータルを示す時間情報を含んでいてもよい。また、提示情報は、アラート情報や気腹装置の設定値、電気メスの設定値、タイマーを示す情報を含んでいてもよい。タイマーを示す情報としては、例えば、設定時間とカウントアップ時間とを表示し、カウントアップ時間が設定時間になると文字の色を変更して表示するのが好ましい。また、制御装置１２は、アラート情報としてアラートする内容を表示してもよい。
　また、操作メニュー領域Ａ３（フッター領域）に表示される操作メニューは図３６に示す操作メニューであってもよい。図３６の例においては、ユーザが選択可能なオプション項目を表す「Camera」、「Reference」、「Timer Start」、「Screen」および「Others」のテキストが表示されている。「Camera」は、制御装置１２に対して、術野画像を撮像している医療用撮像装置の制御または術野画像の表示の制御を行わせるための項目である。「Timer Start」は、制御装置１２に対して、カウントアップタイマーのカウントの開始を行わせるための項目である。「Reference」は上述の実施形態における「Reference」と同様の項目である。「Screen」は、制御装置１２に対して、表示状態の切替を行わせるための項目である。表示状態の切替は、例えば、ユーザインターフェースの表示と非表示の切替、参照画像のフルスクリーン表示のONとOFFの切替である。「Others」は、制御装置１２に対して、サブメニューの表示などのその他の動作を行わせるための項目である。なお、制御装置１２は、ユーザが制御装置１２に指示した内容をキャンセルさせるための項目である「Cancel」を表示してもよい。
　また、「Camera」が選択されたときは、操作メニュー領域Ａ３に表示される操作メニューの項目が医療用撮像装置の制御または術野画像の表示の制御を行わせるための項目に変更される。図３７の例においては、ユーザが選択可能なオプション項目を表す「Zoom In」「Zoom Out」「Zoom Reset」「Center」「Move」および「Cancel」のテキストが表示されている。「Zoom In」は、制御装置１２に対して、術野画像の拡大倍率を大きくする制御を行わせるための項目である。「Zoom Out」は、制御装置１２に対して、術野画像の拡大倍率を小さくする制御を行わせるための項目である。「Zoom Reset」は、制御装置１２に対して、術野画像の拡大倍率を規定値に戻す制御を行わせるための項目である、「Center」は、制御装置１２に対して、術野画像の中央を表示装置の中央に合わせる制御を行わせるための項目である。「Move」は、上述の実施形態における「Move」と同様の項目である。「Cancel」は、制御装置１２に対して、過去にユーザが制御装置１２に指示した内容をキャンセルさせるための項目である。
　なお、「Zoom In」または「Zoom Out」がユーザによって選択されたときに、選択時におけるユーザの視線を検出し、視線位置が中央となるように術野画像の表示領域を変更することが好ましい。
　また、参照画像を表示するときに、制御装置１２は、選択参照画像領域Ａ４１およびＡ４２の下部領域に、表示装置１２に対して参照画像の表示の制御を行わせるための操作項目を表示してもよい。図３８のＡに示すように、複数の参照画像が表示されているときは、それぞれの参照画像が表示される選択参照画像領域の下部領域に操作項目を表示することが好ましい。図３８のＢに示すように、操作項目は、例えば画像を大きく表示する制御を行う「Enlarge」、参照画像の表示をキャンセルする「Close」などである。なお、制御装置１２は、参照画像を表示領域全体に表示する「Full Size」や、参照画像を表示領域の半分の領域に表示する「Half Size」を選択参照画像領域の下部領域に操作項目として表示してもよい。また、複数の参照画像が表示されているときは、ユーザの視線に基づいて、表示を制御する参照画像が選択されてもよい。また、制御装置１２は、検出されたユーザの視線位置と表示領域が重なっている参照画像（選択された参照画像）の下部領域を他の参照画像（選択されていない参照画像）の下部領域より濃く表示してもよい。これにより、制御装置１２は、音声制御の操作対象となる参照画像をユーザに提示することができる。
　また、図３９のように、制御装置１２は、ユーザの指示に応じて術野画像領域Ａ２を水平方向に２つの領域に分け、一方に術野画像を、もう一方に参照画像や所定の拡大倍率で拡大された術野画像を表示する構成としてもよい。なお、制御装置１２に対してユーザが表示領域の分割を指示するための項目として、操作メニューの項目に「Half size」の項目を追加してもよい。また、ユーザが「Half Size」を選択しているときは、制御装置１２に対して領域分割の指示をキャンセルさせるための項目として「Cancel Half size」を操作メニューの項目に追加してもよい。
　なお、ユーザの視線が向けられた位置に、任意の画像を配置することが可能である。配置される画像が、ユーザの音声に基づいて決定されるようにしてもよい。また、ここでは、ユーザの視線に応じた視線領域に関する視線領域対応処理として、視線領域内に選択対象が存在する場合にユーザの音声に応じて選択対象を選択する処理、ユーザの音声に応じて視線領域が示す位置をマーキングする処理、または視線領域内の選択対象にフォーカスを当てる処理を例示したが、他の処理が行われてもよい。
・その他
　制御装置１２が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図７に示されるリムーバブル記録媒体６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM５２や記録部５８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得する取得部と、
　前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成する制御部と
　を有する制御装置を備え、
　前記制御部は、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、前記制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する
　医療用表示システム。
（２）
　前記提示情報は、前記患者の生体情報をモニタするモニタリング装置から取得したモニタリング情報信号から生成したモニタリング情報を少なくとも含む
　前記（１）に記載の医療用表示システム。
（３）
　前記制御部は、前記提示情報を、テキストまたはグラフを含む所定の表示形態で配置する
　前記（２）に記載の医療用表示システム。
（４）
　前記提示情報は、手術器具に関する情報を含む
　前記（２）または（３）に記載の医療用表示システム。
（５）
　前記提示情報は、時間に関する情報を含む
　前記（２）乃至（４）のいずれかに記載の医療用表示システム。
（６）
　前記提示情報は、リアルタイムに変化する情報を含む
　前記（２）乃至（５）のいずれかに記載の医療用表示システム。
（７）
　前記術野画像は、リアルタイムに変化する画像である
　前記（１）乃至（６）のいずれかに記載の医療用表示システム。
（８）
　前記上部領域より下側の領域は、前記上部領域と水平方向に同等の長さを有する下部領域を含み、
　前記制御部は、前記下部領域に、前記ユーザインターフェース情報を配置する
　前記（１）乃至（７）のいずれかに記載の医療用表示システム。
（９）
　前記上部領域より下側の領域は、前記上部領域と水平方向の異なる長さを有する領域であって、前記中部領域の左端または右端の少なくとも一方の領域に対応した左右部領域を含み、
　前記制御部は、前記左右部領域に、前記ユーザインターフェース情報を配置する
　前記（１）乃至（７）のいずれかに記載の医療用表示システム。
（１０）
　前記制御部は、ユーザに関する情報に基づいて、前記上部領域に配置される前記提示情報の表示方法を変更する
　前記（１）乃至（９）のいずれかに記載の医療用表示システム。
（１１）
　　前記ユーザに関する情報は、ユーザの視線に関する情報、またはユーザによる操作若しくは動作に応じた情報を含む
　前記（１０）に記載の医療用表示システム。
（１２）
　前記制御部は、前記上部領域より下側の領域に、前記医療用撮像装置と異なる他の医療用撮像装置により生成された１または複数の撮像画像を配置する
　前記（１）乃至（１１）のいずれかに記載の医療用表示システム。
（１３）
　前記制御部は、
　　参照用の撮影画像である参照画像に対応したサムネイル画像を配置し、
　　前記サムネイル画像が選択された場合、選択された前記サムネイル画像に対応した複数の参照画像を所定の方向に並べて配置し、
　　前記複数の参照画像の中から、所望の参照画像が選択された場合、選択された参照画像を拡大した参照画像を配置する
　前記（１２）に記載の医療用表示システム。
（１４）
　前記制御部は、前記上部領域より下側の領域に、前記術野画像の表示範囲を変更するための方向指示子を配置する
　前記（１）乃至（１１）のいずれかに記載の医療用表示システム。
（１５）
　前記制御部は、
　　前記術野画像におけるユーザが視線を集中した作業集中領域を特定し、
　　特定した前記作業集中領域に基づいて、前記術野画像に重畳される情報の配置位置を決定する
　前記（１）乃至（１４）のいずれかに記載の医療用表示システム。
（１６）
　前記制御部は、前記作業集中領域を除いた領域に、アラートまたは参照用の情報を配置するように前記配置位置を決定する
　前記（１５）に記載の医療用表示システム。
（１７）
　前記制御部は、
　　前記中部領域に対するユーザの視線を検出し、
　　検出した前記視線に応じた視線領域に関する視線領域対応処理を実施する
　前記（１）乃至（１６）のいずれかに記載の医療用表示システム。
（１８）
　前記視線領域対応処理は、前記視線領域内に選択対象が存在する場合に、前記ユーザの音声に応じて前記選択対象を選択する処理、前記ユーザの音声に応じて前記視線領域が示す位置をマーキングする処理、または前記視線領域内の前記選択対象にフォーカスを当てる処理を含む
　前記（１７）に記載の医療用表示システム。
（１９）
　患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得する取得部と、
　前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成する制御部とを備え、
　前記制御部は、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する
　制御装置。
（２０）
　制御装置が、
　患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得し、
　前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成し、
　前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する
　制御方法。
　１　医療用表示システム，　１１　顕微鏡装置，　１２　制御装置，　１３　モニタリング装置，　１４　表示装置，　１５　ネットワーク，　１６　外部サーバ，　８１　取得部，　８２　制御部，　８３　表示制御部

Claims (20)

  1. 　患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得する取得部と、
    　前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成する制御部と
    　を有する制御装置を備え、
    　前記制御部は、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、前記制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する
    　医療用表示システム。
  2. 　前記提示情報は、前記患者の生体情報をモニタするモニタリング装置から取得したモニタリング情報信号から生成したモニタリング情報を少なくとも含む
    　請求項１に記載の医療用表示システム。
  3. 　前記制御部は、前記提示情報を、テキストまたはグラフを含む所定の表示形態で配置する
    　請求項２に記載の医療用表示システム。
  4. 　前記提示情報は、手術器具に関する情報を含む
    　請求項２に記載の医療用表示システム。
  5. 　前記提示情報は、時間に関する情報を含む
    　請求項２に記載の医療用表示システム。
  6. 　前記提示情報は、リアルタイムに変化する情報を含む
    　請求項２に記載の医療用表示システム。
  7. 　前記術野画像は、リアルタイムに変化する画像である
    　請求項１に記載の医療用表示システム。
  8. 　前記上部領域より下側の領域は、前記上部領域と水平方向に同等の長さを有する下部領域を含み、
    　前記制御部は、前記下部領域に、前記ユーザインターフェース情報を配置する
    　請求項１に記載の医療用表示システム。
  9. 　前記上部領域より下側の領域は、前記上部領域と水平方向の異なる長さを有する領域であって、前記中部領域の左端または右端の少なくとも一方の領域に対応した左右部領域を含み、
    　前記制御部は、前記左右部領域に、前記ユーザインターフェース情報を配置する
    　請求項１に記載の医療用表示システム。
  10. 　前記制御部は、ユーザに関する情報に基づいて、前記上部領域に配置される前記提示情報の表示方法を変更する
    　請求項２に記載の医療用表示システム。
  11. 　前記ユーザに関する情報は、ユーザの視線に関する情報、またはユーザによる操作若しくは動作に応じた情報を含む
    　請求項１０に記載の医療用表示システム。
  12. 　前記制御部は、前記上部領域より下側の領域に、前記医療用撮像装置と異なる他の医療用撮像装置により生成された１または複数の撮像画像を配置する
    　請求項１に記載の医療用表示システム。
  13. 　前記制御部は、
    　　参照用の撮影画像である参照画像に対応したサムネイル画像を配置し、
    　　前記サムネイル画像が選択された場合、選択された前記サムネイル画像に対応した複数の参照画像を所定の方向に並べて配置し、
    　　前記複数の参照画像の中から、所望の参照画像が選択された場合、選択された参照画像を拡大した参照画像を配置する
    　請求項１２に記載の医療用表示システム。
  14. 　前記制御部は、前記上部領域より下側の領域に、前記術野画像の表示範囲を変更するための方向指示子を配置する
    　請求項１に記載の医療用表示システム。
  15. 　前記制御部は、
    　　前記術野画像におけるユーザが視線を集中した作業集中領域を特定し、
    　　特定した前記作業集中領域に基づいて、前記術野画像に重畳される情報の配置位置を決定する
    　請求項１に記載の医療用表示システム。
  16. 　前記制御部は、前記作業集中領域を除いた領域に、アラートまたは参照用の情報を配置するように前記配置位置を決定する
    　請求項１５に記載の医療用表示システム。
  17. 　前記制御部は、
    　　前記中部領域に対するユーザの視線を検出し、
    　　検出した前記視線に応じた視線領域に関する視線領域対応処理を実施する
    　請求項１に記載の医療用表示システム。
  18. 　前記視線領域対応処理は、前記視線領域内に選択対象が存在する場合に前記ユーザの音声に応じて前記選択対象を選択する処理、前記ユーザの音声に応じて前記視線領域が示す位置をマーキングする処理、または前記視線領域内の前記選択対象にフォーカスを当てる処理を含む
    　請求項１７に記載の医療用表示システム。
  19. 　患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得する取得部と、
    　前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成する制御部とを備え、
    　前記制御部は、前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する
    　制御装置。
  20. 　制御装置が、
    　患者の術野を撮像する医療用撮像装置により生成された術野画像信号と、前記医療用撮像装置を除いた外部装置を含む装置により生成された提示情報信号とを取得し、
    　前記術野画像信号と前記提示情報信号に基づいて、表示画像を生成し、
    　前記表示画像の表示領域のうち、上部領域に、前記提示情報信号から生成した提示情報を配置し、前記上部領域と水平方向に同等の長さを有する中部領域に、前記術野画像信号に基づいて生成した術野画像を配置し、前記上部領域より下側の領域に、前記制御装置を制御するためのユーザインターフェース情報を配置し、表示するように前記表示画像を生成する
    　制御方法。
PCT/JP2020/026167 2019-07-05 2020-07-03 医療用表示システム、制御装置、および制御方法 WO2021006201A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021530671A JPWO2021006201A1 (ja) 2019-07-05 2020-07-03
US17/597,120 US20220265384A1 (en) 2019-07-05 2020-07-03 Medical display system, control device, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019126311 2019-07-05
JP2019-126311 2019-07-05

Publications (1)

Publication Number Publication Date
WO2021006201A1 true WO2021006201A1 (ja) 2021-01-14

Family

ID=74114158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026167 WO2021006201A1 (ja) 2019-07-05 2020-07-03 医療用表示システム、制御装置、および制御方法

Country Status (3)

Country Link
US (1) US20220265384A1 (ja)
JP (1) JPWO2021006201A1 (ja)
WO (1) WO2021006201A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016021232A1 (ja) * 2014-08-04 2016-02-11 オリンパス株式会社 医療システム
JP2018143559A (ja) * 2017-03-07 2018-09-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像表示装置、および表示制御方法
JP2018161377A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016021232A1 (ja) * 2014-08-04 2016-02-11 オリンパス株式会社 医療システム
JP2018143559A (ja) * 2017-03-07 2018-09-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像表示装置、および表示制御方法
JP2018161377A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム

Also Published As

Publication number Publication date
JPWO2021006201A1 (ja) 2021-01-14
US20220265384A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
JP4653557B2 (ja) 医用画像表示装置及び医用画像表示方法
JP5904812B2 (ja) 医療ディスプレイのための外科医の補助
JPWO2006077798A1 (ja) 医療機器データ解析装置
RU2469308C2 (ru) Рентгеновский инструмент для трехмерного ультразвукового исследования
US11026561B2 (en) Method and system for automatically repositioning a viewable area within an endoscope video view
JP2014097309A (ja) 医用画像表示装置
WO2009122863A1 (ja) 画像表示システム及び画像表示プログラム
US20070182729A1 (en) Apparatus for interventional therapy
JP2010017558A (ja) 画像キーボードを提供する超音波システム及び方法
JP2014073156A (ja) 医用画像表示装置、医用画像表示方法及びプログラム
WO2021006201A1 (ja) 医療用表示システム、制御装置、および制御方法
JP2020081280A (ja) 画像表示制御システム、画像表示システム及び画像解析装置
JP6578519B2 (ja) 画像表示装置、画像表示システム、画像表示方法、およびプログラム
JP6440136B1 (ja) 医療映像スイッチャー
JP2009080545A (ja) 医療情報処理装置
WO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
US20070016018A1 (en) Review mode graphical user interface for an ultrasound imaging system
JP7099064B2 (ja) 表示制御装置、医用画像表示システム及びプログラム
JPH0199084A (ja) 画像処理装置
JP5789369B2 (ja) Ｘ線画像表示装置
JP7382735B2 (ja) 医用情報処理システム
JP2006110208A (ja) 医用画像表示装置
TWI774460B (zh) 病人資訊呈現方法及電子裝置
JP2012045225A (ja) 眼科用画像処理装置およびその方法
JP2008090101A (ja) 情報処理装置、その画像表示制御方法、及びその画像表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20836996

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021530671

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20836996

Country of ref document: EP

Kind code of ref document: A1