TW201505603A - 資訊處理裝置、資訊處理方法及資訊處理系統 - Google Patents

資訊處理裝置、資訊處理方法及資訊處理系統 Download PDF

Info

Publication number
TW201505603A
TW201505603A TW103124039A TW103124039A TW201505603A TW 201505603 A TW201505603 A TW 201505603A TW 103124039 A TW103124039 A TW 103124039A TW 103124039 A TW103124039 A TW 103124039A TW 201505603 A TW201505603 A TW 201505603A
Authority
TW
Taiwan
Prior art keywords
information
unit
image
information processing
presentation
Prior art date
Application number
TW103124039A
Other languages
English (en)
Inventor
Atsunari Tsuda
Toshikazu Uchiyama
Hitomi Wakamiya
Masahide Takano
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013147420A external-priority patent/JP2015019679A/ja
Priority claimed from JP2014067406A external-priority patent/JP6311393B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of TW201505603A publication Critical patent/TW201505603A/zh

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G06F19/3481—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Urology & Nephrology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明將各式各樣的醫療用裝置之資訊一元化，且控制複數之圖像顯示裝置中之顯示。 本發明之資訊處理裝置包括：取得部，其取得自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊；產生部，其產生包含由取得部所取得之複數之醫療用裝置資訊之至少一部分的提示用資訊；及提供部，其對複數之圖像顯示裝置輸出所產生之提示用資訊。

Description

資訊處理裝置、資訊處理方法及資訊處理系統
本發明係關於一種資訊處理裝置。
已知有一種作為配戴於頭部之顯示裝置之頭部配戴型顯示裝置(頭戴式顯示器(Head Mounted Display、HMD))。頭部配戴型顯示裝置例如係利用液晶顯示器與光源而產生表現圖像之圖像光，並將所產生之圖像光利用投影光學系統或導光板等導入使用者之眼，藉此讓使用者辨識虛像。
於專利文獻1中，記載有藉由使用此種頭部配戴型顯示裝置而用於改善醫療環境中之資訊顯示之系統。專利文獻1所記載之技術中，係基於查詢而自複數之資訊源取得資訊，基於規則對所取得之資訊進行過濾處理，並向眼鏡耳機式觀察器之接目鏡投影。又，於專利文獻1所記載之技術中，基於頭部配戴型顯示裝置之配戴者之視線，而決定對被固定之大型顯示器之顯示的控制權及優先權。於專利文獻2中記載有一種醫療用臉部配戴型影像顯示裝置(頭部配戴型顯示裝置)。於專利文獻2所記載之技術中，將進行內視鏡檢查或內視鏡手術時與內視鏡一併使用之內視鏡周邊機器的動作狀態資訊顯示於頭部配戴型顯示裝置。於專利文獻3、4中，記載有用於在頭部配戴型顯示裝置中 應用擴增實境技術而進行牙科手術之資訊之顯示的方法。於專利文獻3、4所記載之技術中，係於手術部位之實際影像上重疊術前圖像或模擬圖像等而進行顯示。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2006-102495號公報
[專利文獻2]日本專利特開2001-104331號公報
[專利文獻3]日本專利特開2010-259497號公報
[專利文獻4]日本專利特開2013-34764號公報
隨著醫學之進步與電子機器之進步，目前之醫療現場正取得急速之進步。於醫療現場，例如使用有如心電圖、心率計、血壓計、脈搏血氧定量計、血糖值計、倫琴射線、內視鏡之各式各樣的醫療用之裝置(以下稱為「醫療用裝置」)。把握此種各式各樣的醫療用裝置之資訊而進行作業，對於醫療現場從業人員來說成為較大負擔。因此，期望有一種能夠將各式各樣的醫療用裝置之資訊一元化之系統。於專利文獻1所記載之技術中，雖然能夠自複數之資訊源(醫療用裝置)取得資訊，但並未考慮所取得之資訊以何種方式顯示於複數之頭部配戴型顯示裝置。又，於專利文獻2~4所記載之技術中，成為對象之醫療用裝置受到限定，因此，存在無法將各式各樣的醫療用裝置之資訊一元化之問題。
又，此種問題並不限於頭部配戴型顯示裝置，其係產生例如用於顯示於如頭部配戴型顯示裝置之圖像顯示裝置之資訊之所有資訊處理裝置中共通的問題。如此，期望有一種能夠將各式各樣的醫療用裝置之資訊一元化，且能夠控制複數之圖像顯示裝置中之顯示的資訊處 理裝置。此外，對於資訊處理裝置存在提昇通用性、提昇便利性、降低製造成本、提昇可靠性之類的各種期望。
本發明係為解決上述問題之至少一部分研究而成者，其可作為以下之形態而實現。
(1)根據本發明之一形態，提供一種資訊處理裝置。該資訊處理裝置包括：取得部，其取得自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊；產生部，其產生包含由上述取得部所取得之上述複數之醫療用裝置資訊之至少一部分之提示用資訊；及提供部，其對複數之圖像顯示裝置輸出所產生之上述提示用資訊。根據該形態之資訊處理裝置，產生部使用由取得部所取得之複數之醫療用裝置資訊而產生提示用資訊，因此，可將連接於資訊處理裝置之各式各樣的醫療用裝置之資訊(醫療用裝置資訊)一元化。又，提供部向複數之圖像顯示裝置輸出所產生之提示用資訊，因此，可控制複數之圖像顯示裝置中之顯示。其結果，可實現能夠將各式各樣的醫療用裝置之資訊一元化，且能夠控制複數之圖像顯示裝置中之顯示的資訊處理裝置。
(2)於上述形態之資訊處理裝置中，上述產生部亦可包含：第1模式，其係產生對於上述複數之圖像顯示裝置為共通之上述提示用資訊；及第2模式，其係產生與上述複數之圖像顯示裝置分別對應之複數之上述提示用資訊。根據該形態之資訊處理裝置，產生部包含：第1模式，其係使用經一元化之醫療用裝置資訊，產生對於複數之圖像顯示裝置而言共通之提示用資訊；及第2模式，其係產生與複數之圖像顯示裝置分別對應之複數之提示用資訊。資訊處理裝置藉由分開使用產生部之該等模式，亦可控制複數之圖像顯示裝置中之顯示。
(3)於上述形態之資訊處理裝置中，上述產生部亦可於上述第1模式下產生共通之上述提示用資訊，該共通之上述提示用資訊至少包含 由特定之上述圖像顯示裝置之使用者選擇之上述醫療用裝置資訊。根據該形態之資訊處理裝置，產生部產生至少包含由特定之圖像顯示裝置之使用者選擇之醫療用裝置資訊的共通之提示用資訊，提供部向複數之圖像顯示裝置輸出所產生之共通之提示用資訊。其結果，資訊處理裝置可基於特定之圖像顯示裝置之使用者之選擇，控制複數之圖像顯示裝置中之顯示。
(4)於上述形態之資訊處理裝置中，亦可進而包括裝置間關係記憶部，該裝置間關係記憶部將用於相互識別上述複數之圖像顯示裝置之資訊、與表示該圖像顯示裝置是否為上述特定之圖像顯示裝置之資訊加以關聯而記憶；上述產生部於上述第1模式下，使用上述裝置間關係記憶部而識別上述特定之圖像顯示裝置。根據該形態之資訊處理裝置，產生部可使用裝置間關係記憶部，簡單地自複數之圖像顯示裝置中識別特定之圖像顯示裝置。
(5)於上述形態之資訊處理裝置中，上述產生部亦可於上述第2模式下產生上述複數之提示用資訊，上述複數之提示用資訊至少包含由上述複數之圖像顯示裝置之使用者分別選擇並取得的上述醫療用裝置資訊。根據該形態之資訊處理裝置，產生部產生至少包含由複數之圖像顯示裝置之使用者分別選擇之醫療用裝置資訊的複數之提示用資訊，提供部向複數之圖像顯示裝置分別輸出所產生之複數之提示用資訊。其結果，資訊處理裝置可基於各圖像顯示裝置之使用者之選擇而個別地控制複數之圖像顯示裝置中之顯示。
(6)於上述形態之資訊處理裝置中，上述產生部亦可於上述第2模式下產生上述複數之提示用資訊，該上述複數之提示用資訊至少包含自與上述使用者之各自之職務相應之上述醫療用裝置取得的上述醫療用裝置資訊。根據該形態之資訊處理裝置，產生部產生至少包含自與使用者之各自之職務相應之醫療用裝置取得的醫療用裝置資訊之複數 之提示用資訊，提供部向複數之圖像顯示裝置分別輸出所產生之複數之提示用資訊。其結果，資訊處理裝置可根據各圖像顯示裝置之使用者之職務而個別地控制複數之圖像顯示裝置中之顯示，從而可提昇圖像顯示裝置之使用者之便利性。
(7)於上述形態之資訊處理裝置中，亦可進而包括職務記憶部，該職務記憶部將用於相互識別上述複數之圖像顯示裝置之資訊、與該圖像顯示裝置之使用者之職務加以關聯而記憶；上述產生部於上述第2模式下使用上述職務記憶部而識別上述使用者之職務。根據該形態之資訊處理裝置，產生部可使用職務記憶部而簡單地識別使用者之職務。
(8)於上述形態之資訊處理裝置中，上述產生部亦可於上述第2模式下進而產生將所產生之上述複數之提示用資訊結合而成的結合資訊，上述提供部向上述特定之圖像顯示裝置輸出所產生之上述結合資訊。根據該形態之資訊處理裝置，產生部產生將所產生之複數之提示用資訊結合而成之結合資訊，提供部對特定之圖像顯示裝置輸出所產生之結合資訊。其結果，特定之圖像顯示裝置之使用者可獲知連接於資訊處理裝置之複數之圖像顯示裝置中，顯示有何種提示用資訊。其結果，可提昇特定之圖像顯示裝置之使用者之便利性。
(9)於上述形態之資訊處理裝置中，上述產生部亦可於產生上述提示用資訊時，在維持上述醫療用裝置資訊所含之圖像之縱橫比之狀態下，將上述圖像放大或縮小。根據該形態之資訊處理裝置，產生部係於維持醫療用裝置資訊所含之圖像之縱橫比之狀態下將圖像放大或縮小，故而產生提示用資訊時可抑制由醫療用裝置取得之醫療用裝置資訊產生預料外之失真。
(10)於上述形態之資訊處理裝置中，亦可於上述資訊處理裝置連接供使用者可視認虛像與外景之頭部配戴型顯示裝置作為上述圖像顯 示裝置。根據該形態之資訊處理裝置，可實現能夠將各式各樣的醫療用裝置之資訊一元化，且能控制複數之頭部配戴型顯示裝置之顯示的資訊處理裝置。
(11)於上述形態之資訊處理裝置中，上述提供部亦可進而自上述頭部配戴型顯示裝置取得配戴有上述頭部配戴型顯示裝置之狀態下之使用者之視界方向之圖像，並將所取得之上述視界方向之圖像進行圖像辨識，藉此提取外景中所包含之物體之特徵，基於所提取之上述特徵而修正由產生部所產生之上述提示用資訊，並輸出修正後之上述提示用資訊。根據該形態之資訊處理裝置，提供部藉由對頭部配戴型顯示裝置之使用者之視界方向之圖像進行圖像辨識而提取外景中所包含之物體之特徵，並基於所提取之特徵而修正產生之提示用資訊。因此，提示用資訊中包含例如CT圖像、MRI圖像、倫琴射線圖像等非可視資訊之情形時，可使非可視資訊與外景中包含之物體(例如患者身體等)一致。其結果，可提昇頭部配戴型顯示裝置之使用者之便利性。進而，頭部配戴型顯示裝置由於可接收修正後之提示用資訊，故頭部配戴型顯示裝置只要直接顯示所接收之提示用資訊便可。其結果，可簡化頭部配戴型顯示裝置之構成。
(12)於上述形態之資訊處理裝置中，亦可進而包括工序管理部，該工序管理部將表示預先規定之工序之資訊發送至上述產生部，並基於由上述取得部所取得之上述複數之醫療用裝置資訊，變更要發送之上述工序；上述產生部產生包含所接收到之上述工序之上述提示用資訊。根據該形態之資訊處理裝置，工序管理部將包含預先規定之工序之資訊發送至產生部，產生部產生包含所接收之工序之提示用資訊。因此，資訊處理裝置可將預先規定之工序顯示於連接於資訊處理裝置之複數之圖像顯示裝置。又，工序管理部基於由取得部所取得之複數之醫療用裝置資訊而變更要發送之工序。因此，資訊處理裝置可基於 自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊，變更顯示於複數之圖像顯示裝置之工序。其結果，可提供能夠基於醫療用裝置資訊靈活地變更預先規定之工序、且能向圖像顯示裝置之使用者引導相關工序的資訊處理裝置。
(13)於上述形態之資訊處理裝置中，上述工序管理部亦可重複取得上述複數之醫療用裝置資訊，並基於最新之上述複數之醫療用裝置資訊，變更要發送至上述產生部之上述工序。根據該形態之資訊處理裝置，工序管理部重複取得複數之醫療用裝置資訊，並基於最新之複數之醫療用裝置資訊，變更要發送至產生部之工序。因此，資訊處理裝置可基於自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊，即時地變更顯示於複數之圖像顯示裝置之工序。
(14)於上述形態之資訊處理裝置中，上述工序管理部亦可將表示包含複數之上述工序之預先規定之一系列工序的資訊發送至上述產生部，且藉由對上述一系列工序實施新工序之追加、上述一系列工序中之至少一部分工序之刪除、及上述一系列工序中之至少一部分工序之刪除中之至少任一者，而變更上述工序。根據該形態之資訊處理裝置，工序管理部可藉由對一系列工序實施新工序之追加、一系列工序中之至少一部分之工序之刪除、及一系列工序中之至少一部分之工序之刪除中之至少任一者而變更工序。
(15)於上述形態之資訊處理裝置中，上述工序管理部亦可將包含複數之上述工序之預先規定之一系列工序每次一工序地依序發送至上述產生部，並藉由中止上述一工序之發送而變更上述工序。根據該形態之資訊處理裝置，工序管理部可藉由中止工序之發送而變更工序。
(16)於上述形態之資訊處理裝置中，上述工序管理部亦可於上述第1模式下，將供上述特定之上述圖像顯示裝置之使用者使用之上述工序發送至上述產生部。根據該形態之資訊處理裝置，工序管理部於 第1模式下將供特定之圖像顯示裝置之使用者使用之工序發送至產生部。因此，資訊處理裝置可於複數之圖像顯示裝置顯示共通之「供特定之圖像顯示裝置之使用者使用之工序」。
(17)於上述形態之資訊處理裝置中，上述工序管理部亦可於上述第2模式下，將與上述使用者之各自之職務相應之上述工序發送至上述產生部。根據該形態之資訊處理裝置，工序管理部於第2模式下將與使用者之各自之職務相應之工序發送至產生部。因此，資訊處理裝置可於複數之圖像顯示裝置個別地顯示「與圖像顯示裝置之使用者之各自之職務相應的工序」。
(18)根據本發明之一形態，提供一種資訊處理系統。該資訊處理系統包括：複數之醫療用裝置；資訊處理裝置；及複數之頭部配戴型顯示裝置，其等可讓使用者視認虛像與外景；且上述資訊處理裝置包括：取得部，其取得自上述複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊；產生部，其產生包含由上述取得部所取得之上述複數之醫療用裝置資訊之至少一部分的提示用資訊；及提供部，其對上述複數之頭部配戴型顯示裝置輸出所產生之上述提示用資訊；且上述頭部配戴型顯示裝置包括：提示用資訊取得部，其自上述資訊處理裝置取得上述提示用資訊；及圖像顯示部，其將所取得之上述提示用資訊作為上述虛像而供上述頭部配戴型顯示裝置之使用者視認。根據該形態之資訊處理系統，可實現一種能夠將各式各樣的醫療用裝置之資訊(醫療用裝置資訊)於資訊處理裝置一元化、且能夠控制複數之頭部配戴型顯示裝置之顯示的資訊處理系統。
上述本發明之各形態所包含之複數之構成要素並非全部為必需者，為了解決上述問題之一部分或全部，或者為達成本說明書所記載之效果之一部分或全部，可適當地對上述複數之構成要素之一部分之構成要素進行其變更、刪除、與新構成要素之替換、及限定內容之一 部分刪除。又，為解決上述問題之一部分或全部，或者為達成本說明書所記載之效果之一部分或全部，亦可將上述本發明之一形態所包含之技術性特徵之一部分或全部與上述本發明之其他形態所包含之技術性特徵之一部分或全部進行組合，而形成本發明之獨立的一形態。
例如，本發明之一形態可作為包括取得部、產生部、提供部之3個要素中之一部分或全部之要素的裝置而實現。即，該裝置既可包含取得部，亦可不包含取得部。又，該裝置既可包含產生部，亦可不包含產生部。又，該裝置既可包含提供部，亦可不包含提供部。此種裝置可作為例如資訊處理裝置而實現，但亦可作為資訊處理裝置以外之其他裝置而實現。上述資訊處理裝置之各形態之技術性特徵之一部分或全部均可應用於該裝置。
再者，本發明能以各種形態實現，例如能以資訊處理裝置、資訊處理方法、資訊處理系統、頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法、頭部配戴型顯示系統、用於實現該等方法、裝置或系統之功能之電腦程式、記錄有此電腦程式之記錄媒體等形態實現。
10‧‧‧控制部
20‧‧‧圖像顯示部
20a‧‧‧圖像顯示部
20b‧‧‧圖像顯示部
22‧‧‧右顯示驅動部
24‧‧‧左顯示驅動部
26‧‧‧右光學像顯示部
26a‧‧‧右光學像顯示部
26b‧‧‧右光學像顯示部
28‧‧‧左光學像顯示部
28a‧‧‧左光學像顯示部
28b‧‧‧左光學像顯示部
32‧‧‧右耳機
34‧‧‧左耳機
40‧‧‧纜線
51‧‧‧發送部
52‧‧‧發送部
53‧‧‧接收部
54‧‧‧接收部
61‧‧‧相機(圖像取得部)
100‧‧‧頭戴式顯示器(圖像顯示裝置、頭部配戴型顯示裝置)
100a~100n‧‧‧頭戴式顯示器
110‧‧‧輸入資訊取得部
120‧‧‧記憶部
130‧‧‧電源
132‧‧‧無線通信部
134‧‧‧當前位置取得部
140‧‧‧CPU
160‧‧‧圖像處理部
170‧‧‧聲音處理部
180‧‧‧介面
190‧‧‧顯示控制部
201‧‧‧右背光源控制部
202‧‧‧左背光源控制部
211‧‧‧右LCD控制部
212‧‧‧左LCD控制部
221‧‧‧右背光源
222‧‧‧左背光源
241‧‧‧右LCD
242‧‧‧左LCD
251‧‧‧右投影光學系統
252‧‧‧左投影光學系統
261‧‧‧右導光板
262‧‧‧左導光板
300‧‧‧資訊處理裝置
310‧‧‧第1輸入輸出部
311~31n‧‧‧第1輸入輸出部(取得部)
320‧‧‧ROM
330‧‧‧RAM
340‧‧‧通信介面
350‧‧‧CPU
360‧‧‧產生部
365‧‧‧工序管理部
370‧‧‧第2輸入輸出部(提供部)
371~37n‧‧‧第2輸入輸出部
380‧‧‧外部記憶裝置
381‧‧‧共通影像規格
382‧‧‧管理表(職務記憶部、裝置間關係記憶部)
383‧‧‧非可視資訊
384‧‧‧手術記錄
385‧‧‧動作模式
386‧‧‧工序資訊
387‧‧‧緊急應對資訊
500‧‧‧醫療用裝置
501~50n‧‧‧醫療用裝置
700‧‧‧顯示器
1000‧‧‧資訊處理系統
OA‧‧‧外部機器
PC‧‧‧個人電腦
OD‧‧‧數據庫
VI‧‧‧虛像
PN‧‧‧提示用資訊
JN‧‧‧結合資訊
VR‧‧‧視野
PR‧‧‧醫師
MP1‧‧‧位置
UP1‧‧‧當前位置
CP1‧‧‧醫療用裝置資訊
S100~S142‧‧‧步驟
S200~S206‧‧‧步驟
S300~S316‧‧‧步驟
圖1係表示本發明之一實施形態之資訊處理系統之概略構成的說明圖。
圖2係功能性表示資訊處理裝置之構成之方塊圖。
圖3係表示共通影像規格之一例之說明圖。
圖4係表示管理表之一例之說明圖。
圖5係功能性表示頭戴式顯示器之構成之方塊圖。
圖6係表示提示用資訊產生處理之程序之流程圖。
圖7(A)、(B)係用於說明提示用資訊之產生方法之說明圖。
圖8係用於說明提示用資訊之產生方法之說明圖。
圖9(A)、(B)係表示提示用資訊之第1例之說明圖。
圖10(A)、(B)係表示提示用資訊之第2例之說明圖。
圖11係表示提示用資訊之第3例之說明圖。
圖12係表示於複數之頭戴式顯示器中提示用資訊作為虛像而顯示之狀況的說明圖。
圖13係表示於位於不同位置之複數之頭戴式顯示器中提示用資訊作為虛像而顯示之狀況的說明圖。
圖14係表示將步驟S122~S134執行兩次後於複數之頭戴式顯示器中提示用資訊作為虛像而顯示之狀況的說明圖。
圖15係功能性表示第2實施形態之資訊處理裝置之構成之方塊圖。
圖16係表示結合資訊產生處理之程序之流程圖。
圖17係用於說明結合資訊之產生方法之說明圖。
圖18係表示於頭戴式顯示器中結合資訊作為虛像而顯示之狀況的說明圖。
圖19係功能性表示第3實施形態之資訊處理裝置之構成之方塊圖。
圖20係概念性表示工序資訊之一例之說明圖。
圖21係表示緊急應對資訊之一例之說明圖。
圖22係表示工序管理處理之程序之流程圖。
圖23(A)、(B)係表示變化例之頭戴式顯示器之外觀構成之說明圖。
A.第1實施形態： A-1.資訊處理系統之構成：
圖1係表示本發明之一實施形態之資訊處理系統1000之概略構成的說明圖。資訊處理系統1000包括複數之醫療用裝置501~50n、資訊 處理裝置300、及圖像顯示裝置100。資訊處理系統1000係於醫療現場使用之系統，資訊處理裝置300自複數之醫療用裝置501~50n取得資訊並將其一元化，產生用於顯示於圖像顯示裝置100之提示用資訊。 醫療用裝置501~50n、與圖像顯示裝置100係藉由有線連接或無線連接而與資訊處理裝置300連接。再者，以下使用「n」作為表示「任意之複數」之文字。n為1以上之整數。
於本實施形態中，作為醫療現場係例示手術室內之手術現場，但資訊處理系統1000亦可使用於診察室、處理室、治療室、分娩室等。又，於本實施形態中，作為圖像顯示裝置100係例示頭部配戴型顯示裝置，但圖像顯示裝置100亦可為固定型之顯示器、可攜式顯示器、智慧型手機等。以下，亦將頭部配戴型顯示裝置100稱為「頭戴式顯示器100(Head Mounted Display、HMD)」。又，於圖1中，係圖示1台頭戴式顯示器100，但亦可如後述圖2般，將複數台之頭戴式顯示器100a~100n連接於資訊處理裝置300。
再者，於以下之說明中，於並不特別區分頭戴式顯示器100a~100n而進行說明之情形時，僅稱為「頭戴式顯示器100」。同樣地，於並不特別區分醫療用裝置501~50n而進行說明之情形時，僅稱為「醫療用裝置500」。
醫療用裝置501~50n係用於醫療用途之各種裝置。作為醫療用裝置501~50n之例，例如可使用用於拍攝室內外之靜止圖像及動態圖像之可見光相機、用於拍攝手術部位之靜止圖像及動態圖像之可見光相機、心電圖檢查裝置、手術用計時器、活體監護儀、心率計、脈搏計、血壓計、超音波檢查裝置、脈搏血氧定量計、血糖值計、CT(Computed Tomography、電腦斷層攝影)圖像攝影裝置、MRI(Magnetic Resonance Imaging、核磁共振圖像法)圖像攝影裝置、倫琴射線(X線)圖像攝影裝置、透視圖像攝影裝置、內視鏡圖像、熱 寫圖像圖像攝影裝置等。
A-2.資訊處理裝置之構成：
圖2係功能性表示資訊處理裝置300之構成之方塊圖。資訊處理裝置300包括第1輸入輸出部310、ROM320、RAM330、通信介面340、CPU350、及外部記憶裝置380，且各部係藉由匯流排而相互連接。
作為取得部之第1輸入輸出部310具備複數之第1輸入輸出部311~31n。第1輸入輸出部311~31n係例如依據於USB(Universal Serial Bus，通用串列匯流排)、HDMI(High Definition Multimedia Interface，高清晰多媒體介面)、DVI(Digital Visual Interface數位視覺介面)、VGA(Video Graphics Array，視訊圖形陣列)、合成(composite)、RS-232C(Recommended Standard 232，推薦標準232)、紅外線、近距離無線通信(例如Bluetooth(註冊商標))、無線LAN(例如IEEE802.11)、有線LAN(例如IEEE802.3)等通信規格的輸入輸出介面。第1輸入輸出部311~31n分別取得自所連接之醫療用裝置501~50n輸入之資訊。所謂自醫療用裝置輸入之資訊係指由醫療用裝置測定或攝像等之資訊。以下亦稱為「醫療用裝置資訊」。
於本實施形態中，第1輸入輸出部311係依據DVI之輸入輸出介面，第1輸入輸出部312係依據HDMI之輸入輸出介面，第1輸入輸出部313係依據HDMI之輸入輸出介面，第1輸入輸出部31n係依據無線LAN之輸入輸出介面。於圖2中，第1輸入輸出部311上連接有醫療用裝置501及固定式之顯示器700。同樣地，分別於第1輸入輸出部312連接有醫療用裝置502，於第1輸入輸出部313連接有醫療用裝置503，於第1輸入輸出部31n連接有醫療用裝置50n。如此，第1輸入輸出部310包括依據不同種類之通信規格之第1輸入輸出部311~31n。因此，可於第1輸入輸出部310連接依據各種通信規格之醫療用裝置，從而可提昇資 訊處理裝置300之通用性。再者，第1輸入輸出部310亦可將被輸入之信號直接輸出至例如顯示器700等顯示裝置。
通信介面(I/F)340係有線LAN之介面。通信介面340除了可通過網際網路INT之線路而將外部設施之醫師PR與資訊處理裝置300可通信地連接以外，亦可通過內部網路而將連接於院內LAN之數據庫OD與資訊處理裝置300可通信地連接。醫師PR係設想例如負責指導連接於資訊處理裝置300之頭戴式顯示器100之使用者之醫師、外部之專家醫師等。數據庫OD中記憶有表示手術等處理之程序之程序資訊、電子病歷系統、經電子化之學術書籍等。
CPU350藉由將儲存於ROM320之電腦程式於RAM330展開並執行，而控制資訊處理裝置300。又，CPU350實現產生部360、第2輸入輸出部370之功能。產生部360藉由執行後述之提示用資訊產生處理，而產生用於顯示於頭戴式顯示器100之提示用資訊。本實施形態之產生部360具有以下所示之兩個模式作為提示用資訊產生處理中之處理模式。
(1)產生共通之提示用資訊之第1模式 (2)產生分別對應於頭戴式顯示器100a~100n之複數之提示用資訊的第2模式
作為提供部之第2輸入輸出部370包括複數之第2輸入輸出部371~37n。第2輸入輸出部371~37n與第1輸入輸出部310同樣地，係依據各種通信規格之輸入輸出介面。詳細內容與第1輸入輸出部310相同故而省略說明。
於本實施形態中，第2輸入輸出部371與第2輸入輸出部372係依據無線LAN之輸入輸出介面，第2輸入輸出部373係依據USB之輸入輸出介面，第2輸入輸出部37n係依據DVI之輸入輸出介面。於圖2中，第2輸入輸出部371上連接有作為圖像顯示裝置之頭戴式顯示器100a。 同樣地，分別於第2輸入輸出部372連接有頭戴式顯示器100b，於第2輸入輸出部373連接有頭戴式顯示器100c，於第2輸入輸出部37n連接有頭戴式顯示器100n。如此，第2輸入輸出部370包括依據不同種類之通信規格之第2輸入輸出部371~37n。因此，可於第2輸入輸出部370連接依據各種通信規格之頭戴式顯示器，從而可提昇資訊處理裝置300之通用性。
雖未圖示，但外部記憶裝置380係由ROM、RAM、DRAM、硬碟、快閃記憶體等構成。外部記憶裝置380包含共通影像規格381、管理表382、作為非可視資訊記憶部之非可視資訊383、手術記錄384、及動作模式385。
圖3係表示共通影像規格381之一例之說明圖。共通影像規格381係用於規定與提示用資訊之影像信號相關之標準規格之表。共通影像規格381係於提示用資訊產生處理中在產生部360產生提示用資訊時使用。
於本實施形態之共通影像規格381中包含影像信號所含之圖像之像素數、縱橫比、解像度、壓縮方法、及編碼方法作為影像信號之規格。共通影像規格381係被預先規定後記憶於外部記憶裝置380內。規定共通影像規格381時，較佳考慮連接於第2輸入輸出部370之頭戴式顯示器100a~100n中採用之影像信號之規格。
圖4係表示管理表382之一例之說明圖。作為職務記憶部及裝置間關係記憶部之管理表382係用於管理連接於第2輸入輸出部370之頭戴式顯示器100之資訊、更具體而言係用於管理分別連接於第2輸入輸出部371~37n之頭戴式顯示器100a~100n之資訊的表。管理表382除了於提示用資訊產生處理中在產生部360產生提示用資訊時使用以外，亦於第2輸入輸出部371~37n向頭戴式顯示器100a~100n發送提示用資訊時使用。
本實施形態之管理表382係將識別碼、裝置間關係、職務、及影像規格關聯而記憶。「識別碼」中儲存有用於使連接於第2輸入輸出部370之頭戴式顯示器100相互識別之唯一的識別碼。「裝置間關係」中儲存有表示連接於第2輸入輸出部370之複數之頭戴式顯示器100a~100n之主從關係的字串。於本實施形態中，係將1台頭戴式顯示器100設為主(主機)，將其他頭戴式顯示器100設為從(從屬機)。「職務」中儲存有表示由識別碼識別之頭戴式顯示器100之使用者於醫療現場負責何種職務之字串。「影像規格」中儲存有表示由識別碼識別之頭戴式顯示器100中之影像信號之規格(影像信號所含之圖像之像素數、縱橫比、解像度、壓縮方法、編碼方法等)之樣式的字串。
於圖4之例中，可知由識別碼「1」識別之頭戴式顯示器100之使用者為「主刀醫師」，該頭戴式顯示器100之影像規格為「規格A」(輸入值E01)。同樣地，可知由識別碼「n」識別之頭戴式顯示器100之使用者為「護士」，該頭戴式顯示器100之影像規格為「規格E」(輸入值E0n)。又，於圖4之例中，可知由識別碼「1」識別之頭戴式顯示器100為主機，由其他識別碼識別之頭戴式顯示器100為從屬機(輸入值E01~E0n)。
管理表382可被預先規定後記憶於外部記憶裝置380，亦可於將頭戴式顯示器100連接於資訊處理裝置300時，作為初始處理而自動產生。具體而言，例如於產生部360檢測出頭戴式顯示器100對第2輸入輸出部370之連接時，對該頭戴式顯示器100賦予唯一的識別碼，並自頭戴式顯示器100取得主從(主機/從屬機)之指定、使用者之職務、及影像規格。產生部360將被賦予之識別碼、主從之指定、取得之職務、及影像規格儲存於管理表382。每當頭戴式顯示器100a~100n連接於第2輸入輸出部370時，進行如上所述之初始處理，藉此產生部360可自動地產生管理表382。
管理表382中之「裝置間關係」除了如上述般自頭戴式顯示器100取得以外，例如亦可利用如下之方法決定。
．根據自頭戴式顯示器100取得之職務而決定。例如，產生部360將主刀醫師之頭戴式顯示器100設為主機，將主刀醫師以外之頭戴式顯示器100設為從屬機。
．取得頭戴式顯示器100之當前位置資訊，並根據各頭戴式顯示器之位置關係來決定。例如，產生部360取得頭戴式顯示器100之當前位置資訊，將位於最靠近手術台中央之位置之頭戴式顯示器100設為主機，將其他頭戴式顯示器100設為從屬機。
．基於頭戴式顯示器100之硬體、軟體構成之差異來決定。例如，產生部360取得頭戴式顯示器100之型號，將特定型號之頭戴式顯示器100設為主機，將其他頭戴式顯示器100設為從屬機。
管理表382中之「職務」除了如上述般自頭戴式顯示器100取得以外，例如亦可利用如下之方法決定。
．基於頭戴式顯示器100之當前位置資訊來決定。例如，於資訊處理裝置300之外部記憶裝置380中預先記憶佈局資訊，該佈局資訊包含手術室內之設備(手術台、醫療用裝置500)之佈局、及手術室內之按職務之物品之擺放位置之佈局。然後，產生部360取得頭戴式顯示器100之當前位置資訊，並對照所取得之當前位置資訊與佈局資訊，藉此決定該頭戴式顯示器100之使用者之職務。
．基於頭戴式顯示器100之使用者之視界方向之圖像(外景圖像)來決定。產生部360自頭戴式顯示器100取得外景圖像，並對外景圖像進行圖像辨識，藉此特定出使用者正視認之醫療用裝置500之種類、手術室內之設備之種類、患者之身體之部分等。產生部360根據經特定之該等資訊，決定該頭戴式顯示器100之使用者之職務。
於圖2之非可視資訊383(非可視資訊記憶部)中記憶有物體外觀不 會出現之資訊即非可視資訊。非可視資訊係表現物體結構之圖像或文字資訊，當物體為活體時，例如係CT圖像、MRI圖像、倫琴射線(X線)圖像、透視圖像、超音波診斷圖像、內視鏡圖像、熱寫圖像圖像、及附於該等之文字資訊。非可視資訊係預先被拍攝後記憶於非可視資訊383。
圖2之手術記錄384係用於將資訊處理裝置300所取得之醫療用裝置資訊、資訊處理裝置300產生之提示用資訊、取得或產生之日期時間關聯而記錄之記錄部。所謂資訊處理裝置300取得之醫療用裝置資訊係指資訊處理裝置300自分別連接於第1輸入輸出部311~31n之複數之醫療用裝置501~50n取得的醫療用裝置資訊。又，所謂資訊處理裝置300產生之提示用資訊，係指於提示用資訊產生處理中產生部360產生之所有提示用資訊。資訊處理裝置300取得、產生之資訊之記錄可大致視為手術(診察、處理、治療)之日誌。因此，若如此則於手術等結束後可將手術日誌利用於手術內容之分析、研修、學術等。
於圖2之動作模式385中記憶有產生部360之提示用資訊產生處理中之處理之模式(即，產生部360之動作模式)。動作模式385之內容可藉由資訊處理裝置300具備之未圖示的輸入裝置而進行變更。又，亦可藉由來自頭戴式顯示器100之變更指示而進行變更。
A-3.頭部配戴型顯示裝置之構成：
圖5係功能性表示頭戴式顯示器100a之構成之方塊圖。以下，例示說明頭戴式顯示器100a作為頭戴式顯示器100之構成之一例。頭戴式顯示器100a係使用者可於視認虛像之同時亦可直接視認外景之光學穿透式之頭部配戴型顯示裝置，其將自資訊處理裝置300取得之提示用資訊作為虛像顯示。頭戴式顯示器100a包括於配戴於使用者之頭部之狀態下讓使用者視認虛像之圖像顯示部20、及控制圖像顯示部20之控制部10。圖像顯示部20與控制部10係經由纜線40而進行各種信號之 傳輸。
A-3-1.控制部之構成：
控制部10包括：輸入資訊取得部110，其取得對例如觸控板、十字鍵、腳踏開關、筆勢(gesture)、麥克風等輸入裝置之操作輸入；記憶部120，其係由ROM及硬碟等構成；電源130，其向頭戴式顯示器100a之各部供給電力；無線通信部132，其依照無線LAN或Bluetooth等特定之無線通信規格而與其他機器之間進行無線通信；當前位置取得部134；CPU140；介面180，其用於連接資訊處理裝置300及各種外部機器OA；及發送部(Tx)51、52；且各部係藉由未圖示之匯流排而相互連接。當前位置取得部134藉由接收來自GPS衛星之信號，檢測戴式顯示器100a之使用者之當前位置，並產生表示使用者之當前位置之當前位置資訊。再者，當前位置取得部134亦可接收複數之基地台之電波，並判斷所接收之電波之強弱，藉此產生當前位置資訊。當前位置資訊可藉由例如表示緯度經度之座標而實現。介面180可與資訊處理裝置300之第1輸入輸出部310同樣地，依據各種通信規格。
CPU140藉由讀出並執行儲存於記憶部120之電腦程式，而作為操作系統(OS)150、圖像處理部160、將聲音信號供給至右耳機32之揚聲器與左耳機34之揚聲器之聲音處理部170、及顯示控制部190發揮功能。圖像處理部160基於經由作為提示用資訊取得部之介面180或無線通信部132而輸入之提示用資訊之影像信號產生信號。而且，圖像處理部160將所產生之信號經由發送部51、52、纜線40而供給至圖像顯示部20，藉此控制圖像顯示部20之顯示。用於供給至圖像顯示部20之信號可使用周知之類比形式或數位形式。顯示控制部190產生對圖像顯示部20之右顯示驅動部22及左顯示驅動部24進行控制之控制信號，並經由發送部51、52而予以發送。所謂控制信號係指用於利用右LCD控制部211個別地切換右LCD241之驅動ON/OFF、利用右背光源控制 部201個別地切換右背光源221之驅動ON/OFF、利用左LCD控制部212個別地切換左LCD242之驅動ON/OFF、利用左背光源控制部202個別地切換左背光源222之驅動ON/OFF的信號。
A-3-2.圖像顯示部之構成：
圖像顯示部20係配戴於使用者頭部之配戴體，於本實施形態中具有眼鏡形狀。圖像顯示部20包含產生並射出表現圖像之圖像光之右顯示驅動部22及左顯示驅動部24、將圖像光導入使用者兩眼之右光學像顯示部26及左光學像顯示部28(圖2)、作為圖像取得部之相機61、及9軸感測器66。
右顯示驅動部22包含接收部(Rx)53、作為光源發揮功能之右背光源(BL)控制部201及右背光源(BL)221、作為顯示元件發揮功能之右LCD(Liquid Crystal Display)控制部211及右LCD241、及右投影光學系統251。右背光源控制部201基於經由接收部53輸入之控制信號，驅動右背光源221。右背光源221例如係LED或電致發光(EL)等發光體。右LCD控制部211基於輸入之影像信號驅動右LCD241。右LCD241係將複數之像素配置成矩陣狀之穿透式液晶面板。右LCD241藉由驅動配置成矩陣狀之各像素位置之液晶，改變透過右LCD241之光之透過率，並使自右背光源221照射之照明光調變為表現圖像之有效圖像光。右投影光學系統251係由將自右LCD241射出之圖像光成為平行狀態之光束的準直透鏡構成。左顯示驅動部24具有與右顯示驅動部22相同之構成，且與右顯示驅動部22同樣地動作。
右光學像顯示部26與左光學像顯示部28係配置成使用者配戴著圖像顯示部20時位於使用者之左右之眼前(圖2)。右光學像顯示部26包含由光透過性之樹脂材料等形成之右導光板261。右導光板261將自右顯示驅動部22輸出之圖像光沿特定之光路反射並將其導向使用者之右眼RE。右導光板261可使用繞射光柵，亦可使用半透過反射膜。左 光學像顯示部28具有與右光學像顯示部26相同之構成，且與右光學像顯示部26同樣地動作。如此，被導入頭戴式顯示器100a之使用者之兩眼之圖像光於使用者之視網膜成像，藉此使用者可視認虛像。本實施形態之頭戴式顯示器100a之使用者對於視野內顯示有虛像之部分，可同時看到虛像、及虛像背後之外景。又，關於視野內未顯示虛像之部分，可透過左右之光學像顯示部26、28而直接看到外景。
9軸感測器66係檢測加速度(3軸)、角速度(3軸)、地磁(3軸)之運動感測器。9軸感測器66係作為於圖像顯示部20被配戴於使用者頭部時，檢測頭戴式顯示器100a之使用者之頭部之動作的動作檢測部發揮功能。此處，頭部之動作包含頭部之速度．加速度．角速度．朝向．朝向之變化。再者，亦將頭部之朝向稱為「方位資訊」。作為視界圖像取得部之相機61係配置於與使用者配戴著圖像顯示部20時之使用者之眉間對應的位置。相機61對圖像顯示部20之正側方向、換言之配戴著頭戴式顯示器100a之狀態下使用者之視界方向之外景(外部之景色)進行攝像，取得外景圖像。相機61係所謂之可見光相機。本實施形態中之相機61為單眼相機，但亦可採用立體相機。
A-4.提示用資訊產生處理：
圖6係表示提示用資訊產生處理之程序之流程圖。提示用資訊產生處理係產生用於向頭戴式顯示器100顯示之提示用資訊的處理，其係由資訊處理裝置300(圖2)之產生部360執行。提示用資訊產生處理分為產生共通之提示用資訊之第1模式、及產生分別對應於頭戴式顯示器100a~100n之複數之提示用資訊的第2模式。又，於第2模式下執行之處理大致可分為包括步驟S120~S134之初始處理、及包括步驟S136~S142之個別處理。
產生部360藉由參照記憶於動作模式385之內容，確認產生部360之動作模式(步驟S100)。
A-4-1.第1模式：
動作模式為「第1模式」之情形時(步驟S100：第1模式)，產生部360自管理表382檢索作為主機之頭戴式顯示器100(步驟S110)。具體而言，產生部360參照管理表382，檢索「裝置間關係」中記憶為主機之輸入值，並取得檢索到之輸入值之「識別碼」。
產生部360自作為主機之頭戴式顯示器100取得資訊源之選擇請求(步驟S112)。具體而言，產生部360向具有於步驟S110中取得之識別碼之頭戴式顯示器100，請求發送資訊源之選擇請求。此處，所謂資訊源之選擇請求係指例如以下a1~a6列舉之請求。
(a1)由醫療用裝置500取得之醫療用裝置資訊之閱覽請求
(a2)與外部設施之醫師PR之通話請求
(a3)記錄於院內數據庫OD之資料之閱覽請求
(a4)記錄於非可視資訊383之資料之閱覽請求
(a5)記錄於手術記錄384之資料之閱覽請求
(a6)頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500之醫療用裝置資訊之閱覽請求
請求a1之情形時之資訊源為醫療用裝置500。同樣地，請求a2之情形時之資訊源為醫師PR，請求a3之情形時之資訊源為數據庫OD，請求a4之情形時之資訊源為非可視資訊383，請求a5之情形時之資訊源為手術記錄384，請求a6之情形時之資訊源為使用者難以視認顯示部之醫療用裝置500。此處，所謂「使用者難以視認顯示部之醫療用裝置500」，係例如如下之醫療用裝置500之統稱。
．醫療用裝置500處於使用者之死角，使用者無法視認或難以視認顯示部(顯示器等)之醫療用裝置500。
．醫療用裝置500處於離使用者較遠場所，故而使用者無法視認或難以視認顯示部之醫療用裝置500。
．醫療用裝置500並非處於使用者之死角、且處於離使用者較近之場所，但使用者之視線與顯示部並不對向，故而使用者無法視認或難以視認顯示部之醫療用裝置500。
上述請求a1~a6可單獨發出，亦可組合發出。其中，於本實施形態中資訊源之取得請求係設為至少包含請求a1者。資訊源之選擇請求係根據頭戴式顯示器100之使用者之操作而適當地發出。
頭戴式顯示器100例如可藉由以下之程序b1~b5而向資訊處理裝置300發送資訊源之選擇請求。
(b1)頭戴式顯示器100之使用者經由頭戴式顯示器100之輸入裝置(觸控板、十字鍵、腳踏開關、筆勢、麥克風等)而輸入所需之資訊源、及用於特定資訊源內之資訊之資訊。作為輸入方法，若採用經由麥克風之聲音輸入，於使用者在難以用手操作之醫療現場使用頭戴式顯示器100的情形時可大幅提昇使用者之便利性。再者，於請求a1、a6之情形時，無須輸入「用於特定資訊源內之資訊之資訊」。
(b2)頭戴式顯示器100之輸入資訊取得部110取得與使用者之操作輸入相應之信號，並將其發送至OS150。
(b3)頭戴式顯示器100之OS150產生資訊源之選擇請求。具體而言，於請求a1之情形時，OS150產生包含頭戴式顯示器100之識別碼、及用於特定程序b1中指定之資訊源之識別碼的資訊源之選擇請求。於請求a2~a5之情形時，OS150產生包含頭戴式顯示器100之識別碼、用於特定程序b1中指定之資訊源之識別碼、用於特定資訊源內之資訊之資訊的資訊源之選擇請求。於請求a6之情形時，OS150產生包含頭戴式顯示器100之識別碼、頭戴式顯示器100之當前位置資訊、方位資訊的資訊源之選擇請求。再者，該當前位置資訊及方位資訊係用於特定請求a6之「使用者難以視認顯示部之醫療用裝置500」。
(b4)頭戴式顯示器100之OS150向經由介面180或無線通信部132連 接之資訊處理裝置300，發送程序b3中產生之資訊源之選擇請求。
(b5)資訊處理裝置300之第2輸入輸出部370向產生部360發送所接收之資訊源之選擇請求。
於提示用資訊產生處理(圖6)之步驟S114中，產生部360取得資訊源之選擇請求中所包含之用於特定資訊源之資訊、及用於特定資訊源內之資訊之資訊。進而，產生部360於插入有當前位置資訊及方位資訊作為用於特定資訊源之資訊之情形時，將該當前位置資訊及方位資訊與自其他所有醫療用裝置500取得之位置資訊進行比較，特定「使用者難以視認顯示部之醫療用裝置500」。再者，於步驟S114中，產生部360亦可對當前位置資訊及方位資訊進而組合由頭戴式顯示器100之9軸感測器66獲得之使用者之頭部之動作(頭部之速度．加速度．角速度．朝向．朝向之變化)，而特定「使用者難以視認顯示部之醫療用裝置500」。
產生部360對指定(特定)之資訊源進行存取，取得所指定之資訊。然後，產生部360使用所取得之資訊，產生用於向連接於第2輸入輸出部370之所有頭戴式顯示器100提供之共通之提示用資訊。亦將該共通之提示用資訊稱為「提示用資訊PN*」。產生部360將所產生之提示用資訊PN*記憶於手術記錄384(步驟S116)。
圖7係用於說明提示用資訊之產生方法之說明圖。於藉由步驟S116而取得之資訊為單數之情形時，產生部360依照共通影像規格381中規定之影像信號之規格，對所取得之資訊CP1中包含的圖像進行轉換，藉此產生提示用資訊PN(圖7(A))。產生部360於該轉換時、尤其於所取得之資訊CP1中包含之圖像之縱橫比、與共通影像規格381中規定之圖像之縱橫比不同的情形時，在維持所取得之資訊CP1中包含之圖像之縱橫比的狀態下，將圖像放大或縮小。於是，在提示用資訊PN之縱向或橫向會產生無圖像之空白部分(圖中以斜線表示)。
產生部360對空白部分執行以下之c1、c2中之任一程序。藉此，使空白部分於頭戴式顯示器100中作為虛像顯示，從而可抑制使用者之視界被遮住。
(c1)產生部360對提示用資訊PN之空白部分插入黑色之虛設點資料(dummy dot data)。
(c2)產生部360針對提示用資訊PN之空白部分，而將頭戴式顯示器100之右顯示驅動部22及左顯示驅動部24內之用於切換圖像光產生之有效/無效之信號(Enable信號)設為Lo值(表示無效之值)。
若如此，提示用資訊PN中所包含之圖像之縱橫比不會改變。使用有資訊處理裝置300之醫療現場之圖像(例如手術部位之靜止圖像及動態圖像、CT圖像、MRI圖像、倫琴射線圖像等)較佳為，嚴格地維持醫療用裝置500中攝影之圖像之縱橫比，以便不損害使用者視認之圖像之實際尺寸感覺。關於該點，若維持藉由步驟S116取得之資訊CP1中所包含之圖像之縱橫比，當資訊源為醫療用裝置500時，可抑制由醫療用裝置500測定或攝像等之醫療用裝置資訊產生預料外之失真。再者，圖7(B)表示不維持所取得之資訊CP1中包含之圖像之縱橫比，對照共通影像規格381中規定的圖像之縱橫比進行放大後，資訊產生失真之提示用資訊PNx。
圖8係用於說明提示用資訊之產生方法之說明圖。於藉由步驟S116取得之資訊為複數個之情形時，產生部360產生由所取得之所有資訊(圖10之例中為醫療用裝置資訊CP2、CP3)中所包含的圖像配置而成的第1圖像。此時，產生部360亦維持所取得之資訊中包含之圖像之縱橫比。又，所取得之資訊中包含之圖像較佳為配置於第1圖像之端部。產生部360依照共通影像規格381中規定之影像信號之規格，對所產生之第1圖像進行轉換，藉此產生提示用資訊PN(圖8)。再者，產生部360對第1圖像之中未配置圖像之空白部分(圖中以斜線表示)執行上 述方法c1或c2中之任一者。藉此，空白部分於頭戴式顯示器100中係作為虛像顯示，可抑制使用者之視界被遮住。
圖9係表示提示用資訊之第1例之說明圖。圖9(A)係於資訊源之選擇請求中記憶於非可視資訊383之患者之倫琴射線圖像(CP4)被指定的情形時，由產生部360產生之提示用資訊PN之一例。再者，於資訊源之選擇請求中可取得非可視資訊之醫療用裝置500(倫琴射線圖像攝影裝置)被指定之情形時，亦產生與圖9(A)相同之提示用資訊。
圖9(B)係於資訊源之選擇請求中作為醫療用裝置500之手術用計時器、作為醫療用裝置500之脈搏計、作為醫療用裝置500之活體監護儀被指定的情形時，由產生部360產生之提示用資訊PN之一例。於提示用資訊PN之各端部，配置有自手術用計時器取得之當前時刻CP5及自手術開始之經過時間CP7、自脈搏計取得之脈搏之圖像CP6、自活體監護儀取得之心率(HR)、血壓(SYS/DIA)、及動脈血氧飽和度(SpO2)之圖像CP8。
圖10係表示提示用資訊之第2例之說明圖。圖10(A)係於資訊源之選擇請求中記憶於院內數據庫OD之學術書籍(CP9)、及記憶於院內數據庫OD之手術之程序資訊(CP10)被指定的情形時，由產生部360產生之提示用資訊PN之一例。圖10(B)係於資訊源之選擇請求中用於拍攝作為醫療用裝置500之手術部位之靜止圖像及動態圖像之可見光相機、與外部設施之醫師PR之通話被指定的情形時，由產生部360產生之提示用資訊PN之一例。
圖11係表示提示用資訊之第3例之說明圖。圖11係於資訊源之選擇請求中作為醫療用裝置500之活體監護儀被指定之情形時，由產生部360產生之提示用資訊PN之一例。圖11所示之活體監護儀並不具備能夠連接於第1輸入輸出部310之介面。然而，由於資訊處理裝置300為具備可見光相機之構成，因此若可見光相機能拍攝活體監護儀之畫 面(CP13)，產生部360便可使用來自不具備能夠連接於第1輸入輸出部310之介面之醫療用裝置的醫療用裝置資訊，如圖11般產生提示用資訊PN。
再者，產生提示用資訊PN時，頭戴式顯示器100亦可於資訊源之選擇請求中直接或間接地指定各資訊源之資訊之「配置」、「大小」、「透過度」等。此處之「直接指定」，係指頭戴式顯示器100指定表示配置各資訊之座標、大小、透過度之數值。又，所謂「間接指定」，係指例如頭戴式顯示器100自外景優先之「外景優先模式」、與圖像優先之「圖像優先模式」等預先準備之顯示模式中指定所需模式。例如，於外景優先模式之情形時，產生部360如圖8般將資訊較小配置於端部，產生不妨礙畫面中央之使用者之視界的提示用資訊PN。於圖像優先模式之情形時，產生部360如圖9(A)般產生將資訊較大配置於畫面中央之提示用資訊PN。
於提示用資訊產生處理(圖6)之步驟S118中，產生部360將所產生之提示用資訊PN*發送至所有第2輸入輸出部370(第2輸入輸出部371~第2輸入輸出部37n)。第2輸入輸出部371依照頭戴式顯示器100a之影像信號之規格，對所接收之提示用資訊PN*中包含之圖像進行轉換。再者，此時第2輸入輸出部371亦可參照管理表382之「影像規格」。於轉換影像規格後，第2輸入輸出部371向頭戴式顯示器100a發送提示用資訊PN*。同樣地，第2輸入輸出部372~第2輸入輸出部37n依照頭戴式顯示器100b~100n之影像信號之規格，分別對所接收之提示用資訊PN*中包含之圖像進行轉換，並將轉換後之提示用資訊PN*分別發送至頭戴式顯示器100b~100n。
圖12係表示於複數之頭戴式顯示器100a與100b中提示用資訊PN*作為虛像而顯示之狀況的說明圖。於經由介面180或無線通信部132而接收自第2輸入輸出部371發送之提示用資訊PN*之頭戴式顯示器100a 中，利用圖像處理部160進行上述顯示處理。其結果，導入頭戴式顯示器100a之使用者之兩眼之圖像光於使用者之視網膜上成像，藉此頭戴式顯示器100a之使用者可於視野VR內視認提示用資訊PN*之虛像VI。又，使用者可透過右光學像顯示部26及左光學像顯示部28而直接視認橫躺於手術台之患者之狀況(外景SC)。同樣地，於接收自第2輸入輸出部372發送之提示用資訊PN*之頭戴式顯示器100b中，利用圖像處理部160進行上述顯示處理，頭戴式顯示器100b之使用者可於視野VR內視認提示用資訊PN*之虛像VI。於圖12之例中，頭戴式顯示器100a之使用者視認之虛像VI(PN*)、與頭戴式顯示器100b之使用者視認之虛像VI(PN*)上，均顯示有自用於拍攝手術部位之靜止圖像及動態圖像之醫療用裝置502取得的醫療用裝置資訊CP。
圖13係表示於處於不同位置之複數之頭戴式顯示器100a與100b中，提示用資訊PN*作為虛像而顯示之狀況的說明圖。資訊處理裝置300之第2輸入輸出部370(第2輸入輸出部371~第2輸入輸出部37n)亦可如圖13所示般、進行使提示用資訊中包含之圖像之朝向及大小與外景SC中包含之對象物體之朝向及大小一致的匹配(fitting)處理。所謂對象物體係指醫療現場內例如患者身體或身體之一部分。以下，例示第2輸入輸出部371而說明匹配處理。於提示用資訊產生處理(圖6)之步驟S118中，第2輸入輸出部371依照頭戴式顯示器100a之影像信號之規格對提示用資訊PN*中包含之圖像進行轉換後，進行以下之程序d1~d5所示之處理。
(d1)第2輸入輸出部371向頭戴式顯示器100a指示使用相機61之外景圖像之拍攝，並取得所拍攝之外景圖像。
(d2)第2輸入輸出部371使用如下述1、2之圖像辨識之方法，提取外景圖像所包含之對象物體之特徵。再者，方法1與2亦可組合。
1.檢測對象物體之邊緣(特徵)。
2.檢測預先附於對象物體之標記(特徵)。再者，附於物體之標記可使用各種標記。例如，膠帶、封條、標記墨水、雷射標記、魔術貼(註冊商標)等。又，附於對象物體之標記之數為任意。
(d3)第2輸入輸出部371藉由對所接收之提示用資訊中包含之圖像進行圖像辨識，而提取對象物體之特徵。此時，第2輸入輸出部371可使用與上述1、2相同之圖像辨識之方法。
(d4)第2輸入輸出部371以使程序d2中提取之外景圖像之特徵、與程序d3中提取之提示用資訊之特徵之位置一致的方式，對提示用資訊PN*中包含之圖像CP進行修正。具體而言，於程序d2、d3中使用方法1之情形時，第2輸入輸出部371以使外景圖像之邊緣、與提示用資訊之邊緣之輪廓及特徵性部位之位置一致的方式，對提示用資訊PN*中包含之圖像CP進行放大、縮小、旋轉、反轉、裁剪、賦予變形、雜訊去除中之至少任一者之加工。此處，所謂特徵性部位，於對象物體為活體時，係指已切開之皮膚之輪廓、內臟之輪廓、關節、四肢之末端、血管、骨等。另一方面，於程序d2、d3中使用方法2之情形時，第2輸入輸出部371以使外景圖像之標記、與提示用資訊之標記之位置一致的方式，對提示用資訊PN*中包含之圖像CP進行放大、縮小、旋轉、反轉、裁剪、賦予變形、雜訊去除中之至少任一者之加工。
若如此，第2輸入輸出部370(第2輸入輸出部371~第2輸入輸出部37n)藉由對頭戴式顯示器100(頭部配戴型顯示裝置)之使用者之視界方向之圖像進行圖像辨識而提取外景所含之物體之特徵，並基於所提取之特徵，對產生部360產生之提示用資訊進行修正。因此，於提示用資訊包含例如CT圖像、MRI圖像、倫琴射線圖像等非可視資訊之情形時，可使非可視資訊與外景中包含之物體(例如，患者之身體等)一致。其結果，可提昇頭戴式顯示器100之使用者之便利性。又，上述匹配處理係由連接於特定之頭戴式顯示器100之第2輸入輸出部370執 行，故不會對連接於其他頭戴式顯示器100之第2輸入輸出部370造成處理負荷。進而，頭戴式顯示器100可接收實施匹配處理後之提示用資訊，故頭戴式顯示器100之圖像處理部160直接顯示所接收之提示用資訊便可。其結果，可簡化頭戴式顯示器100之構成。
如以上般，於產生部360之動作模式為「第1模式」之情形時，產生部360產生至少包含由管理表382之裝置間關係為「主機」之頭戴式顯示器100(即，特定之圖像顯示裝置)之使用者選擇的醫療用裝置資訊之共通之提示用資訊PN*。第2輸入輸出部370(提供部)向分別連接於第2輸入輸出部371~37n之複數之頭戴式顯示器100a~100n(圖像顯示裝置)，分別輸入所產生之共通之提示用資訊PN*。其結果，資訊處理裝置300可基於特定之頭戴式顯示器100之使用者之選擇，控制複數之頭戴式顯示器100a~100n之顯示。
A-4-2.第2模式(初始處理)：
於提示用資訊產生處理(圖6)之步驟S100中，於動作模式為「第2模式」之情形時(步驟S100：第2模式)，產生部360將用於提示用資訊產生處理之變數i設為「1」(步驟S120)。其後，產生部360參照管理表382之第i個輸入值(步驟S122)。產生部360取得儲存於管理表382之第i個輸入值之「識別碼」、及「職務」(步驟S124)。
再者，以下亦將具有步驟S124中取得之識別碼之頭戴式顯示器100稱為「頭戴式顯示器100i」。頭戴式顯示器100i於初始處理中係指當前處理中之頭戴式顯示器100。例如，於變數i=1之情形時，頭戴式顯示器100i係指儲存於管理表382之第1個輸入值E01之識別碼為1的主刀醫師之頭戴式顯示器100a。
於提示用資訊產生處理(圖6)之步驟S126中，產生部360特定出與頭戴式顯示器100i之使用者之職務相應的醫療用裝置500。具體而言，產生部360使用步驟S124中取得之「職務」，特定履行該職務時頭 戴式顯示器100i之使用者可檢查之醫療用裝置500。此係依照醫療現場之慣例而進行特定。例如，若職務為主刀醫師，則將取得CT圖像或倫琴射線圖像等非可視資訊之裝置特定為醫療用裝置500，若職務為麻醉醫師，則將血壓計、心電圖、呼吸道內壓計、通氣量計、二氧化碳描計圖(capnogram)、脈搏血氧定量計特定為醫療用裝置500。再者，資訊處理裝置300亦可將由職務、與相應於職務而必要之醫療用裝置500關聯而成之表預先記憶於外部記憶裝置380。
特定出醫療用裝置500後，於步驟S128中產生部360使用第1輸入輸出部311~31n取得之醫療用裝置501~50n之醫療用裝置資訊之中、自步驟S126中特定之醫療用裝置500取得的醫療用裝置資訊，產生用於向頭戴式顯示器100i發送之提示用資訊PNi。再者，產生部360產生提示用資訊之方法係如圖7及圖8所說明般。其後，產生部360將所產生之提示用資訊PNi記憶於手術記錄384。
於步驟S130中，產生部360將步驟S124中產生之提示用資訊PNi發送至連接有頭戴式顯示器100i之第2輸入輸出部370i。第2輸入輸出部370i依照頭戴式顯示器100i之影像信號之規格，對所接收之提示用資訊PNi中包含之圖像進行轉換。又，此時，第2輸入輸出部370i亦可執行匹配處理。詳細說明係如步驟S118所說明般。
圖14係表示將步驟S122~S134執行兩次後，於複數之頭戴式顯示器100a與100b中提示用資訊PNi作為虛像而顯示的說明圖。於經由介面180或無線通信部132而接收提示用資訊PNi之頭戴式顯示器100i中，利用圖像處理部160進行上述顯示處理。其結果，頭戴式顯示器100i之使用者可視認包含自與自身職務相應之醫療用裝置500取得之醫療用裝置資訊的提示用資訊PNi之虛像。於圖14之例中，頭戴式顯示器100a之使用者視認之虛像VI(i)中，顯示自主刀醫師可檢查之醫療用裝置500取得的醫療用裝置資訊CP4。又，於頭戴式顯示器100b之 使用者視認之虛像VI(i)中，顯示自第1助手可檢查之醫療用裝置500取得的醫療用裝置資訊CP2、及CP3。
於提示用資訊產生處理(圖6)之步驟S132中，產生部360對變數i進行遞增。其後，產生部360判定變數i是否為n以上(步驟S134)。變數i未達n(步驟S134：NO)，則意味著連接於第2輸入輸出部370之頭戴式顯示器100之中、存在未結束初始處理之頭戴式顯示器100。因此，產生部360使處理轉至步驟S122，繼續進行初始處理。另一方面，變數i為n以上(步驟S134：YES)，則意味著所有頭戴式顯示器100之初始處理已結束。因此，產生部360使處理轉至步驟S136之個別處理。
如以上般，於產生部360之動作模式為「第2模式」之情形時，產生部360藉由重複執行初始處理之步驟S122~S134，而產生至少包含自與複數之頭戴式顯示器100i(100a~100n)之使用者之各自之職務相應的醫療用裝置500取得之醫療用裝置資訊之複數之提示用資訊PNi，且第2輸入輸出部370(提供部)向分別連接於第2輸入輸出部371~37n之複數之頭戴式顯示器100a~100n(圖像顯示裝置)，依序輸出所產生之複數之提示用資訊PNi。其結果，資訊處理裝置300可根據各頭戴式顯示器100之使用者之職務，個別地控制複數之頭戴式顯示器100a~100n之顯示，從而可提昇頭戴式顯示器100之使用者之便利性。
A-4-3.第2模式(個別處理)：
於個別處理中，產生部360基於來自頭戴式顯示器100之請求，產生包含自發出請求之醫療用裝置500取得之醫療用裝置資訊、及自發出請求之醫療用裝置500以外之資訊源取得的資訊之提示用資訊。
於提示用資訊產生處理(圖6)之步驟S136中，產生部360判定是否已自頭戴式顯示器100接收資訊源之選擇請求。所謂資訊源之選擇請求，係與步驟S112中說明之請求a1~a6相同。於未接收資訊源之選擇 請求之情形時(步驟S136：無)，產生部360使處理轉至步驟S136，等待資訊源之選擇請求之接收。
另一方面，於已接收資訊源之選擇請求之情形時(步驟S136：有)，產生部360取得資訊源之選擇請求中所包含之頭戴式顯示器100i之識別碼、用於特定資訊源之資訊、及用於特定資訊源內之資訊之資訊(步驟S128)。進而，產生部360於插入當前位置資訊及方位資訊作為用於特定資訊源之資訊的情形時，將該當前位置資訊及方位資訊與自其他所有醫療用裝置500取得之位置資訊進行比較，特定「使用者難以視認顯示部之醫療用裝置500」。此處，產生部360亦可與步驟S114同樣地，對當前位置資訊及方位資訊組合頭戴式顯示器100使用者之頭部之動作。再者，所謂頭戴式顯示器100i係指資訊源之選擇請求之發出源之頭戴式顯示器100(即，當前處理中之頭戴式顯示器100)。
於步驟S140中，產生部360對指定之資訊源進行存取，取得經指定之資訊。然後，產生部360使用所取得之資訊，產生頭戴式顯示器100i用之提示用資訊PNi，並將產生之提示用資訊PNi記憶於手術記錄384。再者，產生部360產生提示用資訊之方法係如圖7及圖8所說明般。其後，產生部360將所產生之提示用資訊PNi記憶於手術記錄384。
於步驟S142中，產生部360將步驟S140中產生之提示用資訊PNi發送至連接有頭戴式顯示器100i之第2輸入輸出部370i。第2輸入輸出部370i依照頭戴式顯示器100i之影像信號之規格，對所接收之提示用資訊PNi中包含之圖像進行轉換。又，此時，第2輸入輸出部370i亦可執行匹配處理。詳細說明係如步驟S118所說明般。
於經由介面180或無線通信部132而接收提示用資訊PNi之頭戴式顯示器100i中，利用圖像處理部160進行上述顯示處理。其結果，已 發送資訊源之選擇請求之頭戴式顯示器100i之使用者可視認包含自資訊源之選擇請求中經指定之資訊源取得的資訊之提示用資訊PNi之虛像。
如以上般，於產生部360之動作模式為「第2模式」之情形時，產生部360藉由執行個別處理，而產生至少包含由複數之頭戴式顯示器100i(100a~100n)之使用者分別選擇之醫療用裝置資訊的複數之提示用資訊PNi。第2輸入輸出部370(提供部)向分別連接於第2輸入輸出部371~37n之複數之頭戴式顯示器100a~100n(圖像顯示裝置)，依序輸出所產生之複數之提示用資訊PNi。其結果，資訊處理裝置300可基於各頭戴式顯示器100之使用者之選擇，個別控制複數之頭戴式顯示器100a~100n之顯示。
如以上般，根據第1實施形態之資訊處理裝置300，產生部360係使用由第1輸入輸出部310(取得部、第1輸入輸出部311~第1輸入輸出部31n)取得之複數之醫療用裝置資訊而產生提示用資訊PN，故可將連接於資訊處理裝置300之第1輸入輸出部310之各式各樣的醫療用裝置500(醫療用裝置501~50n)之資訊(醫療用裝置資訊)一元化。又，第2輸入輸出部370(提供部)向複數之頭戴式顯示器100a~100n(圖像顯示裝置)輸出所產生之提示用資訊PN，故可控制複數之頭戴式顯示器100a~100n之顯示。其結果，可實現能將各式各樣的醫療用裝置500之資訊一元化、且能控制複數之頭戴式顯示器100a~100n之顯示的資訊處理裝置300。
進而，產生部360包含：第1模式，其係自一元化之醫療用裝置資訊產生相對於複數之頭戴式顯示器100a~100n(圖像顯示裝置)而言共通之共通之提示用資訊PN*；及第2模式，其係產生與複數之頭戴式顯示器100a~100n分別對應之複數之提示用資訊PNi。因此，資訊處理裝置300藉由分開使用產生部360之該等模式，亦可控制複數之頭 戴式顯示器100a~100n之顯示。
如以上所說明般，根據第1實施形態之資訊處理系統1000，可實現能將各式各樣的醫療用裝置500(醫療用裝置501~50n)之資訊(醫療用裝置資訊)於資訊處理裝置300中一元化、且能控制複數之頭戴式顯示器100a~100n(頭部配戴型顯示裝置)之顯示的資訊處理系統1000。
A-5.附加處理：
再者，於提示用資訊產生處理(圖6)中，亦可進而執行如下之附加處理。附加處理可單獨附加，亦可組合後進行附加。
A-5-1.附加處理1：
於附加處理1中，資訊處理裝置300對提示用資訊進行色轉換處理。具體而言，自產生部360接收提示用資訊之第2輸入輸出部370讓頭戴式顯示器100之相機61取得外景圖像。然後，第2輸入輸出部370根據所取得之外景圖像之亮度、對比度、彩度、色相，而實施為提昇提示用資訊中包含之圖像之視認性的色轉換處理。例如，第2輸入輸出部370可進行將提示用資訊中包含之圖像之色相轉換成外景圖像之色相之補色之色轉換處理。
如此，根據附加處理1，可進一步提昇頭戴式顯示器100之使用者對虛像VI之視認性。
A-5-2.附加處理2：
於附加處理2中，資訊處理裝置300實現所謂之平衡調節器功能，即，抑制隨著頭戴式顯示器100之使用者之頭之小幅搖晃而產生的虛像VI之晃動。具體而言，自產生部360接收提示用資訊之第2輸入輸出部370每隔特定時間重複進行上述程序d1~d4中說明之匹配處理、及提示用資訊產生處理之步驟S118、S130、S142之提示用資訊之發送。藉此，每隔特定時間重複進行外景圖像之拍攝、及提示用資訊中包含之圖像之修正及顯示，故而可將追隨使用者之頭部之經時動作 之提示用資訊作為虛像VI顯示。
然而，追隨頭戴式顯示器100之使用者之頭之微小動作或搖晃而經常變更提示用資訊，反而有可能導致使用者之眼睛疲勞、或有可能妨礙使用者之注意力。因此，第2輸入輸出部370亦可進而於上述程序d1與程序d2之間進行以下之程序e1、e2所示之處理。
(e1)第2輸入輸出部370求出程序c1中拍攝之外景圖像、與前一次執行之匹配處理之程序d1中拍攝之外景圖像之間的RGB柱狀圖之變化量。
(e2)第2輸入輸出部370於程序f1中求出之變化量超過特定閾值之情形時，繼續進行程序d2以下之處理。
如此，根據附加處理2，第2輸入輸出部370於前一次執行之匹配處理中之外景圖像、與當前執行中之匹配處理中之外景圖像間的變化量較小之情形時，即，頭戴式顯示器100之使用者之頭之動作微小的情形時，不進行提示用資訊中包含之圖像之修正。其結果，可抑制追隨頭戴式顯示器100之使用者之頭之微小動作或搖晃而經常變更提示用資訊，從而可抑制使用者之眼睛疲勞或注意力下降。再者，亦可構成為由使用者指定平衡調節器功能之ON/OFF。
A-5-3.附加處理3：
於附加處理3中，資訊處理裝置300根據頭戴式顯示器100之圖像顯示部20、與位於使用者之視界方向之物體之間的距離，變更提示用資訊中包含之圖像作為虛像VI顯示之大小。具體而言，自產生部360接收提示用資訊之第2輸入輸出部370可進行以下之程序f1~f3所示之處理，來代替上述程序d1~d4中說明之匹配處理。再者，於實施本處理之情形時，頭戴式顯示器100構成為進而具備測距感測器。測距感測器係用於利用反射光取得位於使用者之視界方向之物體與圖像顯示部20之間之距離的感測器，例如可配置於相機61附近。
(f1)第2輸入輸出部370自頭戴式顯示器100定期地取得測距感測器之測定值。
(f2)第2輸入輸出部370根據所取得之測距感測器之測定值而決定放大率(或縮小率)。
(f3)第2輸入輸出部370使用已決定之放大、縮小率，對提示用資訊中包含之圖像進行放大、縮小、旋轉、反轉、裁剪、賦予變形、雜訊去除中之至少任一者之加工。
如此，根據附加處理3，第2輸入輸出部370可根據位於頭戴式顯示器100之使用者之視界方向之物體、與圖像顯示部20之間的距離，而變更提示用資訊作為虛像VI顯示之大小。因此，可提昇頭戴式顯示器100之使用者之便利性。
B.第2實施形態：
於本發明之第2實施形態中，說明產生部360可產生結合資訊之構成。以下，僅對具有與第1實施形態不同之構成及動作之部分進行說明。再者，圖中對與第1實施形態相同之構成部分，附加與之前說明之第1實施形態相同之符號，並省略其詳細說明。
B-1.資訊處理系統之構成：
第2實施形態之資訊處理系統1000a之概略構成係與圖1所示之第1實施形態大致相同。但是，第2實施形態之資訊處理系統1000a具備資訊處理裝置300a來代替資訊處理裝置300。
B-2.資訊處理裝置之構成：
圖15係功能性表示第2實施形態之資訊處理裝置300a之構成的方塊圖。與圖2所示之第1實施形態之不同點在於：具備產生部360a而代替產生部360。產生部360a於動作模式為「第2模式」之情形時，係與提示用資訊產生處理同時地執行後述之結合資訊產生處理。結合資訊產生處理係如下處理：產生將連接於第2輸入輸出部370之所有頭戴式 顯示器100(頭戴式顯示器100a~100n)之提示用資訊結合而成的結合資訊。
B-3.頭部配戴型顯示裝置之構成：
第2實施形態之頭戴式顯示器100之概略構成係與圖5所示之第1實施形態相同。
B-4.提示用資訊產生處理：
第2實施形態之提示用資訊產生處理之程序係與圖6所示之第1實施形態相同。
B-5.附加處理：
再者，於第2實施形態之提示用資訊產生處理中，亦可執行「A-5-1.附加處理1」~「A-5-3.附加處理3」中說明之與第1實施形態相同之附加處理。
B-6.結合資訊產生處理：
圖16係表示結合資訊產生處理之程序之流程圖。結合資訊產生處理係產生用於向頭戴式顯示器100顯示之結合資訊之處理，其係由資訊處理裝置300a(圖15)之產生部360a執行。結合資訊產生處理於提示用資訊產生處理(圖6)之步驟S100中，當動作模式為「第2模式」時(步驟S100：第2模式)，係與圖6所說明之初始處理及個別處理同時執行。
產生部360a判定是否已自頭戴式顯示器100接收結合資訊之請求(步驟S200)。此處，所謂結合資訊之請求，係指內容為要求發送結合資訊之請求，且與請求源之頭戴式顯示器100之識別碼一併發送。於未接收結合資訊之請求之情形時(步驟S200：無)，產生部360a使處理轉至步驟S200，等待結合資訊之請求之接收。
另一方面，於已接收結合資訊之請求之情形時(步驟S200：有)，產生部360a取得結合資訊之請求中包含之請求源之頭戴式顯示器100i 之識別碼(步驟S202)。此處，所謂頭戴式顯示器100i係指作為結合資訊之請求之發出源的頭戴式顯示器100(即，當前處理中之頭戴式顯示器100)。
於步驟S204中，產生部360a對手術記錄384進行存取。然後，產生部360a針對連接於第2輸入輸出部370之所有頭戴式顯示器100(頭戴式顯示器100a~100n)，分別取得產生部360a所產生之最新之提示用資訊。再者，最新之提示用資訊可藉由手術記錄384中與提示用資訊關聯記憶之「產生之日期時間」進行判斷。再者，此處，亦可自取得對象中除去請求源之頭戴式顯示器100i之提示用資訊。產生部360a結合所取得之複數之提示用資訊而產生結合資訊。
圖17係用於說明結合資訊之產生方法之說明圖。產生部360a對所取得之複數之提示用資訊進行以下之程序g1~g4所示之處理。
(g1)產生部360a根據所取得之提示用資訊之總數、及記憶於共通影像規格381之解像度，而決定提示用資訊之縮小率。
(g2)產生部360a以程序g1中決定之縮小率將第i個提示用資訊(提示用資訊PNi)中包含之圖像縮小。
(g3)產生部360a將程序g2中經縮小之圖像分層配置於不與其他圖像重疊之位置並覆寫保存，作為結合資訊JN。
(g4)產生部360a對變數i進行遞增，直至「i≧所取得之提示用資訊之總數」成立之前，重複進行上述程序g2、g3。
(g5)產生部360a對結合資訊JN之中未配置提示用資訊之圖像之空白部分(圖中以斜線表示)，執行與上述c1、c2之說明相同之程序，進行虛設點資料之插入、或Enable信號之調整。
(g6)產生部360a依照共通影像規格381中規定之影像信號之規格，對所產生之結合資訊JN中包含之圖像進行轉換。
於圖17之例中，係例示如上述般產生之由6個提示用資訊PN1~ PN6分別配置於不重疊之位置而成的結合資訊JN。
於結合資訊產生處理(圖16)之步驟S206中，產生部360a將步驟S204中產生之結合資訊JN發送至連接有頭戴式顯示器100i之第2輸入輸出部370i後，使處理轉至步驟S200。第2輸入輸出部370i依照頭戴式顯示器100i之影像信號之規格，對所接收之提示用資訊PNi中包含之圖像進行轉換。
圖18係表示於頭戴式顯示器100i中結合資訊JN作為虛像顯示之狀況的說明圖。於經由介面180或無線通信部132而接收自第2輸入輸出部370i發送之結合資訊JN之頭戴式顯示器100i中，利用圖像處理部160進行上述顯示處理。其結果，導入頭戴式顯示器100i之使用者之兩眼之圖像光在使用者之視網膜上成像，藉此頭戴式顯示器100i之使用者可於視野VR內視認結合資訊JN之虛像VI。於圖18之例中，在頭戴式顯示器100g之使用者之視野VR內，顯示有表示結合有頭戴式顯示器100a~100f用之提示用資訊PN1~6之結合資訊JN的虛像VI。再者，於圖18中，未便於圖示而省略提示用資訊PN3~6之圖示。
如以上般，第2實施形態之產生部360a產生將提示用資訊產生處理中產生之複數之提示用資訊PNi結合而成的結合資訊JN，第2輸入輸出部370(提供部)向發出結合資訊之請求之特定之頭戴式顯示器100i(圖像顯示裝置)，輸出所產生之結合資訊JN。其結果，特定之頭戴式顯示器100i之使用者可獲知連接於資訊處理裝置300之複數之頭戴式顯示器100a~100n(圖像顯示裝置)中，正顯示何種提示用資訊PN，從而可提昇特定之頭戴式顯示器100i之使用者之便利性。
C.第3實施形態：
於本發明之第3實施形態中，說明如下構成：可向頭戴式顯示器之利用者引導預先規定之一系列工序，且可基於醫療用裝置資訊即時地變更引導之工序。以下，僅對具有與第1實施形態不同構成及動作 之部分進行說明。再者，圖中對與第1實施形態相同之構成部分附加與之前說明之第1實施形態相同的符號，並省略其詳細說明。
C-1.資訊處理系統之構成：
第3實施形態之資訊處理系統1000b之概略構成係與圖1所示之第2實施形態大致相同。但是，第2實施形態之資訊處理系統1000b具備資訊處理裝置300b來代替資訊處理裝置300。
C-2.資訊處理裝置之構成：
圖19係功能性表示第3實施形態之資訊處理裝置300b之構成之方塊圖。與圖2所示之第1實施形態之不同點在於：具備CPU350b來代替CPU350；以及具備外部記憶裝置380b來代替外部記憶裝置380。CPU350b具備產生部360b來代替產生部360，進而具備工序管理部365。
產生部360b執行之提示用資訊產生處理之處理內容與圖6所示之第1實施形態部分不同。工序管理部365係與產生部360執行之提示用資訊產生處理同時地，執行後述之工序管理處理。工序管理處理係如下處理：向產生部360b發送向頭戴式顯示器100之利用者引導之一系列工序，且根據自醫療用裝置資訊推斷之患者之狀態而變更該工序。
外部記憶裝置380b除了包含第1實施形態中說明之各資訊以外，進而包含工序資訊386、及緊急應對資訊387。
圖20係概念性表示工序資訊386之一例之說明圖。本實施形態之工序資訊386係針對各種手術而分別預先記憶有一系列工序之表(或包含複數之表之資料庫)。工序資訊386係於工序管理處理中被參照而用於向頭戴式顯示器100之利用者引導工序。再者，於圖20中，為便於圖示，僅例示一手術，且具體之手術名稱、技法名、工序內容省略圖示。「手術名稱」中儲存有用於特定手術之名稱。「技法」中儲存有用於特定技法之名稱。手術中亦有存在複數種不同技法之情形，故而將 手術名稱與技法組合而特定工序。「工序」中係針對由手術名稱及技法特定之一系列工序有序地儲存其內容。手術中亦有根據患者之症狀或狀態而執行工序部分不同之情形，故而於圖20之例中，工序存在分支。再者，於提示用資訊產生處理(圖6)中，實現產生複數之提示用資訊之第2模式之情形時，工序資訊386構成為包括針對各種手術按各職務而分別記憶有一系列工序之表等。
圖21係表示緊急應對資訊387之一例之說明圖。本實施形態之緊急應對資訊387係將技法、條件、症狀、及緊急應對預先關聯而記憶。緊急應對資訊387係於工序管理處理中被參照而用於變更向頭戴式顯示器100之利用者引導之工序。「技法」中儲存有用於特定技法之名稱。技法係用於與工序資訊386之「技法」關聯。「條件」中儲存有對醫療用裝置資訊之判斷條件。「症狀」中儲存有表示於醫療用裝置資訊滿足記憶於「條件」之條件之情形時，推斷患者產生之症狀的名稱。「緊急應對」中儲存有用於消除或緩解該症狀之措施。
C-3.頭部配戴型顯示裝置之構成：
第3實施形態之頭戴式顯示器100之概略構成係與圖5所示之第1實施形態相同。
C-4.提示用資訊產生處理：
第3實施形態之提示用資訊產生處理之程序除了以下說明之方面以外，係與圖6所示之第1實施形態相同。針對產生共通之提示用資訊之第1模式時之提示用資訊產生處理進行說明。於圖6之步驟S114中，產生部360b自頭戴式顯示器100接收「(a7)手術程序之引導請求」作為資訊源之選擇請求。其後，產生部360b向工序管理部365請求執行工序管理處理。再者，請求a7可單獨發出，亦可與第1實施形態之請求a1~a6組合後發出。於步驟S116中，產生部360b自工序管理部365接收工序，並使用所接收之資訊產生提示用資訊PN*。
針對產生複數之提示用資訊之第2模式時之提示用資訊產生處理進行說明。於圖6之步驟S126中，產生部360b向工序管理部365發送頭戴式顯示器100i之使用者之職務。其後，產生部360b於向工序管理部365發送使用者之職務之同時，請求執行工序管理處理。於步驟S128中，產生部360b自工序管理部365接收與頭戴式顯示器100i之使用者之職務相應之工序，並使用所接收之資訊產生提示用資訊PNi。
C-5.附加處理：
再者，於第3實施形態之提示用資訊產生處理中，亦可執行「A-5-1.附加處理1」~「A-5-3.附加處理3」中說明之與第1實施形態相同之附加處理。
C-6.工序管理處理：
圖22係表示工序管理處理之程序之流程圖。工序管理處理係如下處理：向產生部360b發送向頭戴式顯示器100之利用者引導之工序，且根據自醫療用裝置資訊推斷之患者之狀態而變更該工序。
於步驟S300中，工序管理部365參照工序資訊386，取得預先規定之一系列工序。此處，所謂「預先規定之一系列工序」係指記憶於工序資訊386之手術、技法、及工序之組合之中、由主刀醫師或其他醫師等預先規定之一組之一系列工序(圖20、實線框L1)。再者，預先規定之一系列工序亦可於記憶於工序資訊386之一系列工序之途中結束(圖20、虛線框L2)。例如，實際實施手術時，較佳為一面觀察患者狀況一面選擇最佳工序之情形時等，預定如虛線框L2之工序。
再者，於提示用資訊產生處理為第1模式之情形時(換言之，自產生部360b僅指示執行工序管理處理之情形時)，當工序資訊386中記憶有與使用者之職務相應之工序時，在步驟S300中，工序管理部365取得管理表382(圖4)之裝置間關係為「主機」之頭戴式顯示器100之使用者之職務用之「預先規定之一系列工序」。另一方面，於提示用資 訊產生處理為第2模式之情形時(換言之，自產生部360指示與使用者之職務一併執行工序管理處理之情形時)，在步驟S300中工序管理部365自工序資訊386取得所接收之使用者之職務用之「預先規定之一系列工序」。
於步驟S302中，工序管理部365自步驟S300中取得之一系列工序取得一工序，並發送至產生部360b。接收一工序之產生部360b經由提示用資訊產生處理而產生用於針對該工序進行引導之提示用資訊PN*或提示用資訊PNi，並發送至頭戴式顯示器100。
於步驟S304中，工序管理部365檢查患者之狀態。具體而言，工序管理部365經由第1輸入輸出部310(取得部、第1輸入輸出部311~第1輸入輸出部31n)，而取得由測定患者之狀態之醫療用裝置所測定的所有醫療用裝置資訊。
於步驟S306中，工序管理部365判定患者是否產生突發狀況。具體而言，工序管理部365針對步驟S304中接收之所有醫療用裝置資訊，判定醫療用裝置資訊是否滿足記憶於緊急應對資訊387之「條件」。於所有醫療用裝置資訊不滿足條件之情形時(步驟S306：NO)，工序管理部365使處理轉至步驟S314。另一方面，於至少一個醫療用裝置資訊滿足條件之情形時(步驟S306：YES)，工序管理部365使處理轉至步驟S308。
於步驟S308中，工序管理部365參照緊急應對資訊387而取得與患者之狀態相應之緊急應對。具體而言，工序管理部365參照緊急應對資訊387之中、醫療用裝置資訊滿足「條件」之輸入值，並參照該輸入值之「緊急應對」。
於步驟S310中，工序管理部365將緊急應對之內容發送至產生部360b。該點無論於提示用資訊產生處理為第1模式之情形時、還是於第2模式之情形時均相同。接收緊急應對之產生部360b經由提示用資 訊產生處理，產生用於針對緊急應對進行引導之提示用資訊PN*或提示用資訊PNi，並發送至頭戴式顯示器100。
於步驟S312中，工序管理部365檢查患者之狀態。詳細內容係與步驟S304相同。再者，較佳為於步驟S310、與步驟S312之間隔開有設想患者狀態因緊急應對而穩定之程度之時間。
於步驟S314中，工序管理部365判定當前引導中之一系列工序是否適當。具體而言，工序管理部365針對步驟S312中接收之所有醫療用裝置資訊，判定醫療用裝置資訊是否滿足記憶於緊急應對資訊387之「條件」。於所有醫療用裝置資訊不滿足條件之情形時(步驟S314：YES)，工序管理部365推斷當前引導中之一系列工序適當，並使處理轉至步驟S302。其後，於步驟S302中，工序管理部365自步驟S300中取得之一系列工序取得下一工序，並發送至產生部360b，且檢查患者之狀態，重複上述處理。
如此，工序管理部365重複取得複數之醫療用裝置資訊，並基於最新之複數之醫療用裝置資訊，變更向產生部發送之一系列工序。因此，資訊處理裝置300b可基於自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊，即時地變更顯示於複數之頭戴式顯示器100a~100n之一系列工序。
另一方面，於至少一個醫療用裝置資訊滿足條件之情形時(步驟S306：YES)，工序管理部365推斷當前引導中之一系列工序並不適當，使處理轉至步驟S316。於步驟S316中，工序管理部365向產生部360b發送如下內容之引導：由於患者之狀態較差，推斷當前引導中之一系列工序並不適當。該點無論於提示用資訊產生處理為第1模式之情形時、還是於第2模式之情形時均相同。接收內容為並不適當之引導之產生部360b經由提示用資訊產生處理，產生用於實施內容為並不適當之引導的提示用資訊PN*或提示用資訊PNi，並發送至頭戴式顯 示器100。其後，工序管理部365中止後面之工序之發送，並結束處理。
再者，於步驟S310中，工序管理部365藉由向產生部360b發送與所取得之醫療用裝置資訊相應之緊急應對，而對「預先規定之一系列工序」進行「新工序追加」。但是，於步驟S310中，工序管理部365亦可進行對「預先規定之一系列工序」之「一部分之工序刪除」、或「一部分之工序置換」。該點可藉由例如對緊急應對資訊387之「緊急應對」預先記憶可刪除之工序、可置換之工序而實現。於本實施形態中，將步驟S310中例示之新工序之追加(或一部分之工序之刪除、一部分之工序之置換)、及步驟S316中例示之工序之發送之中止統稱為「一系列工序之變更」。
如以上般，根據第3實施形態之資訊處理裝置300b，工序管理部365向產生部360b發送表示預先規定之一系列工序之資訊，產生部360b產生包含所接收之工序之提示用資訊PN*、PNi。因此，資訊處理裝置300b可將預先規定之一系列工序顯示於連接於資訊處理裝置300b之複數之頭戴式顯示器100a~100n(圖像顯示裝置)。又，工序管理部365基於由第1輸入輸出部311~31n(取得部)取得之複數之醫療用裝置資訊，變更要發送之一系列工序。因此，資訊處理裝置300b可基於自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊，變更顯示於複數之頭戴式顯示器100a~100n之一系列工序。其結果，可提供能夠基於醫療用裝置資訊靈活地變更預先規定之一系列工序，且能向頭戴式顯示器100a~100n之使用者引導相關工序之資訊處理裝置300b。
進而，根據第3實施形態之資訊處理裝置300b，工序管理部365於第1模式下，向產生部360b發送向管理表382之裝置間關係為「主機」之頭戴式顯示器100(即，特定之圖像顯示裝置)之使用者引導之 一系列工序。因此，資訊處理裝置300b於第1模式下，可對複數之頭戴式顯示器100a~100n(圖像顯示裝置)顯示共通之「向特定之圖像顯示裝置之使用者引導之一系列工序」。又，工序管理部365於第2模式下，向產生部360b發送與複數之頭戴式顯示器100a~100n之使用者之各自之職務相應的一系列工序。因此，資訊處理裝置300b於第2模式下，可向複數之頭戴式顯示器100a~100n個別地顯示「與圖像顯示裝置之使用者之各自之職務相應的一系列工序」。
D.變化例：
於上述實施形態中，可將利用硬體實現之構成之一部分置換成軟體，亦可反過來將利用軟體實現之構成之一部分置換成硬體。此外，亦可進行如下之變化。
．變化例1：
於上述實施形態中，係例示資訊處理系統之構成。但是，資訊處理系統之構成於不脫離本發明之主旨之範圍內可任意地規定，例如可進行構成資訊處理系統之各裝置之追加．刪除．變換等。又，可進行構成資訊處理系統之裝置之網路構成之變更。
例如，資訊處理裝置之管理表、非可視資訊、手術記錄亦可儲存於連接於院內LAN之數據庫OD。又，數據庫OD並不限於院內，亦可設於經由網際網路INT之外部(例如，設於院外之雲伺服器等)。
．變化例2：
於上述實施形態中，係例示資訊處理裝置之構成。但是，資訊處理裝置之構成於不脫離本發明之主旨之範圍內可任意地規定，例如可進行各構成部之追加．刪除．變換等。
例如，資訊處理裝置亦可具備觸控面板、輸入按鈕、鍵盤、滑鼠、麥克風、相機等各種輸入裝置。同樣地，資訊處理裝置亦可具備顯示器、量表、用於輸出手術相關之簡單日誌之印表機等各種輸出裝 置。
例如，產生部、第2輸入輸出部(提供部)之各功能係記載為藉由CPU將儲存於ROM或硬碟之電腦程式展開於RAM並執行而實現者。但是，該等功能亦可使用為實現該功能而設之ASIC(Application Specific Integrated Circuit：特定用途積體電路)來實現。
例如，資訊處理裝置設為具備顯示器之構成。在此基礎上，資訊處理裝置之產生部亦可將結合資訊產生處理中產生之結合資訊顯示於資訊處理裝置之顯示器。若如此，站在資訊處理裝置附近之利用者看一眼便能方便地掌握所有頭戴式顯示器(圖像顯示裝置)之顯示內容。
．變化例3：
於上述實施形態中，係例示頭戴式顯示器之構成。但是，頭戴式顯示器之構成於不脫離本發明之主旨之範圍內可任意地規定，例如可進行各構成部之追加．刪除．變換等。例如，控制部、與圖像顯示部亦可藉由利用無線LAN或紅外線通信或Bluetooth等無線之信號傳輸路之連接而進行連接。又，例如，電源亦可採用一次電池、燃料電池、太陽電池、熱電池等。
上述實施形態之對控制部、及圖像顯示部之構成要素之分配只不過為一例，可採用各種形態。例如，亦可為如下之形態。(i)於控制部搭載CPU或記憶體等之處理功能，於圖像顯示部僅搭載顯示功能之形態；(ii)於控制部與圖像顯示部之兩方搭載CPU或記憶體等之處理功能之形態；(iii)將控制部與圖像顯示部一體化之形態(例如於圖像顯示部包含控制部而作為眼鏡型之可配戴式電腦發揮功能之形態)；(iv)使用智慧型手機或可攜式遊戲機代替控制部之形態；(v)藉由將控制部與圖像顯示部設為能進行無線通信且無線供電之構成而取消纜線之形態。
例如，輸入資訊取得部亦可使用上述實施形態之例示以外之各種方法，取得來自使用者之操作輸入。例如，亦可利用腳踏開關(利用使用者之腳操作之開關)取得操作輸入。又，例如亦可於圖像顯示部設置紅外線感測器等視線偵測部，然後偵測使用者之視線，利用與視線之動作關聯之指令而取得操作輸入。又，例如，亦可使用相機偵測使用者之筆勢，利用與筆勢關聯之指令而取得操作輸入。筆勢偵測時，可將使用者之指尖、戴於使用者之手之指環、或使用者之手上之醫療器具等設為用於檢測之記號。若可利用腳踏開關或視線取得操作輸入，則輸入資訊取得部即便於使用者難以騰出手之醫療現場亦可容易地取得來自使用者之操作輸入。
例如，頭戴式顯示器為兩眼式穿透式頭戴式顯示器，但亦可為單眼式頭戴式顯示器。又，亦可構成為使用者配戴著頭戴式顯示器之狀態下阻斷外景透過之非穿透式頭戴式顯示器。於上述實施形態中，為將圖像顯示部如眼鏡般配戴之頭戴式顯示器，但例如亦可設為採用如帽子般配戴之類型之圖像顯示部等其他形狀之圖像顯示部的頭戴式顯示器。又，耳機亦可採用掛耳型或頭戴型，且亦可省略。進而，例如亦可構成為搭載於汽車或飛機等車輛之抬頭顯示器(HUD、Head-Up Display)。此外，亦可構成為內置於面罩等身體防具之頭戴式顯示器。
圖23係表示變化例之頭戴式顯示器之外觀之構成的說明圖。於圖23(A)之例之情形時，圖像顯示部20a具備右光學像顯示部26a代替右光學像顯示部26，且具備左光學像顯示部28a代替左光學像顯示部28。右光學像顯示部26a形成得比第1實施形態之光學構件小，且配置於配戴頭戴式顯示器時之使用者之右眼之斜上方。同樣地，左光學像顯示部28a形成得較第1實施形態之光學構件小，且配置於配戴頭戴式顯示器時之使用者之左眼之斜上方。於圖23(B)之例之情形時，圖像 顯示部20b具備右光學像顯示部26b代替右光學像顯示部26，且具備左光學像顯示部28b代替左光學像顯示部28。右光學像顯示部26b形成得比第1實施形態之光學構件小，且配置於配戴頭戴式顯示器時之使用者之右眼之斜下方。左光學像顯示部28b形成得比第1實施形態之光學構件小，且配置於配戴頭戴式顯示器時之使用者之左眼之斜下方。如此，光學像顯示部只要配置於使用者之眼附近便可。又，形成光學像顯示部之光學構件之大小亦為任意，亦可作為光學像顯示部僅覆蓋使用者之眼之一部分之形態、換言之光學像顯示部並不完全覆蓋使用者之眼之形態的頭戴式顯示器而實現。
例如，於上述實施形態中，顯示驅動部係使用背光源、背光源控制部、LCD、LCD控制部、及投影光學系統而構成。但是，上述形態只不過為例示。顯示驅動部亦可於具備該等構成部之同時具備用於實現其他方式之構成部，或者具備用於實現其他方式之構成部來代替該等構成部。例如，顯示驅動部亦可使用正面光方式或反射方式射出圖像光。又，例如顯示驅動部亦可構成為具備有機EL(有機電致發光，Organic Electro-Luminescence)之顯示器、有機EL控制部、及投影光學系統。又，例如顯示驅動部亦可使用數位微鏡裝置等代替LCD。又，例如亦可對雷射視網膜投影型之頭部配戴型顯示裝置應用本發明。
．變化例4：
於上述實施形態中，係例示提示用資訊產生處理之一例。但是，提示用資訊產生處理之程序只不過為一例，可進行各種變化。例如，可省略一部分之步驟，亦可進而追加其他步驟。又，亦可變更所執行之步驟之順序。
例如，上述實施形態所說明之非可視資訊係設想為二維表現之圖像。但是，作為醫療用裝置亦可連接能拍攝三維非可視圖像之裝 置。又，記憶於外部記憶裝置之非可視資訊亦可為自由攝像機器拍攝之複數之圖像作成之三維模型。於使用三維表現之非可視資訊之情形時，產生部於產生提示用資訊之前進行三維模型之再現。然後，使用再現後之圖像產生提示用資訊。如此，可自各方向視認對象物體之外觀未出現之資訊。
例如，於第1模式之提示用資訊產生處理中，產生部亦可產生複數個共通之提示用資訊。具體而言，例如將連接於第2輸入輸出部之頭戴式顯示器分割成m(m為1以上之整數)個之組。然後，產生部可以第1組共通之提示用資訊．．．第m之組共通之提示用資訊的方式，產生複數個對各組共通之提示用資訊。
例如，於第2模式之提示用資訊產生處理(初始處理)中，關於連接於第2輸入輸出部之複數之頭戴式顯示器，係使用變數i串行(serial)地進行初始處理。但是，初始處理亦可針對連接於第2輸入輸出部之複數之頭戴式顯示器並行地執行。
例如，第2模式之提示用資訊產生處理之中，亦可將初始處理、與個別處理中之任一者省略。又，初始處理亦可不於第2模式之提示用資訊產生處理剛開始後執行。亦可根據來自使用者或其他應用程式之請求，適當地執行與初始處理相同之處理。
例如，亦可與第1模式及第2模式共通地，於接收提示用資訊之頭戴式顯示器中，根據使用者之請求，放大或縮小提示用資訊中包含之圖像作為虛像VI顯示之大小。同樣地，頭戴式顯示器亦可根據使用者之請求，將提示用資訊中包含之圖像設為非顯示，亦可對提示用資訊中包含之圖像進行色轉換。又，若採用經由麥克風之聲音輸入作為來自使用者之請求之輸入方法，則於使用者難以用手操作之醫療現場使用頭戴式顯示器的情形時，可大幅提昇使用者之便利性。
．變化例5：
於上述實施形態中，表示有結合資訊產生處理之一例。但是，結合資訊產生處理之程序只不過為一例，可進行各種變化。例如，可省略一部分之步驟，亦可進而追加其他步驟。又，亦可變更所執行之步驟之順序。
例如，產生部亦可使產生之結合資訊包含提示用資訊之縮小圖像以外之其他資訊。例如，亦可包含以下列舉之資訊。
．用於識別被供給此提示用資訊之頭戴式顯示器之字串或圖像
．表示被供給此提示用資訊之頭戴式顯示器之使用者之職務的字串或圖像
．醫療用裝置之醫療用裝置資訊
．記錄於院內數據庫之資料
．記錄於非可視資訊之資料
．記錄於非可視資訊之資料
．顯示部難以被視認之醫療用裝置之醫療用裝置資訊
例如，產生部亦可設為僅自特定之頭戴式顯示器接收結合資訊之請求。所謂特定之頭戴式顯示器，例如有作為主機之頭戴式顯示器、使用者擔當特定職務之頭戴式顯示器等。
．變化例6：
於上述實施形態中，係例示工序管理處理之一例。但是，工序管理處理之程序只不過為一例，可進行各種變化。例如，可省略一部分之步驟，亦可進而追加其他步驟。又，亦可變更所執行之步驟之順序。
例如，亦可構成為：代替步驟S310中例示之新工序之追加(或、一部分之工序之刪除、一部分之工序之置換)，或與新工序之追加．刪除．置換一併，實現與外部設施之醫師PR(圖19)之通話，藉此可提供醫師PR之第二診斷。
例如，亦可將步驟S310中例示之新工序之追加(或一部分之工序之刪除、一部分之工序之置換)、與步驟S316中例示之工序之發送之中止中的任一者省略。
例如，「預先規定之一系列工序」係由主刀醫師及其他醫師等決定。工序管理部亦可構成為向頭戴式顯示器之使用者提出可成為該「預先規定之一系列工序」之候補之一系列工序(若有必要為複數組之一系列工序)。該情形時，例如工序管理部基於事先取得之醫療用裝置資訊，檢索工序資訊，藉此可導出候補。
例如，工序管理處理亦可僅能應對提示用資訊產生處理之第1模式、與第2模式中之任一者。
．變化例7：
於上述實施形態中，係例示共通影像規格、管理表、工序資訊、及緊急應對資訊之一例。但是，該等之詳細說明只不過為一例，可進行各種變更。例如可進行欄位(項目)之追加、刪除、變更。又，管理表亦可分割成複數個表而經歸一化。
例如，管理表中亦可代替用於使頭戴式顯示器相互識別之識別碼、或與識別碼一併記憶頭戴式顯示器之使用者之聲波紋。若如此，資訊處理裝置可基於經由麥克風取得之使用者之聲波紋，取得該使用者使用之頭戴式顯示器之裝置間關係、職務、影像規格，並執行提示用資訊產生處理。
例如，管理表中亦可關聯頭戴式顯示器之識別碼進而記憶用於頭戴式顯示器與資訊處理裝置之通信之資訊(例如，頭戴式顯示器之IP位址、MAC位址、加密密鑰等)。又，亦可於管理表中代替表示影像信號之規格之樣式的「影像規格」，而記憶各頭戴式顯示器中採用之實際影像規格本身(即，與共通影像規格中記憶之項目相同之項目)。
例如，管理表係對應頭戴式顯示器之各識別碼而記憶裝置間關係、職務、及影像規格。但是，亦可對應各使用者分配「使用者ID」，並對應上述各使用者ID記憶裝置間關係、職務、及影像規格。
例如，預先記憶於緊急應對資訊之「緊急應對」為一種應對，但緊急應對中亦可記憶複數種應對。而且，工序管理部亦可向圖像顯示裝置之使用者引導該複數種應對。若如此，圖像顯示裝置之使用者可自複數種緊急應對中根據自身經驗或狀況選擇認為最佳之緊急應對。其結果，可進而提昇資訊處理裝置之便利性。
．變化例8：
本發明並不限於上述實施形態、實施例、變化例，於不脫離其主旨之範圍內可藉由各種構成實現。例如，與發明之概要欄記載之各形態中之技法性特徵對應之實施形態、實施例、變化例中之技法性特徵，為解決上述問題之一部分或全部、或者為達成上述效果之一部分或全部，而可適當地進行替換或組合。又，若此技法性特徵並未作為本說明書中必需者說明，則可適當地進行刪除。
S100~S142‧‧‧步驟

Claims (19)

  1. 一種資訊處理裝置，其包括：取得部，其取得自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊；產生部，其產生包含由上述取得部所取得之上述複數之醫療用裝置資訊之至少一部分的提示用資訊；及提供部，其對複數之圖像顯示裝置輸出所產生之上述提示用資訊。
  2. 如請求項1之資訊處理裝置，其中上述產生部包含：第1模式，其係產生對於上述複數之圖像顯示裝置為共通之上述提示用資訊；及第2模式，其係產生與上述複數之圖像顯示裝置分別對應之複數之上述提示用資訊。
  3. 如請求項2之資訊處理裝置，其中上述產生部於上述第1模式下產生共通之上述提示用資訊，該共通之上述提示用資訊至少包含由特定之上述圖像顯示裝置之使用者選擇之上述醫療用裝置資訊。
  4. 如請求項3之資訊處理裝置，其進而包括裝置間關係記憶部，該裝置間關係記憶部係將用於相互識別上述複數之圖像顯示裝置之資訊、與表示該圖像顯示裝置是否為上述特定之圖像顯示裝置之資訊加以關聯而記憶，且上述產生部於上述第1模式下，使用上述裝置間關係記憶部而識別上述特定之圖像顯示裝置。
  5. 如請求項2至4中任一項之資訊處理裝置，其中上述產生部於上述第2模式下產生上述複數之提示用資訊，該上述複數之提示用資訊至少包含由上述複數之圖像顯示裝置之 使用者分別選擇之上述醫療用裝置資訊。
  6. 如請求項2至4中任一項之資訊處理裝置，其中上述產生部於上述第2模式下產生上述複數之提示用資訊，該上述複數之提示用資訊至少包含自與上述使用者之各自之職務相應之上述醫療用裝置取得的上述醫療用裝置資訊。
  7. 如請求項6之資訊處理裝置，其進而包括職務記憶部，該職務記憶部係將用於相互識別上述複數之圖像顯示裝置之資訊、與該圖像顯示裝置之使用者之職務加以關聯而記憶，且上述產生部於上述第2模式下，使用上述職務記憶部而識別上述使用者之職務。
  8. 如請求項2至7中任一項之資訊處理裝置，其中上述產生部於上述第2模式下，進而產生將所產生之上述複數之提示用資訊結合而成之結合資訊，且上述提供部對上述特定之圖像顯示裝置輸出所產生之上述結合資訊。
  9. 如請求項1至8中任一項之資訊處理裝置，其中上述產生部於產生上述提示用資訊時，係於維持上述醫療用裝置資訊中包含之圖像之縱橫比之狀態下將上述圖像放大或縮小。
  10. 如請求項1至9中任一項之資訊處理裝置，其中於上述資訊處理裝置連接供使用者可視認虛像與外景之頭部配戴型顯示裝置作為上述圖像顯示裝置。
  11. 如請求項10之資訊處理裝置，其中上述提供部進而自上述頭部配戴型顯示裝置取得配戴上述頭部配戴型顯示裝置之狀態下之使用者之視界方向之圖像，且藉由將所取得之上述視界方向之圖像進行圖像辨識而提取外 景中包含之物體之特徵，基於所提取之上述特徵而修正由產生部產生之上述提示用資訊，並輸出修正後之上述提示用資訊。
  12. 如請求項1或2之資訊處理裝置，其進而包括工序管理部，該工序管理部向上述產生部發送表示預先規定之工序之資訊，且基於由上述取得部所取得之上述複數之醫療用裝置資訊，變更要發送之上述工序，且上述產生部產生包含所接收到之上述工序之上述提示用資訊。
  13. 如請求項12之資訊處理裝置，其中上述工序管理部重複取得上述複數之醫療用裝置資訊，並基於最新之上述複數之醫療用裝置資訊，變更向上述產生部發送之上述工序。
  14. 如請求項12或13之資訊處理裝置，其中上述工序管理部向上述產生部發送表示包含複數之上述工序且預先規定之一系列工序之資訊，且藉由對上述一系列工序實施新工序之追加、上述一系列工序中之至少一部分工序之刪除、上述一系列工序中之至少一部分工序之置換中之至少任一者，而變更上述工序。
  15. 如請求項12至14中任一項之資訊處理裝置，其中上述工序管理部係將包含複數之上述工序且預先規定之一系列工序每次一工序地依序發送至上述產生部，且藉由中止上述一工序之發送而變更上述工序。
  16. 如從屬於請求項2之請求項12至15中任一項之資訊處理裝置，其中上述工序管理部於上述第1模式下，向上述產生部發送用於向 上述特定之上述圖像顯示裝置之使用者引導@之上述工序。
  17. 如從屬於請求項2之請求項12至16中任一項之資訊處理裝置，其中上述工序管理部於上述第2模式下，向上述產生部發送與上述使用者各自之職務相應的上述工序。
  18. 一種資訊處理方法，其包括如下工序：(a)取得自複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊；(b)產生包含所取得之上述複數之醫療用裝置資訊之至少一部分之提示用資訊；及(c)對複數之圖像顯示裝置輸出所產生之上述提示用資訊。
  19. 一種資訊處理系統，其包括：複數之醫療用裝置；資訊處理裝置；及使用者可視認虛像與外景之複數之頭部配戴型顯示裝置；且上述資訊處理裝置包括：取得部，其取得自上述複數之醫療用裝置取得之資訊即複數之醫療用裝置資訊；產生部，其產生包含由上述取得部所取得之上述複數之醫療用裝置資訊之至少一部分的提示用資訊；及提供部，其對上述複數之頭部配戴型顯示裝置輸出所產生之上述提示用資訊；上述頭部配戴型顯示裝置包括：提示用資訊取得部，其自上述資訊處理裝置取得上述提示用資訊；及圖像顯示部，其將所取得之上述提示用資訊作為上述虛像而供上述頭部配戴型顯示裝置之使用者視認。
TW103124039A 2013-07-16 2014-07-11 資訊處理裝置、資訊處理方法及資訊處理系統 TW201505603A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013147420A JP2015019679A (ja) 2013-07-16 2013-07-16 情報処理装置、情報処理方法、および、情報処理システム
JP2014067406A JP6311393B2 (ja) 2014-03-28 2014-03-28 情報処理装置、情報処理方法、および、情報処理システム

Publications (1)

Publication Number Publication Date
TW201505603A true TW201505603A (zh) 2015-02-16

Family

ID=51399746

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103124039A TW201505603A (zh) 2013-07-16 2014-07-11 資訊處理裝置、資訊處理方法及資訊處理系統

Country Status (7)

Country Link
US (3) US10042598B2 (zh)
EP (1) EP3022672A2 (zh)
KR (1) KR20160033721A (zh)
CN (2) CN109637622A (zh)
RU (1) RU2642941C2 (zh)
TW (1) TW201505603A (zh)
WO (1) WO2015008470A2 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11896350B2 (en) * 2009-05-20 2024-02-13 Sotera Wireless, Inc. Cable system for generating signals for detecting motion and measuring vital signs
US9545188B2 (en) * 2010-12-02 2017-01-17 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
BR112014029605B1 (pt) 2012-06-01 2023-10-31 Ultradent Products Inc Sistema para gerar imagens de vídeo estereoscópicas de dispositivo de controle de gesto e sistemas para gerar imagens de vídeo estereoscópicas
TW201505603A (zh) * 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
JP6574939B2 (ja) * 2014-09-16 2019-09-18 ソニー株式会社 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ
US9541998B2 (en) * 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
BR112017016108A2 (pt) * 2015-02-13 2018-03-27 Halliburton Energy Services Inc sistema e método para facilitar a comunicação
WO2016130161A1 (en) * 2015-02-13 2016-08-18 Halliburton Energy Services, Inc. Distributing information using role-specific augmented reality devices
EP3294180B1 (en) * 2015-05-15 2024-09-11 MAKO Surgical Corp. Systems for providing guidance for a robotic medical procedure
CN104881128B (zh) * 2015-06-18 2018-01-16 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN104950450A (zh) * 2015-07-21 2015-09-30 吴高全 一种医疗智能眼镜及其应用方法
EP3361979A4 (en) * 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
US10069697B2 (en) * 2016-01-29 2018-09-04 Microsoft Technology Licensing, Llc Routing actions to user devices based on a user graph
US11278369B2 (en) 2016-04-28 2022-03-22 Sony Corporation Control device, control method, and surgical system
JP2018038503A (ja) 2016-09-06 2018-03-15 ソニー株式会社 医療用画像処理装置、画像処理方法、及びプログラム
US20180082480A1 (en) * 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
JP6828465B2 (ja) * 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
CA3055941C (en) 2017-03-13 2023-06-20 Zimmer, Inc. Augmented reality diagnosis guidance
US11219422B2 (en) * 2017-03-14 2022-01-11 Canon Medical Systems Corporation Image displaying system, image processing apparatus and x-ray imaging system
CN109643530A (zh) * 2017-03-24 2019-04-16 外科手术室公司 用于在虚拟环境中进行训练和协作的系统和方法
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US20210007574A1 (en) * 2018-03-13 2021-01-14 Sony Corporation Medical device management system and medical device management method
US20190333274A1 (en) * 2018-04-27 2019-10-31 International Business Machines Corporation Augmented Reality Presentation Associated with a Patient's Medical Condition and/or Treatment
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
KR102270170B1 (ko) * 2018-11-14 2021-06-25 임승준 증강 현실을 이용한 수술 보조 장치
CN109862378B (zh) * 2018-12-29 2021-05-18 广州中智达信科技有限公司 一种手术记录方法
JP7313888B2 (ja) * 2019-04-24 2023-07-25 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法及びプログラム
CN111885554B (zh) * 2020-04-24 2023-09-12 珠海市杰理科技股份有限公司 基于双无线蓝牙通信的链路切换方法及相关设备
CN111599427B (zh) * 2020-05-14 2023-03-31 郑州大学第一附属医院 一种一元化诊断的推荐方法、装置、电子设备及存储介质
CN112235560B (zh) * 2020-09-22 2023-01-24 上海视天科技有限公司 一种vr眼镜
US11748924B2 (en) * 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US12064293B2 (en) 2020-10-02 2024-08-20 Cilag Gmbh International Field programmable surgical visualization system
CN112263331B (zh) * 2020-10-30 2022-04-05 上海初云开锐管理咨询有限公司 一种体内医疗器械视觉呈现系统及方法
US20220257332A1 (en) * 2021-02-17 2022-08-18 Derek Duong Augmented reality dental surgery
US11944508B1 (en) 2022-01-13 2024-04-02 Altair Innovations, LLC Augmented reality surgical assistance system

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JP2001104331A (ja) 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
WO2002029700A2 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
CA2425075A1 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US7478071B2 (en) * 2001-06-11 2009-01-13 Hrl Laboratories, Llc Method and apparatus for determining and assessing information to be collected based on information-theoretic measures
JP2005208823A (ja) 2004-01-21 2005-08-04 Seiko Epson Corp プロジェクタのネットワークシステム
BRPI0508748B1 (pt) * 2004-03-26 2018-05-02 Takahashi Atsushi Sistema tridimensional para orientação e instruções visuais remotas, dotado de visor tridimensional com câmeras.
KR100606785B1 (ko) * 2004-07-07 2006-08-01 엘지전자 주식회사 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
DE102004046430A1 (de) * 2004-09-24 2006-04-06 Siemens Ag System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke
US20060074711A1 (en) * 2004-10-01 2006-04-06 Prakash Mahesh System and method for handling multiple radiology applications and workflows
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US8099296B2 (en) * 2004-10-01 2012-01-17 General Electric Company System and method for rules-based context management in a medical environment
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
WO2007060794A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮影装置、携帯端末装置、撮影方法、およびプログラム
JP2007293721A (ja) * 2006-04-26 2007-11-08 Shimadzu Corp 巡回点検支援システム
US8259034B2 (en) 2006-08-30 2012-09-04 Totoku Electric Co., Ltd. Image displaying apparatus and image display program
US20080058612A1 (en) * 2006-09-05 2008-03-06 Shigeharu Ohyu Medical information system
JP4762160B2 (ja) 2007-01-16 2011-08-31 株式会社日立メディコ 手術支援システム
JP4917930B2 (ja) 2007-03-16 2012-04-18 株式会社リコー 画面共有システム、画面共有プログラム
JP2011510705A (ja) * 2008-01-24 2011-04-07 ライフガード サージカル システムズ 総胆管外科手術の画像化システム
US20090326336A1 (en) * 2008-06-25 2009-12-31 Heinz Ulrich Lemke Process for comprehensive surgical assist system by means of a therapy imaging and model management system (TIMMS)
WO2010117578A1 (en) 2009-03-31 2010-10-14 Nellcor Puritan Bennett Llc Medical monitoring system with open device architecture
JP5476036B2 (ja) 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20100299627A1 (en) 2009-05-20 2010-11-25 Qualcomm Incorporated Method and apparatus for content boundary detection and scaling
KR101402622B1 (ko) * 2009-07-01 2014-06-09 삼성전자주식회사 영상표시장치 및 영상표시방법
RU93655U1 (ru) * 2009-12-22 2010-05-10 Государственное научно-учебное учреждение "Учебно-исследовательский Центр космической биомедицины" Носимый телемедицинский диагностический комплект
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
EP3264256B1 (en) 2010-06-28 2019-09-25 Brainlab AG Generating images for at least two displays in image-guided surgery
DE102010052244A1 (de) * 2010-11-23 2012-05-24 Pierre-Alain Cotte Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät
WO2012081194A1 (ja) * 2010-12-17 2012-06-21 パナソニック株式会社 医療支援装置、医療支援方法および医療支援システム
JP5874176B2 (ja) * 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
JP5953714B2 (ja) * 2011-11-24 2016-07-20 セイコーエプソン株式会社 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
JP5708261B2 (ja) * 2011-05-31 2015-04-30 ブラザー工業株式会社 ヘッドマウントディスプレイ連携装置、及びヘッドマウントディスプレイの連携プログラム
EP2544039A1 (en) * 2011-07-04 2013-01-09 BAE Systems Plc. Display system
JP2013034764A (ja) 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
US8681073B1 (en) * 2011-09-29 2014-03-25 Rockwell Collins, Inc. System for and method of controlling contrast or color contrast in see-through displays
TW201505603A (zh) * 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統

Also Published As

Publication number Publication date
KR20160033721A (ko) 2016-03-28
US20160154620A1 (en) 2016-06-02
EP3022672A2 (en) 2016-05-25
US20180364965A1 (en) 2018-12-20
CN109637622A (zh) 2019-04-16
CN104298344A (zh) 2015-01-21
RU2642941C2 (ru) 2018-01-29
WO2015008470A2 (en) 2015-01-22
US10664216B2 (en) 2020-05-26
US20200257485A1 (en) 2020-08-13
CN104298344B (zh) 2018-11-20
US10042598B2 (en) 2018-08-07
RU2016104900A (ru) 2017-08-21
WO2015008470A3 (en) 2015-06-11
US11341726B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
US11341726B2 (en) Information processing apparatus, information processing method, and information processing system
JP6252004B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
US10169925B2 (en) Head mounted display and control method for head mounted display
JP2015019679A (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP6299067B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
JP6693507B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP6264855B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6409927B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2018061850A (ja) 内視鏡システム、表示制御システムおよび表示制御装置
JP2017136103A (ja) 撮像システム、表示装置、及び、撮像システムの制御方法