TW201432312A - 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 - Google Patents

頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 Download PDF

Info

Publication number
TW201432312A
TW201432312A TW103104473A TW103104473A TW201432312A TW 201432312 A TW201432312 A TW 201432312A TW 103104473 A TW103104473 A TW 103104473A TW 103104473 A TW103104473 A TW 103104473A TW 201432312 A TW201432312 A TW 201432312A
Authority
TW
Taiwan
Prior art keywords
image
information
user
unit
head
Prior art date
Application number
TW103104473A
Other languages
English (en)
Inventor
Masahide Takano
Atsunari Tsuda
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013026222A external-priority patent/JP6299067B2/ja
Priority claimed from JP2013237820A external-priority patent/JP6264855B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of TW201432312A publication Critical patent/TW201432312A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

本發明提供一種在使用者不移動視線之情況下能夠同時視認視界方向之物體之實像及未顯現於物體之外觀之資訊的頭部配戴型顯示裝置。該頭部配戴型顯示裝置係供使用者能夠視認虛像與外景者，且包含：圖像顯示部，其形成供使用者視認之虛像；及重疊處理部，其於圖像顯示部形成基於重疊資訊之虛像，該重疊資訊係用以使未顯現於物體之外觀之資訊即非可視資訊重疊於外景中所包含之物體。

Description

頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
本發明係關於一種頭部配戴型顯示裝置。
已知有一種配戴於頭部之顯示裝置即頭部配戴型顯示裝置(頭戴式顯示器(Head Mounted Display、HMD))。HMD例如利用液晶顯示器與光源而產生表現圖像之圖像光，利用投影光學系統或導光板等將所產生之圖像光導至使用者之眼睛，藉此，供使用者辨識虛像。
於專利文獻1中記載有使用如上所述之頭部配戴型顯示裝置之手術用攝像系統及手術用機器人。於專利文獻1記載之技術中，頭部配戴型顯示裝置之使用者(實施手術之人)一面將利用插入於患者之體腔內之內視鏡所得之圖像作為虛像而進行視認，一面操作手術用操作器而進行手術。於專利文獻2中記載有醫療用臉部配戴型影像顯示裝置(頭部配戴型顯示裝置)。於專利文獻2記載之技術中，頭部配戴型顯示裝置之使用者係於視認內視鏡圖像之情形時使視線朝向水平方向，觀看配置於本體之正面之LCD。又，於視認外景之情形時，使視線朝向鉛直方向，觀看配置於本體之下方之觀察窗。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2012-223363號公報
[專利文獻2]日本專利第3599854號公報
於專利文獻1、2記載之技術中，頭部配戴型顯示裝置之使用者可於手術中視認內視鏡圖像。然而，於專利文獻1記載之技術中，存在頭部配戴型顯示裝置之使用者無法直接目視手術部位(患者之身體)之問題。又，於專利文獻2記載之技術中，存在頭部配戴型顯示裝置之使用者為直接目視手術部位而必須使視線朝向鉛直方向移動之問題。
再者，如上所述之問題並不限於內視鏡圖像，係例如對頭部配戴型顯示裝置之使用者提供CT(Computed Tomography，電腦斷層攝影)圖像、MRI(Magnetic Resonance Imaging，核磁共振圖像法)圖像、倫琴射線圖像等未顯現於物體之外觀之資訊之情形全體共通的問題。進而，如上所述之問題並不限於醫療用之頭部配戴型顯示裝置，係用於其他用途之頭部配戴型顯示裝置(例如，於建設現場使用而對使用者提供未顯現於建造物之外觀之資訊之頭部配戴型顯示裝置)亦共通之問題。
因此，期望實現在使用者不移動視線之情況下能夠同時視認視界方向之物體之實像及未顯現於物體之外觀之資訊的頭部配戴型顯示裝置。
本發明係為了解決上述問題之至少一部分而完成者，可作為以下之形態而實現。
(1)根據本發明之一形態，提供一種供使用者能夠視認虛像與外景之頭部配戴型顯示裝置。該頭部配戴型顯示裝置包含：圖像顯示部，其形成供上述使用者視認之上述虛像；及重疊處理部，其於上述 圖像顯示部形成基於重疊資訊之上述虛像，該重疊資訊係用以使未顯現於上述物體之外觀之資訊即非可視資訊重疊於上述外景中所包含之物體。根據本形態之頭部配戴型顯示裝置，圖像顯示部係使基於重疊資訊之虛像供使用者視認，該重疊資訊係用以使上述物體之非可視資訊重疊於外景中所包含之物體之資訊。本形態之頭部配戴型顯示裝置係能夠視認虛像與外景之頭部配戴型顯示裝置。因此，頭部配戴型顯示裝置之使用者可在不移動視線之情況下同時視認視界方向之物體、換言之、外景中所包含之物體之實像、及未顯現於物體之外觀之資訊(重疊資訊)。
(2)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可每隔特定時間於上述圖像顯示部重複形成基於與上述外景中所包含之物體相對應之上述重疊資訊之上述虛像。根據本形態之頭部配戴型顯示裝置，由於重疊處理部每隔特定時間使圖像顯示部重複形成基於與外景中所包含之物體相對應之重疊資訊之虛像，故可使基於追隨使用者之頭部之經時性之移動之重疊資訊之虛像供使用者視認。
(3)於上述形態之頭部配戴型顯示裝置中，亦可進而包含：記憶部，其記憶上述非可視資訊；及圖像獲取部，其獲取配戴著上述頭部配戴型顯示裝置之狀態下之上述使用者之視界方向之外景之圖像；上述重疊處理部藉由將利用上述圖像獲取部所獲取之上述視界方向之圖像進行圖像辨識而提取上述外景中所包含之上述物體之特徵，並基於所提取之上述特徵而修正記憶於上述記憶部之上述物體之上述非可視資訊，藉此產生上述重疊資訊。根據本形態之頭部配戴型顯示裝置，重疊處理部可使用記憶於記憶部之物體之非可視資訊而產生重疊資訊。又，圖像獲取部獲取之圖像係拍攝使用者之視界方向之物體(換言之，外景中所包含之物體)之實像所得之圖像，重疊處理部係自藉由圖像獲取部所獲取之外景之圖像中提取外景中所包含之物體之特 徵，並基於所提取之特徵產生重疊資訊。因此，重疊處理部可產生與使用者之視界方向之物體(外景中所包含之物體)之特徵吻合之重疊資訊。
(4)於上述形態之頭部配戴型顯示裝置中，上述非可視資訊亦可為表現上述物體之構造之圖像。根據本形態之頭部配戴型顯示裝置，非可視資訊係表現物體之構造之圖像。因此，頭部配戴型顯示裝置之使用者可在不移動視線之情況下同時視認視界方向之物體之實像、及表現物體之構造之圖像。
(5)於上述形態之頭部配戴型顯示裝置中，上述特徵亦可為上述物體之邊緣。根據本形態之頭部配戴型顯示裝置，重疊處理部可藉由利用圖像辨識檢測物體之邊緣而提取外景中所包含之物體之輪廓。其結果，重疊處理部可根據所提取之物體之輪廓修正物體之非可視資訊而產生重疊資訊。
(6)於上述形態之頭部配戴型顯示裝置中，上述特徵亦可為附於上述物體之標記。根據本形態之頭部配戴型顯示裝置，重疊處理部可藉由利用圖像辨識檢測對物體標註之標記而提取外景中所包含之物體之位置。其結果，重疊處理部可根據所提取之物體之位置修正物體之非可視資訊而產生重疊資訊。
(7)於上述形態之頭部配戴型顯示裝置中，上述修正亦可為對表現上述非可視資訊之圖像進行放大、縮小、旋轉、反轉、裁剪、賦予變形、及去除雜訊中之至少任一者。根據本形態之頭部配戴型顯示裝置，重疊處理部可藉由對表現記憶於記憶部之物體之非可視資訊之圖像進行放大、縮小、旋轉、反轉、裁剪、賦予變形、及去除雜訊中之至少任一種修正而產生重疊資訊。
(8)於上述形態之頭部配戴型顯示裝置中，上述修正亦可為將表現上述非可視資訊之圖像分割成複數個區域，而對上述複數個區域之 各者之放大、縮小、裁剪、賦予變形、及去除雜訊中之至少任一者。根據本形態之頭部配戴型顯示裝置，重疊處理部係將表現記憶於記憶部之物體之非可視資訊之圖像分割成複數個區域之後，對複數個區域之各者進行放大、縮小、裁剪、賦予變形、及去除雜訊中之至少任一種修正。由於以此方式重疊處理部將表現非可視資訊之圖像分割成複數個區域之後對各區域進行修正，故可使非可視資訊之修正之精度提高。
(9)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可使用三角測量分別計測上述使用者與上述物體之各部之間之距離，且根據上述計測之結果而進行上述分割。根據本形態之頭部配戴型顯示裝置，重疊處理部可使用三角測量計測使用者與物體之各部之間之距離，根據計測之結果，有效率地且結合實際狀態而進行非可視資訊之區域之分割。
(10)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可根據表現上述使用者之視野內之視覺能力之程度之資訊接受特性，而改變上述修正之精度。根據本形態之頭部配戴型顯示裝置，重疊處理部係根據使用者之視野內之資訊接受特性而改變對於非可視資訊之修正之精度。其結果，重疊處理部可有效率地進行非可視資訊之修正。
(11)於上述形態之頭部配戴型顯示裝置中，亦可進而包含檢測上述使用者之視線之視線檢測部，上述圖像顯示部分別形成與上述使用者之右眼相對應之上述虛像、及與上述使用者之左眼相對應之上述虛像，上述重疊處理部進而自藉由上述視線檢測部檢測到之上述視線求出上述使用者與上述使用者注視之注視點之間之距離即注視點距離，且產生經賦予與所求得之上述注視點距離相對應之視差之右眼用之上述重疊資訊與左眼用之上述重疊資訊。根據本形態之頭部配戴型顯示裝置，重疊處理部產生賦予有與使用者和使用者注視之注視點之間之 距離(注視點距離)相對應之視差之右眼用之重疊資訊與左眼用之重疊資訊，圖像顯示部使基於該等重疊資訊之虛像供使用者視認。其結果，使用者可於與注視點相同之距離之位置上視認重疊資訊。
(12)於上述形態之頭部配戴型顯示裝置中，亦可進而包含上述使用者和上述使用者視認之上述虛像之間之複數個距離、及與上述複數個距離分別對應之視差建立關聯的視差資訊，上述重疊處理部使用上述視差資訊而賦予與上述注視點距離相對應之視差。根據本形態之頭部配戴型顯示裝置，重疊處理部可使用預先準備之視差資訊，簡便地產生右眼用之重疊資訊與左眼用之重疊資訊。
(13)於上述形態之頭部配戴型顯示裝置中，亦可進而包含複數個上述視差資訊，上述重疊處理部根據上述使用者而自上述複數個視差資訊中選擇一上述視差資訊。根據本形態之頭部配戴型顯示裝置，重疊處理部係自複數個視差資訊中選擇與使用者相對應之一視差資訊。因此，重疊處理部可藉由選擇與使用者之特性(例如主導眼(dominant eye)或眼間距離)相符之視差資訊而減少給使用者帶來之視覺上之不適感。
(14)於上述形態之頭部配戴型顯示裝置中，亦可進而包含檢測上述使用者相對於上述物體之位置之位置檢測部，於上述記憶部記憶有對於一上述物體之複數個上述非可視資訊，上述重疊處理部自記憶於上述記憶部之上述複數個非可視資訊中選擇與藉由上述位置檢測部檢測到之上述位置相對應之一非可視資訊，將所選擇之上述非可視資訊進行修正。根據本形態之頭部配戴型顯示裝置，重疊處理部可自記憶於記憶部之複數個非可視資訊中選擇與使用者相對於物體之位置相對應之一非可視資訊，對已選擇之非可視資訊進行修正。因此，重疊處理部可根據使用者與物體之位置關係使用恰當之非可視資訊而產生重疊資訊。
(15)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可進而產生放大資訊，該放大資訊係自藉由上述圖像獲取部所獲取之上述視界方向之圖像中提取上述外景中所包含之上述物體之至少一部分並加以放大者，上述圖像顯示部亦可使基於上述重疊資訊與上述放大資訊之上述虛像供上述使用者視認。根據本形態之頭部配戴型顯示裝置，頭部配戴型顯示裝置之使用者除可視認視界方向之物體(換言之，外景中所包含之物體)之實像、及未顯現於物體之外觀之資訊(重疊資訊)以外，可同時視認視界方向之物體之至少一部分之放大資訊。
(16)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可根據來自上述使用者之要求而將上述虛像隱藏顯示。根據本形態之頭部配戴型顯示裝置，頭部配戴型顯示裝置之使用者可根據自己之意願將虛像隱藏顯示。因此，可使頭部配戴型顯示裝置之使用者之便利性提高。
(17)於上述形態之頭部配戴型顯示裝置中，亦可進而包含產生上述使用者針對當前之程序而應實施之內容相關之資訊即程序資訊的程序管理部，上述圖像顯示部使基於上述重疊資訊與上述程序資訊之上述虛像供上述使用者視認。根據本形態之頭部配戴型顯示裝置，圖像顯示部係使基於表現關於當前之程序而使用者應實施之內容之程序資訊之虛像供使用者視認。因此，可支援使用者進行之作業。
(18)於上述形態之頭部配戴型顯示裝置中，上述程序資訊中亦可包含第三者示範性地實施上述程序之場面之圖像、及表現於個別具體之上述程序時使用者應實施之內容之圖像中之至少任一者。根據本形態之頭部配戴型顯示裝置，可使用圖像視覺性地表示使用者應實施之內容，因此，能夠更易於明白地支援使用者進行之作業。又，若使用表現於個別具體之程序時使用者應實施之內容之圖像，則能夠更個別 具體地支援使用者進行之作業，而可實現作業之精密化與作業效率之提高。
(19)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可進而產生用以輔助上述使用者之作業之附加資訊即輔助資訊，上述圖像顯示部亦可使基於上述重疊資訊與上述輔助資訊之上述虛像供上述使用者視認。根據本形態之頭部配戴型顯示裝置，使基於用以輔助使用者之作業之資訊之虛像供使用者視認。因此，可供使用頭部配戴型顯示裝置之作業之效率提高。
(20)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可進而根據藉由上述圖像獲取部所獲取之上述視界方向之圖像，進行用以使所產生之上述重疊資訊之視認性提高之色轉換處理。根據本形態之頭部配戴型顯示裝置，重疊處理部係對重疊資訊進行與使用者之視界方向之圖像相對應之色轉換處理。因此，能夠使頭部配戴型顯示裝置之使用者對於虛像之視認性進一步提高。
(21)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可根據來自上述使用者之要求使作為上述虛像而顯示之上述重疊資訊退避至不妨礙上述使用者之視界之位置。根據本形態之頭部配戴型顯示裝置，頭部配戴型顯示裝置之使用者可根據自己之意願使作為虛像而顯示之重疊資訊退避。因此，能夠使頭部配戴型顯示裝置之使用者之便利性提高。
(22)於上述形態之頭部配戴型顯示裝置中，上述重疊處理部亦可對藉由上述圖像獲取部所獲取之上述圖像之中、上述虛像之顯示區域與上述圖像獲取部之獲取區域重複之重複區域產生上述重疊資訊。根據本形態之頭部配戴型顯示裝置，重疊處理部係對虛像之顯示區域與圖像獲取部之獲取區域重複之重複區域產生重疊資訊。因此，可減少穿透式之頭部配戴型顯示裝置中產生之問題即「使用者於自身之視界 中直接看到之影像與藉由圖像顯示部而視認之虛像之間之偏移」之發生。其結果，可減少使用者視認出基於重疊資訊之虛像之情形時給使用者帶來之不適感。
(23)於上述形態之頭部配戴型顯示裝置中，上述程序管理部亦可對藉由上述圖像獲取部所獲取之上述圖像之中、上述虛像之顯示區域與上述圖像獲取部之獲取區域重複之重複區域產生上述程序資訊。根據本形態之頭部配戴型顯示裝置，程序管理部係對虛像之顯示區域與圖像獲取部之獲取區域重複之重複區域產生程序資訊。因此，可減少穿透式之頭部配戴型顯示裝置中產生之問題即「使用者於自身之視界中直接看到之影像與藉由圖像顯示部而視認之虛像之間之偏移」之發生。其結果，可減少使用者視認出基於程序資訊之虛像之情形時給使用者帶來之不適感。
上述本發明之各形態所具有之複數個構成要素並非全部需要，為了解決上述問題之一部分或全部或者達成本說明書中記載之效果之一部分或全部，可適當對上述複數個構成要素之一部分構成要素進行變更、刪除、與新構成要素之替換、限定內容之部分刪除。又，為了解決上述問題之一部分或全部或者達成本說明書中記載之效果之一部分或全部，亦可將上述本發明之一形態中所包含之技術特徵之一部分或全部與上述本發明之其他形態中所包含之技術特徵之一部分或全部組合而形成本發明之獨立之一形態。
例如，本發明之一形態可作為具備重疊處理部與圖像顯示部之2個要素中之一部分或全部之要素之裝置而實現。即，該裝置可包含重疊處理部，亦可不包含重疊處理部。又，該裝置可包含圖像顯示部，亦可不包含圖像顯示部。此種裝置可作為例如頭部配戴型顯示裝置而實現，亦可作為頭部配戴型顯示裝置以外之其他裝置而實現。上述頭部配戴型顯示裝置之各形態之技術特徵之一部分或全部均可應用於該 裝置。
再者，本發明可以各種態樣實現，例如，可以頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法、醫療用作業支援裝置及醫療用作業支援裝置之控制方法、醫療用作業支援系統、用以實現該等方法、裝置或系統之功能之電腦程式、記錄有上述電腦程式之記錄媒體等形態而實現。
10‧‧‧控制部(控制器)
10a‧‧‧控制部
10b‧‧‧控制部
12‧‧‧點燈部
14‧‧‧觸控板
16‧‧‧方向鍵
18‧‧‧電源開關
20‧‧‧圖像顯示部
20b‧‧‧圖像顯示部
20c‧‧‧圖像顯示部
20d‧‧‧圖像顯示部
21‧‧‧右保持部
22‧‧‧右顯示驅動部
23‧‧‧左保持部
24‧‧‧左顯示驅動部
26‧‧‧右光學影像顯示部
26c‧‧‧右光學影像顯示部
26d‧‧‧右光學影像顯示部
28‧‧‧左光學影像顯示部
28c‧‧‧左光學影像顯示部
28d‧‧‧左光學影像顯示部
30‧‧‧耳機插頭
32‧‧‧右耳機
34‧‧‧左耳機
40‧‧‧連接部
42‧‧‧右軟線
44‧‧‧左軟線
46‧‧‧連結構件
48‧‧‧本體軟線
51‧‧‧發送部
52‧‧‧發送部
53‧‧‧接收部
54‧‧‧接收部
61‧‧‧攝像機(圖像獲取部)
62‧‧‧瞳孔攝影用攝像機(視線檢測部)
63‧‧‧瞳孔攝影用攝像機(視線檢測部)
64‧‧‧近紅外線受光發光部(視線檢測部)
65‧‧‧近紅外線受光發光部(視線檢測部)
66‧‧‧9軸感測器(移動檢測部)
67‧‧‧深度感測器(位置檢測部)
100‧‧‧頭戴式顯示器(頭部配戴型顯示裝置)
100a‧‧‧頭戴式顯示器
100b‧‧‧頭戴式顯示器
110‧‧‧輸入資訊獲取部
120‧‧‧記憶部
120a‧‧‧記憶部
120b‧‧‧記憶部
122‧‧‧非可視資訊記憶部
124‧‧‧外觀資訊記憶部
126‧‧‧程序表
128‧‧‧視差資訊
130‧‧‧電源
132‧‧‧無線通信部
140‧‧‧CPU
140b‧‧‧CPU
142‧‧‧重疊處理部
142a‧‧‧重疊處理部
142b‧‧‧重疊處理部
144‧‧‧程序管理部
150‧‧‧作業系統
160‧‧‧圖像處理部
170‧‧‧聲音處理部
180‧‧‧介面
190‧‧‧顯示控制部
201‧‧‧右背光源控制部
202‧‧‧左背光源控制部
211‧‧‧右LCD控制部
212‧‧‧左LCD控制部
221‧‧‧右背光源
222‧‧‧左背光源
241‧‧‧右LCD
242‧‧‧左LCD
251‧‧‧右投影光學系統
252‧‧‧左投影光學系統
261‧‧‧右導光板
262‧‧‧左導光板
A1‧‧‧區域
A2‧‧‧區域
A3‧‧‧區域
An-1‧‧‧區域
An‧‧‧區域
AP‧‧‧前端部
CP1‧‧‧重疊資訊
CP2‧‧‧放大資訊
CP3‧‧‧輔助資訊
CP4‧‧‧程序資訊
CP5‧‧‧重疊資訊
Data‧‧‧圖像資料
Data1‧‧‧右眼用圖像資料
Data2‧‧‧左眼用圖像資料
DP‧‧‧深度
EL‧‧‧端部
ER‧‧‧端部
FI‧‧‧外觀資訊
HSync‧‧‧水平同步信號
IL‧‧‧照明光
IM4‧‧‧圖像
IM5‧‧‧圖像
L1‧‧‧距離
L2‧‧‧距離
L3‧‧‧距離
LE‧‧‧左眼
Lx‧‧‧距離
M1‧‧‧特徵
M2‧‧‧特徵
M3‧‧‧特徵
M4‧‧‧特徵
MG4‧‧‧字串
MG5‧‧‧字串
OA‧‧‧外部機器
PA‧‧‧患者
PC‧‧‧個人電腦
PCLK‧‧‧時脈信號
PL‧‧‧圖像光
PO1‧‧‧位置
PO2‧‧‧位置
PO3‧‧‧位置
PP‧‧‧注視點
Px‧‧‧視差
RE‧‧‧右眼
SC‧‧‧外景
SI‧‧‧非可視資訊
SI1‧‧‧冠狀面CT圖像
SI2‧‧‧橫斷面CT圖像
SI3‧‧‧倫琴射線圖像
VI‧‧‧虛像
VI1‧‧‧虛像
VI2‧‧‧虛像
VI3‧‧‧虛像
VR‧‧‧視野
VSync‧‧‧垂直同步信號
圖1係表示本發明之一實施形態中之頭部配戴型顯示裝置之概略構成之說明圖。
圖2係功能性地表示頭戴式顯示器之構成之方塊圖。
圖3係表示藉由圖像光產生部射出圖像光之情況之說明圖。
圖4係表示由使用者辨識之虛像之一例之說明圖。
圖5係表示第1實施形態中之重疊資訊顯示處理之程序之流程圖。
圖6係表示非可視資訊之一例之說明圖。
圖7係表示外觀資訊之一例之說明圖。
圖8係表示重疊資訊產生處理之程序之流程圖。
圖9係表示利用方法i自外景圖像中提取之對象物體之特徵(邊緣)之說明圖。
圖10係表示利用方法i自非可視資訊中提取之對象物體之特徵(邊緣)之說明圖。
圖11係表示修正後之非可視資訊之一例之說明圖。
圖12(A)、(B)係表示由使用者辨識之虛像之其他例之說明圖。
圖13係功能性地表示第2實施形態中之頭戴式顯示器之構成之方塊圖。
圖14係表示程序表之一例之說明圖。
圖15係表示第2實施形態中之重疊資訊顯示處理之程序之流程圖。
圖16係表示程序資訊之例之說明圖。
圖17係表示追加有程序資訊之重疊資訊之例之說明圖。
圖18係表示藉由程序e1~e9而由使用者視認之虛像之一例之說明圖。
圖19係表示第3實施形態中之頭戴式顯示器之概略構成之說明圖。
圖20係功能性地表示第3實施形態中之頭戴式顯示器之構成之方塊圖。
圖21係用以對視差資訊進行說明之說明圖。
圖22係表示第3實施形態中之重疊資訊顯示處理之程序之流程圖。
圖23係表示非可視資訊之一例之說明圖。
圖24係表示第1重疊資訊產生處理之程序之流程圖。
圖25係用以對第1重疊資訊產生處理之步驟S404進行說明之說明圖。
圖26係表示第2重疊資訊產生處理之程序之流程圖。
圖27係用以對第2重疊資訊產生處理之步驟S504進行說明之說明圖。
圖28(A)、(B)係表示變化例中之頭戴式顯示器之外觀之構成之說明圖。
A.第1實施形態： A-1.頭部配戴型顯示裝置之構成：
圖1係表示本發明之一實施形態中之頭部配戴型顯示裝置之概略 構成之說明圖。頭部配戴型顯示裝置100係配戴於頭部之顯示裝置，亦稱為頭戴式顯示器(Head Mounted Display，HMD)。本實施形態之頭戴式顯示器100係使用者視認虛像之同時亦可直接視認外景之光學穿透式之頭部配戴型顯示裝置。再者，於本實施形態中，例示將影像作為虛像而供使用者視認之類型之頭戴式顯示器100。
頭戴式顯示器100包含：圖像顯示部20，其於配戴於使用者之頭部之狀態下供使用者視認虛像；及控制部(控制器)10，其控制圖像顯示部20。
圖像顯示部20係配戴於使用者之頭部之配戴體，於本實施形態中具有眼鏡形狀。圖像顯示部20包含右保持部21、右顯示驅動部22、左保持部23、左顯示驅動部24、右光學影像顯示部26、左光學影像顯示部28、及攝像機61。右光學影像顯示部26及左光學影像顯示部28分別以於使用者配戴著圖像顯示部20時位於使用者之右眼及左眼前之方式配置。右光學影像顯示部26之一端與左光學影像顯示部28之一端係於使用者配戴著圖像顯示部20時之與使用者之眉間相對應之位置相互連接。
右保持部21係自作為右光學影像顯示部26之另一端之端部ER延伸至使用者配戴著圖像顯示部20時之與使用者之顳顬部相對應之位置而設置的構件。同樣地，左保持部23係自作為左光學影像顯示部28之另一端之端部EL延伸至使用者配戴著圖像顯示部20時之與使用者之顳顬部相對應之位置而設置的構件。右保持部21及左保持部23係如眼鏡之眼鏡腳(眼鏡腿)般將圖像顯示部20保持於使用者之頭部。
右顯示驅動部22係配置於右保持部21之內側、換言之、使用者配戴著圖像顯示部20時之與使用者之頭部對向之側。又，左顯示驅動部24係配置於左保持部23之內側。再者，以下，亦簡單地將右保持部21及左保持部23統稱為「保持部」，亦簡單地將右顯示驅動部22及左 顯示驅動部24統稱為「顯示驅動部」，亦簡單地將右光學影像顯示部26及左光學影像顯示部28統稱為「光學影像顯示部」。
顯示驅動部包含液晶顯示器(Liquid Crystal Display，以下稱為「LCD」)241、242或投影光學系統251、252等(參照圖2)。顯示驅動部之構成之詳細情況於下文進行敍述。作為光學構件之光學影像顯示部包含導光板261、262(參照圖2)與調光板。導光板261、262係由透光性之樹脂材料等形成，將自顯示驅動部輸出之圖像光導至使用者之眼睛。調光板係薄板狀之光學元件，以覆蓋圖像顯示部20之正面側(與使用者之眼睛之側相反之側)之方式配置。調光板保護導光板261、262，抑制導光板261、262之損傷或污垢之附著等。又，藉由調整調光板之透光率，可調整進入至使用者之眼睛之外光量而調整虛像之視認之容易度。再者，可省略調光板。
攝像機61係配置於使用者配戴著圖像顯示部20時之與使用者之眉間相對應之位置。攝像機61係拍攝圖像顯示部20之正面側方向、換言之、配戴著頭戴式顯示器100之狀態下之使用者之視界方向之外景(外部之景色)，獲取外景圖像。攝像機61係所謂之可見光攝像機，藉由攝像機61而獲取之外景圖像係利用自物體輻射之可見光表現物體之形狀之圖像。本實施形態中之攝像機61係單眼攝像機，但亦可設為立體攝像機。攝像機61相當於申請專利範圍中之「圖像獲取部」，攝像機61獲取之外景圖像相當於申請專利範圍中之「使用者之視界方向之圖像」。
圖像顯示部20進而包含用以將圖像顯示部20連接於控制部10之連接部40。連接部40包含連接於控制部10之本體軟線48、本體軟線48分支成2根後之右軟線42及左軟線44、及設置於分支點之連結構件46。右軟線42係自右保持部21之延伸方向之前端部AP插入至右保持部21之殼體內，並連接於右顯示驅動部22。同樣地，左軟線44係自左 保持部23之延伸方向之前端部AP插入至左保持部23之殼體內，並連接於左顯示驅動部24。於連結構件46設置有用以連接耳機插頭30之插孔。右耳機32及左耳機34自耳機插頭30延伸。
圖像顯示部20與控制部10係經由連接部40而進行各種信號之傳輸。於本體軟線48中之與連結構件46為相反側之端部與控制部10之各者設置有相互嵌合之連接器(省略圖示)，藉由本體軟線48之連接器與控制部10之連接器之嵌合/解除嵌合，而將控制部10與圖像顯示部20連接或者切斷。對於右軟線42、左軟線44及本體軟線48，例如可採用金屬纜線或光纖。
控制部10係用以控制頭戴式顯示器100之裝置。控制部10包含點燈部12、觸控板14、方向鍵16、及電源開關18。點燈部12係根據其發光態樣通知頭戴式顯示器100之動作狀態(例如電源之接通(ON)/斷開(OFF)等)。作為點燈部12，例如，可使用LED(Light Emitting Diode，發光二極體)。觸控板14係檢測觸控板14之操作面上之接觸操作，並輸出與檢測內容相對應之信號。作為觸控板14，可採用靜電式或壓力檢測式、光學式之各種觸控板。方向鍵16係檢測與上下左右方向相對應之對於鍵之按壓操作，並輸出與檢測內容相對應之信號。電源開關18係藉由檢測開關之滑動操作，而切換頭戴式顯示器100之電源之狀態。
圖2係功能性地表示頭戴式顯示器100之構成之方塊圖。控制部10包含輸入資訊獲取部110、記憶部120、電源130、無線通信部132、CPU(Central Processing Unit，中央處理單元)140、介面180、以及發送部(Tx)51及52，各部係藉由未圖示之匯流排而相互連接。
輸入資訊獲取部110例如獲取與對於觸控板14或方向鍵16、電源開關18等之操作輸入相對應之信號。再者，輸入資訊獲取部110可使用各種方法而獲取來自使用者之操作輸入。例如，除圖2所示之利用 觸控板14或方向鍵16之操作輸入以外，亦可獲取利用腳踏開關(藉由使用者之腳而操作之開關)之操作輸入。又，例如，亦可對圖像顯示部20設置紅外線感測器等視線偵測部之後，偵測使用者之視線，獲取基於與視線之移動建立關聯之指令之操作輸入。又，例如，亦可使用攝像機61偵測使用者之姿勢，獲取基於與姿勢建立關聯之指令之操作輸入。偵測姿勢時，可將使用者之指尖、戴在使用者之手上之戒指或拿在使用者之手上之醫療器械等作為用於移動檢測之目標。若設為能夠獲取利用腳踏開關或視線之操作輸入，則於使用者難以脫手之作業(例如手術)中，輸入資訊獲取部110亦可獲取來自使用者之操作輸入。
記憶部120包含ROM(Read Only Memory，唯讀記憶體)、RAM(Random Access Memory，隨機存取記憶體)、DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)、硬碟等。記憶部120包含非可視資訊記憶部122與外觀資訊記憶部124。非可視資訊記憶部122係用以預先記憶成為重疊資訊顯示處理之對象之物體之非可視資訊之記憶區域。所謂「非可視資訊」，係指未顯現於物體之外觀之資訊。本實施形態之非可視資訊係表現物體之構造之圖像。非可視資訊係於物體為生物之情形時，例如，為CT(Computed Tomography，電腦斷層攝影)圖像、MRI(Magnetic Resonance Imaging，核磁共振圖像法)圖像、倫琴射線(X射線)圖像、透視圖像、超音波診斷圖像、內視鏡圖像、熱寫圖像等。又，非可視資訊係於物體為人造物之情形時，例如，為設計圖面、電路圖、倫琴射線(X射線)圖像、透視圖像、紅外線圖像、熱寫圖像等。
外觀資訊記憶部124係用以預先記憶成為重疊資訊顯示處理之對象之物體之外觀資訊之記憶區域。所謂本實施形態中之「外觀資訊」，係指表現自外側看到之物體之情況(外觀)之圖像，係利用可見 光攝像機拍攝到之照片等。
電源130係對頭戴式顯示器100之各部供給電力。作為電源130，例如可使用二次電池。無線通信部132係按照無線LAN(Local Area Network，區域網路)或藍牙之特定之無線通信規格於與其他機器之間進行無線通信。
CPU140係藉由讀出並執行儲存於記憶部120之電腦程式而作為作業系統(OS，Operating system)150、圖像處理部160、聲音處理部170、顯示控制部190、重疊處理部142發揮功能。重疊處理部142係執行重疊資訊顯示處理之應用程式。所謂重疊資訊顯示處理，係指使未顯現於物體之外觀之資訊重疊於使用者之視界方向之物體之實像而顯示之處理。
圖像處理部160根據經由介面180或無線通信部132而輸入之內容(影像)產生信號。繼而，圖像處理部160經由連接部40將已產生之信號供給至圖像顯示部20。用於供給至圖像顯示部20之信號係於類比形式與數位形式之情形時不同。於類比形式之情形時，圖像處理部160產生並發送時脈信號PCLK、垂直同步信號VSync、水平同步信號HSync、及圖像資料Data。具體而言，圖像處理部160獲取內容中所包含之圖像信號。已獲取之圖像信號係於例如動態圖像之情形時，一般地為包含每秒30張之幀圖像之類比信號。圖像處理部160係自已獲取之圖像信號分離出垂直同步信號VSync或水平同步信號HSync等同步信號，根據其等之週期，藉由PLL(Phase Locked Loop，鎖相)電路等產生時脈信號PCLK。圖像處理部160使用A/D(analog-to-digital，類比數位)轉換電路等將同步信號經分離之類比圖像信號轉換成數位圖像信號。圖像處理部160將轉換後之數位圖像信號作為RGB資料之圖像資料Data而於每1幀儲存於記憶部120內之DRAM。另一方面，於數位形式之情形時，圖像處理部160產生並發送時脈信號PCLK與圖像資料 Data。具體而言，於內容為數位形式之情形時，時脈信號PCLK與圖像信號同步地輸出，因此，無需垂直同步信號VSync與水平同步信號HSync之產生、及類比圖像信號之A/D轉換。再者，圖像處理部160亦可對儲存於記憶部120之圖像資料Data執行解析度轉換處理或亮度‧彩度之調整之各種色調修正處理或梯形修正處理等圖像處理。
圖像處理部160係經由發送部51、52分別發送所產生之時脈信號PCLK、垂直同步信號VSync、水平同步信號HSync、及儲存於記憶部120內之DRAM之圖像資料Data。再者，亦將經由發送部51發送之圖像資料Data稱為「右眼用圖像資料」，亦將經由發送部52發送之圖像資料Data稱為「左眼用圖像資料」。發送部51、52係作為用於控制部10與圖像顯示部20之間之串列傳輸之發送器發揮功能。
顯示控制部190產生控制右顯示驅動部22及左顯示驅動部24之控制信號。具體而言，顯示控制部190係藉由根據控制信號個別地控制利用右LCD控制部211之右LCD241之驅動進行/中斷或利用右背光源控制部201之右背光源221之驅動進行/中斷、利用左LCD控制部212之左LCD242之驅動進行/中斷或利用左背光源控制部202之左背光源222之驅動進行/中斷等，而控制利用右顯示驅動部22及左顯示驅動部24之各者之圖像光之產生及射出。例如，顯示控制部190使右顯示驅動部22及左顯示驅動部24之兩者產生圖像光或僅使一者產生圖像光或者使兩者均不產生圖像光。又，顯示控制部190係經由發送部51及52分別發送對於右LCD控制部211與左LCD控制部212之控制信號。又，顯示控制部190分別發送對於右背光源控制部201與左背光源控制部202之控制信號。
聲音處理部170係獲取內容中所包含之聲音信號，將所獲取之聲音信號放大，並供給至連接於連結構件46之右耳機32內之未圖示之揚聲器及左耳機34內之未圖示之揚聲器。再者，例如，於採用Dolby(註 冊商標)系統之情形時，進行對於聲音信號之處理，自右耳機32及左耳機34分別輸出例如頻率等已改變之不同之聲音。
介面180係用以對控制部10連接成為內容之供給方之各種外部機器OA之介面。作為外部機器OA，例如，存在個人電腦PC(Personal Computer)或行動電話終端、遊戲終端等。作為介面180，例如，可使用USB(Universal Serial Bus，通用串列)介面或微型USB介面、記憶卡用介面等。
圖像顯示部20包含右顯示驅動部22、左顯示驅動部24、作為右光學影像顯示部26之右導光板261、作為左光學影像顯示部28之左導光板262、及攝像機61。
右顯示驅動部22包含接收部(Rx)53、作為光源發揮功能之右背光源(BL，Back light)控制部201及右背光源(BL)221、作為顯示元件發揮功能之右LCD控制部211及右LCD241、以及右投影光學系統251。再者，亦將右背光源控制部201、右LCD控制部211、右背光源221及右LCD241統稱為「圖像光產生部」。
接收部53係作為用於控制部10與圖像顯示部20之間之串列傳輸之接收器而發揮功能。右背光源控制部201係根據所輸入之控制信號而驅動右背光源221。右背光源221係例如LED或電致發光(EL)等之發光體。右LCD控制部211係根據經由接收部53而輸入之時脈信號PCLK、垂直同步信號VSync、水平同步信號HSync及右眼用圖像資料Data1驅動右LCD241。右LCD241係將複數個像素配置成矩陣狀之穿透式液晶面板。
右投影光學系統251包含使自右LCD241射出之圖像光為平行狀態之光束之準直透鏡。作為右光學影像顯示部26之右導光板261一面使自右投影光學系統251輸出之圖像光沿著特定之光路反射一面將其導至使用者之右眼RE。光學影像顯示部只要使用圖像光於使用者之眼 前形成虛像，則可使用任意之方式，例如，可使用繞射光柵，亦可使用半透過反射膜。
左顯示驅動部24具有與右顯示驅動部22相同之構成。即，左顯示驅動部24包含接收部(Rx)54、作為光源發揮功能之左背光源(BL)控制部202及左背光源(BL)222、作為顯示元件發揮功能之左LCD控制部212及左LCD242、以及左投影光學系統252。省略詳細之說明。
圖3係表示藉由圖像光產生部射出圖像光之情況之說明圖。右LCD241係藉由驅動配置成矩陣狀之各像素位置之液晶，而使透過右LCD241之光之透過率變化，藉此，將自右背光源221照射之照明光IL調變成表現圖像之有效之圖像光PL。關於左側，亦相同。再者，如圖3般，於本實施形態中，採用背光源方式，但亦可設為使用正面光方式或反射方式而射出圖像光之構成。
圖4係表示由使用者辨識之虛像之一例之說明圖。於圖4中例示使用者之視野VR。如上述般導至頭戴式顯示器100之使用者之兩眼之圖像光於使用者之視網膜成像，藉此，使用者視認虛像VI。於圖4所示之例中，虛像VI係患者之手之倫琴射線圖像。又，使用者係透過右光學影像顯示部26及左光學影像顯示部28而視認外景SC。於圖4所示之例中，外景SC係醫師手持之手術刀之刀尖抵接於患者之右手小指之第2關節之情況。如此，利用頭戴式顯示器100，使用者不僅可視認視野VR中未與虛像VI重複之部分，關於與虛像VI重複之部分，亦可於虛像VI之背後視認外景SC。
再者，本實施形態之頭戴式顯示器亦可使用並列方式而供使用者視認三維之虛像。於供使用者視認三維之虛像之模式(以下，亦稱為「三維顯示模式」)中，將LCD於左右等分，將右半部分設為右眼用之顯示，將左半部分設為左眼用之顯示。再者，亦可代替並列方式，藉由使用例如幀封裝(frame packing)方式、分層(top and bottom) 方式等其他方式而實現三維顯示模式。
A-2.重疊資訊顯示處理：
圖5係表示第1實施形態中之重疊資訊顯示處理之程序之流程圖。圖5之步驟S102、S104表示重疊資訊顯示處理之預處理之程序。圖5之步驟S106之後表示重疊資訊顯示處理之程序。重疊資訊顯示處理係針對使用者之視界方向之物體之實像使未顯現於物體之外觀之資訊重疊而顯示之處理。
對於重疊資訊顯示處理，存在藉由邊緣檢測提取設為重疊資訊顯示處理之對象之物體(以下，亦稱為「對象物體」)之特徵之方法、及藉由標記檢測提取對象物體之特徵之方法(詳細情況於下文進行敍述)。其中，採用藉由標記檢測提取對象物體之特徵之方法之情形時，於步驟S102、S104、S108中，預先對對象物體標註標記。再者，對對象物體標註之標記可使用各種種類之標記。例如，可使用膠帶、封條、記號油墨、雷射標記、Magic Tape(註冊商標)等。又，對對象物體標註之標記之數量可任意地規定。
於圖5之步驟S102中，使用者係使作為重疊資訊顯示處理之對象之物體之非可視資訊記憶於非可視資訊記憶部122中。具體而言，使用者使用攝像機器(CT、MRI、倫琴射線、內視鏡或熱成像儀等)拍攝設為重疊資訊顯示處理之對象之物體，獲取表現對象物體之構造之圖像(非可視資訊)。繼而，使用者使已獲取之圖像記憶於非可視資訊記憶部122中。再者，步驟S102中拍攝到之非可視資訊係於步驟S106之後之重疊資訊顯示處理中，重疊於透過右光學影像顯示部26及左光學影像顯示部28能夠看到之外景SC中之實像而顯示。因此，於重疊資訊顯示處理之步驟S102中，較佳為獲取與步驟S106之後之重疊資訊顯示處理中設想之對象物體之方向吻合之圖像，並使其預先記憶於非可視資訊記憶部122中。再者，於步驟S102中，亦可代替對象物體之攝 像，而使自外部接收到之非可視資訊記憶於非可視資訊記憶部122中。
圖6係表示非可視資訊之一例之說明圖。圖6中例示之非可視資訊SI係人之右手之倫琴射線圖像。於此情形時，對象物體為「人之右手」。根據圖6之非可視資訊SI可知被攝像者之右手之小指之第2關節因類風濕性關節炎而變形。
於圖5之步驟S104中，使用者使作為重疊資訊顯示處理之對象之物體之外觀資訊記憶於外觀資訊記憶部124中。具體而言，使用者使用攝像機61或數位攝像機等拍攝對象物體，獲取表現對象物體之外觀之圖像。繼而，使用者使已獲取之圖像記憶於外觀資訊記憶部124中。
圖7係表示外觀資訊之一例之說明圖。圖7中例示之外觀資訊FI係人之右手之照片圖像。對象物體與圖6相同。
於圖5之步驟S106中，重疊處理部142判定是否有重疊資訊顯示處理之開始指示。具體而言，重疊處理部142係於自輸入資訊獲取部110收到重疊資訊顯示處理之開始指示之情形時判定為有開始指示(步驟S106：是(YES))，於未接收重疊資訊顯示處理之開始指示之情形時判定為無開始指示(步驟S106：否(NO))。於無開始指示(步驟S106：否)之情形時，重疊處理部142使處理轉移至步驟S106，等待開始指示之接收。另一方面，於有開始指示(步驟S106：是)之情形時，重疊處理部142係藉由以下說明之重疊資訊產生處理而產生重疊資訊(步驟S108)。
A-2-1.重疊資訊產生處理：
圖8係表示重疊資訊產生處理之程序之流程圖。重疊處理部142獲取外景圖像(步驟S202)。具體而言，重疊處理部142啟動攝像機61，指示攝像機61進行攝像，並獲取藉由攝像機61而拍攝到之外景圖 像。
獲取外景圖像後，重疊處理部142係藉由對外景圖像進行圖像辨識而提取對象物體之特徵(步驟S204)。具體而言，重疊處理部142使用如下述之i、ii般之圖像辨識之方法而提取外景圖像中所包含之對象物體之特徵。再者，方法i與ii亦可組合。
方法i)重疊處理部142檢測對象物體之邊緣。於此情形時，檢測到之邊緣成為「對象物體之特徵」。
方法ii)重疊處理部142檢測對對象物體標註之標記。於此情形時，檢測到之標記成為「對象物體之特徵」。
圖9表示利用方法i自外景圖像提取出之對象物體之特徵(邊緣)。
於圖8之步驟S206中，重疊處理部142係藉由對非可視資訊SI進行圖像辨識而提取對象物體之特徵。具體而言，重疊處理部142係自非可視資訊記憶部122中讀出與對象物體相對應之非可視資訊SI。重疊處理部142使用上述i、ii中敍述之圖像辨識之方法而提取已讀出之非可視資訊SI中所包含之對象物體之特徵。再者，為了步驟S208中之修正之精度提高，較佳為步驟S204與步驟S206中使用之圖像辨識之方法統一。
圖10係利用方法i自非可視資訊SI中提取出之對象物體之特徵(邊緣)。
於圖8之步驟S208中，重疊處理部142係以步驟S204中提取出之外景圖像之特徵與步驟S206中提取出之非可視資訊SI之特徵相符之方式修正非可視資訊SI。具體而言，在步驟S204及S206中使用方法i之情形時，重疊處理部142係以外景圖像之特徵(即步驟S204中檢測到之邊緣)與非可視資訊SI之特徵(即步驟S206中檢測到之邊緣)之輪廓或特徵性之部位相符之方式，對表現非可視資訊SI之圖像進行放大、縮小、旋轉、反轉、裁剪、賦予變形、去除雜訊中之至少任一種加工。 此處，所謂特徵性之部位，於對象物體為生物之情形時，係指關節、四肢之前端、血管或骨等，於對象物體為人造物之情形時，係指突起部位或角部。另一方面，在步驟S204及S206中使用方法ii之情形時，重疊處理部142係以外景圖像之特徵(即步驟S204中檢測到之標記)與非可視資訊SI之特徵(即步驟S206中檢測到之標記)之位置相符之方式，對表現非可視資訊SI之圖像進行放大、縮小、旋轉、反轉、裁剪、賦予變形、去除雜訊中之至少任一種加工。
於圖9及圖10之例中，重疊處理部142係以步驟S204中檢測到之邊緣(圖9)與步驟S206中檢測到之邊緣(圖10)之手之輪廓或特徵性之部位(關節、指尖、血管、骨)相符之方式，對非可視資訊SI進行修正。
圖11係表示修正後之非可視資訊SI之一例之說明圖。於修正後之重疊資訊CP1中，對照外景圖像中所包含之對象物體(即患者之右手)之範圍而裁剪了非可視資訊SI(圖6)。同樣地，於修正後之重疊資訊CP1中，對照外景圖像中所包含之對象物體之大小而縮小了非可視資訊SI(圖6)，對照外景圖像中所包含之對象物體之位置而旋轉及移動了非可視資訊SI(圖6)。再者，於步驟S208中修正後之非可視資訊SI相當於申請專利範圍中之「重疊資訊」。
如此，於重疊資訊產生處理中，重疊處理部142可使用記憶於非可視資訊記憶部122之物體之非可視資訊SI而產生重疊資訊。於步驟S202中攝像機61(圖像獲取部)獲取之外景圖像係拍攝使用者之視界方向之對象物體(換言之，外景中所包含之物體)之實像所得之圖像。重疊處理部142係自藉由攝像機61而獲取之外景圖像中提取外景中所包含之對象物體之邊緣或標記(對象物體之特徵)，根據所提取之特徵產生重疊資訊。因此，重疊處理部142可產生與使用者之視界方向之對象物體(外景中所包含之物體)之特徵吻合之重疊資訊。
又，根據上述方法i，重疊處理部142可藉由利用圖像辨識檢測對 象物體之邊緣而提取外景中所包含之對象物體之輪廓。其結果，重疊處理部142可根據所提取之對象物體之輪廓修正該對象物體之非可視資訊SI，而產生重疊資訊CP1。
又，根據上述方法ii，重疊處理部142可藉由利用圖像辨識檢測對對象物體標註之標記而提取外景中所包含之對象物體之位置。其結果，重疊處理部142可根據所提取之對象物體之位置修正該對象物體之非可視資訊SI，而產生重疊資訊CP1。
重疊資訊產生處理結束後，於圖5之步驟S110中，重疊處理部142使重疊資訊CP1顯示。具體而言，重疊處理部142係對圖像處理部160發送藉由重疊資訊產生處理而產生之重疊資訊CP1。收到重疊資訊CP1之圖像處理部160係對重疊資訊CP1執行圖2中已說明之顯示處理。其結果，如圖4所示，重疊資訊CP1作為虛像VI而顯示於頭戴式顯示器100之使用者之視野VR中。本實施形態中之頭戴式顯示器100係使用者視認虛像之同時亦可視認外景之光學穿透式之頭戴式顯示器。因此，頭戴式顯示器100之使用者可於透過右光學影像顯示部26及左光學影像顯示部28能夠看到之外景SC中之實像(醫師手持之手術刀之刀尖抵接於患者之右手小指之第2關節之情況)與作為虛像VI而能夠看到之重疊資訊CP1重疊之狀態下進行視認。
於圖5之步驟S112中，重疊處理部142判定是否有顯示之切換指示及切換指示之內容。於無顯示之切換指示之情形時，重疊處理部142係待機特定時間後使處理轉移至步驟S108(省略圖示)。藉此，每隔特定時間，重複外景圖像之攝影與重疊資訊CP1之產生及顯示，因此，可使追隨使用者之頭部之經時性之移動之重疊資訊CP1作為虛像VI而顯示。再者，所謂特定時間，可任意地規定。
重疊處理部142係於自輸入資訊獲取部110收到指示切換當前顯示中之重疊資訊CP1之顯示之主旨之「圖像切換」指示之情形(步驟 S112：圖像切換)時，使處理轉移至步驟S114。重疊處理部142產生其他重疊資訊(步驟S114)。具體而言，重疊處理部142再次執行圖8中已說明之重疊資訊產生處理，而產生其他重疊資訊。此時，重疊處理部142係代替圖8之說明中「記憶於非可視資訊記憶部122之非可視資訊SI」而將「記憶於外觀資訊記憶部124之外觀資訊FI」設為處理對象。因此，所謂其他重疊資訊，成為表現對象物體之外觀之資訊。產生其他重疊資訊後，重疊處理部142使其他重疊資訊顯示(步驟S116)。具體而言，重疊處理部142係對圖像處理部160發送其他重疊資訊。收到其他重疊資訊之圖像處理部160係對其他重疊資訊執行圖2中已說明之顯示處理。其結果，代替重疊資訊CP1而其他重疊資訊作為虛像VI顯示於頭戴式顯示器100之使用者之視野VR中。其後，重疊處理部142使處理轉移至步驟S112。
如此，根據步驟S114、S116，頭戴式顯示器100之使用者可根據使用者自己之意願，切換以表現對象物體之構造之非可視資訊SI為基礎而產生之重疊資訊之顯示、及以表現對象物體之外觀之外觀資訊FI為基礎而產生之其他重疊資訊之顯示。因此，可使頭戴式顯示器100之使用者之便利性提高。
於圖5中，重疊處理部142係於自輸入資訊獲取部110收到指示將當前顯示中之虛像隱藏顯示之主旨之「隱藏顯示」指示之情形(步驟S112：隱藏顯示)時，使處理轉移至步驟S118。重疊處理部142使當前顯示中之虛像VI(重疊資訊CP1或其他重疊資訊)隱藏顯示(步驟S118)。具體而言，重疊處理部142停止對圖像處理部160發送重疊資訊CP1或其他重疊資訊。藉此，應顯示之圖像資料消失，因此，可將虛像VI隱藏顯示。再者，亦可代替停止發送重疊資訊CP1或其他重疊資訊，而重疊處理部142對顯示控制部190發送將圖像隱藏顯示之主旨之要求。於此情形時，顯示控制部190可藉由發送使利用LCD控制部 之LCD之驅動中斷之控制信號或使利用背光源控制部之背光源之驅動中斷之控制信號而將虛像VI隱藏顯示。
如此，根據步驟S118，頭戴式顯示器100之使用者可根據使用者自己之意願而將當前顯示中之虛像VI隱藏顯示。例如，於欲注視透過光學影像顯示部觀看之實像之情形時，使用者可有意地使虛像VI消失。因此，可使頭戴式顯示器100之使用者之便利性提高。
於圖5中，重疊處理部142係於自輸入資訊獲取部110收到指示使視界方向之實像放大顯示之主旨之「放大」指示之情形(步驟S112：放大)時，使處理轉移至步驟S120。重疊處理部142獲取外景圖像(步驟S120)。具體而言，重疊處理部142啟動攝像機61，指示攝像機61進行攝像，獲取藉由攝像機61而拍攝到之外景圖像。獲取外景圖像後，重疊處理部142係對步驟S120中獲取到之外景圖像進行圖像辨識，指示放大之同時對以指定之點為中心之特定範圍之區域進行裁剪後，對裁剪後之圖像進行放大處理(步驟S122)。其後，重疊處理部142產生將放大處理後之圖像配置於端部且於其他部分配置有黑色之虛擬資料的放大資訊。產生放大資訊後，重疊處理部142使重疊資訊CP1與放大資訊顯示。具體而言，重疊處理部142係對圖像處理部160發送重疊資訊CP1與放大資訊。收到重疊資訊CP1與放大資訊之圖像處理部160產生將重疊資訊CP1與放大資訊設為各層之合成圖像，並對已產生之合成圖像執行圖2中已說明之顯示處理。
圖12係表示由使用者辨識之虛像之其他例之說明圖。圖12(A)表示藉由圖5之步驟S122而由使用者辨識之虛像。以此方式執行步驟S120及S122後，重疊資訊CP1與放大資訊CP2作為虛像VI而顯示於頭戴式顯示器100之使用者之視野VR中。如此，根據步驟S120、S122，除了視界方向之對象物體(換言之，外景中所包含之物體)之實像與未顯現於該對象物體之外觀之資訊(重疊資訊CP1)以外，頭戴式顯示器 100之使用者可根據使用者自己之意願進而同時視認以指定之點為中心之實像之放大資訊CP2即視界方向之物體之至少一部分之放大資訊CP2。其結果，可使頭戴式顯示器100之使用者之便利性提高。
如上所述，於第1實施形態之重疊資訊顯示處理中，圖像顯示部20係使基於用以針對外景SC中所包含之對象物體(上述例中為人之右手)而使該對象物體之非可視資訊SI(上述例中為人之右手之倫琴射線圖像)重疊之重疊資訊CP1的虛像VI(影像)供使用者視認。本形態之頭戴式顯示器100(頭部配戴型顯示裝置)係可同時視認虛像VI(影像)與外景SC之頭戴式顯示器。因此，頭戴式顯示器100之使用者在不移動視線之情況下能夠同時視認視界方向之對象物體(換言之，外景中所包含之對象物體)之實像及未顯現於該對象物體之外觀之資訊(重疊資訊CP1)。
進而，於上述實施形態中，記憶於非可視資訊記憶部122之非可視資訊SI係表現對象物體之構造之圖像。因此，頭戴式顯示器100(頭部配戴型顯示裝置)之使用者在不移動視線之情況下能夠同時視認視界方向之對象物體之實像及表現對象物體之構造之圖像。因此，上述實施形態之頭戴式顯示器100在低侵入外科手術中尤其有用。再者，所謂低侵入外科手術，係指為了使伴隨手術之患者之痛苦或手術疤痕為最小限度而將利用手術刀之切開部位控制在最小限度之手術方法。
A-3.重疊資訊顯示處理中之附加處理：
再者，於重疊資訊顯示處理(圖5)中，亦可進而執行如下之附加處理。附加處理可單獨地附加，亦可進行組合而附加。
A-3-1.附加處理1：
於附加處理1中，重疊處理部142除使重疊資訊CP1作為虛像VI而顯示以外，進而使輔助資訊CP3作為虛像VI而顯示。所謂輔助資訊CP3，只要為用以輔助頭戴式顯示器100之使用者之作業之附加資 訊，則可採用任意之資訊。輔助資訊CP3係於醫療用之頭戴式顯示器100中，例如，可設為如下之資訊。
‧顯示安裝於患者之醫療用機器(心電圖、心率計、血壓計、脈搏血氧定量計、血糖值計等)之計測值之資訊。
‧顯示與安裝於患者之醫療用機器之計測值相對應之注意喚起或警告之資訊。
圖12(B)表示作為輔助資訊CP3而顯示有患者之心率(HR)、血壓(SYS/DIA)及動脈血氧飽和度(SpO2)之輔助資訊CP3作為虛像VI顯示之例。於圖12(B)之例中，輔助資訊CP3係藉由文字而表現。然而，除文字以外，輔助資訊CP3亦可採用照片、圖樣、圖形、及該等之組合。再者，輔助資訊CP3較佳為以不與重疊資訊CP1重疊之方式配置於例如端部。使重疊資訊CP1與輔助資訊CP3同時顯示之方法係與步驟S122相同。
再者，於圖12(B)中，列舉了醫療用之頭戴式顯示器100中之輔助資訊CP3之例。然而，於用於其他用途之頭戴式顯示器100中，亦可使輔助資訊CP3作為虛像VI而顯示。例如，於建設現場使用之頭戴式顯示器100之輔助資訊CP3可設為顯示建造物之資訊(修築年數、建造之地基之資訊、施工方法之資訊、建造時使用之材料之資訊等)之資訊。除此以外，可採用與頭戴式顯示器100之使用用途相對應之各種輔助資訊。
如此，根據附加處理1，頭戴式顯示器100之使用者可將用以輔助作業之資訊即輔助資訊CP3作為虛像VI(影像)而進行視認。因此，可供使用頭戴式顯示器100之作業之效率提高。
A-3-2.附加處理2：
於附加處理2中，對步驟S108中產生之重疊資訊CP1、步驟S114中產生之其他重疊資訊、及步驟S122中產生之放大資訊CP2中之至少 任一個進行色轉換處理。色轉換處理較佳為根據步驟S202中攝影到之外景圖像之亮度、對比度、彩度、色相而使藉由重疊處理部142而產生之各資訊(重疊資訊CP1、其他重疊資訊、放大資訊CP2)之視認性提高般之色轉換處理。例如，可進行將藉由重疊處理部142而產生之各資訊之色相轉換成步驟S202中攝影到之外景圖像之色相之補色之色轉換處理。再者，色轉換處理可由重疊處理部142在對圖像處理部160發送各資訊之前執行，亦可由收到各資訊之圖像處理部160執行。
如此，根據附加處理2，可使頭戴式顯示器100之使用者對虛像VI(影像)之視認性進一步提高。
A-3-3.附加處理3：
於附加處理3中，重疊處理部142係使作為虛像VI而顯示之資訊(重疊資訊CP1、其他重疊資訊、放大資訊CP2、輔助資訊CP3)退避至不妨礙使用者之視界之位置。以當前顯示中之虛像VI為重疊資訊CP1之情形為例進行說明。重疊處理部142對重疊資訊CP1進行縮小處理。其後，重疊處理部142產生將縮小處理後之圖像配置於端部且於其他部分配置有黑色之虛擬資料之縮小資訊。產生縮小資訊後，重疊處理部142使縮小資訊顯示。具體而言，重疊處理部142係對圖像處理部160發送縮小資訊。收到縮小資訊之圖像處理部160對縮小資訊執行圖2中已說明之顯示處理。其結果，代替重疊資訊CP1而重疊資訊CP1縮小後配置於端部之縮小資訊作為虛像VI顯示於頭戴式顯示器100之使用者之視野VR中。再者，附加處理3亦可代替重疊資訊顯示處理(圖5)之步驟S118而執行。
如此，根據附加處理3，頭戴式顯示器100之使用者可根據使用者自己之意願使作為虛像VI(影像)而顯示之資訊(重疊資訊CP1、其他重疊資訊、放大資訊CP2、輔助資訊CP3)退避至不妨礙視界之位置。例如，於欲注視透過光學影像顯示部觀看之實像之情形時，使用者可 有意地使作為虛像VI(影像)而顯示之資訊退避。因此，可使頭戴式顯示器100之使用者之便利性提高。
進而，根據附加處理3，由於縮小處理後之各種資訊(重疊資訊CP1、其他重疊資訊、放大資訊CP2、輔助資訊CP3)配置於端部，故可對頭戴式顯示器100之使用者提醒各種資訊之存在。換言之，亦可使縮小處理後之各種資訊如圖符般而加以使用。例如，可以使用者已選擇縮小處理後之重疊資訊CP1為觸發點而使重疊資訊CP1恢復至原來之位置及大小。若如此，可使頭戴式顯示器100之使用者之便利性進一步提高。
A-3-4.附加處理4：
於附加處理4中，重疊處理部142實現抑制使用者之頭之較小之晃動所帶來之虛像VI之搖晃之所謂之穩定器功能。於疊資訊顯示處理(圖5)之步驟S112中，重疊處理部142係於無顯示之切換指示之情形時，待機特定時間後使處理轉移至步驟S108。藉此，每隔特定時間，重複外景圖像之攝影與重疊資訊CP1之產生及顯示，因此，可使追隨使用者之頭部之經時性之移動之重疊資訊CP1作為虛像VI而顯示。然而，追隨使用者之頭之微小之移動或搖動而重疊資訊CP1屢次改變反而有誘發使用者之眼精疲勞之虞或妨礙使用者之集中力之虞。因此，重疊處理部142亦可於重疊資訊產生處理(圖8)之步驟S202與S204之間進行程序a1、a2所示之處理。
程序a1)求出步驟S202中攝影到之外景圖像與上一次執行之重疊資訊產生處理之步驟S202中攝影到之外景圖像之間之RGB直方圖之變化量。
程序a2)於程序a1中求得之變化量超過特定之閾值之情形時，繼續步驟S204之後之處理。於程序a1中求得之變化量為特定之閾值以下之情形時，將上一次執行之重疊資訊產生處理中產生之重疊資訊CP1 設為當前執行中之重疊資訊產生處理之處理結果。
如此，根據附加處理4，重疊處理部142係於上一次執行之重疊資訊產生處理中之外景圖像(使用者之視界方向之外景)與當前執行中之重疊資訊產生處理中之外景圖像之間之變化量較小之情形即使用者之頭之移動微小之情形時，不產生新重疊資訊CP1，而將上一次執行之重疊資訊產生處理中產生之重疊資訊CP1設為當前執行中之重疊資訊產生處理之處理結果。其結果，可抑制追隨頭戴式顯示器100之使用者之頭之微小之移動或搖動而重疊資訊CP1屢次改變，因此，可抑制使用者之眼精疲勞或集中力降低。再者，亦可設為可由使用者切換穩定器功能之接通/斷開之構成。
A-3-5.附加處理5：
於附加處理5中，重疊處理部142係根據圖像顯示部20之光學影像顯示部26、28與位於使用者之視界方向之物體之間之距離，變更放大資訊CP2及輔助資訊CP3作為虛像VI而顯示之大小。具體而言，重疊處理部142可於重疊資訊顯示處理(圖5)中進行程序b1~b3所示之處理。再者，於實施附加處理5之情形時，設為頭戴式顯示器100進而包含測距感測器之構成。測距感測器係用以藉由反射光而獲取位於使用者之視界方向之物體與圖像顯示部20之間之距離之感測器，例如，可配置於圖1之攝像機61之附近。
程序b1)重疊處理部142係定期地獲取利用測距感測器所得之測定值。
程序b2)重疊處理部142係於重疊資訊顯示處理(圖5)之步驟S122中之放大處理時，根據已獲取之測距感測器之測定值變更放大率。
程序b3)重疊處理部142係根據測距感測器之測定值，變更附加處理1之輔助資訊CP3之大小。
如此，根據附加處理5，重疊處理部142係根據位於使用者之視 界方向之物體與圖像顯示部20之間之距離，變更放大資訊CP2及輔助資訊CP3作為虛像VI(影像)而顯示之大小。因此，可使頭戴式顯示器100之使用者之便利性提高。
A-3-6.附加處理6：
於附加處理6中，無線通信部132係將上述處理之過程中獲取之外景圖像發送至外部裝置。所謂外景圖像，具體而言，係指重疊資訊產生處理(圖8)之步驟S202中獲取之外景圖像與重疊資訊顯示處理(圖5)之步驟S120中獲取之外景圖像。所謂外部裝置，例如，係指其他頭戴式顯示器100、伺服器、監視器等。無線通信部132係經由無線連接將該等外景圖像發送至外部裝置。收到外景圖像之外部裝置可以各種態樣有效地利用收到之外景圖像。例如，亦可顯示於其他頭戴式顯示器100或監視器。又，亦可記憶於伺服器中作為手術(作業)之日誌而進行保存。
於顯示於其他頭戴式顯示器100或監視器之態樣中，外部裝置亦可獲取看到所顯示之圖像之醫師(作業者)之意見。於此情形時，外部裝置將已獲取之意見發送至頭戴式顯示器100。收到意見之頭戴式顯示器100之無線通信部132傳送收到之意見。具體而言，無線通信部132係於收到之意見為聲音資訊之情形時向聲音處理部170傳送，於為文字資訊或圖像資訊之情形時向重疊處理部142傳送。收到聲音資訊之聲音處理部170係將聲音資訊中所包含之聲音信號放大，並供給至內置於右耳機32與左耳機34之揚聲器。藉此，頭戴式顯示器100之使用者可傾聽基於聲音之意見。另一方面，收到文字資訊或圖像資訊之重疊處理部142除使重疊資訊CP1顯示以外，進而使收到之文字資訊或圖像資訊作為虛像VI而顯示。文字資訊或圖像資訊之顯示方法係與附加處理1中已說明之輔助資訊CP3相同。藉此，頭戴式顯示器100之使用者可將基於文字或圖像之意見作為虛像VI而進行視認。
如此，根據附加處理6，於外部裝置中亦可瀏覽處理之過程中獲取之外景圖像，並加以保存。又，根據附加處理6，頭戴式顯示器100之使用者能夠獲得來自看到處理之過程中獲取之外景圖像之人物之意見。因此，可實現使用頭戴式顯示器100之作業之效率化及精度之提高。
A-3-7.附加處理7：
於附加處理7中，重疊處理部142進行虛像VI之顯示區域與攝像機61之攝像區域之校準。重疊處理部142在重疊資訊顯示處理(圖5)之前進行以下之程序c1~c7所示之處理。
程序c1)使用於校準之指導圖像之圖像資料(以下，亦稱為「指導圖像資料」)預先記憶於記憶部120中。指導圖像係用以對頭戴式顯示器100之使用者表示虛像之顯示區域之端部之圖像。例如，指導圖像可設為如下圖像，該圖像具有與右LCD241及左LCD242相同之縱橫比之矩形形狀，具有白色一種顏色之背景，且於其四角及位於對角線之交點之部分包含圓狀之指引標誌。
程序c2)重疊處理部142係讀出儲存於記憶部120之指導圖像資料，並將指導圖像資料發送至圖像處理部160。於收到指導圖像資料之圖像處理部160中，執行圖2中已說明之處理。其結果，指導圖像作為虛像VI而顯示於頭戴式顯示器100之使用者之視野VR中。
程序c3)重疊處理部142係以依序指出作為虛像VI而顯示之指導圖像之指引標誌之方式對使用者進行指引。作為對使用者指引之方法，可使用利用對話框等之訊息，亦可進行利用聲音之指引。利用聲音之指引於可不遮擋顯示中之指導圖像而進行指引之方面較佳。
程序c4)重疊處理部142使攝像機61拍攝外景圖像。
程序c5)重疊處理部142係對藉由攝像機61而拍攝到之外景圖像進行圖像辨識，特定人之指尖之位置。重疊處理部142係關於各指引標 誌，獲取指尖位置之座標，並保存於記憶部120中。例如，指尖位置之座標可定義為將外景圖像之最左上部分之像素設為(0，0)之情形時之X方向、Y方向之移動量。
程序c6)重疊處理部142係關於所有指引標誌重複外景圖像之獲取、指尖位置之座標獲取、座標之保存之一連串處理。其後，重疊處理部142使指導圖像之顯示結束。如此，重疊處理部142預先獲取攝像機61之攝像區域與虛像VI之顯示區域重複之區域。再者，亦將攝像機61之攝像區域(獲取區域)與虛像VI之顯示區域重複之區域稱為「重複區域」。
程序c7)重疊處理部142係於重疊資訊產生處理(圖8)之步驟S204中，提取藉由攝像機61而拍攝到之外景圖像中重複區域內之圖像中所包含之物體之特徵。繼而，於步驟S208中，產生與重複區域相對應之重疊資訊CP1。
如此，根據附加處理7，重疊處理部142可對虛像VI(影像)之顯示區域與攝像機61(圖像獲取部)之獲取區域重複之重複區域產生重疊資訊CP1。因此，可減少穿透式之頭戴式顯示器100(頭部配戴型顯示裝置)中產生之問題即「使用者於自身之視界中直接看到之影像與藉由圖像顯示部20而視認之虛像VI(影像)之間之偏移」之發生。其結果，可減少供使用者視認出基於重疊資訊CP1之虛像之情形時給使用者帶來之不適感。
B.第2實施形態：
於本發明之第2實施形態中，對在頭部配戴型顯示裝置中進而可支援使用者進行之作業之構成進行說明。以下，僅對具有與第1實施形態不同之構成及動作之部分進行說明。再者，於圖中，對與第1實施形態相同之構成部分標註與之前說明之第1實施形態相同之符號，並省略其詳細說明。
B-1.頭部配戴型顯示裝置之構成：
圖13係功能性地表示第2實施形態中之頭戴式顯示器100a之構成之方塊圖。與圖2所示之第1實施形態之不同點係包含控制部10a而代替控制部10之方面。控制部10a包含記憶部120a而代替記憶部120，且包含CPU140a而代替CPU140。
記憶部120a除包含圖2所示之各記憶部以外，進而包含程序表126。CPU140a包含重疊處理部142a而代替圖2所示之重疊處理部142，又，除圖2所示之各處理部以外，進而包含程序管理部144。重疊處理部142a與程序管理部144藉由協動而執行第2實施形態中之重疊資訊顯示處理。
圖14係表示程序表126之一例之說明圖。程序表126係第2實施形態中之重疊資訊顯示處理中使用之表。程序表126預先儲存於記憶部120a內。程序表126包含作業編號、程序編號、程序名、指示內容及圖像之欄位(field)。
於作業編號中儲存有用以唯一性地識別作業之識別碼。例如，於醫療用之頭戴式顯示器100之情形時，於作業編號中儲存有表現手術之手術方式之識別碼。識別碼包含字串，例如可設為英文數字之組合。
於程序編號之後之各欄位中儲存有與根據作業編號而特定之作業中所包含之複數個程序相關之各種資訊。於程序編號中儲存有用以唯一性地識別程序之識別碼。識別碼包含字串，例如可設為英文數字之組合。於圖14之例中，設想作業內之複數個程序按照程序編號之升序行進。於程序名中儲存有該程序之名稱。於指示內容中儲存有表現於該程序中使用者應實施之內容之字串。再者，於圖14之例中，利用對於使用者之公告形式之字串表現指示內容。於圖像欄中儲存有表現使用者應實施之內容之圖像。圖像係例如第三者示範性地實施該程序 之場面之照片等。再者，圖像除照片以外，亦可為圖式(說明圖、組裝圖、配置圖、電路圖等)，亦可為其等之組合。
於圖14之例中，可知程序表126係於醫療用之頭戴式顯示器100中儲存有醫師進行之作業(即手術)之程序之表。又，可知利用作業編號1識別之作業係人工指關節置換手術。進而，可知於利用程序編號1識別之程序中使用者應實施之內容係「準備手術時所需之物品」及「所需之物品是什麼」。進而，表現使用者應實施之內容之圖像未與利用程序編號1而識別之程序建立關聯。
B-2.重疊資訊顯示處理：
圖15係表示第2實施形態中之重疊資訊顯示處理之程序之流程圖。與圖5所示之第1實施形態之不同點係追加有步驟S302、S304、S306之方面。
於重疊資訊顯示處理之開始指示後，於步驟S302中，程序管理部144推斷當前之程序。具體而言，程序管理部144啟動攝像機61，指示攝像機61進行攝像，獲取藉由攝像機61而拍攝到之外景圖像。程序管理部144係藉由對已獲取之外景圖像進行圖像辨識，而自儲存於程序表126之複數個程序中推斷出當前之程序。若如此，程序管理部144可根據藉由攝像機61(圖像獲取部)而獲取之使用者之視界方向之圖像(外景圖像)自動地推斷出當前之程序。
推斷出當前之程序後，於步驟S108中，重疊處理部142a執行重疊資訊產生處理。詳細情況與圖8中已說明之第1實施形態相同。
執行重疊資訊產生處理後，於步驟S304中，程序管理部144產生程序資訊。具體而言，程序管理部144進行以下之程序d1~d4所示之處理。
程序d1)程序管理部144檢索程序表126，提取與步驟S302中推斷出之當前之程序建立關聯之項目。
程序d2)程序管理部144判定所提取之項目中是否於圖像欄位儲存有圖像(表現使用者應實施之內容之圖像)。程序管理部144係於儲存有圖像之情形時執行程序d3，於未儲存有圖像之情形時執行程序d4。
程序d3)程序管理部144產生程序資訊，該程序資訊係將儲存於圖像欄位之圖像配置於上端部，將儲存於指示內容欄位之字串配置於下端部，且於其他部分配置有黑色之虛擬資料。再者，考慮外景圖像之色相之後，字串較佳為設為視認性較高之顏色。
程序d4)程序管理部144產生將儲存於指示內容欄位之字串配置於下端部且於其他部分配置有黑色之虛擬資料的程序資訊。
再者，程序d3、d4中之圖像與字串之配置可任意變更。然而，為了以不過度地遮擋使用者之視界之態樣對使用者指引應實施之內容，圖像與字串之配置較佳為程序資訊CP4之端部(換言之，四邊之附近)。
圖16係表示程序資訊之例之說明圖。於程序資訊CP4中，於下側之端部配置有表現使用者應實施之內容之「插入人工指關節」之字串MG4。又，於右側上端部配置有表示人工指關節之插入之模範例之圖像IM4。
產生程序資訊CP4後，於步驟S306中，重疊處理部142a及程序管理部144使重疊資訊CP1與程序資訊顯示。具體而言，重疊處理部142a係對圖像處理部160發送重疊資訊CP1，程序管理部144係對圖像處理部160發送程序資訊CP4。收到重疊資訊CP1與程序資訊CP4之圖像處理部160產生將重疊資訊CP1與程序資訊CP4設為各層之合成圖像，並對已產生之合成圖像執行圖2中已說明之顯示處理。其結果，重疊資訊CP1與程序資訊CP4作為虛像VI而顯示於頭戴式顯示器100a之使用者之視野VR中。
如上所述，於第2實施形態之重疊資訊顯示處理中，圖像顯示部 20係將表現關於當前之程序而頭戴式顯示器100a之使用者應實施之內容之程序資訊CP4作為虛像VI(影像)而供使用者進行視認。因此，除第1實施形態之效果以外，進而，可使用圖像視覺性地表示頭戴式顯示器100a之使用者應實施之內容。因此，能夠更易於明白地支援使用者進行之作業。
再者，於上述第2實施形態中，以於程序表126之圖像欄位儲存有第三者示範性地實施該程序之場面之照片等之情形為例進行了說明。然而，亦可於程序表126之圖像欄位中儲存表現於實際之個別具體之程序時使用者應實施之內容之圖像。具體而言，亦可於程序表126之圖像欄位中儲存例如表現實際接受手術之患者之皮膚之切開部位之圖像或表現醫療機器(例如醫療用螺釘、起搏器、導管、人工關節等)相對於實際接受手術之患者之體內之插入部位之圖像。於此情形時，程序管理部144進行以下之程序e1~e9所示之處理，而代替重疊資訊顯示處理(圖15)之步驟S108、S304、S306。
程序e1)程序管理部144檢索程序表126，提取與步驟S302中推斷出之當前之程序建立關聯之項目。
程序e2)程序管理部144判定所提取之項目中是否於圖像欄位儲存有圖像。程序管理部144係於儲存有圖像之情形時執行程序e3~e7、e9，於未儲存有圖像之情形時執行程序e8、e9。
程序e3)重疊處理部142a獲取外景圖像。詳細情況與重疊資訊產生處理(圖8)之步驟S202相同。
程序e4)重疊處理部142a係藉由對外景圖像進行圖像辨識而提取對象物體之特徵。詳細情況與重疊資訊產生處理之步驟S204相同。
程序e5)重疊處理部142a係藉由對儲存於圖像欄位之圖像進行圖像辨識而提取對象物體之特徵。詳細情況與重疊資訊產生處理之步驟S206相同。其中，可將步驟S206之「非可視資訊」換成「儲存於圖像 欄位之圖像」之說法。
程序e6)重疊處理部142a係以程序e4中提取出之外景圖像之特徵與程序e5中提取出之儲存於圖像欄位之圖像之特徵相符之方式，對儲存於圖像欄位之圖像進行修正，而產生重疊資訊CP5。詳細情況與重疊資訊產生處理之步驟S208相同。其中，可將步驟S208之「非可視資訊」換成「儲存於圖像欄位之圖像」之說法。
程序e7)程序管理部144對程序e6中產生之重疊資訊CP5追加表現程序資訊之層。具體而言，程序管理部144將儲存於程序e1中提取出之項目之指示內容欄位之字串配置於重疊資訊CP5之下端部。
圖17係表示追加有程序資訊之重疊資訊之例之說明圖。於該重疊資訊CP5中，以與使用者之視界方向之對象物體(外景中所包含之物體)之特徵吻合之角度、位置、大小配置有表現實際接受手術之患者之皮膚之切開部位之圖像IM5。又，於重疊資訊CP5中，於下側之端部配置有表現使用者應實施之內容之「使用圓刀刃手術刀切開手術部位之皮膚而使指關節露出」的字串MG5。
程序e8)程序管理部144產生將儲存於程序e1中提取出之項目之指示內容欄位之字串配置於下端部且於其他部分配置有黑色之虛擬資料的程序資訊CP4。
程序e9)程序管理部144使程序e7中產生之重疊資訊CP5或程序e8中產生之程序資訊CP4顯示。具體而言，程序管理部144對圖像處理部160發送所產生之重疊資訊CP5或程序資訊CP4。收到重疊資訊CP5或程序資訊CP4之圖像處理部160執行圖2中已說明之顯示處理。其結果，重疊資訊CP5或程序資訊CP4作為虛像VI而顯示於頭戴式顯示器100a之使用者之視野VR中。
圖18係表示藉由程序e1~e9而由使用者視認之虛像之一例之說明圖。如圖18所示，重疊資訊CP5作為虛像VI而顯示於頭戴式顯示器 100a之使用者之視野VR中。如此，本實施形態中之頭戴式顯示器100a之使用者可於透過右光學影像顯示部26及左光學影像顯示部28能夠看到之外景SC中之實像(醫師手持之手術刀之刀尖抵接於患者之右手小指之第2關節之情況)、與作為虛像VI而能夠看到之重疊資訊CP5(即，表現實際接受手術之患者之皮膚之切開部位之圖像及表現使用者應實施之內容之字串)重疊之狀態下進行視認。若如此，能夠更加個別具體地支援頭戴式顯示器100a之使用者所進行之作業，而可謀求作業之精密化及作業效率之提高。
B-3.重疊資訊顯示處理中之附加處理：
再者，於第2實施形態之重疊資訊顯示處理(圖15)中，亦可進而執行「A-3.重疊資訊顯示處理中之附加處理」中已說明之附加處理1~7。附加處理可單獨地附加，亦可進行組合而附加。再者，亦可為以程序管理部144為主體，而對程序管理部144所產生之程序資訊執行附加處理7。
C.第3實施形態：
於本發明之第3實施形態中，對可使第1實施形態之重疊資訊顯示處理中之相對於「設為重疊資訊顯示處理之對象之物體之實像」之「未顯現於物體之外觀之資訊(重疊資訊)」之重疊之精度進一步提高之構成進行說明。以下，僅對具有與第1實施形態不同之構成及動作之部分進行說明。再者，於圖中，對與第1實施形態相同之構成部分標註與之前已說明之第1實施形態相同之符號，並省略其詳細說明。
C-1.頭部配戴型顯示裝置之構成：
圖19係表示第3實施形態中之頭戴式顯示器100b之概略構成之說明圖。圖20係功能性地表示第3實施形態中之頭戴式顯示器100b之構成之方塊圖。與圖1、2所示之第1實施形態之不同點係包含控制部10b而代替控制部10之方面及包含圖像顯示部20b而代替圖像顯示部20之 方面。
如圖20所示，控制部10b包含記憶部120b而代替記憶部120，且包含CPU140b而代替CPU140。記憶部120b除包含第1實施形態中已說明之非可視資訊記憶部122與外觀資訊記憶部124以外，進而包含視差資訊128。
圖21係用以對視差資訊128進行說明之說明圖。本實施形態中之視差資訊128係使用者與使用者視認之虛像之間之複數個距離Lx與和複數個距離Lx分別對應之視差Px建立關聯之表。再者，所謂視差，係指映在兩眼之視網膜之影像之差異(差)。於圖21之例中，相對於使用者與使用者視認之虛像VI1之間之距離L1而視差2mm建立關聯。又，相對於使用者與虛像VI2之間之距離L2而視差6mm建立關聯，相對於使用者與虛像VI3之間之距離L3而視差10mm建立關聯。再者，已知隨著使用者與使用者視認之虛像之間之距離變遠，人之深度感覺急遽減少。因此，視差資訊128中亦可準備距離Lx越小則數量越多之資料。
該對應關係係使右眼用之虛像之顯示位置與左眼用之虛像之顯示位置偏移之後，藉由計測使用者用兩眼視認之虛像之位置(即，右眼視認之虛像與左眼視認之虛像成像之成像位置)與使用者之兩眼之間之距離而預先製作。再者，將右眼用之虛像與左眼用之虛像設為同一虛像之情形時，將使用者用兩眼視認之虛像之位置定義為「基準面」。於此情形時，製作視差資訊128時之成像位置既可自使用者觀察而在基準面之前方，亦可自使用者觀察而在基準面之後方。可在基準面之前後之兩邊。再者，於前者之情形時，對使用者而言，虛像看似凸出，於後者之情形時，對使用者而言，虛像看似凹下。
上述視差2mm、6mm、10mm分別為相當於使用者之辨別視野及有效視野之虛像之中心部分之視差。因此，對於視差資訊128，為 了期待更嚴密，亦可區別地記憶相當於使用者之注視穩定視野之部分之視差(1.9mm、5mm、9mm)、相當於使用者之感應視野(1.8mm、4mm、8mm)之部分之視差、相當於使用者之輔助視野之部分之視差(1.7mm、3mm、7mm)等。再者，圖21中之具體之數值僅為例示。
再者，所謂辨別視野，係指人之視野中視力、色辨別等視功能優異而可實現高精度之資訊接受之範圍。辨別視野通常距離中心數度以內。所謂有效視野，係指人之視野中僅藉由眼球運動注視資訊而可瞬間接受特定資訊之範圍。有效視野通常為左右約15度、上約8度、下約12度以內。所謂注視穩定視野，係指人之視野中於幫助眼球運動之狀態下發生頭部運動而可不勉強地注視之範圍。注視穩定視野通常為左右30~45度、上20~30度、下25~40度以內。所謂感應視野，係指人之視野中僅有可判定所呈現之資訊之存在之程度之識別能力但能影響人之空間座標感覺之範圍。感應視野通常為水平30~100度、垂直20~85度之範圍內。所謂輔助視野，係指人之視野中資訊接受極度降低而發揮使強烈之刺激等誘發注視動作之程度之輔助作用之範圍。輔助視野通常為水平100~200度、垂直85~135度之範圍內。
圖20之CPU140b包含重疊處理部142b而代替重疊處理部142。重疊處理部142b執行之重疊資訊顯示處理之內容與第1實施形態不同。詳細情況於下文進行敍述。
如圖20所示，圖像顯示部20b除包含第1實施形態中已說明之各部以外，進而包含瞳孔攝影用攝像機62、63、近紅外線受光發光部64、65、9軸感測器66及深度感測器67。
瞳孔攝影用攝像機62配置於圖像顯示部20之端部ER(圖1)之附近。瞳孔攝影用攝像機62係於圖像顯示部20之背面側方向上對配戴著頭戴式顯示器100b之狀態下之使用者之右眼RE之瞳孔進行攝影。同樣地，瞳孔攝影用攝像機63配置於圖像顯示部20之端部EL(圖1)之附 近。瞳孔攝影用攝像機63係對配戴著頭戴式顯示器100b之狀態下之使用者之左眼LE之瞳孔進行攝影。
近紅外線受光發光部64配置於圖像顯示部20之端部ER(圖1)之附近。近紅外線受光發光部64係於圖像顯示部20之背面側方向上，朝向使用者之右眼RE照射紅外光，並獲取反射光。同樣地，近紅外線受光發光部65配置於圖像顯示部20之端部EL(圖1)之附近。近紅外線受光發光部65係於圖像顯示部20之背面側方向上對使用者之左眼LE照射紅外光，並獲取反射光。
瞳孔攝影用攝像機62、63與近紅外線受光發光部64、65係藉由協動而作為檢測使用者之視線之「視線檢測部」發揮功能。再者，關於瞳孔攝影用攝像機62、63與近紅外線受光發光部64、65，亦可省略其中一部分。例如，亦可省略近紅外線受光發光部64、65，亦可省略瞳孔攝影用攝像機63與近紅外線受光發光部65。
9軸感測器66配置於使用者配戴著圖像顯示部20時之與使用者之眉間相對應之位置上。9軸感測器66係檢測加速度(3軸)、角速度(3軸)、地磁(3軸)之運動感測器。9軸感測器66係設置於圖像顯示部20，因此，於圖像顯示部20配戴於使用者之頭部時，作為檢測使用者之頭部之移動之「移動檢測部」發揮功能。此處，所謂頭部之移動，包含頭部之速度‧加速度‧角速度‧方向‧方向之變化。
深度感測器67係配置於使用者配戴著圖像顯示部20時之與使用者之眉間相對應之位置上。深度感測器67包含紅外線照射部與紅外線感測器，測定深度感測器67之正面之各點之深度。深度感測器67係作為檢測使用者相對於設為重疊資訊顯示處理之對象之物體(對象物體)之位置之「位置檢測部」發揮功能。
C-2.重疊資訊顯示處理：
圖22係表示第3實施形態中之重疊資訊顯示處理之程序之流程 圖。與圖5所示之第1實施形態之不同點係如下方面：包含步驟S602而代替步驟S102，包含步驟S604而代替步驟S108，包含步驟S606而代替步驟S110，且於步驟S110之後進而包含步驟S608。再者，第3實施形態之重疊資訊顯示處理係以三維顯示模式執行。
於步驟S602中，使用者使對於設為重疊資訊顯示處理之對象之一物體之複數個非可視資訊記憶於非可視資訊記憶部122。此處，所謂非可視資訊，與圖5之步驟S102同樣地，係表現使用CT、MRI、倫琴射線、內視鏡、熱成像儀等攝像機器而獲取之對象物體之構造的圖像。於第3實施形態之重疊資訊顯示處理中，根據對象物體與使用者之位置關係而自複數個非可視資訊中選擇一非可視資訊。因此，於步驟S602中，較佳為關於對象物體而自各種角度獲取非可視資訊並使其記憶於非可視資訊記憶部122。
圖23係表示非可視資訊之一例之說明圖。如圖23所示，於第3實施形態之非可視資訊記憶部122中記憶有將患者PA之身體分割成前側與後側之任意之平面圖像即複數個冠狀面CT圖像SI1、將患者PA之身體分割成相對於長度方向垂直之平面之任意之平面圖像即複數個橫斷面CT圖像SI2、及患者PA之手術部位之倫琴射線圖像SI3。再者，圖23所示之非可視資訊僅為一例，例如，亦可包含矢狀面CT圖像，亦可代替CT圖像而包含MRI圖像或內視鏡圖像。
於圖22之步驟S604中，重疊處理部142b係藉由執行以下說明之「C-2-1.第1重疊資訊產生處理」與「C-2-2.第2重疊資訊產生處理」之任一處理而產生重疊資訊。第1重疊資訊產生處理與第2重疊資訊產生處理之不同點係重疊處理部142b修正非可視資訊時之精度。具體而言，第2重疊資訊產生處理與第1之重疊資訊產生處理相比，進行精度更高之修正。
執行第1重疊資訊產生處理與第2重疊資訊產生處理中之哪一處 理亦可預先規定，亦可由使用者指定。又，例如，亦可根據藉由9軸感測器而檢測之使用者之頭部之移動之大小而自動決定，亦可根據使用頭戴式顯示器100b實施之手術之種類或手術方式而自動決定。
C-2-1.第1重疊資訊產生處理：
圖24係表示第1重疊資訊產生處理之程序之流程圖。於步驟S402中，重疊處理部142b獲取外景圖像。具體而言，重疊處理部142b啟動攝像機61，指示攝像機61進行攝像，獲取藉由攝像機61而拍攝到之外景圖像。
圖25係用以對第1重疊資訊產生處理之步驟S404進行說明之說明圖。於圖24之步驟S404中，重疊處理部142b獲取使用者之視線與位置。具體而言，重疊處理部142b係根據瞳孔攝影用攝像機62、63及近紅外線受光發光部64、65之檢測值獲取使用者之視線。其後，重疊處理部142b係根據已獲取之使用者之視線求出使用者與使用者注視之點PP(圖25、注視點PP)之間之距離即注視點距離。再者，注視點係使用者之兩眼之中央窩(視網膜中視力最高之場所)之延長線上相交之點。進而，重疊處理部142b係根據深度感測器67之檢測值獲取使用者相對於對象物體之位置PO1~PO3(圖25)。此時，重疊處理部142b例如亦可將對於對象物體之特徵M1~M4(圖25、邊緣或標記)部分之深度DP(圖25)設為位置獲取之基準。
於步驟S406中，重疊處理部142b係自記憶於非可視資訊記憶部122之複數個非可視資訊中選擇與使用者相對於對象物體之位置相對應之一非可視資訊。具體而言，重疊處理部142b係根據步驟S404中獲取到之使用者與對象物體之位置關係，選擇認為最佳之若干個非可視資訊。例如，於使用者位於自上方俯視圖23所示之患者PA(對象物體)之位置之情形時，重疊處理部142b選擇複數個冠狀面CT圖像SI1。繼而，重疊處理部142b係自所選擇之若干個非可視資訊中選擇與步驟 S404中獲取之深度相對應之一非可視資訊。再者，於步驟S406中，重疊處理部142b亦可將所選擇之若干個非可視資訊作為候補並對使用者進行提示，受理來自使用者之非可視資訊之選擇。
於S408中，重疊處理部142b係藉由對外景圖像進行圖像辨識而提取對象物體之特徵。詳細情況與第1實施形態中已說明之圖8之步驟S204相同。
於步驟S410中，重疊處理部142b係藉由對步驟S408中所選擇之非可視資訊進行圖像辨識而提取對象物體之特徵。詳細情況與第1實施形態中已說明之圖8之步驟S206相同。
於步驟S412中，重疊處理部142b係以步驟S408中提取出之外景圖像之特徵與步驟S410中提取出之非可視資訊之特徵相符之方式，對步驟S408中所選擇之非可視資訊進行修正，產生重疊資訊。詳細情況與第1實施形態中已說明之圖8之步驟S208相同。
於步驟S414中，重疊處理部142b對重疊資訊賦予視差。具體而言，重疊處理部142b係以步驟S404中求得之注視點距離為關鍵檢索視差資訊128，獲取視差資訊128中所規定之視差。重疊處理部142b係對步驟S412中產生之重疊資訊賦予自視差資訊128中獲取之與注視點距離相對應之視差，藉此產生右眼用之重疊資訊與左眼用之重疊資訊。如此，根據步驟S414，重疊處理部142b可使用預先準備之視差資訊128簡便地產生右眼用之重疊資訊與左眼用之重疊資訊。
第1重疊資訊產生處理結束後，於圖22之步驟S606中，重疊處理部142b使重疊資訊顯示。具體而言，重疊處理部142b係對圖像處理部160發送藉由重疊資訊產生處理而產生之右眼用之重疊資訊及左眼用之重疊資訊。收到右眼用之重疊資訊與左眼用之重疊資訊之圖像處理部160係對收到之重疊資訊分別執行圖2中已說明之顯示處理。其結果，於頭戴式顯示器100b之使用者之視野中顯示基於重疊資訊之虛 像。此處，對右眼用之重疊資訊與左眼用之重疊資訊賦予有與注視點距離相對應之視差。因此，頭戴式顯示器100b之使用者視認之虛像成為於使用者之注視點之附近成像之三維顯示。
於圖22之步驟S608中，重疊處理部142b判定使用者之視線與位置是否變更。使用者之視線與位置可利用與第1重疊資訊產生處理(圖25)之步驟S404相同之方法而獲取。於使用者之位置與視線超出特定之閾值而變化之情形(步驟S608：是)時，重疊處理部142b使處理轉移至步驟S604，重複第1或第2重疊資訊產生處理。於使用者之位置與視線未超出特定之閾值而變化之情形(步驟S608：否)時，重疊處理部142b使處理轉移至步驟S112。再者，所謂特定之閾值，可任意地規定。又，與位置之變化量相關之閾值與和視線之變化量相關之閾值亦可不同。
如上所述，根據第1重疊資訊產生處理，重疊處理部142b產生賦予有與使用者和使用者注視之注視點之間之距離(注視點距離)相對應之視差的右眼用之重疊資訊及左眼用之重疊資訊，圖像顯示部20之圖像處理部160使基於該等重疊資訊之虛像供使用者視認。其結果，使用者可於與注視點相同之距離之位置上視認重疊資訊。
又，根據第1重疊資訊產生處理，重疊處理部142b可自記憶於記憶部120b之非可視資訊記憶部122之複數個非可視資訊中選擇與使用者相對於對象物體之位置相對應之一非可視資訊，對已選擇之非可視資訊進行修正。因此，重疊處理部142b可根據使用者與對象物體之位置關係，使用恰當之非可視資訊而產生重疊資訊。
C-2-2.第2重疊資訊產生處理：
圖26係表示第2重疊資訊產生處理之程序之流程圖。與圖24所示之第1重疊資訊產生處理之不同點係包含步驟S502而代替步驟S404且包含步驟S504而代替步驟S412之方面。
於步驟S502中，重疊處理部142b獲取使用者之視線、位置及頭部之角度。關於使用者之視線與位置，與第1重疊資訊產生處理(圖25)之步驟S404相同。進而，重疊處理部142b根據9軸感測器66之檢測值而獲取使用者之頭部之角度。
圖27係用以對第2重疊資訊產生處理之步驟S504進行說明之說明圖。於圖26之步驟S504中，重疊處理部142b修正非可視資訊。具體而言，重疊處理部142b係使用以下之程序f1~f3中說明之方法修正步驟S408中所選擇之非可視資訊。
程序f1)重疊處理部142b將表現非可視資訊SI之圖像分割成複數個區域A1~An(圖27)。該分割時，重疊處理部142b亦可使用三角測量分別計測使用者與對象物體之各部之間之距離，根據計測結果進行表現非可視資訊SI之圖像之區域之分割。具體而言，例如，重疊處理部142b可按照所測定之與使用者之間之各距離對對象物體之各部進行分組，並將對應於所分組之各部之非可視資訊SI歸納為1個區域。再者，該分組時，亦可對距離設定特定之容許範圍(閾值)。若如此，重疊處理部142b可有效率地且結合實際狀態而進行表現非可視資訊SI之圖像之區域之分割。
程序f2)重疊處理部142b係對程序f1中進行分割所得之複數個區域之各者進行放大、縮小、裁剪、賦予變形、去除雜訊中之至少任一種加工，產生重疊資訊。該加工時，重疊處理部142b係以步驟S408及S410中檢測到之外景圖像之特徵與非可視資訊SI之特徵相符之方式進行加工。
程序f3)重疊處理部142b亦可於進行程序f2之加工時根據使用者之視野內之資訊接受特性而改變加工(修正)精度。此處，所謂資訊接受特性，係指視覺能力之程度。人之視野可按照視野內之資訊接受特性從優到差之程序劃分為(1)辨別視野、(2)有效視野、(3)注視穩定視 野、(4)感應視野、(5)輔助視野(圖21)。因此，重疊處理部142b係於程序f1中經分割之複數個區域中設為加工對象之區域屬於資訊接受特性優異之視野(例如上述1、2)之情形時可提高加工精度，於屬於資訊接受特性不優異之視野(例如上述4、5)之情形時可降低加工精度。其原因在於：於資訊接受特性不優異之視野中，即便提高非可視資訊SI與對象物體之重疊之精度，亦有因使用者之知覺能力之極限而變得徒勞之虞。
第2重疊資訊產生處理結束後，於圖22之步驟S606中，重疊處理部142b使重疊資訊顯示。其結果，與第1重疊資訊產生處理同樣地，於頭戴式顯示器100b之使用者之視野中顯示基於重疊資訊之虛像。又，使用者視認之虛像成為於使用者之注視點之附近成像之三維顯示。
如上所述，根據第2重疊資訊產生處理，重疊處理部142b係將表現記憶於記憶部120b之非可視資訊記憶部122中之物體之非可視資訊SI之圖像分割成複數個區域A1~An之後，對複數個區域A1~An之各者進行放大、縮小、裁剪、賦予變形、及去除雜訊中之至少任一種修正。由於以此方式重疊處理部142b將表現非可視資訊SI之圖像分割成複數個區域A1~An之後對各區域進行修正，故可使表現非可視資訊SI之圖像之修正之精度提高。
進而，根據第2重疊資訊產生處理，重疊處理部142b根據使用者之視野內之資訊接受特性而改變對於非可視資訊SI之加工(修正)之精度。其結果，重疊處理部142b可有效率地進行非可視資訊SI之修正。
C-3.重疊資訊顯示處理中之附加處理：
再者，於重疊資訊顯示處理(圖22)中，亦可進而執行「A-3.重疊資訊顯示處理中之附加處理」中已說明之附加處理1~7。附加處理可單獨地附加，亦可進行組合而附加。
D.變化例：
於上述實施形態中，亦可將設為藉由硬體而實現之構成之一部分替換成軟體，反之，亦可將設為藉由軟體而實現之構成之一部分替換成硬體。除此以外，亦可進行如下變化。
‧變化例1：
於上述實施形態中，例示了頭戴式顯示器之構成。然而，頭戴式顯示器之構成可於不脫離本發明之主旨之範圍內任意地規定，例如，可進行各構成部之追加‧刪除‧轉換等。
上述實施形態中之對於控制部與圖像顯示部之構成要素之分配僅為一例，可採用各種態樣。例如，亦可設為如下之態樣。(i)對控制部搭載CPU或記憶體等之處理功能且對圖像顯示部僅搭載顯示功能之態樣、(ii)對控制部與圖像顯示部之兩者搭載CPU或記憶體等之處理功能之態樣、(iii)將控制部與圖像顯示部一體化之態樣(例如，控制部包含於圖像顯示部而作為眼鏡型之可穿戴式電腦發揮功能之態樣)、(iv)代替控制部而使用智慧型手機或掌上型遊戲機之態樣、(v)藉由將控制部與圖像顯示部設為可無線通信且無線供電之構成而廢棄連接部(軟線)之態樣。
於上述實施形態中，為了便於說明，設為控制部包含發送部且圖像顯示部包含接收部。然而，上述實施形態之發送部及接收部均可具備可進行雙向通信之功能而作為收發部發揮功能。又，例如，圖2所示之控制部經由有線之信號傳輸路徑而與圖像顯示部連接。然而，控制部與圖像顯示部亦可藉由經由無線LAN、紅外線通信或Bluetooth(註冊商標)等無線之信號傳輸路徑之連接而連接。
例如，圖2所示之控制部、圖像顯示部之構成可任意地變更。具體而言，例如，亦可設為自控制部省略觸控板而僅利用方向鍵進行操作之構成。又，亦可於控制部配備操作用桿等其他操作用介面。又， 亦可設為可於控制部連接鍵盤或滑鼠等器件之構成而自鍵盤或滑鼠受理輸入。
例如，頭戴式顯示器設為雙眼型之穿透式頭戴式顯示器，但亦可設為單眼型之頭戴式顯示器。又，亦可作為在使用者配戴著頭戴式顯示器之狀態下遮斷外景之透過之非穿透式頭戴式顯示器而構成。
圖28係表示變化例中之頭戴式顯示器之外觀之構成之說明圖。於圖28(A)之例之情形時，與圖1所示之頭戴式顯示器100之不同點係圖像顯示部20c包含右光學影像顯示部26c而代替右光學影像顯示部26之方面、及包含左光學影像顯示部28c而代替左光學影像顯示部28之方面。右光學影像顯示部26c形成得較第1實施形態之光學構件小，且配置於頭戴式顯示器配戴時之使用者之右眼之斜上方。同樣地，左光學影像顯示部28c形成得較第1實施形態之光學構件小，且配置於頭戴式顯示器配戴時之使用者之左眼之斜上方。於圖28(B)之例之情形時，與圖1所示之頭戴式顯示器100之不同點係圖像顯示部20d包含右光學影像顯示部26d而代替右光學影像顯示部26之方面、及包含左光學影像顯示部28d而代替左光學影像顯示部28之方面。右光學影像顯示部26d形成得較第1實施形態之光學構件小且配置於頭戴式顯示器配戴時之使用者之右眼之斜下方。左光學影像顯示部28d形成得較第1實施形態之光學構件小且配置於頭戴式顯示器配戴時之使用者之左眼之斜下方。如此，光學影像顯示部配置於使用者之眼睛之附近即可。又，形成光學影像顯示部之光學構件之大小亦為任意，亦可作為光學影像顯示部僅覆蓋使用者之眼睛之一部分之態樣、換言之、光學影像顯示部不完全覆蓋使用者之眼睛之態樣之頭戴式顯示器而實現。
例如，圖像處理部、顯示控制部、重疊處理部、程序管理部、聲音處理部等功能部係記載為藉由CPU將儲存於ROM或硬碟之電腦程式於RAM中展開並執行而實現者。然而，該等功能部亦可使用為了 實現該功能而設計之ASIC(Application Specific Integrated Circuit：面向特定用途之積體電路)而構成。
例如，於上述實施形態中，設為如眼鏡般配戴圖像顯示部之頭戴式顯示器，但圖像顯示部亦可設為通常之平面型顯示器裝置(液晶顯示器裝置、電漿顯示器裝置、有機EL顯示器裝置等)。於此情形時，控制部與圖像顯示部之間之連接可為經由有線之信號傳輸路徑之連接，亦可為經由無線之信號傳輸路徑之連接。若如此，亦可將控制部用作通常之平面型顯示器裝置之遙控器。
又，作為圖像顯示部，亦可代替如眼鏡般配戴之圖像顯示部而採用例如如帽子般配戴之圖像顯示部等其他形狀之圖像顯示部。又，耳機亦可採用耳掛型或頭帶型，亦可省略。又，例如，亦可作為搭載於汽車或飛機等車輛之抬頭顯示器(HUD，Head-Up Display)而構成。又，例如，亦可作為內置於頭盔等身體防護具之頭戴式顯示器而構成。
例如，於上述實施形態中，使用二次電池作為電源，但作為電源，並不限定於二次電池，可使用各種電池。例如，亦可使用一次電池或燃料電池、太陽電池、熱電池等。
例如，於上述實施形態中，圖像光產生部使用背光源、背光源控制部、LCD及LCD控制部而構成。然而，上述態樣僅為例示。圖像光產生部亦可包含該等構成部及用以實現其他方式之構成部或者代替該等構成部而包含用以實現其他方式之構成部。例如，圖像光產生部亦可設為包含有機EL(有機電致發光、Organic Electro-Luminescence)之顯示器與有機EL控制部之構成。又，例如，圖像光產生部亦可使用數位微鏡器件等而代替LCD。又，例如，亦可對雷射視網膜投影型之頭部配戴型顯示裝置應用本發明。
例如，亦可設為頭戴式顯示器包含測距感測器或位移感測器而 代替攝像機。於此情形時，重疊處理部可使用測距感測器或位移感測器提取對象物體之特徵而進行與上述實施形態相同之處理。
例如，頭戴式顯示器亦可包含抑制與非可視資訊中使用較多之色相相同之色相之光透過之光學濾光片。又，亦可包含成為非可視資訊中使用較多之色相之補色之色相之光學濾光片。若如此，可使非可視資訊之視認性提高。
例如，亦可省略攝像機、瞳孔攝影用攝像機、近紅外線受光發光部、9軸感測器、及深度感測器中之任一個。例如，亦可省略瞳孔攝影用攝像機與近紅外線受光發光部，藉由代替使用設置於手術室之頂棚部之攝像機而檢測使用者之視線。又，於不省略上述各構成之情形時，亦可藉由併用設置於手術室之頂棚部之攝像機而使非可視資訊之加工精度提高。
‧變化例2：
於上述實施形態中，示出重疊資訊顯示處理(圖5、圖22)之一例。然而，圖5、圖22所示之處理之程序僅為一例，可進行各種變化。例如，亦可省略一部分步驟，亦可追加進而其他之步驟。又，亦可變更所執行之步驟之程序。
例如，於步驟S102中，使用者使設為重疊資訊顯示處理之對象之物體之非可視資訊記憶於非可視資訊記憶部。上述實施形態中之非可視資訊設想使用攝像機器(CT、MRI、倫琴射線、內視鏡或熱成像儀等)拍攝而二維地表現之圖像。然而，於步驟S102中，亦可記憶三維地表現之非可視資訊。所謂三維地表現之非可視資訊，係指利用使用攝像機器拍攝到之複數個圖像製成之三維模型。於使用三維地表現之非可視資訊之情形時，於重疊資訊產生處理(圖8)之步驟S202與S204之間，重疊處理部係根據步驟S202中獲取之外景圖像進行三維模型之渲染。繼而，將渲染後之圖像設為「非可視資訊」，繼續之後之 處理。若如此，可自多個方向視認未顯現於對象物體之外觀之資訊。又，步驟S102中記憶之非可視資訊並不限定於靜止圖像，亦可為動態圖像。
例如，於步驟S114、S116中，以外觀資訊為基礎產生其他重疊資訊。然而，成為其他重疊資訊之基礎之資訊可使用各種資訊。例如，亦可使用與產生重疊資訊CP1時使用之非可視資訊不同之使用攝像機器拍攝到之其他非可視資訊。
例如，亦可省略步驟S112之後之處理。
‧變化例3：
於上述第2實施形態中，示出重疊資訊顯示處理(圖15)之一例。然而，圖15所示之處理之程序僅為一例，可進行各種變化。例如，亦可省略一部分步驟，亦可追加進而其他之步驟。又，亦可變更所執行之步驟之程序。
例如，程序管理部亦可對程序資訊附加用以如以下之例般供使用者喚起注意之資訊。
‧使程序內使用者應特別注意之事項彈出顯示。
‧使程序資訊內之圖像或字串亮滅顯示。
‧使表示該程序之重要度、難易度、事故之多發性等之訊息或圖符顯示於程序資訊內。
‧變化例4：
於上述實施形態中，示出程序表之一例。然而，程序表之詳細情況僅為一例，可進行各種變更。例如，可進行欄位之追加、刪除、變更。又，程序表亦可分割成複數個表而歸一化。
‧變化例5：
於上述第2實施形態中，對頭戴式顯示器包含程序表與程序管理部且無需其他裝置而可支援使用者進行之作業之構成進行了說明。然 而，於包含頭戴式顯示器及設置於外部之伺服器之作業支援系統中，亦可實現相同之處理。
例如，設為頭戴式顯示器包含程序管理部且伺服器包含程序表之構成。於此情形時，頭戴式顯示器之程序管理部係存取記憶於伺服器內之程序表，參照程序表內之資料。若如此，可於複數台頭戴式顯示器共有記憶於1台伺服器中之程序表之資訊。其結果，與各頭戴式顯示器包含程序表之構成相比，可減少程序表之更新所需之勞力。
‧變化例6：
於上述第3實施形態中，示出第1及第2重疊資訊產生處理(圖24、26)之一例。然而，圖24、26所示之處理之程序僅為一例，可進行各種變化。例如，亦可省略一部分步驟，亦可追加進而其他之步驟。又，亦可變更所執行之步驟之程序。
例如，亦可於記憶部記憶複數個視差資訊。所謂複數個視差資訊，例如，可為主導眼為右眼之情形時之視差資訊及主導眼為左眼之情形時之視差資訊，亦可為與眼間距離相對應之視差資訊。於此情形時，於第1、第2重疊資訊產生處理之步驟S414中，亦可根據頭戴式顯示器之使用者之特性(例如眼間距離或主導眼)，自儲存於記憶部之複數個視差資訊中選擇步驟S414之處理中使用之一視差資訊。若如此，重疊處理部可藉由選擇與使用者之特性(例如主導眼或眼間距離)相符之視差資訊而減少給使用者帶來之視覺上之不適感。
例如，於第1及第2重疊資訊產生處理中，亦可併用邊緣加強處理或二值化處理而使非可視資訊之修正之精度進一步提高。
‧變化例7：
本發明並不限定於上述實施形態或實施例、變化例，可於不脫離其主旨之範圍內以各種構成而實現。例如，與發明內容之欄中記載之各形態中之技術特徵相對應之實施形態、實施例、變化例中之技術 特徵可適當進行替換或組合，以解決上述問題之一部分或全部或者達成上述效果之一部分或全部。又，若未說明上述技術特徵於本說明書中必需，則可適當進行刪除。

Claims (24)

  1. 一種頭部配戴型顯示裝置，其係供使用者能夠視認虛像與外景者，且包含：圖像顯示部，其形成供上述使用者視認之上述虛像；及重疊處理部，其於上述圖像顯示部形成基於重疊資訊之上述虛像，該重疊資訊係用以使未顯現於上述物體之外觀之資訊即非可視資訊重疊於上述外景中所包含之物體。
  2. 如請求項1之頭部配戴型顯示裝置，其中上述重疊處理部每隔特定時間於上述圖像顯示部重複形成基於與上述外景中所包含之物體相對應之上述重疊資訊之上述虛像。
  3. 如請求項1或2之頭部配戴型顯示裝置，其進而包含：記憶部，其記憶上述非可視資訊；及圖像獲取部，其獲取配戴著上述頭部配戴型顯示裝置之狀態下之上述使用者之視界方向之外景之圖像；上述重疊處理部藉由將利用上述圖像獲取部所獲取之上述視界方向之圖像進行圖像辨識而提取上述外景中所包含之上述物體之特徵，基於所提取出之上述特徵而修正記憶於上述記憶部之上述物體之上述非可視資訊，藉此產生上述重疊資訊。
  4. 如請求項3之頭部配戴型顯示裝置，其中上述非可視資訊係表現上述物體之構造之圖像。
  5. 如請求項3或4之頭部配戴型顯示裝置，其中上述特徵係上述物體之邊緣。
  6. 如請求項3或4之頭部配戴型顯示裝置，其中 上述特徵係附於上述物體之標記。
  7. 如請求項3至6中任一項之頭部配戴型顯示裝置，其中上述修正係對表現上述非可視資訊之圖像進行放大、縮小、旋轉、反轉、裁剪、賦予變形、及去除雜訊中之至少任一者。
  8. 如請求項3至6中任一項之頭部配戴型顯示裝置，其中上述修正係將表現上述非可視資訊之圖像分割成複數個區域，而對上述複數個區域之各者進行放大、縮小、裁剪、賦予變形、及去除雜訊中之至少任一者。
  9. 如請求項8之頭部配戴型顯示裝置，其中上述重疊處理部：使用三角測量分別計測上述使用者與上述物體之各部之間之距離，且根據上述計測之結果進行上述分割。
  10. 如請求項3至9中任一項之頭部配戴型顯示裝置，其中上述重疊處理部係根據表現上述使用者之視野內之視覺能力之程度之資訊接受特性，而改變上述修正之精度。
  11. 如請求項3至10中任一項之頭部配戴型顯示裝置，其進而包含檢測上述使用者之視線之視線檢測部，上述圖像顯示部分別形成與上述使用者之右眼相對應之上述虛像及與上述使用者之左眼相對應之上述虛像，上述重疊處理部進而：自藉由上述視線檢測部檢測到之上述視線，求出上述使用者與上述使用者注視之注視點之間之距離即注視點距離，且產生經賦予與所求得之上述注視點距離相對應之視差之右眼用之上述重疊資訊與左眼用之上述重疊資訊。
  12. 如請求項11之頭部配戴型顯示裝置，其進而包含上述使用者與上 述使用者視認之上述虛像之間之複數個距離、及與上述複數個距離分別對應之視差建立關聯的視差資訊，上述重疊處理部使用上述視差資訊而賦予與上述注視點距離相對應之視差。
  13. 如請求項12之頭部配戴型顯示裝置，其包含複數個上述視差資訊，上述重疊處理部根據上述使用者而自上述複數個視差資訊中選擇一上述視差資訊。
  14. 如請求項3至13中任一項之頭部配戴型顯示裝置，其進而包含檢測上述使用者相對於上述物體之位置之位置檢測部，於上述記憶部中記憶有對於一上述物體之複數個上述非可視資訊，上述重疊處理部自記憶於上述記憶部之上述複數個非可視資訊中選擇與藉由上述位置檢測部檢測到之上述位置相對應之一非可視資訊，將所選擇之上述非可視資訊進行修正。
  15. 如請求項3至14中任一項之頭部配戴型顯示裝置，其中上述重疊處理部進而產生放大資訊，該放大資訊係自藉由上述圖像獲取部所獲取之上述視界方向之圖像中提取上述外景中所包含之上述物體之至少一部分並加以放大者，上述圖像顯示部係使基於上述重疊資訊與上述放大資訊之上述虛像供上述使用者視認。
  16. 如請求項1至15中任一項之頭部配戴型顯示裝置，其中上述重疊處理部係根據來自上述使用者之要求而將上述虛像隱藏顯示。
  17. 如請求項1至16中任一項之頭部配戴型顯示裝置，其進而包含產生上述使用者針對當前之程序而應實施之內容相關之資訊即程 序資訊之程序管理部，上述圖像顯示部係使基於上述重疊資訊與上述程序資訊之上述虛像供上述使用者視認。
  18. 如請求項17之頭部配戴型顯示裝置，其中上述程序資訊中包含第三者示範性地實施上述程序之場面之圖像、及表現於個別具體之上述程序時使用者應實施之內容之圖像中之至少任一者。
  19. 如請求項1至18中任一項之頭部配戴型顯示裝置，其中上述重疊處理部進而產生用以輔助上述使用者之作業之附加之資訊即輔助資訊，上述圖像顯示部係使基於上述重疊資訊與上述輔助資訊之上述虛像供上述使用者視認。
  20. 如請求項3至19中任一項之頭部配戴型顯示裝置，其中上述重疊處理部進而根據藉由上述圖像獲取部所獲取之上述視界方向之圖像，進行用以使所產生之上述重疊資訊之視認性提高之色轉換處理。
  21. 如請求項1至20中任一項之頭部配戴型顯示裝置，其中上述重疊處理部係根據來自上述使用者之要求，使作為上述虛像而顯示之上述重疊資訊退避至不妨礙上述使用者之視界之位置。
  22. 如請求項3至21中任一項之頭部配戴型顯示裝置，其中上述重疊處理部係對藉由上述圖像獲取部所獲取之上述圖像之中、上述虛像之顯示區域與上述圖像獲取部之獲取區域重複之重複區域產生上述重疊資訊。
  23. 如請求項16至22中任一項之頭部配戴型顯示裝置，其中上述程序管理部係對藉由上述圖像獲取部所獲取之上述圖像 之中、上述虛像之顯示區域與上述圖像獲取部之獲取區域重複之重複區域產生上述程序資訊。
  24. 一種頭部配戴型顯示裝置之控制方法，該頭部配戴型顯示裝置係供使用者能夠視認虛像與外景者，該控制方法包含如下步驟：(a)形成供上述使用者視認之上述虛像；及(b)形成基於重疊資訊之上述虛像，該重疊資訊係用以使未顯現於上述物體之外觀之資訊即非可視資訊重疊於上述外景中所包含之物體。
TW103104473A 2013-02-14 2014-02-11 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 TW201432312A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013026222A JP6299067B2 (ja) 2013-02-14 2013-02-14 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2013237820A JP6264855B2 (ja) 2013-11-18 2013-11-18 頭部装着型表示装置および頭部装着型表示装置の制御方法

Publications (1)

Publication Number Publication Date
TW201432312A true TW201432312A (zh) 2014-08-16

Family

ID=50729746

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103104473A TW201432312A (zh) 2013-02-14 2014-02-11 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法

Country Status (8)

Country Link
US (2) US9916691B2 (zh)
EP (1) EP2956814A1 (zh)
KR (1) KR101811817B1 (zh)
CN (2) CN103995352B (zh)
BR (1) BR112015019674A2 (zh)
RU (1) RU2621488C2 (zh)
TW (1) TW201432312A (zh)
WO (1) WO2014125789A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782885B (zh) * 2022-04-25 2022-11-01 國立臺灣海洋大學 類風濕性關節炎的復建姿勢與攝食關聯檢測系統
TWI820780B (zh) * 2022-07-01 2023-11-01 亞東學校財團法人亞東科技大學 頭戴式醫療雙向溝通輔助器

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
EP3216023A4 (en) * 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN105607253B (zh) 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
CN113017836A (zh) * 2015-02-20 2021-06-25 柯惠Lp公司 手术室和手术部位感知
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3280344A2 (en) * 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9724562B2 (en) * 2015-05-28 2017-08-08 Nike, Inc. Wearable USB device assembly
CN106681488A (zh) * 2015-07-20 2017-05-17 谢培树 头操作的数字眼镜
WO2017058710A1 (en) 2015-09-28 2017-04-06 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3d surface images
CN105425951A (zh) * 2015-11-04 2016-03-23 深圳维爱特科技有限公司 应用交互控制方法和装置
CN105487660A (zh) * 2015-11-25 2016-04-13 北京理工大学 基于虚拟现实技术的沉浸式舞台表演交互方法及系统
JP6644530B2 (ja) * 2015-11-30 2020-02-12 オリンパス株式会社 内視鏡業務支援システム
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
IL243422B (en) 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
EP3213673A1 (en) * 2016-03-01 2017-09-06 Shanghai Xiaoyi Technology Co., Ltd. Smart sports eyewear
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
US9798385B1 (en) 2016-05-31 2017-10-24 Paypal, Inc. User physical attribute based device and content management system
US10037080B2 (en) 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
US10902796B1 (en) * 2016-09-12 2021-01-26 Apple Inc. Multi-user display system
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
JP6812193B2 (ja) * 2016-10-07 2021-01-13 キヤノン株式会社 画像表示システム、画像表示方法、及びプログラム
CN109154979A (zh) * 2016-10-26 2019-01-04 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法
US10203505B2 (en) * 2016-11-16 2019-02-12 Seiko Epson Corporation Feature balancing
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
JP6617686B2 (ja) 2016-11-25 2019-12-11 株式会社デンソー 無線給電システム及び送受電監視プログラム
US20190335115A1 (en) * 2016-11-29 2019-10-31 Sharp Kabushiki Kaisha Display control device, head-mounted display, and control program
US10152815B2 (en) * 2017-01-17 2018-12-11 Opentv, Inc. Overlay emphasis modification in augmented reality displays
US10235788B2 (en) * 2017-01-17 2019-03-19 Opentv, Inc. Overlay contrast control in augmented reality displays
WO2018134140A1 (en) * 2017-01-17 2018-07-26 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
JP6828465B2 (ja) 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
US11219422B2 (en) * 2017-03-14 2022-01-11 Canon Medical Systems Corporation Image displaying system, image processing apparatus and x-ray imaging system
CN108664037B (zh) * 2017-03-28 2023-04-07 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法
US10610179B2 (en) * 2017-06-05 2020-04-07 Biosense Webster (Israel) Ltd. Augmented reality goggles having X-ray protection
CN111065952B (zh) * 2017-06-14 2022-04-05 惠普发展公司，有限责任合伙企业 显示器、用于调整显示器的方法和可读介质
JP2019022084A (ja) * 2017-07-18 2019-02-07 オリンパス株式会社 ウェアラブルデバイス及びウェアラブルデバイスの制御方法
CN107275904A (zh) 2017-07-19 2017-10-20 北京小米移动软件有限公司 虚拟现实眼镜的数据连接线
RU176382U1 (ru) * 2017-08-28 2018-01-17 Общество с ограниченной ответственностью "ТрансИнжКом" Блок сбора информации для устройства совмещенной реальности
RU2669228C1 (ru) * 2017-09-20 2018-10-09 Галина Александровна Купцова Сферопериметр
CN111213111B (zh) * 2017-10-20 2021-06-22 华为技术有限公司 一种可穿戴式设备及其中的方法
JP7036572B2 (ja) 2017-11-02 2022-03-15 マクセル株式会社 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
CZ2017777A3 (cs) * 2017-12-05 2019-07-03 Radalytica s.r.o. Způsob nedestruktivního zobrazování vnitřní struktury a zařízení k provádění tohoto způsobu
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
US10832423B1 (en) * 2018-01-08 2020-11-10 Brainlab Ag Optimizing an atlas
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
DE102018109463C5 (de) * 2018-04-19 2023-10-05 Voraus Robotik Gmbh Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019235298A1 (ja) 2018-06-07 2019-12-12 富士フイルム株式会社 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
TWI671707B (zh) * 2018-06-15 2019-09-11 緯創資通股份有限公司 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體
GB2575651B (en) * 2018-07-17 2020-12-16 Envisics Ltd Image projector
CN109308741B (zh) * 2018-08-08 2023-04-07 长春理工大学 一种基于Meta2的自然交互工艺品创意设计系统
WO2020102665A1 (en) * 2018-11-16 2020-05-22 Lang Philipp K Augmented reality guidance for surgical procedures with adjustment of scale, convergence and focal plane or focal point of virtual data
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
CN109729347B (zh) * 2019-01-23 2020-11-24 歌尔光学科技有限公司 虚像倍率测试方法、装置及虚拟显示设备
WO2020174538A1 (ja) * 2019-02-25 2020-09-03 オリンパス株式会社 集中制御装置
CN110222639B (zh) * 2019-06-05 2020-03-31 清华大学 人体应激反应测试方法与系统
JP2021009270A (ja) 2019-07-03 2021-01-28 セイコーエプソン株式会社 表示装置および表示方法
IT201900013164A1 (it) * 2019-07-29 2021-01-29 Eye Tech Lab S R L Occhiali di ingrandimento a realta’ aumentata
JP2021057737A (ja) * 2019-09-30 2021-04-08 セイコーエプソン株式会社 表示システム、表示制御方法、および、プログラム
US10702224B1 (en) * 2019-10-24 2020-07-07 Jonathan Ross Vanhooser Positioning guidance system For X-ray exams
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
JP2023511407A (ja) 2020-01-22 2023-03-17 フォトニック メディカル インク． 開放視野マルチモード深度検知校正デジタルルーペ
US11666755B2 (en) 2020-01-24 2023-06-06 Medtronic Xomed, Inc. System and method for therapy
US11623086B2 (en) 2020-01-24 2023-04-11 Medtronic Xomed, Inc. System and method for therapy
US11167127B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11167140B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
CN111563879B (zh) * 2020-03-27 2023-09-26 北京视博云信息技术有限公司 一种应用画面显示质量的检测方法及装置
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
RU2757991C2 (ru) * 2020-07-06 2021-10-25 Общество с ограниченной ответственностью "Толикети" Способ автоматизированного управления роботизированным операционным экзоскопом
RU201742U1 (ru) * 2020-07-22 2020-12-30 Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" Очки дополненной реальности, ориентированные на применение в условиях опасного производства
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888815A (ja) * 1994-09-19 1996-04-02 Olympus Optical Co Ltd 映像表示システム
JP3625906B2 (ja) 1995-08-23 2005-03-02 オリンパス株式会社 手術用顕微鏡装置
JP3599854B2 (ja) 1995-10-09 2004-12-08 オリンパス株式会社 医療用顔面装着型映像表示装置
JPH10221637A (ja) 1997-02-10 1998-08-21 Olympus Optical Co Ltd 頭部装着型画像表示装置
JPH11309A (ja) 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2001111991A (ja) 1999-10-08 2001-04-20 Olympus Optical Co Ltd 顔面装着型映像表示装置
AU2002361572A1 (en) * 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display
US20070015999A1 (en) * 2005-07-15 2007-01-18 Heldreth Mark A System and method for providing orthopaedic surgical information to a surgeon
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
JP4961914B2 (ja) 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
US7855743B2 (en) 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
US7831076B2 (en) * 2006-12-08 2010-11-09 Biosense Webster, Inc. Coloring electroanatomical maps to indicate ultrasound data acquisition
JP4455609B2 (ja) 2007-03-27 2010-04-21 株式会社東芝 画像表示装置および画像表示方法
US7898504B2 (en) 2007-04-06 2011-03-01 Sony Corporation Personal theater display
JP5335201B2 (ja) * 2007-05-08 2013-11-06 キヤノン株式会社 画像診断装置
US8165808B2 (en) * 2007-07-17 2012-04-24 Yahoo! Inc. Techniques for representing location information
US8280115B2 (en) * 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2009116663A1 (ja) 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
US20090281452A1 (en) 2008-05-02 2009-11-12 Marcus Pfister System and method for a medical procedure using computed tomography
JP2009279193A (ja) * 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
JP5047090B2 (ja) 2008-07-31 2012-10-10 キヤノン株式会社 システム
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP5476036B2 (ja) * 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
PL2430396T3 (pl) * 2009-05-16 2020-11-16 Rapiscan Systems, Inc. Systemy i sposoby automatycznego, szybkiego wykrywania materiałów o dużej liczbie atomowej
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实系统的立体头盔显示器
EP2482727B1 (en) * 2009-09-29 2013-01-23 Koninklijke Philips Electronics N.V. Live registration for vessel treatment
WO2011041842A1 (en) * 2009-10-09 2011-04-14 National Ict Australia Limited Vision enhancement for a vision impaired user
JP2011082919A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US8781246B2 (en) 2009-12-24 2014-07-15 Bae Systems Plc Image enhancement
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US20120200601A1 (en) 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
FR2957000B1 (fr) * 2010-03-02 2012-03-02 Commissariat Energie Atomique Procede et systeme d'aide a la manipulation d'engins robotises en environnement encombre
MY183362A (en) 2010-03-30 2021-02-18 Ns Solutions Corp Information processing apparatus, information processing method, and program
JP4934228B2 (ja) 2010-06-17 2012-05-16 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
US8194956B2 (en) * 2010-03-31 2012-06-05 MyLife Global, Inc. Medical imaging system and related methods
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5725953B2 (ja) * 2011-04-13 2015-05-27 キヤノン株式会社 撮像装置及びその制御方法、並びに情報処理装置
JP2012223363A (ja) 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット
JP5011455B1 (ja) 2011-06-30 2012-08-29 医療法人社団神▲崎▼循環器クリニック Ｘ線診断装置
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
CN102609849A (zh) 2012-02-03 2012-07-25 纽海信息技术（上海）有限公司 商品全景展示系统及展示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782885B (zh) * 2022-04-25 2022-11-01 國立臺灣海洋大學 類風濕性關節炎的復建姿勢與攝食關聯檢測系統
TWI820780B (zh) * 2022-07-01 2023-11-01 亞東學校財團法人亞東科技大學 頭戴式醫療雙向溝通輔助器

Also Published As

Publication number Publication date
CN103995352A (zh) 2014-08-20
US10169925B2 (en) 2019-01-01
EP2956814A1 (en) 2015-12-23
CN109270688A (zh) 2019-01-25
US20180197344A1 (en) 2018-07-12
RU2015138973A (ru) 2017-03-17
RU2621488C2 (ru) 2017-06-06
CN109270688B (zh) 2021-06-15
CN103995352B (zh) 2018-11-16
WO2014125789A1 (en) 2014-08-21
BR112015019674A2 (pt) 2017-07-18
US9916691B2 (en) 2018-03-13
KR101811817B1 (ko) 2018-01-25
US20150363979A1 (en) 2015-12-17
KR20150116892A (ko) 2015-10-16

Similar Documents

Publication Publication Date Title
US10169925B2 (en) Head mounted display and control method for head mounted display
JP6299067B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
TWI617279B (zh) 資訊處理裝置、資訊處理方法、及資訊處理系統
US11341726B2 (en) Information processing apparatus, information processing method, and information processing system
JP6264855B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US11461983B2 (en) Surgeon head-mounted display apparatuses
JP2015019679A (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP6409927B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法