TWI617279B - 資訊處理裝置、資訊處理方法、及資訊處理系統 - Google Patents

資訊處理裝置、資訊處理方法、及資訊處理系統 Download PDF

Info

Publication number
TWI617279B
TWI617279B TW103124036A TW103124036A TWI617279B TW I617279 B TWI617279 B TW I617279B TW 103124036 A TW103124036 A TW 103124036A TW 103124036 A TW103124036 A TW 103124036A TW I617279 B TWI617279 B TW I617279B
Authority
TW
Taiwan
Prior art keywords
information
image
unit
medical device
information processing
Prior art date
Application number
TW103124036A
Other languages
English (en)
Other versions
TW201503865A (zh
Inventor
津田敦也
內山敏一
若宮仁美
高野正秀
Original Assignee
精工愛普生股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 精工愛普生股份有限公司 filed Critical 精工愛普生股份有限公司
Publication of TW201503865A publication Critical patent/TW201503865A/zh
Application granted granted Critical
Publication of TWI617279B publication Critical patent/TWI617279B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Abstract

本發明之資訊處理裝置係將各種醫療用裝置之資訊統一化，並且自統一化之資訊簡便地篩選資訊而產生用以顯示於圖像顯示裝置之資訊。
本發明之資訊處理裝置包括：獲取部，其獲取自複數個醫療用裝置獲取之資訊即複數種醫療用裝置資訊；產生部，其產生包含藉由獲取部而獲取之複數種醫療用裝置資訊之至少一部分之提示用資訊；及提供部，其對顯示圖像之圖像顯示裝置輸出所產生之提示用資訊。產生部產生至少包含藉由圖像顯示裝置之使用者難以視認顯示部之醫療用裝置而獲取之醫療用裝置資訊的提示用資訊。

Description

資訊處理裝置、資訊處理方法、及資訊處理系統
本發明係關於一種資訊處理裝置。
眾所周知有作為配戴於頭部之顯示裝置之頭部配戴型顯示裝置(頭戴式顯示器(Head Mounted Display，HMD))。頭部配戴型顯示裝置例如利用液晶顯示器與光源產生表示圖像之圖像光，並利用投影光學系統或導光板等將所產生之圖像光引導至使用者之眼睛，藉此讓使用者識別虛像。
專利文獻1中，記載有用以藉由使用此種頭部配戴型顯示裝置而改善醫療環境中之資訊之顯示之系統。專利文獻1所記載之技術中，基於查詢(query)而自複數個資訊源獲取資訊，對所獲取之資訊基於規則進行篩選處理，並向眼鏡頭戴式觀察器之接目鏡投影。又，專利文獻1所記載之技術中，基於頭部配戴型顯示裝置之配戴者之視線，而決定關於固定之大型顯示器之顯示之控制權或優先權。專利文獻2中，記載有醫療用面部配戴型影像顯示裝置(頭部配戴型顯示裝置)。專利文獻2所記載之技術中，內視鏡檢查或內視鏡手術時與內視鏡一同使用之內視鏡周邊機器之動作狀態資訊顯示於頭部配戴型顯示裝置。專利文獻3、4中記載有用以於頭部配戴型顯示裝置中，藉由應用擴增實境技術而進行牙科手術中之資訊之顯示之方法。專利文獻3、4所記載之技術中，相對於手術部位之實像而重疊顯示手術前影像或模 擬圖像等。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2006-102495號公報
[專利文獻2]日本專利特開2001-104331號公報
[專利文獻3]日本專利特開2010-259497號公報
[專利文獻4]日本專利特開2013-34764號公報
隨著醫學之進步與電子機器之進步，當前之醫療現場得以急速之進化。於醫療現場中，使用有例如心電圖、心率計、血壓計、脈搏血氧計、血糖計、侖琴計、內視鏡般之各種醫療用之裝置(以下稱為「醫療用裝置」)。掌握該各種醫療用裝置之資訊進行作業，對從事於醫療現場之人員而言成為較大之負擔。因此，期望可將各種醫療用裝置之資訊統一化之系統。專利文獻1所記載之技術中，雖然可自複數個資訊源(醫療用裝置)獲取資訊，但是存在查詢或篩選之設定較為困難之問題。又，專利文獻2~4所記載之技術中，作為對象之醫療用裝置受到限定，故而存在無法將各種醫療用裝置之資訊統一化之課題。
又，上述課題並不限定於頭部配戴型顯示裝置，其為產生用以顯示於例如頭部配戴型顯示裝置般之圖像顯示裝置之資訊之資訊處理裝置全體所共有之課題。因此，期望一種資訊處理裝置，其可將各種醫療用裝置之資訊統一化，並且自統一化之資訊簡便地篩選資訊而產生用以顯示於圖像顯示裝置之資訊。此外，對資訊處理裝置有提高通用性、提高便利性、降低製造成本、及提高可靠性之各種要求。
本發明係為解決上述問題之至少一部分而開發者，可作為如下 形態而實現。
(1)根據本發明之一形態而提供一種資訊處理裝置。該資訊處理裝置包括：獲取部，其獲取自複數個醫療用裝置獲取之資訊即複數種醫療用裝置資訊；產生部，其產生包含藉由上述獲取部而獲取之上述複數種醫療用裝置資訊之至少一部分之提示用資訊；及提供部，其對顯示圖像之圖像顯示裝置輸出所產生之上述提示用資訊；且上述產生部產生至少包含藉由上述圖像顯示裝置之使用者難以視認顯示部之上述醫療用裝置而獲取之上述醫療用裝置資訊之上述提示用資訊。根據該形態之資訊處理裝置，產生部產生包含藉由獲取部而獲取之複數種醫療用裝置資訊之至少一部分之提示用資訊，故而可將連接於資訊處理裝置之各種醫療用裝置之資訊(醫療用裝置資訊)統一化。又，產生部產生至少包含藉由圖像顯示裝置之使用者難以視認顯示部之醫療用裝置而獲取之醫療用裝置資訊之提示用資訊，故而可自統一化之醫療用裝置資訊，於圖像顯示裝置之使用者難以視認顯示部之醫療用裝置之醫療用裝置資訊之條件下提取資訊，而使所提取之資訊包含於提示用資訊。其結果，可實現能將各種醫療用裝置之資訊統一化，並且自統一化之資訊簡便地篩選資訊而產生用以顯示於圖像顯示裝置之資訊之資訊處理裝置。
(2)於上述形態之資訊處理裝置中亦可為：上述提供部進而獲取上述圖像顯示裝置之使用者之視野方向之圖像，且該資訊處理裝置進而包括特定部，該特定部對所獲取之上述視野方向之圖像進行圖像識別，特定上述顯示部不包含於上述視野方向之圖像中之上述醫療用裝置，並將所特定之上述醫療用裝置特定為上述難以視認之醫療用裝置。根據該形態之資訊處理裝置，特定部可基於圖像顯示裝置之使用者之視野方向之圖像，而特定使用者難以視認顯示部之醫療用裝置。 又，可經由提供部而獲取特定時所必需之資訊。因此，於利用資訊處 理裝置時使用者無須事先準備資料等，從而較為簡便。
(3)於上述形態之資訊處理裝置中亦可為：上述獲取部進而分別獲取連接於上述資訊處理裝置之上述複數個醫療用裝置之位置資訊，上述提供部進而獲取表示連接於上述資訊處理裝置之上述圖像顯示裝置之當前位置之當前位置資訊、與表示上述使用者之頭部之方向之方位資訊，該資訊處理裝置進而包括特定部，該特定部使用藉由上述獲取部而獲取之上述複數個上述醫療用裝置之上述位置資訊、與藉由上述提供部而獲取之上述圖像顯示裝置之上述當前位置資訊及上述方位資訊，而特定上述難以視認之醫療用裝置。根據該形態之資訊處理裝置，特定部可使用藉由獲取部而獲取之複數個醫療用裝置之位置資訊、與藉由提供部而獲取之圖像顯示裝置之當前位置資訊及方位資訊，而自動地特定圖像顯示裝置之使用者難以視認顯示部之醫療用裝置。又，可經由獲取部及提供部而獲取特定時所必需之資訊。因此，於利用資訊處理裝置時使用者無須事先準備資料等，從而較為簡便。
(4)於上述形態之資訊處理裝置中亦可為：該資訊處理裝置進而包括配置記憶部，該配置記憶部記憶用以特定上述難以視認之醫療用裝置之資訊，且該資訊處理裝置進而包括特定部，該特定部使用上述配置記憶部而特定上述難以視認之醫療用裝置。根據該形態之資訊處理裝置，特定部可使用記憶用以特定圖像顯示裝置之使用者難以視認顯示部之醫療用裝置之資訊之配置記憶部，而自動地特定圖像顯示裝置之使用者難以視認顯示部之醫療用裝置。又，可自預先準備之配置記憶部獲取特定時所必需之資訊。因此，即便於連接於資訊處理裝置之醫療用裝置或圖像顯示裝置不具有位置資訊之檢測機構或外景圖像之獲取機構之情形時，特定部亦可自動地特定圖像顯示裝置之使用者難以視認顯示部之醫療用裝置。
(5)於上述形態之資訊處理裝置中亦可為：該資訊處理裝置進而 包括不可視資訊記憶部，該不可視資訊記憶部記憶不顯現於物體之外觀之資訊即不可視資訊，且對於上述產生部所產生之上述提示用資訊，含括上述不可視資訊。根據該形態之資訊處理裝置，藉由包括不可視資訊記憶部，除可將連接於資訊處理裝置之各種醫療用裝置之醫療用裝置資訊統一化以外，進而亦可將記憶於不可視資訊記憶部之不可視資訊統一化。又，產生部自統一化之資訊，提取例如CT(Computed Tomography，電腦斷層掃描)圖像、MRI(magnetic resonance imaging，磁共振成像)圖像、侖琴(X射線)圖像、透視圖像、超音波診斷圖像、內視鏡圖像、熱紅外成像(thermography)圖像等不顯現於物體之外觀之資訊即不可視資訊，而產生用以顯示於圖像顯示裝置之提示用資訊。其結果，連接於資訊處理裝置之圖像顯示裝置之使用者可視認該等不可視資訊，從而有助於提高圖像顯示裝置之便利性。
(6)於上述形態之資訊處理裝置中亦可為：於上述資訊處理裝置，連接至少1台用以獲取不顯現於物體之外觀之資訊即不可視資訊之上述醫療用裝置，且對於上述產生部所產生之上述提示用資訊，含括藉由用以獲取上述不可視資訊之上述醫療用裝置而獲取之上述醫療用裝置資訊。根據該形態之資訊處理裝置，產生部提取藉由用以獲取例如CT圖像、MRI圖像、侖琴(X射線)圖像、透視圖像、超音波診斷圖像、內視鏡圖像、熱紅外成像圖像等不顯現於物體之外觀之資訊即不可視資訊之醫療用裝置而獲取之醫療用裝置資訊，而產生用以顯示於圖像顯示裝置之提示用資訊。其結果，連接於資訊處理裝置之圖像顯示裝置之使用者可視認該等不可視資訊，從而有助於提高圖像顯示裝置之便利性。
(7)於上述形態之資訊處理裝置中亦可為：於上述資訊處理裝置，連接至少1台用以獲取患者之處置圖像之上述醫療用裝置，且對 於上述產生部所產生之上述提示用資訊，含括藉由用以獲取上述處置圖像之上述醫療用裝置而獲取之上述醫療用裝置資訊。根據該形態之資訊處理裝置，產生部提取藉由用以獲取患者之處置圖像之醫療用裝置而獲取之醫療用裝置資訊，產生用以顯示於圖像顯示裝置之提示用資訊。其結果，連接於資訊處理裝置之圖像顯示裝置之使用者可視認患者之處置圖像，從而有助於提高圖像顯示裝置之便利性。
(8)於上述形態之資訊處理裝置中亦可為：上述產生部亦可於產生上述提示用資訊時，維持包含於上述醫療用裝置資訊之圖像之縱橫比而將上述圖像放大或縮小。根據該形態之資訊處理裝置，產生部維持包含於醫療用裝置資訊之圖像之縱橫比而將圖像放大或縮小，故而於產生提示用資訊時，可抑制於藉由醫療用裝置而獲取之醫療用裝置資訊中產生預想不到之畸變。
(9)於上述形態之資訊處理裝置中亦可為：於上述資訊處理裝置，連接供使用者可同時視認虛像與外景之頭部配戴型顯示裝置作為上述圖像顯示裝置。根據該形態之資訊處理裝置，可實現能將各種醫療用裝置之資訊統一化，並且自統一化之資訊簡便地篩選資訊而產生用以顯示於所謂之透過型頭部配戴型顯示裝置之資訊之資訊處理裝置。
(10)於上述形態之資訊處理裝置中亦可為：上述提供部進而自上述頭部配戴型顯示裝置，獲取配戴上述頭部配戴型顯示裝置之狀態下之使用者之視野方向之圖像，且藉由將所獲取之上述視野方向之圖像進行圖像識別而提取包含於外景之物體之特徵，並基於所提取之上述特徵而將藉由產生部產生之上述提示用資訊進行修正，且輸出修正後之上述提示用資訊。根據該形態之資訊處理裝置，提供部藉由對頭部配戴型顯示裝置之使用者之視野方向之圖像進行圖像識別而提取包含於外景之物體之特徵，並基於所提取之特徵而對所產生之提示用資訊 進行修正。因此，於提示用資訊包含例如CT圖像、MRI圖像、侖琴圖像等不可視資訊之情形時，可使不可視資訊與包含於外景之物體(例如患者之身體等)一致。其結果，可提高頭部配戴型顯示裝置之使用者之便利性。進而，頭部配戴型顯示裝置可接收修正後之提示用資訊，故而頭部配戴型顯示裝置直接顯示所接收到之提示用資訊即可。其結果，可使頭部配戴型顯示裝置之構成簡單。
(11)根據本發明之一形態，提供一種資訊處理系統。該資訊處理系統包括：複數個醫療用裝置；資訊處理裝置；及頭部配戴型顯示裝置，其使使用者能同時視認虛像與外景；且上述資訊處理裝置包括：獲取部，其獲取自上述複數個醫療用裝置獲取之資訊即複數種醫療用裝置資訊；產生部，其產生包含藉由上述獲取部而獲取之上述複數種醫療用裝置資訊之至少一部分之提示用資訊；及提供部，其對上述頭部配戴型顯示裝置輸出所產生之上述提示用資訊；且上述頭部配戴型顯示裝置包括：提示用資訊獲取部，其自上述資訊處理裝置獲取上述提示用資訊；及圖像顯示部，其使上述頭部配戴型顯示裝置之使用者視認作為上述虛像之所獲取之上述提示用資訊；且上述資訊處理裝置之上述產生部產生至少包含藉由上述頭部配戴型顯示裝置之使用者難以視認顯示部之上述醫療用裝置而獲取之上述醫療用裝置資訊之上述提示用資訊。根據該形態之資訊處理系統，可實現能將各種醫療用裝置之資訊(醫療用裝置資訊)於資訊處理裝置中統一化，並且自統一化之資訊簡便地篩選資訊而產生提示用資訊，使所謂之透過型頭部配戴型顯示裝置之使用者視認作為虛像之所產生之提示用資訊之資訊處理系統。
(12)根據本發明之一形態，提供一種連接於上述形態之資訊處理裝置，且供使用者可同時視認虛像與外景之頭部配戴型顯示裝置。該頭部配戴型顯示裝置包括：圖像獲取部，其獲取配戴有上述頭部配戴 型顯示裝置之狀態下之上述使用者之視野方向之圖像；特定部，其對所獲取之上述視野方向之圖像進行圖像識別而特定上述顯示部不包含於上述視野方向之圖像之上述醫療用裝置，並將所特定之上述醫療用裝置特定為上述難以視認之醫療用裝置；通知部，其將所特定之上述醫療用裝置通知給上述資訊處理裝置；提示用資訊獲取部，其自上述資訊處理裝置獲取上述提示用資訊；及圖像顯示部，其使上述使用者視認所獲取之上述提示用資訊作為上述虛像。根據該形態之頭部配戴型顯示裝置，可將特定部設置於頭部配戴型顯示裝置。其結果，可減少資訊處理裝置中之處理負荷。
上述本發明之各形態所具有之複數個構成要素並非全部為必需者，為了解決上述問題之一部分或全部，或者為了達成本說明書中記載之效果之一部分或全部，可適當對上述複數個構成要素中之一部分構成要素進行變更、刪除、與新的構成要素之替換、限定內容之一部分刪除。又，為了解決上述問題之一部分或全部，或者為了達成本說明書中記載之效果之一部分或全部，亦可將上述本發明之一形態中包含之技術性特徵之一部分或全部與上述本發明之其他形態中包含之技術性特徵之一部分或全部組合，而形成本發明之獨立之一形態。
例如，本發明之一形態可作為包括獲取部、產生部、提供部這3個要素中之一部分或全部之要素之裝置而實現。即，該裝置既可具有獲取部，亦可不具有獲取部。又，該裝置既可具有產生部，亦可不具有產生部。又，該裝置既可具有提供部，亦可不具有提供部。如此之裝置可作為例如資訊處理裝置而實現，亦可作為資訊處理裝置以外之其他裝置而實現。上述資訊處理裝置之各形態之技術性特徵之一部分或全部均可適用於該裝置。
再者，本發明能以各種態樣實現，例如能以資訊處理裝置、資訊處理方法、資訊處理系統、頭部配戴型顯示裝置、頭部配戴型顯示 裝置之控制方法、頭部配戴型顯示系統、用以實現該等方法、裝置或系統之功能之電腦程式、記錄該電腦程式之記錄媒體等之形態而實現。
10‧‧‧控制部
20、20a、20b‧‧‧圖像顯示部
22‧‧‧右顯示驅動部
24‧‧‧左顯示驅動部
26、26a、26b‧‧‧右光學像顯示部
28、28a、28b‧‧‧左光學像顯示部
32‧‧‧右耳機
34‧‧‧左耳機
40‧‧‧纜線
51‧‧‧發送部
52‧‧‧發送部
53‧‧‧接收部
54‧‧‧接收部
61‧‧‧攝像機(圖像獲取部)
66‧‧‧9軸感測器
110‧‧‧輸入資訊獲取部
100、100a~100n‧‧‧頭戴式顯示器(圖像顯示裝置、頭部配戴型顯示裝置)
120‧‧‧記憶部
130‧‧‧電源
132‧‧‧無線通訊部
134‧‧‧當前位置獲取部
140‧‧‧CPU
150‧‧‧作業系統(OS)
160‧‧‧圖像處理部
170‧‧‧聲音處理部
180‧‧‧介面(通知部)
190‧‧‧顯示控制部
201‧‧‧右背光控制部
202‧‧‧左背光控制部
211‧‧‧右LCD控制部
212‧‧‧左LCD控制部
221‧‧‧右背光
222‧‧‧左背光
241‧‧‧右LCD
242‧‧‧左LCD
251‧‧‧右投影光學系統
252‧‧‧左投影光學系統
261‧‧‧右導光板
262‧‧‧左導光板
300‧‧‧資訊處理裝置
310‧‧‧第1輸入輸出部
311~31n‧‧‧第1輸入輸出部(獲取部)
320‧‧‧ROM
330‧‧‧RAM
340‧‧‧通訊介面
350‧‧‧CPU
360‧‧‧產生部
361‧‧‧特定部
370‧‧‧第2輸入輸出部
371~37n‧‧‧第2輸入輸出部(提供部)
380‧‧‧外部記憶裝置
381‧‧‧共用影像規格
382‧‧‧管理表
383‧‧‧不可視資訊(不可視資訊記憶部)
384‧‧‧手術之記錄
385‧‧‧位置表(配置記憶部)
500‧‧‧醫療用裝置
501~50n‧‧‧醫療用裝置
700‧‧‧顯示器
1000‧‧‧資訊處理系統
CP‧‧‧圖像
CP1、CP2、CP3‧‧‧醫療用裝置資訊
CP5‧‧‧當前時刻
CP6‧‧‧脈搏之圖像
CP7‧‧‧自手術開始之經過時間
CP8‧‧‧心率(HR)、血壓(SYS/DIA)、及動脈血氧飽 和度(SpO2)之圖像
CP9‧‧‧學術書
CP10‧‧‧程序資訊
CP13‧‧‧生物監視器之畫面
INT‧‧‧網際網路
MP1~MPn‧‧‧位置
OA‧‧‧外部機器
OD‧‧‧資料庫
PC‧‧‧個人電腦
PN、PNi、PNx‧‧‧提示用資訊
PR‧‧‧醫生
SC‧‧‧外景
UD1‧‧‧方位
UP1、UP2‧‧‧當前位置
VI‧‧‧虛像
VR‧‧‧視野
圖1係表示本發明之一實施形態中之資訊處理系統之概略構成之說明圖。
圖2係功能性地表示資訊處理裝置之構成之方塊圖。
圖3係表示共用影像規格之一例之說明圖。
圖4係表示管理表之一例之說明圖。
圖5係功能性地表示頭戴式顯示器之構成之方塊圖。
圖6係表示提示用資訊產生處理之程序之流程圖。
圖7係表示醫療用裝置與頭戴式顯示器之配置之一例之說明圖。
圖8係用以對頭戴式顯示器之使用者難以視認顯示部之醫療用裝置之特定方法進行說明之說明圖。
圖9(A)、(B)係用以對提示用資訊之產生方法進行說明之說明圖。
圖10係用以對提示用資訊之產生方法進行說明之說明圖。
圖11係表示提示用資訊於頭戴式顯示器中作為虛像顯示之情況之說明圖。
圖12係表示於位於不同位置之複數個頭戴式顯示器中提示用資訊作為虛像顯示之情況之說明圖。
圖13(A)、(B)係表示提示用資訊之第1例之說明圖。
圖14(A)、(B)係表示提示用資訊之第2例之說明圖。
圖15係表示提示用資訊之第3例之說明圖。
圖16係功能性地表示第2實施形態中之資訊處理裝置之構成之方塊圖。
圖17係表示位置表之一例之說明圖。
圖18係表示第2實施形態中之提示用資訊產生處理之程序之流程圖。
圖19(A)、(B)係表示變化例中之頭戴式顯示器之外觀之構成之說明圖。
A.第1實施形態： A-1.資訊處理系統之構成：
圖1係表示本發明之一實施形態中之資訊處理系統1000之概略構成之說明圖。資訊處理系統1000包括複數個醫療用裝置501~50n、資訊處理裝置300、及圖像顯示裝置100。資訊處理系統1000係於醫療現場使用之系統，資訊處理裝置300自複數個醫療用裝置501~50n獲取資訊並將所獲取之資訊統一化，而產生用以顯示於圖像顯示裝置100之提示用資訊。醫療用裝置501~50n與圖像顯示裝置100藉由有線連接或無線連接而與資訊處理裝置300連接。再者，以下使用「n」作為表示「任意複數」之字符。n為1以上之整數。
本實施形態中，作為醫療之現場，例示手術室中之手術現場，但資訊處理系統1000亦可於門診室、處置室、治療室、分娩室等中使用。又，本實施形態中，作為圖像顯示裝置100，例示頭部配戴型顯示裝置，但圖像顯示裝置100亦可為固定型之顯示器、可攜帶之顯示器、智慧型電話等。以下，亦將頭部配戴型顯示裝置100稱為「頭戴式顯示器100(Head Mounted Display，HMD)」。又，圖1中，圖示有1台頭戴式顯示器100，但亦可如下述之圖2般，複數台頭戴式顯示器100a~100n連接於資訊處理裝置300。
再者，於以下之說明中，於不將頭戴式顯示器100a~100n特別區別而進行說明之情形時，僅稱為「頭戴式顯示器100」。同樣地，於不 將醫療用裝置501~50n特別區別而進行說明之情形時，僅稱為「醫療用裝置500」。
醫療用裝置501~50n係於醫療用途使用之各種裝置。作為醫療用裝置501~50n之例，例如可使用用以拍攝室內外之靜態圖像及動態圖像之可見光攝像機、用以拍攝手術部位之靜態圖像及動態圖像之可見光攝像機、心電圖檢查裝置、手術用計時器、生物監視器、心率計、脈搏計、血壓計、超音波檢查裝置、脈搏血氧計、血糖計、CT(Computed Tomography，電腦斷層拍攝)圖像拍攝裝置、MRI(Magnetic Resonance Imaging，磁共振圖像法)圖像拍攝裝置、侖琴(X射線)圖像拍攝裝置、透視圖像拍攝裝置、內視鏡圖像、熱紅外成像圖像拍攝裝置等。
A-2.資訊處理裝置之構成：
圖2係功能性地表示資訊處理裝置300之構成之方塊圖。資訊處理裝置300包括第1輸入輸出部310、ROM(read only memory，唯讀記憶體)320、RAM(random access memory，隨機存取記憶體)330、通訊介面340、CPU(central processing unit，中央處理單元)350、及外部記憶裝置380，各部藉由匯流排而相互連接。
作為獲取部之第1輸入輸出部310包括複數個第1輸入輸出部311~31n。第1輸入輸出部311~31n係依照例如USB(Universal Serial Bus，通用串列匯流排)、HDMI(High Definition Multimedia Interface，高清晰度多媒體介面(註冊商標))、DVI(Digital Visual Interface，數位視覺介面)、VGA(Video Graphics Array，視訊圖形陣列)、合成、RS-232C(Recommended Standard 232，推薦標準232)、紅外線、近距離無線通訊(例如藍牙(註冊商標))、無線LAN(例如IEEE802.11)、有線LAN(local area network，局域網路)(例如IEEE(Institue of Electrical and Electronics Engin，(美)電機電子工程師學會)802.3)等之通訊標準 之輸入輸出介面。第1輸入輸出部311~31n分別獲取自所連接之醫療用裝置501~50n輸入之資訊。自醫療用裝置輸入之資訊係指藉由醫療用裝置測定或拍攝等之資訊。以下，亦稱為「醫療用裝置資訊」。
本實施形態中，第1輸入輸出部311係依照DVI之輸入輸出介面，第1輸入輸出部312係依照HDMI之輸入輸出介面，第1輸入輸出部313係依照HDMI之輸入輸出介面，第1輸入輸出部31n係依照無線LAN之輸入輸出介面。於圖2中，於第1輸入輸出部311連接有醫療用裝置501與固定式之顯示器700。同樣地，分別為於第1輸入輸出部312連接有醫療用裝置502，於第1輸入輸出部313連接有醫療用裝置503，於第1輸入輸出部31n連接有醫療用裝置50n。如此，第1輸入輸出部310包含依照不同種類之通訊標準之第1輸入輸出部311~31n。因此，於第1輸入輸出部310，可連接依照各種通訊標準之醫療用裝置，從而可提高資訊處理裝置300之通用性。再者，第1輸入輸出部310亦可對例如顯示器700等顯示裝置直接輸出所輸入之信號。
通訊介面(I/F)340係有線LAN之介面。通訊介面340經由網際網路INT之線路，而將外部設施之醫生PR與資訊處理裝置300可通訊地連接，除此以外，經由內部網路而將連接於醫院LAN之資料庫OD與資訊處理裝置300可通訊地連接。醫生PR設定為例如擔任連接於資訊處理裝置300之頭戴式顯示器100之使用者之指導之醫生或外部之專科醫生等。於資料庫OD中，記憶有表示手術等處置之程序之程序資訊、電子健康記錄系統(electronic health record system)、電子化之學術書等。
CPU350藉由將儲存於ROM320之電腦程式於RAM330展開並執行，而控制資訊處理裝置300。又，CPU350實現產生部360、第2輸入輸出部370之功能。產生部360藉由執行下述之提示用資訊產生處理，而產生用以顯示於頭戴式顯示器100之提示用資訊。本實施形態之產 生部360產生包含頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500之醫療用裝置資訊之提示用資訊。產生部360包含特定部361。特定部361特定頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500。此處，所謂「使用者難以視認顯示部之醫療用裝置500」，例如係指以下之醫療用裝置500之總稱。
‧醫療用裝置500處於使用者之死角，故而自使用者無法視認顯示部(顯示器等)、或難以視認之醫療用裝置500。
‧醫療用裝置500處於遠離使用者之場所，故而自使用者無法視認或難以視認顯示部之醫療用裝置500。
‧醫療用裝置500並非處於使用者之死角，且處於接近使用者之場所，但由於使用者之視線與顯示部不對向而導致自使用者無法視認或難以視認顯示部之醫療用裝置500。
作為提供部之第2輸入輸出部370包括複數個第2輸入輸出部371~37n。第2輸入輸出部371~37n與第1輸入輸出部310同樣地，係依照各種通訊標準之輸入輸出介面。詳細情況與第1輸入輸出部310相同，故而省略說明。
本實施形態中，第2輸入輸出部371與第2輸入輸出部372係依照無線LAN之輸入輸出介面，第2輸入輸出部373係依照USB之輸入輸出介面，第2輸入輸出部37n係依照DVI之輸入輸出介面。於圖2中，於第2輸入輸出部371連接有作為圖像顯示裝置之頭戴式顯示器100a。同樣地，於第2輸入輸出部372連接有頭戴式顯示器100b，於第2輸入輸出部373連接有頭戴式顯示器100c，於第2輸入輸出部37n連接有頭戴式顯示器100n。如此，第2輸入輸出部370包含依照不同種類之通訊標準之第2輸入輸出部371~37n。因此，於第2輸入輸出部370可連接依照各種通訊標準之頭戴式顯示器，從而可提高資訊處理裝置300之通用性。
外部記憶裝置380包含未圖示之ROM、RAM、DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)、硬碟、快閃記憶體等。外部記憶裝置380包含共用影像規格381、管理表382、作為不可視資訊記憶部之不可視資訊383、及手術之記錄384。
圖3係表示共用影像規格381之一例之說明圖。共用影像規格381係用以規定提示用資訊之影像信號之標準規格之表。共用影像規格381係於提示用資訊產生處理中產生部360產生提示用資訊時使用。
於本實施形態之共用影像規格381中，作為影像信號之規格而包含影像信號中所包含之圖像之像素數、縱橫比、解析度、壓縮方法、編碼方法。共用影像規格381被預先規定並記憶於外部記憶裝置380內。於規定共用影像規格381時，較佳為考慮於連接於第2輸入輸出部370之頭戴式顯示器100a~100n採用之影像信號之規格。
圖4係表示管理表382之一例之說明圖。管理表382係用以管理連接於第2輸入輸出部370之頭戴式顯示器100之資訊之表，更具體而言，該管理表382係用以管理分別連接於第2輸入輸出部371~37n之頭戴式顯示器100a~100n之資訊之表。管理表382除了於提示用資訊產生處理中產生部360產生提示用資訊時使用以外，亦於第2輸入輸出部371~37n對頭戴式顯示器100a~100n發送提示用資訊時使用。
本實施形態之管理表382將標識符、職務、及影像規格建立關聯而加以記憶。於「標識符」儲存有用以相互辨別連接於第2輸入輸出部370之頭戴式顯示器100之唯一之標識符。於「職務」儲存有表示藉由標識符而辨別之頭戴式顯示器100之使用者於醫療之現場中發揮何種職務之字符串。於「影像規格」儲存有表示藉由標識符而辨別之頭戴式顯示器100中之影像信號之規格(影像信號中所包含之圖像之像素數、縱橫比、解析度、壓縮方法、編碼方法等)之圖案之字符串。
圖4之例中，可知藉由標識符「1」而辨別之頭戴式顯示器100之 使用者為「主刀醫生」，該頭戴式顯示器100之影像規格為「規格A」(入口E01)。同樣地，可知藉由標識符「n」而辨別之頭戴式顯示器100之使用者為「護士」，該頭戴式顯示器100之影像規格為「規格E」(入口E0n)。
管理表382亦可被預先規定並記憶於外部記憶裝置380，亦可於對資訊處理裝置300連接有頭戴式顯示器100時，作為初始處理而自動地產生。具體而言，例如產生部360於檢測出頭戴式顯示器100連接於第2輸入輸出部370時，對該頭戴式顯示器100賦予唯一之標識符，並且自頭戴式顯示器100獲取使用者之職務及影像規格。產生部360將所賦予之標識符、所獲取之職務、及影像規格儲存於管理表382。每當對第2輸入輸出部370連接頭戴式顯示器100a~100n時，可藉由進行如上所述之初始處理而由產生部360自動地產生管理表382。
於圖2之不可視資訊383(不可視資訊記憶部)，記憶有不顯現於物體之外觀之資訊即不可視資訊。不可視資訊係表示物體之構造之圖像或字符資訊，於物體為活體之情形時，例如係CT圖像、MRI圖像、侖琴(X射線)圖像、透視圖像、超音波診斷圖像、內視鏡圖像、熱紅外成像圖像、及隨附於其等之字符資訊。不可視資訊係預先拍攝，並記憶於不可視資訊383。
圖2之手術之記錄384係用以將資訊處理裝置300獲取之醫療用裝置資訊、資訊處理裝置300產生之提示用資訊、及獲取或產生之日期時間建立對應而記錄之記錄部。所謂資訊處理裝置300獲取之醫療用裝置資訊，係指資訊處理裝置300自分別連接於第1輸入輸出部311~31n之複數個醫療用裝置501~50n獲取之醫療用裝置資訊。又，所謂資訊處理裝置300產生之提示用資訊，係指於提示用資訊產生處理中產生部360產生之所有提示用資訊。資訊處理裝置300獲取、產生之資訊之記錄可大致同等視為手術(門診、處置、治療)之日誌。因此，如 此一來，則於手術等結束之後，可將手術之日誌利用於手術內容之分析、研究、學術等。
A-3.頭部配戴型顯示裝置之構成：
圖5係功能性地表示頭戴式顯示器100a之構成之方塊圖。以下，作為頭戴式顯示器100之構成之一例，例示頭戴式顯示器100a進行說明。頭戴式顯示器100a係使用者於視認虛像之同時亦可直接視認外景之光學透過型之頭部配戴型顯示裝置，且顯示自資訊處理裝置300獲取之提示用資訊作為虛像。頭戴式顯示器100a包括於配戴於使用者之頭部之狀態下使用者視認虛像之圖像顯示部20、及對圖像顯示部20進行控制之控制部10。圖像顯示部20與控制部10係經由纜線40而進行各種信號之傳輸。
A-3-1.控制部之構成：
控制部10包括：輸入資訊獲取部110，其獲取對例如觸控板、方向鍵、腳踏開關、手勢、麥克風等輸入器件之操作輸入；記憶部120，其包含ROM或硬碟等；電源130，其對頭戴式顯示器100a之各部供給電力；無線通訊部132，其依照無線LAN或藍牙等特定之無線通訊標準而於與其他機器之間進行無線通訊；當前位置獲取部134；CPU140；介面180，其用以連接資訊處理裝置300或各種外部機器OA；及發送部(Tx)51、52；且各部藉由未圖示之匯流排而相互連接。當前位置獲取部134藉由接收來自GPS(Global Position System，全球定位系統)衛星之信號，而檢測頭戴式顯示器100a之使用者之當前位置，產生表示使用者之當前位置之當前位置資訊。再者，當前位置獲取部134亦可藉由接收複數個基站之電波，並判定所接收到之電波之強弱，而產生當前位置資訊。當前位置資訊可藉由例如表示緯度經度之座標而實現。介面180與資訊處理裝置300之第1輸入輸出部310同樣地，可依照各種通訊標準。
CPU140藉由將儲存於記憶部120之電腦程式讀出並執行，而作為作業系統(OS，operating system)150、圖像處理部160、對右耳機32之揚聲器與左耳機34之揚聲器供給聲音信號之聲音處理部170、顯示控制部190而發揮功能。圖像處理部160基於經由作為提示用資訊獲取部之介面180或無線通訊部132而輸入之提示用資訊之影像信號而產生信號。而且，圖像處理部160將所產生之信號經由發送部51、52與纜線40而供給至圖像顯示部20，藉此控制圖像顯示部20中之顯示。用以供給至圖像顯示部20之信號，可使用周知之類比形式或數位形式。顯示控制部190產生控制圖像顯示部20之右顯示驅動部22及左顯示驅動部24之控制信號，並經由發送部51、52而發送。所謂控制信號係指如下信號：用以個別地切換由右LCD(Liquid Crystal Display，液晶顯示器)控制部211控制之右LCD241之驅動ON/OFF(開啟/關閉)、由右背光控制部201控制之右背光221之驅動ON/OFF、由左LCD控制部212控制之左LCD242之驅動ON/OFF、及由左背光控制部202控制之左背光222之驅動ON/OFF。
A-3-2.圖像顯示部之構成：
圖像顯示部20係配戴於使用者之頭部之配戴體，本實施形態中具有眼鏡形狀。圖像顯示部20包含產生並射出表示圖像之圖像光之右顯示驅動部22及左顯示驅動部24、將圖像光引導至使用者之兩眼之右光學像顯示部26及左光學像顯示部28(圖2)、作為圖像獲取部之攝像機61、及9軸感測器66。
右顯示驅動部22包含接收部(Rx)53、作為光源而發揮功能之右背光(BL)控制部201及右背光(BL)221、作為顯示元件而發揮功能之右LCD控制部211及右LCD241、以及右投影光學系統251。右背光控制部201基於經由接收部53輸入之控制信號而驅動右背光221。右背光221例如為LED(light emitting diode，發光二極體)或電致發光(EL， electroluminescence)等發光體。右LCD控制部211基於所輸入之影像信號而驅動右LCD241。右LCD241係將複數個像素配置為矩陣狀之透過型液晶面板。右LCD241藉由驅動配置為矩陣狀之各像素位置之液晶，而使透過右LCD241之光之透過率改變，將自右背光221照射之照明光調變為表示圖像之有效之圖像光。右投影光學系統251包含使自右LCD241射出之圖像光成為並行狀態之光束之準直透鏡。左顯示驅動部24具有與右顯示驅動部22相同之構成，且與右顯示驅動部22同樣地動作。
右光學像顯示部26與左光學像顯示部28以於使用者配戴有圖像顯示部20時位於使用者之左右眼前之方式而配置(圖2)。右光學像顯示部26包含藉由透光性之樹脂材料等形成之右導光板261。右導光板261使自右顯示驅動部22輸出之圖像光沿著特定之光路反射且導向使用者之右眼RE。右導光板261既可使用繞射光柵亦可使用半透過反射膜。左光學像顯示部28具有與右光學像顯示部26相同之構成，與右光學像顯示部26同樣地動作。如此，被引導至頭戴式顯示器100a之使用者之兩眼之圖像光於使用者之視網膜成像，藉此使用者可視認虛像。本實施形態之頭戴式顯示器100a之使用者對於視野中顯示虛像之部分，可同時觀察虛像與虛像背後之外景。又，對於視野中未顯示虛像之部分，可透過左右之光學像顯示部26、28直接觀察外景。
9軸感測器66係檢測加速度(3軸)、角速度(3軸)、地磁(3軸)之運動感測器(motion sensor)。9軸感測器66作為動作檢測部而發揮功能，該動作檢測部於使用者之頭部配戴有圖像顯示部20時，檢測頭戴式顯示器100a之使用者之頭部之動作。此處，所謂頭部之動作，包含頭部之速度、加速度、角速度、方向、方向之變化。再者，亦將頭部之方向稱為「方位資訊」。作為視野圖像獲取部之攝像機61配置於與使用者配戴有圖像顯示部20時之使用者之眉間對應之位置。攝像機61對圖 像顯示部20之表側方向，換言之配戴有頭戴式顯示器100a之狀態下之使用者之視野方向之外景(外部之景色)進行拍攝而獲取外景圖像。攝像機61係所謂可見光攝像機。本實施形態中之攝像機61係單目攝像機，但亦可採用立體攝像機。
A-4.提示用資訊產生處理：
圖6係表示提示用資訊產生處理之程序之流程圖。提示用資訊產生處理係用以產生顯示於頭戴式顯示器100之提示用資訊之處理，由資訊處理裝置300(圖2)之產生部360執行。提示用資訊產生處理可大致分為包含步驟S100~S118之初始處理、與包含步驟S120~S126之個別處理。
A-4-1.初始處理：
於初始處理中，產生部360自動地特定頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500，而產生包含自所特定之醫療用裝置500獲取之醫療用裝置資訊之提示用資訊。
圖7係表示醫療用裝置500與頭戴式顯示器100之配置之一例之說明圖。於提示用資訊產生處理(圖6)之步驟S100中，產生部360之特定部361獲取連接於資訊處理裝置300之所有醫療用裝置500之位置資訊與所有頭戴式顯示器100之當前位置資訊，並記憶於ROM320(或外部記憶裝置380)。具體而言，特定部361對醫療用裝置501~50n要求位置資訊。特定部361使與回覆一同接收到之表示醫療用裝置501~50n之位置MP1~MPn(圖7)之位置資訊記憶於ROM320。同樣地，特定部361對頭戴式顯示器100a~100n要求當前位置資訊。特定部361使與回覆一同接收到之表示頭戴式顯示器100a~100n之當前位置UP1~UPn(圖7)之當前位置資訊記憶於ROM320。
於提示用資訊產生處理(圖6)之步驟S102中，產生部360將提示用資訊產生處理中使用之變數i設定為「1」。之後，產生部360之特定部 361參照管理表382之第i個入口(步驟S104)。產生部360之特定部361獲取儲存於管理表382之第i個入口之頭戴式顯示器100之「標識符」(步驟S106)。
再者，以下亦將具有步驟S106中獲取之標識符之頭戴式顯示器100稱為「頭戴式顯示器100i」。頭戴式顯示器100i係指於初始處理中當前正在處理之頭戴式顯示器100。例如，於變數i=1之情形時，頭戴式顯示器100i係指儲存於管理表382之第1個入口E01之標識符為1之主刀醫生之頭戴式顯示器100a。
於提示用資訊產生處理(圖6)之步驟S108中，產生部360之特定部361對頭戴式顯示器100i要求當前位置資訊與方位資訊，獲取與回覆一同接收到之頭戴式顯示器100i之當前位置資訊與方位資訊。其後，產生部360之特定部361使用步驟S100中獲取之所有醫療用裝置500之位置資訊與所有頭戴式顯示器100之當前位置資訊，特定頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500(步驟S110)。
圖8係用以對頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500之特定方法進行說明之說明圖。圖8表示正常人之一般性之視野。正常人之視野於單眼之情形時，眾所周知有於頭頂側約為60度，於腳側約為70度，於耳側約為90度，於鼻側約為120度。又，以鼻為中心於水平方向各60度之視野，可用左右眼同時觀察。以下，亦將兩眼可同時觀察之視野稱為「兩眼視野」。同樣地，亦將僅可由左眼觀察之視野稱為「左眼視野」，亦將僅可由右眼觀察之視野稱為「右眼視野」。再者，圖8中，僅以角度特定視野，但除了角度以外亦可考慮距離。
於提示用資訊產生處理(圖6)之步驟S110中，產生部360之特定部361進行以下之程序a1~a3所示之處理，特定頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500。
(a1)特定部361根據步驟S108中獲取之頭戴式顯示器100i之當前位置資訊與方位資訊，決定頭戴式顯示器100i之當前位置與方位(方向)。
(a2)特定部361以於程序a1中決定之當前位置與方位為基準，將存在於均不屬於圖8所示之兩眼視野、左眼視野、及右眼視野之任一者之範圍之位置之醫療用裝置500設為「使用者難以視認顯示部之醫療用裝置500」。
(a3)特定部361於在自頭戴式顯示器100i之當前位置至醫療用裝置500之位置為止之間之直線區間之附近存在其他頭戴式顯示器100之當前位置之情形時，將該醫療用裝置500設為「使用者難以視認顯示部之醫療用裝置500」。再者，程序a3僅執行關於成為程序a2之對象外之醫療用裝置500。
使用圖7對步驟S110之具體例進行說明。對頭戴式顯示器100i為頭戴式顯示器100a之情形進行說明。特定部361基於頭戴式顯示器100a之當前位置資訊與方位資訊，決定當前位置UP1與方位UD1(程序a1)。特定部361以當前位置UP1與方位UD1為基準，將處於均不屬於頭戴式顯示器100a之使用者之兩眼視野、左眼視野、及右眼視野之任一者之範圍之位置MP3、MPn之醫療用裝置503、50n設為頭戴式顯示器100a之使用者難以視認顯示部之醫療用裝置500(程序a2)。於自頭戴式顯示器100a之當前位置UP1至醫療用裝置501之位置MP1為止之間之直線區間之附近，不存在其他頭戴式顯示器100之當前位置，故而特定部361判定醫療用裝置501並非為難以視認之醫療用裝置500。同樣地，於自當前位置UP1至醫療用裝置502之位置MP2為止之間、自當前位置UP1至醫療用裝置504之位置MP4為止之間、及自當前位置UP1至醫療用裝置505之位置MP5為止之間之各個直線區間之附近，不存在其他頭戴式顯示器100之當前位置，故而特定部361判定醫療用裝置 502、504、505並非為難以視認之醫療用裝置500(程序a3)。該等結果，於頭戴式顯示器100i為頭戴式顯示器100a之情形時，特定部361將醫療用裝置503、50n特定為頭戴式顯示器100a之使用者難以視認顯示部之醫療用裝置500。
對頭戴式顯示器100i為頭戴式顯示器100n之情形進行說明。特定部361基於頭戴式顯示器100n之當前位置資訊與方位資訊，決定當前位置UPn與方位UDn(程序a1)。特定部361以當前位置UPn與方位UDn為基準，將處於均不屬於頭戴式顯示器100n之使用者之兩眼視野、左眼視野、及右眼視野之任一者之範圍之位置MPn之醫療用裝置50n設為頭戴式顯示器100n之使用者難以視認顯示部之醫療用裝置500(程序a2)。於自頭戴式顯示器100n之當前位置UPn至醫療用裝置501之位置MP1為止之間之直線區間之附近，存在其他頭戴式顯示器100b之當前位置UP2，故而特定部361判定為醫療用裝置501係難以視認顯示部。同樣地，於自當前位置UPn至醫療用裝置502、504之位置MP2、MP4為止之間之直線區間之附近，存在其他頭戴式顯示器100a之當前位置UP1，故而特定部361判定醫療用裝置502、504之顯示部難以視認。同樣地，於自當前位置UPn至醫療用裝置503、505之位置MP3、MP5為止之間之直線區間之附近，不存在其他頭戴式顯示器100之當前位置，故而特定部361判定醫療用裝置503、505之顯示部不難視認(程序a3)。該等結果，於頭戴式顯示器100i為頭戴式顯示器100n之情形時，特定部361將醫療用裝置501、502、504、50n特定為頭戴式顯示器100n之使用者難以視認顯示部之醫療用裝置500。
如此，產生部360之特定部361可藉由程序a2，並考慮人之一般性之視野，而特定頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500。進而，產生部360之特定部361可藉由程序a3，亦特定雖然存在於視野之範圍內但因其他頭戴式顯示器100之使用者之存在而導 致使用者難以視認顯示部之醫療用裝置500。
如此，根據步驟S100~S110，特定部361可基於頭戴式顯示器100及醫療用裝置500之當前位置資訊或方位資訊，而特定難以視認顯示部之醫療用裝置500。具體而言，特定部361可特定由於醫療用裝置500處於使用者之死角而導致自使用者無法視認或難以視認顯示部之醫療用裝置500。又，藉由於圖8中除了考慮角度以外亦考慮距離，而特定部361亦可特定由於醫療用裝置500處於遠離使用者之場所而導致使用者無法視認或難以視認顯示部之醫療用裝置500。又，可經由第1輸入輸出部310(獲取部)及第2輸入輸出部370(提供部)而獲取特定時所必需之資訊。因此，於利用資訊處理裝置300時使用者無須事先準備資料等，從而較為簡便。
產生部360之特定部361亦可藉由執行以下之程序z1~z6來替代圖6之步驟S100~S110所說明之處理，而特定頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500。於該情形時，於資訊處理裝置300之ROM320(或外部記憶裝置380)，預先記憶有連接於資訊處理裝置300之所有醫療用裝置500(醫療用裝置501~50n)之顯示部之圖像。
(z1)產生部360將提示用資訊產生處理中使用之變數i設定為「1」。
(z2)特定部361參照管理表382之第i個入口。
(z3)特定部361獲取儲存於管理表382之第i個入口之頭戴式顯示器100之「標識符」。
(z4)特定部361對頭戴式顯示器100i指示使用攝像機61拍攝外景圖像，而獲取所拍攝之外景圖像。
(z5)特定部361藉由對外景圖像進行圖像識別，而判定記憶於ROM320之醫療用裝置500(醫療用裝置501~50n)之顯示部之圖像是否分別包含於外景圖像。
(z6)特定部361將藉由程序z5判定為「顯示部之圖像不包含於外景圖像」之醫療用裝置500特定為頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500。
如此，藉由程序z1~z6，特定部361可基於藉由頭戴式顯示器100i之攝像機61而實際獲取之使用者之視野方向之圖像(外景圖像)，特定難以視認顯示部之醫療用裝置500。具體而言，特定部361可特定由於醫療用裝置500處於使用者之死角而導致自使用者無法視認或難以視認顯示部之醫療用裝置500。又，特定部361亦可藉由調整程序z5中之圖像識別之精度，而特定由於醫療用裝置500處於遠離使用者之場所而導致自使用者無法視認或難以視認顯示部之醫療用裝置500。進而，特定部361可基於頭戴式顯示器100i之使用者之實際視野，而特定難以視認顯示部之醫療用裝置500。更具體而言，特定部361可特定雖然醫療用裝置500不處於使用者之死角、且處於接近使用者之場所，但由於使用者之視線與顯示部不對向(例如使用者俯視之情形時，或醫療用裝置500之顯示部朝向與使用者之視線相同之方向之情形時等)而導致自使用者無法視認或難以視認顯示部之醫療用裝置500。又，經由第2輸入輸出部370(提供部)而獲取特定時所必需之資訊。因此，於利用資訊處理裝置300時使用者無須事先準備資料等，從而較為簡便。
於提示用資訊產生處理(圖6)之步驟S112中，產生部360使用第1輸入輸出部311~31n獲取之醫療用裝置501~50n之醫療用裝置資訊中、自於步驟S110中特定為頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500獲取之醫療用裝置資訊，而產生用以向頭戴式顯示器100i發送之提示用資訊PNi。
圖9係用以對提示用資訊之產生方法進行說明之說明圖。於頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500為單數之情 形時，產生部360依照由共用影像規格381規定之影像信號之規格而轉換該醫療用裝置500之醫療用裝置資訊CP1中所包含之圖像，藉此產生提示用資訊PN(圖9(A))。產生部360於該轉換時，尤其於包含於醫療用裝置資訊CP1之圖像之縱橫比與由共用影像規格381規定之圖像之縱橫比不同之情形時，維持包含於醫療用裝置資訊CP1之圖像之縱橫比而將圖像放大或縮小。於是，於提示用資訊PN之縱向或橫向產生無圖像之空白部分(於圖中以斜線表示)。
產生部360針對空白部分執行以下之b1、b2之任一者之程序。藉此，可將空白部分於頭戴式顯示器100中顯示為虛像，從而抑制遮蔽使用者之視野。
(b1)產生部360對提示用資訊PN之空白部分插入黑色之虛設點資料。
(b2)產生部360對提示用資訊PN之空白部分，將用以切換頭戴式顯示器100之右顯示驅動部22及左顯示驅動部24中之圖像光產生之有效/無效之信號(Enable(賦能)信號)設為Lo值(表示無效之值)。
如此一來，包含於提示用資訊PN之圖像之縱橫比不會變化。較佳為，使用資訊處理裝置300之醫療現場中之圖像(例如，手術部位之靜態圖像及動態圖像、CT圖像、MRI圖像、侖琴圖像等)，以不損及使用者視認之圖像之實際尺寸感覺之方式嚴格維持醫療用裝置500所拍攝之圖像之縱橫比。此方面，若維持包含於醫療用裝置資訊CP1之圖像之縱橫比，則可抑制藉由醫療用裝置500而測定或拍攝等之醫療用裝置資訊產生預想不到之畸變。再者，圖9(B)表示如下之提示用資訊PNx，該提示用資訊PNx係不維持包含於醫療用裝置資訊CP1之圖像之縱橫比，而對照由共用影像規格381規定之圖像之縱橫比進行放大，結果於資訊產生有畸變。
圖10係用以對提示用資訊之產生方法進行說明之說明圖。於頭 戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500為複數之情形時，產生部360產生配置有難以視認之所有醫療用裝置500之醫療用裝置資訊(圖10之例中，醫療用裝置資訊CP2、CP3)中所包含之圖像之第1圖像。此時，產生部360亦維持包含於醫療用裝置資訊之圖像之縱橫比。又，較佳為，包含於醫療用裝置資訊之圖像配置於第1圖像之端部。產生部360對所產生之第1圖像依照由共用影像規格381規定之影像信號之規格而進行轉換，藉此產生提示用資訊PN(圖10)。再者，產生部360對第1圖像中未配置包含於醫療用裝置資訊之圖像之空白部分(於圖中以斜線表示)，執行上述方法b1或b2之任一者之程序。藉此，可將空白部分於頭戴式顯示器100中顯示為虛像，從而抑制遮蔽使用者之視野。
於提示用資訊產生處理(圖6)之步驟S112中，產生部360使所產生之提示用資訊PNi記憶於手術之記錄384。
於步驟S114中，產生部360將所產生之提示用資訊PNi向連接有頭戴式顯示器100i之第2輸入輸出部370i發送。第2輸入輸出部370i對所接收到之提示用資訊PNi中包含之圖像依照頭戴式顯示器100i之影像信號之規格進行轉換。再者，此時，第2輸入輸出部370i亦可參照管理表382之「影像規格」。轉換影像規格之後，第2輸入輸出部370i對頭戴式顯示器100i發送提示用資訊PNi。
圖11係表示提示用資訊PNi於頭戴式顯示器100i中顯示為虛像之情況之說明圖。於自介面180或無線通訊部132接收到提示用資訊PNi之頭戴式顯示器100i中，藉由圖像處理部160進行上述顯示處理。其結果，被引導至頭戴式顯示器100i之使用者之兩眼之圖像光於使用者之視網膜成像，藉此使用者可於視野VR視認提示用資訊PNi之虛像VI。又，使用者可透過右光學像顯示部26及左光學像顯示部28，直接視認躺在手術台上之患者之情況(外景SC)。圖11之例中，於頭戴式顯 示器100i之使用者視認之虛像VI(i)，顯示有設為自頭戴式顯示器100i之使用者難以視認之醫療用裝置503獲取之醫療用裝置資訊CP2、與自醫療用裝置50n獲取之醫療用裝置資訊CP3。
圖12係表示於處於不同位置之複數個頭戴式顯示器100中，提示用資訊顯示為虛像之情況之說明圖。資訊處理裝置300之第2輸入輸出部370如圖12所示，亦可進行使提示用資訊中所包含之圖像之方向或大小與外景SC中所包含之對象物體之方向或大小一致之配適處理。所謂對象物體係指於醫療現場中例如患者之身體或身體之一部分。為了實現配適處理，於提示用資訊產生處理(圖6)之步驟S114中，第2輸入輸出部370i對包含於提示用資訊PNi之圖像依照頭戴式顯示器100i之影像信號之規格進行轉換之後，進行以下之程序c1~c5所示之處理。
(c1)第2輸入輸出部370i對頭戴式顯示器100i，指示使用攝像機61拍攝外景圖像而獲取所拍攝之外景圖像。
(c2)第2輸入輸出部370i使用如下述1、2之圖像識別之方法，提取外景圖像中所包含之對象物體之特徵。再者，方法1與2亦可加以組合。
1.檢測對象物體之邊緣(特徵)。
2.檢測預先賦予給對象物體之標記(特徵)。再者，賦予給物體之標記可使用各種標記。例如可使用條帶、密封體、標記油墨、雷射標記、魔術帶(註冊商標)等。又，賦予給對象物體之標記之數量為任意。
(c3)第2輸入輸出部370i藉由對包含於所接收到之提示用資訊之圖像進行圖像識別，而提取對象物體之特徵。此時，第2輸入輸出部370i可使用與上述1、2相同之圖像識別之方法。
(c4)第2輸入輸出部370i以程序c2中提取之外景圖像之特徵與程序 c3中提取之提示用資訊之特徵之位置一致之方式，修正提示用資訊中所包含之圖像CP。具體而言，於在程序c2、c3使用方法1之情形時，第2輸入輸出部370i以外景圖像之邊緣與提示用資訊之邊緣之輪廓或特徵性的部位之位置一致之方式，對提示用資訊中所包含之圖像CP進行放大、縮小、旋轉、反轉、修剪、畸變之賦予、雜訊之去除之至少任一種加工。此處，所謂特徵性的部位，於對象物體為活體之情形時，係指被切開之皮膚之輪廓、內臟之輪廓、關節、四肢之前端、血管、骨等。另一方面，於在程序c2、c3中使用方法2之情形時，第2輸入輸出部370i以外景圖像之標記與提示用資訊之標記之位置一致之方式，對提示用資訊中所包含之圖像CP進行放大、縮小、旋轉、反轉、修剪、畸變之賦予、雜訊之去除之至少任一種加工。
如此一來，第2輸入輸出部370藉由對頭戴式顯示器100(頭部配戴型顯示裝置)之使用者之視野方向之圖像進行圖像識別而提取包含於外景之物體之特徵，並基於所提取之特徵而修正藉由產生部360產生之提示用資訊。因此，於提示用資訊包含例如CT圖像、MRI圖像、侖琴圖像等不可視資訊之情形時，可使不可視資訊與外景中所包含之物體(例如患者之身體等)一致。其結果，可提高頭戴式顯示器100i之使用者之便利性。又，上述之配適處理係於連接於特定之頭戴式顯示器100i之第2輸入輸出部370i中執行，故而不會對連接於其他頭戴式顯示器100之第2輸入輸出部370施加處理負荷。進而，頭戴式顯示器100i可接收實施配適處理之後之提示用資訊，故而頭戴式顯示器100i之圖像處理部160直接顯示所接收到之提示用資訊即可。其結果，可使頭戴式顯示器100之構成簡單。
於提示用資訊產生處理(圖6)之步驟S116中，產生部360將變數i增大。其後，產生部360判定變數i是否為n以上(步驟S118)。變數i未達n(步驟S118：否)之情況，係指連接於第2輸入輸出部370之頭戴式 顯示器100中存在初始處理未結束之頭戴式顯示器100。因此，產生部360使處理向步驟S100過渡而繼續初始處理。另一方面，變數i為n以上(步驟S118：是)之情況係指所有頭戴式顯示器100之初始處理結束。因此，產生部360使處理向步驟S120之個別處理過渡。
A-4-2.個別處理：
個別處理中，產生部360基於來自頭戴式顯示器100之要求，產生包含自要求之醫療用裝置500獲取之醫療用裝置資訊、或自要求之醫療用裝置500以外之資訊源獲取之資訊之提示用資訊。
於提示用資訊產生處理(圖6)之步驟S120中，產生部360判定是否自頭戴式顯示器100接收到資訊源之選擇要求。此處，所謂資訊源之選擇要求，係指例如以下d1~d6所列舉之要求。
(d1)藉由醫療用裝置500而獲取之醫療用裝置資訊之閱覽要求
(d2)與外部設施之醫生PR之通話要求
(d3)記錄於醫院資料庫OD之資料之閱覽要求
(d4)記錄於不可視資訊383之資料之閱覽要求
(d5)記錄於手術之記錄384之資料之閱覽要求
(d6)頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500之醫療用裝置資訊之閱覽要求
要求d1之情形時之資訊源為醫療用裝置500。同樣地，要求d2之情形時之資訊源為醫生PR，要求d3之情形時之資訊源為資料庫OD，要求d4之情形時之資訊源為不可視資訊383，要求d5之情形時之資訊源為手術之記錄384，要求d6之情形時之資訊源為視認困難之醫療用裝置500。要求d1~d6既可單獨發行，亦可組合。資訊源之選擇要求根據頭戴式顯示器100之使用者之操作而適當發行。
頭戴式顯示器100例如可根據以下之程序e1~e5，對資訊處理裝置300發送資訊源之選擇要求。
(e1)頭戴式顯示器100之使用者經由頭戴式顯示器100之輸入器件(觸控板、方向鍵、腳踏開關、手勢、麥克風等)，而輸入希望之資訊源與用以特定資訊源內之資訊之資訊。作為輸入方法，若採用經由麥克風之聲音輸入，則可提高於使用者難以用手操作之醫療現場中使用頭戴式顯示器100之情形時之使用者之便利性。再者，於要求d1、d6之情形時，無須輸入「用以特定資訊源內之資訊之資訊」。
(e2)頭戴式顯示器100之輸入資訊獲取部110獲取與使用者之操作輸入對應之信號，並向OS150發送。
(e3)頭戴式顯示器100之OS150產生資訊源之選擇要求。具體而言，於要求d1之情形時，OS150產生包含頭戴式顯示器100之標識符與用以特定程序e1中指定之資訊源之標識符之資訊源之選擇要求。於要求d2~d5之情形時，OS150產生包含頭戴式顯示器100之標識符、用以特定程序e1中指定之資訊源之標識符、及用以特定資訊源內之資訊之資訊之資訊源之選擇要求。於要求d6之情形時，OS150產生包含頭戴式顯示器100之標識符、頭戴式顯示器100之當前位置資訊、及方位資訊之資訊源之選擇要求。再者，該當前位置資訊及方位資訊係藉由產生部360特定要求d6之「使用者難以視認顯示部之醫療用裝置500」所使用之資訊，相當於用以特定資訊源之資訊。
(e4)頭戴式顯示器100之OS150對經由介面180或無線通訊部132而連接之資訊處理裝置300，發送程序e3中產生之資訊源之選擇要求。
(e5)資訊處理裝置300之第2輸入輸出部370對產生部360發送已接收之資訊源之選擇要求。
於提示用資訊產生處理(圖6)中，於接收資訊源之選擇要求之情形時(步驟S120：有)，於步驟S122中，產生部360獲取包含於資訊源之選擇要求之頭戴式顯示器100i之標識符、用以特定資訊源之資訊、及用以特定資訊源內之資訊之資訊。進而，產生部360於插入當前位 置資訊及方位資訊作為用以特定資訊源之資訊之情形時，執行與圖6之步驟S110相同之處理，特定執行結果所獲得之「使用者難以視認顯示部之醫療用裝置500」。此處，所謂頭戴式顯示器100i，係指作為資訊源之選擇要求之發行源之頭戴式顯示器100(即，當前處理中之頭戴式顯示器100)。
於步驟S124中，產生部360訪問所指定之資訊源而獲取指定之資訊。然後，產生部360使用所獲取之資訊，而產生頭戴式顯示器100i用之提示用資訊PNi，並使所產生之提示用資訊PNi記憶於手術之記錄384。再者，產生部360產生提示用資訊之方法係如圖9及圖10中所說明般。
圖13係表示提示用資訊之第1例之說明圖。圖13(A)係於資訊源之選擇要求中指定有記憶於不可視資訊383之患者之侖琴圖像(CP4)之情形時，藉由產生部360而產生之提示用資訊PN之一例。再者，於資訊源之選擇要求中指定有可獲取不可視資訊之醫療用裝置500(侖琴圖像拍攝裝置)之情形時，亦產生與圖13(A)相同之提示用資訊。
圖13(B)係於資訊源之選擇要求中，指定有作為醫療用裝置500之手術用計時器、作為醫療用裝置500之脈搏計、及作為醫療用裝置500之生物監視器之情形時，藉由產生部360而產生之提示用資訊PN之一例。於提示用資訊PN之各端部，配置有自手術用計時器獲取之當前時刻CP5及自手術開始之經過時間CP7、自脈搏計獲取之脈搏之圖像CP6、自生物監視器獲取之心率(HR)、血壓(SYS/DIA)、及動脈血氧飽和度(SpO2)之圖像CP8。再者，頭戴式顯示器100如圖13(B)般，於指定複數個資訊源之情形時，於資訊源之選擇要求中，亦可指定各資訊源中之資訊之「配置」或「大小」。
圖14係表示提示用資訊之第2例之說明圖。圖14(A)係於資訊源之選擇要求中指定有記憶於醫院資料庫OD之學術書(CP9)及記憶於醫院 資料庫OD之手術之程序資訊(CP10)之情形時，藉由產生部360而產生之提示用資訊PN之一例。圖14(B)係於資訊源之選擇要求中指定有作為醫療用裝置500之用以拍攝手術部位之靜態圖像及動態圖像之可見光攝像機、及與外部設施之醫生PR之通話之情形時，藉由產生部360而產生之提示用資訊PN之一例。
圖15係表示提示用資訊之第3例之說明圖。圖15係於資訊源之選擇要求中指定有作為醫療用裝置500之生物監視器之情形時，藉由產生部360而產生之提示用資訊PN之一例。圖15所示之生物監視器不具備可連接於第1輸入輸出部310之介面。然而，若構成為資訊處理裝置300具備可見光攝像機，而且可見光攝像機拍攝生物監視器之畫面(CP13)，則產生部360可使用來自不具有可連接於第1輸入輸出部310之介面之醫療用裝置之醫療用裝置資訊，如圖15般產生提示用資訊PN。
於提示用資訊產生處理(圖6)之步驟S126中，產生部360將步驟S124中產生之提示用資訊PNi向連接有頭戴式顯示器100i之第2輸入輸出部370i發送之後，使處理向步驟S120過渡，繼續資訊源之選擇要求之接收之監視。接收提示用資訊PNi之第2輸入輸出部370i對所接收到之提示用資訊PNi中所包含之圖像依照頭戴式顯示器100i之影像信號之規格進行轉換。又，此時，第2輸入輸出部370i亦可執行配適處理。詳細情況係如步驟S114中所說明般。
於經由介面180或無線通訊部132而接收到提示用資訊PNi之頭戴式顯示器100i中，藉由圖像處理部160而進行上述顯示處理。其結果，已發送資訊源之選擇要求之頭戴式顯示器100i之使用者，可視認包含自資訊源之選擇要求中指定之資訊源獲取之資訊之提示用資訊PNi之虛像。
如以上般，根據第1實施形態之資訊處理裝置300，產生部360產 生包含藉由第1輸入輸出部310(獲取部、第1輸入輸出部311~31n)而獲取之複數種醫療用裝置資訊之至少一部分之提示用資訊PN，故而可將連接於資訊處理裝置300之第1輸入輸出部310之各種醫療用裝置500(醫療用裝置501~50n)之資訊(醫療用裝置資訊)統一化。又，產生部360於提示用資訊產生處理之初始處理中，產生至少包含藉由頭戴式顯示器100(圖像顯示裝置)之使用者難以視認顯示部之醫療用裝置500而獲取之醫療用裝置資訊之提示用資訊PN，故而可自統一化之醫療用裝置資訊，於難以視認顯示部之醫療用裝置500之醫療用裝置資訊之條件下提取資訊，而使所提取之資訊包含於提示用資訊PN。其結果，可實現將各種醫療用裝置500(醫療用裝置501~50n)之資訊統一化，並且自統一化之資訊簡便地篩選資訊，且可產生用以顯示於頭戴式顯示器100之資訊之資訊處理裝置300。
進而，第1實施形態之資訊處理裝置300藉由具備不可視資訊383(不可視資訊記憶部)，除了可將連接於資訊處理裝置300之第1輸入輸出部310(第1輸入輸出部311~31n)之各種醫療用裝置500(醫療用裝置501~50n)之醫療用裝置資訊統一化以外，進而亦可將記憶於不可視資訊383之不可視資訊統一化。又，產生部360亦可自統一化之資訊，例如如圖13般提取CT圖像、MRI圖像、侖琴(X射線)圖像、透視圖像、超音波診斷圖像、內視鏡圖像、熱紅外成像圖像等不顯現於物體之外觀之資訊即不可視資訊，而產生用以顯示於頭戴式顯示器100(圖像顯示裝置)之提示用資訊PN。其結果，連接於資訊處理裝置300之頭戴式顯示器100之使用者可視認該等不可視資訊，從而有助於提高頭戴式顯示器100之便利性。同樣地，產生部360亦可提取藉由用以獲取例如CT圖像、MRI圖像、侖琴(X射線)圖像、透視圖像、超音波診斷圖像、內視鏡圖像、熱紅外成像圖像等不顯現於物體之外觀之資訊即不可視資訊之醫療用裝置500而獲取之醫療用裝置資訊，而產 生用以顯示於頭戴式顯示器100之提示用資訊PN。其結果，連接於資訊處理裝置300之頭戴式顯示器100之使用者可視認該等之不可視資訊，從而有助於提高頭戴式顯示器100之便利性。
進而，根據第1實施形態之資訊處理裝置300，產生部360亦可提取藉由用以獲取手術部位之靜態圖像及動態圖像即患者之處置之圖像之醫療用裝置500而獲取之醫療用裝置資訊，而產生用以顯示於頭戴式顯示器100(圖像顯示裝置)之提示用資訊PN。其結果，連接於資訊處理裝置300之頭戴式顯示器100之使用者可視認患者之處置之圖像，從而有助於提高頭戴式顯示器100之便利性。
如以上所說明般，根據第1實施形態之資訊處理系統1000，可實現如下之資訊處理系統1000：可將各種醫療用裝置500(醫療用裝置501~50n)之資訊(醫療用裝置資訊)於資訊處理裝置300中統一化，並自統一化之資訊簡便地篩選資訊產生提示用資訊PN，使所謂之透過型頭戴式顯示器100(頭部配戴型顯示裝置)之使用者視認作為虛像之所產生之提示用資訊PN。
A-5.附加性處理：
再者，提示用資訊產生處理(圖6)中，進而亦可執行如以下之附加性處理。附加性處理既可單獨附加，亦可組合附加。
A-5-1.附加性處理1：
附加性處理1中，資訊處理裝置300進行針對提示用資訊之色彩轉換處理。具體而言，自產生部360接收到提示用資訊之第2輸入輸出部370，使頭戴式顯示器100之攝像機61獲取外景圖像。然後，第2輸入輸出部370根據所獲取之外景圖像之亮度、對比度、彩度、色相，而實施如使提示用資訊中所包含之圖像之視認性提高之色彩轉換處理。例如，第2輸入輸出部370可進行將提示用資訊中所包含之圖像之色相轉換為外景圖像之色相之補色之色彩轉換處理。
如此，根據附加性處理1，可使頭戴式顯示器100之使用者對虛像VI之視認性進一步提高。
A-5-2.附加性處理2：
附加性處理2中，資訊處理裝置300實現抑制由頭戴式顯示器100之使用者之頭之小幅晃動所引起之虛像VI之搖晃之所謂穩定器(stabilizer)功能。具體而言，自產生部360接收到提示用資訊之第2輸入輸出部370，每隔特定時間重複上述程序c1~c4中所說明之配適處理、與提示用資訊產生處理之步驟S114、S126之提示用資訊之發送。藉此，每隔特定時間重複外景圖像之拍攝、與提示用資訊中所包含之圖像之修正及顯示，故而可使追隨於使用者之頭部之經時性動作之提示用資訊顯示為虛像VI。
然而，追隨於頭戴式顯示器100之使用者之頭之輕微移動或搖動而提示用資訊頻頻變化之情況，反而有誘發使用者之眼睛疲勞之虞或有妨礙使用者之集中力之虞。因此，第2輸入輸出部370亦可進而於上述程序c1與程序c2之間進行以下之程序f1、f2所示之處理。
(f1)第2輸入輸出部370求出程序c1中拍攝之外景圖像與上次執行之配適處理之程序c1中拍攝之外景圖像之間之RGB直方圖(histogram)之變化量。
(f2)第2輸入輸出部370於在程序f1中求出之變化量超過特定閾值之情形時，繼續程序c2以後之處理。
如此，根據附加性處理2，第2輸入輸出部370於上次執行之配適處理中之外景圖像與當前執行中之配適處理中之外景圖像之間之變化量較小之情形時，即頭戴式顯示器100之使用者之頭之移動輕微之情形時，不進行提示用資訊中所包含之圖像之修正。其結果，可抑制追隨於頭戴式顯示器100之使用者之頭之輕微移動或搖動而提示用資訊頻頻變化，故而可抑制使用者之眼睛疲勞或集中力下降。再者，亦可 構成為可藉由使用者而指定穩定器功能之ON/OFF(開啟/關閉)。
A-5-3.附加性處理3：
附加性處理3中，資訊處理裝置300根據頭戴式顯示器100之圖像顯示部20與處於使用者之視野方向之物體之間之距離，而變更提示用資訊中所包含之圖像顯示為虛像VI之大小。具體而言，自產生部360接收到提示用資訊之第2輸入輸出部370可進行以下之程序g1~g3所示之處理，而代替上述程序c1~c4中所說明之配適處理。再者，於實施本處理之情形時，構成為頭戴式顯示器100進而具備測距感測器。測距感測器係用以藉由反射光而獲取處於使用者之視野方向之物體與圖像顯示部20之間之距離之感測器，例如可配置於攝像機61之附近。
(g1)第2輸入輸出部370自頭戴式顯示器100定期地獲取測距感測器之測定值。
(g2)第2輸入輸出部370根據所獲取之測距感測器之測定值而決定放大率(或縮小率)。
(g3)第2輸入輸出部370使用所決定之放大、縮小率，對提示用資訊中所包含之圖像進行放大、縮小、旋轉、反轉、修剪、畸變之賦予、雜訊之去除之至少任一種加工。
如此，根據附加性處理3，第2輸入輸出部370可根據處於頭戴式顯示器100之使用者之視野方向之物體與圖像顯示部20之間之距離，而變更提示用資訊顯示為虛像VI之大小。因此，可提高頭戴式顯示器100之使用者之便利性。
B.第2實施形態：
本發明之第2實施形態中，對基於表而自動地判定頭部配戴型顯示裝置之使用者難以視認顯示部之醫療用裝置之構成進行說明。以下，僅對具有與第1實施形態不同之構成及動作之部分進行說明。再者，於圖中對與第1實施形態相同之構成部分標註與上文說明之第1實 施形態相同之符號，並省略其詳細之說明。
B-1.資訊處理系統之構成：
第2實施形態中資訊處理系統1000a之概略構成與圖1所示之第1實施形態大致相同。但第2實施形態之資訊處理系統1000a具備資訊處理裝置300a來代替資訊處理裝置300。
B-2.資訊處理裝置之構成：
圖16係功能性地表示第2實施形態中之資訊處理裝置300a之構成之方塊圖。與圖2所示之第1實施形態之不同在於，具備產生部360a來代替產生部360，具備特定部361a來代替特定部361，以及具備外部記憶裝置380a來代替外部記憶裝置380。產生部360a與特定部361a係提示用資訊產生處理中之處理內容與第1實施形態不同。詳細情況將於下文敍述。外部記憶裝置380a除了第1實施形態中所說明之各構成以外，進而具備作為配置記憶部之位置表385。
圖17係表示位置表385之一例之說明圖。位置表385係用以特定頭戴式顯示器100a~100n之使用者難以視認顯示部之醫療用裝置500之表。位置表385係於提示用資訊產生處理中使用。
本實施形態之位置表385係將標識符、裝置1、裝置2、裝置3、裝置4、裝置5建立關聯而加以記憶。於「標識符」儲存有用以將連接於第2輸入輸出部370之頭戴式顯示器100相互辨別之唯一之標識符。於「裝置1」~「裝置5」儲存有藉由標識符而辨別之頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500之標識符。
圖17之例中，可知藉由標識符「1」而辨別之頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500為醫療用裝置503與醫療用裝置50n(入口E01)。同樣地，可知藉由標識符「2」而辨別之頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500為醫療用裝置503、醫療用裝置505、及醫療用裝置50n(入口E02)。
B-3.頭部配戴型顯示裝置之構成：
第2實施形態中之頭戴式顯示器100之概略構成與圖5所示之第1實施形態相同。
B-4.提示用資訊產生處理：
圖18係表示第2實施形態中之提示用資訊產生處理之程序之流程圖。與圖6所示之第1實施形態之不同在於，不具備步驟S100，及具備步驟S200~S204來代替步驟S104~S112，至於其他步驟則與第1實施形態相同。
於提示用資訊產生處理(圖18)之步驟S200中，產生部360a之特定部361a參照位置表385之第i個入口。產生部360a之特定部361a獲取儲存於位置表385之第i個入口之頭戴式顯示器100之「標識符」與「裝置1~5」(步驟S202)。
於步驟S204中，產生部360a使用第1輸入輸出部311~31n獲取之醫療用裝置501~50n之醫療用裝置資訊中、自具有步驟S202中獲取之標識符之醫療用裝置500、即自頭戴式顯示器100i之使用者難以視認顯示部之醫療用裝置500獲取之醫療用裝置資訊，而產生用以向頭戴式顯示器100i發送之提示用資訊PNi。提示用資訊之產生方法係與第1實施形態相同，故而省略說明。
如以上般，根據第2實施形態之資訊處理裝置300a，產生部360a之特定部361a可使用記憶用以特定頭戴式顯示器100(圖像顯示裝置)之使用者難以視認顯示部之醫療用裝置500之資訊之位置表385(配置記憶部)，自動地特定頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500。具體而言，特定部361a可特定由於醫療用裝置500處於使用者之死角而導致自使用者無法視認或難以視認顯示部之醫療用裝置500。又，特定部361a亦可特定由於醫療用裝置500處於遠離使用者之場所而導致自使用者無法視認或難以視認顯示部之醫療用裝置 500。進而，特定部361a可特定雖然醫療用裝置500不處於使用者之死角且處於接近使用者之場所，但由於使用者之視線與顯示部不對向而導致自使用者無法視認或難以視認顯示部之醫療用裝置500。又，特定部361a可自預先準備之位置表385獲取決定時必要之資訊。因此，於連接於資訊處理裝置300a之第1輸入輸出部310之醫療用裝置500或連接於資訊處理裝置300a之第2輸入輸出部370之頭戴式顯示器100不具有位置資訊之檢測機構之情形時，特定部361a亦可特定頭戴式顯示器100之使用者難以視認顯示部之醫療用裝置500。
B-5.附加性處理：
再者，於第2實施形態之提示用資訊產生處理(圖18)中，亦可執行與「A-5-1.附加性處理1」~「A-5-3.附加性處理3」中所說明之第1實施形態相同之附加性處理。
C.變化例：
於上述實施形態中，既可將藉由硬體而實現之構成之一部分置換為軟體，相反，亦可將藉由軟體而實現之構成之一部分置換為硬體。另外，亦可進行以下之變化。
‧變化例1：
上述實施形態中，對資訊處理系統之構成進行了例示。然而，資訊處理系統之構成可於不脫離本發明之主旨之範圍中任意規定，例如，可進行構成資訊處理系統之各裝置之追加、刪除、轉換等。又，可進行構成資訊處理系統之裝置之網路構成之變更。
例如，資訊處理裝置之管理表、不可視資訊、手術之記錄、位置表亦可儲存於連接於醫院LAN之資料庫OD。又，資料庫OD並不限定於設置於醫院，亦可經由網際網路INT而設置於外部(例如，設置於醫院外之雲端伺服器(cloud server)等)。
‧變化例2：
上述實施形態中，對資訊處理裝置之構成進行了例示。然而，資訊處理裝置之構成可於不脫離本發明之主旨之範圍中任意規定，例如，可進行各構成部之追加、刪除、轉換等。
例如，資訊處理裝置亦可具備觸控面板、輸入按鈕、鍵盤、滑鼠、麥克風、攝像機等各種輸入器件。同樣地，資訊處理裝置亦可具備顯示器、指示器(indicator)、用以輸出與手術相關之簡易之日誌之印表機等各種輸出元件。
例如，記載有產生部、第2輸入輸出部(提供部)中之各功能係藉由CPU將儲存於ROM或硬碟之電腦程式於RAM展開並執行而實現。然而，該等功能亦可使用為了實現該功能而設計之ASIC(Application Specific Integrated Circuit：特定應用積體電路)而實現。
例如，於資訊處理裝置中，構成為具備顯示器、獲取位置資訊之當前位置獲取部、及方位感測器。而且，亦可構成為資訊處理裝置之CPU使用資訊處理裝置之位置資訊與方位資訊，進行與第1實施形態之提示用資訊產生處理(圖6)中之初始處理相同之處理，特定資訊處理裝置之使用者難以視認顯示部之醫療用裝置，使自所特定之醫療用裝置獲取之醫療用裝置資訊顯示於資訊處理裝置之顯示器。如此一來，站立於資訊處理裝置之附近之利用者可確認資訊處理裝置所具備之顯示器。如此一來，不持有本發明之頭戴式顯示器(圖像顯示裝置)之工作人員亦可容易地掌握資訊。
例如，於資訊處理裝置中，構成為具備獲取資訊處理裝置朝向之方向之外景圖像之攝像機。而且，亦可構成為進行與第1實施形態之提示用資訊產生處理(圖6)之使用程序z1~z6之初始處理相同之處理，而特定資訊處理裝置之使用者難以視認顯示部之醫療用裝置，並使自所特定之醫療用裝置獲取之醫療用裝置資訊顯示於資訊處理裝置之顯示器。如此一來，站立於資訊處理裝置之附近之利用者可確認資 訊處理裝置所具備之顯示器。如此一來，不持有本發明之頭戴式顯示器(圖像顯示裝置)之工作人員亦可容易地掌握資訊。
例如，於資訊處理裝置中，構成為具備顯示器，且構成為於位置表儲存有資訊處理裝置之使用者難以視認顯示部之醫療用裝置之標識符。而且，亦可構成為資訊處理裝置之CPU使用位置表進行與第2實施形態之提示用資訊產生處理(圖18)中之初始處理相同之處理，特定資訊處理裝置之使用者難以視認顯示部之醫療用裝置，並使自所特定之醫療用裝置獲取之醫療用裝置資訊顯示於資訊處理裝置之顯示器。如此一來，站立於資訊處理裝置之附近之利用者可確認資訊處理裝置所具備之顯示器。如此一來，不持有本發明之頭戴式顯示器(圖像顯示裝置)之工作人員亦可容易地掌握資訊。
例如，第1實施形態之提示用資訊產生處理(圖6)之使用程序z1~z6之初始處理中之提供部之功能亦可於頭戴式顯示器中實現。於該情形時，於頭戴式顯示器中，進行使用者難以視認顯示部之醫療用裝置之特定之後，頭戴式顯示器之介面(通知部)將所特定之醫療用裝置之標識符通知給資訊處理裝置。資訊處理裝置使用自具有所通知之標識符之醫療用裝置獲取之醫療用裝置資訊，依照與上述第1實施形態相同之程序而產生提示用資訊即可。如此一來，可將特定部設置於頭戴式顯示器，故而可減少資訊處理裝置中之處理負荷。
‧變化例3：
上述實施形態中，對頭戴式顯示器之構成進行了例示。然而，頭戴式顯示器之構成可於不脫離本發明之主旨之範圍中任意規定，例如，可進行各構成部之追加、刪除、轉換等。例如，控制部與圖像顯示部亦可藉由經由無線LAN或紅外線通訊或藍牙等無線之信號傳輸路徑之連接而連接。又，例如，作為電源，亦可採用一次電池、或燃料電池、太陽電池、熱電池等。
上述實施形態中之對於控制部與圖像顯示部之構成要素之分配只不過為一例，可採用各種態樣。例如，亦可為如以下般之態樣。(i)於控制部搭載CPU或記憶體等之處理功能，於圖像顯示部僅搭載顯示功能之態樣；(ii)於控制部與圖像顯示部之兩者搭載CPU或記憶體等之處理功能之態樣；(iii)使控制部與圖像顯示部一體化之態樣(例如，於圖像顯示部包含控制部並作為眼鏡型之可佩帶式電腦(wearable computer)而發揮功能之態樣)；(iv)使用智慧型電話或攜帶型遊戲機代替控制部之態樣；及(v)藉由將控制部與圖像顯示部設為可無線通訊且無線供電之構成，而取消纜線之態樣。
例如，輸入資訊獲取部亦可使用除上述實施形態中例示之方法以外之各種方法，而獲取來自使用者之操作輸入。例如，亦可藉由腳踏開關(藉由使用者之腳而操作之開關)獲取操作輸入。又，例如，亦可於圖像顯示部設置紅外線感測器等視線偵測部，並且偵測使用者之視線，而獲取利用與視線之移動對應之命令之操作輸入。又，例如，亦可使用攝像機偵測使用者之手勢，而獲取利用與手勢對應之命令之操作輸入。於偵測手勢時，可形成為用以移動檢測使用者之指尖、戴在使用者之手上之指環、或使用者之手所拿著之醫療器具等之目標。若可獲得藉由腳踏開關或視線而進行之操作輸入，則輸入資訊獲取部即便於使用者難以騰開手之醫療現場，亦可容易地獲取來自使用者之操作輸入。
例如，頭戴式顯示器係設為雙眼型之透過型頭戴式顯示器，但亦可設為單眼型之頭戴式顯示器。又，亦可構成為於使用者配戴有頭戴式顯示器之狀態下遮斷外景之透過之非透過型頭戴式顯示器。上述實施形態中，使圖像顯示部為如眼鏡般配戴之頭戴式顯示器，例如亦可為採用如帽子般配戴之類型之圖像顯示部等其他形狀之圖像顯示部之頭戴式顯示器。又，耳機既可採用耳掛型或頭帶(headband)型，亦 可省略。進而，例如亦可構成為搭載於汽車或飛機等車輛之抬頭顯示器(HUD，Head-Up Display)。此外，亦可構成為內置於頭盔等身體防護具之頭戴式顯示器。
圖19係表示變化例中之頭戴式顯示器之外觀之構成之說明圖。於圖19(A)之例之情形時，圖像顯示部20a具備右光學像顯示部26a代替右光學像顯示部26，具備左光學像顯示部28a代替左光學像顯示部28。右光學像顯示部26a較第1實施形態之光學構件更小地形成，且配置於頭戴式顯示器之配戴時之使用者之右眼之斜上方。同樣地，左光學像顯示部28a較第1實施形態之光學構件更小地形成，且配置於頭戴式顯示器之配戴時之使用者之左眼之斜上方。於圖19(B)之例之情形時，圖像顯示部20b具備右光學像顯示部26b代替右光學像顯示部26，具備左光學像顯示部28b代替左光學像顯示部28。右光學像顯示部26b較第1實施形態之光學構件更小地形成，且配置於頭戴式顯示器之配戴時之使用者之右眼之斜下方。左光學像顯示部28b較第1實施形態之光學構件更小地形成，且配置於頭戴式顯示器之配戴時之使用者之左眼之斜下方。如此，光學像顯示部只要配置於使用者之眼睛之附近即可。又，形成光學像顯示部之光學構件之大小亦為任意，亦可設為光學像顯示部僅覆蓋使用者之眼睛之一部分之態樣，換言之設為光學像顯示部不完全覆蓋使用者之眼睛之態樣之頭戴式顯示器而實現。
例如，上述實施形態中，顯示驅動部使用背光、背光控制部、LCD、LCD控制部、及投影光學系統而構成。然而，上述態樣只不過為例示。顯示驅動部亦可與該等構成部一同具備用以實現其他方式之構成部，或代替該等之構成部。例如，顯示驅動部亦可使用正面光(front light)方式或反射方式而射出圖像光。又，例如，顯示驅動部亦可為具備有機EL(有機電致發光，Organic Electro-Luminescence)之顯示器、有機EL控制部、及投影光學系統之構成。又，例如，顯示驅 動部亦可使用數位微鏡裝置(digital micromirror device)等代替LCD。又，例如，對雷射視網膜投影型之頭部配戴型顯示裝置亦可應用本發明。
‧變化例4：
上述實施形態中，表示了提示用資訊產生處理之一例。然而，提示用資訊產生處理之程序只不過為一例，可進行各種變化。例如，既可省略一部分之步驟，亦可進而追加其他步驟。又，亦可變更執行之步驟之程序。
例如，第1實施形態之提示用資訊產生處理(圖6)中之初始處理中，使用頭戴式顯示器之當前位置資訊與方位資訊、及醫療用裝置之位置資訊，而特定頭戴式顯示器之使用者難以視認顯示部之醫療用裝置。然而，亦可將藉由頭戴式顯示器之9軸感測器而獲得之使用者之頭部之移動(頭部之速度、加速度、角速度、方向、方向之變化)加以組合，而特定頭戴式顯示器之使用者難以視認顯示部之醫療用裝置。
例如，對於連接於第2輸入輸出部之複數個頭戴式顯示器，使用變數i串列地進行初始處理，但圖6及圖18中所說明之初始處理亦可對於連接於第2輸入輸出部之複數個頭戴式顯示器並列地執行。
例如，上述實施形態中所說明之不可視資訊設定二維地表現之圖像。然而，作為醫療用裝置，亦可連接有可拍攝三維之不可視圖像之裝置。又，記憶於外部記憶裝置之不可視資訊亦可為自使用攝像機器拍攝之複數個圖像製成之三維模型。於使用三維地表現之不可視資訊之情形時，產生部於產生提示用資訊之前，進行三維模型之渲染。然後，使用渲染後之圖像而產生提示用資訊。如此一來，可自各個方向視認不顯現於對象物體之外觀之資訊。
例如，於接收到提示用資訊之頭戴式顯示器中，亦可根據使用者之要求而將提示用資訊中所包含之圖像顯示為虛像VI之大小放大、 縮小。同樣地，頭戴式顯示器既可根據使用者之要求，而不顯示提示用資訊中所包含之圖像，亦可對提示用資訊中所包含之圖像進行色彩轉換。又，作為來自使用者之要求之輸入方法，若採用經由麥克風之聲音輸入，則可大大提高於使用者難以使用手操作之醫療現場中使用頭戴式顯示器之情形時之使用者之便利性。
例如，亦可省略提示用資訊產生處理中之初始處理與個別處理中之任一者。又，初始處理亦可於提示用資訊產生處理開始之後立即執行。與初始處理相同之處理亦可根據來自使用者或其他應用程序之要求而適當執行。
‧變化例5：
上述實施形態中，表示了共用影像規格、管理表、及位置表之一例。然而，該等詳細內容只不過為一例，可進行各種變更。例如，可進行字段(項目)之追加、刪除、變更。又，管理表與位置表亦可分割為複數個表而標準化。
例如，於管理表，亦可代替用以相互辨別頭戴式顯示器之標識符或與標識符一同記憶頭戴式顯示器之使用者之聲波紋。如此一來，資訊處理裝置可基於經由麥克風而獲取之使用者之聲波紋，而獲取該使用者使用之頭戴式顯示器之職務或影像規格，執行提示用資訊產生處理。
例如，於管理表，亦可與頭戴式顯示器之標識符建立對應進而記憶有用以使用於頭戴式顯示器與資訊處理裝置之通訊之資訊(例如，頭戴式顯示器之IP(Internet Protocol，網際協議)位址、MAC(Media Access Control，媒體存取控制)位址、密鑰等)。又，於管理表，亦可代替表示影像信號之規格之圖案之「影像規格」，而記憶有各頭戴式顯示器中採用之實際之影像規格本身(即，與記憶於共用影像規格之項目相同之項目)。
例如，構成為於位置表，可與頭戴式顯示器之標識符建立對應而儲存頭戴式顯示器之使用者難以視認顯示部之最大5個裝置之標識符。然而，於位置表，可具備任意數之「裝置」字段。
‧變化例6：
本發明並不限定於上述實施形態或實施例、變化例，可於不脫離其主旨之範圍中以各種構成實現。例如，與發明內容欄中記載之各形態中之技術性特徵對應之實施形態、實施例、變化例中之技術性特徵，為了解決上述問題之一部分或全部，或者為了達成上述效果之一部分或全部，可適當進行替換或組合。又，該技術性特徵只要未被說明為本說明書中所必須者，則可適當刪除。

Claims (11)

  1. 一種資訊處理裝置，其連接於複數個醫療用裝置，且包括：獲取部，其獲取自上述複數個醫療用裝置獲取之資訊即複數種醫療用裝置資訊；產生部，其產生包含藉由上述獲取部而獲取之上述複數種醫療用裝置資訊之一部分而非全部之提示用資訊；提供部，其對顯示圖像之圖像顯示裝置即使用者可同時視認虛像之上述圖像與外景之透過型的頭部配戴型顯示裝置，輸出所產生之上述提示用資訊，且獲取上述圖像顯示裝置之使用者之視野方向之圖像；及特定部，其將所獲取之上述視野方向之圖像進行圖像識別，而特定出上述複數個醫療用裝置中顯示部不包含於上述視野方向之圖像中的第1種醫療用裝置；且上述產生部產生至少包含藉由上述第1種醫療用裝置而獲取之上述醫療用裝置資訊之上述提示用資訊。
  2. 如請求項1之資訊處理裝置，其中上述獲取部進而分別獲取連接於上述資訊處理裝置之上述複數個醫療用裝置之位置資訊，且上述提供部進而獲取表示連接於上述資訊處理裝置之上述圖像顯示裝置之當前位置之當前位置資訊、與表示上述使用者之頭部之方向之方位資訊，且該資訊處理裝置進而包括特定部，該特定部使用藉由上述獲取部而獲取之上述複數個上述醫療用裝置之上述位置資訊、與藉由上述提供部而獲取之上述圖像顯示裝置之上述當前位置資訊及上述方位資訊，而特定上述第1種醫療用裝置。
  3. 如請求項1或2之資訊處理裝置，其進而包括配置記憶部，該配 置記憶部記憶用以特定上述第1種醫療用裝置之資訊，且該資訊處理裝置進而包括特定部，該特定部使用上述配置記憶部而特定上述第1種醫療用裝置。
  4. 如請求項1或2之資訊處理裝置，其進而包括不可視資訊記憶部，該不可視資訊記憶部記憶不顯現於物體之外觀之資訊即不可視資訊，且對於上述產生部所產生之上述提示用資訊，含括上述不可視資訊。
  5. 如請求項1或2之資訊處理裝置，其中於上述資訊處理裝置，連接至少1台用以獲取不顯現於物體之外觀之資訊即不可視資訊之上述醫療用裝置，且對於上述產生部所產生之上述提示用資訊，含括藉由用以獲取上述不可視資訊之上述醫療用裝置而獲取之上述醫療用裝置資訊。
  6. 如請求項1或2之資訊處理裝置，其中於上述資訊處理裝置，連接至少1台用以獲取患者之處置之圖像之上述醫療用裝置，且對於上述產生部所產生之上述提示用資訊，含括藉由用以獲取上述處置之圖像之上述醫療用裝置而獲取之上述醫療用裝置資訊。
  7. 如請求項1或2之資訊處理裝置，其中上述產生部於產生上述提示用資訊時，維持上述醫療用裝置資訊中所包含之圖像之縱橫比，而將上述圖像放大或縮小。
  8. 如請求項1或2之資訊處理裝置，其中上述提供部進而自上述頭部配戴型顯示裝置，獲取配戴上述頭部配戴型顯示裝置之狀態下之使用者之視野方向之圖像，藉由將所獲取之上述視野方向之圖像進行圖像識別而提取外 景中所包含之物體之特徵，且基於所提取之上述特徵而將藉由產生部產生之上述提示用資訊進行修正，並輸出修正後之上述提示用資訊。
  9. 一種資訊處理方法，其包括如下步驟：(a)獲取自複數個醫療用裝置獲取之資訊即複數種醫療用裝置資訊；(b)產生包含所獲取之上述複數種醫療用裝置資訊之一部分而非全部之提示用資訊；(c)對顯示圖像之圖像顯示裝置即使用者可同時視認虛像之上述圖像與外景之頭部配戴型顯示裝置，輸出所產生之上述提示用資訊；(d)獲取上述圖像顯示裝置之使用者之視野方向之圖像；及(e)將所獲取之上述視野方向之圖像進行圖像識別，而特定出上述複數個醫療用裝置中顯示部不包含於上述視野方向之圖像中的第1種醫療用裝置；且上述步驟(b)產生至少包含藉由上述第1種醫療用裝置而獲取之上述醫療用裝置資訊之上述提示用資訊。
  10. 一種資訊處理系統，其包括：複數個醫療用裝置；資訊處理裝置，其連接於上述複數個醫療用裝置；及透過型的頭部配戴型顯示裝置，其供使用者可同時視認虛像與外景；且上述資訊處理裝置包括：獲取部，其獲取自上述複數個醫療用裝置獲取之資訊即複數種醫療用裝置資訊；產生部，其產生包含藉由上述獲取部而獲取之上述複數種 醫療用裝置資訊之一部分而非全部之提示用資訊；提供部，其對上述頭部配戴型顯示裝置輸出所產生之上述提示用資訊，且獲取上述頭部配戴型顯示裝置之使用者之視野方向之圖像；及特定部，其將所獲取之上述視野方向之圖像進行圖像識別，而特定出上述複數個醫療用裝置中顯示部不包含於上述視野方向之圖像中的第1種醫療用裝置；上述頭部配戴型顯示裝置包括：提示用資訊獲取部，其自上述資訊處理裝置獲取上述提示用資訊；及圖像顯示部，其使上述頭部配戴型顯示裝置之使用者視認所獲取之上述提示用資訊作為上述虛像；且上述資訊處理裝置之上述產生部產生至少包含藉由上述第1種醫療用裝置而獲取之上述醫療用裝置資訊之上述提示用資訊。
  11. 一種頭部配戴型顯示裝置，其連接於如請求項1之資訊處理裝置，且係使用者可同時視認虛像與外景之透過型的頭部配戴型顯示裝置，其包括：圖像獲取部，其獲取配戴有上述頭部配戴型顯示裝置之狀態下之上述使用者之視野方向之圖像；特定部，其將所獲取之上述視野方向之圖像進行圖像識別，而特定出上述第1種醫療用裝置；通知部，其將上述第1種醫療用裝置通知給上述資訊處理裝置；提示用資訊獲取部，其自上述資訊處理裝置獲取上述提示用資訊；及圖像顯示部，其使上述使用者視認所獲取之上述提示用資訊作為上述虛像。
TW103124036A 2013-07-16 2014-07-11 資訊處理裝置、資訊處理方法、及資訊處理系統 TWI617279B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-147418 2013-07-16
JP2013147418A JP6252004B2 (ja) 2013-07-16 2013-07-16 情報処理装置、情報処理方法、および、情報処理システム

Publications (2)

Publication Number Publication Date
TW201503865A TW201503865A (zh) 2015-02-01
TWI617279B true TWI617279B (zh) 2018-03-11

Family

ID=51399745

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103124036A TWI617279B (zh) 2013-07-16 2014-07-11 資訊處理裝置、資訊處理方法、及資訊處理系統

Country Status (8)

Country Link
US (1) US9898662B2 (zh)
EP (1) EP3022671B1 (zh)
JP (1) JP6252004B2 (zh)
KR (1) KR20160030994A (zh)
CN (1) CN104298499B (zh)
RU (1) RU2645004C2 (zh)
TW (1) TWI617279B (zh)
WO (1) WO2015008469A2 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005086802A2 (en) 2004-03-08 2005-09-22 Proxense, Llc Linked account system using personal digital key (pdk-las)
US8219129B2 (en) 2006-01-06 2012-07-10 Proxense, Llc Dynamic real-time tiered client access
US11206664B2 (en) 2006-01-06 2021-12-21 Proxense, Llc Wireless network synchronization of cells and client devices on a network
US7904718B2 (en) * 2006-05-05 2011-03-08 Proxense, Llc Personal digital key differentiation for secure transactions
US8659427B2 (en) 2007-11-09 2014-02-25 Proxense, Llc Proximity-sensor supporting multiple application services
US8508336B2 (en) 2008-02-14 2013-08-13 Proxense, Llc Proximity-based healthcare management system with automatic access to private information
US8918854B1 (en) 2010-07-15 2014-12-23 Proxense, Llc Proximity-based system for automatic application initialization
AU2011336647B2 (en) * 2010-12-02 2015-02-12 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US9265450B1 (en) 2011-02-21 2016-02-23 Proxense, Llc Proximity-based system for object tracking and automatic application initialization
JP6351579B2 (ja) 2012-06-01 2018-07-04 ウルトラデント プロダクツ インク． 立体ビデオ撮像
US9405898B2 (en) 2013-05-10 2016-08-02 Proxense, Llc Secure element as a digital pocket
US10466858B2 (en) * 2013-12-01 2019-11-05 Upskill, Inc. Systems and methods for interacting with a virtual menu
KR101570857B1 (ko) * 2014-04-29 2015-11-24 큐렉소 주식회사 로봇 수술 계획 조정 장치
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
WO2017064996A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
JP6490001B2 (ja) * 2015-12-25 2019-03-27 ウエストユニティス株式会社 メディカルシステム
JP6714085B2 (ja) * 2015-12-29 2020-06-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
WO2017216929A1 (ja) * 2016-06-16 2017-12-21 株式会社オプティム 医療機器情報提供システム、医療機器情報提供方法及びプログラム
US9844321B1 (en) * 2016-08-04 2017-12-19 Novartis Ag Enhanced ophthalmic surgical experience using a virtual reality head-mounted display
WO2018132336A1 (en) * 2017-01-11 2018-07-19 Magic Leap, Inc. Medical assistant
JP6828465B2 (ja) * 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
CN110914789A (zh) * 2017-05-16 2020-03-24 皇家飞利浦有限公司 用于协同介入的增强现实
CN107846458A (zh) * 2017-10-30 2018-03-27 深圳市世和丹利投资管理有限公司 生物信息检测系统及其检测方法
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN112955073A (zh) * 2018-08-22 2021-06-11 奇跃公司 患者观察系统
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
JP7123164B2 (ja) * 2018-11-28 2022-08-22 オリンパス株式会社 医療画像記録制御装置、医療画像記録制御システム及び医療画像記録制御方法
US11564633B2 (en) 2018-12-21 2023-01-31 Industrial Technology Research Institute State assessment system, diagnosis and treatment system, and method for operating the diagnosis and treatment system
TWI704947B (zh) * 2019-06-03 2020-09-21 大禾塑膠股份有限公司 具有雙階魔術方塊功能之指尖陀螺
RU2697733C1 (ru) * 2019-06-10 2019-08-19 Общество с ограниченной ответственностью "Медицинские Скрининг Системы" Система обработки рентгенографических изображений и вывода результата пользователю
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
JP7460426B2 (ja) 2020-03-31 2024-04-02 住友重機械工業株式会社 Ｘ線ｃｔ装置
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US20220108788A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Reconfiguration of display sharing
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11289196B1 (en) 2021-01-12 2022-03-29 Emed Labs, Llc Health testing and diagnostics platform
EP4030219A1 (en) * 2021-01-13 2022-07-20 BHS Technologies GmbH Medical imaging system and method of controlling such imaging system
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11610682B2 (en) 2021-06-22 2023-03-21 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
US20060071135A1 (en) * 2002-12-06 2006-04-06 Koninklijke Philips Electronics, N.V. Apparatus and method for automated positioning of a device
US20060079752A1 (en) * 2004-09-24 2006-04-13 Siemens Aktiengesellschaft System for providing situation-dependent, real-time visual support to a surgeon, with associated documentation and archiving of visual representations
US20100299627A1 (en) * 2009-05-20 2010-11-25 Qualcomm Incorporated Method and apparatus for content boundary detection and scaling
EP2271078A2 (en) * 2009-07-01 2011-01-05 Samsung Electronics Co., Ltd. Image displaying apparatus and image displaying method
WO2011003437A1 (de) * 2009-07-06 2011-01-13 Siemens Aktiengesellschaft Visualisierungssystem zur korrekten ausrichtung einer ausgabeeinheit zu einem benutzer sowie verfahren hierzu
US20120013723A1 (en) * 2006-12-07 2012-01-19 Swiss Medical Technology Gmbh Support System and Method for Viewer-Dependent Positioning and Alignment of a Display Unit
DE102010052244A1 (de) * 2010-11-23 2012-05-24 Pierre-Alain Cotte Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät
EP2544039A1 (en) * 2011-07-04 2013-01-09 BAE Systems Plc. Display system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485172A (en) * 1993-05-21 1996-01-16 Sony Corporation Automatic image regulating arrangement for head-mounted image display apparatus
US5978015A (en) * 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
JP2001104331A (ja) 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
WO2008026258A1 (fr) 2006-08-30 2008-03-06 Totoku Electric Co., Ltd. Dispositif d'affichage d'images et programme d'affichage d'images
US8903430B2 (en) * 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
JP5476036B2 (ja) 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
JP2013034764A (ja) 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
JP6299067B2 (ja) * 2013-02-14 2018-03-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
US20060071135A1 (en) * 2002-12-06 2006-04-06 Koninklijke Philips Electronics, N.V. Apparatus and method for automated positioning of a device
US20060079752A1 (en) * 2004-09-24 2006-04-13 Siemens Aktiengesellschaft System for providing situation-dependent, real-time visual support to a surgeon, with associated documentation and archiving of visual representations
US20120013723A1 (en) * 2006-12-07 2012-01-19 Swiss Medical Technology Gmbh Support System and Method for Viewer-Dependent Positioning and Alignment of a Display Unit
US20100299627A1 (en) * 2009-05-20 2010-11-25 Qualcomm Incorporated Method and apparatus for content boundary detection and scaling
EP2271078A2 (en) * 2009-07-01 2011-01-05 Samsung Electronics Co., Ltd. Image displaying apparatus and image displaying method
WO2011003437A1 (de) * 2009-07-06 2011-01-13 Siemens Aktiengesellschaft Visualisierungssystem zur korrekten ausrichtung einer ausgabeeinheit zu einem benutzer sowie verfahren hierzu
DE102010052244A1 (de) * 2010-11-23 2012-05-24 Pierre-Alain Cotte Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät
EP2544039A1 (en) * 2011-07-04 2013-01-09 BAE Systems Plc. Display system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ronald T Azuma," A Survey of Augmented Reality", Presence: Teleoperators and Virtual Environments, 19970801 MIT Press, Vol:6,Nr:4,Page(s):355 – 385. *
Sebastian Vogt, Ali Khamene, Frank Sauer," Reality Augmentation for Medical Procedures: System Architecture, Single Camera Marker Tracking, and System Evaluation", International Journal of Computer Vision, 20061101 Kluwer Academic Publishers, Bo, Vol:70,Nr:2,Page(s):179 – 190. *

Also Published As

Publication number Publication date
TW201503865A (zh) 2015-02-01
EP3022671A2 (en) 2016-05-25
US20160148052A1 (en) 2016-05-26
WO2015008469A3 (en) 2015-05-14
US9898662B2 (en) 2018-02-20
WO2015008469A2 (en) 2015-01-22
RU2645004C2 (ru) 2018-02-15
JP2015019678A (ja) 2015-02-02
CN104298499B (zh) 2019-01-29
RU2016104876A (ru) 2017-08-21
CN104298499A (zh) 2015-01-21
KR20160030994A (ko) 2016-03-21
EP3022671B1 (en) 2018-08-15
JP6252004B2 (ja) 2017-12-27

Similar Documents

Publication Publication Date Title
TWI617279B (zh) 資訊處理裝置、資訊處理方法、及資訊處理系統
US11341726B2 (en) Information processing apparatus, information processing method, and information processing system
US10169925B2 (en) Head mounted display and control method for head mounted display
JP6299067B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
JP2015019679A (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP6264855B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP6409927B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法