KR20150116892A - 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 - Google Patents
두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 Download PDFInfo
- Publication number
- KR20150116892A KR20150116892A KR1020157024204A KR20157024204A KR20150116892A KR 20150116892 A KR20150116892 A KR 20150116892A KR 1020157024204 A KR1020157024204 A KR 1020157024204A KR 20157024204 A KR20157024204 A KR 20157024204A KR 20150116892 A KR20150116892 A KR 20150116892A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- user
- unit
- head
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 212
- 238000012545 processing Methods 0.000 claims abstract description 270
- 238000012937 correction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 21
- 239000003550 marker Substances 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000009966 trimming Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims 7
- 230000001276 controlling effect Effects 0.000 claims 1
- 230000002596 correlated effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 127
- 230000003287 optical effect Effects 0.000 description 54
- 238000010586 diagram Methods 0.000 description 46
- 210000003128 head Anatomy 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000002591 computed tomography Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 12
- 230000006854 communication Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 210000001747 pupil Anatomy 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 239000000470 constituent Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000001931 thermography Methods 0.000 description 5
- 230000004304 visual acuity Effects 0.000 description 5
- 210000001145 finger joint Anatomy 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003754 machining Methods 0.000 description 3
- 206010052143 Ocular discomfort Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000003381 stabilizer Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 101100259947 Homo sapiens TBATA gene Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/462—Displaying means of special interest characterised by constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- A61B2019/262—
-
- A61B2019/5229—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Instrument Panels (AREA)
Abstract
사용자가 허상과 외경(外景)을 시인 가능한 두부 장착형 표시 장치로서, 사용자에게 시인시키는 허상을 형성하는 화상 표시부와, 외경에 포함되는 물체에 대하여, 물체의 외관에 나타나지 않는 불가시 정보를 중첩시키기 위한 중첩 정보에 기초하는 허상을, 화상 표시부에 형성시키는 중첩 처리부를 포함한다.
Description
본 발명은, 두부(head) 장착형 표시 장치에 관한 것이다.
두부에 장착하는 표시 장치인 두부 장착형 표시 장치(두부 장착형 표시 장치(Head Mounted Display, HMD))가 알려져 있다. HMD는, 예를 들면, 액정 디스플레이와 광원을 이용하여 화상을 나타내는 화상광(image light)을 생성하고, 생성된 화상광을 투사 광학계나 도광판 등을 이용하여 사용자의 눈으로 유도함으로써, 사용자에게 허상을 인식시킨다.
특허문헌 1에는, 이러한 두부 장착형 표시 장치를 이용한 수술용 촬상 시스템(imaging system) 및 수술용 로봇이 기재되어 있다. 특허문헌 1에 기재된 기술에서는, 두부 장착형 표시 장치의 사용자(시술자)는, 환자의 체강(body cavity) 내에 삽입된 내시경에 의한 화상을 허상으로서 시각적으로 시인하면서, 수술용 매니퓰레이터(manipulator)를 조작하여 수술을 행한다. 특허문헌 2에는, 의료용 안면 장착형 영상 표시 장치(두부 장착형 표시 장치)가 기재되어 있다. 특허문헌 2에 기재된 기술에서는, 안면 장착형 표시 장치의 사용자는, 내시경 화상을 시인하는 경우는 사용자의 시선을 수평 방향을 향하여, 본체의 정면에 배치된 LCD를 본다. 또한, 사용자가 외경(external scenery)을 시인하는 경우에, 사용자는 시선을 연직 방향을 향하여, 본체의 하방에 배치된 관찰창을 본다.
특허문헌 1, 2에 기재된 기술에서는, 두부 장착형 표시 장치의 사용자는, 수술 중에 있어서 내시경 화상을 시인(visually recognize)할 수 있다. 그러나, 특허문헌 1에 기재된 기술에서는, 두부 장착형 표시 장치의 사용자는, 수술 부위(환자의 몸)를 직접 육안으로 볼 수 없다는 문제가 있었다. 또한, 특허문헌 2에 기재된 기술에서는, 두부 장착형 표시 장치의 사용자는, 수술 부위를 직접 보기 위해, 시선을 연직 방향을 향하여 이동시킬 필요가 있다는 문제가 있었다.
또한, 이러한 문제는, 내시경 화상에 한정하지 않고, 예를 들면, CT(Computed Tomography, 컴퓨터 단층 촬영) 화상, MRI(Magnetic Resonance Imaging, 핵자기 공명 화상법) 화상, 및 X-레이 화상 등과 같은 물체의 외관에 나타나지 않는 정보를 두부 장착형 표시 장치의 사용자에게 제공하는 경우 전반적으로 공통되는 문제였다. 또한, 이러한 문제는, 의료용의 두부 장착형 표시 장치에 한정하지 않고, 다른 용도로 이용되는 두부 장착형 표시 장치(예를 들면, 건설 현장에서 사용되고, 사용자에게 건조물의 외관에 나타나지 않는 정보를 제공하는 두부 장착형 표시 장치)에도 공통되는 문제였다.
이 때문에, 사용자가 시선을 이동시키는 일 없이, 시계(visual field) 방향의 물체의 실상과, 물체의 외관에 나타나지 않는 정보를 시인 가능한 두부 장착형 표시 장치가 요망되고 있었다.
본 발명은, 전술한 과제의 적어도 일부를 해결하기 위해 이루어진 것이며, 이하의 형태로서 실현되는 것이 가능하다.
(1) 본 발명의 일 형태에 의하면, 사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치가 제공된다. 이 두부 장착형 표시 장치는; 상기 사용자에게 시인시키는 상기 허상을 형성하는 화상 표시부와; 상기 외경에 포함되는 물체에 대하여, 상기 물체의 외관에 나타나지 않는 불가시 정보를 중첩시키기 위한 중첩 정보에 기초하는 상기 허상을 상기 화상 표시부에 형성시키는 중첩 처리부를 포함한다. 이 두부 장착형 표시 장치에 의하면, 화상 표시부는, 외경에 포함되는 물체에 대하여, 상기 물체의 불가시 정보(invisible information)를 중첩시키기 위한 정보인 중첩 정보에 기초하는 허상을 사용자에게 시인시킨다. 이 두부 장착형 표시 장치는, 사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치이다. 이 때문에, 두부 장착형 표시 장치의 사용자는, 사용자의 시선을 이동시키는 일 없이, 시계 방향의 물체, 바꾸어 말하면, 외경에 포함되는 물체의 실상과, 물체의 외관에 나타나지 않는 정보(중첩 정보)를 시인할 수 있다.
(2) 상기 형태의 두부 장착형 표시 장치에 있어서; 상기 중첩 처리부는, 소정의 시간마다, 상기 외경에 포함되는 물체에 대응하는 상기 중첩 정보에 기초하는 상기 허상을, 상기 화상 표시부에 반복하여 형성시켜도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 소정의 시간마다, 외경에 포함되는 물체에 대응하는 중첩 정보에 기초하는 허상을 화상 표시부에 반복하여 형성시킨다. 따라서, 사용자의 두부의 시간의 경과에 따른 움직임에 추종한 중첩 정보에 기초하는 허상을 사용자에게 시인시킬 수 있다.
(3) 상기 두부 장착형 표시 장치는, 상기 불가시 정보를 기억하는 기억부와; 상기 사용자가 상기 두부 장착형 표시 장치를 장착한 때에 상기 사용자의 시계 방향의 외경의 화상을 취득하는 화상 취득부를 더 포함한다. 상기 중첩 처리부는, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상을 화상 인식함으로써 상기 외경에 포함되는 상기 물체의 특징을 추출하고, 추출된 상기 특징에 기초하여 상기 기억부에 기억되어 있는 상기 물체의 상기 불가시 정보를 보정함으로써, 상기 중첩 정보를 생성해도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 기억부에 기억되어 있는 물체의 불가시 정보를 이용하여 중첩 정보를 생성할 수 있다. 또한, 화상 취득부가 취득하는 화상은, 사용자의 시계 방향의 물체(바꾸어 말하면, 외경에 포함되는 물체)의 실상을 촬상하여 얻어진 화상이다. 중첩 처리부는, 화상 취득부에 의해 취득된 외경의 화상으로부터 외경에 포함되는 물체의 특징을 추출하고, 추출된 특징에 기초하여 중첩 정보를 생성한다. 이 때문에, 중첩 처리부는, 사용자의 시계 방향의 물체(외경에 포함되는 물체)의 특징에 정합하는 중첩 정보를 생성할 수 있다.
(4) 상기 형태의 두부 장착형 표시 장치에 있어서, 상기 불가시 정보는, 상기 물체의 구조를 나타낸 화상이라도 좋다. 이 두부 장착형 표시 장치에 의하면, 불가시 정보는, 물체의 구조를 나타낸 화상이다. 이 때문에, 두부 장착형 표시 장치의 사용자는, 상기 사용자의 시선을 이동시키는 일 없이, 시계 방향의 물체의 실상과, 물체의 구조를 나타낸 화상을 시인할 수 있다.
(5) 상기 두부 장착형 표시 장치에 있어서, 상기 특징은, 상기 물체의 에지(edge)라도 좋다. 이 두부 장착형 표시 장치에 의하면, 상기 중첩 처리부는, 화상 인식에 의해 물체의 에지를 검출함으로써, 외경에 포함되는 물체의 윤곽을 추출할 수 있다. 이 결과, 중첩 처리부는, 추출한 물체의 윤곽에 기초하여 물체의 불가시 정보를 보정하여, 중첩 정보를 생성할 수 있다.
(6) 상기 두부 장착형 표시 장치에 있어서, 상기 특징은, 상기 물체에 부착된 마커(marker)라도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 화상 인식에 의해 물체에 부착된 마커를 검출함으로써, 외경에 포함되는 물체의 위치를 추출할 수 있다. 이 결과, 중첩 처리부는, 추출한 물체의 위치에 기초하여 물체의 불가시 정보를 보정하여, 중첩 정보를 생성할 수 있다.
(7) 상기 두부 장착형 표시 장치에 있어서, 상기 보정은, 상기 불가시 정보를 나타내는 화상에 대한, 확대와, 축소와, 회전과, 반전과, 트리밍과, 변형과, 노이즈의 제거 중 적어도 하나를 수행함으로써 실행되어도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 기억부에 기억되어 있는 물체의 불가시 정보를 나타내는 화상에 대하여, 확대와, 축소와, 회전과, 반전과, 트리밍과, 변형과, 노이즈의 제거 중 적어도 하나를 수행함으로써 보정을 행하여, 중첩 정보를 생성할 수 있다.
(8) 상기 두부 장착형 표시 장치에 있어서, 상기 보정은, 상기 불가시 정보를 나타내는 화상을 복수의 영역으로 분할하고, 상기 복수의 영역의 각각에 대한, 확대와, 축소와, 트리밍과, 변형과, 노이즈의 제거 중 적어도 하나를 수행함으로써 실행되어도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 기억부에 기억되어 있는 물체의 불가시 정보를 나타내는 화상을, 복수의 영역으로 분할한 후에, 복수의 영역의 각각에 대하여, 확대와, 축소와, 트리밍과, 변형과, 노이즈의 제거 중 적어도 하나를 수행함으로써 보정을 행한다. 이와 같이, 상기 중첩 처리부는, 불가시 정보를 나타내는 화상을 복수의 영역으로 분할한 후에, 각 영역에 대한 보정을 행한다. 따라서 불가시 정보의 보정의 정밀도를 향상시키는 것이 가능하다.
(9) 상기 두부 장착형 표시 장치에 있어서, 상기 중첩 처리부는, 상기 사용자와 상기 물체의 각 부와의 사이의 거리를, 3각 측량을 이용하여 각각 계측하고, 상기 계측의 결과에 따라서 상기 분할을 행해도 좋다. 이 두부 장착형 표시장치에 의하면, 중첩 처리부는, 사용자와 물체의 각 부와의 사이의 거리를, 3각 측량을 이용하여 계측하고, 계측의 결과에 따라서, 효율적으로, 또한, 실태에 입각하여, 불가시 정보의 영역의 분할을 행할 수 있다.
(10) 상기 두부 장착형 표시 장치에 있어서, 상기 중첩 처리부는, 상기 사용자의 시야 내에 있어서의 시각 능력의 정도를 나타내는 정보 수용 특성에 따라서 상기 보정의 정밀도를 바꿔도 좋다. 이 두부 장착형 표시 장치에 의하면, 상기 중첩 처리부는, 사용자의 시야 내의 정보 수용 특성에 따라서 불가시 정보에 대한 보정의 정밀도를 바꾼다. 이 결과, 중첩 처리부는, 효율적으로 불가시 정보의 보정을 행할 수 있다.
(11) 상기 두부 장착형 표시 장치는, 상기 사용자의 시선을 검출하는 시선 검출부를 더 포함할 수 있다. 여기서, 상기 화상 표시부는, 상기 사용자의 우안에 대응한 상기 허상과, 상기 사용자의 좌안에 대응한 상기 허상을 각각 형성한다. 상기 중첩 처리부는, 또한, 상기 시선 검출부에 의해 검출된 상기 시선으로부터, 상기 사용자와, 상기 사용자가 주시하고 있는 주시점과의 사이의 거리인 주시점 거리를 구하고; 구한 상기 주시점 거리에 따른 시차(視差)를 부여한 우안용의 상기 중첩 정보와 좌안용의 상기 중첩 정보를 생성해도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 사용자와 사용자가 주시하고 있는 주시점과의 사이의 거리(주시점 거리)에 따른 시차를 부여한 우안용의 중첩 정보와 좌안용의 중첩 정보를 생성하고, 화상 표시부는, 이들의 중첩 정보에 기초하는 허상을 사용자에게 시인시킨다. 이 결과, 사용자는, 주시점과 동일한 거리의 위치에 있어서 중첩 정보를 시인할 수 있다.
(12) 상기 두부 장착형 표시 장치는, 상기 사용자와 상기 사용자가 시인하는 상기 허상과의 사이의 복수의 거리와, 상기 복수의 거리에 각각 따른 시차가 대응지어진 시차 정보를 더 포함한다. 여기서 상기 중첩 처리부는, 상기 시차 정보를 이용하여, 상기 주시점 거리에 따른 시차를 부여해도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 미리 준비된 시차 정보를 이용하여, 간편하게, 우안용의 중첩 정보와 좌안용의 중첩 정보를 생성할 수 있다.
(13) 상기 두부 장착형 표시 장치에 있어서, 상기 시차 정보는 복수로 구비되어 있고, 여기서 상기 중첩 처리부는, 상기 사용자에 따라서, 상기 복수의 시차 정보로부터 하나의 상기 시차 정보를 선택해도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 복수의 시차 정보로부터, 사용자에 따른 하나의 시차 정보를 선택한다. 이 때문에, 중첩 처리부는, 사용자의 특성(예를 들면, 시력을 주도하는 눈이나 눈 사이 거리)에 맞는 시차 정보를 선택함으로써, 사용자에게 부여하는 시각적인 위화감을 저감시킬 수 있다.
(14) 상기 두부 장착형 표시 장치는, 상기 사용자의 상기 물체에 대한 위치를 검출하는 위치 검출부를 더 구비하고, 여기서 상기 기억부에는, 하나의 상기 물체에 대한 복수의 상기 불가시 정보가 기억되어 있다. 또한, 상기 중첩 처리부는, 상기 기억부에 기억되어 있는 상기 복수의 불가시 정보로부터, 상기 위치 검출부에 의해 검출된 상기 위치에 따른 하나의 불가시 정보를 선택하고, 선택된 상기 불가시 정보를 보정해도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 기억부에 기억되어 있는 복수의 불가시 정보로부터, 사용자의 물체에 대한 위치에 따른 하나의 불가시 정보를 선택하고, 선택된 불가시 정보를 보정할 수 있다. 이 때문에, 중첩 처리부는, 사용자와, 물체와의 위치 관계에 기초하여 적절한 불가시 정보를 사용하여, 중첩 정보를 생성할 수 있다.
(15) 상기 두부 장착형 표시 장치에 있어서, 상기 중첩 처리부는, 또한, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상으로부터, 상기 외경에 포함되는 상기 물체의 적어도 일부를 추출하여 확대한 확대 정보를 생성한다. 또한, 상기 화상 표시부는, 상기 중첩 정보와, 상기 확대 정보에 기초하는 상기 허상을 상기 사용자에게 시인시켜도 좋다. 이 두부 장착형 표시 장치에 의하면, 두부 장착형 표시 장치의 사용자는, 시계 방향의 물체(바꾸어 말하면, 외경에 포함되는 물체)의 실상과, 물체의 외관에 나타나지 않는 정보(중첩 정보)에 더하여 추가로, 시계 방향의 물체의 적어도 일부의 확대 정보를 동시에 시인할 수 있다.
(16) 상기 두부 장착형 표시 장치에 있어서, 상기 중첩 처리부는, 상기 사용자로부터의 요구에 따라서, 상기 허상을 비(非)표시해도 좋다. 이 두부 장착형 표시 장치에 의하면, 두부 장착형 표시 장치의 사용자는, 사용자 스스로의 의사에 의해 허상을 비표시로 할 수 있다. 이 때문에, 두부 장착형 표시 장치에 있어서의 사용자의 편리성을 향상시킬 수 있다.
(17) 상기 두부 장착형 표시 장치는, 현재의 순서에 대해서, 상기 사용자가 실시해야 할 내용에 관한 정보인 순서 정보를 생성하는 순서 관리부를 더 포함하고, 여기서 상기 화상 표시부는, 상기 중첩 정보와, 상기 순서 정보에 기초하는 상기 허상을 상기 사용자에게 시인시켜도 좋다. 이 두부 장착형 표시 장치에 의하면, 화상 표시부는, 현재의 순서에 대해서 사용자가 실시해야 할 내용을 나타낸 순서 정보에 기초하는 허상을 사용자에게 시인시킨다. 이 때문에, 사용자가 행하는 작업을 지원하는 것이 가능해진다.
(18) 상기 두부 장착형 표시 장치에 있어서, 상기 순서 정보는, 제3자가 상기 순서를 모범적으로 실시하고 있는 장면의 화상과, 개별 구체적인 상기 순서가 수행될 때 사용자가 실시해야 할 내용을 나타내는 화상 중 적어도 하나를 포함할 수 있다. 이 두부 장착형 표시 장치에 의하면, 사용자가 실시해야 할 내용을, 화상을 이용하여 시각적으로 나타내는 것이 가능하기 때문에, 사용자가 행하는 작업을 보다 알기 쉽게 지원할 수 있다. 또한, 개별 구체적인 순서가 수행될 때 사용자가 실시해야 할 내용을 나타내는 화상을 나타내면, 사용자가 행하는 작업을 보다 개별 구체적으로 지원하는 것이 가능해져, 작업의 정밀화와, 작업 효율의 향상을 도모할 수 있다.
(19) 상기 두부 장착형 표시 장치에 있어서, 상기 중첩 처리부는, 또한, 상기 사용자의 작업을 보조하기 위한 부가적인 정보인 보조 정보를 생성한다. 또한, 상기 화상 표시부는, 상기 중첩 정보와, 상기 보조 정보에 기초하는 상기 허상을 상기 사용자에게 시인시켜도 좋다. 이 두부 장착형 표시 장치에 의하면, 사용자의 작업을 보조하기 위한 정보에 기초하는 허상을 사용자에게 시인시킨다. 이 때문에, 두부 장착형 표시 장치를 이용한 작업의 효율을 향상시킬 수 있다.
(20) 상기 두부 장착형 표시 장치에 있어서, 상기 중첩 처리부는, 또한, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상에 따라서, 생성된 상기 중첩 정보의 시인성을 향상시키기 위한 색변환 처리를 행해도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 중첩 정보에 대하여, 사용자의 시계 방향의 화상에 따른 색변환 처리를 행한다. 이 때문에, 두부 장착형 표시 장치의 사용자에 대한 허상의 시인성을 보다 향상시킬 수 있다.
(21) 상기 두부 장착형 표시 장치에 있어서, 상기 중첩 처리부는, 상기 사용자로부터의 요구에 따라서, 상기 허상으로서 표시되어 있는 상기 중첩 정보를, 상기 사용자의 시야를 방해하지 않는 위치로 퇴피시켜도 좋다. 이 두부 장착형 표시 장치에 의하면, 두부 장착형 표시 장치의 사용자는, 사용자 스스로의 의사에 의해 허상으로서 표시되어 있는 중첩 정보를 퇴피시킬 수 있다. 이 때문에, 두부 장착형 표시 장치에 있어서의 사용자의 편리성을 향상시킬 수 있다.
(22) 상기 두부 장착형 표시 장치에 있어서; 상기 중첩 처리부는, 상기 화상 취득부에 의해 취득된 상기 화상 중, 상기 허상의 표시 영역과 상기 화상 취득부의 취득 영역이 중복되는 중복 영역에 대응하는 상기 중첩 정보를 생성해도 좋다. 이 두부 장착형 표시 장치에 의하면, 중첩 처리부는, 허상의 표시 영역과 화상 취득부의 취득 영역이 중복되는 중복 영역에 대응하는 중첩 정보를 생성한다. 이 때문에, 투과형의 두부 장착형 표시 장치에서 발생하는 과제였던 "사용자가 자신의 시계에 있어서 직접 눈으로 보는 상과, 화상 표시부에 의해 시인시켜지는 허상과의 사이의 부정합"의 발생을 저감시킬 수 있다. 이 결과, 중첩 정보에 기초하는 허상을 사용자에게 시인시킨 경우에, 사용자에게 주는 위화감을 저감시킬 수 있다.
(23) 상기 두부 장착형 표시 장치에 있어서, 상기 순서 관리부는, 상기 화상 취득부에 의해 취득된 상기 화상 중, 상기 허상의 표시 영역과 상기 화상 취득부의 취득 영역이 중복되는 중복 영역에 대응하는 상기 중첩 정보를 생성해도 좋다. 이 두부 장착형 표시 장치에 의하면, 순서 관리부는, 허상의 표시 영역과 화상 취득부의 취득 영역이 중복되는 중복 영역에 대응하는 순서 정보를 생성한다. 이 때문에, 투과형의 두부 장착형 표시 장치에서 발생하는 과제였던 "사용자가 자신의 시계에 있어서 직접 눈으로 보는 상과, 화상 표시부에 의해 시인시켜지는 허상과의 사이의 부정합"의 발생을 저감시킬 수 있다. 이 결과, 순서 정보에 기초하는 허상을 사용자에게 시인시킨 경우에, 사용자에게 주는 위화감을 저감시킬 수 있다.
전술한 본 발명의 각 형태가 갖는 복수의 구성 요소는 모두가 필수 구성 요소는 아니고, 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 적절히, 상기 복수의 구성 요소의 일부의 구성 요소에 대해서, 그 변경, 삭제, 새로운 구성 요소와의 교체, 한정 내용의 일부 삭제를 행하는 것이 가능하다. 또한, 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 전술한 본 발명의 일 형태에 포함되는 기술적 특징의 일부 또는 전부를 전술한 본 발명의 다른 형태에 포함되는 기술적 특징의 일부 또는 전부와 조합하여, 본 발명의 독립적인 일 형태로 하는 것도 가능하다.
예를 들면, 본 발명의 일 형태는, 중첩 처리부와, 화상 표시부의 2개의 구성 요소 중 일부 또는 전부의 구성 요소를 구비한 장치로서 실현 가능하다. 즉, 이 장치는, 중첩 처리부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 또한, 이 장치는, 화상 표시부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 이 장치는, 예를 들면 두부 장착형 표시 장치로서 실현할 수 있지만, 두부 장착형 표시 장치 이외의 다른 장치로서도 실현 가능하다. 전술한 두부 장착형 표시 장치의 각 형태의 기술적 특징의 일부 또는 전부는, 모두 이 장치에 적용하는 것이 가능하다.
또한, 본 발명은, 여러 가지의 태양(態樣)으로 실현하는 것이 가능하다. 예를 들면, 본 발명은 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법, 의료용 작업 지원 장치 및 의료용 작업 지원 장치의 제어 방법, 의료용 작업 지원 시스템, 이들의 방법, 장치 또는 시스템의 기능을 실현하기 위한 컴퓨터 프로그램, 그 컴퓨터 프로그램을 기록한 기록 매체 등의 형태로 실현할 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 두부 장착형 표시 장치의 개략 구성을 나타내는 도면이다.
도 2는 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 3은 화상광 생성부에 의해 화상광이 출사되는 상태를 나타내는 도면이다.
도 4는 사용자에게 인식되는 허상의 일 예를 나타내는 도면이다.
도 5는 제1 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다.
도 6은 불가시 정보(invisible information)의 일 예를 나타내는 도면이다.
도 7은 외관 정보의 일 예를 나타내는 도면이다.
도 8은 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 9는 외경 화상으로부터 방법 i에 의해 추출된 대상 물체의 특징(에지)을 나타내는 도면이다.
도 10은 불가시 정보로부터 방법 i에 의해 추출된 대상 물체의 특징(에지)을 나타내는 도면이다.
도 11은 보정 후의 불가시 정보의 일 예를 나타내는 도면이다.
도 12a는 사용자에게 인식되는 허상의 다른 예를 나타내는 도면이다.
도 12b는 사용자에게 인식되는 허상의 다른 예를 나타내는 도면이다.
도 13은 제2 실시 형태에 따른 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 14는 순서 테이블의 일 예를 나타내는 도면이다.
도 15는 제2 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다.
도 16은 순서 정보의 예를 나타내는 도면이다.
도 17은 순서 정보가 추가된 중첩 정보의 예를 나타내는 도면이다.
도 18은 순서 e1∼e9에 의해 사용자에게 시인되는 허상의 일 예를 나타내는 도면이다.
도 19는 제3 실시 형태에 따른 두부 장착형 표시 장치의 개략 구성을 나타내는 도면이다.
도 20은 제3 실시 형태에 따른 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 21은 시차 정보에 대하여 설명하기 위한 도면이다.
도 22는 제3 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다.
도 23은 불가시 정보의 일 예를 나타내는 도면이다.
도 24는 제1 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 25는 제1 중첩 정보 생성 처리의 스텝 S404에 대해서 설명하기 위한 도면이다.
도 26은 제2 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 27은 제2 중첩 정보 생성 처리의 스텝 S504에 대해서 설명하기 위한 도면이다.
도 28a는 변형예에 있어서의 두부 장착형 표시 장치의 외관의 구성을 나타내는 도면이다.
도 28b는 변형예에 있어서의 두부 장착형 표시 장치의 외관의 구성을 나타내는 도면이다.
도 2는 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 3은 화상광 생성부에 의해 화상광이 출사되는 상태를 나타내는 도면이다.
도 4는 사용자에게 인식되는 허상의 일 예를 나타내는 도면이다.
도 5는 제1 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다.
도 6은 불가시 정보(invisible information)의 일 예를 나타내는 도면이다.
도 7은 외관 정보의 일 예를 나타내는 도면이다.
도 8은 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 9는 외경 화상으로부터 방법 i에 의해 추출된 대상 물체의 특징(에지)을 나타내는 도면이다.
도 10은 불가시 정보로부터 방법 i에 의해 추출된 대상 물체의 특징(에지)을 나타내는 도면이다.
도 11은 보정 후의 불가시 정보의 일 예를 나타내는 도면이다.
도 12a는 사용자에게 인식되는 허상의 다른 예를 나타내는 도면이다.
도 12b는 사용자에게 인식되는 허상의 다른 예를 나타내는 도면이다.
도 13은 제2 실시 형태에 따른 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 14는 순서 테이블의 일 예를 나타내는 도면이다.
도 15는 제2 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다.
도 16은 순서 정보의 예를 나타내는 도면이다.
도 17은 순서 정보가 추가된 중첩 정보의 예를 나타내는 도면이다.
도 18은 순서 e1∼e9에 의해 사용자에게 시인되는 허상의 일 예를 나타내는 도면이다.
도 19는 제3 실시 형태에 따른 두부 장착형 표시 장치의 개략 구성을 나타내는 도면이다.
도 20은 제3 실시 형태에 따른 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 21은 시차 정보에 대하여 설명하기 위한 도면이다.
도 22는 제3 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다.
도 23은 불가시 정보의 일 예를 나타내는 도면이다.
도 24는 제1 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 25는 제1 중첩 정보 생성 처리의 스텝 S404에 대해서 설명하기 위한 도면이다.
도 26은 제2 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다.
도 27은 제2 중첩 정보 생성 처리의 스텝 S504에 대해서 설명하기 위한 도면이다.
도 28a는 변형예에 있어서의 두부 장착형 표시 장치의 외관의 구성을 나타내는 도면이다.
도 28b는 변형예에 있어서의 두부 장착형 표시 장치의 외관의 구성을 나타내는 도면이다.
(발명을 실시하기 위한 형태)
A. 제1 실시 형태:
A-1. 두부 장착형 표시 장치의 구성:
도 1은, 본 발명의 일 실시 형태에 따른 두부 장착형 표시 장치(HMD)의 개략 구성을 나타내는 도면이다. 두부 장착형 표시 장치(100)는, 두부에 장착하는 표시 장치이다. 본 실시 형태에 따른 두부 장착형 표시 장치(100)는, 사용자가, 허상을 시인함과 동시에 외경도 직접 시인 가능한 광학 투과형의 두부 장착형 표시 장치이다. 또한, 본 실시 형태에서는, 영상을 허상으로서 사용자에게 시인시키는 타입의 두부 장착형 표시 장치(100)를 예시한다.
두부 장착형 표시 장치(100)는, 사용자의 두부에 장착된 상태에 있어서 사용자에 허상을 시인시키는 화상 표시부(20)와, 화상 표시부(20)를 제어하는 제어부(컨트롤러)(10)를 포함한다.
화상 표시부(20)는, 사용자의 두부에 장착되는 장착체로, 본 실시 형태에서는 안경 형상을 갖고 있다. 화상 표시부(20)는, 오른쪽 보유지지부(21)와, 오른쪽 표시 구동부(22)와, 왼쪽 보유지지부(23)와, 왼쪽 표시 구동부(24)와, 오른쪽 광학상 표시부(26)와, 왼쪽 광학상 표시부(28)와, 카메라(61)를 포함하고 있다. 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)는, 각각, 사용자가 화상 표시부(20)를 장착했을 때에 사용자의 오른쪽 및 왼쪽의 눈 앞에 위치하도록 배치되어 있다. 오른쪽 광학상 표시부(26)의 일단(一端)과 왼쪽 광학상 표시부(28)의 일단은, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 미간에 대응하는 위치에서, 서로 접속되어 있다.
오른쪽 보유지지부(21)는, 오른쪽 광학상 표시부(26)의 타단인 단부(ER)로부터, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 측두부(temporal region)에 대응하는 위치에 걸쳐, 연신하여 설치된 부재이다. 마찬가지로, 왼쪽 보유지지부(23)는, 왼쪽 광학상 표시부(28)의 타단인 단부(EL)로부터, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 측두부에 대응하는 위치에 걸쳐, 연신하여 설치된 부재이다. 오른쪽 보유지지부(21) 및 왼쪽 보유지지부(23)는, 안경의 템플(안경 다리 부분)과 같이 하여, 사용자의 두부에 화상 표시부(20)를 보유지지한다.
오른쪽 표시 구동부(22)는, 오른쪽 보유지지부(21)의 내측, 바꾸어 말하면, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 두부에 대향하는 측에 배치되어 있다. 또한, 왼쪽 표시 구동부(24)는, 왼쪽 보유지지부(23)의 내측에 배치되어 있다. 또한, 이하에서는, 오른쪽 보유지지부(21) 및 왼쪽 보유지지부(23)를 총칭하여 단순히 "보유지지부"라고도 부르고, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)를 총칭하여 단순히 "표시 구동부"라고도 부르고, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 총칭하여 단순히 "광학상 표시부"라고도 부른다.
표시 구동부(22, 24)는, 액정 디스플레이(Liquid Crystal Display, 이하 「LCD」라고 부름)(241, 242), 투사 광학계(251, 252) 등을 포함한다(도 2 참조). 표시 구동부의 구성의 상세는 후술한다. 광학 부재로서의 광학상 표시부는, 도광판(261, 262)(도 2 참조)과 조광판을 포함하고 있다. 도광판(261, 262)은, 광투과성의 수지 재료 등에 의해 형성되고, 표시 구동부(22 및 24)로부터 출력된 화상광을 사용자의 눈으로 유도한다. 조광판은, 박판 형상의 광학 소자이며, 화상 표시부(20)의 표면측(사용자의 눈의 측과는 반대의 측)을 덮도록 배치되어 있다. 조광판은, 도광판(261, 262)을 보호하고, 도광판(261, 262)의 손상이나 오염물의 부착 등을 억제한다. 또한, 조광판의 광투과율을 조정함으로써, 사용자의 눈에 들어가는 외광량을 조정하여 허상의 시인의 용이성을 조정할 수 있다. 또한, 조광판은 생략 가능하다.
카메라(61)는, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 미간에 대응하는 위치에 배치되어 있다. 카메라(61)는, 화상 표시부(20)의 표면측 방향, 즉, 사용자가 두부 장착형 표시 장치(100)를 장착한 때의 사용자의 시계 방향의 외경(외부의 경치) 화상을 촬상하고, 외경 화상을 취득한다. 카메라(61)는 소위 가시광 카메라로, 카메라(61)에 의해 취득되는 외경 화상은, 물체로부터 방사되는 가시광으로부터 물체의 형상을 나타내는 화상이다. 본 실시 형태에 있어서의 카메라(61)는 단안 카메라이지만, 스테레오 카메라로 해도 좋다. 카메라(61)는, 특허 청구의 범위에 있어서의 "화상 취득부"에 상당하고, 카메라(61)가 취득하는 외경 화상은, 특허 청구의 범위에 있어서의 "사용자의 시계 방향의 화상"에 상당한다.
화상 표시부(20)는, 또한, 화상 표시부(20)를 제어부(10)에 접속하기 위한 접속부(40)를 포함하고 있다. 접속부(40)는, 제어부(10)에 접속되는 본체 코드(48)와, 오른쪽 코드(42) 및 왼쪽 코드(44)와, 연결 부재(46)를 포함하고 있다. 오른쪽 코드(42) 및 왼쪽 코드(44)는 본체 코드(48)가 2개로 분기한 것이고, 분기점에 연결 부재(46)가 설치되어 있다. 오른쪽 코드(42)는, 오른쪽 보유지지부(21)의 연신 방향의 선단부(AP)로부터 오른쪽 보유지지부(21)의 케이스체 내에 삽입되어, 오른쪽 표시 구동부(22)에 접속되어 있다. 마찬가지로, 왼쪽 코드(44)는, 왼쪽 보유지지부(23)의 연신 방향의 선단부(AP)로부터 왼쪽 보유지지부(23)의 케이스체 내에 삽입되어, 왼쪽 표시 구동부(24)에 접속되어 있다. 연결 부재(46)에는, 이어폰 플러그(30)를 접속하기 위한 잭이 설치되어 있다. 이어폰 플러그(30)로부터는, 오른쪽 이어폰(32) 및 왼쪽 이어폰(34)이 연신하고 있다.
화상 표시부(20)와 제어부(10)는, 접속부(40)를 통하여 각종 신호의 전송을 행한다. 본체 코드(48)에 있어서의 연결 부재(46)와는 반대측의 단부와, 제어부(10)의 각각에는, 서로 끼워맞춤하는 커넥터(도시 생략)가 설치되어 있다. 본체 코드(48)의 커넥터와 제어부(10)의 커넥터의 서로 끼워맞춤 또는 끼워맞춤 해제에 의해, 제어부(10)와 화상 표시부(20)가 접속되거나 비접속되거나 한다. 오른쪽 코드(42)와, 왼쪽 코드(44)와, 본체 코드(48)에는, 예를 들면, 금속 케이블이나 광파이버가 사용될 수 있다.
제어부(10)는, 두부 장착형 표시 장치(100)를 제어하기 위한 장치이다. 제어부(10)는, 점등부(12)와, 터치 패드(14)와, 십자 키(16)와, 전원 스위치(18)를 포함하고 있다. 점등부(12)는, 두부 장착형 표시 장치(100)의 동작 상태(예를 들면, 전원의 ON/OFF 등)를, 그 발광 상태를 이용하여 통지한다. 점등부(12)로서는, 예를 들면, LED(Light Emitting Diode)를 이용할 수 있다. 터치 패드(14)는, 터치 패드(14)의 조작면 상에서의 접촉 조작을 검출하고, 검출 내용에 따른 신호를 출력한다. 터치 패드(14)로서는, 정전식이나 압력 검출식, 광학식과 같은 여러 가지의 터치 패드를 채용할 수 있다. 십자 키(16)는, 상하 좌우 방향에 대응하는 키에서의 압하 조작을 검출하고, 검출 내용에 따른 신호를 출력한다. 전원 스위치(18)는, 스위치의 슬라이드 조작을 검출함으로써, 두부 장착형 표시 장치(100)의 전원 상태를 전환한다.
도 2는, 두부 장착형 표시 장치(100)의 구성을 기능적으로 나타내는 블록도이다. 제어부(10)는, 입력 정보 취득부(110)와, 기억부(120)와, 전원(130)과, 무선 통신부(132)와, CPU(140)와, 인터페이스(180)와, 송신부(Tx)(51 및 52)를 포함하고, 이들 각 부는 도시하지 않는 버스에 의해 상호 접속되어 있다.
입력 정보 취득부(110)는, 예를 들면, 터치 패드(14)나 십자 키(16), 전원 스위치(18) 등에 대한 조작 입력에 따른 신호를 취득한다. 또한, 입력 정보 취득부(110)는, 여러 가지의 방법을 이용하여, 사용자로부터의 조작 입력을 취득할 수 있다. 예를 들면, 도 2에 나타내는 터치 패드(14)나 십자 키(16)에 의한 조작 입력 외에, 풋 스위치(사용자의 발에 의해 조작하는 스위치)에 의한 조작 입력을 취득해도 좋다. 또한, 예를 들면, 화상 표시부(20)에 적외선 센서 등의 시선 검지부를 형성한 후에, 사용자의 시선을 검지하고, 시선의 움직임에 대응지어진 커맨드에 의한 조작 입력을 취득해도 좋다. 또한, 예를 들면, 카메라(61)를 이용하여 사용자의 제스처를 검지하고, 제스처에 대응지어진 커맨드에 의한 조작 입력을 취득해도 좋다. 제스처 검지시는, 움직임 검출을 위한 표시로, 사용자의 손가락끝이나, 사용자의 손에 끼워진 반지나, 사용자가 손에 든 의료 기구 등이 이용될 수 있다. 풋 스위치를 사용하거나 사용자의 시선에 의해, 조작 입력이 취득 가능하게 되면, 사용자가 손을 떼는 것이 곤란한 작업(예를 들면 수술)에 있어서도, 입력 정보 취득부(110)는, 사용자로부터의 조작 입력을 취득할 수 있다.
기억부(120)는, ROM, RAM, DRAM, 하드 디스크 등에 의해 구성되어 있다. 기억부(120)는, 불가시 정보 기억부(122)와, 외관 정보 기억부(124)를 포함하고 있다. 불가시 정보 기억부(122)는, 중첩 정보 표시 처리의 대상이 되는 물체의 불가시 정보를 미리 기억해 두기 위한 기억 영역이다. "불가시 정보"란, 물체의 외관에 나타나지 않는 정보를 의미한다. 본 실시 형태의 불가시 정보는, 물체의 구조를 나타낸 화상이다. 불가시 정보는, 물체가 생체인 경우, 예를 들면, CT(Computed Tomography, 컴퓨터 단층 촬영) 화상, MRI(Magnetic Resonance Imaging, 핵자기 공명 화상법) 화상, X선 화상, 투시 화상, 초음파 진단 화상, 내시경 화상, 서모그래피 화상 등이다. 또한, 불가시 정보는, 물체가 인공물인 경우, 예를 들면, 설계 도면, 회로도, X선 화상, 투시 화상, 적외선 화상, 서모그래피 화상 등이다.
외관 정보 기억부(124)는, 중첩 정보 표시 처리의 대상이 되는 물체의 외관 정보를 미리 기억해 두기 위한 기억 영역이다. 본 실시 형태에 있어서의 "외관 정보"란, 물체를 외측으로부터 본 상태(외관)를 나타낸 화상으로, 가시광 카메라로 촬상된 사진 등이다.
전원(130)은, 두부 장착형 표시 장치(100)의 각 부에 전력을 공급한다. 전원(130)으로서는, 예를 들면 2차 전지를 이용할 수 있다. 무선 통신부(132)는, 무선 LAN이나 블루투스와 같은 소정의 무선 통신 규격에 준거하여 다른 기기와의 사이에서 무선 통신을 행한다.
CPU(140)는, 기억부(120)에 저장되어 있는 컴퓨터 프로그램을 판독하여 실행함으로써, 오퍼레이팅 시스템(OS)(150), 화상 처리부(160), 음성 처리부(170), 표시 제어부(190), 중첩 처리부(142)로서 기능한다. 중첩 처리부(142)는, 중첩 정보 표시 처리를 실행하는 애플리케이션 프로그램이다. 중첩 정보 표시 처리란, 사용자의 시계 방향의 물체의 실상에 대하여, 물체의 외관에 나타나지 않는 정보를 중첩시켜 표시하는 처리이다.
화상 처리부(160)는, 인터페이스(180)나 무선 통신부(132)를 통하여 입력되는 컨텐츠(영상)에 기초하여 신호를 생성한다. 그리고, 화상 처리부(160)는, 생성한 신호를, 접속부(40)를 통하여 화상 표시부(20)에 공급한다. 화상 표시부(20)에 공급되는 신호는, 아날로그 형식과 디지털 형식의 경우에서 상이하다. 아날로그 형식의 경우, 화상 처리부(160)는, 클록 신호(PCLK)와, 수직 동기 신호(VSync)와, 수평 동기 신호(HSync)와, 화상 데이터(Data)를 생성·송신한다. 구체적으로, 화상 처리부(160)는, 컨텐츠에 포함되는 화상 신호를 취득한다. 취득한 화상 신호는, 예를 들면 동화상의 경우, 일반적으로 1초당 30매의 프레임 화상으로 구성되어 있는 아날로그 신호이다. 화상 처리부(160)는, 취득한 화상 신호로부터, 수직 동기 신호(VSync)나 수평 동기 신호(HSync) 등의 동기 신호를 분리하고, 그들의 주기에 따라서, PLL 회로 등에 의해 클록 신호(PCLK)를 생성한다. 화상 처리부(160)는, 동기 신호가 분리된 아날로그 화상 신호를, A/D 변환 회로 등을 이용하여 디지털 화상 신호로 변환한다. 화상 처리부(160)는, 변환 후의 디지털 화상 신호를, RGB 데이터의 화상 데이터(Data)로 하여, 1프레임마다 기억부(120) 내의 DRAM에 저장한다. 한편, 디지털 형식의 경우, 화상 처리부(160)는, 클록 신호(PCLK)와, 화상 데이터(Data)를 생성·송신한다. 구체적으로, 컨텐츠가 디지털 형식인 경우, 클록 신호(PCLK)가 화상 신호에 동기하여 출력되기 때문에, 수직 동기 신호(VSync) 및 수평 동기 신호(HSync)의 생성과, 아날로그 화상 신호의 A/D 변환이 불필요해진다. 또한, 화상 처리부(160)는, 기억부(120)에 저장된 화상 데이터(Data)에 대하여, 해상도 변환 처리나, 휘도·채도의 조정과 같은 여러 가지의 색조 보정 처리나, 키스톤 보정 처리 등의 화상 처리를 실행해도 좋다.
화상 처리부(160)는, 생성된 클록 신호(PCLK), 수직 동기 신호(VSync), 수평 동기 신호(HSync)와, 기억부(120) 내의 DRAM에 저장된 화상 데이터(Data)를, 송신부(51, 52)를 통하여 각각 송신한다. 또한, 송신부(51)를 통하여 송신되는 화상 데이터(Data)를 "우안용 화상 데이터"라고도 부르고, 송신부(52)를 통하여 송신되는 화상 데이터(Data)를 "좌안용 화상 데이터"라고도 부른다. 송신부(51, 52)는, 제어부(10)와 화상 표시부(20)와의 사이에 있어서의 시리얼 전송을 위한 트랜시버로서 기능한다.
표시 제어부(190)는, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)를 제어하는 제어 신호를 생성한다. 구체적으로, 표시 제어부(190)는, 제어 신호에 의해, 오른쪽 LCD 제어부(211)에 의한 오른쪽 LCD(241)의 구동의 턴 온 및 오프나, 오른쪽 백 라이트 제어부(201)에 의한 오른쪽 백 라이트(221)의 구동의 턴 온 및 오프, 왼쪽 LCD 제어부(212)에 의한 왼쪽 LCD(242)의 구동의 턴 온 및 오프나, 왼쪽 백 라이트 제어부(202)에 의한 왼쪽 백 라이트(222)의 구동의 턴 온 및 오프 등을 개별로 제어한다. 이에 따라, 표시 제어부(190)는, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)의 각각에 의한 화상광의 생성 및 출사를 제어한다. 예를 들면, 표시 제어부(190)는, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)의 양쪽에 화상광을 생성시키거나, 한쪽에만 화상광을 생성시키거나, 양쪽 모두에 화상광을 생성시키지 않거나 한다. 또한, 표시 제어부(190)는, 오른쪽 LCD 제어부(211)와 왼쪽 LCD 제어부(212)에 대한 제어 신호를, 송신부(51 및 52)를 통하여 각각 송신한다. 또한, 표시 제어부(190)는, 오른쪽 백 라이트 제어부(201)와 왼쪽 백 라이트 제어부(202)에 대한 제어 신호를, 각각 송신한다.
음성 처리부(170)는, 컨텐츠에 포함되는 음성 신호를 취득하고, 취득한 음성 신호를 증폭하여, 연결 부재(46)에 접속된 오른쪽 이어폰(32)의 (도시하지 않은) 스피커 및 왼쪽 이어폰(34)의 (도시하지 않은) 스피커에 대하여 공급한다. 또한, 예를 들면, Dolby(등록상표) 시스템을 채용한 경우, 음성 신호에 대한 처리가 이루어져, 오른쪽 이어폰(32) 및 왼쪽 이어폰(34)으로부터는, 각각, 예를 들면 주파수 등이 바뀐 상이한 소리가 출력된다.
인터페이스(180)는, 제어부(10)에 대하여, 컨텐츠의 공급원이 되는 여러 가지의 외부 기기(OA)를 접속하기 위한 인터페이스이다. 외부 기기(OA)로서는, 예를 들면, 퍼스널 컴퓨터 PC나 휴대 전화 단말, 게임 단말 등을 포함한다. 인터페이스(180)로서는, 예를 들면, USB 인터페이스나, 마이크로 USB 인터페이스, 메모리 카드용 인터페이스 등을 이용할 수 있다.
화상 표시부(20)는, 오른쪽 표시 구동부(22)와, 왼쪽 표시 구동부(24)와, 오른쪽 광학상 표시부(26)로서의 오른쪽 도광판(261)과, 왼쪽 광학상 표시부(28)로서의 왼쪽 도광판(262)과, 카메라(61)를 포함하고 있다.
오른쪽 표시 구동부(22)는, 수신부(Rx)(53)와, 광원으로서 기능하는 오른쪽 백 라이트(BL) 제어부(201) 및 오른쪽 백 라이트(BL)(221)와, 표시 소자로서 기능하는 오른쪽 LCD 제어부(211) 및 오른쪽 LCD(241)와, 오른쪽 투사 광학계(251)를 포함하고 있다. 또한, 오른쪽 백 라이트 제어부(201)와, 오른쪽 LCD 제어부(211)와, 오른쪽 백 라이트(221)와, 오른쪽 LCD(241)를 총칭하여 "화상광 생성부" 라고도 부른다.
수신부(53)는, 제어부(10)와 화상 표시부(20)의 사이에 있어서의 시리얼 전송을 위한 리시버로서 기능한다. 오른쪽 백 라이트 제어부(201)는, 입력된 제어 신호에 기초하여, 오른쪽 백 라이트(221)를 구동한다. 오른쪽 백 라이트(221)는, 예를 들면, LED나 일렉트로루미네선스 소자(EL) 등의 발광체이다. 오른쪽 LCD 제어부(211)는, 수신부(53)를 통하여 입력된 클록 신호(PCLK)와, 수직 동기 신호(VSync)와, 수평 동기 신호(HSync)와, 우안용 화상 데이터(Data1)에 기초하여, 오른쪽 LCD(241)를 구동한다. 오른쪽 LCD(241)는, 복수의 화소를 매트릭스 형상으로 배치한 투과형 액정 패널이다.
오른쪽 투사 광학계(251)는, 오른쪽 LCD(241)로부터 출사된 화상광을 병행 상태의 광속으로 하는 콜리메이터 렌즈에 의해 구성된다. 오른쪽 광학상 표시부(26)로서의 오른쪽 도광판(261)은, 오른쪽 투사 광학계(251)로부터 출력된 화상광을, 소정의 광로를 따라 반사시키면서 사용자의 우안(RE)으로 유도한다. 광학상 표시부는, 화상광을 이용하여 사용자의 눈 앞에 허상을 형성하는 한에 있어서 임의의 방식을 이용할 수 있고, 예를 들면, 회절 격자를 이용해도 좋다. 또한, 반투과 반사막을 이용해도 좋다.
왼쪽 표시 구동부(24)는, 오른쪽 표시 구동부(22)와 동일한 구성을 갖고 있다. 즉, 왼쪽 표시 구동부(24)는, 수신부(Rx)(54)와, 광원으로서 기능하는 왼쪽 백 라이트(BL) 제어부(202) 및 왼쪽 백 라이트(BL)(222)와, 표시 소자로서 기능하는 왼쪽 LCD 제어부(212) 및 왼쪽 LCD(242)와, 왼쪽 투사 광학계(252)를 포함하고 있다. 상세한 설명은 생략한다.
도 3은, 화상광 생성부에 의해 화상광이 출사되는 상태를 나타내는 도면이다. 오른쪽 LCD(241)는, 매트릭스 형상으로 배치된 각 화소 위치의 액정을 구동함으로써, 오른쪽 LCD(241)를 통해 투과하는 빛의 투과율을 변화시킴으로써, 오른쪽 백 라이트(221)로부터 조사되는 조명광(IL)을, 화상을 나타내는 유효한 화상광(PL)으로 변조한다. 이것은 좌측에 대해서도 동일하다. 또한, 도 3과 같이, 본 실시 형태에서는 백 라이트 방식을 채용하는 것으로 했지만, 프론트 라이트 방식이나, 반사 방식을 이용하여 화상광을 출사하는 구성으로 해도 좋다.
도 4는, 사용자에게 인식되는 허상의 일 예를 나타내는 도면이다. 도 4에는, 사용자의 시야(VR)를 예시하고 있다. 전술한 바와 같이 하여, 두부 장착형 표시 장치(100)의 사용자의 양안에 유도된 화상광이 사용자의 망막에 결상함으로써, 사용자는 허상(VI)을 시인한다. 도 4에 나타내는 예에서는, 허상(VI)은, 환자의 손의 X-레이 화상이다. 또한, 사용자는, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 통해 투과되는 외경(SC)을 시인한다. 도 4에 나타내는 예에서는, 외경(SC)은, 의사가 잡는 메스의 날끝이, 환자의 오른손 새끼 손가락의 제2 관절에 닿아져 있는 상태이다. 이와 같이, 두부 장착형 표시 장치(100)에서는, 사용자는, 허상(VI)과 중복되지 않는 부분은 물론, 허상(VI)과 중복되는 부분에 대해서도 허상(VI)의 배후에 외경(SC)을 시인할 수 있다.
또한, 본 실시 형태의 두부 장착형 표시 장치는, 사이드 바이 사이드 방식을 이용하여, 사용자에게 3차원적인 허상을 시인시킬 수도 있다. 사용자에게 3차원적인 허상을 시인시키는 모드(이하, "3차원 표시 모드"라고도 부름)에서는, LCD를 좌우로 등분하여, 오른쪽 절반을 우안용의 표시로 하고, 왼쪽 절반을 좌안용의 표시로 한다. 또한, 사이드 바이 사이드 방식을 대신하여, 예를 들면, 프레임 패킹 방식, 톱 앤드 보텀 방식 등의 다른 방식을 이용함으로써, 3차원 표시 모드를 실현해도 좋다.
A-2. 중첩 정보 표시 처리
도 5는, 제1 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다. 도 5의 스텝 S102, S104는 중첩 정보 표시 처리의 전(前)처리의 순서를 나타내고 있다. 도 5의 스텝 S106 이후는 중첩 정보 표시 처리의 순서를 나타내고 있다. 중첩 정보 표시 처리는, 사용자의 시계 방향의 물체의 실상에 대하여, 물체의 외관에 나타나지 않는 정보를 중첩시켜 표시하는 처리이다.
중첩 정보 표시 처리는, 에지 검출에 의해 중첩 정보 표시 처리의 대상으로 하는 물체(이하, "대상 물체"라고도 부름)의 특징을 추출하는 방법과, 마커 검출에 의해 대상 물체의 특징을 추출하는 방법을 포함한다(상세는 후술함). 이 중, 마커 검출에 의해 대상 물체의 특징을 추출하는 방법을 채용하는 경우, 스텝 S102, S104, S108에서는, 대상 물체에 미리 마커를 부착해 둔다. 또한, 대상 물체에 부착하는 마커는 여러 가지의 종류의 마커를 사용 가능하다. 예를 들면, 테이프, 시일, 매직 마커, 레이저 마커, 매직 테이프(등록상표) 등을 사용할 수 있다. 또한, 대상 물체에 부착하는 마커의 수는 임의로 정할 수 있다.
도 5의 스텝 S102에 있어서, 사용자는, 중첩 정보 표시 처리의 대상으로 하는 물체의 불가시 정보를 불가시 정보 기억부(122)에 기억시킨다. 구체적으로, 사용자는, 중첩 정보 표시 처리의 대상으로 하는 물체를 촬상 기기(CT 기기나, MRI 기기나, X-레이 기기나, 내시경이나, 서모그래피 기기 등)를 이용하여 촬상하여, 대상 물체의 구조를 나타낸 화상(불가시 정보)을 취득한다. 그리고, 사용자는, 취득한 화상을 불가시 정보 기억부(122)에 기억시킨다. 또한, 스텝 S102에서 촬상된 불가시 정보는, 스텝 S106 이후의 중첩 정보 표시 처리에 있어서, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 투과하여 보이는 외경(SC) 안의 실상에 겹쳐 표시된다. 이 때문에, 중첩 정보 표시 처리의 스텝 S102에서는, 스텝 S106 이후의 중첩 정보 표시 처리에 있어서 상정되는 대상 물체의 방향에 맞춘 화상을 취득하고, 불가시 정보 기억부(122)에 기억하게 한다. 또한, 스텝 S102에서는, 대상 물체의 촬상을 대신하여, 외부로 장치로부터 수신한 불가시 정보를 불가시 정보 기억부(122)에 기억시켜도 좋다.
도 6은, 불가시 정보의 일 예를 나타내는 도면이다. 도 6에서 예시하는 불가시 정보(SI)는, 사람의 오른손의 X-레이 화상이다. 이 경우, 대상 물체는 "사람의 오른손"이다. 도 6의 불가시 정보(SI)로부터, 관절 류머티즘에 의해, 사람의 오른손의 새끼 손가락의 제2 관절이 변형되어 있는 것을 알 수 있다.
도 5의 스텝 S104에 있어서, 사용자는, 중첩 정보 표시 처리의 대상으로 하는 물체의 외관 정보를 외관 정보 기억부(124)에 기억시킨다. 구체적으로, 사용자는, 대상 물체를 카메라(61)나 디지털 카메라 등을 이용하여 촬상하여, 대상 물체의 외관을 나타낸 화상을 취득한다. 그리고, 사용자는, 취득한 화상을 외관 정보 기억부(124)에 기억시킨다.
도 7은, 외관 정보의 일 예를 나타내는 도면이다. 도 7에서 예시하는 외관 정보(FI)는, 사람의 오른손의 사진 화상이다. 대상 물체는, 도 6과 동일하다.
도 5의 스텝 S106에 있어서, 중첩 처리부(142)는, 중첩 정보 표시 처리의 개시 지시가 있었는지 아닌지를 판정한다. 구체적으로, 중첩 처리부(142)는, 입력 정보 취득부(110)로부터 중첩 정보 표시 처리의 개시 지시를 수신한 경우에, 개시 지시 있음(스텝 S106: YES)으로 판정하고, 개시 지시를 수신하지 않는 경우에, 개시 지시 없음(스텝 S106: NO)으로 판정한다. 개시 지시 없음(스텝 S106: NO)의 경우, 중첩 처리부(142)는, 스텝 S106으로 처리를 전이시키고, 개시 지시의 수신을 기다린다. 한편, 개시 지시 있음(스텝 S106: YES)의 경우, 중첩 처리부(142)는, 다음에 설명하는 중첩 정보 생성 처리에 의해, 중첩 정보를 생성한다(스텝 S108).
A-2-1. 중첩 정보 생성 처리
도 8은, 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다. 중첩 처리부(142)는, 외경 화상을 취득한다(스텝 S202). 구체적으로, 중첩 처리부(142)는, 카메라(61)를 기동하고, 카메라(61)에 대하여 촬상을 지시하고, 카메라(61)에 의해 촬상된 외경 화상을 취득한다.
외경 화상 취득 후, 중첩 처리부(142)는, 외경 화상을 화상 인식함으로써 대상 물체의 특징을 추출한다(스텝 S204). 구체적으로, 중첩 처리부(142)는, 하기의 i 및 ⅱ와 같은 화상 인식의 방법을 이용하여, 외경 화상에 포함되는 대상 물체의 특징을 추출한다. 또한, 방법 i과 ⅱ는, 서로 조합해도 좋다.
방법 i) 중첩 처리부(142)는, 대상 물체의 에지를 검출한다. 이 경우, 검출된 에지가 "대상 물체의 특징"이 된다.
방법 ⅱ) 중첩 처리부(142)는, 대상 물체에 부착된 마커를 검출한다. 이 경우, 검출된 마커가 "대상 물체의 특징"이 된다.
도 9는, 외경 화상으로부터 방법 i에 의해 추출된 대상 물체의 특징(에지)을 나타내고 있다.
도 8의 스텝 S206에 있어서, 중첩 처리부(142)는, 불가시 정보(SI)를 화상 인식함으로써 대상 물체의 특징을 추출한다. 구체적으로, 중첩 처리부(142)는, 대상 물체에 대응하는 불가시 정보(SI)를 불가시 정보 기억부(122)로부터 판독한다. 중첩 처리부(142)는, 상기 방법 i 및 ⅱ에서 서술한 화상 인식의 방법을 이용하여, 판독한 불가시 정보(SI)에 포함되는 대상 물체의 특징을 추출한다. 또한, 스텝 S208에 있어서의 보정의 정밀도 향상을 위해서는, 스텝 S204와 스텝 S206에서 사용하는 화상 인식의 방법은, 통일하는 것이 바람직하다.
도 10은, 불가시 정보(SI)로부터 방법 i에 의해 추출된 대상 물체의 특징(에지)을 나타내고 있다.
도 8의 스텝 S208에 있어서, 중첩 처리부(142)는, 스텝 S204에서 추출된 외경 화상의 특징과, 스텝 S206에서 추출된 불가시 정보(SI)의 특징이 서로 정합하도록, 불가시 정보(SI)를 보정한다. 구체적으로, 스텝 S204 및 S206에 있어서 방법 i를 이용한 경우, 중첩 처리부(142)는, 외경 화상의 특징(즉, 스텝 S204에서 검출된 에지)과, 불가시 정보(SI)의 특징(즉, 스텝 S206에서 검출된 에지)이, 서로 윤곽이나 특징적인 부위가 정합하도록, 불가시 정보(SI)를 나타내는 화상에 대하여, 확대, 축소, 회전, 반전, 트리밍, 변형의 부여, 노이즈의 제거 중 적어도 어느 하나의 처리를 행한다. 여기에서, 특징적인 부위는, 대상 물체가 생체인 경우는, 관절이나, 사지의 선단이나, 혈관이나, 뼈 등이다. 대상 물체가 인공물인 경우에, 특징적인 부위는, 돌기나, 모서리부이다. 한편, 스텝 S204 및 S206에 있어서 방법 ⅱ를 이용한 경우, 중첩 처리부(142)는, 외경 화상의 특징(즉, 스텝 S204에서 검출된 마커)과, 불가시 정보(SI)의 특징(즉, 스텝 S206에서 검출된 마커)의 위치가, 서로 정합하도록, 불가시 정보(SI)를 나타내는 화상에 대하여, 확대, 축소, 회전, 반전, 트리밍, 변형의 부여, 노이즈의 제거 중 적어도 어느 하나의 처리를 행한다.
도 9 및 도 10의 예에서, 중첩 처리부(142)는, 스텝 S204에서 검출된 에지(도 9)와, 스텝 S206에서 검출된 에지(도 10)의, 손의 윤곽이나, 특징적인 부위(관절, 손가락끝, 혈관, 뼈)가 서로 정합하도록, 불가시 정보(SI)에 대한 보정을 행한다.
도 11은, 보정 후의 불가시 정보(SI)의 일 예를 나타내는 도면이다. 보정 후의 중첩 정보(CP1)에서는, 외경 화상에 포함되는 대상 물체(즉, 환자의 오른손)의 범위에 맞추어 불가시 정보(SI)(도 6)가 트리밍되어 있다. 마찬가지로, 보정 후의 중첩 정보(CP1)에서는, 외경 화상에 포함되는 대상 물체의 크기에 맞추어 불가시 정보(SI)(도 6)가 축소되고, 외경 화상에 포함되는 대상 물체의 위치에 맞추어 불가시 정보(SI)(도 6)가 회전 및 이동되어 있다. 또한, 스텝 S208에 있어서 보정된 불가시 정보(SI)는, 특허 청구의 범위에 있어서의 "중첩 정보"에 상당한다.
이와 같이, 중첩 정보 생성 처리에 있어서, 중첩 처리부(142)는, 불가시 정보 기억부(122)에 기억되어 있는 물체의 불가시 정보(SI)를 이용하여 중첩 정보를 생성할 수 있다. 스텝 S202에 있어서 카메라(61)(화상 취득부)가 취득하는 외경 화상은, 사용자의 시계 방향의 대상 물체(바꾸어 말하면, 외경에 포함되는 물체)의 실상을 촬상함으로써 얻어지는 화상이다. 중첩 처리부(142)는, 카메라(61)에 의해 취득된 외경 화상으로부터 외경에 포함되는 대상 물체의 에지나 마커(대상 물체의 특징)를 추출하고, 추출한 특징에 기초하여 중첩 정보를 생성한다. 이 때문에, 중첩 처리부(142)는, 사용자의 시계 방향의 대상 물체(외경에 포함되는 물체)의 특징에 맞춘 중첩 정보를 생성할 수 있다.
또한, 상기 방법 i에 의하면, 중첩 처리부(142)는, 화상 인식에 의해 대상 물체의 에지를 검출함으로써, 외경에 포함되는 대상 물체의 윤곽을 추출할 수 있다. 이 결과, 중첩 처리부(142)는, 추출한 대상 물체의 윤곽에 기초하여 당해 대상 물체의 불가시 정보(SI)를 보정하여, 중첩 정보(CP1)를 생성할 수 있다.
또한, 상기 방법 ⅱ에 의하면, 중첩 처리부(142)는, 화상 인식에 의해 대상 물체에 부착된 마커를 검출함으로써, 외경에 포함되는 대상 물체의 위치를 추출할 수 있다. 이 결과, 중첩 처리부(142)는, 추출한 대상 물체의 위치에 기초하여 당해 대상 물체의 불가시 정보(SI)를 보정하여, 중첩 정보(CP1)를 생성할 수 있다.
중첩 정보 생성 처리의 종료 후, 도 5의 스텝 S110에 있어서 중첩 처리부(142)는, 중첩 정보(CP1)를 표시시킨다. 구체적으로, 중첩 처리부(142)는, 화상 처리부(160)에 대하여, 중첩 정보 생성 처리에 의해 생성된 중첩 정보(CP1)를 송신한다. 중첩 정보(CP1)를 수신한 화상 처리부(160)는, 중첩 정보(CP1)에 대하여, 도 2에서 설명한 표시 처리를 실행한다. 이 결과, 도 4에 나타내는 바와 같이, 두부 장착형 표시 장치(100)의 사용자의 시야(VR)에는, 중첩 정보(CP1)가 허상(VI)으로서 표시된다. 본 실시 형태에 있어서의 두부 장착형 표시 장치(100)는, 사용자가 허상을 시인함과 함께 외경도 시인 가능한 광학 투과형의 두부 장착형 표시 장치이다. 이 때문에, 두부 장착형 표시 장치(100)의 사용자는, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 투과하여 보이는 외경(SC) 안의 실상(의사가 잡는 메스의 날끝이 환자의 오른손 새끼 손가락의 제2 관절에 닿아져 있는 상태)과, 허상(VI)으로서 보이는 중첩 정보(CP1)가, 중첩된 상태에서 시인 가능해진다.
도 5의 스텝 S112에 있어서, 중첩 처리부(142)는, 표시의 전환 지시가 있었는지 아닌지 및, 전환 지시의 내용을 판정한다. 표시의 전환 지시가 없는 경우, 중첩 처리부(142)는, 소정의 시간 대기 후에 처리를 스텝 S108로 전이시킨다(도시 생략). 이에 따라, 소정의 시간마다, 외경 화상의 촬영과, 중첩 정보(CP1)의 생성 및 표시가 반복적으로 수행되기 때문에, 사용자의 두부의 시간의 경과에 따른 움직임을 추종하는 중첩 정보(CP1)를 허상(VI)으로서 표시시킬 수 있다. 또한, 소정의 시간은 임의로 정할 수 있다.
중첩 처리부(142)는, 입력 정보 취득부(110)로부터 현재 표시 중의 중첩 정보(CP1)의 표시를 전환하는 취지를 지시하는 "화상 전환" 지시를 수신한 경우(스텝 S112: 화상 전환), 처리를 스텝 S114로 전이시킨다. 중첩 처리부(142)는, 다른 중첩 정보를 생성한다(스텝 S114). 구체적으로, 중첩 처리부(142)는, 도 8에서 설명한 중첩 정보 생성 처리를 재차 실행하여, 다른 중첩 정보를 생성한다. 이때, 중첩 처리부(142)는, 도 8의 설명 중 "불가시 정보 기억부(122)에 기억되어 있는 불가시 정보(SI)"를 대신하여, "외관 정보 기억부(124)에 기억되어 있는 외관 정보(FI)"를 이용한다. 이 때문에, 다른 중첩 정보는, 대상 물체의 외관을 나타내는 정보가 된다. 다른 중첩 정보 생성 후, 중첩 처리부(142)는, 다른 중첩 정보를 표시시킨다(스텝 S116). 구체적으로, 중첩 처리부(142)는, 화상 처리부(160)에 대하여 다른 중첩 정보를 송신한다. 다른 중첩 정보를 수신한 화상 처리부(160)는, 다른 중첩 정보에 대하여, 도 2에서 설명한 표시 처리를 실행한다. 이 결과, 두부 장착형 표시 장치(100)의 사용자의 시야(VR)에는, 중첩 정보(CP1)를 대신하여, 다른 중첩 정보가 허상(VI)으로서 표시된다. 그 후, 중첩 처리부(142)는, 처리를 스텝 S112로 전이시킨다.
이와 같이, 스텝 S114, S116에 의하면, 두부 장착형 표시 장치(100)의 사용자는, 사용자 스스로의 의사에 의해, 대상 물체의 구조를 나타내는 불가시 정보(SI)를 기초로 생성된 중첩 정보의 표시와, 대상 물체의 외관을 나타내는 외관 정보(FI)를 기초로 생성된 다른 중첩 정보의 표시를 전환할 수 있다. 이 때문에, 두부 장착형 표시 장치(100)에 있어서의 사용자의 편리성을 향상시킬 수 있다.
도 5에 있어서, 중첩 처리부(142)는, 입력 정보 취득부(110)로부터 현재 표시 중의 허상을 비표시로 하는 취지를 지시하는 "비표시" 지시를 수신한 경우(스텝 S112: 비표시), 처리를 스텝 S118로 전이시킨다. 중첩 처리부(142)는, 현재 표시 중의 허상(VI)(중첩 정보(CP1) 또는 다른 중첩 정보)를 비표시로 한다(스텝 S118). 구체적으로, 중첩 처리부(142)는, 화상 처리부(160)에 대한 중첩 정보(CP1) 또는 다른 중첩 정보의 송신을 정지한다. 이에 따라, 표시되어야 할 화상 데이터가 없어지기 때문에, 허상(VI)을 비표시로 할 수 있다. 또한, 중첩 정보(CP1) 또는 다른 중첩 정보의 송신의 정지를 대신하여, 중첩 처리부(142)는, 표시 제어부(190)에 대하여, 화상을 비표시로 하는 취지의 요구를 송신해도 좋다. 이 경우, 표시 제어부(190)는, LCD 제어부에 의한 LCD의 구동을 턴 오프로 하는 제어 신호, 또는, 백 라이트 제어부에 의한 백 라이트의 구동을 턴 오프로 하는 제어 신호를 송신함으로써, 허상(VI)을 비표시로 할 수 있다.
이와 같이, 스텝 S118에 의하면, 두부 장착형 표시 장치(100)의 사용자는, 사용자 스스로의 의사에 의해, 현재 표시 중의 허상(VI)을 비표시로 할 수 있다. 예를 들면, 광학상 표시부를 투과하여 보는 실상에 주시하고 싶은 경우, 사용자는, 의도적으로 허상(VI)을 지울 수 있다. 이 때문에, 두부 장착형 표시 장치(100)에 있어서의 사용자의 편리성을 향상시킬 수 있다.
도 5에 있어서, 중첩 처리부(142)는, 입력 정보 취득부(110)로부터 시계 방향의 실상을 확대 표시시키는 취지를 지시하는 "확대" 지시를 수신한 경우(스텝 S112: 확대), 처리를 스텝 S120으로 전이시킨다. 중첩 처리부(142)는, 외경 화상을 취득한다(스텝 S120). 구체적으로, 중첩 처리부(142)는, 카메라(61)를 기동하고, 카메라(61)에 대하여 촬상을 지시하고, 카메라(61)에 의해 촬상된 외경 화상을 취득한다. 외경 화상 취득 후, 중첩 처리부(142)는, 스텝 S120에서 취득된 외경 화상을 화상 인식하고, 확대 지시와 함께 지정된 점을 중심으로 한 소정 범위의 영역을 트리밍 후, 트리밍한 화상을 확대 처리한다(스텝 S122). 그 후, 중첩 처리부(142)는, 확대된 화상을 단부에 배치하고, 다른 부분에는 흑색의 더미 데이터를 배치한 확대 정보를 생성한다. 확대 정보 생성 후, 중첩 처리부(142)는, 중첩 정보(CP1)와, 확대 정보를 표시시킨다. 구체적으로, 중첩 처리부(142)는, 화상 처리부(160)에 대하여 중첩 정보(CP1)와, 확대 정보를 송신한다. 중첩 정보(CP1)와, 확대 정보를 수신한 화상 처리부(160)는, 중첩 정보(CP1)와 확대 정보를 각 레이어로 한 합성 화상을 생성하고, 생성한 합성 화상에 대하여, 도 2에서 설명한 표시 처리를 실행한다.
도 12a 및 도 12b는, 사용자에게 인식되는 허상의 다른 예를 나타내는 도면이다. 도 12a는, 도 5의 스텝 S122에 의해 사용자에게 인식되는 허상을 나타내고 있다. 이와 같이, 스텝 S120 및 S122가 실행된 결과, 두부 장착형 표시 장치(100)의 사용자의 시야(VR)에는, 중첩 정보(CP1)와 확대 정보(CP2)가, 허상(VI)으로서 표시된다. 이와 같이, 스텝 S120, S122에 따르면, 두부 장착형 표시 장치(100)의 사용자는, 사용자 스스로의 의사에 의해, 시계 방향의 대상 물체(바꾸어 말하면, 외경에 포함되는 물체)의 실상과, 당해 대상 물체의 외관에 나타나지 않는 정보(중첩 정보(CP1))에 더하여 추가로, 지정한 점을 중심으로 한 실상의 확대 정보(CP2), 즉, 시계 방향의 물체의 적어도 일부의 확대 정보(CP2)를 동시에 시인할 수 있다. 이 결과, 두부 장착형 표시 장치(100)에 있어서의 사용자의 편리성을 향상시킬 수 있다.
이상과 같이, 제1 실시 형태에 따른 중첩 정보 표시 처리에서는, 화상 표시부(20)는, 외경(SC)에 포함되는 대상 물체(상기의 예에서는 사람의 오른손)에 대하여, 당해 대상 물체의 불가시 정보(SI)(상기의 예에서는 사람의 오른손의 X-레이 화상)를 중첩시키기 위한 중첩 정보(CP1)에 기초하는 허상(VI)(영상)을 사용자에게 시인시킨다. 본 실시 형태에 따른 두부 장착형 표시 장치(100)는, 허상(VI)(영상)과 외경(SC)을 동시에 시인 가능한 두부 장착형 표시 장치이다. 이 때문에, 두부 장착형 표시 장치(100)의 사용자는, 사용자의 시선을 이동시키는 일 없이, 시계 방향의 대상 물체(바꾸어 말하면, 외경에 포함되는 대상 물체)의 실상과, 당해 대상 물체의 외관에 나타나지 않는 정보(중첩 정보(CP1))를 동시에 시인할 수 있다.
또한, 상기 제1 실시 형태에서는, 불가시 정보 기억부(122)에 기억되어 있는 불가시 정보(SI)는, 대상 물체의 구조를 나타낸 화상이다. 이 때문에, 두부 장착형 표시 장치(100)의 사용자는, 사용자의 시선을 이동시키는 일 없이, 시계 방향의 대상 물체의 실상과, 대상 물체의 구조를 나타낸 화상을 동시에 시인할 수 있다. 이 때문에, 본 실시 형태에 따른 두부 장착형 표시 장치(100)는, 저침습 외과 수술에 있어서 특히 유용하다. 또한, 저침습 외과 수술이란, 수술에 수반하는 환자의 아픔이나 수술 자국을 최소한으로 하기 위해 메스에 의한 절개 개소를 최소한으로 하는 수술 방법이다.
A-3. 중첩 정보 표시 처리에 있어서의 부가적 처리
또한, 중첩 정보 표시 처리(도 5)에서는, 또한, 이하와 같은 부가적 처리를 실행해도 좋다. 부가적 처리는, 단독으로 부가해도 좋고, 조합하여 부가해도 좋다.
A-3-1. 부가적 처리 1
부가적 처리 1에서, 중첩 처리부(142)는, 중첩 정보(CP1)에 더하여 추가로, 보조 정보(CP3)를 허상(VI)으로서 표시시킨다. 보조 정보(CP3)란, 두부 장착형 표시 장치(100)의 사용자의 작업을 보조하기 위한 부가적인 정보인 한, 임의의 정보가 될 수 있다. 보조 정보(CP3)는, 의료용의 두부 장착형 표시 장치(100)에 있어서는, 예를 들면, 이하와 같은 정보가 될 수 있다.
* 환자에게 부착된 의료용 기기(심전도, 심박수계, 혈압계, 펄스옥시미터, 혈당치계 등)의 계측값을 표시하는 정보.
* 환자에게 부착된 의료용 기기의 계측값에 따른 주의나 경고를 표시하는 정보.
도 12b는, 보조 정보(CP3)로서, 환자의 심박수(HR)와, 혈압(SYS/DIA)과, 동맥혈 산소 포화도(SpO2)가 표시된 보조 정보(CP3)가, 허상(VI)으로서 표시되어 있는 예를 나타내고 있다. 도 12b의 예에서는, 보조 정보(CP3)는 문자에 의해 표현되어 있다. 그러나, 보조 정보(CP3)는, 문자 외에, 사진, 도안, 도형 및, 이들 조합을 채용할 수 있다. 또한, 보조 정보(CP3)는, 중첩 정보(CP1)와 겹치지 않도록, 예를 들면 단부에 배치되는 것이 바람직하다. 중첩 정보(CP1)와, 보조 정보(CP3)를 동시에 표시시키는 방법은, 스텝 S122에서와 동일하다.
또한, 도 12b는, 의료용의 두부 장착형 표시 장치(100)에 있어서의 보조 정보(CP3)의 예를 나타내고 있다. 그러나, 다른 애플리케이션에 이용되는 두부 장착형 표시 장치(100)에 있어서도, 보조 정보(CP3)를 허상(VI)으로서 표시시킬 수 있다. 예를 들면, 건설 현장에서 사용되는 두부 장착형 표시 장치(100)에 있어서의 보조 정보(CP3)는, 건조물의 정보(축년수, 건물이 현재 건조되어 있는 지반의 정보, 시공 방법의 정보, 건조에 사용되어 있는 재료의 정보 등)를 표시하는 정보가 될 수 있다. 그 외에, 두부 장착형 표시 장치(100)의 사용 용도에 따른 여러 가지의 보조 정보가 채용될 수 있다.
이와 같이, 부가적 처리 1에 의하면, 두부 장착형 표시 장치(100)의 사용자는, 작업을 보조하기 위한 정보인 보조 정보(CP3)를 허상(VI)(영상)으로서 시인할 수 있다. 이 때문에, 두부 장착형 표시 장치(100)를 이용한 작업의 효율을 향상시킬 수 있다.
A-3-2. 부가적 처리 2
부가적 처리 2에서는, 스텝 S108에서 생성한 중첩 정보(CP1)와, 스텝 S114에서 생성한 다른 중첩 정보와, 스텝 S122에서 생성한 확대 정보(CP2) 중 적어도 어느 하나에 대하여 색변환 처리를 행한다. 색변환 처리는, 스텝 S202에서 촬영된 외경 화상의 명도, 콘트라스트, 채도, 색상에 따라서, 중첩 처리부(142)에 의해 생성된 각 정보(중첩 정보(CP1), 다른 중첩 정보, 확대 정보(CP2))의 시인성을 향상시키는 바와 같은 색변환 처리인 것이 바람직하다. 예를 들면, 중첩 처리부(142)에 의해 생성된 각 정보의 색상을, 스텝 S202에서 촬영된 외경 화상의 색상의 보색으로 변환하는 색변환 처리를 행할 수 있다. 또한, 색변환 처리는, 화상 처리부(160)에 대하여 각 정보를 송신하기 전에 중첩 처리부(142)가 실행해도 좋고, 각 정보를 수신한 화상 처리부(160)가 실행해도 좋다.
이와 같이, 부가적 처리 2에 의하면, 두부 장착형 표시 장치(100)의 사용자에 대한 허상(VI)(영상)의 시인성을 보다 향상시킬 수 있다.
A-3-3. 부가적 처리 3
부가적 처리 3에서는, 중첩 처리부(142)는, 허상(VI)으로서 표시되어 있는 정보(중첩 정보(CP1), 다른 중첩 정보, 확대 정보(CP2), 보조 정보(CP3))를 사용자의 시계를 방해하지 않는 위치로 퇴피시킨다. 현재 표시 중의 허상(VI)이 중첩 정보(CP1)인 경우를 예로 하여 설명한다. 중첩 처리부(142)는, 중첩 정보(CP1)를 축소 처리한다. 그 후, 중첩 처리부(142)는, 축소된 화상을 단부에 배치하고, 다른 부분에는 흑색의 더미 데이터를 배치한 축소 정보를 생성한다. 축소 정보를 생성한 후, 중첩 처리부(142)는, 축소 정보를 표시시킨다. 구체적으로, 중첩 처리부(142)는, 화상 처리부(160)에 대하여 축소 정보를 송신한다. 축소 정보를 수신한 화상 처리부(160)는, 축소 정보에 대하여, 도 2에서 설명한 표시 처리를 실행한다. 이 결과, 두부 장착형 표시 장치(100)의 사용자의 시야(VR)에는, 중첩 정보(CP1)를 대신하여, 중첩 정보(CP1)가 축소되어 단부에 배치된 축소 정보가 허상(VI)으로서 표시된다. 또한, 부가적 처리 3은, 중첩 정보 표시 처리(도 5)의 스텝 S118을 대신하여 실행되어도 좋다.
이와 같이, 부가적 처리 3에 의하면, 두부 장착형 표시 장치(100)의 사용자는, 사용자 스스로의 의사에 의해, 허상(VI)(영상)으로서 표시되어 있는 정보(중첩 정보(CP1), 다른 중첩 정보, 확대 정보(CP2), 보조 정보(CP3))를, 시계를 방해하지 않는 위치로 퇴피시킬 수 있다. 예를 들면, 광학상 표시부를 투과하여 보는 실상에 주시하고 싶은 경우, 사용자는, 의도적으로 허상(VI)(영상)으로서 표시되어 있는 정보를 퇴피시킬 수 있다. 이 때문에, 두부 장착형 표시 장치(100)에 있어서의 사용자의 편리성을 향상시킬 수 있다.
또한, 부가적 처리 3에 의하면, 축소된 각종 정보(중첩 정보(CP1), 다른 중첩 정보, 확대 정보(CP2), 보조 정보(CP3))가 단부에 배치되어 있기 때문에, 두부 장착형 표시 장치(100)의 사용자에 대하여 각종 정보의 존재를 주목시킬 수 있다. 바꾸어 말하면, 축소된 각종 정보를 아이콘과 같이 하여 이용하는 것도 가능해진다. 예를 들면, 축소된 중첩 정보(CP1)를 사용자가 선택한 경우, 중첩 정보(CP1)를 원래의 위치 및 크기로 되돌릴 수 있다. 이와 같이 하면, 두부 장착형 표시 장치(100)에 있어서의 사용자의 편리성을 더욱 향상시킬 수 있다.
A-3-4. 부가적 처리 4
부가적 처리 4에서는, 중첩 처리부(142)는, 사용자의 머리의 작은 흔들림에 부수하는 허상(VI)의 흔들림을 억제하는, 소위 스태빌라이저(stabilizer) 기능을 실현한다. 중첩 정보 표시 처리(도 5)의 스텝 S112에 있어서, 중첩 처리부(142)는, 표시의 전환 지시가 없는 경우, 소정의 시간 대기 후에 처리를 스텝 S108로 전이시킨다. 이에 따라, 소정의 시간마다, 외경 화상의 촬영과, 중첩 정보(CP1)의 생성 및 표시가 반복되게 되기 때문에, 사용자의 두부의 시간의 경과에 따른 움직임을 추종하는 중첩 정보(CP1)를 허상(VI)으로서 표시시킬 수 있다. 그러나, 사용자의 머리나 호흡에 따른 미소한 움직임이나 흔들림에 추종하여 중첩 정보(CP1)가 종종 바뀌는 것은, 오히려 사용자의 시력 피로를 유발할 우려나, 사용자의 집중력을 방해할 우려가 있다. 그래서, 중첩 처리부(142)는, 중첩 정보 생성 처리(도 8)의 스텝 S202와 S204 사이에, 순서 a1, a2로 나타내는 처리를 수행해도 좋다.
순서 a1) 스텝 S202에서 촬상된 외경 화상과, 전회 실행된 중첩 정보 생성 처리의 스텝 S202에서 촬상된 외경 화상 사이에서의, RGB 히스토그램의 변화량을 구한다.
순서 a2) 순서 a1에서 구한 변화량이 소정의 문턱값을 초과하는 경우, 스텝 S204 이후의 처리를 계속한다. 순서 a1에서 구한 변화량이 소정의 문턱값 이하인 경우, 전회 실행된 중첩 정보 생성 처리에서 생성된 중첩 정보(CP1)를, 현재 실행 중의 중첩 정보 생성 처리의 처리 결과로 설정한다.
이와 같이, 부가적 처리 4에 의하면, 중첩 처리부(142)는, 전회 실행된 중첩 정보 생성 처리에 있어서의 외경 화상(사용자의 시계 방향의 외경)과, 현재 실행 중의 중첩 정보 생성 처리에 있어서의 외경 화상과 사이의 변화량이 작은 경우, 즉, 사용자의 머리의 움직임이 미소한 경우는, 새로운 중첩 정보(CP1)는 생성하지 않고, 전회 실행된 중첩 정보 생성 처리에서 생성된 중첩 정보(CP1)를, 현재 실행 중의 중첩 정보 생성 처리의 처리 결과로 설정한다. 이 결과, 두부 장착형 표시 장치(100)의 사용자의 머리 또는 호흡에 의한 미소한 움직임이나 흔들림을 추종하여 중첩 정보(CP1)가 종종 바뀌는 것을 억제할 수 있다. 따라서, 사용자의 시력 피로나 집중력 저하를 억제할 수 있다. 또한, 스태빌라이저 기능의 턴 온 및 오프를 사용자에 의해 전환 가능한 구성으로 해도 좋다.
A-3-5. 부가적 처리 5
부가적 처리 5에서는, 중첩 처리부(142)는, 화상 표시부(20)의 광학상 표시부(26, 28)와, 사용자의 시계 방향에 있는 물체와의 사이의 거리에 따라서, 확대 정보(CP2) 및 보조 정보(CP3)가 허상(VI)으로서 표시되는 크기를 변경한다. 구체적으로, 중첩 처리부(142)는, 중첩 정보 표시 처리(도 5)에 있어서, 순서 b1∼b3에 나타내는 처리를 수행할 수 있다. 또한, 부가적 처리 5를 실시하는 경우, 두부 장착형 표시 장치(100)에는, 추가로 측거 센서(range finding sensor)를 구비하는 구성으로 한다. 측거 센서는, 반사광에 의해 사용자의 시계 방향에 있는 물체와 화상 표시부(20)와의 사이의 거리를 취득하기 위한 센서로, 예를 들면, 도 1의 카메라(61)의 근방에 배치할 수 있다.
순서 b1) 중첩 처리부(142)는, 정기적으로 측거 센서에 의해 획득되는 측정값을 취득한다.
순서 b2) 중첩 처리부(142)는, 중첩 정보 표시 처리(도 5)의 스텝 S122에 있어서의 확대 처리시에, 취득한 측거 센서의 측정값에 따라서 확대율을 변경한다.
순서 b3) 중첩 처리부(142)는, 측거 센서의 측정값에 따라서, 부가적 처리 1의 보조 정보(CP3)의 크기를 변경한다.
이와 같이, 부가적 처리 5에 의하면, 중첩 처리부(142)는, 사용자의 시계 방향에 있는 물체와 화상 표시부(20)와의 사이의 거리에 따라서, 확대 정보(CP2) 및 보조 정보(CP3)가 허상(VI)(영상)으로서 표시되는 크기를 변경한다. 이 때문에, 두부 장착형 표시 장치(100)에 있어서의 사용자의 편리성을 향상시킬 수 있다.
A-3-6. 부가적 처리 6
부가적 처리 6에서는, 무선 통신부(132)는, 전술한 처리의 중간에 취득된 외경 화상을 외부의 장치로 송신한다. 외경 화상은, 구체적으로, 중첩 정보 생성 처리(도 8)의 스텝 S202에서 취득된 외경 화상과, 중첩 정보 표시 처리(도 5)의 스텝 S120에서 취득된 외경 화상을 포함한다. 외부의 장치는, 예를 들면, 다른 두부 장착형 표시 장치(100), 서버, 모니터 등이다. 무선 통신부(132)는, 이들 외경 화상을, 무선 접속을 통하여 외부의 장치로 송신한다. 외경 화상을 수신한 외부의 장치는, 수신한 외경 화상을 여러 가지의 태양으로 활용할 수 있다. 예를 들면, 이 수신한 외경 화상을 다른 두부 장착형 표시 장치(100)나 모니터에 표시시켜도 좋다. 또한, 이 수신한 외경 화상을 서버에 기억시켜 수술(작업)의 로그로서 보존해도 좋다.
다른 두부 장착형 표시 장치(100)나 모니터에 표시시키는 예에서는, 외부의 장치는, 표시된 화상을 본 의사(작업자)에 의한 조언을 취득해도 좋다. 이 경우, 외부의 장치는, 취득한 조언을, 두부 장착형 표시 장치(100)로 송신한다. 조언을 수신한 두부 장착형 표시 장치(100)의 무선 통신부(132)는, 수신한 조언을 전송한다. 구체적으로, 무선 통신부(132)는, 수신한 조언이 음성 정보인 경우에, 음성 정보를 음성 처리부(170)로 전송한다. 무선 통신부(132)는, 수신한 조언이 문자 정보나 화상 정보인 경우에, 문자 정보나 화상 정보를 중첩 처리부(142)로 전송한다. 음성 정보를 수신한 음성 처리부(170)는, 음성 정보에 포함되는 음성 신호를 증폭하여, 오른쪽 이어폰(32)과 왼쪽 이어폰(34)에 내장된 스피커로 공급한다. 이에 따라, 두부 장착형 표시 장치(100)의 사용자는, 음성에 의한 조언을 들을 수 있다. 한편, 문자 정보나 화상 정보를 수신한 중첩 처리부(142)는, 중첩 정보(CP1)에 더하여 추가로, 수신한 문자 정보나 화상 정보를 허상(VI)으로서 표시시킨다. 문자 정보나 화상 정보의 표시 방법은, 부가적 처리 1에서 설명한 보조 정보(CP3)와 동일하다. 이에 따라, 두부 장착형 표시 장치(100)의 사용자는, 문자나 화상에 의한 조언을 허상(VI)으로서 시인할 수 있다.
이와 같이, 부가적 처리 6에 의하면, 처리의 중간에 취득된 외경 화상을 외부의 장치에서도 열람할 수 있고, 보존할 수 있다. 또한, 부가적 처리 6에 의하면, 두부 장착형 표시 장치(100)의 사용자는, 처리의 중간에 취득된 외경 화상을 본 인물로부터의 조언을 얻을 수 있다. 이 때문에, 두부 장착형 표시 장치(100)를 이용한 작업의 효율화와, 정밀도의 향상을 도모할 수 있다.
A-3-7. 부가적 처리 7
부가적 처리 7에서는, 중첩 처리부(142)는, 허상(VI)의 표시 영역과, 카메라(61)의 촬상 영역과의 캘리브레이션(calibration)을 행한다. 중첩 처리부(142)는, 중첩 정보 표시 처리(도 5)에 앞서, 다음의 순서 c1∼c7에 나타내는 처리를 행한다.
순서 c1) 기억부(120)에, 캘리브레이션을 위한 가이드 화상의 화상 데이터(이하, "가이드 화상 데이터"라고도 부름)가 미리 기억되어 있다. 가이드 화상은, 두부 장착형 표시 장치(100)의 사용자에 대하여, 허상의 표시 영역의 단부를 나타내기 위한 화상이다. 예를 들면, 가이드 화상은, 오른쪽 LCD(241) 및 왼쪽 LCD(242)와 동일한 애스펙트비(aspect ratio)를 갖는 직사각형 형상 화상이 될 수 있고, 전체로 백색 배경을 갖는 화상이며, 그 네 모퉁이와, 대각선의 교점에 위치하는 부분에, 원 형상의 안내 마크를 갖는 화상이 될 수 있다.
순서 c2) 중첩 처리부(142)는, 기억부(120)에 저장되어 있는 가이드 화상 데이터를 판독하고, 가이드 화상 데이터를 화상 처리부(160)로 송신한다. 가이드 화상 데이터를 수신한 화상 처리부(160)에서는, 도 2에서 설명한 처리가 실행된다. 이 결과, 두부 장착형 표시 장치(100)의 사용자의 시야(VR)에는 가이드 화상이 허상(VI)으로서 표시된다.
순서 c3) 중첩 처리부(142)는, 허상(VI)으로서 표시된 가이드 화상의 안내 마크를 순서대로 가리키도록, 사용자에 대하여 안내한다. 사용자에 대한 안내의 방법으로서, 다이얼로그 박스 등을 이용한 메세지를 이용해도 좋고, 음성에 의한 안내를 행해도 좋다. 음성에 의한 안내는, 표시 중의 가이드 화상을 차단하는 일 없이 안내할 수 있는 점에서 바람직하다.
순서 c4) 중첩 처리부(142)는, 카메라(61)에 외경 화상을 촬상시킨다.
순서 c5) 중첩 처리부(142)는, 카메라(61)에 의해 촬상된 외경 화상을 화상 인식하고, 사람의 손가락끝의 위치를 특정한다. 중첩 처리부(142)는, 각 안내 마크에 대해서, 손가락끝 위치의 좌표를 취득하고, 그 좌표를 기억부(120)에 보존한다. 예를 들면, 손가락끝 위치의 좌표는, 외경 화상의 가장 왼쪽부분의 화소를 (0, 0)로 한 경우의 X방향, Y방향의 이동량으로서 정의할 수 있다.
순서 c6) 중첩 처리부(142)는, 모든 안내 마크에 대해서, 외경 화상의 취득, 손가락끝 위치의 좌표 취득, 좌표의 보존을 포함하는 일련의 처리를 반복한다. 그 후, 중첩 처리부(142)는, 가이드 화상의 표시를 종료시킨다. 이와 같이 하여, 중첩 처리부(142)는, 카메라(61)의 촬상 영역과, 허상(VI)의 표시 영역이 중복되는 영역을 미리 취득한다. 또한, 카메라(61)의 촬상 영역(취득 영역)과 허상(VI)의 표시 영역이 중복되는 영역을 "중복 영역"이라고도 부른다.
순서 c7) 중첩 처리부(142)는, 중첩 정보 생성 처리(도 8)의 스텝 S204에 있어서, 카메라(61)에 의해 촬상된 외경 화상 중, 중복 영역 내의 화상에 포함되는 물체의 특징을 추출한다. 그리고, 스텝 S208에 있어서, 중복 영역에 대응한 중첩 정보(CP1)를 생성한다.
이와 같이, 부가적 처리 7에 의하면, 중첩 처리부(142)는, 허상(VI)(영상)의 표시 영역과 카메라(61)(화상 취득부)의 취득 영역이 중복되는 중복 영역에 대하여 중첩 정보(CP1)를 생성할 수 있다. 이 때문에, 투과형의 두부 장착형 표시 장치(100)에 있어서 발생하는 과제인 "사용자가 자신의 시계에 있어서 직접 보는 상과, 화상 표시부(20)에 의해 시인되는 허상(VI)(영상)과의 사이의 차이"의 발생을 저감시킬 수 있다. 이 결과, 중첩 정보(CP1)에 기초하는 허상을 사용자에게 시인시킨 경우에, 사용자에게 주는 위화감을 저감시킬 수 있다.
B. 제2 실시 형태
본 발명의 제2 실시 형태에서는, 두부 장착형 표시 장치에 있어서, 또한, 사용자가 행하는 작업을 지원하는 것이 가능한 구성에 대해서 설명한다. 이하에서는, 제1 실시 형태와 상이한 구성 및 동작을 갖는 부분에 대해서만 설명한다. 또한, 도면 중에 있어서 제1 실시 형태와 동일한 구성 부분에 대해서는 먼저 설명한 제1 실시 형태와 동일한 부호를 붙이고, 그 상세한 설명을 생략한다.
B-1. 두부 장착형 표시 장치의 구성
도 13은, 제2 실시 형태에 따른 두부 장착형 표시 장치(100a)의 구성을 기능적으로 나타내는 블록도이다. 도 2에 나타낸 제1 실시 형태와의 차이는, 제어부(10)를 대신하여 제어부(10a)를 구비하는 점이다. 제어부(10a)는, 기억부(120)를 대신하여 기억부(120a)를 구비하고, CPU(140)를 대신하여 CPU(140a)를 구비하고 있다.
기억부(120a)는, 도 2에서 나타낸 각 기억부에 더하여 추가로, 순서 테이블(126)을 포함하고 있다. CPU(140a)는, 도 2에서 나타낸 중첩 처리부(142)를 대신하여 중첩 처리부(142a)를 구비하고, 또한, 도 2에서 나타낸 각 처리부에 더하여 추가로, 순서 관리부(144)를 구비하고 있다. 중첩 처리부(142a)와 순서 관리부(144)는, 서로 협동함으로써, 제2 실시 형태에 있어서의 중첩 정보 표시 처리를 실행한다.
도 14는, 순서 테이블(126)의 일 예를 나타내는 도면이다. 순서 테이블(126)은, 제2 실시 형태에 있어서의 중첩 정보 표시 처리에서 사용되는 테이블이다. 순서 테이블(126)은, 기억부(120a) 내에 미리 저장되어 있다. 순서 테이블(126)은, 작업 번호와, 순서 번호와, 순서명과, 지시 내용과, 화상의 필드를 포함하고 있다.
작업 번호에는, 작업을 고유하게 식별하기 위한 식별자가 저장되어 있다. 예를 들면, 작업 번호에는, 의료용의 두부 장착형 표시 장치(100)의 경우, 수술의 기법을 나타내는 식별자가 저장된다. 식별자는, 문자열로 이루어지고, 예를 들면 영숫자의 조합으로 할 수 있다.
순서 번호 이후의 각 필드에는, 작업 번호에 의해 특정되는 작업에 포함되는 복수의 순서에 관한 여러 가지의 정보가 저장되어 있다. 순서 번호에는, 순서를 고유하게 식별하기 위한 식별자가 저장되어 있다. 식별자는, 문자열로 이루어지고, 예를 들면 영숫자의 조합으로 할 수 있다. 도 14의 예에서는, 작업 진행시의 복수의 순서는, 순서 번호의 오름차순으로 진행시키는 것을 상정하고 있다. 순서명에는, 당해 순서의 명칭이 저장되어 있다. 지시 내용에는, 당해 순서에 있어서, 사용자가 실시해야 할 내용을 나타내는 문자열이 저장되어 있다. 또한, 도 14의 예에서는, 지시 내용을 사용자에 대한 안내문 형식의 문자열로 표현하고 있다. 화상에는, 사용자가 실시해야 할 내용을 나타내는 화상이 저장되어 있다. 화상은, 예를 들면, 제3자가 당해 순서를 모범적으로 실시하고 있는 장면의 사진 등이다. 또한, 화상은, 사진 외에, 도면(설명도, 조립도, 배치도, 회로도 등)이라도 좋고, 그들의 조합이라도 좋다.
도 14의 예에서는, 순서 테이블(126)은, 의료용의 두부 장착형 표시 장치(100)에 있어서, 의사가 행하는 작업(즉, 수술)의 순서를 저장한 테이블인 것을 알 수 있다. 또한, 작업 번호 1로 식별되는 작업은, 인공 손가락 관절 치환 수술인 것을 알 수 있다. 또한, 순서 번호 1로 식별되는 순서에 있어서 사용자가 실시해야 할 내용은 "수술에 있어서 필요한 물품을 준비하는 것"인 것과, "필요한 물품은 무엇인가"인 것을 알 수 있다. 또한, 순서 번호 1로 식별되는 순서에는, 사용자가 실시해야 할 내용을 나타내는 화상이 대응지어져 있지 않다.
B-2. 중첩 정보 표시 처리
도 15는, 제2 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다. 도 5에 나타낸 제1 실시 형태와의 차이는, 스텝 S302, S304, S306이 추가되어 있는 점이다.
중첩 정보 표시 처리의 개시 지시 후, 스텝 S302에 있어서 순서 관리부(144)는, 현재의 순서를 추정한다. 구체적으로, 순서 관리부(144)는, 카메라(61)를 기동하고, 카메라(61)에 대하여 촬상을 지시하고, 카메라(61)에 의해 촬상된 외경 화상을 취득한다. 순서 관리부(144)는, 취득한 외경 화상을 화상 인식함으로써, 순서 테이블(126)에 저장되어 있는 복수의 순서로부터, 현재의 순서를 추정한다. 이와 같이 하면, 순서 관리부(144)는, 카메라(61)(화상 취득부)에 의해 취득된 사용자의 시계 방향의 화상(외경 화상)에 기초하여, 자동적으로 현재의 순서를 추정할 수 있다.
현재의 순서를 추정 후, 스텝 S108에 있어서 중첩 처리부(142a)는, 중첩 정보 생성 처리를 실행한다. 상세는 도 8에서 설명한 제1 실시 형태와 동일하다.
중첩 정보 생성 처리의 실행 후, 스텝 S304에 있어서 순서 관리부(144)는, 순서 정보를 생성한다. 구체적으로, 순서 관리부(144)는, 다음의 순서 d1∼d4에 나타내는 처리를 행한다.
순서 d1) 순서 관리부(144)는, 순서 테이블(126)을 검색하고, 스텝 S302에서 추정된 현재의 순서에 관련지어져 있는 엔트리를 추출한다.
순서 d2) 순서 관리부(144)는, 추출된 엔트리 중, 화상 필드에 화상(사용자가 실시해야 할 내용을 나타내는 화상)이 저장되어 있는지 없는지를 판정한다. 순서 관리부(144)는, 화상이 저장되어 있는 경우는 순서 d3을 실행하고, 화상이 저장되어 있지 않은 경우는 순서 d4를 실행한다.
순서 d3) 순서 관리부(144)는, 화상 필드에 저장되어 있는 화상을 상단부에 배치하고, 지시 내용 필드에 저장되어 있는 문자열을 하단부에 배치하고, 다른 부분에는 흑색의 더미 데이터를 배치한 순서 정보를 생성한다. 또한, 문자열은, 외경 화상의 색상을 고려한 후에, 시인성이 높은 색으로 하는 것이 바람직하다.
순서 d4) 순서 관리부(144)는, 지시 내용 필드에 저장되어 있는 문자열을 하단부에 배치하고, 다른 부분에는 흑색의 더미 데이터를 배치한 순서 정보를 생성한다.
또한, 순서 d3, d4에 있어서의 화상과 문자열의 배치는, 임의로 변경할 수 있다. 단, 사용자의 시계를 과도하게 차단하지 않는 태양으로 사용자에게 실시해야 할 내용을 안내하기 위해서는, 화상과 문자열의 배치는, 순서 정보(CP4)의 단부(바꾸어 말하면 네 변의 근방) 근방인 것이 바람직하다.
도 16은, 순서 정보의 예를 나타내는 도면이다. 순서 정보(CP4)에서는, 하측의 단부에, 사용자가 실시해야 할 내용을 나타내는 "인공 손가락 관절을 삽입합니다"라는 문자열(MG4)이 배치되어 있다. 또한, 우측 상단부에, 인공 손가락 관절의 삽입의 모델을 나타내는 화상(IM4)이 배치되어 있다.
순서 정보(CP4)의 생성 후, 스텝 S306에 있어서 중첩 처리부(142a) 및 순서 관리부(144)는, 중첩 정보(CP1)와 순서 정보를 표시시킨다. 구체적으로, 중첩 처리부(142a)는, 화상 처리부(160)에 대하여 중첩 정보(CP1)를 송신하고, 순서 관리부(144)는, 화상 처리부(160)에 대하여 순서 정보(CP4)를 송신한다. 중첩 정보(CP1)와, 순서 정보(CP4)를 수신한 화상 처리부(160)는, 중첩 정보(CP1)와 순서 정보(CP4)를 각 레이어로 한 합성 화상을 생성하고, 생성한 합성 화상에 대하여, 도 2에서 설명한 표시 처리를 실행한다. 이 결과, 두부 장착형 표시 장치(100a)의 사용자의 시야(VR)에는, 중첩 정보(CP1)와 순서 정보(CP4)가, 허상(VI)으로서 표시된다.
이상과 같이, 제2 실시 형태의 중첩 정보 표시 처리에서는, 화상 표시부(20)는, 현재의 순서에 대해서 두부 장착형 표시 장치(100a)의 사용자가 실시해야 할 내용을 나타낸 순서 정보(CP4)를 허상(VI)(영상)으로서 사용자에게 시인시킨다. 이 때문에, 제1 실시 형태의 효과에 더하여 추가로, 두부 장착형 표시 장치(100a)의 사용자가 실시해야 할 내용을, 화상을 이용하여 시각적으로 나타내는 것이 가능해진다. 이 때문에, 사용자가 행하는 작업을 보다 알기 쉽게 지원할 수 있다.
또한, 상기 제 2 실시 형태에서는, 순서 테이블(126)의 화상 필드에, 제3자가 당해 순서를 모범적으로 실시하고 있는 장면의 사진 등이 저장되어 있는 경우를 예로 하여 설명했다. 그러나, 순서 테이블(126)의 화상 필드에는, 실제의 개별 구체적인 순서가 수행될 때, 사용자가 실시해야 할 내용을 나타내는 화상이 저장되어 있어도 좋다. 구체적으로, 순서 테이블(126)의 화상 필드에는, 예를 들면, 실제로 수술을 받는 환자의 피부의 절개 개소를 나타내는 화상이나, 실제로 수술을 받는 환자의 체내에 대한 의료 기기(예를 들면, 의료용 나사, 페이스 메이커, 카테터(catheter), 인공 관절 등)의 삽입 개소를 나타내는 화상이 저장되어 있어도 좋다. 이 경우, 순서 관리부(144)는, 중첩 정보 표시 처리(도 15)의 스텝 S108, S304, S306을 대신하여, 다음의 순서 e1∼e9에 나타내는 처리를 행한다.
순서 e1) 순서 관리부(144)는, 순서 테이블(126)을 검색하고, 스텝 S302에서 추정된 현재의 순서에 관련지어져 있는 엔트리를 추출한다.
순서 e2) 순서 관리부(144)는, 추출된 엔트리 중, 화상 필드에 화상이 저장되어 있는지 없는지를 판정한다. 순서 관리부(144)는, 화상이 저장되어 있는 경우는 순서 e3∼e7, e9를 실행하고, 화상이 저장되어 있지 않은 경우는 순서 e8, e9를 실행한다.
순서 e3) 중첩 처리부(142a)는, 외경 화상을 취득한다. 상세는 중첩 정보 생성 처리(도 8)의 스텝 S202와 동일하다.
순서 e4) 중첩 처리부(142a)는, 외경 화상을 화상 인식함으로써 대상 물체의 특징을 추출한다. 상세는 중첩 정보 생성 처리의 스텝 S204와 동일하다.
순서 e5) 중첩 처리부(142a)는, 화상 필드에 저장되어 있는 화상을 화상 인식함으로써 대상 물체의 특징을 추출한다. 상세는 중첩 정보 생성 처리의 스텝 S206과 동일하다. 단, 스텝 S206의 "불가시 정보" 대신에, "화상 필드에 저장되어 있는 화상"이라고 읽는다.
순서 e6) 중첩 처리부(142a)는, 순서 e4에서 추출된 외경 화상의 특징과, 순서 e5에서 추출된 화상 필드에 저장되어 있는 화상의 특징이 맞도록, 화상 필드에 저장되어 있는 화상을 보정하고, 중첩 정보(CP5)를 생성한다. 상세는 중첩 정보 생성 처리의 스텝 S208과 동일하다. 단, 스텝 S208의 "불가시 정보" 대신에, "화상 필드에 저장되어 있는 화상"이라고 읽는다.
순서 e7) 순서 관리부(144)는, 순서 e6에서 생성된 중첩 정보(CP5)에 대하여, 순서 정보를 나타내는 레이어를 추가한다. 구체적으로, 순서 관리부(144)는, 순서 e1에서 추출된 엔트리의 지시 내용 필드에 저장되어 있는 문자열을 중첩 정보(CP5)의 하단부에 배치한다.
도 17은, 순서 정보가 추가된 중첩 정보의 예를 나타내는 도면이다. 이 중첩 정보(CP5)에서는, 사용자의 시계 방향의 대상 물체(외경에 포함되는 물체)의 특징에 맞춘 각도, 위치, 크기로, 실제로 수술을 받는 환자의 피부의 절개 개소를 나타내는 화상(IM5)이 배치되어 있다. 또한, 중첩 정보(CP5)에서는, 하측의 단부에, 사용자가 실시해야 할 내용을 나타내는 "원날 메스를 이용하여 수술 부위의 피부를 절개하여, 손가락 관절을 노출시킵니다"라는 문자열(MG5)이 배치되어 있다.
순서 e8) 순서 관리부(144)는, 순서 e1에서 추출된 엔트리의 지시 내용 필드에 저장되어 있는 문자열을 하단부에 배치하고, 다른 부분에는 흑색의 더미 데이터를 배치한 순서 정보(CP4)를 생성한다.
순서 e9) 순서 관리부(144)는, 순서 e7에서 생성된 중첩 정보(CP5) 또는 순서 e8에서 생성된 순서 정보(CP4)를 표시시킨다. 구체적으로, 순서 관리부(144)는, 화상 처리부(160)에 대하여 생성된 중첩 정보(CP5) 또는 순서 정보(CP4)를 송신한다. 중첩 정보(CP5) 또는 순서 정보(CP4)를 수신한 화상 처리부(160)는, 도 2에서 설명한 표시 처리를 실행한다. 이 결과, 두부 장착형 표시 장치(100a)의 사용자의 시야(VR)에는, 중첩 정보(CP5) 또는 순서 정보(CP4)가, 허상(VI)으로서 표시된다.
도 18은, 순서 e1∼e9에 의해 사용자에게 시인되는 허상의 일 예를 나타내는 도면이다. 도 18에 나타내는 바와 같이, 두부 장착형 표시 장치(100a)의 사용자의 시야(VR)에는, 중첩 정보(CP5)가 허상(VI)으로서 표시된다. 이와 같이, 본 실시 형태에 따른 두부 장착형 표시 장치(100a)의 사용자는, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 투과하여 보이는 외경(SC) 내의 실상(의사가 잡는 메스의 날끝이 환자의 오른손 새끼 손가락의 제2 관절에 닿아져 있는 상태)과, 허상(VI)으로서 보이는 중첩 정보(CP5)(즉, 실제로 수술을 받는 환자의 피부의 절개 개소를 나타내는 화상 및, 사용자가 실시해야 할 내용을 나타내는 문자열)가, 중첩된 상태에서 시인 가능해진다. 이와 같이 하면, 두부 장착형 표시 장치(100a)의 사용자가 행하는 작업을, 보다 개별적으로 구체적으로 지원하는 것이 가능해져, 작업의 정밀화와, 작업 효율의 향상을 도모할 수 있다.
B-3. 중첩 정보 표시 처리에 있어서의 부가적 처리
또한, 제2 실시 형태에 따른 중첩 정보 표시 처리(도 15)에서는, 또한, "A-3. 중첩 정보 표시 처리에 있어서의 부가적 처리"에서 설명한 부가적 처리 1∼7을 실행해도 좋다. 부가적 처리는, 단독으로 부가해도 좋고, 조합하여 부가해도 좋다. 또한, 부가적 처리 7은, 순서 관리부(144)가 주체가 되어, 순서 관리부(144)가 생성하는 순서 정보에 대하여 실행되어도 좋다.
C. 제3 실시 형태
본 발명의 제3 실시 형태에서는, 제1 실시 형태의 중첩 정보 표시 처리에 있어서의 "중첩 정보 표시 처리의 대상으로 하는 물체의 실상"에 대한 "물체의 외관에 나타나지 않는 정보(중첩 정보)"의 중첩의 정밀도를, 보다 향상시키는 것이 가능한 구성에 대해서 설명한다. 이하에서는, 제1 실시 형태와 상이한 구성 및 동작을 갖는 부분에 대해서만 설명한다. 또한, 도면 중에 있어서 제1 실시 형태와 동일한 구성 부분에 대해서는 앞서 설명한 제1 실시 형태와 동일한 부호를 붙이고, 그 상세한 설명을 생략한다.
C-1. 두부 장착형 표시 장치의 구성
도 19는, 제3 실시 형태에 따른 두부 장착형 표시 장치(100b)의 개략 구성을 나타내는 도면이다. 도 20은, 제3 실시 형태에 따른 두부 장착형 표시 장치(100b)의 구성을 기능적으로 나타내는 블록도이다. 도 1, 2에 나타낸 제1 실시 형태와의 차이는, 제어부(10)를 대신하여 제어부(10b)를 구비하는 점과, 화상 표시부(20)를 대신하여 화상 표시부(20b)를 구비하는 점이다.
도 20에 나타내는 바와 같이, 제어부(10b)는, 기억부(120)을 대신하여 기억부(120b)를 구비하고, CPU(140)를 대신하여 CPU(140b)를 구비하고 있다. 기억부(120b)는, 제1 실시 형태에서 설명한 불가시 정보 기억부(122)와, 외관 정보 기억부(124)에 더하여 추가로, 시차 정보(128)를 포함하고 있다.
도 21은, 시차 정보(128)에 대해서 설명하기 위한 도면이다. 본 실시 형태에 있어서의 시차 정보(128)는, 사용자와 사용자가 시인하는 허상과의 사이의 복수의 거리(Lx)와, 복수의 거리(Lx) 각각에 따른 시차(Px)가 대응지어진 테이블이다. 또한, 시차란, 양안의 망막에 비치는 상의 차이를 의미한다. 도 21의 예에서는, 사용자와 사용자가 시인하는 허상(VI1)과의 사이의 거리(L1)에 대하여, 시차 2mm가 대응지어져 있다. 또한, 사용자와 사용자가 시인하는 허상(VI2)과의 사이의 거리(L2)에 대하여 시차 6mm가, 사용자와 사용자가 시인하는 허상(VI3)과의 사이의 거리(L3)에 대하여 시차 10mm가, 각각 대응지어져 있다. 또한, 인간의 안깊이 간격은, 사용자와 사용자가 시인하는 허상과의 사이의 거리가 멀어짐에 따라 극적으로 감소하는 것이 알려져 있다. 이 때문에, 시차 정보(128)에는, 거리(Lx)가 작으면 작을수록 많은 데이터를 준비해도 좋다.
이 대응관계(correlation)는, 우안용의 허상의 표시 위치와 좌안용의 허상의 표시 위치를 어긋나게 한 결과로서, 사용자가 양안으로 시인하는 허상의 위치(즉, 우안이 시인하는 허상과 좌안이 시인하는 허상이 결상하는 결상 위치)와, 사용자의 양안과의 사이의 거리를 계측함으로써, 미리 작성되어 있다. 또한, 우안용의 허상과 좌안용의 허상을 동일한 허상으로 한 경우에, 사용자가 양안으로 시인하는 허상의 위치를 "기준면"이라고 정의한다. 이 경우, 시차 정보(128)를 작성할 때의 결상 위치는, 사용자로부터 보아 기준면의 전방 측이라도 좋고, 사용자로부터 보아 기준면보다도 후방 측이라도 좋다. 결상 위치는 기준면의 전후방 측의 양쪽이라도 좋다. 또한, 전자의 경우, 사용자에게는 허상이 튀어나와 있는 것과 같이 보이고, 후자의 경우, 사용자에게는 허상이 움푹 들어가 있는 것과 같이 보인다.
전술한 시차 2mm, 6mm, 10mm는, 각각, 사용자의 변별 시야(discriminative visual field) 및 유효 시야에 상당하는 허상의 중심 부분의 시차이다. 따라서, 시차 정보(128)에는, 보다 엄밀을 기하기 위해, 사용자의 주시 안정 시야에 상당하는 부분의 시차(1.9mm, 5mm, 9mm), 사용자의 유도 시야에 상당하는 부분의 시차(1.8mm, 4mm, 8mm), 사용자의 보조 시야에 상당하는 부분의 시차(1.7mm, 3mm, 7mm) 등이 서로 구별되어 기억되어 있어도 좋다. 또한, 도 21에 있어서의 구체적인 수치는 어디까지나 예시이다.
또한, 변별 시야란, 인간의 시야 중, 시력, 색변별 등의 시기능이 우수하여, 고정밀도의 정보를 수용할 수 있는 범위이다. 변별 시야는 통상, 중심으로부터 몇 도(degree) 이내이다. 유효 시야란, 인간의 시야 중, 안구 운동만으로 정보를 주시하여, 순간에 특정 정보를 수용할 수 있는 범위이다. 유효 시야는 통상, 좌우 약 15도, 위로 약 8도, 아래로 약 12도 이내이다. 주시 안정 시야란, 인간의 시야 중, 두부 운동이 안구 운동을 돕는 상태에서 발생하며, 무리 없이 주시가 가능한 범위이다. 주시 안정 시야는, 통상, 좌우 30∼45도, 위로 20∼30도, 아래로 25∼40도 이내이다. 유도 시야란, 인간의 시야 중, 제시된 정보의 존재를 판정할 수 있는 정도의 식별 능력뿐이 없지만, 인간의 공간 좌표 감각에 영향을 주는 범위이다. 유도 시야는, 통상적으로, 수평으로 30∼100도, 수직으로 20∼85도의 범위 내이다. 보조 시야란, 인간의 시야 중, 정보 수용은 극도로 저하되고, 강한 자극 등에 주시 동작을 유발시키는 정도의 보조적 작용을 행하는 범위이다. 보조 시야는, 통상적으로, 수평으로 100∼200도, 수직으로 85∼135도의 범위 내이다.
도 20의 CPU(140b)는, 중첩 처리부(142)를 대신하여, 중첩 처리부(142b)를 포함하고 있다. 중첩 처리부(142b)는, 실행되는 중첩 정보 표시 처리의 내용이 제1 실시 형태와는 상이하다. 상세는 후술한다.
도 20에 나타내는 바와 같이, 화상 표시부(20b)는, 제1 실시 형태에서 설명한 각 부에 더하여, 추가로, 동공 촬영용 카메라(62, 63)와, 근적외선 수발광부(64, 65)와, 9축 센서(66)와, 심도 센서(67)를 포함하고 있다.
동공 촬영용 카메라(62)는, 화상 표시부(20)의 단부(ER)(도 1)의 근방에 배치되어 있다. 동공 촬영용 카메라(62)는, 화상 표시부(20)의 후방 측 방향에 있어서, 사용자가 두부 장착형 표시 장치(100b)를 장착한 상태에 있어서의 사용자의 우안(RE)의 동공을 촬영한다. 마찬가지로, 동공 촬영용 카메라(63)는, 화상 표시부(20)의 단부(EL)(도 1)의 근방에 배치되어 있다. 동공 촬영용 카메라(63)는, 사용자가 두부 장착형 표시 장치(100b)를 장착한 상태에 있어서의 사용자의 좌안(LE)의 동공을 촬영한다.
근적외선 수발광부(64)는, 화상 표시부(20)의 단부(ER)(도 1)의 근방에 배치되어 있다. 근적외선 수발광부(64)는, 화상 표시부(20)의 후방 측 방향에 있어서, 사용자의 우안(RE)을 향하여 적외광을 조사하고, 반사광을 취득한다. 마찬가지로, 근적외선 수발광부(65)는, 화상 표시부(20)의 단부(EL)(도 1)의 근방에 배치되어 있다. 근적외선 수발광부(65)는, 화상 표시부(20)의 후방 측 방향에 있어서, 사용자의 좌안(LE)에 적외광을 조사하고, 반사광을 취득한다.
동공 촬영용 카메라(62, 63)와, 근적외선 수발광부(64, 65)는, 서로 협동함으로써 사용자의 시선을 검출하는 "시선 검출부"로서 기능한다. 또한, 동공 촬영용 카메라(62, 63)와, 근적외선 수발광부(64, 65)는, 그 일부를 생략해도 좋다. 예를 들면, 근적외선 수발광부(64, 65)를 생략해도 좋고, 동공 촬영용 카메라(63)와 근적외선 수발광부(65)를 생략해도 좋다.
9축 센서(66)는, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 미간에 대응하는 위치에 배치되어 있다. 9축 센서(66)는, 가속도(3축), 각속도(3축), 지자기(3축)를 검출하는 모션 센서이다. 9축 센서(66)는, 화상 표시부(20)에 설치되어 있기 때문에, 화상 표시부(20)가 사용자의 두부에 장착되어 있을 때에는, 사용자의 두부의 움직임을 검출하는 "움직임 검출부"로서 기능한다. 여기에서, 두부의 움직임이란, 두부의 속도, 가속도, 각속도, 방향, 방향의 변화를 포함한다.
심도 센서(67)는, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 미간에 대응하는 위치에 배치되어 있다. 심도 센서(67)는, 적외선 조사부와, 적외선 센서를 포함하고, 심도 센서(67)의 정면에 위치한 각 점의 심도를 측정한다. 심도 센서(67)는, 중첩 정보 표시 처리의 대상으로 하는 물체(대상 물체)에 대한 사용자의 위치를 검출하는 "위치 검출부"로서 기능한다.
C-2. 중첩 정보 표시 처리
도 22는, 제3 실시 형태에 따른 중첩 정보 표시 처리의 순서를 나타내는 플로우 차트이다. 도 5에 나타낸 제1 실시 형태와의 차이는, 스텝 S102를 대신하여 스텝 S602를, 스텝 S108을 대신하여 스텝 S604를, 스텝 S110을 대신하여 스텝 S606을 각각 구비하는 점과, 스텝 S110의 후에 추가로 스텝 S608을 구비하는 점이다. 또한, 제3 실시 형태에 따른 중첩 정보 표시 처리는, 3차원 표시 모드에서 실행된다.
스텝 S602에 있어서, 사용자는, 중첩 정보 표시 처리의 대상으로 하는 하나의 임의의 물체에 대한 복수의 불가시 정보를, 불가시 정보 기억부(122)에 기억시킨다. 여기에서, 불가시 정보란, 도 5의 스텝 S102와 동일하게, CT 기기, MRI 기기, X-레이 기기, 내시경, 서모그래피 기기 등의 촬상 기기를 이용하여 취득된 대상 물체의 구조를 나타낸 화상이다. 제3 실시 형태의 중첩 정보 표시 처리에서는, 대상 물체와 사용자와의 위치 관계에 따라서 복수의 불가시 정보로부터 하나의 불가시 정보가 선택된다. 이 때문에, 스텝 S602에서는, 대상 물체에 관하여, 다양한 각도로부터 불가시 정보를 취득하고, 불가시 정보 기억부(122)에 기억시켜 두는 것이 바람직하다.
도 23은, 불가시 정보의 일 예를 나타내는 도면이다. 도 23에서 나타내는 바와 같이, 제3 실시 형태의 불가시 정보 기억부(122)에는, 환자(PA)의 신체를 전측과 후측으로 분할하는 임의의 평면 화상인 복수의 관상면 CT 화상(SI1)과, 환자(PA)의 신체를 길이 방향에 대하여 수직인 평면으로 분할하는 임의의 평면 화상인 복수의 횡단면 CT 화상(SI2)과, 환자(PA)의 수술 개소의 X-레이 화상(SI3)이 기억되어 있다. 또한, 도 23에 나타내는 불가시 정보는 어디까지나 일 예이고, 예를 들면, 시상면(sagittal plane) CT 화상을 포함해도 좋고, CT 화상을 대신하여 MRI 화상이나 내시경 화상을 포함해도 좋다.
도 22의 스텝 S604에 있어서, 중첩 처리부(142b)는, 이하에 설명하는 "C-2-1. 제1 중첩 정보 생성 처리"와, "C-2-2. 제2 중첩 정보 생성 처리" 중 어느 처리를 실행함으로써, 중첩 정보를 생성한다. 제1 중첩 정보 생성 처리와, 제2 중첩 정보 생성 처리의 차이는, 중첩 처리부(142b)가 불가시 정보를 보정할 때의 정밀도이다. 구체적으로, 제2 중첩 정보 생성 처리는, 제1 중첩 정보 생성 처리와 비교하여, 보다 정밀도가 높은 보정이 행해진다.
제1 중첩 정보 생성 처리와, 제2 중첩 정보 생성 처리 중 어느 것이 실행될지는, 미리 정해져 있어도 좋고, 사용자에 의해 지정되어도 좋다. 또한, 예를 들면 9축 센서에 의해 검출되는 사용자의 두부의 움직임의 크기에 따라 자동적으로 결정되어도 좋고, 두부 장착형 표시 장치(100b)를 사용하여 실시되는 수술의 종류 또는 기법에 의해 자동적으로 결정되어도 좋다.
C-2-1. 제1 중첩 정보 생성 처리
도 24는, 제1 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다. 스텝 S402에 있어서 중첩 처리부(142b)는, 외경 화상을 취득한다. 구체적으로, 중첩 처리부(142b)는, 카메라(61)를 기동하고, 카메라(61)에 대하여 촬상을 지시하고, 카메라(61)에 의해 촬상된 외경 화상을 취득한다.
도 25는, 제1 중첩 정보 생성 처리의 스텝 S404에 대해서 설명하기 위한 도면이다. 도 24의 스텝 S404에 있어서 중첩 처리부(142b)는, 사용자의 시선과, 위치를 취득한다. 구체적으로, 중첩 처리부(142b)는, 동공 촬영용 카메라(62, 63) 및 근적외선 수발광부(64, 65)의 검출값으로부터, 사용자의 시선을 취득한다. 그 후, 중첩 처리부(142b)는, 취득한 사용자의 시선으로부터, 사용자와, 사용자가 주시하고 있는 점(PP)(도 25, 주시점(PP))과의 사이의 거리인 주시점 거리를 구한다. 또한, 주시점은, 사용자의 양안의 중심 와(窩)(망막에서 시력이 가장 높은 장소)의 연장선상과 교차하는 점이다. 또한, 중첩 처리부(142b)는, 심도 센서(67)의 검출값으로부터, 대상 물체에 대한 사용자의 위치 PO1∼PO3(도 25)을 취득한다. 이 경우에, 중첩 처리부(142b)는, 예를 들면, 대상 물체의 특징 M1∼M4(도 25, 에지나 마커)에 대한 심도(DP)(도 25)를, 위치 취득의 기준으로 사용해도 좋다.
스텝 S406에 있어서, 중첩 처리부(142b)는, 불가시 정보 기억부(122)에 기억되어 있는 복수의 불가시 정보로부터, 대상 물체에 대한 사용자의 위치에 따른 하나의 불가시 정보를 선택한다. 구체적으로, 중첩 처리부(142b)는, 스텝 S404에서 취득한 사용자와 대상 물체와의 위치 관계에 기초하여, 최적이라고 생각되는 몇 개의 불가시 정보를 선택한다. 예를 들면, 사용자가, 도 23에 나타내는 환자(PA)(대상 물체)를 아래로 내려다 보는 위치에 있는 경우, 중첩 처리부(142b)는, 복수의 관상면 CT 화상(SI1)을 선택한다. 다음으로 중첩 처리부(142b)는, 선택한 몇 개의 불가시 정보로부터, 스텝 S404에서 취득한 심도에 따른 하나의 불가시 정보를 선택한다. 또한, 스텝 S406에 있어서, 중첩 처리부(142)는, 선택한 몇 개의 불가시 정보를 후보로서 사용자에게 제시하고, 사용자로부터의 불가시 정보의 선택을 접수해도 좋다.
스텝 S408에 있어서 중첩 처리부(142b)는, 외경 화상을 화상 인식함으로써 대상 물체의 특징을 추출한다. 상세는, 제1 실시 형태에서 설명한 도 8의 스텝 S204와 동일하다.
스텝 S410에 있어서 중첩 처리부(142b)는, 스텝 S408에서 선택된 불가시 정보를 화상 인식함으로써 대상 물체의 특징을 추출한다. 상세는, 제1 실시 형태에서 설명한 도 8의 스텝 S206과 동일하다.
스텝 S412에 있어서 중첩 처리부(142b)는, 스텝 S408에서 추출된 외경 화상의 특징과, 스텝 S410에서 추출된 불가시 정보의 특징이 서로 정합하도록, 스텝 S408에서 선택된 불가시 정보를 보정하고, 이에 의해서 중첩 정보를 생성한다. 상세는, 제1 실시 형태에서 설명한 도 8의 스텝 S208과 동일하다.
스텝 S414에 있어서 중첩 처리부(142b)는, 중첩 정보에 대하여 시차를 부여한다. 구체적으로, 중첩 처리부(142b)는, 스텝 S404에서 구한 주시점 거리를 키원드로 하여 시차 정보(128)를 검색하고, 시차 정보(128)로 규정되어 있는 시차를 취득한다. 중첩 처리부(142b)는, 스텝 S412에서 생성된 중첩 정보에 대하여, 시차 정보(128)로부터 취득한 주시점 거리에 따른 시차를 부여함으로써, 우안용의 중첩 정보와, 좌안용의 중첩 정보를 생성한다. 이와 같이, 스텝 S414에 의하면, 중첩 처리부(142b)는, 미리 준비된 시차 정보(128)를 이용하여, 간편하게, 우안용의 중첩 정보와 좌안용의 중첩 정보를 생성할 수 있다.
제1 중첩 정보 생성 처리의 종료 후, 도 22의 스텝 S606에 있어서 중첩 처리부(142b)는, 중첩 정보를 표시시킨다. 구체적으로, 중첩 처리부(142b)는, 화상 처리부(160)에 대하여, 중첩 정보 생성 처리에 의해 생성된 우안용의 중첩 정보와, 좌안용의 중첩 정보를 송신한다. 우안용의 중첩 정보와, 좌안용의 중첩 정보를 수신한 화상 처리부(160)는, 수신한 중첩 정보에 대하여, 각각, 도 2에서 설명한 표시 처리를 실행한다. 이 결과, 두부 장착형 표시 장치(100b)의 사용자의 시야에는, 중첩 정보에 기초하는 허상이 표시된다. 여기에서, 우안용의 중첩 정보와, 좌안용의 중첩 정보에는, 주시점 거리에 따른 시차가 부여되어 있다. 이 때문에, 두부 장착형 표시 장치(100b)의 사용자가 시인하는 허상은, 사용자의 주시점의 근방에서 결상하여 3차원 방식으로 표시된다.
도 22의 스텝 S608에 있어서 중첩 처리부(142b)는, 사용자의 시선과, 위치가 변경되었는지 아닌지를 판정한다. 사용자의 시선과, 위치는, 제1 중첩 정보 생성 처리(도 25)의 스텝 S404와 동일한 방법으로 취득할 수 있다. 사용자의 위치와, 시선이, 소정의 문턱값을 초과하여 변화한 경우(스텝 S608: YES), 중첩 처리부(142b)는, 처리를 스텝 S604에 전이시켜, 제1 또는 제2 중첩 정보 생성 처리를 반복한다. 사용자의 위치와, 시선이, 소정의 문턱값을 초과하여 변화하고 있지 않는 경우(스텝 S608: NO), 중첩 처리부(142b)는, 처리를 스텝 S112로 전이시킨다. 또한, 소정의 문턱값은, 임의로 정할 수 있다. 또한, 위치의 변화량에 관한 문턱값과, 시선의 변화량에 관한 문턱값은, 상이해도 좋다.
이상과 같이, 제1 중첩 정보 생성 처리에 의하면, 중첩 처리부(142b)는, 사용자와 사용자가 주시하고 있는 주시점과의 사이의 거리(주시점 거리)에 따른 시차를 부여한 우안용의 중첩 정보와 좌안용의 중첩 정보를 생성하고, 화상 표시부(20)의 화상 처리부(160)는, 이들 중첩 정보에 기초하는 허상을 사용자에게 시인시킨다. 이 결과, 사용자는, 주시점과 동일한 거리의 위치에 있어서 중첩 정보를 시인할 수 있다.
또한, 제1 중첩 정보 생성 처리에 의하면, 중첩 처리부(142b)는, 기억부(120b)의 불가시 정보 기억부(122)에 기억되어 있는 복수의 불가시 정보로부터, 사용자의 대상 물체에 대한 위치에 따른 하나의 불가시 정보를 선택하고, 선택된 불가시 정보를 보정할 수 있다. 이 때문에, 중첩 처리부(142b)는, 사용자와, 대상 물체와의 위치 관계에 기초하여, 적절한 불가시 정보를 사용하여, 중첩 정보를 생성할 수 있다.
C-2-2. 제2 중첩 정보 생성 처리
도 26은, 제2 중첩 정보 생성 처리의 순서를 나타내는 플로우 차트이다. 도 24에 나타낸 제1 중첩 정보 생성 처리와의 차이는, 스텝 S404을 대신하여 스텝 S502를, 스텝 S412를 대신하여 스텝 S504를, 각각 구비하는 점이다.
스텝 S502에 있어서 중첩 처리부(142b)는, 사용자의 시선과, 위치와, 두부의 각도를 취득한다. 사용자의 시선과, 위치에 대해서는, 제1 중첩 정보 생성 처리(도 25)의 스텝 S404와 동일하다. 또한, 중첩 처리부(142b)는, 9축 센서(66)의 검출값으로부터, 사용자의 두부의 각도를 취득한다.
도 27은, 제2 중첩 정보 생성 처리의 스텝 S504에 대해서 설명하기 위한 도면이다. 도 26의 스텝 S504에 있어서 중첩 처리부(142b)는, 불가시 정보를 보정한다. 구체적으로, 중첩 처리부(142)는, 이하의 순서 f1∼f3에 설명하는 방법을 이용하여, 스텝 S408에서 선택된 불가시 정보를 보정한다.
순서 f1) 중첩 처리부(142b)는, 불가시 정보(SI)를 나타내는 화상을, 복수의 영역 A1∼An으로 분할한다(도 27). 이 분할시, 중첩 처리부(142b)는, 사용자와 대상 물체의 각 부와의 사이의 거리를, 3각 측량을 이용하여 각각 계측하고, 계측의 결과에 따라서 불가시 정보(SI)를 나타내는 화상을 영역 분할해도 좋다. 구체적으로, 예를 들면, 중첩 처리부(142b)는, 대상 물체의 각 부에 대해서, 측정된 사용자와의 사이의 거리마다 그루핑을 행하고, 그루핑된 각 부에 대응하는 불가시 정보(SI)를, 1개의 영역으로서 모을 수 있다. 또한, 이 그루핑시에는, 거리에 소정의 허용 범위(문턱값)를 설정해도 좋다. 이와 같이 하면, 중첩 처리부(142b)는, 효율적으로, 또한, 실태에 입각하여, 불가시 정보(SI)를 나타내는 화상의 영역을 복수의 영역으로 분할할 수 있다.
순서 f2) 중첩 처리부(142b)는, 순서 f1에서 분할한 복수의 영역의 각각에 대하여, 확대, 축소, 트리밍, 변형, 노이즈의 제거 중 적어도 하나를 행하여, 중첩 정보를 생성한다. 이 가공시, 중첩 처리부(142b)는, 스텝 S408 및 S410에서 검출한 외경 화상의 특징과, 불가시 정보(SI)의 특징이 서로 정합하도록 처리를 수행한다.
순서 f3) 중첩 처리부(142b)는, 순서 f2의 가공을 행할 때에, 사용자의 시야 내의 정보 수용 특성에 따라서, 가공(보정) 정밀도를 바꿔도 좋다. 여기에서, 정보 수용 특성이란, 시각 능력의 정도를 의미한다. 인간의 시야는, 시야 내의 정보 수용 특성이 우수한 순으로, (1) 변별 시야, (2) 유효 시야, (3) 주시 안정 시야, (4) 유도 시야, (5) 보조 시야로 구분할 수 있다(도 21). 그래서, 중첩 처리부(142b)는, 순서 f1에서 분할된 복수의 영역 중, 가공 대상으로 하는 영역이, 정보 수용 특성이 우수한 시야(예를 들면, 상기 (1), (2))에 속하는 경우는, 가공의 정밀도를 높게 하고, 정보 수용 특성이 우수하지 않은 시야(예를 들면, 상기 (4), (5))에 속하는 경우는, 가공의 정밀도를 낮게 할 수 있다. 이것은, 정보 수용 특성이 우수하지 않는 시야에 있어서는, 불가시 정보(SI)와 대상 물체와의 중첩의 정밀도를 올린 결과, 사용자의 지각 능력의 한계로부터, 쓸모 없어져 버릴 우려가 있기 때문이다.
제2 중첩 정보 생성 처리의 종료 후, 도 22의 스텝 S606에 있어서 중첩 처리부(142b)는, 중첩 정보를 표시시킨다. 이 결과, 제1 중첩 정보 생성 처리와 동일하게, 두부 장착형 표시 장치(100b)의 사용자의 시야에는, 중첩 정보에 기초하는 허상이 표시된다. 또한, 사용자가 시인하는 허상은, 사용자의 주시점의 근방에서 결상하여 3차원 방식으로 표시된다.
이상과 같이, 제2 중첩 정보 생성 처리에 의하면, 중첩 처리부(142b)는, 기억부(120)의 불가시 정보 기억부(122)에 기억되어 있는 물체의 불가시 정보(SI)를 나타내는 화상을, 복수의 영역 A1∼An으로 분할한다. 그 후에 복수의 영역의 각각에 대하여, 확대와, 축소와, 트리밍과, 변형과, 노이즈의 제거 중 적어도 하나를 수행하여 당해 영역을 보정한다. 이와 같이 중첩 처리부(142b)는, 불가시 정보(SI)를 나타내는 화상을, 복수의 영역 A1∼An으로 분할한 후에, 각 영역에 대한 보정을 행한다. 따라서, 불가시 정보(SI)를 나타내는 화상의 보정의 정밀도를 향상시킬 수 있다.
또한, 제2 중첩 정보 생성 처리에 의하면, 중첩 처리부(142b)는, 사용자의 시야 내의 정보 수용 특성에 따라서 불가시 정보(SI)에 대한 가공(보정)의 정밀도를 바꾼다. 이 결과, 중첩 처리부(142b)는, 효율적으로 불가시 정보(SI)를 보정할 수 있다.
C-3. 중첩 정보 표시 처리에 있어서의 부가적 처리
또한, 중첩 정보 표시 처리(도 22)에서는, 또한, "A-3. 중첩 정보 표시 처리에 있어서의 부가적 처리"에 있어서 설명한 부가적 처리 1∼7을 실행해도 좋다. 부가적 처리는, 단독으로 부가해도 좋고, 조합하여 부가해도 좋다.
D. 변형예
상기 실시 형태에 있어서, 하드웨어에 의해 실현되는 구성의 일부를 소프트웨어로 치환하도록 해도 좋고, 반대로, 소프트웨어에 의해 실현되는 구성의 일부를 하드웨어로 치환하도록 해도 좋다. 그 외에, 이하와 같은 변형도 가능하다.
변형예 1
상기 실시 형태에서는, 두부 장착형 표시 장치의 구성에 대해서 예시했다. 그러나, 두부 장착형 표시 장치의 구성은, 본 발명의 요지를 일탈하지 않는 범위에 있어서 임의로 정하는 것이 가능하고, 예를 들면, 각 구성부의 추가, 삭제, 변환 등을 행할 수 있다.
상기 실시 형태에 있어서의, 제어부와, 화상 표시부에 대한 구성 요소의 할당은, 어디까지나 일 예이고, 여러 가지의 태양을 채용할 수 있다. 예를 들면, 이하와 같은 태양이 채용될 수도 있다. (i) 제어부에 CPU나 메모리 등의 처리 기능을 탑재, 화상 표시부에는 표시 기능만을 탑재하는 태양, (ⅱ) 제어부와 화상 표시부의 양쪽에 CPU나 메모리 등의 처리 기능을 탑재하는 태양, (ⅲ) 제어부와 화상 표시부를 일체로 형성한 태양(예를 들면, 화상 표시부에 제어부가 포함되어 안경형의 웨어러블 컴퓨터로서 기능하는 태양), (ⅳ) 제어부 대신에 스마트 폰이나 휴대형 게임기를 사용하는 태양, (ⅴ) 제어부와 화상 표시부를 서로 무선으로 통신하고 또한 무선 방식으로 전력을 공급할 수 있는 구성으로 함으로써 접속부(코드)를 제거한 태양.
상기 실시 형태에서는, 설명의 편의상, 제어부가 송신부를 구비하고, 화상 표시부가 수신부를 구비하는 것으로 했다. 그러나, 상기 실시 형태의 송신부 및 수신부는, 모두, 쌍방향 통신이 가능한 기능을 구비하고 있어, 송수신부로서 기능할 수 있다. 또한, 예를 들면, 도 2에 나타낸 제어부는, 유선의 신호 전송로를 통하여 화상 표시부와 접속되어 있다. 그러나, 제어부와, 화상 표시부는, 무선 LAN이나 적외선 통신이나 Bluetooth(등록상표) 등의 무선의 신호 전송로를 통해 상호 접속되어 있어도 좋다.
예를 들면, 도 2에 나타낸 제어부, 화상 표시부의 구성은 임의로 변경할 수 있다. 구체적으로, 예를 들면, 제어부로부터 터치 패드를 생략하고, 십자 키만을 사용하여 조작해도 좋다. 또한, 제어부에 조작용 스틱 등의 기타 조작용 인터페이스를 구비해도 좋다. 또한, 제어부에는 키보드나 마우스 등의 디바이스를 접속 가능한 구성으로 하여, 키보드나 마우스로부터 입력을 접수하는 것으로 해도 좋다.
예를 들면, 두부 장착형 표시 장치는, 양안 타입의 투과형 두부 장착형 표시 장치인 것으로 했지만, 단안 타입의 두부 장착형 표시 장치로 해도 좋다. 또한, 사용자가 두부 장착형 표시 장치를 장착한 상태에서 외경의 투과가 차단되는 비투과형 두부 장착형 표시 장치로서 구성해도 좋다.
도 28a 및 도 28b는, 변형예에 있어서의 두부 장착형 표시 장치의 외관의 구성을 나타내는 도면이다. 도 28a의 예의 경우, 도 1에 나타낸 두부 장착형 표시 장치(100)와의 차이는, 화상 표시부(20c)가, 오른쪽 광학상 표시부(26)를 대신하여 오른쪽 광학상 표시부(26c)를 구비하는 점과, 왼쪽 광학상 표시부(28)를 대신하여 왼쪽 광학상 표시부(28c)를 구비하는 점이다. 오른쪽 광학상 표시부(26c)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 두부 장착형 표시 장치의 장착시에 있어서의 사용자의 우안의 기울기 상측에 배치되어 있다. 마찬가지로, 왼쪽 광학상 표시부(28c)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 두부 장착형 표시 장치의 장착시에 있어서의 사용자의 좌안의 기울기 상측에 배치되어 있다. 도 28b의 예의 경우, 도 1에 나타낸 두부 장착형 표시 장치(100)와의 차이는, 화상 표시부(20d)가, 오른쪽 광학상 표시부(26)를 대신하여 오른쪽 광학상 표시부(26d)를 구비하는 점과, 왼쪽 광학상 표시부(28)를 대신하여 왼쪽 광학상 표시부(28d)를 구비하는 점이다. 오른쪽 광학상 표시부(26d)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 두부 장착형 표시 장치의 장착시에 있어서의 사용자의 우안의 기울기 하측에 배치되어 있다. 마찬가지로, 왼쪽 광학상 표시부(28d)는, 제1 실시 형태의 광학 부재보다도 작게 형성되고, 두부 장착형 표시 장치의 장착시에 있어서의 사용자의 좌안의 기울기 하측에 배치되어 있다. 이와 같이, 광학상 표시부는 사용자의 눈의 근방에만 배치되어 있으면 충분하다. 또한, 광학상 표시부를 형성하는 광학 부재의 크기도 임의로 할 수 있고, 광학상 표시부가 사용자의 눈의 일부분만을 덮는 태양, 바꾸어 말하면, 광학상 표시부가 사용자의 눈을 완전하게 덮지 않는 태양의 두부 장착형 표시 장치가 실현될 수도 있다.
예를 들면, 화상 처리부, 표시 제어부, 중첩 처리부, 순서 관리부, 음성 처리부 등의 기능부는, CPU가 ROM이나 하드 디스크에 저장되어 있는 컴퓨터 프로그램을 RAM에 전개하여 실행함으로써 실현되는 것으로서 기재했다. 그러나, 이들 기능부는, 당해 기능의 각각을 실현하기 위해 설계된 ASIC(Application Specific Integrated Circuit: 특정 용도용 집적 회로)을 이용하여 구성되어도 좋다.
예를 들면, 상기 실시 형태에서는, 화상 표시부를 안경과 같이 장착하는 두부 장착형 표시 장치로 하고 있지만, 화상 표시부는 통상의 평면형 디스플레이 장치(액정 디스플레이 장치, 플라즈마 디스플레이 장치, 유기 EL 디스플레이 장치 등)로 해도 좋다. 이 경우에도, 제어부와 화상 표시부와의 사이의 접속은, 유선의 신호 전송로를 통한 접속이라도 좋고, 무선의 신호 전송로를 통한 접속이라도 좋다. 이와 같이 하면, 제어부를, 통상의 평면형 디스플레이 장치의 원격 제어로서 이용할 수도 있다.
또한, 화상 표시부로서, 안경과 같이 장착하는 화상 표시부를 대신하여, 예를 들면 모자와 같이 장착하는 화상 표시부와 같은 다른 형상의 화상 표시부를 채용해도 좋다. 또한, 이어폰은 귀걸이형이나 헤드 밴드형을 채용해도 좋고, 생략해도 좋다. 또한, 예를 들면, 자동차나 비행기 등의 차량에 탑재되는 헤드업 디스플레이(HUD, Head-Up Display)로서 구성되어도 좋다. 또한, 예를 들면, 헬멧 등의 신체 방호구에 내장된 두부 장착형 표시 장치로서 구성되어도 좋다.
예를 들면, 상기 실시 형태에서는, 전원으로서 2차 전지를 이용하는 것으로 했지만, 전원으로서는 2차 전지에 한정하지 않고, 여러 가지의 전지를 사용할 수 있다. 예를 들면, 1차 전지나, 연료 전지, 태양 전지, 열전지 등을 사용해도 좋다.
예를 들면, 상기 실시 형태에서는, 화상광 생성부는, 백 라이트와, 백 라이트 제어부와, LCD와, LCD 제어부를 이용하여 구성되는 것으로 했다. 그러나, 상기의 태양은 어디까지나 예시이다. 화상광 생성부는, 이들 구성부와 함께, 또는 이들 구성부를 대신하여, 다른 방식을 실현하기 위한 구성부를 구비하고 있어도 좋다. 예를 들면, 화상광 생성부는, 유기 EL(유기 일렉트로루미네선스, Organic Electro-Luminescence)의 디스플레이와, 유기 EL 제어부를 포함하는 구성으로 해도 좋다. 또한, 예를 들면, 화상광 생성부는, LCD를 대신하여 디지털 마이크로 미러 디바이스 등을 이용할 수도 있다. 또한, 예를 들면, 레이저 망막 투영형의 두부 장착형 표시 장치에 대하여 본 발명을 적용하는 것도 가능하다.
예를 들면, 두부 장착형 표시 장치는, 카메라를 대신하여, 측거 센서(range finding sensor)나 변위 센서를 구비하는 것으로 해도 좋다. 이 경우, 중첩 처리부는, 측거 센서 또는 변위 센서를 이용하여 대상 물체의 특징을 추출하고, 상기 실시 형태와 동일한 처리를 행할 수 있다.
예를 들면, 두부 장착형 표시 장치는, 불가시 정보에 있어서 자주 사용되는 색상과 동일한 색상의 빛의 투과를 억제하는 광학 필터를 구비하고 있어도 좋다. 또한, 불가시 정보에 있어서 자주 사용되는 색상의 보색이 되는 색상의 광학 필터를 구비하고 있어도 좋다. 이와 같이 하면, 불가시 정보의 시인성을 높게 할 수 있다.
예를 들면, 카메라와, 동공 촬영용 카메라와, 근적외선 수발광부와, 9축 센서와, 심도 센서 중 어느 것을 생략해도 좋다. 예를 들면, 동공 촬영용 카메라와, 근적외선 수발광부를 생략하고, 수술실의 천정부에 구비되어 있던 카메라를 대용함으로써 사용자의 시선을 검출해도 좋다. 또한, 전술한 각 구성을 생략하지 않는 경우에 있어서, 수술실의 천정부에 구비되어 있던 카메라를 병용함으로써, 불가시 정보의 가공 정밀도를 향상시켜도 좋다.
변형예 2
상기 실시 형태에서는, 중첩 정보 표시 처리(도 5 및 도 22)의 일 예를 나타냈다. 그러나, 도 5 및 도 22에 나타낸 처리의 순서는 어디까지나 일 예이고, 여러 가지의 변형이 가능하다. 예를 들면, 일부의 스텝을 생략해도 좋고, 다른 스텝을 추가해도 좋다. 또한, 실행되는 스텝의 순서를 변경해도 좋다.
예를 들면, 스텝 S102에 있어서, 사용자는, 중첩 정보 표시 처리의 대상으로 하는 물체의 불가시 정보를 불가시 정보 기억부에 기억시키는 것으로 했다. 상기 실시 형태에서의 불가시 정보는, 촬상 기기(CT 기기나, MRI 기기나, X-레이 기기나, 내시경이나, 서모그래피 기기 등)를 이용하여 촬상되고, 2차원적으로 표현된 화상을 상정했다. 그러나, 스텝 S102에서는, 3차원적으로 표현된 불가시 정보를 기억시켜도 좋다. 3차원적으로 표현된 불가시 정보란, 촬상 기기를 이용하여 촬상된 복수의 화상으로 생성된 3차원 모델이다. 3차원적으로 표현된 불가시 정보를 이용하는 경우, 중첩 정보 생성 처리(도 8)의 스텝 S202와 S204의 사이에 있어서, 중첩 처리부는, 스텝 S202에서 취득된 외경 화상에 기초하여 3차원 모델의 렌더링을 행한다. 그리고, 렌더링 후의 화상을 "불가시 정보"로 하여, 이후의 처리를 계속한다. 이와 같이 하면, 여러 가지 방향으로부터, 대상 물체의 외관에 나타나지 않는 정보를 시인할 수 있다. 또한, 스텝 S102에서 기억되는 불가시 정보는 정지 화면에 한정하지 않고, 동영상이라도 좋다.
예를 들면, 스텝 S114, S116에서는, 다른 중첩 정보는 외관 정보를 기초로 생성된다고 했다. 그러나, 다른 중첩 정보의 기초가 되는 정보는 여러 가지의 정보를 사용할 수 있다. 예를 들면, 중첩 정보(CP1)를 생성할 때에 이용된 불가시 정보와는 상이한 촬상 기기를 이용하여 촬상된 다른 불가시 정보를 사용해도 좋다.
예를 들면, 스텝 S112 이후의 처리는, 생략해도 좋다.
변형예 3
상기 제2 실시 형태에서는, 중첩 정보 표시 처리(도 15)의 일 예를 나타냈다. 그러나, 도 15에 나타낸 처리의 순서는 어디까지나 일 예이고, 여러 가지의 변형이 가능하다. 예를 들면, 일부의 스텝을 생략해도 좋고, 더 한층의 다른 스텝을 추가해도 좋다. 또한, 실행되는 스텝의 순서를 변경해도 좋다.
예를 들면, 순서 관리부는, 순서 정보에 대하여, 이하의 예와 같이, 사용자에게 주의를 환기시키기 위한 정보를 부가해도 좋다.
* 순서 내에 있어서, 사용자가 특히 주의해야 할 사항을 팝업 표시시킨다.
* 순서 정보 내의 화상이나 문자열을 점멸 표시시킨다.
* 순서 정보 내에, 당해 순서의 중요도, 난이도, 사고 빈도 등을 나타내는 메시지나 아이콘을 표시시킨다.
변형예 4
상기 실시 형태에서는, 순서 테이블의 일 예를 나타냈다. 그러나, 순서 테이블의 상세는 어디까지나 일 예이고, 여러 가지의 변경이 가능하다. 예를 들면, 필드가 추가, 삭제, 변경될 수 있다. 또한, 순서 테이블은, 복수의 테이블로 분할하여 정규화해도 좋다.
변형예 5
상기 제2 실시 형태에서는, 두부 장착형 표시 장치에 순서 테이블과 순서 관리부를 구비하고, 다른 장치를 필요로 하지 않고, 사용자가 행하는 작업을 지원할 수 있는 구성에 대해서 설명했다. 그러나, 두부 장착형 표시 장치와, 외부에 형성된 서버를 포함하는 작업 지원 시스템에 있어서도, 동일한 처리를 실현할 수 있다.
예를 들면, 두부 장착형 표시 장치는 순서 관리부를 구비하고, 서버는 순서 테이블을 구비하는 구성으로 한다. 이 경우, 두부 장착형 표시 장치의 순서 관리부는, 서버 내에 기억되어 있는 순서 테이블에 액세스하고, 순서 테이블 내의 데이터를 참조한다. 이와 같이 하면, 1대의 서버에 기억되어 있는 순서 테이블의 정보를, 복수대의 두부 장착형 표시 장치에서 공유하는 것이 가능해진다. 이 결과, 각 두부 장착형 표시 장치에 순서 테이블을 구비하는 구성과 비교하여, 순서 테이블의 갱신에 필요로 하는 노력이 저감된다.
변형예 6
상기 제3 실시 형태에서는, 제1 및, 제2 중첩 정보 생성 처리(도 24 및 26)의 일 예를 나타냈다. 그러나, 도 24 및 26에 나타낸 처리의 순서는 어디까지나 일 예이고, 여러 가지의 변형이 가능하다. 예를 들면, 일부의 스텝을 생략해도 좋고, 다른 스텝을 추가해도 좋다. 또한, 실행되는 스텝의 순서를 변경해도 좋다.
예를 들면, 기억부에는, 복수의 시차 정보가 기억되어 있어도 좋다. 복수의 시차 정보란, 예를 들면, 시력을 주도하는 눈이 우안인 경우의 시차 정보와, 시력을 주도하는 눈이 좌안인 경우의 시차 정보라도 좋고, 눈 사이 거리에 따른 시차 정보라도 좋다. 이 경우, 제1, 2의 중첩 정보 생성 처리의 스텝 S414에서는, 두부 장착형 표시 장치의 사용자의 특성(예를 들면, 눈 사이 거리나 시력을 주도하는 눈)에 따라서, 기억부에 저장되어 있는 복수의 시차 정보로부터, 스텝 S414의 처리에 사용하는 하나의 시차 정보를 선택해도 좋다. 이와 같이 하면, 중첩 처리부는, 사용자의 특성(예를 들면, 시력을 주도하는 눈이나 눈 사이 거리)에 맞은 시차 정보를 선택함으로써, 사용자에게 주는 시각적인 위화감을 저감시킬 수 있다.
예를 들면, 제1 및, 제2 중첩 정보 생성 처리에 있어서, 에지 강조 처리나, 2치화 처리를 병용하여, 불가시 정보의 보정의 정밀도를 보다 향상시켜도 좋다.
변형예 7
본 발명은, 전술한 실시 형태, 실시예나 변형예에 한정되는 것이 아니고, 그 취지를 일탈하지 않는 범위에 있어서 여러 가지의 구성으로 실현될 수 있다. 예를 들면, 발명의 개요의 란에 기재한 각 형태 중의 기술적 특징에 대응하는 실시 형태, 실시예, 변형예 중의 기술적 특징은, 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 전술한 효과의 일부 또는 전부를 달성하기 위해, 적절히, 교환이나 조합을 행하는 것이 가능하다. 또한, 그 기술적 특징이 본 명세서 중에 필수적인 것으로서 설명되어 있지 않으면, 적절히, 삭제하는 것이 가능하다.
10 : 제어부(컨트롤러)
12 : 점등부
14 : 터치 패드
16 : 십자 키
18 : 전원 스위치
20 : 화상 표시부
21 : 오른쪽 보유지지부
22 : 오른쪽 표시 구동부
23 : 왼쪽 보유지지부
24 : 왼쪽 표시 구동부
26 : 오른쪽 광학상 표시부
28 : 왼쪽 광학상 표시부
30 : 이어폰 플러그
32 : 오른쪽 이어폰
34 : 왼쪽 이어폰
40 : 접속부
42 : 오른쪽 코드
44 : 왼쪽 코드
46 : 연결 부재
48 : 본체 코드
51 : 송신부
52 : 송신부
53 : 수신부
54 : 수신부
61 : 카메라(화상 취득부)
62 : 동공 촬영용 카메라(시선 검출부)
63 : 동공 촬영용 카메라(시선 검출부)
64 : 근적외선 수발광부(시선 검출부)
65 : 근적외선 수발광부(시선 검출부)
66 : 9축 센서(움직임 검출부)
67 : 심도 센서(위치 검출부)
110 : 입력 정보 취득부
100 : 두부 장착형 표시 장치
120 : 기억부
122 : 불가시 정보 기억부
124 : 외관 정보 기억부
126 : 순서 테이블
128 : 시차 정보
130 : 전원
140 : CPU
142 : 중첩 처리부
144 : 순서 관리부
160 : 화상 처리부
170 : 음성 처리부
180 : 인터페이스
190 : 표시 제어부
201 : 오른쪽 백 라이트 제어부
202 : 왼쪽 백 라이트 제어부
211 : 오른쪽 LCD 제어부
212 : 왼쪽 LCD 제어부
221 : 오른쪽 백 라이트
222 : 왼쪽 백 라이트
241 : 오른쪽 LCD
242 : 왼쪽 LCD
251 : 오른쪽 투사 광학계
252 : 왼쪽 투사 광학계
261 : 오른쪽 도광판
262 : 왼쪽 도광판
PCLK : 클록 신호
VSync : 수직 동기 신호
HSync : 수평 동기 신호
Data : 화상 데이터
Data1 : 우안용 화상 데이터
Data2 : 좌안용 화상 데이터
OA : 외부 기기
PC : 퍼스널 컴퓨터
SC : 외경
RE : 우안
VI : 허상
EL : 단부
IL : 조명광
PL : 화상광
AP : 선단부
ER : 단부
VR : 시야
CP1 : 중첩 정보
CP2 : 확대 정보
CP3 : 보조 정보
CP4 : 순서 정보
CP5 : 중첩 정보
DP : 심도
Lx : 거리
PP : 주시점
Px : 시차
SI : 불가시 정보
SI1 : 관상면 CT 화상
SI2 : 횡단면 CT 화상
SI3 : X-레이 화상
12 : 점등부
14 : 터치 패드
16 : 십자 키
18 : 전원 스위치
20 : 화상 표시부
21 : 오른쪽 보유지지부
22 : 오른쪽 표시 구동부
23 : 왼쪽 보유지지부
24 : 왼쪽 표시 구동부
26 : 오른쪽 광학상 표시부
28 : 왼쪽 광학상 표시부
30 : 이어폰 플러그
32 : 오른쪽 이어폰
34 : 왼쪽 이어폰
40 : 접속부
42 : 오른쪽 코드
44 : 왼쪽 코드
46 : 연결 부재
48 : 본체 코드
51 : 송신부
52 : 송신부
53 : 수신부
54 : 수신부
61 : 카메라(화상 취득부)
62 : 동공 촬영용 카메라(시선 검출부)
63 : 동공 촬영용 카메라(시선 검출부)
64 : 근적외선 수발광부(시선 검출부)
65 : 근적외선 수발광부(시선 검출부)
66 : 9축 센서(움직임 검출부)
67 : 심도 센서(위치 검출부)
110 : 입력 정보 취득부
100 : 두부 장착형 표시 장치
120 : 기억부
122 : 불가시 정보 기억부
124 : 외관 정보 기억부
126 : 순서 테이블
128 : 시차 정보
130 : 전원
140 : CPU
142 : 중첩 처리부
144 : 순서 관리부
160 : 화상 처리부
170 : 음성 처리부
180 : 인터페이스
190 : 표시 제어부
201 : 오른쪽 백 라이트 제어부
202 : 왼쪽 백 라이트 제어부
211 : 오른쪽 LCD 제어부
212 : 왼쪽 LCD 제어부
221 : 오른쪽 백 라이트
222 : 왼쪽 백 라이트
241 : 오른쪽 LCD
242 : 왼쪽 LCD
251 : 오른쪽 투사 광학계
252 : 왼쪽 투사 광학계
261 : 오른쪽 도광판
262 : 왼쪽 도광판
PCLK : 클록 신호
VSync : 수직 동기 신호
HSync : 수평 동기 신호
Data : 화상 데이터
Data1 : 우안용 화상 데이터
Data2 : 좌안용 화상 데이터
OA : 외부 기기
PC : 퍼스널 컴퓨터
SC : 외경
RE : 우안
VI : 허상
EL : 단부
IL : 조명광
PL : 화상광
AP : 선단부
ER : 단부
VR : 시야
CP1 : 중첩 정보
CP2 : 확대 정보
CP3 : 보조 정보
CP4 : 순서 정보
CP5 : 중첩 정보
DP : 심도
Lx : 거리
PP : 주시점
Px : 시차
SI : 불가시 정보
SI1 : 관상면 CT 화상
SI2 : 횡단면 CT 화상
SI3 : X-레이 화상
Claims (24)
- 사용자가 허상과 외경(external scenery)을 시인 가능한 두부(head) 장착형 표시 장치로서,
상기 사용자에게 시인시키는 상기 허상을 형성하는 화상 표시부와,
상기 외경에 포함되는 물체에 대하여, 상기 물체의 외관에 나타나지 않는 불가시 정보(invisible information)를 중첩시키기 위한 중첩 정보에 기초하는 상기 허상을, 상기 화상 표시부에 형성시키는 중첩 처리부
를 구비하는 두부 장착형 표시 장치. - 제1항에 있어서,
상기 중첩 처리부는,
소정의 시간마다, 상기 외경에 포함되는 물체에 따른 상기 중첩 정보에 기초하는 상기 허상을, 상기 화상 표시부에 반복하여 형성시키는 두부 장착형 표시 장치. - 제1항에 있어서,
상기 불가시 정보를 기억하는 기억부와,
상기 사용자가 상기 두부 장착형 표시 장치를 장착한 때에 상기 사용자의 시계 방향(visual field direction)의 외경의 화상을 취득하는 화상 취득부를 더 구비하고,
상기 중첩 처리부는, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상을 화상 인식함으로써 상기 외경에 포함되는 상기 물체의 특징을 추출하고, 추출된 상기 특징에 기초하여 상기 기억부에 기억되어 있는 상기 물체의 상기 불가시 정보를 보정함으로써, 상기 중첩 정보를 생성하는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 불가시 정보는, 상기 물체의 구조를 나타내는 화상인 두부 장착형 표시 장치. - 제3항에 있어서,
상기 특징은, 상기 물체의 에지인 두부 장착형 표시 장치. - 제3항에 있어서,
상기 특징은, 상기 물체에 부착된 마커인 두부 장착형 표시 장치. - 제3항에 있어서,
상기 보정은, 상기 불가시 정보를 나타내는 화상에 대하여, 확대와, 축소와, 회전과, 반전과, 트리밍과, 변형과, 노이즈 제거 중 적어도 하나를 수행함으로써 행해지는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 보정은, 상기 불가시 정보를 나타내는 화상을 복수의 영역으로 분할하고, 상기 복수의 영역의 각각 대하여, 확대와, 축소와, 트리밍과, 변형과, 노이즈 제거 중 적어도 하나를 수행함으로써 행해지는 두부 장착형 표시 장치. - 제8항에 있어서,
상기 중첩 처리부는, 상기 사용자와 상기 물체의 각 부와의 사이의 거리를, 3각 측량을 이용하여 계측하고, 상기 계측의 결과에 따라서 상기 분할을 행하는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 중첩 처리부는, 상기 사용자의 시야 내에 있어서의 시각 능력의 정도를 나타내는 정보 수용 특성에 기초하여, 상기 보정의 정밀도를 변경하는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 사용자의 시선을 검출하는 시선 검출부를 더 구비하고,
상기 화상 표시부는, 상기 사용자의 우안에 대응한 상기 허상과, 상기 사용자의 좌안에 대응한 상기 허상을 둘다 형성하고,
상기 중첩 처리부는, 또한, 상기 시선 검출부에 의해 검출된 상기 시선으로부터, 상기 사용자와, 상기 사용자가 주시하고 있는 주시점과의 사이의 거리인 주시점 거리를 구하고, 구한 상기 주시점 거리에 따른 시차를 부여한 우안용의 상기 중첩 정보와 좌안용의 상기 중첩 정보를 생성하는 두부 장착형 표시 장치. - 제11항에 있어서,
상기 사용자와 상기 사용자가 시인하는 상기 허상과의 사이의 복수의 거리와, 상기 복수의 거리 각각에 따른 시차가 대응(correlate)지어진 시차 정보를 더 포함하고,
상기 중첩 처리부는, 상기 시차 정보를 이용하여, 상기 주시점 거리에 대응하는 시차를 부여하는 두부 장착형 표시 장치. - 제12항에 있어서,
상기 시차 정보는 복수로 제공되고,
상기 중첩 처리부는, 상기 사용자에 따라서, 상기 복수의 시차 정보로부터 하나의 시차 정보를 선택하는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 사용자의 상기 물체에 대한 위치를 검출하는 위치 검출부를 더 구비하고,
상기 기억부는, 하나의 물체에 대한 복수의 불가시 정보를 기억하고,
상기 중첩 처리부는, 상기 기억부에 기억되어 있는 상기 복수의 불가시 정보로부터, 상기 위치 검출부에 의해 검출된 상기 위치에 따른 하나의 불가시 정보를 선택하고, 선택된 상기 불가시 정보를 보정하는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 중첩 처리부는, 또한, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상으로부터, 상기 외경에 포함되는 상기 물체의 적어도 일부를 추출하여 확대한 확대 정보를 생성하고,
상기 화상 표시부는, 상기 중첩 정보와, 상기 확대 정보에 기초하는 상기 허상을 상기 사용자에게 시인시키는 두부 장착형 표시 장치. - 제1항에 있어서,
상기 중첩 처리부는, 상기 사용자로부터의 요구에 따라서, 상기 허상을 비(非)표시로 하는 두부 장착형 표시 장치. - 제1항에 있어서,
현재의 순서에서, 상기 사용자가 실시해야 할 내용에 관한 정보인 순서 정보를 생성하는 순서 관리부를 더 구비하고,
상기 화상 표시부는, 상기 중첩 정보와, 상기 순서 정보에 기초하는 상기 허상을 상기 사용자에게 시인시키는 두부 장착형 표시 장치. - 제17항에 있어서,
상기 순서 정보는, 제3자가 상기 순서를 모범적으로 실시하고 있는 장면의 화상과, 개별적이고 구체적인 상기 순서가 시행될 때 상기 사용자가 실시해야 할 내용을 나타내는 화상 중 적어도 하나를 포함되는 두부 장착형 표시 장치. - 제1항에 있어서,
상기 중첩 처리부는, 또한, 상기 사용자의 작업을 보조하기 위한 부가적인 정보인 보조 정보를 생성하고,
상기 화상 표시부는, 상기 중첩 정보와, 상기 보조 정보에 기초하는 상기 허상을 상기 사용자에게 시인시키는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 중첩 처리부는, 또한, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상에 기초하여, 생성된 상기 중첩 정보의 시인성을 향상시키기 위한 색변환 처리를 행하는 두부 장착형 표시 장치. - 제1항에 있어서,
상기 중첩 처리부는, 상기 사용자로부터의 요구에 따라서, 상기 허상으로서 표시되어 있는 상기 중첩 정보를, 상기 사용자의 시계를 방해하지 않는 위치로 퇴피시키는 두부 장착형 표시 장치. - 제3항에 있어서,
상기 중첩 처리부는, 상기 화상 취득부에 의해 취득된 상기 화상 중, 상기 허상의 표시 영역과 상기 화상 취득부의 취득 영역이 중복되는 중복 영역에 대응하는 상기 중첩 정보를 생성하는 두부 장착형 표시 장치. - 제16항에 있어서,
상기 순서 관리부는, 상기 화상 취득부에 의해 취득된 상기 화상 중, 상기 허상의 표시 영역과 상기 화상 취득부의 취득 영역이 중복되는 중복 영역에 대응하는 상기 순서 정보를 생성하는 두부 장착형 표시 장치. - 사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치의 제어 방법으로서,
(a) 상기 사용자에게 시인시키는 상기 허상을 형성하는 공정과,
(b) 상기 외경에 포함되는 물체에 대하여, 상기 물체의 외관에 나타나지 않는 불가시 정보를 중첩시키기 위한 중첩 정보에 기초하는 상기 허상을 형성시키는 공정
을 구비하는 두부 장착형 표시 장치의 제어 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013026222A JP6299067B2 (ja) | 2013-02-14 | 2013-02-14 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JPJP-P-2013-026222 | 2013-02-14 | ||
| JP2013237820A JP6264855B2 (ja) | 2013-11-18 | 2013-11-18 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JPJP-P-2013-237820 | 2013-11-18 | ||
| PCT/JP2014/000595 WO2014125789A1 (en) | 2013-02-14 | 2014-02-04 | Head mounted display and control method for head mounted display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150116892A true KR20150116892A (ko) | 2015-10-16 |
| KR101811817B1 KR101811817B1 (ko) | 2018-01-25 |
Family
ID=50729746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157024204A KR101811817B1 (ko) | 2013-02-14 | 2014-02-04 | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US9916691B2 (ko) |
| EP (1) | EP2956814A1 (ko) |
| KR (1) | KR101811817B1 (ko) |
| CN (2) | CN103995352B (ko) |
| BR (1) | BR112015019674A2 (ko) |
| RU (1) | RU2621488C2 (ko) |
| TW (1) | TW201432312A (ko) |
| WO (1) | WO2014125789A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113453639A (zh) * | 2019-02-25 | 2021-09-28 | 奥林巴斯株式会社 | 集中控制装置 |
Families Citing this family (84)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US20160019715A1 (en) * | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US11103122B2 (en) * | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| JP6264087B2 (ja) * | 2014-02-21 | 2018-01-24 | ソニー株式会社 | 表示制御装置、表示装置および表示制御システム |
| JP6323183B2 (ja) * | 2014-06-04 | 2018-05-16 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US9959591B2 (en) * | 2014-07-31 | 2018-05-01 | Seiko Epson Corporation | Display apparatus, method for controlling display apparatus, and program |
| EP2996017B1 (en) * | 2014-09-11 | 2022-05-11 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display |
| IL235073A (en) * | 2014-10-07 | 2016-02-29 | Elbit Systems Ltd | Head-mounted view of enlarged images that are locked on an object of interest |
| EP3216023A4 (en) * | 2014-11-07 | 2018-07-18 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
| CN105607253B (zh) * | 2014-11-17 | 2020-05-12 | 精工爱普生株式会社 | 头部佩戴型显示装置以及控制方法、显示系统 |
| JP2016115965A (ja) * | 2014-12-11 | 2016-06-23 | ソニー株式会社 | 医療用眼鏡型表示装、情報処理装置及び情報処理方法 |
| CN113017836A (zh) * | 2015-02-20 | 2021-06-25 | 柯惠Lp公司 | 手术室和手术部位感知 |
| GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
| EP3280344A2 (en) * | 2015-04-07 | 2018-02-14 | King Abdullah University Of Science And Technology | Method, apparatus, and system for utilizing augmented reality to improve surgery |
| US9724562B2 (en) * | 2015-05-28 | 2017-08-08 | Nike, Inc. | Wearable USB device assembly |
| CN106681488A (zh) * | 2015-07-20 | 2017-05-17 | 谢培树 | 头操作的数字眼镜 |
| CA3038648A1 (en) | 2015-09-28 | 2017-04-06 | Montefiore Medical Center | Methods and devices for intraoperative viewing of patient 3d surface images |
| CN105425951A (zh) * | 2015-11-04 | 2016-03-23 | 深圳维爱特科技有限公司 | 应用交互控制方法和装置 |
| CN105487660A (zh) * | 2015-11-25 | 2016-04-13 | 北京理工大学 | 基于虚拟现实技术的沉浸式舞台表演交互方法及系统 |
| JP6644530B2 (ja) * | 2015-11-30 | 2020-02-12 | オリンパス株式会社 | 内視鏡業務支援システム |
| WO2017114834A1 (en) * | 2015-12-29 | 2017-07-06 | Koninklijke Philips N.V. | System, controller and method using virtual reality device for robotic surgery |
| IL243422B (en) | 2015-12-30 | 2018-04-30 | Elbit Systems Ltd | Information management is displayed according to the directions of the user's gaze |
| US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
| EP3213673A1 (en) * | 2016-03-01 | 2017-09-06 | Shanghai Xiaoyi Technology Co., Ltd. | Smart sports eyewear |
| JP2017215664A (ja) * | 2016-05-30 | 2017-12-07 | サン電子株式会社 | 端末装置 |
| US9798385B1 (en) | 2016-05-31 | 2017-10-24 | Paypal, Inc. | User physical attribute based device and content management system |
| US10037080B2 (en) | 2016-05-31 | 2018-07-31 | Paypal, Inc. | User physical attribute based device and content management system |
| US10902796B1 (en) * | 2016-09-12 | 2021-01-26 | Apple Inc. | Multi-user display system |
| US11839433B2 (en) * | 2016-09-22 | 2023-12-12 | Medtronic Navigation, Inc. | System for guided procedures |
| JP6812193B2 (ja) | 2016-10-07 | 2021-01-13 | キヤノン株式会社 | 画像表示システム、画像表示方法、及びプログラム |
| US10484568B2 (en) * | 2016-10-26 | 2019-11-19 | Orcam Technologies Ltd. | Providing a social media recommendation based on data captured by a wearable device |
| US10203505B2 (en) * | 2016-11-16 | 2019-02-12 | Seiko Epson Corporation | Feature balancing |
| EP3545675A4 (en) | 2016-11-24 | 2020-07-01 | The University of Washington | CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS |
| JP6617686B2 (ja) | 2016-11-25 | 2019-12-11 | 株式会社デンソー | 無線給電システム及び送受電監視プログラム |
| JPWO2018101227A1 (ja) * | 2016-11-29 | 2019-10-31 | シャープ株式会社 | 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム |
| US10152815B2 (en) * | 2017-01-17 | 2018-12-11 | Opentv, Inc. | Overlay emphasis modification in augmented reality displays |
| US10235788B2 (en) * | 2017-01-17 | 2019-03-19 | Opentv, Inc. | Overlay contrast control in augmented reality displays |
| EP3571698A1 (en) * | 2017-01-17 | 2019-11-27 | Koninklijke Philips N.V. | Augmented reality interventional system providing contextual overlays |
| JP6828465B2 (ja) * | 2017-01-30 | 2021-02-10 | セイコーエプソン株式会社 | 内視鏡操作支援システム |
| US11219422B2 (en) * | 2017-03-14 | 2022-01-11 | Canon Medical Systems Corporation | Image displaying system, image processing apparatus and x-ray imaging system |
| CN108664037B (zh) * | 2017-03-28 | 2023-04-07 | 精工爱普生株式会社 | 头部佩戴型显示装置以及无人机的操纵方法 |
| US10610179B2 (en) * | 2017-06-05 | 2020-04-07 | Biosense Webster (Israel) Ltd. | Augmented reality goggles having X-ray protection |
| EP3639083A4 (en) * | 2017-06-14 | 2021-01-27 | Hewlett-Packard Development Company, L.P. | DISPLAY SETTINGS |
| JP2019022084A (ja) * | 2017-07-18 | 2019-02-07 | オリンパス株式会社 | ウェアラブルデバイス及びウェアラブルデバイスの制御方法 |
| CN107275904B (zh) | 2017-07-19 | 2024-05-24 | 北京小米移动软件有限公司 | 虚拟现实眼镜的数据连接线 |
| RU176382U1 (ru) * | 2017-08-28 | 2018-01-17 | Общество с ограниченной ответственностью "ТрансИнжКом" | Блок сбора информации для устройства совмещенной реальности |
| RU2669228C1 (ru) * | 2017-09-20 | 2018-10-09 | Галина Александровна Купцова | Сферопериметр |
| CN111213111B (zh) * | 2017-10-20 | 2021-06-22 | 华为技术有限公司 | 一种可穿戴式设备及其中的方法 |
| JP7036572B2 (ja) | 2017-11-02 | 2022-03-15 | マクセル株式会社 | 虚像表示装置およびそれを用いたヘッドマウントディスプレイ |
| CZ2017777A3 (cs) * | 2017-12-05 | 2019-07-03 | Radalytica s.r.o. | Způsob nedestruktivního zobrazování vnitřní struktury a zařízení k provádění tohoto způsobu |
| US11944272B2 (en) | 2017-12-07 | 2024-04-02 | Medtronic Xomed, Inc. | System and method for assisting visualization during a procedure |
| US10832423B1 (en) * | 2018-01-08 | 2020-11-10 | Brainlab Ag | Optimizing an atlas |
| US10554883B2 (en) * | 2018-03-30 | 2020-02-04 | Ricoh Company, Ltd. | VR system, communication method, and non-transitory computer-readable medium |
| DE102018109463C5 (de) * | 2018-04-19 | 2023-10-05 | Voraus Robotik Gmbh | Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung |
| WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
| WO2019235298A1 (ja) | 2018-06-07 | 2019-12-12 | 富士フイルム株式会社 | 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム |
| TWI671707B (zh) * | 2018-06-15 | 2019-09-11 | 緯創資通股份有限公司 | 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體 |
| GB2575651B (en) * | 2018-07-17 | 2020-12-16 | Envisics Ltd | Image projector |
| CN109308741B (zh) * | 2018-08-08 | 2023-04-07 | 长春理工大学 | 一种基于Meta2的自然交互工艺品创意设计系统 |
| WO2020102665A1 (en) * | 2018-11-16 | 2020-05-22 | Lang Philipp K | Augmented reality guidance for surgical procedures with adjustment of scale, convergence and focal plane or focal point of virtual data |
| US10939977B2 (en) | 2018-11-26 | 2021-03-09 | Augmedics Ltd. | Positioning marker |
| US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
| CN109729347B (zh) * | 2019-01-23 | 2020-11-24 | 歌尔光学科技有限公司 | 虚像倍率测试方法、装置及虚拟显示设备 |
| CN110222639B (zh) * | 2019-06-05 | 2020-03-31 | 清华大学 | 人体应激反应测试方法与系统 |
| JP2021009270A (ja) | 2019-07-03 | 2021-01-28 | セイコーエプソン株式会社 | 表示装置および表示方法 |
| IT201900013164A1 (it) * | 2019-07-29 | 2021-01-29 | Eye Tech Lab S R L | Occhiali di ingrandimento a realta’ aumentata |
| US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
| JP2021057737A (ja) * | 2019-09-30 | 2021-04-08 | セイコーエプソン株式会社 | 表示システム、表示制御方法、および、プログラム |
| US10702224B1 (en) * | 2019-10-24 | 2020-07-07 | Jonathan Ross Vanhooser | Positioning guidance system For X-ray exams |
| US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
| WO2021150921A1 (en) | 2020-01-22 | 2021-07-29 | Photonic Medical Inc | Open view, multi-modal, calibrated digital loupe with depth sensing |
| US11167127B2 (en) | 2020-01-24 | 2021-11-09 | Medtronic Xomed, Inc. | System and method for therapy |
| US11666755B2 (en) | 2020-01-24 | 2023-06-06 | Medtronic Xomed, Inc. | System and method for therapy |
| US11623086B2 (en) | 2020-01-24 | 2023-04-11 | Medtronic Xomed, Inc. | System and method for therapy |
| US11167140B2 (en) | 2020-01-24 | 2021-11-09 | Medtronic Xomed, Inc. | System and method for therapy |
| CN111563879B (zh) * | 2020-03-27 | 2023-09-26 | 北京视博云信息技术有限公司 | 一种应用画面显示质量的检测方法及装置 |
| US11389252B2 (en) | 2020-06-15 | 2022-07-19 | Augmedics Ltd. | Rotating marker for image guided surgery |
| RU2757991C2 (ru) * | 2020-07-06 | 2021-10-25 | Общество с ограниченной ответственностью "Толикети" | Способ автоматизированного управления роботизированным операционным экзоскопом |
| RU201742U1 (ru) * | 2020-07-22 | 2020-12-30 | Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" | Очки дополненной реальности, ориентированные на применение в условиях опасного производства |
| US11295460B1 (en) | 2021-01-04 | 2022-04-05 | Proprio, Inc. | Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene |
| US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
| TWI782885B (zh) * | 2022-04-25 | 2022-11-01 | 國立臺灣海洋大學 | 類風濕性關節炎的復建姿勢與攝食關聯檢測系統 |
| TWI820780B (zh) * | 2022-07-01 | 2023-11-01 | 亞東學校財團法人亞東科技大學 | 頭戴式醫療雙向溝通輔助器 |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0888815A (ja) * | 1994-09-19 | 1996-04-02 | Olympus Optical Co Ltd | 映像表示システム |
| JP3625906B2 (ja) | 1995-08-23 | 2005-03-02 | オリンパス株式会社 | 手術用顕微鏡装置 |
| JP3599854B2 (ja) | 1995-10-09 | 2004-12-08 | オリンパス株式会社 | 医療用顔面装着型映像表示装置 |
| JPH10221637A (ja) | 1997-02-10 | 1998-08-21 | Olympus Optical Co Ltd | 頭部装着型画像表示装置 |
| JPH11309A (ja) | 1997-06-12 | 1999-01-06 | Hitachi Ltd | 画像処理装置 |
| JP2001111991A (ja) | 1999-10-08 | 2001-04-20 | Olympus Optical Co Ltd | 顔面装着型映像表示装置 |
| WO2003034705A2 (en) * | 2001-10-19 | 2003-04-24 | University Of North Carolina At Chapel Hill | Methods and systems for dynamic virtual convergence and head mountable display |
| US20070015999A1 (en) * | 2005-07-15 | 2007-01-18 | Heldreth Mark A | System and method for providing orthopaedic surgical information to a surgeon |
| US20070238981A1 (en) * | 2006-03-13 | 2007-10-11 | Bracco Imaging Spa | Methods and apparatuses for recording and reviewing surgical navigation processes |
| US7855743B2 (en) | 2006-09-08 | 2010-12-21 | Sony Corporation | Image capturing and displaying apparatus and image capturing and displaying method |
| JP4961914B2 (ja) | 2006-09-08 | 2012-06-27 | ソニー株式会社 | 撮像表示装置、撮像表示方法 |
| US7831076B2 (en) | 2006-12-08 | 2010-11-09 | Biosense Webster, Inc. | Coloring electroanatomical maps to indicate ultrasound data acquisition |
| JP4455609B2 (ja) | 2007-03-27 | 2010-04-21 | 株式会社東芝 | 画像表示装置および画像表示方法 |
| US7898504B2 (en) | 2007-04-06 | 2011-03-01 | Sony Corporation | Personal theater display |
| JP5335201B2 (ja) * | 2007-05-08 | 2013-11-06 | キヤノン株式会社 | 画像診断装置 |
| US8165808B2 (en) * | 2007-07-17 | 2012-04-24 | Yahoo! Inc. | Techniques for representing location information |
| US8280115B2 (en) * | 2007-10-30 | 2012-10-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CA2727585C (en) | 2008-03-21 | 2018-09-25 | Atsushi Takahashi | Three-dimensional digital magnifier operation supporting system |
| US20090281452A1 (en) * | 2008-05-02 | 2009-11-12 | Marcus Pfister | System and method for a medical procedure using computed tomography |
| JP2009279193A (ja) | 2008-05-22 | 2009-12-03 | Fujifilm Corp | 医療機器管理システム |
| JP5047090B2 (ja) | 2008-07-31 | 2012-10-10 | キヤノン株式会社 | システム |
| US8957835B2 (en) * | 2008-09-30 | 2015-02-17 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
| JP5476036B2 (ja) | 2009-04-30 | 2014-04-23 | 国立大学法人大阪大学 | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
| CN102460067B (zh) * | 2009-05-16 | 2015-02-25 | 拉皮斯坎系统股份有限公司 | 用于高原子数材料的自动快速检测的系统和方法 |
| JP5402293B2 (ja) * | 2009-06-22 | 2014-01-29 | ソニー株式会社 | 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法 |
| JP2011055250A (ja) * | 2009-09-02 | 2011-03-17 | Sony Corp | 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム |
| CN101661163A (zh) * | 2009-09-27 | 2010-03-03 | 合肥工业大学 | 增强现实系统的立体头盔显示器 |
| US8718349B2 (en) * | 2009-09-29 | 2014-05-06 | Koninklijke Philips N.V. | Live registration for vessel treatment |
| US9162061B2 (en) * | 2009-10-09 | 2015-10-20 | National Ict Australia Limited | Vision enhancement for a vision impaired user |
| JP2011082919A (ja) * | 2009-10-09 | 2011-04-21 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| US8781246B2 (en) | 2009-12-24 | 2014-07-15 | Bae Systems Plc | Image enhancement |
| US20120200601A1 (en) | 2010-02-28 | 2012-08-09 | Osterhout Group, Inc. | Ar glasses with state triggered eye control interaction with advertising facility |
| US20120212484A1 (en) | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
| FR2957000B1 (fr) * | 2010-03-02 | 2012-03-02 | Commissariat Energie Atomique | Procede et systeme d'aide a la manipulation d'engins robotises en environnement encombre |
| JP4934228B2 (ja) | 2010-06-17 | 2012-05-16 | 新日鉄ソリューションズ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN102667881B (zh) | 2010-03-30 | 2013-11-27 | 新日铁住金系统集成株式会社 | 信息处理装置、信息处理方法以及程序 |
| WO2011123648A2 (en) * | 2010-03-31 | 2011-10-06 | MyLife Global, Inc. | Medical imaging system and related methods |
| US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| US9122053B2 (en) * | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
| JP5725953B2 (ja) * | 2011-04-13 | 2015-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法、並びに情報処理装置 |
| JP2012223363A (ja) | 2011-04-20 | 2012-11-15 | Tokyo Institute Of Technology | 手術用撮像システム及び手術用ロボット |
| EP2596750A4 (en) | 2011-06-30 | 2013-09-25 | Kanzaki Clinic Of Cardiovascular Medicine Medical Corp | X-RAY DIAGNOSTIC DEVICE |
| US9015245B1 (en) * | 2011-07-20 | 2015-04-21 | Google Inc. | Experience sharing with commenting |
| CN102609849A (zh) | 2012-02-03 | 2012-07-25 | 纽海信息技术（上海）有限公司 | 商品全景展示系统及展示方法 |
-
2014
- 2014-02-04 RU RU2015138973A patent/RU2621488C2/ru active
- 2014-02-04 EP EP14724164.0A patent/EP2956814A1/en not_active Ceased
- 2014-02-04 KR KR1020157024204A patent/KR101811817B1/ko active IP Right Grant
- 2014-02-04 BR BR112015019674A patent/BR112015019674A2/pt active Search and Examination
- 2014-02-04 US US14/764,553 patent/US9916691B2/en active Active
- 2014-02-04 WO PCT/JP2014/000595 patent/WO2014125789A1/en active Application Filing
- 2014-02-11 TW TW103104473A patent/TW201432312A/zh unknown
- 2014-02-12 CN CN201410048928.7A patent/CN103995352B/zh active Active
- 2014-02-12 CN CN201811214129.7A patent/CN109270688B/zh active Active
-
2018
- 2018-01-25 US US15/880,023 patent/US10169925B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113453639A (zh) * | 2019-02-25 | 2021-09-28 | 奥林巴斯株式会社 | 集中控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109270688B (zh) | 2021-06-15 |
| CN103995352B (zh) | 2018-11-16 |
| EP2956814A1 (en) | 2015-12-23 |
| US20150363979A1 (en) | 2015-12-17 |
| US9916691B2 (en) | 2018-03-13 |
| KR101811817B1 (ko) | 2018-01-25 |
| US10169925B2 (en) | 2019-01-01 |
| BR112015019674A2 (pt) | 2017-07-18 |
| US20180197344A1 (en) | 2018-07-12 |
| RU2015138973A (ru) | 2017-03-17 |
| CN103995352A (zh) | 2014-08-20 |
| WO2014125789A1 (en) | 2014-08-21 |
| RU2621488C2 (ru) | 2017-06-06 |
| TW201432312A (zh) | 2014-08-16 |
| CN109270688A (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101811817B1 (ko) | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 | |
| JP6299067B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
| TWI617279B (zh) | 資訊處理裝置、資訊處理方法、及資訊處理系統 | |
| JP6264855B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
| US11341726B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| EP3204816B1 (en) | Head-mounted displaying of magnified images locked on an object of interest | |
| JP6459421B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
| JP6337418B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
| JP2015019679A (ja) | 情報処理装置、情報処理方法、および、情報処理システム | |
| JP6369005B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
| TW201437688A (zh) | 頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法及顯示系統 | |
| JP6311393B2 (ja) | 情報処理装置、情報処理方法、および、情報処理システム | |
| JP6554948B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2017134575A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
| JP6409927B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |