KR20230015353A - 표시 장치 및 표시 방법 - Google Patents

표시 장치 및 표시 방법 Download PDF

Info

Publication number
KR20230015353A
KR20230015353A KR1020227040714A KR20227040714A KR20230015353A KR 20230015353 A KR20230015353 A KR 20230015353A KR 1020227040714 A KR1020227040714 A KR 1020227040714A KR 20227040714 A KR20227040714 A KR 20227040714A KR 20230015353 A KR20230015353 A KR 20230015353A
Authority
KR
South Korea
Prior art keywords
eyeball
display device
unit
light
image
Prior art date
Application number
KR1020227040714A
Other languages
English (en)
Inventor
텟페이 이마무라
료 오가와
마사노리 이와사키
타카노부 오마타
카츠유키 아쿠츠
이타루 시미즈
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20230015353A publication Critical patent/KR20230015353A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

사용자의 안구 특성에 따른 영상 제시의 제어성의 추가적인 향상을 실현할 수 있는 표시 장치를 제공하는 것이다. 광원과, 안구의 특성 분포를 처리하는 처리부와, 해당 안구의 상태를 감시하는 감시부와, 해당 안구의 특성 분포와 해당 안구의 상태를 매칭시키는 매칭부와, 망막의 소정의 장소에, 해당 광원부로부터 출사된 영상 표시광을 조사하는 조사부를 구비하는, 표시 장치를 제공한다.

Description

표시 장치 및 표시 방법
본 기술은, 표시 장치 및 표시 방법에 관한 것이다.
최근, 예를 들면 현실의 풍경 등의 외부 세계의 광경에 화상을 겹쳐서 표시하는 기술이 주목받고 있다. 해당 기술은, 증강 현실(AR) 기술이라고도 불린다. 이 기술을 이용한 제품의 하나로서, 헤드마운트 디스플레이를 들 수 있다. 헤드마운트 디스플레이는, 사용자의 두부에 장착하여 사용된다. 헤드마운트 디스플레이를 사용한 영상(화상)의 표시 방법에서는, 예를 들면 외부 세계로부터의 광에 더하여 헤드마운트 디스플레이로부터의 광이 사용자의 눈에 도달함으로써, 외부 세계의 상에 해당 디스플레이로부터의 광에 의한 영상이 중첩되어 있는 것처럼 사용자는 인식한다.
예를 들면, 특허문헌 1에서는, 광원으로부터 조사된 광의 망막 상에서의 조사 위치를 검출하여, 망막 상에서의 조사 위치를 조정할 수 있는 화상 표시 장치가 제안되어 있다.
국제공개 제2012/169064호
그러나, 특허문헌 1에서 제안된 기술에서는, 사용자의 안구 특성에 따른 영상 제시의 제어성의 추가적인 향상을 도모할 수 없을 우려가 있다.
이에, 본 기술은, 이러한 상황을 감안하여 행해진 것으로서, 사용자의 안구 특성에 따른 영상 제시의 제어성의 추가적인 향상을 실현할 수 있는 표시 장치 및 표시 방법을 제공하는 것을 주목적으로 한다.
본 발명자들은, 상술한 목적을 해결하기 위해서 예의 연구를 행한 결과, 놀랍게도, 사용자의 안구 특성에 따라 영상 제시의 제어성을 더 향상시킬 수 있는 것에 성공하여, 본 기술을 완성하기에 이르렀다.
즉, 본 기술은, 제1 측면으로서,
광원과,
안구의 특성 분포를 처리하는 처리부와,
해당 안구의 상태를 감시하는 감시부와,
해당 안구의 특성 분포와 해당 안구의 상태를 매칭시키는 매칭부와,
망막의 소정의 장소에, 해당 광원으로부터 출사된 영상 표시광을 조사하는 조사부,
를 구비하는, 표시 장치를 제공한다.
본 기술에 관한 제1 측면의 표시 장치는,
상기 안구의 상기 특성 분포를 취득하는 취득부를 더 구비하고 있어도 되고,
그 경우, 상기 취득부는, 안저 카메라, OCT, 리프렉토미터 및 IR 스캔으로부터의 복귀광을 검지하는 광검지 장치로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되어도 된다.
본 기술에 관한 제1 측면의 표시 장치에 있어서,
상기 감시부는, 각막 반사 또는 안저 반사를 사용하여 상기 안구의 상태를 감시할 수 있다.
본 기술에 관한 제1 측면의 표시 장치는,
상기 안구의 운동에, 상기 영상 표시광을 추종시키는 추종부를 더 구비하고 있어도 되고,
그 경우, 상기 추종부는, 컴바이너, 릴레이계 구동부, 미러 구동부 및 위상차 패널로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되어도 된다.
본 기술에 관한 제1 측면의 표시 장치에 있어서,
상기 안구의 상기 특성 분포에 기초하여 좌표계를 규정해도 되고,
그 경우, 상기 매칭부는, 해당 좌표계를 통해, 상기 안구의 특성 분포와, 영상을 제시하고자 하는 상기 안구의 상태를 매칭할 수 있다.
상기 좌표계는, 오른쪽 눈의 제1 중심와(fovea), 오른쪽 눈의 제1 맹점, 왼쪽 눈의 제2 중심와 및 왼쪽 눈의 제2 맹점으로 이루어지는 군으로부터 선택되는 적어도 2개에 기초하여 정의되어도 된다.
본 기술에 관한 제1 측면의 표시 장치에 있어서,
상기 광원은 레이저 광원이어도 된다.
본 기술에 관한 제1 측면의 표시 장치는,
주사형의 미러를 더 구비하고 있어도 되고,
해당 주사형의 미러는, 상기 영상 표시광을 상기 망막에 조사할 수 있다.
본 기술에 관한 제1 측면의 표시 장치에 있어서,
상기 조사부는, 눈앞에 배치되는 부재를 더 구비하고 있어도 되고,
해당 부재는 씨스루(see-through)성을 가지고 있어도 되고,
그 경우, 상기 부재가, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스(meta-surface)를 포함하는 제1 광학 소자, 또는 소정의 광을 반사하고, 해당 소정의 광 이외의 광을 투과하는 제2 광학 소자여도 된다.
본 기술에 관한 제1 측면의 표시 장치는,
파장 분산 보상 부재를 더 구비하고 있어도 되고,
그 경우, 상기 파장 분산 보상 부재는, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스를 포함하는 제1 광학 소자여도 된다.
또한, 본 기술은, 제2 측면으로서,
안구의 특성 분포를 처리하는 것과,
해당 안구의 상태를 감시하는 것과,
해당 안구의 해당 특성 분포와 해당 안구의 상태를 매칭시키는 것과,
망막의 소정의 장소에, 광원으로부터 출사된 영상 표시광을 조사하는 것,
을 포함하는, 표시 방법을 제공한다.
본 기술에 관한 제2 측면의 표시 방법은,
상기 안구의 상기 특성 분포를 취득하는 것을 더 포함해도 된다.
본 기술에 의하면, 사용자의 안구 특성에 따른 영상 제시의 제어성의 추가적인 향상이 실현될 수 있다. 한편, 여기에 기재된 효과는, 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과여도 된다.
도 1은, 본 기술을 적용한 표시 장치에 의한 영상의 표시의 플로우의 일 예를 나타내는 도면이다.
도 2는, 오른쪽 눈의 안구의 좌우의 회전에 따라, 중심와와 맹점의 위치가 변화되는 것을 설명하기 위한 도면이다.
도 3은, 안저 맵과 영상을 제시하고자 하는 안구의 상태의 매칭을 한 결과를 설명하기 위한 도면이다.
도 4는, 보간 안저 맵과 영상을 제시하고자 하는 안구의 상태의 매칭을 한 결과를 설명하기 위한 도면이다.
도 5는, 본 기술을 적용한 표시 장치에 의한 영상의 표시의 플로우의 다른 일 예를 나타내는 도면이다.
도 6은, 정상적으로 보이는 것, 왜곡되어 보이는 것(변시증) 및 중심이 어둡게 보이는 것(중심 암점)을 설명하기 위한 도면이다.
도 7은, 안구 왜곡이 보정되는 것을 설명하기 위한 도면이다.
도 8은, 안구 얼룩이 보정되는 것을 설명하기 위한 도면이다.
도 9는, 본 기술을 적용한 표시 장치의 구성예를 나타내는 상면도이다.
도 10은, 본 기술을 적용한 표시 장치의 구성예를 나타내는 정면도이다.
도 11은, 본 기술을 적용한 제1 실시 형태의 표시 장치의 구성예를 나타내는 블록도이다.
도 12는, 본 기술을 적용한 제2 실시 형태의 표시 장치의 구성예를 나타내는 블록도이다.
도 13은, 본 기술을 적용한 표시 장치가 구비하는, 눈앞에 배치되는 부재의 일 예를 나타내는 도면이다.
도 14는, 본 기술을 적용한 표시 장치가 구비하는, 눈앞에 배치되는 부재의 다른 일 예를 나타내는 도면이다.
이하, 본 기술을 실시하기 위한 바람직한 형태에 대해 설명한다. 이하에 설명하는 실시 형태는, 본 기술의 대표적인 실시 형태의 일 예를 나타낸 것으로서, 이에 의해 본 기술의 범위가 좁게 해석되지는 않는다. 한편, 도면을 사용한 설명에서는, 동일 또는 동등한 요소 또는 부재에는 동일한 부호를 붙이고, 중복되는 설명은 생략한다.
한편, 설명은 이하의 순서로 행한다.
1. 본 기술의 개요
2. 제1 실시 형태(표시 장치의 예 1)
3. 제2 실시 형태(표시 장치의 예 2)
4. 제3 실시 형태(표시 방법의 예 1)
5. 제4 실시 형태(표시 방법의 예 2)
<1. 본 기술의 개요>
먼저, 본 기술의 개요에 대해 설명한다. 본 기술은, 표시 장치 및 표시 방법에 관한 것이다.
본 기술에 의하면, 안구의 특성 분포(형상 및 광학 특성)을 취득하고, 분포 상에 규정한 좌표와 아이 센스(eye sensing)의 결과를 매칭함으로써, 망막 상의 소정의 위치에 안구의 특성 분포에 따른 영상 표시를 행할 수 있다.
먼저, 본 기술 이외의 다른 기술의 예에 대해 설명한다.
다른 기술의 예 1로서, 평면 디스플레이·패널 확대 방식 아이웨어(eyewear)에 관한 기술의 예가 있다. 이 기술의 예 1은, 초점면이 고정되어 있기 때문에, 망막 상의 자극 부위를 엄밀하게 특정할 수 없을 우려가 있다. 또한, 다른 기술의 예 2로서, 레이저 망막 직묘에 관한 기술의 예가 있다. 이 기술의 예 2에 있어서, 하프 미러를 사용하면, 씨스루성이 낮아, 외부 세계의 물체를 주목시키기에 부적절한 경우가 있으며, HOE(홀로그래픽 광학 소자)를 사용하면, 화각이 좁고, 파장 분산이 있어, 자극의 제시 범위 및 정밀도에 있어서 곤란한 경우가 있다. 나아가, 다른 기술의 예 3으로서, 위치 조정(추종)에 관한 기술의 예가 있다. 이 기술의 예 3은, 패턴 매칭(패턴은, 예를 들면 혈관 등의 망막 패턴)에 의한 위치 조정을 하는 경우가 있고, 이 때문에, 참조 데이터가 커서 처리가 무거운 경우가 있다.
본 기술은, 이상의 상황을 감안하여 행해진 것이다.
본 기술에 의하면, 사용자의 안구 특성에 따른 영상 제시의 제어성의 추가적인 향상이 실현될 수 있다. 또한, 본 기술에 의하면, 사용자의 안구의 움직임(안구 운동)에 따른 영상 제시의 제어성의 추가적인 향상도 실현될 수 있다.
구체적으로는, 본 기술에서는, 안구의 특성 분포 정보를 취득하고, 좌표계를 규정하고, 좌표계에서 표시 영상, 표시 위치를 규정하기 때문에, 패턴 맵을 사용하는 것 보다 데이터가 적어도 되고, 안구의 운동 정보(예를 들면, 안구의 회전 정보)에 기초하여 표시 영상(제시 영상) 및 표시 위치(제시 위치)를 제어하기 때문에, 패턴 매칭에 비해 처리가 가볍게 끝날 수 있다. 좌표계는, 예를 들면, 오른쪽 눈의 중심와(오른쪽 눈의 중심와를 제1 중심와라고 칭하는 경우가 있다), 오른쪽 눈의 맹점(오른쪽 눈의 맹점을 제1 맹점이라고 칭하는 경우가 있다), 왼쪽 눈의 제2 중심와(왼쪽 눈의 중심와를 제2 중심와라고 칭하는 경우가 있다) 및 왼쪽 눈의 제2 맹점(왼쪽 눈의 맹점을 제2 맹점이라고 칭하는 경우가 있다)로 이루어지는 군으로부터 선택되는 적어도 2개에 기초하여 정의된다.
또한, 본 기술에서는, 바람직하게는, 레이저 광원을 사용하기 때문에, 특정 파장의 자극을 제시할 수 있고, 그리고, 바람직하게는, 눈앞에 배치되는 부재가 씨스루성을 가지기 때문에, 외부 세계의 물체에의 주시나 무의식적인 자극의 제시가 가능하고, 나아가, 바람직하게는, 파장 분산 보상 부재가 사용되기 때문에, 파장 분산을 보상할 수 있고, 정확하게 망막 상의 소정의 점(임의의 점)의 자극이 가능하다.
눈앞에 배치되는 부재로서는, 예를 들면, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램, 메타서피스를 포함하는 제1 광학 소자, 소정의 광을 반사하고, 해당 소정의 광 이외의 광을 투과하는 제2 광학 소자 등을 들 수 있다. 메타서피스를 포함하는 제1 광학 소자는, 예를 들면, 제1 광학 소자의 표면에, 유전체나 금속을 좁은 간격으로 주기적으로 배치한 구조를 가져도 되고, 특정한 주파수 대역의 광을, 편향시킬 수 있다.
제2 광학 소자는, 하프 미러(광투과율 50% 이상인 것이 바람직하다), 특정한 파장(광원의 파장)만을 반사하고 그 이외는 투과하는 밴드 패스 필터, 특정한 편광을 반사하는 편광 빔 스플리터 등을 들 수 있다.
파장 분산 보상 부재로서는, 예를 들면, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램, 메타서피스를 포함하는 제1 광학 소자 등을 들 수 있다. 파장 분산 보상 부재로서의 메타서피스를 포함하는 제1 광학 소자도, 상술한 바와 같이, 예를 들면, 제1 광학 소자의 표면에, 유전체나 금속을 좁은 간격으로 주기적으로 배치한 구조를 가져도 되고, 특정한 주파수 대역의 광을, 편향시킬 수 있다.
이하, 본 기술을 실시하기 위한 바람직하는 형태에 대해 도면을 참조하면서 상세하게 설명한다. 이하에 설명하는 실시 형태는, 본 기술의 대표적인 실시 형태의 일 예를 나타낸 것이며, 이에 의해 본 기술의 범위가 좁게 해석되는 일은 없다.
<2. 제1 실시 형태(표시 장치의 예 1)>
본 기술에 관한 제1 실시 형태(표시 장치의 예 1)의 표시 장치는, 광원과, 안구의 특성 분포를 처리하는 처리부와, 안구의 상태를 감시하는 감시부와, 안구의 특성 분포와 해당 안구의 상태를 매칭시키는 매칭부와, 망막의 소정의 장소에, 광원으로부터 출사된 영상 표시광을 조사하는 조사부를 구비하는, 표시 장치이다. 본 기술에 관한 제1 실시 형태의 표시 장치는, 추종부를 더 구비하고 있어도 된다. 본 기술에 관한 제1 실시 형태의 표시 장치는, 예를 들면, 아이웨어 디스플레이, 헤드마운트 디스플레이 등에 적용할 수 있다.
안구의 특성 분포를 처리하는 처리부는, 예를 들면, 외부 장치(예를 들면, 안저 카메라, OCT, IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치, 리프렉토미터(refractometer) 등)로부터 얻어진 안구의 특성 분포 정보를 처리한다. 감시부는, 예를 들면, 각막 반사 또는 안저 반사를 사용하여 안구의 상태를 감시하고, 광축을 취득할 수 있다. 매칭부는, 시축(視軸)과 광축의 어긋남을 취득하고(Gaze Calibration), 오프셋을 반영한 맵을 만들 수 있다. 조사부는, 레이저 광원, 영상 표시(프로젝터), 안구 특성 분포에 따라, 광변조 가능하고, 외광에 따라 광량 조정 가능하고, 왜곡 보정을 포함하는 제어가 가능하다. 추종부는, 아이 트래킹(eye tracking)에 의한 안구 운동에 대한 표시 영상을 추종할 수 있고, 광선이 스티어링되어, 안구의 회전 정보에 기초하여 조사 영상 및 조사 위치가 변경된다.
먼저, 도 1을 사용하여, 본 기술에 관한 제1 실시 형태의 표시 장치에 의한 영상 표시의 플로우의 일 예를 설명한다.
도 1에 나타내는 스텝 S101∼스텝 S103으로 안저 맵을 작성한다. 보다 상세하게는, 스텝 S101에서, 안저 카메라 등을 사용하여 정면에서 보았을 때의 안저 사진을 촬영하고, 스텝 S102에서, 안저 카메라 등을 사용하여 상하 좌우의 회전시의 안저 사진을 촬영하고, 스텝 S103에서, 스텝 S101 및 스텝 S102에서 촬영이 이루어진 각각의 안저 사진 내의 중심와 및 맹점 위치를 검출한다.
스텝 S101∼S103에 대해, 도 2를 사용하여 구체적으로 설명한다. 도 2는, 오른쪽 눈의 안구의 좌우의 회전에 따라, 중심와와 맹점의 위치가 변화하는 것을 설명하기 위한 도면이다. 도 2 중의 도 2A-2는, 스텝 S101에서의 정면에서 보았을 때의 오른쪽 눈의 안저 사진이며, 도 2B-2는, 정면에서 보았을 때의 오른쪽 눈의 안구(20)를 모식적으로 나타낸 상면도이다. 도 2 중의 도 2A-1은, 스텝 S102에서의 좌회전시의 오른쪽 눈의 안저 사진이며, 도 2B-1은, 안구의 좌회전시의 오른쪽 눈의 안구(20)를 모식적으로 나타낸 상면도이다. 도 2 중의 도 2A-3은, 스텝 S102에서의 우회전시의 오른쪽 눈의 안저 사진이며, 도 2B-3은, 안구의 우회전시의 오른쪽 눈의 안구(20)를 모식적으로 나타낸 상면도이다.
도 2A-1과 도 2A-2를 비교하면, 도 2A-2에 나타내는 중심와(30-2)에 대해, 도 2A-1에 나타내는 중심와(30-1)는 좌측 방향의 위치로 이동하고, 마찬가지로, 도 2A-2에 나타내는 맹점(31-2)에 대해, 도 2A-1에 나타내는 맹점(31-1)도 좌측 방향의 위치로 이동한다.
한편, 도 2A-2에 나타내는 중심와(30-2) 및 맹점(31-2)의 위치 관계(중심와(30-2)와 맹점(31-2)의 거리)와, 도 2A-1에 나타내는 중심와(30-1) 및 맹점(31-1)의 위치 관계(중심와(30-1)와 맹점(31-1)의 거리)는 대략 동일하다.
도 2A-3과 도 2A-2를 비교하면, 도 2A-2에 나타내는 중심와(30-2)에 대해, 도 2A-3에 나타내는 중심와(30-3)는 우측 방향의 위치로 이동하고, 마찬가지로, 도 2A-2에 나타내는 맹점(31-2)에 대해, 도 2A-3에 나타내는 맹점(31-3)도 우측 방향의 위치로 이동한다.
한편, 도 2A-2에 나타내는 중심와(30-2) 및 맹점(31-2)의 위치 관계(중심와(30-2)와 맹점(31-2)의 거리)와, 도 2A-3에 나타내는 중심와(30-3) 및 맹점(31-3)의 위치 관계(중심와(30-3)와 맹점(31-3)의 거리)는 대략 동일하다.
도 1에 나타내는 스텝 S104∼스텝 S105로 아이 센싱(아이 트래킹) 결과와 안저 맵의 매칭을 행한다. 보다 상세하게는, 스텝 S104에서, 본 기술에 관한 제1 실시 형태의 표시 장치를 사용하여 Gaze Calibration(게이즈 캘리브레이션)을 행하고, 스텝 S105에서, 표시계의 광축 중심과 중심와의 어긋남을 산출한다.
스텝 S104∼스텝 S105에 대해, 도 3을 사용하여 구체적으로 설명한다. 도 3은, 안저 맵과 영상을 제시하고자 하는 안구의 상태의 매칭을 행한 결과를 설명하기 위한 도면이다. 도 3A에 나타내는 바와 같이, 광축(1)(Optical Vector)과, 시축(Gaze Vector)(2)은, θ의 각도만큼 어긋나 있다. 광축(1)은, 눈동자(동공)(10)의 중심을 통과하는 각막 법선이며, 시축(2)은, 절점(수정체 중앙 후면)과 중심와(30)를 연결하는 축이다.
도 3B에 나타내는 바와 같이, 맹점(31)은, 영상 표시 범위(화각)(50)를 구성하는 제1 상한(象限;quadrant)(51)(예를 들면, X축이 정(正)방향이며, Y축이 정방향인 영역), 제2 상한(52)(예를 들면, X축이 부(負)방향이며, Y축이 정방향인 영역), 제3 상한(53)(예를 들면, X축이 부방향이며, Y축이 부방향인 영역) 및 제4 상한(54)(예를 들면, X축이 정방향이며, Y축이 부방향인 영역) 중, 제1 상한(51)과 제4 상한(54)에 걸쳐서 존재하고 있다.
도 1에 나타내는 스텝 S106∼스텝 S108은, 영상 제시 상태에서 행해진다. 보다 상세하게는, 스텝 S106에서, Gaze Tracking(게이즈 트래킹, 시선 추적)을 행한다. 예를 들면, 스텝 S106에서, 안구의 움직임에 추종하여, 동공 위치 검출을 하고, 원하는 점의 화각을 산출하거나, 적외광을 묘화광축에 올리고, 안저 반사(맹점과 중심와는 반사율은 다르다)를 검출한다. 스텝 S107에서, 보간 안저 맵이 생성된다. 보간 안저 맵은, 안구의 상하 좌우 회전의 사이를 보간하여 생성된다. 예를 들면, 보간 안저 맵은, 스텝 S101∼스텝 S103에서 작성된 안저 맵이 사용한 안구의 상하 좌우의 회전 레벨보다 작은 레벨의 안구 상하 좌우 회전시의 중심와 및 맹점의 위치를, 안저 맵을 사용하여 추정하여 생성된다. 한편, 보간 안저 맵은, 특정한 안구의 위치 정보 또는 화각 어긋남의 정보를 사용하여 생성되어도 된다. 그리고, 스텝 S108에서, 영상이 생성된다. 영상이 생성된 후, 예를 들면, 광원(예를 들면, 레이저 광원), 미러, 주사형의 미러(예를 들면, MEMS 미러), 릴레이계 구동부(투영 광학계) 및 눈앞에 배치된 씨스루성을 가지는 부재(예를 들면, 홀로그래픽 광학 소자(이하, HOE라고 칭하는 경우가 있다))를 포함하는 영상 표시부에, 생성된 영상의 신호를 송신한다. 홀로그래픽 광학 소자는, 예를 들면, 반사형 또는 투과형의 체적(볼륨) 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램(표면(서피스) 릴리프 홀로그램이라고도 한다) 등을 들 수 있다.
스텝 S106∼스텝 S108에 대해, 도 4를 사용하여 구체적으로 설명한다. 도 4는, 보간 안저 맵과 영상을 제시하고자 하는 안구의 상태의 매칭을 한 결과(수정 결과)를 설명하기 위한 도면이다.
도 4에 나타내는 바와 같이, 맹점(31)은, 영상 표시 범위(화각)(50)를 구성하는 제1 상한(51)(예를 들면, X축이 정방향이며, Y축이 정방향인 영역), 제2 상한(52)(예를 들면, X축이 부방향이며, Y축이 정방향인 영역), 제3 상한(53)(예를 들면, X축이 부방향이며, Y축이 부방향인 영역) 및 제4 상한(54)(예를 들면, X축이 정방향이며, Y축이 부방향인 영역) 중, 제4 상한(54)에 가까운 제1 상한(51) 내에 존재하고 있다.
스텝 S106∼스텝 S108은, 도 1의 참조 부호 P1로 나타내는 바와 같이, 원하는 또는 소정의 영상이 생성될 때까지 반복하여 행해진다. 스텝 S106(Gaze Tracking)과 스텝 S107(보간 안저 맵의 생성)은 동시에 행해져도 된다.
도 5를 사용하여, 본 기술에 관한 제1 실시 형태의 표시 장치에 의한 영상의 표시 플로우의 다른 일 예를 설명한다.
도 5에 나타내는 스텝 S201에서 안저 맵을 작성한다. 스텝 S201에서 작성되는 안저 맵의 작성 방법은, 상기에서 설명한, 도 1에 나타내는 스텝 S101∼스텝 S103에서 작성되는 안저 맵의 작성 방법과 동일하기 때문에, 여기서는 상세한 설명은 생략한다.
도 5에 나타내는 스텝 S202에서 안구 특성의 취득이 행해진다. 안구 특성의 취득은, 예를 들면, OCT(Optical Coherence Tomography: 광간섭 단층계), 리프렉토미터(타각적 굴절 검사), IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치 등을 사용하여 행해진다. OCT를 사용함으로써, 망막의 단면을 촬영할 수 있다. 리프렉토미터를 사용함으로써, 수차 등의 광학 특성(예를 들면 안구 왜곡에 관한 데이터 등)을 얻을 수 있고, 예를 들면, 눈의 굴절 도수, 각막의 곡률 등을 측정할 수 있다. IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치를 사용함으로써, 안저의 형상 등을 측정할 수 있다. 안구 특성의 취득에 의해, 사용자의 눈에, 예를 들면, 연령 관련 황반 변성이 생겼는지 여부를 판단할 수 있다. 연령 관련 황반 변성이란, 연령에 의한 변화나 광 장해 등에 의해, 망막의 중심부의 황반이 장해되어, 보는 것에 어려움을 일으키는 병이다. 예를 들면, 도 6에 나타내는 바와 같이, 정상의 눈에서는 정상적으로 보이지만(도 6A), 연령 관련 황반 변성(변시증)에 의해 망막이 비뚤어져, 왜곡(60B)과 같이 비뚤어져서 보이거나(도 6B), 연령 관련 황반 변성(변시증)에 의해 시력이 저하되어, 중심 암점(60C)과 같이 중심이 어둡게 보이거나 한다(도 6C).
도 5에 나타내는 스텝 S203에서 아이 센싱(아이 트래킹) 결과와 안저 맵을 매칭한다. 스텝 S203에서 행해지는 매칭의 방법은, 상기에서 설명한, 도 1에 나타내는 스텝 S104∼스텝 S105에서 행해지는 작성되는 매칭의 방법과 동일하기 때문에, 여기서는 상세한 설명은 생략한다.
도 5에 나타내는 스텝 S204∼스텝 S208은, 영상 제시 상태에서 행해진다. 보다 상세하게는, 스텝 S204에서, Gaze Tracking(게이즈 트래킹, 시선 추적)을 행한다. 예를 들면, 스텝 S204에서, 안구의 움직임에 추종하여, 동공위치를 검출하고, 원하는 점의 화각을 산출하거나, 적외광을 묘화 광축에 올리고, 안저 반사(맹점과 중심와는 반사율은 다르다)를 검출한다. 스텝 S205에서, 보간 안저 맵이 생성된다. 보간 안저 맵은, 안구의 상하 좌우 회전의 사이를 보간하여 생성된다. 예를 들면, 보간 안저 맵은, 스텝 S201에서 작성된 안저 맵이 사용한 안구의 상하 좌우의 회전 레벨보다 작은 레벨의 안구의 상하 좌우의 회전시의 중심와 및 맹점의 위치를, 안저 맵을 사용하여 추정하여 생성된다. 한편, 보간 안저 맵은, 특정한 안구의 위치 정보 또는 화각 어긋남의 정보를 사용하여 생성되어도 된다.
다음으로, 스텝 S206에서, 안구 왜곡의 보정 테이블의 재구축이 행해진다. 스텝 S206에 대해, 도 7을 사용하여 구체적으로 설명한다. 도 7A에는, 제시하고자 하는 영상(화상)이 나타나 있다. 도 7B에는, 안구 왜곡에 의한 영상(화상)이 나타나 있다. 도 7C에는, 안구 왜곡의 보정 테이블에 의해 보정된 출력 영상(생성되는 영상)이 나타나 있다.
스텝 S207에서, 안구 얼룩의 보정이 행해진다. 스텝 S207에 대해, 도 8을 사용하여 구체적으로 설명한다. 도 8A에는, 제시하고자 하는 영상(화상)이 나타나 있다. 도 8B에는, 안구 얼룩에 의한 영상(화상)이 나타나 있다. 도 8C에는, 안구 얼룩의 보정에 의해 보정된 출력 영상(생성되는 영상)이 나타나 있다.
그리고, 스텝 S208에서, 영상이 생성된다. 영상이 생성된 후, 예를 들면, 광원(예를 들면, 레이저 광원), 미러, 주사형의 미러(예를 들면, MEMS 미러), 릴레이계 구동부(투영 광학계) 및 씨스루성을 가지는 부재(예를 들면, 홀로그래픽 광학 소자(이하, HOE라고 칭하는 경우가 있다))를 포함하는 영상 표시부에, 생성된 영상의 신호를 송신한다. 홀로그래픽 광학 소자는, 예를 들면, 반사형 또는 투과형의 체적(볼륨) 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램(표면(서피스) 릴리프 홀로그램이라고도 한다) 등을 들 수 있다.
스텝 S204∼스텝 S208은, 도 5의 참조 부호 P5로 나타내는 바와 같이, 원하는 또는 소정의 영상이 생성될 때까지 반복하여 행해진다. 스텝 S204(Gaze Tracking)와 스텝 S205(보간 안저 맵의 생성)는 동시에 행해져도 된다.
본 기술에 관한 제1 실시 형태의 표시 장치의 구성예를, 도 9 및 도 10을 사용하여 설명한다. 도 9는, 사용자의 두부에 장착된 본 기술에 관한 표시 장치의 상면도이다. 도 10은, 사용자의 두부에 장착된 본 기술에 관한 표시 장치의 정면도이다. 도 9에 나타내는 표시 장치는, 영상 표시부(화상 표시부라고도 말한다), 두부에 대한 표시 장치의 위치의 변화를 검출하는 센서(본 명세서 내에서, 두부에 대한 표시 장치의 위치의 변화를 검출하는 센서를 "변위 센서" 또는 "센서"라고도 말한다), 감시부, 투사 위치 조정 기구, 제어부, 및 기억부를 포함한다. 이하에서 이들 구성 요소에 대해 설명한다.
(영상 표시부)
도 9에 나타내는 바와 같이, 표시 장치(100)는, 안경 형상의 형상을 가지고, 양쪽눈의 각각에 영상 표시광(화상 표시광이라고 하는 경우가 있다)을 투사하도록 구성되어 있다. 즉, 표시 장치(100)는, 왼쪽 눈에 영상 표시광을 투사하는 영상 표시부 및 오른쪽 눈에 영상 표시광을 투사하는 영상 표시부를 포함한다. 왼쪽 눈에 영상 표시광을 투사하는 영상 표시부는, 광원부(101L), 투영 광학계(102L), 및 조사부로서 홀로그래픽 광학 소자(이하, HOE라고도 말한다)(103L)를 포함한다. 도시는 되어 있지 않지만, 추종부로서 컴바이너가 표시 장치(100)에 포함되어도 되고, 컴바이너에, 홀로그래픽 광학 소자(103L), 하프 미러 등이, 구조적으로 포함되어도 된다. 추종부인 릴레이계 구동부(도시하지 않음)는, 투영 광학계(102L)에 포함되어도 된다. 도시는 되어 있지 않지만, 추종부인 미러 구동부 및 위상차 패널은, 광원부(101L)와 투영 광학계(102L)의 사이 또는 투영 광학계(102L)와 홀로그래픽 광학 소자(103L)의 사이에 배치되어도 된다.
광원부(101L)는 영상 표시광을 출사한다. 해당 영상 표시광을 출사하기 위한 구성으로서, 광원부(101L)는, 예를 들면 레이저 광원(120L), 미러(121L), 및 주사 미러(122L)를 포함할 수 있다. 레이저 광원(120L)으로부터 출사된 레이저광이, 미러(121L)에 의해 반사되고, 그리고 주사 미러(122L)에 도달한다. 주사 미러(122L)는, 해당 레이저광을 2차원적으로 주사한다. 주사 미러(122L)는, 예를 들면 MEMS 미러여도 된다. 주사 미러(122L)는, 해당 레이저광의 방향을, 망막 상에 화상이 형성되도록 고속으로 이동시킬 수 있다.
투영 광학계(102L)는, 해당 영상 표시광을 HOE(103L)의 원하는 영역 및/또는 위치에 도달하도록, 해당 영상 표시광의 방향을 조정한다. 예를 들면, 주사 미러(122L)에 의해 주사된 영상 표시광을 평행광으로 한다.
HOE(103L)는, 해당 영상 표시광이, 사용자의 동공 부근에서 집광되고 그리고 망막에 조사되도록 회절한다. HOE(103L)는, 예를 들면 반사형의 회절소자여도 된다. HOE(103L)는, 해당 영상 표시광의 파장 범위의 광에 대해서는 렌즈로서 작용하고, 또한, 해당 파장 범위 밖의 파장의 광은 투과시키는 광학 특성을 가질 수 있다. 해당 광학 특성에 의해, 사용자는, HOE(103L)를 통해 예를 들면 시선 방향의 앞의 풍경을 인식하고, 또한, 해당 영상 표시광에 의한 화상을 인식할 수 있다. 즉, 외부 세계의 풍경에, 해당 영상 표시광에 의한 화상을 중첩시킬 수 있다. HOE(103L)로서, 예를 들면 홀로그램 렌즈, 바람직하게는 필름 형상의 홀로그램 렌즈, 보다 바람직하게는 투명한 필름 형상 홀로그램 렌즈를 들 수 있다. 필름 형상의 홀로그램 렌즈는, 예를 들면 글래스 등에 첩부하여 사용되어도 된다. 해당 기술 분야에서 이미 알려진 기법에 의해, 홀로그램 렌즈에 원하는 광학 특성을 부여할 수 있다. 또한, HOE(103L)는, 예를 들면, 체적(볼륨) 홀로그램 또는 표면(서피스) 릴리프 홀로그램이라도 된다. 그리고, 홀로그램 렌즈로서, 시판 입수 가능한 홀로그램 렌즈가 사용되어도 되고, 또는, 홀로그램 렌즈는, 해당 기술 분야에서 공지의 기법에 의해 제조되어도 된다.
이상과 같이, 광원부(101L), 투영 광학계(102L), 및 HOE(103L)가, 영상 표시광을 사용자의 왼쪽 눈에 도달시킨다.
표시 장치(100)는, 안경 형상의 일부인 템플부(109L) 및 림부(108L)를 가진다. 템플부(109L)에, 광원부(101L) 및 투영 광학계(102L)가 배치되어 있다. 림부(108L)에, HOE(103L)가 보유지지되고 있다. 보다 구체적으로는, 림부(108L)에, 조사부로서의 투사 위치 조정 기구(105L-2)를 통해 내측 림부(106L)가 보유지지되고 있고, 또한, 내측 림부(106L)에, 조사부로서의 투사 위치 조정 기구(105L-1)를 통해 HOE(103L)가 보유지지되고 있다.
사용자의 오른쪽 눈에 영상 표시광을 투사하는 영상 표시부는, 광원부(101R), 투영 광학계(102R), 및 조사부로서 HOE(103R)를 포함한다. 도시는 되어 있지 않지만, 추종부로서 컴바이너가 표시 장치(100)에 포함되어도 되고, 컴바이너에, HOE(103R), 하프 미러 등이, 구조적으로 포함되어도 된다. 추종부인 릴레이계 구동부(도시하지 않음)는, 투영 광학계(102R)에 포함되어도 된다. 도시는 되어 있지 않지만, 추종부인 미러 구동부 및 위상차 패널은, 광원부(101R)와 투영 광학계(102R)의 사이 또는 투영 광학계(102R)와 HOE(103R)의 사이에 배치되어도 된다.
광원부(101L), 투영 광학계(102L), 및 HOE(103L)에 관한 설명이, 광원부(101R), 투영 광학계(102R), 및 HOE(103R)에 대해서도 적용된다.
왼쪽 눈용의 영상 표시부와 마찬가지로, 템플부(109R)에, 광원부(101R) 및 투영 광학계(102R)가 배치되어 있다. 림부(108R)에, HOE(103R)가 보유지지되고 있다. 보다 구체적으로는, 림부(108R)에, 조사부로서의 투사 위치 조정 기구(105R-2)를 통해 내측 림부(106R)가 보유지지되고 있고, 또한, 내측 림부(106R)에, 조사부로서의 투사 위치 조정 기구(105R-1)를 통해 HOE(103R)가 보유지지되고 있다.
표시 장치(100)의 림부(108L 및 108R)는, 브릿지부(110)를 통해 연결되어 있다. 브릿지부(110)는, 사용자가 표시 장치(100)를 장착했을 때에, 사용자의 코에 걸리는 부분이다. 또한, 표시 장치(100)의 림부(108L 및 108R)의 양쪽이, 헤드 밴드부(111)에 연결되어 있다. 헤드 밴드부(111)는, 사용자가 표시 장치(100)를 장착했을 때에, 도 10에 나타내는 바와 같이, 사용자의 두정부(頭頂部)에 접촉하는 부분이다.
도 9에 나타내는 광원부(101L)는 하나의 레이저 광원(120L)을 포함하지만, 광원부(101L)에 포함되는 레이저 광원의 수는 2개 이상이어도 되고, 예를 들면, 2개∼5개여도 된다. 이들 복수의 레이저 광원은, 서로 다른 파장의 레이저광을 출력하는 것이어도 된다. 마찬가지로, 광원부(101R)는 하나의 레이저 광원(120R)을 포함하지만, 광원부(101R)에 포함되는 레이저 광원의 수는 2개 이상이어도 되고, 예를 들면, 2개∼5개여도 된다. 이들 복수의 레이저 광원은, 서로 다른 파장의 레이저광을 출력하는 것이어도 된다. 레이저 광원(120L) 및 레이저 광원(120R)이 사용됨으로써, 특정 파장의 자극이 제시될 수 있다.
표시 장치(100)는, 도시는 되어 있지 않지만, 파장 분산 보상 부재를 더 구비해도 된다. 파장 분산 보상 부재는, 예를 들면, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램, 메타서피스를 포함하는 제1 광학 소자 등이다. 파장 분산 보상 부재는, 미러(121L 및/또는 121R)의 주변, 예를 들면, 미러(121L)와 주사 미러(122L)의 사이 및/또는 미러(121R)와 주사 미러(122R)의 사이에 배치되어도 된다. 표시 장치(100)에, 파장 분산 보상 부재가 사용되면, 파장 분산을 보상하기 때문에, 정확하게 망막 상의 (소정의 점) 임의의 점의 자극이 가능하다.
(센서)
표시 장치(100)는, 사용자의 두부에 대한 표시 장치(100)의 위치의 변화를 검출하는 센서(104L, 104R, 104C, 및 104T)를 더 구비하고 있다. 이들 센서에 의해 검출되는 위치의 변화는, 예를 들면 위치의 변화의 방향 및/또는 위치의 변화의 양이면 된다. 한편, 본 명세서 내에서, 센서(104L, 104R, 104C, 및 104T)를 총칭하여, 센서(104)라고 하는 경우가 있다.
센서(104L 및 104R)가, 사용자의 두부에 대한 표시 장치(100)의 수평 방향에서의 위치의 변화를 검출하고, 센서(104C)가, 사용자의 두부에 대한 표시 장치(100)의 전후 방향에서의 위치의 변화를 검출하고, 또한, 센서(104T)가, 사용자의 두부에 대한 표시 장치(100)의 상하 방향에서의 위치의 변화를 검출한다. 이에 의해, 장착 어긋남을 삼차원적으로 파악할 수 있다.
(감시부(시선 검출 장치))
표시 장치(100)는, 사용자의 시선을 검출하는 감시부(107L 및 107R)를 구비한다. 본 명세서 내에서, 감시부(107L 및 107R)를 총칭하여, 감시부(107)라고 하는 경우가 있다. 감시부(107)는, 각막 반사 또는 안저 반사를 사용하여 상기 안구의 상태를 감시할 수 있다. 표시 장치(100)가 이들 감시부를 포함함으로써, 사용자에게 제시되는 화상의 위치를, 보다 적절한 위치로 조정하는 것이 가능하게 된다. 예를 들면, 외부 세계의 상에 표시 장치(100)에 의해 제시되는 화상을 중첩하는 경우에, 사용자의 시선을 검출함으로써, 해당 화상을 보다 적절한 위치에 표시할 수 있다. 즉, 감시부(107)를 포함하는 것은, AR 정보의 제시에 있어서 바람직하다. 감시부는, 예를 들면, 시선 검출 장치로 구성되어도 된다.
감시부(107)는, 예를 들면 촬상 방식의 감시부여도 되고 또는 포토다이오드 방식의 감시부여도 된다. 이하에서, 이들 감시부에 대해 보다 상세하게 설명한다.
감시부(107L)는, 사용자의 왼쪽 눈의 시선을 검출한다. 감시부(107L)는, 예를 들면 림부(108L)의 어느 위치에 설치되어 있어도 되지만, 왼쪽 눈의 시선을 검출할 수 있으면, 다른 요소(예를 들면 내측 림부(106L) 등)의 어느 하나의 위치에 설치되어 있어도 된다.
감시부(107L)는, 예를 들면 포토다이오드 방식의 감시부여도 된다. 포토다이오드 방식의 감시부는, 예를 들면 광원과 포토다이오드의 조합을 포함할 수 있다. 상기 광원은, 왼쪽 눈에 광을 조사하도록 구성된다. 상기 광원은, 바람직하게는 적외광 조명 광원이다. 이에 의해, 사용자에 의한 외부 세계의 상의 인식 및 영상 표시광의 인식에 영향을 미치는 것을 막을 수 있다. 상기 포토다이오드는, 상기 광원으로부터 출사된 광(특히 적외광)의 안구에서의 반사광을 검출하도록 구성될 수 있다. 상기 포토다이오드는, 예를 들면 눈의 검은자위 부분(동공)에서의 반사 광량과 흰자위 부분(강막)에서의 반사 광량의 차이를 검출할 수 있는 것일 수 있다. 상기 포토다이오드 방식의 감시부는, 예를 들면 상기 포토다이오드에 의해 검출되는 눈의 검은자위 부분의 면적 비율 및 흰자위 부분의 면적 비율에 기초하여, 시선을 검출할 수 있다.
포토다이오드 방식의 감시부는, 장착 어긋남이 발생해도, 해당 장착 어긋남을 검출할 수 없다. 그 때문에, 장착 어긋남이 발생했을 경우에는, 해당 감시부의 시선 검출 정밀도가 저하될 수 있다. 본 기술의 표시 장치는, 상기한 바와 같이, 두부에 대한 표시 장치의 위치의 변화를 검출하는 센서를 구비하고 있고, 이에 의해 장착 어긋남을 검출할 수 있다. 해당 센서에 의해 검출된 장착 어긋남에 기초하여 시선 보정을 행함으로써, 감시부에 의한 시선 검출 정밀도가 향상된다. 본 기술의 표시 장치는, 예를 들면 3mm 이하, 특히 2mm 이하, 보다 특히 1mm 이하의 정밀도로, 시선을 검출할 수 있다. 이러한 정밀도에서의 시선 검출은, 맥스웰시(Maxwellian view)에 의한 화상 제시에 있어서 특히 바람직하다.
대체적으로는, 감시부(107L)는, 촬상 방식의 감시부여도 된다. 촬상 방식의 감시부는, 예를 들면 광원과 촬상 소자의 조합을 포함할 수 있다. 상기 광원은, 포토다이오드 방식의 경우와 마찬가지로, 왼쪽 눈에 광을 조사하도록 구성된다. 상기 광원은, 바람직하게는 적외광 조명 광원이다. 상기 촬상 소자는, 예를 들면 상기 광원의 안구(특히 각막)에서의 반사상(소위 푸르킨예상(Purkinje image)) 및 동공의 중심(重心)을 취득 가능한 화상을 얻을 수 있도록 구성되어 있어도 된다. 상기 촬상 소자는, 예를 들면 적외선용 촬상 소자여도 된다. 상기 촬상 방식의 감시부는, 예를 들면 상기 푸르킨예상과 상기 화상에 기초하여, 안구의 광축을 추정할 수 있다. 상기 감시부는, 해당 추정된 광축을 시축(visual axis)으로 변환하여, 시선을 검출할 수 있다.
상기 푸르킨예상과 상기 화상에 기초하는 시선 검출에 있어서, 상기 광원과 안구의 위치 관계가 고정되어 있으면, 푸르킨예상이 생기는 위치가 고정된다. 장착 어긋남은, 해당 위치 관계의 어긋남을 초래하고, 이에 의해 푸르킨예상이 생기는 위치가 변화될 수 있다. 더하여, 해당 시선 검출은, 깜박임 또는 머리카락 또는 속눈썹 등의 영향을 받기 쉽다. 또한, 상기 시선 검출에서, 개인차의 보정을 위한 캘리브레이션이 통상은 실시되는 바, 장착 어긋남이 생긴 경우에는 다시 캘리브레이션을 실시할 필요가 생긴다. 본 기술의 표시 장치는, 상기한 바와 같이, 두부에 대한 표시 장치의 위치의 변화를 검출하는 센서를 구비하고 있고, 이에 의해 장착 어긋남을 검출할 수 있다. 그 때문에, 예를 들면 장착 어긋남의 양에 따른 보정값을 미리 준비해 두고(예를 들면 기억부 등에 기억해 두고), 장착 어긋남이 생긴 것에 따라 해당 보정값을 사용하여 보정을 행함으로써, 양호한 정밀도로 시선 검출을 행하는 것이 가능하게 된다. 더하여, 장착 어긋남의 검출은, 깜박임 또는 머리카락 또는 속눈썹 등의 영향을 받기 어렵다. 또한, 검출된 장착 어긋남에 기초하는 보정을 행함으로써, 캘리브레이션을 행하는 횟수를 줄일 수도 있다.
(투사 위치 조정 기구)
표시 장치(100)가 구비하는 조사부는, 표시 장치(100)로부터 출사되는 영상 표시광의 투사 위치를 조정하는 투사 위치 조정 기구(105L-1 및 105L-2 및 105R-1 및 105R-2)를, 더 포함할 수 있다. 한편, 본 명세서 내에서 이들 4개의 투사 위치 조정 기구를 총칭하여, 투사 위치 조정 기구(105)라고 하는 경우가 있다. 투사 위치 조정 기구(105)는, 예를 들면 시선에 추종하여 영상 표시광의 투사 위치를 조정하도록 구성되어 있어도 된다. 투사 위치 조정 기구(105)에 의해, 영상 표시광의 투사 위치를 장착 어긋남에 따라 조정할 수 있다.
더하여, 투사 위치 조정 기구(105)에 의해, 안구의 회전 이동 또는 시선의 이동에 따라 영상 표시광의 투사 위치를 조정할 수 있다. 예를 들면, 표시 장치(100)가 투사 위치 조정 기구(105)를 포함함으로써, 사용자에게 제시되는 화상의 위치를, 보다 적절한 위치로 조정하는 것이 가능하게 된다. 예를 들면, 외부 세계의 상에 표시 장치(100)에 의해 제시되는 화상을 중첩하는 경우에, 사용자의 시선을 검출함으로써, 해당 화상을 보다 적절한 위치에 표시할 수 있다. 즉, 감시부(107)를 포함하는 것은, AR 정보의 제시에 있어서 바람직하다. 또한, 이들 투사 위치 조정 기구에 의해, 맥스웰시에 의한 화상 표시에서 영상 표시광이 집광되는 위치를 조정할 수도 있다.
투사 위치 조정 기구(105L-1 및 105L-2)는, 왼쪽 눈에 투사되는 영상 표시광의 투사 위치를 조정한다. 투사 위치 조정 기구(105L-1)는, 내측 림부(106L)와 림부(108L)의 z축 방향에서의 위치 관계를 조정한다. 예를 들면, 투사 위치 조정 기구(105L-1)는, 내측 림부(106L)를, 림부(108L)에 대해 z축 방향으로 이동시킨다. 이에 의해, HOE(103L)의 z축 방향에서의 위치가 조정된다. 투사 위치 조정 기구(105L-2)는, HOE(103L)와 내측 림부(106L)의 x축 방향에서의 위치 관계를 조정한다. 예를 들면, 투사 위치 조정 기구(105L-2)는, HOE(103L)를, 내측 림부(106L)에 대해 x축 방향으로 이동시킨다. 이에 의해, HOE(103L)의 x축 방향에서의 위치가 조정된다.
투사 위치 조정 기구(105L-1)에 의한 내측 림부(106L)와 림부(108L)의 z축 방향에서의 위치 관계의 조정을 구동하기 위한 구동 소자는, 예를 들면 피에조(piezo) 소자, 액츄에이터, 또는 바이메탈이어도 되지만, 이들에 한정되지 않는다. 투사 위치 조정 기구(105L-2)에 의한 HOE(103L)와 내측 림부(106L)의 x축 방향에서의 위치 관계의 조정을 구동하기 위한 구동 소자도, 예를 들면 피에조 소자, 액츄에이터, 또는 바이메탈이어도 되지만, 이들에 한정되지 않는다.
투사 위치 조정 기구(105L-1)는, 내측 림부(106L)와 림부(108L)의 z축 방향에서의 위치 관계의 조정을, 예를 들면, 센서(104L, 104R, 104C, 및 104T) 중 1개, 2개, 3개, 또는 4개 모두에 의해 검출된 표시 장치(100)의 위치의 변화에 기초하여 행할 수 있다. 또한, 투사 위치 조정 기구(105L-1)는, 상기 위치 관계의 조정을, 해당 위치의 변화와, 감시부(107L)에 의해 검출된 시선에 기초하여 행해도 된다. 투사 위치 조정 기구(105L-2)는, HOE(103L)와 내측 림부(106L)의 x축 방향에서의 위치 관계의 조정을, 예를 들면, 센서(104L, 104R, 104C, 및 104T) 중 1개, 2개, 3개, 또는 4개 모두에 의해 검출된 표시 장치(100)의 위치의 변화에 기초하여 행할 수 있다. 또한, 투사 위치 조정 기구(105L-2)는, 상기 위치 관계의 조정을, 해당 위치의 변화와, 감시부(107L)에 의해 검출된 시선에 기초하여 행해도 된다.
투사 위치 조정 기구(105R-1 및 105R-2)는, 오른쪽 눈에 투사되는 영상 표시광의 투사 위치를 조정한다. 해당 조정은, 투사 위치 조정 기구(105L-1 및 105L-2)와 마찬가지로 행해져도 된다.
(제어부 및 기억부)
표시 장치(100)는, 제어부(112)를 구비한다. 표시 장치(100)의 주된 구성요소를 나타내는 블록도인 도 11에 나타내는 바와 같이, 제어부(112)는, 화상 제어부(181), 투사 위치 제어부(182), 시선 보정부(183), 처리부(191) 및 매칭부(192)를 포함한다. 또한, 상술한 바와 같이, 도 11에 나타내는 표시 장치(100)는, 광원부(101)와, 센서(104)와, 조사부로서의 투사 위치 조정 기구(105)와, 감시부(시선 검출 기구)(107)와, 눈앞에 배치되는 씨스루성을 가지는 부재(예를 들면, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 등)을 포함하는 조사부(201)와 추종부(202)를 구비한다. 한편, 표시 장치(100)는, 추종부(202)를 구비하고 있지 않아도 된다. 기억부(184)는, 표시 장치(100)에 구비되어도 되지만, 표시 장치(100) 이외의 외부의 장치에 구비되어도 된다.
표시 장치(100)의 조사부(201)가 구비하는 눈앞에 배치되는 부재에 대해, 상술했지만, 도 13 및 도 14를 사용한 경우에 대해 더 상세하게 설명한다.
도 13은, 눈앞에 배치되는 부재의 일 예인, 소정의 광을 반사하고 소정의 광 이외의 광을 투과하는 제2 광학 소자(300)를 나타내는 도면이다. 도 14는, 눈앞에 배치되는 부재의 다른 일 예인, 소정의 광을 반사하고 소정의 광 이외의 광을 투과하는 제2 광학 소자(400)를 나타내는 도면이다.
도 13에 나타내는 장치에는, 제2 광학 소자(300), 액정 패널(301) 및 특수 액정 렌즈(302)가 구성되어 있다. 제2 광학 소자(300)는, 편광 빔 스플리터(Polarizing Beam Splitter: PBS)로 구성되고, 도시는 되어 있지 않지만, 제2 광학 소자(편광 빔 스플리터)(300)에는, λ/4판이 배치되어 있다. 도 13에서 나타내는 장치에는, 특수 액정 렌즈(302)가 구성되어 있지 않아도 되고, 그 대신에, 액정 패널(301)과 제2 광학 소자(300)의 사이에 렌즈가 구성되어 있어도 된다.
　도 13에 나타내는 바와 같이, 액정 패널(310)로부터의 편광 광선(영상 표시광)(L31)은, 제2 광학 소자(300)의 영역(H31)에서 반사되고, 특수 액정 렌즈(302)의 영역(T31-1 및 T31-2)을 투과하여, 사용자의 눈(310)(눈동자(310-1))에 도달하고, 액정 패널(301)로부터의 편광 광선(영상 표시광)(L32)은, 제2 광학 소자(편광 빔 스플리터)(300)의 영역(H32)에서 반사되고, 특수 액정 렌즈(302)의 영역(T32-1 및 T32-2)을 투과하여, 사용자의 눈(310)(눈동자(310-1))에 도달하고, 사용자는, 액정 패널(301)로부터 출사된 광(영상 표시광(편광 광선(L31 및 L32)))에 의한 버추얼(virtual) 영상(화상)(V13)을 인식한다. 그리고, 외부 세계로부터의 광(L310 및 L320)은, 제2 광학 소자(300)(편광 빔 스플리터)를 투과하고, 특수 액정 렌즈(302)를 투과하여, 사용자의 눈(310)(눈동자(310-1))에 도달하고, 사용자는, 외부 세계로부터의 광(L310 및 L320)에 의한 리얼리티(reality) 영상(화상)(R13)을 인식한다. 즉, 사용자는, 버추얼(virtual) 영상(화상)(V13)과 리얼리티(reality) 영상(화상)(R13)이 중첩되어 있는 것처럼 인식한다(보인다).
도 14에는, 제2 광학 소자(400), OLED(Organic Light Emitting Diode) 패널(유기 EL)(401) 및 렌즈(402)가 나타나 있다. 제2 광학 소자(400)는. 비구면 하프 미러이며, 제1 미러 부재(400-1)와 제2 미러 부재(400-2)로 구성된다. 예를 들면, 제2 광학 소자(400)는, 하프 미러(400-1)와 하프 미러(400-2)의 조합이어도 되고, 편광 빔 스플리터(Polarizing Beam Splitter: PBS)(400-1)와 하프 미러(400-2)의 조합이어도 된다. 제2 광학 소자(400)가, 편광 빔 스플리터(Polarizing Beam Splitter: PBS)(400-1)와 하프 미러(400-2)의 조합의 경우, 하프 미러(400-2)에는, λ/4판이 배치되어도 된다. 제1 미러 부재(400-1) 및/또는 제2 미러 부재(400-2)가 하프 미러인 경우, 광투과율이 50% 이상인 것이 바람직하다.
도 14에 나타내는 바와 같이, OLED(Organic Light Emitting Diode) 패널(유기 EL)(401)로부터의 광선(영상 표시광)(L41)은, 제2 광학 소자(400)를 구성하는 제1 미러 부재(400-1)의 영역(H41-1)에서 반사되고, 계속해서, 제2 광학 소자(400)를 구성하는 제2 미러 부재(400-2)의 영역(H41-2)에서 반사되고, 제1 미러 부재(400-1)의 영역(T41)을 투과하여, 사용자의 눈(410)(눈동자(410-1))에 도달하고, OLED 패널(401)로부터의 광선(영상 표시광)(L42)은, 제2 광학 소자(400)를 구성하는 제1 미러 부재(400-1)의 영역(H42-1)에서 반사되고, 계속해서, 제2 광학 소자(400)를 구성하는 제2 미러 부재(400-2)의 영역(H42-2)에서 반사되고, 제1 미러 부재(400-1)의 영역(T42)을 투과하여, 사용자의 눈(410)(눈동자(410-1))에 도달하고, OLED 패널(401)로부터의 광선(영상 표시광)(L43)은, 제2 광학 소자(400)를 구성하는 제1 미러 부재(400-1)의 영역(H43-1)에서 반사되고, 계속해서, 제2 광학 소자(400)를 구성하는 제2 미러 부재(400-2)의 영역(H43-2)에서 반사되고, 제1 미러 부재(400-1)의 영역(T43)을 투과하여, 사용자의 눈(410)(눈동자(410-1))에 도달하고, 사용자는, OLED 패널(401)로부터 출사된 광(영상 표시광(광선(L41, L42 및 L43)))에 의한 버추얼(virtual) 영상(화상)을 인식한다. 그리고, 도시는 되어 있지 않지만, 외부 세계로부터의 광은, 제2 광학 소자(400)를 투과하여, 사용자의 눈(410)(눈동자(410-1))에 도달하고, 사용자는, 외부 세계로부터의 광에 의한 리얼리티(reality) 영상(화상)을 인식한다. 사용자는, 버추얼(virtual) 영상(화상)과 리얼리티(reality) 영상(화상)이 중첩된 것처럼 인식한다.
한편, 이상과 같이, 도 13 및 도 14를 사용하여 설명한, 조사부(201)가 구비하는 눈앞에 배치되는 부재의 2개의 예에 관한 내용은, 후술하는 본 기술에 관한 제2 실시 형태인 표시 장치(100-1)에도 적용될 수 있다.
이하, 제어부(112)에 대해 설명한다.
화상 제어부(181)는, 영상 표시부에 의한 영상 표시광의 투사를 제어한다. 화상 제어부(181)는, 예를 들면 광원부(101L 및 101R), 특히 이들 광원부에 포함되는 레이저 광원 및 주사 미러를 구동하여, 영상 표시광을 출력시킨다. 화상 제어부(181)는, 예를 들면 기억부(184)에 격납되어 있는 화상 데이터를 취득하고, 해당 화상 데이터에 기초하여, 광원부(101L 및 101R)에 영상 표시광을 출력시킬 수 있다. 화상 제어부(181)는, 센서(104)에 의해 검출된, 두부에 대한 표시 장치(100)의 위치의 변화에 기초하여, 해당 화상 데이터를 보정해도 된다. 화상 제어부(181)는, 보정 후의 화상 데이터에 기초하여, 광원부(101L 및 101R)에 영상 표시광을 출력시켜도 된다. 즉, 표시 장치(100)는, 두부에 대한 표시 장치의 위치의 변화를 검출하는 센서에 의해 검출된 위치의 변화에 기초하여 화상을 보정해도 된다.
투사 위치 제어부(182)는, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2)를 제어하고, 이에 의해 영상 표시광의 투사 위치가 제어될 수 있다. 예를 들면, 투사 위치 제어부(182)는, 감시부(107L 및 107R)에 의해 검출된 시선에 기초하여, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2) 중 1개∼4개를 구동하여, 영상 표시광의 투사 위치를 조정할 수 있다. 예를 들면 해당 시선에 추종하도록, 영상 표시광의 투사 위치가 조정될 수 있다. 투사 위치 제어부(182)는, 후술하는 시선 보정부(183)에 의한 보정 후의 시선에 기초하여, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2) 중 1개∼4개를 구동하여, 영상 표시광의 투사 위치를 조정해도 된다. 예를 들면 해당 보정 후의 시선에 추종하도록, 영상 표시광의 투사 위치가 조정될 수 있다. 투사 위치 제어부(182)는, 센서(104L, 104R, 104C, 및 104T) 중 1개∼4개에 의해 검출된, 두부에 대한 표시 장치(100)의 위치의 변화에 관한 데이터(이하 "변위 데이터"라고도 말한다)에 기초하여, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2) 중 1개∼4개를 구동하여, 영상 표시광의 투사 위치를 조정해도 된다.
투사 위치 제어부(182)는, 예를 들면, 상기 변위 데이터와 보정 계수에 기초하여, 각 투사 위치 조정 기구에 의한 위치 조정량을 산출할 수 있다. 투사 위치 제어부(182)는, 산출된 위치 조정량만큼 위치 관계가 변경되도록 각 투사 위치 조정 기구를 구동할 수 있다. 투사 위치 제어부(182)는, 예를 들면 기억부(184)에 미리 격납되어 있는 보정 테이블로부터 보정 계수를 취득하고, 해당 보정 계수를 상기 위치 조정량의 산출을 위해서 사용해도 된다. 해당 보정 테이블은, 예를 들면 복수의 보정 계수를 가지고 있어도 되고, 투사 위치 제어부(182)는, 이들 복수의 보정 계수 중에서, 변위 데이터에 따라 소정의 보정 계수를 선택할 수 있다. 또한, 보정 테이블은, 예를 들면 투사 위치 조정 기구마다 설치되어 있어도 된다. 해당 보정 테이블은, 표시 장치(100)에 미리 구비되어 있어도 되고, 또는, 사용자에 의한 표시 장치(100)의 사용에 따라 갱신되어도 된다. 보정 테이블 또는 보정 계수의 선택 또는 갱신에 의해, 투사 위치 제어의 정밀도를 향상시킬 수 있다. 투사 위치 제어부(182)는, 상기 위치 조정량의 산출을 위해서, 감시부에 의해 검출된 시선 또는 시선 보정부(183)에 의한 보정 후의 시선을 사용해도 된다.
시선 보정부(183)는, 상기 변위 데이터에 기초하여, 감시부(107L 및 107R)에 의해 검출된 시선의 보정을 행한다. 이에 의해, 시선 보정부(183)에 의해, 장착 어긋남을 고려한 시선의 동정이 가능하게 되고, 시선 검출 정밀도가 향상된다. 해당 보정은, 안구의 광축에 대해 행해져도 되고, 안구의 시축에 대해 행해져도 되고, 또는 그 밖의 참조 축에 대해 행해져도 된다. 시선 보정부(183)도, 예를 들면 기억부(184)에 미리 격납되어 있는 보정 테이블로부터 보정 계수를 취득하고, 해당 보정 계수를 상기 시선 보정을 위해서 사용해도 된다. 해당 보정 테이블은, 예를 들면 복수의 보정 계수를 가지고 있어도 되고, 시선 보정부(183)는, 이들 복수의 보정 계수 중에서, 변위 데이터에 따라 소정의 보정 계수를 선택할 수 있다. 해당 보정 테이블은, 표시 장치(100)에 미리 구비되어 있어도 되고, 또는, 사용자에 의한 헤드마운트 표시 장치(100)의 사용에 따라 갱신되어도 된다. 보정 테이블 또는 보정 계수의 선택 또는 갱신에 의해, 시선 보정의 정밀도를 향상시킬 수 있다.
표시 장치(100)는 기억부(184)를 더 포함하고 있어도 된다. 기억부는, 영상 표시부에 의해 투사되는 영상 표시광에 관한 데이터, 투사 위치 제어부(122)에 의한 투사 위치의 제어에 사용되는 보정 테이블, 및, 시선 보정부(123)에 의한 시선 보정을 위해서 사용되는 보정 테이블을 격납하고 있어도 된다.
처리부(191)는, 안구의 특성 분포 정보를 처리한다. 안구의 특성 분포는, 예를 들면, 안저 카메라를 사용하여 취득되거나, OCT, 리프렉토미터, 또는 IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치를 사용하여 취득되거나 한다. 안구의 특성 분포는, 형상적인 것(예를 들면, 안구의 크기나 형상, 황반의 크기나 형상(예를 들면, 함몰 형상), 맹점의 크기나 형상(예를 들면, 함몰 형상), 망막의 단층 형상(예를 들면, 요철 형상)), 질적인 것(예를 들면, 중심와의 위치, 맹점의 위치, 병변 부위 등의 특징 등), 광학적인 것(예를 들면, 안구 내의 굴절, 수차 등)로부터 취득될 수 있다. 처리부(191)는, 안구의 상기 특성 분포에 기초하여 좌표계를 규정할 수 있다. 한편, 안구의 상기 특성 분포에 기초하여 좌표계를 규정하는 것이, 처리부(191)에서 행해지지 않고, 제어부(112) 중에, 예를 들면, 좌표계를 규정하는 규정부가 처리부(191)에 대해 별개로 독립적으로 설치되어도 된다. 좌표계는, 오른쪽 눈의 제1 중심와, 오른쪽 눈의 제1 맹점, 왼쪽 눈의 제2 중심와 및 왼쪽 눈의 제2 맹점으로 이루어지는 군으로부터 선택되는 적어도 2개에 기초하여 정의된다. 좌표계로 표시 영상, 표시 위치를 규정하기 때문에, 패턴 맵을 사용하는 것 보다 데이터가 적어도 된다. 또한, 처리부(191)에서, 안구의 회전 정보에 기초하여 표시 영상 및 표시 위치를 제어해도 되고, 그 경우, 패턴 매칭에 비해 처리를 가볍게 할 수 있다.
매칭부(192)는, 안구의 특성 분포와 안구의 상태를 매칭시킨다. 예를 들면, 매칭부(192)는, 상술한 좌표계를 통해, 안구의 특성 분포와, 영상을 제시하고자 하는 안구(영상을 제시하고자 하는 안구를 실안(實眼)이라고 칭하는 경우가 있다)의 상태를 매칭시킨다. 매칭부(192)에서는, 시축과 광축의 어긋남을 취득하여(Gaze Calibration), 오프셋을 반영한 맵을 만들 수 있다.
이상, 본 기술에 관한 제1 실시 형태(표시 장치의 예 1)의 표시 장치에 대해 설명한 내용은, 특별히 기술적인 모순이 없는 한, 후술하는 본 기술에 관한 제2 실시 형태(표시 장치의 예 2)의 표시 장치, 본 기술에 관한 제3 실시 형태(표시 방법의 예 1)의 표시 방법 및 본 기술에 관한 제4 실시 형태(표시 방법의 예 2)의 표시 방법에 적용할 수 있다.
<3. 제2 실시 형태(표시 장치의 예 2)>
본 기술에 관한 제2 실시 형태(표시 장치의 예 2)의 표시 장치는, 광원과, 안구의 특성 분포를 처리하는 처리부와, 안구의 상태를 감시하는 감시부와, 안구의 특성 분포와 해당 안구의 상태를 매칭시키는 매칭부와, 망막의 소정의 장소에, 광원으로부터 출사된 영상 표시광을 조사하는 조사부를 구비하고, 안구의 특성 분포를 취득하는 취득부를 더 구비하는, 표시 장치이다. 즉, 본 기술에 관한 제2 실시 형태의 표시 장치는, 본 기술에 관한 제1 실시 형태의 표시 장치에, 안구의 특성 분포를 취득하는 취득부를 더한 표시 장치이다. 본 기술에 관한 제2 실시 형태의 표시 장치는, 추종부를 더 구비하고 있어도 된다. 본 기술에 관한 제2 실시 형태의 표시 장치는, 예를 들면, 아이웨어 디스플레이, 헤드마운트 디스플레이 등에 적용할 수 있다.
안구의 특성 분포를 처리하는 처리부는, 예를 들면, 취득부(예를 들면, 안저 카메라, OCT, IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치, 리프렉토미터 등)로부터 얻어진 안구의 특성 분포 정보를 처리한다. 감시부는, 예를 들면, 각막 반사 또는 안저 반사를 사용하여 안구의 상태를 감시하고, 광축을 취득할 수 있다. 매칭부는, 시축과 광축의 어긋남을 취득하여(Gaze Calibration), 오프셋을 반영한 맵을 만들 수 있다. 조사부는, 레이저 광원, 영상 표시(프로젝터), 안구 특성 분포에 따라, 광변조 가능하고, 외광에 따라 광량 조정 가능하고, 왜곡 보정을 포함한 제어가 가능하다. 추종부는, 아이 트래킹에 의한 안구 운동에 대한 표시 영상을 추종할 수 있고, 광선이 스티어링되어, 안구의 회전 정보에 기초하여 조사 영상 및 조사 위치가 변경된다.
본 기술에 관한 제2 실시 형태의 표시 장치의 구성예를, 도 12를 사용하여 설명한다.
도 12는, 본 기술에 관한 제2 실시 형태의 표시 장치(표시 장치(100-1))의 주된 구성 요소를 나타내는 블록도이다.
표시 장치(100-1)는, 광원부(101)와, 센서(104)와, 조사부로서의 투사 위치 조정 기구(105)와, 감시부(시선 검출 기구)(107)와, 눈앞에 배치되는 씨스루성을 가지는 부재(예를 들면, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 등)를 포함하는 조사부(201)와, 추종부(202)와, 취득부(301)와, 제어부(112)를 구비한다. 한편, 표시 장치(100-1)는, 추종부(202)를 구비하고 있지 않아도 된다.
제어부(112)는, 화상 제어부(181), 투사 위치 제어부(182), 시선 보정부(183), 처리부(191) 및 매칭부(192)를 포함한다.
화상 제어부(181)는, 영상 표시부에 의한 영상 표시광의 투사를 제어한다. 화상 제어부(181)는, 예를 들면 광원부(101L 및 101R), 특히 이들 광원부에 포함되는 레이저 광원 및 주사 미러를 구동하여, 영상 표시광을 출력시킨다. 화상 제어부(181)는, 예를 들면 기억부(184)에 격납되어 있는 화상 데이터를 취득하고, 해당 화상 데이터에 기초하여, 광원부(101L 및 101R)에 영상 표시광을 출력시킬 수 있다. 화상 제어부(181)는, 센서(104)에 의해 검출된, 두부에 대한 표시 장치(100)의 위치의 변화에 기초하여, 해당 화상 데이터를 보정해도 된다. 화상 제어부(181)는, 보정 후의 화상 데이터에 기초하여, 광원부(101L 및 101R)에 영상 표시광을 출력시켜도 된다. 즉, 표시 장치(100)는, 두부에 대한 표시 장치의 위치의 변화를 검출하는 센서에 의해 검출된 위치의 변화에 기초하여 화상을 보정해도 된다.
투사 위치 제어부(182)는, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2)를 제어하고, 이에 의해 영상 표시광의 투사 위치가 제어될 수 있다. 예를 들면, 투사 위치 제어부(182)는, 감시부(107L 및 107R)에 의해 검출된 시선에 기초하여, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2) 중 1개∼4개를 구동하여, 영상 표시광의 투사 위치를 조정할 수 있다. 예를 들면 해당 시선에 추종하도록, 영상 표시광의 투사 위치가 조정될 수 있다. 투사 위치 제어부(182)는, 후술하는 시선 보정부(183)에 의한 보정 후의 시선에 기초하여, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2) 중 1개∼4개를 구동하여, 영상 표시광의 투사 위치를 조정해도 된다. 예를 들면 해당 보정 후의 시선에 추종하도록, 영상 표시광의 투사 위치가 조정될 수 있다. 투사 위치 제어부(182)는, 센서(104L, 104R, 104C, 및 104T) 중 1개∼4개에 의해 검출된, 두부에 대한 표시 장치(100)의 위치의 변화에 관한 데이터(이하 "변위 데이터"라고도 말한다)에 기초하여, 투사 위치 조정 기구(105L-1, 105L-2, 105R-1, 및 105R-2) 중 1개∼4개를 구동하여, 영상 표시광의 투사 위치를 조정해도 된다.
투사 위치 제어부(182)는, 예를 들면, 상기 변위 데이터와 보정 계수에 기초하여, 각 투사 위치 조정 기구에 의한 위치 조정량을 산출할 수 있다. 투사 위치 제어부(182)는, 산출된 위치 조정량만큼 위치 관계가 변경되도록 각 투사 위치 조정 기구를 구동할 수 있다. 투사 위치 제어부(182)는, 예를 들면 기억부(184)에 미리 격납되어 있는 보정 테이블로부터 보정 계수를 취득하고, 해당 보정 계수를 상기 위치 조정량의 산출을 위해서 사용해도 된다. 해당 보정 테이블은, 예를 들면 복수의 보정 계수를 가지고 있어도 되고, 투사 위치 제어부(182)는, 이들 복수의 보정 계수 중에서, 변위 데이터에 따라 소정의 보정 계수를 선택할 수 있다. 또한, 보정 테이블은, 예를 들면 투사 위치 조정 기구마다 설치되어 있어도 된다. 해당 보정 테이블은, 표시 장치(100)에 미리 구비되어 있어도 되고, 또는, 사용자에 의한 표시 장치(100)의 사용에 따라 갱신되어도 된다. 보정 테이블 또는 보정 계수의 선택 또는 갱신에 의해, 투사 위치 제어의 정밀도를 향상시킬 수 있다. 투사 위치 제어부(182)는, 상기 위치 조정량의 산출을 위해서, 감시부에 의해 검출된 시선 또는 시선 보정부(183)에 의한 보정 후의 시선을 사용해도 된다.
시선 보정부(183)는, 상기 변위 데이터에 기초하여, 감시부(107L 및 107R)에 의해 검출된 시선의 보정을 행한다. 이에 의해, 시선 보정부(183)에 의해, 장착 어긋남을 고려한 시선의 동정이 가능하게 되고, 시선 검출 정밀도가 향상된다. 해당 보정은, 안구의 광축에 대해 행해져도 되고, 안구의 시축에 대해 행해져도 되고, 또는 그 밖의 참조 축에 대해 행해져도 된다. 시선 보정부(183)도, 예를 들면 기억부(184)에 미리 격납되어 있는 보정 테이블로부터 보정 계수를 취득하고, 해당 보정 계수를 상기 시선 보정을 위해서 사용해도 된다. 해당 보정 테이블은, 예를 들면 복수의 보정 계수를 가지고 있어도 되고, 시선 보정부(183)는, 이들 복수의 보정 계수 중에서, 변위 데이터에 따라 소정의 보정 계수를 선택할 수 있다. 해당 보정 테이블은, 표시 장치(100)에 미리 구비되어 있어도 되고, 또는, 사용자에 의한 헤드마운트 표시 장치(100)의 사용에 따라 갱신되어도 된다. 보정 테이블 또는 보정 계수의 선택 또는 갱신에 의해, 시선 보정의 정밀도를 향상시킬 수 있다.
표시 장치(100)는 기억부(184)를 더 포함하고 있어도 된다. 기억부는, 영상 표시부에 의해 투사되는 영상 표시광에 관한 데이터, 투사 위치 제어부(122)에 의한 투사 위치의 제어에 사용되는 보정 테이블, 및, 시선 보정부(123)에 의한 시선 보정을 위해서 사용되는 보정 테이블을 격납하고 있어도 된다.
처리부(191)는, 안구의 특성 분포 정보를 처리한다. 안구의 특성 분포는, 취득부(301)에 의해 취득될 수 있다. 예를 들면, 취득부(301)가 포함하는 안저 카메라를 사용하여 취득되거나, 취득부(301)가 포함하는 OCT, 리프렉토미터, 또는 IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치를 사용하여 취득되거나 한다. 안구의 특성 분포는, 형상적인 것(예를 들면, 안구의 크기나 형상, 황반의 크기나 형상(예를 들면, 함몰 형상), 맹점의 크기나 형상(예를 들면, 함몰 형상), 망막의 단층 형상(예를 들면, 요철 형상)), 질적인 것(예를 들면, 중심와의 위치, 맹점의 위치, 병변 부위 등의 특징 등), 광학적인 것(예를 들면, 안구 내의 굴절, 수차 등)으로부터 취득될 수 있다. 처리부(191)는, 안구의 상기 특성 분포에 기초하여 좌표계를 규정할 수 있다. 한편, 안구의 상기 특성 분포에 기초하여 좌표계를 규정하는 것이, 처리부(191)에서 행해지지 않고, 제어부(112) 중에, 예를 들면, 좌표계를 규정하는 규정부가 처리부(191)에 대해 별개로 독립적으로 설치되어도 된다. 좌표계는, 오른쪽 눈의 제1 중심와, 오른쪽 눈의 제1 맹점, 왼쪽 눈의 제2 중심와 및 왼쪽 눈의 제2 맹점으로 이루어지는 군으로부터 선택되는 적어도 2개에 기초하여 정의된다. 좌표계로 표시 영상, 표시 위치를 규정하기 때문에, 패턴 맵을 사용하는 것 보다 데이터가 적어도 된다. 또한, 처리부(191)에서, 안구의 회전 정보에 기초하여 표시 영상 및 표시 위치를 제어해도 되고, 그 경우, 패턴 매칭에 비해 처리를 가볍게 할 수 있다.
매칭부(192)는, 안구의 특성 분포와 안구의 상태를 매칭시킨다. 예를 들면, 매칭부(192)는, 상술한 좌표계를 통해, 안구의 특성 분포와, 영상을 제시하고자 하는 안구(영상을 제시하고자 하는 안구를 실안이라고 칭하는 경우가 있다)의 상태를 매칭시킨다. 매칭부(192)에서는, 시축과 광축의 어긋남을 취득하여(Gaze Calibration), 오프셋을 반영한 맵을 만들 수 있다.
<4. 제3 실시 형태(표시 방법의 예 1)>
본 기술에 관한 제3 실시 형태(표시 방법의 예 1)의 표시 방법은, 안구의 특성 분포를 처리하는 것과, 안구의 상태를 감시하는 것과, 안구의 특성 분포와 안구의 상태를 매칭시키는 것과, 망막의 소정의 장소에, 광원으로부터 출사된 영상 표시광을 조사하는 것을 포함하는, 표시 방법이다.
본 기술에 관한 제3 실시 형태(표시 방법의 예 1)의 표시 방법은, 본 기술에 관한 제1 실시 형태(표시 장치의 예 1)의 표시 장치(예를 들면, 표시 장치(100))를 사용하여 실행된다.
그리고, 본 기술에 관한 제3 실시 형태(표시 방법의 예 1)의 표시 방법의 플로우에 대해서는, 상술한 도 1 및 도 5에서 설명한 내용이 적용될 수 있다. 한편, 도 1에 나타내는 스텝 S101(정면에서 보았을 때의 안저 사진을 촬영), 스텝 S102(상하 좌우 회전시의 안저 사진을 촬영) 및 스텝 S103(각안저 사진 내의 중심와 및 맹점 위치 검출) 및 도 5에 나타내는 스텝 S201(안저 맵의 작성) 및 스텝 S202(안구 특성의 취득)는, 본 기술에 관한 제1 실시 형태(표시 장치의 예 1)의 표시 장치(예를 들면, 표시 장치(100)) 이외의 외부 장치(예를 들면, 안저 카메라, OCT, 리프렉토미터 등)를 사용하여 실행되어도 된다.
<5. 제4 실시 형태(표시 방법의 예 2)>
본 기술에 관한 제4 실시 형태(표시 방법의 예 2)의 표시 방법은, 안구의 특성 분포를 처리하는 것과, 안구의 상태를 감시하는 것과, 안구의 특성 분포와 안구의 상태를 매칭시키는 것과, 망막의 소정의 장소에, 광원으로부터 출사된 영상 표시광을 조사하는 것을 포함하고, 나아가, 안구의 특성 분포를 취득하는 것을 포함하는, 표시 방법이다. 즉, 본 기술에 관한 제4 실시 형태의 표시 방법은, 본 기술에 관한 제3 실시 형태의 표시 방법에, 안구의 특성 분포를 취득하는 것을 더한 표시 방법이다.
본 기술에 관한 제4 실시 형태(표시 방법의 예 2)의 표시 방법은, 본 기술에 관한 제2 실시 형태(표시 장치의 예 2)의 표시 장치(예를 들면, 표시 장치(100-1))를 사용하여 실행된다.
본 기술에 관한 제4 실시 형태(표시 방법의 예 2)의 표시 방법의 플로우에 대해서는, 상술한 도 1 및 도 5에서 설명한 내용이 적용될 수 있다.
한편, 본 기술에 관한 실시 형태는, 상술한 각 실시 형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
[1]
광원과,
안구의 특성 분포를 처리하는 처리부와,
해당 안구의 상태를 감시하는 감시부와,
해당 안구의 특성 분포와 해당 안구의 상태를 매칭시키는 매칭부와,
망막의 소정의 장소에, 해당 광원으로부터 출사된 영상 표시광을 조사하는 조사부,
를 구비하는, 표시 장치.
[2]
상기 안구의 상기 특성 분포를 취득하는 취득부를 더 구비하는, [1]에 기재된 표시 장치.
[3]
상기 취득부가, 안저 카메라, OCT, 리프렉토미터 및 IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되는, [2]에 기재된 표시 장치.
[4]
상기 감시부가, 각막 반사 또는 안저 반사를 사용하여 상기 안구의 상태를 감시하는, [1] 내지 [3] 중 어느 하나에 기재된 표시 장치.
[5]
상기 안구의 운동에, 상기 영상 표시광을 추종시키는 추종부를 더 구비하는, [1] 내지 [4] 중 어느 하나에 기재된 표시 장치.
[6]
상기 추종부가, 컴바이너, 릴레이계 구동부, 미러 구동부 및 위상차 패널로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되는, [5]에 기재된 표시 장치.
[7]
상기 안구의 상기 특성 분포에 기초하여 좌표계를 규정하고,
상기 매칭부가, 해당 좌표계를 통해, 상기 안구의 상기 특성 분포와, 영상을 제시하고자 하는 상기 안구의 상태를 매칭시키는, [1] 내지 [6] 중 어느 하나에 기재된 표시 장치.
[8]
상기 좌표계가, 오른쪽 눈의 제1 중심와, 오른쪽 눈의 제1 맹점, 왼쪽 눈의 제2 중심와 및 왼쪽 눈의 제2 맹점으로 이루어지는 군으로부터 선택되는 적어도 2개에 기초하여 정의되는, [7]에 기재된 표시 장치.
[9]
상기 광원이 레이저 광원인, [1] 내지 [8] 중 어느 하나에 기재된 표시 장치.
[10]
주사형의 미러를 더 구비하고,
해당 주사형의 미러가, 상기 영상 표시광을 상기 망막에 조사하는, [1] 내지 [9] 중 어느 하나에 기재된 표시 장치.
[11]
상기 조사부가, 눈앞에 배치되는 부재를 더 구비하고,
해당 부재가 씨스루성을 가지는, [1] 내지 [10] 중 어느 하나에 기재된 표시 장치.
[12]
상기 부재가, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스를 포함하는 제1 광학 소자, 또는 소정의 광을 반사하고, 해당 소정의 광 이외의 광을 투과하는 제2 광학 소자인, [11]에 기재된 표시 장치.
[13]
파장 분산 보상 부재를 더 구비하는, [1] 내지 [12] 중 어느 하나에 기재된 표시 장치.
[14]
상기 파장 분산 보상 부재가, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스를 포함하는 제1 광학 소자인, [13]에 기재된 표시 장치.
[15]
안구의 특성 분포를 처리하는 것과,
해당 안구의 상태를 감시하는 것과,
해당 안구의 해당 특성 분포와 해당 안구의 상태를 매칭시키는 것과,
망막의 소정의 장소에, 광원으로부터 출사된 영상 표시광을 조사하는 것,
을 포함하는, 표시 방법.
[16]
상기 안구의 상기 특성 분포를 취득하는 것을 더 포함하는, [15]에 기재된 표시 방법.
[17]
상기 안구의 상기 특성 분포를 상기 취득하는 것이, OCT, 리프렉토미터, IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되는 것을 사용하여 취득하는 것을 포함하는, [16]에 기재된 표시 방법.
[18]
해당 안구의 상태를 상기 감시하는 것이, 각막 반사 또는 안저 반사를 사용하여 상기 안구의 상태를 감시하는 것을 포함하는, [15] 내지 [17] 중 어느 하나에 기재된 표시 방법.
[19]
상기 안구의 운동에, 상기 영상 표시광을 추종시키는 것을 더 포함하는, [15] 내지 [18] 중 어느 하나에 기재된 표시 방법.
[20]
상기 안구의 운동에 상기 영상 표시광을 추종시키는 것이, 컴바이너, 릴레이계 구동부, 미러 구동부 및 위상차 패널로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되는 것을 사용하여, 추종시키는 것을 포함하는, [19]에 기재된 표시 방법.
[21]
상기 안구의 상기 특성 분포에 기초하여 좌표계를 규정하는 것을 더 포함하고,
상기 안구의 상기 특성 분포와 상기 안구의 상태를 매칭시키는 것이, 해당 좌표계를 통해, 상기 안구의 상기 특성 분포와, 영상을 제시하고자 하는 상기 안구의 상태를 매칭시키는 것을 포함하는, [15] 내지 [20] 중 어느 하나에 기재된 표시 방법.
[22]
상기 좌표계가, 오른쪽 눈의 제1 중심와, 오른쪽 눈의 제1 맹점, 왼쪽 눈의 제2 중심와 및 왼쪽 눈의 제2 맹점으로 이루어지는 군으로부터 선택되는 적어도 2개에 기초하여 정의되는, [21]에 기재된 표시 방법.
[23]
상기 광원이 레이저 광원인, [15] 내지 [22] 중 어느 하나에 기재된 표시 방법.
[24]
주사형의 미러를 사용하여, 상기 영상 표시광을 상기 망막에 조사하는 것을 포함하는, [15] 내지 [23] 중 어느 하나에 기재된 표시 방법.
[25]
씨스루성을 가지는 부재를 준비하는 것과,
해당 씨스루성을 가지는 부재를 눈앞에 배치하는 것을 더 포함하는, [15] 내지 [24] 중 어느 하나에 기재된 표시 방법.
[26]
상기 부재가, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스를 포함하는 제1 광학 소자, 또는 소정의 광을 반사하고, 해당 소정의 광 이외의 광을 투과하는 제2 광학 소자인, [25]에 기재된 표시 방법.
[27]
파장 분산 보상 부재를 준비하는 것을 더 포함하는, [15] 내지 [26] 중 어느 하나에 기재된 표시 방법.
[28]
상기 파장 분산 보상 부재가, 반사형 또는 투과형의 체적 홀로그램 또는 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스를 포함하는 제1 광학 소자인, [27]에 기재된 표시 방법.
1 ; 광축(Optical Vector)
2 ; 시축(Gaze Vector)
10 ; 눈동자
20 ; 안구
30 ; 중심와
31 ; 맹점
100, 100-1 ; 표시 장치
101 ; 광원부
104 ; 센서
105 ; 투사 위치 조정 기구
107 ; 감시부(시선 검출 장치)
112 ; 제어부
181 ; 화상 제어부
182 ; 투사 위치 제어부
183 ; 시선 보정부
191 ; 처리부
192 ; 매칭부
201 ; 조사부
201 ; 추종부
301 ; 취득부

Claims (16)

  1. 광원과,
    안구의 특성 분포를 처리하는 처리부와,
    상기 안구의 상태를 감시하는 감시부와,
    상기 안구의 특성 분포와 상기 안구의 상태를 매칭시키는 매칭부와,
    망막의 미리 정해진 장소에, 상기 광원으로부터 출사된 영상 표시광을 조사하는 조사부,
    를 구비하는, 표시 장치.
  2. 제1항에 있어서,
    상기 안구의 상기 특성 분포를 취득하는 취득부를 더 구비하는, 표시 장치.
  3. 제2항에 있어서,
    상기 취득부가, 안저 카메라, OCT, 리프렉토미터(refractometer) 및 IR 스캔으로부터의 복귀광을 검지하는 광 검지 장치로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되는, 표시 장치.
  4. 제1항에 있어서,
    상기 감시부가, 각막 반사 또는 안저 반사를 사용하여 상기 안구의 상태를 감시하는, 표시 장치.
  5. 제1항에 있어서,
    상기 안구의 운동에, 상기 영상 표시광을 추종시키는 추종부를 더 구비하는, 표시 장치.
  6. 제5항에 있어서,
    상기 추종부가, 컴바이너, 릴레이계 구동부, 미러 구동부 및 위상차 패널로 이루어지는 군으로부터 선택되는 적어도 하나로 구성되는, 표시 장치.
  7. 제1항에 있어서,
    상기 안구의 상기 특성 분포에 기초하여 좌표계를 규정하고,
    상기 매칭부가, 해당 좌표계를 통해, 상기 안구의 상기 특성 분포와, 영상을 제시하고자 하는 상기 안구의 상태를 매칭시키는, 표시 장치.
  8. 제7항에 있어서,
    상기 좌표계가, 오른쪽 눈의 제1 중심와(fovea), 오른쪽 눈의 제1 맹점, 왼쪽 눈의 제2 중심와 및 왼쪽 눈의 제2 맹점으로 이루어지는 군으로부터 선택되는 적어도 2개에 기초하여 정의되는, 표시 장치.
  9. 제1항에 있어서,
    상기 광원이 레이저 광원인, 표시 장치.
  10. 제1항에 있어서,
    주사형의 미러를 더 구비하고,
    상기 주사형의 미러가, 상기 영상 표시광을 상기 망막에 조사하는, 표시 장치.
  11. 제1항에 있어서,
    상기 조사부가, 눈앞에 배치되는 부재를 더 구비하고,
    상기 부재가 씨스루(see-through)성을 갖는, 표시 장치.
  12. 제11항에 있어서,
    상기 부재가, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스(meta-surface)를 포함하는 제1 광학 소자, 또는 미리 정해진 광을 반사하고, 해당 미리 정해진 광 이외의 광을 투과하는 제2 광학 소자인, 표시 장치.
  13. 제1항에 있어서,
    파장 분산 보상 부재를 더 구비하는, 표시 장치.
  14. 제13항에 있어서,
    상기 파장 분산 보상 부재가, 반사형 또는 투과형의 체적 홀로그램, 반사형 또는 투과형의 릴리프 홀로그램 또는 메타서피스를 포함하는 제1 광학 소자인, 표시 장치.
  15. 안구의 특성 분포를 처리하는 단계와,
    상기 안구의 상태를 감시하는 단계와,
    상기 안구의 상기 특성 분포와 상기 안구의 상태를 매칭시키는 단계와,
    망막의 미리 정해진 장소에, 광원으로부터 출사된 영상 표시광을 조사하는 단계,
    를 포함하는, 표시 방법.
  16. 제15항에 있어서,
    상기 안구의 상기 특성 분포를 취득하는 단계를 더 포함하는, 표시 방법.
KR1020227040714A 2020-05-27 2021-04-19 표시 장치 및 표시 방법 KR20230015353A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020092553 2020-05-27
JPJP-P-2020-092553 2020-05-27
PCT/JP2021/015895 WO2021241073A1 (ja) 2020-05-27 2021-04-19 表示装置及び表示方法

Publications (1)

Publication Number Publication Date
KR20230015353A true KR20230015353A (ko) 2023-01-31

Family

ID=78744352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227040714A KR20230015353A (ko) 2020-05-27 2021-04-19 표시 장치 및 표시 방법

Country Status (6)

Country Link
US (1) US11940630B2 (ko)
JP (1) JPWO2021241073A1 (ko)
KR (1) KR20230015353A (ko)
CN (1) CN115668037A (ko)
DE (1) DE112021002930T5 (ko)
WO (1) WO2021241073A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153759A1 (ja) * 2021-01-14 2022-07-21 ソニーグループ株式会社 画像表示装置および画像表示システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169064A1 (ja) 2011-06-10 2012-12-13 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042793A1 (ja) 2010-10-01 2012-04-05 パナソニック株式会社 シースルーディスプレイ装置及びシースルーディスプレイ装置を搭載した車両
JP5794608B2 (ja) 2010-12-24 2015-10-14 Ｎｅｃエナジーデバイス株式会社 放電制御装置、放電制御方法およびプログラム
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
EP2958074A1 (en) 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization
JP6444666B2 (ja) 2014-09-08 2018-12-26 株式会社トプコン 眼科撮影装置および眼科情報処理装置
IL242895B (en) 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
KR102062658B1 (ko) 2016-03-11 2020-01-06 페이스북 테크놀로지스, 엘엘씨 안구 모델을 생성하기 위한 각막의 구체 추적
US20170277257A1 (en) 2016-03-23 2017-09-28 Jeffrey Ota Gaze-based sound selection
US10373592B2 (en) 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
EP3707548A1 (en) 2017-12-19 2020-09-16 Akonia Holographics, LLC Optical system with dispersion compensation
EP3540574B1 (en) 2018-03-15 2021-08-11 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
US11157077B2 (en) * 2018-04-16 2021-10-26 Google Llc Method and system for dual mode eye tracking on wearable heads-up display
JP7052577B2 (ja) 2018-06-07 2022-04-12 株式会社リコー 光学装置、映像表示装置、及び検眼装置
US20200150443A1 (en) * 2018-11-13 2020-05-14 Facebook Technologies, Llc Pupil steering: combiner actuation systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169064A1 (ja) 2011-06-10 2012-12-13 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Also Published As

Publication number Publication date
JPWO2021241073A1 (ko) 2021-12-02
CN115668037A (zh) 2023-01-31
DE112021002930T5 (de) 2023-03-09
US11940630B2 (en) 2024-03-26
US20230213766A1 (en) 2023-07-06
WO2021241073A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
AU2016314630B2 (en) Eye projection system and method
US20190212565A1 (en) Wearable display for stereoscopic viewing
US11675197B1 (en) System and method for automatic vision correction in near-to-eye displays
US20140002587A1 (en) Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
IL298199A (en) Methods and systems for diagnosing and treating diseases
WO2013082387A1 (en) Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation
US9241624B2 (en) Binocular visual simulator
WO2021237115A1 (en) Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
JP7275124B2 (ja) 映像投射システム、映像投射装置、映像表示光回折用光学素子、器具、及び映像投射方法
WO2021241073A1 (ja) 表示装置及び表示方法
CN116322475A (zh) 视线检测设备、显示设备以及眼球感测方法
WO2021106502A1 (ja) 頭部装着型表示装置、画像表示システム、及び画像表示方法
WO2022254782A1 (ja) 視線検出装置、表示装置、視線検出システム、及び視線検出方法
US20230350197A1 (en) Line-of-sight detection device and display device
WO2022261567A9 (en) Systems and methods for improving vision of a viewer&#39;s eye with impaired retina
WO2022153759A1 (ja) 画像表示装置および画像表示システム
KR101534843B1 (ko) 양안용 시각 모의 실험 장치
KR101534842B1 (ko) 양안용 시각 모의 실험 장치
WO2023233411A1 (en) Eye examination device and method for eye examination