KR20200112832A - 영상 투영 장치, 영상 투영 방법, 및 영상 표시 광 출력 제어 방법 - Google Patents

영상 투영 장치, 영상 투영 방법, 및 영상 표시 광 출력 제어 방법 Download PDF

Info

Publication number
KR20200112832A
KR20200112832A KR1020207020004A KR20207020004A KR20200112832A KR 20200112832 A KR20200112832 A KR 20200112832A KR 1020207020004 A KR1020207020004 A KR 1020207020004A KR 20207020004 A KR20207020004 A KR 20207020004A KR 20200112832 A KR20200112832 A KR 20200112832A
Authority
KR
South Korea
Prior art keywords
pupil
display light
image
output
image display
Prior art date
Application number
KR1020207020004A
Other languages
English (en)
Inventor
텟페이 이마무라
카츠유키 아쿠츠
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200112832A publication Critical patent/KR20200112832A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Abstract

새로운 영상 투영 기술을 제공하는 것. 본 기술은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득부와, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득부에 의해 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어부를 구비하고 있는 영상 투영 장치를 제공한다. 또한, 본 기술은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정과, 상기 출력 제어 공정에서 제어된 출력으로, 망막에 영상 표시 광을 조사하는 영상 표시 광 출력 공정을 포함하는 영상 투영 방법도 제공한다.

Description

영상 투영 장치, 영상 투영 방법, 및 영상 표시 광 출력 제어 방법
본 기술은 영상 투영 장치, 영상 투영 방법, 및 영상 표시 광 출력 제어 방법에 관한 것이다. 보다 상세하게는, 영상 표시 광이 동공 부근에 집광되며 망막에 조사되는 영상 투영 장치 및 영상 투영 방법, 및, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을 제어하는 영상 표시 광 출력 제어 방법에 관한 것이다.
최근, 예를 들면 현실의 풍경 등의 외계의 광경에 영상을 겹쳐서 표시하는 기술이 주목받고 있다. 해당 기술은 확장 현실(AR) 기술이라고도 불린다. 이 기술을 이용한 제품의 하나로서, 헤드마운트 디스플레이를 들 수 있다. 헤드마운트 디스플레이는, 사용자의 두부에 장착하여 사용된다. 헤드마운트 디스플레이를 이용한 영상 표시 방법에서는, 예를 들면 외계로부터의 광에 더하여 헤드마운트 디스플레이로부터의 광이 사용자의 눈에 조사됨으로써, 외계의 상에 영상이 중첩적으로 표시된다.
예를 들면, 하기 특허문헌 1에는, 투과형 영상 표시 장치에 관한 발명이 기재되어 있다. 해당 투과형 영상 표시 장치는, 영상을 표시하는 영상 표시부와, 상기 영상을 사용자의 눈으로 이끄는 광학 수단과, 외광의 투과율을 가변하여, 상기 사용자의 눈에 도달하는 외광의 광 강도를 조정하는 조광 필터와, 상기 사용자의 눈의 동공을 촬상하는 동공 촬상 수단과, 상기 동공 촬상 수단으로부터의 촬상 신호에 기초하여 상기 동공의 동공 직경을 산출하고, 산출한 동공 직경의 값에 기초하여, 상기 조광 필터의 투과율과 상기 영상 표시부의 영상의 광 강도를 각각 조정하는 제어부를 갖는다.
특허문헌 1: 일본특허공개 제2017-97098호 공보
AR 기술에의 관심이 높아지는 가운데, 더 좋은 영상 투영 기법이 요구되고 있다. 예를 들면, 보다 선명한 영상을 사용자에게 제시하는 것, 및 더 보기 쉬운 영상을 사용자에게 제시하는 것이 요구되고 있다.
본 기술은 새로운 영상 투영 기술을 제공하는 것을 목적으로 한다.
본 발명자들은, 특정 구성을 갖는 영상 투영 기술에 의해, 사용자에 대해 적절한 밝기를 가지며 또한 선명한 영상을 외계의 풍경에 중첩하여 표시할 수 있는 것을 찾아냈다.
즉, 본 기술은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득부와,
동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득부에 의해 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어부를 구비하고 있는 영상 투영 장치를 제공한다.
본 기술의 하나의 실시형태에 따라, 상기 출력 제어부가, 목적으로 하는 영상 표시 광 휘도와 상기 동공의 면적 또는 치수에 기초하여, 상기 영상 표시 광의 출력을 결정하는 것이어도 된다.
본 기술의 하나의 실시형태에 따라, 상기 목적으로 하는 영상 표시 광 휘도와, 상기 영상 표시 광의 출력을 상기 동공의 면적 또는 치수로 나눈 값이, 미리 정해진 관계를 만족하도록, 상기 영상 표시 광의 출력이 결정될 수 있다.
본 기술의 하나의 실시형태에 따라, 상기 미리 정해진 관계가, 이하의 식,
Figure pct00001
또는, 이하의 식
Figure pct00002
(여기서, L은 목적으로 하는 영상 표시 광 휘도이며, C는 조정 계수이며, λ는 파장이며, P는 각 파장에서의 영상 표시 광 출력이며, K는 각 파장에서의 시감도이며, ω는 표시 시야각이며, 또한, A는 동공 치수 또는 동공 면적임)
으로 나타내지는 관계여도 된다.
본 기술의 다른 실시형태에 따라, 상기 출력 제어부가, 상기 동공의 면적 또는 치수의 변화, 외광 조도의 변화, 및 외광 콘트라스트의 변화 중 적어도 하나의 변화에 따라, 상기 영상 표시 광의 출력을 변화시키는 것일 수 있다.
본 기술의 다른 실시형태에 따라, 상기 출력 제어부가, 상기 동공의 면적 또는 치수의 변화에 따라 상기 영상 표시 광의 출력을 변화시키며, 해당 변화의 전후의 상기 동공의 면적 또는 치수에 기초하여 상기 영상 표시 광의 출력을 결정할 수 있다.
본 기술의 다른 실시형태에 따라, 상기 출력 제어부가, 상기 영상 표시 광의 출력을 이하의 식에 기초하여 결정하는 것일 수 있다.
Figure pct00003
(여기서, L1, E1, A1, 및 C1은 각각, 상기 변화 후의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트이며, L0, E0, A0, 및 C0은 각각, 상기 변화 전의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트이다)
본 기술의 하나의 실시형태에 따라, 상기 출력 제어부가, 상기 목적으로 하는 영상 표시 광 휘도를, 주시점의 밝기와 해당 밝기에 대한 콘트라스트에 기초하여 결정할 수 있다.
본 기술의 하나의 실시형태에 따라, 상기 동공 정보 취득부가, 상기 동공의 위치 정보를 취득하며, 또한, 상기 동공 정보 취득부가, 해당 위치 정보에 기초하여, 상기 주시점을 특정할 수 있다.
본 기술의 하나의 실시형태에 따라, 상기 동공 정보 취득부가 적외광 카메라를 포함할 수 있다.
본 기술의 하나의 실시형태에 따라, 본 기술의 영상 투영 장치는, 주시점 정보 취득부를 더 구비하고 있고, 해당 주시점 정보 취득부가, 상기 주시점의 밝기를 취득할 수 있다.
본 기술의 하나의 실시형태에 따라, 본 기술의 영상 투영 장치는, 상기 출력 제어부에 의해 제어된 출력으로 망막에 영상 표시 광을 조사하는 영상 표시 광 조사부를 더 구비하고 있어도 된다.
본 기술의 하나의 실시형태에 따라, 상기 영상 표시 광 조사부가, 망막 투영 방식 또는 망막 주사 방식으로 영상 표시 광을 조사하는 것일 수 있다.
본 기술의 하나의 실시형태에 따라, 상기 영상 표시 광 조사부가, 레이저광을 조명 광원으로 할 수 있다.
본 기술의 하나의 실시형태에 따라, 본 기술의 영상 투영 장치는 헤드마운트 디스플레이일 수 있다.
본 기술의 하나의 실시형태에 따라, 본 기술의 영상 투영 장치는 아이웨어 디스플레이(eye wear display)일 수 있다.
본 기술의 하나의 실시형태에 따라, 투영되는 영상이, 외계의 광경에 중첩되도록 표시되어도 된다.
또한, 본 기술은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과,
동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정과,
상기 출력 제어 공정에서 제어된 출력으로, 망막에 영상 표시 광을 조사하는 영상 표시 광 출력 공정을 포함하는 영상 투영 방법을 제공한다.
또한, 본 기술은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과,
동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정을 포함하는 영상 표시 광 출력 제어 방법을 제공한다.
본 기술에 의해, 적절한 밝기를 가지며 또한 선명한 영상을 외계의 풍경에 겹쳐서 표시할 수 있다. 또한, 본 기술에 의해 달성되는 효과는, 여기에 기재된 효과에 반드시 한정되는 것이 아니고, 본 명세서 중에 기재된 어떠한 효과여도 된다.
도 1은 영상 표시 광을 수정체에서 굴절시켜 망막 상에서 결상시키는 영상 투영 기법을 설명하기 위한 모식도이다.
도 2는 영상 표시 광을 수정체에서 굴절시켜 망막 상에서 결상시키는 영상 투영 기법을 설명하기 위한 모식도이다.
도 3은 본 기술에 있어서 채용되는 영상 투영 방식을 설명하기 위한 모식도이다.
도 4는 본 기술에 있어서 채용되는 영상 투영 방식을 설명하기 위한 모식도이다.
도 5는 본 기술에 따른 영상 투영 장치의 일례의 블록도이다.
도 6은 본 기술에 따른 영상 투영 방법의 플로우의 일례를 나타내는 도면이다.
도 7은 본 기술에 따른 영상 투영 방법의 플로우의 일례를 나타내는 도면이다.
도 8은 본 기술에 따른 영상 표시 광 출력 제어 방법의 플로우의 일례를 나타내는 도면이다.
도 9는 본 기술에 따른 영상 표시 광 출력 제어 방법의 플로우의 일례를 나타내는 도면이다.
도 10은 본 기술에 따른 영상 투영 장치의 개략적인 구성의 일례를 나타내는 도면이다.
도 11은 본 기술에 따른 영상 투영 장치의 구체적인 구성예를 나타내는 도면이다.
도 12는 본 기술에 따른 영상 투영 장치의 구체적인 구성예를 나타내는 도면이다.
도 13은 망막 주사 방식의 영상 표시 광 조사부의 일례를 나타내는 도면이다.
도 14는 망막 투영 방식의 영상 표시 광 조사부의 일례를 나타내는 도면이다.
이하, 본 기술을 실시하기 위한 바람직한 형태에 대해 설명한다. 또한, 이하에 설명하는 실시형태는, 본 기술의 대표적인 실시형태를 나타낸 것이며, 본 기술의 범위가 이들 실시형태에 한정되는 것은 아니다. 또한, 본 기술의 설명은 이하의 순서로 한다.
1. 제1 실시형태(영상 투영 장치)
(1) 제1 실시형태의 설명
(2) 제1 실시형태의 제1 예(영상 투영 장치)
(3) 제1 실시형태의 제2 예(출력 제어부에 의한 영상 표시 광의 출력 제어)
(4) 제1 실시형태의 제3 예(출력 제어부에 의한 영상 표시 광의 출력 변화)
2. 제2 실시형태(영상 투영 방법)
(1) 제2 실시형태의 설명
(2) 제2 실시형태의 제1 예(영상 투영 방법)
(3) 제2 실시형태의 제2 예(영상 투영 방법)
3. 제3 실시형태(영상 표시 광 출력 제어 방법)
(1) 제3 실시형태의 설명
(2) 제3 실시형태의 제1 예(영상 표시 광 출력 제어 방법)
(3) 제3 실시형태의 제2 예(영상 표시 광 출력 제어 방법)
4. 제4 실시형태(프로그램)
5. 장치의 구성예
1. 제1 실시형태(영상 투영 장치)
(1) 제1 실시형태의 설명
본 기술에 따른 영상 투영 장치는, 동공의 면적 또는 치수를 취득하는 동공 정보 취득부와, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득부에 의해 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어부를 구비하고 있다.
본 기술에 있어서, 영상 표시 광은, 동공 부근에 집광되며 망막에 조사된다. 즉, 본 기술에 따른 영상 투영 장치는, 소위 맥스웰 시(Maxwellian view)로 영상을 사용자에게 제시한다. 본 기술에 따라, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을 동공의 면적 또는 치수에 기초하여 제어함으로써, 적절한 밝기를 가지며 또한 선명한 영상을 외계의 풍경에 중첩할 수 있다.
본 기술에 있어서, 영상 표시 광은 동공 부근에서 집광되어도 되고, 예를 들면 동공 상에서 집광되어도 되고 또는 광축 방향으로 동공으로부터 수 mm∼십수 mm 정도(예를 들면, 1mm∼20mm, 특히 2mm∼15mm) 어긋나도 된다. 후자와 같이 초점이 동공 상에 없어도, 맥스웰 시를 실현할 수 있다. 초점을 광축 방향으로 어긋나게 함으로써, 영상이 어긋나도, 사용자가 영상을 잃어버리기 어렵게 할 수 있다. 상기 영상 표시 광은, 보다 구체적으로는, 동공 상, 수정체 렌즈 내, 또는, 각막 표면과 동공 사이에서 집광될 수 있다.
일반적인 영상 투영 기법에서는, 영상 표시 광을 수정체에서 굴절시켜 망막 상에서 결상시킨다고 하는 방식을 채용하고 있다. 해당 방식을 설명하는 모식도의 일례를 도 1에 나타낸다. 도 1에 나타내는 바와 같이, 양초의 화상을 형성하는 영상 표시 광은, 디스플레이(11)에 의해 조사되고, 광학계(렌즈)(12)에 의해 굴절되고, 그리고 안구(14)의 수정체 렌즈(13)에 도달한다. 해당 영상 표시 광은, 수정체 렌즈(13)에 의해 굴절되며, 망막(15) 상에서 결상한다. 예를 들면, 상기 특허문헌 1에 기재된 장치도, 해당 방식을 전제로 하고 있다.
상기 방식에 의한 영상 투영 장치의 경우, 예를 들면 도 2에 나타내는 바와 같이, 마이크로 패널(21)로부터 조사된 영상 표시 광은, 렌즈(22)에 의해 굴절되며, 직경이 큰 광, 특히 평행 광으로서 수정체 렌즈(23)에 도달한다. 이 방식에 의한 영상 투영에 있어서, 영상 초점은 한 점에 고정되어 있고, 영상으로부터 수정체 렌즈(23)까지의 거리(d1)는 고정되어 있다. 이에, 영상을 선명하게 인식하기 위해서는, 수정체 렌즈(23)의 초점 거리를 조정할 필요가 있다. 그 때문에, 사용자의 수정체 렌즈(23)의 상태에 따라서는, 영상을 선명하게 볼 수 없는 경우가 있다.
또한, 상기 영상 투영 기법에서는, 사용자의 동공 직경에 따라서도, 사용자가 보는 영상에 변화가 생긴다. 사용자의 동공 직경은, 수정체 렌즈의 초점 거리 및/또는 주시의 정도에 의해 변화된다. 상기 영상 투영 기법에서는, 사용자의 동공 직경이 변화되면, 동일한 영상 표시 광이라도, 망막에 도달하는 광량이 변화되고, 사용자에게 제시되는 영상 광 강도도 변화된다. 그 때문에, 사용자가 인식하는 영상이 안정되지 않는다.
한편, 본 기술에서는, 영상 표시 광이 수정체 렌즈의 중심을 통과하고, 그리고, 망막에 조사된다고 하는 영상 투영 방식을 채용하고 있다. 해당 방식을 설명하는 모식도를 도 3에 나타낸다. 도 3에 나타내는 바와 같이, 양초의 화상을 형성하는 영상 표시 광(33)은, 예를 들면 광원(31)으로부터 출력된 백라이트에 의해 디스플레이(32)를 조사함으로써 생성된다. 해당 영상 표시 광(33)이, 광학계(예를 들면, 렌즈)(34)에 의해, 동공 부근에 집광하도록(예를 들면, 수정체 렌즈의 중심(36)을 지나도록) 굴절된다. 렌즈의 중심을 지나는 광은, 렌즈에 의해 굴절되지 않는다. 그 때문에, 해당 영상 표시 광은, 수정체 렌즈(35)에 의해 굴절되지 않고, 망막(38) 상에 도달한다.
본 기술에서는, 예를 들면 도 4에 나타내는 바와 같이, 영상 표시 광 조사부(41)로부터 조사된 영상 표시 광은, 광학계(예를 들면, 하프 미러)(42)에 의해 반사되고, 수정체 렌즈(44)에 도달한다. 해당 영상 표시 광은, 동공 부근에서 집광하고, 즉 수정체 렌즈(44)의 중심(43)을 통과한다. 그 때문에, 해당 영상 표시 광은, 수정체 렌즈(44)에 의해 굴절되지 않고, 망막(45)에 도달한다. 그 결과, 수정체 렌즈(44)가 초점 거리를 조정할 수 없더라도, 사용자가 인식하는 영상의 선명함은 큰 영향을 받지 않는다.
또한, 본 기술에서는, 영상 표시 광은 동공 부근의 1점을 지나므로, 동공 직경이 변화되어도, 망막에 도달하는 광량이 변화되지 않는다. 그 때문에, 사용자가 인식하는 영상이 안정된다.
게다가, 본 기술에서 채용하는 방식에서는, 어느 초점 거리에 있어서도 영상 표시 광이 초점을 맺는다. 예를 들면, 도 4에 있어서의, 거리(d2 및 d3) 중 어느 것에 있어서도, 영상 표시 광은 초점을 맺는다.
또한, 본 기술에서 채용되는 영상 투영 방식에서는, 상기와 같이, 동공 직경이 변화되어도, 망막에 도달하는 광량이 변화되지 않는다. 예를 들면, 외계가 밝아진 경우, 동공 직경이 작아져도, 망막에 도달하는 광량이 변화되지 않는다. 그 결과, 적절한 영상 표시 광 휘도가 얻어지지 않는 경우가 있다. 이에, 본 기술에서는, 영상 표시 광의 출력을, 상기 동공 정보 취득부에 의해 취득된 동공의 면적 또는 치수에 기초하여 제어한다. 그 결과, 동공의 면적 또는 치수에 기초하여 영상 표시 광 휘도가 제어되므로, 적절한 휘도를 갖는 영상을 사용자에게 제시하는 것이 가능하다.
(2) 제1 실시형태의 제1 예(영상 투영 장치)
이하에서, 본 기술에 따른 영상 투영 장치의 예 및 해당 영상 투영 장치에 있어서의 영상 표시 광의 출력 제어의 예를, 도 5를 참조하면서 설명한다. 도 5는, 본 기술에 따른 영상 투영 장치의 일례의 블록도이다.
도 5에 나타내는 바와 같이, 영상 투영 장치(100)는, 동공 정보 취득부(101), 주시점 정보 취득부(102), 제어부(110), 및 영상 표시 광 조사부(104)를 구비하고 있다. 제어부(110)는, 출력 제어부(103) 및 영상 제어부(111)를 포함한다. 영상 투영 장치(100)는 나아가, 통신 인터페이스(113) 및 기억부(114)를 구비하고 있다.
영상 투영 장치(100)는, 영상 표시 광을 동공 부근에서 집광하며 망막에 조사함으로써, 사용자에게 영상을 제시하는 장치이다. 예를 들면, 본 기술의 영상 투영 장치로서, 예를 들면 아이웨어 디스플레이 및 헤드마운트 디스플레이를 들 수 있지만, 이들에 한정되지 않는다. 또는, 본 기술의 영상 투영 장치는, 안경에 장착하여 사용되는 것이어도 된다. 본 기술의 영상 투영 장치에 의해 투영되는 영상은, 예를 들면 외계의 광경에 중첩되도록 표시되어도 된다. 또는, 본 기술의 영상 투영 장치에 의해 투영되는 영상은, 다른 영상 투영 장치에 의해 투영되는 영상에 중첩되도록 표시되어도 된다.
동공 정보 취득부(101)는, 동공 정보, 예를 들면 동공의 면적, 치수, 위치, 및 형상 등을 취득할 수 있다. 동공 정보 취득부는, 이러한 정보를 취득할 수 있는 것이라면 되고, 당업자에 의해 적절히 선택되어도 된다. 예를 들면, 동공 정보 취득부(101)는, 안구 표면을 촬상할 수 있도록 구성된 촬상 소자를 포함할 수 있다.
동공 정보 취득부(101)는, 예를 들면 IR(적외선) 광원과 IR 카메라의 조합을 포함할 수 있다. IR 광원은, 적외선을 사용자의 안구 표면에 조사하도록 배치될 수 있다. IR 카메라는, 적외선이 조사된 안구 표면을 촬상할 수 있도록 배치될 수 있다. IR 광원과 IR 카메라의 조합을 이용함으로써, 외계의 풍경으로부터의 광에 대한 영향을 억제하면서, 동공 정보를 취득할 수 있다. 또한, 밝은 장소뿐만 아니라, 어두운 장소에 있어서도, 동공 정보를 정확하게 취득할 수 있다.
동공 정보 취득부는, 예를 들면 CCD 또는 CMOS 등의 촬상 소자를 포함해도 된다. 이들 촬상 소자에 의하더라도, 동공 정보를 취득할 수 있다.
동공 정보 취득부(101)는, 촬상된 동공의 화상에 기초하여, 동공 정보, 예를 들면 동공의 면적, 치수, 위치, 및 형상 등을 취득할 수 있다. 동공 정보는, 촬상된 화상에 대하여 화상 처리를 행함으로써 취득되어도 된다.
예를 들면, 동공 면적은, 동공 부분에 대응하는 화소수를 카운트함으로써 취득되어도 된다.
예를 들면, 동공 치수(예를 들면, 직경 또는 외주 길이 등)는, 예를 들면 촬상된 화상에 기초하여 결정될 수 있다. 또한, 결정된 동공 치수에 기초하여, 동공 면적이 산출되어도 된다.
주시점 정보 취득부(102)는, 본 기술에 따른 영상 투영 장치의 사용자의 주시점에 관한 정보를 취득할 수 있다. 주시점 정보로서, 예를 들면, 사용자의 주시점의 위치 및 해당 위치에 있어서의 밝기를 들 수 있다.
주시점 정보 취득부(102)는, 사용자의 주시점에 관한 정보를 취득할 수 있는 구성요소를 포함할 수 있다. 해당 구성요소로서, 예를 들면 촬상 소자를 들 수 있다. 촬상 소자는, 예를 들면 CCD 또는 CMOS일 수 있다. 해당 촬상 소자에 의해, 주시점을 포함하는 외계 풍경을 촬상하고, 얻어진 화상 데이터로부터, 목적으로 하는 주시점 정보가 추출될 수 있다.
주시점의 위치는, 당업자에게 기지의 수법에 의해 취득되어도 된다. 예를 들면, 상기 동공 정보 취득부(101)에 의해 취득된 동공의 위치 정보로부터, 각 안구의 시선 방향을 결정할 수 있다. 예를 들면 오른쪽 눈의 동공이 정면을 향하고 있을 때보다 안쪽으로 치우쳐 1mm 어긋난 위치에 있는 경우, 안구의 반경을 12mm로 하면, 시선 방향은, 정면 방향에 대하여 atan(1/12)≒ 4.8 deg 내향의 각도를 형성한다. 왼쪽 눈의 동공에 대해서도 마찬가지로, 시선 방향의 정면 방향에 대하여 형성하는 각도를 계산한다. 계산된 양쪽 눈의 시선 방향에 기초하여, 삼각측량적으로 주시점의 위치를 결정할 수 있다.
또한, 상기 동공 정보 취득부(101)가 한쪽 눈의 동공 정보만을 취득할 수 있는 구성의 경우, 예를 들면 안구의 움직임에 기초하여 주시점의 위치를 추정함으로써, 주시점의 위치가 취득되어도 된다. 해당 추정의 방법으로서, 당업자에게 기지의 기법이 이용되어도 된다.
또한, 주시점의 위치는, 동공 정보 취득부에 의해 취득되어도 된다.
주시점의 위치에 있어서의 밝기는, 주시점 정보 취득부(102)에 의해 촬상된 화상 중의 주시점의 위치에 있어서의 화상 정보로부터 취득할 수 있다. 예를 들면, 주시점 정보 취득부(102)에 포함되는 촬상 소자가, 외계 풍경을 촬상하고, 해당 촬상 소자에 의해 촬상된 화상 중의 해당 주시점의 위치에 있어서의 화상 데이터로부터, 해당 주시점의 위치에 있어서의 밝기에 관한 데이터가 취득될 수 있다.
주시점의 밝기는, 예를 들면 외계로 향해진 조도 센서에 의해 취득되어도 되고, 또는, 주시점의 밝기는, 관찰자의 동공 직경에 기초하여 추정 또는 산출되어도 된다. 주시점의 밝기는, 예를 들면 영화에 자막의 영상을 중첩하는 경우 등, 다른 영상 광에 본 기술에 따라 영상을 중첩하는 경우에는, 해당 다른 영상 광의 밝기에 기초하여 주시점의 밝기가 취득되어도 된다.
제어부(110)는, 예를 들면 영상 표시 광의 출력을 제어하는 출력 제어부(103) 및 표시되어야 할 영상을 제어하는 영상 제어부(111)를 포함할 수 있다.
출력 제어부(103)는, 예를 들면 동공 정보 취득부(101)에 의해 취득된 동공 정보에 기초하여, 영상 표시 광의 출력을 제어한다. 영상 표시 광은, 동공 부근에서 집광되며 망막에 조사되는 것이다.
해당 출력의 제어에 있어서, 주시점 정보 취득부(102)에 의해 취득된 주시점 정보가 참조되어도 된다. 예를 들면, 주시점 정보로서 주시점의 밝기와 해당 밝기에 대한 콘트라스트가 이용될 수 있다. 즉, 하나의 실시형태에 있어서, 출력 제어부(103)는, 목적으로 하는 영상 표시 광 휘도를, 주시점의 밝기와 해당 밝기에 대한 콘트라스트에 기초하여 결정할 수 있다.
출력 제어부(103)에 의한 영상 표시 광의 출력 제어의 예는, 이하 「(3) 제1 실시형태의 제2 예(출력 제어부에 의한 영상 표시 광의 출력 제어)」 및 「(4) 제1 실시형태의 제3 예(출력 제어부에 의한 영상 표시 광의 출력 변화)」에서 상술한다.
영상 제어부(111)는, 기억부(114)에 저장되어 있는 영상 데이터 또는 통신 인터페이스(113)를 통해 영상 데이터를 취득할 수 있다. 영상 제어부(111)는, 해당 영상 데이터에 기초하여, 영상 표시 광 조사부(104)에 영상 표시 광을 출력시킬 수 있다. 해당 영상 표시 광의 출력이, 본 기술의 영상 투영 장치(100)에 있어서, 출력 제어부(103)에 의해 제어된다.
영상 표시 광 조사부(104)는, 제어부(110), 특히 출력 제어부(103)에 의해 제어된 출력으로 영상 표시 광을 망막에 조사한다. 영상 표시 광은, 맥스웰 시에 의해 사용자에게 영상을 제시할 수 있는 것이라면 된다. 예를 들면, 영상 표시 광으로서, 레이저광을 들 수 있다. 또한, 영상 표시 광은, LED 또는 CRT에 의해 조사되는 광이어도 된다.
영상 표시 광 조사부(104)에 의해 조사되는 영상 표시 광의 빔 직경은, 동공 직경을 고려하여 결정 또는 조절되어도 된다. 해당 빔 직경은, 예를 들면 5mm 이하, 바람직하게는 3mm 이하, 보다 바람직하게는 2mm 이하, 더욱 더 바람직하게는 0.7mm 이하일 수 있다.
영상 표시 광 조사부(104)는, 영상 표시 광 조사부(104)에 의해 조사된 영상 표시 광을, 동공을 통해 망막에 도달시키기 위한 광학계를 포함할 수 있다. 광학계는, 예를 들면 영상 투영 장치(100)의 구조 및/또는 영상 표시 광의 조사 방식에 따라 당업자에 의해 적절히 설정되어도 된다.
영상 표시 광 조사부(104)는, 맥스웰 시에서의 영상 표시 광의 조사를, 예를 들면 망막 주사 방식 또는 망막 투영 방식으로 행할 수 있다. 이들 방식에 의해 영상 표시 광을 조사하기 위한 영상 표시 광 조사 장치는, 당업자에게 알려져 있다. 본 기술에 있어서, 당업자에게 기지의 영상 표시 광 조사 장치가 사용되어도 된다.
망막 주사 방식의 영상 표시 광 조사부의 일례를, 도 13을 참조하여 이하에 설명한다. 도 13은 망막 주사 방식의 영상 표시 광 조사부(1300)의 구성을 나타내는 모식도이다.
도 13에 나타내는 바와 같이, 광원부(1301)로부터 레이저광(1302)이 출력된다. 레이저광(1302)은, 예를 들면 적, 녹, 및 청의 레이저광으로 이루어지는 1개의 광속(光束)으로서 출력될 수 있다. 출력된 레이저광(1302)은, 광 주사부(1303)에 의해, 2차원적으로 주사될 수 있다. 해당 주사된 레이저광(1302)은, 접안 광학계(예를 들면, 하프 미러)(1304)를 향해 퍼질 수 있다. 퍼진 레이저광(1302)의 방향이, 접안 광학계(1304)에 의해, 사용자의 동공(1305) 상에서 집광하도록 변경한다. 입사할 때의 입사각을 고속으로 변화시킴으로써, 망막(1306) 상에 영상이 표시된다. 망막 주사 방식의 영상 표시 광 조사부의 구성으로서는, 당업자에게 기지의 구성이 채용되어도 된다. 예를 들면, 광 주사부(1303)의 구성요소의 하나로서 MEMS 미러를 채용함으로써, 레이저광의 방향을, 망막 상에 영상이 형성되도록, 고속으로 이동시킬 수 있다.
망막 투영 방식의 영상 표시 광 조사부의 일례를, 도 14를 참조하여 이하에 설명한다. 도 14는 망막 투영 방식의 영상 표시 광 조사부(1400)의 구성을 나타내는 모식도이다.
도 14에 나타내는 바와 같이, 디스플레이(예를 들면, 액정 표시 소자)(1401)로부터 출력된 평행 광이, 렌즈(1402)에 의해 굴절된다. 굴절된 광 중, 광학 필터(1403)에 의해 원하는 광만을, 렌즈(1404)로 진행시킨다. 렌즈(1404)를 통과한 광이, 접안 광학계(1405)에 의해, 사용자의 동공(1406) 상에서 집광하도록 진행한다. 그 결과, 망막(1407) 상에 영상이 표시된다.
통신 인터페이스(113)는, 영상 투영 장치(100)의 외부로부터 영상 데이터를 취득하기 위해 사용될 수 있다. 예를 들면, 영상 투영 장치(100)는, 통신 인터페이스(113)를 통해, 영상 투영 장치(100) 이외의 장치 또는 통신 네트워크로부터, 유선 또는 무선으로 영상 데이터를 취득할 수 있다. 통신 인터페이스(113)로서, 당업자에게 기지의 수단이 사용되어도 된다.
기억부(114)는, 본 기술의 장치가 사용자에게 제시하는 영상을 형성하기 위한 영상 데이터를 저장할 수 있다. 기억부(114)는, 예를 들면 통신 인터페이스(113)에 의해 취득된 영상 데이터를 일시적으로 저장해도 되고, 또는, 항상 영상 투영 장치(100)에 보유되어야 할 영상 데이터를 저장해도 된다. 기억부(114)로서, 당업자에게 기지의 수단이 사용되어도 된다.
(3) 제1 실시형태의 제2 예(출력 제어부에 의한 영상 표시 광의 출력 제어)
본 기술의 하나의 실시형태에 따라, 출력 제어부(103)는, 예를 들면 목적으로 하는 영상 표시 광 휘도와 상기 동공의 면적 또는 치수에 기초하여, 상기 영상 표시 광의 출력을 결정할 수 있다. 이에 의해, 적절한 밝기의 영상을 사용자에게 제시할 수 있다. 해당 목적으로 하는 영상 표시 광 휘도는, 예를 들면 제시되어야 할 영상을 사용자가 시인 가능한 정도의 휘도여도 되고, 바람직하게는 제시되어야 할 영상을 외계의 풍경으로부터 사용자가 구별할 수 있는 정도의 휘도여도 되고, 보다 바람직하게는 외계의 풍경의 밝기에 대하여 적절한 콘트라스트를 갖는 영상이 제시되는 것을 가능하게 하는 휘도일 수 있다.
예를 들면, 출력 제어부(103)는, 상기 목적으로 하는 영상 표시 광 휘도와, 상기 영상 표시 광의 출력을 상기 동공의 면적 또는 치수로 나눈 값이, 미리 정해진 관계를 만족하도록, 상기 영상 표시 광의 출력을 결정한다. 해당 미리 정해진 관계를 만족하도록 영상 표시 광의 출력을 제어함으로써, 보다 적절한 밝기로 영상이 사용자에게 제시된다.
상기 영상 표시 광의 출력은, 예를 들면 각 파장에 있어서의 영상 표시 광의 출력과 각 파장에 있어서의 시감도의 곱(product)의 총합 또는 적분일 수 있다. 해당 총합 또는 적분을 상기 동공의 면적 또는 치수로 나눈 값이 영상 표시 광 휘도와의 사이에서 미리 정해진 관계를 만족하도록, 영상 표시 광의 출력은 조정되어도 된다. 예를 들면, 해당 총합 또는 적분을 상기 동공의 면적 또는 치수로 나눈 값이 영상 표시 광 휘도와 동등하게 되도록, 또는, 해당 총합 또는 적분을 상기 동공의 면적 또는 치수로 나눈 값에 소정의 조정 계수를 곱한 값이 영상 표시 광 휘도와 동등하게 되도록, 영상 표시 광의 출력은 조정될 수 있다. 이와 같이, 영상 표시 광의 출력을 조정함으로써, 바람직한 밝기의 영상을 사용자에게 제시할 수 있다.
상기 미리 정해진 관계를 만족하도록 영상 표시 광의 출력을 조정하는 것은, 당업자에게 기지의 수단을 이용하여 행해져도 된다.
상기 미리 정해진 관계는,
예를 들면, 이하의 식,
[수 1]
Figure pct00004
또는, 이하의 식
[수 2]
Figure pct00005
(여기서, L [cd/m2]은 목적으로 하는 영상 표시 광 휘도이며, C는 조정 계수이며, λ [nm]는 파장이며, P [W]는 각 파장에서의 영상 표시 광 출력이며, K는 각 파장에서의 시감도이며, ω [str]는 표시 시야각이며, A [m 또는 m2]는 동공 치수 또는 동공 면적임)
으로 나타내지는 관계이다.
상기 식에 있어서, L [cd/m2]은 목적으로 하는 영상 표시 광 휘도이다. 해당 목적으로 하는 영상 표시 광 휘도는, 예를 들면 외계의 풍경 및/또는 사용자에게 제시되어야 할 영상에 의해 적절히 설정되어도 된다. 상기 목적으로 하는 영상 표시 광 휘도는, 예를 들면 주시점 정보 취득부(102)에 의해 취득된 주시점 정보에 기초하여 설정될 수 있다. 구체적으로는, 상기 목적으로 하는 영상 표시 광 휘도는, 예를 들면 사용자의 주시점의 위치에 있어서의 밝기에 기초하여 설정되어도 되고, 보다 바람직하게는 해당 밝기에 대하여 필요한 콘트라스트를 제공하는 데 필요한 휘도가, 영상 표시 광 휘도로서 채용될 수 있다. 해당 콘트라스트는, 예를 들면 외계의 풍경 및/또는 사용자에게 제시되어야 할 영상에 의해, 적절히 설정되어도 된다. 주시점의 밝기:영상 표시 광 휘도의 콘트라스트는 예를 들면, 1:1∼1:50, 1:1∼1:30, 1:1∼1:20, 또는 1:1∼1:10일 수 있다. 예를 들면, 주시점의 밝기가 100 cd/m2이며 또한 1:10의 콘트라스트가 필요한 경우에는, 영상 표시 광 휘도는 1000 cd/m2이다.
상기 식에 있어서, C는 예를 들면 1이어도 된다. 즉, 조정 계수에 의한 조정이 행해지지 않아도 된다. 또는, 본 기술의 장치의 구성요소에 따라, C로서 1 이외의 값이 사용되어도 된다. 구체적으로는, 본 기술의 장치의 구성요소가 갖는 광학적인 특성에 기초하는 조정 계수가 C로서 사용되어도 된다. 보다 구체적으로는, 본 기술의 장치에 있어서, 외계의 풍경으로부터의 광이 유리를 통하여 사용자에게 도달하는 경우(구체적으로는, 외계의 풍경으로부터의 광이, 안경의 유리를 투과하여 사용자에게 도달하는 경우), 해당 유리의 투과율(즉, 중첩되는 외계 풍경의 밝기의 감쇠율)에 기초하는 값이 C로서 채용되어도 된다. 해당 투과율 자체가 C로서 채용되어도 된다. 대체적으로는, 본 기술의 장치에 있어서, 영상 표시 광이 광학계를 통해 사용자의 눈에 도달하는 경우, 해당 광학계의 효율에 기초하는 값이 C로서 채용되어도 된다. 해당 광학계의 효율 자체가 C로서 채용되어도 된다. 본 기술에 있어서, 상기 유리의 투과율 및 광학계의 효율의 양쪽 모두에 기초하는 값이 C로서 채용되어도 된다.
상기 식에 있어서, λ는 영상 표시 광에 포함되는 광의 파장일 수 있다. 즉, 영상 표시 광의 출력과 시감도의 곱을 해당 광의 파장 범위에 걸쳐 모두 더한 값(총합) 또는 해당 곱을 해당 광의 파장 범위에 대해서 적분하여 얻어진 값이, 상기 식에서 이용된다.
상기 식에서, P는 각 파장에서의 영상 표시 광 출력이며, 또한, K는 각 파장에서의 시감도이다. 영상 표시 광은 통상은 다양한 파장의 광을 포함하므로, 각 파장의 영상 표시 광 출력 및 시감도의 곱에 대한 적분 또는 총합을 이용하는 것이 바람직하다.
상기 식에서, ω는 표시 시야각이다. 즉, ω는, 동공 부근에서 집광되며 망막에 조사되는 영상 표시 광의, 동공 부근의 집광점에 대한 입체각이다.
상기 식에서, A는 동공 치수 또는 동공 면적이다.
상기 특허문헌 1에 기재된 투과형 영상 표시 장치는, 사용자의 동공 직경의 값에 기초하여, 조광 필터의 투과율 및 영상의 광 강도를 조정한다. 보다 구체적으로는, 해당 동공 직경의 값으로부터, 외계의 조도를 추정하고, 영상이 해당 조도에 대하여 적절한 콘트라스트를 갖도록, 조광 필터의 투과율 및 영상의 광 강도가 조정된다. 예를 들면, 외광 조도가 10배가 된 경우에는, 사용자에게 제시되는 영상의 밝기를 10배로 하거나, 외광을 줄이는 조광 필터의 투과율을 1/10로 하거나, 또는 영상의 밝기 및 조광 필터의 투과율을 동시에 조정함으로써, 눈에 들어가는 외광과 영상 광의 조도비가 일정하게 유지된다.
그러나, 상기 특허문헌 1에 기재된 투과형 영상 표시 장치는, 영상 표시 광을 수정체에서 굴절시켜 망막 상에서 결상시킨다고 하는 방식을 전제로 한 것이다. 즉, 상기 특허문헌 1에 기재된 상기 조정은, 외광의 망막에의 도달량 및 영상 광의 망막에의 도달량 모두가 동공 면적의 변화에 따라 변화되는 것을 전제로 한 것이다. 상기 특허문헌 1에 기재된 조정은, 맥스웰 시에 기초하는 영상 투영 장치에는 적용할 수 없다. 예를 들면, 외계의 조도가 10배가 되고, 그에 따라 동공 면적이 0.4배가 되었을 때에는, 외계로부터 망막에 조사되는 광의 강도는 10×0.4=4배가 됨으로써, 영상 표시 광의 강도는 동공 면적에 영향받지 않는다. 따라서, 외광 조도의 변화에 따라, 영상 표시 광의 강도를 10배로 한 경우, 강도비는 10/4=2.5배가 되고, 외광에 대하여 너무 밝은 영상을 사용자에게 제시하게 된다.
본 기술에 따라 영상 표시 광의 출력을 조정함으로써, 외광에 대하여 너무 밝은 영상을 사용자에게 제시하는 것을 방지할 수 있다.
(4) 제1 실시형태의 제3 예(출력 제어부에 의한 영상 표시 광의 출력 변화)
본 기술의 다른 실시형태에 따라, 출력 제어부(103)는, 예를 들면 상기 동공의 면적 또는 치수의 변화, 외광 조도의 변화, 및 외광 콘트라스트의 변화 중 적어도 하나의 변화에 따라, 상기 영상 표시 광의 출력을 변화시킨다. 이에 의해, 외계의 풍경의 변화에 따라, 영상 표시 광의 출력을 적절한 밝기로 변경할 수 있다. 상기 변화 후의 영상 표시 광의 출력은, 예를 들면 제시되어야 할 영상을 사용자가 시인 가능한 정도의 휘도를 가져오는 출력이어도 되고, 바람직하게는 제시되어야 할 영상을 외계의 풍경으로부터 사용자가 구별할 수 있는 정도의 휘도를 가져오는 출력이어도 되고, 보다 바람직하게는 외계의 풍경의 밝기에 대하여 적절한 콘트라스트를 갖는 영상이 제시되는 것을 가능하게 하는 휘도를 가져오는 출력일 수 있다.
예를 들면, 출력 제어부(103)는, 상기 동공의 면적 또는 치수의 변화에 따라 상기 영상 표시 광의 출력을 변화시키는 것이며, 또한, 해당 변화의 전후의 상기 동공의 면적 또는 치수에 기초하여 상기 영상 표시 광의 출력을 결정한다. 이와 같이 영상 표시 광의 출력이 결정됨으로써, 외계의 풍경의 변화에 따라, 영상의 밝기를 사용자에 대해 적절한 밝기로 변화시킬 수 있다.
예를 들면, 외계 풍경이 변화된 경우, 변화 전후의 외광 조도의 비, 변화 전후의 외광 콘트라스트의 비, 및 변화 전후의 동공의 면적 또는 치수의 비 중에서 선택되는 적어도 하나의 비(또는 2개 또는 3개)에 기초하여 설정된 영상 표시 광 휘도를 달성하도록, 상기 영상 표시 광의 출력은 제어된다. 이와 같이, 영상 표시 광의 출력을 조정함으로써, 외계 풍경이 변화되어도, 바람직한 밝기의 영상을 사용자에게 제시할 수 있다.
상기 영상 표시 광 휘도는, 예를 들면 이하의 식에 기초하여 설정될 수 있다.
[수 3]
Figure pct00006
(여기서, L1, E1, A1, 및 C1은 각각, 상기 변화 후의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트이며, L0, E0, A0, 및 C0은 각각, 상기 변화 전의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트이다)
외광 조도(E1 및 E0)는, 예를 들면 주시점 정보 취득부(102)에 의해 취득될 수 있다. 보다 특히, 주시점 정보 취득부(102)에서 취득된 주시점의 위치에서의 외광 조도가, 상기 식에서 사용될 수 있다. 외광 조도는, 외계 풍경으로부터의 광의 조도에만 한정되지 않고, 예를 들면 안경 등을 통해 사용자의 눈에 들어가는 영상 광의 조도 등이어도 된다.
외광 콘트라스트(C1 및 C0)는, 예를 들면 당업자에 의해 또는 사용자에 의해 적절히 설정되어도 된다. 예를 들면, 외광 콘트라스트는, 주시점의 밝기:영상 표시 광 휘도가 1:1∼1:50, 1:1∼1:30, 1:1∼1:20, 또는 1:1∼1:10을 만족하도록 한 콘트라스트일 수 있다. 예를 들면, 주시점의 위치에서의 외광 조도(밝기)에 대하여 10배의 밝기의 영상 표시 광 휘도가 요구되는 경우, 외광 콘트라스트의 값은 10일 수 있다.
동공의 면적 또는 치수(A1 및 A0)는, 본 명세서 내 상기에서 기술한 바와 같은 수법에 의해 취득될 수 있다.
출력 제어부(103)는, 상기 식에 따라 결정된 영상 표시 광 휘도(L1)를 달성하도록, 영상 표시 광 출력을 변경할 수 있다. 영상 표시 광 휘도는, 예를 들면 상기 「(3) 제1 실시형태의 제2 예(출력 제어부에 의한 영상 표시 광의 출력 제어)」에 있어서 기술한 바와 같은 미리 정해진 관계를 만족하도록 영상 표시 광 출력을 제어함으로써, 달성되어도 된다.
본 기술에 따른 영상 투영 장치에 의해 조사되는 영상 표시 광은 동공에 의해 그 광량이 감소되지 않으므로, 외광이, 예를 들면 10배 밝아진 경우에, 영상 표시 광을 10배 밝게 할 필요가 없고, 더 낮은 배율로 밝게 하면 된다. 그 때문에, 외광 조도가 높은 환경 하에서, 저소비 전력으로 높은 콘트라스트를 갖는 영상을 사용자에게 제시할 수 있다.
또한, 본 기술에 따른 영상 투영 장치를 사용한 경우, 예를 들면 외광 조도가 변화된 경우, 외광 조도의 변화율 및 해당 변화에 따른 동공 면적의 변화율을, 변화 전의 휘도에 곱함으로써, 변화 후의 외광 조도에 적합한 휘도가 설정되고, 해당 휘도를 달성하도록 영상 표시 광의 출력이 제어된다. 한편, 예를 들면, 비(非)맥스웰 시의 영상 투영 장치에서는, 외광 조도가 변화된 경우, 변화 전과 동일한 콘트라스트를 유지하려고 했을 때, 외광 조도의 변화율과 동일한 변화율로 영상 표시 광의 휘도를 바꿔야 한다. 그 때문에, 본 기술에 따른 영상 투영 장치에서는, 외광 조도가 높아진 경우에, 휘도를 증가시키는 비율이 보다 낮아진다.
보다 구체적으로는, 비맥스웰 시의 영상 투영 장치에서는, 외광 조도(B)는 동공 직경(d)에 대하여, B∝exp(-d) 또는 B∝d-1/2 등이며, 즉 B는 exp(-d) 또는 d-1/2에 비례한다. 비맥스웰 시의 영상 투영 장치에서는, 상이한 외광 조도의 환경 하에서 동일한 콘트라스트를 유지하기 위해서는, 영상 표시 광도 이들 변화율을 따를 필요가 있다. 예를 들면, B가 exp(-d)에 비례한다고 한 경우, 영상 표시 광도 마찬가지로 exp(-d)에 비례한다. 한편, 본 기술에 따른 영상 투영 장치에서는, 영상 표시 광의 휘도는, 외광 조도에 동공 면적을 곱한 exp(-d)*d2에 비례한다. 즉, 동공 직경이 4mm에서부터 2mm로 변화된 경우, 소비 전력의 증가는, 비맥스웰 시의 영상 투영 장치와 비교해서 1/4이다.
2. 제2 실시형태(영상 투영 방법)
(1) 제2 실시형태의 설명
본 기술은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정과, 상기 출력 제어 공정에서 제어된 출력으로, 망막에 영상 표시 광을 조사하는 영상 표시 광 출력 공정을 포함하는 영상 투영 방법을 제공한다.
본 기술에 따른 영상 투영 방법에 의해, 적절한 밝기를 가지며 또한 선명한 영상을 외계의 풍경에 중첩할 수 있다.
(2) 제2 실시형태의 제1 예(영상 투영 방법)
이하에서는, 본 기술에 따른 영상 투영 방법의 예를, 도 5 및 도 6을 참조하면서 설명한다. 도 5는 상기 「1. 제1 실시형태(영상 투영 장치)」에 있어서 설명한 바와 같다. 도 6은 본 기술에 따른 영상 투영 방법의 플로우의 일례를 나타내는 도면이다. 본 예에서의 영상 투영 방법에서는, 예를 들면 외계의 풍경에 중첩하는 데 적합한 밝기로 영상 표시 광이 맥스웰 시로 사용자에게 제시된다.
단계(S101)에 있어서, 영상 투영 장치(100)는, 본 기술에 따른 영상 투영 처리를 개시한다.
단계(S102)에 있어서, 영상 투영 장치(100)는 동공 정보를 취득한다. 해당 동공 정보는, 영상 투영 장치(100) 중, 특히 동공 정보 취득부(101)에 의해 취득될 수 있다. 취득되는 동공 정보는, 예를 들면 동공의 면적, 치수, 위치, 및 형상 등일 수 있다.
예를 들면, 동공 정보 취득부(101)가 IR(적외선) 광원과 IR 카메라의 조합을 포함하는 경우, 단계(S102)에 있어서, 동공 정보 취득부(101)가 적외선을 안구 표면에 조사하고, 해당 적외선이 조사된 안구 표면을 촬상한다. 촬상된 화상으로부터, 동공 정보 취득부(101)가 동공 정보를 취득한다.
단계(S103)에 있어서, 영상 투영 장치(100)는 주시점 정보를 취득한다. 해당 주시점 정보는, 영상 투영 장치(100) 중, 특히 주시점 정보 취득부(102)에 의해 취득될 수 있다. 취득되는 주시점 정보로서, 예를 들면 사용자의 주시점의 위치 및 해당 위치에서의 밝기를 들 수 있다.
예를 들면, 주시점 정보 취득부(102)는, 동공 정보 취득부(101)에 의해 취득된 동공의 위치에 기초하여 주시점의 위치를 취득한다. 주시점의 위치는, 예를 들면, 양쪽 눈의 동공의 위치에 기초하여 삼각측량적으로 결정되어도 되고, 또는, 단안의 동공의 움직임에 기초하여 추정되어도 된다. 주시점의 위치를 결정 또는 추정하기 위한 방법으로서, 당업자에게 기지의 기법이 이용되어도 된다.
주시점 정보 취득부(102)는, 상기 취득된 주시점의 위치에서의 밝기를 취득한다. 예를 들면, 주시점 정보 취득부(102)는, 주시점 정보 취득부(102)에 포함되는 촬상 소자에 의해 촬상된 화상 중에 있어서의, 상기 취득된 주시점의 위치에 대응하는 화소 또는 화소 블록을 특정한다. 주시점 정보 취득부(102)는, 해당 특정된 화소 또는 화소 블록에 있어서의 화상 데이터로부터, 주시점에서의 밝기에 관한 데이터를 취득한다.
단계(S104)에 있어서, 영상 투영 장치(100)는, 영상 표시 광의 출력을 제어한다. 해당 영상 표시 광의 출력 제어는, 영상 투영 장치(100) 중, 특히 출력 제어부(103)에 의해 행해질 수 있다. 출력 제어부(103)는, 동공 정보 취득부(101)에 의해 취득된 동공 정보에 기초하여, 영상 표시 광의 출력을 제어한다. 해당 제어는, 예를 들면 상기 「(3) 제1 실시형태의 제2 예(출력 제어부에 의한 영상 표시 광의 출력 제어)」에 있어서 기술한 바와 같이 행해질 수 있다.
단계(S105)에 있어서, 영상 투영 장치(100)는, 단계(S104)에서 제어된 출력으로 영상 표시 광을 출력한다. 해당 출력은, 영상 투영 장치(100) 중, 특히 영상 표시 광 조사부(104)에 의해 행해질 수 있다. 영상 표시 광 조사부(104)는, 맥스웰 시에 의해 사용자에게 영상을 제시한다. 영상 표시 광으로서, 레이저광을 들 수 있다. 또한, 영상 표시 광은, LED 또는 CRT에 의해 조사되는 광이어도 된다.
단계(S106)에 있어서, 영상 투영 장치(100)는, 본 기술에 따른 영상 투영 처리를 종료한다.
(3) 제2 실시형태의 제2 예(영상 투영 방법)
이하에서는, 본 기술에 따른 영상 투영 방법의 예를, 도 5 및 도 7을 참조하면서 설명한다. 도 5는 상기 「1. 제1 실시형태(영상 투영 장치)」에 있어서 설명한 바와 같다. 도 7은 본 기술에 따른 영상 투영 방법의 플로우의 일례를 나타내는 도면이다. 본 예에서의 영상 투영 방법에서는, 예를 들면 이미 영상 표시 광이 맥스웰 시에 의해 사용자에 대하여 조사되고 있는 상태에서, 해당 영상 표시 광의 출력 변경이 행해진다.
단계(S201)에 있어서, 영상 투영 장치(100)는, 본 기술에 따른 영상 투영 처리를 개시한다.
단계(S202)에 있어서, 영상 투영 장치(100)는 동공 정보 및/또는 주시점 정보의 감시를 행한다. 예를 들면, 영상 투영 장치(100)로부터 영상 표시 광이 맥스웰 시로 사용자에게 조사되고 있는 경우에, 해당 감시가 행해질 수 있다. 동공 정보의 감시는, 영상 투영 장치(100) 중, 특히 동공 정보 취득부(101) 및/또는 제어부(110)에 의해 행해질 수 있다. 주시점 정보의 감시는, 영상 투영 장치(100) 중, 특히 주시점 정보 취득부(102) 및/또는 제어부(110)에 의해 행해질 수 있다.
단계(S203)에 있어서, 영상 투영 장치(100)는, 동공 정보 또는 주시점 정보에 변화가 있는지를 판정한다. 해당 변화의 유무의 판정은, 영상 투영 장치(100) 중, 특히 출력 제어부(103)에 의해 행해질 수 있다. 동공 정보의 변화의 예로서, 예를 들면 동공의 면적 또는 치수의 증가 또는 감소를 들 수 있다. 주시점 정보의 변화의 예로서, 예를 들면 주시점의 위치의 이동, 주시점에서의 외광 조도(특히, 밝기)의 증가 또는 감소, 및 주시점에서의 외광 조도에 적합한 외광 콘트라스트의 변화를 들 수 있다.
영상 투영 장치(100)는, 동공 정보 및/또는 주시점 정보에 변화가 생긴 경우에, 처리를 단계(S204)로 진행한다.
영상 투영 장치(100)는, 동공 정보 및/또는 주시점 정보에 변화가 생기지 않는 경우에는, 처리를 S202로 되돌리고, 감시 공정(S202)을 계속한다.
단계(S203)에 있어서, 소정의 조건을 만족한 경우, 예를 들면 동공 정보 및/또는 주시점 정보의 변화가 소정의 임계값을 초과한 경우에, 동공 정보 또는 주시점 정보에 변화가 있었다고 판단되어도 된다.
보다 구체적으로는, 단계(S203)에 있어서, 출력 제어부(103)는, 동공의 면적 또는 치수가, 어떤 시점에서의 면적 또는 치수에 대하여, 예를 들면 1.1배 이상, 1.2배 이상, 1.3배 이상, 1.4배 이상, 1.5배 이상, 1.6배 이상, 1.7배 이상, 1.8배 이상, 1.9배 이상, 또는 2.0배 이상이 된 경우에, 동공의 면적 또는 치수가 증가했다고 판정하고, 처리를 단계(S204)로 진행할 수 있다. 또한, 단계(S203)에 있어서, 출력 제어부(103)는, 동공의 면적 또는 치수가, 어떤 시점에서의 면적 또는 치수에 대하여, 예를 들면 0.9배 이하, 0.8배 이하, 0.7배 이하, 0.6배 이하, 또는 0.5배 이하가 된 경우에, 동공의 면적 또는 치수가 감소했다고 판정하고, 처리를 단계(S204)로 진행할 수 있다.
대체적으로는, 단계(S203)에 있어서, 출력 제어부(103)는, 주시점의 위치가, 어떤 시점에서 주시되고 있는 물체로부터, 다른 물체로 이동한 경우에, 주시점의 위치의 변화가 있었는 것으로 하고, 처리를 단계(S204)로 진행할 수 있다. 주시점의 위치의 변화는, 예를 들면 주시점 또는 주시점 부근에서의, 화상 정보의 변화(예를 들면, 밝기의 변화 등)에 기초하여 검출될 수 있다.
대체적으로는, 단계(S203)에 있어서, 출력 제어부(103)는, 주시점에서의 밝기(예를 들면, 외광 조도)가 어떤 시점에서의 밝기에 대하여, 예를 들면 1.1배 이상, 1.2배 이상, 1.3배 이상, 1.4배 이상, 1.5배 이상, 1.6배 이상, 1.7배 이상, 1.8배 이상, 1.9배 이상, 또는 2.0배 이상이 된 경우에, 주시점에서의 밝기의 증가가 있었다고 판정하고, 처리를 단계(S204)로 진행할 수 있다. 또한, 단계(S203)에 있어서, 출력 제어부(103)는, 주시점에서의 밝기(예를 들면, 외광 조도)가 어떤 시점에서의 밝기에 대하여, 예를 들면 0.9배 이하, 0.8배 이하, 0.7배 이하, 0.6배 이하, 또는 0.5배 이하가 된 경우에, 주시점에서의 밝기의 감소가 있었다고 판정하고, 처리를 단계(S204)로 진행할 수 있다.
대체적으로는, 단계(S203)에 있어서, 출력 제어부(103)는, 사용자에게 제시되는 영상과 해당 영상이 중첩되는 광경의 적절한 콘트라스트, 특히 외광 콘트라스트가 변화된 경우에, 주시점에 있어서의 콘트라스트의 변화가 있었다고 판정하고, 처리를 단계(S204)로 진행할 수 있다.
단계(S204)에 있어서, 영상 투영 장치(100)는, 영상 표시 광의 출력을 제어한다. 해당 영상 표시 광의 출력 제어는, 영상 투영 장치(100) 중, 특히 출력 제어부(103)에 의해 행해질 수 있다. 출력 제어부(103)는, 동공 정보 취득부(101)에 의해 취득된 동공 정보 및/또는 주시점 정보 취득부(102)에 의해 취득된 주시점 정보에 기초하여, 영상 표시 광의 출력을 변경한다. 해당 제어는, 예를 들면 상기 「(4) 제1 실시형태의 제3 예(출력 제어부에 의한 영상 표시 광의 출력 변화)」에 있어서 기술한 바와 같이 행해질 수 있다.
단계(S205)에 있어서, 영상 투영 장치(100)는, 단계(S204)에서 제어된 출력으로 영상 표시 광을 출력한다. 해당 출력은, 영상 투영 장치(100) 중, 특히 영상 표시 광 조사부(104)에 의해 행해질 수 있다. 영상 표시 광 조사부(104)는, 맥스웰 시에 의해 사용자에게 영상을 제시한다. 영상 표시 광으로서, 레이저광을 들 수 있다. 또한, 영상 표시 광은 LED 또는 CRT에 의해 조사되는 광이어도 된다.
단계(S206)에 있어서, 영상 투영 장치(100)는, 본 기술에 따른 영상 투영 처리를 종료한다.
3. 제3 실시형태(영상 표시 광 출력 제어 방법)
(1) 제3 실시형태의 설명
본 기술은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정을 포함하는 영상 표시 광 출력 제어 방법을 제공한다.
본 기술에 따른 영상 표시 광 출력 제어 방법에 의해, 맥스웰 시로 사용자에게 제시되는 영상 표시 광을, 적절한 밝기로 제어할 수 있다.
(2) 제3 실시형태의 제1 예(영상 표시 광 출력 제어 방법)
이하에서는, 본 기술에 따른 영상 표시 광 출력 제어 방법의 예를, 도 5 및 도 8을 참조하면서 설명한다. 도 5는 상기 「1. 제1 실시형태(영상 투영 장치)」에 있어서 설명한 바와 같다. 도 8은 본 기술에 따른 영상 표시 광 출력 제어 방법의 플로우의 일례를 나타내는 도면이다. 본 예에서의 영상 표시 광 출력 제어 방법에서는, 예를 들면 맥스웰 시로 사용자에 제시되는 영상 표시 광의 밝기가, 외계의 풍경에 중첩하는 데 적합한 것으로 된다.
단계(S301∼S305)는, 상기 2.의 「(2) 제2 실시형태의 제1 예(영상 투영 방법)」에 있어서 설명한 단계(S101∼S104 및 S106)와 동일하다. 즉, 본 예에서의 영상 표시 광 출력 제어 방법은, 상기 2.의 「(2) 제2 실시형태의 제1 예(영상 투영 방법)」에 있어서 설명한 영상 투영 방법 중에서, 출력 공정을 제외한 방법이다. 그 때문에, 단계(S301∼S305)에 관한 설명은 생략한다.
(3) 제3 실시형태의 제2 예(영상 표시 광 출력 제어 방법)
이하에서는, 본 기술에 따른 영상 표시 광 출력 제어 방법의 예를, 도 5 및 도 9를 참조하면서 설명한다. 도 5는 상기 「1. 제1 실시형태(영상 투영 장치)」에 있어서 설명한 바와 같다. 도 9는 본 기술에 따른 영상 표시 광 출력 제어 방법의 플로우의 일례를 나타내는 도면이다. 본 예에서의 영상 표시 광 출력 제어 방법에서는, 예를 들면 이미 영상 표시 광이 맥스웰 시에 의해 사용자에 대하여 조사되고 있는 상태에서, 해당 영상 표시 광의 출력 변경이 행해진다.
단계(S401∼S405)는, 상기 2.의 「(3) 제2 실시형태의 제2 예(영상 투영 방법)」에 있어서 설명한 단계(S201∼S204 및 S206)와 동일하다. 즉, 본 예에서의 영상 표시 광 출력 제어 방법은, 상기 2.의 「(3) 제2 실시형태의 제2 예(영상 투영 방법)」에 있어서 설명한 영상 표시 광 출력 제어 방법 중에서, 출력 공정을 제외한 방법이다. 그 때문에, 단계(S401∼S405)에 관한 설명은 생략한다.
4. 제4 실시형태(프로그램)
본 기술은 영상 투영용 프로그램도 제공한다. 해당 영상 투영용 프로그램은, 본 기술에 따른 영상 투영 방법을 컴퓨터에 실행시키기 위한 것이다. 예를 들면, 본 기술에 따른 영상 투영용 프로그램은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정과, 상기 출력 제어 공정에서 제어된 출력으로, 망막에 영상 표시 광을 조사하는 영상 표시 광 출력 공정을 컴퓨터에 실행시키기 위한 것이어도 된다. 이 공정은, 상기 「2. 제2 실시형태(영상 투영 방법)」에 있어서 설명된 바와 같으므로, 이 공정에 관한 설명은 생략한다.
또한, 본 기술은, 영상 표시 광 출력 제어용 프로그램도 제공한다. 해당 영상 표시 광 출력 제어용 프로그램은, 본 기술에 따른 영상 표시 광 출력 제어 방법을 컴퓨터에 실행시키기 위한 것이다. 예를 들면, 본 기술에 따른 영상 표시 광 출력 제어용 프로그램은, 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과, 동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정을 컴퓨터에 실행시키기 위한 것이어도 된다. 이 공정은, 상기 「2. 제2 실시형태(영상 투영 방법)」에 있어서 설명된 바와 같으므로, 이 공정에 관한 설명은 생략한다.
5. 장치의 구성예
이하에서, 도 10을 참조하면서, 본 기술에 따른 영상 투영 장치의 구성의 일례를 설명한다. 도 10은 본 기술에 따른 영상 투영 장치의 개략적인 구성의 일례를 나타내는 도면이다.
도 10에 나타내는 영상 투영 장치(1000)는, CPU(중앙연산처리장치)(1002) 및 RAM(1003)을 구비하고 있다. CPU(1002) 및 RAM(1003)은, 버스(1005)를 통해 서로 접속되어 있고, 또한, 영상 투영 장치(1000)의 다른 구성요소와도 버스(1005)를 통해 접속되어 있다.
CPU(1002)는 영상 투영 장치(1000)의 제어 및 연산을 행한다. CPU(1002)로서, 임의의 프로세서를 사용할 수 있고, 그 예로서 Xeon(등록상표) 시리즈, Core(상표) 시리즈, 또는 Atom(상표) 시리즈의 프로세서를 들 수 있다. 도 5를 참조하여 설명한 영상 투영 장치(100)의 제어부(110)는, 예를 들면 CPU(1002)에 의해 실현될 수 있다.
RAM(1003)은, 예를 들면 캐시 메모리 및 메인 메모리를 포함하고, CPU(1002)에 의해 사용되는 프로그램 등을 일시 기억할 수 있다.
영상 투영 장치(1000)는, 디스크(1004), 통신 장치(1006), 영상 표시 광 출력 장치(1007), 및 드라이브(1008)를 구비하고 있어도 된다. 이들 구성요소는 모두 버스(1005)에 접속될 수 있다.
디스크(1004)에는, 운영 체제(예를 들면, WINDOWS(등록상표), UNIX(등록상표), 또는 LINUX(등록상표) 등), 본 기술에 따른 영상 투영 처리용 프로그램, 영상 표시 광 출력 제어용 프로그램, 및 다른 다양한 프로그램, 및 각종 데이터(예를 들면, 영상 데이터)가 저장될 수 있다.
통신 장치(1006)는 영상 투영 장치(1000)를 네트워크(1010)에 유선 또는 무선으로 접속한다. 통신 장치(1006)에 의해, 영상 투영 장치(1000)는, 네트워크(1010)를 통해 각종 데이터(예를 들면, 영상 데이터 등)를 취득할 수 있다. 취득한 데이터는, 예를 들면 디스크(1004)에 저장될 수 있다. 통신 장치(1006)의 종류는 당업자에 의해 적절히 선택되어도 된다.
영상 표시 광 출력 장치(1007)는, 본 기술에 따라 제어된 영상 표시 광을 출력할 수 있다.
드라이브(1008)는, 기록 매체에 기록되어 있는 정보를 판독하여, RAM(1003)에 출력할 수 있다. 기록 매체는, 예를 들면, SD 메모리 카드 또는 플래시 메모리이지만, 이들에 한정되지 않는다.
본 기술에 따른 영상 투영 장치의 보다 구체적인 예를 도 11 및 도 12를 참조하면서 이하에 설명한다. 도 11 및 도 12는 해당 예를 나타내는 도면이다.
도 11에 나타내는 본 기술의 영상 투영 장치는, 아이웨어 디스플레이(2000)이다. 아이웨어 디스플레이(2000)에 있어서, 동공 정보 취득부는 IR 광원(2002) 및 IR 카메라(2003)의 조합을 포함한다. IR 광원(2002)은, 예를 들면, 도 12에 나타내는 바와 같이, 적외광을 안구를 향해 조사한다. 해당 적외광이 조사된 상태에서, IR 카메라(2003)에 의해 안구를 촬상함으로써, 동공 정보가 취득된다. 주시점 정보 취득부는, 촬상 소자(2004)를 포함한다. 촬상 소자(2004)는, 안구가 향하고 있는 방향을 촬상할 수 있도록 구성되어 있다. 출력 제어부 및 영상 표시 광 조사부는, 케이스(2001) 내의 정보 처리 장치의 일부로서 구성되어 있어도 된다. 해당 정보 처리 장치에는 또한, 인터페이스, 기억부, 제어부, 및 영상 제어부가 포함되어 있어도 된다.
영상 표시 광 조사부에 의해, 출력 제어부에 의한 제어 하에서, 영상 표시 광이 하프 미러(2005)에 조사된다. 하프 미러에 조사된 영상 표시 광이, 동공(2006) 상에서 집광하며, 망막(2007)에 도달한다. 이와 같이 하여, 본 기술에 따른 영상 투영 장치에 의해, 영상이 사용자에게 제시된다.
한편, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
〔1〕동공의 면적 또는 치수를 취득하는 동공 정보 취득부와,
동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득부에 의해 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어부를 구비하고 있는 영상 투영 장치.
〔2〕상기 출력 제어부가, 목적으로 하는 영상 표시 광 휘도와 상기 동공의 면적 또는 치수에 기초하여, 상기 영상 표시 광의 출력을 결정하는, 〔1〕에 기재된 영상 투영 장치.
〔3〕상기 목적으로 하는 영상 표시 광 휘도와, 상기 영상 표시 광의 출력을 상기 동공의 면적 또는 치수로 나눈 값이, 미리 정해진 관계를 만족하도록, 상기 영상 표시 광의 출력이 결정되는, 〔2〕에 기재된 영상 투영 장치.
〔4〕상기 미리 정해진 관계가, 이하의 식,
[수 4]
Figure pct00007
또는, 이하의 식
[수 5]
Figure pct00008
(여기서, L은 목적으로 하는 영상 표시 광 휘도이며, C는 조정 계수이며, λ는 파장이며, P는 각 파장에서의 영상 표시 광 출력이며, K는 각 파장에서의 시감도이며, ω는 표시 시야각이며, 또한, A는 동공 치수 또는 동공 면적임)
으로 나타내지는 관계인, 〔3〕에 기재된 영상 투영 장치.
〔5〕상기 출력 제어부가, 상기 동공의 면적 또는 치수의 변화, 외광 조도의 변화, 및 외광 콘트라스트의 변화 중 적어도 하나의 변화에 따라, 상기 영상 표시 광의 출력을 변화시키는, 〔1〕에 기재된 영상 투영 장치.
〔6〕상기 출력 제어부는, 상기 동공의 면적 또는 치수의 변화에 따라 상기 영상 표시 광의 출력을 변화시키며, 해당 변화의 전후의 상기 동공의 면적 또는 치수에 기초하여 상기 영상 표시 광의 출력을 결정하는, 〔5〕에 기재된 영상 투영 장치.
〔7〕상기 출력 제어부가, 이하의 식
[수 6]
Figure pct00009
(여기서, L1, E1, A1, 및 C1은 각각, 상기 변화 후의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트이며, L0, E0, A0, 및 C0은 각각, 상기 변화 전의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트임)
에 기초하여 결정된 영상 표시 광 휘도를 제공하도록 상기 영상 표시 광의 출력을 제어하는, 〔5〕또는 〔6〕에 기재된 영상 투영 장치.
〔8〕상기 출력 제어부가, 상기 목적으로 하는 영상 표시 광 휘도를, 주시점의 밝기와 해당 밝기에 대한 콘트라스트에 기초하여 결정하는, 〔2〕내지〔7〕중 어느 하나에 기재된 영상 투영 장치.
〔9〕상기 동공 정보 취득부는, 상기 동공의 위치 정보를 취득하며, 또한, 상기 동공 정보 취득부는, 해당 위치 정보에 기초하여, 상기 주시점을 특정하는, 〔8〕에 기재된 영상 투영 장치.
〔10〕상기 동공 정보 취득부가 적외광 카메라를 포함하는, 〔9〕에 기재된 영상 투영 장치.
〔11〕주시점 정보 취득부를 더 구비하고 있고, 해당 주시점 정보 취득부가, 상기 주시점의 밝기를 취득하는, 〔8〕에 기재된 영상 투영 장치.
〔12〕상기 출력 제어부에 의해 제어된 출력으로 망막에 영상 표시 광을 조사하는 영상 표시 광 조사부를 더 구비하고 있는, 〔1〕내지〔11〕중 어느 하나에 기재된 영상 투영 장치.
〔13〕상기 영상 표시 광 조사부가, 망막 투영 방식 또는 망막 주사 방식으로 영상 표시 광을 조사하는, 〔12〕에 기재된 영상 투영 장치.
〔14〕상기 영상 표시 광 조사부가 레이저광을 조명 광원으로 하는, 〔12〕에 기재된 영상 투영 장치.
〔15〕헤드마운트 디스플레이인, 〔1〕내지〔14〕중 어느 하나에 기재된 영상 투영 장치.
〔16〕아이웨어 디스플레이인, 〔1〕내지〔14〕중 어느 하나에 기재된 영상 투영 장치.
〔17〕투영되는 영상이, 외계의 광경에 중첩되도록 표시되는, 〔1〕내지〔16〕중 어느 하나에 기재된 영상 투영 장치.
〔18〕동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과,
동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정과,
상기 출력 제어 공정에서 제어된 출력으로, 망막에 영상 표시 광을 조사하는 영상 표시 광 출력 공정을 포함하는 영상 투영 방법.
〔19〕동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과,
동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정을 포함하는 영상 표시 광 출력 제어 방법.
100: 영상 투영 장치
101: 동공 정보 취득부
102: 주시점 정보 취득부
103: 출력 제어부
104: 영상 표시 광 조사부
110: 제어부
111: 영상 제어부
113: 통신 인터페이스
114: 기억부

Claims (19)

  1. 동공의 면적 또는 치수를 취득하는 동공 정보 취득부와,
    동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득부에 의해 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어부를 구비하고 있는, 영상 투영 장치.
  2. 제1항에 있어서,
    상기 출력 제어부가, 목적으로 하는 영상 표시 광 휘도와 상기 동공의 면적 또는 치수에 기초하여, 상기 영상 표시 광의 출력을 결정하는, 영상 투영 장치.
  3. 제2항에 있어서,
    상기 목적으로 하는 영상 표시 광 휘도와, 상기 영상 표시 광의 출력을 상기 동공의 면적 또는 치수로 나눈 값이, 미리 정해진 관계를 만족하도록, 상기 영상 표시 광의 출력이 결정되는, 영상 투영 장치.
  4. 제3항에 있어서,
    상기 미리 정해진 관계가, 이하의 식,
    [수 1]
    Figure pct00010

    또는, 이하의 식
    [수 2]
    Figure pct00011

    (여기서, L은 목적으로 하는 영상 표시 광 휘도이며, C는 조정 계수이며, λ는 파장이며, P는 각 파장에서의 영상 표시 광 출력이며, K는 각 파장에서의 시감도이며, ω는 표시 시야각이며, 또한, A는 동공 치수 또는 동공 면적임)
    으로 나타내지는 관계인, 영상 투영 장치.
  5. 제1항에 있어서,
    상기 출력 제어부가, 상기 동공의 면적 또는 치수의 변화, 외광 조도의 변화, 및 외광 콘트라스트의 변화 중 적어도 하나의 변화에 따라, 상기 영상 표시 광의 출력을 변화시키는, 영상 투영 장치.
  6. 제5항에 있어서,
    상기 출력 제어부는, 상기 동공의 면적 또는 치수의 변화에 따라 상기 영상 표시 광의 출력을 변화시키며, 해당 변화의 전후의 상기 동공의 면적 또는 치수에 기초하여 상기 영상 표시 광의 출력을 결정하는, 영상 투영 장치.
  7. 제5항에 있어서,
    상기 출력 제어부가, 이하의 식
    [수 3]
    Figure pct00012

    (여기서, L1, E1, A1, 및 C1은 각각, 상기 변화 후의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트이며, L0, E0, A0, 및 C0은 각각, 상기 변화 전의 영상 표시 광 휘도, 외광 조도, 동공의 면적 또는 치수, 및 외광 콘트라스트임)
    에 기초하여 결정된 영상 표시 광 휘도를 제공하도록 상기 영상 표시 광의 출력을 제어하는, 영상 투영 장치.
  8. 제2항에 있어서,
    상기 출력 제어부가, 상기 목적으로 하는 영상 표시 광 휘도를, 주시점의 밝기와 해당 밝기에 대한 콘트라스트에 기초하여 결정하는, 영상 투영 장치.
  9. 제8항에 있어서,
    상기 동공 정보 취득부는, 상기 동공의 위치 정보를 취득하며, 또한, 상기 동공 정보 취득부는, 해당 위치 정보에 기초하여, 상기 주시점을 특정하는, 영상 투영 장치.
  10. 제9항에 있어서,
    상기 동공 정보 취득부가 적외광 카메라를 포함하는, 영상 투영 장치.
  11. 제8항에 있어서,
    주시점 정보 취득부를 더 구비하고 있고, 해당 주시점 정보 취득부가 상기 주시점의 밝기를 취득하는, 영상 투영 장치.
  12. 제1항에 있어서,
    상기 출력 제어부에 의해 제어된 출력으로 망막에 영상 표시 광을 조사하는 영상 표시 광 조사부를 더 구비하고 있는, 영상 투영 장치.
  13. 제12항에 있어서,
    상기 영상 표시 광 조사부가, 망막 투영 방식 또는 망막 주사 방식으로 영상 표시 광을 조사하는, 영상 투영 장치.
  14. 제12항에 있어서,
    상기 영상 표시 광 조사부가 레이저광을 조명 광원으로 하는, 영상 투영 장치.
  15. 제1항에 있어서,
    헤드마운트 디스플레이인, 영상 투영 장치.
  16. 제1항에 있어서,
    아이웨어 디스플레이(eye wear display)인, 영상 투영 장치.
  17. 제1항에 있어서,
    투영되는 영상이, 외계의 광경에 중첩되도록 표시되는, 영상 투영 장치.
  18. 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과,
    동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정과,
    상기 출력 제어 공정에서 제어된 출력으로, 망막에 영상 표시 광을 조사하는 영상 표시 광 출력 공정을 포함하는, 영상 투영 방법.
  19. 동공의 면적 또는 치수를 취득하는 동공 정보 취득 공정과,
    동공 부근에 집광되며 망막에 조사되는 영상 표시 광의 출력을, 상기 동공 정보 취득 공정에서 취득된 동공의 면적 또는 치수에 기초하여 제어하는 출력 제어 공정을 포함하는, 영상 표시 광 출력 제어 방법.
KR1020207020004A 2018-01-29 2018-12-27 영상 투영 장치, 영상 투영 방법, 및 영상 표시 광 출력 제어 방법 KR20200112832A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-012996 2018-01-29
JP2018012996 2018-01-29
PCT/JP2018/048035 WO2019146367A1 (ja) 2018-01-29 2018-12-27 映像投影装置、映像投影方法、映像表示光出力制御方法

Publications (1)

Publication Number Publication Date
KR20200112832A true KR20200112832A (ko) 2020-10-05

Family

ID=67395883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207020004A KR20200112832A (ko) 2018-01-29 2018-12-27 영상 투영 장치, 영상 투영 방법, 및 영상 표시 광 출력 제어 방법

Country Status (6)

Country Link
US (1) US11227519B2 (ko)
EP (1) EP3748960A4 (ko)
JP (1) JP7338476B2 (ko)
KR (1) KR20200112832A (ko)
CN (1) CN111630847B (ko)
WO (1) WO2019146367A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781940B (zh) * 2021-08-30 2023-09-15 歌尔科技有限公司 头戴式显示设备及其显示亮度调节方法
FR3135792A1 (fr) * 2022-05-18 2023-11-24 Safran Electronics & Defense Dispositif d’affichage d’image à luminance adaptative en fonction d’une variable physiologique

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097098A (ja) 2015-11-20 2017-06-01 株式会社リコー 透過型映像表示装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300451A (ja) 1992-04-22 1993-11-12 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JP3571501B2 (ja) 1997-07-28 2004-09-29 コニカミノルタホールディングス株式会社 映像観察装置
JP2004233425A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 画像表示装置
JP4929957B2 (ja) 2006-09-29 2012-05-09 ブラザー工業株式会社 画像表示装置及び同装置による画像の輝度調整方法
CN101589329B (zh) * 2007-11-21 2011-10-12 松下电器产业株式会社 显示装置
JP2010164782A (ja) 2009-01-15 2010-07-29 Brother Ind Ltd 画像表示装置
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
JP6089705B2 (ja) 2013-01-07 2017-03-08 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
CN105492957B (zh) * 2013-06-27 2019-09-24 Cy 视觉公司 采用成对眼镜形式的图像显示设备
US9360672B2 (en) * 2013-07-11 2016-06-07 Seiko Epson Corporation Head mounted display device and control method for head mounted display device
JP2016035513A (ja) * 2014-08-04 2016-03-17 富士通株式会社 表示装置および表示制御方法
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
TW201628307A (zh) 2015-01-21 2016-08-01 Luxul Technology Inc 限電管理系統
CN107615755B (zh) * 2015-05-19 2020-07-03 麦克赛尔株式会社 头戴式显示器、平视显示器和影像显示方法
JP2017161759A (ja) * 2016-03-10 2017-09-14 富士通株式会社 網膜投影型表示装置、画像表示方法、及びプログラム
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10942565B2 (en) * 2018-12-17 2021-03-09 Intel Corporation Virtual reality adaptive display control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097098A (ja) 2015-11-20 2017-06-01 株式会社リコー 透過型映像表示装置

Also Published As

Publication number Publication date
CN111630847B (zh) 2023-04-18
CN111630847A (zh) 2020-09-04
JP7338476B2 (ja) 2023-09-05
US20210035478A1 (en) 2021-02-04
WO2019146367A1 (ja) 2019-08-01
JPWO2019146367A1 (ja) 2021-02-04
EP3748960A4 (en) 2021-04-07
US11227519B2 (en) 2022-01-18
EP3748960A1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
US9711072B1 (en) Display apparatus and method of displaying using focus and context displays
JP5212927B2 (ja) 顔撮影システム
US9971153B2 (en) Method and apparatus for displaying video data
CN110199517B (zh) 在单个对准处具有自动剪辑的宽视野眼底相机
JP5828070B2 (ja) 撮像装置および撮像方法
US8356898B2 (en) Fundus camera and ophthalmologic image processing apparatus
US20130194244A1 (en) Methods and apparatuses of eye adaptation support
JPWO2015198477A1 (ja) 視線検知装置
US20160264051A1 (en) Night Driving System and Method
JP2007214964A (ja) 映像表示装置
JP7338476B2 (ja) 映像投影装置、映像投影方法、映像表示光出力制御方法
KR101359926B1 (ko) 자동 초점 기능을 갖는 휴대용 영상 확대 장치
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
JP7094268B2 (ja) 眼底撮影装置
JP6584103B2 (ja) 撮像装置
US10928894B2 (en) Eye tracking
JP4997083B2 (ja) 眼底カメラ
TWI667494B (zh) Microscope device
JP6742818B2 (ja) 撮像装置
JP6512806B2 (ja) 撮像装置
JP2016200742A (ja) 撮像装置
JP2012103753A (ja) 画像処理方法、画像処理装置および補正処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination