KR20150056521A - 화상 표시 장치 및 화상 표시 방법, 및 기록 매체 - Google Patents

화상 표시 장치 및 화상 표시 방법, 및 기록 매체 Download PDF

Info

Publication number
KR20150056521A
KR20150056521A KR1020157001384A KR20157001384A KR20150056521A KR 20150056521 A KR20150056521 A KR 20150056521A KR 1020157001384 A KR1020157001384 A KR 1020157001384A KR 20157001384 A KR20157001384 A KR 20157001384A KR 20150056521 A KR20150056521 A KR 20150056521A
Authority
KR
South Korea
Prior art keywords
image
display
user
outside
head
Prior art date
Application number
KR1020157001384A
Other languages
English (en)
Other versions
KR102044054B1 (ko
Inventor
요이치로 사코
야스시 미야지마
히로시 무카와
다츠야 나라하라
모토유키 다카이
마사시 다케다
히로아키 오가와
세이지 와다
이치고 하야카와
아키라 텐지
다카오 다니카메
가즈히데 겜모치
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150056521A publication Critical patent/KR20150056521A/ko
Application granted granted Critical
Publication of KR102044054B1 publication Critical patent/KR102044054B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

헤드부에 장착하여 화상의 시청에 이용됨과 함께, 장착자 이외의 사람에 대해서도 다양한 정보를 제시하는 화상 표시 장치를 제공한다. 화상 표시 장치는, 상기 장치를 장착한 유저측에서 보이는 내측 화상 이외에, 상기 장치의 외측에서 보이는 외측 화상을 표시하는 기능도 구비한다. 외부인은, 외측 화상을 통해서, 유저 본인의 상태나, 본인이 무엇을 하고 있는지, 무엇을 시청하고 있는지, 시청에 집중 또는 몰입하고 있는 정도를 알 수 있다. 또한, 유저 본인은, 장치를 장착한 상태 그대로도, 외부 화상을 통해서, 자신의 상태나, 시청하고 있는 콘텐츠에 관한 정보를 전달할 수 있다.

Description

화상 표시 장치 및 화상 표시 방법, 및 기록 매체{IMAGE DISPLAY DEVICE, IMAGE DISPLAY METHOD, AND RECORDING MEDIUM}
본 명세서에서 개시하는 기술은, 헤드부에 장착하여 화상의 시청에 이용되는 화상 표시 장치 및 화상 표시 방법, 및 기록 매체에 관한 것으로, 특히, 표시 화상을 허상 광학계에 의해 확대 허상으로서 관찰자에게 관찰시키도록 표시하는 화상 표시 장치 및 화상 표시 방법, 및 기록 매체에 관한 것이다.
헤드부에 장착하여 화상의 시청에 이용되는 헤드부 장착형의 화상 표시 장치, 즉, 헤드 마운트 디스플레이가 알려져 있다. 일반적으로, 헤드부 장착형 화상 표시 장치는, 좌우 눈마다의 화상 표시부를 갖고, 또한, 헤드폰과 병용함으로써, 시각 및 청각을 제어할 수 있도록 구성되어 있다. 또한, 헤드부 장착형 화상 표시 장치는, 좌우 눈에 상이한 화상을 비추는 것도 가능하고, 좌우 눈에 시차가 있는 화상을 표시하면 3차원 화상을 제시할 수 있다.
헤드부 장착형 화상 표시 장치는, 좌우 눈의 표시부로서, 예를 들어 액정이나 유기 EL(Electro-Luminescence) 소자 등을 포함하는 고해상도의 표시 패널을 장비한다. 또한, 헤드부 장착형 화상 표시 장치를, 차광성 타입과 투과성 타입으로 분류할 수도 있다. 차광성의 헤드부 장착형 화상 표시 장치는, 헤드부에 장착했을 때, 유저의 눈을 직접 가리도록 구성되어, 화상 시청시에 몰입감이 증가한다. 허상 광학계를 사용하여 표시 화면을 확대 투영하여, 적당한 화각이 되는 확대 허상으로서 유저에게 관찰시킴과 함께, 헤드폰으로 다채널을 재현하면, 영화관에서 시청하는 것과 같은 현장감을 재현할 수 있다(예를 들어, 특허문헌 1을 참조). 한편, 투과성의 헤드부 장착형 화상 표시 장치의 경우, 유저가 헤드부에 장착하여 화상을 표시하고 있는 동안에도, 화상너머로 외경을 바라볼(즉, 시쓰루) 수 있으므로(예를 들어, 특허문헌 2를 참조), 옥외에서의 사용시나 보행 중의 사용시에 있어서, 유저는 장해물과의 충돌 등의 위험으로부터 피할 수 있다.
그런데, 박형의 표시 장치에 있어서는, 표면과 이면의 양면에서 화상을 표시 가능한 표시 장치에 대하여 제안이 이루어져 있다(예를 들어, 특허문헌 3, 4를 참조). 양면 표시 장치는, 양면에서 동일한 콘텐츠를 표시하는 것도, 양면에서 각기 다른 콘텐츠를 표시할 수도 있다. 유저는 장치 본체의 표면측 및 이면측의 양쪽에서 화상을 관찰할 수 있다는 점에서, 양면 표시 장치는 양호한 정보 제공 툴이 될 수 있다.
한편, 상술한 헤드부 장착형의 화상 표시 장치는, 표면측 즉 장착자의 눈에 대향하여 화상을 표시할 수는 있지만, 이면측 즉 화상 표시 장치의 외부에 대하여 화상을 표시하는 일은 없다. 이로 인해, 주위 사람은, 장착자가 무엇을 보고 있는지 전혀 확인할 수는 없다. 또한, 장착자의 눈이 가려져 있으므로, 주위 사람은 장착자의 상태(예를 들어, 말을 걸어도 좋은지, 나중에 해야 하는지)를 파악하는 것이 어렵다.
헤드부 장착형 화상 표시 장치는, 개인의 궁극적인 디스플레이의 하나라고 할 수 있다. 그러나, 장치를 장착한 유저 본인 이외는, 그 본인의 상태나, 본인이 무엇을 하고 있는지, 무엇을 시청하고 있는지, 시청에 집중 또는 몰입하고 있는 정도를 알 수 없다. 또한, 유저 본인이 자신의 상태를 주위에 통지하고 싶은 경우나, 시청하고 있는 콘텐츠를 외부에 알리고 싶은 경우나, 콘텐츠에 관련된 유용한 정보를 전달하고 싶은 경우도 있지만, 일단 장치를 벗고 나서가 아니면 전달할 수 없어, 시청이 중단되어버린다.
일본 특허 공개 제2012-141461호 공보 일본 특허 공개 제2012-42654호 공보 일본 특허 공개 제2000-75815호 공보 일본 특허 공개 제2007-251331호 공보 미국 특허 제6,198,523호 공보
본 명세서에서 개시하는 기술의 목적은, 헤드부에 장착하여 화상의 시청에 이용되고, 주위 사람에 대하여 장착자가 무엇을 보고 있는지, 장착자의 현재의 상태 등, 다양한 정보를 제시할 수 있는, 우수한 화상 표시 장치 및 화상 표시 방법, 및 기록 매체를 제공하는 데 있다.
본원은, 상기 과제를 참작하여 이루어진 것이며, 청구항 1에 기재된 기술은, 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 장치이며,
상기 유저측에서 보이는 내측 화상을 표시하는 제1 표시부와,
상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시하는 제2 표시부와,
상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어부를 구비하는 화상 표시 장치이다.
본원의 청구항 2에 기재된 기술에 따르면, 청구항 1에 기재된 화상 표시 장치의 상기 표시부는, 상기 내측 화상 및 상기 외측 화상을 표시하는 단일의 표시 디바이스와, 상기 표시 디바이스에 표시된 상기 내측 화상을 상기 유저측에서 보이는 장소로 유도함과 함께, 상기 표시 디바이스에 표시된 외측 화상을 상기 화상 표시 장치의 외측에서 보이는 장소로 유도하는 도광부를 구비하고 있다.
본원의 청구항 3에 기재된 기술에 따르면, 청구항 1에 기재된 화상 표시 장치는, 상기 외측 화상을 상기 화상 표시 장치의 외측을 향하여 투영하는 투영부를 더 구비하고 있다.
본원의 청구항 4에 기재된 기술에 따르면, 청구항 1에 기재된 화상 표시 장치는, 상기 유저가 입력 조작을 행하는 입력 조작부를 더 구비하고 있다. 그리고, 상기 제어부는, 상기 유저에 의한 입력 조작에 따라, 상기 내측 화상 및 상기 외측 화상의 표시를 제어하도록 구성되어 있다.
본원의 청구항 5에 기재된 기술에 따르면, 청구항 4에 기재된 화상 표시 장치의 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 내측 화상 또는 상기 외측 화상의 표시 온/오프, 상기 내측 화상 또는 상기 외측 화상의 색 조정, 상기 내측 화상 또는 상기 외측 화상의 휘도 조정, 상기 외측 화상의 표시 사이즈 전환, 또는, 상기 외측 화상의 표시 에리어 이동을 행하도록 구성되어 있다.
본원의 청구항 6에 기재된 기술에 따르면, 청구항 4에 기재된 화상 표시 장치의 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상으로서, 상기 내측 화상과 동일한 화상, 상기 내측 화상과는 상이한 화상, 주위 환경의 정보, 상기 유저의 현재의 상태 중 적어도 하나를 표시시키거나, 또는, 상기 외측 화상을 상기 내측 화상으로서 표시시키도록 구성되어 있다.
본원의 청구항 7에 기재된 기술에 따르면, 청구항 4에 기재된 화상 표시 장치의 상기 제어부는, 상기 유저의 순목(瞬目:눈의 깜빡임) 동작 또는 안구의 운동에 기초하는 입력 조작에 따라, 상기 외측 화상의 표시를 전환하도록 구성되어 있다.
본원의 청구항 8에 기재된 기술에 따르면, 청구항 4에 기재된 화상 표시 장치의 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상의 연속 표시, 간헐 표시, 또는 소정 시간마다의 표시 중 어느 하나를 행하게 하도록 구성되어 있다.
본원의 청구항 9에 기재된 기술에 따르면, 청구항 1에 기재된 화상 표시 장치는 상기 화상 표시 장치의 주위 환경에 관한 정보를 취득하는 환경 정보 취득부를 더 구비하고 있다. 그리고, 상기 제어부는, 상기 주위 환경에 기초하여, 상기 내측 화상과 상기 외측 화상의 표시를 제어하도록 구성되어 있다.
본원의 청구항 10에 기재된 기술에 따르면, 청구항 9에 기재된 화상 표시 장치의 상기 제어부는, 환경광의 명암 변화를 검출한 것에 응답하여, 상기 외측 화상의 휘도를 제어하도록 구성되어 있다.
본원의 청구항 11에 기재된 기술에 따르면, 청구항 9에 기재된 화상 표시 장치의 상기 제어부는, 현재 시각의 경과에 응답하여, 상기 외측 화상의 간헐 표시 또는 타이머 표시를 제어하도록 구성되어 있다.
본원의 청구항 12에 기재된 기술에 따르면, 청구항 9에 기재된 화상 표시 장치의 상기 제어부는, 주위에 있는 인원수에 따라, 상기 외측 화상의 표시 온/오프, 휘도 레벨, 표시 에리어, 표시 사이즈를 제어하도록 구성되어 있다.
본원의 청구항 13에 기재된 기술에 따르면, 청구항 1에 기재된 화상 표시 장치는, 상기 유저의 상태에 관한 정보를 취득하는 상태 정보 취득부를 더 구비하고 있다. 그리고, 상기 제어부는, 상기 유저의 상태에 기초하여, 상기 내측 화상과 상기 외측 화상의 표시를 제어하도록 구성되어 있다.
본원의 청구항 14에 기재된 기술에 따르면, 청구항 13에 기재된 화상 표시 장치의 상기 제어부는, 상기 상태 정보 취득부가 취득한 상기 유저의 현재의 작업 상태, 행동 상태, 정신 상태, 또는 생리 상태를, 상기 외측 화상으로서 표시하도록 구성되어 있다.
본원의 청구항 15에 기재된 기술에 따르면, 청구항 13에 기재된 화상 표시 장치의 상기 제어부는, 상기 유저의 순목 동작의 정보에 기초하여 상기 유저의 정신 상태를 특정하고, 상기 정신 상태에 따라서 상기 외측 화상의 표시를 제어하도록 구성되어 있다.
본원의 청구항 16에 기재된 기술에 따르면, 청구항 13에 기재된 화상 표시 장치의 상기 제어부는, 상기 유저의 헤드부의 가로 기울기에 따라, 상기 외측 화상 내의 문자 정보를 수평으로 유지하게 제어하도록 구성되어 있다.
본원의 청구항 17에 기재된 기술에 따르면, 청구항 13에 기재된 화상 표시 장치의 상기 제어부는, 상기 유저의 헤드부의 회전에 따라, 상기 내측 화상 또는 상기 외측 화상의 위치를 유지하게 제어하도록 구성되어 있다.
본원의 청구항 18에 기재된 기술에 따르면, 청구항 1에 기재된 화상 표시 장치는, 상기 내측 표시부에 표시하는 화상 콘텐츠에 관한 콘텐츠 정보를 취득하는 콘텐츠 정보 취득부를 더 구비하고 있다. 그리고, 상기 제어부는, 상기 콘텐츠 정보에 따라, 상기 외측 화상의 표시를 제어하도록 구성되어 있다.
또한, 본원의 청구항 19에 기재된 기술은, 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 방법이며,
상기 유저측에서 보이는 내측 화상을 표시하는 제1 표시 스텝과,
상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시하는 제2 표시 스텝과,
상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어 스텝을 갖는 화상 표시 방법이다.
또한, 본원의 청구항 20에 기재된 기술은, 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 장치를 제어하는 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체이며, 상기 컴퓨터 프로그램은 상기 컴퓨터를,
상기 유저측에서 보이는 내측 화상을 표시시키는 제1 표시부,
상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시시키는 제2 표시부,
상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어부로서 기능시키는, 기록 매체이다.
본 명세서에서 개시하는 기술에 따르면, 헤드부에 장착하여 화상의 시청에 이용되고, 주위 사람에 대하여 장착자가 무엇을 보고 있는지, 장착자의 현재의 상태 등, 다양한 정보를 제시할 수 있는, 우수한 화상 표시 장치 및 화상 표시 방법, 및 기록 매체를 제공할 수 있다.
본 명세서에서 개시하는 기술에 관한 헤드부 장착형의 화상 표시 장치는, 장착한 유저측에서 보이는 내측 표시부 이외에, 외측에서 보이는 외측 표시부를 구비하고 있고, 장착자가 보고 있는 것과 동일한 화상이나, 장착자의 상태 등을 외측 표시부에 표시하고, 외부에 다양한 정보를 제공할 수 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초한 보다 상세한 설명에 의해 명확하게 될 것이다.
도 1은 차광성 타입의 헤드부 장착형 화상 표시 장치(1)를 장착한 유저를 정면에서 바라본 모습을 도시한 도면.
도 2는 차광성 타입의 헤드부 장착형 화상 표시 장치(1)를 상방에서 바라본 모습을 도시한 도면.
도 3은 투과성 타입의 헤드부 장착형 화상 표시 장치(3)를 장착한 유저를 정면에서 바라본 모습을 도시한 도면.
도 4는 투과성 타입의 헤드부 장착형 화상 표시 장치(3)를 상방에서 바라본 모습을 도시한 도면.
도 5는 도 1 및 도 2에 도시한 차광성 타입의 헤드부 장착형 화상 표시 장치(1)의 기능 구성을 모식적으로 도시한 도면.
도 6은 도 3 및 도 4에 도시한 투과성 타입의 헤드부 장착형 화상 표시 장치(3)의 기능 구성을 모식적으로 도시한 도면.
도 7은 내측 화상과 외측 화상의 표시 간격을 예시한 도면.
도 8은 허상·실상 광학부(612)의 구성예를 도시한 도면.
도 9는 도 8에 도시한 허상·실상 광학부(612)에 있어서, 표시 패널(611)로부터 사출한 직후의 표시광의 편광 특성을 도시한 도면.
도 10은 도 8에 도시한 허상·실상 광학부(612)에 있어서, 광축 방위를 0도로 설정한 2분의 1 파장판(802)을 통과한 표시광의 편광 특성을 도시한 도면.
도 11은 도 8에 도시한 허상·실상 광학부(612)에 있어서, 광축 방위를 45)도에 기울인2분의 1 파장판(802)을 통과한 표시광의 편광 특성을 도시한 도면.
도 12는 도 8에 도시한 허상·실상 광학부(612)에 있어서, 편광 빔 스플리터(804)를 투과한 표시광의 편광 특성을 도시한 도면.
도 13은 도 8에 도시한 허상·실상 광학부(612)에 있어서, 오목 거울(806)로 반사 및 집광된 후, 편광 빔 스플리터(804)를 투과한 표시광의 편광 특성을 도시한 도면.
도 14는 2분의 1 파장판(802)의 광축 방위의 동작예를 도시한 도면.
도 15는 2분의 1 파장판(802)의 광축 방위의 동작에 동기한 표시 패널(611)의 표시 동작예를 도시한 도면.
도 16은 2분의 1 파장판(802)의 광축 방위를 0도와 45도의 중간 각도θ로 설정한 모습을 도시한 도면.
도 17은 2분의 1 파장판(802)의 광축 방위를 각도θ로 설정했을 때 출사되는 S 편광 성분을 도시한 도면.
도 18은 2분의 1 파장판(802)의 광축 방위를 각도θ로 설정했을 때 출사되는 P 편광 성분을 도시한 도면.
도 19는 도 18에 도시한 P 편광 성분이 4분의 1 파장판(805)을 통과하여 원편광으로 변환된 모습을 도시한 도면.
도 20은 도 19에 도시한 원편광이 4분의 1 파장판(805)을 통과하여 S 편광으로 변환된 모습을 도시한 도면.
도 21은 허상·실상 광학부(612)의 다른 구성예를 도시한 도면.
도 22는 허상·실상 광학부(612)의 다른 구성예를 도시한 도면.
도 23은 입력 조작부(502)를 개재한 유저로부터의 지시에 따른 헤드부 장착형 화상 표시 장치(1 또는 3)의 동작예를 도시한 상태 천이도.
도 24는 환경 정보에 따른 헤드부 장착형 화상 표시 장치(1 또는 3)의 동작예를 도시한 흐름도.
도 25는 유저의 상태 정보에 따른 헤드부 장착형 화상 표시 장치(1 또는 3)의 동작예를 도시한 흐름도.
도 26은 눈꺼풀을 닫은 상태(눈뜨기 상태)를 표현한 아이콘의 표시예를 도시한 도면.
도 27은 시선의 방향(눈동자의 방향)을 표현한 아이콘의 표시예를 도시한 도면.
도 28은 안전(眼電) 방식에 의해 검출한 시간당 순목 횟수 및 순목 시간에 따른 유저의 정신 상태(각성/졸음/집중)의 판정 방법을 예시한 도면.
도 29는 안전 방식에 의해 검출한 순목 간격 및 순목 시간에 따른 유저의 정신 상태(각성/졸음/집중)의 판정 방법을 예시한 도면.
도 30은 촬영 방식에 의해 검출한 순목 간격 및 순목 시간에 따른 유저의 정신 상태(각성/졸음/집중)의 판정 방법을 예시한 도면.
도 31은 외측 화상 내에 표시되어 있는 문자 정보(3101)를 수평으로 유지하게 제어하는 모습을 도시한 도면.
도 32는 실공간에 매핑된 내측 화상 또는 외측 화상의 위치를 유지하도록 제어하는 모습을 도시한 도면.
도 33은 콘텐츠 정보에 따른 헤드부 장착형 화상 표시 장치(1 또는 3)의 동작예를 도시한 흐름도.
도 34는 헤드부 장착형 화상 표시 장치(1 또는 3)의 표시 화상을 벽면에 투영한 모습을 도시한 도면.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대하여 상세하게 설명한다.
이미 설명한 바와 같이, 헤드부 장착형의 화상 표시 장치는, 차광성 타입(예를 들어, 특허문헌 1을 참조)과 투과성 타입(예를 들어, 특허문헌 2를 참조)으로 분류할 수 있다. 본 명세서에서 개시하는 기술은, 이들의 어느 쪽 타입에도 적용할 수 있다.
A. 장치 구성
도 1에는, 차광성 타입의 헤드부 장착형 화상 표시 장치(1)를 장착한 유저를 정면에서 바라본 모습을 도시하고 있다.
도 1에 도시하는 바와 같이, 유저는, 불투명한 헤드부 장착형 화상 표시 장치(1)를 장착하여, 좌우 눈이 직접 가려져 있다. 헤드부 장착형 화상 표시 장치(1) 본체의 유저 얼굴과 대치하는 측면을 「내측」, 그 반대측의 측면을 「외측」이라고 정의한다. 유저가 헤드부 장착형 화상 표시 장치(1)를 장착했을 때, 내측 면은 유저만이 관찰할 수 있고, 다른 쪽의 외측 면은 외부에 노출되어 외부인도 관찰할 수 있다. 장치(1) 본체 내측의 좌우 눈에 대향하는 위치에는, 유저가 관찰하는 내측 표시부(도 1에서는 도시하지 않음)가 배치되어 있다. 또한, 장치 본체(1)의 외측에는, 외부인이 관찰할 수 있는 외측 표시부가 배치되어 있다. 내측 표시부 및 외측 표시부는, 예를 들어 유기 EL 소자나 액정 디스플레이 등의 마이크로 디스플레이로 구성된다.
도 2에는, 차광성 타입의 헤드부 장착형 화상 표시 장치(1)를 상방에서 바라본 모습을 도시하고 있다. 도시와 같이, 헤드부 장착형 화상 표시 장치(1)는, 내측 즉 유저의 안면과 대향하는 측면에, 좌안용 및 우안용 내측 표시부를 갖는다. 내측 표시부는, 예를 들어 유기 EL 소자나 액정 디스플레이 등의 마이크로 디스플레이로 구성된다. 내측 표시부의 표시 화상은, 허상 광학부를 통과하는 것에 의해 확대 허상으로서 유저에게 관찰된다. 또한, 눈의 높이나 눈 폭에는 유저마다 개인차가 있기 때문에, 좌우의 각 표시계와 장착된 유저의 눈을 위치 맞춤할 필요가 있다. 이로 인해, 헤드부 장착형 화상 표시 장치(1)는, 우안용 표시부와 좌안용 표시부 사이에, 눈 폭을 조정하는 눈 폭 조정 기구를 장비하고 있다.
도 1 및 도 2에 도시한 예에서는, 헤드부 장착형 화상 표시 장치(1)는, 내측 표시부와는 표리의 관계에 있는 위치에 외측 표시부가 배치되어 있지만, 다른 장소에 외측 표시부를 배치해도 된다. 또한, 헤드부 장착형 화상 표시 장치(1)는, 좌우 한 쌍의 외측 표시부를 구비하고 있지만, 단일 또는 3 이상의 외측 표시부를 구비하고 있어도 된다.
또한, 도 1 및 도 2에서는 도시를 생략했지만, 헤드부 장착형 화상 표시 장치(1)는 화상에 부수된 음성을 출력하는 음성 출력부를 구비하고 있다. 또한, 헤드부 장착형 화상 표시 장치(1)는, 유저의 헤드부 또는 안면부에 상기 장치(1)를 장착하는 장착부(도시 생략)를 구비하고 있다. 예를 들어 장착한 유저의 헤드부 후방에 감기는 벨트 등의 부재에 의해, 헤드부에 고정된다(예를 들어, 본 출원인에 이미 양도된 일본 특허 출원 제2011-48424호 명세서를 참조). 또한, 도 1 및 도 2에 도시한 헤드부 장착형 화상 표시 장치(1)는, 좌우 양쪽 눈에 표시부를 구비한 양안 타입이지만, 좌우 어느 한쪽에만 표시부를 구비한 단안 타입으로서 구성하는 것도 가능하다.
한편, 도 3에는, 투과성 즉 시쓰루 타입의 헤드부 장착형 화상 표시 장치(3)를 장착한 유저를 정면에서 바라본 모습을 도시하고 있다.
도 3에 도시하는 예에서는, 헤드부 장착형 화상 표시 장치(3)는 시력 교정용 안경과 유사한 구조로 이루어진다. 헤드부 장착형 화상 표시 장치(3) 본체의 유저 얼굴과 대치하는 측면을 「내측」, 그 반대측의 측면을 「외측」이라고 정의한다. 유저가 헤드부 장착형 화상 표시 장치(3)를 장착했을 때, 내측 면은 유저만이 관찰할 수 있고, 다른 쪽의 외측 면은 외부에 노출되어 외부인도 관찰할 수 있다. 장치(3) 본체의 유저의 좌우 눈에 대향하는 위치에는, 투명한 도광부 등을 포함하는 허상 광학부가 배치되고, 허상 광학부의 내측에는, 유저가 관찰하는 화상이 표시된다. 또한, 허상 광학부의 외측에는, 외부인을 관찰할 수 있는 외측 화상이 표시된다. 허상 광학부는, 예를 들어, 안경 프레임 형상의 지지체에 의해 지지되어 있다.
도 4에는, 헤드부 장착형 화상 표시 장치(3)를 상방에서 바라본 모습을 도시하고 있다. 도시와 같이, 헤드부 장착형 화상 표시 장치(3)의 좌우 양단에는, 좌안용 및 우안용 화상을 각각 표시 출력하는 표시 패널이 배치되어 있다. 각 표시 패널은, 액정 디스플레이 또는 유기 EL 소자 등의 마이크로 디스플레이를 포함하지만, 각각 좌안용 및 우안용의 내측 화상과 외측 화상의 프레임을 예를 들어 시분할로 보다 다중하여 표시 출력한다. 좌우의 표시 화상은, 허상 광학부에 의해 좌우 각각의 눈 부근까지 도광됨과 함께, 내측 화상과 외측 화상으로 분리된다. 그리고, 내측 화상의 확대 허상이 유저의 눈동자에 결상됨과 함께, 외측 화상의 확대 허상은 허상 광학부의 외측에 배치된 스크린 상에 결상된다. 또한, 허상 광학부가 표시 패널의 출력 화상을 도광하고, 내측 화상과 외측 화상으로 분리함과 함께 확대 허상을 형성하는 구성의 상세에 대해서는 후술한다.
도 3 및 도 4에 도시한 예에서는, 헤드부 장착형 화상 표시 장치(3)는, 내측 화상의 표시 영역과는 표리의 관계에 있는 위치에 외측 화상의 표시 영역이 배치되어 있지만, 다른 장소에 외측 화상을 표시하도록 해도 된다. 또한, 헤드부 장착형 화상 표시 장치(3)는 좌우 한 쌍의 장소에 외측 화상을 표시시키고 있지만, 단일 또는 3 이상의 장소에 외측 화상을 표시하도록 해도 된다.
또한, 도 3 및 도 4에서는 도시를 생략했지만, 헤드부 장착형 화상 표시 장치(3)는, 화상에 부수된 음성을 출력하는 음성 출력부를 구비하고 있다. 또한, 헤드부 장착형 화상 표시 장치(3)는, 유저의 헤드부 또는 안면부에 상기 장치(3)를 장착하는 장착부를 구비하고 있다. 예를 들어, 안경 프레임과 유사한 형상을 이루는 장치(3) 본체의 좌우 각각의 단부에 회동 가능하게 지지된 템플부(도시 생략)가 유저의 좌우 귓바퀴에 걸리는 것에 의해, 헤드부에 장착된다. 또한, 도 3 및 도 4에 도시한 헤드부 장착형 화상 표시 장치(3)는 좌우 양쪽 눈에 표시부를 구비한 양안 타입이지만, 좌우 어느 한쪽에만 표시부를 구비한 단안 타입으로서 구성하는 것도 가능하다.
도 5에는, 도 1 및 도 2에 도시한 차광성 타입의 헤드부 장착형 화상 표시 장치(1)의 기능 구성을 모식적으로 도시하고 있다. 상술한 바와 같이, 헤드부 장착형 화상 표시 장치(1)는, 상기 장치(1)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상을 각각 표시하는 기능을 구비하고 있다. 이하, 각 부에 대하여 설명한다.
제어부(501)는, ROM(Read Only Memory)(501A)이나 RAM(Random Access Memory)(501B)를 구비하고 있다. ROM(501A) 내에는, 제어부(501)에서 실행하는 프로그램 코드나 각종 데이터를 저장하고 있다. 제어부(501)는, RAM(501B)에 로드한 프로그램을 실행함으로써, 상기 장치(1)를 장착한 유저측에서 보이는 내측 화상이나 외측에서 보이는 외측 화상의 표시 제어를 비롯하여, 상기 장치(1) 전체의 동작을 통괄적으로 컨트롤한다. ROM(501A)에 저장하는 데이터로서, 상기 장치(1)를 식별하는 장치 식별 정보나 기타의 장치 고유의 정보를 들 수 있다.
입력 조작부(502)는, 키나 버튼, 스위치 등, 유저가 입력 조작을 행하는 1 이상의 조작자를 구비하고, 조작자를 개재한 유저의 지시를 접수하여, 제어부(501)에 출력한다. 또한, 입력 조작부(502)는, 리모콘 수신부(503)에서 수신한 리모콘 커맨드를 함하는 유저의 지시를 마찬가지로 접수하여, 제어부(501)에 출력한다. 또한, 입력 조작부(502)는, 근전(筋電) 센서, 안전 센서 등의 상태 센서(후술)로부터 얻어지는 눈의 운동이나 순목 동작을 통해서, 유저의 지시를 접수하도록 해도 된다.
본 실시 형태에서는, 제어부(501)는, 입력 조작부(502)를 개재한 유저로부터의 지시에 따라, 상기 장치(1)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다. 예를 들어, 제어부(501)는, 유저로부터의 지시에 따라, 외측 화상의 온/오프나, 표시 방법(표시 화상의 사이즈, 휘도, 콘트라스트, 색조, 표시 위치, 연속 표시 또는 간헐 표시 등), 표시하는 정보를 컨트롤한다. 또한, 제어부(501)는, 내측 화상으로서 표시하는 콘텐츠에 연동 또는 제휴한 외측 화상을, 유저로부터의 지시에 따라서 컨트롤한다.
환경 정보 취득부(504)는, 헤드부 장착형 화상 표시 장치(1)의 외부 환경에 관한 정보를 취득하여, 제어부(501)에 출력한다. 환경 정보 취득부(504)는, 환경 정보로서, 예를 들어, 환경광 강도, 음향 강도, 위치 또는 장소, 온도, 날씨, 시각, 주위 화상, 외측에 있는 인원수 등을 취득한다. 또한, 환경 정보 취득부(504)는, 이들 환경 정보를 취득하기 위해서, 광량 센서나, 마이크로폰, GPS(Global Positioning System) 센서, 온도 센서, 습도 센서, 시계, 이미지 센서(카메라), 방사선 센서 등의 각종 환경 센서(모두 도 5에는 도시하지 않음)를 구비하고 있어도 된다. 이들 환경 센서로부터 취득된 환경 정보는, 예를 들어 RAM(501B) 내에 일시적으로 보유된다.
본 실시 형태에서는, 제어부(501)는, 환경 정보 취득부(504)가 취득한 환경 정보에 따라, 상기 장치(1)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다. 예를 들어, 제어부(501)는, 환경 정보에 따라, 외측 화상의 온/오프나, 표시 방법(표시 화상의 사이즈, 휘도, 콘트라스트, 색조, 표시 위치, 연속 표시 또는 간헐 표시 등), 표시하는 정보를 컨트롤한다. 또한, 제어부(501)는, 내측 화상으로서 표시하는 콘텐츠에 연동 또는 제휴한 외측 화상을, 환경 정보에 따라서 컨트롤한다.
상태 정보 취득부(505)는, 헤드부 장착형 화상 표시 장치(1)를 장착하는 관찰자의 상태에 관한 정보를 취득하여, 제어부(501)에 출력한다. 상태 정보 취득부(505)는, 상태 정보로서, 예를 들어, 유저의 작업 상태(유저의 장착 유무)나, 유저의 행동 상태(장착 중인 유저의 헤드부의 자세, 보행 등의 이동, 눈꺼풀의 개폐 상태), 정신 상태(내측 화상을 관찰 중에 몰두 또는 집중하고 있는지(또는, 다른 일을 하면서 보고 있는지, 흘려 보고 있는지) 등의 흥분도, 각성도, 감정이나 정서 등), 나아가서는 생리 상태를 취득한다. 또한, 상태 정보 취득부(505)는, 이 상태 정보를 유저로부터 취득하기 위해서, 기계 스위치 등을 포함하는 장착 센서나, 자이로 센서, 가속도 센서, 속도 센서, 압력 센서, 체온 센서, 발한 센서, 근전 센서, 안전 센서, 뇌파 센서 등의 각종 상태 센서(모두 도 5에는 도시하지 않음)를 구비하고 있어도 된다. 이 상태 센서로부터 취득된 상태 정보는, 예를 들어 RAM(501B) 내에 일시적으로 보유된다.
본 실시 형태에서는, 제어부(501)는, 상태 정보 취득부(505)가 취득한 유저의 현재의 상태 정보에 따라, 상기 장치(1)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다. 예를 들어, 제어부(501)는, 유저의 상태 정보에 따라, 외측 화상의 온/오프나, 표시 방법(표시 화상의 사이즈, 휘도, 콘트라스트, 색조, 표시 위치, 연속 표시 또는 간헐 표시 등), 표시하는 정보(눈뜨기 상태나 시선의 방향을 표현하는 아이콘이나 문자 정보의 표시)를 컨트롤한다. 또한, 제어부(501)는, 내측 화상으로서 표시하는 콘텐츠에 연동 또는 제휴한 외측 화상을, 유저의 상태 정보에 따라서 컨트롤한다.
통신부(506)는, 다른 장치와의 통신 처리, 및 통신 신호의 변복조 및 부호화 복호 처리를 행한다. 예를 들어, 통신부(506)는, 내측 화상으로서 표시 출력하기 위한 화상 신호를, 화상 소스로 되는 외부 기기(도시 생략)로부터 수신한다. 물론, 통신부(506)는 내측 화상과는 상이한 외측 화상도, 외부 기기로부터 수신할 수 있다.
통신부(506)에서 수신하여 복조 및 복호 처리된, 내측 화상 또는 외측 화상, 또는 기타의 수신 데이터는 제어부(501)에 공급된다. 또한, 제어부(501)는 외부 기기에의 송신 데이터를 통신부(506)로부터 송출한다.
통신부(506)의 구성은 임의이다. 예를 들어, 통신 상대가 되는 외부 기기와의 송수신 동작에 사용하는 통신 규격에 따라, 통신부(506)를 구성할 수 있다. 통신 규격은, 유선, 무선 중 어떠한 형태이어도 된다. 여기서 말하는 통신 규격으로서, MHL(Mobile High-definition Link)이나 USB(Universal Serial Bus), HDMI(등록 상표)(High Definition Multimedia Interface), Bluetooth(등록 상표) 통신, 적외선 통신 등을 들 수 있다.
콘텐츠 정보 취득부(507)는, 통신부(506)를 개재하여 입력되는 화상 콘텐츠의 정보를 취득한다. 도시하는 예에서는, 콘텐츠 정보 취득부(507)는, 제어부(501) 내에서 실행하는 프로그램에 의해 실현되지만, 제어부(501) 밖의 전용 하드웨어로서 콘텐츠 정보 취득부(507)를 구성할 수도 있다. 콘텐츠 정보 취득부(507)는, 예를 들어, 화상 콘텐츠에 부수되는 메타데이터(콘텐츠의 타이틀, 장르, 상세 정보, 관련 사이트의 URL(Uniform Resource Locator) 등)나, 화상 콘텐츠의 총 재생 시간, 현재의 재생 위치 또는 남은 재생 시간, 페어 렌탈 컨트롤이나 기타 사용 제한의 유무 등의 콘텐츠 정보를 취득한다. 또한, 콘텐츠 정보 취득부(507)는 부호화되어 화상 콘텐츠 본체 내에 매립된 문자열 등의 데이터를 복호하는 디코더를 구비하고 있다.
본 실시 형태에서는, 제어부(501)는, 콘텐츠 정보 취득부(507)가 취득한 콘텐츠 정보에 따라, 상기 장치(1)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다. 예를 들어, 제어부(501)는, 콘텐츠 정보에 따라, 외측 화상의 온/오프나, 표시 방법(표시 화상의 사이즈, 휘도, 콘트라스트, 색조, 표시 위치, 연속 표시 또는 간헐 표시 등), 표시하는 정보(콘텐츠의 상세 정보나 관련 정보를 제공하는 URL 등의 문자열, 또는, 문자열을 부호화한 QR 코드(등록 상표) 등)를 컨트롤한다. 또한, 제어부(501)는, 내측 화상으로서 표시하는 콘텐츠에 연동 또는 제휴한 외측 화상을, 콘텐츠 정보에 따라서 컨트롤한다.
화상 처리부(508)는, 제어부(501)로부터 출력되는 화상 신호에 기초하여 내측 화상을 생성하는 내측 화상 생성부(508-1)와, 제어부(501)로부터 출력되는 화상 신호에 기초하여 외측 화상을 생성하는 외측 화상 생성부(508-2)를 포함하고, 생성된 내측 화상 및 외측 화상에 대하여 화질 보정 등의 신호 처리를 더 행함과 함께, 각각 내측 화상용 표시 패널(511), 외측 화상용 표시 패널(512)의 화면에 맞춘 해상도로 변환한다. 단, 내측 화상과 동일한 화상을 외측에 표시하는 경우에는, 외측 화상 생성부(508-2)는 생략된다. 그리고, 표시 구동부(509, 510)는 각각, 내측 화상용 표시 패널(511), 외측 화상용 표시 패널(512)의 화소를 행마다 순차 선택하고, 선 순차 주사하여, 신호 처리된 화상 신호에 기초하는 화소 신호를 공급한다.
내측 화상용 표시 패널(511), 외측 화상용 표시 패널(512)은, 예를 들어 유기 EL 소자나 액정 디스플레이 등의 마이크로 디스플레이로 구성된다(내측 화상용 표시 패널(511)과 외측 화상용 표시 패널(512)이 동일한 소재일 필요는 없다). 내측 화상용 표시 패널(511)은, 헤드부 장착형 화상 표시 장치(1)의 내측(즉, 유저의 얼굴과 대치하는 장치(1) 본체의 측면)에 배치된다.
내측 화상용 표시 패널(511)의 표시면 전방에는 허상 광학부(513)가 배치되어 있다. 허상 광학부(513)는, 내측 화상용 표시 패널(511)의 표시 화상을 확대 투영하여, 유저에게는 확대 허상으로서 관찰된다. 한편, 외측 화상용 표시 패널(512)은, 헤드부 장착형 화상 표시 장치(1)의 외측(즉, 내측과는 반대측의 장치(1) 본체의 측면)에 배치된다.
또한, 옵션으로서, 외측 화상용 표시 패널(512)의 표시면 전방에, 투영 광학부(514)를 배치해도 된다. 투영 광학부(514)는, 외측 화상용 표시 패널(512)에 표시된 외측 화상의 실상을, 헤드부 장착형 화상 표시 장치(1)에 이웃하는 벽면(도시 생략) 등에 확대 투영한다. 즉, 헤드부 장착형 화상 표시 장치(1)를 소형 프로젝터로서도 활용할 수 있다. 도 34에는, 헤드부 장착형 화상 표시 장치(1)의 표시 화상을 벽면에 투영한 모습을 도시하고 있다(단, 내측 화상과 외측 화상이 동일할 경우).
또한, 도 5 중에서는, 도면의 간소화를 위해서, 내측 화상용 표시 패널(511) 및 허상 광학부(513)를 1개밖에 도시하고 있지 않지만, 헤드부 장착형 화상 표시 장치(1)가 양안식인 경우에는, 좌우 눈마다 내측 화상용 표시 패널(511) 및 허상 광학부(513)가 배치된다.
또한, 도 6에는, 도 3 및 도 4에 도시한 투과성 타입의 헤드부 장착형 화상 표시 장치(3)의 기능 구성을 모식적으로 도시하고 있다. 상술한 바와 같이, 헤드부 장착형 화상 표시 장치(3)는, 상기 장치(3)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상을 각각 표시하는 기능을 구비하고 있다. 도 5에 도시한 헤드부 장착형 화상 표시 장치(1)와 마찬가지의 기능 요소에 대해서는 동일한 참조 번호를 부여하고 있다. 이하에서는, 주로 헤드부 장착형 화상 표시 장치(1)와는 상이한 기능 요소에 대하여 설명한다.
화상 다중화부(609)는, 내측 화상 생성부(508-1) 및 외측 화상 생성부(508-2)에서 각각 생성된 내측 화상과 외측 화상의 프레임을, 단일의 표시 패널(611)로 표시 출력하도록, 다중화 처리한다. 다중화 방법은 임의이지만, 이하에서는 시분할 다중처리 하는 것으로서 설명한다. 예를 들어, 도 7에 도시하는 바와 같이, 화상 다중화부(609)는, 시간축 상에서 연속되는 내측 화상 프레임 N매에 대해서, 외측 화상 프레임을 1매 삽입한다. 이 경우의, 내측 화상과 외측 화상의 휘도비(또는, 화상의 선명도)는, 단순하게는 N:1이 된다(단, 내측 화상과 외측 화상 각각의 출력 시의 휘도가 동일하다고 가정함). 여기서, N은 1 이상의 양의 정수이다(도시하는 예에서는, N=4). N의 값이 커지면, 최종적으로 표시 출력되는 외측 화상은 보다 밝고 선명한 화상이 된다. 단, 내측 화상과 동일한 화상을 외측에 표시하는 경우에는, 화상 다중화부(609)에 있어서의 다중화 처리는 생략된다.
투과성 즉 시쓰루 타입의 헤드부 장착형 화상 표시 장치(3)는, 화상의 표시 계통으로서, 내측 화상 및 외측 화상을 다중하여 표시하는 표시 패널(611)과, 표시 패널(611)에서 표시된 표시광을 입사시켜, 내측 화상과 외측 화상으로 분리하여, 관찰자의 눈동자로 내측 화상의 확대 허상을 유도함과 함께, 외측 화상의 실상을 외부로 유도하는 허상·실상 광학부(612)를 구비하고 있다.
표시 패널(611)은, 예를 들어, 유기 EL(Electro Luminescence) 디스플레이, 무기 EL 디스플레이나, 액정 디스플레이(LCD: Liquid Crystal Display) 등의 마이크로 디스플레이를 포함한다. 이하에서는, 직선 편광을 포함하는 화상 광을 출력하는 액정 디스플레이를 표시 패널(611)에 적용하는 것을 전제로 하여 설명한다. 또한, 표시 구동부(610)는, 표시 패널(611)의 화소를 행마다 순차 선택하고, 선 순차 주사하여, 신호 처리된 화상 신호에 기초하는 화소 신호를 공급한다.
허상·실상 광학부(612)는, 다중화된 내측 화상과 외측 화상을 예를 들어 광학 작용에 의해 분리하고, 내측 화상을 확대한 허상을 유저의 눈동자에 결상함과 함께, 외측 화상의 실상을 외측에 배치된 스크린(도 4를 참조) 상에 결상한다.
또한, 옵션으로서, 외측 화상의 실상이 투사되는 스크린의 전방에, 투영 광학부(514)를 더 배치해도 된다. 투영 광학부(514)는, 외측 화상용 표시 패널(512)에 표시된 외측 화상의 실상을, 헤드부 장착형 화상 표시 장치(1)에 이웃하는 벽면(도시 생략) 등에 확대 투영한다(동상). 즉, 헤드부 장착형 화상 표시 장치(3)를 소형 프로젝터로서도 활용할 수 있다(도 34를 참조).
B. 투과성의 헤드부 장착형 화상 표시 장치에 있어서의 광학계의 구성
도 8에는, 허상·실상 광학부(612)의 구성예를 도시하고 있다. 도시하는 허상·실상 광학부(612)는, 콜리메이트 광학부(801)와, 2분의 1 파장판(Half Wave Plate: HWP)(802)과, 도광부(wave guide)(803)와, 도광부(803)의 내부에 배치된 편광 빔 스플리터(Poparization Beam Splitter: PBS)(804) 및 4분의 1 파장판(Quarter Wave Plate)(805)과, 도광부(803)의 단부면에 형성된 오목 거울(concave mirror)(806)과, 외측 화상을 투영하기 위한 스크린(807)을 구비하고 있다.
편광 빔 스플리터(804)는, 표시 패널(611)로부터의 입사광의 광축에 대하여 45도만큼 기울여서 배치된다. 또한, 4분의 1 파장판(805)은, 표시 패널(611)로부터의 입사광의 광축과 직교하도록 배치된다. 또한, 오목 거울(806)은, 표시 패널(611)로부터의 표시광의 입사측과는 반대측이 되는 도광부(803)의 단부면에 형성되어 있다.
콜리메이트 광학부(801)는, 예를 들어 볼록 렌즈로 구성되고, 표시 패널(611)의 각 화소로부터 사출된 광속을 입사시켜 평행 광속군으로 하는 광학계이며, 볼록 렌즈의 초점 거리의 소정 위치에 표시 패널(611)이 배치된다. 콜리메이트 광학부(801)로부터 사출된 평행 광속군은, 각각 2분의 1 파장판(802)을 개재하여 도광부(803)에 입사된다. 표시 패널(611)로부터 사출된 직후의 표시광은 S 편광 성분만을 포함한다(도 9를 참조).
표시 패널(611)과 편광 빔 스플리터(804)의 사이에는, 2분의 1 파장판(802)이 배치되어 있다. 도 8에 도시하는 예에서는, 표시 패널(611)을 출사한 표시광은, 콜리메이트 광학부(801)에서 평행 광속군이 된 후에, 2분의 1 파장판(802)에 입사된다. 여기서 사용되는 2분의 1 파장판(802)은, 그 광축 방향을 다이내믹하게 편광 가능하다. 광축 방향을 다이내믹하게 편광 가능한 2분의 1 파장판(802)의 일례로서, 강유전 액정으로 구성된 광 더블러를 들 수 있다(예를 들어, 특허문헌 5를 참조).
여기서, 2분의 1 파장판(802)의 광축 방위를 0도로 설정하면, 2분의 1 파장판(802)으로부터는, S 편광을 포함하는 표시광이 그대로 통과한다(도 10을 참조). 또한, 2분의 1 파장판(802)의 광축 방위를 45도만큼 기울이면, 2분의 1 파장판(802)으로부터는 P 편광으로 변환된 표시광이 통과한다(도 11을 참조). 따라서, 2분의 1 파장판(802)의 광축의 각도 변경에 의해, 2분의 1 파장판(802)을 통과하는 표시광의 편광을 S 편광과 P 편광으로 교대로 전환할 수 있다. 또한, 2분의 1 파장판(802)의 광축 각도 설정의 주기를 전환함으로써, 2분의 1 파장판(802)을 통과하는 S 편광과 P 편광의 듀티를 임의로 조정할 수 있다.
도광부(803)는 거의 투명한 소재로 이루어진다. 2분의 1 파장판(802)을 통과한 후의 S 편광 또는 P 편광을 포함하는 평행 광속군은, 도광부(803)의 한쪽 단부면으로부터 입사되면, 도광부(803)의 내부에서 전반사되어, 직진 방향으로 전파된다.
편광 빔 스플리터(804)는, 평행 광속군의 광로 상에, 표시 패널(611)로부터의 입사광의 광축에 대하여 45도만큼 기울여서 배치되어 있다. 편광 빔 스플리터(804)는, P 편광을 투과하고, S 편광을 반사하는 성질을 갖는다(주지). 2분의 1 파장판(802)의 광축의 각도 변경에 의해 평행 광속군이 S 편광과 P 편광으로 교대로 전환되는 것은, 이미 설명한 바와 같다.
2분의 1 파장판(802)의 광축 방위를 0도로 설정하고, 그 통과광이 S 편광이 될 때에는, 편광 빔 스플리터(804)의 표면측에서 반사된다(도 8 중의 반사광A). 이 반사광A는, 도광부(803)의 내측 측면으로부터 출사된 후, 표시 패널(611)의 표시 화상의 확대 허상으로서 관찰자의 눈동자에서 관찰된다. 따라서, 표시 패널(611)에서 내측 화상을 표시하는 타이밍에서는, 2분의 1 파장판(802)의 광축 방위를 0도로 설정하면 된다.
한편, 2분의 1 파장판(802)의 광축 방위를 45도만큼 기울이고, 그 통과광이 P 편광일 때에는, 편광 빔 스플리터(804)를 투과한다. 이 투과광은, 다시 후방의 4분의 1 파장판(805)에서 일단 원편광으로 변환된다(도 12를 참조). 이 원편광은, 도광부(803)의 다른 쪽 단부면에 형성된 오목 거울(806)에서 반사 및 집광된 후, 다시 4분의 1 파장판(805)을 통과함으로써, S 편광으로 변환된다(도 13을 참조). 이 S 편광은, 편광 빔 스플리터(804)의 이면측에서 반사되면(도 8 중의 반사광B), 관찰자의 눈동자와는 반대측 즉 외측으로 진행된다.
도 8에 도시하는 바와 같이, 관찰자의 눈동자와는 반대측 즉 외측에는, 산란체를 포함하는 스크린(807)이 배치되어 있다. 편광 빔 스플리터(804)의 이면측에서 반사된 S 편광B는, 도광부(803)의 외측 측면으로부터 출사된 후, 스크린(807) 상에 투사되고, 표시 패널(611)의 표시 화상의 실상을 투영 표시하게 된다. 따라서, 표시 패널(611)에서 외측 화상을 표시하는 타이밍에서는, 2분의 1 파장판(802)의 광축 방위를 45도만큼 기울도록 설정하면 된다.
스크린(807)에 투사되는 외측 화상의 고휘도를 확보하기 위해서는, 편광 빔 스플리터(804)의 반사율을 높이고, 바람직하게는 반사율을 90% 이상으로 한다. 아울러, 스크린(807)의 사이즈를 그다지 크게 하지 않고, 바람직하게는 2인치 이하로 한다. 나아가서는, 스크린(807)의 게인을 높게 하고, 바람직하게는 게인 2 이상으로 한다(완전 확산시의 게인을 1이라 하고, 게인 1일 때에 비하여 정면 휘도가 2배 이상이 되는 확산 특성으로 함).
스크린(807)으로서, 고분자 분산형 액정(Polymer Dispersed Liquid Crystal: PDLC)을 사용할 수 있다. PDLC는, 인가 전압에 따라, 폴리머 네트워크의 작용에 의해 액정 분자의 배열이 불규칙한 상태를 유기하여 광을 산란시킬 수 있다. 따라서, 표시 패널(611)에서 외측 화상을 표시함과 함께, 그 표시광을 2분의 1 파장판(802)에서 P 편광으로 변환하여, 그 실상을 투영 표시할 때에만, 스크린(807)의 산란 작용을 발생시키면 된다. 한편, 표시 패널(611)에서 내측 화상을 표시함과 함께, 2분의 1 파장판(802)에서 표시광을 S 편광 상태 그대로 통과시키고, 표시 패널(611)의 확대 허상으로서 관찰자의 눈동자에 투영할 때에는, 스크린(807)의 산란 작용을 억제함으로써, 헤드부 장착형 화상 표시 장치(3)의 투과성 즉 시쓰루로서의 특성을 살릴 수 있다.
또는, 스크린(807)으로서, 홀로그램 스크린을 사용할 수 있다. 홀로그램 스크린은, 수지 필름 상에 간섭 줄무늬를 적층한 구조체를 포함하고, 특정 파장의 광을 회절하고, 기타 파장 광에 대해서는 투명하게 되는 성질을 갖는다. 따라서, 표시 패널(611)에서 외측 화상을 표시함과 함께, 그 표시광을 2분의 1 파장판(802)에서 P 편광으로 변환하여, 그 실상을 투영 표시할 때에만, 표시 패널(611)의 표시 화상을 특정 파장으로 출력하면 된다. 한편, 표시 패널(611)에서 내측 화상을 표시함과 함께, 2분의 1 파장판(802)에서 표시광을 S 편광 상태 그대로 통과시키고, 표시 패널(611)의 확대 허상으로서 관찰자의 눈동자에 투영할 때에는, 표시 패널(611)의 표시 화상을 특정 파장 이외로 출력함으로써, 스크린(807)의 투명성을 유지하고, 헤드부 장착형 화상 표시 장치(3)의 투과성 즉 시쓰루로서의 특성을 살릴 수 있다.
또한, 옵션으로서, 스크린(807)의 전방에, 또한 투영 광학부(514)를 배치해도 된다. 투영 광학부(514)는, 표시 패널(611)에 표시된 외측 화상의 실상을, 헤드부 장착형 화상 표시 장치(3)에 이웃하는 벽면 등에 확대 투영한다(도 34를 참조). 즉, 헤드부 장착형 화상 표시 장치(3)를 소형 프로젝터로서도 활용할 수 있다(전술).
도 8에 도시한 구성예에 의하면, 2분의 1 파장판(802)의 광축 방위를 0도로 설정했을 때에는, 표시 패널(611)의 표시 화상의 확대 허상이 관찰자에게 관찰된다. 한편, 2분의 1 파장판(802)의 광축 방위를 45도만큼 기울였을 때에는, 표시 패널(611)의 표시 화상의 실상이 스크린(807) 상에 투사된다. 따라서, 2분의 1 파장판(802)의 광축의 각도 변경에 동기하여, 표시 패널(611)에서 내측 화상과 외측 화상의 프레임을 교대로 절환함으로써, 내측 화상을 관찰자의 눈동자에 확대 허상으로서 출력함과 함께, 외측 화상을 스크린(807)에 실상으로서 출력할 수 있다. 즉, 2분의 1 파장판(802)의 광축 방위를 0도로 설정하는 기간에 동기하여, 표시 패널(611)에서 내측 화상을 표시함과 함께, 2분의 1 파장판(802)의 광축 방위를 45도만큼 기울이는 기간에 동기하여, 표시 패널(611)에서 외측 화상을 표시하도록 하면 된다.
도 14에는, 2분의 1 파장판(802)의 광축 방위의 동작예를 도시하고 있다. 동일 도면에서는, 2분의 1 파장판(802)의 광축 방위를 0도로 설정하는 구간과, 45도로 설정하는 구간이 교대로 전환된다.
2분의 1 파장판(802)의 광축 방위를 0도로 설정하는 구간에서는, 표시 패널(611)을 출사한 S 편광이 편광 빔 스플리터(802)에 입사되고, 표시 패널(611)의 표시 화상의 확대 허상이 관찰자에게 관찰되는 허상 표시 구간이 된다. 따라서, 이 허상 표시 구간에 동기하여, 표시 패널(611)에서 내측 화상을 표시하면 된다.
2분의 1 파장판(802)의 광축 방위를 45도로 설정하는 구간에서는, 표시 패널(611)을 출사한 P 편광이 편광 빔 스플리터(802)에 입사되고, 표시 패널(611)의 표시 화상의 실상이 스크린(807)에 투사되는 실상 표시 구간이 된다. 따라서, 이 실상 표시 구간에 동기하여, 표시 패널(611)에서 외측 화상을 표시하면 된다.
또한, 표시 패널(611)은, 2분의 1 파장판(802)의 광축 방위를 0도로 설정하는 허상 표시 구간 내에서 내측 화상을 표시해야 하지만, 구간 전체에 걸쳐 화상을 점등시킬 필요는 없다. 도 15에는, 2분의 1 파장판(802)의 광축 방위의 동작에 동기한 표시 패널(611)의 표시 동작예를 도시하고 있다. 도시하는 예에서는, 표시 패널(611)은, 허상 표시 구간의 일부에서만 허상용 즉 내측 화상을 점등시키고 있다. 허상 표시 구간 내에서의 화상의 점등 시간의 비율에 따라, 관찰자가 관찰하는 확대 허상의 휘도를 조정할 수 있다. 한편, 외측 화상은, 스크린(807)에 투사되는 투영 화상이며, 휘도가 비교적 낮으므로, 실상 표시 구간 전체에 걸쳐 표시부(611)가 화상을 점등하는 것이 바람직하다고 사료된다.
여기까지는, 도 10 및 도 11에 도시하는 바와 같이, 2분의 1 파장판(802)의 광축 방위를 0도와 45도의 2단계로 전환함으로써, 내측 화상 또는 외측 화상을 시분할로 교대로 표시시키는 예에 대하여 설명하였다. 이에 대하여 2분의 1 파장판(802)의 광축 방위를 0도와 45도의 중간 각도θ로 설정함으로써(도 16을 참조), 그 출사광의 S 편광 성분과 P 편광 성분의 비율을 조정할 수 있다. 2분의 1 파장판(802)의 광축 방위를 바꾸기 위해서는, 2분의 1 파장판(802) 자체를 물리적으로 회전시키면 된다.
2분의 1 파장판(802)을 통과한 후의 S 편광 성분은(도 17을 참조), 편광 빔 스플리터(804)의 표면측에서 반사되기 때문에(도 8 중의 반사광A), 표시 패널(611)의 표시 화상의 확대 허상으로서 관찰자에게 관찰된다. 또한, 2분의 1 파장판(802)을 통과한 후의 P 편광 성분은(도 18을 참조), 편광 빔 스플리터(804)를 투과하여, 후방의 4분의 1 파장판(805)에서 일단 원편광으로 변환된 후(도 19를 참조), 오목 거울(806)에서 반사되고 다시 4분의 1 파장판(805)을 통과함으로써, S 편광으로 변환되면(도 20을 참조), 편광 빔 스플리터(804)의 이면측에서 반사되기 때문에(도 8 중의 반사광B), 외측 화상으로서 스크린(807)에 투영된다.
예를 들어, 2분의 1 파장판(802)의 광축 방위를 θ로 설정했을 때에는, S 편광 성분과 P 편광 성분의 비율, 바꿔 말하면, 내측 화상과 외측 화상의 휘도비는 cos2θ: sin2θ가 된다. 내측 화상과 동일한 외측 화상을 표시할 때에는, 2분의 1 파장판(802)의 광축 방위θ를 변경함으로써, 외측 화상의 휘도를 조정할 수 있다.
도 8에 도시한 허상·실상 광학부(612)의 구성예에서는, 다중된 내측 화상과 외측 화상을 분리하므로, 내측 화상과는 상이한 외측 화상을 제시할 수 있다. 이에 비해, 내측 화상과 공통인 외측 화상을 제시하는 것이면, 허상·실상 광학부(612)의 구성을 간소화할 수 있다.
도 21에는, 허상·실상 광학부(612)의 다른 구성예를 도시하고 있다. 도시하는 허상·실상 광학부(612)는, 도광부(2101)와, 도광부의 내부에 배치된 하프 미러(2102)와, 도광부(2101)의 단부면에 형성된 오목 거울(2103)과, 내측 화상을 결상하는 콜리메이트 광학부(2104)와, 외측 화상을 투영하기 위한 스크린(2105)을 구비하고 있다.
표시 패널(611)을 출사한 표시광은, 도광부(2101)의 한쪽 단부면으로부터 입사된다. 하프 미러(2102)는, 표시 패널(611)로부터의 입사광의 광축에 대하여 45도만큼 기울여서 배치되어 있고, 입사한 표시광의 일부를 반사시킴과 함께, 일부를 투과시킨다. 반사광과 투과광의 강도는 거의 동일하지만, 예를 들어 반사광쪽 강도가 커지도록 조정해도 된다.
하프 미러(2102)의 표면측에서 반사된 표시광은(도 21 중의 반사광A), 도광부(2101)의 내측 측면으로부터 출사된 후, 콜리메이트 광학부(2104)에서 집광되고, 표시 패널(611)의 표시 화상의 확대 허상으로서 관찰자의 눈동자에서 관찰된다.
한편, 하프미러(2102)를 통과한 광은, 도광부(2101)의 다른 쪽 단부면에 형성된 오목 거울(2103)에서 반사 및 집광된 후, 하프 미러(2102)의 이면측에서 반사된다(도 21 중의 반사광B). 이 반사광B는, 도광부(2101)의 외측 측면으로부터 출사된 후, 스크린(2105) 상에 투사되고, 표시 패널(611)의 표시 화상의 실상을 투영 표시하게 된다.
스크린(2105)에 투사되는 외측 화상의 고휘도를 확보하기 위해서는, 하프 미러(2102)의 반사율을 높이고, 바람직하게는 반사율을 90% 이상으로 한다. 아울러, 스크린(2105)의 사이즈를 그다지 크게 하지 않고, 바람직하게는 2인치 이하로 한다. 나아가서는, 스크린(2105)의 게인을 높게 하고, 바람직하게는 게인 2 이상으로 한다(완전 확산시의 게인을 1이라 하고, 게인이 1일 때에 비해 정면 휘도가 2배 이상이 되는 확산 특성으로 함).
또한, 도 22에는, 허상·실상 광학부(612)의 또 다른 구성예를 도시하고 있다. 도시하는 허상·실상 광학부(612)는, 도광부(2201)와, 도광부(2201)의 내부에 배치된 하프 미러(2202)와, 도광부(2201)의 단부면에 형성된 평면 거울(2203)과, 내측 화상을 결상하는 콜리메이트 광학부(2204)와, 외측 화상을 투영하기 위한 투영 광학부(2205) 및 스크린(2206)을 구비하고 있다.
표시 패널(611)을 출사한 표시광은, 도광부(2201)의 한쪽 단부면으로부터 입사된다. 하프 미러(2202)는, 표시 패널(611)로부터의 입사광의 광축에 대하여 45도만큼 기울여서 배치되어 있고, 입사된 표시광의 일부를 반사시킴과 함께, 일부를 투과시킨다(동상). 반사광과 투과광의 강도는 거의 동일하지만, 예를 들어 반사광쪽 강도가 커지도록 조정해도 된다.
하프 미러(2202)의 표면측에서 반사된 표시광은(도 22 중의 반사광A), 도광부(2201)의 내측 측면으로부터 출사된 후, 콜리메이트 광학부(2204)에서 집광되고, 표시 패널(611)의 표시 화상의 확대 허상으로서 관찰자의 눈동자에서 관찰된다.
한편, 하프미러(2202)를 통과한 광은, 도광부(2201)의 다른 쪽 단부면에 형성된 평면 거울(2203)에서 전반사된 후, 또한 하프 미러(2202)의 이면측에서 반사되고, 도광부(2201)의 외측 측면으로부터 출사된다(도 22 중의 반사광B). 이 반사광B는, 투영 광학부(2205)에 의해 스크린(2206) 상에 확대 투사되고, 표시 화상의 투영상을 표시하게 된다.
스크린(2206)에 투사되는 외측 화상의 고휘도를 확보하기 위해서는, 하프 미러(2202)의 반사율을 높이고, 아울러, 스크린(2206)의 사이즈를 그다지 크게 하지 않고, 또한, 스크린(2206)의 게인을 높게 하는 것이 바람직하다(동상).
C. 헤드부 장착형 화상 표시 장치에 있어서의 외측에의 화상 표시
헤드부 장착형 화상 표시 장치는, 개인의 궁극적인 디스플레이의 하나라고 할 수 있다. 그러나, 종래의 헤드부 장착형 화상 표시 장치는, 외부에 대하여 정보를 전달하는 수단을 구비하고 있지 않으므로, 주위 사람은, 장착한 유저로부터 전혀 정보를 수취할 수 없다. 또한, 유저 본인도, 일단 장치를 벗고, 콘텐츠의 시청을 중단하지 않으면, 외부에 정보를 전할 수는 없다.
이에 비해, 본 실시 형태에 따른 헤드부 장착형 화상 표시 장치(1 및 3)는, 상기 장치를 장착한 유저측에서 보이는 내측 화상 이외에, 상기 장치의 외측에서 보이는 외측 화상을 표시하는 기능도 구비하고 있다. 따라서, 주위 사람은, 외측 화상을 통해서, 유저 본인의 상태나, 본인이 무엇을 하고 있는지, 무엇을 시청하고 있는지, 시청에 집중 또는 몰입하고 있는 정도를 알 수 있다. 또한, 유저 본인은, 장치를 장착한 상태 그대로도(즉, 콘텐츠의 시청을 계속하면서), 외측 화상을 통해서, 자신의 상태나, 시청하고 있는 콘텐츠에 관한 정보를 전달할 수 있다.
C-1. 유저 조작에 따른 화상 제어
상술한 바와 같이, 제어부(501)는 입력 조작부(502)를 개재한 유저로부터의 지시에 따라, 외측 화상의 온/오프나, 표시 방법(표시 화상의 사이즈, 휘도, 콘트라스트, 색조, 표시 위치, 연속 표시 또는 간헐 표시 등), 표시하는 정보를 컨트롤한다. 또한, 제어부(501)는 내측 화상으로서 표시하는 콘텐츠에 연동 또는 제휴한 외측 화상을, 유저로부터의 지시에 따라서 컨트롤한다. 유저로부터의 지시에 따른 외측 화상 및 내측 영상의 표시 제어 방법의 일례를, 이하의 표 1에 정리해 둔다.
유저 조작에 따른 외측 ·내측 영상의 제어
검출 대상 검출 방법 영상 제어 방법
외측 영상의 출력 지시



입력 조작부, 리모콘



내외 영상의 온 오프
내측 영상의 외측 표시
내측 영상의 변환 영상의 외측 표시
상태의 외측 표시
표시 에리어, 표시 사이즈 전환
내측 영상의 외측 표시 지시 입력 조작부, 리모콘 내측 영상의 외측 표시
조작 금지 지시 입력 조작부, 리모콘 외부/내부로부터의 조작 금지
도 23에는, 입력 조작부(502)를 개재한 유저로부터의 지시에 따른 헤드부 장착형 화상 표시 장치(1 또는 3)의 동작예를 상태 천이도의 형식으로 예시하고 있다.
초기 상태에서는, 헤드부 장착형 화상 표시 장치(1 또는 3)는, 내측 화상 온, 외측 화상 오프로 한다. 여기서, 입력 조작부(502)를 통하여 외측 화상의 표시가 지시되면, 외측 화상을 온으로 하여, 양측 화상 온 상태로 이행한다. 또한, 양측 화상 온 상태에서 외측 화상의 표시 오프가 지시되면, 외측 화상을 오프로 하여, 초기 상태로 복귀한다.
또한, 도 23에서는 도시를 생략했지만, 양측 화상 온 상태에서 내측 화상의 표시 오프가 지시되면, 내측 화상을 오프로 하고, 외측 화상만 온 상태가 된다.
양측 화상 온 상태에서는, 또한 입력 조작부(502)를 개재한 유저로부터의 지시에 따라, 외측 화상이나 내측 화상으로서 표시하는 화상의 전환 제어나, 외측 화상 및 내측 화상의 색 조정, 외측 화상 및 내측 화상의 휘도 컨트롤, 외측 화상의 표시 사이즈 전환이나, 외측 화상의 표시 에리어의 이동 등을 행한다(전체면 표시, 좌우 어느 한쪽의 표시, 화면의 일부를 사용한 표시 등).
또한, 초기 상태에서, 입력 조작부(502)를 통하여 내측 화상의 표시 오프가 지시되면, 내측 화상을 오프로 하여, 양측 화상 오프 상태로 이행한다. 또한, 양측 화상 오프 상태에서 내측 화상의 표시 온이 지시되면, 내측 화상을 온으로 하여, 초기 상태로 복귀한다.
외측 화상이 온이 되는 양측 화상 온 상태 및 외측 화상만 온 상태에서는, 외측 화상으로서, 내측 화상과 동일한 화상, 또는 내측 화상과는 상이한 외측 전용 화상을 표시한다(예를 들어, 유저가 현재 시청하고 있는 내측 화상을 주위 사람에 대하여 은폐 또는 위장하고 싶을 때에는, 바꿔친 화상 콘텐츠를 외측 화상으로서 표시함). 또한, 외측 화상으로서, 환경 센서(전술)가 취득한 주위 환경의 정보, 상태 센서(전술)가 취득한 유저의 상태 등을 표시할 수 있다. 또한, 입력 조작부(502)를 개재한 유저로부터의 지시(근전 센서나 안전 센서에서 검출되는 순목 동작이나 안구의 움직임을 포함함)에 따라, 외측 화상으로서 표시하는 정보를, (예를 들어 슬라이드 쇼와 같이)전환하도록 해도 된다. 또한, 입력 조작부(502)를 개재한 유저로부터의 지시에 따라, 외측 화상을 내측에도 표시하여, 장착 중인 유저가 외측 화상을 육안으로 확인할 수 있도록 해도 된다.
외측 화상이 온이 되는 양측 화상 온 상태 및 외측 화상만 온 상태에서는, 외측 화상을 항상 즉 연속 표시할 필요는 반드시 없고, 간헐 표시나, 소정 시간이 되면 표시하는 타이머 표시를 행하도록 해도 된다. 제어부(501)는, 입력 조작부(502)를 개재한 유저로부터의 지시에 따라, 연속 표시, 간헐 표시, 타이머 표시 중 어느 하나를 행하도록 해도 된다.
내측 화상이 온으로 되어 있는 초기 상태 또는 양측 화상 온 상태에서는, 입력 조작의 금지를 지시하는 입력 조작에 따라, 내측 화상에 대한 유저 입력 조작을 금지하는 금지 상태로 이행하고, 또한 금지 해제를 지시하는 입력 조작에 따라, 내측 화상에 대한 유저 입력 조작의 금지를 해제한다. 또한, 외측 화상이 온으로 되어 있는 양안 화상 온 상태에서는, 입력 조작의 금지를 지시하는 입력 조작에 따라, 외측 화상에 대한 유저 입력 조작을 금지하는 금지 상태로 이행하고, 또한 금지 해제를 지시하는 입력 조작에 따라, 외측 화상에 대한 유저 입력 조작의 금지를 해제한다.
C-2. 주위 환경에 따른 화상 제어
제어부(501)는, 환경 정보 취득부(504)가 취득한 환경 정보에 따라, 상기 장치(1 또는 3)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다. 환경 정보에 따른 외측 화상 및 내측 영상의 표시 제어 방법의 일례를, 이하의 표 2에 정리해 둔다.
외측 환경에 따른 외측·내측 영상의 제어
검출 대상 검출 방법 영상 제어 방법
환경광 강도 광량 센서 외측·내측 영상의 휘도 제어
음향 강도 마이크로 폰 외측 영상의 기밀 레벨, 휘도 제어
위치·장소 GPS 외측·내측 영상의 휘도 제어
온도 온도 센서 외측·내측 영상의 색 제어
날씨 카메라, 인터넷 외측·내측 영상의 휘도 제어
시각 내부 시계 외측 영상의 간헐 표시 제어
주위 영상 카메라 외측 영상의 온 오프, 표시 에리어, 표시 사이즈 변경
인원수 카메라 외측 영상의 기밀 레벨, 휘도 제어
도 24에는, 환경 정보에 따른 헤드부 장착형 화상 표시 장치(1 또는 3)의 동작예를 흐름도의 형식으로 예시하고 있다. 도시하는 처리 동작은, 예를 들어 정기적으로 기동한다.
먼저, 환경 정보 취득부(504)가, 각종 환경 센서(전술)의 출력 정보를 환경 정보로서 취득한다(스텝 S2401). 그리고, 제어부(501)는, 취득한 환경 정보를 해석해서(스텝 S2402), 주위 환경을 특정하고, 내측 화상 또는 외측 화상의 전환을 행해야 할 환경의 변화가 발생하였는지 여부를 체크한다(스텝 S2403).
그리고, 내측 화상 또는 외측 화상의 전환을 행해야 할 환경의 변화가 발생했을 때에는(스텝 S2403의 Yes), 제어부(501)는 현재의 환경에 따른 외측 화상의 표시를 제어한다(스텝 S2404).
예를 들어, 환경 정보 취득부(504)로부터, 환경광의 명암 변화가 검출되었을 때나, 위치 정보나 카메라의 촬영 화상에 기초하여 옥외로부터 옥내로(또는 옥내로부터 옥외로) 이동한 것이 검출되었을 때, 또는 시계가 계시하는 현재 시각에 따라서 일중 또는 일몰 후인 것을 판별하여, 제어부(501)는 현재의 주위 환경에 적합하게, 외측 화상의 휘도 레벨을 조정한다.
또한, 제어부(501)는, 시계에서 계시되는 현재 시각에 따라, 외측 화상의 간헐 표시나 타이머 표시를 행하도록 해도 된다.
또한, 제어부(501)는, 주위 카메라의 촬영 화상의 인식 결과에 기초하여, 헤드부 장착형 화상 표시 장치(1 또는 3)의 주위에 인물이 있는지 여부를 판정하고, 인물이 나타난 것에 응답하여, 외측 화상의 표시를 개시한다. 또한, 제어부(501)는, 출현한 인물이 있는 장소(방위)나 거리에 따라, 외측 화상의 표시 에리어나 표시 사이즈를 제어한다. 또한, 제어부(501)는, 주위에 있는 인원수에 따라서 외측 화상의 표시 에리어나 표시 사이즈를 제어한다. 인원수가 많을 때에는, 화상의 기밀 레벨이 저하되는 것이 상정되기 때문에, 제어부(501)는 주위에 있는 인원수에 따라서 외부 화상의 휘도 레벨을 제어하도록 해도 된다.
C-3. 유저 상태에 따른 화상 제어
제어부(501)는, 상태 정보 취득부(505)가 취득한 유저의 현재의 상태 정보에 따라, 상기 장치(1 또는 3)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치(1 또는 3)의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다. 상태 정보에 따른 외측 화상 및 내측 영상의 표시 제어 방법의 일례를, 이하의 표 3에 정리해 둔다.
유저 상태에 따른 외측·내측 영상의 제어
검출 대상 검출 방법 영상 제어 방법
작업 상태 장착 유무 장착 센서 외측·내측 영상의 온 오프
행동 상태



헤드부의 자세 자이로 센서 헤드부의 방향 회전에 따른 외측 영상의 표시 변경
정지, 보행, 주행, 이동체를 이용한 이동 GPS,
가속도 센서
외측·내측 영상의 진동 흔들림 제어
눈뜨기 상태
카메라 눈뜨기 상태의 아이콘 표시
눈을 깜빡일 때마다의 표시 전환
카메라 시선의 아이콘 표시
정신 상태

흥분도 뇌파, 발한 센서

유저 상태 표시

각성도
감정·정동
외부와의 커뮤니케이션 상태 마이크로 폰 커뮤니케이션 상태 표시
시선, 눈꺼풀의 개폐 상태 카메라 유저 상태 표시(시선 방향, 눈꺼풀)
체온 온도 센서 체온 표시
도 25에는, 유저의 상태 정보에 따른 헤드부 장착형 화상 표시 장치(1 또는 3)의 동작예를 흐름도의 형식으로 예시하고 있다. 도시하는 처리 동작은, 예를 들어 정기적으로 기동한다.
먼저, 상태 정보 취득부(505)가 각종 상태 센서(전술)의 출력 정보를 상태 정보로서 취득한다(스텝 S2501). 그리고, 제어부(501)는 취득한 상태 정보를 해석해서(스텝 S2502), 유저의 현재의 작업 상태, 행동 상태, 정신 상태, 및 생리 상태를 특정하여, 주위 사람에게 통지해야 할 유저 상태가 발생하였는지 여부를 체크한다(스텝 S2503).
그리고, 주위 사람에게 통지해야 할 유저 상태가 발생했을 때에는(스텝 S2503의 Yes), 제어부(501)는 그 유저 상태에 따른 외측 화상의 표시를 제어한다(스텝 S2504).
예를 들어, 제어부(501)는, 근전 센서나 안전 센서, 카메라 등의 상태 센서의 출력 정보에 기초하여, 눈꺼풀 상태나 시선의 방향을 특정하면, 눈꺼풀을 닫은 상태(눈뜨기 상태)나, 시선의 방향(눈동자의 방향)을 표현한 아이콘(예를 들어, 도 26, 도 27을 참조)을 외측 화상에 표시한다. 또한, 도 26이나 도 27에 도시한 바와 같은 아이콘을, 내측 화상과 동일해지는 외측 화상 상에 중첩하여 표시해도 된다.
또한, 제어부(501)는 상태 센서의 출력 정보에 기초하여, 유저의 정신 상태(내측 화상을 관찰 중에 몰두 또는 집중하고 있는지 등의 흥분도, 각성도, 감정이나 정서 등)를 특정하면, 그 정신 상태를 표현한 아이콘(도시 생략)을 외측 화상에 표시한다. 또한, 정신 상태에 기초하여, 유저에게 말을 걸어도 좋은지, 내측 화상의 시청을 중단해도 되는지, 방해해도 되는지와 같은 상황을 판정하고, 판정한 상황을 표현한 아이콘(도시 생략), 또는 「지금 몰입중」, 「말을 걸지 말아 주세요!」와 같은 메시지 문장을 외측 화상에 표시한다.
예를 들어, 근전 센서나 안전 센서 등의 상태 센서의 출력 정보에 기초하여, 순목 동작을 검출할 수 있다는 것이 알려져 있다. 제어부(501)는 시간당 순목 횟수 및 순목 시간에 따라, 유저의 정신 상태를 판정할 수 있다. 도 28에는, 안전 방식에 의해 검출한 시간당 순목 횟수 및 순목 시간에 따른 유저의 정신 상태(각성/졸음/집중)의 판정 방법을 예시하고 있다.
또한, 제어부(501)는 순목 간격 및 순목 시간에 따라, 유저의 정신 상태를 판정할 수 있다. 도 29에는, 안전 방식에 의해 검출한 순목 간격 및 순목 시간에 따른 유저의 정신 상태(각성/졸음/집중)의 판정 방법을 예시하고 있다.
여기서, 안전 방식에 의해 검출한 순목 시간을 tb, 순목 간격을 ti라고 한다. 또한, 순목 시간 임계값을 Thb, 순목 간격 임계값을 Thi, 순목 간격 최대 임계값을 Mi라고 하고, 샘플링수n으로, 평균 순목 시간 A(tb), 평균 순목 간격 A(ti)를 각각 하기 식(1), (2)과 같이 계산한다.
Figure pct00001
그리고, 상기 식(1), (2)에 따라서 산출한 평균 순목 시간 A(tb), 평균 순목 간격 A(ti)에 기초하여, 이하에 나타내는 검출 우선 순위 순으로, 상태를 추정한다.
Figure pct00002
또한, 카메라의 촬영 화상에 기초하여 순목 동작을 검출하는 촬영 방식도 알려져 있다. 도 30에는, 촬영 방식에 의해 검출한 순목 간격 및 순목 시간에 따른 유저의 정신 상태(각성/졸음/집중)의 판정 방법을 예시하고 있다. 촬영 방식에서는, 상기 식(1), (2)에 따라서 산출한 평균 순목 시간 A(tb), 평균 순목 간격 A(ti)에 기초하여, 이하에 나타내는 검출 우선 순위 순으로, 상태를 추정한다.
Figure pct00003
순목 동작에서는, 눈을 감은 것(閉眼)과 수면을 구별하기 어려운 경우도 있다. 눈을 감은 것과 수면은, 모두 화면을 보지 않고 있는 상태이지만, 유저가 표시 콘텐츠를 인식하고 있는지 여부의 차이가 있다. 눈을 감았을 때의 뇌파를 안전 전극으로부터 취득할 수 있다. 폐안 안정 시에는 뇌파로부터 α파 성분(주파수 10㎐ 정도, 진폭 수십㎶)을 관측할 수 있지만, 수면 시에는 뇌파로부터 α파가 소실된다.
이상의 추정 결과에 기초하여, 유저에게 말을 걸어도 되는 상태인지 여부를 이하와 같이 판단할 수 있다.
통상 집중 폐안 수면
말을 걸어도 되는지 여부 ×
중단해도 되는지 여부 ×
방해해도 되는지 여부 × ×
또한, 제어부(501)는 상태 센서의 출력 정보에 기초하여, 유저의 행동 상태를 특정하면, 그 행동 상태에 적합하게, 외측 화상 및 내측 화상을 표시한다.
자이로 센서나 가속도 센서, 카메라 등의 상태 센서의 출력 정보에 기초하여, 유저의 헤드부(또는 유저가 장착하고 있는 헤드부 장착형 화상 표시 장치(1 또는 3))의 자세를 검출할 수 있다.
헤드부가 가로(롤 방향)로 기울었다고 검출되었을 때에는, 제어부(501)는 외측 화상 내에 표시되어 있는 문자 정보(3101)를 수평으로 유지하게 제어한다(도 31을 참조).
헤드가 (요 방향)으로 회전했다고 검출되었을 때에는, 제어부(501)는 실공간에 매핑된 내측 화상 또는 외측 화상의 위치를 유지하도록 한다. 예를 들어, 도 32 중의 참조 번호 3201로 나타내는 화상이, 내측 화상 또는 외측 화상의 표시용으로 준비되고, 현재 헤드의 회전 위치에서는 참조 번호 3202로 나타내는 에리어가 표시되어 있다고 하자. 이러한 경우, 헤드가 요 방향(좌측 방향)으로 회전하면, 참조 번호 3203으로 나타내는 표시 에리어로 이동한다. 또한, 헤드가 요 방향(우측 방향)으로 회전하면, 참조 번호 3204로 나타내는 표시 에리어로 이동한다.
또한, 자이로 센서나 가속도 센서, 카메라 등의 상태 센서의 출력 정보에 기초하여, 유저가 정지(와위, 좌위, 입위를 포함함), 보행, 주행, 이동체를 이용한 이동 등의 행동 상태를 검출할 수 있다. 제어부(501)는 외측 화상의 표시를, 이러한 행동 상태에 적합하게 하도록 제어한다.
C-4. 표시 콘텐츠에 따른 화상 제어
제어부(501)는 내측 화상으로서 표시되는 콘텐츠의 정보에 따라, 상기 장치(1 또는 3)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다. 콘텐츠 정보에 따른 외측 화상 및 내측 영상의 표시 제어 방법의 일례를, 이하의 표 5에 정리해 둔다.
영상 콘텐츠에 따른 외측·내측 영상의 제어
검출 대상 검출 방법 영상 제어 방법
메타데이터 디코더 문자 정보, QR 코드 표시
부호화 정보 디코더 문자 정보, QR 코드 표시
재생 시간, 재생 위치 디코더 재생 위치, 잔여 시간 표시
콘텐츠의 내용 메타데이터 해석, 영상 해석 내측 영상을 변환하여 외측 표시
내측 영상·음성 영상·음향 해석 외측 영상의 화상 음성(畵音) 특징량 연동
도 33에는, 콘텐츠 정보에 따른 헤드부 장착형 화상 표시 장치(1 또 는 3)의 동작예를 흐름도의 형식으로 예시하고 있다. 도시하는 처리 동작은, 예를 들어 정기적으로 기동한다.
먼저, 콘텐츠 정보 취득부(507)가 콘텐츠 정보를 취득하면(스텝 S3301), 제어부(501)는 취득한 상태 정보를 해석한다(스텝 S3302).
콘텐츠 정보 취득부(507)는, 예를 들어, 화상 콘텐츠에 부수되는 메타데이터(콘텐츠의 타이틀, 장르, 상세 정보, 관련 사이트의 URL(Uniform Resource Locator) 등)나, 화상 콘텐츠의 총 재생 시간, 현재의 재생 위치 또는 남은 재생 시간, 페어 렌탈 컨트롤이나 기타 사용 제한의 유무 등의 콘텐츠 정보를 취득한다.
그리고, 제어부(501)는 주위 사람에게 통지해야 할 콘텐츠 정보를 취득했는지 여부를 체크한다(스텝 S3103).
여기서, 주위 사람에게 통지해야 할 콘텐츠 정보가 취득되었을 때에는(스텝 S3303의 Yes), 제어부(501)는, 콘텐츠 정보 취득부(507)가 취득한 콘텐츠 정보에 따라, 상기 장치(1)를 장착한 유저측에서 보이는 내측 화상과, 상기 장치의 외측에서 보이는 외측 화상의 표시 동작을 컨트롤한다(스텝 S3304).
예를 들어, 제어부(501)는, 콘텐츠 정보에 따라, 외측 화상의 온/오프나, 표시 방법(표시 화상의 사이즈, 휘도, 콘트라스트, 색조, 표시 위치, 연속 표시 또는 간헐 표시 등), 표시하는 정보(콘텐츠의 상세 정보나 관련 정보를 제공하는 URL 등의 문자열, 또는, 이 문자열을 부호화한 QR 코드(등록 상표) 등)를 컨트롤한다. 또한, 제어부(501)는, 내측 화상으로서 표시하는 콘텐츠에 연동 또는 제휴한 외측 화상을, 콘텐츠 정보에 따라서 컨트롤한다.
D. 본 명세서에서 개시하는 기술의 구성예
본 명세서의 개시 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 장치이며, 상기 유저측에서 보이는 내측 화상을 표시하는 제1 표시부와, 상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시하는 제2 표시부와, 상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어부를 구비하는 화상 표시 장치.
(2) 상기 표시부는, 상기 유저측에서 보이는 장소에 배치되어 상기 내측 화상을 표시하는 제1 표시 디바이스와, 상기 화상 표시 장치의 외측에서 보이는 장소에 배치되어 상기 외측 화상을 표시하는 제2 표시 디바이스를 구비하는, 상기 (1)에 기재된 화상 표시 장치.
(3) 상기 표시부는, 상기 내측 화상 및 상기 외측 화상을 표시하는 단일의 표시 디바이스와, 상기 표시 디바이스에 표시된 상기 내측 화상을 상기 유저측에서 보이는 장소로 유도함과 함께 상기 표시 디바이스에 표시된 외측 화상을 상기 화상 표시 장치의 외측에서 보이는 장소로 유도하는 도광부를 구비하는, 상기 (1)에 기재된 화상 표시 장치.
(4) 상기 외측 화상을 상기 화상 표시 장치의 외측을 향하여 투영하는 투영부를 더 구비하는, 상기 (1)에 기재된 화상 표시 장치.
(5) 상기 유저가 입력 조작을 행하는 입력 조작부를 더 구비하고, 상기 제어부는, 상기 유저에 의한 입력 조작에 따라, 상기 내측 화상 및 상기 외측 화상의 표시를 제어하는, 상기 (1)에 기재된 화상 표시 장치.
(6) 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 내측 화상 또는 상기 외측 화상의 표시 온/오프, 상기 내측 화상 또는 상기 외측 화상의 색 조정, 상기 내측 화상 또는 상기 외측 화상의 휘도 조정, 상기 외측 화상의 표시 사이즈 전환, 또는, 상기 외측 화상의 표시 에리어 이동을 행하는, 상기 (5)에 기재된 화상 표시 장치.
(7) 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상으로서, 상기 내측 화상과 동일한 화상, 상기 내측 화상과는 상이한 화상, 주위 환경의 정보, 상기 유저의 현재의 상태 중 적어도 하나를 표시시키는, 상기 (5)에 기재된 화상 표시 장치.
(8) 상기 제어부는, 상기 유저의 순목 동작 또는 안구의 운동에 기초하는 입력 조작에 따라, 상기 외측 화상의 표시를 전환하는, 상기 (5)에 기재된 화상 표시 장치.
(9) 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상을 상기 내측 화상으로서 표시시키는, 상기 (5)에 기재된 화상 표시 장치.
(10) 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상 또는 상기 내측 화상에 대한 조작을 금지하거나, 또는, 금지를 해제하는, 상기 (5)에 기재된 화상 표시 장치.
(11) 상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상의 연속 표시, 간헐 표시, 또는 소정 시간마다의 표시 중 어느 하나를 행하도록 하는, 상기 (5)에 기재된 화상 표시 장치.
(12) 상기 화상 표시 장치의 주위 환경에 관한 정보를 취득하는 환경 정보 취득부를 더 구비하고, 상기 제어부는, 상기 주위 환경에 기초하여, 상기 내측 화상과 상기 외측 화상의 표시를 제어하는, 상기 (1)에 기재된 화상 표시 장치.
(13) 상기 제어부는, 환경광의 명암 변화를 검출한 것에 응답하여, 상기 외측 화상의 휘도를 제어하는, 상기 (12)에 기재된 화상 표시 장치.
(14) 상기 제어부는, 현재 시각의 경과에 응답하여, 상기 외측 화상의 간헐 표시 또는 타이머 표시를 제어하는, 상기 (12)에 기재된 화상 표시 장치.
(15) 상기 제어부는, 주위에 있는 인원수에 따라, 상기 외측 화상의 표시 온/오프, 휘도 레벨, 표시 에리어, 표시 사이즈를 제어하는, 상기 (12)에 기재된 화상 표시 장치.
(16) 상기 유저의 상태에 관한 정보를 취득하는 상태 정보 취득부를 더 구비하고, 상기 제어부는, 상기 유저의 상태에 기초하여, 상기 내측 화상과 상기 외측 화상의 표시를 제어하는, 상기 (1)에 기재된 화상 표시 장치.
(17) 상기 제어부는, 상기 상태 정보 취득부가 취득한 상기 유저의 현재의 작업 상태, 행동 상태, 정신 상태, 또는 생리 상태를, 상기 외측 화상으로서 표시하는, 상기 (16)에 기재된 화상 표시 장치.
(18) 상기 제어부는, 상기 유저의 순목 동작의 정보에 기초하여 상기 유저의 정신 상태를 특정하고, 상기 정신 상태에 따라서 상기 외측 화상의 표시를 제어하는, 상기 (16)에 기재된 화상 표시 장치.
(19) 상기 제어부는, 상기 상태 정보 취득부가 취득한 상기 유저의 현재의 행동 상태에 적합하게 상기 외측 화상의 표시를 제어하는, 상기 (16)에 기재된 화상 표시 장치.
(20) 상기 제어부는, 상기 유저의 헤드부의 가로 기울기에 따라, 상기 외측 화상 내의 문자 정보를 수평으로 유지하게 제어하는, 상기 (16)에 기재된 화상 표시 장치.
(21) 상기 제어부는, 상기 유저의 헤드부의 회전에 따라, 상기 내측 화상 또는 상기 외측 화상의 위치를 유지하도록 제어하는, 상기 (16)에 기재된 화상 표시 장치.
(22) 상기 내측 표시부에 표시하는 화상 콘텐츠에 관한 콘텐츠 정보를 취득하는 콘텐츠 정보 취득부를 더 구비하고, 상기 제어부는, 상기 콘텐츠 정보에 따라, 상기 외측 화상의 표시를 제어하는, 상기 (1)에 기재된 화상 표시 장치.
(23) 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 방법이며, 상기 유저측에서 보이는 내측 화상을 표시하는 제1 표시 스텝과, 상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시하는 제2 표시 스텝과, 상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어 스텝을 갖는 화상 표시 방법.
(24) 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 장치를 제어하는 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체이며, 상기 컴퓨터 프로그램은 상기 컴퓨터를, 상기 유저측에서 보이는 내측 화상을 표시시키는 제1 표시부, 상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시시키는 제2 표시부, 상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어부로서 기능시키는, 기록 매체.
이상, 특정한 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대하여 상세하게 설명하였다. 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시 형태의 수정이나 대용을 할 수 있는 것은 자명하다.
헤드부 장착형의 화상 표시 장치는, 차광성 타입과 투과성 타입으로 분류할 수 있지만, 본 명세서에서 개시하는 기술은 이들 중 어느 타입에도 적용할 수 있다. 또한, 헤드부 장착형의 화상 표시 장치는, 좌우 양쪽 눈에 표시부를 구비한 양안 타입과, 좌우 어느 한쪽에만 표시부를 구비한 단안 타입으로 분류할 수 있지만, 본 명세서에서 개시하는 기술은 이들 중 어느 타입에도 적용할 수 있다. 또한, 헤드부 장착형 화상 표시 장치는, 안경형이나 귀걸이형이어도 되는 것은 물론이다.
요컨대, 예시라는 형태에 의해 본 명세서에서 개시하는 기술에 대하여 설명한 것이고, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 특허 청구의 범위를 참작해야 한다.
1: 헤드부 장착형 화상 표시 장치(차광성 타입)
3: 헤드부 장착형 화상 표시 장치(투과성 타입)
501: 제어부
501A: ROM
501B: RAM
502: 입력 조작부
503: 리모콘 수신부
504: 환경 정보 취득부
505: 상태 정보 취득부
506: 통신부
507: 콘텐츠 정보 취득부
508: 화상 처리부
508-1: 내측 화상 생성부
508-2: 외측 화상 생성부
509, 510: 표시 구동부
511, 512: 표시 패널
513: 허상 광학부
514: 투영 광학부
609: 화상 다중화부
610: 표시 구동부
611: 표시 패널
612: 허상·실상 광학부
801: 콜리메이트 광학부
802: 2분의 1 파장판
803: 도광부
804: 편광 빔 스플리터
805: 4분의 1 파장판
806: 오목 거울
807: 스크린
2101: 도광부
2102: 하프 미러
2103: 오목 거울
2104: 콜리메이트 광학부
2105: 스크린
2201: 도광부
2202: 하프 미러
2203: 오목 거울
2204: 콜리메이트 광학부
2205: 투영 광학부
2206: 스크린

Claims (20)

  1. 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 장치로서,
    상기 유저측에서 보이는 내측 화상을 표시하는 제1 표시부와,
    상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시하는 제2 표시부와,
    상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어부를 구비하는, 화상 표시 장치.
  2. 제1항에 있어서,
    상기 표시부는, 상기 내측 화상 및 상기 외측 화상을 표시하는 단일의 표시 디바이스와, 상기 표시 디바이스에 표시된 상기 내측 화상을 상기 유저측에서 보이는 장소로 유도함과 함께, 상기 표시 디바이스에 표시된 외측 화상을 상기 화상 표시 장치의 외측에서 보이는 장소로 유도하는 도광부를 구비하는, 화상 표시 장치.
  3. 제1항에 있어서,
    상기 외측 화상을 상기 화상 표시 장치의 외측을 향하여 투영하는 투영부를 더 구비하는, 화상 표시 장치.
  4. 제1항에 있어서,
    상기 유저가 입력 조작을 행하는 입력 조작부를 더 구비하고,
    상기 제어부는, 상기 유저에 의한 입력 조작에 따라, 상기 내측 화상 및 상기 외측 화상의 표시를 제어하는, 화상 표시 장치.
  5. 제4항에 있어서,
    상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 내측 화상 또는 상기 외측 화상의 표시 온/오프, 상기 내측 화상 또는 상기 외측 화상의 색 조정, 상기 내측 화상 또는 상기 외측 화상의 휘도 조정, 상기 외측 화상의 표시 사이즈 전환, 또는, 상기 외측 화상의 표시 에리어 이동을 행하는, 화상 표시 장치.
  6. 제4항에 있어서,
    상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상으로서, 상기 내측 화상과 동일한 화상, 상기 내측 화상과는 상이한 화상, 주위 환경의 정보, 상기 유저의 현재의 상태 중 적어도 하나를 표시시키거나, 또는, 상기 외측 화상을 상기 내측 화상으로서 표시시키는, 화상 표시 장치.
  7. 제4항에 있어서,
    상기 제어부는, 상기 유저의 순목 동작 또는 안구의 운동에 기초하는 입력 조작에 따라, 상기 외측 화상의 표시를 전환하는, 화상 표시 장치.
  8. 제4항에 있어서,
    상기 제어부는, 상기 유저의 상기 입력 조작부에 대한 입력 조작에 따라, 상기 외측 화상의 연속 표시, 간헐 표시, 또는 소정 시간마다의 표시 중 어느 하나를 행하도록 하는, 화상 표시 장치.
  9. 제1항에 있어서,
    상기 화상 표시 장치의 주위 환경에 관한 정보를 취득하는 환경 정보 취득부를 더 구비하고,
    상기 제어부는, 상기 주위 환경에 기초하여, 상기 내측 화상과 상기 외측 화상의 표시를 제어하는, 화상 표시 장치.
  10. 제9항에 있어서,
    상기 제어부는, 환경광의 명암 변화를 검출한 것에 응답하여, 상기 외측 화상의 휘도를 제어하는, 화상 표시 장치.
  11. 제9항에 있어서,
    상기 제어부는, 현재 시각의 경과에 응답하여, 상기 외측 화상의 간헐 표시 또는 타이머 표시를 제어하는, 화상 표시 장치.
  12. 제9항에 있어서,
    상기 제어부는, 주위에 있는 인원수에 따라, 상기 외측 화상의 표시 온/오프, 휘도 레벨, 표시 에리어, 표시 사이즈를 제어하는, 화상 표시 장치.
  13. 제1항에 있어서,
    상기 유저의 상태에 관한 정보를 취득하는 상태 정보 취득부를 더 구비하고,
    상기 제어부는, 상기 유저의 상태에 기초하여, 상기 내측 화상과 상기 외측 화상의 표시를 제어하는, 화상 표시 장치.
  14. 제13항에 있어서,
    상기 제어부는, 상기 상태 정보 취득부가 취득한 상기 유저의 현재의 작업 상태, 행동 상태, 정신 상태, 또는 생리 상태를, 상기 외측 화상으로서 표시하는, 화상 표시 장치.
  15. 제13항에 있어서,
    상기 제어부는, 상기 유저의 순목 동작의 정보에 기초하여 상기 유저의 정신 상태를 특정하고, 상기 정신 상태에 따라서 상기 외측 화상의 표시를 제어하는, 화상 표시 장치.
  16. 제13항에 있어서,
    상기 제어부는, 상기 유저의 헤드부의 가로 기울기에 따라, 상기 외측 화상 내의 문자 정보를 수평으로 유지하게 제어하는, 화상 표시 장치.
  17. 제13항에 있어서,
    상기 제어부는, 상기 유저의 헤드부의 회전에 따라, 상기 내측 화상 또는 상기 외측 화상의 위치를 유지하도록 제어하는, 화상 표시 장치.
  18. 제1항에 있어서,
    상기 내측 표시부에 표시하는 화상 콘텐츠에 관한 콘텐츠 정보를 취득하는 콘텐츠 정보 취득부를 더 구비하고,
    상기 제어부는, 상기 콘텐츠 정보에 따라, 상기 외측 화상의 표시를 제어하는, 화상 표시 장치.
  19. 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 방법으로서,
    상기 유저측에서 보이는 내측 화상을 표시하는 제1 표시 스텝과,
    상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시하는 제2 표시 스텝과,
    상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어 스텝을 갖는, 화상 표시 방법.
  20. 유저의 헤드부 또는 안면부에 장착하여 사용되는 화상 표시 장치를 제어하는 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서, 상기 컴퓨터 프로그램은 상기 컴퓨터를,
    상기 유저측에서 보이는 내측 화상을 표시시키는 제1 표시부,
    상기 화상 표시 장치의 외부에서 보이는 외측 화상을 표시시키는 제2 표시부,
    상기 내측 화상과 상기 외측 화상의 표시를 제어하는 제어부로서 기능시키는, 기록 매체.
KR1020157001384A 2012-09-12 2013-07-01 화상 제어 장치 및 화상 제어 방법 KR102044054B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-200902 2012-09-12
JP2012200902 2012-09-12
PCT/JP2013/068002 WO2014041871A1 (ja) 2012-09-12 2013-07-01 画像表示装置及び画像表示方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
KR20150056521A true KR20150056521A (ko) 2015-05-26
KR102044054B1 KR102044054B1 (ko) 2019-11-12

Family

ID=50278005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157001384A KR102044054B1 (ko) 2012-09-12 2013-07-01 화상 제어 장치 및 화상 제어 방법

Country Status (7)

Country Link
US (2) US9798144B2 (ko)
EP (1) EP2896986B1 (ko)
JP (2) JP6350283B2 (ko)
KR (1) KR102044054B1 (ko)
CN (1) CN104603675B (ko)
BR (1) BR112015004958A8 (ko)
WO (1) WO2014041871A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084649A1 (ko) * 2016-11-04 2018-05-11 삼성전자 주식회사 눈을 촬영하여 정보를 획득하는 방법 및 장치
WO2024043519A1 (ko) * 2022-08-24 2024-02-29 삼성전자주식회사 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
WO2024058472A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 어플리케이션에 대한 정보를 외부 디스플레이를 통해 제공하는 웨어러블 장치 및 상기 웨어러블 장치의 제어 방법

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
CN107884937A (zh) * 2012-09-12 2018-04-06 索尼公司 图像控制设备和图像控制方法
KR20150041453A (ko) * 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법
CN103646587B (zh) * 2013-12-05 2017-02-22 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
GB2521831A (en) * 2014-01-02 2015-07-08 Nokia Technologies Oy An apparatus or method for projecting light internally towards and away from an eye of a user
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
CN104951259B (zh) * 2014-03-28 2019-10-18 索尼公司 显示设备及其显示控制方法
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
JP6276170B2 (ja) * 2014-12-03 2018-02-07 日本電信電話株式会社 表示装置および表示方法
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US9740282B1 (en) * 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US10878775B2 (en) * 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) * 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3059658A1 (en) * 2015-02-18 2016-08-24 Nokia Technologies OY Apparatus, methods and computer programs for providing images
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
WO2016170966A1 (ja) * 2015-04-20 2016-10-27 ソニー株式会社 光源装置、投射型表示装置および表示システム
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US10545714B2 (en) 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
CN107615134B (zh) * 2015-10-23 2020-03-24 深圳市柔宇科技有限公司 头戴式显示装置
WO2017067002A1 (zh) * 2015-10-23 2017-04-27 深圳市柔宇科技有限公司 头戴式显示装置
DE102015014450B4 (de) * 2015-11-07 2017-11-23 Audi Ag Virtual-Reality-Brille und Verfahren zum Betreiben einer Virtual-Reality-Brille
US20170230640A1 (en) * 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Portable image device with external display
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
HUE062485T2 (hu) 2016-05-18 2023-11-28 Colop Digital Gmbh Eljárás egy szubsztrát hitelesítésére speckle-minták felhasználásával és egy eszköz az eljárás végrehajtásához
US10522109B2 (en) * 2016-06-14 2019-12-31 Lenovo (Singapore) Pte. Ltd. Adjusting brightness settings based on context data
US10268438B2 (en) * 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US10183231B1 (en) * 2017-03-01 2019-01-22 Perine Lowe, Inc. Remotely and selectively controlled toy optical viewer apparatus and method of use
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
CN107065196B (zh) * 2017-06-16 2019-03-15 京东方科技集团股份有限公司 一种增强现实显示装置及增强现实显示方法
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
CN107422478B (zh) * 2017-06-21 2023-07-25 深圳传音通讯有限公司 可外部观察的虚拟现实头戴设备
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11607600B2 (en) * 2017-08-24 2023-03-21 Vuzix Corporation Swim AR goggles
CN116990888A (zh) 2017-12-10 2023-11-03 奇跃公司 光波导上的抗反射涂层
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
US11435583B1 (en) * 2018-01-17 2022-09-06 Apple Inc. Electronic device with back-to-back displays
US20210058611A1 (en) * 2018-02-02 2021-02-25 Interdigital Ce Patent Holdings Multiviewing virtual reality user interface
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN108668008B (zh) * 2018-03-30 2021-04-16 Oppo广东移动通信有限公司 电子装置、显示参数调整方法和装置及计算机可读存储介质
JP2019184807A (ja) * 2018-04-10 2019-10-24 株式会社ジャパンディスプレイ ヘッドマウントディスプレイ
US10345902B1 (en) * 2018-04-24 2019-07-09 Dell Products, Lp Method and apparatus for maintaining a secure head-mounted display session
US10747309B2 (en) * 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
US10642369B2 (en) * 2018-06-14 2020-05-05 Dell Products, L.P. Distinguishing between one-handed and two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10962783B2 (en) 2018-06-19 2021-03-30 Apple Inc. Electronic devices having electrically adjustable optical layers
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN112955073A (zh) 2018-08-22 2021-06-11 奇跃公司 患者观察系统
US11982809B2 (en) * 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ, インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
CN111323919A (zh) * 2018-12-17 2020-06-23 施轩杰 一种显示与双面成像共享结构方案
CN113168800A (zh) * 2018-12-28 2021-07-23 深圳市柔宇科技股份有限公司 显示屏的屏幕控制方法及终端及计算机可读存储介质
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ, インコーポレイテッド 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ
CN110162248A (zh) * 2019-04-22 2019-08-23 西安万像电子科技有限公司 显示处理方法、装置及系统
WO2020235306A1 (ja) * 2019-05-17 2020-11-26 株式会社東海理化電機製作所 制御システムおよび提示システム
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ, インコーポレイテッド 拡張現実のためのシステムおよび方法
US11740742B2 (en) * 2019-09-23 2023-08-29 Apple Inc. Electronic devices with finger sensors
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ, インコーポレイテッド 外科手術環境において使用するための視認システム
US11347060B2 (en) * 2019-12-02 2022-05-31 Arm Limited Device and method of controlling device
JP2023509805A (ja) * 2020-01-06 2023-03-09 ソースピクチャー インコーポレイテッド コンテンツディスプレイに再生デバイスを適応させるシステム及び方法
US20210390784A1 (en) * 2020-06-15 2021-12-16 Snap Inc. Smart glasses with outward-facing display
US11579693B2 (en) 2020-09-26 2023-02-14 Apple Inc. Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US11380022B2 (en) * 2020-10-22 2022-07-05 Sony Group Corporation Content modification in a shared session among multiple head-mounted display devices
JP2022102681A (ja) * 2020-12-25 2022-07-07 ソフトバンク株式会社 眼鏡型デバイス、プログラム、及び制御方法
US11796801B2 (en) * 2021-05-24 2023-10-24 Google Llc Reducing light leakage via external gaze detection
US11852822B2 (en) 2021-07-09 2023-12-26 Realwear, Inc. Convertible waveguide optical engine assembly for head-mounted device
US11940627B2 (en) * 2021-07-09 2024-03-26 Realwear, Inc. Opaque waveguide optical engine assembly for head-mounted device
US11808945B2 (en) * 2021-09-07 2023-11-07 Meta Platforms Technologies, Llc Eye data and operation of head mounted device
WO2024071537A1 (ko) * 2022-09-26 2024-04-04 엘지전자 주식회사 투사광학계를 이용한 큰 종횡비를 갖는 차량용 영상 장치
US11972526B1 (en) 2023-03-31 2024-04-30 Apple Inc. Rendering of enrolled user's face for external display

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328257A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JP2000075815A (ja) 1998-08-31 2000-03-14 Toppan Printing Co Ltd 両面液晶ディスプレイ装置
US6198523B1 (en) 1999-10-28 2001-03-06 Hewlett-Packard Co. Ferroelectric liquid crystal light doubler with temperature and voltage controlled tilt angle
JP2007251331A (ja) 2006-03-14 2007-09-27 Seiko Epson Corp 両面映像ディスプレイ装置、および音声出力方法
JP2010500894A (ja) * 2006-08-17 2010-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動的身体状態ディスプレイ装置
JP2012042654A (ja) 2010-08-18 2012-03-01 Sony Corp 表示装置
JP2012093767A (ja) * 2011-11-28 2012-05-17 Olympus Corp 情報表示装置
US20120154277A1 (en) * 2010-12-17 2012-06-21 Avi Bar-Zeev Optimized focal area for augmented reality displays
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2647556B1 (fr) * 1989-05-23 1993-10-29 Thomson Csf Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
EP0818701B1 (en) * 1996-07-09 2002-10-02 Harness System Technologies Research, Ltd. Display device
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP2001100144A (ja) 1999-09-30 2001-04-13 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP4245750B2 (ja) * 1999-10-15 2009-04-02 オリンパス株式会社 立体観察装置
US7233908B1 (en) * 2000-11-03 2007-06-19 Quality Data Management, Inc. Method and system for presentation of survey and report data
JP2004199027A (ja) 2002-10-24 2004-07-15 Seiko Epson Corp 表示装置、及び電子機器
KR100580619B1 (ko) * 2002-12-11 2006-05-16 삼성전자주식회사 사용자와 에이전트 간의 대화 관리방법 및 장치
US20060132914A1 (en) * 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
WO2005072667A1 (ja) * 2004-01-29 2005-08-11 Konica Minolta Photo Imaging, Inc. 視覚補助表示装置
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
CA2605239A1 (en) * 2005-05-02 2006-11-09 University Of Virginia Patent Foundation Systems, devices, and methods for interpreting movement
US20070035546A1 (en) * 2005-08-11 2007-02-15 Kim Hyun O Animation composing vending machine
US7493566B2 (en) * 2005-12-19 2009-02-17 International Business Machines Corporation Display of information for two oppositely situated users
US20070176847A1 (en) * 2005-12-30 2007-08-02 Shah Kamalesh R Method and system to reduce display power consumption
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US7853566B2 (en) * 2006-08-04 2010-12-14 Apple Inc. Navigation of electronic backups
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP5228305B2 (ja) 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP4901534B2 (ja) * 2007-03-02 2012-03-21 株式会社デンソー 情報通信システム、施設側装置、ユーザ側装置、状態検出装置、更新装置、施設側装置用プログラム、ユーザ側装置用プログラム、状態検出装置用プログラム及び更新装置用プログラム
US20090024050A1 (en) * 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US8099392B2 (en) * 2007-06-08 2012-01-17 Apple Inc. Electronic backup of applications
US8624924B2 (en) * 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
US20090213038A1 (en) * 2008-02-25 2009-08-27 Joseph Huang Head Mounted Display and Real-Time Video Device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP2010134057A (ja) * 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010139688A (ja) * 2008-12-11 2010-06-24 Panasonic Corp 画像投影装置
JP5262688B2 (ja) * 2008-12-24 2013-08-14 ブラザー工業株式会社 プレゼンテーションシステム及びそのプログラム
EP2254109A1 (en) * 2009-05-20 2010-11-24 Dialog Semiconductor GmbH Tagged multi line address driving
JP5090411B2 (ja) 2009-08-25 2012-12-05 株式会社スクウェア・エニックス 通信システム、コミュニティ支援サーバ、コミュニティ支援方法、及びコミュニティ支援プログラム
JP5287683B2 (ja) * 2009-11-26 2013-09-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 tv
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
TW201142778A (en) * 2010-05-18 2011-12-01 Ind Tech Res Inst Pixel structure and circuit of pixel having multi-display-medium
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2418865A3 (en) * 2010-08-09 2014-08-06 LG Electronics Inc. 3D viewing device, image display apparatus, and method for operating the same
US8819726B2 (en) * 2010-10-14 2014-08-26 Cyandia, Inc. Methods, apparatus, and systems for presenting television programming and related information
AU2011348122A1 (en) * 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
US9898556B2 (en) * 2011-06-20 2018-02-20 Ford Global Technology, Llc Immersive dimensional variation
CN104115503A (zh) * 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
US20130169545A1 (en) * 2011-12-29 2013-07-04 Research In Motion Corporation Cooperative displays
US8982471B1 (en) * 2012-01-04 2015-03-17 Google Inc. HMD image source as dual-purpose projector/near-eye display
US8862104B2 (en) * 2012-06-29 2014-10-14 Intel Corporation System and method for gesture-based management
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP2015069443A (ja) * 2013-09-30 2015-04-13 株式会社東芝 電子機器および支援方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328257A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JP2000075815A (ja) 1998-08-31 2000-03-14 Toppan Printing Co Ltd 両面液晶ディスプレイ装置
US6198523B1 (en) 1999-10-28 2001-03-06 Hewlett-Packard Co. Ferroelectric liquid crystal light doubler with temperature and voltage controlled tilt angle
JP2007251331A (ja) 2006-03-14 2007-09-27 Seiko Epson Corp 両面映像ディスプレイ装置、および音声出力方法
JP2010500894A (ja) * 2006-08-17 2010-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動的身体状態ディスプレイ装置
JP2012042654A (ja) 2010-08-18 2012-03-01 Sony Corp 表示装置
US20120154277A1 (en) * 2010-12-17 2012-06-21 Avi Bar-Zeev Optimized focal area for augmented reality displays
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP2012093767A (ja) * 2011-11-28 2012-05-17 Olympus Corp 情報表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084649A1 (ko) * 2016-11-04 2018-05-11 삼성전자 주식회사 눈을 촬영하여 정보를 획득하는 방법 및 장치
US11307646B2 (en) 2016-11-04 2022-04-19 Samsung Electronics Co., Ltd. Method and apparatus for acquiring information by capturing eye
WO2024043519A1 (ko) * 2022-08-24 2024-02-29 삼성전자주식회사 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
WO2024058472A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 어플리케이션에 대한 정보를 외부 디스플레이를 통해 제공하는 웨어러블 장치 및 상기 웨어러블 장치의 제어 방법

Also Published As

Publication number Publication date
CN104603675B (zh) 2019-01-18
EP2896986A1 (en) 2015-07-22
JP2018026832A (ja) 2018-02-15
JPWO2014041871A1 (ja) 2016-08-18
BR112015004958A2 (pt) 2017-07-04
WO2014041871A1 (ja) 2014-03-20
KR102044054B1 (ko) 2019-11-12
US20180003983A1 (en) 2018-01-04
CN104603675A (zh) 2015-05-06
US20150253573A1 (en) 2015-09-10
US9798144B2 (en) 2017-10-24
JP6569707B2 (ja) 2019-09-04
EP2896986A4 (en) 2016-05-11
EP2896986B1 (en) 2021-02-24
JP6350283B2 (ja) 2018-07-04
BR112015004958A8 (pt) 2019-08-13

Similar Documents

Publication Publication Date Title
JP6569707B2 (ja) 画像制御装置及び画像制御方法
JP6260536B2 (ja) 画像表示装置
AU2013282607B2 (en) 3D video observation device and transmittance control method
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
CN116338962A (zh) 用于头戴式计算的电源管理
JP2003225207A (ja) 視線検出装置
KR20180037887A (ko) 스마트 안경
KR20180037909A (ko) 스마트 안경
CA2788996C (en) Stereoscopic display system based on glasses using photochromatic lenses
JP2003230539A (ja) 視線検出装置
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN106990534B (zh) 一种虚拟现实眼镜
JP2005195822A (ja) 画像表示装置
JP2014010460A (ja) 映像観察デバイスおよび透過率制御方法
WO2005026819A1 (ja) 画像表示装置
JP2005195821A (ja) 画像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant