KR101352660B1 - 표시 장치, 표시 방법 - Google Patents

표시 장치, 표시 방법 Download PDF

Info

Publication number
KR101352660B1
KR101352660B1 KR1020097004731A KR20097004731A KR101352660B1 KR 101352660 B1 KR101352660 B1 KR 101352660B1 KR 1020097004731 A KR1020097004731 A KR 1020097004731A KR 20097004731 A KR20097004731 A KR 20097004731A KR 101352660 B1 KR101352660 B1 KR 101352660B1
Authority
KR
South Korea
Prior art keywords
display
user
information
image
control
Prior art date
Application number
KR1020097004731A
Other languages
English (en)
Other versions
KR20090050069A (ko
Inventor
요이찌로 사꼬
마사아끼 쯔루따
다이지 이또
마사미찌 아스까이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20090050069A publication Critical patent/KR20090050069A/ko
Application granted granted Critical
Publication of KR101352660B1 publication Critical patent/KR101352660B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261—Evaluating exocrine secretion production
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

유저의 상황(의지, 시각 상태, 신체 상황 등)에 따른 적확한 표시 동작 제어의 실현을 과제로 한다. 예를 들면 유저가 안경형 혹은 두부 장착형의 장착 유닛을 장착함으로써, 눈의 바로 앞의 표시부에서 각종 화상을 시인할 수 있도록 하고, 촬상된 화상, 재생된 화상, 수신한 화상 등을 제공한다. 이 때 표시 동작의 온/오프나, 표시 동작 양태, 소스 절환 등, 각종 표시 동작에 관한 제어로서, 유저의 동작 또는 신체의 상황에 관한 정보를 취득하고, 그 정보로부터 사용자의 의지 또는 상황을 판정하여, 판정 결과에 기초하여 적절한 제어를 행한다.
Figure R1020097004731
장착 유닛, 시각 정보, 생체 정보, 표시 장치, 표시 개시 트리거

Description

표시 장치, 표시 방법{DISPLAY DEVICE AND DISPLAY METHOD}
본 발명은, 예를 들면 안경형 혹은 두부 장착형의 장착 유닛 등에 의해 유저에 장착된 상태에서, 유저의 눈의 전방에 위치하도록 표시 수단이 배치되어 화상의 표시를 행하는 표시 장치와, 표시 방법에 관한 것이다.
예를 들면, 일본 특허 공개 평8-126031호 공보, 일본 특허 공개 평9-27970호 공보, 일본 특허 공개 평9-185009호 공보와 같이, 안경형 혹은 두부 장착형의 장착 유닛에 의해, 유저의 눈의 바로 앞에 표시부를 배치하여 표시를 행하는 장치가, 각종 제안되어 있다.
<발명이 해결하고자 하는 과제>
그러나 종래의 장치에서는, 유저가 조작 키 등의 조작자의 조작을 불필요로 하였기 때문에, 유저의 의지나 상황에 따라서, 유저로 하여금 원하는 표시 동작을 행하는 장치는 개발되어 있지 않다.
따라서 본 발명에서는, 유저의 상황(의지나 신체 상황 등)에 따라서, 적확한 표시 동작이 행해지도록 하는 것을 목적으로 한다.
<발명의 개시>
본 발명의 표시 장치는, 화상의 촬상을 행하는 촬상 수단과, 사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단과, 사용자의 두부의 움직임, 또는 팔부의 움직임, 또는 손의 움직임, 또는 다리부의 움직임, 또는 신체 전체의 움직임을 검출하는 센서, 사용자의 비보행 상태와 보행 상태를 검출하는 센서, 사용자의 시각 정보를 검출하는 센서, 또는 사용자의 생체 정보를 검출하는 생체 센서 중 적어도 2종류의 센서에 의해 사용자의 동작 또는 신체의 상황에 관한 정보를 취득하는 사용자 정보 취득 수단과, 상기 사용자 정보 취득 수단에 의해 취득된 정보로부터, 사용자의 의지 또는 상황을 판정하고, 판정 결과에 기초하여, 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 수단을 구비하고, 상기 표시 수단은, 투명 혹은 반투명인 스루 상태와, 공급된 데이터의 표시를 행하는 표시 상태를 절환 가능하게 함과 함께, 상기 제어 수단은, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 촬상 수단에 의해 촬상된 화상 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하고, 상기 사용자 정보 취득 수단에 의해 취득된 정보 중 소정 정보에 기초하여 표시 수단의 표시를 종료시킨다.
삭제
또한 기록 매체로부터 데이터를 재생하는 재생 수단을 더 구비한다. 또한 그 경우, 상기 제어 수단은, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 재생 수단에 의해 재생된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행한다. 또한 상기 제어 수단은, 상기 재생 수단에 의해 재생된 데이터를 상기 표시 수단에 의해 표시시키고 있을 때에, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 재생 수단의 재생 동작의 제어를 행한다.
또한 외부 기기와 통신을 행하여 데이터를 수신하는 수신 수단을 더 구비한다. 또한 그 경우, 상기 제어 수단은, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 수신 수단에 의해 수신된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행한다.
삭제
또한 상기 사용자 정보 취득 수단은, 가속도, 각속도, 또는 진동을 검출하는 센서이다.
또한 상기 사용자 정보 취득 수단은, 사용자의 두부의 움직임, 또는 팔부의 움직임, 또는 손의 움직임, 또는 다리부의 움직임, 또는 신체 전체의 움직임을 검출하는 센서이다.
또한 상기 사용자 정보 취득 수단은, 사용자의 비보행 상태와 보행 상태와 주행 상태를 검출하는 센서이다.
또한 상기 사용자 정보 취득 수단은, 사용자의 시각 정보를 검출하는 시각 센서이다.
또한 상기 사용자 정보 취득 수단은, 사용자의 시각 정보로서, 사용자의 시선 방향, 또는 사용자의 초점 거리, 또는 사용자의 동공 상태, 또는 사용자의 안저 패턴, 또는 사용자의 눈꺼풀의 움직임을 검출하기 위한 센서로 되어 있다.
또한 상기 사용자 정보 취득 수단은, 사용자의 생체 정보를 검출하는 생체 센서이다.
또한 상기 사용자 정보 취득 수단은, 사용자의 생체 정보로서, 사용자의, 심박 정보, 또는 맥박 정보, 또는 발한 정보, 또는 뇌파 정보, 또는 피부 전기 반응, 또는 혈압 정보, 또는 체온 정보, 또는 호흡 활동 정보를 검출하는 센서로 되어 있다.
또한 상기 사용자 정보 취득 수단은, 사용자의 긴장 상태 혹은 흥분 상태를 나타내는 정보를 검출하는 생체 센서로 되어 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
또한 상기 제어 수단은, 상기 표시 수단에 의해 표시시킨 화상의 내용에 대한 입력 조작을, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여 판별한다.
본 발명의 표시 방법은, 화상의 촬상을 행하는 촬상 수단과, 사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단과, 사용자의 두부의 움직임, 또는 팔부의 움직임, 또는 손의 움직임, 또는 다리부의 움직임, 또는 신체 전체의 움직임을 검출하는 센서, 사용자의 비보행 상태와 보행 상태를 검출하는 센서, 사용자의 시각 정보를 검출하는 센서, 또는 사용자의 생체 정보를 검출하는 생체 센서 중 적어도 2종류의 센서에 의해 사용자의 동작 또는 신체의 상황에 관한 정보를 취득하는 사용자 정보 취득 수단과, 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 수단을 구비한 표시 장치의 표시 방법으로서, 상기 사용자 정보 취득 수단에 의해, 사용자의 동작 또는 신체의 상황에 관한 정보를 취득하는 사용자 정보 취득 스텝과, 상기 제어 수단이 상기 사용자 정보 취득 스텝에서 취득된 정보로부터 사용자의 의지 또는 상황을 판정하고, 판정 결과에 기초하여 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 스텝을 구비하고, 상기 표시 수단은, 투명 혹은 반투명인 스루 상태와, 공급된 데이터의 표시를 행하는 표시 상태를 절환 가능하게 함과 함께, 상기 제어 스텝에서는, 상기 사용자 정보 취득 스텝에서 취득된 정보에 기초하여, 상기 촬상 수단에 의해 촬상된 화상 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하고, 상기 사용자 정보 취득 스텝에서 취득된 정보 중 소정 정보에 기초하여 표시 수단의 표시를 종료시킨다.
이상의 본 발명에서는, 사용자(유저)는, 표시 장치를 예를 들면 안경형 혹은 두부 장착형의 장착 유닛 등에 의해 장착함으로써, 눈의 전방에 위치하는 표시 수단을 시인하는 상태로 된다. 즉 유저는 장착 상태에서, 촬상 수단에 의해 촬상된 화상이나, 재생 수단에 의해 재생된 데이터의 화상, 혹은 수신 수단에 의해 수신된 데이터의 화상 등을 표시 수단에 의해 시인할 수 있다.
여기에서, 표시 동작의 온/오프/스루, 표시하는 화상 데이터의 소스의 선택, 각종 표시 동작 양태(예를 들면 분할 표시, 확대/축소 표시, 표시 휘도 등의 표시 화질 조정, 화상의 스크롤이나 페이지 넘기기/페이지 되돌리기 등), 표시에 대한 입력, 재생 화상 표시 시의 재생 동작 등, 표시 동작에 관한 제어로서 유저의 의지나 상황에 따른 적절한 제어가 행해지는 것이 바람직하지만, 본 발명에서는, 이를 유저의 조작자의 조작이 아니라, 유저의 동작 또는 신체의 상황에 관한 정보를 취득하여, 그 정보로부터 사용자의 의지 또는 상황을 판정하여, 판정 결과에 기초하여 각종 적절한 제어를 행하도록 한다.
본 발명에 의하면, 유저의 눈의 바로 앞으로 되는 표시 수단에 의해 각종 화상을 표시시키지만, 이 경우에, 유저의 동작 또는 신체의 상황에 관한 정보에 기초 하여 유저의 의지 또는 상황을 판정하여 표시 동작에 관한 제어를 행함으로써, 유저에게 조작 부담이 없는 채, 유저의 의지 또는 상황에 따른 적확한 표시 동작이 실행된다. 이것에 의해 유저에게 있어서 사용성이 좋고, 또한 다양한 시계 광경을 제공할 수 있는 표시 장치를 실현할 수 있다고 하는 효과가 있다.
또한 표시 수단은 투명 또는 반투명의 스루 상태로도 할 수 있도록 함으로써, 장착 상태 그대로이어도 통상적인 생활에 지장이 없도록 할 수 있다. 이 때문에 유저의 통상적인 생활 속에서, 본 발명의 표시 장치의 이점을 유효하게 얻을 수 있다.
도 1은, 본 발명의 실시 형태의 표시 장치의 외관예의 설명도.
도 2는, 실시 형태의 표시 장치의 사용 형태의 설명도.
도 3은, 실시 형태의 표시 장치의 구성예의 블록도.
도 4는, 실시 형태의 표시 장치의 다른 구성예의 블록도.
도 5는, 실시 형태의 스루 상태와 촬상 화상 표시 상태의 설명도.
도 6은, 실시 형태의 스토리지부로부터의 화상의 표시 상태의 설명도.
도 7은, 실시 형태의 통신부로부터의 화상의 표시 상태의 설명도.
도 8은, 실시 형태의 통신부로부터의 화상의 표시 상태의 설명도.
도 9는, 실시 형태의 분할 표시의 설명도.
도 10은, 실시 형태의 확대 화상의 표시 상태의 설명도.
도 11은, 실시 형태의 밝기 조정 화상의 표시 상태의 설명도.
도 12는, 실시 형태의 제어 처리의 플로우차트.
도 13은, 실시 형태의 표시 개시 트리거의 판별 처리의 플로우차트.
도 14는, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.
도 15는, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.
도 16은, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.
도 17은, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.
도 18은, 실시 형태의 표시 종료 트리거의 판별 처리의 플로우차트.
도 19는, 실시 형태의 표시 종료 트리거의 판별 처리의 플로우차트.
<발명을 실시하기 위한 최량의 형태>
이하, 본 발명의 표시 장치, 표시 방법의 실시 형태를, 다음 순서에 의해 설명한다.
[1. 표시 장치의 외관예 및 외부 기기와의 관련]
[2. 표시 장치의 구성예]
[3. 표시예]
[4. 유저 상황의 판정]
[5. 각종 동작예]
[6. 실시 형태의 효과, 변형예 및 확장예]
[1. 표시 장치의 외관예 및 외부 기기와의 관련]
실시 형태로서, 도 1에 안경형 디스플레이로 한 표시 장치(1)의 외관예를 나타낸다. 표시 장치(1)는, 예를 들면 양측 두부로부터 후두부에 걸쳐 반 바퀴 돌리 는 프레임의 구조의 장착 유닛을 갖고, 도시한 바와 같이 양 귓바퀴에 걸쳐짐으로써 유저에게 장착된다.
그리고 이 표시 장치(1)는, 도 1과 같은 장착 상태에서, 유저의 양안의 바로 앞, 즉 통상의 안경에서의 렌즈가 위치하는 장소에, 좌안용과 우안용의 한쌍의 표시부(2, 2)가 배치되는 구성으로 되어 있다. 이 표시부(2)에는, 예를 들면 액정 패널이 이용되고, 투과율을 제어함으로써, 도시한 바와 같은 스루 상태, 즉 투명 또는 반투명의 상태로 할 수 있다. 표시부(2)가 스루 상태로 됨으로써, 안경과 같이 유저가 상시 장착하고 있어도, 통상의 생활에는 지장이 없다.
또한 유저가 장착한 상태에서, 유저가 시인하는 방향을 피사체 방향으로서 촬상하도록, 전방을 향해서 촬상 렌즈(3a)가 배치되어 있다.
또한 촬상 렌즈(3a)에 의한 촬상 방향에 대하여 조명을 행하는 발광부(4a)가 설치된다. 발광부(4a)는 예를 들면 LED(Light Emitting Diode)에 의해 형성된다.
또한, 도면에서는 좌측 귀만이 도시되어 있지만, 장착 상태에서 유저의 우측 귓구멍 및 좌측 귓구멍에 삽입할 수 있는 한 쌍의 이어폰 스피커(5a)가 설치된다.
또한 우안용의 표시부(2)의 오른쪽과, 좌안용의 표시부(2)의 왼쪽에, 외부 음성을 집음하는 마이크로폰(6a, 6b)이 배치된다.
또한 도 1은 일례이며, 표시 장치(1)를 유저가 장착하기 위한 구조는 다양하게 고려된다. 일반적으로 안경형, 혹은 두부 장착형으로 되는 장착 유닛으로 형성되면 되며, 적어도 본 실시 형태로서는, 유저의 눈의 전방에 근접하여 표시부(2)가 설치되어 있으면 된다. 또한 표시부(2)는, 양안에 대응하여 한 쌍 설치되는 외에, 편측의 눈에 대응하여 1개 설치되는 구성이어도 된다.
또한 이어폰 스피커(5a)는, 좌우의 스테레오 스피커로 하지 않고, 한쪽의 귀에만 장착하기 때문에 1개 설치되는 것만이어도 된다. 또한 마이크로폰도, 마이크로폰(6a, 6b) 중 한쪽이어도 된다.
또한 도 1은 촬상 기능을 포함하는 예로 하고 있지만, 촬상 기능을 구비하지 않은 예도 고려된다.
나아가서는, 표시 장치(1)로서 마이크로폰이나 이어폰 스피커를 구비하지 않는 구성도 고려된다. 또한 발광부(4a)를 설치하지 않은 구성도 고려된다.
그런데 내부 구성예에 대해서는 후술하지만, 이 표시 장치(1)는, 기록 매체에 대하여 재생을 행하는 재생 기능(도 3, 도 4에서 설명하는 스토리지부(25))이나, 외부 기기와 통신을 행하는 통신 기능(도 3, 도 4에서 설명하는 통신부(26))을 구비하는 것도 고려된다.
따라서, 표시부(2)에서 표시하는 화상으로서의 데이터의 소스는, 촬상 기능 부위, 재생 기능 부위, 통신 기능 부위가 상정된다.
도 2는, 표시 장치(1)의 사용 형태를, 외부 기기와의 관련에서 예시한 것이다.
도 2의 (a)는 표시 장치(1)를 단체로 사용하는 경우이며, 이 경우, 표시 장치(1)가 촬상 기능을 갖고 있으면, 촬상된 화상 데이터를 표시부(2)에 표시시킬 수 있다. 또한, 표시 장치(1)가 재생 기능을 갖고 있으면, 기록 매체로부터 재생된 데이터에 의한 화상을 표시부(2)에 표시시킬 수 있다. 기록 매체로부터 재생되는 데이터로서는, 예를 들면 영화나 비디오 클립 등의 동화상 콘텐츠, 디지털 스틸 카메라 등으로 촬상되어 기록 매체에 기록된 정지 화상 콘텐츠, 전자 서적 등의 데이터, 유저가 퍼스널 컴퓨터 등에 의해 작성하여 기록 매체에 기록한 화상 데이터, 텍스트 데이터, 표 계산 데이터 등의 컴퓨터 유스의 데이터, 기록 매체에 기록된 게임 프로그램에 기초하는 게임 화상 등, 기록 매체에 기록되어 표시 대상으로 되는 모든 데이터가 상정된다.
도 2의 (b)는, 표시 장치(1)가 통신 기능을 갖추고, 외부의 촬상 장치(70)와 통신을 행하는 예이다. 이 경우, 표시 장치(1)는, 촬상 장치(70)에 의해 촬상된 화상(동화상/정지 화상)을 수신하여 표시부(2)에 표시시킨다. 외부의 촬상 장치(70)는, 통신 기능을 구비한 비디오 카메라, 디지털 스틸 카메라 등을 상정할 수 있고, 또한 도 1과 같이 촬상 기능을 구비한 표시 장치(1)를, 어떤 표시 장치(1)에 대하여 외부의 촬상 장치(70)로 고려할 수도 있다.
또한 외부의 촬상 장치(70)는, 표시 장치(1)를 이용하는 유저 본인이 소유하는 촬상 장치이거나, 표시 장치(1)의 유저의 지인이 소유하는 촬상 장치이거나, 혹은 화상 제공을 행하는 공공 혹은 서비스 기업 등의 촬상 장치로서 표시 장치(1)와 통신 가능하게 되어 있는 것 등 다양하게 고려된다.
도 2의 (c)는, 표시 장치(1)가 통신 기능을 구비하고, 외부의 콘텐츠 소스 기기(71)와 통신을 행하는 예이다. 이 경우, 표시 장치(1)는, 콘텐츠 소스 기기(71)로부터 제공되는 화상(동화상/정지 화상)을 수신하여 표시부(2)에 표시시킨다.
콘텐츠 소스 기기(71)는, 예를 들면 비디오 기기, 텔레비전 튜너, 홈 서버 기기 등의 AV(Audio-Visual) 기기나, 퍼스널 컴퓨터, PDA(Personal Digital Assistant), 휴대 전화기 등의 정보 처리 장치 등을 상정할 수 있다. 이와 같은 콘텐츠 소스 기기(71)도, 표시 장치(1)를 이용하는 유저 본인이나 그 지인이 소유하는 기기이거나, 각종 콘텐츠 제공을 행하는 공공 혹은 서비스 기업 등의 서버 기기인 것 등 다양하게 고려된다.
콘텐츠 소스 기기(71)로부터 표시 장치(1)에 송신되는 데이터로서는, 예를 들면 영화나 비디오 클립 등의 동화상 콘텐츠, 디지털 스틸 카메라 등에 의해 촬상되어 기록 매체에 기록된 정지 화상 콘텐츠, 전자 서적 등의 데이터, 유저가 퍼스널 컴퓨터 등에 의해 작성한 화상 데이터, 텍스트 데이터, 표 계산 데이터 등의 컴퓨터 유스의 데이터, 게임 화상 등, 표시 대상으로 되는 모든 데이터가 상정된다.
도 2의 (d)는, 표시 장치(1)가 통신 기능, 특히 인터넷 등의 네트워크(73)를 통한 통신 액세스 기능을 갖춤으로써, 네트워크(73)에 의해 접속되는 외부의 촬상 장치(70)나 콘텐츠 소스 기기(71)와 통신을 행하는 예이다. 이 경우 표시 장치(1)는, 네트워크(73)를 통해서 각종 데이터를 수신하고, 그 수신한 데이터의 화상을 표시부(2)에서 표시시킨다.
[2. 표시 장치의 구성예]
도 3에 표시 장치(1)의 내부 구성예를 나타낸다.
시스템 컨트롤러(10)는, 예를 들면 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 불휘발성 메모리부, 인터페이스부를 구 비한 마이크로컴퓨터에 의해 구성되고, 표시 장치(1)의 전체를 제어하는 제어부로 된다.
이 시스템 컨트롤러(10)는 유저의 상황에 기초하여, 표시 장치(1) 내의 각 부의 제어를 행한다. 즉 유저의 상황을 검지 판정하고, 그것에 따라서 각 부의 동작 제어를 실행하도록 된 동작 프로그램에 따라서 동작한다. 이를 위해 기능적으로 보면, 도시한 바와 같이 유저의 상황을 판정하는 유저 상황 판정 기능(10a)과, 유저 상황 판정 기능(10a)의 판정 결과에 따라서 각 부에 제어 지시를 행하는 동작 제어 기능(10b)을 갖게 된다.
표시 장치(1) 내에서는, 유저의 전방 광경의 촬상을 위한 구성으로서, 촬상부(3), 촬상 제어부(11), 촬상 신호 처리부(15)가 설치된다.
촬상부(3)는, 도 1에 도시한 촬상 렌즈(3a)나, 조리개, 줌 렌즈, 포커스 렌즈 등을 구비하여 구성되는 렌즈계나, 렌즈계에 대하여 포커스 동작이나 줌 동작을 실행시키는 구동계, 또한 렌즈계에 의해 얻어지는 촬상광을 검출하고, 광전 변환을 행함으로써 촬상 신호를 생성하는 고체 촬상 소자 어레이 등이 설치된다. 고체 촬상 소자 어레이는, 예를 들면 CCD(Charge Coupled Device) 센서 어레이나, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이로 된다.
촬상 신호 처리부(15)는, 촬상부(3)의 고체 촬상 소자에 의해 얻어지는 신호에 대한 게인 조정이나 파형 정형을 행하는 샘플 홀드/AGC(Automatic Gain Control) 회로나, 비디오 A/D 컨버터를 구비하고, 디지털 데이터로서의 촬상 신호를 얻는다. 또한 촬상 신호 처리부(15)는, 촬상 신호에 대하여 화이트 밸런스 처 리, 휘도 처리, 색 신호 처리, 흔들림 보정 처리 등도 행한다.
촬상 제어부(11)는, 시스템 컨트롤러(10)로부터의 지시에 기초하여, 촬상부(3) 및 촬상 신호 처리부(15)의 동작을 제어한다. 예를 들면 촬상 제어부(11)는, 촬상부(3), 촬상 신호 처리부(15)의 동작의 온/오프를 제어한다. 또한 촬상 제어부(11)는 촬상부(3)에 대하여, 오토 포커스, 자동 노출 조정, 조리개 조정, 줌 등의 동작을 실행시키기 위한 제어(모터 제어)를 행하는 것으로 된다.
또한 촬상 제어부(11)는 타이밍 제너레이터를 구비하고, 고체 촬상 소자 및 촬상 신호 처리부(15)의 샘플 홀드/AGC 회로, 비디오 A/D 컨버터에 대해서는, 타이밍 제너레이터에 의해 생성되는 타이밍 신호에 의해 신호 처리 동작을 제어한다. 또한, 이 타이밍 제어에 의해 촬상 프레임 레이트의 가변 제어도 가능하게 된다.
또한 촬상 제어부(11)는, 고체 촬상 소자 및 촬상 신호 처리부(15)에서의 촬상 감도나 신호 처리의 제어를 행한다. 예를 들면 촬상 감도 제어로서 고체 촬상 소자로부터 읽어내지는 신호의 게인 제어를 행하거나, 흑 레벨 설정 제어나, 디지털 데이터 단계의 촬상 신호 처리의 각종 계수 제어, 흔들림 보정 처리에서의 보정량 제어 등을 행할 수 있다. 촬상 감도에 관해서는, 특히 파장 대역을 고려하지 않은 전체적인 감도 조정이나, 예를 들면 적외선 영역, 자외선 영역 등, 특정한 파장 대역의 촬상 감도를 조정하는 감도 조정 등도 가능하다. 파장에 따른 감도 조정은, 촬상 렌즈계에서의 파장 필터의 삽입이나, 촬상 신호에 대한 파장 필터 연산 처리에 의해 가능하다. 이들의 경우, 촬상 제어부(11)는, 파장 필터의 삽입 제어나, 필터 연산 계수의 지정 등에 의해, 감도 제어를 행할 수 있다.
촬상부(3)에 의해 촬상되고, 촬상 신호 처리부(15)에 의해 처리된 촬상 신호(촬상에 의한 화상 데이터)는 화상 입출력 컨트롤부(27)에 공급된다.
화상 입출력 컨트롤부(27)는, 시스템 컨트롤러(10)의 제어에 따라서, 화상 데이터의 전송을 제어한다. 즉 촬상계(촬상 신호 처리부(15)), 표시계(표시 화상 처리부(12)), 스토리지부(25), 통신부(26) 사이의 화상 데이터의 전송을 제어한다.
예를 들면 화상 입출력 컨트롤부(27)는, 촬상 신호 처리부(15)에 의해 처리된 촬상 신호로서의 화상 데이터를, 표시 화상 처리부(12)에 공급하거나, 스토리지부(25)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.
또한 화상 입출력 컨트롤부(27)는 예를 들면 스토리지부(25)로부터 재생된 화상 데이터를, 표시 화상 처리부(12)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.
또한 화상 입출력 컨트롤부(27)는 예를 들면 통신부(26)에 의해 수신된 화상 데이터를, 표시 화상 처리부(12)에 공급하거나, 스토리지부(25)에 공급하는 동작을 행한다.
표시 장치(1)에서 유저에 대하여 표시를 행하는 구성으로서는, 표시부(2), 표시 화상 처리부(12), 표시 구동부(13), 표시 제어부(14)가 설치된다.
예를 들면 촬상부(3)에 의해 촬상되고, 촬상 신호 처리부(15)에 의해 처리된 촬상 신호로서의 화상 데이터는, 화상 입출력 컨트롤부(27)를 통해서 표시 화상 처리부(12)에 공급할 수 있다. 표시 화상 처리부(12)는, 예를 들면 소위 비디오 프로세서로 되고, 공급된 화상 데이터에 대하여 각종 표시 처리를 실행할 수 있는 부 위로 된다. 예를 들면 화상 데이터의 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 샤프니스(윤곽 강조) 조정 등을 행할 수 있다. 또한 표시 화상 처리부(12)는, 공급된 화상 데이터의 일부를 확대한 확대 화상의 생성, 혹은 축소 화상의 생성이나, 공급된 화상 데이터의 분할 표시를 위한 화상의 분리나 합성, 캐릭터 화상이나 이미지 화상의 생성이나, 생성한 화상을 공급된 화상 데이터에 합성하는 처리 등도 행할 수 있다. 즉 공급된 화상 데이터에 대한 각종 처리를 행할 수 있다.
표시 구동부(13)는, 표시 화상 처리부(12)로부터 공급되는 화상 데이터를, 예를 들면 액정 디스플레이로 되는 표시부(2)에서 표시시키기 위한 화소 구동 회로에 의해 구성되어 있다. 즉 표시부(2)에서 매트릭스 형상으로 배치되어 있는 각 화소에 대하여, 각각 소정의 수평/수직 구동 타이밍에 의해 영상 신호에 기초하는 구동 신호를 인가하고, 표시를 실행시킨다. 또한 표시 구동부(13)는, 표시부(2)의 각 화소의 투과율을 제어하여, 스루 상태로 할 수도 있다.
표시 제어부(14)는, 시스템 컨트롤러(10)의 지시에 기초하여, 표시 화상 처리부(12)의 처리 동작이나 표시 구동부(13)의 동작을 제어한다. 즉 표시 화상 처리부(12)에 대해서는, 상기한 각종 처리를 실행시킨다. 또한 표시 구동부(13)에 대해서는 스루 상태, 화상 표시 상태의 절환이 행해지도록 제어한다.
또한, 스토리지부(25)에서 재생된 화상 데이터나, 통신부(26)에 의해 수신된 화상 데이터도, 화상 입출력 컨트롤부(27)를 통해서 표시 화상 처리부(12)에 공급할 수 있다. 그 경우, 표시 화상 처리부(12), 표시 구동부(13)의 상기 동작에 의해, 표시부(2)에서 재생 화상이나 수신 화상이 출력되게 된다.
또한 표시 장치(1)에는, 음성 입력부(6), 음성 신호 처리부(16), 음성 출력부(5)가 설치된다.
음성 입력부(6)는, 도 1에 도시한 마이크로폰(6a, 6b)과, 그 마이크로폰(6a, 6b)에 의해 얻어진 음성 신호를 증폭 처리하는 마이크 앰프부나 A/D 변환기를 갖고, 음성 데이터를 출력한다.
음성 입력부(6)에 의해 얻어진 음성 데이터는 음성 입출력 컨트롤부(28)에 공급된다.
음성 입출력 컨트롤부(28)는, 시스템 컨트롤러(10)의 제어에 따라서, 음성 데이터의 전송을 제어한다. 즉 음성 입력부(6), 음성 신호 처리부(16), 스토리지부(25), 통신부(26) 사이의 음성 신호의 전송을 제어한다.
예를 들면 음성 입출력 컨트롤부(28)는, 음성 입력부(6)에 의해 얻어진 음성 데이터를, 음성 신호 처리부(16)에 공급하거나, 스토리지부(25)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.
또한 음성 입출력 컨트롤부(28)는 예를 들면 스토리지부(25)에 의해 재생된 음성 데이터를, 음성 신호 처리부(16)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.
또한 음성 입출력 컨트롤부(28)는 예를 들면 통신부(26)에 의해 수신된 음성 데이터를, 음성 신호 처리부(16)에 공급하거나, 스토리지부(25)에 공급하는 동작을 행한다.
음성 신호 처리부(16)는, 예를 들면 디지털 시그널 프로세서, D/A 변환기 등 으로 이루어진다. 이 음성 신호 처리부(16)에는, 음성 입력부(6)에 의해 얻어진 음성 데이터나, 스토리지부(25), 혹은 통신부(26)로부터의 음성 데이터가, 음성 입출력 컨트롤부(28)를 통해서 공급된다. 음성 신호 처리부(16)는, 공급된 음성 데이터에 대하여, 시스템 컨트롤러(10)의 제어에 따라서, 음량 조정, 음질 조정, 음향 이펙트 등의 처리를 행한다. 그리고 처리한 음성 데이터를 아날로그 신호로 변환하여 음성 출력부(5)에 공급한다. 또한, 음성 신호 처리부(16)는, 디지털 신호 처리를 행하는 구성에 한정되지 않고, 아날로그 앰프나 아날로그 필터에 의해 신호 처리를 행하는 것이어도 된다.
음성 출력부(5)는, 도 1에 도시한 한 쌍의 이어폰 스피커(5a)와, 그 이어폰 스피커(5a)에 대한 앰프 회로를 갖는다.
이 음성 입력부(6), 음성 신호 처리부(16), 음성 출력부(5)에 의해, 유저는 외부 음성을 듣거나, 스토리지부(25)에서 재생된 음성을 듣거나, 통신부(26)에 의해 수신된 음성을 들을 수 있다. 또한 음성 출력부(5)는, 소위 골전도 스피커로서 구성되어도 된다.
스토리지부(25)는, 소정의 기록 매체에 대하여 데이터의 기록 재생을 행하는 부위로 된다. 예를 들면 HDD(Hard Disc Drive)로서 실현된다. 물론 기록 매체로서는, 플래시 메모리 등의 고체 메모리, 고정 메모리를 내장한 메모리 카드, 광 디스크, 광 자기 디스크, 홀로그램 메모리 등이 각종 고려되고, 스토리지부(25)로서는 채용하는 기록 매체에 따라서 기록 재생을 실행할 수 있는 구성으로 하면 된다.
촬상부(3)에 의해 촬상되고, 촬상 신호 처리부(15)에 의해 처리된 촬상 신호 로서의 화상 데이터나, 통신부(26)에 의해 수신한 화상 데이터는, 화상 입출력 컨트롤부(27)를 통해서 스토리지부(25)에 공급할 수 있다. 또한 음성 입력부(6)에 의해 얻어진 음성 데이터나, 통신부(26)에 의해 수신한 음성 데이터는, 음성 입출력 컨트롤부(28)를 통해서 스토리지부(25)에 공급할 수 있다.
스토리지부(25)는 시스템 컨트롤러(10)의 제어에 따라서, 공급된 화상 데이터나 음성 데이터에 대하여, 기록 매체에의 기록을 위한 인코드 처리를 행하여, 기록 매체에 기록한다.
또한 스토리지부(25)는 시스템 컨트롤러(10)의 제어에 따라서, 기록 매체로부터 화상 데이터나 음성 데이터를 재생한다. 재생한 화상 데이터는 화상 입출력 컨트롤부(27)에 출력하고, 또한 재생한 음성 데이터는 음성 입출력 컨트롤부(28)에 출력한다.
통신부(26)는 외부 기기와의 사이에서의 데이터의 송수신을 행한다. 외부 기기로서는, 도 2에서 설명한 촬상 장치(70)나 콘텐츠 소스 기기(71) 등으로서의 각종의 기기가 고려된다.
통신부(26)는, 무선 LAN, 블루투스 등의 방식에 의해, 예를 들면 네트워크 액세스 포인트에 대한 근거리 무선 통신을 통해서 네트워크 통신을 행하는 구성으로 하여도 되고, 대응하는 통신 기능을 구비한 외부 기기와의 사이에서 직접 무선 통신을 행하는 것이어도 된다.
촬상부(3)에 의해 촬상되고, 촬상 신호 처리부(15)에 의해 처리된 촬상 신호로서의 화상 데이터나, 스토리지부(25)에서 재생한 화상 데이터는, 화상 입출력 컨 트롤부(27)를 통해서 통신부(26)에 공급할 수 있다. 또한 음성 입력부(6)에 의해 얻어진 음성 데이터나, 스토리지부(25)에 의해 재생된 음성 데이터는, 음성 입출력 컨트롤부(28)를 통해서 통신부(26)에 공급할 수 있다.
통신부(26)는 시스템 컨트롤러(10)의 제어에 따라서, 공급된 화상 데이터나 음성 데이터에 대하여, 송신을 위한 인코드 처리, 변조 처리 등을 행하여, 외부 기기에 송신한다.
또한 통신부(26)는 외부 기기로부터의 데이터 수신 동작을 행한다. 수신 복조한 화상 데이터는 화상 입출력 컨트롤부(27)에 출력하고, 또한 수신 복조한 음성 데이터는 음성 입출력 컨트롤부(28)에 출력한다.
표시 장치(1)에는 조명부(4)와 조명 제어부(18)가 설치된다. 조명부(4)는, 도 1에 도시한 발광부(4a)와 그 발광부(4a)(예를 들면, LED)를 발광시키는 발광 회로로 이루어진다. 조명 제어부(18)는, 시스템 컨트롤러(10)의 지시에 기초하여, 조명부(4)에 발광 동작을 실행시킨다.
조명부(4)에서의 발광부(4a)가 도 1에 도시한 바와 같이 전방에 대한 조명을 행하는 것으로서 부착되어 있음으로써, 조명부(4)는 유저의 시계 방향에 대한 조명 동작을 행하게 된다.
이 표시 장치(1)는, 사용자 정보를 취득하기 위한 구성으로서, 시각 센서(19), 가속도 센서(20), 자이로(21), 생체 센서(22)를 갖는다.
시각 센서(19)는, 유저의 시각에 관한 정보를 검출한다. 시각 센서(19)는, 예를 들면 유저의 시선 방향, 초점 거리, 동공의 열림 상태, 안저 패턴, 눈꺼풀의 개폐 등, 시각에 관한 정보를 검지할 수 있는 센서이다.
가속도 센서(20) 및 자이로(21)는, 유저의 움직임에 따른 신호를 출력한다. 예를 들면 두부의 움직임, 목의 움직임, 전신의 움직임, 팔부의 움직임, 다리부의 움직임 등을 검출하기 위한 센서이다.
생체 센서(22)는, 유저의 생체 정보를 검출한다. 예를 들면 생체 센서(22)는, 유저의 심박 정보, 맥박 정보, 발한 정보, 뇌파 정보, 또는 피부 전기 반응(GSR), 체온, 혈압, 호흡 활동 정보 등을 검출하는 센서이다. 이들 생체 센서(22)의 검출 신호는, 예를 들면 유저의 긴장 상태나 흥분 상태, 차분한 상태, 꾸벅꾸벅 졸고 있는 상태, 쾌적, 불쾌한 상태 등을 판정할 수 있는 정보로 된다.
이들 시각 센서(19), 가속도 센서(20), 자이로(21), 생체 센서(22)에 의해, 표시 장치(1)를 장착한 유저의 동작 또는 신체의 상황에 관한 정보(사용자 정보)가 취득되고, 시스템 컨트롤러(10)에 공급된다.
시스템 컨트롤러(10)는 유저 상황 판정 기능(10a)의 처리에 의해, 취득한 사용자 정보로부터 유저의 의지 또는 상황을 판정한다. 그리고 시스템 컨트롤러(10)는 판정한 유저의 의지 또는 상황에 따라서 동작 제어 기능(10b)의 처리에 의해, 표시 동작에 관한 제어를 행한다. 즉 시스템 컨트롤러(10)는 표시 제어부(14)에 지시하여 표시 화상 처리부(12)나 표시 구동부(13)의 동작을 제어하거나, 표시하는 데이터의 소스를 선택하거나, 스토리지부(25)의 재생 동작이나 통신부(26)의 통신 동작의 제어를 행한다.
또한, 사용자 정보를 취득하기 위한 구성으로서, 시각 센서(19), 가속도 센 서(20), 자이로(21), 생체 센서(22)를 나타내었지만, 이들은 반드시 모두를 구비할 필요는 없다. 또한, 유저의 소리를 검지하는 센서, 입술의 움직임을 검지하는 센서 등, 다른 센서가 설치되어도 된다.
다음에 도 4는, 촬상 기능을 갖지 않은 표시 장치(1)의 구성예를 나타내는 것이다. 또한, 도 3과 동일 기능의 블록에는 동일 부호를 붙이고, 중복 설명을 피한다.
이 도 4의 구성은, 도 3의 구성으로부터, 촬상부(3), 촬상 신호 처리부(15), 촬상 제어부(11), 조명부(4), 조명 제어부(18), 음성 입력부(6)를 생략한 것으로 되어 있다.
상기 도 3의 구성예의 경우, 표시부(2)에 표시시키는 데이터의 소스는, 촬상 기능계(촬상부(3), 촬상 신호 처리부(15), 촬상 제어부(11))와, 재생 기능계(스토리지부(25))와, 수신 기능계(통신부(26))의 3개로 되지만, 이 도 4의 구성예의 경우, 표시부(2)에 표시시키는 데이터의 소스는, 재생 기능계(스토리지부(25))와, 수신 기능계(통신부(26))의 2개로 된다.
즉 도 3은 표시 화상의 소스로서 표시 장치(1) 내에 3계통의 소스를 구비하는 경우의 예이며, 도 4는 표시 장치(1) 내에 2계통의 소스를 구비하는 경우의 예이다.
또한 도시하지 않은 이 표시 장치(1)의 구성예로서는, 이 도 3, 도 4 이외에, 표시 장치(1) 내의 표시 화상의 소스로서, 예를 들면 촬상 기능계만을 구비하는 예, 재생 기능계만을 구비하는 예, 수신 기능계만을 구비하는 예, 촬상 기능계 와 재생 기능계를 구비하는 예, 촬상 기능계와 수신 기능계를 구비하는 예 등이, 각각 고려된다.
[3. 표시예]
시스템 컨트롤러(10)가, 유저의 의지 또는 상황에 따라서 표시 동작에 관한 제어를 행하고, 표시하는 데이터의 소스를 선택하거나, 표시 화상 처리를 행하는 것 등에 의해, 유저는 표시부(2)에서 다양한 표시 양태, 표시 내용의 화상을 볼 수 있다. 도 5부터 도 10에 의해, 각종 표시예를 나타낸다.
도 5의 (a)는 표시부(2)가 스루 상태로 되어 있는 경우를 나타내고 있는 것으로 한다. 즉, 표시부(2)는 단순한 투명한 판 형상체로 되어 있으며, 유저가 시계 광경을 투명한 표시부(2)를 통해서 보고 있는 상태이다.
도 5의 (b)는, 촬상부(3)에 의해 촬상한 화상이 표시부(2)에 표시된 상태이다. 예를 들면 도 5의 (a)의 상태에서 촬상부(3), 촬상 신호 처리부(15), 표시 화상 처리부(12), 표시 구동부(13)가 동작하고, 촬상 화상을 통상적으로 표시부(2)에 표시한 상태이다. 이 경우의 표시부(2)에 표시되는 촬상 화상(통상 촬상 화상)은, 스루 상태의 경우와 거의 마찬가지로 된다. 즉 유저에서는, 통상의 시계를, 촬상된 화상으로서 보고 있는 상태이다.
도 5의 (c)는, 시스템 컨트롤러(10)가 촬상 제어부(11)를 통해서 촬상부(3)에 망원 촬상을 실행시킨 경우이며, 망원 화상이 표시부(2)에 표시되어 있다.
도시하지 않지만, 반대로 시스템 컨트롤러(10)가 촬상 제어부(11)를 통해서 촬상부(3)에 광각 촬상을 실행시키면, 근거리의 광경이 광각으로 비추어진 화상이 표시부(2)에 표시되게 된다. 또한, 망원-광각의 제어는, 촬상부(3)에서의 줌 렌즈의 구동 제어 외에, 촬상 신호 처리부(15)에서의 신호 처리에서도 가능하다.
상기 도 5의 (b), (c)는 촬상 기능계를 화상 소스로서 표시부(2)에 표시를 행한 예를 나타내었지만, 도 6은 스토리지부(25)를 표시 화상의 소스로서 표시부(2)에 표시를 행하는 예를 나타내고 있다.
도 6의 (a)는, 스토리지부(25)에서의 기록 매체에 동화상이나 정지 화상의 화상 콘텐츠가 기록되어 있으며, 그 화상 콘텐츠가 재생되어 표시부(2)에 의해 표시되어 있는 예이다.
도 6의 (b)는, 스토리지부(25)에서의 기록 매체에 게임 프로그램이 기록되어 있으며, 그 게임 프로그램에 기초하는 화상이 표시부(2)에 의해 표시되어 있는 예이다.
도 6의 (c)는, 스토리지부(25)에서의 기록 매체에 전자 서적 콘텐츠가 기록되어 있으며, 그 전자 서적 콘텐츠가 재생되어 표시부(2)에 의해 표시되어 있는 예이다.
이들 도 6의 (a), (b), (c)와 같이 유저는 표시 장치(1)를 이용하여 기록 매체에 기록된 데이터의 재생 화상을 즐길 수 있다.
다음으로 도 7, 도 8은 통신부(26)를 표시 화상의 소스로서 표시부(2)에 표시를 행하는 예를 나타내고 있다.
도 7은, 도 2의 (b) 또는 도 2의 (d)와 같은 통신에서, 외부의 촬상 장치(70)로부터 송신되고, 통신부(26)에 의해 수신한 화상을 표시하는 예이다.
도 7의 (a)는, 예를 들면 유저로부터의 시계가 도 5의 (a)와 같으며, 즉 스타디움에서 객석으로부터 축구를 관전하고 있는 상태에 있을 때에, 스타디움의 다른 장소에서 촬상을 행하는 촬상 장치(70)에 의한 영상을, 통신부(26)에 의해 수신하고, 표시부(2)에 표시시키고 있는 예이다. 예를 들면 감독석 근처에 설치된 촬상 장치(70)나, 심판이 장착하는 소형의 촬상 장치(70) 등으로부터의 영상을 수신하여, 표시부(2)에 의해 표시함으로써, 보다 흥미 깊게 시합 관전을 행할 수 있다.
도 7의 (b)는, 리조트지에 설치한 촬상 장치(70)나, 여행 중의 지인이 소지하는 촬상 장치(70)에 의해 촬상한 영상을, 통신부(26)에 의해 수신하고, 표시부(2)에 표시시키고 있는 예이다. 이와 같은 영상 표시에 의해, 유저는, 예를 들면 자기 집 등에 있으면서, 다양한 지역의 영상을 볼 수 있다.
도 7의 (c)는, 항공기나 위성에 설치된 촬상 장치(70)에 의해 촬상한 지상의 영상(버드뷰 영상)을, 통신부(26)에 의해 수신하고, 표시부(2)에 표시시키고 있는 예이다. 이와 같은 영상 표시에 의해, 유저는, 통상적으로는 볼 수 없는 풍경을 즐길 수 있다.
도 8은, 도 2의 (c) 또는 도 2의 (d)와 같은 통신에서, 외부의 콘텐츠 소스 기기(71)로부터 송신되고, 통신부(26)에 의해 수신한 화상을 표시하는 예이다.
도 8의 (a)는, AV 기기나 퍼스널 컴퓨터 등의 콘텐츠 소스 기기(71)로부터, 동화상이나 정지 화상의 화상 콘텐츠를 수신한 경우에, 그 화상 콘텐츠가 표시부(2)에 의해 표시되어 있는 예이다.
도 8의 (b)는, 예를 들면 퍼스널 컴퓨터 등의 콘텐츠 소스 기기(71)에서 액 세스하고 있는 웹 사이트의 브라우저 화면, 혹은 기동 중의 어플리케이션 화면 등으로서의 화상 데이터를, 표시 장치(1)에 송신시키고, 표시 장치(1)에서는 통신부(26)에 의해 수신한 화상 데이터를 표시부(2)에 의해 표시시키고 있는 예이다.
도 8의 (c)는, 예를 들면 퍼스널 컴퓨터 등의 콘텐츠 소스 기기(71)에서 볼 수 있는 사진 화상의 일람 표시 화상 등을 표시 장치(1)에 송신시키고, 표시 장치(1)에서 통신부(26)에 의해 수신하고, 표시부(2)에 표시시키고 있는 예이다.
예를 들면 이와 같이 콘텐츠 소스 기기(71)로부터의 화상으로서, 비디오 플레이어 등의 AV 기기나, 퍼스널 컴퓨터 등의 정보 처리 장치로부터의 데이터를 수신하여 화상 표시를 행함으로써, 유저는 장착한 표시 장치(1)에서, 이들 화상을 확인하거나, 각종 작업을 행할 수 있다.
또한, 도 6은 스토리지부(25)를 소스로 하는 화상, 도 8은 통신부(26)를 소스로 하는 화상으로 하여 설명하였지만, 예를 들면 도 8에서 예로 든 화상 내용을, 스토리지부(25)로부터의 재생 화상으로 고려할 수도 있고, 도 6에서 예로 든 화상 내용을, 외부 기기로부터 송신되어 통신부(26)에 의해 수신한 화상으로 고려할 수도 있다.
도 9, 도 10, 도 11은, 상기한 바와 같은 각종 소스(촬상 기능계, 재생 기능계, 또는 수신 기능계)로부터의 화상에 대하여, 표시 양태나 화상 데이터에 관한 처리를 행하는 예이다.
도 9의 (a)는, 표시부(2)가 스루 상태로 되어 있는 경우를 나타내고 있다.
시스템 컨트롤러(10)가 표시 제어부(14)(표시 화상 처리부(12), 표시 구동 부(13))에 대하여 분할 표시를 지시함으로써, 도 9의 (b)와 같은 화상을 표시부(2)에 표시시킬 수 있다. 즉 표시부(2)의 화면 상을 영역 AR1, AR2로 분할하고, 영역 AR1은 스루 상태 또는 통상 화상 표시로 하고, 영역 AR2에는, 예를 들면 스토리지부(25) 혹은 통신부(26)를 소스로 하는 화상(예를 들면, 재생 또는 수신한 영상 콘텐츠의 화상 등)을 표시시키고 있는 예이다.
또한 도 9의 (c)는 다른 분할 표시의 예를 나타내고 있으며, 이 경우에는 표시부(2)의 화면 상을 영역 AR1, AR2, AR3, AR4로 분할함과 함께, 각 영역에는, 소정 시간 간격으로 화상의 1 프레임을 추출하여 표시시키고 있다. 예를 들면 표시 화상 처리부(12)에, 화상 데이터에 대하여 0.5초 간격으로 1 프레임을 추출시키고, 추출한 프레임의 화상을 영역 AR1→ AR2→ AR3→ AR4→ AR1→ AR2…로 순서대로 표시시켜 간다. 이것은, 소위 스트로보 표시라고 불리는 화상을 표시부(2)에서 분할 표시에 의해 실행한 예이다.
물론 화면 상의 복수의 영역에서, 각각 서로 다른 소스로부터의 화상을 표시하는 것도 고려된다.
도 10의 (a)는 표시부(2)에, 촬상 기능계, 재생 기능계, 또는 수신 기능계로부터의 화상이 그대로 통상의 사이즈로 표시되어 있는 경우를 나타내고 있다.
이 때에 시스템 컨트롤러(10)가, 표시 제어부(14)를 통해서 표시 화상 처리부(12)에 대하여 화상 확대 처리를 지시함으로써, 도 10의 (b)와 같은 확대 화상을 표시부(2)에 표시시킬 수 있다.
도 11의 (a)는 표시부(2)에, 촬상 기능계, 재생 기능계, 또는 수신 기능계로 부터의 화상이 통상적으로 표시되어 있는 경우를 나타내고 있다.
다만 이 표시 화상은, 휘도가 낮은 화상으로서, 유저에게 있어서 쾌적한 보기 쉬운 화상은 아닌 것으로 한다.
이와 같은 경우에, 시스템 컨트롤러(10)는 표시 제어부(14)(표시 화상 처리부(12), 표시 구동부(13))에 대하여 휘도 업, 콘트라스트, 샤프니스 조정을 지시하는 것 등에 의해, 도 11의 (b)와 같이, 보다 뚜렷한 화상을 표시부(2)에 표시시킬 수 있다.
이제까지 각종 표시예를 나타내었지만, 이들은 일례에 지나지 않는다. 본 예에서는, 촬상 기능계, 재생 기능계, 수신 기능계라고 하는 소스의 선택이나, 촬상 기능계나 재생 기능계의 동작, 또한 표시 화상 처리부(12), 표시 구동부(13)의 각 처리나 동작을 제어함으로써, 다양한 표시 형태가 실현된다.
예를 들면, 촬상 기능계를 표시 화상 소스로 하는 경우에는, 망원 표시, 광각 표시, 망원으로부터 광각까지의 사이의 줌인 혹은 줌아웃 표시, 확대 표시, 축소 표시, 프레임 레이트의 가변 표시(고프레임 레이트나 저프레임 레이트에서의 촬상 등), 고휘도 표시, 저휘도 표시, 콘트라스트 가변 표시, 샤프니스 가변 표시, 촬상 감도 상승 상태의 표시, 적외선 촬상 감도 상승 상태의 표시, 자외선 촬상 감도 상승 상태의 표시, 특정 파장 대역을 커트한 화상의 표시 등도 가능하다.
또한 재생 기능계, 수신 기능계를 표시 화상 소스로 하는 경우에는, 고속 재생, 슬로우 재생, 코마 전송 재생 등의 변속 재생에 의한 화상 표시나, 표시 페이지의 전환, 스크롤 표시 등 퍼스널 컴퓨터 등에서의 표시와 마찬가지의 표시도 가 능하다.
또한 표시 화상 처리부(12)의 처리에 의해, 모자이크 화상/휘도 반전 화상/소프트 포커스/화상 내의 일부의 강조 표시/화상 전체의 색의 분위기의 가변 등의 화상 이펙트 표시 등도 상정된다.
[4. 유저 상황의 판정]
전술한 바와 같이 본 예의 표시 장치(1)는, 사용자 정보를 취득하기 위한 구성으로서, 시각 센서(19), 가속도 센서(20), 자이로(21), 생체 센서(22)를 갖는다.
시각 센서(19)는, 유저의 시각에 관한 정보를 검출하는 것으로 하지만, 이 시각 센서(19)는, 일례로서는, 예를 들면 표시부(2)의 근처에 배치되어 유저의 안부를 촬상하도록 된 촬상부에 의해 형성할 수 있다. 그리고 그 촬상부가 촬상한 유저의 안부의 화상을 시스템 컨트롤러(10)가 취득하고, 유저 상황 판정 기능(10a)이 화상 해석을 행함으로써, 시선 방향, 초점 거리, 동공의 열림 상태, 안저 패턴, 눈꺼풀의 개폐 등을 검출할 수 있고, 이것에 기초하여 유저의 상황이나 의지를 판정할 수 있다.
혹은 시각 센서(19)는, 표시부(2)의 근처에 배치되어 유저의 안부에 광을 조사하는 발광부와, 안부로부터의 반사광을 수광하는 수광부에 의해 형성할 수 있다. 예를 들면 수광 신호로부터 유저의 수정체의 두께를 검지함으로써 유저의 눈의 초점 거리를 검출하는 것도 가능하다.
유저의 시선 방향을 검출함으로써, 시스템 컨트롤러(10)는 예를 들면 표시부(2)에 표시된 화상에서 유저가 주목하고 있는 부분을 판정할 수 있다.
또한 시스템 컨트롤러(10)는, 유저의 시선 방향을, 조작 입력으로서 인식하는 것도 가능하다. 예를 들면 유저가 시선을 좌우로 움직이는 것을, 표시 장치(1)에 요구하는 소정의 조작 입력으로 하는 등이다.
유저의 초점 거리를 검출함으로써, 유저가 주목하고 있는 광경이 원방인지 근방인지를 판별할 수 있고, 그에 따라서 줌 제어, 확대/축소 제어 등을 행하는 것도 가능하다. 예를 들면 유저가 먼 곳을 보았을 때에 망원 표시를 행하는 등이다.
유저의 동공의 열림 상태를 검출하면, 스루 상태이면 주위의 밝기 상태, 또한 모니터 표시 상태이면 표시하고 있는 화상에 대하여 유저가 느끼고 있는 눈부심 등을 판정할 수 있고, 그에 따라서 휘도 조정, 촬상 감도 조정 등을 행할 수 있다.
유저의 안저 패턴의 검출은, 예를 들면 유저의 개인 인증에 이용할 수 있다. 안저 패턴은 각 사람에게 고유한 패턴이기 때문에, 안저 패턴에 의해 장착한 유저를 판정하고, 그 유저에게 적합한 제어를 행하는 것, 혹은 특정한 유저에게만 모니터 표시의 동작을 실행할 수 있도록 하는 것 등의 제어가 가능하다.
유저의 눈꺼풀의 개폐 동작을 검출함으로써, 유저가 느끼고 있는 눈부심이나 눈의 피로를 판정할 수 있다. 또한, 눈꺼풀의 개폐를, 유저의 의식적인 조작 입력으로서 인식하는 것도 가능하다. 예를 들면 유저가 3회 깜빡거림을 하는 것을, 소정의 조작 입력이라고 판정하는 등이다.
가속도 센서(20) 및 자이로(21)는, 유저의 움직임에 따른 신호를 출력한다. 예를 들면 가속도 센서(20)는 직선 방향의 움직임을 검출하고, 자이로(21)에 의해 회전계의 움직임이나 진동을 검출하는 경우에 적합하다.
가속도 센서(20)나 자이로(21)의 배치 위치에도 의하지만, 가속도 센서(20)나 자이로(21)에 의해, 유저의 신체 전체 혹은 신체의 각 부의 움직임을 검지할 수 있다.
예를 들면 도 1과 같은 안경형의 표시 장치(1)의 내부에 부착된 경우, 즉 가속도 센서(20) 및 자이로(21)가 유저의 두부의 움직임을 검출하는 것으로 된 경우에는, 가속도 센서(20)의 정보는, 유저의 두부 혹은 전신의 움직임으로서의 가속도 정보로 되고, 또한 자이로(21)는 유저의 두부 혹은 전신의 움직임으로서의 각속도나 진동이 정보로 된다.
이것에 의해, 유저가 목부터 두부를 움직이는 거동을 검지할 수 있다. 예를 들면 상방을 향하고 있는 상태나 하방을 향하고 있는 상태를 판정할 수 있다. 아래쪽을 향하고 있을 때에는, 유저가 독서 등 근방을 보고 있다고 판단하는 것도 가능하다. 반대로 상방을 향하고 있을 때는, 원방을 보고 있다고 판단할 수도 있다.
또한 시스템 컨트롤러(10)는 유저의 목부터 두부를 움직이는 거동을 검출하면, 그것을 유저의 의식적인 조작으로 인식할 수도 있다. 예를 들면 좌측으로 2회 목을 흔들면, 그것이 소정의 조작 입력으로 하는 등이다.
또한 가속도 센서(20) 및 자이로(21)에 의해서는, 유저가 정지 상태(비보행 상태)인지, 보행 상태인지, 주행 상태인지 등의 판단도 가능하다. 또한 서 있는 상태로부터 앉은 경우, 혹은 일어선 경우 등의 검출도 가능하다.
또한, 가속도 센서(20)나 자이로(21)가, 두부에 장착하는 장착 유닛과는 별체로 설치되고, 팔이나 발에 부착되도록 하면, 팔만의 거동, 발만의 거동도 검지할 수 있다.
생체 센서(22)는, 유저의 생체 정보로서 예를 들면 심박 정보(심박수), 맥박 정보(맥박수), 발한 정보, 뇌파 정보(예를 들면 α파, β파, θ파, δ파 정보), 또는 피부 전기 반응, 체온, 혈압, 호흡 활동(예를 들면, 호흡 속도, 깊이, 환기량 등) 등을 검출하지만, 이들 정보로부터 시스템 컨트롤러(10)는, 유저가 긴장 상태나 흥분 상태에 있는 것, 혹은 감정적으로 차분한 상태에 있는 것, 혹은 쾌적한 상태인지 불쾌한 상태에 있는 것 등을 판정할 수 있다.
또한 표시 장치(1)를 유저가 장착한 것의 검지도, 생체 정보에 의해 가능하다. 예를 들면 시스템 컨트롤러(10)는, 유저가 표시 장치(1)를 장착하지 않고 있을 때에는 생체 정보 검지만을 행하는 스탠바이 상태로 제어하고, 생체 정보에 의해 유저가 표시 장치(1)를 장착한 것을 검지하면, 전원 온 상태로 하는 것이나, 반대로 유저가 표시 장치(1)의 장착을 떼어내면 스탠바이 상태로 되돌리는 등의 제어도 가능하다.
또한 생체 센서(22)에 의한 검출 정보는, 유저의 개인 인증(장착자 개인의 식별)에도 이용할 수 있다.
또한 생체 센서(22)는, 예를 들면 안경형의 표시 장치(1)의 장착 프레임 내측에 배치함으로써, 예를 들면 유저의 측두부나 후두부에서, 상기 정보를 검지할 수 있도록 하여도 되고, 표시 장치(1)의 장착 프레임 부분과는 별체로서, 신체의 소정 개소에 장착되도록 하여도 된다.
[5. 각종 동작예]
본 실시 형태의 표시 장치(1)는, 이상과 같이 시각 센서(19), 가속도 센서(20), 자이로(21), 생체 센서(22)로부터 검출되는 유저의 정보에 따라서, 시스템 컨트롤러(10)가 표시 동작에 관한 제어를 함으로써, 표시부(2)에서 유저의 의지나 상황에 따른 표시를 실행하고, 이것에 의해 유저에게 바람직한 화상을 제공할 수 있다.
이것을 위한 시스템 컨트롤러(10)의 제어에 기초하는 각종 동작예를 설명해 간다.
도 12는, 시스템 컨트롤러(10)의 동작 제어 기능(10b)으로서의 제어 처리를 나타내고 있다.
스텝 F101은, 시스템 컨트롤러(10)가 표시 제어부(14)에 대하여 표시부(2)를 스루 상태로 하는 제어 처리를 나타내고 있다. 예를 들면 표시 장치(1)가 전원 온으로 된 초기 단계에서는, 시스템 컨트롤러(10)는 스텝 F101에서 표시부(2)를 스루 상태로 제어한다.
표시부(2)를 스루 상태로 하고 있는 기간은, 시스템 컨트롤러(10)는 스텝 F102에서 표시 개시의 트리거가 발생하였는지의 여부를 확인하고 있다. 여기에서는 표시 개시 트리거의 발생은, 유저 상황 판정 기능(10a)에 의해 판정된 유저의 의지 또는 상황에 의해, 표시부(2)에서의 표시를 개시시키면 시스템 컨트롤러(10) 자신이 판단하는 것을 의미하고 있다. 유저의 조작, 유저의 의식적인 동작(조작으로 인식되는 동작), 또는 유저의 무의식인 동작이나 상태(유저 개인의 인식도 포함함)에 의해, 시스템 컨트롤러(10)는 표시 개시 트리거의 유무를 판단한다. 구체예 는 후술한다.
표시 개시 트리거가 있었다고 판별한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F103으로 진행시키고, 표시 개시 제어를 행한다. 즉 표시 제어부(14)에 지시하여, 표시 화상 처리부(12) 및 표시 구동부(13)에, 공급되는 데이터를 통상 촬상 화상의 양태로 표시부(2)에 표시시키는 동작을 실행시킨다.
표시 화상 처리부(12)에는, 화상 입출력 컨트롤부(27)를 통해서 화상 데이터가 공급되지만, 예를 들면 도 3 또는 도 4와 같이 복수의 화상 데이터 소스를 구비하는 경우에는, 이 시점에서는, 촬상 기능계(촬상부(3), 촬상 신호 처리부(15)), 재생 기능계(스토리지부(25)), 수신 기능계(통신부(26))의 소스 중에서 디폴트 설정에 의해 선택되어 있는 소스로부터의 화상 데이터가, 표시 화상 처리부(12)에 공급되도록 하면 된다. 예를 들면 촬상 기능계를 디폴트 설정의 소스인 것으로 하면, 스텝 F103의 표시 개시 제어일 때에, 시스템 컨트롤러(10)는 촬상 제어부(11)에 촬상 개시를 지시하여 촬상부(3) 및 촬상 신호 처리부(15)의 통상 촬상 동작을 실행시키고, 그 촬상 신호로서의 화상 데이터를, 화상 입출력 컨트롤부(27)를 통해서 표시 화상 처리부(12)에 공급시킨다. 이 경우, 표시부(2)에서는 예를 들면 도 5의 (a)의 스루 상태로부터 예를 들면 도 5의 (b)의 통상 촬상 화상의 모니터 표시 상태로 절환되게 된다.
또한, 디폴트 설정의 소스가 스토리지부(25)이면, 표시 개시 제어 시에 스토리지부(25)의 제어도 행하여, 콘텐츠의 재생이나 콘텐츠 선택 등의 메뉴 화면을 표시부(2)에 표시시켜도 되고, 디폴트 설정의 소스가 통신부(26)이면, 표시 개시 제 어 시에 통신부(26)의 동작의 제어도 행하여, 통신용의 화면이나, 외부 기기로부터의 수신 데이터에 의한 표시를 표시부(2)에 실행시켜도 된다.
물론, 소스가 1개의 구성인 경우에는, 그 소스로부터의 화상 데이터가 표시 화상 처리부(12)에 공급되도록 하면 된다.
또한, 스텝 F103에서의 표시 개시 제어일 때에는, 화상 소스로부터의 화상 데이터는 공급시키지 않고, 초기 화면으로서 메뉴 화면이나 소스 선택 화면 등을 표시부(2)에 표시시키도록 하는 제어를 행하는 것도 고려된다.
또한, 이 도 12의 처리에서는 음성 출력부(5)로부터의 음성 출력 동작에 대해서는 특별히 설명하지 않지만, 표시부(2)에서 표시 동작이 실행될 때에는, 시스템 컨트롤러(10)는, 표시 화상과 동일한 소스로부터의 음성 데이터에 기초하는 음성 출력이 실행되도록 음성 입출력 컨트롤부(28) 및 음성 신호 처리부(16)를 제어하는 것으로 한다.
표시부(2)에서 어떤 소스로부터의 화상의 표시를 행하고 있는 기간은, 시스템 컨트롤러(10)는, 스텝 F104에서 표시 제어 트리거가 발생하였는지의 여부를 감시하고, 또한 스텝 F105에서 소스 절환 트리거가 발생하였는지의 여부를 감시하고, 또한 스텝 F106에서 표시 종료 트리거가 발생하였는지의 여부를 감시한다.
표시 제어 트리거의 발생은, 유저 상황 판정 기능(10a)에 의해 판정된 유저의 의지 또는 상황에 의해, 표시 동작에서의 표시 화상 양태나 표시하는 화상 데이터에 관한 처리 등에 대한 변경을 행하면 시스템 컨트롤러(10) 자신이 판단하는 것을 의미하고 있다.
또한 소스 절환 트리거의 발생이란, 예를 들면 도 3, 도 4와 같이 표시 장치(1)에 복수의 소스가 설정되어 있는 경우에, 유저 상황 판정 기능(10a)에 의해 판정된 유저의 의지 또는 상황에 의해, 표시하는 화상 데이터의 소스의 절환을 행하면 시스템 컨트롤러(10) 자신이 판단하는 것을 의미하고 있다.
또한 표시 종료 트리거의 발생이란, 유저 상황 판정 기능(10a)에 의해 판정된 유저의 의지 또는 상황에 의해, 표시부(2)에서의 표시를 종료하여 스루 상태로의 절환을 행하면 시스템 컨트롤러(10) 자신이 판단하는 것을 의미하고 있다.
이들 트리거 발생은, 유저의 의식적인 동작(조작으로 인식되는 동작), 또는 유저의 무의식인 동작이나 상태(유저의 신체 상황이나 유저 개인의 인식 등)에 의해, 시스템 컨트롤러(10)가 판단하지만, 그 판단 방법이나 트리거에 따른 제어 내용에 대해서도, 구체예는 후술한다.
표시 제어 트리거 발생이라고 판단한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F104로부터 F107로 진행시키고, 화상의 표시 동작에 관한 제어를 행한다. 즉 표시 제어부(14)에 소정의 지시를 공급하고, 그 시점의 유저의 의지 또는 상황에 따른 양태의 표시를 표시부(2)에서 실행시킨다. 그 시점에서 선택되어 있는 소스에 의해서는, 시스템 컨트롤러(10)는 촬상 기능계의 제어, 스토리지부(25)에 대한 동작 제어, 통신부(26)에 대한 동작 제어를 행하는 경우도 있다.
스텝 F107에서 표시 동작 제어를 행한 후에도, 시스템 컨트롤러(10)는 스텝 F104, F105, F106의 트리거 발생의 감시를 행한다.
소스 절환 트리거 발생이라고 판단한 경우에는, 시스템 컨트롤러(10)는 처리 를 스텝 F105로부터 F108로 진행시키고, 소스 절환 제어를 행한다. 이 경우, 절환 전후의 소스에 대한 동작 제어나, 새로운 소스로부터의 화상 데이터/음성 데이터가, 표시 화상 처리부(12)/음성 신호 처리부(16)에 공급되도록 화상 입출력 컨트롤부(27)/음성 입출력 컨트롤부(28)의 제어를 행한다.
이 소스 절환 제어에 의해, 예를 들면 표시부(2)는, 촬상부(3)에 의해 촬상된 화상이 표시되어 있던 상태로부터, 예를 들면 스토리지부(25)에서의 재생 화상이 표시되는 상태 등으로 절환되게 된다.
스텝 F108에서 소스 절환 제어를 행한 후에도, 시스템 컨트롤러(10)는 스텝 F104, F105, F106의 트리거 발생의 감시를 행한다.
표시 종료 트리거 발생이라고 판단한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F106으로부터 F101로 되돌리고, 표시 제어부(14)에 대하여 표시부(2)를 스루로 하는 지시를 행한다. 또한 그 시점에서 선택되어 있던 화상 소스에 대하여 화상 공급 동작의 종료를 지시한다.
유저가 표시 장치(1)를 장착하여 전원 온으로 하고 있는 기간은, 시스템 컨트롤러(10)의 동작 제어 기능(10b)은, 예를 들면 이 도 12와 같은 제어 처리를 행하게 된다.
그리고 이 처리에서는, 표시 개시 트리거의 판단에 의한 표시 개시 제어, 표시 제어 트리거의 판단에 의한 표시 양태 제어, 소스 절환 트리거의 판단에 의한 소스 절환 제어 및 표시 종료 트리거의 판단에 의한 표시부(2)의 표시를 정지시켜 스루 상태로 하는 제어를 행하지만, 이들 트리거 판단과 제어 내용의 구체예에 대 하여, 도 13 이후에서 설명해 간다.
도 13으로부터 도 19는, 시스템 컨트롤러(10)의 유저 상황 판정 기능(10a)으로서의 처리예를 나타내고 있으며, 이들은 동작 제어 기능(10b)에 의한 상기 도 12의 처리와 병렬적으로 실행되어 있는 것으로 한다. 또한 병렬적인 처리란, 예를 들면 시스템 컨트롤러(10)가 도 12의 처리를 실행하고 있는 기간 동안에, 도 13∼도 19와 같은 검지 처리가 정기적으로 인터럽트 처리로서 행해지면 되는 것이다. 이들 도 13∼도 19와 같은 처리의 프로그램은, 도 12의 처리를 실행하는 프로그램에 짜 넣어져 있어도 되고, 정기적으로 호출되는 다른 프로그램으로 되어도 된다. 즉 프로그램의 형태가 한정되는 것은 아니다.
우선 도 13에서, 스루 상태로부터 표시 상태로 절환하는, 표시 개시 트리거의 판단에 대한 예를 설명한다.
도 13의 (a), (b)는, 유저의 거동을 모니터 표시 개시의 조작으로서 검지하는 예이다.
도 13의 (a)의 스텝 F200에서는, 시스템 컨트롤러(10)가 가속도 센서(20), 또는 자이로(21)로부터의 검출 정보(가속도 신호, 각속도 신호)를 감시하는 처리를 나타내고 있다.
예를 들면 목을 세로로 2회 흔들거나, 좌우로 왕복 1회 흔들거나, 목을 1 바퀴 돌리는 등, 특정한 동작을, 유저가 표시 개시를 요구하는 조작으로 설정되어 있는 것으로 한다. 시스템 컨트롤러(10)는, 가속도 센서(20) 또는 자이로(21)(또는, 그 양쪽)로부터의 검출 정보에 의해, 그와 같은 표시 개시의 의지를 나타내는 특정 한 동작에 상당하는 동작이 있었다고 판별한 경우에는, 처리를 스텝 F201로부터 F202로 진행시키고, 표시 개시 트리거 발생이라고 판별한다.
이와 같이 스텝 F202에서 표시 개시 트리거 발생이라고 판별함으로써, 상기 도 12의 처리는 스텝 F102로부터 F103으로 진행하게 되고, 시스템 컨트롤러(10)는 표시부(2)에서 화상 표시를 개시하는 제어를 실행하게 된다.
또한 가속도 센서(20) 또는 자이로(21)로부터의 정보에 의해 검출하는, 모니터 표시를 요구하는 조작으로 되는 유저의 특정한 거동으로서는, 예를 들면 점프하거나, 손을 휘두르거나, 팔을 흔들거나, 발을 흔드는 등, 그 외에도 각종의 것이 고려된다.
도 13의 (b)는, 시각 센서(19)의 정보에 기초하여 표시 개시 트리거를 판별하는 예이다.
시스템 컨트롤러(10)는 스텝 F210에서, 시각 센서(19)로부터의 정보를 해석한다. 예를 들면 시각 센서(19)로서 유저의 안부를 촬상하는 촬상부가 설치되어 있는 경우, 그 촬상 화상을 해석한다.
예를 들면 깜빡거림을 3회 연속하여 행한다고 하는 특정한 동작을, 유저가 표시 개시를 요구하는 조작인 것으로 설정되어 있다고 하면, 시스템 컨트롤러(10)는, 화상 해석에 의해 이 거동을 감시하게 된다.
그리고 시스템 컨트롤러(10)는, 유저가 깜빡거림을 3회 연속하여 행한 것을 검지하면, 처리를 스텝 F211로부터 F212로 진행시키고, 표시 개시 트리거 발생이라고 판별한다.
스텝 F212에서 표시 개시 트리거 발생이라고 판별함으로써, 상기 도 12의 처리는 스텝 F102로부터 F103으로 진행하게 되고, 시스템 컨트롤러(10)는 표시부(2)에서 화상 표시를 개시하는 제어를 실행하게 된다.
또한 시각 센서(19)로부터의 정보에 의해 검출하는, 모니터 표시를 요구하는 조작으로 되는 유저의 특정한 거동으로서는, 예를 들면 안구를 돌리는, 안구를 좌우 또는 상하로 2 왕복시키는 등, 그 밖에도 각종의 것이 고려된다.
도 13의 (c)는, 유저가 표시 장치(1)를 장착하는 것 자체를, 표시 개시 트리거로 하는 예이다.
시스템 컨트롤러(10)는 스텝 F230에서, 생체 센서(22)로부터의 뇌파, 심박수, 피부 전기 반응 등의 정보를 체크한다.
그리고 스텝 F231에서 시스템 컨트롤러(10)는, 생체 센서(22)로부터의 정보에 기초하여, 유저가 표시 장치(1)를 장착하였는지의 여부를 판단한다. 생체 센서(22)에 의해 인체로부터의 정보가 얻어지는 상태로 된 것인지의 여부에 의해 유저의 장착을 검지할 수 있다.
시스템 컨트롤러(10)는 유저가 표시 장치(1)를 장착하였다고 판별한 경우에는, 처리를 스텝 F231로부터 F232로 진행시키고, 표시 개시 트리거 발생이라고 판별한다.
이와 같이 스텝 F232에서 표시 개시 트리거 발생이라고 판별함으로써, 상기 도 12의 스텝 F103에서, 시스템 컨트롤러(10)는 표시 개시 제어를 행하게 된다.
이와 같이 예를 들면 생체 센서(22)의 반응에 의해, 유저에 의한 장착을 검 출할 수 있기 때문에, 생체 센서(22)에 의한 생체 반응으로서, 예를 들면 맥박, 뇌파, 피부 반응 등의 검출이 개시된 것을 촬상 개시 트리거 발생으로 한다. 이것에 의해, 유저가 장착하면 표시를 개시한다고 하는 동작 제어를 실행할 수 있다.
또한, 불특정한 유저의 장착이 아니라, 특정한 유저가 장착하면, 표시를 개시한다고 하는 제어를 하는 것도 고려된다. 전술한 바와 같이 시각 센서(19)에 의해 검출하는 안저 패턴이나 생체 센서(22)에 의한 검출 신호에 의해서는, 유저의 개인을 식별할 수 있다. 예를 들면 미리 사용하는 유저에 대하여 안저 패턴이나 생체 정보를 등록해 둠으로써, 시스템 컨트롤러(10)는, 특정한 유저가 장착하고 있는지의 여부를 판별하는 것이 가능하다.
따라서, 시스템 컨트롤러(10)는, 표시 장치(1)가 어떤 유저에게 장착되었을 때에 개인 인증을 행하고, 특정한 유저를 인식한 경우에, 그것을 표시 개시 트리거로 판별하여, 표시 개시 제어를 행할 수도 있다.
또한, 유저의 무의식적인 거동이나 신체 상황에 의해 촬상 개시 트리거를 판별하는 처리로서 그 밖에도 각종의 것이 상정된다.
예를 들면 시각 센서(19)로부터의 정보에 의해, 유저의 시선이 갑자기 움직인 경우에 촬상 개시 트리거 발생이라고 판단하는 등, 시각 센서(19)의 정보를 이용하거나, 또한 음성 입력부(6)로부터의 입력 음성에 기초하여 표시 개시 트리거 발생을 판단하는 것도 고려된다.
또한, 이상과 같은 표시 개시 트리거에 따라서 화상을 표시부(2)에 표시시킬 때에는, 도 9의 (b)와 같이 표시부(2)의 화면상에서 스루 상태의 영역 AR1을 남기 고, 일부의 영역 AR2에서 화상 표시를 행하도록 하여도 된다.
도 12에는 도시하고 있지 않지만, 상기 도 13의 (c)와 같은 유저에 의한 장착 검출을 전원 온의 트리거로 하고, 시스템 컨트롤러(10)는 유저의 장착을 검지하면 표시 장치(1)의 전원을 온으로 하도록 하여도 된다.
이 경우, 반대로, 유저가 표시 장치(1)를 제거한 것을 검지하면, 전원 오프로 하면 된다.
다음으로, 도 12의 스텝 F104에서의, 표시 제어 트리거 발생의 판단에 관한 처리예를 도 14로부터 도 17에서 설명한다.
도 14는, 유저의 시선의 움직임에 의해 표시 화상의 페이지나 선택 부분의 넘기기/되돌리기의 제어를 행하는 예이다.
시스템 컨트롤러(10)는 도 14의 스텝 F300에서, 시각 센서(19)로부터의 정보를 해석한다. 예를 들면 시각 센서(19)로서 유저의 안부를 촬상하는 촬상부가 설치되어 있는 경우, 그 촬상 화상을 해석한다.
여기에서, 시스템 컨트롤러(10)는, 유저의 시선 방향이 좌측으로 이동한 것을 검지하면, 스텝 F301로부터 F303으로 진행시키고, 화상 되돌리기의 트리거 발생이라고 판별한다.
또한 시스템 컨트롤러(10)는, 유저의 시선 방향이 우측으로 이동한 것을 검지하면, 스텝 F302로부터 F304로 진행시키고, 화상 진행의 트리거 발생이라고 판별한다.
이들 경우, 상기 도 12의 처리는 스텝 F104로부터 F107로 진행하게 되고, 시 스템 컨트롤러(10)는 표시 화상의 넘기기/되돌리기의 제어를 행한다. 예를 들면 스토리지부(25)를 소스로 하고, 그 재생 화상으로서 도 6의 (c)나 도 8의 (c)와 같은 화상을 표시시키고 있을 때에, 그 페이지 또는 선택 부분의 넘기기/되돌리기가 행해지도록 표시 화상 처리부(12)나 스토리지부(25)의 제어를 행한다.
여기에서는 시선 방향의 좌우의 움직임을 검지하였지만, 예를 들면 시선 방향의 상하의 움직임을 검지하였을 때에, 화면 스크롤의 트리거 발생이라고 판별하고, 표시 화면의 스크롤 처리를 실행시키도록 하는 것도 바람직하다.
도 15는, 유저의 시각으로서의 쾌/불쾌의 감각에 따른 제어의 예이다.
시스템 컨트롤러(10)는 도 15의 스텝 F400에서, 시각 센서(19)로부터의 정보를 해석하고, 유저의 눈의 동공의 열림 상태이나 깜빡거림의 상황(단위 시간당 깜빡거림 횟수 등)을 검출한다.
또한 스텝 F401에서, 생체 센서(22)로부터의 뇌파, 심박수, 발한량, 혈압 등의 정보를 체크한다.
시스템 컨트롤러(10)는, 이들 시각 센서(19)나 생체 센서(22)로부터의 정보에 기초하여, 표시부(2)의 표시 화상에 대하여 유저가 쾌적한 상태인지 불쾌한 상태인지의 여부를 판단한다.
그리고 시스템 컨트롤러(10)는, 유저의 화상 감지 상황이 쾌적하지 않다고 판단한 경우에는, 처리를 스텝 F402로부터 F403으로 진행시키고, 화상의 조정 제어의 트리거 발생이라고 판별한다. 그 경우 스텝 F404에서, 유저의 상황에 따라서 쾌적이라고 생각되는 조정값, 예를 들면 표시 휘도, 콘트라스트, 샤프니스 등의 조 정값을 산출한다.
이 스텝 F403, F404의 처리에 의해, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F104로부터 F107로 진행하게 되고, 이 경우에는 표시 화상 처리부(12)에 대하여 휘도 조정, 콘트라스트 조정, 샤프니스 조정 등의 처리를 지시한다. 이 처리에 의해, 표시부(2)에서의 표시 화상의 화질이 조정되고, 유저에게 있어서 쾌적한 표시 화상으로 된다.
예를 들면 유저의 촬상 기능계로부터의 촬상 화상을 표시하고 있을 때의 주위의 밝기나, 유저의 눈의 피로 등에 의해, 유저의 시각 감지 상황이 불쾌한 상태로 되었을 때에, 이와 같은 처리가 행해짐으로써, 쾌적한 시각 상황을 제공할 수 있다. 예를 들면 도 11의 (a)과 같이 어두워서 보기 어려운 화상이 표시되어 있는 경우에, 도 11의 (b)와 같은 뚜렷이 보이는 듯한 화상을 제공하거나, 또한 눈이 피로해 진 듯한 경우에는, 부드러운 화질의 화상으로 하는 것 등이 가능하게 된다.
도 16은 유저의 목(두부)의 움직임을 조작으로 간주하는 처리이다.
시스템 컨트롤러(10)는 스텝 F500에서, 가속도 센서(20), 자이로(21)로부터의 검출 정보(가속도 신호, 각속도 신호)를 감시하고, 스텝 F501에서 유저의 두부의 움직임을 판정한다. 예를 들면 여기에서는, 뒤로 2회 두부를 기울이는 동작이 있었는지, 또는 앞으로 2회 두부를 기울이는 동작이 있었는지, 또는 2회 좌측으로 목을 흔드는 동작이 있었는지를 판정한다.
뒤로 2회 두부를 기울이는 동작을 검출한 경우, 시스템 컨트롤러(10)는 처리를 스텝 F502로부터 F505로 진행시키고, 화상 확대의 트리거 발생이라고 판별한다.
이 경우, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 화상 처리부(12)에 화상 확대 처리를 지시한다. 이것에 의해 표시부(2)에서는, 예를 들면 도 10의 (b)와 같은 확대 화상이 표시되게 된다.
또한 앞으로 2회 두부를 기울이는 동작을 검출하면, 시스템 컨트롤러(10)는 처리를 스텝 F503으로부터 F506으로 진행시키고, 화상 축소의 트리거 발생이라고 판별한다. 이 경우에도, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 화상 처리부(12)에 화상 축소 처리를 지시한다. 이것에 의해 표시부(2)에서는, 축소 화상이 표시되게 된다.
또한 2회 좌측으로 목을 흔드는 동작을 검출하면, 시스템 컨트롤러(10)는 처리를 스텝 F504로부터 F507로 진행시키고, 확대/축소 배율을 리세트한다고 하는 트리거 발생이라고 판별한다. 이 경우에도, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 화상 처리부(12)에 확대/축소 처리를 리세트시킨다. 이것에 의해 표시부(2)에서는, 표준 배율로 되돌린 화상이 표시되게 된다.
도 17은, 시각 센서(19)의 정보에 의해 표시 화면상에서의 조작 입력의 트리거를 판별하는 예이다.
시스템 컨트롤러(10)는 도 17의 스텝 F600에서, 시각 센서(19)로부터의 정보를 해석한다. 예를 들면 시각 센서(19)로서 유저의 안부를 촬상하는 촬상부가 설치되어 있는 경우, 그 촬상 화상을 해석하고, 표시부(2)를 보고 있는 유저의 시선 이동이나 깜빡거림을 검출한다.
시스템 컨트롤러(10)는, 유저의 시선 이동을 검지하면, 스텝 F601로부터 F603으로 진행시키고, 표시 화면상의 커서(화면상의 포인터)의 이동의 트리거 발생이라고 판별한다. 그리고 스텝 F604에서, 시선의 이동 방향과 이동량으로부터, 화면 상에서의 커서 이동 방향과 이동량을 산출한다.
이 경우, 시스템 컨트롤러(10)는 도 12의 스텝 F107에서, 표시 화상 처리부(12)에 커서 이동을 지시한다. 예를 들면 도 8의 (b), (c)와 같은 화상을 표시하고 있을 때에, 그 표시 화면상에서 커서를 이동시킨다.
또한, 시스템 컨트롤러(10)는, 유저가 2회 연속하여 깜빡거림을 행한 것을 검지하면, 스텝 F602로부터 F605로 진행시키고, 클릭 조작의 트리거 발생이라고 판별한다. 이 경우, 시스템 컨트롤러(10)는 도 12의 스텝 F107에서, 클릭 조작에 따른 제어 처리를 행하게 된다. 예를 들면 스토리지부(25)에서의 재생 화상에 관한 어떠한 조작이면, 조작에 따른 스토리지부(25)의 재생 동작의 제어를 행하고, 또한 통신부(26)에 의해 수신하고 있는 화상상에서의 클릭 조작이면, 그 때의 커서 위치나 클릭 조작의 정보를 외부 기기에 송신하는 등의 처리를 행한다.
이와 같은 처리에 의해, 유저의 눈의 동작을, 컴퓨터 시스템에서의 마우스의 조작과 동등하게 취급할 수 있다. 또한, 도 6의 (b)와 같은 게임 화상을 표시하고 있을 때에, 유저의 시선 방향이나 깜빡거림을 게임에 대한 조작으로서 취급할 수도 있다.
여기까지의 도 14, 도 15, 도 16, 도 17의 처리로서, 유저의 의식적인 동작이나 무의식인 동작 또는 신체 상황에 따라서, 표시 화상의 표시 양태, 혹은 표시 하는 화상 데이터의 처리, 혹은 표시 화면상에서의 조작 등의 제어를 행하는 예를 들었지만, 이들은 일례에 지나지 않고, 그 밖에도 표시 제어 트리거의 판별 및 제어예로서 매우 다양한 예가 고려된다.
표시 제어 트리거로서는, 시각 센서(19), 가속도 센서(20), 자이로(21), 생체 센서(22)의 각 정보로부터 각종 유저의 거동이나 신체 상황을 검지하고, 소정의 조건이 충족된 경우에 트리거 발생이라고 판단하면 된다.
그리고 다양한 조건에서 표시 제어 트리거 발생이라고 판단한 경우의 제어예로서, 표시 화상 처리부(12)에 대한 제어로서는, 확대/축소의 제어, 휘도, 콘트라스트, 샤프니스 등의 조정 제어, 모자이크 화상/휘도 반전 화상/소프트 포커스 등의 화상 이펙트 표시, 또한 도 9와 같은 화면 분할이나 스트로보 표시 등의 제어를, 유저의 거동이나 신체 상황에 따라서 실행할 수 있다.
또한 촬상 기능계를 소스로서 촬상 화상을 표시부(2)에 표시하고 있는 경우에는, 촬상부(3), 촬상 신호 처리부(15)의 동작 제어로서, 망원/광각의 줌 처리, 촬상 감도의 제어, 촬상 프레임 레이트의 절환, 적외선 촬상 감도나 자외선 촬상 감도의 변경 제어 등을 행하는 것이 고려된다.
또한 스토리지부(25)에서의 재생 화상이나 통신부(26)에서의 수신 화상을 표시부(2)에 표시하고 있는 경우에는, 표시 제어 트리거를, 빨리감기/되감기, 첫머리 탐색, 코마 전송, 슬로우, 일시 정지 등의 변속 재생 제어를 행하거나, 페이지 넘기기, 페이지 스크롤, 일람 표시상에서의 선택 부분의 넘기기, 커서 이동, 결정 조작, 게임 조작 등의 트리거로서 취급하고, 스토리지부(25)나 통신부(26)에 주어진 동작을 실행시키도록 제어하는 것이 상정된다.
즉, 표시 제어 트리거의 발생 판단의 조건과, 거기에 따른 제어 내용으로서는, 이들 중에서의 모든 조합이 고려된다.
또한, 이상과 같이 표시 제어의 트리거에 따라서 표시부(2)의 표시를 절환할 때에는, 도 9의 (b)과 같이 표시부(2)의 화면상에서 스루 상태 혹은 통상 촬상 화상의 영역 AR1을 남기고, 일부 영역 AR2에서, 서로 다른 양태의 화상의 표시를 행하도록 하여도 된다. 물론 반대로 넓은 영역 AR1에서, 화상 제어 트리거에 따른 화상을 표시하여도 되고, 화면상을 등분할하여, 통상 촬상 화상과, 화상 제어 트리거에 따른 화상을 표시하여도 된다.
그런데 이상의 도 14∼도 18에서는 표시 제어 트리거의 발생 판단의 예와, 그에 따른 제어의 예에 대하여 설명하였지만, 도 12의 스텝 F105에서 판단하는 소스 절환 트리거에 대해서도, 마찬가지로 각종의 예가 상정된다.
즉 시각 센서(19), 가속도 센서(20), 자이로(21), 생체 센서(22)의 각 정보로부터 각종 유저의 의식적인 거동이나 무의식인 동작이나 신체 상황을 검지하고, 소정의 조건이 충족된 경우에 소스 절환 트리거 발생이라고 판단하면 된다.
그리고 도 12의 스텝 F108에서는, 그 소스 절환 트리거 발생에 따라서, 시스템 컨트롤러(10)는 표시 화상 처리부(12)에 공급하는 화상 데이터의 소스를 절환하는 제어를 행한다.
계속해서, 도 12의 스텝 F106으로서 검출하는 표시 종료 트리거, 즉 화상 표시 상태로부터 스루 상태로 절환하는 트리거에 대한 예를 도 18, 도 19에서 설명한 다.
도 18의 (a)는, 유저가 의식적인 거동에 의해 표시를 종료시키는 처리예이다.
도 18의 (a)에서, 시스템 컨트롤러(10)는 스텝 F800에서, 가속도 센서(20), 자이로(21)로부터의 검출 정보를 감시하고, 유저의 목의 움직임이나 전신 동작 등을 판별한다.
그리고 시스템 컨트롤러(10)는, 유저가 모니터 표시의 종료를 지시하는 특정한 거동을 행한 것을 검지하면, 처리를 스텝 F801로부터 F802로 진행시키고, 표시 종료 트리거 발생이라고 판단한다.
이 스텝 F802의 처리에 의해, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F106으로부터 F101로 진행하게 되고, 이 경우에는 표시 제어부(14)에 스루 상태로의 절환을 지시한다. 이것에 의해 표시부(2)는 도 5의 (a)와 같은 스루 상태로 되돌아간다.
도 18의 (b)도, 유저의 의식적인 거동에 의해 모니터 표시를 종료시키는 처리예이다.
시스템 컨트롤러(10)는 도 18의(b)의 스텝 F810에서, 시각 센서(19)로부터의 정보를 해석한다. 예를 들면 깜빡거림을 3회 연속하여 행한다고 하는 특정한 동작을, 유저가 표시 종료를 요구하는 조작인 것으로 설정되어 있다고 하면, 시스템 컨트롤러(10)는, 화상 해석에 의해 이 거동을 감시하게 된다.
그리고 시스템 컨트롤러(10)는, 유저가 깜빡거림을 3회 연속하여 행한 것을 검지하면, 처리를 스텝 F811로부터 F812로 진행시키고, 표시 종료 트리거 발생이라고 판별한다.
이 스텝 F812의 처리에 의해, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F106으로부터 F101로 진행하고, 표시 제어부(14)에 스루 상태로의 절환을 지시한다. 이것에 의해 표시부(2)는 도 5의 (a)과 같은 스루 상태로 되돌아간다.
이 도 18의 (a), (b)와 같은 처리에 의해, 유저가 스루 상태를 요구한 경우에, 스루 상태로 된다고 하는, 유저의 의지에 따른 제어가 실행된다. 물론, 스루 상태로 되돌린다고 하는 유저의 의지를 나타내는 거동은, 그 밖에도 각종의 것이 고려된다.
도 19의 (a)는, 유저의 동작(조작으로서 의식하지 않은 동작)에 따라서 자동적으로 스루 상태로 되돌리는 처리예이다.
도 19의 (a)에서, 시스템 컨트롤러(10)는 스텝 F900에서, 가속도 센서(20), 자이로(21)로부터의 검출 정보를 감시하고, 유저의 전신의 동작을 판별한다. 특히 유저가 정지 상태를 유지하고 있거나, 혹은 보행 상태 또는 주행 상태로 되었는지를 검지한다.
그리고 시스템 컨트롤러(10)는, 유저가 보행 또는 주행을 개시하였다고 판단한 경우에는, 처리를 스텝 F901로부터 F902로 진행시키고, 표시 종료 트리거 발생이라고 판단한다.
이 스텝 F902의 처리에 의해, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F106으로부터 F101로 진행하게 되고, 이 경우에는 표시 제어부(14)에 스루 상태로 의 절환을 지시한다. 이것에 의해 표시부(2)는 도 5의 (a)와 같은 스루 상태로 되돌아간다.
예를 들면 이와 같이 보행 또는 주행 상태로 되면, 스루 상태로 되돌리는 것은, 유저에 대한 안전성을 확보하는 의미에서 바람직하다.
또한, 여기서는 스루 상태로 되돌리는 것으로서 설명하였지만, 예를 들면 보행 또는 주행 상태에서는, 스루 상태와 마찬가지의 모니터 표시로서, 도 5의 (b)와 같은 통상 촬상 화상의 표시로 절환하도록 하여도 된다.
도 19의 (b)는, 유저의 신체 상황에 따라서 자동적으로 스루 상태로 되돌리는 처리예이다.
도 19의(b)에서, 시스템 컨트롤러(10)는 스텝 F910에서, 생체 센서(22)로부터의 정보, 예를 들면 뇌파, 심박수, 발한량, 혈압 등의 정보를 체크한다.
또한 스텝 F911에서 시각 센서(19)로부터의 정보를 해석하고, 유저의 눈의 동공의 열림 상태나 깜빡거림의 상황(단위 시간당 깜빡거림 횟수 등)을 검출한다.
시스템 컨트롤러(10)는, 생체 센서(22)나 시각 센서(19)로부터의 정보에 기초하여, 유저의 눈이 피로한 상태에 있는지의 여부를 판단한다.
그리고, 유저의 눈이 피로하다고 판단한 경우에는, 스텝 F912로부터 F913으로 진행하고, 표시 종료 트리거 발생이라고 판단한다.
이 스텝 F913의 처리에 의해, 시스템 컨트롤러(10)의 도 12의 처리는 스텝 F106으로부터 F101로 진행하게 되고, 이 경우에는 표시 제어부(14)에 스루 상태로의 절환을 지시한다. 즉 적외선 감도 상승 촬상의 모니터 표시가 종료되고, 표시 부(2)는 스루 상태로 되돌아간다.
이와 같이 유저의 눈의 피로 등의 신체 상황에 따라서 표시부(2)의 표시를 종료시킴으로써, 유저의 신체에 부담을 주지 않도록 하는 표시 장치(1)의 사용을 실현할 수 있다.
[6. 실시 형태의 효과, 변형예 및 확장예]
이상, 실시 형태를 설명하여 왔지만, 실시 형태에 의하면, 안경형 혹은 두부 장착형의 장착 유닛에 배치된 표시부(2)에 의해, 사용자의 눈의 바로 앞에서 화상을 표시시키지만, 이 경우에, 유저의 동작 또는 신체의 상황에 관한 정보에 기초하여 유저의 의지 또는 상황을 판정하여 표시 동작에 관한 제어를 행함으로써, 유저에게 조작 부담을 주지 않고, 유저의 의지 또는 상황에 따른 적확한 표시 동작이 실행된다. 이것에 의해 표시 장치(1)는, 유저에게 있어서 사용성이 좋고, 또한 다양한 시계 광경을 제공할 수 있는 장치로 된다.
또한 표시부(2)는, 투과율 제어에 의해 투명 또는 반투명의 스루 상태로 할 수 있음으로써, 장착 유닛에 의해 장착된 그대로이어도 통상의 생활에 지장이 없도록 할 수 있다. 이 때문에 유저의 통상의 생활 속에서, 본 예의 표시 장치(1)의 이점을 유효하게 활용할 수 있다.
또한, 실시 형태에서는 특히 표시 동작에 관한 제어에 대하여 설명하였지만, 예를 들면 전원 온/오프/스탠바이의 절환이나, 음성 출력부(5)로부터 출력되는 음성의 음량이나 음질의 제어 등을, 유저의 거동이나 신체 상황에 기초하여도 된다. 예를 들면 생체 센서(22)의 정보로부터 유저의 쾌적성을 고려하여 음량 조정을 행 하는 것 등도 고려된다.
또한, 화상 내에서의 문자를 인식하는 문자 인식부와, 음성 합성 처리를 행하는 음성 합성부를 설치하고, 촬상 화상, 재생 화상, 수신 화상에 문자가 포함되어 있는 경우에, 음성 합성부에서, 그 독음 음성의 음성 신호를 생성하여, 음성 출력부(5)로부터 출력시키도록 하는 것도 고려된다.
또한, 표시 장치(1)의 외관이나 구성은 도 1, 도 3, 도 4의 예에 한정되는 것이 아니며, 각종 변형예가 고려된다.
표시 화상(1)으로서 안경형 혹은 두부 장착형의 장착 유닛을 갖는 예를 설명하였지만, 본 발명의 표시 장치는, 유저의 눈앞에서 표시를 행할 수 있도록 구성되면 되며, 예를 들면 헤드폰형, 네크 밴드 타이프, 귀걸이식 등, 어떠한 장착 유닛에 의해 유저에게 장착되는 것이어도 된다. 또한, 예를 들면 통상의 안경이나 바이저, 혹은 헤드폰 등에, 클립 등의 부착구에 의해 부착함으로써 유저에게 장착되도록 하는 형태이어도 된다.

Claims (27)

  1. 화상의 촬상을 행하는 촬상 수단과,
    사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단과,
    사용자의 두부의 움직임, 또는 팔부의 움직임, 또는 손의 움직임, 또는 다리부의 움직임, 또는 신체 전체의 움직임을 검출하는 센서, 사용자의 비보행 상태와 보행 상태를 검출하는 센서, 사용자의 시각 정보를 검출하는 센서, 또는 사용자의 생체 정보를 검출하는 생체 센서 중 적어도 2종류의 센서에 의해 사용자의 동작 또는 신체의 상황에 관한 정보를 취득하는 사용자 정보 취득 수단과,
    상기 사용자 정보 취득 수단에 의해 취득된 정보로부터, 사용자의 의지 또는 상황을 판정하고, 판정 결과에 기초하여, 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 수단
    을 구비하고,
    상기 표시 수단은, 투명 혹은 반투명인 스루 상태와, 공급된 데이터의 표시를 행하는 표시 상태를 절환 가능하게 함과 함께,
    상기 제어 수단은, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 촬상 수단에 의해 촬상된 화상 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하고, 상기 사용자 정보 취득 수단에 의해 취득된 정보 중 소정 정보에 기초하여 표시 수단의 표시를 종료시키는, 표시 장치.
  2. 제1항에 있어서,
    기록 매체로부터 데이터를 재생하는 재생 수단을 더 구비하는, 표시 장치.
  3. 제1항에 있어서,
    상기 제어 수단은, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 재생 수단에 의해 재생된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하는, 표시 장치.
  4. 제2항에 있어서,
    상기 제어 수단은, 상기 재생 수단에 의해 재생된 데이터를 상기 표시 수단에 의해 표시시키고 있을 때에, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 재생 수단의 재생 동작의 제어를 행하는, 표시 장치.
  5. 제1항에 있어서,
    외부 기기와 통신을 행하여 데이터를 수신하는 수신 수단을 더 구비하는, 표시 장치.
  6. 제5항에 있어서,
    상기 제어 수단은, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 수신 수단에 의해 수신된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하는, 표시 장치.
  7. 제1항에 있어서,
    상기 사용자의 시각 정보를 검출하는 센서는, 사용자의 시선 방향, 또는 사용자의 초점 거리, 또는 사용자의 동공 상태, 또는 사용자의 안저(眼底) 패턴, 또는 사용자의 눈꺼풀의 움직임을 검출하는, 표시 장치.
  8. 제1항에 있어서,
    상기 사용자의 생체 정보를 검출하는 센서는, 사용자의, 심박 정보, 또는 맥박 정보, 또는 발한 정보, 또는 뇌파 정보, 또는 피부 전기 반응, 또는 혈압 정보, 또는 체온 정보, 또는 호흡 활동 정보를 검출하는, 표시 장치.
  9. 제1항에 있어서,
    상기 사용자의 생체 정보를 검출하는 센서는, 사용자의 긴장 상태 혹은 흥분 상태를 나타내는 정보를 검출하는, 표시 장치.
  10. 제1항에 있어서,
    상기 제어 수단은, 상기 표시 수단에 의해 표시시킨 화상의 내용에 대한 입력 조작을, 상기 사용자 정보 취득 수단에 의해 취득된 정보에 기초하여 판별하는, 표시 장치.
  11. 화상의 촬상을 행하는 촬상 수단과, 사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단과, 사용자의 두부의 움직임, 또는 팔부의 움직임, 또는 손의 움직임, 또는 다리부의 움직임, 또는 신체 전체의 움직임을 검출하는 센서, 사용자의 비보행 상태와 보행 상태를 검출하는 센서, 사용자의 시각 정보를 검출하는 센서, 또는 사용자의 생체 정보를 검출하는 생체 센서 중 적어도 2종류의 센서에 의해 사용자의 동작 또는 신체의 상황에 관한 정보를 취득하는 사용자 정보 취득 수단과, 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 수단을 구비한 표시 장치의 표시 방법으로서,
    상기 사용자 정보 취득 수단에 의해, 사용자의 동작 또는 신체의 상황에 관한 정보를 취득하는 사용자 정보 취득 스텝과,
    상기 제어 수단이 상기 사용자 정보 취득 스텝에서 취득된 정보로부터 사용자의 의지 또는 상황을 판정하고, 판정 결과에 기초하여 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 스텝
    을 구비하고,
    상기 표시 수단은, 투명 혹은 반투명인 스루 상태와, 공급된 데이터의 표시를 행하는 표시 상태를 절환 가능하게 함과 함께,
    상기 제어 스텝에서는, 상기 사용자 정보 취득 스텝에서 취득된 정보에 기초하여, 상기 촬상 수단에 의해 촬상된 화상 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하고, 상기 사용자 정보 취득 스텝에서 취득된 정보 중 소정 정보에 기초하여 표시 수단의 표시를 종료시키는, 표시 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
KR1020097004731A 2006-09-08 2007-08-01 표시 장치, 표시 방법 KR101352660B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006244686A JP5228305B2 (ja) 2006-09-08 2006-09-08 表示装置、表示方法
JPJP-P-2006-244686 2006-09-08
PCT/JP2007/065083 WO2008029570A1 (fr) 2006-09-08 2007-08-01 Dispositif d'affichage et procédé d'affichage

Publications (2)

Publication Number Publication Date
KR20090050069A KR20090050069A (ko) 2009-05-19
KR101352660B1 true KR101352660B1 (ko) 2014-01-23

Family

ID=39157015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097004731A KR101352660B1 (ko) 2006-09-08 2007-08-01 표시 장치, 표시 방법

Country Status (8)

Country Link
US (5) US8368794B2 (ko)
EP (1) EP2061026A4 (ko)
JP (1) JP5228305B2 (ko)
KR (1) KR101352660B1 (ko)
CN (1) CN101506868A (ko)
RU (1) RU2009108342A (ko)
TW (1) TW200827769A (ko)
WO (1) WO2008029570A1 (ko)

Families Citing this family (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US20070081123A1 (en) * 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
ES2391116T3 (es) 2006-02-23 2012-11-21 Lg Electronics Inc. Método y aparato para procesar una señal de audio
US20080235006A1 (en) 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
US20080243005A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
JP5250834B2 (ja) * 2008-04-03 2013-07-31 コニカミノルタ株式会社 頭部装着式映像表示装置
US8996332B2 (en) 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
US9480919B2 (en) * 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
JP2010134057A (ja) * 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP5126047B2 (ja) * 2008-12-24 2013-01-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5262682B2 (ja) * 2008-12-24 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ
KR101511193B1 (ko) * 2009-02-27 2015-04-10 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
JP5263092B2 (ja) * 2009-09-07 2013-08-14 ソニー株式会社 表示装置および制御方法
JP5348004B2 (ja) * 2010-02-13 2013-11-20 ブラザー工業株式会社 ストライクゾーン提示システム
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20120194553A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with sensor and user action based control of external devices with feedback
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20120194550A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Sensor-based command and control of external devices with feedback from the external device to the ar glasses
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
CA2803047A1 (en) * 2010-07-05 2012-01-12 Cognitive Media Innovations (Israel) Ltd. System and method of serial visual content presentation
US20120050142A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with eye state detection
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US20120050044A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with biological state detection
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
EP2617202A4 (en) * 2010-09-20 2015-01-21 Kopin Corp BLUETOOTH OR OTHER WIRELESS INTERFACE WITH POWER MANAGEMENT FOR A HEAD-MOUNTED DISPLAY
US8736516B2 (en) 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
JP5870929B2 (ja) * 2010-11-02 2016-03-01 日本電気株式会社 情報処理システム、情報処理装置および情報処理方法
US8594381B2 (en) * 2010-11-17 2013-11-26 Eastman Kodak Company Method of identifying motion sickness
US8218006B2 (en) 2010-12-01 2012-07-10 Honeywell International Inc. Near-to-eye head display system and method
JP6396658B2 (ja) 2010-12-02 2018-09-26 ウルトラデント プロダクツ インコーポレイテッド 立体視ビデオ画像を観察および追跡するためのシステムおよび方法
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US10455089B2 (en) 2011-03-22 2019-10-22 Fmr Llc Augmented reality system for product selection
JP2012211959A (ja) * 2011-03-30 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
WO2012145556A2 (en) * 2011-04-20 2012-10-26 Enovadent Technologies, Inc. Centralized online media platform for use with visual display systems
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
CN102890346A (zh) * 2011-07-20 2013-01-23 英华达（上海）科技有限公司 眼镜
US20130021226A1 (en) * 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
JP6097919B2 (ja) * 2011-09-01 2017-03-22 パナソニックＩｐマネジメント株式会社 立体視映像のための画像表示システム及び３次元表示装置
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9690100B1 (en) * 2011-09-22 2017-06-27 Sprint Communications Company L.P. Wireless communication system with a liquid crystal display embedded in an optical lens
CN103018904A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式影像撷取分析显示系统及其方法
JP2013083731A (ja) * 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
CN104081428A (zh) * 2011-12-27 2014-10-01 英特尔公司 用于生成和分析数字可读媒体消费数据的方法、设备和系统
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
ITUD20120024A1 (it) * 2012-02-15 2013-08-16 Qbell Technology S P A Dispositivo elettronico visuale emozionale
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8947322B1 (en) 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population
US8947323B1 (en) 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
JP6028357B2 (ja) * 2012-03-22 2016-11-16 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
TW201344502A (zh) * 2012-04-20 2013-11-01 Utechzone Co Ltd 耳戴式眼控裝置
US10021351B2 (en) 2012-06-01 2018-07-10 Ultradent Products, Inc. Stereoscopic video imaging
JP6064464B2 (ja) 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
WO2014041871A1 (ja) * 2012-09-12 2014-03-20 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
CN106020620B (zh) 2012-09-27 2019-07-26 京瓷株式会社 显示装置、控制方法和控制程序
JP2014072575A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
CN102871793A (zh) * 2012-10-19 2013-01-16 江苏万新光学有限公司 一种智能视力保护互动应用系统
US20140111558A1 (en) * 2012-10-23 2014-04-24 Semiconductor Energy Laboratory Co., Ltd. Display device and program
CN102945077B (zh) * 2012-10-24 2015-12-16 广东欧珀移动通信有限公司 一种图片查看方法、装置及智能终端
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
EP2918225A4 (en) * 2012-11-12 2016-04-20 Alps Electric Co Ltd BIOLOGICAL INFORMATION MEASURING DEVICE AND INPUT DEVICE USING THE SAME
CN103838536B (zh) * 2012-11-27 2017-12-29 联想(北京)有限公司 显示模式的切换方法、控制电子设备的方法及电子设备
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
US9016857B2 (en) * 2012-12-06 2015-04-28 Microsoft Technology Licensing, Llc Multi-touch interactions on eyewear
CN103190883B (zh) * 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US20140268360A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Head-mounted display
US9996551B2 (en) * 2013-03-15 2018-06-12 Huntington Ingalls, Incorporated System and method for determining and maintaining object location and status
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP6303274B2 (ja) * 2013-03-25 2018-04-04 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN104076510A (zh) * 2013-03-27 2014-10-01 聚晶半导体股份有限公司 适应性调整头戴式显示器的方法与头戴式显示器
TWI486630B (zh) * 2013-03-27 2015-06-01 聚晶半導體股份有限公司 適應性調整頭戴式顯示器的方法與頭戴式顯示器
US9753285B2 (en) * 2013-03-29 2017-09-05 Sony Corporation Information processing device, notification state control method, and program
US9049469B2 (en) * 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
CN103327172A (zh) * 2013-04-28 2013-09-25 华为终端有限公司 一种调节终端屏幕亮度的方法和终端
US9979547B2 (en) 2013-05-08 2018-05-22 Google Llc Password management
JP6318470B2 (ja) * 2013-05-15 2018-05-09 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US10302944B2 (en) 2013-06-28 2019-05-28 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
US9575721B2 (en) 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
KR102086511B1 (ko) * 2013-07-25 2020-03-09 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
USD741474S1 (en) * 2013-08-22 2015-10-20 Fresca Medical, Inc. Sleep apnea device accessory
KR102160650B1 (ko) 2013-08-26 2020-09-28 삼성전자주식회사 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
KR102333704B1 (ko) * 2013-09-30 2021-12-01 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
KR102138520B1 (ko) * 2013-11-11 2020-08-11 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术（北京）有限公司 头戴式显示设备
KR102208195B1 (ko) * 2013-11-29 2021-01-27 삼성전자주식회사 머리 착용형 디스플레이 장치에서 디스플레이 화면을 제어하는 방법, 및 머리 착용형 디스플레이 장치
JP6316965B2 (ja) * 2013-12-03 2018-04-25 ノキア テクノロジーズ オーユー ヘッドマウントディスプレイへの情報の表示
US9465237B2 (en) * 2013-12-27 2016-10-11 Intel Corporation Automatic focus prescription lens eyeglasses
KR102191151B1 (ko) 2013-12-30 2020-12-16 삼성디스플레이 주식회사 전자 기기 및 전자 기기의 구동 방법
JPWO2015107817A1 (ja) * 2014-01-20 2017-03-23 ソニー株式会社 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム
US9135849B2 (en) * 2014-01-31 2015-09-15 International Business Machines Corporation Variable operating mode HMD application management based upon crowd determined distraction
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
DE102014207251A1 (de) * 2014-04-15 2015-10-15 Siemens Aktiengesellschaft Datenbrille, Datenübertragungsnetzwerk und Verfahren zum drahtlosen Datenaustausch
ES2528169B1 (es) * 2014-04-15 2015-09-29 Pedro José DIEZMA LÓPEZ Dispositivo para toma de mediciones biométricas
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
US9922667B2 (en) 2014-04-17 2018-03-20 Microsoft Technology Licensing, Llc Conversation, presence and context detection for hologram suppression
CN103976733A (zh) * 2014-05-21 2014-08-13 蓝江涌 一种多通道脑电波控制眼镜
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
AU2015300725A1 (en) 2014-08-04 2017-03-02 Facebook Technologies, Llc Method and system for reconstructing obstructed face portions for virtual reality environment
CN104267805A (zh) * 2014-09-15 2015-01-07 联想(北京)有限公司 一种信息处理方法及头戴式电子设备
JP6633269B2 (ja) * 2014-10-21 2020-01-22 ローム株式会社 視覚補助システム
WO2016043165A1 (ja) 2014-09-18 2016-03-24 ローム株式会社 双眼ディスプレイシステム
KR20160033376A (ko) * 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
CN105511846B (zh) * 2014-09-24 2018-12-14 联想(北京)有限公司 电子设备和显示控制方法
JP6399692B2 (ja) * 2014-10-17 2018-10-03 国立大学法人電気通信大学 ヘッドマウントディスプレイ、画像表示方法及びプログラム
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
CN104503588A (zh) * 2014-12-31 2015-04-08 北京奇艺世纪科技有限公司 一种终端控制方法及装置
CN104615243A (zh) * 2015-01-15 2015-05-13 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互系统及多通道交互方法
WO2016133269A1 (ko) * 2015-02-16 2016-08-25 넥시스 주식회사 영상 신호 생성을 위한 웨어러블 장치 및 그 제어를 위한 시스템
JP2016177240A (ja) * 2015-03-23 2016-10-06 カシオ計算機株式会社 表示装置、表示制御方法、及びプログラム
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
KR102446440B1 (ko) 2015-05-12 2022-09-22 삼성전자주식회사 콘텐트를 제공하는 방법 및 디바이스
WO2016194232A1 (ja) * 2015-06-05 2016-12-08 日立マクセル株式会社 映像表示装置および制御方法
TWI578021B (zh) * 2015-08-19 2017-04-11 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
CN106562793B (zh) * 2015-10-08 2021-12-21 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
TWI596542B (zh) * 2015-11-18 2017-08-21 Univ Chang Gung Image display method
EP3187963A1 (en) * 2015-12-31 2017-07-05 Shanghai Xiaoyi Technology Co., Ltd. Display device and method
CN105700686B (zh) * 2016-02-19 2020-04-24 联想(北京)有限公司 一种控制方法及电子设备
CN105912109A (zh) * 2016-04-06 2016-08-31 众景视界（北京）科技有限公司 头戴式可视设备的屏幕自动开关装置和头戴式可视设备
US10762429B2 (en) 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
FR3051656B1 (fr) * 2016-05-31 2019-03-22 Ellcie Healthy Dispositif connecte de suivi comportemental d'un individu et permettant la detection et/ou la prevention d'une anomalie
US10964190B2 (en) 2016-05-31 2021-03-30 Ellcie-Healthy Personal system for the detection of a risky situation and alert
US11222519B2 (en) 2016-05-31 2022-01-11 Ellcie-Healthy Personal system for the detection of a risky situation, more particularly of a fall prone situation
JP6274264B2 (ja) * 2016-06-29 2018-02-07 カシオ計算機株式会社 携帯端末装置及びプログラム
KR102600504B1 (ko) * 2016-09-07 2023-11-10 삼성전자주식회사 전자 장치 및 그 제어 방법
EP3511800A4 (en) * 2016-09-08 2019-08-14 Sony Corporation INFORMATION PROCESSING DEVICE
US10178969B2 (en) 2016-09-19 2019-01-15 Intel Corporation Stress detection method and apparatus
CN106445164A (zh) * 2016-10-18 2017-02-22 北京小米移动软件有限公司 智能眼镜的调节方法和装置
EP3316117A1 (en) * 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
IL248721A0 (en) * 2016-11-03 2017-02-28 Khoury Elias An accessory for providing hands-free computer input
KR101999425B1 (ko) * 2016-12-29 2019-07-12 극동대학교 산학협력단 허상 투영 디스플레이용 광학장치
JP6304415B2 (ja) * 2017-02-16 2018-04-04 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP7008424B2 (ja) 2017-04-10 2022-01-25 株式会社ジャパンディスプレイ 表示装置
WO2018194528A1 (en) 2017-04-18 2018-10-25 Safaş, Saf Plasti̇k San. Ti̇c. A.Ş. Composite material production by using physically recycled flexible polyurethane foam and spray polyurea coating
US10386657B2 (en) 2017-05-06 2019-08-20 Optikam Tech, Inc. System and method for obtaining lens fabrication measurements that accurately account for natural head position
CN107066103B (zh) * 2017-05-27 2021-03-30 深圳市宏智力科技有限公司 利用脑电波识别生物的方法及装置
CN107844177A (zh) * 2017-10-18 2018-03-27 歌尔科技有限公司 设备参数调整方法、装置及电子设备
EP3494872A1 (fr) * 2017-12-07 2019-06-12 Ellcie Healthy Système personnel d'alerte physiologique
EP3409198B1 (fr) * 2017-12-07 2022-04-27 Ellcie-Healthy Procédée pour la détection d'une situation à risque et d'alerte
CN108418959A (zh) * 2018-02-11 2018-08-17 广东欧珀移动通信有限公司 电子装置、输出提示信息的方法及相关产品
JP6669183B2 (ja) * 2018-03-05 2020-03-18 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN108632373B (zh) * 2018-05-09 2021-11-30 方超 设备控制方法和系统
US11402635B1 (en) * 2018-05-24 2022-08-02 Facebook Technologies, Llc Systems and methods for measuring visual refractive error
US11357412B2 (en) 2018-11-20 2022-06-14 42 Health Sensor Holdings Ltd. Wearable cardiovascular monitoring device
JP7169213B2 (ja) * 2019-02-05 2022-11-10 株式会社日立製作所 身体健康状態映像分析装置、方法並びにシステム
CN109907736A (zh) * 2019-04-25 2019-06-21 蔡文贤 一种在计步软件上区分计步运动类型与强度的应用方法
JP7414355B2 (ja) 2020-07-16 2024-01-16 ベンテック ライフ システムズ， インコーポレイテッド ガスを濃縮するためのシステムおよび方法
CA3189540A1 (en) 2020-07-16 2022-01-20 Invacare Corporation System and method for concentrating gas
CN114302193B (zh) * 2021-01-14 2022-09-30 海信视像科技股份有限公司 一种显示设备及协议检测方法
JP7369884B1 (ja) 2023-04-06 2023-10-26 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085954A (ja) * 1994-06-21 1996-01-12 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118008B2 (ja) 1989-08-18 1995-12-18 松下電器産業株式会社 画像変形方法と画像変形装置
JP3348956B2 (ja) 1994-03-24 2002-11-20 ソニー株式会社 表示装置
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
JP3478354B2 (ja) 1994-10-20 2003-12-15 ミノルタ株式会社 方位検出機構付ｈｍｄ
US5978015A (en) 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
US6388638B2 (en) 1994-10-28 2002-05-14 Canon Kabushiki Kaisha Display apparatus and its control method
JP3727961B2 (ja) * 1994-10-28 2005-12-21 キヤノン株式会社 頭部装着型表示装置
US5841409A (en) * 1995-04-18 1998-11-24 Minolta Co., Ltd. Image display apparatus
US5734421A (en) * 1995-05-30 1998-03-31 Maguire, Jr.; Francis J. Apparatus for inducing attitudinal head movements for passive virtual reality
JP3701053B2 (ja) 1995-07-13 2005-09-28 コニカミノルタホールディングス株式会社 映像表示装置
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
JP3632271B2 (ja) 1995-12-28 2005-03-23 富士ゼロックス株式会社 メガネディスプレイ
JPH09218375A (ja) 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
TW395121B (en) 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
EP1027627B1 (en) * 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
JPH11146057A (ja) 1997-11-04 1999-05-28 Tokai Rika Co Ltd 移動電話及び個人識別システム
JPH11164186A (ja) * 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd 画像記録装置
JPH11177907A (ja) * 1997-12-08 1999-07-02 Canon Inc ヘッドマウントディスプレイ装置
JP4566311B2 (ja) 1998-12-18 2010-10-20 株式会社半導体エネルギー研究所 ゴーグル型表示装置
JP2000284214A (ja) 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
JP2000307715A (ja) 1999-04-23 2000-11-02 Nec Corp 携帯電話装置のセキュリティシステム及び方法
JP3492942B2 (ja) * 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
JP4174923B2 (ja) * 1999-07-23 2008-11-05 コニカミノルタホールディングス株式会社 装着型カメラ
TW455769B (en) 1999-08-18 2001-09-21 Jian Huei Jiuan Eye-protection method and apparatus set up for monitor screen
JP3403361B2 (ja) * 1999-09-30 2003-05-06 川崎重工業株式会社 ヘッド・マウント・ディスプレイ装置
US7233312B2 (en) * 2000-07-31 2007-06-19 Panaseca, Inc. System and method for optimal viewing of computer monitors to minimize eyestrain
US6480174B1 (en) * 1999-10-09 2002-11-12 Optimize Incorporated Eyeglass-mount display having personalized fit module
WO2002019728A1 (fr) * 2000-08-28 2002-03-07 Olympus Optical Co., Ltd. Système d'affichage vidéo
JP2002330318A (ja) 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 携帯端末装置
CN1400525A (zh) * 2001-08-03 2003-03-05 鲁良骏 一种鼠标
JP2003076353A (ja) 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
JP2003157136A (ja) 2001-11-20 2003-05-30 Canon Inc 生体反応を記録可能な高臨場感映像表示装置
GB2388266B (en) 2002-04-30 2005-07-27 Hewlett Packard Co Improvements in and relating to camera controls
WO2004015628A2 (en) * 2002-08-12 2004-02-19 Walker Digital, Llc Digital picture frame and method for editing related applications
JP2004085476A (ja) * 2002-08-28 2004-03-18 Sony Corp ヘッドトラッキング方法及び装置
JP3901061B2 (ja) 2002-08-29 2007-04-04 ソニー株式会社 ヘッドマウント装置
JP2004109995A (ja) 2003-08-12 2004-04-08 Toshiba Corp 装着型情報呈示装置および方法および記憶媒体
JP4517664B2 (ja) 2004-02-12 2010-08-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2005283154A (ja) 2004-03-26 2005-10-13 Mitsubishi Electric Corp 通信機能付携行型情報処理装置
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP2006098820A (ja) 2004-09-30 2006-04-13 Shimadzu Corp 表示装置
US20060158731A1 (en) * 2005-01-18 2006-07-20 Dimension Technologies, Inc. FOCUS fixation
CA2603077C (en) * 2005-03-31 2015-03-24 Brian Scott Miller Biometric control of equipment
JP5036177B2 (ja) * 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
TWI277848B (en) * 2006-01-11 2007-04-01 Ind Tech Res Inst Apparatus for automatically adjusting display parameters relying on visual performance and method for the same
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
JP2008067219A (ja) 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
US7855743B2 (en) 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085954A (ja) * 1994-06-21 1996-01-12 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置

Also Published As

Publication number Publication date
US9733701B2 (en) 2017-08-15
EP2061026A1 (en) 2009-05-20
JP5228305B2 (ja) 2013-07-03
TW200827769A (en) 2008-07-01
US20100013739A1 (en) 2010-01-21
US8368794B2 (en) 2013-02-05
EP2061026A4 (en) 2011-06-22
CN101506868A (zh) 2009-08-12
US20140375559A1 (en) 2014-12-25
WO2008029570A1 (fr) 2008-03-13
US20160124503A1 (en) 2016-05-05
US8860867B2 (en) 2014-10-14
RU2009108342A (ru) 2010-09-20
US10466773B2 (en) 2019-11-05
KR20090050069A (ko) 2009-05-19
US20130009868A1 (en) 2013-01-10
TWI378262B (ko) 2012-12-01
JP2008065169A (ja) 2008-03-21
US20170315610A1 (en) 2017-11-02
US9261956B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
KR101352660B1 (ko) 표시 장치, 표시 방법
JP4961914B2 (ja) 撮像表示装置、撮像表示方法
JP2008067219A (ja) 撮像装置、撮像方法
JP2013077013A (ja) 表示装置、表示方法
JP5309448B2 (ja) 表示装置、表示方法
EP1921844B1 (en) Imaging apparatus and method
KR101404329B1 (ko) 촬상 장치, 표시 장치, 촬상 방법, 표시 방법
JP5228307B2 (ja) 表示装置、表示方法
EP1924084A2 (en) Imaging system and method
JP5904246B2 (ja) 頭部装着型表示装置、表示方法
EP1898634A2 (en) Image capturing and displaying apparatus and image capturing and displaying method
JP2013210643A (ja) 表示装置、表示方法
JP6160654B2 (ja) 表示装置、表示方法、プログラム
JP2008288821A (ja) 撮像装置、撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161230

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 7