KR20090069335A - 표시 장치, 표시 방법 - Google Patents

표시 장치, 표시 방법 Download PDF

Info

Publication number
KR20090069335A
KR20090069335A KR1020097010005A KR20097010005A KR20090069335A KR 20090069335 A KR20090069335 A KR 20090069335A KR 1020097010005 A KR1020097010005 A KR 1020097010005A KR 20097010005 A KR20097010005 A KR 20097010005A KR 20090069335 A KR20090069335 A KR 20090069335A
Authority
KR
South Korea
Prior art keywords
display
image signal
imaging
image
user
Prior art date
Application number
KR1020097010005A
Other languages
English (en)
Inventor
요이찌로 사꼬
마사아끼 츠루따
다이지 이또
마사미찌 아스까이
간 에비사와
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090069335A publication Critical patent/KR20090069335A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region

Abstract

본 발명은 사용자의 시각 능력을 확대한 표시 제어를 실현한다. 사용자가 안경형 또는 두부 장착형의 장착 유닛을 장착함으로써, 눈의 전방에 위치하는 표시 수단을 시인하는 상태가 되도록 한다. 그리고, 표시 수단의 화면 영역의 일부를 스루 상태로 한 후에 표시 화상 신호에 의한 표시를 실행시킴으로써, 사용자는 스루 상태의 영역에 의해 통상의 시각 광경이 보이는 상태인 채로, 표시 화상 신호의 표시에 의해, 통상적으로 시인하는 시각 광경과는 다른 광경의 화상을 볼 수 있도록 한다.
표시 장치, 표시 수단, 스루 상태, 제어 수단, 화상 신호 생성 수단, 촬상부

Description

표시 장치, 표시 방법 {DISPLAY DEVICE AND DISPLAY METHOD}
본 발명은, 예를 들면 안경형 또는 두부 장착형의 장착 유닛 등에 의해 사용자에게 장착된 상태에서, 사용자의 눈의 전방에서 화상 표시를 행하는 표시 장치와, 표시 방법에 관한 것이다.
예를 들면, 일본 특허 공개 (평)8-126031호 공보, 일본 특허 공개 (평)9-27970호 공보 및 일본 특허 공개 (평)9-185009호 공보와 같이, 안경형 또는 두부 장착형의 장착 유닛에 의해, 사용자의 눈의 바로 앞에 표시부를 배치하여 표시를 행하는 장치가 각종 제안되어 있다.
그러나, 종래의 장치에서는 특히 사용자의 시각의 보조나 시각 능력의 확대라는 관점에서 촬상이나 표시에 관한 제어를 행하는 것은 알려져 있지 않다.
<발명의 개시>
이에, 본 발명에서는 사용자의 시각의 보조나 확장을 실현하는 것을 목적으로 한다.
본 발명의 표시 장치는 사용자의 눈의 전방에 위치하도록 배치되어 화상 표시를 행함과 동시에, 화상 표시를 행하는 화면 영역을 투명 또는 반투명한 스루 상태로 할 수 있는 표시 수단과, 표시 수단을 스루 상태로 했을 때에 사용자가 표시 수단을 통해 시인하는 광경과는 다른 광경의 표시 화상 신호를 생성하는 화상 신호 생성 수단과, 표시 수단의 화면 영역의 일부를 스루 상태로 함과 동시에, 화상 신호 생성 수단에서 생성된 표시 화상 신호를 표시 수단에 실행시키는 제어를 행하는 제어 수단을 구비한다.
화상 신호 생성 수단은 촬상부와, 촬상부에서 얻어진 촬상 화상 신호에 대한 신호 처리를 행하는 신호 처리부를 갖는다.
이 경우에 있어서, 촬상부는 화면 영역이 스루 상태로 되어 있을 때에 사용자가 표시 수단을 통해 시인하는 방향을 피사체 방향으로 하여 촬상하도록 배치된 촬상부이다.
또는, 촬상부는 화면 영역이 스루 상태로 되어 있을 때에 사용자가 표시 수단을 통해 시인하는 방향과는 다른 방향을 피사체 방향으로 하여 촬상하도록 배치된 촬상부이다.
또한, 촬상부는 피사체 방향이 가변으로 된 촬상부이다.
또한, 화상 신호 생성 수단은 외부 기기로부터 화상 신호를 수신하는 수신부를 갖고 구성된다.
또한, 화상 신호 생성 수단은, 공급된 화상 신호에 대한 신호 처리를 행하는 신호 처리부를 갖고 구성된다.
또한, 제어 수단은 표시 수단에 있어서 화면 영역 내에서 모화면 영역과 자화면 영역을 설정하고, 모화면 영역과 자화면 영역 중 한쪽을 스루 상태, 다른 쪽을 표시 화상 신호에 의한 화상 표시 상태로 한다.
또한, 제어 수단은 표시 수단에 있어서 화면 영역을 분할하고, 분할된 각 영역의 한쪽을 스루 상태, 다른 쪽을 표시 화상 신호에 의한 화상 표시 상태로 한다.
또한, 표시 화상 신호는 근경 촬상 또는 원경 촬상에 의해 얻어진 화상 신호이다.
또한, 표시 화상 신호는 망원 촬상 또는 광각 촬상에 의해 얻어진 화상 신호이다.
또한, 표시 화상 신호는 확대 처리 또는 축소 처리에 의해 얻어진 화상 신호이다.
또한, 표시 화상 신호는 촬상 감도를 상승 또는 저하시킨 촬상에 의해 얻어진 화상 신호이다.
또한, 표시 화상 신호는 적외선 촬상 감도를 상승시킨 촬상에 의해 얻어진 화상 신호이다.
또한, 표시 화상 신호는 자외선 촬상 감도를 상승시킨 촬상에 의해 얻어진 화상 신호이다.
또한, 표시 화상 신호는, 화면 영역이 스루 상태로 되어 있을 때에 사용자가 표시 수단을 통해 시인하는 방향과는 다른 방향을 피사체 방향으로 한 촬상에 의해 얻어진 화상 신호이다.
또한, 화상 신호 생성 수단은 촬상부에서의 촬상 렌즈계의 동작 제어에 의해, 표시 수단을 스루 상태로 했을 때에 사용자가 시인하는 광경과는 다른 광경으로서의 표시 화상 신호를 얻는다.
또한, 화상 신호 생성 수단은, 신호 처리부에서의 신호 처리에 의해, 표시 수단을 스루 상태로 했을 때에 사용자가 시인하는 광경과는 다른 광경으로서의 표시 화상 신호를 얻는다.
또한, 화상 신호 생성 수단은 외부의 촬상 장치에서 촬상된 화상 신호를 수신부에서 수신함으로써, 표시 수단을 스루 상태로 했을 때에 사용자가 시인하는 광경과는 다른 광경으로서의 표시 화상 신호를 얻는다.
또한, 외계 정보를 취득하는 외계 정보 취득 수단을 추가로 구비하고, 제어 수단은 외계 정보 취득 수단으로부터 얻은 외계 정보에 기초하여 표시 화상 신호를 표시 수단에 표시시킨다.
또한, 제어 수단은 외계 정보 취득 수단으로부터 얻은 외계 정보에 기초하여 표시 화상 신호를 표시시키는 영역을 제어한다.
본 발명의 표시 방법은 사용자의 눈의 전방에 위치하도록 배치되어 화상 표시를 행함과 동시에, 화상 표시를 행하는 화면 영역을 투명 또는 반투명한 스루 상태로 할 수 있는 표시 수단을 구비한 표시 장치의 표시 방법으로서, 표시 수단을 스루 상태로 했을 때에 사용자가 표시 수단을 통해 시인하는 광경과는 다른 광경의 표시 화상 신호를 생성하는 스텝과, 표시 수단의 화면 영역의 일부를 스루 상태로 함과 동시에, 생성된 표시 화상 신호에 의한 표시를 실행하는 스텝을 구비한다.
이상의 본 발명에서는, 사용자(유저)는 예를 들면 안경형 또는 두부 장착형의 장착 유닛 등에 의해 본 발명의 표시 장치를 장착함으로써, 눈의 전방에 위치하는 표시 수단을 시인하는 상태가 된다. 이 표시 수단은 스루 상태로 할 수 있다.
그리고, 표시 수단의 화면 영역의 일부를 스루 상태로 한 후에 화상 신호 생성 수단에서 생성된 표시 화상 신호에 의한 표시를 실행시킴으로써, 사용자는 스루 상태의 영역에 의해 통상의 시각 광경이 보이는 상태인 채로, 표시 화상 신호의 표시에 의해, 통상적으로 시인하는 시각 광경과는 다른 광경의 화상을 볼 수 있다. 예를 들면 스루 상태의 영역에 의해 전방을 보면서, 표시 화상 신호의 표시에 의해, 망원 화상, 확대 화상, 특수 촬상 화상, 후방의 광경의 화상 등을 볼 수 있다.
즉, 통상의 시각 광경과 동시에, 통상의 시각으로는 볼 수 없는 광경을 보는 상태가 되어, 사용자의 시각 능력이 확장된 상태가 된다.
도 1A 및 도 1B는 본 발명의 실시 형태의 표시 장치의 외관예의 설명도,
도 2A 및 도 2B는 실시 형태의 표시 장치의 다른 외관예의 설명도,
도 3A, 도 3B 및 도 3C는 실시 형태의 표시 장치의 외부 기기와의 관계의 설명도,
도 4는 실시 형태의 표시 장치의 블럭도,
도 5는 실시 형태의 표시 장치의 다른 블럭도,
도 6는 실시 형태의 표시 장치의 또 다른 블럭도,
도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F는 실시 형태의 표시부의 영역 형태의 설명도,
도 8A, 도 8B, 도 8C 및 도 8D는 실시 형태의 표시부의 영역 형태의 설명도,
도 9는 실시 형태의 제어 처리의 플로우차트,
도 10A 및 도 10B는 실시 형태의 화상 표시 상태의 설명도,
도 11A 및 도 11B는 실시 형태의 화상 표시 상태의 설명도,
도 12A 및 도 12B는 실시 형태의 화상 표시 상태의 설명도,
도 13A 및 도 13B는 실시 형태의 화상 표시 상태의 설명도,
도 14A 및 도 14B는 실시 형태의 화상 표시 상태의 설명도,
도 15A, 도 15B, 도 15C 및 도 15D는 실시 형태의 화상 표시 상태의 설명도이다.
<발명을 실시하기 위한 최선의 형태>
이하, 본 발명의 표시 장치, 표시 방법의 실시 형태를 다음 순서로 설명한다.
[1. 표시 장치의 외관예 및 외부 기기와의 관련]
[2. 표시 장치의 구성예]
[3. 화면 상의 영역 형태]
[4. 표시 동작예]
[5. 동작 트리거의 예]
[6. 실시 형태의 효과, 변형예 및 확장예]
[1. 표시 장치의 외관예 및 외부 기기와의 관련]
실시 형태로서, 도 1A 및 도 1B에 안경형 디스플레이로 한 표시 장치 (1)의 외관예를 나타낸다. 표시 장치 (1)은, 예를 들면 도 1B와 같이 양측 두부로부터 후두부에 걸쳐 반주회하는 바와 같은 프레임의 구조의 장착 유닛을 갖고, 도 1A와 같이 양 귓바퀴에 걸림으로써 사용자에 장착된다.
그리고, 이 표시 장치 (1)은, 장착 상태에 있어서 사용자의 양 눈의 바로 앞, 즉 통상의 안경에서의 렌즈가 위치하는 장소에, 좌안용과 우안용의 한 쌍의 표시부 (2, 2)가 배치되는 구성으로 되어 있다. 이 표시부 (2)에는, 예를 들면 액정 패널이 이용되고, 투과율을 제어함으로써, 도면과 같은 스루 상태, 즉 투명 또는 반투명 상태로 할 수 있다. 표시부 (2)가 스루 상태로 됨으로써, 안경과 같이 사용자가 상시 장착하고 있더라도 통상의 생활에는 지장이 없다.
또한, 사용자가 장착한 상태에 있어서, 사용자의 전방 방향을 향하여 촬상 렌즈 (3a)가 배치되어 있다. 즉, 이 경우, 촬상 렌즈 (3a)는 표시부 (2)를 스루 상태로 했을 때에 사용자가 표시부 (2)를 통해 시인하는 방향을 피사체 방향으로 하여 촬상하도록 되어 있다.
또한, 촬상 렌즈 (3a)에 의한 촬상 방향에 대하여 조명을 행하는 발광부 (4a)가 설치된다. 발광부 (4a)는 예를 들면 LED(Light Emitting Diode)에 의해 형성된다.
또한, 도 1A 및 도 1B는 일례로서, 표시 장치 (1)을 사용자가 장착하기 위한 구조는 다양하게 생각할 수 있다. 일반적으로 안경형, 또는 두부 장착형으로 되어 있는 장착 유닛으로 형성되면 좋고, 적어도 본 실시 형태로서는 사용자의 눈의 전방에 근접하여 표시부 (2)가 설치되어 있으면 좋다. 또한, 표시부 (2)는 양 눈에 대응하여 한 쌍 설치되는 것 이외에도, 한쪽 눈에 대응하여 1개 설치되는 구성일 수도 있다.
또한, 발광부 (4a)를 설치하지 않는 구성도 생각할 수 있다.
또한, 도 1A에서는 촬상 렌즈 (3a)가 사용자의 전방을 피사체 방향으로 하도록 부착되어 있지만, 촬상 렌즈 (3a)가, 표시부 (2)를 스루 상태로 했을 때에 사용자가 표시부 (2)를 통해 시인하는 방향과는 다른 방향을 피사체 방향으로 하여 촬상하도록 부착되어 있을 수 있다.
도 2A 및 도 2B에 예를 나타낸다. 도 2A 및 도 2B의 예에서는, 전방에는 촬상 렌즈 (3a)는 설치되지 않고, 후두부측에 위치하게 되는 유닛에 촬상 렌즈 (3a) 및 발광부 (4a)가 설치되어 있다. 즉, 이 경우, 촬상 렌즈 (3a)는 사용자가 통상적으로는 시인할 수 없는 후방을 촬상하게 된다.
또한, 도시하지 않지만, 촬상 렌즈 (3a)는 사용자의 상측, 좌측방, 우측방, 발밑 등을 피사체 방향으로 하도록 부착되어 있을 수 있다.
또한, 도 1A, 도 2B의 예에서는 촬상 렌즈 (3a)는 고정적으로 부착되어 있음으로써 촬상시의 피사체 방향은 고정(사용자의 전방, 또는 사용자의 후방)이지만, 피사체 방향을 변화시킬 수 있는 가동 기구를 통해 촬상 렌즈 (3a)를 부착함으로써, 수동 또는 자동으로 촬상시의 피사체 방향을 변화시킬 수 있도록 할 수 있다.
또한, 도 1A, 도 2B에서는 촬상 렌즈 (3a)로서 1개의 촬상 기능부를 설치하는 것이지만, 복수의 촬상 렌즈 (3a)를 부착하고, 복수의 촬상 기능부를 구비하도록 할 수도 있다.
촬상 렌즈 (3a)를 포함하는 후술하는 촬상 기능계에서 촬상된 화상 신호는 소정의 처리를 거쳐 표시 화상 신호로 되어 표시부 (2)에 표시된다.
이 경우, 표시부 (2)의 화면 상에서는 일부의 영역이 스루 상태로 되고, 다른 영역에 표시 화상 신호에 기초하는 화상 표시가 행해진다.
그런데, 내부 구성예에 대해서는 후술하지만, 이 표시 장치 (1)은 외부 기기와 통신을 행하는 통신 기능(도 5에서 언급하는 통신부 (26))을 구비하는 것도 생각할 수 있다.
따라서, 표시부 (2)에 있어서 표시하는 표시 화상 신호의 소스는 촬상 렌즈 (3a)를 포함하는 촬상 기능부뿐만 아니라 통신 기능부가 상정된다. 즉 외부 기기로서의 다른 촬상 장치 등으로부터 송신된 화상 신호를 통신 기능부에서 수신하여 표시부 (2)에 표시시킬 수도 있다.
도 3A, 도 3B 및 도 3C는 표시 장치 (1)의 사용 형태를 외부 기기와의 관련에 있어서 예시한 것이다.
도 3A는 표시 장치 (1)을 단체에서 사용하는 경우로서, 이 경우, 표시 장치 (1)이 촬상 기능을 갖고 있음으로써, 촬상된 화상 신호를 소스로서 생성한 표시 화상 신호를 표시부 (2)에 표시시킬 수 있다.
도 3B는 표시 장치 (1)이 통신 기능을 구비하고, 외부의 촬상 장치 (70)과 통신을 행하는 예이다. 이 경우, 표시 장치 (1)은 촬상 장치 (70)에서 촬상된 화상을 수신하여 표시부 (2)에 표시시킨다. 외부의 촬상 장치 (70)이란, 통신 기능을 구비한 비디오 카메라, 디지탈 스틸 카메라 등을 상정할 수 있고, 또한 도 1A 및 도 1B와 같이 촬상 기능을 구비한 표시 장치 (1)을, 어느 표시 장치 (1)에 대하여 외부의 촬상 장치 (70)이라 생각할 수도 있다.
또한, 외부의 촬상 장치 (70)은 표시 장치 (1)을 이용하는 사용자 본인이 소유하는 촬상 장치이거나, 표시 장치 (1)의 사용자의 지인이 소유하는 촬상 장치이거나, 또는 화상 제공을 행하는 공공 또는 서비스 기업 등의 촬상 장치로서 표시 장치 (1)과 통신 가능하게 되어 있는 것 등 다양하게 생각할 수 있다.
도 3C는 표시 장치 (1)이 통신 기능, 특히 인터넷 등의 네트워크 (73)을 통한 통신 액세스 기능을 구비함으로써, 네트워크 (73)에서 접속되는 외부의 촬상 장치 (70)과 통신을 행하는 예이다. 이 경우, 표시 장치 (1)은 네트워크 (73)을 통해 촬상 화상 신호를 수신하고, 그 수신한 촬상 화상 신호에 기초한 표시 화상 신호에 의한 화상 표시를 표시부 (2)에서 실행시킨다.
[2. 표시 장치의 구성예]
도 4에 표시 장치 (1)의 내부 구성예를 나타낸다.
시스템 컨트롤러 (10)은, 예를 들면 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 불휘발성 메모리부, 인터페이스부를 구비한 마이크로 컴퓨터에 의해 구성되고, 표시 장치 (1)의 전체를 제어하는 제어부가 된다.
이 시스템 컨트롤러 (10)은 내부의 동작 프로그램 및 동작 트리거 정보 발생부 (16)으로부터의 동작 트리거에 기초하여 표시 장치 (1) 내의 각 부의 제어를 행하고, 표시부 (2)에 있어서 필요한 화상 표시를 실행시킨다.
표시 장치 (1) 내에서는 촬상부 (3), 촬상 제어부 (11), 촬상 신호 처리부 (15)가 설치된다.
촬상부 (3)은 도 1A 또는 도 2B에 나타낸 촬상 렌즈 (3a)나, 조리개, 줌 렌즈, 포커스 렌즈 등을 구비하여 구성되는 렌즈계나, 렌즈계에 대하여 포커스 동작이나 줌 동작을 행하게 하기 위한 구동계, 추가로 렌즈계에서 얻어지는 촬상광을 검출하고, 광전 변환을 행함으로써 촬상 신호를 생성하는 고체 촬상 소자 어레이 등이 설치된다. 고체 촬상 소자 어레이는, 예를 들면 CCD(Charge Coupled Device) 센서 어레이나, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이가 된다.
도 1A 및 도 1B의 예의 경우에는 이 촬상부 (3)에 의해 사용자의 전방의 광경이 촬상되고, 또한 도 2A 및 도 2B의 예의 경우에는 이 촬상부 (3)에 의해 사용자의 후방의 광경이 촬상된다.
촬상 신호 처리부 (15)는 촬상부 (3)의 고체 촬상 소자에 의해 얻어지는 신호에 대한 게인 조정이나 파형 정형을 행하는 샘플 홀드/AGC(Automatic Gain Control) 회로나, 비디오 A/D 컨버터를 구비하고, 디지털 데이터로서의 촬상 신호를 얻는다. 또한, 촬상 신호 처리부 (15)는 촬상 신호에 대하여 화이트 밸런스 처리, 휘도 처리, 색 신호 처리, 흔들림 보정 처리 등도 행한다.
촬상 제어부 (11)은 시스템 컨트롤러 (10)으로부터의 지시에 기초하여 촬상부 (3) 및 촬상 신호 처리부 (15)의 동작을 제어한다. 예를 들면, 촬상 제어부 (11)은 촬상부 (3), 촬상 신호 처리부 (15)의 동작의 온/오프를 제어한다. 또한, 촬상 제어부 (11)은 촬상부 (3)에 대하여 오토 포커스, 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행시키기 위한 제어(모터 제어)를 행하게 된다.
또한, 상술한 바와 같이 촬상 렌즈 (3a)에 의한 피사체 방향을 가변시킬 수 있는 가동 기구가 설치되어 있는 경우에는, 촬상 제어부 (11)은 시스템 컨트롤러 (10)의 지시에 기초하여, 가동 기구의 동작을 제어하여 촬상부 (3)에서의 촬상 렌즈 (3a)의 방향을 변화시킨다.
또한, 촬상 제어부 (11)은 타이밍 제너레이터를 구비하고, 고체 촬상 소자 및 촬상 신호 처리부 (11)의 샘플 홀드/AGC 회로, 비디오 A/D 컨버터에 대해서는 타이밍 제너레이터에서 생성되는 타이밍 신호에 의해 신호 처리 동작을 제어한다. 또한, 이 타이밍 제어에 의해 촬상 프레임 레이트의 가변 제어도 가능해진다.
또한, 촬상 제어부 (11)은 고체 촬상 소자 및 촬상 신호 처리부 (15)에서의 촬상 감도나 신호 처리의 제어를 행한다. 예를 들면, 촬상 감도 제어로서 고체 촬상 소자로부터 판독되는 신호의 게인 제어를 행하거나, 흑 레벨 설정 제어나, 디지털 데이터 단계의 촬상 신호 처리의 각종 계수 제어, 흔들림 보정 처리에서의 보정량 제어 등을 행할 수 있다. 촬상 감도에 대해서는 특히 파장 대역을 고려하지 않는 전체적인 감도 조정이나, 예를 들면 적외선 영역, 자외선 영역 등, 특정 파장 대역의 촬상 감도를 조정하는 감도 조정(예를 들면 특정 파장 대역을 커팅하는 바와 같은 촬상) 등도 가능하다. 파장에 따른 감도 조정은 촬상 렌즈계에서의 파장 필터의 삽입이나, 촬상 신호에 대한 파장 필터 연산 처리에 의해 가능하다. 이들의 경우, 촬상 제어부 (11)은 파장 필터의 삽입 제어나, 필터 연산 계수의 지정 등 에 의해 감도 제어를 행할 수 있다.
또한, 표시 장치 (1)에 있어서 사용자에 대하여 표시를 행하는 구성으로서는, 표시부 (2), 표시 화상 처리부 (12), 표시 구동부 (13), 표시 제어부 (14)가 설치된다.
촬상부 (3)에서 촬상되고, 촬상 신호 처리부 (15)에서 처리된 촬상 신호는 표시 화상 처리부 (12)에 공급된다. 표시 화상 처리부 (12)는 예를 들면 이른바 비디오 프로세서가 되고, 공급된 촬상 신호에 대하여 각종 표시를 위한 처리를 실행할 수 있는 부위가 된다.
예를 들면, 촬상 신호의 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 샤프니스(윤곽 강조) 조정 등을 행할 수 있다. 또한, 표시 화상 처리부 (12)는 촬상 신호의 일부를 확대한 확대 화상의 생성, 또는 축소 화상의 생성, 소프트 포커스, 모자이크, 휘도 반전, 화상 내의 일부의 하이라이트 표시(강조 표시), 전체의 색의 분위기의 변화 등의 화상 이펙트 처리, 촬상 화상의 분할 표시를 위한 화상의 분리나 합성, 캐릭터 화상이나 이미지 화상의 생성 및 생성된 화상을 촬상 화상으로 합성하는 처리 등도 행할 수 있다. 즉 촬상 신호로서의 디지탈 영상 신호에 대한 각종 처리를 행할 수 있다.
표시 구동부 (13)은 표시 화상 처리부 (12)로부터 공급되는 화상 신호를, 예를 들면 액정 디스플레이가 되는 표시부 (2)에서 표시시키기 위한 화소 구동 회로로 구성되어 있다. 즉 표시부 (2)에 있어서 매트릭스형으로 배치되어 있는 각 화소에 대하여, 각각 소정의 수평/수직 구동 타이밍으로 영상 신호에 기초한 구동 신 호를 인가하고, 표시를 실행시킨다. 또한, 표시 구동부 (13)은 표시부 (2)의 각 화소의 투과율을 제어하여 화면 전체 및 일부를 스루 상태로 할 수도 있다.
표시 제어부 (14)는 시스템 컨트롤러 (10)의 지시에 기초하여 표시 화상 처리부 (12)의 처리 동작이나 표시 구동부 (13)의 동작을 제어한다. 즉 표시 화상 처리부 (12)에 대해서는 상기한 각종 처리를 실행시킨다. 또한, 표시 구동부 (13)에 대해서는 스루 상태, 화상 표시 상태의 전환이 행해지도록 제어한다.
또한, 조명부 (4)와 조명 제어부 (18)가 설치된다. 조명부 (4)는 도 1A, 도 2B에 나타낸 발광부 (4a)와 그 발광부 (4)(예를 들면 LED)를 발광시키는 발광 회로를 포함한다. 조명 제어부 (18)은 시스템 컨트롤러 (10)의 지시에 기초하여 조명부 (4)에 발광 동작을 실행시킨다.
조명부 (4)에서의 발광부 (4a)가 도 1A 또는 도 2B에 나타낸 바와 같이 부착되어 있음으로써, 조명부 (4)는 촬상 렌즈 (3a)에 의한 피사체 방향에 대한 조명 동작을 행하게 된다.
동작 트리거 정보 발생부 (16)은, 표시부 (2)에서의 화상 표시의 개시/종료, 표시 양태의 전환 등을 위한 동작 트리거 정보를 발생시킨다.
이 동작 트리거 정보 발생부 (16)은 예를 들면 사용자가 조작하는 조작키나 조작 다이얼로서의 조작자와, 그 조작자의 조작을 검지하는 조작 검지 기구에 의해 구성할 수 있다. 즉 사용자의 수동 조작을 각종 동작의 동작 트리거 정보로 하는 경우이다. 동작 트리거 정보 발생부 (16)은 사용자의 조작 정보를 동작 트리거 정보로서 시스템 컨트롤러 (10)에 공급함으로써, 시스템 컨트롤러 (10)은 사용자의 조작에 따른 표시 동작 제어를 행한다.
또한, 동작 트리거 정보 발생부 (16)은 사용자 정보(사용자의 시각 상황, 신체의 거동, 생체 상황 등의 검지 정보)를 검지하거나, 외계 정보(표시 장치의 주위의 상황이나, 장소, 일시, 피사체의 상황 등의 검지 정보)를 검지할 수 있는 구성으로 할 수도 있다. 예를 들면 시스템 컨트롤러 (10)이 이들 사용자 정보나 외계 정보에 기초하여 동작 트리거 발생의 판단을 행하도록 할 수도 있다. 또한, 사용자 정보나 외계 정보에 대한 예는 나중에 언급한다.
도 5는 표시 장치 (1)로서의 다른 구성예를 나타내는 것이다. 또한, 도 4와 동일 기능의 블록에는 동일 부호를 붙이고, 중복 설명을 피한다.
이 도 5의 구성은 도 4의 구성에서의 촬상 기능 부위(촬상부 (3), 촬상 제어부 (11), 촬상 신호 처리부 (15))와, 조명부 (4), 조명 제어부 (18)을 구비하지 않고, 대신에 통신부 (26)을 갖는 구성으로 되어 있다.
통신부 (26)은 외부 기기와의 사이에서의 데이터의 송수신을 행한다. 외부 기기로서는 도 3B 및 도 3C에서 언급한 촬상 장치 (70)으로서의 각종 기기를 생각할 수 있다.
통신부 (26)은 무선 LAN(Local Area Network), 블루투스(등록상표) 등의 방식으로, 예를 들면 네트워크 액세스 포인트에 대한 근거리 무선 통신을 통해 네트워크 통신을 행하는 구성으로 할 수도 있고, 대응하는 통신 기능을 구비한 외부 기기와의 사이에서 직접 무선 통신을 행하는 것일 수도 있다.
이 도 5의 예의 경우, 외부의 촬상 장치 (70)와의 사이에서 도 3B 또는 도 3C에서 언급한 바와 같이 통신을 행하여, 촬상 장치 (70)으로부터 촬상 화상 신호를 수신한다. 통신부 (26)은 수신한 촬상 화상 신호를 표시 화상 처리부 (12)에 공급한다. 그리고, 표시 화상 처리부 (12)에서 처리된 화상 신호가 표시 구동부 (13)에 공급되고, 표시부 (2)에서 표시된다.
도 6은 표시 장치 (1)로서의 또 다른 구성예를 나타내는 것이다. 또한, 도 4와 동일 기능의 블록에는 동일 부호를 붙이고, 중복 설명을 피한다.
이 도 6의 구성은 도 4의 구성에서의 촬상 기능 부위(촬상부 (3), 촬상 제어부 (11), 촬상 신호 처리부 (15))를 2계통 구비한 것이다.
즉 촬상부 (3X), 촬상 제어부 (11X), 촬상 신호 처리부 (15X)에 의한 제1의 촬상 기능 부위와, 촬상부 (3Y), 촬상 제어부 (11Y), 촬상 신호 처리부 (15Y)에 의한 제2의 촬상 기능 부위가 설치된다.
촬상부 (3X, 3Y)는 각각이 동일한 피사체 방향에서 촬상을 행하는 것으로 할 수도 있고, 각각이 다른 피사체 방향에서 촬상을 행하는 것으로 할 수도 있다.
예를 들면, 촬상부 (3X, 3Y)는 모두 전방을 촬상하도록 배치될 수도 있고, 촬상부 (3X)는 전방 촬상, 촬상부 (3Y)는 후방 촬상을 행하도록 배치될 수도 있다. 또한, 촬상부 (3X)는 우측 후방, 촬상부 (3Y)는 좌측 후방의 촬상을 행하도록 배치될 수도 있고, 촬상부 (3X)는 발밑, 촬상부 (3Y)는 상공의 촬상을 행하도록 배치될 수도 있다.
각 촬상 기능 부위에서 얻어진 촬상 화상 신호는 표시 화상 처리부 (12)에서 처리되어 표시 구동부 (13)에 공급되고, 표시부 (2)에서 표시된다.
이상, 도 4, 도 5, 도 6에 표시 장치 (1)의 구성예를 나타내었지만, 표시 장치 (1)로서는 더욱 다양한 구성예가 상정된다.
예를 들면, 3계통 이상의 촬상 기능 부위가 설치되는 것도 생각할 수 있다.
또한, 1 또는 복수의 촬상 기능 부위와 함께, 외부의 촬상 장치 (70)으로부터의 촬상 신호를 수신하는 통신부 (26)이 설치되는 구성도 생각할 수 있다.
또한, 촬상 기능 부위에 있어서, 촬상부 (3)(촬상 렌즈 (3a))은 피사체 방향이 고정으로 되어 있는 예와 피사체 방향을 변경할 수 있도록 가동으로 되어 있는 예를 생각할 수 있지만, 복수의 촬상 기능 부위를 설치하는 경우, 모두를 고정으로 하는 구성예, 모두를 가동으로 하는 구성예, 일부를 고정으로 일부를 가동으로 하는 구성예가 각각 상정된다.
그런데, 도 4, 도 5, 도 6이나 그의 변형예로서의 구성에 있어서, 실시 형태가 되는 표시 장치 (1)에서는 표시 화상 처리부 (12)에서 처리되어 표시 구동부 (13)에 공급되는 화상 신호가, 최종적으로 표시부 (2)에서의 표시에 제공되는 표시 화상 신호가 된다. 본 예의 경우, 특히 표시 화상 신호는 표시부 (3)을 스루 상태로 했을 때에 사용자가 표시부 (2)를 통해 시인하는 광경과는 다른 광경으로서의 화상을 표시시키는 신호로 하고 있다.
표시 화상 신호로서의 화상, 즉 표시부 (3)을 스루 상태로 했을 때에 사용자가 표시부 (2)를 통해 시인하는 광경과는 다른 광경으로서의 화상이 어떻게 얻어지는지는 다양하게 생각할 수 있다.
예를 들면, 촬상부 (3)(3X, 3Y)에서 촬상된 화상이나 통신부 (26)에서 수신 된 화상의 그 자체가, 사용자가 표시부 (2)를 통해 시인하는 광경과는 다른 광경으로서의 화상이 되는 경우도 있고, 촬상 신호 처리부 (15), 표시 화상 처리부 (12)에서 소정의 처리가 실시됨으로써, 사용자가 표시부 (2)를 통해 시인하는 광경과 동등한 화상이 다른 광경으로서의 화상이 되는 경우도 있다.
사용자가 표시부 (2)를 통해 시인하는 광경과는 다른 광경으로서의 화상의 구체예에 대해서는 후술한다.
또한, 본 예에서는 이러한 화상의 표시를 행하는 경우에 있어서, 표시부 (2)의 화면 영역의 일부를 스루 상태로 한 후에, 표시 화상 처리부 (12)로부터 출력되는 화상 신호에 의한 표시를 행하는 것을 기본으로 한다. 즉, 스루 상태의 표시부 (2)의 일부의 영역에서 화상 표시를 행하는 것이다.
[3. 화면 상의 영역 형태]
표시부 (2)의 화면 상에서, 화면 영역의 일부를 스루 상태로 한 후에, 표시 화상 처리부 (12)로부터 출력되는 화상 신호에 의한 표시를 행하는 경우의 예를 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F, 및 도 8A, 도 8B, 도 8C 및 도 8D에 나타내었다.
표시부 (2)에 있어서, 스루 상태의 영역을 남긴 채로 화상 표시를 행하는 형태로서는, 화면 영역 내에서 모화면 영역과 자화면 영역을 설정하고, 모화면 영역과 자화면 영역 중 한쪽을 스루 상태, 다른 쪽을 표시 화상 신호에 의한 화상 표시 상태로 한다.
또는, 화면 영역을 분할하고, 분할한 각 영역의 한쪽을 스루 상태, 다른 쪽 을 표시 화상 신호에 의한 화상 표시 상태로 하도록 할 수도 있다.
도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F, 및 도 8A, 도 8B, 도 8C 및 도 8D에 있어서 영역 AR1은 스루 상태의 영역, 영역 AR2는 표시 화상 신호에 의한 화상 표시를 행하고 있는 영역으로 한다.
도 7A는 표시부 (2)의 화면 영역에서, 영역 AR1 내에서 우측 아래에 자화면으로서의 영역 AR2를 설정하여 화상 표시를 행하고 있는 예이다.
도 7B는 표시부 (2)의 화면 영역에서, 영역 AR1 내에서 좌측 아래에 자화면으로서의 영역 AR2를 설정하여 화상 표시를 행하고 있는 예이다.
도시하지 않지만, 이와 같이 자화면을 설정하는 경우, 영역 AR1 내의 우측 상부, 좌측 상부, 중앙, 중앙 우측 방향, 중앙 좌측 방향 등, 각종 위치에 자화면으로서의 영역 AR2를 설정할 수도 있다.
도 7C는 영역 AR2로서의 크기를 작게 한 예이다.
도 7D는 영역 AR2로서의 크기를 크게 한 예이다.
도 7E는 표시부 (2)의 화면 영역에서, 영역 AR1과 영역 AR2를 등분할하여 좌우로 나눈 예이다.
도 7F는 표시부 (2)의 화면 영역에서, 영역 AR1과 영역 AR2를 등분할하여 상하로 나눈 예이다.
예를 들면 도 4, 도 5의 구성에 있어서, 화상 표시를 행하는 경우, 이 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F와 같은 형태로, 영역 AR1을 스루 상태로 하면서 영역 AR2에 화상 표시를 행하는 것을 생각할 수 있다.
또한, 시스템 컨트롤러 (10)은 동작 트리거 정보 발생부 (16)으로부터의 정보(예를 들면 사용자의 조작 정보, 사용자 정보, 외계 정보 등)에 기초하여 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F의 어떠한 영역 형태로 화상 표시를 행할지를 선택하거나, 또는 이들을 전환하도록 할 수도 있다. 예를 들면 사용자의 조작 등에 따라 도 7A 또는 도 7B와 같이 자화면이 되는 영역 AR2의 위치를 변경하거나, 도 7C 또는 도 7D와 같이 영역 AR2의 크기를 변경하거나, 도 7E 또는 도 7F와 같이 등분할함으로써, 사용자의 기호에 맞출 수 있다.
또한, 이른바 표시 영역 교대로서 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F에서의 영역 AR1을 화상 표시, 영역 AR2를 스루 상태로 하는 바와 같은 전환을 행하는 것도 생각할 수 있다.
또한, 도 8D에, 화면 영역 전체를 영역 AR2로 하여 표시 화상 신호에 의한 화상 표시를 행하고 있는 예를 나타내고 있지만, 예를 들면 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F와 같은 표시 상태로부터, 도 8D와 같이 스루 상태의 영역을 없애고 전 화면에서 화상 표시를 행하고 있는 상태로 전환할 수 있도록 할 수 있다.
다음으로 도 8A는 표시부 (2)의 화면 영역에서, 영역 AR1 내에서 우측 아래와 좌측 아래에 2개의 자화면으로서의 영역 AR2a, AR2b를 설정하여 화상 표시를 행하고 있는 예이다.
도 8B는 표시부 (2)의 화면 영역에서, 영역 AR1의 좌우에 영역 AR2a, AR2b를 설정하여 화상 표시를 행하고 있는 예이다.
도 8C는 표시부 (2)의 화면 영역에서, 영역 AR1의 상하에 영역 AR2a, AR2b를 설정하여 화상 표시를 행하고 있는 예이다.
예를 들면, 도 6과 같이 2계통의 촬상 기능 부위를 갖는 경우, 이들과 같은 2개의 영역 AR2a, AR2b에서 각 촬상 기능 부위에서의 촬상 화상에 기초한 화상 표시를 행하도록 하는 것을 생각할 수 있다.
또한, 영역 AR1, AR2a, AR2b를 3등분으로 분할 설정할 수도 있다.
또한, 시스템 컨트롤러 (10)의 제어에 의해 영역 형태의 전환이나 영역의 교대가 행해지는 것도 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F의 경우와 마찬가지로 상정된다.
또한, 도 8A, 도 8B 또는 도 8C의 상태로부터 도 8D와 같이 화면 전체에서 화상 표시를 행하는 상태로 전환할 수 있도록 할 수 있다.
또한, 복수의 촬상 기능 부위나 통신부 (26) 등에서 복수의 표시 화상 소스를 갖는 경우라도, 그 중 1개를 선택하여 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F와 같은 영역 형태로 표시시키는 것도 생각할 수 있다.
또한, 표시 장치 (1)이 3개 이상의 표시 화상 소스를 갖는 구성으로 되어 있는 경우, 영역 AR2로서의 영역을 3개 이상 설정하고, 각각의 표시 화상 소스로부터의 화상이 동시에 표시되도록 할 수 있다.
또한, 도 1A와 같이 표시부 (2)가 우안용과 좌안용으로 2개 있는 경우에, 그 한쪽의 화면 전체를 스루 상태로 하고, 다른 쪽의 화면 전체에서 도 8D와 같이 화상 표시를 행하는 것도 생각할 수 있다.
[4. 표시 동작예]
상기 도 4, 도 5, 도 6과 같은 구성의 본 실시 형태의 표시 장치 (1)에서는 표시 화상 처리부 (12)에서 처리되어 표시 구동부 (13)으로 공급되는 화상 신호가, 최종적으로 표시부 (2)에서의 표시에 제공되는 표시 화상 신호가 되고, 특히 이 표시 화상 신호는 상기 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F, 및 도 8A, 도 8B, 도 8C 및 도 8D에서 설명한 바와 같이 스루 상태의 영역을 남긴 채로 화면 상의 일부 영역에 표시된다. 또한, 표시 화상 신호는 사용자가 표시부 (2)를 통해 시인하는 광경(즉 스루 상태로 시인하는 광경)과는 다른 광경으로서의 화상을 표시시키는 신호이다.
표시 화상 신호로서의 화상은 촬상부 (3)(또는 3X, 3Y)에서 촬상된 화상이거나 통신부 (26)에서 수신된 화상이지만, 이들을 소스로 하는 표시 화상 신호를, 스루 상태에서 시인하는 광경과는 다른 광경의 화상으로 하고, 사용자가 스루 상태의 영역에서 외계의 광경을 보면서 일부 영역에서 표시 화상을 봄으로써 시각을 확장할 수 있도록 하는 것이다.
이를 위한 시스템 컨트롤러 (10)의 제어에 기초한 각종 동작예를 설명해 간다.
도 9는 시스템 컨트롤러 (10)의 제어 처리를 나타내고 있다.
스텝 F101은 시스템 컨트롤러 (10)이 표시 제어부 (14)에 대하여 표시부 (2)를 스루 상태로 하는 제어 처리를 나타내고 있다. 예를 들면 표시 장치 (1)이 전원 온이 된 초기 단계에서는 시스템 컨트롤러 (10)은 스텝 F101에서 표시부 (2)의 화면 전면을 스루 상태로 제어한다.
표시부 (2)의 화면 전면을 스루 상태로 하고 있는 기간에는, 시스템 컨트롤러 (10)은 스텝 F102에서 표시 개시의 트리거가 발생했는지 아닌지를 확인하고 있다. 예를 들면, 동작 트리거 정보 발생부 (16)으로서 사용자가 조작할 수 있는 조작자를 설치하고, 사용자가 소정의 조작자의 조작을 행함으로써 표시 상태를 개시시키는 트리거의 발생이라 판단하면 좋다. 또는, 나중에 예를 언급하지만, 동작 트리거 정보 발생부 (16)에서 사용자의 상황이나 외계의 상황을 검출하고, 소정의 조건에 따라 표시를 개시시키는 트리거의 발생이라 시스템 컨트롤러 (10)이 판단할 수도 있다.
표시 개시 트리거가 있었다고 판별한 경우에는, 시스템 컨트롤러 (10)은 처리를 스텝 F103에 진행시켜 표시 화상 신호의 표시 개시 제어를 행한다. 즉 촬상부 (3)(또는 3X, 3Y)에서 촬상된 화상 신호나, 통신부 (26)에서 수신된 화상 신호에 기초한 표시 화상 신호가 표시부 (3)에서 표시되도록 제어한다. 또한, 이 때, 예를 들면 도 7A, 도 7B, 도 7C, 도 7D, 도 7E 및 도 7F, 및 도 8A, 도 8B, 도 8C 및 도 8D에서 언급한 바와 같이, 화면 상의 일부의 영역에 화상 표시를 실행시킨다.
화상 표시를 개시시킨 후, 즉 표시부 (2)의 화면 상에서 일부가 스루 상태의 영역이 되고 일부가 화상 표시의 영역으로 되어 있는 기간에는, 시스템 컨트롤러 (10)은 스텝 F104에서 표시 전환 트리거가 발생했는지 아닌지를 감시하고, 또한 스텝 F105에서 표시 종료 트리거가 발생했는지 아닌지를 감시한다.
스텝 F104에서의 표시 전환 트리거의 발생이란, 사용자 조작, 또는 사용자 상황이나 외계 상황에 의한 시스템 컨트롤러 (10)의 판단에 의해, 표시 화상의 전환을 행한다고 시스템 컨트롤러 (10)이 판단하는 것을 의미한다.
표시 화상의 전환이란, 예를 들면 표시 화상 내용의 전환, 영역 형태의 전환이 있다.
그리고, 표시 화상 내용의 전환이란, 예를 들면 촬상부 (3)에서의 줌 처리나 초점 위치의 변경에 의한 화상 변경, 촬상 감도의 변경에 의한 화상 변경, 촬상 신호 처리부 (15)에서의 신호 처리에 의한 화상 변경, 촬상부 (3)이 가동 카메라인 경우의 촬상 방향(피사체 방향)의 변경에 의한 화상 변경, 표시 화상 처리부 (12)에서의 신호 처리에 의한 화상 변경, 복수의 표시 화상 신호의 소스를 갖는 경우의 소스 전환에 의한 화상 변경 등 매우 다양한 예를 생각할 수 있다.
또한, 영역 형태의 전환이란, 모자 화면의 위치 변경이나 모자 화면 교대, 분할 화면의 위치 변경이나 영역 교대, 전 화면 표시로의 전환 등이고, 예를 들면 도 7A의 상태로부터 도 7B의 상태로 전환하거나, 도 7A의 상태로부터 도 7E의 상태로 전환하거나, 또는 도 7A의 상태로부터 도 8D의 상태로 전환하는 등의 제어이다.
또한, 스텝 F105에서의 표시 종료 트리거에 대해서는, 예를 들면 사용자가 소정의 조작자에 의해 표시를 종료시키는 조작을 행한 경우에, 시스템 컨트롤러 (10)은 표시 상태를 종료시키는 트리거의 발생이라 판단하면 좋지만, 사용자의 상황이나 외계의 상황을 검출하고, 소정의 조건에 따라 표시 종료 트리거의 발생이라고 시스템 컨트롤러 (10)이 판단할 수도 있다.
표시 전환 트리거 발생이라 판단한 경우에는, 시스템 컨트롤러 (10)은 처리를 스텝 F104로부터 F106으로 진행시키고, 화상 표시 동작에 대한 전환 제어를 행한다. 이에 따라 표시부 (2)에 있어서 일부의 영역에 표시되어 있는 화상의 내용, 또는 영역 형태의 전환이 행해진다.
시스템 컨트롤러 (10)은 스텝 F106에서 표시 전환에 관한 제어를 행한 후에도 스텝 F104, F105의 트리거 발생의 감시를 행한다.
표시 종료 트리거 발생이라 판단한 경우에는, 시스템 컨트롤러 (10)은 처리를 스텝 F105로부터 F101로 되돌려, 표시 제어부 (14)에 대하여 화상 표시를 종료시킴과 동시에 표시부 (2)의 전면을 스루로 하는 지시를 행한다.
사용자가 표시 장치 (1)을 장착하여 전원 온으로 하고 있는 기간은 시스템 컨트롤러 (10)은 예를 들면 이 도 9와 같은 제어 처리를 행하게 된다.
그리고, 이 처리에 있어서는 스텝 F103에서 화상 표시를 행하고, 또한 스텝 F106에서 표시 전환을 행하지만, 이들 처리에 있어서 실현되는 화상 표시예를 도 10A 및 도 10B, 도 11A 및 도 11B, 도 12A 및 도 12B, 도 13A 및 도 13B, 도 14A 및 도 14B, 및 도 15A, 도 15B, 도 15C 및 도 15D에서 언급해 간다.
또한, 도 10A 및 도 10B, 도 11A 및 도 11B, 도 12A 및 도 12B, 도 13A 및 도 13B, 및 도 14A 및 도 14B에서는 기본적으로는 도 4의 구성예이더라도, 촬상부 (3)이 사용자의 전방, 즉 스루 상태의 영역을 통해 사용자가 시인하는 광경과 동일 방향의 광경을 촬상하도록 구성되어 있는 경우를 상정하여 설명해 간다.
도 10A는 표시부 (2)의 전면이 스루 상태로 되어 있는 경우를 나타내고 있는 것으로 한다. 즉, 표시부 (2)는 단순한 투명한 판형체로 되어 있고, 사용자가 시계 광경을 투명한 표시부 (2)를 통해 보고 있는 상태이다.
도 10B는 화상 표시 상태로서, 예를 들면 촬상부 (3)에서 촬상한 화상을 표시부 (2)에 표시시킨 상태이다. 여기서는 영역 AR1은 스루 상태로 하고, 영역 AR2에 화상 표시를 행하도록 하고 있다. 이 경우, 촬상부 (3)이 사용자의 전방을 촬상하고 있는 것으로 하고, 그 촬상부 (3)에 대하여 줌 제어가 행해져서 망원 촬상이 행해짐으로써, 스루 상태의 영역 AR1을 통한 사용자의 시계와는 다른 광경의 화상(망원 화상)이 영역 AR2에 표시되고 있다. 이에 따라 사용자는 통상의 광경을 보면서 통상의 시각으로는 볼 수 없는 망원 화상을 즐길 수 있다.
또한, 여기서는 촬상부 (3)의 동작에 의해 망원 화상이 얻어지는 예를 들었지만, 반대로 광각 줌을 실행시킴으로써, 근거리의 광경이 광각에 비쳐진 화상이 표시부 (2)에 표시되게 된다. 또한, 망원-광각의 제어는 촬상부 (3)에서의 줌 렌즈의 구동 제어 외에도 촬상 신호 처리부 (15)에서의 신호 처리로도 가능하다.
또한, 도시하지 않지만, 이른바 줌 동작이 아닌, 시스템 컨트롤러 (10)이 촬상부 (3)에 초점 위치를 가변시키도록 지시함으로써, 근경, 원경의 화상을 촬상시키고, 그 화상을 표시부 (2)의 영역 AR2에 표시시킬 수 있다.
도 11A는 표시부 (2)의 전면이 스루 상태로 되어 있는 경우를 나타내고 있다.
도 11B는 화상 표시 상태이고, 시스템 컨트롤러 (10)이 표시 제어부 (14)(표시 화상 처리부 (12), 표시 구동부 (13))에 대하여 촬상부 (3)으로부터 얻어진 화 상에 대한 확대 처리를 지시함으로써, 도 11B와 같이 영역 AR1은 스루 상태로 하고, 영역 AR2에 확대 화상의 표시를 행하는 예이다. 이와 같이 확대 화상으로서, 스루 상태의 영역 AR1을 통한 사용자의 시계와는 다른 광경의 화상이 영역 AR2에 표시됨으로써, 사용자는 통상의 광경을 보면서 통상의 시각으로는 볼 수 없는 화상을 볼 수 있다.
반대로, 시스템 컨트롤러 (10)이 표시 제어부 (14)(표시 화상 처리부 (12), 표시 구동부 (13))에 대하여 촬상부 (3)으로부터 얻어진 화상에 대한 축소 처리를 실행시켜 영역 AR2에 축소 화상의 표시를 행하는 것도 생각할 수 있다.
도 12A는 표시부 (2)의 전면이 스루 상태로 되어 있는 경우를 나타내고 있지만, 특히 주위가 어둑어둑한 경우를 나타내고 있다.
도 12B는 화상 표시 상태이고, 이와 같이 주위가 어둑어둑한 경우에, 시스템 컨트롤러 (10)은 촬상 제어부 (11)(촬상부 (3), 촬상 신호 처리부 (15))에 대하여 촬상 감도를 올릴 것을 지시하거나, 촬상 신호 처리부 (15)나 표시 화상 처리부 (12)에 대하여 휘도 레벨, 콘트라스트, 샤프니스 조정을 지시하는 것 등에 의해 보다 확실하고 밝은 표시 화상 신호를 얻도록 하고, 이것을 표시시킨다. 즉 영역 AR1은 스루 상태로 하고, 영역 AR2에 휘도, 즉 밝기를 향상시킨 화상의 표시를 행하는 예이다. 이와 같이 밝기 조정 화상으로서, 스루 상태의 영역 AR1을 통한 사용자의 시계와는 다른 광경의 화상이 영역 AR2에 표시됨으로써, 사용자는 통상의 시각으로는 볼 수 없는 화상을 볼 수 있다.
또한, 조명부 (4)에 조명 동작을 실행시키는 것도 이러한 촬상을 행하는 경 우에 바람직해진다.
또한 반대로, 주위가 너무 밝은 경우 등에, 시스템 컨트롤러 (10)은 촬상 제어부 (11)(촬상부 (3), 촬상 신호 처리부 (15))에 대하여 촬상 감도를 내릴 것을 지시하거나, 촬상 신호 처리부 (15)나 표시 화상 처리부 (12)에 대하여 휘도 레벨, 콘트라스트, 샤프니스 조정을 지시하는 것 등에 의해 눈부시지 않은 표시 화상 신호를 얻도록 하고, 이것을 표시시키도록 하는 것도 생각할 수 있다.
도 13A는 표시부 (2)의 전면이 스루 상태로 되어 있는 경우를 나타내고 있지만, 예를 들면 사용자가, 아이가 자고 있는 어두운 침실에 있는 경우 등이고, 거의 캄캄하여 보이지 않는 상황으로 되어 있다.
도 13B는 화상 표시 상태이고, 시스템 컨트롤러 (10)이, 촬상 제어부 (11)(촬상부 (3), 촬상 신호 처리부 (15))에 대하여 적외선 촬상 감도의 상승을 지시함으로써, 영역 AR2에 적외선 감도 상승 촬상의 화상이 표시된다. 즉 어두운 방에서 아이의 잠자는 얼굴 등을 확인할 수 있는 것과 같은 화상 표시가 행해진다. 이에 따라 사용자는 통상의 시각으로는 볼 수 없는 암시 화상을 볼 수 있다.
도 14A는 표시부 (2)의 전면이 스루 상태로 되어 있는 경우이다.
도 14B는 화상 표시 상태를 나타내지만, 시스템 컨트롤러 (10)이, 촬상 제어부 (11)(촬상부 (3), 촬상 신호 처리부 (15))에 대하여 자외선 촬상 감도의 상승을 지시함으로써, 영역 AR2에 자외선 감도 상승 촬상의 화상이 표시된다. 이에 따라 사용자는 통상의 시각으로는 볼 수 없는 자외광 성분을 나타낸 화상을 볼 수 있다.
이상의 도 10A 및 도 10B, 도 11A 및 도 11B, 도 12A 및 도 12B, 도 13A 및 도 13B, 및 도 14A 및 도 14B는 도 4의 구성에 있어서 촬상부 (3)이 사용자의 전방을 촬상하도록 배치되어 있는 경우의 예를 언급했지만, 도 15A, 도 15B, 도 15C 및 도 15D는 도 4의 촬상부 (3)(또는 도 6의 촬상부 (3X, 3Y))이 사용자가 시인하는 전방 방향과는 다른 방향을 촬상하도록 배치되어 있는 경우의 예를 나타낸다.
도 15A는 표시부 (2)의 전면이 스루 상태로 되어 있는 경우이다.
촬상부 (3)이 예를 들면 사용자의 후방을 촬상하도록 배치되어 있는 경우, 화상 표시 상태는 도 15B와 같이 되고, 영역 AR1은 스루 상태가 되고, 영역 AR2에 사용자의 후방을 촬상한 화상의 표시가 행해진다.
또한, 촬상부 (3)이 예를 들면 사용자의 상측을 촬상하도록 배치되어 있는 경우, 화상 표시 상태는 도 15C와 같이 되고, 영역 AR1은 스루 상태로 되고, 영역 AR2에 사용자의 상측을 촬상한 화상의 표시가 행해진다.
이들 경우도, 스루 상태의 영역 AR1을 통한 사용자의 시계와는 다른 광경의 화상이 영역 AR2에 표시되게 되고, 사용자는 통상의 전방의 광경을 보면서 통상의 시각으로는 볼 수 없는 방향의 화상(후방 화상이나 상측 화상 등)을 볼 수 있다.
도 15D는 도 6과 같이 복수의 촬상 기능 부위를 구비한 구성에 있어서, 촬상부 (3X, 3Y)가 각각 사용자의 우측 후방과 좌측 후방을 촬상하도록 배치되는 경우의 화상 표시예이다. 즉 영역 AR1은 스루 상태로 되고, 영역 AR2a, AR2b에 각각 사용자의 우측 후방과 좌측 후방을 촬상한 화상의 표시가 행해진다.
이 경우, 스루 상태의 영역 AR1을 통한 사용자의 시계와는 다른 광경의 화상이 영역 AR2a, AR2b에 표시되게 되고, 사용자는 스루 상태의 영역 AR1에서의 통상 의 전방의 광경에 더하여 우측 후방, 좌측 후방을 시인할 수 있어, 거의 주위 전체 둘레를 확인할 수 있는 상태가 된다.
여기까지 각종 표시예를 나타내었지만, 이들은 일례에 지나지 않는다. 본 예에 있어서는 촬상부 (3)(3X, 3Y), 촬상 신호 처리부 (15), 표시 화상 처리부 (12), 표시 구동부 (13), 통신부 (26)의 각 처리나 동작을 제어함으로써, 다양한 표시 형태가 실현된다.
이하, 화면 상에서 스루 상태의 영역과 아울러 표시되는 화상 신호, 즉 표시부 (2)를 스루 상태로 했을 때에 사용자가 표시부 (2)를 통해 시인하는 광경과는 다른 광경으로서의 화상 표시를 행하기 위한 표시 화상 신호의 예를 든다.
우선 도 4와 같은 구성으로 촬상부 (3)이 사용자의 전방을 촬상하도록 배치되어 있는 경우(즉 스루 상태에서 시인할 수 있는 광경을 촬상하는 경우)에 있어서, 촬상부 (3)에서 얻어진 촬상 신호에 기초한 표시 화상 신호예는 다음과 같다.
·촬상부 (3)의 줌 동작으로 얻어지는 망원 줌 화상으로서의 표시 화상 신호
·촬상부 (3)의 줌 동작으로 얻어지는 광각 줌 화상으로서의 표시 화상 신호
·촬상부 (3)의 초점 제어 동작으로 얻어지는 원경 화상으로서의 표시 화상 신호
·촬상부 (3)의 초점 제어 동작으로 얻어지는 근경 화상으로서의 표시 화상 신호
·촬상부 (3)에서의 촬상 프레임 레이트를 변경시켜 얻은 고속 촬상 화상이나 저속 촬상 화상 등으로서의 표시 화상 신호
·촬상 신호 처리부 (15) 또는 표시 화상 처리부 (12)의 신호 처리에서의 확대 처리를 행한 표시 화상 신호
·촬상 신호 처리부 (15) 또는 표시 화상 처리부 (12)의 신호 처리에서 얻어지는 축소 처리를 행한 표시 화상 신호
·촬상부 (3)에서의 촬상 감도를 상승시켜 밝기를 상승시킨 화상으로서의 표시 화상 신호
·촬상부 (3)에서의 촬상 감도를 저하시켜 밝기를 억제한 화상으로서의 표시 화상 신호
·촬상부 (3)에서의 적외선 촬상 감도를 상승시켜 얻은 암시 화상으로서의 표시 화상 신호
·촬상부 (3)에서의 자외선 촬상 감도를 상승시켜 얻은 화상으로서의 표시 화상 신호
·촬상부 (3)에서 특정 파장 대역을 커팅하여 촬상한 화상으로서의 표시 화상 신호
·촬상 신호 처리부 (15) 또는 표시 화상 처리부 (12)의 신호 처리에서 휘도를 상승시켜 밝기를 상승시킨 화상으로서의 표시 화상 신호
·촬상 신호 처리부 (15) 또는 표시 화상 처리부 (12)의 신호 처리에서 휘도를 저하시켜 밝기를 억제한 화상으로서의 표시 화상 신호
·촬상 신호 처리부 (15) 또는 표시 화상 처리부 (12)의 색 신호 처리에서 색조나 분위기를 변화시킨 화상으로서의 표시 화상 신호
·촬상 신호 처리부 (15) 또는 표시 화상 처리부 (12)의 신호 처리에서 콘트라스트, 샤프니스 등을 조정한 화상으로서의 표시 화상 신호
·촬상 신호 처리부 (15) 또는 표시 화상 처리부 (12)의 신호 처리로서, 모자이크/휘도 반전/소프트 포커스/화상 내의 일부의 강조 표시/하이라이트 표시 등의 화상 이펙트 처리를 행하여 얻은 화상으로서의 표시 화상 신호
·이상의 각 동작 또는 신호 처리의 조합에 의해 얻은 표시 화상 신호
촬상부 (3)에서, 스루 상태에 있어서 시인할 수 있는 사용자 정면의 광경을 촬상하는 경우에는, 예를 들면 이들과 같은 동작이나 처리로 표시 화상 신호를 얻음으로써, 그 표시 화상 신호는 표시부 (2)를 스루 상태로 했을 때에 사용자가 표시부 (2)를 통해 시인하는 광경과는 다른 광경으로서의 화상 표시를 행하기 위한 신호가 된다.
물론, 상기 열거한 것에 한정되는 것은 아니고, 촬상부 (3)의 동작, 촬상 신호 처리부 (15)의 신호 처리, 표시 화상 처리부 (12)의 신호 처리에 의해 얻어지는, "스루 상태와는 다른 광경"으로서의 표시 화상 신호는 다양하게 생각할 수 있다.
또한, 줌 처리나 확대/축소 처리의 배율, 촬상 감도 변경시의 변경하는 레벨, 휘도 신호 처리나 색 신호 처리에서의 처리 계수 등, 임의로 가변하는 것도 생각할 수 있다.
한편, 도 4와 같은 구성으로 촬상부 (3)이 사용자의 전방과는 다른 방향을 촬상하도록 배치되어 있는 경우에 있어서, 촬상부 (3)에서 얻어진 촬상 신호에 기 초한 표시 화상 신호예는 다음과 같이 생각하면 좋다.
즉, 이 경우, 촬상부 (3)에서의 통상 촬상에서 얻어진 촬상 화상은 그 자체가 이미 사용자가 스루 상태의 표시부 (2)를 통해 통상적으로 시인하는 광경과는 다른 광경(예를 들면 후방, 상측, 발밑, 우측, 좌측 등의 광경)의 촬상 화상이기 때문에, 촬상 화상 신호를 그대로 표시 화상 신호로서 표시부 (2)에 표시시키면 좋다.
또한, 그 경우에 상기 열거한 바와 같이, 촬상부 (3)의 촬상 동작이나 촬상 신호 처리부 (15)의 신호 처리, 표시 화상 처리부 (12)의 신호 처리를 가한 화상 신호를 표시 화상 신호로 할 수도 있다.
또한, 도 6과 같이 복수의 촬상 기능 부위를 구비하는 경우에 있어서도 마찬가지로 생각할 수 있다. 복수의 촬상 기능 부위 중, 전방을 촬상하는 촬상부 (3)이 존재하는 경우에는, 그의 촬상 화상 신호에 대해서는 상기 열거한 바와 같이 촬상부 (3)의 촬상 동작이나 촬상 신호 처리부 (15)의 신호 처리, 표시 화상 처리부 (12)에서의 신호 처리에 의해 다른 광경으로 한 화상 신호를 표시 화상 신호로 하면 좋다.
또한, 전방 이외의 방향을 촬상하는 촬상부 (3)이 존재하는 경우에는, 그의 촬상 화상 신호 그 자체를 표시 화상 신호로 할 수도 있고, 상기 열거한 바와 같이 촬상부 (3)의 촬상 동작, 촬상 신호 처리부 (15)의 신호 처리, 표시 화상 처리부 (12)의 신호 처리를 가한 화상 신호를 표시 화상 신호로 할 수도 있다.
또한, 촬상 방향 가변의 가동식의 촬상부를 갖는 구성의 경우도 마찬가지이 며, 사용자의 전방 이외의 촬상 화상이나, 촬상부 (3)의 촬상 동작, 촬상 신호 처리부 (15)의 신호 처리, 표시 화상 처리부 (12)에서의 신호 처리를 가한 화상 신호를 표시 화상 신호로 할 수도 있다.
또한, 가동식의 경우, 특정 대상을 추적하는 바와 같은 가동 제어를 행하는 것도 생각할 수 있다. 예를 들면 촬상 화상 신호에 대한 화상 해석을 행하여 특정 대상을 검출한 경우, 촬상 화상 내에서의 특정 대상의 움직임에 맞춰 촬상 방향을 변화시킨다. 이러한 제어에 의해, 사용자는 특정 대상을 추적하는 화상을, 예를 들면 영역 AR2에서 볼 수 있다.
통신부 (26)에서 수신한 외부의 촬상 장치 (70)의 촬상 화상을 표시시키는 경우도 마찬가지로 생각할 수 있다.
즉, 외부의 촬상 장치 (70)의 촬상 화상은 그 자체가 사용자가 스루 상태의 표시부 (2)를 통해 통상적으로 시인하는 광경과는 다른 광경의 촬상 화상이기 때문에, 통신부 (26)에서 수신한 화상 신호를 그대로 표시 화상 신호로서 표시부 (2)에 표시시킴으로써, 사용자에게 다양한 화상을 제공할 수 있게 된다.
물론 그 경우에, 상기 열거한 것 중에서 표시 화상 처리부 (12)의 신호 처리를 가한 화상 신호를 표시 화상 신호로 할 수도 있다.
예를 들면 사용자로부터의 시계가 도 10A와 같이 스타디움에서 객석에서 축구를 관전하고 있는 상태에 있을 때, 스타디움의 다른 장소에서 촬상을 행하는 촬상 장치 (70)에 의한 영상을 통신부 (26)에서 수신하고, 도 10B와 같이 표시부 (2)의 영역 AR2에 표시시키는 것을 생각할 수 있지만, 예를 들면 감독석 근변에 설치 된 촬상 장치 (70)이나, 심판이 장착하는 소형의 촬상 장치 (70) 등으로부터의 영상을 수신하여 표시부 (2)에서 표시함으로써, 보다 흥미 깊게 시합 관전을 행할 수 있다.
또는, 리조트지에 설치한 촬상 장치 (70)이나 여행 중의 지인이 소지하는 촬상 장치 (70)에 의해 촬상한 영상을 통신부 (26)에서 수신하여, 표시부 (2)의 영역 AR2에 표시시키거나, 항공기나 위성에 설치된 촬상 장치 (70)에서 촬상한 지상의 영상(버드뷰 영상)을 통신부 (26)에서 수신하여, 표시부 (2)의 영역 AR2에 표시시키는 등 다양한 예가 상정되고, 이러한 표시에 의해 사용자는 통상적으로는 볼 수 없는 풍경을 즐길 수 있다.
[5. 동작 트리거의 예]
상기 도 9의 처리에 나타낸 바와 같이, 시스템 컨트롤러 (10)은 스텝 F102에서 표시 개시 트리거 발생이라 판단하는 것이나 스텝 F104에서 표시 전환 트리거 발생이라 판단하는 것에 따라 표시를 실행시킨다. 또한, 스텝 F105에서 표시 종료 트리거 발생이라 판단함으로써 표시 동작을 종료시킨다.
그리고, 이들 표시 동작에 관한 트리거로서는 사용자의 조작에 의한 것으로 하면 좋지만, 사용자의 상황이나 외계의 상황을 검지하고, 소정의 조건에 의해 시스템 컨트롤러 (10)이 트리거 발생이라 판단할 수도 있다고 언급하였다.
여기서는 사용자 상황이나 외계 상황에 의해 트리거 발생의 판단을 행하는 예에 대하여 언급한다.
우선 사용자 상황에 따라 트리거 발생이라 판단하는 경우, 표시 장치 (1)은 동작 트리거 정보 발생부 (16)으로서 시각 센서, 가속도 센서, 나침반, 생체 센서 등을 설치하도록 한다.
시각 센서는 사용자의 시각에 관한 정보를 검출하는 것으로 하지만, 이 시각 센서는 일례로서는, 예를 들면 표시부 (2)의 근변에 배치되어 사용자의 안부를 촬상하도록 된 촬상부에 의해 형성할 수 있다. 그리고, 상기 촬상부가 촬상한 사용자의 안부의 화상을 시스템 컨트롤러 (10)이 받아들여 화상 해석을 행함으로써, 시선 방향, 초점 거리, 동공의 개방 상태, 안저 패턴, 눈꺼풀의 개폐 등을 검출할 수 있고, 이에 기초하여 사용자의 상황이나 의지를 판정할 수 있다.
또는, 시각 센서는 표시부 (2)의 근변에 배치되어 사용자의 안부에 빛을 조사하는 발광부와, 안부로부터의 반사광을 수광하는 수광부에 의해 형성할 수 있다. 예를 들면, 수광 신호로부터 사용자의 수정체의 두께를 검지함으로써 사용자의 눈의 초점 거리를 검출하는 것도 가능하다.
사용자의 시선 방향을 검출함으로써, 시스템 컨트롤러 (10)은 예를 들면 표시부 (2)에 표시된 화상에 있어서 사용자가 주목하고 있는 부분을 판정할 수 있다.
또한, 시스템 컨트롤러 (10)은 사용자의 시선 방향을, 조작 입력으로서 인식하는 것도 가능하다. 예를 들면, 사용자가 시선을 좌우로 움직이는 것을, 표시 장치 (1)에 요구하는 소정의 조작 입력으로 하는 등이다.
사용자의 초점 거리를 검출함으로써, 사용자가 주목하고 있는 광경이 원방인지 근방인지를 판별할 수 있고, 그에 따라 줌 제어, 확대/축소 제어, 초점변경 제어 등을 행하는 것도 가능하다. 예를 들면 사용자가 먼 곳을 봤을 때에 망원 표시 를 행하는 등이다.
사용자의 동공의 개방 정도를 검출하면, 스루 상태이면 주위의 밝기의 상태, 또한 모니터 표시 상태이면 표시하고 있는 화상에 대하여 사용자가 느끼고 있는 눈부심 등을 판정할 수 있고, 이에 따라 휘도 조정, 촬상 감도 조정 등을 행할 수 있다.
사용자의 안저 패턴의 검출은 예를 들면 사용자의 개인 인증에 사용할 수 있다. 안저 패턴은 각 사람에게 고유의 패턴이기 때문에, 안저 패턴에 의해 장착한 사용자를 판정하고, 그 사용자에 적합한 제어를 행하는 것, 또는 특정 사용자에만 표시 동작을 실행할 수 있도록 하는 것 등의 제어가 가능하다.
사용자의 눈꺼풀의 개폐 동작을 검출함으로써, 사용자가 느끼고 있는 눈부심이나 눈의 피로를 판정할 수 있다. 또한, 눈꺼풀의 개폐를, 사용자의 의식적인 조작 입력으로서 인식하는 것도 가능하다. 예를 들면 사용자가 3회 깜빡임을 하는 것을 소정의 조작 입력이라 판정하는 등이다.
가속도 센서 및 나침반은 사용자의 움직임에 따른 신호를 출력한다. 예를 들면, 가속도 센서는 직선 방향의 움직임을 검출하고, 나침반에 의해 회전계의 움직임이나 진동을 검출하는 경우에 적합하다.
가속도 센서나 나침반의 배치 위치에 따라서도 달라지지만, 가속도 센서나 나침반에 의해 사용자의 신체 전체 또는 신체의 각부의 움직임을 검지할 수 있다.
예를 들면 도 1A 및 도 1B와 같은 안경형의 표시 장치 (1)의 내부에 부착된 경우, 즉 가속도 센서 및 나침반이 사용자의 두부의 움직임을 검출하게 된 경우에 는, 가속도 센서의 검출 정보는 사용자의 두부 또는 전신의 움직임으로서의 가속도 정보가 되고, 또한 나침반의 검출 정보는 사용자의 두부 또는 전신의 움직임으로서의 각속도나 진동의 정보가 된다.
이에 따라, 사용자가 목으로부터 두부를 움직이는 거동을 검지할 수 있다. 예를 들면 상측을 향해 있는 상태나 하측을 향해 있는 상태를 판정할 수 있다. 하측을 향해 있을 때란, 사용자가 독서 등 근방을 보고 있다고 판단하는 것도 가능하다. 반대로 상측을 향해 있을 때에는 원방을 보고 있다고 판단할 수도 있다.
또한, 시스템 컨트롤러 (10)은 사용자의 목으로부터 두부를 움직이는 거동을 검출하면, 이것을 사용자의 의식적인 조작이라 인식할 수도 있다. 예를 들면, 좌측으로 2회 목을 흔들면, 이것을 소정의 조작 입력으로 하는 등이다.
또한, 가속도 센서 및 나침반에 의해서는 사용자가 정지 상태(비보행 상태)인지, 보행 상태인지, 주행 상태인지 등의 판단도 가능하다. 또한, 서있는 상태로부터 앉은 경우, 또는 일어선 경우 등의 검출도 가능하다.
또한, 가속도 센서나 나침반이 두부에 장착하는 장착 유닛과는 별개로 설치되어, 팔이나 발에 부착되게 되면, 팔만의 거동, 발만의 거동도 검지할 수 있다.
생체 센서는 사용자의 생체 정보로서 예를 들면 심박 정보(심박수), 맥박 정보(맥박수), 발한 정보, 뇌파 정보(예를 들면 α파, β파, θ파, δ파의 정보), 또는 피부 전기 반응, 체온, 혈압, 호흡 활동(예를 들면 호흡의 속도, 깊이, 환기량 등) 등을 검출하지만, 이들 정보로부터 시스템 컨트롤러 (10)은 사용자가 긴장 상태나 흥분 상태에 있는 것, 또는 감정적으로 온화한 상태에 있는 것, 또는 쾌적한 상태나 불쾌한 상태에 있는 것 등을 판정할 수 있다.
또한, 표시 장치 (1)을 사용자가 장착한 것의 검지도 생체 정보에 의해 가능하다. 예를 들면, 시스템 컨트롤러 (10)은 사용자가 표시 장치 (1)을 장착하지 않은 때에는 생체 정보 검지만을 행하는 스탠바이 상태로 제어하고, 생체 정보에 의해 사용자가 표시 장치 (1)을 장착한 것을 검지하면 전원 온 상태로 하는 것이나, 반대로 사용자가 표시 장치 (1)의 장착을 떼어내면 스탠바이 상태로 복귀시키는 등의 제어도 가능하다.
또한, 생체 센서에 의한 검출 정보는 사용자의 개인인증(장착자 개인의 식별)에도 이용할 수 있다.
또한, 생체 센서는 예를 들면 안경형의 표시 장치 (1)의 장착 프레임 내측에 배치함으로써, 예를 들면 사용자의 측두부나 후두부에 있어서 상기 정보를 검지할 수 있도록 할 수도 있고, 표시 장치 (1)의 장착 프레임 부분과는 별개의 부재로서, 신체의 소정 개소에 장착되도록 할 수도 있다.
다음으로 외계의 상황을 검지하는 경우에 있어서는, 표시 장치 (1)은 외계 정보를 취득하기 위한 구성으로서, 동작 트리거 정보 발생부 (16)에 주위 환경 센서, 촬상 대상 센서, GPS 수신부, 일시 계수부, 화상 해석부를 설치하거나 통신부 (26)을 이용한다.
주위 환경 센서로서는 조도 센서, 온도 센서, 습도 센서, 기압 센서 등이 상정된다.
조도 센서에 의해서는 표시 장치 (1)의 주위의 밝기의 정보를 검출할 수 있 다.
또한, 온도 센서, 습도 센서, 기압 센서에 의해서는 온도, 습도, 기압 또는 날씨를 판별하는 정보를 얻을 수 있다.
이들 주위 환경 센서에 의해, 표시 장치 (1)은 주위의 밝기나 옥외의 경우의 기상 상황 등을 판정할 수 있기 때문에, 시스템 컨트롤러 (10)은 이들을 외계 정보로서 이용하여, 주위의 밝기나 기상 상황에 적합한 표시 화상 신호의 생성 동작을 실행 제어할 수 있다. 예를 들면, 주위의 밝기에 따라 화상의 휘도 레벨을 상하시키거나, 날씨 상황에 따라 화상의 분위기를 바꾸는 등이다.
촬상 대상 센서는 촬상 대상에 대한 정보를 검지한다. 예를 들면 측거 센서나 집전 센서 등을 생각할 수 있지만, 촬상 대상과의 거리나 촬상 대상 자체를 판정하는 정보를 얻을 수 있다.
촬상 대상까지의 거리를 검출함으로써, 시스템 컨트롤러 (10)은 거리에 따른 촬상 동작, 표시 동작을 실행 제어할 수 있다. 또한, 촬상 대상이 사람 등의 생체임을 검지함으로써, 촬상 대상에 따른 표시 화상 신호의 생성 동작을 실행 제어할 수 있다.
GPS 수신부는 현재 위치로서의 위도·경도의 정보를 취득한다. 위도·경도를 검출한 경우, 지도 데이터베이스 등을 참조함으로써, 현재 위치에서의 지점(지점 근변)의 정보를 얻을 수 있다. 예를 들면, 시스템 컨트롤러 (10)이 참조할 수 있는 기록 매체로서, 예를 들면 HDD(Hard Disk Drive)나 플래시 메모리 등으로서 비교적 대용량의 기록 매체를 탑재하고, 이들 기록 매체에 지도 데이터베이스를 기 억시킴으로써, 현재 위치에 관련된 정보를 취득할 수 있다.
또한, 통신부 (26)을 갖는 구성의 경우, 표시 장치 (1)에 지도 데이터베이스를 내장하고 있지 않더라도, 통신부 (26)을 통해 예를 들면 네트워크 서버나 지도 데이터베이스 내장 기기에 액세스하고, 위도·경도를 송신하여 현재 위치에 따른 정보를 요구하고, 정보를 수신하도록 할 수도 있다.
현재 위치에 관련된 정보로서는 현재 위치 근변의 지명, 건조물명, 시설명, 가게명, 역명 등의 명칭 정보가 있다.
또한, 현재 위치에 관련된 정보로서는, 공원, 테마파크, 콘서트 홀, 극장, 영화관, 스포츠 시설 등, 건조물의 종별을 나타내는 정보도 있다.
또한, 현재 위치에 관련된 정보로서는, 해안, 해상, 하천, 산간부, 산정부, 삼림, 호수, 평야부 등, 자연물의 종별이나 명칭의 정보도 있다.
또한, 보다 상세한 위치에 대한 정보로서, 예를 들면 테마 파크 내에서의 영역이나, 야구장, 축구장 등에서의 관전석의 영역, 콘서트 홀에서의 좌석의 영역의 정보 등도 현재 위치에 대한 정보로서 취득할 수 있다.
이들, 현재 위치에 관한 정보를 취득함으로써, 시스템 컨트롤러 (10)은 현재 위치나 현재 지점의 근변의 지리적 조건이나 시설 등에 따른 표시 화상 신호의 생성 동작을 실행 제어하거나, 특정 장소에 있어서 표시 개시 제어 또는 표시 종료 제어를 행하는 등이 가능해진다.
일시 계수부는 예를 들면 년월일시분초를 계수한다. 이 일시 계수부에 의해 시스템 컨트롤러 (10)은 현재 시각, 주야별, 월, 계절 등을 인식할 수 있다. 이 때문에, 예를 들면 주야별(시각)에 따른 표시 화상 신호의 생성 동작이나, 현재의 계절에 적합한 표시 화상 신호의 생성 동작 등을 실행 제어할 수 있다.
촬상 화상을 해석하는 화상 해석부를 설치하면, 촬상 화상으로부터 촬상 대상에 대한 이하와 같은 각종 정보를 검출할 수 있다.
우선 촬상 대상의 종별로서, 촬상 화상에 포함되어 있는 인물, 동물, 자연물, 건조물, 기기 등을 판별할 수 있다. 예를 들면 동물로서는 피사체로서 새가 촬상되어 있는 상황이나 고양이가 촬상되어 있는 상황 등을 판별할 수 있다. 또한, 자연물로서는 바다, 산, 수목, 하천, 호수, 하늘, 태양, 달 등을 판별할 수 있다. 건조물로서는 가옥, 빌딩, 경기장 등을 판별할 수 있다. 기기로서는 퍼스널 컴퓨터, AV(Audio-Visual) 기기, 휴대 전화기, PDA, IC 카드, 이차원 바코드 등이 촬상 대상으로 되어 있는 상황을 판별할 수 있다.
이들 촬상 대상의 종별은 미리 각종 다른 형상의 특징을 설정해 두고, 촬상 화상 내에, 형상이 해당하는 피사체가 포함되어 있는지의 여부에 의해 판별 가능하다.
또한, 화상 해석부에 의한 화상 해석에 따르면, 화상의 전후 프레임의 차분 검출 등의 수법으로, 피사체의 움직임의 검출, 예를 들면 신속한 움직임이 화상 내도 가능하다. 예를 들면 스포츠 관전에서 선수를 촬상하고 있을 때나, 주행하고 있는 자동차 등을 촬상하고 있는 경우 등에, 움직임이 신속한 피사체를 촬상하고 있다는 상황을 검지할 수 있다.
또한, 화상 해석부에 의한 화상 해석에 따르면, 주위의 상황을 판정하는 것 도 가능하다. 예를 들면 밤낮이나 날씨에 의한 밝기의 상황을 판정할 수 있고, 비의 강도 등도 인식 가능하다.
또한, 화상 해석부에 의한 화상 해석에 따르면, 인물이 피사체로 되어 있는 경우에, 그 인물의 얼굴로부터 인물 개인을 특정하는 판별도 가능하다. 이미 알려져 있는 바와 같이, 인물의 얼굴은 얼굴의 구성 요소의 상대 위치 정보로서 개인 특징 데이터화할 수 있다. 예를 들면 눈의 중심과 코와의 거리 EN과 눈의 간격의 거리 Ed의 비(Ed/EN)나, 눈의 중심과 입과의 거리 EM과 눈의 간격의 거리 Ed의 비(Ed/EM)는 개인마다 특유한 동시에, 머리 모양이나 안경 등의 장착물 등에 의한 외관 상의 변화의 영향을 받지 않는 정보이다. 또한, 나이가 들더라도 변화하지 않는 것으로 알려져 있다.
따라서, 화상 해석부는 촬상 화상 내에 어떤 인물의 얼굴이 포함되어 있을 때에, 그 화상을 해석하면 상기와 같은 개인 특징 데이터를 검출할 수 있다.
촬상 화상으로부터 개인 특징 데이터를 검출했을 경우, 예를 들면 시스템 컨트롤러 (10)이 참조할 수 있는 기록 매체로서, 예를 들면 HDD(Hard Disk Drive)나 플래시 메모리 등을 탑재하고, 이들 기록 매체에 인물 데이터베이스를 기억시켜 두면, 피사체로 되어 있는 개인의 정보를 취득할 수 있다. 또는, 표시 장치 (1)에 인물 데이터베이스를 내장하지 않더라도, 통신부 (26)을 통해 예를 들면 네트워크 서버나 인물 데이터베이스 내장 기기에 액세스하고, 개인 특징 데이터를 송신하여 정보를 요구하고, 특정 인물의 정보를 수신하도록 할 수도 있다.
예를 들면, 사용자 자신이 과거에 만난 인물의 성명이나 소속 등의 인물 정 보를 개인 특징 데이터와 함께 인물 데이터베이스에 등록해 두면, 어떤 인물을 만났을 때(촬상되었을 때)에, 시스템 컨트롤러 (10)은 그 인물의 정보를 검색할 수 있다.
또한, 유명인의 정보를 개인 특징 데이터와 함께 등록한 인물 데이터베이스가 준비되어 있으면, 사용자가 유명인을 만났을 때에, 그 인물의 정보를 검색할 수 있다.
이러한 화상 해석부에 의한 검출 정보에 기초하여, 시스템 컨트롤러 (10)은 촬상 대상에 따른 표시 화상 신호의 생성 처리를 실행 제어할 수 있다. 예를 들면, 특정 대상이나 특정 인물이 촬상되어 있는 경우에는 그 특정 대상을 하이라이트 표시시키는 것과 같은 표시 화상 신호를 생성하는 것 등을 생각할 수 있다.
통신부 (26)에 따르면, 외계 정보로서 다양한 정보를 취득할 수 있다.
예를 들면, 상술한 바와 같이 표시 장치 (1)로부터 송신한 위도·경도, 또는 개인 특징 데이터 등에 따라 외부 기기에서 검색된 정보를 취득할 수 있다.
또한, 외부 기기로부터 날씨 정보, 기온 정보, 습도 정보 등 기상에 관한 정보를 취득할 수 있다.
또한, 외부 기기로부터 시설의 이용 정보, 시설 내에서의 촬상 금지/허가 정보, 안내 정보 등을 취득할 수 있다.
또한, 외부 기기 자체의 식별 정보를 취득할 수 있다. 예를 들면 소정의 통신 프로토콜에 있어서 네트워크 디바이스로서 식별되는 기기의 종별이나 기기 ID 등이다.
또한, 외부 기기에 저장되어 있는 화상 데이터, 외부 기기에서 재생 또는 표시하고 있는 화상 데이터, 외부 기기에서 수신하고 있는 화상 데이터 등을 취득할 수 있다.
이러한 통신부 (26)에서 취득할 수 있는 정보에 기초하여, 시스템 컨트롤러 (10)은 표시 화상 신호의 생성 처리를 실행 제어할 수 있다.
이상의 예와 같은 구성 요소를 동작 트리거 정보 발생부 (16)으로서 설치하고, 사용자의 상황이나 외계의 상황을 검지하여, 이들 상황에 따른 표시 개시/종료나, 표시 전환(표시 내용의 변경이나 영역 형태의 전환)을 행하도록 함으로써, 사용자가 조작하지 않더라도 적절한 또는 재미있는 표시 동작이 실현된다.
또한, 사용자의 상황이나 외계의 상황을 검출하기 위한 구성예는 그 외에도 생각할 수 있다.
[6. 실시 형태의 효과, 변형예 및 확장예]
이상, 실시 형태를 설명하여 왔지만, 실시 형태에 따르면, 표시부 (2)의 화면 영역의 일부를 스루 상태로 한 후에 표시 화상 신호에 의한 표시를 실행시킴으로써, 사용자는 스루 상태의 영역에 의해 통상의 시각 광경이 보이는 상태인 채로, 통상적으로 시인하는 시각 광경과는 다른 광경의 화상을 볼 수 있다. 예를 들면 스루 상태의 영역에 의해 전방을 보면서, 표시 화상 신호의 표시에 의해, 망원 화상, 확대 화상, 특수 촬상 화상, 후방의 광경의 화상 등을 볼 수 있다. 이 때문에 통상의 시각 광경과 동시에, 통상의 시각으로는 볼 수 없는 광경을 보는 상태가 되어, 의사적으로 사용자의 시각 능력을 확장시키는 상황을 만들어낼 수 있다.
또한, 표시부 (2)는 적어도 화면 영역의 일부는 스루 상태이기 때문에, 장착 상태인 채로도 통상의 생활에 지장이 없도록 할 수 있다. 이 때문에 사용자의 통상의 생활 중에서 표시 장치 (1)의 이점을 유효하게 얻을 수 있다.
표시 장치 (1)의 외관이나 구성은 도 1A 및 도 1B, 도 2A 및 도 2B, 도 4, 도 5, 도 6의 예로 한정되는 것은 아니고, 각종 변형예를 생각할 수 있다.
예를 들면, 촬상부 (3)에서 촬상한 화상 신호를 기록 매체에 기록하는 스토리지부를 설치할 수 있다.
또한, 촬상한 화상 신호를 통신부 (26)으로부터 다른 기기에 송신하는 동작을 행하도록 할 수도 있다.
스토리지부를 설치하는 경우, 스토리지부에서 기록 매체로부터 재생한 재생 화상을 표시 화상 신호로서 표시부 (2)에 표시시킬 수 있다.
기록 매체로부터 재생되는 데이터로서는, 예를 들면 영화나 비디오 클립 등의 동화상 콘텐츠, 디지탈 스틸 카메라 등으로 촬상되어 기록 매체에 기록된 정지 화상 콘텐츠, 전자 서적 등의 데이터, 사용자가 퍼스널 컴퓨터 등으로 작성하여 기록 매체에 기록한 화상 데이터, 텍스트 데이터, 표계산 데이터 등의 컴퓨터 유스의 데이터, 기록 매체에 기록된 게임 프로그램에 기초한 게임 화상 등, 기록 매체에 기록되어 표시 대상이 되는 모든 데이터가 상정된다.
또한, 통신부 (26)은 외부의 촬상 장치 (70)로부터의 화상 신호를 수신하는 것뿐만 아니라, 외부의 콘텐츠 소스 기기로부터 제공되는 화상(동화상/정지 화상)을 수신하여 표시부 (2)에 표시시키도록 하는 것도 생각할 수 있다.
콘텐츠 소스 기기란, 예를 들면 비디오 기기, 텔레비젼 튜너, 홈서버 기기 등의 AV(Audio-Visual) 기기나, 퍼스널 컴퓨터, PDA(Personal Digital Assistant), 휴대 전화기 등의 정보 처리 장치 등을 상정할 수 있다. 이러한 콘텐츠 소스 기기도, 표시 장치 (1)을 이용하는 사용자 본인이나 그 지인이 소유하는 기기이거나, 각종 콘텐츠 제공을 행하는 공공 또는 서비스 기업 등의 서버 기기인 등 다양하게 생각할 수 있다.
콘텐츠 소스 기기로부터 표시 장치 (1)에 송신되는 데이터로서는, 예를 들면 영화나 비디오 클립 등의 동화상 콘텐츠, 디지탈 스틸 카메라 등으로 촬상되어 기록 매체에 기록된 정지 화상 콘텐츠, 전자 서적 등의 데이터, 사용자가 퍼스널 컴퓨터 등으로 작성한 화상 데이터, 텍스트 데이터, 표계산 데이터 등의 컴퓨터 사용의 데이터, 게임 화상 등, 표시 대상이 되는 모든 데이터가 상정된다.
또한, 촬상시에 주위 음성을 집음하는 마이크로폰이나, 음성을 출력하는 이어폰형 등의 스피커부가 설치될 수도 있다.
또한, 화상 내에서의 문자를 인식하는 문자 인식부와, 음성 합성 처리를 행하는 음성 합성부를 설치하고, 촬상 화상에 문자가 포함되어 있는 경우에, 음성 합성부에서 그의 판독 음성의 음성 신호를 생성시키고, 스피커부로부터 출력시키도록 하는 것도 생각할 수 있다.
또한, 표시 화상 신호는 정지 화상으로 할 수도 있다. 예를 들면, 촬상부 (3)에서 소정의 트리거의 타이밍을 정지 화상 촬상을 행하고, 그 촬상된 정지 화상을 표시부 (2)에 표시시킨다.
또한, 표시 장치 (1)로서 안경형 또는 두부 장착형의 장착 유닛을 갖는 예를 언급했지만, 본 발명의 표시 장치는 사용자의 눈앞에서 표시를 행할 수 있도록 구성되면 좋고, 예를 들면 헤드폰형, 넥 밴드 타입, 귀에 거는 식 등, 어떠한 장착 유닛으로 사용자에게 장착되는 것이든 좋다. 나아가, 예를 들면 통상의 안경이나 바이저, 또는 헤드폰 등에, 클립 등의 부착구로 부착함으로써 사용자에게 장착되는 것과 같은 형태일 수도 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 표시 수단의 화면 영역의 일부를 스루 상태로 한 후에 화상 신호 생성 수단에서 생성된 표시 화상 신호를 표시 수단에 실행시킴으로써, 사용자는 스루 상태의 영역에 의해 통상의 시각 광경이 보이는 상태인 채로, 통상적으로 시인하는 시각 광경과는 다른 광경의 화상을 볼 수 있고, 의사적으로 사용자의 시각 능력을 확장시키는 상황을 만들어낼 수 있다는 효과가 있다.
또한, 표시 수단은 적어도 화면 영역의 일부는 스루 상태이기 때문에, 장착 상태인 채로도 통상의 생활에 지장이 없도록 할 수 있다. 이 때문에 사용자의 통상의 생활 중에서 본 발명의 표시 장치의 이점을 유효하게 얻을 수 있다.

Claims (22)

  1. 사용자의 눈의 전방에 위치하도록 배치되어 화상 표시를 행함과 동시에, 화상 표시를 행하는 화면 영역을 투명 또는 반투명한 스루 상태로 할 수 있는 표시 수단과,
    상기 표시 수단을 스루 상태로 했을 때에 사용자가 상기 표시 수단을 통해 시인하는 광경과는 다른 광경의 표시 화상 신호를 생성하는 화상 신호 생성 수단과,
    상기 표시 수단의 상기 화면 영역의 일부를 상기 스루 상태로 함과 동시에, 상기 화상 신호 생성 수단에서 생성된 표시 화상 신호를 상기 표시 수단에 실행시키는 제어를 행하는 제어 수단
    을 구비하는 것을 특징으로 하는 표시 장치.
  2. 제1항에 있어서, 상기 화상 신호 생성 수단은
    촬상부와,
    상기 촬상부에서 얻어진 촬상 화상 신호에 대한 신호 처리를 행하는 신호 처리부
    를 갖는 것을 특징으로 하는 표시 장치.
  3. 제2항에 있어서, 상기 촬상부는 상기 화면 영역이 스루 상태로 되어 있을 때 에 사용자가 상기 표시 수단을 통해 시인하는 방향을 피사체 방향으로서 촬상하도록 배치된 촬상부인 것을 특징으로 하는 표시 장치.
  4. 제2항에 있어서, 상기 촬상부는 상기 화면 영역이 스루 상태로 되어 있을 때에 사용자가 상기 표시 수단을 통해 시인하는 방향과는 다른 방향을 피사체 방향으로서 촬상하도록 배치된 촬상부인 것을 특징으로 하는 표시 장치.
  5. 제2항에 있어서, 상기 촬상부는 피사체 방향이 가변으로 된 촬상부인 것을 특징으로 하는 표시 장치.
  6. 제1항에 있어서, 상기 화상 신호 생성 수단은
    외부 기기로부터 화상 신호를 수신하는 수신부를 갖고 구성되는 것을 특징으로 하는 표시 장치.
  7. 제1항에 있어서, 상기 화상 신호 생성 수단은
    공급된 화상 신호에 대한 신호 처리를 행하는 신호 처리부를 갖고 구성되는 것을 특징으로 하는 표시 장치.
  8. 제1항에 있어서, 상기 제어 수단은 상기 표시 수단에 있어서, 상기 화면 영역 내에서 모화면 영역과 자화면 영역을 설정하고, 모화면 영역과 자화면 영역 중 한쪽을 상기 스루 상태, 다른 쪽을 상기 표시 화상 신호에 의한 화상 표시 상태로 하는 것을 특징으로 하는 표시 장치.
  9. 제1항에 있어서, 상기 제어 수단은, 상기 표시 수단에 있어서 상기 화면 영역을 분할하고, 분할된 각 영역의 한쪽을 상기 스루 상태, 다른 쪽을 상기 표시 화상 신호에 의한 화상 표시 상태로 하는 것을 특징으로 하는 표시 장치.
  10. 제1항에 있어서, 상기 표시 화상 신호는 근경 촬상 또는 원경 촬상에 의해 얻어진 화상 신호인 것을 특징으로 하는 표시 장치.
  11. 제1항에 있어서, 상기 표시 화상 신호는 망원 촬상 또는 광각 촬상에 의해 얻어진 화상 신호인 것을 특징으로 하는 표시 장치.
  12. 제1항에 있어서, 상기 표시 화상 신호는 확대 처리 또는 축소 처리에 의해 얻어진 화상 신호인 것을 특징으로 하는 표시 장치.
  13. 제1항에 있어서, 상기 표시 화상 신호는 촬상 감도를 상승 또는 저하시킨 촬상에 의해 얻어진 화상 신호인 것을 특징으로 하는 표시 장치.
  14. 제1항에 있어서, 상기 표시 화상 신호는 적외선 촬상 감도를 상승시킨 촬상 에 의해 얻어진 화상 신호인 것을 특징으로 하는 표시 장치.
  15. 제1항에 있어서, 상기 표시 화상 신호는 자외선 촬상 감도를 상승시킨 촬상에 의해 얻어진 화상 신호인 것을 특징으로 하는 표시 장치.
  16. 제1항에 있어서, 상기 표시 화상 신호는 상기 화면 영역이 스루 상태로 되어 있을 때에 사용자가 상기 표시 수단을 통해 시인하는 방향과는 다른 방향을 피사체 방향으로 한 촬상에 의해 얻어진 화상 신호인 것을 특징으로 하는 표시 장치.
  17. 제2항에 있어서, 상기 화상 신호 생성 수단은 상기 촬상부에서의 촬상 렌즈계의 동작 제어에 의해, 상기 표시 수단을 스루 상태로 했을 때에 사용자가 시인하는 광경과는 다른 광경으로서의 표시 화상 신호를 얻는 것을 특징으로 하는 표시 장치.
  18. 제2항에 있어서, 상기 화상 신호 생성 수단은 상기 신호 처리부에서의 신호 처리에 의해, 상기 표시 수단을 스루 상태로 했을 때에 사용자가 시인하는 광경과는 다른 광경으로서의 표시 화상 신호를 얻는 것을 특징으로 하는 표시 장치.
  19. 제6항에 있어서, 상기 화상 신호 생성 수단은 외부의 촬상 장치에서 촬상된 화상 신호를 상기 수신부에서 수신함으로써, 상기 표시 수단을 스루 상태로 했을 때에 사용자가 시인하는 광경과는 다른 광경으로서의 표시 화상 신호를 얻는 것을 특징으로 하는 표시 장치.
  20. 제1항에 있어서, 외계 정보를 취득하는 외계 정보 취득 수단을 추가로 구비하고,
    상기 제어 수단은 상기 외계 정보 취득 수단으로부터 얻은 외계 정보에 기초하여 상기 표시 화상 신호를 상기 표시 수단에 표시시키는 것을 특징으로 하는 표시 장치.
  21. 제20항에 있어서, 상기 제어 수단은 상기 외계 정보 취득 수단으로부터 얻은 외계 정보에 기초하여 상기 표시 화상 신호를 표시시키는 영역을 제어하는 것을 특징으로 하는 표시 장치.
  22. 사용자의 눈의 전방에 위치하도록 배치되어 화상 표시를 행함과 동시에, 화상 표시를 행하는 화면 영역을 투명 또는 반투명한 스루 상태로 할 수 있는 표시 수단을 구비한 표시 장치의 표시 방법으로서,
    상기 표시 수단을 스루 상태로 했을 때에 사용자가 상기 표시 수단을 통해 시인하는 광경과는 다른 광경의 표시 화상 신호를 생성하는 스텝과,
    상기 표시 수단의 상기 화면 영역의 일부를 상기 스루 상태로 함과 동시에, 상기 생성된 표시 화상 신호에 의한 표시를 실행하는 스텝
    을 구비하는 것을 특징으로 하는 표시 방법.
KR1020097010005A 2006-10-16 2007-10-12 표시 장치, 표시 방법 KR20090069335A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006281042A JP5228307B2 (ja) 2006-10-16 2006-10-16 表示装置、表示方法
JPJP-P-2006-281042 2006-10-16

Publications (1)

Publication Number Publication Date
KR20090069335A true KR20090069335A (ko) 2009-06-30

Family

ID=39314102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097010005A KR20090069335A (ko) 2006-10-16 2007-10-12 표시 장치, 표시 방법

Country Status (8)

Country Link
US (4) US8681256B2 (ko)
EP (1) EP2081182B1 (ko)
JP (1) JP5228307B2 (ko)
KR (1) KR20090069335A (ko)
CN (2) CN101542584A (ko)
CA (1) CA2666692C (ko)
TW (1) TWI428903B (ko)
WO (1) WO2008047889A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190673A1 (ko) * 2014-06-11 2015-12-17 안병영 후방 영상이 나타나는 안경
KR20150146295A (ko) * 2014-06-23 2015-12-31 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그것의 제어방법
US10559065B2 (en) 2015-03-31 2020-02-11 Sony Corporation Information processing apparatus and information processing method
US11915570B2 (en) 2020-07-16 2024-02-27 Ventec Life Systems, Inc. System and method for concentrating gas
US11931689B2 (en) 2020-07-16 2024-03-19 Ventec Life Systems, Inc. System and method for concentrating gas

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
WO2009094587A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye mounted displays
DE102008049407A1 (de) * 2008-09-29 2010-04-01 Carl Zeiss Ag Anzeigevorrichtung und Anzeigeverfahren
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
US9480919B2 (en) * 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
JP5651386B2 (ja) * 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP5700963B2 (ja) * 2010-06-29 2015-04-15 キヤノン株式会社 情報処理装置およびその制御方法
WO2012003844A1 (en) * 2010-07-05 2012-01-12 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
WO2012071545A1 (en) * 2010-11-24 2012-05-31 New Productivity Group, Llc Detection and feedback of information associated with executive function
JP5953714B2 (ja) * 2011-11-24 2016-07-20 セイコーエプソン株式会社 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
CN102693068B (zh) * 2011-03-25 2014-10-22 京东方科技集团股份有限公司 一种视觉扩展显示设备和方法
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
CN103033936A (zh) * 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
JP6105850B2 (ja) * 2012-03-16 2017-03-29 富士通株式会社 携帯端末装置、表示制御方法及び表示制御プログラム
JP6008086B2 (ja) * 2012-03-26 2016-10-19 セイコーエプソン株式会社 頭部装着型表示装置
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
JP5694257B2 (ja) * 2012-08-27 2015-04-01 株式会社東芝 表示装置、表示方法及びプログラム
US10620902B2 (en) * 2012-09-28 2020-04-14 Nokia Technologies Oy Method and apparatus for providing an indication regarding content presented to another user
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
JP6040715B2 (ja) 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
RU2646360C2 (ru) * 2012-11-13 2018-03-02 Сони Корпорейшн Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа
JP6023568B2 (ja) * 2012-11-30 2016-11-09 オリンパス株式会社 頭部装着型装置
CN103024582B (zh) * 2012-12-26 2016-09-21 深圳Tcl新技术有限公司 多屏显示控制方法及多屏显示装置
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6333801B2 (ja) * 2013-02-19 2018-05-30 ミラマ サービス インク 表示制御装置、表示制御プログラム、および表示制御方法
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9819627B2 (en) 2013-07-01 2017-11-14 Paypal, Inc. Location restricted message exchange system
JP6252002B2 (ja) * 2013-07-11 2017-12-27 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN104427226B (zh) * 2013-08-20 2018-08-31 联想(北京)有限公司 图像采集方法和电子设备
KR102081934B1 (ko) * 2013-08-28 2020-02-26 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
KR20150045637A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 사용자 인터페이스 운용 방법 및 그 전자 장치
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
US9772495B2 (en) * 2013-11-04 2017-09-26 Weng-Kong TAM Digital loupe device
JP6264014B2 (ja) * 2013-12-17 2018-01-24 セイコーエプソン株式会社 頭部装着型表示装置
US9436367B2 (en) * 2013-12-18 2016-09-06 Flir Systems Ab Processing an infrared (IR) image based on swipe gestures
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
CN106030692B (zh) * 2014-02-20 2019-11-15 索尼公司 显示控制装置、显示控制方法及计算机程序
JP2015159383A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置
USD817353S1 (en) * 2014-03-07 2018-05-08 Sony Corporation Display panel or screen with an icon
CN103929606B (zh) * 2014-04-01 2017-10-10 北京智谷睿拓技术服务有限公司 图像呈现控制方法及图像呈现控制装置
EP3152894B1 (en) * 2014-06-03 2020-03-04 Sony Corporation Lifelog camera and method of obtaining a digital image tagged with corrected image direction information
JP2016033763A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
JP6638195B2 (ja) * 2015-03-02 2020-01-29 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
KR102337509B1 (ko) * 2014-08-29 2021-12-09 삼성전자주식회사 컨텐츠 제공 방법 및 그 전자 장치
US9495004B2 (en) * 2014-09-08 2016-11-15 Qualcomm Incorporated Display device adjustment by control device
JP6501389B2 (ja) * 2014-12-01 2019-04-17 浅田　一憲 ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラム
CA2972856A1 (en) * 2015-01-08 2016-07-14 Ashkelon Eyewear Technologies Ltd An apparatus and method for displaying content
US9811681B2 (en) * 2015-07-28 2017-11-07 Sony Mobile Communications Inc. Method and system for providing access to a device for a user
JP6679856B2 (ja) * 2015-08-31 2020-04-15 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US10976809B2 (en) * 2016-03-14 2021-04-13 Htc Corporation Interaction method for virtual reality
JP2017182130A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102595020B1 (ko) 2016-05-03 2023-10-27 엘지전자 주식회사 헤드마운티드 디스플레이
CN109791295A (zh) 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
EP3296792A1 (en) * 2016-09-19 2018-03-21 Essilor International Method for managing the display of an image to a user of an optical system
EP3316117A1 (en) * 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
KR20180065515A (ko) * 2016-12-08 2018-06-18 박순구 다기능 웨어러블 디스플레이 장치
JP6634528B2 (ja) 2016-12-15 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
CN110419018B (zh) 2016-12-29 2023-08-04 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
US10277943B2 (en) * 2017-03-27 2019-04-30 Microsoft Technology Licensing, Llc Selective rendering of sparse peripheral displays based on user movements
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193513A1 (ja) * 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193557A1 (ja) 2017-04-19 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6976719B2 (ja) * 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
CN108983421B (zh) * 2017-06-02 2022-02-01 富泰华工业（深圳）有限公司 佩戴显示装置
US10687119B2 (en) 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
JP7135413B2 (ja) * 2018-05-07 2022-09-13 セイコーエプソン株式会社 接続装置、表示装置、接続装置の制御方法、及び、表示装置の制御方法
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
EP4014468A4 (en) 2019-08-12 2022-10-19 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY
JP2021089351A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 頭部装着システム及び情報処理装置
JP7170277B2 (ja) * 2019-12-09 2022-11-14 株式会社辰巳菱機 通報装置
CN111208964B (zh) * 2020-01-13 2023-08-01 宜视智能科技（苏州）有限公司 低视力助视方法、终端及存储介质
DE102021206565A1 (de) * 2021-06-24 2022-12-29 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
CN117980845A (zh) * 2022-03-16 2024-05-03 深圳市大疆创新科技有限公司 无人机的功耗控制方法、装置、系统及存储介质

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0226870U (ko) 1988-08-04 1990-02-21
US7310072B2 (en) * 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
US5978015A (en) 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
JP3478354B2 (ja) 1994-10-20 2003-12-15 ミノルタ株式会社 方位検出機構付ｈｍｄ
JPH08163526A (ja) 1994-11-30 1996-06-21 Canon Inc 映像選択装置
JP3701053B2 (ja) 1995-07-13 2005-09-28 コニカミノルタホールディングス株式会社 映像表示装置
US5905525A (en) 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
JP3632271B2 (ja) 1995-12-28 2005-03-23 富士ゼロックス株式会社 メガネディスプレイ
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JPH1164780A (ja) 1997-08-12 1999-03-05 Olympus Optical Co Ltd 頭部装着型映像表示装置
US6037914A (en) * 1997-08-25 2000-03-14 Hewlett-Packard Company Method and apparatus for augmented reality using a see-through head-mounted display
JPH11249588A (ja) 1998-02-27 1999-09-17 Shimadzu Corp 頭部装着型表示装置
CA2270003A1 (en) 1998-05-01 1999-11-01 Sarwat Ghobranios Video camera with eyeglass interface
JPH11341399A (ja) 1998-05-29 1999-12-10 Sony Corp 眼鏡型画像表示装置
JP2000284214A (ja) 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
JP2001356836A (ja) 2000-06-16 2001-12-26 Toshiba Corp コンピュータシステム、その画面保護の制御方法及び記憶媒体
JP2002044683A (ja) * 2000-07-19 2002-02-08 Yasushi Haruta 立体画像用ビデオカメラおよび立体画像再生装置
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
GB0109720D0 (en) 2001-04-20 2001-06-13 Koninkl Philips Electronics Nv Display apparatus and image encoded for display by such an apparatus
CN1156248C (zh) * 2001-07-13 2004-07-07 清华大学 运动图像的人脸特征检测方法
GB2378075A (en) 2001-07-27 2003-01-29 Hewlett Packard Co Method and apparatus for transmitting images from head mounted imaging device.
JP3893983B2 (ja) 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2003244728A (ja) 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
US7204425B2 (en) 2002-03-18 2007-04-17 Precision Dynamics Corporation Enhanced identification appliance
JP2004023692A (ja) * 2002-06-20 2004-01-22 Hitachi Ltd 撮影装置、撮影制限システム、撮影警告システム、及び撮影制限解除システム
JP3988632B2 (ja) 2002-11-28 2007-10-10 日本電気株式会社 眼鏡型ディスプレイの制御方法
FR2848304A1 (fr) 2002-12-10 2004-06-11 Ingineo Nouveau systeme audiovisuel mobile de gestion d'information
JP4133297B2 (ja) 2002-12-19 2008-08-13 シャープ株式会社 カメラシステム
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
WO2004105383A1 (ja) 2003-05-20 2004-12-02 Matsushita Electric Industrial Co., Ltd. 撮像システム
US7369101B2 (en) * 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
JP3968522B2 (ja) * 2003-10-06 2007-08-29 ソニー株式会社 記録装置、及び記録方法
US8884845B2 (en) * 2003-10-28 2014-11-11 Semiconductor Energy Laboratory Co., Ltd. Display device and telecommunication system
JP4801340B2 (ja) 2003-10-28 2011-10-26 株式会社半導体エネルギー研究所 表示装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP4206036B2 (ja) 2003-12-09 2009-01-07 株式会社ゼンリン 電子地図データを利用した風景画像の撮像位置の特定
JP2005269010A (ja) 2004-03-17 2005-09-29 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
WO2005088970A1 (ja) 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4605152B2 (ja) * 2004-03-12 2011-01-05 株式会社ニコン 画像表示光学系及び画像表示装置
US20090040233A1 (en) * 2004-06-10 2009-02-12 Kakuya Yamamoto Wearable Type Information Presentation Device
JP2006050265A (ja) 2004-08-04 2006-02-16 Sony Corp アンテナモジュール用磁芯部材、アンテナモジュールおよびこれを備えた携帯情報端末
JP2006050285A (ja) 2004-08-05 2006-02-16 Matsushita Electric Ind Co Ltd 携帯端末
JP2006067139A (ja) 2004-08-25 2006-03-09 Matsushita Electric Ind Co Ltd 複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラム
JP4720167B2 (ja) * 2004-12-03 2011-07-13 株式会社ニコン 電子カメラおよびプログラム
JP5040061B2 (ja) 2004-12-15 2012-10-03 コニカミノルタホールディングス株式会社 映像表示装置及び情報提供システム
US20080136916A1 (en) * 2005-01-26 2008-06-12 Robin Quincey Wolff Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
JP2006208687A (ja) 2005-01-27 2006-08-10 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイの映像調節システム
JP2006208867A (ja) 2005-01-31 2006-08-10 Three Bond Co Ltd プロジェクター用液晶パネルの製造方法
US20080122931A1 (en) * 2006-06-17 2008-05-29 Walter Nicholas Simbirski Wireless Sports Training Device
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP4961984B2 (ja) 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190673A1 (ko) * 2014-06-11 2015-12-17 안병영 후방 영상이 나타나는 안경
KR20150142314A (ko) * 2014-06-11 2015-12-22 안병영 후방 영상이 나타나는 안경
KR20150146295A (ko) * 2014-06-23 2015-12-31 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그것의 제어방법
US10559065B2 (en) 2015-03-31 2020-02-11 Sony Corporation Information processing apparatus and information processing method
US11915570B2 (en) 2020-07-16 2024-02-27 Ventec Life Systems, Inc. System and method for concentrating gas
US11931689B2 (en) 2020-07-16 2024-03-19 Ventec Life Systems, Inc. System and method for concentrating gas

Also Published As

Publication number Publication date
CN103399403B (zh) 2016-10-05
EP2081182B1 (en) 2016-03-30
US9846304B2 (en) 2017-12-19
WO2008047889A1 (en) 2008-04-24
US20140152688A1 (en) 2014-06-05
EP2081182A4 (en) 2011-08-24
EP2081182A1 (en) 2009-07-22
JP2008096867A (ja) 2008-04-24
US20180067313A1 (en) 2018-03-08
TW200834536A (en) 2008-08-16
TWI428903B (zh) 2014-03-01
CN103399403A (zh) 2013-11-20
CN101542584A (zh) 2009-09-23
US20100085462A1 (en) 2010-04-08
JP5228307B2 (ja) 2013-07-03
US8681256B2 (en) 2014-03-25
US9182598B2 (en) 2015-11-10
CA2666692C (en) 2018-01-02
US20150268471A1 (en) 2015-09-24
CA2666692A1 (en) 2008-04-24

Similar Documents

Publication Publication Date Title
US9846304B2 (en) Display method and display apparatus in which a part of a screen area is in a through-state
US9772686B2 (en) Imaging display apparatus and method
US10481677B2 (en) Display apparatus and display method
US7855743B2 (en) Image capturing and displaying apparatus and image capturing and displaying method
US9179057B2 (en) Imaging apparatus and imaging method that acquire environment information and information of a scene being recorded
JP5664677B2 (ja) 撮像表示装置、撮像表示方法
JP2013083994A (ja) 表示装置、表示方法
JP5971298B2 (ja) 表示装置、表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150119

Effective date: 20151228