KR20190011126A - Projection display apparatus including eye tracker - Google Patents

Projection display apparatus including eye tracker Download PDF

Info

Publication number
KR20190011126A
KR20190011126A KR1020170093694A KR20170093694A KR20190011126A KR 20190011126 A KR20190011126 A KR 20190011126A KR 1020170093694 A KR1020170093694 A KR 1020170093694A KR 20170093694 A KR20170093694 A KR 20170093694A KR 20190011126 A KR20190011126 A KR 20190011126A
Authority
KR
South Korea
Prior art keywords
image
projector
resolution
area
user
Prior art date
Application number
KR1020170093694A
Other languages
Korean (ko)
Other versions
KR102461253B1 (en
Inventor
정재승
성기영
이홍석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170093694A priority Critical patent/KR102461253B1/en
Priority to US15/883,570 priority patent/US10185212B1/en
Priority to CN201810187203.4A priority patent/CN109302594B/en
Priority to EP18168822.7A priority patent/EP3435661A1/en
Publication of KR20190011126A publication Critical patent/KR20190011126A/en
Application granted granted Critical
Publication of KR102461253B1 publication Critical patent/KR102461253B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/006—Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Disclosed is a projection display apparatus for displaying a high-resolution image at an eye position of a user by tracking eyes of the user with an eye tracker. The projection display apparatus comprises: the eye tracker for tracking the eyes of the user; and a projector projecting an image. The image is projected onto a first region at a first resolution based on the eye position of the user or is projected onto a second region except the first region at a second resolution lower than the first resolution or is not projected.

Description

시선 추적기를 구비하는 투사형 디스플레이 장치 {Projection display apparatus including eye tracker}[0001] The present invention relates to a projection display apparatus including an eye tracker,

개시된 실시예들은 투사형 디스플레이 장치에 관한 것으로, 더욱 상세하게는 시선 추적기로 사용자의 시선을 추적하여 사용자의 시선 위치에 고해상도의 영상을 디스플레이 하는 투사형 디스플레이 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a projection display device, and more particularly, to a projection display device for tracking a user's gaze using a gaze tracker and displaying a high-resolution image at a user's gaze position.

투사형 디스플레이 장치는 비교적 저렴하고 간단한 구조로 대면적 화면을 구현할 수 있다는 장점을 갖고 있어서 다양한 분야에서 이용되고 있다. 예를 들어, 야외 쇼, 디지털 사이니지, 헤드업 디스플레이, 가정용 초소형 프로젝터, 모바일 장치형 프로젝터, 안경형 프로젝터 등과 같은 분야에서 투사형 디스플레이 장치가 응용되고 있다. 특히, 최근에는 안경형 증강현실(augmented reality; AR), 자동차용 헤드업 디스플레이(headup display; HUD) 등에 대한 관심이 증가하면서, 투사형 디스플레이 장치를 더욱 소형화하면서도 영상의 해상도를 증가시키기 위한 연구가 진행되고 있다.The projection type display device has a merit that a large-sized screen can be realized with a relatively inexpensive and simple structure and is used in various fields. For example, projection display devices have been applied in fields such as outdoor shows, digital signage, head-up displays, home micro-projectors, mobile device type projectors, and eyeglass type projectors. In particular, in recent years, as interest in augmented reality (AR), head-up display (HUD) for automobiles, etc. has increased, research for increasing the resolution of the image has been progressed while further reducing the size of the projection- have.

시선 추적기로 사용자의 시선을 추적하여 사용자의 시선 위치에 고해상도의 영상을 디스플레이 하는 투사형 디스플레이 장치를 제공한다.A projection display device for tracking a user's gaze with a gaze tracker and displaying a high-resolution image at a user's gaze position is provided.

일 실시예에 따르면, 사용자의 시선을 추적하는 시선 추적기; 영상을 투사하는 프로젝터; 및 상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 상기 프로젝터의 동작을 제어하는 제어기;를 포함하는 투사형 디스플레이 장치가 제공된다. 상기 투사형 디스플레이 장치에서, 상기 제어기는 사용자의 시선 위치를 중심으로 한 제 1 영역에 제 1 해상도로 영상을 투사하고 제 1 영역을 제외한 나머지 제 2 영역에 제 1 해상도보다 낮은 제 2 해상도로 영상을 투사하거나 또는 영상을 투사하지 않도록 상기 프로젝터를 제어할 수 있다.According to one embodiment, a gaze tracker for tracking a user's gaze; A projector for projecting an image; And a controller for controlling the operation of the projector in response to the gaze position of the user obtained from the gaze tracker. In the projection type display apparatus, the controller projects an image at a first resolution in a first area centered on a user's line of sight, and displays an image in a second area except a first area at a second resolution lower than the first resolution The projector can be controlled so as not to project or project an image.

상기 프로젝터는, 레이저 빔을 방출하는 레이저 광원; 상기 레이저 광원을 구동시키는 광원 구동기; 상기 레이저 빔을 스캐닝하는 스캐너; 및 영상을 투사시키는 투사 광학계;를 포함할 수 있다.The projector includes: a laser light source that emits a laser beam; A light source driver for driving the laser light source; A scanner for scanning the laser beam; And a projection optical system for projecting an image.

예를 들어, 상기 스캐너는 MEMS(Microelectromechanical systems) 스캐너일 수 있다.For example, the scanner may be a microelectromechanical systems (MEMS) scanner.

상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치를 기초로 상기 광원 구동기를 제어할 수 있다.The controller may control the light source driver based on a user's gaze position obtained from the gaze tracker.

예를 들어, 상기 제어기는 제 1 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 증가시켜 화소의 크기가 작아지도록 상기 광원 구동기를 제어할 수 있다.For example, the controller may control the light source driver such that the driving speed of the laser light source is increased while the image is projected to the first area, thereby reducing the size of the pixel.

또한, 상기 제어기는 제 2 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 감소시켜 화소의 크기가 커지도록 상기 광원 구동기를 제어할 수 있다.Also, the controller may control the light source driver such that the driving speed of the laser light source is reduced while the image is projected to the second region, thereby increasing the size of the pixel.

예를 들어, 상기 제 2 영역의 화소 크기는 제 1 영역의 화소의 크기의 정수배일 수 있다.For example, the pixel size of the second area may be an integral multiple of the pixel size of the first area.

또한 상기 투사형 디스플레이 장치는, 촬상 장치; 및 상기 촬상 장치에서 얻은 전기적 신호를 처리하여 영상 데이터를 생성하는 영상 처리기;를 더 포함할 수 있다.The projection display device may further include: an imaging device; And an image processor for processing the electrical signal obtained by the imaging device to generate image data.

예를 들어, 상기 제어기는 제 1 영역에 대응하는 영상이 제 1 해상도를 갖고 제 2 영역에 대응하는 영상이 제 2 해상도를 갖도록 상기 영상 처리기를 제어할 수 있다.For example, the controller may control the image processor such that an image corresponding to the first region has a first resolution and an image corresponding to the second region has a second resolution.

상기 투사형 디스플레이 장치는 상기 영상 데이터를 기초로 실시간으로 영상을 표시할 수 있다.The projection display device can display an image in real time based on the image data.

상기 제어기는 상기 촬상 장치를 제어하여 상기 제 1 영역에 제공할 영상만을 촬영하도록 동작할 수 있다.The controller may be operable to control the imaging device to capture only an image to be provided to the first area.

또한, 상기 프로젝터는, 제 1 해상도를 갖는 영상을 제 1 영역에 투사하는 제 1 프로젝터; 제 2 해상도를 갖는 영상을 제 1 영역과 제 2 영역 모두에 또는 제 2 영역만에 투사하는 제 2 프로젝터; 및 상기 제 1 프로젝터에서 투사되는 영상의 방향을 조절하는 영상 조향 장치;를 포함할 수 있다.The projector may further include: a first projector that projects an image having a first resolution to a first area; A second projector for projecting an image having the second resolution to both the first area and the second area or only to the second area; And an image steering apparatus for adjusting the direction of an image projected from the first projector.

상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 사용자의 시선 위치를 중심으로 한 제 1 영역에 영상이 투사되도록 상기 영상 조향 장치를 제어할 수 있다.The controller may control the image steering apparatus such that an image is projected on a first area centered on the user's gaze position in response to the gaze position of the user obtained from the gaze tracker.

예를 들어, 상기 영상 조향 장치는 영상을 원하는 방향으로 반사하는 갈바노 미러, 투사된 영상을 굴절시켜 진행 방향을 조절하는 굴절 광학계, 또는 상기 제 1 프로젝터의 각도를 조절하는 액추에이터, 리니어 모터 또는 회전형 모터를 포함할 수 있다.For example, the image steering apparatus may include a galvanometer mirror that reflects an image in a desired direction, a refracting optical system that refracts the projected image to adjust a traveling direction, an actuator that adjusts the angle of the first projector, And may include a typical motor.

상기 제어기는 상기 영상 처리기가 상기 제 1 프로젝터에 제공될 제 1 해상도의 제 1 영상 데이터 및 상기 제 2 프로젝터에 제공될 제 2 해상도의 제 2 영상 데이터를 각각 생성하도록 상기 영상 처리기를 제어할 수 있다.The controller can control the image processor to generate the first image data of the first resolution to be provided to the first projector and the second image data of the second resolution to be provided to the second projector respectively by the image processor .

예를 들어, 상기 제 1 및 제 2 프로젝터는 DLP(Digital Light Processing) 방식, LCoS(Liquid Crystal On Silicon) 방식 또는 MEMS(Microelectromechanical systems) 스캐너 방식의 프로젝터를 포함할 수 있다.For example, the first and second projectors may include a DLP (Digital Light Processing) system, a LCoS (liquid crystal on silicon) system, or a MEMS (microelectromechanical systems) scanner type projector.

상기 제어기는 상기 제 1 영상 데이터를 기초로 상기 제 1 프로젝터를 제어하고 상기 제 2 영상 데이터를 기초로 상기 제 2 프로젝터를 제어할 수 있다.The controller can control the first projector based on the first image data and the second projector based on the second image data.

또한, 일 실시예에 따르면 상술한 투사형 디스플레이 장치를 포함하는 헤드업 디스플레이 장치가 제공될 수 있다.According to an embodiment, a head-up display device including the above-described projection display device can be provided.

또한, 다른 실시예에 따르면 상술한 투사형 디스플레이 장치를 포함하는 증강 현실 장치가 제공될 수 있다.According to another embodiment, an augmented reality device including the above-described projection display device can be provided.

개시된 실시예에 따른 투사형 디스플레이 장치는 사용자의 시선을 추적하여 사용자의 시선 위치 부근에만 고해상도 영상을 제공하고 나머지 화면 영역에는 해상도가 낮은 영상을 제공할 수 있다. 따라서 영상을 처리하는 데 있어서 투사형 디스플레이 장치의 효율성이 증가할 수 있어서, 투사형 디스플레이 장치의 영상 처리 속도를 향상시킬 수 있다. 또한, 화면 전체 영역에 대해 고해상도 영상을 구현하는 경우에 비하여 투사형 디스플레이 장치의 크기를 소형화하면서, 사용자에게는 고해상도 영상을 제공하는 것이 가능하다.The projection display device according to the disclosed embodiment can provide a high resolution image only in the vicinity of the user's gaze position by tracking the user's gaze and provide a low resolution image in the remaining screen area. Accordingly, the efficiency of the projection display device in the image processing can be increased, and the image processing speed of the projection display device can be improved. Further, it is possible to provide a high-resolution image to the user while reducing the size of the projection display device, compared with a case of implementing a high-resolution image for the entire screen area.

도 1은 일 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다.
도 2는 도 1에 도시된 투사형 디스플레이 장치의 프로젝터의 구성을 개략적으로 보이는 구성도이다.
도 3은 전체 화면 영역 중에서 사용자의 시선 위치를 고려하여 고해상도 영상 영역을 선택하는 예를 개략적으로 보인다.
도 4는 선택된 고해상도 영역과 나머지 화면 영역에서 일 실시예에 따른 해상도 차이를 예시적으로 보인다.
도 5는 선택된 고해상도 영역과 나머지 화면 영역에서 다른 실시예에 따른 해상도 차이를 예시적으로 보인다.
도 6은 도 1에 도시된 투사형 디스플레이 장치를 포함하는 헤드업 디스플레이 장치의 구성을 예시적으로 보인다.
도 7은 도 1에 도시된 투사형 디스플레이 장치를 포함하는 안경형 증강 현실 장치의 구성을 예시적으로 보인다.
도 8은 다른 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다.
도 9는 도 8에 도시된 투사형 디스플레이 장치의 메인 프로젝터로부터 출사되는 영상을 갈바노 미러를 이용하여 이동시키는 예를 개략적으로 보인다.
도 10은 도 8에 도시된 투사형 디스플레이 장치의 메인 프로젝터로부터 출사되는 영상을 굴절 광학계를 이용하여 이동시키는 예를 개략적으로 보인다.
도 11은 도 8에 도시된 투사형 디스플레이 장치의 메인 프로젝터로부터 출사되는 영상을 액추에이터를 이용하여 이동시키는 예를 개략적으로 보인다.1 is a block diagram schematically illustrating a structure of a projection display apparatus according to an exemplary embodiment of the present invention.
FIG. 2 is a schematic view of the configuration of the projector of the projection display apparatus shown in FIG. 1. FIG.
FIG. 3 schematically shows an example of selecting a high-resolution image area in consideration of a user's line-of-sight position in a full-screen area.
4 illustrates an exemplary resolution difference according to one embodiment in the selected high resolution area and the remaining screen area.
FIG. 5 exemplarily shows the resolution difference according to another embodiment in the selected high resolution area and the remaining screen area.
6 shows an exemplary configuration of a head-up display device including the projection display device shown in Fig.
FIG. 7 exemplarily shows the configuration of a spectacles augmented reality device including the projection display device shown in FIG.
FIG. 8 is a schematic view showing a structure of a projection type display apparatus according to another embodiment.
FIG. 9 schematically shows an example of moving an image emitted from a main projector of the projection display apparatus shown in FIG. 8 by using a galvanometer mirror.
10 schematically shows an example in which an image emitted from a main projector of the projection display device shown in Fig. 8 is moved using a refractive optical system.
11 schematically shows an example in which an image emitted from a main projector of the projection display device shown in Fig. 8 is moved by using an actuator.

이하, 첨부된 도면들을 참조하여, 시선 추적기를 구비하는 투사형 디스플레이 장치에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 또한 이하에서 설명하는 층 구조에서, "상부" 나 "상"이라고 기재된 표현은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.Hereinafter, a projection display device having a gaze tracker will be described in detail with reference to the accompanying drawings. In the following drawings, like reference numerals refer to like elements, and the size of each element in the drawings may be exaggerated for clarity and convenience of explanation. Furthermore, the embodiments described below are merely illustrative, and various modifications are possible from these embodiments. Also, in the layer structures described below, the expressions "top" or "on top"

도 1은 일 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다. 도 1을 참조하면, 일 실시예에 따른 투사형 디스플레이 장치(100)는 사용자의 시선을 추적하는 시선 추적기(110), 영상을 투사하는 프로젝터(120), 및 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 프로젝터(120)의 동작을 제어하는 제어기(130)를 포함할 수 있다. 시선 추적기(110)는 카메라 등을 통해 사용자의 영상을 얻고, 영상 내에서 사용자의 동공을 검출하여 그 위치를 분석할 수 있다. 또한, 시선 추적기(110)는 사용자의 동공 위치 변화를 실시간으로 추적하여 그 결과를 제어기(130)에 제공할 수 있다. 그러면 제어기(130)는 시선 추적기(110)로부터 입력된 사용자의 동공 위치 변화에 응답하여 프로젝터(120)의 동작을 제어할 수 있다.1 is a block diagram schematically illustrating a structure of a projection display apparatus according to an exemplary embodiment of the present invention. 1, the projection display apparatus 100 according to an exemplary embodiment includes a gaze tracker 110 for tracking a user's gaze, a projector 120 for projecting an image, and a user's gaze And a controller 130 for controlling the operation of the projector 120 in response to the position. The gaze tracker 110 may acquire a user's image through a camera or the like, detect pupil of the user in the image, and analyze the position of the user's pupil. In addition, the gaze tracker 110 may track changes in the pupil position of the user in real time and provide the results to the controller 130. The controller 130 may then control the operation of the projector 120 in response to a change in pupil position of the user input from the gaze tracker 110.

또한, 도 2는 도 1에 도시된 투사형 디스플레이 장치(100)의 프로젝터(120)의 예시적인 구성을 개략적으로 보이는 구성도이다. 도 2를 참조하면, 예를 들어, 프로젝터(120)는 레이저 빔을 방출하는 레이저 광원(121), 레이저 광원(121)을 구동시키는 광원 구동기(122), 레이저 빔을 스캐닝하는 스캐너(123), 및 영상을 투사시키는 투사 광학계(124)를 포함할 수 있다. 도 2에는 간단히 도시되었지만 레이저 광원(121)은 예를 들어 적색 레이저, 녹색 레이저 및 청색 레이저를 포함할 수 있다. 광원 구동기(122)는 제어기(130)의 제어에 따라 레이저 광원(121)을 구동시킬 수 있다. 예를 들어, 레이저 광원(121)의 각각의 적색 레이저, 녹색 레이저 및 청색 레이저의 온/오프, 레이저 광원(121)의 적색 레이저, 녹색 레이저 및 청색 레이저에서 각각 방출되는 레이저빔의 출력 세기 등이 광원 구동기(122)에 의해 조절될 수 있다.2 is a schematic view showing an exemplary configuration of the projector 120 of the projection display device 100 shown in FIG. 2, the projector 120 includes a laser light source 121 that emits a laser beam, a light source driver 122 that drives the laser light source 121, a scanner 123 that scans the laser beam, And a projection optical system 124 for projecting an image. 2, the laser light source 121 may include, for example, a red laser, a green laser, and a blue laser. The light source driver 122 may drive the laser light source 121 under the control of the controller 130. For example, on / off of each red laser, green laser and blue laser of the laser light source 121, output intensity of the laser beam emitted respectively from the red laser, green laser and blue laser of the laser light source 121 And can be adjusted by the light source driver 122.

스캐너(123)는 레이저 광원(121)으로부터 방출되는 레이저 빔을 상하 및 좌우 방향으로 스크린 상에 고속으로 스캐닝하는 역할을 한다. 여기서 스크린은 빛을 반사/산란시켜 영상이 보이도록 하는 것으로서, 투사형 디스플레이 장치(100)에 포함되는 전용의 부품일 수도 있지만, 이에 한정되지 않고 예를 들어 단순히 실내의 벽면, 차량의 전면 유리면, 또는 증강현실 안경의 렌즈면일 수도 있다. 이러한 스캐너(123)는 예를 들어 미세한 MEMS(microelectromechanical systems) 미러를 포함하는 MEMS 스캐너일 수 있다. 스캐너(123)는 MEMS 미러의 경사 각도를 전기적으로 제어함으로써 입사 레이저 빔을 원하는 방향으로 반사할 수 있다. 투사 광학계(124)는 스캐너(123)에 의해 스캐닝되는 레이저빔을 스크린 상에 포커싱하여 선명한 영상이 형성되도록 하는 역할을 한다.The scanner 123 serves to scan the laser beam emitted from the laser light source 121 at high speed on the screen in the vertical and horizontal directions. Here, the screen reflects / scatters light so that an image can be seen. The screen may be a dedicated part included in the projection display device 100, but is not limited thereto. For example, the screen may be simply a wall surface of a room, It may be the lens surface of the augmented reality glasses. Such a scanner 123 may be, for example, a MEMS scanner including a microelectromechanical systems (MEMS) mirror. The scanner 123 can reflect the incident laser beam in a desired direction by electrically controlling the inclination angle of the MEMS mirror. The projection optical system 124 focuses the laser beam scanned by the scanner 123 on the screen to form a clear image.

이러한 구조에서, 재생될 영상의 영상 데이터에 따라 제어기(130)가 광원 구동기(122)를 제어하여 광원 구동기(122)가 적색 레이저 빔, 녹색 레이저 빔, 및 청색 레이저 빔을 발생시키고, 각각의 레이저 빔을 스캐너(123)가 스크린 상에 고속으로 스캐닝하면 스크린 상에 영상이 재생될 수 있다. 재생될 영상은 도시되지 않은 데이터 저장 장치(data storage device)에 미리 저장된 것일 수도 있다.In this structure, the controller 130 controls the light source driver 122 according to the image data of the image to be reproduced, so that the light source driver 122 generates the red laser beam, the green laser beam, and the blue laser beam, When the scanner 123 scans the beam at high speed, the image can be reproduced on the screen. The image to be reproduced may be pre-stored in a data storage device (not shown).

그러나, 투사형 디스플레이 장치(100)가, 예를 들어, 헤드업 디스플레이 장치 또는 증강 현실 장치에서 사용되는 경우, 사용자에게 실시간으로 영상 정보를 제공하기 위하여 투사형 디스플레이 장치(100)는 외부의 빛을 수광하여 전기적인 신호를 발생시키는 촬상 장치(140) 및 촬상 장치(140)에서 얻은 전기적인 신호를 처리하여 영상 데이터를 만드는 영상 처리기(150)를 더 포함할 수도 있다. 영상 처리기(150)는 촬상 장치(140)에서 얻은 전기적인 신호를 처리하여 생성한 영상 데이터를 제어기(130)에 제공하고, 제어기(130)는 이러한 영상 데이터에 따라 광원 구동기(122)를 제어함으로써 투사형 디스플레이 장치(100)가 실시간으로 영상을 표시할 수 있다. 영상 처리기(150)는 또한 데이터 저장 장치(미도시)에 저장된 영상 파일을 읽어서 영상 데이터를 생성할 수도 있으며, 또는 미리 저장된 영상 파일로부터 얻은 영상 데이터와 촬상 장치(140)를 통해 얻은 실시간 영상 데이터를 합성하여 새로운 영상 데이터를 생성할 수도 있다.However, when the projection display device 100 is used in, for example, a head-up display device or an augmented reality device, the projection display device 100 receives external light in order to provide the user with real- The image processing apparatus may further include an image processor 150 that processes electrical signals obtained from the image sensing device 140 that generates an electrical signal and the image sensing device 140 to generate image data. The image processor 150 processes the electrical signal obtained from the image sensing device 140 and provides the generated image data to the controller 130. The controller 130 controls the light source driver 122 according to the image data The projection display device 100 can display an image in real time. The image processor 150 may also read image files stored in a data storage device (not shown) to generate image data, or may store image data obtained from a previously stored image file and real-time image data obtained through the image sensing device 140 Thereby generating new image data.

제어기(130)와 영상 처리기(150)는 각각 별도의 반도체 칩으로 구현될 수도 있으며, 또는 제어기(130)와 영상 처리기(150)가 함께 하나의 반도체 칩으로 구현될 수도 있다. 또한, 제어기(130)와 영상 처리기(150)는 하드웨어가 아닌 컴퓨터에서 실행 가능한 소프트웨어의 형태로 구현될 수도 있다.The controller 130 and the image processor 150 may be implemented as separate semiconductor chips or the controller 130 and the image processor 150 may be implemented as a single semiconductor chip. In addition, the controller 130 and the image processor 150 may be implemented in the form of software executable on a computer rather than hardware.

한편, DLP(digital lighting processing) 방식의 프로젝터의 경우에는 마이크로미러 어레이(micromirror Array)의 마이크로미러의 개수에 의해 물리적인 해상도가 결정되고, LCoS(liquid crystal on silicon) 방식의 프로젝터의 경우에는 액정에 의해 물리적인 해상도가 결정되는 반면, MEMS 기술을 이용한 스캐너(123)를 포함하는 프로젝터의 경우에는 해상도가 물리적으로 결정되지 않으며 화소의 크기도 미리 정해져 있지 않다. 예를 들어, 광원 구동기(122), 레이저 광원(121) 및 스캐너(123)의 구동 속도 및 제어기(130)와 영상 처리기(150)의 계산 성능에 의해 투사형 디스플레이 장치(100)의 해상도와 화소 크기가 조절될 수 있다. 현재 상용화된 광원 구동기(122), 레이저 광원(121) 및 스캐너(123)는 HD(high definition) 또는 UHD(ultra high definition) 해상도의 영상을 제공하기에 이미 충분한 구동 속도를 가진 것으로 알려져 있다. 그러나, 전체 화면에 대해 HD 또는 UHD 해상도의 영상을 제공하려면 영상 처리기(150)의 부담이 커지고 부피가 늘어날 수 있다.On the other hand, in the case of a DLP (digital lighting processing) type projector, the physical resolution is determined by the number of micromirrors of a micromirror array. In the case of a liquid crystal on silicon (LCoS) projector, The resolution is not physically determined in the case of the projector including the scanner 123 using the MEMS technology, and the size of the pixel is not predetermined. For example, the resolution of the projection display device 100 and the pixel size of the image display device 150 may vary according to the driving speed of the light source driver 122, the laser light source 121, and the scanner 123 and the calculation performance of the controller 130 and the image processor 150. [ Can be adjusted. It is known that the light source driver 122, the laser light source 121 and the scanner 123 that have been commercialized at present have sufficient driving speeds to provide images of HD (high definition) or UHD (ultra high definition) resolution. However, in order to provide the HD or UHD resolution image for the entire screen, the load on the image processor 150 may increase and the volume may increase.

본 실시예에 따른 투사형 디스플레이 장치(100)는 영상 처리기(150)의 부담을 줄이기 위하여 시선 추적기(110)로부터 입력된 사용자의 동공 위치를 기초로 사용자가 보고자 하는 영역에 집중하여 해상도를 높일 수 있다. 예를 들어, 전체 화면 중에서 사용자가 보고자 하는 영역의 해상도를 의도적으로 증가시키고 나머지 영역의 해상도를 낮춤으로써 영상 처리기(150)의 부담을 줄일 수 있다. 이를 위하여, 제어기(130)는 시선 추적기(110)로부터 입력된 사용자의 동공 위치를 기초로 영상 처리기(150)와 프로젝터(120)의 동작을 제어할 수 있다.The projection display device 100 according to the present embodiment can increase the resolution by concentrating on the area that the user wants to see based on the pupil position of the user input from the gaze tracker 110 in order to reduce the burden on the image processor 150 . For example, it is possible to intentionally increase the resolution of the area to be viewed by the user and to reduce the resolution of the remaining area in the entire screen, thereby reducing the burden on the image processor 150. For this purpose, the controller 130 may control the operation of the image processor 150 and the projector 120 based on the pupil position of the user input from the gaze tracker 110.

예를 들어, 도 3은 전체 화면 영역(R1) 중에서 사용자의 시선 위치를 고려하여 고해상도 영상 영역을 선택하는 예를 개략적으로 보인다. 도 3을 참조하면, 전체 화면 영역(R1)은 투사형 디스플레이 장치(100)가 스크린 상에 표시할 수 있는 일반적인 영상의 전체 크기일 수 있다. 시선 추적기(110)는 사용자의 동공 위치를 감지하여 전체 화면 영역(R1) 상에서 사용자의 시선 위치를 결정하고, 사용자의 시선 위치에 관한 정보를 제어기(130)에 전달할 수 있다. 그러면 제어기(130)는 사용자의 시선 위치를 중심으로 한 일정한 영역을 고해상도 영역(R2)으로 선택할 수 있다. 예컨대, 도 3에 표시된 점(P)이 사용자의 시선 위치라면, 제어기(130)는 점(P)을 중심으로 사람의 눈이 통상적으로 한번에 인지할 수 있는 각도를 고려하여 고해상도 영역(R2)을 선택할 수 있다.For example, FIG. 3 schematically shows an example of selecting a high-resolution image area in consideration of the user's line of sight in the entire screen area R1. Referring to FIG. 3, the full screen area R1 may be the overall size of a general image that the projection display device 100 can display on the screen. The gaze tracker 110 may detect the pupil position of the user and determine the gaze position of the user on the entire screen area R1 and may transmit information on the gaze position of the user to the controller 130. [ Then, the controller 130 can select a fixed area around the user's sight line position as the high resolution area R2. For example, if the point P shown in FIG. 3 is the line-of-sight position of the user, the controller 130 calculates the high-resolution area R2 by considering the angle that the human eye normally perceives at a time around the point P You can choose.

그런 후 제어기(130)는 영상 처리기(150)에 고해상도 영역(R2)의 위치에 관한 정보를 제공하여, 전체 화면 영역(R1) 중에서 고해상도 영역(R2)에 대응하는 영상이 상대적으로 높은 해상도를 갖고 고해상도 영역(R2)을 제외한 나머지 영역(R3)에 대응하는 영상이 상대적으로 낮은 해상도를 갖도록 영상 처리기(150)를 제어할 수 있다. 영상 처리기(150)는 제어기(130)의 제어에 따라 고해상도 영역(R2)에 대해 고해상도로 영상 데이터를 생성하고 나머지 영역(R3)에 대해서는 저해상도로 영상 데이터를 생성할 수 있다. 예를 들어, 영상 처리기(150)는 고해상도 영역(R2)에 대해서는 UHD 또는 FHD(Full HD)의 해상도를 갖는 영상 데이터를 생성하고 나머지 영역(R3)에 대해서는 HD 또는 SD(standard definition)의 해상도를 갖는 영상 데이터를 생성할 수 있다.The controller 130 then provides the image processor 150 with information about the position of the high resolution area R2 so that the image corresponding to the high resolution area R2 of the entire screen area R1 has a relatively high resolution It is possible to control the image processor 150 such that the image corresponding to the remaining region R3 excluding the high-resolution region R2 has a relatively low resolution. The image processor 150 may generate image data at a high resolution with respect to the high resolution area R2 and generate image data at a low resolution with respect to the remaining area R3 under the control of the controller 130. [ For example, the image processor 150 generates image data having a resolution of UHD or FHD (Full HD) for the high resolution area R2 and HD or SD (standard definition) resolution for the remaining area R3 Can be generated.

그러면, 제어기(130)는 영상 처리기(150)로부터 제공된 영상 데이터에 따라 광원 구동기(122)를 제어하여 레이저 광원(121)을 구동시킬 수 있다. 결과적으로, 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치 정보를 기초로 광원 구동기(122)를 제어하여 레이저 광원(121)을 구동시킨다. 레이저 광원(121)은 광원 구동기(122)에 제어에 따라 고해상도 영역(R2)에 영상을 투사하는 동안에는 높은 구동 속도로 동작하여 비교적 작은 크기의 화소를 갖는 영상을 형성하고 나머지 영역(R3)에 영상을 투사하는 동안에는 낮은 구동 속도로 동작하여 비교적 큰 크기의 화소를 갖는 영상을 형성할 수 있다.Then, the controller 130 controls the light source driver 122 according to the image data provided from the image processor 150 to drive the laser light source 121. As a result, the controller 130 controls the light source driver 122 to drive the laser light source 121 based on the user's gaze position information obtained from the gaze tracker 110. The laser light source 121 operates at a high driving speed to form an image having a relatively small size pixel while projecting the image to the high resolution area R2 under the control of the light source driver 122, It is possible to form an image having a relatively large size pixel by operating at a low driving speed.

예를 들어, 도 4는 선택된 고해상도 영역(R2)과 나머지 화면 영역(R3)에서 일 실시예에 따른 해상도 차이를 예시적으로 보인다. 도 4에 도시된 바와 같이, 고해상도 영역(R2)에 대해서는 구동 속도를 증가시켜 영상의 화소를 작게 하고 나머지 영역(R3)에 대해서는 구동 속도를 감소시켜 영상의 화소를 크게 할 수 있다. 도 4에는 예시적으로 나머지 영역(R3)에서 화소의 크기가 고해상도 영역(R2)에서 화소의 크기보다 4배 더 큰 것으로 도시되었다. 이 경우, 영상 처리기(150)는 나머지 영역(R3)에 대응하는 영상에 대해서는 고해상도 영역(R2)에 대응하는 영상에 대비하여 4개 화소에 걸쳐 하나의 영상 데이터만을 만들면 되므로, 영상 처리기(150)의 계산 부담이 줄어들 수 있다.For example, FIG. 4 illustratively illustrates the resolution difference according to one embodiment in the selected high resolution area R2 and the remaining screen area R3. As shown in FIG. 4, for the high-resolution region R2, the driving speed is increased to reduce the pixels of the image, and for the remaining region R3, the driving speed is decreased to enlarge the pixels of the image. In FIG. 4, the size of a pixel in the remaining region R3 is illustrated as being four times larger than the size of a pixel in the high-resolution region R2. In this case, since the image processor 150 generates only one image data over four pixels in comparison with the image corresponding to the high-resolution region R2 with respect to the image corresponding to the remaining region R3, Can be reduced.

또한, 도 5는 선택된 고해상도 영역과 나머지 화면 영역에서 다른 실시예에 따른 해상도 차이를 예시적으로 보인다. 도 5를 참조하면, 고해상도 영역(R2)에 대해서는 해상도를 더욱 높이고 나머지 영역(R3)에 대해서는 해상도를 더욱 낮게 할 수 있다. 예를 들어, 도 4에서보다 고해상도 영역(R2)의 해상도를 2배 높이고 나머지 영역(R3)의 해상도를 2배 낮게 할 수 있다. 이 경우, 사용자에게 더욱 고품질의 화질을 제공할 수 있으며, 대신에 영상 처리기(150)의 계산 부담이 증가하지 않도록 나머지 영역(R3)의 해상도를 낮춘다. 도 5에는 예시적으로 나머지 영역(R3)에서 화소의 크기가 고해상도 영역(R2)에서 화소의 크기보다 16배 더 큰 것으로 도시되었으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 나머지 영역(R3)에서 화소의 크기는 고해상도 영역(R2)에서 화소의 크기의 정수배일 수 있다.In addition, FIG. 5 exemplarily shows the resolution difference according to another embodiment in the selected high resolution area and the remaining screen area. Referring to FIG. 5, it is possible to further increase the resolution for the high-resolution area R2 and further reduce the resolution for the remaining area R3. For example, the resolution of the high-resolution area R2 can be doubled and the resolution of the remaining area R3 can be doubled compared to that of FIG. In this case, it is possible to provide a higher quality image to the user, and instead, the resolution of the remaining area R3 is lowered so that the calculation burden of the image processor 150 is not increased. In FIG. 5, the size of the pixel in the remaining region R3 is shown to be 16 times larger than the size of the pixel in the high-resolution region R2. However, the present invention is not limited thereto. For example, the size of the pixel in the remaining region R3 may be an integral multiple of the size of the pixel in the high-resolution region R2.

한편, 제어기(130)는 사용자의 시선 위치를 중심으로 한 고해상도 영역(R2)에만 고해상도의 영상을 제공하고 나머지 영역에는 영상을 전혀 제공하지 않도록 동작할 수도 있다. 이 경우, 영상 처리기(150)는 고해상도 영역(R2)에 대응하는 영상에 대해서만 영상 데이터를 생성하고 나머지 영역에 대해서는 영상 데이터를 생성하지 않을 수 있다. 또한, 이 경우 제어기(130)는 촬상 장치(140)를 제어하여 고해상도 영역(R2)에 제공할 영상만을 촬영하도록 동작할 수도 있다. 그리고, 레이저 광원(121)은 광원 구동기(122)의 제어에 따라 고해상도 영역(R2)에 영상을 투사하는 동안에만 레이저 빔을 방출하고 나머지 영역에 대해서는 레이저 빔을 방출하지 않을 수도 있다. 만약 사용자의 시선이 전체 화면 영역(R1)으로부터 완전히 벗어나면 투사형 디스플레이 장치(100)는 영상의 투사를 중단할 수도 있다.Meanwhile, the controller 130 may operate so as to provide a high-resolution image only to the high-resolution region R2 centered on the user's gaze position and not provide any image to the remaining region. In this case, the image processor 150 may generate the image data only for the image corresponding to the high-resolution area R2 and not generate the image data for the remaining area. In this case, the controller 130 may also be operable to control the image capturing apparatus 140 to capture only the image to be provided in the high-resolution region R2. The laser light source 121 may emit a laser beam only while projecting an image to the high-resolution region R2 under the control of the light source driver 122, and may not emit a laser beam for the remaining region. If the user's line of sight completely deviates from the full screen area R1, the projection display device 100 may stop projecting the image.

고해상도 영역(R2)의 위치는 사용자의 시선 위치의 변동에 따라 변경될 수 있다. 시선 추적기(110)는 사용자의 동공 위치를 지속적으로 감지하여 사용자의 시선 위치를 결정하고, 사용자의 시선 위치에 관한 정보를 제어기(130)에 실시간으로 전달할 수 있다. 그러면 제어기(130)는 사용자의 시선 위치 변화에 응답하여 고해상도 영역(R2)의 위치를 실시간으로 변경하고, 이를 기초로 영상 처리기(150)와 광원 구동기(122)의 동작을 제어할 수 있다. 그러면 사용자가 전체 화면 영역(R1) 내에서 시선을 옮기더라도 해상도의 변화를 인지하지 못하고 고해상도의 영상을 계속 감상할 수 있다. 이러한 고해상도 영역(R2)의 위치 변경은 사용자의 시선 위치의 변동이 있을 때마다 수시로 이루어질 수도 있다. 대신에, 사람의 눈이 통상적으로 한번에 인지할 수 있는 각도보다 조금 넓게 고해상도 영역(R2)의 크기를 정하면, 사용자의 시선 위치의 미세한 변동에 대해서는 고해상도 영역(R2)의 위치를 바꾸지 않을 수도 있다. 이 경우, 제어기(130)는 사용자의 시선이 일정한 범위를 넘어서 변동될 때에만 고해상도 영역(R2)의 위치를 새로 갱신할 수 있다.The position of the high-resolution area R2 can be changed in accordance with the variation of the line-of-sight position of the user. The gaze tracker 110 may continuously detect the pupil position of the user to determine the gaze position of the user, and may transmit information on the gaze position of the user to the controller 130 in real time. The controller 130 can change the position of the high resolution area R2 in real time in response to the change of the user's gaze position and control the operation of the image processor 150 and the light source driver 122 on the basis of the changed position. Thus, even if the user moves his eyes in the entire screen area R1, he can not recognize the change in the resolution and can continuously enjoy the high-resolution image. The change of the position of the high-resolution region R2 may be performed at any time whenever there is a change in the user's gaze position. Instead, if the size of the high-resolution region R2 is set to be slightly wider than the angle at which the human eye can normally perceive it at a time, the position of the high-resolution region R2 may not be changed with respect to the minute variation of the user's gaze position. In this case, the controller 130 can update the position of the high-resolution area R2 only when the user's gaze is changed beyond a certain range.

상술한 바와 같이, 본 실시예에 따른 투사형 디스플레이 장치(100)는 사용자의 시선을 추적하여 사용자의 시선 위치 부근에만 고해상도 영상을 제공하고 나머지 화면 영역에는 해상도가 낮은 영상을 제공하기 때문에, 영상을 처리하는 데 있어서 투사형 디스플레이 장치(100)의 효율성이 증가할 수 있다. 따라서, 투사형 디스플레이 장치(100)의 영상 처리 속도를 향상시킬 수 있다. 또한, 화면 전체 영역(R1)에 대해 고해상도 영상을 구현하는 경우에 비하여 영상 처리기(150)의 부담이 작아서 투사형 디스플레이 장치(100)의 크기를 소형화하면서도, 사용자에게는 고해상도 영상을 제공하는 것이 가능하다.As described above, the projection display device 100 according to the present embodiment tracks a user's gaze to provide a high-resolution image only in the vicinity of the user's gaze position and provides a low-resolution image in the remaining area of the screen, The efficiency of the projection display device 100 can be increased. Accordingly, the image processing speed of the projection display device 100 can be improved. Also, since the burden of the image processor 150 is small compared to a case of implementing a high-resolution image with respect to the entire screen area R1, it is possible to provide a high-resolution image to the user while reducing the size of the projection display device 100. [

이러한 투사형 디스플레이 장치(100)는 특히 사용자에게 실시간으로 고해상도 영상을 제공할 필요가 있는 분야에 유용하게 적용될 수 있다. 예를 들어, 도 6은 도 1에 도시된 투사형 디스플레이 장치(100)를 포함하는 헤드업 디스플레이 장치(200)의 구성을 예시적으로 보인다. 도 6을 참조하면, 프로젝터(120)는 차량의 전면 미러(210)에 영상을 투사하며 운전자는 차량의 전면 미러(210)로부터 반사된 영상을 감상할 수 있다. 도 6에는 편의상 프로젝터(120)만이 도시되었지만 헤드업 디스플레이 장치(200)는 도 1에 도시된 투사형 디스플레이 장치(100)의 구성을 모두 포함할 수 있다. 헤드업 디스플레이 장치(200)는 예를 들어 차량의 대시보드 내에 장착되어 차량의 상태 정보, 차량의 운전 정보, 네비게이션 정보, 차량의 전방 환경, 또는 차량의 후방 환경 등을 담은 영상을 운전자에게 제공할 수 있다. 다만 시선 추적기(110)는 운전자를 바라 볼 수 있는 차량 실내의 천장 부분에 장착될 수 있다. 시선 추적기(110)는 운전자의 동공 위치를 지속적으로 감시하여 제어기(130)에게 제공할 수 있다. 그러면 제어기(130)는 시선 추적기(110)로부터 입력된 운전자의 동공 위치에 응답하여 운전자의 동공 위치에 고해상도 영상을 제공할 수 있다.Such a projection display device 100 can be particularly useful in fields where it is necessary to provide a high-resolution image to a user in real time. For example, FIG. 6 exemplarily shows the configuration of the head-up display device 200 including the projection display device 100 shown in FIG. Referring to FIG. 6, the projector 120 projects an image to the front mirror 210 of the vehicle, and the driver can appreciate an image reflected from the front mirror 210 of the vehicle. Although only the projector 120 is shown in FIG. 6 for the sake of convenience, the head-up display device 200 may include all the configurations of the projection display device 100 shown in FIG. The head-up display device 200 is mounted in, for example, a dashboard of the vehicle, and provides the driver with the image including the state information of the vehicle, the driving information of the vehicle, the navigation information, the front environment of the vehicle, . However, the gaze tracker 110 may be mounted on a ceiling portion of a vehicle interior where the driver can see the driver. The gaze tracker 110 may continuously monitor the pupil position of the driver and provide it to the controller 130. Then, the controller 130 can provide a high-resolution image to the pupil position of the driver in response to the pupil position of the driver input from the gaze tracker 110.

또한, 도 7은 도 1에 도시된 투사형 디스플레이 장치(100)를 포함하는 안경형 증강 현실 장치(300)의 구성을 예시적으로 보인다. 도 7을 참조하면, 투사형 디스플레이 장치(100)의 프로젝터(120)는 안경형 증강 현실 장치(300)를 사용자의 신체에 착용할 수 있도록 하는 안경 다리(301)에 배치될 수 있다. 프로젝터(120)는 안경 다리(301)에서 안경 렌즈(303)를 향해 배치되어 안경 렌즈(303)에 영상을 투사할 수 있다. 그러면 사용자는 안경 렌즈(303)로부터 반사되는 영상을 감상할 수 있다. 또한, 안경 렌즈(303)를 고정하는 안경테(302)에 시선 추적기(110)가 배치될 수 있다. 시선 추적기(110)는 안경테(302)에서 사용자의 눈을 향해 배치되어 사용자의 동공 위치를 지속적으로 감시할 수 있다. 도 7에는 시선 추적기(110)와 편의상 프로젝터(120)만이 도시되었지만, 안경형 증강 현실 장치(300)는 투사형 디스플레이 장치(100)의 나머지 구성들도 포함할 수 있다.7 shows an exemplary configuration of a spectacles augmented reality device 300 including the projection display device 100 shown in Fig. Referring to FIG. 7, the projector 120 of the projection display device 100 may be disposed on the spectacle frame 301 to allow the spectacles augmented reality device 300 to be worn on the user's body. The projector 120 is disposed toward the spectacle lens 303 from the spectacle leg 301 to project the image to the spectacle lens 303. [ Then, the user can enjoy the image reflected from the spectacle lens 303. [ The eye tracker 110 may be disposed on the spectacle frame 302 for fixing the spectacle lens 303. The gaze tracker 110 is disposed toward the eye of the user in the spectacle frame 302 to continuously monitor the pupil position of the user. Although only the gaze tracker 110 and the projector 120 are shown for convenience in FIG. 7, the spectacles augmented reality device 300 may also include the rest of the configurations of the projection display device 100.

도 8은 다른 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다. 도 8을 참조하면, 투사형 디스플레이 장치(400)는 사용자의 시선을 추적하는 시선 추적기(110), 고해상도 영상을 투사하는 메인 프로젝터(120a), 저해상도 영상을 투사하는 서브 프로젝터(120b), 및 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 메인 프로젝터(120a)와 서브 프로젝터(120b)의 동작을 제어하는 제어기(130)를 포함할 수 있다. 도시되지는 않았지만, 투사형 디스플레이 장치(400)는 도 1에 도시된 촬상 장치(140)와 영상 처리기(150)를 더 포함할 수도 있다.FIG. 8 is a schematic view showing a structure of a projection type display apparatus according to another embodiment. 8, the projection display device 400 includes a gaze tracker 110 for tracking a user's gaze, a main projector 120a for projecting a high-resolution image, a sub projector 120b for projecting a low-resolution image, And a controller 130 for controlling the operation of the main projector 120a and the sub projector 120b in response to the gaze position of the user obtained from the main projector 120a and the sub projector 120b. Although not shown, the projection display device 400 may further include the image sensing device 140 and the image processor 150 shown in FIG.

서브 프로젝터(120b)는 도 3에 도시된 전체 화면 영역(R1)에 대해 상대적으로 낮은 해상도의 영상을 투사하는 역할을 한다. 그리고, 메인 프로젝터(120b)는 사용자의 시선 위치에 따라 결정된 고해상도 영역(R2)에 상대적으로 높은 해상도의 영상을 투사하는 역할을 한다. 이를 위해, 제어기(130)는 영상 처리기(150)가 메인 프로젝터(120a)에 제공될 고해상도의 영상 데이터 및 서브 프로젝터(120b)에 제공될 저해상도의 영상 데이터를 각각 생성하도록 영상 처리기(150)를 제어할 수 있다. 그리고, 제어기(130)는 고해상도의 영상 데이터를 기초로 메인 프로젝터(120a)를 제어하여 고해상도의 영상을 투사하고, 저해상도의 영상 데이터를 기초로 서브 프로젝터(120b)를 제어하여 저해상도의 영상을 투사할 수 있다.The sub projector 120b serves to project a relatively low resolution image to the entire screen area R1 shown in FIG. The main projector 120b serves to project a relatively high resolution image to the high resolution area R2 determined according to the user's line of sight. To this end, the controller 130 controls the image processor 150 so that the image processor 150 generates high-resolution image data to be provided to the main projector 120a and low-resolution image data to be provided to the sub-projector 120b, respectively can do. The controller 130 controls the main projector 120a based on the high-resolution image data to project the high-resolution image, and controls the sub projector 120b based on the low-resolution image data to project the low-resolution image .

메인 프로젝터(120b)와 서브 프로젝터(120b)의 영상 투사 범위와 해상도가 고정되기 때문에, 메인 프로젝터(120b)와 서브 프로젝터(120b)로서 반드시 MEMS 스캐너 방식의 프로젝터만을 사용할 필요가 없으며, DLP 방식 또는 LCoS 방식의 프로젝터도 사용할 수 있다. 이 경우, 서브 프로젝터(120b)로는 투사 범위가 상대적으로 넓고 해상도가 상대적으로 낮은 프로젝터가 선택되며, 메인 프로젝터(120a)로는 투사 범위가 상대적으로 좁고 해상도가 상대적으로 높은 프로젝터가 선택될 수 있다. 예를 들어, 메인 프로젝터(120a)로는 UHD 또는 FHD의 해상도를 갖는 프로젝터가 선택되고 서브 프로젝터(120b)로는 HD 또는 SD의 해상도를 갖는 프로젝터가 선택될 수 있다. 그리고, 서브 프로젝터(120b)로부터 투사되는 영상 내의 일부가 메인 프로젝터(120a)로부터 투사되는 영상과 중첩되기 때문에, 서브 프로젝터(120b)는 상대적으로 휘도가 낮고 메인 프로젝터(120a)는 상대적으로 휘도가 높도록 조정될 수 있다.It is not necessary to use only the MEMS scanner type projector as the main projector 120b and the sub projector 120b since the image projection range and the resolution of the main projector 120b and the sub projector 120b are fixed. Projector can also be used. In this case, as the sub projector 120b, a projector having a relatively wide projection range and a relatively low resolution is selected, and a projector having a relatively narrow projection range and a relatively high resolution can be selected as the main projector 120a. For example, a projector having a resolution of UHD or FHD may be selected as the main projector 120a, and a projector having a resolution of HD or SD may be selected as the sub projector 120b. Since a part of the image projected from the sub projector 120b overlaps with the image projected from the main projector 120a, the sub projector 120b has a relatively low luminance and the main projector 120a has a relatively high luminance .

제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 사용자의 시선 위치를 중심으로 한 고해상도 영역(R2)에 영상이 투사되도록 메인 프로젝터(120a)를 제어할 수 있다. 이를 위해, 투사형 디스플레이 장치(400)는 메인 프로젝터(120a)로부터 투사되는 영상의 방향을 조절하는 영상 조향 장치를 더 포함할 수 있다. 그러면 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 영상 조향 장치를 제어할 수 있다. 영상 조향 장치는, 예를 들어, 영상을 원하는 방향으로 반사하는 갈바노 미러, 영상을 굴절시켜 진행 방향을 조절하는 굴절 광학계, 또는 메인 프로젝터(120a) 자체의 경사 각도를 조절하는 액추에이터를 포함할 수 있다.The controller 130 can control the main projector 120a so that the image is projected in the high resolution area R2 centered on the user's gaze position in response to the gaze position of the user obtained from the gaze tracker 110. [ To this end, the projection display device 400 may further include an image steering device for adjusting the direction of an image projected from the main projector 120a. The controller 130 may then control the image steering device in response to the user's gaze position obtained from the gaze tracker 110. The image steering apparatus may include, for example, a galvanometer mirror that reflects the image in a desired direction, a refracting optical system that refracts the image to adjust the traveling direction, or an actuator that adjusts the tilt angle of the main projector 120a itself have.

예를 들어, 도 9는 도 8에 도시된 투사형 디스플레이 장치(400)의 메인 프로젝터(120a)로부터 출사되는 영상을 갈바노 미러(126)를 이용하여 이동시키는 예를 개략적으로 보인다. 도 9를 참조하면, 영상 조향 장치로서 갈바노 미러(126)가 사용되는 경우, 갈바노 미러(126)는 메인 프로젝터(120a)의 전면에 배치되어 메인 프로젝터(120a)로부터 투사되는 영상을 반사할 수 있다. 그러면 갈바노 미러(126)의 경사 각도에 따라 영상이 투사되는 위치가 조절될 수 있다. 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 갈바노 미러(126)의 경사 각도를 수직 방향과 수평 방향으로 2축 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.For example, FIG. 9 schematically shows an example in which an image emitted from the main projector 120a of the projection display device 400 shown in FIG. 8 is moved using a galvanometer mirror 126. FIG. 9, when a galvanometer mirror 126 is used as an image steering apparatus, the galvanometer mirror 126 is disposed on the front surface of the main projector 120a and reflects an image projected from the main projector 120a . The position at which the image is projected can be adjusted according to the tilt angle of the galvanometer mirror 126. The controller 130 adjusts the tilt angle of the galvanometer mirror 126 in two directions in the vertical direction and the horizontal direction in response to the user's gaze position obtained from the gaze tracker 110 to thereby obtain a high resolution area centered on the user's gaze position R2 to be projected.

또한, 도 10은 투사형 디스플레이 장치(400)의 메인 프로젝터(120a)로부터 출사되는 영상을 굴절 광학계(127)를 이용하여 이동시키는 예를 개략적으로 보인다. 도 10을 참조하면, 영상 조향 장치로서 굴절 광학계(127)가 사용되는 경우, 굴절 광학계(127)는 메인 프로젝터(120a)의 전면에 배치되어 메인 프로젝터(120a)로부터 투사되는 영상을 굴절시킬 수 있다. 예를 들어, 굴절 광학계(127)는 위치에 따라 굴절력이 상이한 다수의 굴절면을 가질 수 있다. 예컨대, 굴절 광학계(127)는 경사각이 상이한 다수의 프리즘들의 2차원 어레이를 포함할 수 있다. 그러면 굴절 광학계(127)에 영상이 입사하는 위치에 따라 굴절 광학계(127)를 투과한 영상이 서로 다른 방향으로 진행할 수 있다. 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 굴절 광학계(127)의 위치를 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.10 schematically shows an example in which an image emitted from the main projector 120a of the projection display device 400 is moved by using the refraction optical system 127. FIG. 10, when the refractive optical system 127 is used as an image steering apparatus, the refractive optical system 127 is disposed on the front surface of the main projector 120a and can refract an image projected from the main projector 120a . For example, the refracting optical system 127 may have a plurality of refracting surfaces having different refractive powers depending on positions. For example, the refracting optical system 127 may include a two-dimensional array of a plurality of prisms having different inclination angles. The images transmitted through the refractive optical system 127 may travel in different directions depending on the position at which the image is incident on the refractive optical system 127. The controller 130 controls the position of the refracting optical system 127 in response to the user's gaze position obtained from the gaze tracker 110 so that the image is projected to the high resolution area R2 centered on the user's gaze position have.

대신에, 굴절 광학계(127)는 굴절률이 전기적으로 변화하는 굴절률 변화층을 가질 수도 있다. 그러면, 굴절 광학계(127)의 굴절률에 따라 굴절 광학계(127)를 투과한 영상이 서로 다른 방향으로 진행할 수 있다. 이 경우, 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 굴절 광학계(127)의 굴절률을 전기적으로 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.Instead, the refractive optical system 127 may have a refractive index-varying layer whose refractive index changes electrically. Then, according to the refractive index of the refractive optical system 127, the image transmitted through the refractive optical system 127 can travel in different directions. In this case, the controller 130 electrically adjusts the refractive index of the refractive optical system 127 in response to the gaze position of the user obtained from the gaze tracker 110, so that the image is displayed on the high-resolution area R2 centered on the user's gaze position So that it can be controlled to be projected.

또한, 도 11은 투사형 디스플레이 장치(400)의 메인 프로젝터(120a)로부터 출사되는 영상을 액추에이터(128)를 이용하여 이동시키는 예를 개략적으로 보인다. 도 11을 참조하면, 메인 프로젝터(120a)는 액추에이터(128)에 고정되어 있으며, 액추에이터(128)에 의해 메인 프로젝터(120a)의 경사각이 수직 방향과 수평 방향으로 2축 조절될 수 있다. 따라서, 메인 프로젝터(120a) 자체의 경사각을 조절함으로써 프로젝터(120a)로부터 투사되는 영상의 방향을 조절할 수 있다. 액추에이터(128) 대신에, 예를 들어, 리니어 모터나 회전형 모터를 사용하여 동일한 효과를 얻을 수도 있다. 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 액추에이터(128)를 구동시켜 메인 프로젝터(120a)의 경사각을 전기적으로 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.11 schematically shows an example in which an image outputted from the main projector 120a of the projection display device 400 is moved by using an actuator 128. In FIG. Referring to FIG. 11, the main projector 120a is fixed to the actuator 128, and the inclination angle of the main projector 120a can be biaxially adjusted by the actuator 128 in the vertical direction and the horizontal direction. Therefore, the direction of the image projected from the projector 120a can be adjusted by adjusting the inclination angle of the main projector 120a itself. Instead of the actuator 128, for example, a linear motor or a rotary motor may be used to obtain the same effect. The controller 130 drives the actuator 128 in response to the user's gaze position obtained from the gaze tracker 110 to electrically adjust the tilt angle of the main projector 120a so that a high resolution area R2 To be projected.

상술한 바와 같이, 메인 프로젝터(120a)와 서브 프로젝터(120b)를 함께 사용하면, 서브 프로젝터(120b)는 고정된 전체 화면 영역(R1)에 저해상도의 영상을 투사하고 메인 프로젝터(120a)는 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 고해상도의 영상을 투사할 수 있다. 따라서, 전체 화면 영역(R1)에 고해상도의 영상을 투사하는 경우에 비하여, 프로젝터의 전체적인 비용을 줄일 수 있고 영상 처리기(150)의 계산 부담을 감소시킬 수 있다.As described above, when the main projector 120a and the sub projector 120b are used together, the sub projector 120b projects a low-resolution image in the fixed full screen area R1, and the main projector 120a projects the low- A high-resolution image can be projected in the high-resolution region R2 centered on the line-of-sight position. Therefore, the overall cost of the projector can be reduced, and the computational burden on the image processor 150 can be reduced, as compared with the case of projecting a high-resolution image in the full screen area R1.

한편, 고해상도 영역(R2)에서는 메인 프로젝터(120a)로부터 투사된 고해상도 영상과 서브 프로젝터(120b)로부터 투사된 저해상도 영상이 중첩될 수도 있지만, 고해상도 영역(R2)에 대해서는 서브 프로젝터(120b)가 영상을 투사하지 않을 수도 있다. 예를 들어, 제어기(130)의 제어에 따라 사용자의 시선 위치에 응답하여 서브 프로젝터(120b)는 고해상도 영역(R2)에 대해 부분적으로 검은 색으로 처리된 영상을 투사할 수 있다. 이를 위해, 영상 처리기(150)는 제어기(130)의 제어에 따라 고해상도 영역(R2)만이 검은 색을 갖도록 처리된 영상 데이터를 생성하여 서브 프로젝터(120b)에 제공할 수 있다.On the other hand, in the high-resolution region R2, the high-resolution image projected from the main projector 120a and the low-resolution image projected from the sub projector 120b may overlap. However, for the high resolution region R2, It may not project. For example, the sub-projector 120b can project an image partially processed in black for the high-resolution region R2 in response to the user's gaze position under the control of the controller 130. [ To this end, the image processor 150 may generate the processed image data so that only the high-resolution area R2 is black according to the control of the controller 130, and provide the generated image data to the sub projector 120b.

상술한 시선 추적기를 구비하는 투사형 디스플레이 장치는 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Although the projection display device having the gaze tracker described above has been described with reference to the embodiments shown in the drawings, the present invention is merely illustrative, and various modifications and equivalent embodiments can be made by those skilled in the art. I will understand that. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100, 400.....투사형 디스플레이 장치 110.....시선 추적기
120, 120a, 120b.....프로젝터 121.....광원
122.....광원 구동기 123.....스캐너
124.....투사 광학계 126.....갈바노 미러
127.....굴절 광학계 128.....액추에이터
130.....제어기 140.....촬상 장치
150.....영상 처리기 210.....전면 유리
200.....헤드업 디스플레이 장치 300.....안경형 증강 현실 장치100, 400 ..... projection type display device 110 ..... eye tracker
120, 120a, 120b ..... projector 121 ..... light source
122 ..... Light source driver 123 ..... Scanner
124 ..... Projection optical system 126 ..... Galvano mirror
127 ..... refractive optical system 128 ..... actuator
130 ..... controller 140 ..... image pickup device
150 ..... image processor 210 ..... front glass
200 ..... Head-up display device 300 ..... A-frame augmented reality device

Claims (20)

사용자의 시선을 추적하는 시선 추적기;
영상을 투사하는 프로젝터; 및
상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 상기 프로젝터의 동작을 제어하는 제어기;를 포함하며,
상기 제어기는 사용자의 시선 위치를 중심으로 한 제 1 영역에 제 1 해상도로 영상을 투사하고 제 1 영역을 제외한 나머지 제 2 영역에 제 1 해상도보다 낮은 제 2 해상도로 영상을 투사하거나 또는 영상을 투사하지 않도록 상기 프로젝터를 제어하는 투사형 디스플레이 장치.A gaze tracker for tracking a user's gaze;
A projector for projecting an image; And
And a controller for controlling the operation of the projector in response to the gaze position of the user obtained from the gaze tracker,
The controller projects an image at a first resolution in a first area around a user's sight line position and projects an image at a second resolution lower than the first resolution in a second area other than the first area, Wherein the control unit controls the projector so that the projector is not operated. 제 1 항에 있어서,
상기 프로젝터는:
레이저 빔을 방출하는 레이저 광원;
상기 레이저 광원을 구동시키는 광원 구동기;
상기 레이저 빔을 스캐닝하는 스캐너; 및
영상을 투사시키는 투사 광학계;를 포함하는 투사형 디스플레이 장치.The method according to claim 1,
The projector includes:
A laser light source emitting a laser beam;
A light source driver for driving the laser light source;
A scanner for scanning the laser beam; And
And a projection optical system for projecting an image. 제 2 항에 있어서,
상기 스캐너는 MEMS(Microelectromechanical systems) 스캐너인 투사형 디스플레이 장치.3. The method of claim 2,
Wherein the scanner is a MEMS (Microelectromechanical systems) scanner. 제 2 항에 있어서,
상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치를 기초로 상기 광원 구동기를 제어하는 투사형 디스플레이 장치.3. The method of claim 2,
Wherein the controller controls the light source driver based on a sight line position of the user obtained from the gaze tracker. 제 3 항에 있어서,
상기 제어기는 제 1 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 증가시켜 화소의 크기가 작아지도록 상기 광원 구동기를 제어하는 투사형 디스플레이 장치.The method of claim 3,
Wherein the controller controls the light source driver such that the driving speed of the laser light source is increased while the image is projected to the first area to reduce the size of the pixel. 제 3 항에 있어서,
상기 제어기는 제 2 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 감소시켜 화소의 크기가 커지도록 상기 광원 구동기를 제어하는 투사형 디스플레이 장치.The method of claim 3,
Wherein the controller controls the light source driver such that the driving speed of the laser light source is reduced while the image is projected in the second area to increase the size of the pixel. 제 6 항에 있어서,
상기 제 2 영역의 화소 크기는 제 1 영역의 화소의 크기의 정수배인 투사형 디스플레이 장치.The method according to claim 6,
Wherein a pixel size of the second area is an integral multiple of a size of a pixel of the first area. 제 1 항에 있어서,
촬상 장치; 및
상기 촬상 장치에서 얻은 전기적 신호를 처리하여 영상 데이터를 생성하는 영상 처리기;를 더 포함하는 투사형 디스플레이 장치.The method according to claim 1,
An image pickup device; And
And an image processor for processing the electrical signals obtained by the imaging device to generate image data. 제 8 항에 있어서,
상기 제어기는 제 1 영역에 대응하는 영상이 제 1 해상도를 갖고 제 2 영역에 대응하는 영상이 제 2 해상도를 갖도록 상기 영상 처리기를 제어하는 투사형 디스플레이 장치.9. The method of claim 8,
Wherein the controller controls the image processor so that an image corresponding to the first area has a first resolution and an image corresponding to the second area has a second resolution. 제 8 항에 있어서,
상기 투사형 디스플레이 장치는 상기 영상 데이터를 기초로 실시간으로 영상을 표시하는 투사형 디스플레이 장치.9. The method of claim 8,
Wherein the projection display device displays an image in real time based on the image data. 제 8 항에 있어서,
상기 제어기는 상기 촬상 장치를 제어하여 상기 제 1 영역에 제공할 영상만을 촬영하도록 하는 투사형 디스플레이 장치.9. The method of claim 8,
Wherein the controller controls the imaging device to capture only an image to be provided to the first area. 제 1 항에 있어서,
상기 프로젝터는:
제 1 해상도를 갖는 영상을 제 1 영역에 투사하는 제 1 프로젝터;
제 2 해상도를 갖는 영상을 제 1 영역과 제 2 영역 모두에 또는 제 2 영역만에 투사하는 제 2 프로젝터; 및
상기 제 1 프로젝터에서 투사되는 영상의 방향을 조절하는 영상 조향 장치;를 포함하는 투사형 디스플레이 장치.The method according to claim 1,
The projector includes:
A first projector for projecting an image having a first resolution onto a first area;
A second projector for projecting an image having the second resolution to both the first area and the second area or only to the second area; And
And an image steering device for adjusting a direction of an image projected from the first projector. 제 12 항에 있어서,
상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 사용자의 시선 위치를 중심으로 한 제 1 영역에 영상이 투사되도록 상기 영상 조향 장치를 제어하는 투사형 디스플레이 장치.13. The method of claim 12,
Wherein the controller controls the image steering apparatus such that an image is projected in a first region centered on a user's gaze position in response to a gaze position of the user obtained from the gaze tracker. 제 12 항에 있어서,
상기 영상 조향 장치는 영상을 원하는 방향으로 반사하는 갈바노 미러, 투사된 영상을 굴절시켜 진행 방향을 조절하는 굴절 광학계, 또는 상기 제 1 프로젝터의 각도를 조절하는 액추에이터, 리니어 모터 또는 회전형 모터를 포함하는 투사형 디스플레이 장치.13. The method of claim 12,
The image steering apparatus includes a galvanometer mirror that reflects an image in a desired direction, a refracting optical system that refracts the projected image to adjust a traveling direction, or an actuator, a linear motor, or a rotation type motor that adjusts the angle of the first projector . 제 12 항에 있어서,
촬상 장치; 및
상기 촬상 장치에서 얻은 전기적 신호를 처리하여 영상 데이터를 생성하는 영상 처리기;를 더 포함하는 투사형 디스플레이 장치.13. The method of claim 12,
An image pickup device; And
And an image processor for processing the electrical signals obtained by the imaging device to generate image data. 제 15 항에 있어서,
상기 제어기는 상기 영상 처리기가 상기 제 1 프로젝터에 제공될 제 1 해상도의 제 1 영상 데이터 및 상기 제 2 프로젝터에 제공될 제 2 해상도의 제 2 영상 데이터를 각각 생성하도록 상기 영상 처리기를 제어하는 투사형 디스플레이 장치.16. The method of claim 15,
The controller controls the image processor to generate the first image data of the first resolution to be provided to the first projector and the second image data of the second resolution to be provided to the second projector, respectively, Device. 제 16 항에 있어서,
상기 제 1 및 제 2 프로젝터는 DLP(Digital Light Processing) 방식, LCoS(Liquid Crystal On Silicon) 방식 또는 MEMS(Microelectromechanical systems) 스캐너 방식의 프로젝터를 포함하는 투사형 디스플레이 장치.17. The method of claim 16,
Wherein the first and second projectors include a projector of DLP (Digital Light Processing), LCoS (liquid crystal on silicon), or MEMS (Microelectromechanical systems) scanner type. 제 17 항에 있어서,
상기 제어기는 상기 제 1 영상 데이터를 기초로 상기 제 1 프로젝터를 제어하고 상기 제 2 영상 데이터를 기초로 상기 제 2 프로젝터를 제어하는 투사형 디스플레이 장치.18. The method of claim 17,
Wherein the controller controls the first projector based on the first image data and controls the second projector based on the second image data. 제 1 항 내지 제 18 항 중 어느 한 항에 따른 투사형 디스플레이 장치를 포함하는 헤드업 디스플레이 장치.A head-up display device comprising the projection display device according to any one of claims 1 to 18. 제 1 항 내지 제 18 항 중 어느 한 항에 따른 투사형 디스플레이 장치를 포함하는 증강 현실 장치.An augmented reality device comprising the projection display device according to any one of claims 1 to 18.
KR1020170093694A 2017-07-24 2017-07-24 Projection display apparatus including eye tracker KR102461253B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170093694A KR102461253B1 (en) 2017-07-24 2017-07-24 Projection display apparatus including eye tracker
US15/883,570 US10185212B1 (en) 2017-07-24 2018-01-30 Projection display apparatus including eye tracker
CN201810187203.4A CN109302594B (en) 2017-07-24 2018-03-07 Projection display device comprising an eye tracker
EP18168822.7A EP3435661A1 (en) 2017-07-24 2018-04-23 Projection display apparatus including eye tracker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170093694A KR102461253B1 (en) 2017-07-24 2017-07-24 Projection display apparatus including eye tracker

Publications (2)

Publication Number Publication Date
KR20190011126A true KR20190011126A (en) 2019-02-01
KR102461253B1 KR102461253B1 (en) 2022-10-31

Family

ID=62152302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170093694A KR102461253B1 (en) 2017-07-24 2017-07-24 Projection display apparatus including eye tracker

Country Status (4)

Country Link
US (1) US10185212B1 (en)
EP (1) EP3435661A1 (en)
KR (1) KR102461253B1 (en)
CN (1) CN109302594B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071545A1 (en) * 2022-09-29 2024-04-04 한국기계연구원 Display having non-uniform pixel density, manufacturing method therefor, and head-mounted display device comprising display

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10895741B2 (en) * 2017-10-03 2021-01-19 Industrial Technology Research Institute Ultra-wide head-up display system and display method thereof
CN107809641B (en) * 2017-11-13 2020-04-24 北京京东方光电科技有限公司 Image data transmission method, processing method, image processing device and display device
WO2020016813A1 (en) * 2018-07-17 2020-01-23 Gentex Corporation Rear vision projected display for a vehicle
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
US20200285055A1 (en) * 2019-03-08 2020-09-10 Varjo Technologies Oy Direct retina projection apparatus and method
CN109815939A (en) * 2019-03-01 2019-05-28 北京当红齐天国际文化发展集团有限公司 Projection display system and method based on human eye tracking
CN111556305B (en) 2020-05-20 2022-04-15 京东方科技集团股份有限公司 Image processing method, VR device, terminal, display system and computer-readable storage medium
CN112804504B (en) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 Image quality adjusting method, image quality adjusting device, projector and computer readable storage medium
CN114120787A (en) * 2021-11-23 2022-03-01 中国航空工业集团公司洛阳电光设备研究所 Device for indoor experience of vehicle-mounted AR-HUD simulator

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9711114B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4634384A (en) 1984-02-02 1987-01-06 General Electric Company Head and/or eye tracked optically blended display system
GB2259213A (en) 1991-08-29 1993-03-03 British Aerospace Variable resolution view-tracking display
JPH0777665A (en) 1993-03-29 1995-03-20 Canon Inc Image display device and image photographing device for the same
EP1978417A2 (en) 1996-12-06 2008-10-08 Nippon Telegraph And Telephone Corporation Method and system for producing computer generated holograms realizing time holographic video production and display
JP2004056335A (en) 2002-07-18 2004-02-19 Sony Corp Information processing apparatus and method, display apparatus and method, and program
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US20050140930A1 (en) 2003-12-31 2005-06-30 Symbol Technologies, Inc. Color laser projection display
JP2008018015A (en) * 2006-07-12 2008-01-31 Toshiba Corp Medical display unit and system
DE102007018266A1 (en) * 2007-04-10 2008-10-16 Seereal Technologies S.A. Holographic projection system with optical waveguide tracking and means for correcting the holographic reconstruction
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
JP2016536635A (en) * 2013-10-15 2016-11-24 キャストエイアール インコーポレイテッドＣａｓｔａｒ，Ｉｎｃ． System and method for reconfigurable projection augmented reality / virtual reality appliance
CN106464861B (en) * 2013-11-25 2018-05-25 特塞兰德有限责任公司 The compact display glasses of immersion
KR102651578B1 (en) * 2013-11-27 2024-03-25 매직 립, 인코포레이티드 Virtual and augmented reality systems and methods
CN104102349B (en) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 Content share method and device
US10284839B2 (en) * 2015-01-21 2019-05-07 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information display method therefor
JP2016191845A (en) 2015-03-31 2016-11-10 ソニー株式会社 Information processor, information processing method and program
IL241033B (en) * 2015-09-02 2021-12-01 Eyeway Vision Ltd Eye projection device and method
IL242895B (en) 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9711114B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071545A1 (en) * 2022-09-29 2024-04-04 한국기계연구원 Display having non-uniform pixel density, manufacturing method therefor, and head-mounted display device comprising display

Also Published As

Publication number Publication date
CN109302594B (en) 2022-07-08
US20190025685A1 (en) 2019-01-24
KR102461253B1 (en) 2022-10-31
CN109302594A (en) 2019-02-01
EP3435661A1 (en) 2019-01-30
US10185212B1 (en) 2019-01-22

Similar Documents

Publication Publication Date Title
US10185212B1 (en) Projection display apparatus including eye tracker
US20210124177A1 (en) Dynamic field of view variable focus display system
US10417975B2 (en) Wide field of view scanning display
JP4856758B2 (en) Devices using integrated and integrated photonics modules
JP5767705B2 (en) Head-up display
US20180284441A1 (en) Wide field head mounted display
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
JP2010139575A (en) See-through type head-mounted display device
US11953688B1 (en) High-resolution liquid crystal displays
US20200092523A1 (en) Display apparatus and method of displaying using light source and beam scanning arrangement
US10602132B2 (en) Display apparatus and method of displaying using light source and controllable scanning mirror
US20200285055A1 (en) Direct retina projection apparatus and method
KR20180050811A (en) Head up display apparatus for vehicle and method for controlling thereof
US11774737B2 (en) Folded-beam, low-obliquity beam scanner
JP2020501424A (en) Imaging system and method for creating context image and focus image
JP5163166B2 (en) Image display device
US11025871B1 (en) Driving scanning projector display with pulses shorter than pixel duration
US11495194B1 (en) Display apparatuses and methods incorporating pattern conversion
CN115280217B (en) Display device
KR20210070799A (en) Apparatus for display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant