KR20210112655A - Apparatus and method for displaying pseudo hologram having beam projector - Google Patents

Apparatus and method for displaying pseudo hologram having beam projector Download PDF

Info

Publication number
KR20210112655A
KR20210112655A KR1020200027927A KR20200027927A KR20210112655A KR 20210112655 A KR20210112655 A KR 20210112655A KR 1020200027927 A KR1020200027927 A KR 1020200027927A KR 20200027927 A KR20200027927 A KR 20200027927A KR 20210112655 A KR20210112655 A KR 20210112655A
Authority
KR
South Korea
Prior art keywords
display device
user
beam projector
mirror module
image
Prior art date
Application number
KR1020200027927A
Other languages
Korean (ko)
Inventor
장정우
차승용
김덕일
김경예
송대원
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020200027927A priority Critical patent/KR20210112655A/en
Publication of KR20210112655A publication Critical patent/KR20210112655A/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

The present invention relates to a pseudo hologram display apparatus having a beam projector and a method thereof. The pseudo hologram display apparatus includes a plate; a two-dimensional display device installed on the plate to display a two-dimensional image; a half-mirror module installed on the plate to reflect and transmit a two-dimensional image displayed on a two-dimensional display device; a beam projector for displaying additional information necessary for a two-dimensional image on the half-mirror module; and a control unit for driving and controlling the two-dimensional display device and the beam projector. According to the present invention, when displaying the pseudo hologram, it is possible to provide a more immersive experience by showing additional information to the user without simply outputting the display screen as it is. In addition, it is possible to provide an interactive experience to the user in displaying the similar hologram, and the user can control the reproduction of the content in a simple way, thereby increasing utility in various fields such as smart learning and games in the future.

Description

빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치 및 방법{Apparatus and method for displaying pseudo hologram having beam projector}Apparatus and method for displaying pseudo hologram having beam projector

본 발명은 홀로그램 디스플레이에 관한 것으로서, 특히 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치 및 방법에 관한 것이다.The present invention relates to a holographic display, and more particularly, to a similar holographic display apparatus and method having a beam projector.

홀로그램(hologram)이란, 두 개의 광선이 서로 만나 일으키는 빛의 간섭 현상을 이용하여, 입체감이 있는 이미지를 재현하거나 매체에 기록하는 기술을 말한다. 홀로그램의 산업적 이용은 지폐나 기밀 서류의 위조 방지 등의 분야에서 처음 시작되었지만, 최근에는 회의, 공연, 게임, 가상 현실(virtual reality), 증강 현실(augmented reality) 등 다양한 응용 분야에서 입체 영상을 구현하기 위한 기술로서 널리 연구되고 있다.A hologram refers to a technology that reproduces a three-dimensional image or records it on a medium by using the interference phenomenon of light caused by the meeting of two light rays. The industrial use of holograms first started in the field of preventing counterfeiting of banknotes or confidential documents, but in recent years, stereoscopic images have been implemented in various applications such as conferences, performances, games, virtual reality, and augmented reality. It is widely studied as a technique for

최근에는 홀로그램과 유사하게 공간상의 특정 위치에 이미지를 구현하기 위한, 이른바 "유사 홀로그램(pseudo hologram)" 기술이 고안된 바 있다. 이에 의하면, 광원에서 출력되는 영상을 반투명 유리 또는 이와 유사한 재질을 사용하는 반사판을 이용하여 반사시킴으로써, 허공에 영상이 떠 있는 것과 같은 효과를 사용자에게 제공할 수 있다.Recently, a so-called "pseudo hologram" technique for implementing an image at a specific location in space similar to a hologram has been devised. According to this, by reflecting the image output from the light source using a reflector using a translucent glass or similar material, it is possible to provide the user with an effect such as an image floating in the air.

또한 유사 홀로그램 방식을 이용한 컨텐츠 표시 장치가 각광을 받고 있으며, 이러한 장치는 광고 및 전시 분야에서 엔터테인먼트 분야까지 점차 그 가능성을 넓혀가고 있다. 유사 홀로그램 장치는 반투명 유리 또는 이와 유사한 재질을 사용하는 반사판을 이용하여 LCD 패널의 영상을 반사시켜 표시하는 장치로서, 허공에 영상이 떠 있는 것과 같은 착시 효과를 사용자에게 제공한다. In addition, a content display device using a pseudo hologram method is in the spotlight, and such a device is gradually expanding its possibilities from advertisement and exhibition fields to entertainment fields. A pseudo hologram device is a device that reflects and displays an image of an LCD panel using a reflector using a translucent glass or similar material, and provides a user with an optical illusion effect as if an image is floating in the air.

도 1은 기존 기술에 의한 유사 홀로그램 영상 생성 장치를 도시한 도면이다. 도 1의 영상 생성 장치(10)에 의하면, DLP(digital light processing) 프로젝터와 같은 광원(11)에 의해 방사된 광선으로 이루어진 영상이 광원(11) 근처의 반사경(12)과 바닥에 설치된 반사판(13)에 순차적으로 반사되고, 마지막으로는 반투명 반사판(14)에 반사되어 관찰자(30)에게 보이게 된다.1 is a diagram illustrating an apparatus for generating a pseudo hologram image according to the prior art. According to the image generating apparatus 10 of FIG. 1, an image composed of light rays emitted by a light source 11 such as a digital light processing (DLP) projector is displayed with a reflector 12 near the light source 11 and a reflector installed on the floor ( 13), and finally reflected by the translucent reflector 14 to be seen by the observer 30.

이 때, 관찰자(30)가 보게 되는 상은, 지면에 대하여 비스듬히 설치된 반투명 반사판(14)에 상기 영상이 반사되어 생긴 허상이다. 상기 허상은 무대 뒷벽(15) 앞에 서 있는 진행자(20) 근처에 있는 것처럼 관찰자(30)에게 보이게 되며, 이에 따라 진행자(20)는 관찰자(30)가 보게 되는 허상에 대해 실제 물체처럼 만지거나 가리키는 동작을 행할 수 있다. 즉, 상기 영상 생성 장치(10)에 의하면 진행자(20)의 바로 옆 공간에 허상, 즉 유사 홀로그램 영상을 형성함으로써, 특정 물체가 해당 공간에 떠 있는 것과 같은 효과를 낼 수 있다.At this time, the image that the observer 30 sees is a virtual image generated by reflecting the image on the translucent reflector 14 installed obliquely with respect to the ground. The virtual image is seen by the observer 30 as if it were near the presenter 20 standing in front of the back wall 15 of the stage, and accordingly, the presenter 20 touches or points like a real object to the virtual image that the observer 30 sees. action can be performed. That is, according to the image generating device 10 , a virtual image, that is, a pseudo holographic image, is formed in the space immediately adjacent to the presenter 20 , thereby producing an effect as if a specific object is floating in the space.

하지만 상기 영상 생성 장치(10)에 의하면, 하나의 광원(11)으로 하나의 특정 위치에만 유사 홀로그램 영상을 형성할 수 있기 때문에, 입체감의 표현에 한계가 있다.However, according to the image generating apparatus 10 , since a pseudo holographic image can be formed only at one specific location with one light source 11 , there is a limit to the expression of a three-dimensional effect.

그리고 도 2는 종래의 스마트폰을 활용하는 소형화된 반사장치로서, 유사홀로그램 시스템이 동작하는 모습을 나타낸다. 모듈 프레임(210)의 상부면(212)에 단말(100)을 위치시키면, 단말(100)의 화면에서 재생되는 소정 컨텐츠(232)가 반사판(230)을 통해 V 방향으로 표시된다. 즉, 사용자는 단말(100)을 모듈 프레임(210)의 상부에 거치시켜 놓은 상태에서 V 방향으로 표시되는 소정 컨텐츠(232)를 시청할 수 있다. 하지만, 도 2에 따른 스마트폰을 활용하는 소형화된 반사장치는 단순히 스마트폰의 화면을 그대로 반사판으로 출력하기 때문에 사용자와 장치 간의 교감이 제한된다. 일종의 디스플레이 장치의 역할만 수행하고 있다. 사용자의 경험을 향상시킬 수 있는 유사 홀로그램 장치의 개발이 요구된다.And FIG. 2 is a miniaturized reflective device using a conventional smart phone, and shows the operation of the pseudo-hologram system. When the terminal 100 is positioned on the upper surface 212 of the module frame 210 , the predetermined content 232 reproduced on the screen of the terminal 100 is displayed in the V direction through the reflector 230 . That is, the user can view the predetermined content 232 displayed in the V direction while the terminal 100 is mounted on the module frame 210 . However, since the miniaturized reflective device using a smartphone according to FIG. 2 simply outputs the screen of the smartphone as a reflective plate, communication between the user and the device is limited. It is only performing the role of a kind of display device. There is a need to develop a similar hologram device capable of improving the user's experience.

등록특허공보 제10-1597628, 2016.02.19)Registered Patent Publication No. 10-1597628, 2016.02.19)

본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결하기 위해 창출된 것으로서, 디스플레이 모듈 앞에 부가 정보를 표시할 수 있는 프로젝터를 설치하고 사용자의 눈을 추적하여 입체감 있는 영상이 인식되게 함으로써 사용자의 경험을 향상시킬 수 있는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치 및 방법을 제공하는 것이다.The problem to be solved by the present invention is created to solve the problems of the prior art, and by installing a projector capable of displaying additional information in front of a display module and tracking the user's eyes to recognize a three-dimensional image, the user's experience is improved. It is to provide a similar hologram display apparatus and method having a beam projector, which can be improved.

상기 기술적 과제를 이루기 위한 본 발명의 일측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치는, 플레이트; 상기 플레이트에 설치되고, 2차원 영상을 디스플레이하는 2차원 디스플레이장치; 상기 플레이트에 설치되고, 상기 2차원 디스플레이장치에 디스플레이되는 2차원 영상을 반사 및 투과하는 하프미러 모듈; 상기 2차원 영상에 필요한 부가정보를 상기 하프미러모듈에 표시하는 빔 프로젝터; 및 상기 2차원 디스플레이 장치 및 상기 빔 프로젝터를 구동 및 제어하는 제어부를 포함한다.A similar hologram display device having a beam projector according to an aspect of the present invention for achieving the above technical problem is a plate; a two-dimensional display device installed on the plate and configured to display a two-dimensional image; a half-mirror module installed on the plate to reflect and transmit a two-dimensional image displayed on the two-dimensional display device; a beam projector that displays additional information necessary for the two-dimensional image on the half-mirror module; and a controller for driving and controlling the two-dimensional display device and the beam projector.

본 발명의 일측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치는, 상기 플레이트를 회전시키는 회전부; 상기 하프미러 모듈을 보는 사용자의 눈을 검출하여 사용자의 눈이 카메라 시야각(Field of View)의 중앙에 위치 하도록 사용자의 시선을 추적하는 시선추적기를 더 포함하고, 상기 제어부는 상기 시선추적기의 시선추적정보를 이용하여 상기 회전부를 제어하여 상기 플레이트를 회전시키는 것을 특징으로 한다. 상기 제어부는 사용자의 손이나 제스처에 대응하는 제어명령에 따라 상기 2차원 디스플레이장치에서 재생되는 영상이 제어 및 구동될 수 있다. 상기 2차원 디스플레이장치는 스마트 폰, PDA, 테블릿 PC 중 어느 하나일 수 있다. 상기 2차원 디스플레이장치에 의해 디스플레이되는 콘텐츠는 정지 영상, 동영상, 게임 및 교육 영상 중 어느 하나이다.A similar hologram display device having a beam projector according to an aspect of the present invention includes: a rotating unit for rotating the plate; Further comprising an eye tracker that detects the user's eyes looking at the half-mirror module and tracks the user's eye so that the user's eye is located at the center of the camera field of view, wherein the control unit is configured to track the eye of the eye tracker It is characterized in that the plate is rotated by controlling the rotating part using the information. The controller may control and drive the image reproduced on the two-dimensional display device according to a control command corresponding to a user's hand or gesture. The two-dimensional display device may be any one of a smart phone, a PDA, and a tablet PC. The content displayed by the two-dimensional display device is any one of a still image, a moving image, a game, and an educational image.

상기 기술적 과제를 이루기 위한 본 발명의 다른 측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치는, 2차원 영상을 디스플레이하는 2차원 디스플레이장치; 상기 2차원 디스플레이장치에 디스플레이되는 2차원 영상을 반사 및 투과하는 하프미러 모듈; 상기 2차원 영상에 필요한 부가정보를 상기 하프미러에 표시하는 빔 프로젝터; 사용자의 음성명령을 인식하는 음성인식부; 상기 인식된 음성명령에 따라 부가정보를 생성하는 부가정보 생성부; 상기 생성된 부가정보와, 상기 2차원 디스플레이장치로 디스플레이되는 영상이 상기 하프미러 모듈에 합성되어 나타나도록 동기화하는 동기화부; 상기 동기화된 영상은 상기 2차원 디스플레이 장치에 디스플레이 되게 하고, 상기 동기화된 부가정보는 빔 프로젝터를 통해 상기 하프미러 모듈에 디스플레이되게 하는 동기화 영상 제어부를 포함한다.According to another aspect of the present invention for achieving the above technical problem, there is provided a similar hologram display device having a beam projector, comprising: a two-dimensional display device for displaying a two-dimensional image; a half-mirror module that reflects and transmits the two-dimensional image displayed on the two-dimensional display device; a beam projector that displays additional information necessary for the two-dimensional image on the half mirror; a voice recognition unit for recognizing a user's voice command; an additional information generator for generating additional information according to the recognized voice command; a synchronization unit for synchronizing the generated additional information and the image displayed on the two-dimensional display device to be synthesized and displayed on the half-mirror module; The synchronized image is displayed on the two-dimensional display device, and the synchronized additional information is displayed on the half-mirror module through a beam projector.

상기 본 발명의 다른 측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치는, 상기 2차원 디스플레이 장치와 상기 하프미러 모듈이 장착된 플레이트; 상기 플레이트를 회전시키는 회전부; 상기 하프미러 모듈을 보는 사용자의 눈을 검출하여 사용자의 눈이 카메라 시야각(Field of View)의 중앙에 위치 하도록 사용자의 시선을 추적하는 시선추적기를 더 포함하고, 상기 동기화 영상 제어부는 상기 시선추적기의 시선추적정보를 이용하여 상기 회전부를 제어하여 상기 플레이트를 회전시키는 것을 특징으로 한다. A similar hologram display device having a beam projector according to another aspect of the present invention includes: a plate on which the two-dimensional display device and the half-mirror module are mounted; a rotating part for rotating the plate; Further comprising an eye tracker that detects the user's eye looking at the half-mirror module and tracks the user's eye so that the user's eye is located in the center of the camera field of view, and the synchronized image control unit is the eye tracker. It characterized in that the plate is rotated by controlling the rotation unit using the eye tracking information.

상기 기술적 과제를 이루기 위한 본 발명의 일측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법은, 소정의 컨텐츠를 실행하여 2차원 디스플레이 장치에 영상을 디스플레이하는 단계; 상기 2차원 디스플레이 장치에 표시되는 영상을 하프미러 모듈에 반사 및 투과하는 단계; 및 빔 프로젝터에서 출력되는 부가정보를 상기 하프미러 모듈에 디스플레이 하는 단계를 포함한다.According to an aspect of the present invention, there is provided a similar hologram display method with a beam projector, comprising: executing predetermined content and displaying an image on a two-dimensional display device; reflecting and transmitting the image displayed on the two-dimensional display device to a half-mirror module; and displaying the additional information output from the beam projector on the half-mirror module.

본 발명의 일측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법은, 시선추적기(Eye Tracker)가 상기 하프미러 모듈을 보는 사용자의 눈을 검출하는 단계; 상기 사용자의 눈이 시선추적 카메라의 시야각(Field of View) 중앙에 위치하도록 사용자의 시선을 추적하는 단계; 및 상기 사용자의 시선추적 정보를 이용하여 상기 2차원 디스플레이 장치와 상기 하프미러 모듈이 설치된 플레이트를 회전하는 단계를 더 포함한다. A similar hologram display method having a beam projector according to an aspect of the present invention comprises the steps of: detecting, by an eye tracker, a user's eyes looking at the half-mirror module; tracking the user's gaze so that the user's eye is located in the center of a field of view of the eye tracking camera; and rotating the plate on which the two-dimensional display apparatus and the half-mirror module are installed using the user's eye tracking information.

상기 기술적 과제를 이루기 위한 본 발명의 다른 측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법은, 2차원 디스플레이장치와 상기 2차원 디스플레이 장치에 디스플레이되는 영상을 반사 및 투과하는 하프미러 모듈를 구비하는 홀로그램 디스플레이 장치를 이용한 유사 홀로그램 디스플레이 방법에 있어서, 음성인식부를 통해 사용자의 음성명령을 인식하여 상기 음성명령에 따른 부가정보를 생성하는 단계; 동기화부를 통해 상기 생성된 부가정보와, 상기 2차원 디스플레이장치로 디스플레이되는 영상이 상기 하프미러 모듈에 합성되어 나타나도록 동기화 하는 단계; 상기 동기화된 영상을 상기 2차원 디스플레이 장치에 디스플레이하는 단계; 및 상기 동기화된 부가정보를 빔 프로젝터를 통해 상기 하프미러 모듈에 디스플레이하는 단계를 포함한다.A similar hologram display method with a beam projector according to another aspect of the present invention for achieving the above technical object is a hologram display including a two-dimensional display device and a half-mirror module that reflects and transmits an image displayed on the two-dimensional display device. A similar hologram display method using an apparatus, comprising: recognizing a user's voice command through a voice recognition unit and generating additional information according to the voice command; synchronizing the generated additional information and the image displayed on the two-dimensional display device through a synchronization unit to be synthesized and appear on the half-mirror module; displaying the synchronized image on the two-dimensional display device; and displaying the synchronized additional information on the half-mirror module through a beam projector.

본 발명의 다른 측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법은, 음성인식부를 통해 사용자의 시간제어 명령을 인식하는 단계; 및 상기 인식된 시간제어 명령에 따라 상기 빔프로젝터를 통한 부가정보 출력 및 상기 2차원 디스플레이장치를 통해 디스플레이 되는 콘텐츠의 재생을 제어하는 단계를 더 포함하는 것을 특징으로 한다. 본 발명의 다른 측면에 의한 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법은, 시선추적기(Eye Tracker)가 상기 하프미러 모듈을 보는 사용자의 눈을 검출하는 단계; 상기 사용자의 눈이 시선추적 카메라의 시야각(Field of View) 중앙에 위치하도록 사용자의 시선을 추적하는 단계; 및 상기 사용자의 시선추적 정보를 이용하여 상기 디스플레이 장치와 상기 하프미러 모듈이 설치된 플레이트를 회전하는 단계를 더 포함할 수 있다.A similar hologram display method having a beam projector according to another aspect of the present invention comprises: recognizing a user's time control command through a voice recognition unit; and controlling output of additional information through the beam projector and reproduction of content displayed through the two-dimensional display device according to the recognized time control command. A similar hologram display method having a beam projector according to another aspect of the present invention comprises the steps of: detecting, by an eye tracker, a user's eyes looking at the half-mirror module; tracking the user's gaze so that the user's eye is located in the center of a field of view of the eye tracking camera; and rotating the plate on which the display device and the half-mirror module are installed by using the user's eye tracking information.

본 발명에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치 및 방법에 의하면, 유사 홀로그램을 표시함에 있어서 단순히 디스플레이 화면을 그대로 출력하는 하지 않고 사용자에게 부가 정보를 보여줌으로써 더 몰입감 있는 경험을 제공할 수 있다.According to the apparatus and method for displaying a pseudo hologram having a beam projector according to the present invention, it is possible to provide a more immersive experience by showing additional information to the user without simply outputting the display screen as it is when displaying the pseudo hologram.

그리고 본 발명에 의하면, 유사 홀로그램을 표시함에 있어서 사용자에게 인터랙티브한 경험을 제공할 수 있으며, 사용자가 간단한 방법으로 컨텐츠의 재생을 제어할 수 있어 향후 스마트러닝, 게임 등의 다양한 분야에서 그 활용성을 높일 수 있다.And, according to the present invention, it is possible to provide an interactive experience to the user in displaying the pseudo hologram, and the user can control the reproduction of the content in a simple way, so that its utility can be improved in various fields such as smart learning and games in the future. can be raised

도 1은 종래 기술에 의한 유사 홀로그램 영상 생성 장치를 도시한 도면이다.
도 2는 유사홀로그램 시스템이 동작하는 모습을 나타내는 종래의 스마트폰을 활용하는 소형화된 반사장치이다.
도 3은 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치의 구성을 블록도와 함께 나타낸 것이다.
도 4는 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치에서 시선추적에 따른 회전원판의 회전과 합성된 영상데이터의 하프미러를 통한 출력을 나타낸 것이다.
도 5은 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치에서 시선추적에 따른 FoV 이동을 나타낸 것이다.
도 6은 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치에서 시선추적기를 통해 검출된 눈이 FoV의 중앙에 위치하도록 디스플레이 장치가 회전하는 것을 나타낸 것이다.
도 7은 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법을 흐름도로 나타낸 것이다.
도 8은 본 발명의 제2실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치의 구성을 블록도와 함께 나타낸 것이다.
도 9는 본 발명의 제2실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법을 흐름도로 나타낸 것이다.1 is a diagram illustrating an apparatus for generating a pseudo hologram image according to the related art.
2 is a miniaturized reflective device using a conventional smart phone showing how the pseudo-hologram system operates.
3 is a block diagram showing the configuration of a similar hologram display device having a beam projector according to the first embodiment of the present invention.
4 shows the rotation of the rotating disk according to eye tracking and the output through the half-mirror of the synthesized image data in the similar hologram display device having the beam projector according to the first embodiment of the present invention.
5 is a diagram illustrating FoV movement according to eye tracking in a similar hologram display device having a beam projector according to the first embodiment of the present invention.
6 is a diagram illustrating the rotation of the display device so that the eye detected through the eye tracker is positioned at the center of the FoV in the similar hologram display device having the beam projector according to the first embodiment of the present invention.
7 is a flowchart illustrating a similar hologram display method having a beam projector according to a first embodiment of the present invention.
8 is a block diagram showing the configuration of a similar hologram display device having a beam projector according to a second embodiment of the present invention.
9 is a flowchart illustrating a similar hologram display method having a beam projector according to a second embodiment of the present invention.

이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration shown in the embodiments and drawings described in this specification is only a preferred embodiment of the present invention, and does not represent all the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be variations and variations.

도 3은 본 발명의 제1실시예에 따른 프로젝터를 구비한 유사 홀로그램 디스플레이 장치의 구성을 블록도와 함께 나타낸 것이다. 본 발명의 제1실시예에 따른 프로젝터를 구비한 유사 홀로그램 디스플레이 장치는, 플레이트(310), 2차원 디스플레이장치(320), 하프미러모듈(330), 빔 프로젝터(340) 및 제어부(350)을 포함하여 이루어지고, 회전부(360) 및 시선추적기(370)을 더 구비할 수 있다.3 is a block diagram showing the configuration of a similar hologram display device having a projector according to the first embodiment of the present invention. A similar hologram display device having a projector according to the first embodiment of the present invention includes a plate 310 , a two-dimensional display device 320 , a half mirror module 330 , a beam projector 340 , and a control unit 350 . It is made to include, and may further include a rotating unit 360 and an eye tracker 370 .

플레이트(310)은 2차원 디스플레이장치(320) 및 하프미러모듈(330)이 장착되며, 회전부(360)에 의해 회전가능하다. 플레이트(310)은 회전원판으로 구현될 수 있다.The plate 310 is mounted with the two-dimensional display device 320 and the half-mirror module 330 and is rotatable by the rotating unit 360 . The plate 310 may be implemented as a rotating disk.

2차원 디스플레이장치(320)는 플레이트(310)에 설치되고, 2차원 영상을 디스플레이하며, 스마트 폰, PDA, 테블릿 PC 중 어느 하나가 될 수 있다. 그리고 2차원 디스플레이장치(320)에 의해 디스플레이되는 콘텐츠는 정지 영상, 동영상, 게임 및 교육 영상 중 어느 하나가 될 수 있다.The two-dimensional display device 320 is installed on the plate 310, displays a two-dimensional image, and may be any one of a smart phone, a PDA, and a tablet PC. In addition, the content displayed by the two-dimensional display device 320 may be any one of a still image, a moving image, a game, and an educational image.

하프미러모듈(330)은 플레이트(310)에 설치되고, 2차원 디스플레이장치(320)에 디스플레이되는 2차원 영상을 반사 및 투과한다.The half-mirror module 330 is installed on the plate 310 and reflects and transmits a two-dimensional image displayed on the two-dimensional display device 320 .

빔 프로젝터(340)는 2차원 영상에 필요한 부가정보를 하프미러모듈(330)에 표시한다. 상기 부가정보는 2차원 디스플레이장치(320)에 디스플레이되는 2차원 영상을 설명하는 것일 수도 있고, 2차원 디스플레이장치(320)에 디스플레이되는 2차원 영상과 동기화된 메시지, 이미지 등 2차원 디스플레이장치(320)에 디스플레이되는 2차원 영상과 관련된 콘텐츠로서, 사용자에게 몰입감을 더하고 인터랙티브(interactive)한 경험을 제공할 수 있는 정보가 될 수 있다.The beam projector 340 displays additional information necessary for the two-dimensional image on the half-mirror module 330 . The additional information may describe a two-dimensional image displayed on the two-dimensional display apparatus 320, or the two-dimensional display apparatus 320 such as a message or an image synchronized with the two-dimensional image displayed on the two-dimensional display apparatus 320 ) as content related to a two-dimensional image displayed on the screen, it may be information that can add a sense of immersion to the user and provide an interactive experience.

제어부(350)는 2차원 디스플레이 장치(320) 및 빔 프로젝터(340)를 구동 및 제어하며, 시선추적기(370)의 시선추적정보를 이용하여 회전부(360)를 제어하여 플레이트(회전원판, 310)를 회전시킨다. 제어부(350)는 영상데이터를 통해 인식되는 사용자의 손이나 제스처에 대응하는 제어명령에 따라 2차원 디스플레이장치(320)에서 재생되는 영상이 제어 및 구동될 수도 있다.The control unit 350 drives and controls the two-dimensional display device 320 and the beam projector 340, and controls the rotation unit 360 using the eye tracking information of the eye tracker 370 to control the plate (rotating disk, 310). rotate the The controller 350 may control and drive the image reproduced on the two-dimensional display device 320 according to a control command corresponding to the user's hand or gesture recognized through the image data.

회전부(360)은 플레이트(310)를 회전시키며, 다양한 방법을 이용하여 플레이트를 회전시킬 수 있으며, 예를 들어 자성을 이용하여 회전시키거나 바퀴를 통한 기계식 방식으로 플레이트(310)을 회전시킬 수 있다.The rotating unit 360 rotates the plate 310 and may rotate the plate using various methods, for example, may rotate the plate 310 using magnetism or rotate the plate 310 in a mechanical manner through wheels. .

시선추적기(370, eye tracker)는 하프미러 모듈(330)을 보는 사용자의 눈을 검출하여 사용자의 눈이 카메라 시야각(Field of View)의 중앙에 위치 하도록 사용자의 시선을 추적한다. 예를 들어, 시선 추적은 고화질 카메라를 사용하여 눈에 빛을 투사하고 각막에서 반사되는 방향을 기록한 후 알고리즘을 사용하여 안구의 위치를 계산하고 초점이 맞춰진 위치를 판단함으로써 이루어질 수 있다.The eye tracker 370 (eye tracker) detects the user's eyes looking at the half-mirror module 330 and tracks the user's gaze so that the user's eyes are located in the center of the camera field of view. For example, eye tracking can be achieved by projecting light into the eye using a high-definition camera, recording the direction it is reflected from the cornea, and then using an algorithm to calculate the position of the eyeball and determine where it is in focus.

도 4는 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치에서 시선추적에 따른 회전원판(310)의 회전과 합성된 영상데이터의 하프미러모듈(330)를 통한 출력을 나타낸 것이다. 도 4를 참조하면, 하프미러모듈(330)을 보는 사용자의 안구(410)가 카메라 기반의 시선추적기(370)를 통해 검출되면, 회전원판(310)이 회전되고, 합성된 영상데이터가 하프미러모듈(330)에 디스플레이된다.4 shows the rotation of the rotating disc 310 according to eye tracking and the output through the half-mirror module 330 of the synthesized image data in a similar hologram display device having a beam projector according to the first embodiment of the present invention. will be. Referring to FIG. 4 , when the user's eyeball 410 looking at the half-mirror module 330 is detected through the camera-based eye tracker 370, the rotating disk 310 is rotated, and the synthesized image data is the half-mirror. displayed on the module 330 .

도 5은 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치에서 시선추적에 따른 FoV 이동을 나타낸 것이다. 도 5를 참조하면, 사람 눈의 Field of View(FoV)는 약 124도로 제한되어 있기 때문에 시야 범위 안에 없는 물체는 안구를 이동시키지 않은 이상 거의 보이지 않는다. 도 5의 (a)를 참조하면, 사람 눈이 하프미러모듈(330) 정면에 위치하지 않을 때, 제한된 FoV(510)로 인해 전체 영상을 보지 못할 수 있다. 하지만 하프미러 모듈(330)의 하프미러를 사람 눈이 있는 방향으로 회전시킨다면, 도 5의 (b)와 같이 사람은 하프미러 모듈(330)을 통해 전체 영상을 볼 수 있다. 5 is a diagram illustrating FoV movement according to eye tracking in a similar hologram display device having a beam projector according to the first embodiment of the present invention. Referring to FIG. 5 , since the field of view (FoV) of the human eye is limited to about 124 degrees, an object that is not within the field of view is hardly visible unless the eyeball is moved. Referring to FIG. 5A , when the human eye is not positioned in front of the half-mirror module 330 , the entire image may not be viewed due to the limited FoV 510 . However, the half-mirror of the half-mirror module 330 is If it is rotated in the direction of the human eye, the human can see the entire image through the half-mirror module 330 as shown in FIG. 5B .

도 6은 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치에서 시선추적기를 통해 검출된 눈이 FoV의 중앙에 위치하도록 디스플레이 장치가 회전하는 것을 나타낸 것이다. 도 6을 참조하면, 시선추적기(370) 를 통해 장치가 회전하는 과정을 보여준다. 먼저 도 6의 (a)는 시선추적기(370)가 눈(410)을 검출한 후, 아이 트래커(370)의 FoV(610)에서 어느 위치에 해당하는지 찾는다. 검출한 눈(410)이 FoV(620)의 중앙에 위치할 수 있도록 도 6의 (b)와 같이 아이 트래커(370)를 회전한다. 이때 회전부(360)는 자성을 이용하는 방식, 바퀴를 통한 기계식 방식 등 여러 가지 방법으로 구현될 수 있다.6 is a diagram illustrating the rotation of the display device so that the eye detected through the eye tracker is positioned at the center of the FoV in the similar hologram display device having the beam projector according to the first embodiment of the present invention. Referring to FIG. 6 , a process of rotating the device through the eye tracker 370 is shown. First, in (a) of FIG. 6 , after the eye tracker 370 detects the eye 410 , a position corresponding to the FoV 610 of the eye tracker 370 is found. The eye tracker 370 is rotated as shown in FIG. 6(b) so that the detected eye 410 can be located in the center of the FoV 620 . In this case, the rotating unit 360 may be implemented in various ways, such as a method using magnetism, a mechanical method through a wheel, and the like.

도 7은 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법을 흐름도로 나타낸 것이다. 도 3 및 도 7을 참조하여 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법을 설명하기로 한다. 7 is a flowchart illustrating a similar hologram display method having a beam projector according to a first embodiment of the present invention. A similar hologram display method with a beam projector according to a first embodiment of the present invention will be described with reference to FIGS. 3 and 7 .

먼저, 소정의 컨텐츠를 실행하여 2차원 디스플레이 장치(320)에 영상을 디스플레이한다.(S710 단계) 2차원 디스플레이 장치(320)에 표시되는 영상을 하프미러 모듈(330)에 반사 및 투과한다.(S720 단계) 빔 프로젝터(340)에서 출력되는 부가정보를 하프미러 모듈(330)에 디스플레이한다.(S730 단계)First, a predetermined content is executed to display an image on the two-dimensional display device 320 (step S710). The image displayed on the two-dimensional display device 320 is reflected and transmitted to the half mirror module 330 (step S710). Step S720) The additional information output from the beam projector 340 is displayed on the half mirror module 330. (Step S730)

그리고 본 발명의 제1실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법은 시선추적기를 통해 시선을 추적하며 유사 홀로그램을 디스플레이 할 수 있다. 예를 들어, 시선추적기(Eye Tracker, 370)가 하프미러 모듈(330)을 보는 사용자의 눈을 검출한 후(S740 단계), 상기 사용자의 눈이 시선추적 카메라의 시야각(Field of View) 중앙에 위치하도록 사용자의 시선을 추적한다.(S750 단계) 상기 사용자의 시선추적 정보를 이용하여 2차원 디스플레이 장치(320)와 하프미러 모듈(330)이 설치된 플레이트(310)를 회전한다.(S760 단계)And the pseudo hologram display method having a beam projector according to the first embodiment of the present invention can display the pseudo hologram while tracking the gaze through the eye tracker. For example, after the eye tracker 370 detects the user's eye looking at the half mirror module 330 (step S740), the user's eye is located in the center of the field of view of the eye tracking camera. The user's gaze is tracked so as to be positioned. (Step S750) The plate 310 on which the two-dimensional display device 320 and the half-mirror module 330 are installed is rotated using the user's gaze tracking information. (Step S760)

도 8은 본 발명의 제2실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치의 구성을 블록도와 함께 나타낸 것이다.8 is a block diagram showing the configuration of a similar hologram display device having a beam projector according to a second embodiment of the present invention.

본 발명의 제2실시예에 따른 프로젝터를 구비한 유사 홀로그램 디스플레이 장치는, 2차원 디스플레이장치(820), 하프미러모듈(830), 빔 프로젝터(840), 음성인식부(880), 부가정보 생성부(885), 동기화부(890) 및 동기화 영상 제어부(850)을 포함하여 이루어지고, 플레이트(810), 회전부(860) 및 시선추적기(870)을 더 구비할 수 있다.A similar hologram display device having a projector according to the second embodiment of the present invention includes a two-dimensional display device 820 , a half mirror module 830 , a beam projector 840 , a voice recognition unit 880 , and additional information generation. A unit 885 , a synchronization unit 890 , and a synchronization image control unit 850 are included, and a plate 810 , a rotation unit 860 , and an eye tracker 870 may be further provided.

2차원 디스플레이장치(820)는 2차원 영상을 디스플레이하며, 스마트 폰, PDA, 테블릿 PC 중 어느 하나가 될 수 있다.The two-dimensional display device 820 displays a two-dimensional image, and may be any one of a smart phone, a PDA, and a tablet PC.

하프미러모듈(830)은 2차원 디스플레이장치(820)에 디스플레이되는 2차원 영상을 반사 및 투과한다. 빔 프로젝터(840)는 상기 2차원 영상에 필요한 부가정보를 하프미러모듈(830)에 디스플레이한다. The half-mirror module 830 reflects and transmits the two-dimensional image displayed on the two-dimensional display device 820 . The beam projector 840 displays additional information necessary for the two-dimensional image on the half-mirror module 830 .

음성인식부(880)은 사용자의 음성명령을 인식한다. 사용자의 음성명령은 인터랙티브가 가능한 사용자의 명령이 될 수 있다.The voice recognition unit 880 recognizes the user's voice command. The user's voice command may be an interactive user's command.

부가정보 생성부(885)는 상기 인식된 음성명령에 따라 부가정보를 생성한다. 동기화부(890)는 상기 생성된 부가정보와, 2차원 디스플레이장치(820)로 디스플레이되는 영상이 하프미러 모듈(830)에 합성되어 나타나도록 동기화한다.The additional information generating unit 885 generates additional information according to the recognized voice command. The synchronization unit 890 synchronizes the generated additional information and the image displayed on the two-dimensional display device 820 to be synthesized and displayed on the half-mirror module 830 .

동기화 영상 제어부(850)는 상기 동기화된 영상을 상기 2차원 디스플레이 장치(820)에 디스플레이 되게 하고, 상기 동기화된 부가정보를 빔 프로젝터(840)를 통해 하프미러 모듈(830)에 디스플레이되게 한다.The synchronized image control unit 850 causes the synchronized image to be displayed on the two-dimensional display device 820 , and the synchronized additional information is displayed on the half-mirror module 830 through the beam projector 840 .

플레이트(810)에는 2차원 디스플레이 장치(820)와 하프미러 모듈(830)이 장착될 수 있으며, 회전 원판으로 구현될 수 있다. 시선추적기(870)에 의해 사용자의 시선이 추적되면, 시선추적정보가 동기화영상 제어부(850)로 전달되고, 동기화영상 제어부(850)는 시선추적 정보를 이용하여 FoV의 중앙에 안구가 위치하도록 회전부(860)를 제어하여 플레이트(810)를 회전시킨다.The two-dimensional display device 820 and the half-mirror module 830 may be mounted on the plate 810, and may be implemented as a rotating disk. When the user's gaze is tracked by the gaze tracker 870, the gaze tracking information is transmitted to the synchronized image control unit 850, and the synchronized image control unit 850 uses the gaze tracking information to position the eyeball at the center of the FoV. Control 860 to rotate plate 810 .

시선추적기(870)는 하프미러 모듈(830)을 보는 사용자의 눈을 검출하여 사용자의 눈이 카메라 시야각(Field of View)의 중앙에 위치 하도록 사용자의 시선을 추적한다. 동기화 영상 제어부(850)는 시선추적기(870)의 시선추적정보를 이용하여 회전부(860)를 제어하여 플레이트(810)를 회전시킨다.The eye tracker 870 detects the user's eye looking at the half-mirror module 830 and tracks the user's eye so that the user's eye is located at the center of the camera field of view. The synchronized image controller 850 rotates the plate 810 by controlling the rotating unit 860 using the eye tracking information of the eye tracker 870 .

도 9는 본 발명의 제2실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법을 흐름도로 나타낸 것이다. 도 8 및 도 9를 참조하여 본 발명의 제2실시예에 따른 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법을 설명하기로 한다. 부가정보 생성부(850)가 사용자의 음성명령을 인식하여 상기 음성명령에 따른 부가정보를 생성한다.(S910단계) 9 is a flowchart illustrating a similar hologram display method having a beam projector according to a second embodiment of the present invention. A similar hologram display method with a beam projector according to a second embodiment of the present invention will be described with reference to FIGS. 8 and 9 . The additional information generating unit 850 recognizes the user's voice command and generates additional information according to the voice command. (Step S910)

동기화부(890)가 상기 부가정보와, 2차원 디스플레이장치(820)로 디스플레이되는 영상이 하프미러 모듈(830)에 합성되어 나타나도록 동기화 한다.(S920단계) 동기화 영상 제어부(850)가 상기 동기화된 영상을 2차원 디스플레이 장치(820)에 디스플레이한다.(S930단계)The synchronization unit 890 synchronizes the additional information and the image displayed on the two-dimensional display device 820 so that they are synthesized and appear on the half-mirror module 830 (step S920). The displayed image is displayed on the two-dimensional display device 820 (step S930).

동기화 영상 제어부(850)가 상기 동기화된 부가정보를 빔 프로젝터(840)를 통해 하프미러 모듈(830)에 디스플레이한다.(S940단계) 시선추적기(Eye Tracker, 870)가 하프미러 모듈(830)을 보는 사용자의 눈을 검출한 후(S950단계), 사용자의 눈이 시선추적 카메라의 시야각(Field of View) 중앙에 위치하도록 사용자의 시선을 추적한다.(S960단계) 동기화 영상 제어부(850)의 제어에 의해 회전부(860)가 상기 사용자의 시선추적 정보를 이용하여 2차원 디스플레이 장치(820)와 하프미러 모듈(830)이 설치된 플레이트(810)를 회전한다.(S970단계)The synchronized image controller 850 displays the synchronized additional information on the half-mirror module 830 through the beam projector 840. (Step S940) The eye tracker 870 uses the half-mirror module 830. After detecting the viewing user's eyes (step S950), the user's gaze is tracked so that the user's eyes are located in the center of the field of view of the gaze tracking camera (step S960). Control of the synchronized image controller 850 The rotating unit 860 rotates the plate 810 on which the two-dimensional display device 820 and the half-mirror module 830 are installed by using the user's eye tracking information. (Step S970)

한편, 사용자가 음성을 통해 시간제어를 할 수도 있다. 사용자가 시간제어 명령을 하면, 음성인식부(880)가 사용자의 시간제어 명령을 인식하고, 상기 인식된 시간제어 명령에 따라 빔프로젝터(840)에서의 부가정보 출력과 2차원 디스플레이장치(820)를 통해 디스플레이 되는 콘텐츠의 재생을 제어할 수도 있다. Meanwhile, the user may control the time through voice. When the user gives a time control command, the voice recognition unit 880 recognizes the user's time control command, and outputs additional information from the beam projector 840 and the two-dimensional display device 820 according to the recognized time control command. It is also possible to control the playback of displayed content through .

본 발명은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 롬(ROM), 플로피 디스크, 하드디스크 등의 마그네틱 저장매체, 시디롬(CD ROM), 디브이디(DVD) 등의 광학적 판독 매체 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.The present invention can be written as a computer-executable program, and can be implemented as computer-readable codes (including all devices having an information processing function) on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of the computer-readable recording device include magnetic storage media such as ROM, floppy disk, and hard disk, optical readable media such as CD ROM and DVD, and carrier wave (eg, Internet storage media such as transmission via Also, in this specification, “unit” may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, which is merely exemplary, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

310 : 플레이트(회전원판) 320 : 2차원 디스플레이 장치
330 : 하프미러 모듈 340 : 빔 프로젝터
350 : 제어부 360 : 회전부
370 : 시선추적기(Eye Tracker) 410 : 사용자 안구
510 : 하프미러모듈의 FoV 영역 610 : 회전 전의 FoV
620 : 회전 후의 FoV 810 : 플레이트(회전원판)
820 : 2차원 디스플레이 장치 830 : 하프미러 모듈
840 : 빔 프로젝터 850 : 동기화 영상 제어부
860 : 회전부 870 : 시선추적기
880 : 음성인식부 885 : 부가정보 생성부
890 : 동기화부310: plate (rotating disk) 320: two-dimensional display device
330: half mirror module 340: beam projector
350: control unit 360: rotation unit
370: eye tracker (Eye Tracker) 410: user eye
510: FoV area of half-mirror module 610: FoV before rotation
620: FoV after rotation 810: plate (rotating disk)
820: two-dimensional display device 830: half mirror module
840: beam projector 850: synchronization image control unit
860: rotating part 870: eye tracker
880: voice recognition unit 885: additional information generating unit
890: synchronization unit

Claims (13)

플레이트;
상기 플레이트에 설치되고, 2차원 영상을 디스플레이하는 2차원 디스플레이장치;
상기 플레이트에 설치되고, 상기 2차원 디스플레이장치에 디스플레이되는 2차원 영상을 반사 및 투과하는 하프미러 모듈;
상기 2차원 영상에 필요한 부가정보를 상기 하프미러모듈에 표시하는 빔 프로젝터; 및
상기 2차원 디스플레이 장치 및 상기 빔 프로젝터를 구동 및 제어하는 제어부를 포함하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.plate;
a two-dimensional display device installed on the plate and configured to display a two-dimensional image;
a half-mirror module installed on the plate to reflect and transmit a two-dimensional image displayed on the two-dimensional display device;
a beam projector that displays additional information necessary for the two-dimensional image on the half-mirror module; and
A similar hologram display device having a beam projector, comprising a control unit for driving and controlling the two-dimensional display device and the beam projector. 제1항에 있어서,
상기 플레이트를 회전시키는 회전부;
상기 하프미러 모듈을 보는 사용자의 눈을 검출하여 사용자의 눈이 카메라 시야각(Field of View)의 중앙에 위치 하도록 사용자의 시선을 추적하는 시선추적기를 더 포함하고,
상기 제어부는 상기 시선추적기의 시선추적정보를 이용하여 상기 회전부를 제어하여 상기 플레이트를 회전시키는 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.According to claim 1,
a rotating part for rotating the plate;
Further comprising an eye tracker that detects the user's eyes looking at the half-mirror module and tracks the user's eyes so that the user's eyes are located in the center of the camera field of view,
The control unit controls the rotation unit using the eye tracking information of the eye tracker to rotate the plate, a similar hologram display device with a beam projector. 제1항에 있어서, 상기 제어부는
사용자의 손이나 제스처에 대응하는 제어명령에 따라 상기 2차원 디스플레이장치에서 재생되는 영상이 제어 및 구동되는 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.According to claim 1, wherein the control unit
A similar hologram display device having a beam projector, characterized in that the image reproduced on the two-dimensional display device is controlled and driven according to a control command corresponding to a user's hand or gesture. 제1항에 있어서, 상기 2차원 디스플레이장치는
스마트 폰, PDA, 테블릿 PC 중 어느 하나인 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.According to claim 1, wherein the two-dimensional display device
A similar hologram display device with a beam projector, characterized in that any one of a smart phone, a PDA, and a tablet PC. 제1항에 있어서, 상기 2차원 디스플레이장치에 의해 디스플레이되는 콘텐츠는
정지 영상, 동영상, 게임 및 교육 영상 중 어느 하나인 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.According to claim 1, wherein the content displayed by the two-dimensional display device is
A similar hologram display device having a beam projector, characterized in that it is any one of a still image, a moving picture, a game, and an educational image. 2차원 영상을 디스플레이하는 2차원 디스플레이장치;
상기 2차원 디스플레이장치에 디스플레이되는 2차원 영상을 반사 및 투과하는 하프미러 모듈;
상기 2차원 영상에 필요한 부가정보를 상기 하프미러에 표시하는 빔 프로젝터;
사용자의 음성명령을 인식하는 음성인식부;
상기 인식된 음성명령에 따라 부가정보를 생성하는 부가정보 생성부;
상기 생성된 부가정보와, 상기 2차원 디스플레이장치로 디스플레이되는 영상이 상기 하프미러 모듈에 합성되어 나타나도록 동기화하는 동기화부;
상기 동기화된 영상은 상기 2차원 디스플레이 장치에 디스플레이 되게 하고, 상기 동기화된 부가정보는 빔 프로젝터를 통해 상기 하프미러 모듈에 디스플레이되게 하는 동기화 영상 제어부를 포함하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.a two-dimensional display device for displaying a two-dimensional image;
a half-mirror module that reflects and transmits the two-dimensional image displayed on the two-dimensional display device;
a beam projector for displaying additional information necessary for the two-dimensional image on the half mirror;
a voice recognition unit for recognizing a user's voice command;
an additional information generator for generating additional information according to the recognized voice command;
a synchronization unit for synchronizing the generated additional information and the image displayed on the two-dimensional display device to be synthesized and displayed on the half-mirror module;
and a synchronized image controller for causing the synchronized image to be displayed on the two-dimensional display apparatus and the synchronized additional information to be displayed on the half-mirror module through a beam projector. 제6항에 있어서,
상기 2차원 디스플레이 장치와 상기 하프미러 모듈이 장착된 플레이트;
상기 플레이트를 회전시키는 회전부;
상기 하프미러 모듈을 보는 사용자의 눈을 검출하여 사용자의 눈이 카메라 시야각(Field of View)의 중앙에 위치 하도록 사용자의 시선을 추적하는 시선추적기를 더 포함하고,
상기 동기화 영상 제어부는 상기 시선추적기의 시선추적정보를 이용하여 상기 회전부를 제어하여 상기 플레이트를 회전시키는 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.7. The method of claim 6,
a plate on which the two-dimensional display device and the half-mirror module are mounted;
a rotating part for rotating the plate;
Further comprising an eye tracker that detects the user's eyes looking at the half-mirror module and tracks the user's eyes so that the user's eyes are located in the center of the camera field of view,
The synchronized image control unit controls the rotation unit using the eye tracking information of the eye tracker to rotate the plate. 제6항에 있어서, 상기 2차원 디스플레이장치는
스마트 폰, PDA, 테블릿 PC 중 어느 하나인 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 장치.The method of claim 6, wherein the two-dimensional display device
A similar hologram display device with a beam projector, characterized in that any one of a smart phone, a PDA, and a tablet PC. 소정의 컨텐츠를 실행하여 2차원 디스플레이 장치에 영상을 디스플레이하는 단계;
상기 2차원 디스플레이 장치에 표시되는 영상을 하프미러 모듈에 반사 및 투과하는 단계; 및
빔 프로젝터에서 출력되는 부가정보를 상기 하프미러 모듈에 디스플레이 하는 단계를 포함하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법.displaying an image on a two-dimensional display device by executing predetermined content;
reflecting and transmitting the image displayed on the two-dimensional display device to a half-mirror module; and
A similar hologram display method with a beam projector, comprising the step of displaying additional information output from the beam projector on the half-mirror module. 제9항에 있어서,
시선추적기(Eye Tracker)가 상기 하프미러 모듈을 보는 사용자의 눈을 검출하는 단계;
상기 사용자의 눈이 시선추적 카메라의 시야각(Field of View) 중앙에 위치하도록 사용자의 시선을 추적하는 단계; 및
상기 사용자의 시선추적 정보를 이용하여 상기 2차원 디스플레이 장치와 상기 하프미러 모듈이 설치된 플레이트를 회전하는 단계를 더 포함하는 것을 특징으로 하는 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법.10. The method of claim 9,
detecting, by an eye tracker, a user's eyes looking at the half-mirror module;
tracking the user's gaze so that the user's eye is located in the center of a field of view of the eye tracking camera; and
and rotating the plate on which the two-dimensional display device and the half-mirror module are installed using the user's eye tracking information. 2차원 디스플레이장치와 상기 2차원 디스플레이 장치에 디스플레이되는 영상을 반사 및 투과하는 하프미러 모듈를 구비하는 홀로그램 디스플레이 장치를 이용한 유사 홀로그램 디스플레이 방법에 있어서,
음성인식부를 통해 사용자의 음성명령을 인식하여 상기 음성명령에 따른 부가정보를 생성하는 단계;
동기화부를 통해 상기 생성된 부가정보와, 상기 2차원 디스플레이장치로 디스플레이되는 영상이 상기 하프미러 모듈에 합성되어 나타나도록 동기화 하는 단계;
상기 동기화된 영상을 상기 2차원 디스플레이 장치에 디스플레이하는 단계; 및
상기 동기화된 부가정보를 빔 프로젝터를 통해 상기 하프미러 모듈에 디스플레이하는 단계를 포함하는 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법.A similar hologram display method using a hologram display device having a two-dimensional display device and a half-mirror module for reflecting and transmitting an image displayed on the two-dimensional display device, the method comprising:
recognizing a user's voice command through a voice recognition unit and generating additional information according to the voice command;
synchronizing the generated additional information and the image displayed on the two-dimensional display device through a synchronization unit to be synthesized and appear on the half-mirror module;
displaying the synchronized image on the two-dimensional display device; and
and displaying the synchronized additional information on the half-mirror module through a beam projector. 제11항에 있어서,
음성인식부를 통해 사용자의 시간제어 명령을 인식하는 단계; 및
상기 인식된 시간제어 명령에 따라 상기 빔프로젝터를 통한 부가정보 출력 및 상기 2차원 디스플레이장치를 통해 디스플레이 되는 콘텐츠의 재생을 제어하는 단계를 더 포함하는 것을 특징으로 하는, 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법.12. The method of claim 11,
Recognizing the user's time control command through the voice recognition unit; and
Pseudo-hologram display with a beam projector, characterized in that it further comprises the step of controlling the output of additional information through the beam projector and reproduction of the content displayed through the two-dimensional display device according to the recognized time control command. Way. 제11항에 있어서,
시선추적기(Eye Tracker)가 상기 하프미러 모듈을 보는 사용자의 눈을 검출하는 단계;
상기 사용자의 눈이 시선추적 카메라의 시야각(Field of View) 중앙에 위치하도록 사용자의 시선을 추적하는 단계; 및
상기 사용자의 시선추적 정보를 이용하여 상기 디스플레이 장치와 상기 하프미러 모듈이 설치된 플레이트를 회전하는 단계를 더 포함하는 것을 특징으로 하는 빔 프로젝터를 구비한 유사 홀로그램 디스플레이 방법.12. The method of claim 11,
detecting, by an eye tracker, a user's eyes looking at the half-mirror module;
tracking the user's gaze so that the user's eye is located in the center of a field of view of the eye tracking camera; and
and rotating the display device and the plate on which the half-mirror module is installed by using the user's eye tracking information.
KR1020200027927A 2020-03-05 2020-03-05 Apparatus and method for displaying pseudo hologram having beam projector KR20210112655A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200027927A KR20210112655A (en) 2020-03-05 2020-03-05 Apparatus and method for displaying pseudo hologram having beam projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200027927A KR20210112655A (en) 2020-03-05 2020-03-05 Apparatus and method for displaying pseudo hologram having beam projector

Publications (1)

Publication Number Publication Date
KR20210112655A true KR20210112655A (en) 2021-09-15

Family

ID=77793258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200027927A KR20210112655A (en) 2020-03-05 2020-03-05 Apparatus and method for displaying pseudo hologram having beam projector

Country Status (1)

Country Link
KR (1) KR20210112655A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102350198B1 (en) 2021-10-26 2022-01-12 주식회사 이케이엠 Beam projector electric driving type black offset adjustment device for deleting multiple projection overlay section black level

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101597628B1 (en) 2014-11-17 2016-03-08 주식회사 헬로앱스 Pseudo hologram system and method for displaying pseudo hologram by using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101597628B1 (en) 2014-11-17 2016-03-08 주식회사 헬로앱스 Pseudo hologram system and method for displaying pseudo hologram by using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102350198B1 (en) 2021-10-26 2022-01-12 주식회사 이케이엠 Beam projector electric driving type black offset adjustment device for deleting multiple projection overlay section black level
KR102385174B1 (en) 2021-10-26 2022-04-13 주식회사 이케이엠 Offset adjustment device for deleting multiple projection overlay section black level of beam projector

Similar Documents

Publication Publication Date Title
US10497175B2 (en) Augmented reality virtual monitor
US11962741B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
Elmorshidy Holographic projection technology: the world is changing
CN107810463B (en) Head-mounted display system and apparatus and method of generating image in head-mounted display
US20150312561A1 (en) Virtual 3d monitor
US9165381B2 (en) Augmented books in a mixed reality environment
US8988474B2 (en) Wide field-of-view virtual image projector
US9734633B2 (en) Virtual environment generating system
US9723293B1 (en) Identifying projection surfaces in augmented reality environments
US20140368537A1 (en) Shared and private holographic objects
US20080266523A1 (en) Display apparatus
CN105359547A (en) Embedded barcodes for displaying context relevant information
KR20140014160A (en) Immersive display experience
US10474100B2 (en) Display device and driving method thereof
WO2016201015A1 (en) Display for stereoscopic augmented reality
KR101597628B1 (en) Pseudo hologram system and method for displaying pseudo hologram by using the same
US20230032771A1 (en) System and method for interactive three-dimensional preview
CN109031677B (en) Electronic equipment and projection method thereof
US11961194B2 (en) Non-uniform stereo rendering
CN111670465A (en) Displaying modified stereoscopic content
KR20210112655A (en) Apparatus and method for displaying pseudo hologram having beam projector
KR20160019193A (en) Floating Hologram display device
CN211479507U (en) Phantom imaging system and showcase
US20150109581A1 (en) Simulated-holographic image display system
CN113227876B (en) Modified slow scan drive signal

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination