KR20240092971A - Display device for glasses-free stereoscopic image with function of air touch - Google Patents

Display device for glasses-free stereoscopic image with function of air touch Download PDF

Info

Publication number
KR20240092971A
KR20240092971A KR1020220175817A KR20220175817A KR20240092971A KR 20240092971 A KR20240092971 A KR 20240092971A KR 1020220175817 A KR1020220175817 A KR 1020220175817A KR 20220175817 A KR20220175817 A KR 20220175817A KR 20240092971 A KR20240092971 A KR 20240092971A
Authority
KR
South Korea
Prior art keywords
screen
user
glasses
stereoscopic image
display device
Prior art date
Application number
KR1020220175817A
Other languages
Korean (ko)
Inventor
신창봉
허세원
Original Assignee
주식회사 모픽
Filing date
Publication date
Application filed by 주식회사 모픽 filed Critical 주식회사 모픽
Publication of KR20240092971A publication Critical patent/KR20240092971A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Abstract

본 발명의 일 실시예에 따르는, 공간터치 기능을 제공하는, 무안경 입체영상 표시장치는, 카메라를 통해 사용자의 시점을 추적하여 상기 사용자의 시청위치를 감지하는 센싱 모듈; 적어도 하나 이상의 화면 객체가 배치된 화면이 구성되며, 상기 화면과 기 설정된 이격 거리에 있는 공간터치가 가능한 가상의 평면 상에 상기 화면 객체의 무안경 입체영상인 돌출 객체를 표시하는 디스플레이 모듈; 및 상기 센싱 모듈로부터 감지된 사용자의 시청위치에 따라 상기 디스플레이 모듈을 제어하는 프로세서;를 포함하며, 상기 프로세서는, 상기 돌출 객체가 상기 가상의 평면에 투영되도록 상기 디스플레이 모듈을 제어하는 이미지 투영부 및 특정 돌출 객체에 대한 상기 사용자의 공간터치에 따라 상기 특정 돌출 객체에 대응하는 화면 객체를 식별하는 객체 식별부를 포함하는 것이다.According to an embodiment of the present invention, a glasses-free stereoscopic image display device that provides a spatial touch function includes a sensing module that detects the user's viewing position by tracking the user's viewpoint through a camera; A display module comprising a screen on which at least one screen object is arranged, and displaying a protruding object that is a glasses-free stereoscopic image of the screen object on a virtual plane capable of spatial touch at a preset distance from the screen; and a processor that controls the display module according to the user's viewing position detected by the sensing module, wherein the processor includes an image projection unit that controls the display module to project the protruding object onto the virtual plane. It includes an object identification unit that identifies a screen object corresponding to a specific salient object according to the user's spatial touch on the specific salient object.

Description

공간터치 입력기능을 제공하는 무안경 입체영상 표시장치{DISPLAY DEVICE FOR GLASSES-FREE STEREOSCOPIC IMAGE WITH FUNCTION OF AIR TOUCH}Glasses-free stereoscopic image display device providing spatial touch input function {DISPLAY DEVICE FOR GLASSES-FREE STEREOSCOPIC IMAGE WITH FUNCTION OF AIR TOUCH}

본 발명은, 영상을 표시하는 화면과 영상을 터치하는 공간이 불일치함으로 인한 터치불편함을 개선하기 위해, 영상을 표시하는 화면과 공간터치를 수행하는 영역을 일치시킴으로써, 종래의 문제점을 해결하고자 하는 무안경 입체영상 표시장치에 관한 것이다.The present invention aims to solve the conventional problem by matching the screen displaying the image and the area performing spatial touch in order to improve touch discomfort caused by the mismatch between the screen displaying the image and the space for touching the image. This relates to a glasses-free stereoscopic image display device.

최근 팬데믹(pandemic) 현상을 거치면서 대부분의 산업 현장에서 비대면 서비스가 이루어지고 있다. 대표적으로 키오스크(kiosk)와 같은 터치 스크린을 그 예로 들 수 있는데, 이 또한 오염의 우려로 사용이 점점 기피되고 있다.Due to the recent pandemic, non-face-to-face services are being provided in most industrial sites. A representative example is touch screens such as kiosks, but their use is increasingly avoided due to concerns about contamination.

즉, 불특정 다수에게 개방된 접촉 문제로 인해 터치 스크린이 비위생적이라고 인식하는 대중들이 늘어나고 있으며, 이들 중 대부분이 청결을 위해 비접촉식 터치 스크린의 개발이 필요하다고 언급하고 있다.In other words, the public who perceives touch screens as unhygienic due to the problem of contact being open to an unspecified number of people is increasing, and most of them mention that the development of non-contact touch screens is necessary for cleanliness.

이에 따라, 모니터 화면의 전방에 가상의 터치 공간을 구현하는 터치리스 장치가 등장하고 있다. 그러나, 기존에 제시된 터치리스 장치는 터치의 정확도가 떨어지고 인식에 있어 오류가 많아 실제로 도입된 서비스 현장은 미미한 실정이다.Accordingly, touchless devices that implement a virtual touch space in front of the monitor screen are emerging. However, the touchless devices presented previously have poor touch accuracy and many errors in recognition, so the number of service sites where they are actually introduced is minimal.

구체적으로, 일반적인 터치 스크린은 직접 화면을 터치하기 때문에 손가락과 화면이 동일한 위치에 있어 초점이 흔들리지 않는다. 반면, 기존의 터치리스 장치의 경우, 터치 공간과 화면의 위치가 달라 손 끝에 초점을 맞추면 화면이 흔들리고 화면에 초점을 맞추면 손가락이 두 개로 보이는 현상이 발생하게 된다.Specifically, since a typical touch screen involves touching the screen directly, the finger and the screen are in the same position, so the focus does not waver. On the other hand, in the case of existing touchless devices, the touch space and screen location are different, so when focusing on the tip of the finger, the screen shakes, and when focusing on the screen, two fingers appear.

또한, 기존의 터치리스 장치는 가상의 공간을 손가락이 통과하는 순간 터치로 인식되는데 실제로 가상의 공간은 육안으로 식별되지 않는다. 즉, 터치해야 하는 화면 상의 객체와 터치를 인식하는 공간의 불일치로 인해 사용자는 어느 위치에서 터치가 되었는지 판단하기 어렵다.Additionally, in existing touchless devices, the moment a finger passes through a virtual space, it is recognized as a touch, but in reality, the virtual space cannot be identified with the naked eye. In other words, it is difficult for the user to determine where the touch was made due to the mismatch between the object on the screen that needs to be touched and the space where the touch is recognized.

따라서, 기존의 터치리스 장치가 실제 도입되기 위한 최소한의 조건으로는 사용 방법을 교육하고 진행을 보조하여야 하는데, 이러한 가이드 수단이 현실적으로 제공되기 어려우며, 직원을 배치하는 경우 터치 스크린 자체의 비대면 목적에 반하게 된다.Therefore, the minimum conditions for the actual introduction of existing touchless devices are training on how to use them and providing assistance with the process. However, it is difficult to provide such guidance in reality, and when staff are assigned, they are not suitable for the non-face-to-face purpose of the touch screen itself. I fall in love with it.

한편, 영상 표시 기술 분야의 최신 동향으로는, 사람의 양안시차(binocular disparity)를 이용하여 인위적인 입체영상을 재현하는 무안경 입체영상 표시기술이 각광을 받고 있는 추세이다.Meanwhile, as the latest trend in the field of image display technology, glasses-free stereoscopic image display technology, which reproduces artificial stereoscopic images by using human binocular disparity, is receiving attention.

해당 기술은, 평면 디스플레이에서 좌안과 우안에 대응하는 영상 2개를 동시에 표시하고, 이들을 좌안과 우안에 정확하게 전달하는 설계를 통해 가상의 입체감을 구현한다. 따라서, 3D안경이나 HMD(Head mounted Display)의 번거로운 착용이 요구되지 않으므로 보다 자유로운 시청이 가능하다.This technology displays two images corresponding to the left and right eyes simultaneously on a flat display and creates a virtual three-dimensional effect through a design that accurately transmits them to the left and right eyes. Therefore, the cumbersome wearing of 3D glasses or HMD (Head mounted display) is not required, allowing for more free viewing.

이와 관련하여, 터치 스크린 장치에도 무안경 입체영상 표시기술을 접목해야 한다는 필요성이 대두되고 있다. 그러나, 이 또한 사용자의 시점에 따라 달라지는 입체영상의 위치 문제로, 터치의 어려움 및 터치 인식의 오차가 발생하는 한계에 봉착한 상황이다.In this regard, there is an emerging need to apply glasses-free stereoscopic image display technology to touch screen devices. However, this also faces limitations due to the problem of the location of the three-dimensional image that varies depending on the user's viewpoint, making it difficult to touch and errors in touch recognition occurring.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자가 공간터치 할 영상을 화면 앞의 소정의 공간상에 제공함으로써, 터치영역과 영상표시영역을 일치화를 제공하는 데에 그 목적이 있다. The present invention is intended to solve the problems of the prior art described above. The purpose of the present invention is to provide an image to be touched by the user in a predetermined space in front of the screen, thereby providing unity between the touch area and the image display area. there is.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenges that this embodiment aims to achieve are not limited to the technical challenges described above, and other technical challenges may exist.

본 발명의 일 실시예에 따르는, 공간터치 기능을 제공하는, 무안경 입체영상 표시장치는, 카메라를 통해 사용자의 시점을 추적하여 상기 사용자의 시청위치를 감지하는 센싱 모듈; 적어도 하나 이상의 화면 객체가 배치된 화면이 구성되며, 상기 화면과 기 설정된 이격 거리에 있는 공간터치가 가능한 가상의 평면 상에 상기 화면 객체의 무안경 입체영상인 돌출 객체를 표시하는 디스플레이 모듈; 및 상기 센싱 모듈로부터 감지된 사용자의 시청위치에 따라 상기 디스플레이 모듈을 제어하는 프로세서;를 포함하며, 상기 프로세서는, 상기 돌출 객체가 상기 가상의 평면에 투영되도록 상기 디스플레이 모듈을 제어하는 이미지 투영부 및 특정 돌출 객체에 대한 상기 사용자의 공간터치에 따라 상기 특정 돌출 객체에 대응하는 화면 객체를 식별하는 객체 식별부를 포함하는 것이다.According to an embodiment of the present invention, a glasses-free stereoscopic image display device that provides a spatial touch function includes a sensing module that detects the user's viewing position by tracking the user's viewpoint through a camera; A display module comprising a screen on which at least one screen object is arranged, and displaying a protruding object that is a glasses-free stereoscopic image of the screen object on a virtual plane capable of spatial touch at a preset distance from the screen; and a processor that controls the display module according to the user's viewing position detected by the sensing module, wherein the processor includes an image projection unit that controls the display module to project the protruding object onto the virtual plane. It includes an object identification unit that identifies a screen object corresponding to a specific salient object according to the user's spatial touch on the specific salient object.

본 발명의 일 실시예에 따르면, 상기 화면 객체는 상기 돌출 객체를 구현하기 위하여 상기 화면에 기 설정된 간격을 가지고 교번하여 배치되는 우안 영상 및 좌안 영상으로 구성되는 것이다.According to one embodiment of the present invention, the screen object is composed of a right-eye image and a left-eye image that are alternately arranged on the screen at a preset interval to implement the protruding object.

본 발명의 일 실시예에 따르면, 상기 이미지 투영부는, 상기 시청위치 및 상기 화면과 상기 가상의 평면 간 이격 거리에 기초하여 상기 우안 영상 및 상기 좌안 영상 사이의 간격을 조정한다.According to one embodiment of the present invention, the image projection unit adjusts the gap between the right eye image and the left eye image based on the viewing position and the separation distance between the screen and the virtual plane.

본 발명의 일 실시예에 따르면, 상기 디스플레이 모듈은, 상기 특정 돌출 객체에 대한 상기 사용자의 공간터치가 이루어지면, 상기 특정 돌출 객체의 상기 화면에 대한 깊이값을 변경한다.According to one embodiment of the present invention, when the user's spatial touch is made to the specific protruding object, the display module changes the depth value of the specific protruding object on the screen.

본 발명의 일 실시예에 따르면, 상기 디스플레이 모듈은, 상기 화면에 대한 깊이값은 서로 다른 돌출 객체마다 독립적으로 제어가 가능하며, 상기 특정 돌출 객체에 대한 상기 사용자의 공간 터치 입력이 발생한 시점부터 시간에 따른 기 설정된 변화율로 상기 화면과 상기 특정 돌출 객체 간의 이격 거리를 줄여서 깊이값을 변경하되, 공간터치가 발생하지 않은 다른 돌출 객체의 깊이값은 유지한다.According to one embodiment of the present invention, the display module is capable of independently controlling the depth value for the screen for each different protruding object, and the time period starts from when the user's spatial touch input for the specific protruding object occurs. The depth value is changed by reducing the separation distance between the screen and the specific protruding object at a preset change rate according to , but the depth value of other protruding objects in which no spatial touch occurs is maintained.

본 발명의 일 실시예에 따르면, 상기 프로세서는, 상기 센싱 모듈에 의해 감지되는 시청위치, 상기 화면을 이루는 각 지점 및 상기 가상의 평면을 이루는 각 지점을 공간 좌표계의 좌표값으로 인식하며, 상기 공간 좌표계는 상기 화면의 일 꼭지점을 원점으로 하여 수평 방향이 x축, 수직 방향이 y축, 사용자를 향하는 법선 방향이 z축으로 설정된 것이다.According to one embodiment of the present invention, the processor recognizes the viewing position detected by the sensing module, each point forming the screen, and each point forming the virtual plane as coordinate values of a spatial coordinate system, and the space The coordinate system is set with one vertex of the screen as the origin, the horizontal direction is set to the x-axis, the vertical direction is set to the y-axis, and the normal direction toward the user is set to the z-axis.

본 발명의 일 실시예에 따르면, 상기 공간 좌표계는, 상기 디스플레이 모듈의 해상도를 기초로 상기 화면을 구성하는 각각의 픽셀마다 x축 및 y축에 대한 좌표값이 매칭되도록 설정된 것이다.According to one embodiment of the present invention, the spatial coordinate system is set so that coordinate values for the x-axis and y-axis match for each pixel constituting the screen based on the resolution of the display module.

본 발명의 일 실시예에 따르면, 상기 센싱 모듈은, 추적된 사용자의 시점과 상기 화면을 수직으로 연결하는 직선이 상기 화면과 만나는 지점에 기초하여 x성분 및 y성분을 획득하고, 상기 직선이 상기 가상의 화면과 만나는 지점과 상기 사용자의 시점 간 거리에 기초하여 z성분을 획득하며, 획득된 x성분, y성분 및 z성분의 좌표값이 상기 시청위치로 인식되는 것이다.According to one embodiment of the present invention, the sensing module obtains the x component and y component based on the point where a straight line vertically connecting the tracked user's viewpoint and the screen meets the screen, and the straight line The z component is obtained based on the distance between the point where the virtual screen meets the user's viewpoint, and the coordinate values of the obtained x, y, and z components are recognized as the viewing position.

본 발명의 일 실시예에 따르면, 상기 객체 식별부는, 상기 사용자에 의해 상기 가상의 화면 내 임의의 지점에 대한 공간터치가 이루어지면, 상기 시청위치 및 상기 이격 거리를 기초로 상기 임의의 지점의 좌표값을 상기 화면 상의 좌표값으로 보정하여, 보정된 좌표값을 상기 사용자가 공간터치한 지점으로 식별한다.According to one embodiment of the present invention, when the user makes a spatial touch to a random point in the virtual screen, the object identification unit determines the coordinates of the random point based on the viewing position and the separation distance. The value is corrected to the coordinate value on the screen, and the corrected coordinate value is identified as the point where the user touched the space.

본 발명의 일 실시예에 따르면, 상기 객체 식별부는, 상기 특정 돌출 객체에 포함된 임의의 지점에 대한 상기 사용자의 공간터치에 응답하여, 상기 시청위치로 인식되는 제1좌표값과 상기 임의의 지점으로 인식되는 제2좌표값을 연결하는 직선을 생성하고, 상기 직선을 연장한 직선이 상기 화면과 만나는 지점으로 인식되는 제3좌표값을 획득하여 상기 제3좌표값에 표시되는 화면 객체를 식별한다.According to one embodiment of the present invention, the object identification unit responds to the user's spatial touch on a random point included in the specific protruding object, and provides a first coordinate value recognized as the viewing position and the random point. Create a straight line connecting the second coordinate value recognized as , obtain a third coordinate value recognized as the point where the straight line extending the straight line meets the screen, and identify the screen object displayed at the third coordinate value. .

본 발명의 일 실시예에 따르는, 공간터치 기능을 제공하기 위한, 무안경 입체영상 표시장치의 동작 방법은, 적어도 하나 이상의 화면 객체를 디스플레이 모듈의 화면에 배치하는 단계; 카메라를 통해 사용자의 시점을 추적하여 상기 사용자의 시청위치를 감지하는 단계; 상기 화면과 기 설정된 이격 거리에 있는 공간터치가 가능한 가상의 평면 상에 무안경 입체영상인 돌출 객체를 적어도 하나 이상 표시하는 단계; 상기 센싱 모듈로부터 감지된 사용자의 시청위치에 따라 상기 돌출 객체가 상기 가상의 평면에 투영되도록 상기 디스플레이 모듈을 제어하는 단계; 및 특정 돌출 객체에 대한 상기 사용자의 공간터치에 따라 상기 특정 돌출 객체에 대응하는 화면 객체를 식별하는 단계를 포함한다.According to an embodiment of the present invention, a method of operating a glasses-free stereoscopic image display device for providing a spatial touch function includes the steps of arranging at least one screen object on a screen of a display module; detecting the user's viewing position by tracking the user's viewpoint through a camera; Displaying at least one protruding object that is an autostereoscopic stereoscopic image on a virtual plane capable of spatial touch at a preset distance from the screen; controlling the display module to project the protruding object on the virtual plane according to the user's viewing position detected by the sensing module; and identifying a screen object corresponding to the specific salient object according to the user's spatial touch on the specific salient object.

본 발명의 일 실시예는, 비접촉식 공간터치 기능을 가지되 실제 화면에 노출되는 사용자 인터페이스의 객체가 공간 상에 돌출되어 입체감을 불러 일으키는 입체영상 표시장치를 제공한다.One embodiment of the present invention provides a three-dimensional image display device that has a non-contact spatial touch function and in which objects of a user interface exposed on the actual screen protrude in space to create a three-dimensional effect.

본 발명의 일 실시예는, 화면에서 돌출되어 입체적으로 구현되는 객체가 가상의 터치 평면에 투영됨으로써, 터치 대상 및 위치를 육안으로 확인할 수 있도록 설계된 입체영상 표시장치를 제공한다.One embodiment of the present invention provides a three-dimensional image display device designed to visually confirm a touch target and location by projecting a three-dimensional object that protrudes from the screen onto a virtual touch plane.

본 발명의 일 실시예는, 화면과의 거리나 방향, 시점의 각도에 따른 사용자의 위치가 반영되도록 설계되어 터치의 정확도를 보장하는 입체영상 표시장치를 제공한다.One embodiment of the present invention provides a three-dimensional image display device that is designed to reflect the user's position according to the distance or direction from the screen and the viewing angle, thereby ensuring accuracy of touch.

본 발명의 일 실시예는, 사용자의 위치가 변경되더라도 객체가 입체적으로 표현되는 공간이 가상의 터치 평면에 일치되도록 설계되어 터치의 정확도 및 자유도가 향상되는 입체영상 표시장치를 제공한다.One embodiment of the present invention provides a three-dimensional image display device in which the accuracy and freedom of touch are improved by designing the space in which objects are expressed three-dimensionally to match the virtual touch plane even if the user's position changes.

본 발명의 일 실시예는, 사용자의 시점 및 가상의 터치 평면과 실제 화면과의 거리 차에 따라 발생하게 되는 터치 인식의 오류를 보상하도록 설계되어 실제 사용자의 의도에 따른 동작을 정확하게 수행하는 입체영상 표시장치를 제공한다.One embodiment of the present invention is designed to compensate for errors in touch recognition that occur depending on the user's viewpoint and the difference in distance between the virtual touch plane and the actual screen, and is designed to provide a three-dimensional image that accurately performs an operation according to the actual user's intention. A display device is provided.

본 발명의 일 실시예는, 사용자가 가상의 터치 평면에 구현된 객체를 터치하면 실제 객체가 눌려지는 시각적 효과를 제공하도록 설계되어 현실감을 극대화시키는 입체영상 표시장치를 제공한다.One embodiment of the present invention provides a three-dimensional image display device that maximizes the sense of reality by being designed to provide a visual effect in which a real object is pressed when a user touches an object implemented on a virtual touch plane.

도 1은 본 발명의 일 실시예에 따르는 무안경 입체영상 표시장치와 그에 따른 공간터치 입력기능을 간략하게 나타내는 개념도이다.
도 2는 본 발명의 일 실시예에 따르는 무안경 입체영상 표시장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따르는 디스플레이 모듈의 동작을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따르는 돌출 객체가 사용자의 위치에 따라 가상의 평면에 투영되는 태양을 보여주는 예시도이다.
도 5는 본 발명의 일 실시예에 따르는 돌출 객체를 가상의 평면에 투영시키는 동작을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따르는 돌출 객체가 눌려지는 시각적 효과를 제공하는 동작을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따르는 공간 좌표계를 설명하기 위한 개념도이다.
도 8은 본 발명의 일 실시예에 따르는 시청위치를 좌표로 인식하는 동작을 설명하기 위한 개념도이다.
도 9 는 본 발명의 일 실시예에 따르는 돌출 객체에 대한 터치에 응답하여 화면 객체를 식별하기 위한 동작을 설명하기 위한 개념도이다.
도 10은 본 발명의 일 실시예에 따르는 가상의 평면 상의 터치 위치를 실제 화면 상의 위치로 보정하는 동작을 설명하기 위한 개념도이다.
도 11은 본 발명의 일 실시예에 따르는 공간터치 입력기능을 제공하기 위한 무안경 입체영상 표시장치의 동작 방법에 대한 순서도이다.Figure 1 is a conceptual diagram briefly showing a glasses-free stereoscopic image display device and a spatial touch input function thereof according to an embodiment of the present invention.
Figure 2 is a block diagram showing the configuration of a glasses-free stereoscopic image display device according to an embodiment of the present invention.
Figure 3 is a conceptual diagram for explaining the operation of a display module according to an embodiment of the present invention.
Figure 4 is an exemplary diagram showing a protruding object projected onto a virtual plane according to the user's location according to an embodiment of the present invention.
FIG. 5 is a conceptual diagram illustrating an operation of projecting a protruding object onto a virtual plane according to an embodiment of the present invention.
FIG. 6 is a conceptual diagram illustrating an operation for providing a visual effect in which a protruding object is pressed according to an embodiment of the present invention.
Figure 7 is a conceptual diagram for explaining a spatial coordinate system according to an embodiment of the present invention.
Figure 8 is a conceptual diagram for explaining an operation of recognizing a viewing position as coordinates according to an embodiment of the present invention.
FIG. 9 is a conceptual diagram illustrating an operation for identifying a screen object in response to a touch on a protruding object according to an embodiment of the present invention.
FIG. 10 is a conceptual diagram illustrating an operation of correcting a touch position on a virtual plane to a position on an actual screen according to an embodiment of the present invention.
Figure 11 is a flowchart of a method of operating a glasses-free stereoscopic image display device for providing a spatial touch input function according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts unrelated to the description are omitted, and similar parts are given similar reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "electrically connected" with another element in between. . Additionally, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In this specification, 'part' includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Additionally, one unit may be realized using two or more pieces of hardware, and two or more units may be realized using one piece of hardware. Meanwhile, '~ part' is not limited to software or hardware, and '~ part' may be configured to reside in an addressable storage medium or may be configured to reproduce one or more processors. Therefore, as an example, '~ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functions provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'. Additionally, components and 'parts' may be implemented to regenerate one or more CPUs within a device or a secure multimedia card.

이하, 첨부된 도면을 활용하여 본 발명의 일 실시예를 상세히 설명하도록 한다.Hereinafter, an embodiment of the present invention will be described in detail using the attached drawings.

도 1은 본 발명의 일 실시예에 따르는 무안경 입체영상 표시장치와 그에 따른 공간터치 입력기능을 간략하게 나타내는 개념도이다.Figure 1 is a conceptual diagram briefly showing a glasses-free stereoscopic image display device and a spatial touch input function thereof according to an embodiment of the present invention.

도 1을 참조하면, 무안경 입체영상 표시장치(1)는 소정의 서비스를 제공하기 위하여 제작된 키오스크를 대표적인 예로 들 수 있으나 이에 한정되는 것은 아니다. 무안경 입체영상 표시장치(1)는 무안경 입체영상 서비스를 제공하기 위한 평면 영상을 평면 모니터(120)의 화면(10)에 구현한다. 또한, 공간터치 기능이 활성화된 가상의 평면(20)을 화면(10)의 전방에 구현한다. 무안경 입체영상 표시장치(1)는 카메라(110)를 통하여 사용자의 시청위치를 실시간으로 감지한다. 양안시차의 원리를 토대로 화면(10) 내 평면 이미지(11)는 화면(10)에서 돌출되어 공간 상에 표시되고 이에 따라 입체적인 돌출 이미지(21)를 형성하게 된다. 무안경 입체영상 표시장치(1)는 감지된 시청위치에 따라 돌출 이미지(21)가 돌출되는 공간의 위치를 조정하여 돌출 이미지(21)를 가상의 평면(20)에 투영시킨다. 사용자는 가상의 평면(20)에 투영된 돌출 이미지(21)를 버튼으로 인식하게 되며, 이들 중 하나를 터치하면 무안경 입체영상 표시장치(1)는 그에 대응하는 화면(10) 상의 평면 이미지(11)가 무엇인지 식별한다. 그에 따라 식별된 평면 이미지(11)에 미리 설정되어 있는 동작이 사용자 인터페이스 상에서 수행되어 사용자가 요청한 서비스가 제공된다.Referring to FIG. 1, the autostereoscopic stereoscopic image display device 1 may be a typical example of a kiosk manufactured to provide a certain service, but is not limited thereto. The glasses-free stereoscopic image display device 1 implements a flat image for providing a glasses-free stereoscopic image service on the screen 10 of the flat monitor 120. In addition, a virtual plane 20 with the spatial touch function activated is implemented in front of the screen 10. The glasses-free stereoscopic image display device 1 detects the user's viewing position in real time through the camera 110. Based on the principle of binocular parallax, the flat image 11 in the screen 10 protrudes from the screen 10 and is displayed in space, thereby forming a three-dimensional protruding image 21. The glasses-free stereoscopic image display device 1 adjusts the position of the space where the protruding image 21 protrudes according to the detected viewing position and projects the protruding image 21 onto the virtual plane 20. The user recognizes the protruding images 21 projected on the virtual plane 20 as buttons, and when one of them is touched, the glasses-free stereoscopic image display device 1 displays the corresponding flat image on the screen 10 ( 11) Identify what it is. Accordingly, an operation preset in the identified flat image 11 is performed on the user interface to provide the service requested by the user.

도 2는 본 발명의 일 실시예에 따르는 무안경 입체영상 표시장치의 구성을 나타내는 블록도이다.Figure 2 is a block diagram showing the configuration of a glasses-free stereoscopic image display device according to an embodiment of the present invention.

도 2를 참조하면, 무안경 입체영상 표시장치(1)는, 센싱 모듈(110), 디스플레이 모듈(120) 및 센싱 모듈(110)에 의해 감지된 시청위치에 따라 디스플레이 모듈(120)을 제어하는 프로세서(130)를 포함할 수 있다.Referring to FIG. 2, the glasses-free stereoscopic image display device 1 includes a sensing module 110, a display module 120, and a display module 120 that controls the display module 120 according to the viewing position detected by the sensing module 110. It may include a processor 130.

먼저, 무안경 입체영상 표시장치(1)는, 사람의 양안시차(binocular disparity)에 기반하는 것으로, 평면 디스플레이 장치에서 좌안과 우안에 대응하는 영상 2개를 동시에 표시하고, 이들을 좌안과 우안에 정확하게 전달하는 설계를 통해 가상의 입체감을 구현하도록 설계된 것이다. 여기서, 무안경 입체영상 표시장치(1)가 채택하는 무안경 방식은 Lenticular, parallax barrier, integral image, holography 방식 등 특별한 제한은 없으나, 렌티큘러(Lenticular)렌즈가 화면의 전방에 설치되어 다시점 이미지를 실용적으로 구현하는 Lenticular 방식이 바람직하다.First, the glasses-free stereoscopic image display device 1 is based on human binocular disparity, and simultaneously displays two images corresponding to the left and right eyes on a flat display device, and displays them accurately on the left and right eyes. It is designed to create a virtual three-dimensional effect through the design that conveys it. Here, the glasses-free method adopted by the glasses-free stereoscopic image display device 1 is not particularly limited, such as lenticular, parallax barrier, integral image, and holography methods, but a lenticular lens is installed in front of the screen to display a multi-view image. A lenticular method that is practically implemented is preferable.

일 실시예에 따르는, 센싱 모듈(110)은 시점추적 기능(Eye-tracking)을 가진 카메라를 포함할 수 있다. 카메라는 사용자의 시점을 소정의 주기마다 계속적으로 추적하여 사용자의 시청위치를 실시간으로 감지한다. 소정의 주기는 예를 들어 초당 60회 이상일 수 있다. 또한, 카메라는 흔들림을 방지하기 위한 제1필터, 혼동을 방지하기 위한 제2필터 및 위치를 예측하기 위한 제3필터 중 적어도 하나 이상을 포함하는 오류 방지 필터를 포함하여, 높은 정확도를 가지도록 설계될 수 있다.According to one embodiment, the sensing module 110 may include a camera with an eye-tracking function. The camera continuously tracks the user's viewpoint at predetermined intervals and detects the user's viewing position in real time. The predetermined period may be, for example, 60 or more times per second. In addition, the camera is designed to have high accuracy, including an error prevention filter that includes at least one of a first filter to prevent shaking, a second filter to prevent confusion, and a third filter to predict location. It can be.

센싱 모듈(110)은, 감지한 시청위치를 프로세서(130)로 실시간으로 전달하며, 프로세서(130)는 해당 시청위치에서 입체 영상이 정확하게 전달되도록 디스플레이 모듈(120)의 영상 배열을 조정한다. 즉, 센싱 모듈(110)에 의해 감지되는 사용자의 위치에 따라 디스플레이 모듈(120)에 포함된 각 픽셀의 색상 패턴이 실시간으로 조정된다. 이에 따라, 이미지가 섞여 보이거나 좌안에 우측 영상이 보이는 역상이 발생하는 등 입체감이 왜곡되는 현상이 방지되며, 시청위치가 변경되더라도 일정한 입체감이 제공된다.The sensing module 110 transmits the detected viewing position to the processor 130 in real time, and the processor 130 adjusts the image arrangement of the display module 120 so that the three-dimensional image is accurately transmitted at the corresponding viewing position. That is, the color pattern of each pixel included in the display module 120 is adjusted in real time according to the user's location detected by the sensing module 110. Accordingly, distortion of the three-dimensional effect, such as images being mixed or reverse images occurring where the right image is visible to the left eye, is prevented, and a consistent three-dimensional effect is provided even if the viewing position changes.

일 실시예에 따르는 디스플레이 모듈(120)은, 프로세서(130)의 명령에 의해 제어되며, 명령에 따라 화면을 통하여 무안경 입체영상을 구현하기 위한 화면 객체를 배치한다. 여기서, 화면 객체 마다 독립적인 사용자 인터페이스가 설정될 수 있으며, 사용자 인터페이스는 무안경 입체영상 표시장치(1)에 미리 저장되어 있거나 서버(미도시)로부터 실시간으로 수신될 수도 있다. 또한, 화면 객체는, 디스플레이 모듈(120)에 포함된 픽셀 및 픽셀의 조합에 대한 색상패턴으로서, 이미지, 영상 및 텍스트의 형태로 구현될 수 있으며, 이에 한정되는 것은 아니다. 예를 들어, 무안경 입체영상 표시장치(1)가 키오스크로 설계된 경우, 화면 객체는 버튼 형태로 구현될 수 있으며, 사용자가 버튼을 선택하는 경우 사용자 인터페이스에 기 설정된 동작 명령이 입력되도록 설정될 수 있다.The display module 120 according to one embodiment is controlled by commands from the processor 130, and arranges screen objects for implementing a glasses-free stereoscopic image on the screen according to the commands. Here, an independent user interface may be set for each screen object, and the user interface may be pre-stored in the autostereoscopic 3D display device 1 or received in real time from a server (not shown). Additionally, the screen object is a color pattern for a pixel and a combination of pixels included in the display module 120, and may be implemented in the form of an image, video, or text, but is not limited thereto. For example, if the glasses-free stereoscopic image display device 1 is designed as a kiosk, the screen object may be implemented in the form of a button, and when the user selects the button, a preset operation command may be input to the user interface. there is.

일 실시예에 따르면, 디스플레이 모듈(120)은, 입체영상을 구현하기 위하여 화면의 전방 일 영역에 배치되는 렌티큘러 렌즈를 포함할 수 있다. 여기서, 렌티큘러 렌즈는 복수의 볼록렌즈가 화면과 평행하게 나란히 배열된 것이다. 렌티큘러 렌즈의 특성상, 볼록렌즈는 반원통형으로 형성될 수 있으나, 볼록한 방향이나 형상이 본 발명을 제한하는 것은 아니다. 이러한 디스플레이 모듈(120)의 구조적인 특성에 의해 화면 상에 배치되는 화면 객체가 실제로는 사용자에게 돌출 객체로 표현되어 인식된다. 여기서, 돌출 객체는 사용자의 양안시차에 따라 화면 객체가 입체적으로 구현되는 이미지(또는 영상, 텍스트)로서, 도 3을 활용하여 설명하도록 한다.According to one embodiment, the display module 120 may include a lenticular lens disposed in a front area of the screen to implement a three-dimensional image. Here, the lenticular lens is a plurality of convex lenses arranged parallel to the screen. Due to the characteristics of the lenticular lens, the convex lens may be formed in a semi-cylindrical shape, but the convex direction or shape does not limit the present invention. Due to the structural characteristics of the display module 120, screen objects placed on the screen are actually represented and recognized by the user as protruding objects. Here, the salient object is an image (or video, text) in which a screen object is realized three-dimensionally according to the user's binocular disparity, and will be explained using FIG. 3.

도 3은 본 발명의 일 실시예에 따르는 디스플레이 모듈의 동작을 설명하기 위한 개념도이다.Figure 3 is a conceptual diagram for explaining the operation of a display module according to an embodiment of the present invention.

도 3을 참조하면, 화면 객체(30)는 우안 영상(31) 및 좌안 영상(32)으로 구성될 수 있다. 우안 영상(31)은 화면 객체(30)를 이루는 픽셀의 제1색상패턴이며, 좌안 영상(32)은 화면 객체(30)를 이루는 또 다른 픽셀의 제2색상패턴을 의미할 수 있다. 우안 영상(31) 및 좌안 영상(32)은 기 설정된 간격을 가지고 화면(10)에 교번하여 배치되도록 디스플레이 모듈(120)에 설정된다. 예를 들어, 화면 객체(30)가 사용자 인터페이스 내 특정 버튼인 경우, 두 개의 버튼 이미지가 화면 상에 일정 간격을 가지고 교번하여 배치된다. 프로세서(130)는 센싱 모듈(110)에 의해 감지된 시청위치에 따라 화면 상의 우안 영상(31) 및 좌안 영상(32)의 배열을 조정한다. 이로써, 우안 영상(31)은 사용자의 우안으로, 좌안 영상(32)은 좌안으로 정확하게 입사되어 동공 간 거리(약 65mm 정도)에 따른 양안시차를 발생시킨다. 이에 따라, 화면 객체(30)에 대응하는 돌출 객체(40)가 구현되며 이는 화면(10)에서 돌출되어 공간 상에 표시된다. 즉, 사용자가 화면(10)을 바라보았을 때, 좌안과 우안을 통해 보이는 화면 객체(30)의 차이에 따라 실제적으로는 돌출 객체(40)를 인식하게 되어 입체감을 느끼게 된다.Referring to FIG. 3, the screen object 30 may be composed of a right eye image 31 and a left eye image 32. The right eye image 31 may represent a first color pattern of a pixel forming the screen object 30, and the left eye image 32 may represent a second color pattern of another pixel forming the screen object 30. The right eye image 31 and the left eye image 32 are set in the display module 120 to be alternately arranged on the screen 10 at preset intervals. For example, when the screen object 30 is a specific button in the user interface, two button images are alternately arranged at regular intervals on the screen. The processor 130 adjusts the arrangement of the right eye image 31 and the left eye image 32 on the screen according to the viewing position detected by the sensing module 110. As a result, the right eye image 31 is accurately incident on the user's right eye, and the left eye image 32 is accurately incident on the user's left eye, generating binocular parallax according to the interpupillary distance (approximately 65 mm). Accordingly, a protruding object 40 corresponding to the screen object 30 is implemented, which protrudes from the screen 10 and is displayed in space. That is, when the user looks at the screen 10, the protruding object 40 is actually recognized according to the difference between the screen object 30 seen through the left eye and the right eye, and a three-dimensional effect is felt.

일 실시예에 따르면, 디스플레이 모듈(120)은 가상의 평면(20)을 생성한다. 가상의 평면(20)은 사용자에게 공간터치 기능을 제공하는 공간 상의 특정 영역으로서, 사용자의 손 끝이 가상의 평면(20)에 도달하게 되면 프로세서(130)는 사용자의 터치 입력이 수행된 것으로 인식하게 된다. 이와 관련, 디스플레이 모듈(120)은 가상의 평면(20) 상에서의 터치를 감지하기 위한 적외선 센서(Infrared ray sensor, IR sensor)를 포함할 수 있으나, 감지 수단이 이에 한정되는 것은 아니다. 가상의 평면(20)은 화면(10)의 전방에 구현되어 사용자와 화면(10) 사이에 배치되며, 면적, 형상 및 방향이 특별히 한정되는 것은 아니나, 화면(10)과 동일한 면적 및 형상으로 구현되고 화면(10)과 평행하게 배치되는 것이 바람직하다.According to one embodiment, the display module 120 creates a virtual plane 20. The virtual plane 20 is a specific area in space that provides a spatial touch function to the user. When the user's fingertip reaches the virtual plane 20, the processor 130 recognizes that the user's touch input has been performed. I do it. In this regard, the display module 120 may include an infrared ray sensor (IR sensor) for detecting a touch on the virtual plane 20, but the sensing means is not limited thereto. The virtual plane 20 is implemented in front of the screen 10 and placed between the user and the screen 10. The area, shape, and direction are not particularly limited, but is implemented with the same area and shape as the screen 10. and is preferably arranged parallel to the screen 10.

도 3을 참조하면, 디스플레이 모듈(120)은 가상의 평면(20)을 화면(10)과 기 설정된 이격 거리(d)로 이격시켜 구현한다. 여기서, 이격 거리(d)는 돌출 객체(40)가 화면(10)에서 돌출될 수 있는 최대 거리를 넘지 않는 범위 내에서 설정되는 것이 바람직하다. 또한, 이격 거리(d)는 무안경 입체영상 표시장치(1)의 취지, 사용목적, 크기, 면적, 주사용자 등이 고려되어 설정될 수 있으나 나열된 기준에 한정되는 것은 아니다. 예를 들어, 키오스크인 경우에는 10cm 이하로 다소 짧게 설정되는 것이 사용 상 용이하고, 개인용 터치 TV인 경우 편의를 위해 상대적으로 길게 설정될 수 있다. 또한, 디스플레이 모듈(120)은 이격 거리(d)의 조정 기능을 포함하도록 설계될 수 있으며, 이러한 경우 사용자는 원하는 이격 거리(d)를 기 설정된 범위 내에서 임의로 설정할 수 있다. 한편 도 3의 도시와 같이, 디스플레이 모듈(120)은 돌출 객체(40)를 가상의 평면(20)에 표시하여 사용자에게 터치의 대상 및 위치를 시각적으로 보여주는데, 이 과정에서 사용자의 시청위치가 반영되며, 상세한 내용은 도 4 및 도 5를 이용하여 설명하도록 한다.Referring to FIG. 3, the display module 120 is implemented by separating the virtual plane 20 from the screen 10 by a preset distance d. Here, the separation distance d is preferably set within a range that does not exceed the maximum distance at which the protruding object 40 can protrude from the screen 10. In addition, the separation distance (d) may be set considering the purpose, purpose of use, size, area, main user, etc. of the glasses-free stereoscopic image display device 1, but is not limited to the listed standards. For example, in the case of a kiosk, it can be set somewhat short (less than 10 cm) for ease of use, and in the case of a personal touch TV, it can be set relatively long for convenience. Additionally, the display module 120 may be designed to include a function for adjusting the separation distance (d), and in this case, the user can arbitrarily set the desired separation distance (d) within a preset range. Meanwhile, as shown in FIG. 3, the display module 120 displays the protruding object 40 on the virtual plane 20 to visually show the user the object and location of the touch, and in this process, the user's viewing position is reflected. , and detailed information will be explained using FIGS. 4 and 5.

도 4는 본 발명의 일 실시예에 따르는 돌출 객체가 사용자의 위치에 따라 가상의 평면에 투영되는 태양을 보여주는 예시도이다. 도 5는 본 발명의 일 실시예에 따르는 돌출 객체를 가상의 평면에 투영시키는 동작을 설명하기 위한 개념도이다.Figure 4 is an exemplary diagram showing a protruding object projected onto a virtual plane according to the user's location according to an embodiment of the present invention. FIG. 5 is a conceptual diagram illustrating an operation of projecting a protruding object onto a virtual plane according to an embodiment of the present invention.

무안경 입체영상 기술의 특성 상, 사용자의 신체 조건이나, 자세, 화면(10)을 바라보는 방향 및 각도, 화면(10)과의 상대적인 거리 등에 따라 돌출 객체(40)가 화면(10)에서 돌출되는 거리 또한 달라지게 된다. 이러한 경우, 돌출 객체(40)가 구현되는 공간이 가상의 평면(20)과 항상 일치한다고 볼 수 없어 사용자가 눈으로 인식하는 위치와 터치가 이루어지는 위치 사이에 괴리가 발생하게 된다.Due to the characteristics of glasses-free stereoscopic imaging technology, the protruding object 40 protrudes from the screen 10 depending on the user's physical condition, posture, direction and angle of looking at the screen 10, relative distance from the screen 10, etc. The distance also varies. In this case, the space in which the protruding object 40 is implemented cannot be considered to always coincide with the virtual plane 20, resulting in a discrepancy between the position recognized by the user's eyes and the position where the touch is made.

이와 관련하여, 일 실시예에 따르는 프로세서(130)는, 돌출 객체(40)가 가상의 평면(20)에 투영되도록 디스플레이 모듈(120)을 제어하는 이미지 투영부(131)를 포함할 수 있다.In this regard, the processor 130 according to one embodiment may include an image projection unit 131 that controls the display module 120 so that the protruding object 40 is projected on the virtual plane 20.

도 4를 참조하면, 이미지 투영부(131)는, 입체적으로 구현되는 돌출 객체(40)를 가상의 평면(20)에 투영하며, 투영한 상태를 유지한다. 구체적으로, 사용자가 화면(10)을 바라보면, 화면(10) 상의 화면 객체(30)에 대한 돌출 객체(40)가 화면(10)에서 돌출되어 공간 상에 표시된다. 이 때, 이미지 투영부(131)는 센싱 모듈(110)에 의해 감지된 시청위치에 따라 돌출 객체(40)가 표시되는 공간이 가상의 평면(20)에 일치되도록 디스플레이 모듈(120)을 제어한다. 예를 들어, 도 4에 도시된 바와 같이, 이미지 투영부(131)는 가상의 평면(20) 중에서 사용자의 시점과 화면 객체(30)를 잇는 직선이 통과하는 영역에 돌출 객체(40)를 표시하게 한다. 이에 따라 사용자의 시선에 돌출 객체(40)가 정확하게 위치하게 된다. 또한, 도 4에 도시된 바와 같이, 사용자의 시청위치가 변경되면, 이미지 투영부(131)는 센싱 모듈(110)로부터 변경된 시청위치를 수신하고, 이에 대응하여 돌출 객체(40)의 위치를 조정하며, 이 때 돌출 객체(40)가 화면(10)에서 돌출되는 거리는 화면(10)과 가상의 평면(20)의 이격 거리(d)로 유지된다.Referring to FIG. 4, the image projection unit 131 projects the three-dimensionally implemented protruding object 40 onto the virtual plane 20 and maintains the projected state. Specifically, when the user looks at the screen 10, the protruding object 40 for the screen object 30 on the screen 10 protrudes from the screen 10 and is displayed in space. At this time, the image projection unit 131 controls the display module 120 so that the space where the protruding object 40 is displayed matches the virtual plane 20 according to the viewing position detected by the sensing module 110. . For example, as shown in FIG. 4, the image projection unit 131 displays the protruding object 40 in an area of the virtual plane 20 through which a straight line connecting the user's viewpoint and the screen object 30 passes. Let's do it. Accordingly, the protruding object 40 is accurately positioned in the user's line of sight. In addition, as shown in FIG. 4, when the user's viewing position changes, the image projection unit 131 receives the changed viewing position from the sensing module 110 and adjusts the position of the protruding object 40 in response. At this time, the distance at which the protruding object 40 protrudes from the screen 10 is maintained as the separation distance d between the screen 10 and the virtual plane 20.

일 실시예에 따르면, 이미지 투영부(131)는 시청위치에 따라 화면 객체(30)에 대한 우안 영상(31)과 좌안 영상(32) 사이의 간격을 조정하는 방법으로 돌출 객체(40)가 표시되는 공간을 가상의 평면(20)에 일치시킬 수 있다. 구체적으로, 이미지 투영부(131)는 시청위치와 가상의 평면(20) 사이 간 거리(L)와 사용자의 동공 사이의 거리(b)에 대한 비율을 산출하고, 산출된 비율 및 화면(10)과 가상의 평면(20) 간 이격 거리(d)에 기초하여 우안 영상(31) 및 좌안 영상(32) 사이의 간격(a)을 조정할 수 있다. 이 때 도 5를 참조하면, b : L = a : d 의 비례식이 적용된다.According to one embodiment, the image projection unit 131 displays the protruding object 40 by adjusting the gap between the right eye image 31 and the left eye image 32 for the screen object 30 according to the viewing position. The space can be aligned with the virtual plane 20. Specifically, the image projection unit 131 calculates the ratio of the distance (L) between the viewing position and the virtual plane 20 and the distance (b) between the user's pupils, and displays the calculated ratio and the screen 10. The gap (a) between the right eye image 31 and the left eye image 32 can be adjusted based on the separation distance (d) between the and the virtual plane 20. At this time, referring to FIG. 5, the proportional equation b:L = a:d is applied.

즉, 이미지 투영부(131)는 아래 수식1을 적용하여 우안 영상(31) 및 좌안 영상(32) 사이의 간격(a)을 산출하고, 해당 간격(a)으로 우안 영상(31) 및 좌안 영상(32)의 배열을 변경하도록 디스플레이 모듈(120)을 제어할 수 있다.That is, the image projection unit 131 calculates the interval (a) between the right eye image 31 and the left eye image 32 by applying Equation 1 below, and calculates the interval (a) between the right eye image 31 and the left eye image The display module 120 can be controlled to change the arrangement of 32 .

[수식 1][Formula 1]

이와 같이, 본 발명의 일 실시예에 따르면, 가상의 터치 공간 상에 터치 대상이 되는 입체 이미지 또는 영상이 구현되며 이는 사용자의 위치가 변경되더라도 시선에 맞게 유지된다. 따라서, 종래와 다르게 사용자는 터치 위치를 육안으로 확인할 수 있어 정확한 터치가 이루어지게 되며, 이와 동시에 사용자의 신체 조건이나 위치에 영향을 받지 않으므로 자유도 및 편의성이 보장된다.In this way, according to an embodiment of the present invention, a three-dimensional image or video that is a touch target is implemented in a virtual touch space and is maintained according to the user's line of sight even if the user's position changes. Therefore, unlike in the past, the user can visually check the touch location, enabling accurate touch. At the same time, freedom and convenience are guaranteed because it is not affected by the user's physical condition or location.

한편, 공간터치 방식은 실물이 아닌 가상의 공간에서 터치가 이루어 지기 때문에, 실제로 입력이 되었는지 여부를 알리는 효과를 사용자에게 제공할 필요가 있다. 이와 관련하여, 종래에는 소리나 빛, 진동과 같은 별도의 이벤트를 발생시키는 기능의 도입이 고려되었으나, 이는 부가 장치가 요구되고 현실감이 다소 떨어지는 한계가 존재하였다.On the other hand, since the spatial touch method involves touching in a virtual space rather than a physical space, it is necessary to provide the user with an effect of notifying whether an input has actually been made. In relation to this, the introduction of a function that generates a separate event such as sound, light, or vibration was considered, but this had the limitation of requiring an additional device and somewhat reducing realism.

이러한 한계를 극복하고자, 본 발명은, 사용자가 가상의 평면을 터치하는 데에 있어 실제 버튼을 누르는 듯한 효과를 제공하는 실시예를 개시하며, 도 6을 활용하여 이를 설명하도록 한다. 도 6은 본 발명의 일 실시예에 따르는 돌출 객체가 눌려지는 시각적 효과를 제공하는 동작을 설명하기 위한 개념도이다.In order to overcome these limitations, the present invention discloses an embodiment that provides the effect of pressing a real button when the user touches a virtual plane, and this is explained using FIG. 6. FIG. 6 is a conceptual diagram illustrating an operation for providing a visual effect in which a protruding object is pressed according to an embodiment of the present invention.

일 실시예에 따르면, 디스플레이 모듈(120)은, 가상의 평면(20)에 표시된 서로 다른 돌출 객체마다 화면(10)에 대한 깊이값을 독립적으로 제어 가능하도록 설계될 수 있다. 즉, 디스플레이 모듈(120)은, 사용자가 가상의 평면(20)에서 특정한 돌출 객체(40)를 공간터치하면, 해당 돌출 객체(40)의 화면(10)에 대한 깊이값을 변경하되, 다른 돌출 객체의 깊이값은 유지할 수 있다.According to one embodiment, the display module 120 may be designed to independently control the depth value of the screen 10 for each different protruding object displayed on the virtual plane 20. That is, when the user spatially touches a specific protruding object 40 on the virtual plane 20, the display module 120 changes the depth value of the protruding object 40 on the screen 10, but displays another protruding object 40. The depth value of the object can be maintained.

깊이값을 변경하는 일 실시예로서, 도 6을 참조하면, 디스플레이 모듈(120)은 사용자에 의해 터치된 돌출 객체(40)가 화면(10)에 점차 가까워지도록, 해당 돌출 객체(40)가 표시된 부분의 가상의 평면(20)의 위치를 시간에 따라 순차적으로 변경한다. 즉, 디스플레이 모듈(120)은 돌출 객체(40)의 터치 입력의 발생 시점(t0)부터, 시간에 따른 기 설정된 변화율로 화면(10)과 해당 돌출 객체(40)가 표시된 부분의 가상의 평면(20) 간 이격 거리(d)를 줄여나가는 동작을 수행하며, 이러한 동작은 아래 수식2로 정의될 수 있다.As an example of changing the depth value, referring to FIG. 6, the display module 120 displays the protruding object 40 touched by the user so that it gradually approaches the screen 10. The position of the virtual plane 20 of the part is sequentially changed according to time. That is, the display module 120 changes the virtual plane of the portion where the screen 10 and the corresponding protruding object 40 are displayed at a preset rate of change over time from the point of occurrence (t 0 ) of the touch input of the protruding object 40. (20) An operation is performed to reduce the separation distance (d), and this operation can be defined by Equation 2 below.

[수식 2][Formula 2]

여기서 T는, 돌출 객체(40)의 터치가 발생한 시점부터 돌출 객체(40)에 설정된 사용자 인터페이스의 동작이 수행될 때까지 걸리는 총 시간을 의미하고 이는 미리 설정되어 있는 값이다. 따라서, 이격 거리(d)가 감소하는 변화율은 ΔL(t/T)이며, t=t0부터 t=T가 되는 동안 시간에 따라 이격 거리(d)는 순차적으로 감소하고, 최종적으로 해당 부분의 가상의 평면(20)과 화면(10) 사이의 거리는 d-ΔL로 조정된다.Here, T refers to the total time taken from the time the protruding object 40 is touched until the operation of the user interface set for the protruding object 40 is performed, and this is a preset value. Therefore, the rate of change at which the separation distance (d) decreases is ΔL(t/T), and from t=t0 to t=T, the separation distance (d) sequentially decreases over time, and finally, the virtual The distance between the plane 20 and the screen 10 is adjusted to d-ΔL.

이어지는 실시예로서, 터치에 따른 가상의 평면(20)의 위치 변경에 대응하여 이미지 투영부(131)는 터치된 돌출 객체(40)가 가상의 평면에 투영되는 현상을 유지하는 동작을 수행한다. 즉, 해당 돌출 객체(40)에 대한 화면 객체(30)의 우안 영상(31) 및 좌안 영상(32) 사이의 간격(a)을 이격 거리(d)의 변화율(ΔL(t/T))에 따라 변경하여, 돌출 객체(40)가 돌출되는 거리를 d'로 일치시킬 수 있다. 이러한 동작은 수식 1 및 수식 2에 의해 도출된 아래의 수식 3으로 정의될 수 있다.As a subsequent example, in response to a change in the position of the virtual plane 20 due to a touch, the image projection unit 131 performs an operation to maintain the projection of the touched protruding object 40 on the virtual plane. That is, the gap (a) between the right-eye image 31 and the left-eye image 32 of the screen object 30 for the corresponding protruding object 40 is divided by the rate of change (ΔL(t/T)) of the separation distance (d). By changing it accordingly, the distance at which the protruding object 40 protrudes can be matched to d'. This operation can be defined as Equation 3 below derived from Equation 1 and Equation 2.

[수식 3][Formula 3]

이와 같이, 사용자는 가상의 평면(20)에서 돌출 객체(40)를 터치하면 손가락이 들어가면서 키보드처럼 눌려지는 느낌을 받게 된다. 따라서, 실제 실물 버튼을 누르는 것과 유사한 상황이 공간 상에서 연출되므로 현실감을 최대한으로 불러일으키는 효과가 도모된다.In this way, when the user touches the protruding object 40 on the virtual plane 20, his or her finger moves in and feels like a keyboard is being pressed. Therefore, a situation similar to pressing an actual button is created in space, thereby maximizing the sense of reality.

본 발명의 일 실시예에 따르면, 프로세서(130)는 무안경 입체영상 표시장치(1)가 설치된 공간 상의 각 위치를 공간 좌표계를 통하여 인식할 수 있는데, 도 7을 활용하여 이를 설명하도록 한다. 도 7은 본 발명의 일 실시예에 따르는 공간 좌표계를 설명하기 위한 개념도이다.According to one embodiment of the present invention, the processor 130 can recognize each location in space where the autostereoscopic image display device 1 is installed through a spatial coordinate system. This will be explained using FIG. 7. Figure 7 is a conceptual diagram for explaining a spatial coordinate system according to an embodiment of the present invention.

도 7을 참조하면, 프로세서(130)는 화면(10)을 이루는 각 지점 및 가상의 평면(20)을 이루는 각 지점을 좌표값으로 인식할 수 있다. 이 때, 좌표값은 프로세서(130)에 미리 설정된 공간 좌표계를 따르며, 공간 좌표계는 화면(10)의 수평 방향과 수직 방향 및 법선 방향에 기초하여 각 축이 설정될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 공간 좌표계는 화면(10)의 일 꼭지점을 원점으로 하여 수평 방향이 x축, 수직 방향이 y축, 사용자를 향하는 법선 방향이 z축으로 설정될 수 있다. 이러한 경우, 사용자에 의해 가상의 평면(20) 상에서 터치된 지점을 (xtch, ytch, d), 실제 사용자가 터치하려고 했던 화면(10) 상의 지점을 (x, y, 0)으로 정의할 수 있다. 한편, 가상의 평면(20)의 모든 지점에 대한 z성분은 "이격 거리(d)"이고, 화면(10)의 모든 지점에 대한 z성분은 "0"이므로, 연산 감축을 위해 z성분이 고정된 상수로 간주되어 화면(10) 및 가상의 평면(20)에 대한 각 지점은 x 및 y축의 평면 좌표계로 해석될 수 있다.Referring to FIG. 7 , the processor 130 may recognize each point forming the screen 10 and each point forming the virtual plane 20 as coordinate values. At this time, the coordinate values follow a spatial coordinate system preset in the processor 130, and each axis of the spatial coordinate system may be set based on the horizontal direction, vertical direction, and normal direction of the screen 10. For example, as shown in FIG. 7, the spatial coordinate system can be set as the x-axis in the horizontal direction, the y-axis in the vertical direction, and the z-axis as the normal direction toward the user, with one vertex of the screen 10 as the origin. there is. In this case, the point touched by the user on the virtual plane 20 is defined as (x tch , y tch , d), and the point on the screen 10 that the actual user attempted to touch is defined as (x, y, 0). You can. Meanwhile, the z component for all points on the virtual plane 20 is "separation distance (d)", and the z component for all points on the screen 10 is "0", so the z component is fixed to reduce computation. Each point on the screen 10 and the virtual plane 20 can be interpreted as a plane coordinate system of the x and y axes.

일 실시예에 따르면, 공간 좌표계의 x축 및 y축에 대한 좌표값은 화면(10)을 구성하는 각각의 픽셀마다 매칭되어 저장될 수 있다. 즉, 화면(10)과 가상의 평면(20)에 해당하는 영역에 설정된 평면 좌표값은 디스플레이 모듈(120)의 해상도를 기초로 각각의 픽셀에 대응하여 할당될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 디스플레이 모듈(120)의 해상도가 3840*2160인 경우, 사용자의 공간터치가 가능한 범위는 (0, 0)부터 (3840, 2160) 사이로 설정될 수 있다.According to one embodiment, coordinate values for the x-axis and y-axis of the spatial coordinate system may be matched and stored for each pixel constituting the screen 10. That is, the plane coordinate values set in the area corresponding to the screen 10 and the virtual plane 20 may be assigned to each pixel based on the resolution of the display module 120. For example, as shown in FIG. 7, when the resolution of the display module 120 is 3840*2160, the range in which the user can touch the space can be set between (0, 0) and (3840, 2160). .

일 실시예에 따르면, 프로세서(130)는 센싱 모듈(110)에 의해 감지된 사용자의 시청위치를 공간 좌표계의 좌표값으로 인식할 수 있으며, 시청위치는 (xeye, yeye, zeye)로 정의될 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 센싱 모듈(110)은 추적된 사용자의 시점과 화면(10)을 수직으로 연결하는 직선이 화면(10)과 만나는 지점에 기초하여 x성분 및 y성분을 획득할 수 있다. 즉, 사용자의 시점과 일직선 상에 위치하는 픽셀에 매칭된 좌표값(xeye, yeye)이 획득될 수 있다. 또한, 센싱 모듈(110)은 직선이 가상의 평면(20)과 만나는 지점과 사용자의 시점 간 거리를 산출하고, 이를 시청위치에 대한 z성분(zeye)으로 획득할 수 있다. 센싱 모듈(110)은 획득된 x성분, y성분 및 z성분을 프로세서(130)로 전달하며, 프로세서(130)는 수신된 좌표값을 사용자의 시청위치로 인식하게 된다.According to one embodiment, the processor 130 may recognize the user's viewing position detected by the sensing module 110 as a coordinate value in a spatial coordinate system, and the viewing position is expressed as (x eye , y eye , z eye ). can be defined. For example, as shown in FIG. 8, the sensing module 110 determines the can be obtained. That is, coordinate values (x eye , y eye ) matching pixels located on a straight line with the user's viewpoint can be obtained. Additionally, the sensing module 110 can calculate the distance between the point where a straight line meets the virtual plane 20 and the user's viewpoint, and obtain this as the z component (z eye ) for the viewing position. The sensing module 110 transmits the obtained x-component, y-component, and z-component to the processor 130, and the processor 130 recognizes the received coordinate value as the user's viewing position.

한편, 공간터치 방식은 화면과 터치가 이루어지는 공간이 서로 다르므로, 이들의 거리 차에 따른 터치 인식의 오차가 발생할 우려가 있다. 이러한 오인식을 해결하기 위하여, 일 실시예에 따르는 프로세서(130)는, 특정 돌출 객체에 대한 사용자의 터치 입력에 응답하여 해당 돌출 객체에 대응하는 화면 객체를 식별하는 객체 식별부(132)를 포함할 수 있다. 이하, 도 9 및 도 10을 활용하여, 객체 식별부(132)의 동작에 대한 일 실시예를 설명하도록 한다.Meanwhile, in the spatial touch method, since the screen and the space where the touch occurs are different from each other, there is a risk of errors in touch recognition due to the difference in distance between them. In order to solve this misrecognition, the processor 130 according to one embodiment may include an object identification unit 132 that identifies a screen object corresponding to a specific protruding object in response to a user's touch input for the protruding object. You can. Hereinafter, an embodiment of the operation of the object identification unit 132 will be described using FIGS. 9 and 10.

도 9 는 본 발명의 일 실시예에 따르는 돌출 객체에 대한 터치에 응답하여 화면 객체를 식별하기 위한 동작을 설명하기 위한 개념도이다.FIG. 9 is a conceptual diagram illustrating an operation for identifying a screen object in response to a touch on a protruding object according to an embodiment of the present invention.

오인식에 대한 구체적인 상황을 도 9(a)를 활용하여 예로 들면, 터치하고자 하는 화면 객체(30)가 사용자의 시점 아래에 있다면, 터치를 하기 위한 손가락은 시선을 따라 위에서 아래로 내려오게 된다. 만약, 시선의 방향이 45도 기울어져 있다면, 손가락의 모션은 45도 내외의 각도로 이동하게 된다. 이 때, 이격 거리(d)가 10cm라면, 손가락은 화면 객체(30) 보다 10cm 전방의 가상의 평면(20)을 통과하게 된다. 이에 따라, 프로세서(130)는 실제 터치하고자 했던 화면(10) 상의 지점보다 10cm 떨어지고 각도에 따라 Δy만큼 차이나는 지점이 터치된 것으로 오인식하게 되는 것이다. 즉, 도 9(b)를 참조하면, 사용자가 의도한 사용자 인터페이스의 명령이 수행되기 위해서는, 화면 객체의 좌표값(x, y)이 프로세서(130)에 의해 인식되어야 하나, 가상의 평면(20)에서 터치가 이루어진 돌출 객체의 좌표값(xtch, ytch)이 인식되는 현상이 발생할 수 있다.Taking a specific situation regarding misrecognition as an example using FIG. 9(a), if the screen object 30 to be touched is below the user's viewpoint, the finger for touching comes down from top to bottom along the gaze. If the direction of gaze is tilted at 45 degrees, the finger motion moves at an angle of around 45 degrees. At this time, if the separation distance d is 10 cm, the finger passes through the virtual plane 20 10 cm ahead of the screen object 30. Accordingly, the processor 130 mistakenly recognizes that a point that is 10 cm away from the point on the screen 10 that was actually intended to be touched and that differs by Δy depending on the angle has been touched. That is, referring to FIG. 9(b), in order for the user interface command intended by the user to be performed, the coordinate values (x, y) of the screen object must be recognized by the processor 130, but the virtual plane 20 ), a phenomenon may occur in which the coordinate values (x tch , y tch ) of the protruding object that was touched are recognized.

이와 관련하여, 객체 식별부(132)는 시청위치 및 화면(10)과 가상의 평면(20) 사이의 이격 거리(d)에 기초하여 화면 객체에 해당하는 좌표값(x, y, 0)을 획득할 수 있다. 구체적으로, 특정 돌출 객체에 포함된 임의의 지점에 대한 사용자의 터치 입력에 응답하여, 객체 식별부(132)는 시청위치로 인식되는 제1좌표값(91)과 임의의 지점으로 인식되는 제2좌표값(92)을 연결하는 직선(90)을 생성한다. 이후, 객체 식별부(132)는 직선을 화면(10)의 방향으로 연장하고, 연장된 직선이 화면(10)과 만나는 지점을 확인한다. 객체 식별부(132)는 확인된 화면(10) 상의 지점에 대한 제3좌표값(93)을 획득할 수 있으며, 제3좌표값(93)에 배치된 화면 객체가 무엇인지 식별할 수 있다. 결론적으로, 객체 식별부(132)에 의해 프로세서(130)는 사용자가 선택하고자 하였던 화면 객체가 터치된 것으로 인식하게 되며, 이에 따라 이격 거리(d)에 의해 발생하는 인식의 오류가 보완될 수 있다.In this regard, the object identification unit 132 determines coordinate values (x, y, 0) corresponding to the screen object based on the viewing position and the separation distance (d) between the screen 10 and the virtual plane 20. It can be obtained. Specifically, in response to a user's touch input for an arbitrary point included in a specific protruding object, the object identification unit 132 generates a first coordinate value 91 recognized as a viewing position and a second coordinate value recognized as an arbitrary point. A straight line (90) connecting the coordinate values (92) is created. Afterwards, the object identification unit 132 extends a straight line in the direction of the screen 10 and confirms the point where the extended straight line meets the screen 10. The object identification unit 132 can obtain a third coordinate value 93 for the identified point on the screen 10 and identify the screen object placed at the third coordinate value 93. In conclusion, the object identification unit 132 causes the processor 130 to recognize that the screen object that the user wanted to select has been touched, and thus the recognition error caused by the separation distance d can be compensated. .

도 10은 본 발명의 일 실시예에 따르는 가상의 평면 상의 터치 위치를 실제 화면 상의 위치로 보정하는 동작을 설명하기 위한 개념도이다.FIG. 10 is a conceptual diagram illustrating an operation of correcting a touch position on a virtual plane to a position on an actual screen according to an embodiment of the present invention.

객체 식별부(132)는, 삼각형 닮음 조건을 기반으로 하는 연산을 수행하여 가상의 평면(20) 상에서 터치된 지점의 좌표값을 화면(10) 상의 좌표값으로 보정할 수 있다. 구체적으로, 센싱 모듈(110)에 의해 사용자의 시청위치에 대한 좌표값(xeye, yeye, zeye)이 획득되며, 가상의 평면(20)에서 사용자의 터치가 발생하면, 해당 지점에 대한 좌표값(xtch, ytch, (d))이 획득된다. 이에 따라, 도 10에 도시된 바와 같이, (xeye, yeye, zeye), (xtch, ytch), 가상의 평면(20) 및 화면(10)을 통해, 2개의 삼각형(t1, t2)이 구현되며, 이들은 (xeye, yeye, zeye)에서 (xtch, ytch, d)를 지나 화면(10)까지 도달하는 직선이 공통되므로, "두 쌍의 대응하는 변의 길이의 비가 같고 그 끼인 각의 크기가 같을 경우"의 닮음꼴 공식이 성립하게 된다.The object identification unit 132 may correct the coordinate value of the touched point on the virtual plane 20 to the coordinate value on the screen 10 by performing an operation based on the triangle similarity condition. Specifically, coordinate values (x eye , y eye , z eye ) for the user's viewing position are obtained by the sensing module 110, and when the user touches the virtual plane 20, the coordinates for the corresponding point are obtained. Coordinate values (x tch , y tch , (d)) are obtained. Accordingly, as shown in Figure 10, (x eye , y eye , z eye ), (x tch , y tch ), through the virtual plane 20 and the screen 10, two triangles (t1, t2) is implemented, and since they have a common straight line extending from (x eye , y eye , z eye ) through (x tch , y tch , d) to the screen 10, "the length of the two pairs of corresponding sides If the ratios are the same and the sizes of the included angles are the same, the "similarity formula" is established.

즉, (xtch-xeye) : zeye = Δ x : d 및 (ytch-yeye) : zeye = Δ y : d의 관계가 성립된다. 따라서, 객체 식별부(132)는 아래의 수식 4를 적용하여 사용자가 터치한 좌표값(xtch, ytch)에 대한 보정값(Δ x, Δ y)을 산출할 수 있다.That is, the relationships (x tch -x eye ):z eye = Δx:d and (y tch -y eye ):z eye = Δy:d are established. Accordingly, the object identification unit 132 can calculate correction values (Δ x, Δ y) for the coordinate values (x tch , y tch ) touched by the user by applying Equation 4 below.

[수식 4][Formula 4]

이에 따라, 사용자가 가상의 평면(20)에서 터치한 지점에 대하여, 보정값(Δ x, Δ y)이 적용된 화면(10) 상의 좌표값(x, y)이 획득되며, 객체 식별부(132)는 (x, y, 0)을 사용자가 터치 입력한 지점으로 식별하게 되어, 이격 거리(d)에 의해 발생하는 인식의 오류가 보완될 수 있다.Accordingly, for the point touched by the user on the virtual plane 20, coordinate values (x, y) on the screen 10 to which correction values (Δ x, Δ y) are applied are obtained, and the object identification unit 132 ) identifies (x, y, 0) as the point where the user touched input, so recognition errors caused by the separation distance (d) can be compensated for.

이하, 도 11을 참조하여, 무안경 입체영상 표시장치의 동작 방법에 대한 일 실시예를 설명하도록 한다. 도 11은 본 발명의 일 실시예에 따르는 공간터치 입력기능을 제공하기 위한 무안경 입체영상 표시장치의 동작 방법에 대한 순서도이며, 중복되는 내용은 전술한 내용으로 갈음하도록 한다.Hereinafter, with reference to FIG. 11, an embodiment of a method of operating a glasses-free stereoscopic image display device will be described. Figure 11 is a flowchart of a method of operating a glasses-free stereoscopic image display device for providing a spatial touch input function according to an embodiment of the present invention, and overlapping content will be replaced with the above-described content.

단계 S111에서, 무안경 입체영상 표시장치는 무안경 입체영상을 구현하기 위한 적어도 하나 이상의 화면 객체를 디스플레이 모듈의 화면에 배치한다.In step S111, the autostereoscopic 3D image display device arranges at least one screen object for implementing the autostereoscopic 3D image on the screen of the display module.

단계 S112에서, 사용자가 감지 범위에 입장하면, 무안경 입체영상 표시장치는 사용자의 시점을 추적하여 상기 사용자의 시청위치를 감지한다. 즉, 시청위치에 대한 좌표값(xeye, yeye, zeye)을 실시간으로 획득한다.In step S112, when the user enters the detection range, the glasses-free stereoscopic image display device tracks the user's viewpoint and detects the user's viewing position. In other words, coordinate values (x eye , y eye , z eye ) for the viewing position are acquired in real time.

단계 S113에서, 무안경 입체영상 표시장치는 사용자의 양안시차에 따라 화면 객체가 입체적으로 구현되는 돌출 객체를 화면에서 돌출시켜 공간 상에 표시한다. 즉, 돌출 객체의 입체감을 최적화하도록 우안으로 입사되는 화면 객체의 우안 영상 및 좌안으로 입사되는 좌안 영상의 배열을 조정한다.In step S113, the glasses-free stereoscopic image display device displays a protruding object in space, in which the screen object is realized in three dimensions, by protruding from the screen according to the user's binocular disparity. That is, the arrangement of the right-eye image of the screen object incident on the right eye and the left-eye image incident on the left eye are adjusted to optimize the three-dimensional effect of the protruding object.

단계 S114에서, 무안경 입체영상 표시장치는 공간터치가 가능한 가상의 평면을 화면과 기 설정된 이격 거리로 이격시켜 구현한다. 이 때, 감지한 시청위치에 기초하여 돌출 객체가 표시되는 공간을 가상의 평면과 일치시키는 동작을 수행한다. 이에 따라, 돌출 객체가 가상의 평면에 투영되며, 사용자는 빈 공간이 아닌 터치 대상이 되는 이미지 또는 영상을 육안으로 확인할 수 있어, 공간터치에 대한 가이드가 자연스럽게 구현되고 터치의 정확도가 보장된다.In step S114, the glasses-free stereoscopic image display device implements a virtual plane capable of spatial touch spaced apart from the screen at a preset distance. At this time, an operation is performed to match the space where the protruding object is displayed with the virtual plane based on the detected viewing position. Accordingly, the protruding object is projected onto the virtual plane, and the user can visually check the image or video that is the touch target rather than an empty space, so a guide to spatial touch is naturally implemented and accuracy of touch is guaranteed.

단계 S115에서, 특정 돌출 객체에 대한 사용자의 터치 입력 응답하여, 무안경 입체영상 표시장치는 감지된 시청위치를 기초로 해당 돌출 객체에 대응하는 화면 객체를 식별한다. 구체적인 실시예로서, 무안경 입체영상 표시장치는 사용자가 터치한 가상의 평면 상의 지점을 좌표값(xtch, ytch)으로 인식한다. 시청위치에 대한 좌표값(xeye, yeye, zeye)과 (xtch, ytch)을 연결하는 직선을 생성하고 생성된 직선이 디스플레이 모듈의 화면과 만나는 지점을 확인한다. 이후, 해당 지점의 좌표값(x, y)에 배치된 화면 객체를 식별하여 사용자가 선택한 것으로 인식하고, 식별된 화면 객체에 설정되어 있는 연계 동작을 수행한다. 이에 따라, 화면과 가상의 평면의 거리차로 인하여 화면 상의 (xtch, ytch)에 배치된 화면 객체로 오인식되는 현상이 방지되고, 정확한 서비스가 사용자에게 제공되게 된다.In step S115, in response to the user's touch input for a specific salient object, the autostereoscopic stereoscopic image display device identifies a screen object corresponding to the salient object based on the detected viewing position. As a specific example, a glasses-free stereoscopic image display device recognizes a point on a virtual plane touched by a user as coordinate values (x tch , y tch ). Create a straight line connecting the coordinate values (x eye , y eye , z eye ) of the viewing position and (x tch , y tch ) and check the point where the generated straight line meets the screen of the display module. Afterwards, the screen object placed at the coordinate value (x, y) of the corresponding point is identified and recognized as selected by the user, and the linked operation set for the identified screen object is performed. Accordingly, the phenomenon of being mistaken for a screen object placed at (x tch , y tch ) on the screen due to the distance difference between the screen and the virtual plane is prevented, and accurate services are provided to the user.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described with respect to specific embodiments, some or all of their components or operations may be implemented using a computer system having a general-purpose hardware architecture.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as single may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

1: 무안경 입체영상 표시장치
110: 센싱 모듈
120: 디스플레이 모듈
10: 화면
20: 가상의 평면
11: 평면 이미지
21: 입체 이미지
130: 프로세서
30: 화면 객체
31: 우안 영상
32: 좌안 영상
40: 돌출 객체1: Glasses-free stereoscopic image display device
110: Sensing module
120: display module
10: screen
20: Virtual plane
11: Plane image
21: Stereoscopic image
130: processor
30: Screen object
31: Right eye image
32: Left eye image
40: Extruded object

Claims (11)

공간터치 기능을 제공하는, 무안경 입체영상 표시장치에 있어서,
카메라를 통해 사용자의 시점을 추적하여 상기 사용자의 시청위치를 감지하는 센싱 모듈;
적어도 하나 이상의 화면 객체가 배치된 화면이 구성되며, 상기 화면과 기 설정된 이격 거리에 있는 공간터치가 가능한 가상의 평면 상에 상기 화면 객체의 무안경 입체영상인 돌출 객체를 표시하는 디스플레이 모듈; 및
상기 센싱 모듈로부터 감지된 사용자의 시청위치에 따라 상기 디스플레이 모듈을 제어하는 프로세서;를 포함하며,
상기 프로세서는,
상기 돌출 객체가 상기 가상의 평면에 투영되도록 상기 디스플레이 모듈을 제어하는 이미지 투영부 및 특정 돌출 객체에 대한 상기 사용자의 공간터치에 따라 상기 특정 돌출 객체에 대응하는 화면 객체를 식별하는 객체 식별부를 포함하는, 무안경 입체영상 표시장치.In a glasses-free stereoscopic image display device that provides a spatial touch function,
A sensing module that detects the user's viewing position by tracking the user's viewpoint through a camera;
A display module comprising a screen on which at least one screen object is arranged, and displaying a protruding object that is a glasses-free stereoscopic image of the screen object on a virtual plane capable of spatial touch at a preset distance from the screen; and
It includes a processor that controls the display module according to the user's viewing position detected by the sensing module,
The processor,
An image projection unit that controls the display module so that the protruding object is projected on the virtual plane, and an object identification unit that identifies a screen object corresponding to the specific protruding object according to the user's spatial touch on the specific protruding object. , Glasses-free stereoscopic image display device. 제 1항에 있어서,
상기 화면 객체는 상기 돌출 객체를 구현하기 위하여 상기 화면에 기 설정된 간격을 가지고 교번하여 배치되는 우안 영상 및 좌안 영상으로 구성되는 것인, 무안경 입체영상 표시장치.According to clause 1,
The screen object is composed of a right-eye image and a left-eye image alternately arranged on the screen at a preset interval to implement the protruding object. 제 2항에 있어서,
상기 이미지 투영부는,
상기 시청위치 및 상기 화면과 상기 가상의 평면 간 이격 거리에 기초하여 상기 우안 영상 및 상기 좌안 영상 사이의 간격을 조정하는, 무안경 입체영상 표시장치.According to clause 2,
The image projection unit,
A glasses-free stereoscopic image display device that adjusts the gap between the right-eye image and the left-eye image based on the viewing position and the separation distance between the screen and the virtual plane. 제 1항에 있어서,
상기 디스플레이 모듈은,
상기 특정 돌출 객체에 대한 상기 사용자의 공간터치가 이루어지면, 상기 특정 돌출 객체의 상기 화면에 대한 깊이값을 변경하는, 무안경 입체영상 표시장치.According to clause 1,
The display module is,
A glasses-free stereoscopic image display device that changes the depth value of the specific protruding object on the screen when the user spatially touches the specific protruding object. 제 4항에 있어서,
상기 디스플레이 모듈은,
상기 화면에 대한 깊이값은 서로 다른 돌출 객체마다 독립적으로 제어가 가능하며, 상기 특정 돌출 객체에 대한 상기 사용자의 공간 터치 입력이 발생한 시점부터 시간에 따른 기 설정된 변화율로 상기 화면과 상기 특정 돌출 객체 간의 이격 거리를 줄여서 깊이값을 변경하되, 공간터치가 발생하지 않은 다른 돌출 객체의 깊이값은 유지하는, 무안경 입체영상 표시장치.According to clause 4,
The display module is,
The depth value for the screen can be independently controlled for each different salient object, and the depth value between the screen and the specific salient object can be controlled at a preset change rate over time from the time the user's spatial touch input to the specific salient object occurs. A glasses-free stereoscopic image display device that changes the depth value by reducing the separation distance, but maintains the depth value of other protruding objects that do not cause spatial touch. 제 1항에 있어서,
상기 프로세서는, 상기 센싱 모듈에 의해 감지되는 시청위치, 상기 화면을 이루는 각 지점 및 상기 가상의 평면을 이루는 각 지점을 공간 좌표계의 좌표값으로 인식하며,
상기 공간 좌표계는 상기 화면의 일 꼭지점을 원점으로 하여 수평 방향이 x축, 수직 방향이 y축, 사용자를 향하는 법선 방향이 z축으로 설정된, 무안경 입체영상 표시장치.According to clause 1,
The processor recognizes the viewing position detected by the sensing module, each point forming the screen, and each point forming the virtual plane as coordinate values in a spatial coordinate system,
The spatial coordinate system is set at a vertex of the screen as the origin, the horizontal direction is set to the x-axis, the vertical direction is set to the y-axis, and the normal direction toward the user is set to the z-axis. 제 6항에 있어서,
상기 공간 좌표계는, 상기 디스플레이 모듈의 해상도를 기초로 상기 화면을 구성하는 각각의 픽셀마다 x축 및 y축에 대한 좌표값이 매칭되도록 설정된 것인, 무안경 입체영상 표시장치.According to clause 6,
The spatial coordinate system is set so that coordinate values for the x-axis and y-axis match each pixel constituting the screen based on the resolution of the display module. 제 6항에 있어서,
상기 센싱 모듈은,
추적된 사용자의 시점과 상기 화면을 수직으로 연결하는 직선이 상기 화면과 만나는 지점에 기초하여 x성분 및 y성분을 획득하고,
상기 직선이 상기 가상의 화면과 만나는 지점과 상기 사용자의 시점 간 거리에 기초하여 z성분을 획득하며,
획득된 x성분, y성분 및 z성분의 좌표값이 상기 시청위치로 인식되는, 무안경 입체영상 표시장치.According to clause 6,
The sensing module is,
Obtain x and y components based on the point where a straight line vertically connecting the tracked user's viewpoint and the screen meets the screen,
Obtaining a z component based on the distance between the point where the straight line meets the virtual screen and the user's viewpoint,
A glasses-free stereoscopic image display device in which the obtained coordinate values of the x-component, y-component, and z-component are recognized as the viewing position. 제 6항에 있어서,
상기 객체 식별부는,
상기 사용자에 의해 상기 가상의 화면 내 임의의 지점에 대한 공간터치가 이루어지면, 상기 시청위치 및 상기 이격 거리를 기초로 상기 임의의 지점의 좌표값을 상기 화면 상의 좌표값으로 보정하여, 보정된 좌표값을 상기 사용자가 공간터치한 지점으로 식별하는, 무안경 입체영상 표시장치.According to clause 6,
The object identification unit,
When a spatial touch is made to a random point in the virtual screen by the user, the coordinate value of the random point is corrected to the coordinate value on the screen based on the viewing position and the separation distance, and the corrected coordinate A glasses-free stereoscopic image display device that identifies a value as a point touched by the user in space. 제 6항에 있어서,
상기 객체 식별부는,
상기 특정 돌출 객체에 포함된 임의의 지점에 대한 상기 사용자의 공간터치에 응답하여,
상기 시청위치로 인식되는 제1좌표값과 상기 임의의 지점으로 인식되는 제2좌표값을 연결하는 직선을 생성하고,
상기 직선을 연장한 직선이 상기 화면과 만나는 지점으로 인식되는 제3좌표값을 획득하여 상기 제3좌표값에 배치된 화면 객체를 식별하는, 무안경 입체영상 표시장치.According to clause 6,
The object identification unit,
In response to the user's spatial touch on an arbitrary point included in the specific protruding object,
Generating a straight line connecting a first coordinate value recognized as the viewing position and a second coordinate value recognized as the arbitrary point,
A glasses-free stereoscopic image display device that acquires a third coordinate value recognized as the point where a straight line extending from the straight line meets the screen and identifies a screen object placed at the third coordinate value. 공간터치 기능을 제공하기 위한, 무안경 입체영상 표시장치의 동작 방법에 있어서,
적어도 하나 이상의 화면 객체를 디스플레이 모듈의 화면에 배치하는 단계;
카메라를 통해 사용자의 시점을 추적하여 상기 사용자의 시청위치를 감지하는 단계;
상기 화면과 기 설정된 이격 거리에 있는 공간터치가 가능한 가상의 평면 상에 무안경 입체영상인 돌출 객체를 적어도 하나 이상 표시하는 단계;
상기 센싱 모듈로부터 감지된 사용자의 시청위치에 따라 상기 돌출 객체가 상기 가상의 평면에 투영되도록 상기 디스플레이 모듈을 제어하는 단계; 및
특정 돌출 객체에 대한 상기 사용자의 공간터치에 따라 상기 특정 돌출 객체에 대응하는 화면 객체를 식별하는 단계;
를 포함하는, 무안경 입체영상 표시장치의 동작 방법.In a method of operating a glasses-free stereoscopic image display device for providing a spatial touch function,
Placing at least one screen object on the screen of a display module;
detecting the user's viewing position by tracking the user's viewpoint through a camera;
Displaying at least one protruding object that is an autostereoscopic stereoscopic image on a virtual plane capable of spatial touch at a preset distance from the screen;
controlling the display module to project the protruding object on the virtual plane according to the user's viewing position detected by the sensing module; and
Identifying a screen object corresponding to a specific salient object according to the user's spatial touch on the specific salient object;
A method of operating a glasses-free stereoscopic image display device, including.
KR1020220175817A 2022-12-15 Display device for glasses-free stereoscopic image with function of air touch KR20240092971A (en)

Publications (1)

Publication Number Publication Date
KR20240092971A true KR20240092971A (en) 2024-06-24

Family

ID=

Similar Documents

Publication Publication Date Title
CN110647237B (en) Gesture-based content sharing in an artificial reality environment
CN109564472B (en) Method, medium, and system for selecting an interaction method with a virtual object
US10623721B2 (en) Methods and systems for multiple access to a single hardware data stream
CN106919294B (en) 3D touch interaction device, touch interaction method thereof and display device
JP6454851B2 (en) 3D gaze point location algorithm
EP2966863A1 (en) Hmd calibration with direct geometric modeling
JP6822472B2 (en) Display devices, programs, display methods and controls
WO2013179427A1 (en) Display device, head-mounted display, calibration method, calibration program, and recording medium
US20150212330A1 (en) Head mounted display and control method thereof
CN112041788B (en) Selecting text input fields using eye gaze
JPH11155152A (en) Method and system for three-dimensional shape information input, and image input device thereof
WO2013185714A1 (en) Method, system, and computer for identifying object in augmented reality
CN102300110A (en) Display device
KR101892735B1 (en) Apparatus and Method for Intuitive Interaction
US11822718B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
WO2017204581A1 (en) Virtual reality system using mixed reality, and implementation method therefor
CN103176605A (en) Control device of gesture recognition and control method of gesture recognition
CN114647317A (en) Remote touch detection enabled by a peripheral device
CN107077199B (en) Apparatus for presenting virtual object on three-dimensional display and method for controlling apparatus
WO2016169409A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
KR20140067575A (en) Method for displaying three-dimensional image and three-dimensional image display apparatus performing the same
WO2017051595A1 (en) Information processing device, information processing method and program
JP2016110177A (en) Three-dimensional input device and input system
KR101980297B1 (en) apparatus, method and program for processing 3D VR video
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display