KR20200112678A - Observer trackable aerial three-dimensional display apparatus and method thereof - Google Patents
Observer trackable aerial three-dimensional display apparatus and method thereof Download PDFInfo
- Publication number
- KR20200112678A KR20200112678A KR1020200029122A KR20200029122A KR20200112678A KR 20200112678 A KR20200112678 A KR 20200112678A KR 1020200029122 A KR1020200029122 A KR 1020200029122A KR 20200029122 A KR20200029122 A KR 20200029122A KR 20200112678 A KR20200112678 A KR 20200112678A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- display
- face
- control unit
- detected
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 공중 3차원 디스플레이 장치 및 방법에 관한 것으로, 더욱 상세하게는 관찰자에게 넓은 시야각을 제공할 수 있는 공중 3차원 디스플레이 장치 및 방법에 관한 것이다.The present invention relates to an aerial 3D display apparatus and method, and more particularly, to an aerial 3D display apparatus and method capable of providing a wide viewing angle to an observer.
공중 3차원 디스플레이(Aerial 3D Display)란 재생 광학계와 관람자 사이에 보여진 허상으로서, 공중에 영상이 재생된 것 같은 즉, 플로팅 효과를 가진 영상을 표시한다.The aerial 3D display is a virtual image seen between a reproduction optical system and a viewer, and displays an image that looks as if an image was reproduced in the air, that is, has a floating effect.
도 1은 공중 3차원 디스플레이의 광학계에 대한 참고도이다.1 is a reference diagram for an optical system of an aerial 3D display.
도 1을 참조하면, 일반적인 공중 3차원 디스플레이 장치는 다음과 같은 구조를 가진다. 디스플레이는 일반적인 LCD 패널과 같은 2차원 영상 디스플레이로서 이미지를 출력한다. 이때 이미지의 배경은 검은색으로 하고 객체를 생성하면, 검은색 부분은 프리폼 거울(free-form mirror)에 반사되지 않고 객체 부분만 반사되어, 관람자와 디스플레이 광학계 사이에 허상이 맺힌다. 프리폼 거울 외에 하프미러를 활용하는 경우, 광학계 뒤쪽으로 재생상이 형성될 수 있다. 재생). 확대 및 왜곡 등을 고려 광학계 구성은 여러 형태가 있다.Referring to FIG. 1, a general aerial 3D display device has the following structure. The display outputs an image as a two-dimensional image display like a general LCD panel. At this time, if the background of the image is black and an object is created, the black part is not reflected by the free-form mirror, but only the part of the object is reflected, creating a virtual image between the viewer and the display optical system. When a half mirror is used in addition to the preform mirror, a reproduced image may be formed behind the optical system. play). Considering the magnification and distortion, there are several types of optical system configurations.
도 2는 종래 프리폼 미러를 사용하는 공중 3차원 디스플레이 제품에 관한 참고도이다.2 is a reference diagram for an aerial 3D display product using a conventional preform mirror.
도 2를 참조하면, 상용화된 공중 3차원 디스플레이 제품의 예시로서, Holobox FS-4365가 도시되어 있다. 상기 제품은 프리폼 거울을 사용한 제품으로서, 프리폼 거울의 구조적 특성상 매우 한정된 시야각을 가진다. 상기 Holobox FS-4365의 경우 시야각 65도이며, 시야각의 중심부 외에는 심한 왜곡현상이 나타나거나 또는 객체가 안보이는 현상이 발생한다.Referring to FIG. 2, as an example of a commercialized aerial 3D display product, Holobox FS-4365 is shown. The product uses a preform mirror and has a very limited viewing angle due to the structural characteristics of the preform mirror. In the case of the Holobox FS-4365, the viewing angle is 65 degrees, and severe distortion occurs or objects are not visible outside the center of the viewing angle.
본 명세서는 프리폼(free-form) 미러를 이용하되 프리폼 구조적 특성상 좁은 시야각을 극복하기 위해 관찰자를 추적하도록 구성되는 공중 3차원 디스플레이 장치 및 방법을 제공하는 것이다.The present specification provides an aerial 3D display apparatus and method configured to track an observer in order to overcome a narrow viewing angle due to a preform structural characteristic while using a free-form mirror.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The present specification is not limited to the above-mentioned tasks, and other tasks that are not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 명세서에 따른 공중 3차원 디스플레이 장치는, 영상 내 피사체에 대한 거리 측정이 가능한 뎁스 카메라; 영상을 출력하는 디스플레이 및 상기 디스플레이와 소정의 거리로 이격되어 공중에 3차원을 보여주기 위해 상기 디스플레이에서 출력된 영상을 반사하는 거울을 가진 광학계부; 상기 디스플레이 및 상기 거울의 방향을 조정하는 광학계 조정부; 상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하고, 상기 선정된 추적 대상자의 얼굴 좌표를 산출하며, 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 제어부;를 포함할 수 있다.An aerial 3D display apparatus according to the present specification for solving the above-described problem includes: a depth camera capable of measuring a distance to a subject in an image; An optical system unit having a display outputting an image and a mirror spaced apart from the display by a predetermined distance and reflecting the image output from the display to show a three-dimensional view to the air; An optical system adjustment unit for adjusting directions of the display and the mirror; A control signal for selecting a tracking target from the image output from the depth camera, calculating the face coordinates of the selected tracking target, and adjusting the direction of the display and the mirror according to the calculated face coordinates (hereinafter referred to as'direction adjustment It may include; a control unit for outputting a control signal').
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정할 수 있다.According to an embodiment of the present specification, when a plurality of people are included in an image output from the depth camera, the controller may select a person closest to the depth camera as a tracking target.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지할 수 있다.According to an embodiment of the present specification, the control unit converts an RGB image among images output from the depth camera into a gray scale image, and uses a change in brightness of pixels in at least one window mask having a preset size to obtain a corresponding window mask. The representative brightness change direction information of may be calculated, and a face of a person may be detected from the image output from the depth camera through matching the calculated representative brightness change direction information and pre-stored reference face pattern data.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정할 수 있다.According to an embodiment of the present specification, the controller calculates the center coordinates of each candidate face from a plurality of faces (hereinafter referred to as'candidate faces') detected through matching with the reference face pattern data, and the center coordinate value is the closest A candidate face may be selected as the tracking target.
본 명세서의 일 실시예에 따르면, 상기 제어부는 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출할 수 있다.According to an exemplary embodiment of the present specification, the controller may detect feature points in the face of the subject to be tracked in a reference image and an image following the reference image, respectively, and calculate a motion vector value between the two feature points.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력할 수 있다.According to an exemplary embodiment of the present specification, the controller may output the adjustment direction control signal according to the motion vector value.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단할 수 있다.According to an embodiment of the present specification, when the control unit detects a feature point from the face of the subject to be tracked in the reference image and fails to detect the feature point from the face of the subject to be tracked in the next image of the reference image, a plurality of preset points are then It may be determined whether or not the feature point detected in the reference image is re-detected during the image of.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정할 수 있다.According to an exemplary embodiment of the present specification, when the feature point detected in the reference image is re-detected, the controller may select a face having the re-detected feature point as a retrace target.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.According to an exemplary embodiment of the present specification, when a feature point detected in the reference image is not re-detected during the plurality of preset images, the controller may output a control signal for initializing the orientation of the display and the mirror. .
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.According to an embodiment of the present specification, when the output value of the adjustment direction control signal exceeds a maximum direction value (threshold direction value) of the display and the mirror that can be adjusted by the optical system adjustment unit, the controller A control signal that initializes the direction of can be output.
상술한 과제를 해결하기 위한 본 명세서에 따른 공중 3차원 디스플레이 방법은, 뎁스 카메라, 디스플레이와 거울을 가진 광학계부, 광학계 조정부 및 제어부를 포함하는 공중 3차원 디스플레이 장치를 제어하는 방법으로서, (a) 상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하는 단계; (b) 상기 제어부가 상기 선정된 추적 대상자의 얼굴 좌표를 산출하는 단계; 및 (c) 상기 제어부가 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 단계;를 포함할 수 있다.An aerial 3D display method according to the present specification for solving the above-described problem is a method of controlling an aerial 3D display device including a depth camera, an optical system unit having a display and a mirror, an optical system adjustment unit, and a control unit, (a) Selecting, by the control unit, a subject to be tracked from the image output from the depth camera; (b) calculating, by the controller, the face coordinates of the selected subject to be tracked; And (c) outputting, by the controller, a control signal (hereinafter, referred to as “direction adjustment control signal”) for adjusting the directions of the display and the mirror according to the calculated face coordinates.
본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, 상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정하는 단계일 수 있다.According to an embodiment of the present specification, in the step (a), when a plurality of people are included in the image output from the depth camera, the control unit selects the person closest to the depth camera as a tracking target. It can be a step.
본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, 상기 제어부가 상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지하는 단계일 수 있다.According to an embodiment of the present specification, in step (a), the control unit converts an RGB image from an image output from the depth camera into a gray scale image, and brightness of pixels in at least one window mask having a preset size Calculating the representative brightness change direction information of the corresponding window mask by using the change, and detecting the human face from the image output from the depth camera through matching the calculated representative brightness change direction information and pre-stored reference face pattern data It can be a step.
본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, 상기 제어부가 상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정하는 단계일 수 있다.According to an embodiment of the present specification, in the step (a), the control unit calculates the center coordinates of each candidate face from a plurality of faces (hereinafter referred to as'candidate faces') detected through matching with the reference face pattern data. , It may be a step of selecting a candidate face having the closest center coordinate value as the tracking target.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 제어부가 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출하는 단계일 수 있다.According to an embodiment of the present specification, in step (b), the control unit detects feature points on the face of the subject to be tracked from the reference image and the next image of the reference image, and calculates a motion vector value between the two feature points. It may be a step to do.
본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 제어부가 상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력하는 단계일 수 있다.According to an embodiment of the present specification, step (c) may be a step in which the controller outputs the adjustment direction control signal according to the motion vector value.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 제어부가 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단하는 단계일 수 있다.According to an embodiment of the present specification, in step (b), the control unit detects a feature point on the face of the subject to be tracked in the reference image and does not detect the feature point on the face of the subject to be tracked in the next image of the reference image. If not, it may be a step of determining whether or not a feature point detected in the reference image is re-detected during a plurality of preset images.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 제어부가 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정하는 단계일 수 있다.According to an embodiment of the present specification, the step (b) may be a step of selecting a face having the re-detected feature point as a retrace target when the feature point detected in the reference image is re-detected. .
본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 제어부가 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.According to an exemplary embodiment of the present specification, in the step (c), when a feature point detected in the reference image is not re-detected during the plurality of preset images, the controller initializes the orientation of the display and the mirror. Control signal can be output.
본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 제어부가 상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 단계일 수 있다.According to an embodiment of the present specification, in the step (c), the output value of the adjustment direction control signal by the controller exceeds the maximum direction value (threshold direction value) of the display and the mirror that the optical system adjustment unit can adjust. Then, it may be a step of outputting a control signal for initializing the orientation of the display and the mirror.
본 명세서에 따른 공중 3차원 디스플레이 방법은 컴퓨터에서 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.The aerial 3D display method according to the present specification may be implemented in the form of a computer program written in a computer-readable recording medium and written to perform each step in a computer.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present invention are included in the detailed description and drawings.
본 발명에 따르면, 본 발명은 프리폼 미러를 활용하는 공중 3D 디스플레이의 좁은 시야각 및 왜곡 현상들을 관람자 추적을 통해 해결할 수 있다. 특히 최근 무인 주문 키오스크에 주문자 시점에 따라 제품을 보여주는 기대효과를 가진다.According to the present invention, the present invention can solve narrow viewing angles and distortion phenomena of an aerial 3D display using a preform mirror through spectator tracking. In particular, it has the expected effect of showing products according to the point of time of the orderer on the recent unmanned order kiosk.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 공중 3차원 디스플레이의 광학계에 대한 참고도이다.
도 2는 종래 프리폼 미러를 사용하는 공중 3차원 디스플레이 제품에 관한 참고도이다.
도 3 및 도 4는 본 명세서에 따른 공중 3차원 디스플레이 장치에 대한 참고도이다.
도 5는 본 명세서에 따른 공중 3차원 디스플레이 장치의 구성을 개략적으로 도시한 블럭도이다.
도 6은 본 명세서에 따른 디스플레이 및 거울의 방향이 조정된 예시도이다.
도 7은 본 명세서에 따른 공중 3차원 디스플레이 방법의 흐름도이다.
도 8은 본 명세서에 따른 제어부가 영상에서 사람의 얼굴을 감지 방법에 대한 흐름도이다.
도 9는 밝기 변화 방향 정보의 산출에 대한 참고도이다.
도 10은 패턴 데이터 매칭에 대한 참고도이다.
도 11은 추적 대상자와 뎁스 카메라 사이에 장애물이 있는 상황의 예시도이다.
도 12는 추적 대상자를 재 선정하는 참고도이다.1 is a reference diagram for an optical system of an aerial 3D display.
2 is a reference diagram for an aerial 3D display product using a conventional preform mirror.
3 and 4 are reference diagrams for an aerial 3D display device according to the present specification.
5 is a block diagram schematically showing a configuration of an aerial 3D display device according to the present specification.
6 is an exemplary view in which directions of a display and a mirror are adjusted according to the present specification.
7 is a flowchart of an aerial 3D display method according to the present specification.
8 is a flowchart illustrating a method for a control unit to detect a human face in an image according to the present specification.
9 is a reference diagram for calculating brightness change direction information.
10 is a reference diagram for pattern data matching.
11 is an exemplary diagram of a situation in which an obstacle exists between a tracking target and a depth camera.
12 is a reference diagram for reselecting a subject to be tracked.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the invention disclosed in the present specification, and a method of achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present specification is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only the present embodiments are intended to complete the disclosure of the present specification, and are common in the technical field to which the present specification belongs. It is provided to completely inform the scope of the present specification to a technician (hereinafter, "the person in charge"), and the scope of the rights of the present specification is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terms used in this specification are for describing exemplary embodiments and are not intended to limit the scope of the present specification. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, “comprises” and/or “comprising” do not exclude the presence or addition of one or more other elements other than the mentioned elements.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Throughout the specification, the same reference numerals refer to the same elements, and “and/or” includes each and all combinations of one or more of the mentioned elements. Although "first", "second", and the like are used to describe various elements, it goes without saying that these elements are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical idea of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used with meanings that can be commonly understood by those of ordinary skill in the art to which this specification belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3 및 도 4는 본 명세서에 따른 공중 3차원 디스플레이 장치에 대한 참고도이다.3 and 4 are reference diagrams for an aerial 3D display device according to the present specification.
본 명세서에 따른 공중 3차원 디스플레이 장치(100)의 특징으로 간략하게 설명하면, 뎁스 카메라를 이용하여 가장 근거리에 위치한 관람자를 선정하고, 선정된 관람자의 이동 방향 또는 시선 방향을 추적하여, 제한된 시야각을 선정된 관람자에게 조절하는 것이다. 도 3을 참조하면, 관람자 1에 대해서 근거리 관람자로 판단한 것을 확인할 수 있다. 이때, 관람자 1이 이동하게 되면, 도 4에 도시된 것과 같이 거울을 조정하여 관람자 1에게 계속해서 3차원 물체를 보여주는 것이다.Briefly explaining as a feature of the aerial
도 5는 본 명세서에 따른 공중 3차원 디스플레이 장치의 구성을 개략적으로 도시한 블럭도이다.5 is a block diagram schematically showing a configuration of an aerial 3D display device according to the present specification.
도 5를 참조하면, 본 명세서에 따른 공중 3차원 디스플레이 장치(100)는 뎁스 카메라(110), 광학계부(120), 광학계 조정부(130) 및 제어부(140)를 포함할 수 있다.Referring to FIG. 5, the aerial
상기 뎁스 카메라(110)는 영상 내 피사체에 대한 거리 측정이 가능하다. 뎁스 카메라(Depth Camera)는 RGB 영상(RGB Frame)과 깊이 정보를 가진 깊이 영상(Depth Frame)을 출력할 수 있다. 상기 뎁스 카메라(110)의 원리 및 구성에 대해서는 당업자에게 알려진 바, 상세한 설명은 생략하도록 한다.The
상기 광학계부(120)는 디스플레이(121) 및 거울(122)을 포함할 수 있다. 상기 디스플레이(121)는 2D 영상을 출력하는 요소로서, 특정 디스플레이 장치에 제한되지 않는다. 상기 거울(122)은 상기 디스플레이(121)와 소정의 거리로 이격되어 공중에 3차원을 보여주기 위해 상기 디스플레이(121)에서 출력된 영상을 반사할 수 있다. 상기 거울(122)은 일반적으로 프리폼 미러(Free-Form Mirror)가 될 수 있으면, 상기 거울(122)의 크기, 배치된 위치 등은 당업자에게 알려진 기술 지식에 따라 다양하게 설정될 수 있음은 자명하다.The
상기 광학계 조정부(130)는 상기 디스플레이(121) 및 상기 거울(122)의 방향을 조정할 수 있다. 상기 광학계 조정부(130)는 상기 제어부(140)에서 출력된 신호에 의해 방향을 조정할 수 있도록 구동 모터, 힌지, 지지 프레임 등 필요한 구동 부품을 포함할 수 있다.The optical
도 6은 본 명세서에 따른 디스플레이 및 거울의 방향이 조정된 예시도이다.6 is an exemplary view in which directions of a display and a mirror are adjusted according to the present specification.
도 6을 참조하면, 초기 위치(a)에서 아래로 방향이 조정된 예시(b)와 위로 방향이 조정된 예시(c)를 확인할 수 있다. 본 명세서에서 방향 조정이란, 상기 디스플레이 또는/및 거울의 방향을 변경시켜 허상이 표시되는 위치를 변화시키는 것을 의미한다. 따라서 상기 디스플레이 또는/및 거울의 방향 조정은 허상이 표시되는 방향이 조정되는 것으로 이해할 수 있다. 한편, 도 6에는 상하 방향으로 조정되는 예시를 도시하였지만, 좌우 반향 조정도 가능하다.Referring to FIG. 6, an example (b) in which the downward direction is adjusted from the initial position (a) and an example in which the upward direction is adjusted (c) can be seen. In the present specification, the direction adjustment refers to changing a position at which a virtual image is displayed by changing the direction of the display or/and the mirror. Therefore, it can be understood that the direction in which the display or/and the mirror is adjusted is the direction in which the virtual image is displayed. On the other hand, although an example of being adjusted in the vertical direction is shown in FIG. 6, left and right echo adjustment is also possible.
상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상에서 추적 대상자를 선정하고, 상기 선정된 추적 대상자의 얼굴 좌표를 산출하며, 상기 산출된 얼굴 좌표에 따라 상기 디스플레이(121) 및 상기 거울(122)의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력할 수 있다. 상기 제어부(140)의 제어 알고리즘에 대해서는 본 명세서에 따른 공중 3차원 디스플레이 방법을 통해 보다 자세히 설명하도록 하겠다.The
도 7은 본 명세서에 따른 공중 3차원 디스플레이 방법의 흐름도이다.7 is a flowchart of an aerial 3D display method according to the present specification.
도 7을 참조하면, 먼저 단계 S100에서 상기 뎁스 카메라(110)가 공중 3차원 디스플레이 장치(100) 전방 영상을 촬영하여 출력할 수 있다.Referring to FIG. 7, first, in step S100, the
다음 단계 S110에서 상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상에서 추적 대상자를 선정할 수 있다. 영상에서 1명의 사람만 포함된 경우, 당연히 그 1명이 추적 대상자로 선정될 것이다. 반면, 상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라(110)로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정할 수 있다. 이를 위해, 영상에서 사람의 얼굴을 감지하고, 감지된 사람의 얼굴 중에서 가장 가까운 얼굴을 선정하는 과정을 거칠 수 있다.In the next step S110, the
도 8은 본 명세서에 따른 제어부가 영상에서 사람의 얼굴을 감지 방법에 대한 흐름도이다.8 is a flowchart illustrating a method for a control unit to detect a human face in an image according to the present specification.
도 8을 참조하면, 상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상 중 RGB 영상을 그레이 스케일(Gray Scale) 영상으로 변환할 수 있다(S200, S210). 그리고 상기 제어부(140)는 미리 설정된 크기(예: 16 X 16)의 윈도우 마스크를 지정할 수 있다(S220). 그리고 상기 제어부(140)는 상기 윈도우 마스크 내 픽셀에 대한 밝기 변화를 산출할 수 있다. 그리고 상기 제어부(140)는 해당 윈도우 마스크에 대한 대표 밝기 변화 방향 정보를 산출할 수 있다(S230).Referring to FIG. 8, the
도 9는 밝기 변화 방향 정보의 산출에 대한 참고도이다.9 is a reference diagram for calculating brightness change direction information.
도 9의 (a)를 참조하면, 픽셀 단위로 밝기가 다른 것을 확인할 수 있다. 이때, 밝은 픽셀에서 어두운 픽셀 방향으로 정보를 추출할 수 있다. 상기 제어부(140)는 윈도우 마스크 내 모든 픽셀에 대해서 방향 정보를 추출하고, 가장 많이 표현된 방향을 해당 윈도우 마스크의 대표 밝기 변화 방향 정보로 산출할 수 있다. 상기 제어부(140)는 상기 그레이 스케일 영상에 대해서 상기 윈도우 마스크의 크기 단위로 대표 밝기 "??* 정보를 추출할 수 있다. 그 결과 도 9의 (b)와 같이 그레이 스케일 영상이 대표 밝기 "??* 정보로 변화될 수 있다.Referring to FIG. 9A, it can be seen that the brightness is different for each pixel. In this case, information may be extracted from a bright pixel to a dark pixel. The
다시 도 8을 참조하면, 상기 제어부(140)는 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터를 매칭 시킬 수 있다(S240). Referring back to FIG. 8, the
도 10은 패턴 데이터 매칭에 대한 참고도이다.10 is a reference diagram for pattern data matching.
도 10을 참조하면, 기준 얼굴 패턴 데이터를 확인할 수 있다. 상기 기준 얼굴 패턴 데이터는 특정인을 식별하기 위한 데이터가 아니며, 영상 내 사람의 얼굴인지 아닌지 판단하기 위한 기준 자료이다. 상기 제어부(140)는 상기 대표 밝기 "??* 정보로 변화된 영상과 상기 기준 얼굴 패턴 데이터가 미리 설정된 기준 이상 일치할 경우, 해당 영역을 사람의 얼굴로 감지할 수 있다(S250).Referring to FIG. 10, reference face pattern data can be checked. The reference face pattern data is not data for identifying a specific person, but is reference data for determining whether or not a person's face in an image is present. When the image changed with the representative brightness "??* information" and the reference face pattern data match more than a preset reference, the
한편, 상기 제어부(140)는 상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정할 수 있다. On the other hand, the
다시 도 7을 참조하면, 단계 S120에서 상기 제어부(140)는 상기 선정된 추적 대상자의 얼굴 좌표를 산출할 수 있다. Referring back to FIG. 7, in step S120, the
이때, 상기 제어부(140)는 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출할 수 있다.In this case, the
상기 기준 영상은 현재 영상 프레임을 의미하며, 다음 영상이란 상기 기준 영상의 다음 영상 프레임을 의미한다. 따라서 상기 다음 영상은 그 다음 영상의 기준 영상이 될 수 있다. 한편, 상기 추적 대상자를 선정할 때 사용된 영상은 최초의 기준 영상이 될 수 있다.The reference image refers to a current image frame, and the next image refers to a next image frame of the reference image. Therefore, the next image may be a reference image of the next image. Meanwhile, the image used when selecting the tracking target may be the first reference image.
상기 특징점 추출은 영상 내 다른 사람의 얼굴과 구별하기 위함이다. 즉, 기준 영상에도 다수의 얼굴이 포함되어 있고, 다음 영상에도 다수의 얼굴이 포함되어 있을 때, 다음 영상에서 어느 얼굴이 추적 대상자의 얼굴인지 식별하기 위함이다.The feature point extraction is to distinguish it from the face of another person in the image. That is, when a plurality of faces are included in the reference image and a plurality of faces are also included in the next image, it is to identify which face is the face of the person to be tracked in the next image.
상기 제어부(140)는 KLT(Kanade-Lucas-Tomasi) 알고리즘을 이용하여 앞 뒤 영상 내에서 추적 대상자의 특징점 사이의 모션 벡터값을 산출할 수 있다. KLT(Kanade-Lucas-Tomasi) 알고리즘은 연속된 영상에서 검색 윈도우 내에 있는 특징점의 이동량은 최소가 된다는 가정하에 이동량을 계산할 수 있다. 보다 구체적으로, 영상에 있는 각각의 영상소에 대해 국소행렬을 계산하여 (local structure matrix) 특징점을 검출한다. 임의의 점(x, y)에 대한 국소행렬을 아래와 같이 나타낼 수 있다. 여기서 Ix, Iy는 x축 및 y축 방향으로의 1차 미분값이다. Wx, Wy는 윈도우 사이즈이다.The
상기 행렬의 고유값(eigenvalue) 구했을 때, 영상 변화량은 윈도우를 의 고유벡터(eigenvector) 방향으로 이동(shift)시킬 때 최대가 되고, 고유벡터 방향으로 이동(shift)시킬 때 최소가 된다. 따라서, 두 고유값 , 를 구했을 때, 두 값이 모두 큰 값이면 코너점(corner point), 모두 작은 값이면 '평평(flat)'한 지역, 하나는 크고 다른 하나는 작은 값이면 '모서리(edge)' 영역으로 판단할 수 있다. 여기서 코너점을 찾고 , 중 최소값만을 고려하여 특정 임계치보다 크면 코너점으로 판단하고 이를 특징점으로 검출한다. 는 미리 정의된 임계치이다.The eigenvalue of the matrix When obtained, the amount of image change is the window Becomes maximum when shifting in the direction of the eigenvector of It becomes the minimum when shifting in the direction of the eigenvector. Thus, the two eigenvalues , When both values are large, a corner point is determined, if both values are small, a'flat' area, and one is large and the other is small, the area is judged as a'edge' area. I can. Looking for a corner point here , If it is larger than a specific threshold value by considering only the minimum value, it is determined as a corner point and detected as a feature point. Is a predefined threshold.
특징점 추적은 영상 의 각 특징점 에 모션 벡터 를 계산하여, 영상 에서 추적 된 위치가 되도록 하는 것이다. 따라서, 모션 벡터 를 구하기 위해, SSD (Sum of squared differences) 공식을 적용한다. 영상 의 특징점 위치와 영상 잠재적 특징점 위치 사이의 이미지 강도 편차 를 구한다. 입력 영상의 프레임이 지나더라도 물체의 intensity는 변하지 않으며, 인접 픽셀들의 움직임은 서로 유사하다는 가정을 가지므로 이 상적인 경우는 ‘0’ 의 값을 가진다. Feature point tracking is video Each feature point In motion vector By calculating the image The location tracked in It is to be. Thus, the motion vector In order to obtain, we apply the SSD (Sum of squared differences) formula. video Feature point location and video Image intensity deviation between potential feature point locations Find Even after the frame of the input image passes, the intensity of the object does not change, and since it is assumed that the motions of adjacent pixels are similar to each other, the ideal case has a value of '0'.
을 미분 값을 0으로 설정하고, 테일러 급수를 적용한다. 을 기준으로 를 근사화하면 모션 벡터 초기값 얻을 수 있다. 상기 제어부(140)는 이 과정을 여러 번 반복함으로써 업데이트된 모션 벡터값()를 얻을 수 있다. Set the derivative value to 0 and apply the Taylor series. based on this Approximating the initial motion vector Can be obtained. The
그리고 다음 단계 S130에서 상기 제어부(140)는 상기 산출된 얼굴 좌표에 따라 방향 조정 제어 신호를 출력할 수 있다. 보다 구체적으로, 상기 제어부(140)는 상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력할 수 있다.In the next step S130, the
한편, 상기 제어부(140)가 영상에서 추적 대상자의 얼굴을 식별하지 못하는 경우가 발생할 수 있다. 일 예로, 추적 대상자와 뎁스 카메라 사이에 장애물이 있는 경우이다. 또 다른 예로, 추적 대상자가 뎁스 카메라의 촬영 각도를 벗어난 경우이다. 따라서 단계 S120에서, 상기 제어부(140)는 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단할 수 있다.Meanwhile, there may be a case where the
도 11은 추적 대상자와 뎁스 카메라 사이에 장애물이 있는 상황의 예시도이다.11 is an exemplary diagram of a situation in which an obstacle exists between a tracking target and a depth camera.
도 11을 참조하면, 추적 대상자가 손을 들어올려서 얼굴을 가린 상황을 확인할 수 있다. 도 2를 함께 참조하면, 사용자가 허상을 만지려고 손을 뻗는 상황을 가정하면 보다 쉽게 상황을 이해할 수 있다. 이 상황에서 상기 제어부(140)는 추적 대상자의 얼굴에서 특징점을 검출하지 못하게 된다. 다만, 사용자가 잠시 후 다시 손을 내려서 뎁스 카메라가 다시 사용자를 촬영할 수 있다고 가정하겠다. 이 경우 발생할 수 있는 문제는 상기 뎁스 카메라(110)에 촬영된 영상에 다수의 얼굴이 존재할 경우, 누가 추적 대상자 였는지 다시 찾아야 하는 것이다. 이 경우, 상기 제어부(140)는 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정할 수 있다.Referring to FIG. 11, it is possible to check a situation in which a subject to be tracked has raised his hand and covered his face. Referring to FIG. 2 together, assuming a situation in which a user reaches out to touch a virtual image, the situation can be more easily understood. In this situation, the
도 12는 추적 대상자를 재 선정하는 참고도이다.12 is a reference diagram for reselecting a subject to be tracked.
도 12를 참조하면, (a)는 얼굴을 인식하여 추적 대상자로 선정한 상태이다. (b)는 추적 대상자의 특징점을 검출한 상태이다. (c)는 장애물로 인해 추적 대상자의 특징점을 검출하지 못하는 상태이다. (d) 장애물이 제거되고 다시 얼굴이 인식될 때, 인식된 얼굴과 앞서 선정된 추적 대상자의 특징점의 일치 여부를 확인하는 상태이다. (e) 앞서 선정된 추적 대상자의 특징점과 일치하는 얼굴을 재 추적 대상자로 선정한 상태이다.Referring to FIG. 12, (a) is a state in which a face is recognized and selected as a tracking target. (b) is a state in which the feature points of the subject to be tracked are detected. (c) is a state in which the feature point of the subject to be tracked cannot be detected due to an obstacle. (d) When the obstacle is removed and the face is recognized again, it is a state to check whether the recognized face matches the feature points of the previously selected tracking target. (e) A face that matches the feature points of the previously selected tracking target is selected as a target for re-tracking.
반면, 상기 제어부(140) 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이(121) 및 상기 거울(122)의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.On the other hand, when the feature point detected in the reference image is not re-detected during the plurality of preset images, the
또 다른 예로, 추적 대상자가 뎁스 카메라의 촬영 각도를 벗어난 경우를 고려해 보겠다. 이 경우, 직전까지 추적 대상자의 이동방향에 따라 상기 제어부(140)가 방향 조정 제어 신호를 출력한다. 그러나 상기 디스플레이(121) 및 상기 거울(122)의 방향 제어는 하드웨어적 특성에 의해 최대로 조정될 수 있는 각도에 한계(임계 방향값)에 있을 수 있다. 추적 대상자가 상기 임계 방향값을 넘어서 이동한 경우, 추적 대상자가 더 이상 허상에 관심을 가지지 않고 자리를 이탈한 것으로 판단할 수 있다. 이 경우, 상기 제어부(140)는 상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.As another example, consider a case where the subject to be tracked deviates from the shooting angle of the depth camera. In this case, the
상기 제어부(140)는 상기 설명한 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 제어부는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다.The
상기 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The computer program includes C/C++, C#, JAVA, Python that can be read by the computer's processor (CPU) through the computer's device interface in order for the computer to read the program and execute the methods implemented as a program. , May include a code coded in a computer language such as machine language. Such code may include a functional code related to a function defining necessary functions for executing the methods, and a control code related to an execution procedure necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, such code may further include additional information required for the processor of the computer to execute the functions or code related to a memory reference to which location (address address) of the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server in the remote in order to execute the functions, the code uses the communication module of the computer to determine how It may further include a communication-related code for whether to communicate, what kind of information or media to transmit and receive during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The stored medium is not a medium that stores data for a short moment, such as a register, cache, memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer. In addition, the medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored in a distributed manner.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As described above, embodiments of the present specification have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present specification pertains to that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. You can understand. Therefore, the embodiments described above are illustrative in all respects, and should be understood as non-limiting.
100 : 공중 3차원 디스플레이 장치
110 : 뎁스 카메라
120 : 광학계부
121 : 디스플레이
122 : 거울
130 : 광학계 조정부
140 : 제어부100: aerial 3D display device
110: depth camera 120: optical system
121: display 122: mirror
130: optical system adjustment unit 140: control unit
Claims (21)
영상을 출력하는 디스플레이 및 상기 디스플레이와 소정의 거리로 이격되어 공중에 3차원을 보여주기 위해 상기 디스플레이에서 출력된 영상을 반사하는 거울을 가진 광학계부;
상기 디스플레이 및 상기 거울의 방향을 조정하는 광학계 조정부;
상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하고, 상기 선정된 추적 대상자의 얼굴 좌표를 산출하며, 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 제어부;를 포함하는 공중 3차원 디스플레이 장치.A depth camera capable of measuring a distance to a subject in an image;
An optical system unit having a display outputting an image and a mirror spaced apart from the display by a predetermined distance and reflecting the image output from the display to show a three-dimensional view to the air;
An optical system adjustment unit for adjusting directions of the display and the mirror;
A control signal for selecting a tracking target from the image output from the depth camera, calculating the face coordinates of the selected tracking target, and adjusting the direction of the display and the mirror according to the calculated face coordinates (hereinafter referred to as'direction adjustment An aerial 3D display device comprising a; a control unit that outputs a control signal').
상기 제어부는, 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method according to claim 1,
The control unit, when a plurality of people are included in the image output from the depth camera, selects a person closest to the depth camera as a tracking target.
상기 제어부는,
상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method according to claim 2,
The control unit,
Converts an RGB image from among the images output from the depth camera to a gray scale image, calculates representative brightness change direction information of the corresponding window mask by using the brightness change of pixels in at least one window mask of a preset size, and the calculation An aerial 3D display apparatus comprising: detecting a face of a person in an image output from the depth camera through matching the representative brightness change direction information and pre-stored reference face pattern data.
상기 제어부는,
상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method according to claim 2,
The control unit,
The center coordinates of each candidate face are calculated from a plurality of faces (hereinafter referred to as'candidate faces') detected through matching with the reference face pattern data, and a candidate face having the closest center coordinate value is selected as the tracking target. An aerial 3D display device.
상기 제어부는,
기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method according to claim 1,
The control unit,
A 3D aerial display device, characterized in that, in a reference image and an image following the reference image, feature points are respectively detected from the face of the subject to be tracked, and a motion vector value between the two feature points is calculated.
상기 제어부는,
상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method of claim 5,
The control unit,
3D aerial display device, characterized in that to output the adjustment direction control signal according to the motion vector value.
상기 제어부는,
상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method of claim 5,
The control unit,
When a feature point is detected from the face of the subject to be tracked in the reference image and a feature point from the face of the subject to be tracked is not detected in the next image of the reference image, the feature point detected in the reference image is re-established during a plurality of preset images An aerial 3D display device, characterized in that it determines whether or not it is detected.
상기 제어부는,
상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method of claim 7,
The control unit,
When the feature point detected in the reference image is re-detected, a face having the re-detected feature point is selected as a retrace target.
상기 제어부는,
상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method of claim 7,
The control unit,
And outputting a control signal for initializing directions of the display and the mirror when the feature point detected in the reference image is not re-detected during the plurality of preset images.
상기 제어부는,
상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.The method according to claim 1,
The control unit,
When the output value of the adjustment direction control signal exceeds the maximum direction value (threshold direction value) of the display and the mirror that can be adjusted by the optical system adjustment unit, a control signal for initializing the direction of the display and the mirror is output. An aerial 3D display device.
(a) 상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하는 단계;
(b) 상기 제어부가 상기 선정된 추적 대상자의 얼굴 좌표를 산출하는 단계; 및
(c) 상기 제어부가 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 단계;를 포함하는 공중 3차원 디스플레이 방법.A method of controlling an aerial 3D display device including a depth camera, an optical system unit having a display and a mirror, an optical system adjustment unit, and a control unit,
(a) selecting, by the control unit, a subject to be tracked from the image output from the depth camera;
(b) calculating, by the controller, the face coordinates of the selected subject to be tracked; And
(c) outputting, by the controller, a control signal (hereinafter, referred to as “direction adjustment control signal”) for adjusting the directions of the display and the mirror according to the calculated face coordinates.
상기 (a) 단계는,
상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 11,
The step (a),
And when a plurality of people are included in the image output from the depth camera, the control unit selects a person closest to the depth camera as a tracking target.
상기 (a) 단계는,
상기 제어부가 상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 12,
The step (a),
The controller converts an RGB image from among the images output from the depth camera into a gray scale image, and calculates representative brightness change direction information of the corresponding window mask by using the brightness change of pixels in at least one window mask of a preset size. And detecting a person's face in the image output from the depth camera through matching the calculated representative brightness change direction information and pre-stored reference face pattern data.
상기 (a) 단계는,
상기 제어부가 상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 12,
The step (a),
The control unit calculates the center coordinates of each candidate face from a plurality of faces (hereinafter referred to as'candidate faces') detected through matching with the reference face pattern data, and selects a candidate face having the closest center coordinate value as the tracking target. Aerial three-dimensional display method, characterized in that the step.
상기 (b) 단계는,
상기 제어부가 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 11,
The step (b),
Wherein the control unit detects feature points in the face of the subject to be tracked in a reference image and an image following the reference image, and calculates a motion vector value between the two feature points.
상기 (c) 단계는,
상기 제어부가 상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 15,
The step (c),
And outputting, by the controller, the adjustment direction control signal according to the motion vector value.
상기 (b) 단계는,
상기 제어부가 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 15,
The step (b),
When the control unit detects a feature point from the face of the subject to be tracked in the reference image and fails to detect a feature point from the face of the subject to be tracked in the next image of the reference image, it is detected from the reference image during a plurality of preset images. And determining whether or not the feature point is detected again.
상기 (b) 단계는,
상기 제어부가 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 17,
The step (b),
And when the feature point detected in the reference image is re-detected, the control unit selects a face having the re-detected feature point as a subject to be re-tracked.
상기 (c) 단계는,
상기 제어부가 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 17,
The step (c),
When the feature point detected in the reference image is not re-detected during the plurality of preset images, the control unit outputs a control signal for initializing the orientation of the display and the mirror.
상기 (c) 단계는,
상기 제어부가 상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.The method of claim 11,
The step (c),
When the output value of the adjustment direction control signal exceeds the maximum direction value (threshold direction value) of the display and the mirror that the optical system adjustment unit can adjust, the controller outputs a control signal for initializing the direction of the display and the mirror. Aerial three-dimensional display method, characterized in that the step of.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190031916 | 2019-03-20 | ||
KR20190031916 | 2019-03-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200112678A true KR20200112678A (en) | 2020-10-05 |
KR102288039B1 KR102288039B1 (en) | 2021-08-12 |
Family
ID=72809536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200029122A KR102288039B1 (en) | 2019-03-20 | 2020-03-09 | Observer trackable aerial three-dimensional display apparatus and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102288039B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190111770A (en) * | 2018-03-23 | 2019-10-02 | 캐논 가부시끼가이샤 | Information processing apparatus and control method thereof |
KR102260519B1 (en) * | 2021-02-25 | 2021-06-03 | (주)에이피피커뮤니케이션즈 | 3D stereoscopic image conversion method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100571801B1 (en) * | 2001-07-13 | 2006-04-17 | 삼성전자주식회사 | Digital surveillance system and method |
KR100891664B1 (en) | 2007-05-11 | 2009-04-02 | 엘지전자 주식회사 | Display device |
KR100904916B1 (en) * | 2008-06-19 | 2009-07-01 | 주식회사 다우엑실리콘 | System and method for recognition of face |
KR20150040194A (en) * | 2013-10-04 | 2015-04-14 | 한국전자통신연구원 | Apparatus and method for displaying hologram using pupil track based on hybrid camera |
KR20150117553A (en) * | 2014-04-10 | 2015-10-20 | 삼성전자주식회사 | Method, apparatus and computer readable recording medium for eye gaze tracking |
-
2020
- 2020-03-09 KR KR1020200029122A patent/KR102288039B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100571801B1 (en) * | 2001-07-13 | 2006-04-17 | 삼성전자주식회사 | Digital surveillance system and method |
KR100891664B1 (en) | 2007-05-11 | 2009-04-02 | 엘지전자 주식회사 | Display device |
KR100904916B1 (en) * | 2008-06-19 | 2009-07-01 | 주식회사 다우엑실리콘 | System and method for recognition of face |
KR20150040194A (en) * | 2013-10-04 | 2015-04-14 | 한국전자통신연구원 | Apparatus and method for displaying hologram using pupil track based on hybrid camera |
KR20150117553A (en) * | 2014-04-10 | 2015-10-20 | 삼성전자주식회사 | Method, apparatus and computer readable recording medium for eye gaze tracking |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190111770A (en) * | 2018-03-23 | 2019-10-02 | 캐논 가부시끼가이샤 | Information processing apparatus and control method thereof |
KR102260519B1 (en) * | 2021-02-25 | 2021-06-03 | (주)에이피피커뮤니케이션즈 | 3D stereoscopic image conversion method |
Also Published As
Publication number | Publication date |
---|---|
KR102288039B1 (en) | 2021-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
US10154190B2 (en) | Balancing exposure and gain at an electronic device based on device motion and scene distance | |
US10362296B2 (en) | Localized depth map generation | |
US7003136B1 (en) | Plan-view projections of depth image data for object tracking | |
US8599252B2 (en) | Moving object detection apparatus and moving object detection method | |
US20130121559A1 (en) | Mobile device with three dimensional augmented reality | |
JP5743859B2 (en) | Image processing apparatus, method, and image display apparatus | |
KR101769177B1 (en) | Apparatus and method for eye tracking | |
US20180260040A1 (en) | Tracker for cursor navigation | |
KR20140009585A (en) | Head pose estimation using rgbd camera | |
US11159717B2 (en) | Systems and methods for real time screen display coordinate and shape detection | |
CN109670421B (en) | Fatigue state detection method and device | |
KR102288039B1 (en) | Observer trackable aerial three-dimensional display apparatus and method thereof | |
US20220109795A1 (en) | Control apparatus and learning apparatus and control method | |
KR100945307B1 (en) | Method and apparatus for image synthesis in stereoscopic moving picture | |
EP3396949A1 (en) | Apparatus and method for processing a depth map | |
US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
CN112257617B (en) | Multi-modal target recognition method and system | |
KR20230117601A (en) | Apparatus and method for processing depth maps | |
US20240073537A1 (en) | Information processing device, information processing method, and program | |
US20230098633A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US11935286B2 (en) | Method and device for detecting a vertical planar surface | |
US20240046434A1 (en) | Image processing method and image processing apparatus performing the same | |
JP7086761B2 (en) | Image processing equipment, information processing methods and programs | |
JP2001175860A (en) | Device, method, and recording medium for three- dimensional body recognition including feedback process |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |