KR20240075182A - Apparatus and Method for Multi-viewpoint Display Based on Gaze Information - Google Patents

Apparatus and Method for Multi-viewpoint Display Based on Gaze Information Download PDF

Info

Publication number
KR20240075182A
KR20240075182A KR1020220156903A KR20220156903A KR20240075182A KR 20240075182 A KR20240075182 A KR 20240075182A KR 1020220156903 A KR1020220156903 A KR 1020220156903A KR 20220156903 A KR20220156903 A KR 20220156903A KR 20240075182 A KR20240075182 A KR 20240075182A
Authority
KR
South Korea
Prior art keywords
gaze
image
display device
unit
gaze detection
Prior art date
Application number
KR1020220156903A
Other languages
Korean (ko)
Inventor
김회민
전성국
김선만
이광훈
윤정록
김운용
Original Assignee
한국광기술원
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Publication of KR20240075182A publication Critical patent/KR20240075182A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene

Abstract

시선정보 기반 다시점 디스플레이 시스템 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 디스플레이 장치를 시청하고 있는 시청자의 시선을 감지하여, 시청자의 시선대로 영상 또는 이미지를 출력하도록 상기 디스플레이 장치를 제어하는 시선 감지장치에 있어서, 상기 디스플레이 장치가 출력할 영상 또는 이미지의 방향이나 각도에 대한 제어신호를 상기 디스플레이 장치로 전송하는 통신부와 상기 디스플레이 장치가 영상 또는 이미지를 출력하는 방향을 촬영하는 촬영부와 상기 촬영부가 촬영한 영상 내에서 객체를 인식하는 객체 인식부와 상기 객체 인식부가 인식한 객체 내에서 특징점을 추출하여 인식한 각 객체를 구별하는 특징점 추출부와 기 설정된 객체의 거리 및 시선방향이나 각도를 연산하는 시선 연산부 및 객체의 시선을 트래킹하여 해당 객체의 거리와 시선방향이나 각도에 최적화된 영상을 출력하도록 상기 디스플레이 장치를 제어하는 제어부를 포함하는 것을 특징으로 하는 시선 감지장치를 제공한다.Disclosed is a multi-viewpoint display system and method based on gaze information.
According to one aspect of the present embodiment, in the gaze detection device for detecting the gaze of a viewer watching a display device and controlling the display device to output a video or image according to the viewer's gaze, the image to be output by the display device Or, a communication unit that transmits a control signal for the direction or angle of the image to the display device, a photographing unit that photographs the direction in which the display device outputs the image or image, and object recognition that recognizes an object in the image captured by the photographing device. A feature point extraction unit that extracts feature points from objects recognized by the object recognition unit and distinguishes each recognized object, a gaze calculation unit that calculates the distance and gaze direction or angle of a preset object, and a gaze calculation unit that tracks the gaze of the object to determine the corresponding object. Provided is a gaze detection device comprising a control unit that controls the display device to output an image optimized for the distance and gaze direction or angle.

Description

시선정보 기반 다시점 디스플레이 시스템 및 방법{Apparatus and Method for Multi-viewpoint Display Based on Gaze Information}{Apparatus and Method for Multi-viewpoint Display Based on Gaze Information}

본 발명은 시청자의 시선정보에 기반하여 다시점 영상을 출력하는 디스플레이 시스템 및 방법에 관한 것이다. The present invention relates to a display system and method for outputting a multi-viewpoint image based on the viewer's gaze information.

이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this part simply provides background information on an embodiment of the present invention and does not constitute prior art.

영상 정보를 출력하는 기존의 디스플레이 장치를 너머, 최근 시청자의 시선을 추적하여 시선에 따라 영상의 방향이나 각도등을 조정하여 출력하는 디스플레이 장치가 등장하고 있다. 이처럼, 시청자의 시선에 따라 조정된 영상을 출력하는 경우, 시청자는 2차원 영상을 시청하고 있음에도 3차원 영상을 시청하는 듯한 입체감을 느낄 수 있다.Beyond existing display devices that output image information, display devices that track the viewer's gaze and output the image by adjusting the direction or angle of the image according to the gaze have recently emerged. In this way, when an image adjusted according to the viewer's gaze is output, the viewer can feel a stereoscopic effect as if watching a 3D image even though he or she is watching a 2D image.

종래의 시선 추적 디스플레이 장치는 전술한 동작을 수행하기 위해 내부에 렌티큘러(Lenticular) 렌즈를 포함해왔다. 렌티큘러 렌즈는 반원통형의 렌즈들을 배열 형태로 다수 늘어세운 구조를 가지며, 시청자가 바라보는 위치에 따라 서로 다른 집합의 픽셀들을 관측하게 하여 시선마다 서로 다른 영상을 볼 수 있도록 하는 구성이다.Conventional eye tracking display devices have included lenticular lenses therein to perform the above-described operations. A lenticular lens has a structure in which a number of semi-cylindrical lenses are arranged in an array, and allows the viewer to observe different sets of pixels depending on the viewing position, allowing the viewer to see different images depending on the gaze.

다만, 렌티큘러 렌즈는 정밀한 마이크로 가공이 진행되어야 하여 상당히 고가의 구성에 해당하고, 기타 광학구성과 정밀하게 정렬되어야 하기에 양산성이 떨어지며, 출력할 영상의 해상도도 현저히 떨어지는 문제를 갖는다.However, lenticular lenses require precise micro-processing, making them quite expensive, and require precise alignment with other optical structures, which reduces mass productivity and significantly reduces the resolution of images to be output.

본 발명의 일 실시예는, 간소화된 구조로도 시청자의 시선정보에 기반하여 다시점 영상을 출력할 수 있는 디스플레이 시스템 및 방법을 제공하는 데 일 목적이 있다.One embodiment of the present invention aims to provide a display system and method that can output a multi-viewpoint image based on the viewer's gaze information even with a simplified structure.

본 실시예의 일 측면에 의하면, 디스플레이 장치를 시청하고 있는 시청자의 시선을 감지하여, 시청자의 시선대로 영상 또는 이미지를 출력하도록 상기 디스플레이 장치를 제어하는 시선 감지장치에 있어서, 상기 디스플레이 장치가 출력할 영상 또는 이미지의 방향이나 각도에 대한 제어신호를 상기 디스플레이 장치로 전송하는 통신부와 상기 디스플레이 장치가 영상 또는 이미지를 출력하는 방향을 촬영하는 촬영부와 상기 촬영부가 촬영한 영상 내에서 객체를 인식하는 객체 인식부와 상기 객체 인식부가 인식한 객체 내에서 특징점을 추출하여 인식한 각 객체를 구별하는 특징점 추출부와 기 설정된 객체의 거리 및 시선방향이나 각도를 연산하는 시선 연산부 및 객체의 시선을 트래킹하여 해당 객체의 거리와 시선방향이나 각도에 최적화된 영상을 출력하도록 상기 디스플레이 장치를 제어하는 제어부를 포함하는 것을 특징으로 하는 시선 감지장치를 제공한다.According to one aspect of the present embodiment, in the gaze detection device that detects the gaze of a viewer watching a display device and controls the display device to output a video or image according to the viewer's gaze, the image to be output by the display device Or, a communication unit that transmits a control signal for the direction or angle of the image to the display device, a photographing unit that photographs the direction in which the display device outputs the image or image, and object recognition that recognizes an object in the image captured by the photographing device. A feature point extraction unit that extracts feature points from objects recognized by the object recognition unit and distinguishes each recognized object, a gaze calculation unit that calculates the distance and gaze direction or angle of a preset object, and a gaze calculation unit that tracks the gaze of the object to determine the corresponding object. Provided is a gaze detection device comprising a control unit that controls the display device to output an image optimized for the distance and gaze direction or angle.

본 실시예의 일 측면에 의하면, 상기 객체 인식부는 영상 내 존재하는 모든 객체를 인식하는 것을 특징으로 한다. According to one aspect of this embodiment, the object recognition unit recognizes all objects present in the image.

본 실시예의 일 측면에 의하면, 상기 특징점 추출부는 상기 객체 인식부가 인식한 객체 내 안면 부위를 추출하는 것을 특징으로 한다. According to one aspect of this embodiment, the feature point extraction unit extracts a facial area within the object recognized by the object recognition unit.

본 실시예의 일 측면에 의하면, 상기 특징점 추출부는 추출한 안면 부위 내 안구 부위를 추출하는 것을 특징으로 한다. According to one aspect of this embodiment, the feature point extraction unit extracts the eye region within the extracted facial region.

본 실시예의 일 측면에 의하면, 상기 제어부는 인식된 객체 중 시선을 트래킹할 객체를 선정하는 것을 특징으로 한다. According to one aspect of this embodiment, the control unit selects an object to track gaze from among recognized objects.

본 실시예의 일 측면에 의하면, 상기 제어부는 인식된 객체 중 기 설정된 조건을 만족하는 객체 1인을 트래킹할 객체로 선정하는 것을 특징으로 한다. According to one aspect of this embodiment, the control unit selects one object that satisfies a preset condition among recognized objects as an object to be tracked.

본 실시예의 일 측면에 의하면, 시선 감지장치가 디스플레이 장치를 시청하고 있는 시청자의 시선을 감지하여, 시청자의 시선대로 영상 또는 이미지를 출력하도록 상기 디스플레이 장치를 제어하는 방법에 있어서, 촬영된 영상 내에서 객체를 인식하는 인식과정과 인식된 각 객체의 특징점을 추출하는 추출과정과 인식된 객체 중 시선을 추적할 객체를 선정하는 선정과정과 상기 선정과정에서 선정된 객체와의 거리 및 방향을 연산하는 연산과정 및 연산된 거리 및 방향과 부합하게 영상을 출력하도록 상기 디스플레이 장치를 제어하는 제어과정을 포함하는 것을 특징으로 하는 시선 감지방법을 제공한다.According to one aspect of the present embodiment, a gaze detection device detects the gaze of a viewer watching a display device and controls the display device to output a video or image according to the viewer's gaze, in a captured image. A recognition process for recognizing objects, an extraction process for extracting feature points of each recognized object, a selection process for selecting an object to track gaze from among the recognized objects, and an operation for calculating the distance and direction from the object selected in the selection process. A gaze detection method is provided, which includes a control process for controlling the display device to output an image in accordance with the process and calculated distance and direction.

본 실시예의 일 측면에 의하면, 상기 인식과정은 영상 내 존재하는 모든 객체를 인식하는 것을 특징으로 한다. According to one aspect of this embodiment, the recognition process is characterized by recognizing all objects present in the image.

본 실시예의 일 측면에 의하면, 상기 추출과정은 인식된 각 객체 내 안면 부위를 추출하는 것을 특징으로 한다. According to one aspect of this embodiment, the extraction process is characterized by extracting the facial area within each recognized object.

본 실시예의 일 측면에 의하면, 상기 추출과정은 추출한 안면 부위 내 안구 부위를 추출하는 것을 특징으로 한다. According to one aspect of this embodiment, the extraction process is characterized by extracting the eye area within the extracted facial area.

본 실시예의 일 측면에 의하면, 상기 선정과정은 인식된 객체 중 기 설정된 조건을 만족하는 객체 1인을 추적할 객체로 선정하는 것을 특징으로 한다. According to one aspect of this embodiment, the selection process is characterized by selecting one object that satisfies a preset condition among the recognized objects as the object to be tracked.

본 실시예의 일 측면에 의하면, 상기 선정과정은 상기 디스플레이 장치로부터 기 설정된 거리와 각도 범위 내에 위치한 객체 중 1인을 선정하는 것을 특징으로 한다. According to one aspect of this embodiment, the selection process is characterized by selecting one of the objects located within a preset distance and angle range from the display device.

본 실시예의 일 측면에 의하면, 출력할 영상을 수정 또는 조정할 수 있는 렌더러를 포함하며, 영상 또는 이미지를 외부로 출력하는 디스플레이 장치 및 상기 시선 감지장치를 포함하는 것을 특징으로 하는 다시점 디스플레이 시스템을 제공한다.According to one aspect of the present embodiment, a multi-viewpoint display system is provided, including a renderer capable of modifying or adjusting an image to be output, a display device that outputs the video or image to the outside, and the gaze detection device. do.

이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 간소화된 구조로도 시청자의 시선정보에 기반하여 다시점 영상을 출력할 수 있는 장점이 있다.As described above, according to one aspect of the present invention, there is an advantage in that a multi-viewpoint image can be output based on the viewer's gaze information even with a simplified structure.

도 1은 본 발명의 일 실시예에 따른 디스플레이 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 시선 감지장치의 구성을 도시한 도면이다.
도 3 내지 6은 본 발명의 일 실시예에 따른 특징점 추출부가 특징점을 추출하는 과정을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치에 의해 출력되는 영상을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 시선 감지장치가 시청자의 시선에 따라 출력할 영상을 제어하는 방법을 도시한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 특징점 추출부가 특징점을 추출하는 방법을 도시한 순서도이다.1 is a diagram illustrating the configuration of a display system according to an embodiment of the present invention.
Figure 2 is a diagram showing the configuration of a gaze detection device according to an embodiment of the present invention.
3 to 6 are diagrams illustrating a process in which a feature point extraction unit extracts feature points according to an embodiment of the present invention.
Figure 7 is a diagram illustrating an image output by a display device according to an embodiment of the present invention.
Figure 8 is a flowchart showing a method by which a gaze detection device according to an embodiment of the present invention controls an image to be output according to the viewer's gaze.
Figure 9 is a flowchart showing a method for extracting feature points by a feature point extraction unit according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts unrelated to the description are omitted, and similar parts are given similar reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "electrically connected" with another element in between. . In addition, when a part is said to "include" a certain component, this means that it does not exclude other components, but may further include other components, unless specifically stated to the contrary, and one or more other features. It should be understood that it does not exclude in advance the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.The following examples are detailed descriptions to aid understanding of the present invention and do not limit the scope of the present invention. Accordingly, inventions of the same scope and performing the same function as the present invention will also fall within the scope of rights of the present invention.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.Additionally, each configuration, process, process, or method included in each embodiment of the present invention may be shared within the scope of not being technically contradictory to each other.

도 1은 본 발명의 일 실시예에 따른 디스플레이 시스템의 구성을 도시한 도면이다.1 is a diagram illustrating the configuration of a display system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 다시점 디스플레이 시스템(100)은 디스플레이 장치(110) 및 시선 감지장치(120)를 포함한다.Referring to FIG. 1, a multi-viewpoint display system 100 according to an embodiment of the present invention includes a display device 110 and a gaze detection device 120.

디스플레이 장치(110)는 영상 또는 이미지를 외부로 출력한다. 디스플레이 장치(110)는 모니터 또는 TV 등 이미지 또는 영상을 외부로 출력할 수 있는 장치라면 어떠한 것으로 구현되어도 무방하다. 디스플레이 장치(110)는 외부로부터 출력할 영상 또는 이미지를 입력받아, 이를 외부로 출력한다.The display device 110 outputs a video or image to the outside. The display device 110 may be implemented as any device that can output images or videos to the outside, such as a monitor or TV. The display device 110 receives a video or image to be output from the outside and outputs it to the outside.

한편, 디스플레이 장치(110)는 출력할 영상을 수정 또는 조정할 수 있는 렌더러(Renderer)를 포함한다. 디스플레이 장치(110)는 시선 감지장치(120)로부터 추적할 객체의 시선방향을 수신한다. 디스플레이 장치(110)는 렌더러를 이용하여 시선방향에 부합하는 방향으로 영상의 각도나 방향을 조정한다. 즉, 디스플레이 장치(110)는 출력할 내용은 그대로 출력하되, 시청자의 시선 방향에 따라 영상의 각도나 방향을 조정한다. 이와 같이, 디스플레이 장치(110)가 렌더러를 포함하여, 출력할 영상의 방향이나 각도를 조정함으로써, 시청자에게는 2차원 이미지 또는 영상을 제공하더라도 시청자가 3차원 이미지 또는 영상과 같이 입체감을 느낄 수 있도록 한다. 도 1에는 디스플레이 장치(110)가 1인 또는 여러 사람이 일정 공간 내에서 함께 시청하는 기기인 것으로 도시되어 있으나, 반드시 이에 한정하는 것은 아니고, 전광판 또는 사이니지 제품 등 개방된 공간에 많은 사람들이 시청하는 기기로 구현될 수도 있다.Meanwhile, the display device 110 includes a renderer that can modify or adjust the image to be output. The display device 110 receives the gaze direction of the object to be tracked from the gaze detection device 120. The display device 110 uses a renderer to adjust the angle or direction of the image in a direction that matches the viewing direction. That is, the display device 110 outputs the content as is, but adjusts the angle or direction of the image according to the viewer's gaze direction. In this way, the display device 110 includes a renderer and adjusts the direction or angle of the image to be output, allowing the viewer to feel a stereoscopic effect like a 3D image or video even if a 2D image or video is provided to the viewer. . In Figure 1, the display device 110 is shown as a device that one or several people watch together in a certain space, but it is not necessarily limited to this, and many people watch in an open space such as an electronic signboard or signage product. It can also be implemented as a device that

시선 감지장치(120)는 디스플레이 장치(110)를 시청하고 있는 시청자의 시선을 감지한다. 디스플레이 장치(110)가 영상 또는 이미지를 출력하는 방향을 촬영하여, 촬영되는 영역 내에서 객체를 인식한다. 시선 감지장치(120)는 인식한 객체의 안구를 인식하여, 객체의 시선 방향을 연산한다. 즉, 시선 감지장치(120)는 객체가 어느 방향에서 어떠한 각도로 디스플레이 장치(110)를 바라보고 있는지를 감지하여, 해당 방향 또는 각도를 향해 영상 또는 이미지가 출력될 수 있도록 디스플레이 장치(110)를 제어한다. The gaze detection device 120 detects the gaze of a viewer watching the display device 110. The display device 110 captures the image or the direction in which it outputs the image, and recognizes an object within the captured area. The gaze detection device 120 recognizes the eyeball of the recognized object and calculates the gaze direction of the object. That is, the gaze detection device 120 detects from which direction and at what angle the object is looking at the display device 110, and configures the display device 110 so that an image or image is output toward that direction or angle. Control.

디스플레이 장치(110)가 영상 또는 이미지를 출력하는 방향을 촬영할 수 있다면, 시선 감지장치(120)는 도 1에 도시된 바와 같이 디스플레이 장치(110)에 결합되어 구현될 수도 있고, 디스플레이 장치와 분리된 위치에 독립적으로 배치될 수도 있다.If the display device 110 can capture a video or the direction in which an image is output, the gaze detection device 120 may be implemented by being coupled to the display device 110 as shown in FIG. 1, or may be implemented separately from the display device. It can also be placed independently of location.

다시점 디스플레이 시스템(100)은 시선 감지장치(120)를 포함함에 따라, 간단한 구성만으로도 시청자의 시선 정보에 기반하여 영상 또는 이미지를 출력할 수 있다. Since the multi-viewpoint display system 100 includes the gaze detection device 120, it can output a video or image based on the viewer's gaze information with a simple configuration.

도 2는 본 발명의 일 실시예에 따른 시선 감지장치의 구성을 도시한 도면이고, 도 3 내지 6은 본 발명의 일 실시예에 따른 특징점 추출부가 특징점을 추출하는 과정을 예시한 도면이다.Figure 2 is a diagram showing the configuration of a gaze detection device according to an embodiment of the present invention, and Figures 3 to 6 are diagrams illustrating a process of extracting feature points by a feature point extractor according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 시선 감지장치(120)는 통신부(210), 촬영부(220), 객체 인식부(230), 특징점 추출부(240), 시선 연산부(250) 및 제어부(260)를 포함한다.Referring to FIG. 2, the gaze detection device 120 according to an embodiment of the present invention includes a communication unit 210, a photographing unit 220, an object recognition unit 230, a feature point extraction unit 240, and a gaze calculation unit 250. ) and a control unit 260.

통신부(210)는 디스플레이 장치(110)와 유·무선 통신을 수행하며, 출력할 영상 또는 이미지의 방향 또는 각도(렌더링)에 대한 제어신호를 디스플레이 장치(110)로 전송한다.The communication unit 210 performs wired and wireless communication with the display device 110 and transmits a control signal for the direction or angle (rendering) of the video or image to be output to the display device 110.

나아가, 통신부(210)는 자신이 결합되어 있거나 근접하여 배치된 디스플레이 장치(110) 외에 다른 디스플레이 장치(110)와 통신하여 제어신호를 전송할 수도 있고, 다른 시선 감지장치(120)로 제어신호를 추가로 전송할 수도 있다.Furthermore, the communication unit 210 may transmit a control signal by communicating with a display device 110 other than the display device 110 to which it is coupled or disposed in close proximity, and may add a control signal to another gaze detection device 120. You can also send it to .

촬영부(220)는 디스플레이 장치(110)가 영상 또는 이미지를 출력하는 방향을 촬영한다. The photographing unit 220 captures the direction in which the display device 110 outputs an image or image.

객체 인식부(230)는 촬영부(220)가 촬영한 영상 내에서 객체를 인식한다. 디스플레이 장치(110)의 종류와 거치 공간에 따라, 촬영부(220)가 촬영한 영상 내 존재하는 객체의 수는 달라질 수 있다. 객체 인식부(230)는 촬영한 영상 내 존재하는 모든 객체를 인식한다. 객체 인식부(230)는 영상 내 객체, 주로, 사람을 추출하는 다양한 알고리즘을 이용하여 객체를 인식할 수 있다.The object recognition unit 230 recognizes objects in the image captured by the photographing unit 220. Depending on the type and mounting space of the display device 110, the number of objects present in the image captured by the photographing unit 220 may vary. The object recognition unit 230 recognizes all objects present in the captured image. The object recognition unit 230 can recognize objects using various algorithms for extracting objects, mainly people, from an image.

한편, 객체 인식부(230)는 영상 내에서 객체를 인식함에 있어, 디스플레이 장치(110)로부터 기 설정된 거리와 각도 범위 내에 위치한 객체만을 인식할 수 있다. 디스플레이 장치(110)가 개방된 공간에 배치될 경우, 디스플레이 장치(110) 주변에는 실제 영상을 시청하는 객체 뿐만 아니라 그렇지 않은 객체도 존재할 수 있다. 객체 인식부(230)가 이들 모두를 인식할 경우, 비효율에 해당할 수 있다. 이에, 객체 인식부(230)는 디스플레이 장치(110)로부터 기 설정된 거리와 각도 범위 내에 위치한 객체만을 인식할 수 있다. 객체 인식부(230)는 해당 범위 내에 위치한 객체만을 디스플레이 장치(110)에서 출력되는 영상이나 이미지를 시청하는 객체로 인식할 수 있다.Meanwhile, when recognizing objects in an image, the object recognition unit 230 can only recognize objects located within a preset distance and angle range from the display device 110. When the display device 110 is placed in an open space, there may be objects around the display device 110 that are actually watching images as well as objects that are not. If the object recognition unit 230 recognizes all of these, it may be inefficient. Accordingly, the object recognition unit 230 can recognize only objects located within a preset distance and angle range from the display device 110. The object recognition unit 230 may recognize only objects located within the range as objects for viewing a video or image output from the display device 110.

특징점 추출부(240)는 인식한 객체 내에서 안구 부위 내 특징점을 추출하여 인식한 각 객체를 구별한다. The feature point extraction unit 240 extracts feature points within the eye region from the recognized objects and distinguishes each recognized object.

도 3에 도시된 바와 같이, 특징점 추출부(240)는 객체 인식부(230)가 인식한 각 객체 내에서 안면 부위를 분리한다. 특징점 추출부(240)는 인식한 객체의 안면 부위를 직접 인식하여 분리할 수도 있고, 객체의 (머리쪽) 일 끝단으로부터 일정 면적만큼을 안변 부위로서 분리할 수도 있다.As shown in FIG. 3, the feature point extraction unit 240 separates facial parts within each object recognized by the object recognition unit 230. The feature point extraction unit 240 may directly recognize and separate the facial area of the recognized object, or may separate a certain area from one end (towards the head) of the object as the eye area.

도 4에 도시된 바와 같이, 각 객체의 안면 부위를 추출한 후, 특징점 추출부(240)는 객체의 안면 부위 내에서 안구 부위를 추가로 분리한다. As shown in FIG. 4, after extracting the facial area of each object, the feature point extraction unit 240 further separates the eye area within the facial area of the object.

도 5에 도시된 바와 같이, 특징점 추출부(240)는 분리한 안구 부위를 확대하고, 확대된 안구 부위 내에서 기 설정된 지점을 기 설정된 면적만큼 분리한다. 안구 부위 전체를 특징점 분리하는데 이용해도 무방하지만, 그러할 경우 상당한 데이터량과 데이터 처리 시간을 요할 수 있다. 이에, 특징점 추출부(240)는 안구 부위를 확대한 후 안구 부위 내에서 기 설정된 지점을 기 설정된 면적만큼 분리한다. 예를 들어, 특징점 추출부(240)는 안구 부위의 안쪽 끝단부를 기 설정된 면적만큼 분리할 수 있다. As shown in FIG. 5, the feature point extraction unit 240 enlarges the separated eye area and separates a preset point within the enlarged eye area by a preset area. It is okay to use the entire eye area to separate feature points, but doing so may require a significant amount of data and data processing time. Accordingly, the feature point extraction unit 240 enlarges the eye area and then separates a preset point within the eye area by a preset area. For example, the feature point extraction unit 240 may separate the inner end of the eye area by a preset area.

도 6에 도시된 바와 같이, 특징점 추출부(240)는 분리한 면적 내에서 특징점을 추출한다. 특징점 추출부(240)는 특징점을 추출하는 다양한 알고리즘을 이용하여, 안구 부위 내 분리한 기 설정된 지점으로부터 해당 객체의 특징점을 추출한다. As shown in FIG. 6, the feature point extraction unit 240 extracts feature points within the separated area. The feature point extraction unit 240 extracts feature points of the corresponding object from preset points separated within the eye area using various algorithms for extracting feature points.

다시 도 2를 참조하면, 특징점 추출부(240)는 각 객체마다 특징점을 추출하여, 각 객체를 간편하면서도 빠르고 정확히 식별할 수 있다.Referring again to FIG. 2, the feature point extraction unit 240 extracts feature points for each object and can identify each object simply, quickly, and accurately.

시선 연산부(250)는 특정 객체의 거리 및 시선방향이나 각도를 연산한다. 시선 연산부(250)는 제어부(260)에 의해 선정된 특정 객체와 장치(110 또는 120) 간의 거리 및 시선방향이나 각도를 연산한다. 시선 연산부(250)는 특징점 추출부(240)가 특정 객체의 특징점을 추출하는 과정에서, 영상으로부터 특정 객체의 방향이나 각도는 인지할 수 있다. 또한, 시선 연산부(250)는 촬영부(220)가 영상을 촬영하며 특정 객체로부터 반사된 반사광이 입사하는 시간을 연산함으로써 해당 객체의 거리 정보도 인지할 수 있다. 또는 시선 연산부(250)는 특징점 추출부(240)의 추출 과정에서 획득 또는 분리되는 시청자의 안면/안구 부위의 면적 변화를 고려하여, 장치(110 또는 120) 간의 거리 정보를 인지할 수 있다. 이에 따라, 시선 연산부(250)는 선정된 특정 객체와 시선 감자장치(120) 간의 거리 및 시선방향이나 각도를 연산할 수 있다. The gaze calculation unit 250 calculates the distance and gaze direction or angle of a specific object. The gaze calculation unit 250 calculates the distance and gaze direction or angle between the specific object selected by the control unit 260 and the device 110 or 120. The gaze calculation unit 250 may recognize the direction or angle of a specific object from the image while the feature point extraction unit 240 extracts the feature points of the specific object. In addition, the gaze calculation unit 250 can recognize distance information of a specific object by calculating the time when the reflected light reflected from a specific object is incident while the photographing unit 220 captures an image. Alternatively, the gaze calculation unit 250 may recognize distance information between the devices 110 or 120 by considering the change in area of the viewer's face/eye area obtained or separated during the extraction process of the feature point extraction unit 240. Accordingly, the gaze calculating unit 250 may calculate the distance and gaze direction or angle between the selected specific object and the gaze monitoring device 120.

제어부(260)는 각 구성(210 내지 250)의 전술한 동작을 제어하며, 특정 객체의 시선을 트래킹하여 해당 객체의 거리와 시선방향 또는 각도에 최적화된 영상을 출력하도록 디스플레이 장치(110)를 제어한다.The control unit 260 controls the above-described operations of each component 210 to 250, and tracks the gaze of a specific object and controls the display device 110 to output an image optimized for the distance and gaze direction or angle of the object. do.

제어부(260)는 객체 인식부(230)에 의해 다양한 객체가 인지될 경우, 그 중 특정인을 선정한다. 제어부(260)는 기 설정된 거리와 각도 범위 외에 위치한 객체는 먼저 필터링하고, 기 설정된 거리와 각도 범위 내에서 각도 상으로 디스플레이 장치(110)의 중앙부에 위치한 객체, 거리 상으로 디스플레이 장치(110)와 가장 근접한 객체를 선정한다. 제어부(260)는 선정한 객체의 특징점을 추출하고, 시선을 연산하도록 특징점 추출부(240)와 시선 연산부(250)를 제어한다. 제어부(260)는 선정한 객체의 이동과 시선 방향을 트래킹하여, 출력할 영상의 방향이나 각도를 조정하도록 디스플레이 장치(110)를 제어한다. 제어부(260)의 제어에 따라, 디스플레이 장치(110)가 출력하는 영상이나 이미지는 도 7에 예시된 바와 같이 출력될 수 있다.When various objects are recognized by the object recognition unit 230, the control unit 260 selects a specific person among them. The control unit 260 first filters objects located outside the preset distance and angle range, and objects located in the center of the display device 110 in terms of angle within the preset distance and angle range, and objects located in the center of the display device 110 in terms of distance and Select the closest object. The control unit 260 extracts the feature points of the selected object and controls the feature point extraction unit 240 and the gaze calculation unit 250 to calculate the gaze. The control unit 260 tracks the movement and gaze direction of the selected object and controls the display device 110 to adjust the direction or angle of the image to be output. According to the control of the control unit 260, the video or image output by the display device 110 may be output as illustrated in FIG. 7.

도 7은 본 발명의 일 실시예에 따른 디스플레이 장치에 의해 출력되는 영상을 예시한 도면이다.Figure 7 is a diagram illustrating an image output by a display device according to an embodiment of the present invention.

도 7a에 도시된 바와 같이, 디스플레이 장치(110)는 통상의 경우 일정한 방향으로 영상 또는 이미지를 출력할 수 있다.As shown in FIG. 7A, the display device 110 can normally output an image or video in a certain direction.

한편, 도 7b에 도시된 바와 같이, 선정된 객체가 디스플레이 장치(110)가 영상 또는 이미지를 출력하는 방향으로 일정 각도만큼 틀어진 위치에서 디스플레이 장치(110)를 시청하고 있는 경우, 시선 감지장치(120)는 해당 객체를 인식하여 해당 객체의 거리와 시선 방향 또는 각도를 연산한다. 시선 감지장치(120)는 연산 결과에 따라, 디스플레이 장치(110)가 시청자가 위치한 방향이나 각도를 향하는 영상 또는 이미지를 출력하도록 제어한다. 그에 따라 도 7b에 도시된 바와 같이, 디스플레이 장치(110)에서 출력되는 영상 또는 이미지는 시청자를 향해 출력될 수 있다.Meanwhile, as shown in FIG. 7B, when the selected object is watching the display device 110 at a position tilted by a certain angle in the direction in which the display device 110 outputs the video or image, the gaze detection device 120 ) recognizes the object and calculates the distance and gaze direction or angle of the object. The gaze detection device 120 controls the display device 110 to output a video or image facing the direction or angle where the viewer is located, according to the calculation result. Accordingly, as shown in FIG. 7B, the video or image output from the display device 110 may be output toward the viewer.

다시 도 2를 참조하면, 제어부(260)는 선정한 객체의 이동과 시선 방향을 트래킹하여, 디스플레이 장치(110)가 해당 방향이나 각도로 영상을 출력하도록 하는 제어신호를 통신부(210)를 거쳐 디스플레이 장치(110)로 전송한다.Referring again to FIG. 2, the control unit 260 tracks the movement and gaze direction of the selected object and sends a control signal that causes the display device 110 to output an image in the corresponding direction or angle to the display device via the communication unit 210. Send to (110).

나아가, 제어부(260)는 전술한 과정을 거치며 생성한 제어신호를 디스플레이 장치(110) 외에도 인접한 다른 디스플레이 장치(110)로 전송하거나, 별도의 시선 감지장치(120)로 전송하도록 통신부(210)를 제어할 수 있다. 이러한 과정을 거치며, 일 시청자는 자신의 시선에 따라 출력되는 영상을 다른 이들과 공유하여 함께 시청할 수 있다.Furthermore, the control unit 260 transmits the control signal generated through the above-described process to another adjacent display device 110 in addition to the display device 110, or transmits it to a separate gaze detection device 120. You can control it. Through this process, a viewer can share the video output according to his/her perspective with others and watch it together.

도 8은 본 발명의 일 실시예에 따른 시선 감지장치가 시청자의 시선에 따라 출력할 영상을 제어하는 방법을 도시한 순서도이다.Figure 8 is a flowchart showing a method by which a gaze detection device according to an embodiment of the present invention controls the image to be output according to the viewer's gaze.

객체 인식부(230)는 촬영된 영상 내에서 객체를 인식한다(S810),The object recognition unit 230 recognizes an object in the captured image (S810).

특징점 추출부(240)는 인식된 각 객체의 안구 내 특징점을 추출한다(S820).The feature point extraction unit 240 extracts feature points within the eye of each recognized object (S820).

제어부(260)는 인식된 객체 중 시선을 추적할 객체를 선정한다(S830),The control unit 260 selects an object to track gaze from among the recognized objects (S830).

시선 연산부(250)는 객체와의 거리 및 방향을 연산한다(S840).The gaze calculation unit 250 calculates the distance and direction to the object (S840).

제어부(260)는 연산된 거리 및 방향과 부합하게 영상을 출력하도록 디스플레이 장치를 제어한다(S850).The control unit 260 controls the display device to output an image consistent with the calculated distance and direction (S850).

도 9는 본 발명의 일 실시예에 따른 특징점 추출부가 특징점을 추출하는 방법을 도시한 순서도이다.Figure 9 is a flowchart showing a method for extracting feature points by a feature point extraction unit according to an embodiment of the present invention.

특징점 추출부(240)는 촬영된 영상 내에서 인식된 객체의 안면 부위를 분리한다(S910).The feature point extraction unit 240 separates the facial area of the recognized object in the captured image (S910).

특징점 추출부(240)는 분리된 안면 내에서 안구 부위를 분리한다(S920).The feature point extraction unit 240 separates the eye area within the separated face (S920).

특징점 추출부(240)는 분리된 안구부위를 확대한다(S930).The feature point extraction unit 240 enlarges the separated eye area (S930).

특징점 추출부(240)는 확대된 안구부위 내에서 일 지점을 기 설정된 면적만큼을 분리한다(S940).The feature point extraction unit 240 separates a point within the enlarged eye area by a preset area (S940).

특징점 추출부(240)는 분리된 면적 내에서 특징점을 추출한다(S950).The feature point extraction unit 240 extracts feature points within the separated area (S950).

도 8 및 9에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 각 도면에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 8 및 9는 시계열적인 순서로 한정되는 것은 아니다.In Figures 8 and 9, each process is described as being sequentially executed, but this is merely an illustrative explanation of the technical idea of an embodiment of the present invention. In other words, a person skilled in the art to which an embodiment of the present invention pertains can change the order depicted in each drawing or perform one or more of the processes without departing from the essential characteristics of an embodiment of the present invention. Since various modifications and variations can be applied by executing in parallel, FIGS. 8 and 9 are not limited to the time series order.

한편, 도 8 및 9에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIGS. 8 and 9 can be implemented as computer-readable codes on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. That is, computer-readable recording media include storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical read media (eg, CD-ROM, DVD, etc.). Additionally, computer-readable recording media can be distributed across networked computer systems so that computer-readable code can be stored and executed in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present embodiment, and those skilled in the art will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are not intended to limit the technical idea of the present embodiment, but rather to explain it, and the scope of the technical idea of the present embodiment is not limited by these examples. The scope of protection of this embodiment should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of rights of this embodiment.

100: 다시점 디스플레이 시스템
110: 디스플레이 장치
120: 시선 감지장치
210: 통신부
220: 촬영부
230: 객체 인식부
240: 특징점 추출부
250: 시선 연산부
260: 제어부100: Multi-view display system
110: display device
120: Gaze detection device
210: Department of Communications
220: Filming Department
230: Object recognition unit
240: Feature point extraction unit
250: Gaze calculation unit
260: control unit

Claims (13)

디스플레이 장치를 시청하고 있는 시청자의 시선을 감지하여, 시청자의 시선대로 영상 또는 이미지를 출력하도록 상기 디스플레이 장치를 제어하는 시선 감지장치에 있어서,
상기 디스플레이 장치가 출력할 영상 또는 이미지의 방향이나 각도에 대한 제어신호를 상기 디스플레이 장치로 전송하는 통신부;
상기 디스플레이 장치가 영상 또는 이미지를 출력하는 방향을 촬영하는 촬영부;
상기 촬영부가 촬영한 영상 내에서 객체를 인식하는 객체 인식부;
상기 객체 인식부가 인식한 객체 내에서 특징점을 추출하여 인식한 각 객체를 구별하는 특징점 추출부;
기 설정된 객체의 거리 및 시선방향이나 각도를 연산하는 시선 연산부; 및
객체의 시선을 트래킹하여 해당 객체의 거리와 시선방향이나 각도에 최적화된 영상을 출력하도록 상기 디스플레이 장치를 제어하는 제어부
를 포함하는 것을 특징으로 하는 시선 감지장치.In the gaze detection device that detects the gaze of a viewer watching a display device and controls the display device to output a video or image according to the viewer's gaze,
a communication unit that transmits a control signal for the direction or angle of a video or image to be output by the display device to the display device;
a photographing unit that photographs a direction in which the display device outputs a video or image;
an object recognition unit that recognizes an object in an image captured by the photography unit;
a feature point extraction unit that extracts feature points from objects recognized by the object recognition device and distinguishes each recognized object;
A line-of-sight calculation unit that calculates the distance and line-of-sight direction or angle of a preset object; and
A control unit that tracks the gaze of an object and controls the display device to output an image optimized for the distance and gaze direction or angle of the object.
A gaze detection device comprising a. 제1항에 있어서,
상기 객체 인식부는,
영상 내 존재하는 모든 객체를 인식하는 것을 특징으로 하는 시선 감지장치.According to paragraph 1,
The object recognition unit,
A gaze detection device characterized by recognizing all objects present in an image. 제1항에 있어서,
상기 특징점 추출부는,
상기 객체 인식부가 인식한 객체 내 안면 부위를 추출하는 것을 특징으로 하는 시선 감지장치.According to paragraph 1,
The feature point extraction unit,
A gaze detection device characterized in that the object recognition unit extracts a facial area within the recognized object. 제3항에 있어서,
상기 특징점 추출부는,
추출한 안면 부위 내 안구 부위를 추출하는 것을 특징으로 하는 시선 감지장치.According to paragraph 3,
The feature point extraction unit,
A gaze detection device characterized in that it extracts the eye area within the extracted facial area. 제2항에 있어서,
상기 제어부는,
인식된 객체 중 시선을 트래킹할 객체를 선정하는 것을 특징으로 하는 시선 감지장치.According to paragraph 2,
The control unit,
A gaze detection device characterized in that it selects an object for gaze tracking among recognized objects. 제5항에 있어서,
상기 제어부는,
인식된 객체 중 기 설정된 조건을 만족하는 객체 1인을 트래킹할 객체로 선정하는 것을 특징으로 하는 시선 감지장치.According to clause 5,
The control unit,
A gaze detection device characterized in that one object that satisfies preset conditions among recognized objects is selected as the object to be tracked. 시선 감지장치가 디스플레이 장치를 시청하고 있는 시청자의 시선을 감지하여, 시청자의 시선대로 영상 또는 이미지를 출력하도록 상기 디스플레이 장치를 제어하는 방법에 있어서,
촬영된 영상 내에서 객체를 인식하는 인식과정;
인식된 각 객체의 특징점을 추출하는 추출과정;
인식된 객체 중 시선을 추적할 객체를 선정하는 선정과정;
상기 선정과정에서 선정된 객체와의 거리 및 방향을 연산하는 연산과정; 및
연산된 거리 및 방향과 부합하게 영상을 출력하도록 상기 디스플레이 장치를 제어하는 제어과정
을 포함하는 것을 특징으로 하는 시선 감지방법.In a method in which a gaze detection device detects the gaze of a viewer watching a display device and controls the display device to output a video or image according to the viewer's gaze,
Recognition process of recognizing an object within a captured image;
An extraction process of extracting feature points of each recognized object;
A selection process of selecting an object to track gaze from among recognized objects;
A calculation process for calculating the distance and direction to the object selected in the selection process; and
Control process to control the display device to output an image in accordance with the calculated distance and direction
A gaze detection method comprising: 제7항에 있어서,
상기 인식과정은,
영상 내 존재하는 모든 객체를 인식하는 것을 특징으로 하는 시선 감지방법.In clause 7,
The recognition process is,
A gaze detection method characterized by recognizing all objects present in an image. 제7항에 있어서,
상기 추출과정은,
인식된 각 객체 내 안면 부위를 추출하는 것을 특징으로 하는 시선 감지방법.In clause 7,
The extraction process is,
A gaze detection method characterized by extracting the facial area within each recognized object. 제9항에 있어서,
상기 추출과정은,
추출한 안면 부위 내 안구 부위를 추출하는 것을 특징으로 하는 시선 감지방법.According to clause 9,
The extraction process is,
A gaze detection method characterized by extracting the eye area within the extracted facial area. 제8항에 있어서,
상기 선정과정은,
인식된 객체 중 기 설정된 조건을 만족하는 객체 1인을 추적할 객체로 선정하는 것을 특징으로 하는 시선 감지방법.According to clause 8,
The selection process is,
A gaze detection method characterized in that one object that satisfies preset conditions among recognized objects is selected as the object to be tracked. 제11항에 있어서,
상기 선정과정은,
상기 디스플레이 장치로부터 기 설정된 거리와 각도 범위 내에 위치한 객체 중 1인을 선정하는 것을 특징으로 하는 시선 감지방법.According to clause 11,
The selection process is,
A gaze detection method characterized in that one person is selected from objects located within a preset distance and angle range from the display device. 출력할 영상을 수정 또는 조정할 수 있는 렌더러를 포함하며, 영상 또는 이미지를 외부로 출력하는 디스플레이 장치; 및
제1항 내지 제6항 중 어느 한 항의 시선 감지장치
를 포함하는 것을 특징으로 하는 다시점 디스플레이 시스템.A display device that includes a renderer capable of modifying or adjusting an image to be output and outputs the image or image to the outside; and
The gaze detection device according to any one of paragraphs 1 to 6
A multi-view display system comprising:
KR1020220156903A 2022-11-22 Apparatus and Method for Multi-viewpoint Display Based on Gaze Information KR20240075182A (en)

Publications (1)

Publication Number Publication Date
KR20240075182A true KR20240075182A (en) 2024-05-29

Family

ID=

Similar Documents

Publication Publication Date Title
KR102465227B1 (en) Image and sound processing apparatus and method, and a computer-readable recording medium storing a program
US9288474B2 (en) Image device and image processing method for generating control information indicating the degree of stereoscopic property or whether or not 3D image needs to be outputted
US9927948B2 (en) Image display apparatus and image display method
CN106576184B (en) Information processing device, display device, information processing method, program, and information processing system
US8970675B2 (en) Image capture device, player, system, and image processing method
JP5414947B2 (en) Stereo camera
US9042709B2 (en) Image capture device, player, and image processing method
US20140002612A1 (en) Stereoscopic shooting device
KR101530255B1 (en) Cctv system having auto tracking function of moving target
KR102082300B1 (en) Apparatus and method for generating or reproducing three-dimensional image
US20190098250A1 (en) Information processing apparatus, imaging apparatus, information processing method, and recording medium
GB2587453A (en) Image processing apparatus, and control method, program, and storage medium thereof
KR101740728B1 (en) System and Device for Displaying of Video Data
US9113153B2 (en) Determining a stereo image from video
JP5889022B2 (en) Imaging apparatus, image processing apparatus, image processing method, and program
KR20240075182A (en) Apparatus and Method for Multi-viewpoint Display Based on Gaze Information
KR101810671B1 (en) Method for generating direction information of omnidirectional image and device for performing the method
JP6261191B2 (en) Display control apparatus, display control method, and program
KR102178990B1 (en) Method for generating direction information of omnidirectional image and device for performing the method
KR101399418B1 (en) Device and method for video processing
WO2018008128A1 (en) Video display device and method
JP6356928B1 (en) Image providing apparatus, image providing method, program, and non-transitory computer-readable information recording medium
JP5646716B2 (en) Video display device and video display method
WO2023189081A1 (en) Image processing device, image processing method, and program
US9762891B2 (en) Terminal device, image shooting system and image shooting method