KR20150061476A - Method for providing video of non-gazing region - Google Patents

Method for providing video of non-gazing region Download PDF

Info

Publication number
KR20150061476A
KR20150061476A KR1020130145669A KR20130145669A KR20150061476A KR 20150061476 A KR20150061476 A KR 20150061476A KR 1020130145669 A KR1020130145669 A KR 1020130145669A KR 20130145669 A KR20130145669 A KR 20130145669A KR 20150061476 A KR20150061476 A KR 20150061476A
Authority
KR
South Korea
Prior art keywords
image
user
area
viewing area
user terminal
Prior art date
Application number
KR1020130145669A
Other languages
Korean (ko)
Inventor
한상봉
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020130145669A priority Critical patent/KR20150061476A/en
Publication of KR20150061476A publication Critical patent/KR20150061476A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

A method for a user terminal in a head mounted display form to provide a video for a user, comprises the steps of: separating a first video, which photographed the front direction of the user, into a gazing area at which the user gazes and a non-gazing area; deciding if an active movement, bigger than a certain level, occurs in the non-gazing area; and saving a video including the non-gazing area, in case the active movement occurs.

Description

비주시 영역의 영상을 제공하는 방법{METHOD FOR PROVIDING VIDEO OF NON-GAZING REGION}METHOD FOR PROVIDING VIDEO OF NON-GAZING REGION [0002]

본 발명은 비주시 영역의 영상을 제공하는 방법에 관한 것이다.The present invention relates to a method of providing an image in a non-localized region.

최근 IT 기술의 발달로, 몸에 착용할 수 있는 단말이 출시되고 있다. 특히, 단말은 머리에 착용할 수 있는 안경이나 헬멧 형태일 수 있는데, 헤드 마운티드 디스플레이(Head Mounted Display) 단말 또는 헤드 마운티드 단말이라고 부를 수 있다. Recently, with the development of IT technology, a terminal that can be worn on the body is being released. In particular, the terminal may be in the form of a pair of glasses or a helmet which can be worn on the head, and may be called a head mounted display terminal or a head mounted terminal.

대표적인 헤드 마운티드 디스플레이 단말로 구글 글래스가 있다. 구글 글래스는 사용자의 눈 앞의 디스플레이에 영상을 포함하는 각종 정보를 표시한다. 구글 글래스는 컴퓨팅 장치, 통신 장치, 카메라, 각종 센서, GPS 장치 등으로 구성되어 스마트폰과 같은 기능을 제공할 수 있다.A typical head-mounted display terminal is Google Glass. Google Glass displays various information including images on the display in front of the user's eyes. Google Glass is composed of a computing device, a communication device, a camera, various sensors, and a GPS device, and can provide the same functions as a smartphone.

그러나, 구글 글래스를 비롯한 현재의 단말은 증강 현실 정보를 제공하는 정도의 기능이 구현되어 있으나, 사용자의 행동을 분석하고, 사용자의 행동을 기초로 사용자에게 정보를 제공하는 기능은 구현되어 있지 않다. 앞으로, 몸에 착용할 수 있는 형태의 단말이 보급되는 경우, 단말이 사용자의 행동으로부터 의미 있는 정보를 추론하는 기술에 대한 수요가 증가할 것으로 예상된다. However, the present terminal including Google Glass implements the function of providing augmented reality information, but the function of analyzing the user's behavior and providing information to the user based on the user's behavior is not implemented. In the future, when terminals that can be worn on the body are deployed, it is expected that the demand for the technology in which the terminal deduces meaningful information from the user's behavior is expected to increase.

사용자가 경기를 볼 때, 경기장 내에서 다양한 이벤트들이 발생한다. 그런데, TV와 달리 현장에서 사용자는 자신이 바라보는 영역(주시 영역)만 볼 수 있고, 비주시 영역은 지각하지 못한다. 그러므로, 중요 이벤트가 비주시 영역에서 발생하는 경우, 사용자는 중요 이벤트를 놓치는 경우가 발생한다. 따라서, 비주시 영역의 영상을 제공하는 경우, 사용자에게 향상된 경기 관람 경험을 제공할 수 있다.When the user watches the game, various events occur in the arena. However, unlike TV, the user can only see the area he / she is looking at (viewing area), and the non-viewing area is not perceived. Therefore, when a critical event occurs in the non-conscious area, the user may miss a critical event. Accordingly, when providing an image of a non-regular region, it is possible to provide an improved game viewing experience to a user.

본 발명이 해결하고자 하는 과제는 눈의 움직임을 추적하여 영상을 주시 영역과 비주시 영역으로 구분하고, 비주시 영역의 영상을 사용자에게 제공하는 방법이다.A problem to be solved by the present invention is to divide an eye into a viewing area and a non-focusing area by tracking an eye movement, and to provide a user with an image of a non-focusing area.

본 발명의 한 실시예에 따라 헤드 마운티드 디스플레이(Head Mounted Display) 형태의 사용자 단말이 사용자에게 영상을 제공하는 방법으로서, 상기 사용자의 전방을 촬영한 제1 영상을 상기 사용자가 주시하는 주시 영역과 비주시 영역으로 구분하는 단계, 상기 비주시 영역에서 일정 기준 이상의 동적 움직임이 발생하는지 판단하는 단계, 그리고 상기 동적 움직임이 발생하는 경우, 상기 비주시 영역을 포함하는 영상을 저장하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a method of providing a user with a head mounted display type image for a user, the method comprising: displaying a first image captured in front of the user, Determining whether a dynamic motion of a predetermined reference or more occurs in the non-homing region, and storing the image including the non-homing region when the dynamic motion occurs.

상기 주시 영역과 비주시 영역으로 구분하는 단계는 상기 사용자의 눈동자 움직임을 촬영한 제2 영상을 분석하여 상기 제1 영상에서 상기 주시 영역을 설정할 수 있다.The step of dividing the viewing area into the viewing area and the non-focusing area may comprise analyzing a second image of the user's pupil motion and setting the viewing area in the first image.

상기 주시 영역과 비주시 영역으로 구분하는 단계는 상기 제2 영상을 기초로 상기 사용자가 바라보는 주시 지점을 추적하는 단계, 상기 제1 영상과 상기 주시 지점을 매핑하는 단계, 상기 제1 영상에서 상기 주시 지점을 포함하는 일정 크기의 영역을 상기 주시 영역으로 설정하는 단계, 그리고 상기 제1 영상에서 상기 주시 영역을 제외한 영역을 비주시 영역으로 설정하는 단계를 포함할 수 있다.Wherein the step of dividing the viewing area into the viewing area and the non-focusing area comprises the steps of: tracking a viewing point viewed by the user based on the second image; mapping the first image and the viewing point; Setting an area having a predetermined size including a viewing point as the viewing area, and setting the area excluding the viewing area in the first image as a non-rendering area.

상기 영상 제공 방법은 저장한 영상을 디스플레이하는 단계를 더 포함할 수 있다.The image providing method may further include displaying the stored image.

상기 영상 제공 방법은 서버로부터 이벤트를 포함하는 경기 정보를 수신하는 단계, 저장한 영상 중에서, 상기 이벤트가 발생한 시점에 저장된 영상을 검색하는 단계, 그리고 검색한 영상을 디스플레이하는 단계를 더 포함할 수 있다.The image providing method may further include receiving competition information including an event from a server, searching an image stored at a time when the event occurs, and displaying the retrieved image .

본 발명의 다른 실시예에 따른 헤드 마운티드 디스플레이(Head Mounted Display) 형태의 사용자 단말로서, 프로세서와 메모리를 통해 영상 제공 어플리케이션을 실행하고 상기 영상 제공 어플리케이션에 프로그램된 동작을 처리하는 컴퓨팅부, 상기 사용자의 눈동자의 움직임을 촬영하는 눈동자 추적용 카메라, 그리고 상기 사용자의 전방을 촬영하는 전방 카메라를 포함하고, 상기 컴퓨팅부는 상기 영상 제공 어플리케이션에 따라 상기 전방 카메라로부터 전달받은 제1 영상과 상기 눈동자 추적용 카메라로부터 전달받은 제2 영상을 분석하여, 상기 제1 영상을 상기 사용자가 주시하는 주시 영역과 비주시 영역으로 구분한다.A user terminal in the form of a head mounted display according to another embodiment of the present invention includes a computing unit for executing an image providing application through a processor and a memory and processing an operation programmed in the image providing application, And a front camera for photographing a front of the user, wherein the computing unit generates a first image from the forward camera and a second image from the eyeball tracking camera according to the image providing application Analyzes the received second image, and divides the first image into a viewing area and a non-viewing area, which are viewed by the user.

상기 컴퓨팅부는 상기 비주시 영역에서 일정 기준 이상의 동적 움직임이 발생하는지 판단하며, 상기 동적 움직임이 발생하는 경우, 상기 비주시 영역을 포함하는 영상을 저장할 수 있다.The computing unit may determine whether a dynamic motion of a predetermined reference or more occurs in the non-homing region, and may store an image including the non-homing region when the dynamic motion occurs.

상기 컴퓨팅부는 상기 제2 영상을 기초로 상기 사용자가 바라보는 주시 지점을 추출하여, 상기 제1 영상과 상기 주시 지점을 매핑하고, 상기 제1 영상에서 상기 주시 지점을 포함하는 일정 크기의 영역을 상기 주시 영역으로 설정하고, 상기 제1 영상에서 상기 주시 영역을 제외한 영역을 비주시 영역으로 설정할 수 있다.Wherein the computing unit extracts a viewing point viewed by the user on the basis of the second image, maps the first image and the viewing point, and displays a region having a predetermined size including the viewing point in the first image, And a region excluding the viewing region in the first image may be set as a non-region.

상기 사용자 단말은 서버로부터 이벤트를 포함하는 경기 정보를 수신하는 통신부를 더 포함하고, 상기 컴퓨팅부는 저장한 영상 중에서, 상기 이벤트가 발생한 시점에 저장된 영상을 검색하고, 검색한 영상을 디스플레이할 수 있다.The user terminal may further include a communication unit for receiving competition information including an event from a server. The computing unit may search images stored at the time when the event occurs, and display the retrieved images from the stored images.

본 발명의 실시예에 따르면 사용자의 행동을 모니터링할 수 있고, 사용자의 행동에 관련된 다양한 정보를 제공할 수 있다. 특히, 본 발명의 실시예에 따르면 비주시 영역에서 중요 이벤트가 발생하는 경우, 사용자는 비주시 영역의 영상을 제공받을 수 있다. 이를 통해, 본 발명의 실시예에 따르면 사용자에게 향상된 경기 관람 경험을 제공할 수 있다.According to the embodiment of the present invention, the user's behavior can be monitored and various information related to the user's behavior can be provided. Particularly, according to the embodiment of the present invention, when a significant event occurs in the non-region, the user can receive the image of the non-region. Thus, according to the embodiment of the present invention, it is possible to provide an improved game viewing experience to the user.

도 1은 본 발명의 한 실시예에 따른 사용자 단말의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 사용자 단말의 예시이다.
도 3은 본 발명의 한 실시예에 따른 영상 제공 시스템을 설명하는 도면이다.
도 4는 본 발명의 한 실시예에 따른 주시 영역과 비주시 영역을 설명하는 도면이다.
도 5는 본 발명의 한 실시예에 따른 영상 제공 방법의 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 제공 방법의 흐름도이다.1 is a block diagram of a user terminal in accordance with an embodiment of the present invention.
Figure 2 is an illustration of a user terminal in accordance with one embodiment of the present invention.
3 is a view for explaining an image providing system according to an embodiment of the present invention.
4 is a view for explaining a viewing area and a non-focusing area according to an embodiment of the present invention.
5 is a flowchart of an image providing method according to an embodiment of the present invention.
6 is a flowchart of an image providing method according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

도 1은 본 발명의 한 실시예에 따른 사용자 단말의 블록도이고, 도 2는 본 발명의 한 실시예에 따른 사용자 단말의 예시이다.FIG. 1 is a block diagram of a user terminal according to an embodiment of the present invention, and FIG. 2 is an illustration of a user terminal according to an embodiment of the present invention.

도 1과 도 2를 참고하면, 사용자 단말(100)은 착용할 수 있는(wearable) 단말로서, 예를 들면, 헤드 마운티드 디스플레이(Head Mounted Display) 단말일 수 있다. 예를 들어, 사용자 단말(100)은 안경이나 헬멧 형태로 구현될 수 있지만, 사용자 단말(100)의 외관은 다양하게 설계 변경될 수 있다.Referring to FIGS. 1 and 2, the user terminal 100 may be a wearable terminal, for example, a head mounted display terminal. For example, the user terminal 100 may be implemented in the form of a spectacle or helmet, but the appearance of the user terminal 100 may be varied in design.

사용자 단말(100)은 컴퓨팅부(110), 통신부(120), 디스플레이(130), 눈동자 추적용 카메라(140), 그리고 전방 카메라(150)를 포함한다. 사용자 단말(100)은 위치 측정부(160)를 더 포함할 수 있다. The user terminal 100 includes a computing unit 110, a communication unit 120, a display 130, a pupil tracking camera 140, and a forward camera 150. The user terminal 100 may further include a position measuring unit 160.

컴퓨팅부(110)는 프로세서와 메모리를 통해 각종 프로그램 및 어플리케이션을 실행하고 처리한다. 컴퓨팅부(110)는 사용자 단말(100)에 포함된 각종 장치와 연결되어, 각종 장치를 제어한다. 본 발명의 영상 제공 방법은 어플리케이션으로 구현될 수 있다. 어플리케이션은 프로세서에 의해 실행되는 프로그램 언어로 구현되어 있다. 어플리케이션은 컴퓨팅부(110)에 설치되며, 프로세서에 의해 실행될 수 있다. 어플리케이션은 프로그램 기록매체에 저장될 수 있다.The computing unit 110 executes and processes various programs and applications through a processor and a memory. The computing unit 110 is connected to various devices included in the user terminal 100 to control various devices. The image providing method of the present invention can be implemented as an application. The application is implemented in a programming language that is executed by the processor. The application is installed in the computing unit 110 and can be executed by a processor. The application can be stored in the program recording medium.

통신부(120)는 외부 통신 장치와 통신하는 통신 모듈을 포함한다. 통신 모듈은 와이파이나 블루투스와 같은 근거리 통신 모듈, 이동통신 모듈 등 다양할 수 있다. 통신부(120)는 외부 서버(미도시)와 통신한다. 통신부(120)는 수신한 정보를 컴퓨팅부(110)로 전달하고, 컴퓨팅부(110)로부터 전달된 정보를 지정된 서버로 전송할 수 있다.The communication unit 120 includes a communication module for communicating with an external communication device. The communication module may be a variety of communication modules such as Wi-Fi and Bluetooth, and a mobile communication module. The communication unit 120 communicates with an external server (not shown). The communication unit 120 may transmit the received information to the computing unit 110 and may transmit the information transmitted from the computing unit 110 to the designated server.

디스플레이(130)는 컴퓨팅부(110)에서 출력한 정보를 출력한다. 디스플레이(130)는 사용자가 사용자 단말(100)을 착용했을 때, 사용자의 눈 앞이나 눈 근처에 위치한다.The display 130 outputs the information output from the computing unit 110. The display 130 is located in front of or near the user's eyes when the user wears the user terminal 100. [

눈동자 추적용 카메라(140)는 사용자가 사용자 단말(100)을 착용했을 때, 눈동자의 움직임을 촬영할 수 있도록, 사용자 단말(100)에 설치된다. 눈동자 추적용 카메라(140)에서 촬영된 영상은 컴퓨팅부(110)로 전달되고, 눈동자의 움직임 추적(eye tracking)에 이용된다.The pupil tracking camera 140 is installed in the user terminal 100 so that the user can photograph the movement of the pupil when the user wears the user terminal 100. [ The image photographed by the eye tracking camera 140 is transmitted to the computing unit 110 and used for eye tracking of the pupil.

전방 카메라(150)는 사용자가 사용자 단말(100)을 착용했을 때, 전방을 촬영할 수 있도록, 사용자 단말(100)에 설치된다. 전방 카메라(150)에서 촬영된 영상은 컴퓨팅부(110)로 전달된다. 전방 카메라(150)에서 촬영된 영상은 주시 영역과 비주시 영역으로 구분된다. 여기서 주시 영역은 눈이 응시(gaze)하는 지점을 포함하는 영역이고, 비주시 영역은 주시 영역 이외의 영역이다. 구체적으로, 주시 영역은 사람의 눈에 의해 초점이 맺히는 지점을 포함하는 영역이다. 비주시 영역은 실제 눈으로 이미지의 빛은 들어오나, 초점이 형성되는 영역에서 벗어나 있어 지각하지 못하는 영역이다.The front camera 150 is installed in the user terminal 100 so that the front camera 150 can photograph the front when the user wears the user terminal 100. [ The image captured by the front camera 150 is transmitted to the computing unit 110. The image captured by the front camera 150 is divided into a viewing area and a non-focusing area. Here, the viewing area is a region including a point where the eye gazes, and the non-focusing region is an area other than the viewing area. Specifically, the area of interest is an area containing a point focused by the human eye. The non-dominant region is an area in which the light of the image actually comes into view but is out of the region where the focus is formed and is not perceptible.

위치 측정부(160)는 사용자 단말(100)의 위치를 측정한다. 위치 측정부(160)는 GPS 장치 등 다양한 위치 측정 장치와 연동하여 위치를 측정한다.The position measuring unit 160 measures the position of the user terminal 100. The position measuring unit 160 measures the position in cooperation with various position measuring devices such as a GPS device.

도 3은 본 발명의 한 실시예에 따른 영상 제공 시스템을 설명하는 도면이고, 도 4는 본 발명의 한 실시예에 따른 주시 영역과 비주시 영역을 설명하는 도면이다.FIG. 3 is a view for explaining an image providing system according to an embodiment of the present invention, and FIG. 4 is a view for explaining a viewing area and a non-focusing area according to an embodiment of the present invention.

도 3을 참고하면, 영상 제공 시스템(10)은 사용자 단말(100)과 서버(200)를 포함한다. 서버(200)는 사용자 단말(100)로 경기 정보를 제공한다.Referring to FIG. 3, the image providing system 10 includes a user terminal 100 and a server 200. The server 200 provides the game information to the user terminal 100.

사용자 단말(100)은 눈동자 추적용 카메라(140)의 영상을 분석하여, 눈동자가 주시/응시하는 지점을 추출한다. 사용자 단말(100)은 눈동자가 주시/응시하는 지점을 기초로 전방 카메라(150)의 영상을 주시 영역과 비주시 영역으로 분할한다. 눈동자 추적용 카메라(140)의 영상을 눈동자 추적용 영상이라고 하고, 전방 카메라(150)의 영상을 기본 영상이라고 한다. The user terminal 100 analyzes the image of the pupil tracking camera 140 and extracts a point where the pupil is watching / gazing. The user terminal 100 divides the image of the front camera 150 into a viewing area and a non-focusing area on the basis of a point where the pupil is watching / gazing. The image of the pupil tracking camera 140 is referred to as a pupil tracking image and the image of the front camera 150 is referred to as a basic image.

사용자 단말(100)은 기본 영상에서, 눈동자가 응시하는 지점을 포함하는 일정 크기의 영역을 주시 영역으로 결정할 수 있다. 주시 영역의 모양은 원, 정사각형, 직사각형 등 정해진 모양으로 구분될 수 있다. 비주시 영역은 기본 영상에서 주시 영역을 제외한 영역이다. 주시 영역의 크기는 서비스 제공 장소에 따라 다양하게 설정될 수 있다.The user terminal 100 can determine, as a viewing area, a region of a predetermined size including a point where the pupil gazes at the base image. The shape of the viewing area can be divided into a circle, a square, and a rectangle. The non-dominant region is the region excluding the viewing region in the basic image. The size of the viewing area can be variously set according to the service providing location.

도 4를 참고하면, 전방 카메라(150)는 기본 영상(300)을 제공한다. 사용자 단말(100)은 눈동자 추적용 영상을 기초로 눈동자가 응시하는 지점을 기본 영상(300)에 매핑한다. Referring to FIG. 4, the front camera 150 provides a basic image 300. The user terminal 100 maps a point where the pupil gazes to the base image 300 based on the pupil tracking image.

사용자 단말(100)은 눈동자가 응시하는 지점을 포함하는 일정 크기의 영역을 주시 영역(310)으로 결정하고, 나머지 영역을 비주시 영역(320)으로 결정한다. 예를 들어, 야구 경기장에서, 사용자가 내야쪽 어느 지점을 바라보는 경우, 사용자 단말(100)은 바라보는 지점을 포함하는 영역을 주시 영역(310)으로 구분할 수 있다. The user terminal 100 determines an area having a predetermined size including a point where the pupil gazes as a viewing area 310 and a remaining area as a non-rendering area 320. For example, in a baseball game, when a user views a certain point on the infield side, the user terminal 100 may divide an area including a point of view into a viewing area 310.

사용자 단말(100)은 영상 분석을 통해, 비주시 영역(320)에서 일정 기준 이상의 동적 움직임이 발생하는지 모니터링한다. 예를 들어, 선수들이 일정 기준 이상의 속도로 움직이거나, 일정 기준 이상으로 위치가 변경되는 경우, 사용자 단말(100)은 비주시 영역(320)에 동적 움직임이 있다고 판단한다. The user terminal 100 monitors whether or not a dynamic motion of a predetermined reference or more occurs in the non-registration region 320 through image analysis. For example, if the players move at a speed above a certain standard or if their position changes beyond a certain reference, the user terminal 100 determines that there is a dynamic movement in the non-home region 320.

사용자 단말(100)은 비주시 영역에서 동적 움직임이 있으면, 비주시 영역의 영상을 저장한다. 사용자 단말(100)은 기본 영상에서 비주시 영역만을 저장하거나, 기본 영상 전체를 저장할 수 있다. 사용자 단말(100)은 영상을 저장한 시간 정보를 기록한다.The user terminal 100 stores an image of the non-dominant region if there is dynamic movement in the non-dominant region. The user terminal 100 may store only the non-dominant region in the basic image or may store the entire basic image. The user terminal 100 records time information on which the image is stored.

사용자 단말(100)은 저장한 영상을 사용자에게 제공한다. 사용자 단말(100)이 사용자에게 저장한 영상을 제공하는 방법은 다양하게 구현될 수 있다.The user terminal 100 provides the stored video to the user. The method of providing the image stored by the user terminal 100 to the user may be variously implemented.

사용자 단말(100)은 서버(200)로부터 각종 경기 정보를 수신할 수 있다. 경기 정보는 경기장에서 기록되는 정보를 포함하고, 각 경기 정보는 경기 상황이 발생한 시간 정보를 포함한다. 사용자 단말(100)은 경기 정보를 기초로 사용자에게 영상을 제공할 수 있다. The user terminal 100 can receive various competition information from the server 200. [ The competition information includes information recorded in the stadium, and each competition information includes time information of occurrence of a competition situation. The user terminal 100 may provide the user with an image based on the competition information.

사용자 단말(100)은 경기 정보로부터 현재 경기가 진행 중인지 쉬는 시간인지 판단할 수 있다. 그리고 사용자 단말(100)은 쉬는 시간인 경우, 저장한 영상을 사용자에게 제공할 수 있다.The user terminal 100 may determine from the competition information whether the current game is being played or not. If the user terminal 100 is in a resting period, the user terminal 100 can provide the stored image to the user.

사용자 단말(100)은 경기 정보로부터 중요 이벤트를 추출하고, 중요 이벤트가 발생한 시점에 저장된 영상을 검색할 수 있다. 여기서 저장된 영상은 비주시 영역에 동적 움직임이 포함된 영상이다. 즉, 중요 이벤트가 발생한 시점에 저장된 영상이 있다면, 중요 이벤트가 발생한 시점에 사용자가 중요 이벤트를 주시하지 않았을 가능성이 높다. 따라서, 사용자 단말(100)은 저장된 영상 중에서, 중요 이벤트에 관계된 영상을 추출할 수 있다.The user terminal 100 can extract important events from the competition information and search for images stored at the time of occurrence of the important events. The image stored here is an image that contains dynamic motion in the non-dominant region. That is, if there is a video stored at the time of occurrence of the important event, it is highly likely that the user has not watched the important event at the time of the occurrence of the important event. Accordingly, the user terminal 100 can extract images related to important events from the stored images.

사용자 단말(100)은 이러한 영상 제공 방법을 구현한 어플리케이션을 컴퓨팅부(110)에 설치하고, 프로세서에 의해 실행될 수 있다.The user terminal 100 may install an application implementing the image providing method in the computing unit 110 and be executed by the processor.

예를 들어, 야구 경기를 관람하는 사용자는 우익수 쪽으로 떨어지는 공을 주시하고 있을 경우, 2루 주자가 움직이고 있다. 이때, 사용자는 2루 주자의 움직임을 인지하기 어렵지만, 전방 카메라(150)는 2루 주자의 주루 영상을 촬영할 수 있다. 다른 예로, 축구 경기를 관람하는 사용자는 공을 따라 시선을 움직이므로, 경기장의 다른 장소에서 일어나는 선수들의 움직임을 인지하기 어렵다. 그러나, 전방 카메라(150)는 사용자 전방을 모두 촬영할 수 있다. 따라서, 사용자 단말(100)은 사용자가 보지 못한 영역에서 동적 움직임이 발생하면, 해당 영상을 저장하고, 저장한 영상을 사용자에게 제공할 수 있다.For example, if a user watching a baseball game is watching a ball falling toward the right fielder, the second runner is moving. At this time, it is difficult for the user to recognize the movement of the second runner, but the forward camera 150 can shoot the second runner's main image. As another example, a user viewing a soccer game moves his / her gaze along the ball, so it is difficult to recognize the movement of players taking place elsewhere in the arena. However, the front camera 150 can take all of the front of the user. Accordingly, when dynamic movement occurs in an area that the user has not seen, the user terminal 100 can store the corresponding image and provide the stored image to the user.

도 5는 본 발명의 한 실시예에 따른 영상 제공 방법의 흐름도이다.5 is a flowchart of an image providing method according to an embodiment of the present invention.

도 5를 참고하면, 사용자 단말(100)은 눈동자 추적용 카메라(140)로부터 눈동자 추적용 영상을 수신한다(S110).Referring to FIG. 5, the user terminal 100 receives a pupil-tracking image from the pupil-tracking camera 140 (S110).

사용자 단말(100)은 전방 카메라(150)로부터 사용자의 전방을 촬영한 기본 영상을 수신한다(S120).The user terminal 100 receives a basic image photographed from the front camera 150 in front of the user (S120).

사용자 단말(100)은 눈동자 추적용 영상을 기초로 눈동자가 바라보는 주시 지점을 추적한다(S130). The user terminal 100 tracks the viewing point of the eye based on the pupil tracking image (S130).

사용자 단말(100)은 기본 영상과 주시 지점을 매핑한다(S140).The user terminal 100 maps the basic image and the viewpoint (S140).

사용자 단말(100)은 주시 지점을 기초로 기본 영상을 주시 영역과 비주시 영역으로 구분한다(S140). 사용자 단말(100)은 기본 영상에서 주시 지점을 포함하는 일정 크기의 영역을 주시 영역으로 설정할 수 있다. 주시 지점은 시간에 따라 자주 바뀔 수 있으므로, 사용자 단말(100)은 사용자가 기준 시간 이상 동일한 지점을 주시하는 경우, 기본 영상을 주시 영역과 비주시 영역으로 분할할 수 있다.The user terminal 100 divides the basic image into a viewing area and a non-viewing area based on a viewing point (S140). The user terminal 100 can set a region having a predetermined size including a viewing point as a viewing region in the basic image. Since the viewpoint may change frequently with time, the user terminal 100 may divide the base image into the viewing area and the non-viewing area when the user watches the same point over the reference time.

사용자 단말(100)은 비주시 영역에 해당하는 영상에서 동적 움직임이 발생하는지 모니터링한다(S150). The user terminal 100 monitors whether dynamic motion occurs in the image corresponding to the non-dominant region (S150).

동적 움직임이 발생하면, 사용자 단말(100)은 비주시 영역을 포함하는 영상을 저장한다(S160). 이때, 사용자 단말(100)은 영상을 저장하는 시간 정보를 함께 기록한다.When the dynamic motion occurs, the user terminal 100 stores the image including the non-dominant region (S160). At this time, the user terminal 100 records time information for storing images together.

사용자 단말(100)은 저장한 영상을 사용자에게 제공한다(S170). 사용자 단말(100)은 디스플레이(130)에서 영상을 출력할 수 있다. 또는 사용자 단말(100)은 다른 단말로 전송할 수 있다.The user terminal 100 provides the stored image to the user (S170). The user terminal 100 may output an image on the display 130. [ Alternatively, the user terminal 100 may transmit to another terminal.

도 6은 본 발명의 다른 실시예에 따른 영상 제공 방법의 흐름도이다.6 is a flowchart of an image providing method according to another embodiment of the present invention.

도 6을 참고하면, 사용자 단말(100)은 비주시 영역에서 동적 움직임이 발생하면, 전방 카메라(150)로부터 수신한 기본 영상을 저장한다(S210). 사용자 단말(100)은 비주시 영역에서 동적 움직임이 발생하면, 기본 영상 저장을 시작할 수 있다. 이때, 사용자 단말(100)은 영상이 저장된 시간 정보(time stamp)를 함께 기록한다.Referring to FIG. 6, the user terminal 100 stores a basic image received from the forward camera 150 when dynamic movement occurs in the non-dominant region (S210). The user terminal 100 may start to store basic images when dynamic motion occurs in the non-dominant region. At this time, the user terminal 100 also records time stamps in which the images are stored.

사용자 단말(100)은 서버(200)로부터 각종 경기 정보를 수신한다(S220). 경기 정보는 경기장에서 기록되는 정보를 포함하고, 각 경기 정보는 경기 상황이 발생한 시간 정보를 포함한다. The user terminal 100 receives various competition information from the server 200 (S220). The competition information includes information recorded in the stadium, and each competition information includes time information of occurrence of a competition situation.

사용자 단말(100)은 경기 정보로부터 중요 이벤트를 추출한다(S230).The user terminal 100 extracts important events from the competition information (S230).

사용자 단말(100)은 중요 이벤트가 발생한 시점에 저장된 영상을 검색한다(S240).The user terminal 100 searches the image stored at the time when the important event occurs (S240).

사용자 단말(100)은 검색한 영상을 사용자에게 제공한다(S250).The user terminal 100 provides the retrieved image to the user (S250).

이와 같이, 본 발명의 실시예에 따르면 사용자의 행동을 모니터링할 수 있고, 사용자의 행동에 관련된 다양한 정보를 제공할 수 있다. 특히, 본 발명의 실시예에 따르면 비주시 영역에서 중요 이벤트가 발생하는 경우, 사용자는 비주시 영역의 영상을 제공받을 수 있다. 이를 통해, 본 발명의 실시예에 따르면 사용자에게 향상된 경기 관람 경험을 제공할 수 있다.As described above, according to the embodiment of the present invention, the user's behavior can be monitored and various information related to the user's behavior can be provided. Particularly, according to the embodiment of the present invention, when a significant event occurs in the non-region, the user can receive the image of the non-region. Thus, according to the embodiment of the present invention, it is possible to provide an improved game viewing experience to the user.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (9)

헤드 마운티드 디스플레이(Head Mounted Display) 형태의 사용자 단말이 사용자에게 영상을 제공하는 방법으로서,
상기 사용자의 전방을 촬영한 제1 영상을 상기 사용자가 주시하는 주시 영역과 비주시 영역으로 구분하는 단계,
상기 비주시 영역에서 일정 기준 이상의 동적 움직임이 발생하는지 판단하는 단계, 그리고
상기 동적 움직임이 발생하는 경우, 상기 비주시 영역을 포함하는 영상을 저장하는 단계
를 포함하는 영상 제공 방법.A method of providing a video to a user terminal of a head mounted display type,
Dividing a first image photographed forward of the user into a viewing area and a non-viewing area, the viewing area being viewed by the user;
Determining whether a dynamic motion of a predetermined reference or more occurs in the non-homing region, and
When the dynamic motion occurs, storing an image including the non-consecutive region
The method comprising the steps of: 제1항에서,
상기 주시 영역과 비주시 영역으로 구분하는 단계는
상기 사용자의 눈동자 움직임을 촬영한 제2 영상을 분석하여 상기 제1 영상에서 상기 주시 영역을 설정하는 영상 제공 방법.The method of claim 1,
The step of distinguishing the viewing area into the non-focusing area
And analyzing a second image of the user's eye movement to set the viewing area in the first image. 제2항에서,
상기 주시 영역과 비주시 영역으로 구분하는 단계는
상기 제2 영상을 기초로 상기 사용자가 바라보는 주시 지점을 추적하는 단계,
상기 제1 영상과 상기 주시 지점을 매핑하는 단계,
상기 제1 영상에서 상기 주시 지점을 포함하는 일정 크기의 영역을 상기 주시 영역으로 설정하는 단계, 그리고
상기 제1 영상에서 상기 주시 영역을 제외한 영역을 비주시 영역으로 설정하는 단계
를 포함하는 영상 제공 방법.3. The method of claim 2,
The step of distinguishing the viewing area into the non-focusing area
Tracking an eye point viewed by the user based on the second image,
Mapping the first image and the viewpoint,
Setting an area of a predetermined size including the view point in the first image as the viewing area; and
Setting an area excluding the viewing area in the first image as a non-rendering area
The method comprising the steps of: 제1항에서,
저장한 영상을 디스플레이하는 단계를 더 포함하는 영상 제공 방법.The method of claim 1,
And displaying the stored image. 제1항에서,
서버로부터 이벤트를 포함하는 경기 정보를 수신하는 단계,
저장한 영상 중에서, 상기 이벤트가 발생한 시점에 저장된 영상을 검색하는 단계, 그리고
검색한 영상을 디스플레이하는 단계
를 더 포함하는 영상 제공 방법.The method of claim 1,
Receiving competition information including an event from a server,
Searching an image stored at the time of the event among the stored images, and
Displaying the searched image
Further comprising the steps of: 헤드 마운티드 디스플레이(Head Mounted Display) 형태의 사용자 단말로서,
프로세서와 메모리를 통해 영상 제공 어플리케이션을 실행하고 상기 영상 제공 어플리케이션에 프로그램된 동작을 처리하는 컴퓨팅부,
상기 사용자의 눈동자의 움직임을 촬영하는 눈동자 추적용 카메라, 그리고
상기 사용자의 전방을 촬영하는 전방 카메라를 포함하고,
상기 컴퓨팅부는 상기 영상 제공 어플리케이션에 따라 상기 전방 카메라로부터 전달받은 제1 영상과 상기 눈동자 추적용 카메라로부터 전달받은 제2 영상을 분석하여, 상기 제1 영상을 상기 사용자가 주시하는 주시 영역과 비주시 영역으로 구분하는 사용자 단말.As a user terminal in the form of a head mounted display,
A computing unit for executing an image providing application through a processor and a memory and processing an operation programmed into the image providing application,
A pupil tracking camera for photographing the movement of the pupil of the user, and
And a front camera for photographing the front of the user,
The computing unit analyzes the first image received from the forward camera and the second image received from the eyeball tracking camera in accordance with the image providing application and transmits the first image to a viewing area and a non- . 제6항에서,
상기 컴퓨팅부는
상기 비주시 영역에서 일정 기준 이상의 동적 움직임이 발생하는지 판단하며, 상기 동적 움직임이 발생하는 경우, 상기 비주시 영역을 포함하는 영상을 저장하는 사용자 단말.The method of claim 6,
The computing unit
Wherein the user terminal determines whether a dynamic motion of a predetermined reference or more occurs in the non-homing region, and stores the image including the non-homing region when the dynamic motion occurs. 제6항에서,
상기 컴퓨팅부는
상기 제2 영상을 기초로 상기 사용자가 바라보는 주시 지점을 추출하여, 상기 제1 영상과 상기 주시 지점을 매핑하고,
상기 제1 영상에서 상기 주시 지점을 포함하는 일정 크기의 영역을 상기 주시 영역으로 설정하고, 상기 제1 영상에서 상기 주시 영역을 제외한 영역을 비주시 영역으로 설정하는 사용자 단말.The method of claim 6,
The computing unit
Extracting a viewing point viewed by the user based on the second image, mapping the first image and the viewing point,
Sets an area having a predetermined size including the viewpoint in the first image as the viewing area and sets the area excluding the viewing area in the first image as a non-rendering area. 제6항에서,
서버로부터 이벤트를 포함하는 경기 정보를 수신하는 통신부를 더 포함하고,
상기 컴퓨팅부는
저장한 영상 중에서, 상기 이벤트가 발생한 시점에 저장된 영상을 검색하고, 검색한 영상을 디스플레이하는 사용자 단말.The method of claim 6,
Further comprising a communication unit for receiving competition information including an event from a server,
The computing unit
A user terminal for searching an image stored at a time when the event occurs, and displaying the retrieved image.
KR1020130145669A 2013-11-27 2013-11-27 Method for providing video of non-gazing region KR20150061476A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130145669A KR20150061476A (en) 2013-11-27 2013-11-27 Method for providing video of non-gazing region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130145669A KR20150061476A (en) 2013-11-27 2013-11-27 Method for providing video of non-gazing region

Publications (1)

Publication Number Publication Date
KR20150061476A true KR20150061476A (en) 2015-06-04

Family

ID=53499444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130145669A KR20150061476A (en) 2013-11-27 2013-11-27 Method for providing video of non-gazing region

Country Status (1)

Country Link
KR (1) KR20150061476A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705504A (en) * 2019-10-14 2020-01-17 京东方科技集团股份有限公司 Sight line positioning method, display device, electronic device, and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705504A (en) * 2019-10-14 2020-01-17 京东方科技集团股份有限公司 Sight line positioning method, display device, electronic device, and storage medium
CN110705504B (en) * 2019-10-14 2022-07-08 京东方科技集团股份有限公司 Sight line positioning method, display device, electronic device, and storage medium

Similar Documents

Publication Publication Date Title
CN108605166B (en) Method and equipment for presenting alternative image in augmented reality
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
KR102246310B1 (en) Systems and methods for gaze-based media selection and editing
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
JP5475893B2 (en) Apparatus and method for measuring visual fatigue level
TWI669635B (en) Method and device for displaying barrage and non-volatile computer readable storage medium
JP2020042807A (en) Foveated rendering system and method
CN109002164B (en) Display method and device of head-mounted display equipment and head-mounted display equipment
JP2021103303A (en) Information processing device and image display method
EP2706906A1 (en) Gaze tracking system
CN102934458A (en) Interest estimation device and interest estimation method
EP3671408B1 (en) Virtual reality device and content adjusting method therefor
KR20200106547A (en) Positioning system for head-worn displays including sensor integrated circuits
CN112666705A (en) Eye movement tracking device and eye movement tracking method
JP5096643B1 (en) Congestion capability determination device and method
US20210058609A1 (en) Information processor, information processing method, and program
CN107105215B (en) Method and display system for presenting image
GB2597917A (en) Gaze tracking method and apparatus
KR20150061476A (en) Method for providing video of non-gazing region
JP2021018575A (en) Image processing device, image distribution system, and image processing method
US20230393653A1 (en) Calibration for gaze detection
JP2023014990A (en) Video recording and playback system and method
KR101574771B1 (en) Video providing system, and method thereof
US11688168B1 (en) Method and device for visual augmentation of sporting events
US11222394B2 (en) Devices and headsets

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination