KR20190122053A - object image tracking streaming system and method using the same - Google Patents

object image tracking streaming system and method using the same Download PDF

Info

Publication number
KR20190122053A
KR20190122053A KR1020180045707A KR20180045707A KR20190122053A KR 20190122053 A KR20190122053 A KR 20190122053A KR 1020180045707 A KR1020180045707 A KR 1020180045707A KR 20180045707 A KR20180045707 A KR 20180045707A KR 20190122053 A KR20190122053 A KR 20190122053A
Authority
KR
South Korea
Prior art keywords
video
character
screen
characters
user
Prior art date
Application number
KR1020180045707A
Other languages
Korean (ko)
Other versions
KR102066857B1 (en
Inventor
채다행
이창익
서민식
조민정
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020180045707A priority Critical patent/KR102066857B1/en
Publication of KR20190122053A publication Critical patent/KR20190122053A/en
Application granted granted Critical
Publication of KR102066857B1 publication Critical patent/KR102066857B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Abstract

The present invention relates to an object image tracking streaming system, which enables to a user to enlarge and reproduce a corresponding character by selecting a random character included in a video, and to a streaming method using the same. The object image tracking streaming system of the present invention comprises: a video content server for providing a video in which at least one person appears; and a user terminal for transmitting, to the video content server, a character selection signal included in video content provided by the video content server, and receiving the video including the selected character and object information from the video content server to enlarge and display a video area occupied by the character when the video content is reproduced. Accordingly, an effect of performing photographing by multi-track can be exhibited by using one video photographed in a full-shot, and the speed of video streaming can be improved by reducing the capacity of video streaming data.

Description

객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 스트리밍 방법{object image tracking streaming system and method using the same}Object image tracking streaming system and method using the same}

본 발명은 동영상 콘텐츠 스트리밍 시스템 및 스트리밍 방법에 관한 것으로서, 더욱 상세하게는 사용자가 동영상에 포함된 임의의 등장인물을 선택하여 해당 등장인물을 확대하여 재생할 수 있는 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 스트리밍 방법에 관한 것이다.The present invention relates to a video content streaming system and a streaming method, and more particularly, to an object video tracking streaming system and a streaming method using the same, in which a user can select an arbitrary character included in a video to enlarge and play the corresponding character. It is about.

근래에 들어 비디오 카메라, 디지털 캠코더 등의 촬영 전용 디지털 기기를 비롯하여, 촬영 가능한 장치가 내장된 이동통신 단말기 및 MP3 플레이어 등의 디지털 기기가 널리 보급되면서 동영상과 같은 디지털 데이터를 생성하는 사용자의 수가 크게 증가하게 되었다.In recent years, digital devices such as video cameras and digital camcorders, as well as digital devices such as mobile communication terminals and MP3 players with built-in recordable devices have become widespread, and the number of users who generate digital data such as video clips has greatly increased. Was done.

이에 따라, 생성되는 디지털 데이터의 양 역시 급증하게 되었으며, 방대해진 데이터의 양을 체계적으로 관리하고 이용할 수 있는 시스템 구축의 필요성이 요구되게 되었다.As a result, the amount of digital data generated has also increased rapidly, and the necessity of constructing a system that can systematically manage and use a large amount of data is required.

이와 같은 디지털 데이터의 관리를 체계적으로 수행하고, 사용자가 보다 편리하게 디지털 데이터를 이용할 수 있도록 하기 위하여, 디지털 데이터 내의 인물 식별을 통해 태그를 부여하는 기술이 제안된 바 있으며, 높은 정확도로 디지털 데이터로부터 태그를 추출하는 다양한 방법들이 시도되고 있다. 여기서, “태그”란 데이터에 대한 신속한 억세스 또는 검색을 위해 디지털 데이터에 부착되는 부가 데이터로 이해될 수 있으며, 일련의 문자, 숫자, 또는 문자 및 숫자의 조합으로 이루어지는 것이 일반적이다.In order to systematically manage such digital data and to enable users to use the digital data more conveniently, a technique of tagging by identifying a person in the digital data has been proposed. Various ways of extracting tags have been tried. Here, a "tag" may be understood as additional data attached to digital data for quick access or retrieval of the data, and generally consists of a series of letters, numbers, or a combination of letters and numbers.

인물 식별을 통해 디지털 데이터에 태그를 부여하기 위해 필요로 되는 기술 중 하나로서 얼굴 검출(face detection) 기술을 일 예로 들 수 있다. 얼굴 검출 기술은 디지털 카메라나 캠코더 등의 촬영수단에 의해 포착된 사진 또는 동영상의 화질을 강화하기 위해 널리 채용되고 있는 기술로서, 별도로 마련된 버튼을 누르면 촬영범위 내에 단일 또는 복수의 인물이 있는 경우 얼굴 부분을 자동으로 인식하여 초점과 노출을 조절하는 기능을 수행한다. 가령, 최근 소니(Sony)사, 후지필름(FujiFilm)사, 니콘(Nikon)사, 캐논(Canon)사 등이 앞다투어 선보이고 있는 얼굴 검출 기능이 부가된 촬영수단의 경우 상기의 기능을 사용하여 사진, 동영상 등을 편리하게 촬영하여 편집, 저장할 수 있다.For example, face detection is one of techniques required for tagging digital data through person identification. Face detection technology is widely adopted to enhance the quality of photographs or videos captured by shooting means such as digital cameras or camcorders. Automatically recognizes and adjusts the focus and exposure. For example, in the case of a photographing means with a face detection function recently introduced by Sony, FujiFilm, Nikon, Canon, etc., the photo, You can easily shoot, edit, and save videos.

그러나 이러한 장점에도 불구하고, 비디오 카메라나 캠코더 등으로 복수의 이벤트(event)에 관련하여 각각의 동영상을 시간적으로 무작위로 이어서 생성하였을 때 이러한 복수의 동영상 중 적어도 하나에 포함된 특정 인물이 등장하는 장면만을 선택하여 재생하고 싶을 경우, 또는 하나의 동영상 내에서 특정 인물만이 등장하는 장면만을 선택하여 재생하고 싶을 경우, 빨리 감기나 되감기 등으로 그 위치를 일일이 찾아서 확인해야 하는 불편함이 존재하게 된다.However, despite these advantages, a scene in which a specific person included in at least one of the plurality of videos appears when each video is randomly generated in succession in relation to a plurality of events with a video camera or a camcorder. If you only want to play by selecting only, or if you want to select and play only scenes in which only a specific person appears in one video, there is an inconvenience to find and check the position by fast forwarding or rewinding.

본 발명은 사용자가 동영상 콘텐츠를 스트리밍하여 재생시, 사용자가 선택한 등장인물에 대한 객체 정보를 이용하여 사용자가 선택한 등장인물을 확대하여 표시할 수 있는 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 객체 영상 트랙킹 스트리밍 방법을 제공하는 것을 목적으로 한다.The present invention provides an object video tracking streaming system and an object video tracking streaming method using the same to enlarge and display a character selected by a user using object information of a user selected character when the user streams and plays video content. The purpose is to provide.

본 발명의 다른 목적은 동영상에 포함된 등장인물의 얼굴을 인식한 객체 정보를 이용함으로써, 풀샷으로 촬영한 하나의 동영상을 이용하여 멀티트랙으로 촬영한 효과를 나타낼 수 있는 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 객체 영상 트랙킹 스트리밍 방법을 제공하는 것이다.Another object of the present invention is to use the object information that recognizes the face of the characters included in the video, object video tracking streaming system that can show the effect of shooting in a multi-track using a single video shot in full shot and the same It provides an object video tracking streaming method.

본 발명의 다른 목적은 동영상 스트리밍 데이터 용량을 줄여 동영상 스트리임의 속도를 향상시킬 수 있는 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 객체 영상 트랙킹 스트리밍 방법을 제공하는 것이다.Another object of the present invention is to provide an object video tracking streaming system and an object video tracking streaming method using the same, which can reduce the video streaming data capacity and improve the speed of video stream.

이러한 목적들을 달성하기 위한 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템은 적어도 하나의 인물이 등장하는 동영상을 제공하는 동영상 콘텐츠 서버; 및 상기 동영상 콘텐츠 서버로부터 제공된 동영상 콘텐츠에 포함된 등장인물 선택 신호를 상기 동영상 콘텐츠 서버로 전송하고, 상기 동영상 콘텐츠 서버로부터 선택된 등장인물이 포함된 동영상과 객체정보를 수신하여 동영상 콘텐츠 재생시 등장인물이 차지하는 동영상 영역을 확대하여 표시하는 사용자 단말기를 포함하여 이루어진다.An object video tracking streaming system according to the present invention for achieving the above object comprises a video content server for providing a video in which at least one person appears; And transmitting a character selection signal included in the video content provided from the video content server to the video content server, and receiving the video and object information including the selected character from the video content server. It includes a user terminal to enlarge and display the video area occupied.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 바람직한 실시 예에서 상기 동영상 콘텐츠 서버는 적어도 하나 이상의 인물을 풀샷(full shot)으로 촬영하는 동영상 리코더; 상기 동영상 리코더에 의해 촬영된 동영상을 저장하는 동영상 DB; 상기 동영상에 나타나는 등장인물을 구별하고, 상기 구별된 등장인물별로 상기 등장인물의 식별자, 상기 등장인물의 얼굴의 특성 데이터, 상기 등장인물이 나타나는 시간대 정보를 획득하는 등장인물 식별부; 상기 등장인물 식별부에 의해 획득한 상기 등장인물의 식별자, 특성 데이터 및 시간대 정보를 포함한 객체정보를 저장하는 등장인물 정보 DB; 상기 사용자 단말기와의 데이터 통신을 수행하는 인터페이스부; 및 상기 인터페이스부를 통해 전달되는 사용자 단말기로부터의 요청신호에 대하여 상기 동영상 DB에 저장된 동영상을 상기 인터페이스부를 통해 사용자 단말기에 제공하도록 제어하고, 동영상 콘텐츠에 포함된 등장인물에 선택 신호를 상기 인터페이스부를 통해 사용자 단말기로부터 수신하여, 상기 등장인물 식별부 및 등장인물 DB를 제어하여 선택된 등장인물이 포함된 동영상과 객체정보를 상기 인터페이스부를 통해 사용자 단말기에 제공하도록 제어하는 콘텐츠 제어부를 포함하여 이루어질 수 있다.In a preferred embodiment of the object video tracking streaming system according to the present invention, the video content server comprises: a video recorder for capturing at least one or more persons in a full shot; A video DB for storing a video photographed by the video recorder; A character identification unit for distinguishing characters appearing in the video, and acquiring identifiers of the characters, characteristic data of faces of the characters, and time zone information in which the characters appear for each of the distinguished characters; A character information DB for storing object information including an identifier, characteristic data, and time zone information of the character acquired by the character identification unit; An interface unit for performing data communication with the user terminal; And controlling to provide a video stored in the video DB to the user terminal through the interface unit, in response to a request signal from the user terminal transmitted through the interface unit, and selecting a character included in the video content through the interface unit. Receiving from the terminal, it may include a content control unit for controlling the character identification unit and the character DB to control to provide a video and object information including the selected character to the user terminal through the interface unit.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 바람직한 실시 예에서 상기 등장인물 식별부는 상기 동영상 리코더를 이용하여 동영상을 생성하면서 실시간으로 상기 등장인물의 식별자, 특성 데이터 및 시간대 정보를 획득한다.In a preferred embodiment of the object image tracking streaming system according to the present invention, the character identification unit obtains the identifier, characteristic data, and time zone information of the character in real time while generating a video using the video recorder.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 바람직한 실시 예에서 상기 사용자 단말기는 상기 콘텐츠 제공서버로부터 수신한 동영상 또는 사용자가 선택한 등장인물이 포함된 영상을 확대하여 제1 화면에 표시하고, 제1 화면에 표시되는 동영상에 포함된 등장인물들의 얼굴을 제2 화면에 표시하도록 제어하는 단말기 제어부를 포함한다.In a preferred embodiment of the object video tracking streaming system according to the present invention, the user terminal enlarges the video including the video received from the content providing server or the character selected by the user on the first screen and displays the first screen. And a terminal controller configured to display the faces of the characters included in the displayed video on the second screen.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 바람직한 실시 예에서 상기 단말기 제어부는 상기 제1 화면에 사용자가 선택한 등장인물을 확대하여 표시하되 확대 이전의 전체 화면을 축소하여 제1 화면의 일부 영역에 표시하도록 제어한다.In a preferred embodiment of the object image tracking streaming system according to the present invention, the terminal controller enlarges and displays a character selected by the user on the first screen, but reduces the entire screen before the enlargement to display the partial screen of the first screen. To control.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 바람직한 실시 예에서 상기 단말기 제어부는 사용자 명령에 응답하여 상기 제1 화면을 통해 표시되는 등장인물의 확대 비율을 변경하도록 제어한다.In a preferred embodiment of the object video tracking streaming system according to the present invention, the terminal controller controls to change the enlargement ratio of the characters displayed on the first screen in response to a user command.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 바람직한 실시 예에서 상기 단말기 제어부는 상기 제1 화면의 확대 비율의 변경에 따라 해상도가 향상되도록 상기 확대된 영상을 보정한다.In a preferred embodiment of the object image tracking streaming system according to the present invention, the terminal controller corrects the enlarged image so that the resolution is improved according to the change of the magnification ratio of the first screen.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 바람직한 실시 예에서 상기 단말기 제어부는 상기 동영상을 구성하는 프레임 중 현재 시점 전의 복수의 프레임을 추출하고, 상기 복수의 프레임 각각에 포함된 선택된 등장인물의 에지(edge)를 기초로 에지를 보간하여 상기 확대된 제1 화면의 해상도를 향상시킨다.In a preferred embodiment of the object image tracking streaming system according to the present invention, the terminal controller extracts a plurality of frames before a current time point among frames constituting the video, and an edge of the selected character included in each of the plurality of frames. ) To improve the resolution of the enlarged first screen.

본 발명에 따른 객체 영상 트랙킹 스트리밍 방법은 적어도 하나 이상의 인물을 풀샷(full shot)으로 촬영하여 시계열적으로 연속된 복수의 프레임을 갖는 동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 확대하여 재생하기 위한 객체 영상 트랙킹 스트리밍 방법으로서, (a) 어플리케이션을 구동하여 동영상 스트리밍 서비스를 요청하는 단계; (b) 동영상 콘텐츠 서버로부터 동영상 스트리밍 데이터를 수신하여 동영상을 재생하여 화면에 표시하는 단계; (c) 재생 중 동영상 등장인물 중 어느 하나의 등장인물에 대한 사용자의 선택신호를 수신하는 경우, 해당 선택신호를 동영상 콘텐츠 서버로 전송하는 단계; (d) 동영상 콘텐츠 서버로부터 사용자가 선택한 등장인물이 포함된 동영상과 객체정보를 수신하는 단계; 및 (e) 수신한 객체정보를 이용하여 사용자가 선택한 등장인물이 포함된 영상을 확대하여 표시하는 단계를 포함하여 이루어진다.The object video tracking streaming method according to the present invention selectively captures a scene in which at least one person appears in a full shot and a scene in which a specific person appears among at least one person appearing in a video having a plurality of frames consecutively in time series. An object video tracking streaming method for expanding and playing, comprising: (a) driving an application to request a video streaming service; (b) receiving the video streaming data from the video content server, playing the video, and displaying the video on the screen; (c) if a user's selection signal for any one of the video characters is received during playback, transmitting the selection signal to the video content server; (d) receiving a video and object information including a character selected by a user from a video content server; And (e) enlarging and displaying an image including the character selected by the user by using the received object information.

본 발명의 바람직한 실시에 따른 객체 영상 트랙킹 스트리밍 방법에서 상기 객체정보는 상기 동영상 콘텐츠 서버에서 동영상에 포함된 등장인물의 식별자, 특성 데이터 및 시간대 정보를 추출하여 생성한 것이다.In the object video tracking streaming method according to the preferred embodiment of the present invention, the object information is generated by extracting identifiers, characteristic data, and time zone information of the characters included in the video from the video content server.

본 발명에 따른 객체 영상 트랙킹 스트리밍 방법에서 상기 (b) 단계에서 제1 화면을 통해 동영상을 재생하여 표시하면서 제2 화면을 통해 제1 화면에 표시되는 동영상에 포함된 등장인물들의 얼굴을 표시하고, 상기 (e) 단계에서 제1 화면을 통해 사용자가 선택한 등장인물이 포함된 영상을 확대하여 표시하면서 제2 화면을 통해 제1 화면에 표시되는 동영상에 포함된 등장인물들의 얼굴을 표시하는 것이 바람직하다.In the object image tracking streaming method according to the present invention, the faces of the characters included in the video displayed on the first screen through the second screen while displaying and playing the video through the first screen in the step (b), In the step (e), it is preferable to display the faces of the characters included in the video displayed on the first screen through the second screen while displaying an enlarged image including the character selected by the user through the first screen. .

본 발명의 바람직한 실시에 따른 객체 영상 트랙킹 스트리밍 방법은 상기 (e) 단계에서 상기 제1 화면에 사용자가 선택한 등장인물을 확대하여 표시하되 확대 이전의 전체 화면을 축소하여 제1 화면의 일부 영역에 표시한다.In the object video tracking streaming method according to the preferred embodiment of the present invention, in the step (e), the user's selected characters are enlarged and displayed on the first screen, but the entire screen before the enlargement is reduced and displayed on a partial area of the first screen. do.

본 발명의 바람직한 실시에 따른 객체 영상 트랙킹 스트리밍 방법은 (f) 상기 제1 화면을 통해 표시되는 등장인물의 확대 비율을 변경하기 위한 사용자의 명령을 수신하는 단계; 및 (g) 사용자의 명령에 따라 해상도가 향상되도록 상기 확대된 영상을 보정하는 단계를 더 포함하여 이루어질 수 있다.An object image tracking streaming method according to a preferred embodiment of the present invention comprises the steps of: (f) receiving a user's command to change an enlargement ratio of a character displayed on the first screen; And (g) correcting the enlarged image such that the resolution is improved according to a user's command.

본 발명의 바람직한 실시에 따른 객체 영상 트랙킹 스트리밍 방법에서 상기 (g)단계는 (g-1) 동영상을 구성하는 프레임 중 현재 시점 전의 복수의 프레임을 추출하는 단계; 및 (g-2) 상기 복수의 프레임 각각에 포함된 선택된 등장인물의 에지(edge)를 기초로 에지를 보간하여 상기 확대된 제1 화면의 해상도를 향상시키는 단계를 포함하여 이루어질 수 있다.In the object video tracking streaming method according to the preferred embodiment of the present invention, the step (g) includes (g-1) extracting a plurality of frames before the current view from among the frames constituting the video; And (g-2) improving the resolution of the enlarged first screen by interpolating an edge based on an edge of a selected character included in each of the plurality of frames.

본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 객체 영상 트랙킹 스트리밍 방법은 다음과 같은 효과를 나타낼 수 있다.The object video tracking streaming system and the object video tracking streaming method using the same according to the present invention can produce the following effects.

첫째, 풀샷으로 촬영한 하나의 동영상을 이용하여 멀티트랙으로 촬영한 효과를 나타낼 수 있다.First, a single video shot in full shot can be used to show the effect of shooting in multitrack.

둘째, 동영상 스트리밍 데이터 용량을 줄여 동영상 스트리임의 속도를 향상시킬 수 있다.Second, the speed of video streams can be improved by reducing the amount of video streaming data.

도 1은 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 구성을 나타낸 예시도이다.
도 2는 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 동영상 콘텐츠 서버의 구성을 나타낸 예시도이다.
도 3은 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기의 구성을 나타낸 예시도이다.
도 4는 본 발명에 따른 객체 영상 트랙킹 스트리밍 방법을 구현하는 사용자 단말기의 동작 과정을 나타낸 흐름도이다.
도 5는 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기와 동영상 콘텐츠 서버 사이의 신호 처리 관계를 나타낸 예시도이다.
도 6은 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기에서의 동영상 스트리밍 동작을 나타낸 예시도이다.
도 7은 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기에서 사용자가 선택한 등장인물의 확대 표시를 나타낸 예시도이다.
도 8은 본 발명의 다른 실시 예에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기의 표시 상태를 나타낸 예시도이다.
도 9는 본 발명의 또 다른 실시 예에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기의 표시 상태를 나타낸 예시도이다.
도 10은 본 발명의 또 다른 실시 예에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기의 표시 상태를 나타낸 예시도이다.1 is an exemplary view showing the configuration of an object video tracking streaming system according to the present invention.
2 is an exemplary view showing the configuration of a video content server in the object video tracking streaming system according to the present invention.
3 is an exemplary view showing the configuration of a user terminal in the object video tracking streaming system according to the present invention.
4 is a flowchart illustrating an operation process of a user terminal implementing the object video tracking streaming method according to the present invention.
5 is an exemplary diagram illustrating a signal processing relationship between a user terminal and a video content server in the object video tracking streaming system according to the present invention.
6 is an exemplary view illustrating a video streaming operation in a user terminal in the object video tracking streaming system according to the present invention.
7 is an exemplary view illustrating an enlarged display of a character selected by a user in a user terminal in an object video tracking streaming system according to the present invention.
8 is an exemplary view illustrating a display state of a user terminal in an object video tracking streaming system according to another exemplary embodiment of the present invention.
9 is an exemplary view illustrating a display state of a user terminal in an object video tracking streaming system according to another embodiment of the present invention.
10 is an exemplary view illustrating a display state of a user terminal in an object video tracking streaming system according to another embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.With respect to the embodiments of the present invention disclosed in the text, specific structural to functional descriptions are merely illustrated for the purpose of describing the embodiments of the present invention, the embodiments of the present invention may be implemented in various forms and It should not be construed as limited to the described embodiments.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosed form, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 없는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between. Other expressions describing the relationship between components, such as "between" and "immediately between," or "neighboring to," and "directly neighboring to" should be interpreted as well.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가진다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprises" or "having" are intended to indicate that there is a disclosed feature, number, step, operation, component, part, or combination thereof, one or more other features or numbers, It is to be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 나타내는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as meaning meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 흐름도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.On the other hand, when an embodiment is otherwise implemented, a function or operation specified in a specific block may occur out of the order described in the flowchart. For example, two consecutive blocks may actually be performed substantially simultaneously, and the blocks may be performed upside down depending on the function or operation involved.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템의 구성을 나타낸 예시도이다. 적어도 하나의 인물이 등장하는 동영상을 제공하는 동영상 콘텐츠 서버(100); 인터넷망을 통해 상기 동영상 콘텐츠 서버(100)와 데이터 통신을 수행하면서 동영상 데이터 스트리밍을 수행할 수 있는 다수의 사용자 단말기(201, 202 … 20N: 200)를 포함하여 이루어진다.1 is an exemplary view showing the configuration of an object video tracking streaming system according to the present invention. A video content server 100 providing a video in which at least one person appears; It includes a plurality of user terminals (201, 202 ... 20N: 200) capable of performing video data streaming while performing data communication with the video content server 100 through the Internet network.

상기 인터넷 망은 무선 인터넷 망 또는 유선 인터넷 망을 포함할 수 있으며, 사용자 단말기(200)는 상기 무선 또는 유선 인터넷 망에 접속 가능한 개인용 컴퓨터 또는 이동통신 단말기를 포함할 수 있다.The internet network may include a wireless internet network or a wired internet network, and the user terminal 200 may include a personal computer or a mobile communication terminal accessible to the wireless or wired internet network.

상기 사용자 단말기(200)는 상기 동영상 콘텐츠 서버(100)로부터 제공된 동영상 콘텐츠에 포함된 등장인물 선택 신호를 상기 동영상 콘텐츠 서버(100)로 전송하고, 선택된 등장인물이 포함된 동영상과 객체정보를 상기 동영상 콘텐츠 서버(100)로부터 수신하여 동영상 콘텐츠 재생시 등장인물이 차지하는 동영상 영역을 확대하여 표시한다.The user terminal 200 transmits a character selection signal included in the video content provided from the video content server 100 to the video content server 100, and transmits the video and object information including the selected character to the video. Received from the content server 100 to enlarge the video area occupied by the character when playing the video content is displayed.

도 2는 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 동영상 콘텐츠 서버의 구성을 나타낸 예시도이다. 적어도 하나 이상의 인물을 풀샷(full shot)으로 촬영하는 동영상 리코더(110); 상기 동영상 리코더(110)에 의해 촬영된 동영상을 저장하는 동영상 DB(120); 상기 동영상에 나타나는 등장인물을 구별하고, 상기 구별된 등장인물별로 상기 등장인물의 식별자, 상기 등장인물의 얼굴의 특성 데이터, 상기 등장인물이 나타나는 시간대 정보를 획득하는 등장인물 식별부(130);상기 등장인물 식별부(130)에 의해 획득한 상기 등장인물의 식별자, 특성 데이터 및 시간대 정보를 포함한 객체정보를 저장하는 등장인물 정보 DB(140); 상기 사용자 단말기(200)와의 데이터 통신을 수행하는 인터페이스부(160); 및 상기 인터페이스부(160)를 통해 전달되는 사용자 단말기(200)로부터의 요청신호에 대하여 상기 동영상 DB(120)에 저장된 동영상을 상기 인터페이스부(160)를 통해 사용자 단말기(200)에 제공하도록 제어하고, 동영상 콘텐츠에 포함된 등장인물에 선택 신호를 상기 인터페이스부(160)를 통해 사용자 단말기(200)로부터 수신하여, 상기 등장인물 식별부(130) 및 등장인물 정보 DB(140)를 제어하여 선택된 등장인물이 포함된 동영상과 객체정보를 상기 인터페이스부(160)를 통해 사용자 단말기(200)에 제공하도록 제어하는 콘텐츠 제어부(150)를 포함하여 이루어진다.2 is an exemplary view showing the configuration of a video content server in the object video tracking streaming system according to the present invention. A video recorder 110 for capturing at least one person in a full shot; A video DB (120) for storing a video photographed by the video recorder (110); Character identification unit 130 for distinguishing the characters appearing in the video, and for obtaining the identifier of the character, the characteristic data of the face of the character, the time zone information that the character appears for each of the distinguished characters; A character information DB (140) for storing object information including an identifier, characteristic data, and time zone information of the character acquired by the character identification unit (130); An interface unit 160 for performing data communication with the user terminal 200; And providing a video stored in the video DB 120 to the user terminal 200 through the interface unit 160 in response to a request signal from the user terminal 200 transmitted through the interface unit 160. The selected signal is received from the user terminal 200 through the interface unit 160 to the characters included in the video content, and the character identification unit 130 and the character information DB 140 are controlled to appear. And a content controller 150 that controls to provide the user terminal 200 with the video and the object information including the person.

도 3은 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기의 구성을 나타낸 예시도이다. 그 구성을 살펴보면, 사용자의 명령을 입력받기 위한 입력부(210), 상기 동영상 콘텐츠 서버(100)를 비롯한 외부 기기와의 유선 또는 무선 데이터 통신을 수행하기 위한 단말기 통신부(220), 어플리케이션의 구현에 의해 재생되는 동영상을 표시하는 표시부(240), 상기 단말기 통신부(220)를 통해 수신한 동영상 콘텐츠를 포함한 다양한 정보를 저장하는 메모리(250) 및 단말기의 전반적 동작을 제어하는 단말기 제어부(230)를 포함하여 이루어진다.3 is an exemplary view showing the configuration of a user terminal in the object video tracking streaming system according to the present invention. Looking at the configuration, the input unit 210 for receiving a user's command, the terminal communication unit 220 for performing wired or wireless data communication with the external device, including the video content server 100, by the implementation of the application Including a display unit 240 for displaying a video to be reproduced, a memory 250 for storing a variety of information including the video content received through the terminal communication unit 220 and a terminal controller 230 for controlling the overall operation of the terminal; Is done.

위에서 언급한 바와 같이, 상기 사용자 단말기(200)는 개인용 컴퓨터 또는 이동통신용 단말기가 될 수 있다. 사용자 단말기가 개인용 컴퓨터라면 상기 입력부(210)는 키보드나 마우스가 될 수 있으며, 이동통신용 단말기라면 상기 입력부(210)는 터치 패널에 접촉 가능한 포인팅 디바이스나 사용자의 손가락이 될 수도 있다.As mentioned above, the user terminal 200 may be a personal computer or a mobile communication terminal. If the user terminal is a personal computer, the input unit 210 may be a keyboard or a mouse. If the user terminal is a mobile communication terminal, the input unit 210 may be a pointing device or a user's finger that can touch the touch panel.

도 4는 본 발명에 따른 객체 영상 트랙킹 스트리밍 방법을 구현하는 사용자 단말기의 동작 과정을 나타낸 흐름도이고, 도 5는 본 발명에 따른 객체 영상 트랙킹 스트리밍 시스템에서의 사용자 단말기와 동영상 콘텐츠 서버 사이의 신호 처리 관계를 나타낸 예시도이다.4 is a flowchart illustrating an operation process of a user terminal implementing the object video tracking streaming method according to the present invention, and FIG. 5 is a signal processing relationship between a user terminal and a video content server in the object video tracking streaming system according to the present invention. It is an exemplary diagram showing.

먼저, 사용자 단말기에서 어플리케이션을 구동한다. 상기 어플리케이션은 상기 동영상 콘텐츠 서버(100)로부터 동영상 데이터를 실시간으로 스트리밍하여 재생할 수 있는 응용 프로그램일 수 있다. 데이터 스트리밍(data streaming)은 인터넷에서 영상이나 음향, 애니메이션 등의 파일을 하드 디스크 드라이브에 다운로드 받아 재생하던 것을 다운로드 없이 실시간으로 재생해주는 기법을 말한다. 전송되는 데이터가 마치 물이 흐르는 것처럼 처리된다고 해서 "스트리밍(streaming)"이라는 명칭으로 사용된다. 재생시간이 단축되며 하드디스크 드라이브의 용량도 영향을 거의 받지 않는다. 스트리밍이 동작하려면 데이터를 수신하고 있는 클라이언트 측은 데이터를 모으고, 그 데이터를 사운드나 그림으로 변환해 주는 응용프로그램에 끊임없이 보내줄 수 있어야 한다. 만약 클라이언트가 데이터를 수신하는 속도가 너무 빠르면 여분의 데이터를 버퍼에 저장하면서 동시에 스트리밍하게 된다. 그러나 데이터 수신속도가 빠르지 않으면 데이터의 표현이 매끄럽지 않게 된다. 동영상 콘텐츠 서버(200)에서는 동영상 콘텐츠 데이터 스트리밍을 요청한 사용자를 인증하는 과정을 수행한다. 이때, 동영상 콘텐츠 서버가 유료화 서비스 업자라면 결제 처리 과정을 수행할 수 있다. 일련의 인증 및 결제 처리가 완료되면 사용자 단말기로 동영상 데이터를 스트리밍 형태로 제공한다 (S401 단계).First, an application is driven in a user terminal. The application may be an application program capable of streaming and playing video data from the video content server 100 in real time. Data streaming refers to a technique that downloads and plays video, sound, and animation files from the Internet to a hard disk drive in real time without downloading. The data being transferred is treated as "streaming" because it is treated as if water is flowing. Playback time is shortened and hard disk drive capacity is hardly affected. For streaming to work, the client side receiving the data must be able to collect the data and send it to an application that converts the data into a sound or picture. If the client receives data too fast, it will store the extra data in a buffer and stream it at the same time. However, if the data reception speed is not fast, the representation of the data is not smooth. The video content server 200 performs a process of authenticating a user who has requested video content data streaming. At this time, if the video content server is a service provider, the payment process may be performed. When a series of authentication and payment processing is completed, the video data is provided to the user terminal in a streaming form (step S401).

동영상 콘텐츠 서버로부터 동영상 스트리밍 데이터를 수신하여 동영상을 재생하여 화면에 표시한다. 이때, 도 6에서 보는 바와 같이, 단말기의 표시부(240)는 크게 두 개의 화면으로 구획될 수 있다. 제1 화면(241)에는 스트리밍되는 동영상이 표시되고, 제2 화면(242)에는 동영상에 포함된 등장인물들의 얼굴이 표시된다 (S402 단계).Receives video streaming data from a video content server, plays a video, and displays the video on the screen. In this case, as shown in FIG. 6, the display unit 240 of the terminal may be largely divided into two screens. The video streamed is displayed on the first screen 241, and faces of the characters included in the video are displayed on the second screen 242 (S402).

동영상을 재생하는 중 사용자는 제2 화면(242)에 표시되는 동영상 등장인물 중 어느 하나의 등장인물에 대하여 선택할 수 있다. 등장인물에 대한 선택은 터치 패널이 적용된 단말기에서는 포인팅 디바이스 또는 사용자의 손가락을 이용한 터치가 가능하다. 한편, 도시하지 않았으나, 등장인물의 선택에 앞서, 제2 화면(242)의 임의의 등장인물에 대한 1차 터치가 이루어질 때, 등장인물에 대한 정보가 표시될 수 있다. 즉, 제2 화면(242)에 대하여 2차 터치가 이루어질 때 등장인물의 선택 신호로 사용될 수 있다. 단말기 제어부(230)는 해당 선택신호를 단말기 통신부(220)를 이용하여 동영상 콘텐츠 서버로 전송한다 (S403 단계).While playing the video, the user may select any one of the video characters displayed on the second screen 242. Selection of the character may be a touch device using a pointing device or a user's finger in the terminal to which the touch panel is applied. On the other hand, although not shown, prior to the selection of the character, when the first touch is made to any character on the second screen 242, information about the character may be displayed. That is, when the second touch is made on the second screen 242, it may be used as a selection signal of the character. The terminal controller 230 transmits the corresponding selection signal to the video content server using the terminal communication unit 220 (step S403).

동영상 콘텐츠 서버(100)의 콘텐츠 제어부(150)는 인터페이스부(160)를 통해 등장인물 선택신호를 수신하고, 등장인물 정보 DB로부터 사용자가 선택한 등장인물의 객체정보를 추출한다. 상기 객체정보는 등장인물의 식별자, 등장인물의 얼굴 특성 데이터 및 등장인물이 포함된 동영상의 시간대 정보 등을 포함할 수 있다.The content controller 150 of the video content server 100 receives the character selection signal through the interface unit 160 and extracts object information of the character selected by the user from the character information DB. The object information may include an identifier of a character, facial feature data of the character, and time zone information of a video including the character.

상기 등장인물의 얼굴 특성 데이터는 얼굴형, 눈, 코, 입의 위치, 주름 등 등장인물을 인식할 수 있는 구성요소를 포함한다. 상기 콘텐츠 제어부(150)는 추출한 객체정보와 대응하는 등장인물이 포함된 동영상 데이터 및 객체정보를 사용자 단말기로 전송한다. 이때 상기 콘텐츠 제어부(150)로부터 사용자 단말기에 제공되는 객체정보는 동영상에 포함된 인물에 대한 적어도 하나의 썸네일을 포함할 수 있다 (S404 단계).The facial characteristic data of the character includes a component capable of recognizing the character, such as a face shape, eyes, nose, mouth position, and wrinkles. The content controller 150 transmits the video data and the object information including the extracted character information to the user terminal to the user terminal. In this case, the object information provided from the content control unit 150 to the user terminal may include at least one thumbnail of the person included in the video (step S404).

사용자 단말기(200)의 단말기 제어부(230)는 수신한 객체정보를 이용하여 사용자가 선택한 등장인물이 포함된 영상을 표시한다. 도 7에서 보는 바와 같이, 제1 화면(241)을 통하여 사용자가 선택한 등장인물이 확대된 영상을 표시하고, 제2 화면(242)을 통하여 동영상 콘텐츠에 포함된 등장인물의 얼굴을 썸네일의 형태로 표시한다.The terminal controller 230 of the user terminal 200 displays an image including the character selected by the user by using the received object information. As shown in FIG. 7, an enlarged image of a character selected by a user is displayed on the first screen 241, and a face of the character included in the video content is displayed in the form of a thumbnail on the second screen 242. Display.

본 발명의 다른 실시 예로서, 도 8에 도시한 바와 같이 제1 화면(241)에 사용자가 선택한 등장인물을 확대하여 표시하되, 확대 이전의 전체 화면을 축소하여 제1 화면(241)의 일부 영역(241a)에 표시할 수 있다.As another embodiment of the present invention, as shown in FIG. 8, the user selected characters are enlarged and displayed on the first screen 241, but the partial screen of the first screen 241 is reduced by reducing the entire screen before the enlargement. It can be displayed at 241a.

또 다른 실시 예로서, 도 9에 도시한 바와 같이, 제1 화면(241)에 사용자가 선택한 등장인물을 확대하여 표시하되, 확대 이전의 전체 화면을 축소하여 제2 화면(242)의 일부 영역(242a)에 표시할 수도 있다 (S405 단계).As another embodiment, as shown in FIG. 9, the user selected characters are enlarged and displayed on the first screen 241, but the partial screen of the second screen 242 is reduced by reducing the entire screen before the enlargement. 242a) (step S405).

한편, 이와 같이 사용자가 선택한 등장인물을 확대하여 표시하는 중에 제1 화면(241)에 표시되는 영상의 확대 비율을 변경할 수 있는 사용자의 명령을 수신할 수 있다 (S406 단계).Meanwhile, while displaying and expanding the selected character, the user's command for changing the magnification of the image displayed on the first screen 241 may be received (step S406).

상기 단말기 제어부(230)는 사용자 명령에 응답하여 상기 제1 화면(241)을 통해 표시되는 등장인물의 확대 비율을 변경하도록 제어한다. 이때, 상기 단말기 제어부(230)는 사용자가 입력한 제1 화면(241)의 확대 비율의 변경에 따라 해상도가 향상되도록 상기 확대된 영상을 보정하도록 제어한다. 즉, 상기 단말기 제어부(230)는 상기 동영상을 구성하는 프레임 중 현재 시점 전의 복수의 프레임을 추출하여 메모리(250)에 저장하고, 상기 복수의 프레임 각각에 포함된 선택된 등장인물의 에지(edge)를 기초로 에지를 보간하여 상기 확대된 제1 화면(241)의 해상도를 향상시킬 수 있다 (S407 단계).The terminal controller 230 controls to change an enlargement ratio of the characters displayed on the first screen 241 in response to a user command. In this case, the terminal controller 230 controls to correct the enlarged image so that the resolution is improved according to the change of the enlargement ratio of the first screen 241 input by the user. That is, the terminal controller 230 extracts a plurality of frames before the current time point among the frames constituting the video, and stores the plurality of frames in the memory 250, and edges of the selected characters included in each of the plurality of frames. The resolution of the enlarged first screen 241 may be improved by interpolating an edge on the basis of step S407.

이상에서 설명한 바와 같이, 다수 개의 카메라를 이용하여 인물당 영상을 촬영하는 멀티트랙 촬영하는 종래기술과 달리 하나의 동영상 리코더를 이용하여 풀-샷(full-shot)으로 촬영한 하나의 동영상을 이용하면서도 얼굴 인식 기능의 구현을 통해 특정 인물의 얼굴 특징을 파악하여 단말기의 어플리케이션에서 해당 등장인물에 대해서만 동영상을 줌-인(zoom-in) 및 트랙킹(tracking)하여 표시함으로써 멀티트랙으로 촬영한 효과를 나타낼 수 있다. 또한, 개별 스트리밍 구조가 아니라 데이터 소진량이 적고, 로딩 시간이 단축되어 동영상 스트리밍의 속도를 향상시킬 수 있다.As described above, in contrast to the conventional technique of multi-track recording of images per person using a plurality of cameras, one video recorder is used to use one video recorded in full-shot. By implementing the face recognition function, it is possible to grasp the feature of the face of a specific person and zoom-in and track the video only for the character in the application of the terminal to display the multi-track effect. Can be. In addition, it is possible to improve the speed of video streaming because the data consumption amount is small and the loading time is shortened instead of the individual streaming structure.

본 발명에 따른 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형될 수 있다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help the overall understanding of the present invention, the present invention is not limited to the above embodiments, Various modifications and variations can be made by those skilled in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 안 된다. 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments. Not only the claims to be described later but all those having equivalent or equivalent modifications to these claims will belong to the scope of the present invention.

100: 콘텐츠 제공서버 110: 동영상 리코더
120: 동영상 DB 130: 등장인물 식별부
140: 등장인물 정보 DB 150: 콘텐츠 제어부
160: 인터페이스부 200: 사용자 단말기
210: 입력부 220: 단말기 통신부
230: 단말기 제어부 240: 표시부
241: 제1 화면 242: 제2 화면
250: 메모리100: content providing server 110: video recorder
120: video DB 130: character identification unit
140: character information DB 150: content control unit
160: interface unit 200: a user terminal
210: input unit 220: terminal communication unit
230: terminal control unit 240: display unit
241: first screen 242: second screen
250: memory

Claims (17)

적어도 하나의 인물이 등장하는 동영상을 제공하는 동영상 콘텐츠 서버; 및
상기 동영상 콘텐츠 서버로부터 제공된 동영상 콘텐츠에 포함된 등장인물 선택 신호를 상기 동영상 콘텐츠 서버로 전송하고, 상기 동영상 콘텐츠 서버로부터 선택된 등장인물이 포함된 동영상과 객체정보를 수신하여 동영상 콘텐츠 재생시 등장인물이 차지하는 동영상 영역을 확대하여 표시하는 사용자 단말기를 포함하는 객체 영상 트랙킹 스트리밍 시스템.A video content server providing a video in which at least one person appears; And
The character selection signal included in the video content provided from the video content server is transmitted to the video content server, and the video content and the object information including the selected character is received from the video content server. An object video tracking streaming system including a user terminal for enlarging and displaying a video area. 제1항에 있어서, 상기 동영상 콘텐츠 서버는,
적어도 하나 이상의 인물을 풀샷(full shot)으로 촬영하는 동영상 리코더;
상기 동영상 리코더에 의해 촬영된 동영상을 저장하는 동영상 DB;
상기 동영상에 나타나는 등장인물을 구별하고, 상기 구별된 등장인물별로 상기 등장인물의 식별자, 상기 등장인물의 얼굴의 특성 데이터, 상기 등장인물이 나타나는 시간대 정보를 획득하는 등장인물 식별부;
상기 등장인물 식별부에 의해 획득한 상기 등장인물의 식별자, 특성 데이터 및 시간대 정보를 포함한 객체정보를 저장하는 등장인물 정보 DB;
상기 사용자 단말기와의 데이터 통신을 수행하는 인터페이스부; 및
상기 인터페이스부를 통해 전달되는 사용자 단말기로부터의 요청신호에 대하여 상기 동영상 DB에 저장된 동영상을 상기 인터페이스부를 통해 사용자 단말기에 제공하도록 제어하고, 동영상 콘텐츠에 포함된 등장인물에 선택 신호를 상기 인터페이스부를 통해 사용자 단말기로부터 수신하여, 상기 등장인물 식별부 및 등장인물 정보 DB를 제어하여 선택된 등장인물이 포함된 동영상과 객체정보를 상기 인터페이스부를 통해 사용자 단말기에 제공하도록 제어하는 콘텐츠 제어부를 포함하여 이루어지는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 시스템.The method of claim 1, wherein the video content server,
A video recorder for shooting at least one person in full shot;
A video DB for storing a video photographed by the video recorder;
A character identification unit for distinguishing characters appearing in the video, and acquiring identifiers of the characters, characteristic data of faces of the characters, and time zone information in which the characters appear for each of the distinguished characters;
A character information DB for storing object information including an identifier, characteristic data, and time zone information of the character acquired by the character identification unit;
An interface unit for performing data communication with the user terminal; And
In response to a request signal from the user terminal transmitted through the interface unit, the control unit is configured to provide a video stored in the video DB to the user terminal through the interface unit, and a selection signal to the characters included in the video content through the interface unit. And a content controller configured to control the character identification unit and the character information DB to control the character identification unit and the character information DB so as to provide video and object information including the selected character to the user terminal through the interface unit. Video tracking streaming system. 제2항에 있어서, 상기 등장인물 식별부는 상기 동영상 리코더를 이용하여 동영상을 생성하면서 실시간으로 상기 등장인물의 식별자, 특성 데이터 및 시간대 정보를 획득하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 시스템.The object video tracking streaming system of claim 2, wherein the character identification unit obtains an identifier, characteristic data, and time zone information of the character in real time while generating a video using the video recorder. 제1항에 있어서, 상기 사용자 단말기는,
상기 콘텐츠 제공서버로부터 수신한 동영상 또는 사용자가 선택한 등장인물이 포함된 영상을 확대하여 제1 화면에 표시하고,
제1 화면에 표시되는 동영상에 포함된 등장인물들의 얼굴을 제2 화면에 표시하도록 제어하는 단말기 제어부를 포함하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 시스템.The method of claim 1, wherein the user terminal,
Magnify and display the video including the video received from the content providing server or the user selected characters on the first screen,
And a terminal controller which controls to display the faces of the characters included in the video displayed on the first screen on the second screen. 제4항에 있어서, 상기 단말기 제어부는 상기 제1 화면에 사용자가 선택한 등장인물을 확대하여 표시하되 확대 이전의 전체 화면을 축소하여 제1 화면의 일부 영역에 표시하도록 제어하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 시스템.The object image of claim 4, wherein the terminal controller is configured to enlarge and display a character selected by the user on the first screen, and to reduce the entire screen before the enlargement to display on a partial area of the first screen. Tracking streaming system. 제5항에 있어서, 상기 단말기 제어부는 사용자 명령에 응답하여 상기 제1 화면을 통해 표시되는 등장인물의 확대 비율을 변경하도록 제어하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 시스템.The object video tracking streaming system of claim 5, wherein the terminal controller controls to change an enlargement ratio of the characters displayed on the first screen in response to a user command. 제6항에 있어서, 상기 단말기 제어부는 상기 제1 화면의 확대 비율의 변경에 따라 해상도가 향상되도록 상기 확대된 영상을 보정하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 시스템.The object image tracking streaming system of claim 6, wherein the terminal controller corrects the enlarged image so that the resolution is improved according to a change in an enlargement ratio of the first screen. 제7항에 있어서, 상기 단말기 제어부는 상기 동영상을 구성하는 프레임 중 현재 시점 전의 복수의 프레임을 추출하고, 상기 복수의 프레임 각각에 포함된 선택된 등장인물의 에지(edge)를 기초로 에지를 보간하여 상기 확대된 제1 화면의 해상도를 향상시키는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 시스템.The method of claim 7, wherein the terminal controller extracts a plurality of frames before a current time point among frames constituting the video, and interpolates an edge based on an edge of a selected character included in each of the plurality of frames. The object video tracking streaming system of claim 1, wherein the resolution of the enlarged first screen is improved. 적어도 하나 이상의 인물을 풀샷(full shot)으로 촬영하여 시계열적으로 연속된 복수의 프레임을 갖는 동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 확대하여 재생하기 위한 객체 영상 트랙킹 스트리밍 방법으로서,
(a) 어플리케이션을 구동하여 동영상 스트리밍 서비스를 요청하는 단계;
(b) 동영상 콘텐츠 서버로부터 동영상 스트리밍 데이터를 수신하여 동영상을 재생하여 화면에 표시하는 단계;
(c) 재생 중 동영상 등장인물 중 어느 하나의 등장인물에 대한 사용자의 선택신호를 수신하는 경우, 해당 선택신호를 동영상 콘텐츠 서버로 전송하는 단계;
(d) 동영상 콘텐츠 서버로부터 사용자가 선택한 등장인물이 포함된 동영상과 객체정보를 수신하는 단계;
(e) 수신한 객체정보를 이용하여 사용자가 선택한 등장인물이 포함된 영상을 확대하여 표시하는 단계를 포함하는 객체 영상 트랙킹 스트리밍 방법.Streaming object video tracking for capturing at least one person into a full shot and selectively enlarging and playing a scene in which a specific person appears among at least one person appearing in a video having a plurality of frames consecutively in time series As
(a) driving an application to request a video streaming service;
(b) receiving the video streaming data from the video content server, playing the video, and displaying the video on the screen;
(c) if a user's selection signal for any one of the video characters is received during playback, transmitting the selection signal to the video content server;
(d) receiving a video and object information including a character selected by a user from a video content server;
and (e) enlarging and displaying an image including a character selected by a user by using the received object information. 제9항에 있어서, 상기 객체정보는 상기 동영상 콘텐츠 서버에서 동영상에 포함된 등장인물의 식별자, 특성 데이터 및 시간대 정보를 추출하여 생성한 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 방법.10. The method of claim 9, wherein the object information is generated by extracting identifiers, characteristic data, and time zone information of the characters included in the video from the video content server. 제9항에 있어서, 상기 (b) 단계에서 제1 화면을 통해 동영상을 재생하여 표시하면서 제2 화면을 통해 제1 화면에 표시되는 동영상에 포함된 등장인물들의 얼굴을 표시하고, 상기 (e) 단계에서 제1 화면을 통해 사용자가 선택한 등장인물이 포함된 영상을 확대하여 표시하면서 제2 화면을 통해 제1 화면에 표시되는 동영상에 포함된 등장인물들의 얼굴을 표시하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 방법.10. The method of claim 9, wherein in the step (b), the video is reproduced and displayed on the first screen, and the faces of the characters included in the video displayed on the first screen are displayed on the second screen, and (e) Object image tracking, characterized in that to display the face of the characters included in the video displayed on the first screen on the second screen while displaying the image containing the character selected by the user on the first screen in a step; Streaming method. 제11항에 있어서, 상기 (e) 단계에서 상기 제1 화면에 사용자가 선택한 등장인물을 확대하여 표시하되 확대 이전의 전체 화면을 축소하여 제1 화면의 일부 영역에 표시하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 방법.The object image of claim 11, wherein in the step (e), the user's selected character is enlarged and displayed on the first screen, and the entire image before the enlargement is reduced to be displayed on a portion of the first screen. Tracking streaming method. 제12항에 있어서,
(f) 상기 제1 화면을 통해 표시되는 등장인물의 확대 비율을 변경하기 위한 사용자의 명령을 수신하는 단계;
(g) 사용자의 명령에 따라 해상도가 향상되도록 상기 확대된 영상을 보정하는 단계를 더 포함하는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 방법.The method of claim 12,
(f) receiving a user's command to change an enlargement ratio of the characters displayed on the first screen;
and (g) correcting the enlarged image so that the resolution is improved according to a user's command. 제13항에 있어서, 상기 (g)단계는
(g-1) 동영상을 구성하는 프레임 중 현재 시점 전의 복수의 프레임을 추출하는 단계;
(g-2) 상기 복수의 프레임 각각에 포함된 선택된 등장인물의 에지(edge)를 기초로 에지를 보간하여 상기 확대된 제1 화면의 해상도를 향상시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 객체 영상 트랙킹 스트리밍 방법.The method of claim 13, wherein step (g)
(g-1) extracting a plurality of frames before the current time point among frames constituting the video;
(g-2) interpolating an edge based on an edge of the selected character included in each of the plurality of frames to improve the resolution of the enlarged first screen. Tracking streaming method. 적어도 하나 이상의 인물을 풀샷(full shot)으로 촬영하는 동영상 리코더;
상기 동영상 리코더에 의해 촬영된 동영상을 저장하는 동영상 DB;
상기 동영상에 나타나는 등장인물을 구별하고, 상기 구별된 등장인물별로 상기 등장인물의 식별자, 상기 등장인물의 얼굴의 특성 데이터, 상기 등장인물이 나타나는 시간대 정보를 획득하는 등장인물 식별부;
상기 등장인물 식별부에 의해 획득한 상기 등장인물의 식별자, 특성 데이터 및 시간대 정보를 포함한 객체정보를 저장하는 등장인물 정보 DB;
사용자 단말기와의 데이터 통신을 수행하는 인터페이스부; 및
상기 인터페이스부를 통해 전달되는 사용자 단말기로부터의 요청신호에 대하여 상기 동영상 DB에 저장된 동영상을 상기 인터페이스부를 통해 사용자 단말기에 제공하도록 제어하고, 동영상 콘텐츠에 포함된 등장인물에 선택 신호를 상기 인터페이스부를 통해 사용자 단말기로부터 수신하여, 상기 등장인물 식별부 및 등장인물 정보 DB를 제어하여 선택된 등장인물이 포함된 동영상과 객체정보를 상기 인터페이스부를 통해 사용자 단말기에 제공하도록 제어하는 콘텐츠 제어부를 포함하여 이루어지는 동영상 콘텐츠 서버.A video recorder for shooting at least one person in full shot;
A video DB for storing a video photographed by the video recorder;
A character identification unit for distinguishing characters appearing in the video, and acquiring identifiers of the characters, characteristic data of faces of the characters, and time zone information in which the characters appear for each of the distinguished characters;
A character information DB for storing object information including an identifier, characteristic data, and time zone information of the character acquired by the character identification unit;
An interface unit for performing data communication with a user terminal; And
In response to a request signal from the user terminal transmitted through the interface unit, the control unit is configured to provide a video stored in the video DB to the user terminal through the interface unit, and a selection signal to the characters included in the video content through the interface unit. And a content controller configured to control the character identification unit and the character information DB to control the character identification unit and the character information DB so as to provide video and object information including the selected character to the user terminal through the interface unit. 제15항에 있어서, 상기 등장인물 식별부는 상기 동영상 리코더를 이용하여 동영상을 생성하면서 실시간으로 상기 등장인물의 식별자, 특성 데이터 및 시간대 정보를 획득하는 것을 특징으로 하는 동영상 콘텐츠 서버.The video content server of claim 15, wherein the character identification unit obtains an identifier, characteristic data, and time zone information of the character in real time while generating a video using the video recorder. 제16항에 있어서, 상기 콘텐츠 제어부로부터 사용자 단말기에 제공되는 객체정보는 동영상에 포함된 인물에 대한 적어도 하나의 썸네일을 포함하는 것을 특징으로 하는 동영상 콘텐츠 서버.The video content server of claim 16, wherein the object information provided from the content controller to the user terminal includes at least one thumbnail of a person included in the video.
KR1020180045707A 2018-04-19 2018-04-19 object image tracking streaming system and method using the same KR102066857B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180045707A KR102066857B1 (en) 2018-04-19 2018-04-19 object image tracking streaming system and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045707A KR102066857B1 (en) 2018-04-19 2018-04-19 object image tracking streaming system and method using the same

Publications (2)

Publication Number Publication Date
KR20190122053A true KR20190122053A (en) 2019-10-29
KR102066857B1 KR102066857B1 (en) 2020-01-16

Family

ID=68423630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045707A KR102066857B1 (en) 2018-04-19 2018-04-19 object image tracking streaming system and method using the same

Country Status (1)

Country Link
KR (1) KR102066857B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100436397B1 (en) * 2000-12-23 2004-06-16 재단법인 포항산업과학연구원 Ni/Ni-B electroplating method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100044977A (en) * 2008-10-23 2010-05-03 한양대학교 산학협력단 Method for video interpolation and computer recordable medium storing the method
KR20110119127A (en) * 2010-04-26 2011-11-02 엘지전자 주식회사 Mobile terminal and operation method thereof
KR20130088493A (en) * 2012-01-31 2013-08-08 삼성전자주식회사 Method for providing user interface and video receving apparatus thereof
KR20170022122A (en) * 2015-08-19 2017-03-02 엘지전자 주식회사 Digital device and method of processing data the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100044977A (en) * 2008-10-23 2010-05-03 한양대학교 산학협력단 Method for video interpolation and computer recordable medium storing the method
KR20110119127A (en) * 2010-04-26 2011-11-02 엘지전자 주식회사 Mobile terminal and operation method thereof
KR20130088493A (en) * 2012-01-31 2013-08-08 삼성전자주식회사 Method for providing user interface and video receving apparatus thereof
KR20170022122A (en) * 2015-08-19 2017-03-02 엘지전자 주식회사 Digital device and method of processing data the same

Also Published As

Publication number Publication date
KR102066857B1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN108369816B (en) Apparatus and method for creating video clips from omnidirectional video
US10991397B2 (en) Masking in video stream
KR100827846B1 (en) Method and system for replaying a movie from a wanted point by searching specific person included in the movie
JP4618166B2 (en) Image processing apparatus, image processing method, and program
US8782563B2 (en) Information processing apparatus and method, and program
TWI253860B (en) Method for generating a slide show of an image
US10701282B2 (en) View interpolation for visual storytelling
US7856145B2 (en) Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program
US9071806B2 (en) Reproducing apparatus
US20080144890A1 (en) Image processing apparatus and image display method
US20080075388A1 (en) Image data reproducing apparatus, method of controlling same and control program therefor
US11438510B2 (en) System and method for editing video contents automatically technical field
JP2002305713A (en) Image processing unit and its method, and storage medium
KR20120068078A (en) Image photographing apparatus and method for connecting audio data to image data thereof
KR20160098949A (en) Apparatus and method for generating a video, and computer program for executing the method
CN105744144A (en) Image creation method and image creation apparatus
JP2002176613A (en) Moving image editing unit, moving image editing method and recording medium
JP2003324678A (en) Image processing unit, image processing system, image processing method, storage medium, and program
JP2008131617A (en) Video processing apparatus
JP2014209707A (en) Device and method for video reproduction
KR102066857B1 (en) object image tracking streaming system and method using the same
WO2015178234A1 (en) Image search system
JP4931251B2 (en) Display control apparatus, display control system, and display control method
JP2016001821A (en) Content reproduction system, server, portable terminal, content reproduction method, program, and recording media
JP2014204411A (en) Conference recording system, conference recording device, conference recording-reproduction method, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)