KR101859560B1 - Timing synchronization method and timing synchronization system for remote controlling of multimedia content - Google Patents

Timing synchronization method and timing synchronization system for remote controlling of multimedia content Download PDF

Info

Publication number
KR101859560B1
KR101859560B1 KR1020180039043A KR20180039043A KR101859560B1 KR 101859560 B1 KR101859560 B1 KR 101859560B1 KR 1020180039043 A KR1020180039043 A KR 1020180039043A KR 20180039043 A KR20180039043 A KR 20180039043A KR 101859560 B1 KR101859560 B1 KR 101859560B1
Authority
KR
South Korea
Prior art keywords
sub
image
video
main
encoding engine
Prior art date
Application number
KR1020180039043A
Other languages
Korean (ko)
Inventor
류민수
박기영
윤병조
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020180039043A priority Critical patent/KR101859560B1/en
Application granted granted Critical
Publication of KR101859560B1 publication Critical patent/KR101859560B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N5/44591—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Disclosed are a method and a system of time synchronization for remote operation of multimedia content. The method implemented by a computer includes the steps of: providing a tool, which is an image operation tool for inserting a sub-image in a main image from a remote site by communicating with an encoding engine for real-time transcoding of the main image and the sub-image through a network and includes a main image player for playing the main image and a sub-image player for playing the sub-image; controlling the encoding engine to maintain delay of a predetermined time compared with the main image player through a communication with the encoding engine; and controlling playback of the sub-image player in synchronization with time flow of the main image player on the basis of a time point when an insertion request command of the sub-image is inputted. According to the embodiments of the present invention, constraints of a place for operating an image can be solved by providing an image operation tool capable of remotely operating a sub-image to be inserted in a main image, and convenience of operation can be improved while resources unnecessary for operation of image synthesis are minimized through the remote operation.

Description

멀티미디어 컨텐츠의 원격 운영을 위한 시간 동기화 방법 및 그 시스템{TIMING SYNCHRONIZATION METHOD AND TIMING SYNCHRONIZATION SYSTEM FOR REMOTE CONTROLLING OF MULTIMEDIA CONTENT}TECHNICAL FIELD [0001] The present invention relates to a time synchronization method and a system for remotely operating multimedia contents,

아래의 설명은 메인 영상에 서브 영상을 삽입하는 기술에 관한 것이다.The following description relates to a technique for inserting a sub-image into a main image.

초고속 통신망 이용자의 급격한 증가는 통신망을 통한 신규 서비스의 개발 및 서비스 아이템의 다양화를 가능하게 한다.The rapid increase of users of broadband networks enables the development of new services and diversification of service items through the network.

최근에는 이미지를 기반으로 한 다양한 서비스가 등장하고 있는 가운데, 통신망을 이용한 서비스 중 가장 일반적인 서비스가 동영상 제공 서비스라 할 수 있다.In recent years, various services based on images have emerged, and the most common service using a communication network is a video providing service.

예컨대, 한국공개특허공보 제10-2007-0089461호(공개일 2007년 08월 31일)에는 통신 네트워크를 이용하여 실시간 동영상 서비스를 제공하는 기술이 개시되어 있다.For example, Korean Patent Laid-Open Publication No. 10-2007-0089461 (published on August 31, 2007) discloses a technique for providing a real-time video service using a communication network.

메인 영상에 삽입하고자 하는 서브 영상을 원격으로 운영할 수 있는 영상 운영 툴을 제공한다.Provides a video operation tool that can remotely operate the sub video to be inserted in the main video.

메인 영상에 서브 영상을 삽입하기 위해 메인 영상과 서브 영상 간의 시간 동기화 문제를 해결할 수 있는 방법 및 시스템을 제공한다.There is provided a method and system for solving a time synchronization problem between a main image and a sub image to insert a sub image into the main image.

컴퓨터로 구현되는 방법에 있어서, 네트워크를 통해 메인 영상과 서브 영상의 실시간 트랜스코딩을 위한 인코딩 엔진과 통신하여 원격에서 상기 메인 영상에 상기 서브 영상을 삽입하기 위한 영상 운영 툴로서 상기 메인 영상을 재생하기 위한 메인 영상 플레이어와 상기 메인 영상에 삽입되는 상기 서브 영상을 재생하기 위한 서브 영상 플레이어를 포함하는 툴을 제공하는 단계; 상기 인코딩 엔진과의 통신을 통해 상기 인코딩 엔진이 상기 메인 영상 플레이어에 비해 일정 시간의 딜레이(delay)를 유지하도록 제어하는 단계; 및 상기 서브 영상의 삽입 요청 명령이 입력되는 시점을 기준으로 상기 메인 영상 플레이어의 시간 흐름에 맞추어 상기 서브 영상 플레이어의 재생을 제어하는 단계를 포함하고, 상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는, 상기 인코딩 엔진의 딜레이에 따라 상기 메인 영상 플레이어의 버퍼링을 제거하는 것을 특징으로 하는 방법을 제공한다.A computer-implemented method for communicating with an encoding engine for real-time transcoding of a main image and a sub-image over a network to reproduce the main image as a video operating tool for inserting the sub- And a sub-picture player for playing the sub-picture inserted in the main picture; Controlling the encoding engine to maintain a delay of a predetermined time period in comparison with the main video player through communication with the encoding engine; And controlling playback of the sub video player according to a time flow of the main video player based on a time point at which the insert request command of the sub video is inputted, And removing the buffering of the main video player according to the delay of the encoding engine.

일 측면에 따르면, 상기 인코딩 엔진은 영상 운영과 관련된 원격 컨트롤을 위해 상기 메인 영상을 일정 시간 지연시키기 위한 버퍼를 포함할 수 있다.According to an aspect, the encoding engine may include a buffer for delaying the main image for a predetermined time for remote control related to image operation.

다른 측면에 따르면, 상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는, 상기 영상 운영 툴을 이용한 원격 컨트롤을 위해 상기 인코딩 엔진에 일정 시간의 딜레이(delay)를 설정하는 단계를 포함할 수 있다.According to another aspect, the controlling to maintain the delay of the predetermined time may include setting a delay of a predetermined time in the encoding engine for remote control using the video operation tool.

또 다른 측면에 따르면, 상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는, 상기 인코딩 엔진의 딜레이가 임계 레벨 미만으로 작아지면 상기 메인 영상 플레이어를 다시 시작하는 단계를 포함할 수 있다.According to another aspect, controlling to maintain the delay of the predetermined time may include restarting the main video player when the delay of the encoding engine becomes less than the threshold level.

또 다른 측면에 따르면, 상기 서브 영상 플레이어의 재생을 제어하는 단계는, 상기 인코딩 엔진과의 통신 시간에 기초하여 구간이동(seeking) 하여 상기 서브 영상을 재생하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of controlling the reproduction of the sub-picture player may include a step of seeking based on the communication time with the encoding engine to reproduce the sub-picture.

또 다른 측면에 따르면, 상기 서브 영상 플레이어의 재생을 제어하는 단계는, 상기 서브 영상의 삽입 요청 명령이 입력되는 시점부터 상기 인코딩 엔진으로부터 상기 삽입 요청 명령에 대한 성공 메시지가 수신되는 시점까지의 소요 시간을 측정하는 단계; 및 상기 성공 메시지가 수신되면 상기 서브 영상의 재생을 시작하되, 상기 소요 시간만큼 구간이동 한 위치에서 상기 서브 영상을 재생하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of controlling the reproduction of the sub-picture player may include a step of controlling the reproduction of the sub-picture from the time when the insertion request command of the sub-picture is input to the time when the success message of the insertion request command is received from the encoding engine ; And reproducing the sub-image at the position shifted by the required time, when the success message is received.

또 다른 측면에 따르면, 상기 서브 영상 플레이어의 재생을 제어하는 단계는, 둘 이상의 서브 영상을 포함하는 재생 목록이 제공되는 경우 이전 서브 영상을 기준으로 다음 서브 영상의 재생을 위한 타이머를 설정하되, 이전 서브 영상의 듀레이션에서 상기 인코딩 엔진과의 통신 시간을 뺀 시간 값으로 상기 타이머를 설정하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of controlling the playback of the sub video player may include setting a timer for playback of the next sub video based on the previous sub video when a playback list including two or more sub videos is provided, And setting the timer to a time value obtained by subtracting the communication time from the encoding engine from the duration of the sub-image.

또 다른 측면에 따르면, 상기 서브 영상 플레이어의 재생을 제어하는 단계는, 상기 메인 영상 플레이어의 버퍼링 시간을 상기 서브 영상 플레이어에 반영하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of controlling the playback of the sub video player may include reflecting the buffering time of the main video player to the sub video player.

또 다른 측면에 따르면, 상기 서브 영상 플레이어의 재생을 제어하는 단계는, 둘 이상의 서브 영상을 포함하는 재생 목록이 제공되는 경우 이전 서브 영상의 재생이 종료되고 다음 서브 영상의 재생이 시작되기 전에 상기 메인 영상 플레이어에 버퍼링이 발생하면 상기 메인 영상 플레이어의 버퍼링 시간만큼 서브 영상의 재생을 대기하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of controlling the reproduction of the sub-picture player comprises the steps of: when a reproduction list including two or more sub-pictures is provided, before reproduction of the previous sub- And a step of waiting for reproduction of the sub-image by the buffering time of the main video player if buffering occurs in the video player.

또 다른 측면에 따르면, 상기 서브 영상 플레이어의 재생을 제어하는 단계는, 상기 서브 영상의 삽입 종료에 대한 예약 명령이 입력되면 상기 예약 명령에 따른 예약 종료 요청과 함께 상기 서브 영상의 식별 정보를 상기 인코딩 엔진으로 전달하는 단계를 포함하고, 상기 인코딩 엔진에서는 상기 식별 정보를 기준으로 현재 재생 중인 서브 영상을 식별하여 해당 서브 영상의 재생이 종료될 때까지 기다렸다가 자동으로 상기 메인 영상을 연결할 수 있다.According to another aspect of the present invention, the step of controlling the reproduction of the sub-picture player includes the step of, when a reservation command for inserting the sub-picture is input, The encoding engine may identify the sub video currently being reproduced on the basis of the identification information, and wait until the reproduction of the corresponding sub video ends, and automatically connect the main video.

영상 운영 제어 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 영상 운영 제어 방법은, 네트워크를 통해 메인 영상과 서브 영상의 실시간 트랜스코딩을 위한 인코딩 엔진과 통신하여 원격에서 상기 메인 영상에 상기 서브 영상을 삽입하기 위한 영상 운영 툴로서 상기 메인 영상을 재생하기 위한 메인 영상 플레이어와 상기 메인 영상에 삽입되는 상기 서브 영상을 재생하기 위한 서브 영상 플레이어를 포함하는 툴을 제공하는 단계; 상기 인코딩 엔진과의 통신을 통해 상기 인코딩 엔진이 상기 메인 영상 플레이어에 비해 일정 시간의 딜레이(delay)를 유지하도록 제어하는 단계; 및 상기 서브 영상의 삽입 요청 명령이 입력되는 시점을 기준으로 상기 메인 영상 플레이어의 시간 흐름에 맞추어 상기 서브 영상 플레이어의 재생을 제어하는 단계를 포함하고, 상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는, 상기 인코딩 엔진의 딜레이에 따라 상기 메인 영상 플레이어의 버퍼링을 제거하는 것을 특징으로 하는, 컴퓨터 프로그램을 제공한다.A computer program recorded on a computer readable recording medium for executing a video operation control method, the video operation control method comprising: communicating with an encoding engine for real-time transcoding of a main video and a sub video through a network, Providing a tool including a main video player for playing the main video and a sub video player for playing the sub video inserted into the main video as a video operating tool for inserting the sub video into a main video; Controlling the encoding engine to maintain a delay of a predetermined time period in comparison with the main video player through communication with the encoding engine; And controlling playback of the sub video player according to a time flow of the main video player based on a time point at which the insert request command of the sub video is inputted, And removes the buffering of the main video player according to the delay of the encoding engine.

컴퓨터로 구현되는 시스템에 있어서, 컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 네트워크를 통해 메인 영상과 서브 영상의 실시간 트랜스코딩을 위한 인코딩 엔진과 통신하여 원격에서 상기 메인 영상에 상기 서브 영상을 삽입하기 위한 영상 운영 툴로서 상기 메인 영상을 재생하기 위한 메인 영상 플레이어와 상기 메인 영상에 삽입되는 상기 서브 영상을 재생하기 위한 서브 영상 플레이어를 포함하는 툴을 제공하는 툴 제공부; 상기 인코딩 엔진과의 통신을 통해 상기 인코딩 엔진이 상기 메인 영상 플레이어에 비해 일정 시간의 딜레이(delay)를 유지하도록 제어하는 메인 영상 제어부; 및 상기 서브 영상의 삽입 요청 명령이 입력되는 시점을 기준으로 상기 메인 영상 플레이어의 시간 흐름에 맞추어 상기 서브 영상 플레이어의 재생을 제어하는 서브 영상 제어부를 포함하고, 상기 메인 영상 제어부는, 상기 인코딩 엔진의 딜레이에 따라 상기 메인 영상 플레이어의 버퍼링을 제거하는 것을 특징으로 하는 시스템을 제공한다.A computer-implemented system, comprising: at least one processor configured to execute computer-readable instructions, the at least one processor comprising: an encoding engine for real-time transcoding of main and sub- A main image player for reproducing the main image and a sub image player for reproducing the sub image inserted in the main image as a video operation tool for inserting the sub image into the main image remotely by communication, A tool providing unit; A main image controller for controlling the encoding engine to maintain a delay of a predetermined time period in comparison with the main video player through communication with the encoding engine; And a sub video controller for controlling the playback of the sub video player according to a time flow of the main video player based on a time point at which the insertion request command of the sub video is inputted, And removes the buffering of the main video player according to the delay.

본 발명의 실시예들에 따르면, 메인 영상에 삽입하고자 하는 서브 영상을 원격으로 운영할 수 있는 영상 운영 툴을 제공함으로써 운영에 대한 장소의 제약 문제를 해소할 수 있고 원격 운영을 통해 영상 합성의 운영을 위한 불필요한 리소스를 최소화 하면서 운영의 편리성을 향상시킬 수 있다.According to embodiments of the present invention, it is possible to solve the limitation problem of the place of operation by providing an image operation tool that can remotely operate the sub-image to be inserted into the main image, It is possible to improve the convenience of operation while minimizing unnecessary resources for the user.

본 발명의 실시예들에 따르면, 네트워크를 통해 영상 운영을 위한 명령(command)을 전달함에 있어 네트워크 지연 문제를 해결하거나 메인 영상과 서브 영상의 플레이어가 분리된 환경에서 플레이어 간 타이밍 동기화 문제를 해결함으로써 메인 영상 중간에 삽입하고자 하는 서브 영상에 대하여 메인 영상과의 시간 동기화 문제를 효과적으로 해결할 수 있다.According to embodiments of the present invention, in order to solve a network delay problem in transmitting a command for operating a video through a network, or to solve a timing synchronization problem between players in an environment in which a main video and a sub video player are separated The problem of time synchronization with the main image can be effectively solved for the sub-image to be inserted in the middle of the main image.

도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 있어서 원격에서 영상 운영이 가능한 인코딩 엔진의 예시를 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 서버가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 있어서 영상 운영 툴의 화면 예시를 도시한 것이다.
도 7은 본 발명의 일실시예에 있어서 메인 영상의 재생을 제어하는 과정의 일례를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 있어서 서브 영상의 재생을 제어하는 과정의 일례를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 있어서 서브 영상의 재생을 제어하는 과정의 다른 예를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 있어서 서브 영상의 삽입을 예약 종료하는 과정의 일례를 설명하기 위한 도면이다.1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
2 is a block diagram illustrating an internal configuration of an electronic device and a server according to an embodiment of the present invention.
FIG. 3 illustrates an example of an encoding engine that can operate remotely in an embodiment of the present invention.
4 is a diagram illustrating an example of a component that a processor of a server according to an embodiment of the present invention may include.
5 is a flowchart illustrating an example of a method that a server according to an embodiment of the present invention can perform.
6 illustrates an exemplary screen of a video management tool in an embodiment of the present invention.
7 is a diagram for explaining an example of a process of controlling reproduction of a main image in an embodiment of the present invention.
8 is a diagram for explaining an example of a process of controlling reproduction of a sub-image in an embodiment of the present invention.
9 is a view for explaining another example of a process of controlling reproduction of a sub-image according to an embodiment of the present invention.
FIG. 10 is a diagram for explaining an example of a process of reserving and finishing insertion of a sub-image according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시예들은 메인 영상에 서브 영상을 삽입하는 기술에 관한 것으로, 상세하게는 메인 영상에 삽입하고자 하는 서브 영상에 대하여 원격 운영이 가능한 영상 운영 툴을 제공하는 시스템 및 방법에 관한 것이다.Embodiments of the present invention relate to a technique for inserting a sub-image into a main image, and more particularly, to a system and a method for providing an image manipulation tool capable of remotely operating a sub-image to be inserted into a main image.

본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 메인 영상에 삽입하고자 하는 서브 영상에 대하여 원격으로 운영 가능한 영상 운영 툴을 구현할 수 있고, 이를 통해 운영에 대한 장소의 제약을 해소할 수 있고 더 나아가 효율성, 합리성, 실효성, 비용 절감 등의 측면에 있어서 상당한 장점들을 달성한다.Embodiments including those specifically disclosed in the present specification can implement an image operation tool remotely operable with respect to a sub-image to be inserted into a main image, thereby eliminating restrictions on the place of operation, and further, Efficiency, rationality, effectiveness, cost reduction, and so on.

도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention. 1 shows an example in which a plurality of electronic devices 110, 120, 130, 140, a plurality of servers 150, 160, and a network 170 are included. 1, the number of electronic devices and the number of servers are not limited to those shown in FIG.

복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 전자 기기 1(110)은 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있다.The plurality of electronic devices 110, 120, 130, 140 may be a fixed terminal implemented as a computer device or a mobile terminal. Examples of the plurality of electronic devices 110, 120, 130 and 140 include a smart phone, a mobile phone, a navigation device, a computer, a notebook, a digital broadcast terminal, a PDA (Personal Digital Assistants) ), And tablet PCs. For example, the electronic device 1 110 may communicate with other electronic devices 120, 130, 140 and / or the servers 150, 160 via the network 170 using a wireless or wired communication scheme.

통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and may include a communication method using a communication network (for example, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network) that the network 170 may include, as well as a short-range wireless communication between the devices. For example, the network 170 may be a personal area network (LAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN) , A network such as the Internet, and the like. The network 170 may also include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, It is not limited.

서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 일례로, 서버(160)는 네트워크(170)를 통해 접속한 전자 기기 1(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 전자 기기 1(110)은 서버(160)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한 전자 기기 1(110)이 포함하는 운영체제(Operating System, OS)나 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 전자 기기 1(110)이 어플리케이션의 제어에 따라 네트워크(170)를 통해 서비스 요청 메시지를 서버(150)로 전송하면, 서버(150)는 서비스 요청 메시지에 대응하는 코드를 전자 기기 1(110)로 전송할 수 있고, 전자 기기 1(110)은 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.Each of the servers 150 and 160 is a computer device or a plurality of computers that communicate with a plurality of electronic devices 110, 120, 130 and 140 through a network 170 to provide commands, codes, files, Lt; / RTI > devices. In one example, the server 160 may provide a file for installation of the application to the electronic device 1 (110) connected via the network 170. [ In this case, the electronic device 1 (110) can install an application using a file provided from the server (160). The server 150 is connected to the server 150 in accordance with an operating system (OS) included in the electronic device 1 110 or under control of at least one program (for example, a browser or an installed application) I can receive contents. For example, when the electronic device 1 (110) transmits a service request message to the server 150 via the network 170 under the control of the application, the server 150 transmits a code corresponding to the service request message to the electronic device 1 The first electronic device 110 can provide contents to the user by displaying and displaying a screen according to the code according to the control of the application.

본 발명의 일실시예에 따르면, 서버(160)는 메인 영상과 서브 영상의 실시간 트랜스코딩을 위한 스트리밍 서버로서 인코딩 엔진을 포함할 수 있으며, 인코딩 엔진은 입력된 영상을 믹싱 또는 스위칭 할 수 있는 트랜스코더 설계를 포함할 수 있다. 이에, 서버(150)는 인코딩 엔진에 입력되는 영상 운영을 위한 운영자 시스템으로서, 네트워크(170)를 통해 인코딩 엔진과 통신하여 메인 영상에 삽입하고자 하는 서브 영상에 대하여 원격에서 운영 가능한 영상 운영 툴을 제공할 수 있다.According to an embodiment of the present invention, the server 160 may include an encoding engine as a streaming server for real-time transcoding of a main image and a sub-image, and the encoding engine may include a transformer capable of mixing or switching the input image, Coder design. The server 150 communicates with the encoding engine through the network 170 to provide an image management tool that can be operated remotely to the sub-image to be inserted into the main image can do.

본 실시예에서는 영상 운영 툴이 서버 컴퓨터에 해당되는 서버(150) 상에 구현되는 것으로 설명하고 있으나, 이러한 것으로만 한정되는 것이 아니며 다른 예로 서버-클라이언트(client) 구조로서 영상 운영 툴이 인코딩 엔진과의 통신이 가능한 클라이언트로 구현되는 것 또한 얼마든지 가능하다. 영상 운영 툴을 제공하는 컴퓨터 시스템의 예로는 서버 컴퓨터, 일련의 서버 컴퓨터들, 서버 컴퓨팅 디바이스, 개인용 컴퓨터, 미니 컴퓨터, 및/또는 메인프레임 컴퓨터를 포함할 수 있지만 이러한 것으로만 한정되는 것은 아니다.In the present embodiment, the image management tool is implemented on the server 150 corresponding to the server computer. However, the present invention is not limited thereto. For example, the image management tool may be a server- It is also possible to implement as a client capable of communication. Examples of computer systems that provide video management tools include, but are not limited to, a server computer, a series of server computers, a server computing device, a personal computer, a minicomputer, and / or a mainframe computer.

도 2는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 하나의 전자 기기에 대한 예로서 전자 기기 1(110), 그리고 하나의 서버에 대한 예로서 서버(150)의 내부 구성을 설명한다. 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.2 is a block diagram illustrating an internal configuration of an electronic device and a server according to an embodiment of the present invention. In FIG. 2, an internal configuration of the electronic device 1 (110) as an example of one electronic device and the server 150 as an example of one server will be described. Other electronic devices 120, 130, 140 or server 160 may have the same or similar internal configurations.

전자 기기 1(110)과 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제나 적어도 하나의 프로그램 코드(일례로 전자 기기 1(110)에 설치되어 구동되는 브라우저나 전용 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.The electronic device 1 110 and the server 150 may include memories 211 and 221, processors 212 and 222, communication modules 213 and 223 and input / output interfaces 214 and 224. The memories 211 and 221 may be a computer-readable recording medium and may include a permanent mass storage device such as a random access memory (RAM), a read only memory (ROM), and a disk drive. In addition, the operating system or at least one program code (for example, a code for a browser or a dedicated application installed in the electronic apparatus 1 (110) and running) may be stored in the memories 211 and 221. [ These software components may be loaded from a computer readable recording medium separate from the memories 211 and 221. [ Such a computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD / CD-ROM drive, and a memory card. In other embodiments, the software components may be loaded into memory 211, 221 via communication modules 213, 223 rather than a computer readable recording medium. For example, at least one program may be a program installed by a file distribution system (for example, the server 160 described above) that distributes installation files of developers or applications, May be loaded into the memory 211, 221 based on the application described above.

프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.Processors 212 and 222 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input / output operations. The instructions may be provided to the processors 212 and 222 by the memories 211 and 221 or the communication modules 213 and 223. For example, the processor 212, 222 may be configured to execute a command received in accordance with a program code stored in a recording device, such as the memory 211, 221.

통신 모듈(213, 223)은 네트워크(170)를 통해 전자 기기 1(110)과 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(일례로 전자 기기 2(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기 1(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 전자 기기 1(110)의 통신 모듈(213)을 통해 전자 기기 1(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기 1(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.The communication modules 213 and 223 may provide functions for the electronic device 1 110 and the server 150 to communicate with each other through the network 170 and may provide functions for communicating with other electronic devices (for example, the electronic device 2 120) Or to communicate with another server (e.g., server 160). The request generated by the processor 212 of the electronic device 1 110 according to the program code stored in the recording device such as the memory 211 is transmitted to the server 170 via the network 170 under the control of the communication module 213 150 < / RTI > Conversely, control signals, commands, contents, files, and the like provided under the control of the processor 222 of the server 150 are transmitted to the communication module 223 of the electronic device 110 via the communication module 223 and the network 170 213 to the electronic device 1 (110). For example, the control signal or command of the server 150 received through the communication module 213 may be transmitted to the processor 212 or the memory 211, May be stored as a storage medium that may further include a < RTI ID = 0.0 >

입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 전자 기기 1(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 전자 기기 2(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다.The input / output interface 214 may be a means for interfacing with the input / output device 215. For example, the input device may include a device such as a keyboard or a mouse, and the output device may include a device such as a display for displaying a communication session of the application. As another example, the input / output interface 214 may be a means for interfacing with a device having integrated functions for input and output, such as a touch screen. More specifically, the processor 212 of the electronic device 1 (110) uses the data provided by the server 150 or the electronic device 2 (120) in processing commands of the computer program loaded in the memory 211 A service screen or contents can be displayed on the display through the input / output interface 214. [

또한, 다른 실시예들에서 전자 기기 1(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기 1(110)은 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기 1(110)이 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기 1(110)에 더 포함되도록 구현될 수 있음을 알 수 있다.Also, in other embodiments, electronic device 1 110 and server 150 may include more components than the components of FIG. However, there is no need to clearly illustrate most prior art components. For example, electronic device 1 110 may be implemented to include at least a portion of input / output devices 215 described above, or may be implemented with other components such as a transceiver, Global Positioning System (GPS) module, camera, Elements. More specifically, when the electronic device 1 (110) is a smart phone, it may be an acceleration sensor, a gyro sensor, a camera, various physical buttons, buttons using a touch panel, input / output ports, It is to be understood that the present invention may be embodied in various forms without departing from the spirit or scope of the invention.

본 명세서에서 멀티미디어 컨텐츠는 문자, 음성, 영상 등의 다양한 정보 형태가 통합된 정보 서비스 내용물을 포괄하여 의미할 수 있으며, 이하에서는 동영상과 같은 영상 기반의 컨텐츠를 멀티미디어 컨텐츠의 대표적인 예로 설명하고 있으나 이에 한정되는 것은 아니다.In the present specification, the multimedia content may include content of an information service incorporating various information types such as characters, voices, and images. Hereinafter, video-based contents such as moving pictures are described as typical examples of multimedia contents. It is not.

이하에서는 메인 영상에 삽입하고자 하는 서브 영상에 대한 원격 운영을 위한 시스템 및 방법의 구체적인 실시예를 설명하기로 한다.Hereinafter, a specific embodiment of a system and method for remote operation of a sub-image to be inserted into a main image will be described.

일반적으로 메인 영상(예컨대, 생중계 하는 라이브 영상 등)에 실시간으로 서브 영상(예컨대, 광고 등)을 삽입하기 위해서는 운영자가 인코더 장비에서 직접 서브 영상을 삽입하는 방식으로 해당 장비에서만 처리 가능할 뿐 원격으로 운영 가능한 환경이 마련되어 있지 못했다. 이와 같이 운영자가 인코더 장비에서 직접 서브 영상을 삽입하는 방식으로 진행되는 경우 장소의 제약이 크기 때문에 영상 운영에 불편과 한계를 초래할 수 밖에 없다.In general, in order to insert a sub-image (for example, an advertisement, etc.) in real time in a main image (for example, a live image to be broadcast live), an operator inserts a sub image directly from an encoder device. There was no environment available. In this way, when the operator inserts the sub-image directly from the encoder device, it is inconvenient to limit the operation of the image due to the restriction of the place.

기존 영상 운영의 문제를 해결하기 위해 본 발명에서는 인코딩 엔진에 일정 시간의 딜레이(delay)를 두어 이러한 딜레이를 이용하여 원격에서의 영상 운영이 가능하도록 함으로써 영상 운영에 대한 장소의 제약을 해소할 수 있다.In order to solve the problem of existing image operation, in the present invention, a delay of a predetermined time is provided to the encoding engine, and remote operation of the image is enabled by using such delay, .

먼저, 지연 기능을 가진 인코딩 엔진의 예시를 설명하면 다음과 같다.First, an example of an encoding engine having a delay function will be described as follows.

도 3은 본 발명의 일실시예에 있어서 원격에서 영상 운영이 가능한 인코딩 엔진의 예시를 도시한 것이다.FIG. 3 illustrates an example of an encoding engine that can operate remotely in an embodiment of the present invention.

도 3에 도시한 바와 같이, 인코딩 엔진은 지연 기능을 가진 트랜스코더(300)를 포함할 수 있으며, 도 3은 트랜스코더(300)의 전체 구성을 나타내고 있다. 트랜스코더(300)의 구성요소들은 도 1과 도 2를 통해 설명한 서버(160)의 프로세서에 포함될 수 있다. 서버(160)의 프로세서 및 프로세서의 구성요소들은 이하에서 설명하게 되는 트랜스코딩 방법을 수행하도록 서버(160)를 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 서버(160)의 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 또한, 프로세서의 구성요소들은 운영체제나 적어도 하나의 프로그램이 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.As shown in FIG. 3, the encoding engine may include a transcoder 300 having a delay function, and FIG. 3 shows an overall configuration of the transcoder 300. As shown in FIG. The components of the transcoder 300 may be included in the processor of the server 160 described with reference to FIGS. The processor of the server 160 and the components of the processor may control the server 160 to perform the transcoding method described below. At this time, the processor and the components of the processor may be implemented to execute an instruction according to code of an operating system and code of at least one program included in the memory of the server 160. [ In addition, the components of the processor may be representations of different functions performed by the processor in accordance with control commands provided by the operating system or by at least one program.

도 3에 도시한 바와 같이, 트랜스코더(300)는 메인 소스 스플리터(main source splitter)(301), 버퍼(packet queue)(302), 서브 소스 스플리터(sub source splitter)(303), 비디오 디코더(video decoder)(304), 오디오 디코더(audio decoder)(305), 비디오 믹서(video mixer)(306), 오디오 믹서(audio mixer)(307), 비디오 후처리 프로세서(video post processor)(308), 오디오 후처리 프로세서(audio post processor)(309), 비디오 인코더(video encoder)(310), 오디오 인코더(audio encoder)(311), 및 멀티플렉서(muxer, multiplexer)(312)를 포함할 수 있다.3, the transcoder 300 includes a main source splitter 301, a packet queue 302, a sub-source splitter 303, a video decoder a video decoder 304, an audio decoder 305, a video mixer 306, an audio mixer 307, a video post processor 308, An audio post processor 309, a video encoder 310, an audio encoder 311, and a muxer 312. The audio post processor 309 includes a video post processor 309, a video post processor 309, a video encoder 310, an audio encoder 311,

상기한 구성의 트랜스코더(300)는 실시간으로 제공하고자 하는 메인 영상에 추가의 서브 영상을 삽입할 수 있다. 특히, 트랜스코더(300)는 실시간 영상 편집에 있어 믹서(306, 307)의 앞단에서 동적으로 추가되는 서브 영상이 믹서(306, 307)에 의해 처리될 수 있으며, 디코더(304, 305)를 거쳐 디코딩된 프레임을 기반으로 믹서(306, 307)에서 입력 영상을 믹싱 또는 스위칭 할 수 있다.The transcoder 300 having the above-described configuration can insert an additional sub-image into the main image to be provided in real time. In particular, the transcoder 300 can process the sub-images dynamically added at the front end of the mixers 306 and 307 by the mixers 306 and 307 during the real-time image editing, Based on the decoded frame, the mixers 306 and 307 can mix or switch the input image.

트랜스코더(300)는 크게 소스단(301, 302)에서 디코더(304, 305)까지의 입력 구성(source)과, 믹서(306, 307)와 후처리 프로세서(308, 309)를 포함한 영상 편집 구성(transform)과, 인코더(310, 311)와 멀티플렉서(312)를 포함한 출력 구성(writer)으로 구분될 수 있다.The transcoder 300 is largely composed of an input configuration from the source stages 301 and 302 to the decoders 304 and 305 and an image editing configuration including the mixers 306 and 307 and the postprocessing processors 308 and 309 and an output configuration including a multiplexer 312 and an encoder 310, 311.

입력 구성(source)의 동작을 간략히 살펴보면, 메인 영상을 메인 소스 스플리터(301)를 통해 비디오 데이터와 오디오 데이터로 분리하여 비디오 데이터와 오디오 데이터로 분리된 패킷을 각각의 버퍼(302)를 통해 일정 시간 동안 큐잉(queuing)할 수 있다. 이때, 버퍼(302)는 실시간 트랜스코딩 진행 중에 서브 영상을 추가하기 위해 메인 영상을 일정시간 동안 인위적으로 지연시키는 역할을 할 수 있다. 특히, 버퍼(302)는 영상 운영과 관련된 원격 컨트롤을 위한 패킷 큐를 제공하기 위한 것으로, 원격 컨트롤을 위해 입력 비트스트림을 내부 큐에 쌓아 둠으로써 지연 기능을 수행할 수 있다. 메인 영상이 영상 편집 구성(transform)의 믹서(306, 307)를 통과하기 이전에 패킷 큐(302)를 거침으로써 메인 영상의 트랜스코딩 진행 중에 서브 영상을 삽입하거나 서브 영상의 삽입을 종료하는 기능을 구현할 수 있다.The operation of the input source is briefly described. The main video is separated into video data and audio data through the main source splitter 301, and packets separated into video data and audio data are transmitted to the respective buffers 302 for a predetermined time Quot; queuing " during < / RTI > At this time, the buffer 302 may artificially delay the main image for a predetermined period of time to add the sub-image during the real-time transcoding process. In particular, the buffer 302 is for providing a packet queue for remote control related to image operation, and can perform a delay function by storing an input bitstream in an internal queue for remote control. A function of inserting a sub image during the transcoding of the main image or ending the insertion of the sub image by passing through the packet queue 302 before the main image passes through the mixers 306 and 307 of the image editing configuration Can be implemented.

입력 구성(source)에서 비디오 데이터와 오디오 데이터로 분리된 입력 비트스트림은 압축 상태의 패킷으로, 압축된 비디오/오디오 비트스트림을 버퍼(302)를 통해 일정시간 동안 버퍼링한 후 디코더(304, 305)로 전달할 수 있다. 트랜스코더(300)는 입력 구성(source)에서의 영상 입력 시간 동기화를 수행할 수 있다. 일례로, 트랜스코더(300)는 원격에서 서브 영상을 운영하는 서버(150)에서 전달되는 절대 시간 값(absolute timestamp)을 입력 받을 수 있으며, 절대 시간 값은 소스 스플리터(301, 303)를 통해 사용되며 소스 스플리터(301, 303)에서 절대 시간 값에 의해 원격 컨트롤러인 서버(150)와 시간 동기화가 가능하다. 다시 말해, 서버(150)로부터 소스 스플리터(301, 303)에서 공통적으로 인식할 수 있는 절대 시간 값을 얻을 수 있으며, 소스 스플리터(301, 303) 간에 절대 시간 값을 기준으로 영상 삽입을 위한 명령을 주고 받을 수 있다. 상기한 트랜스코더(300)는 입력 구성(source)에 있어 패킷 큐(302)와의 조합에 특징이 있으며, 메인 영상이 믹서(306, 307)를 통과하기 전에 입력 구성(source)에 서버(150)의 영상 삽입 명령을 적용함으로써 정확하고 정밀한 영상 스위칭을 수행할 수 있다.An input bit stream separated into video data and audio data in an input configuration is a compressed packet. The compressed video / audio bit stream is buffered through a buffer 302 for a predetermined time, . The transcoder 300 may perform video input time synchronization in an input configuration. For example, the transcoder 300 may receive an absolute timestamp transmitted from a server 150 operating a sub-image remotely, and the absolute time value may be used by the source splitter 301 or 303 And is capable of time synchronization with the server 150, which is a remote controller, by an absolute time value at the source splitter 301, 303. In other words, an absolute time value that can be commonly recognized by the source splitters 301 and 303 can be obtained from the server 150, and a command for inserting an image can be obtained between the source splitters 301 and 303 You can send and receive. The transcoder 300 is characterized by its combination with the packet queue 302 in the input configuration and is connected to the server 150 in an input configuration before the main image passes through the mixers 306, It is possible to perform accurate and precise image switching.

따라서, 본 발명은 메인 영상이 믹서(306, 307)를 통과하기 이전에 패킷 큐(302)를 거치는 구조의 트랜스코더(300)를 통해 인코딩 엔진의 지연 기능을 구현할 수 있다.Accordingly, the present invention may implement the delay function of the encoding engine through the transcoder 300 having a structure that passes through the packet queue 302 before the main image passes through the mixers 306 and 307. [

도 4는 본 발명의 일실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 서버가 수행할 수 있는 방법의 예를 도시한 흐름도이다.FIG. 4 is a diagram illustrating an example of a component that a server of a server according to an embodiment of the present invention can include; FIG. 5 is a diagram illustrating an example of a method that a server can perform according to an exemplary embodiment of the present invention; Fig.

도 4에 도시된 바와 같이, 서버(150)의 프로세서(222)는 구성요소들로서 툴 제공부(410), 메인 영상 제어부(420), 및 서브 영상 제어부(430)를 포함할 수 있다. 이러한 프로세서(222) 및 프로세서(222)의 구성요소들은 도 5의 방법이 포함하는 단계들(S510 내지 S530)을 수행하도록 서버(150)를 제어할 수 있다. 이때, 프로세서(222) 및 프로세서(222)의 구성요소들은 메모리(221)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 또한, 프로세서(222)의 구성요소들은 운영체제나 적어도 하나의 프로그램이 제공하는 제어 명령에 따라 프로세서(222)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 프로세서(222)가 상술한 제어 명령에 따라 영상 운영 툴을 제공하는 기능적 표현으로서 툴 제공부(410)가 사용될 수 있다.4, the processor 222 of the server 150 may include a tool providing unit 410, a main image controlling unit 420, and a sub image controlling unit 430 as components. The components of the processor 222 and the processor 222 may control the server 150 to perform the steps S510 through S530 included in the method of FIG. At this time, the components of the processor 222 and the processor 222 may be implemented to execute instructions according to the code of the operating system and the code of at least one program that the memory 221 contains. In addition, components of processor 222 may be representations of different functions performed by processor 222 in accordance with control commands provided by the operating system or by at least one program. For example, the tool providing unit 410 may be used as a functional representation in which the processor 222 provides a video operating tool in accordance with the control command described above.

단계(S510)에서 툴 제공부(410)는 메인 영상에 실시간으로 서브 영상을 삽입/종료하는 영상 운영이 원격에서 가능하도록 메인 영상 플레이어와 서브 영상 플레이어, 그리고 컨트롤 영역을 포함하는 영상 운영 툴을 제공할 수 있다. 영상 운영 툴은 원격에서의 영상 운영을 위한 기능을 제공할 수 있으며, 실제 인코딩 된 결과와 상관없이 운영자의 참고를 위해 메인 영상과 서브 영상을 재생해줄 수 있다. 이때, 영상 운영 툴은 운영자가 웹/모바일 사이트 접속으로 접근 가능한 웹 페이지로 구현되거나, 혹은 운영자 단말(예컨대, 전자 기기(110, 120, 130, 140))에 설치 및 실행 가능한 어플리케이션 형태로 구현될 수 있다. 영상 운영자는 영상 운영 툴에서 제공되는 두 개의 플레이어(메인 영상 플레이어와 서브 영상 플레이어)를 통해 메인 영상과 메인 영상에 삽입되는 서브 영상을 함께 보면서 편리하게 영상 운영을 할 수 있다.In step S510, the tool providing unit 410 provides a video operating tool including a main video player, a sub video player, and a control area so that video operations for inserting / terminating sub video in real time on the main video can be remotely performed can do. The video operation tool can provide functions for remote video operation and can reproduce main video and sub video for operator's reference regardless of the actual encoded result. At this time, the image operation tool may be implemented as a web page accessible to an operator via a web / mobile site connection or in the form of an application installed and executable on an operator terminal (e.g., electronic device 110, 120, 130, 140) . The video operator can conveniently operate the video while watching the main video and the sub video inserted in the main video through the two players (main video player and sub video player) provided in the video operation tool.

단계(S520)에서 메인 영상 제어부(420)는 인코딩 엔진과의 통신을 통해 인코딩 엔진이 메인 영상 플레이어에 비해 일정 시간의 딜레이를 유지하도록 제어할 수 있다. 메인 영상 제어부(420)는 사전에 설정된 지연 시간 혹은 운영자에 의해 설정된 지연 시간으로 인코딩 엔진의 딜레이를 설정할 수 있다. 일례로, 메인 영상 제어부(420)는 네트워크(170)를 통해 서버(160) 상의 인코딩 엔진으로 딜레이를 위한 절대 시간 값을 전달할 수 있으며, 정확한 타이밍의 서브 영상 운영을 위해 인코딩 엔진은 메인 영상에 대하여 영상 운영 툴의 메인 영상 플레이어에 비해 절대 시간 값만큼의 딜레이를 적용할 수 있다. 다시 말해, 메인 영상 제어부(420)는 원격에서 영상 운영 시 운영자의 컨트롤에 따른 명령이 실제 인코딩 엔진에 전달되는 시간을 확보하고 원하는 시점에 서브 영상의 삽입이 가능하도록 하기 위해 인코딩 엔진이 일정 시간의 딜레이를 갖도록 설정 및 제어할 수 있다.In step S520, the main video controller 420 may control the encoding engine to maintain a delay for a predetermined time period in comparison with the main video player through communication with the encoding engine. The main image control unit 420 may set the delay of the encoding engine to a preset delay time or a delay time set by the operator. For example, the main image control unit 420 can transmit an absolute time value for delay to the encoding engine on the server 160 via the network 170. In order to operate the sub image at a precise timing, It is possible to apply a delay equal to the absolute time value as compared with the main video player of the video operation tool. In other words, in order to secure a time for a command according to the control of the operator to be transmitted to the actual encoding engine in remote operation of the image, and to enable insertion of the sub-image at a desired time, It can be set and controlled to have a delay.

단계(S530)에서 서브 영상 제어부(430)는 삽입하고자 하는 서브 영상에 대하여 메인 영상과의 타이밍 동기화를 위해 메인 영상 플레이어의 시간 흐름에 따라 서브 영상 플레이어의 재생을 제어할 수 있다. 서브 영상은 메인 영상 중간에 삽입 가능한 모든 멀티미디어 컨텐츠를 의미할 수 있고, 메인 영상에 정기적인 형태로 삽입되는 정규 영상, 필요에 따라 임시로 삽입되는 이벤트 영상 등을 포함할 수 있다. 서브 영상 제어부(430)에서 삽입하고자 하는 서브 영상에 대한 정보와 삽입하는 시점에 대한 정보를 인코딩 엔진으로 전달하면, 이에 인코딩 엔진에서는 서브 영상의 삽입 시점을 찾아서 해당 시점부터 서브 영상에 대한 믹싱 작업을 수행할 수 있다. 즉, 서브 영상 제어부(430)는 영상 운영 툴을 통해 서브 영상에 대한 삽입 요청 명령이 입력되면 삽입 요청 명령의 입력 시점을 기준으로 메인 영상 플레이어의 시간 흐름에 맞추어 서브 영상 플레이어의 재생을 조절할 수 있다. 일례로, 서브 영상 제어부(430)는 인코딩 엔진과의 통신 시간을 고려하여 서브 영상의 재생 시 해당 시간만큼의 구간이동(seeking)을 진행할 수 있다. 다른 예로, 서브 영상 제어부(430)는 버퍼링이 발생한 시간을 고려하여 서브 영상의 재생 시 재생 시간에 해당 시간만큼 대기 시간을 추가할 수 있다.In step S530, the sub-image controller 430 may control the reproduction of the sub-image player according to the time flow of the main image player for timing synchronization with the main image with respect to the sub-image to be inserted. The sub-image may mean all multimedia contents that can be inserted in the middle of the main image, and may include a regular image inserted into the main image periodically, and an event image temporarily inserted if necessary. If the information about the sub-image to be inserted and the information about the insertion time are transmitted to the encoding engine, the encoding engine finds the insertion point of the sub-image and mixes the sub- Can be performed. That is, when the insert request command for the sub-image is inputted through the video operation tool, the sub-image control unit 430 can regulate the playback of the sub-image player according to the time of the main video player based on the input time point of the insert request command . For example, the sub-image control unit 430 may perform a seek operation for a corresponding time during the reproduction of the sub-image in consideration of the communication time with the encoding engine. As another example, the sub-image controller 430 may add a waiting time corresponding to the playback time of the sub-image in consideration of the time when buffering occurs.

도 6은 본 발명의 일실시예에 있어서 영상 운영 툴의 화면 예시를 도시한 것이다.6 illustrates an exemplary screen of a video management tool in an embodiment of the present invention.

도 6에 도시한 바와 같이, 영상 운영 툴(600)은 두 개의 플레이어, 즉 메인 영상 플레이어(610)와 서브 영상 플레이어(620)를 포함할 수 있다. 이때, 메인 영상 플레이어(610)는 본래의 컨텐츠 영상 플레이어로, 실시간으로 제공하고자 하는 메인 영상을 재생할 수 있다. 일례로, 생중계로 진행되는 라이브 영상이 메인 영상으로 제공될 때 메인 영상 플레이어(610)는 생중계가 진행되는 동안 항상 재생된다. 또한, 서브 영상 플레이어(620)는 메인 영상에 삽입되는 서브 영상을 재생하는 것으로, 메인 영상에 서브 영상이 삽입될 때 재생된다. 서브 영상 플레이어(620)의 일부 영역(예컨대, 화면 하단 등) 또는 서브 영상 플레이어(620)와 인접한 위치에는 운영자가 참고할 수 있는 서브 영상과 관련된 정보로서 서브 영상의 길이, 재생율, 종료까지 남은 시간 등을 포함한 재생 시간 정보(621)를 표시할 수 있다.As shown in FIG. 6, the video operation tool 600 may include two players, a main video player 610 and a sub video player 620. At this time, the main video player 610 is an original content video player and can reproduce the main video to be provided in real time. For example, when a live video that is being streamed live is provided as a main video, the main video player 610 is always played during live streaming. Also, the sub video player 620 reproduces a sub video to be inserted into the main video, and is reproduced when the sub video is inserted into the main video. Information related to a sub-image that can be referred to by the operator is displayed at a position adjacent to a partial area of the sub-image player 620 (e.g., a bottom of the screen or the like) or the sub-image player 620. The length of the sub- The playback time information 621 can be displayed.

그리고, 도 6에 도시한 바와 같이 영상 운영 툴(600)에는 영상 운영과 관련된 유저 인터페이스를 포함하는 컨트롤 영역(630)이 더 포함될 수 있다. 컨트롤 영역(630)에는 서브 영상의 삽입 명령을 입력하기 위한 삽입 버튼(631), 서브 영상의 삽입 종료 명령을 입력하기 위한 종료 버튼(632), 및 서브 영상의 삽입 종료에 대한 예약 명령을 입력하기 위한 예약 종료 버튼(633) 등을 포함할 수 있다. 종료 버튼(632)은 현재 삽입 중인 서브 영상의 종료를 수동으로 요청하기 위한 유저 인터페이스인 반면에, 예약 종료 버튼(633)은 현재 삽입 중인 서브 영상이 종료된 후 자동으로 메인 영상으로 연결되도록 요청하기 위한 유저 인터페이스를 의미한다.As shown in FIG. 6, the image operation tool 600 may further include a control area 630 including a user interface related to image operation. In the control area 630, an insertion button 631 for inputting a sub-image insertion command, an end button 632 for inputting a sub-image insertion end command, and a reservation command for ending insertion of a sub- And a reservation end button 633 for the user. The end button 632 is a user interface for manually requesting the end of the currently inserted sub video, whereas the reservation end button 633 requests the sub video to be automatically connected to the main video after the current sub video is terminated ≪ / RTI >

운영자는 영상 운영 툴(600)에서 제공되는 두 개의 플레이어(메인 영상 플레이어(610)와 서브 영상 플레이어(620))를 통해 메인 영상과 메인 영상에 삽입되는 서브 영상을 함께 보면서 편리하게 영상 운영을 할 수 있다. 그리고, 영상 운영 툴(600)의 서브 영상 플레이어(620) 상에 표시되는 재생 시간 정보(621)를 통해 서브 영상의 재생 시간 정보를 쉽게 확인할 수 있고 이를 영상 운영에 참고할 수 있다. 또한, 운영자는 영상 운영 툴(600)을 통해 메인 영상 플레이어(610)와 서브 영상 플레이어(620)를 보면서 컨트롤 영역(630)을 이용하여 서브 영상의 삽입과 삽입 종료 등의 운영을 원격에서 편리하게 수행할 수 있다.The operator can easily operate the video while watching the main video and the sub video inserted in the main video through the two players (main video player 610 and sub video player 620) provided in the video operation tool 600 . The reproduction time information of the sub-image can be easily confirmed through the reproduction time information 621 displayed on the sub-image player 620 of the image operation tool 600 and can be referenced to the image operation. In addition, the operator can view the main video player 610 and the sub video player 620 through the video operation tool 600 and perform operations such as insertion and termination of the sub video using the control area 630 remotely and conveniently Can be performed.

도 7은 본 발명의 일실시예에 있어서 메인 영상의 재생을 제어하는 과정의 일례를 설명하기 위한 도면이다.7 is a diagram for explaining an example of a process of controlling reproduction of a main image in an embodiment of the present invention.

원격 컨트롤 환경에서는 서버(150)와 인코딩 엔진(161) 간에 필요한 명령을 교환하는데 어느 정도의 시간이 필요하고 영상 재생 중간에 버퍼링이 발생할 수 있다는 점을 고려하여 메인 영상 중간에 서브 영상을 삽입/종료하려면 메인 영상 플레이어(610)가 인코딩 엔진(161) 보다 앞서야 한다.Considering that a certain amount of time is required to exchange necessary commands between the server 150 and the encoding engine 161 in the remote control environment and buffering may occur during image reproduction, The main video player 610 must precede the encoding engine 161. [

도 7을 참조하면, 영상 운영 툴(600)의 메인 영상 플레이어(610)에 비해 인코딩 엔진(161)의 딜레이가 충분히 큰 경우 영상 운영 툴(600)을 제공하는 서버(150)에서 서브 영상 삽입을 위한 명령이 인코딩 엔진(161)으로 전달될 때 원하는 시점에 얼마든지 서브 영상을 삽입할 수 있다. 한편, 메인 영상 플레이어(610)에 비해 인코딩 엔진(161)의 딜레이가 전혀 없거나 작은 경우 서버(150)에서 서브 영상 삽입을 위한 명령이 인코딩 엔진(161)으로 전달되더라도 이미 메인 영상의 재생이 시작됨에 따라 서브 영상의 원하는 재생 시점을 놓치게 된다. 예를 들어, 메인 영상 플레이어(610)에 버퍼링이 생기면 딜레이가 작아지게 되는데, 이러한 딜레이가 일정 수준 미만으로 작아지게 되면 원하는 시점에 서브 영상의 삽입이 불가능 하게 된다.7, when the delay of the encoding engine 161 is sufficiently larger than that of the main video player 610 of the video operation tool 600, the server 150, which provides the video operation tool 600, The sub-image can be inserted at a desired time point when the command for encoding is transmitted to the encoding engine 161. On the other hand, when the encoding engine 161 has no or little delay compared to the main video player 610, even if a command for inserting the sub video is transmitted from the server 150 to the encoding engine 161, the playback of the main video is already started The desired playback point of the sub-image is missed. For example, if buffering occurs in the main video player 610, the delay becomes smaller. If the delay becomes smaller than a predetermined level, the sub video can not be inserted at a desired time.

서브 영상의 삽입이 불가능하게 되는 상황을 방지하기 위해 메인 영상 제어부(420)는 인코딩 엔진(161)의 딜레이가 임계 레벨 미만으로 작아지게 되면 메인 영상 플레이어(610)를 다시 시작할 수 있다. 즉, 메인 영상 제어부(420)는 딜레이가 작아지면 메인 영상 플레이어(610)를 다시 시작하여 메인 영상 플레이어(610)의 버퍼링을 제거하는 작업을 내부적으로 수행할 수 있다.The main video controller 420 can restart the main video player 610 when the delay of the encoding engine 161 becomes smaller than the threshold level in order to prevent the sub video image from being inserted. That is, when the delay becomes small, the main video controller 420 may internally perform the operation of restarting the main video player 610 to remove the buffering of the main video player 610. [

따라서, 본 발명에서는 정확한 타이밍의 서브 영상 운영을 위해 인코딩 엔진(161)에 버퍼를 적용함으로써 인코딩 엔진(161)이 영상 운영 툴(600)의 메인 영상 플레이어(610)에 비해 일정 시간만큼의 딜레이를 가지도록 한다. 이때, 메인 영상 제어부(420)는 인코딩 엔진(161)과의 통신을 통해 딜레이가 임계 레벨 미만으로 작아지면 메인 영상을 다시 재생함으로써 인코딩 엔진(161)의 딜레이가 임계 레벨 이상을 유지하도록 할 수 있다.Accordingly, in the present invention, by applying a buffer to the encoding engine 161 for operating a sub-image at a precise timing, the encoding engine 161 can delay a certain amount of time compared to the main video player 610 of the video operating tool 600 Have them. At this time, if the delay becomes less than the threshold level through communication with the encoding engine 161, the main image control unit 420 can reproduce the main image again so that the delay of the encoding engine 161 can be maintained above the threshold level .

그리고, 서브 영상 플레이어(620)의 재생은 메인 영상과의 타이밍 동기화가 필요하다. 메인 영상 플레이어(610)나 서브 영상 플레이어(620)는 버퍼링이 발생할 수 있기 때문에 동기화가 되지 않으면 정확한 타이밍의 영상 운영이 불가능하다. 이에, 본 발명에서는 메인 영상과의 타이밍 동기화를 위해 서브 영상 삽입을 위한 명령이 입력되는 시점, 즉 영상 운영 툴(600)에서 제공된 컨트롤 영역(630)의 삽입 버튼(631)을 입력한 시점을 기준으로 메인 영상 플레이어(610)의 시간 흐름에 맞추어 서브 영상 플레이어(620)의 재생을 조절할 수 있다.The reproduction of the sub video player 620 requires timing synchronization with the main video. Buffering may occur in the main video player 610 or the sub video player 620, so that it is impossible to operate the video at the correct timing unless synchronization occurs. In the present invention, when a command for inserting a sub-image is input for timing synchronization with a main image, that is, a time point when the insert button 631 of the control area 630 provided by the image operation tool 600 is input is set as a reference The playback of the sub video player 620 can be adjusted according to the time flow of the main video player 610. [

원격 컨트롤 환경에서는 네트워크(170)를 통해 인코딩 엔진(161)에 서브 영상 삽입을 위한 명령을 전달하기 때문에 지연이 발생할 수 있으며, 이러한 네트워크 지원 문제를 해결하기 위해 서브 영상 제어부(430)는 네트워크(170)를 통한 요청과 응답 간의 시간을 측정하여 서브 영상 재생 시 측정된 시간만큼의 구간이동을 진행할 수 있다.In the remote control environment, a delay may occur because a command for inserting a sub-image is transmitted to the encoding engine 161 through the network 170. To solve this network support problem, the sub- ), It is possible to perform the segment movement by the measured time during the sub-image reproduction.

그리고, 영상 운영 툴(600)에서 메인 영상 플레이어(610)와 서브 영상 플레이어(620)가 분리되어 있기 때문에 한쪽에서 버퍼링이 발생하는 경우 플레이어 간의 타이밍이 어긋나게 된다. 이러한 플레이어 간 타이밍 동기화 문제를 해결하기 위해 서브 영상 제어부(430)는 버퍼링이 발생한 시간을 측정하여 서브 영상의 재생 시 재생 시간에 해당 시간만큼 대기 시간을 추가할 수 있다.In addition, since the main video player 610 and the sub video player 620 are separated from each other in the video operation tool 600, when buffering occurs on one side, the timings of the players are shifted. In order to solve the problem of timing synchronization between players, the sub-image controller 430 may measure the time when buffering occurs and add a waiting time corresponding to the playback time of the sub-image.

서브 영상 플레이어(620)의 경우 둘 이상의 서브 영상으로 이루어진 재생 목록을 제공하면 서브 영상의 연속 재생이 가능하다. 그러나, 재생 목록에 포함된 영상 개수가 많아질수록 메인 영상과의 시간 차가 발생할 가능성이 높아진다. 때문에 서브 영상 제어부(430)는 타이밍 동기화를 위해 서브 영상을 한 개씩 재생 요청하고 다음 서브 영상의 재생을 위한 타이머를 설정할 수 있다. 다시 말해, 서브 영상 제어부(430)는 서브 영상 하나를 재생 완료할 때마다 다음 서브 영상에 대하여 타이밍 동기화를 진행할 수 있다.In the case of the sub video player 620, if a reproduction list composed of two or more sub videos is provided, continuous playback of the sub video is possible. However, as the number of images included in the playlist increases, the possibility of a time difference with the main video increases. Therefore, the sub-image controller 430 may request the reproduction of one sub-image for timing synchronization and set a timer for reproduction of the next sub-image. In other words, the sub-image controller 430 can perform timing synchronization with respect to the next sub-image every time reproduction of one sub-image is completed.

일례로, 서브 영상 제어부(430)는 서브 영상의 연속 재생을 위한 재생 목록이 주어진 환경에서 원본 영상 플레이어(610)에서 버퍼링이 발생하는 경우 지연시간만큼 다음 서브 영상의 재생 전까지 현재 서브 영상의 재생 상태에서 대기할 수 있다. 메인 영상에서 버퍼링이 발생하는 경우가 대부분이지만, 반대로 서브 영상 플레이어(620)에서 버퍼링이 발생하는 경우 서브 영상 제어부(430)는 현재 서브 영상의 재생이 종료되지 않더라도 설정된 타이머가 동작하게 되면 다음 서브 영상의 재생을 시작할 수 있다.For example, when buffering occurs in the original video player 610 in a given reproduction list for continuous reproduction of sub video, the sub video controller 430 controls the reproduction state of the current sub video until the reproduction of the next sub video by the delay time . ≪ / RTI > When buffering occurs in the sub video player 620, the sub video controller 430 determines that buffering occurs in the main video even if the current sub video is not reproduced, Can start to play.

도 8은 본 발명의 일실시예에 있어서 서브 영상의 재생을 제어하는 과정의 일례를 설명하기 위한 도면이다.8 is a diagram for explaining an example of a process of controlling reproduction of a sub-image in an embodiment of the present invention.

서브 영상 플레이어(620)의 재생은 기본적으로 서브 영상의 듀레이션(duration)에 따라 타이머 설정을 통해 이루어질 수 있다.The playback of the sub video player 620 can be basically performed through timer setting according to the duration of the sub video.

서브 영상 제어부(430)는 서브 영상의 재생 목록 중 첫 번째 서브 영상을 메인 영상에 삽입할 때 인코딩 엔진(161)과의 통신 시간을 반영하여 메인 영상과의 타이밍 동기화를 구현할 수 있다.The sub image controller 430 may implement the timing synchronization with the main image by reflecting the communication time with the encoding engine 161 when inserting the first sub image of the sub image into the main image.

도 8을 참조하면, 서브 영상 제어부(430)는 운영자가 컨트롤 영역(630)의 삽입 버튼(631)을 입력하여 서브 영상의 삽입을 요청하는 경우 서브 영상 삽입을 위한 명령을 인코딩 엔진(161)에 전송한 후 해당 명령에 대해 인코딩 엔진(161)으로부터 성공 메시지(OK Response)가 수신될 때 서브 영상의 재생을 시작할 수 있다.8, when the operator inputs an insert button 631 of the control region 630 and requests insertion of the sub-image, the sub-image control unit 430 transmits an instruction for inserting the sub-image to the encoding engine 161 Playback of the sub-image can be started when a success message (OK Response) is received from the encoding engine 161 for the command after the transmission.

이때, 서브 영상 제어부(430)는 인코딩 엔진(161)과의 통신 시간으로서 네트워크(170)를 통한 요청과 응답을 주고 받는 초기 시간(init time)을 측정할 수 있으며, 일례로 초기 시간은 삽입 버튼(631)이 입력된 시점부터 인코딩 엔진(161)으로부터 성공 메시지가 수신되는 시점까지의 소요 시간을 의미할 수 있다.In this case, the sub image controller 430 may measure an init time during which the request and the response are exchanged through the network 170 as the communication time with the encoding engine 161. For example, May be a time required from the time when the input message 631 is input to the time when the success message is received from the encoding engine 161.

그리고, 서브 영상 제어부(430)는 인코딩 엔진(161)으로부터 성공 메시지가 수신되면 서브 영상의 재생을 시작하되 서브 영상을 앞서 측정된 초기 시간만큼 구간이동 할 수 있다. 다시 말해, 서브 영상 제어부(430)는 메인 영상에 삽입된 서브 영상에 대해 초기 시간만큼 구간이동 한 위치에서 서브 영상을 재생할 수 있다.When the success message is received from the encoding engine 161, the sub-image controller 430 starts playback of the sub-image, and can move the sub-image by the measured initial time. In other words, the sub-image controller 430 can reproduce the sub-image at the position shifted by the initial time with respect to the sub-image inserted into the main image.

둘 이상의 서브 영상이 연속적으로 삽입되는 경우 서브 영상 제어부(430)는 다음 서브 영상의 재생을 위한 타이머를 설정하게 되는데, 이때 현재 서브 영상의 듀레이션에서 초기 시간을 뺀 시간 값으로 타이머를 설정할 수 있다. 예를 들어, 길이가 15초인 서브 영상에 대해 초기 시간이 1초 소요된 경우 1초 구간이동 한 위치에서 재생을 시작하여 14초 동안 서브 영상을 재생할 수 있다.When two or more sub-images are continuously inserted, the sub-image controller 430 sets a timer for reproduction of the next sub-image. At this time, the timer can be set to a time value obtained by subtracting the initial time from the duration of the current sub- For example, if the initial time is 1 second for a sub-image having a length of 15 seconds, the sub-image can be reproduced for 14 seconds by starting playback at a position shifted by 1 second.

이와 같이, 서브 영상 플레이어(620)의 재생은 인코딩 엔진(161)으로부터 성공 메시지를 받는 시점에 시작되나 삽입 버튼(631)이 입력된 시점부터 서브 영상의 재생이 시작되는 것처럼 구간 이동을 통해 재생 위치를 맞춰 줄 수 있다.As described above, the playback of the sub video player 620 starts at the time of receiving the success message from the encoding engine 161, but as the playback of the sub video starts from the time when the insert button 631 is input, .

도 9는 본 발명의 일실시예에 있어서 서브 영상의 재생을 제어하는 과정의 다른 예를 설명하기 위한 도면이다.9 is a view for explaining another example of a process of controlling reproduction of a sub-image according to an embodiment of the present invention.

서브 영상 제어부(430)는 메인 영상과의 타이밍 동기화를 위해 메인 영상 플레이어(610)의 버퍼링 시간을 서브 영상 플레이어(620)에 반영할 수 있다.The sub video controller 430 may reflect the buffering time of the main video player 610 to the sub video player 620 for timing synchronization with the main video.

도 9를 참조하면, 서브 영상의 재생이 종료되고 다음 서브 영상의 재생이 시작되기 전에 메인 영상 플레이어(610)에 버퍼링이 발생하는 경우 서브 영상 제어부(430)는 메인 영상 플레이어(610)의 버퍼링 시간만큼 대기할 수 있다.9, when buffering occurs in the main video player 610 before reproduction of the sub video is completed and reproduction of the next sub video begins, the sub video controller 430 controls the buffering time of the main video player 610 Can wait.

다시 말해, 서브 영상의 재생이 종료되고 다음 서브 영상의 재생을 위한 타이머가 동작하게 되었을 때, 즉 이전 서브 영상 이후 다음 서브 영상을 이어서 재생하기 전에 메인 영상 플레이어(610)에 버퍼링이 있다면 다음 서브 영상을 재생하기 이전에 메인 영상의 버퍼링 시간만큼 기다린다.That is, if there is buffering in the main video player 610 before the subsequent sub video is successively reproduced after the previous sub video, the next sub video And waits for the buffering time of the main image.

예를 들어, 길이가 15초인 서브 영상이 모두 재생되었음에도 메인 영상 플레이어(610)의 버퍼링으로 메인 영상이 14초 재생에 그친 경우 다음 서브 영상을 재생하지 않고 1초 대기하고 있다가 메인 영상이 15초 시점까지 재생될 때 다음 서브 영상의 재생을 시작한다.For example, even if all of the sub-images having a length of 15 seconds are reproduced, if the main video is played for 14 seconds due to buffering of the main video player 610, the main video is waiting for 1 second without playing the next sub- Playback of the next sub-picture is started.

따라서, 서브 영상 제어부(430)는 메인 영상 플레이어(610)에서 버퍼링이 발생하거나 혹은 서브 영상 플레이어(620)에서 버퍼링이 발생하더라도 적어도 다음 서브 영상의 재생 시작 시점에는 메인 영상과의 타이밍이 맞을 수 있도록 재생 위치를 맞춰줄 수 있다.Accordingly, even if buffering occurs in the main video player 610 or buffering occurs in the sub video player 620, the sub video controller 430 controls the sub video controller 620 so that the timing with respect to the main video can be matched The playback position can be adjusted.

그리고, 서브 영상 제어부(430)는 현재 삽입 중인 서브 영상의 종료 후 자동으로 메인 영상으로 연결되는 예약 종료 기능을 제공할 수 있다. 다시 말해, 서브 영상 제어부(430)는 현재 재생 중인 서브 영상의 재생이 끝날 때까지 기다렸다가 자연스럽게 메인 영상으로 전환되도록 할 수 있다. 서브 영상에 대한 예약 종료 기능은 서브 영상에 설정된 타임스탬프를 기반으로 하는 것이 아니라, 서브 영상의 식별 정보(예컨대, ID, 인덱스 등)를 이용할 수 있다. 예를 들어, 도 10에 도시한 바와 같이 운영자가 영상 운영 툴(600)에서 제공된 컨트롤 영역(630)의 예약 종료 버튼(633)을 입력하면 서브 영상 제어부(430)는 현재 삽입 중인 서브 영상에 대하여 인코딩 엔진(161)으로 예약 종료를 요청할 수 있고, 이때 예약 종료 요청과 함께 해당 서브 영상의 ID를 인코딩 엔진(161)으로 전달할 수 있다. 이에, 인코딩 엔진(161)에서는 타임스탬프가 아닌 서브 영상의 ID를 기준으로 현재 재생 중인 서브 영상을 식별하고 해당 서브 영상의 재생이 종료될 때까지 기다렸다가 자동으로 메인 영상을 연결할 수 있다.In addition, the sub-image controller 430 may provide a reservation termination function that is automatically connected to the main image after the end of the currently inserted sub-image. In other words, the sub-image control unit 430 may wait until the reproduction of the sub-image currently being reproduced is completed and then switch to the main image naturally. The reservation end function for the sub video is not based on the time stamp set in the sub video, but can use the sub video identification information (e.g., ID, index, etc.). For example, as shown in FIG. 10, when the operator inputs a reservation end button 633 of the control area 630 provided in the image operation tool 600, the sub image controller 430 displays the sub image The encoding engine 161 may request the end of the reservation, and at this time, the ID of the corresponding sub video may be transmitted to the encoding engine 161 together with the reservation end request. Accordingly, in the encoding engine 161, the sub video image currently being reproduced is identified on the basis of the ID of the sub video image, not the time stamp, and the main image can be automatically connected after waiting for the sub video image to be reproduced.

따라서, 본 발명에서는 인코딩 엔진의 딜레이 설정이 가능한 영상 운영 툴을 제공할 수 있고, 이를 통해 서브 영상의 삽입과 삽입 종료에 대해 원격 운영을 위한 기술적인 요소와 운영의 편리성을 위한 기능 요소를 함께 제공할 수 있다.Accordingly, in the present invention, it is possible to provide a video operation tool capable of setting the delay of an encoding engine, and through this, a technical element for remote operation and a function element for convenience of operation are provided .

이처럼 본 발명의 실시예들에 따르면, 메인 영상에 삽입하고자 하는 서브 영상을 원격으로 운영할 수 있는 영상 운영 툴을 제공함으로써 운영에 대한 장소의 제약 문제를 해소할 수 있고 원격 운영을 통해 영상 합성의 운영을 위한 불필요한 리소스를 최소화 하면서 운영의 편리성을 향상시킬 수 있다. 그리고, 본 발명의 실시예들에 따르면, 네트워크를 통해 영상 운영을 위한 명령을 전달함에 있어 네트워크 지연 문제를 해결하거나 메인 영상과 서브 영상의 플레이어가 분리된 환경에서 플레이어 간 타이밍 동기화 문제를 해결함으로써 메인 영상 중간에 삽입하고자 하는 서브 영상에 대하여 메인 영상과의 시간 동기화 문제를 효과적으로 해결할 수 있다.As described above, according to the embodiments of the present invention, it is possible to solve the limitation problem of the place of operation by providing an image operation tool that can remotely operate the sub-image to be inserted into the main image, It is possible to improve the convenience of operation while minimizing unnecessary resources for operation. According to embodiments of the present invention, in order to solve a network delay problem in transmitting a command for image operation through a network or solve a timing synchronization problem between players in an environment in which a main video and a sub video player are separated, The problem of time synchronization with the main image can be effectively solved for the sub-image to be inserted in the middle of the image.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit, a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device As shown in FIG. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. At this time, the medium may be a program that continuously stores a computer executable program, or temporarily stores the program for execution or downloading. Further, the medium may be a variety of recording means or storage means in the form of a combination of a single hardware or a plurality of hardware, but is not limited to a medium directly connected to any computer system, but may be dispersed on a network. Examples of the medium include a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, And program instructions including ROM, RAM, flash memory, and the like. As another example of the medium, a recording medium or a storage medium that is managed by a site or a server that supplies or distributes an application store or various other software is also enumerated.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (20)

컴퓨터로 구현되는 방법에 있어서,
네트워크를 통해 메인 영상과 서브 영상의 실시간 트랜스코딩을 위한 인코딩 엔진과 통신하여 원격에서 상기 메인 영상에 상기 서브 영상을 삽입하기 위한 영상 운영 툴로서 상기 메인 영상을 재생하기 위한 메인 영상 플레이어와 상기 메인 영상에 삽입되는 상기 서브 영상을 재생하기 위한 서브 영상 플레이어를 포함하는 툴을 제공하는 단계;
상기 인코딩 엔진과의 통신을 통해 상기 인코딩 엔진이 상기 메인 영상 플레이어에 비해 일정 시간의 딜레이(delay)를 유지하도록 제어하는 단계; 및
상기 서브 영상의 삽입 요청 명령이 입력되는 시점을 기준으로 상기 메인 영상 플레이어의 시간 흐름에 맞추어 상기 서브 영상 플레이어의 재생을 제어하는 단계
를 포함하고,
상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는,
상기 인코딩 엔진의 딜레이에 따라 상기 메인 영상 플레이어의 버퍼링을 제거하는 것
을 특징으로 하는 방법.In a computer implemented method,
A main image player for reproducing the main image as an image operating tool for inserting the sub image into the main image remotely by communicating with an encoding engine for real-time transcoding of the main image and the sub image through a network, A sub-image player for reproducing the sub-image inserted in the sub-image;
Controlling the encoding engine to maintain a delay of a predetermined time period in comparison with the main video player through communication with the encoding engine; And
Controlling playback of the sub video player in accordance with a time flow of the main video player based on a time point at which the insert request command of the sub video is input
Lt; / RTI >
Wherein the controlling to maintain the delay of the predetermined time comprises:
Removing the buffering of the main video player according to the delay of the encoding engine
≪ / RTI > 제1항에 있어서,
상기 인코딩 엔진은 영상 운영과 관련된 원격 컨트롤을 위해 상기 메인 영상을 일정 시간 지연시키기 위한 버퍼를 포함하는 것
을 특징으로 하는 방법.The method according to claim 1,
The encoding engine includes a buffer for delaying the main image for a predetermined time for remote control related to image operation
≪ / RTI > 제1항에 있어서,
상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는,
상기 영상 운영 툴을 이용한 원격 컨트롤을 위해 상기 인코딩 엔진에 일정 시간의 딜레이(delay)를 설정하는 단계
를 포함하는 방법.The method according to claim 1,
Wherein the controlling to maintain the delay of the predetermined time comprises:
Setting a delay of a predetermined time in the encoding engine for remote control using the video operation tool
≪ / RTI > 제1항에 있어서,
상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는,
상기 인코딩 엔진의 딜레이가 임계 레벨 미만으로 작아지면 상기 메인 영상 플레이어를 다시 시작하는 단계
를 포함하는 방법.The method according to claim 1,
Wherein the controlling to maintain the delay of the predetermined time comprises:
Restarting the main video player if the delay of the encoding engine is less than a threshold level
≪ / RTI > 제1항에 있어서,
상기 서브 영상 플레이어의 재생을 제어하는 단계는,
상기 인코딩 엔진과의 통신 시간에 기초하여 구간이동(seeking) 하여 상기 서브 영상을 재생하는 단계
를 포함하는 방법.The method according to claim 1,
Wherein the step of controlling the reproduction of the sub-
A step of seeking based on the communication time with the encoding engine to reproduce the sub video
≪ / RTI > 제1항에 있어서,
상기 서브 영상 플레이어의 재생을 제어하는 단계는,
상기 서브 영상의 삽입 요청 명령이 입력되는 시점부터 상기 인코딩 엔진으로부터 상기 삽입 요청 명령에 대한 성공 메시지가 수신되는 시점까지의 소요 시간을 측정하는 단계; 및
상기 성공 메시지가 수신되면 상기 서브 영상의 재생을 시작하되, 상기 소요 시간만큼 구간이동 한 위치에서 상기 서브 영상을 재생하는 단계
를 포함하는 방법.The method according to claim 1,
Wherein the step of controlling the reproduction of the sub-
Measuring a time required from a time point at which the sub-image insertion request command is input to a time point at which the encoding engine receives the success message for the insertion request command; And
When the success message is received, reproducing the sub-image at a position shifted by the required time
≪ / RTI > 제1항에 있어서,
상기 서브 영상 플레이어의 재생을 제어하는 단계는,
둘 이상의 서브 영상을 포함하는 재생 목록이 제공되는 경우 이전 서브 영상을 기준으로 다음 서브 영상의 재생을 위한 타이머를 설정하되, 이전 서브 영상의 듀레이션에서 상기 인코딩 엔진과의 통신 시간을 뺀 시간 값으로 상기 타이머를 설정하는 단계
를 포함하는 방법.The method according to claim 1,
Wherein the step of controlling the reproduction of the sub-
Wherein when a reproduction list including at least two sub-images is provided, a timer for reproducing the next sub-image is set based on the previous sub-image, and a time value obtained by subtracting the communication time from the encoding engine from the duration of the previous sub- Steps to set the timer
≪ / RTI > 제1항에 있어서,
상기 서브 영상 플레이어의 재생을 제어하는 단계는,
상기 메인 영상 플레이어의 버퍼링 시간을 상기 서브 영상 플레이어에 반영하는 단계
를 포함하는 방법.The method according to claim 1,
Wherein the step of controlling the reproduction of the sub-
Reflecting the buffering time of the main video player to the sub video player
≪ / RTI > 제1항에 있어서,
상기 서브 영상 플레이어의 재생을 제어하는 단계는,
둘 이상의 서브 영상을 포함하는 재생 목록이 제공되는 경우 이전 서브 영상의 재생이 종료되고 다음 서브 영상의 재생이 시작되기 전에 상기 메인 영상 플레이어에 버퍼링이 발생하면 상기 메인 영상 플레이어의 버퍼링 시간만큼 서브 영상의 재생을 대기하는 단계
를 포함하는 방법.The method according to claim 1,
Wherein the step of controlling the reproduction of the sub-
When a reproduction list including two or more sub images is provided and buffering occurs in the main video player before the reproduction of the previous sub video ends and the reproduction of the next sub video starts, Steps to wait for playback
≪ / RTI > 제1항에 있어서,
상기 서브 영상 플레이어의 재생을 제어하는 단계는,
상기 서브 영상의 삽입 종료에 대한 예약 명령이 입력되면 상기 예약 명령에 따른 예약 종료 요청과 함께 상기 서브 영상의 식별 정보를 상기 인코딩 엔진으로 전달하는 단계
를 포함하고,
상기 인코딩 엔진에서는 상기 식별 정보를 기준으로 현재 재생 중인 서브 영상을 식별하여 해당 서브 영상의 재생이 종료될 때까지 기다렸다가 자동으로 상기 메인 영상을 연결하는 것
을 특징으로 하는 방법.The method according to claim 1,
Wherein the step of controlling the reproduction of the sub-
If the reservation command for inserting the sub-image is input, transmitting a reservation termination request according to the reservation command and the identification information of the sub-image to the encoding engine
Lt; / RTI >
The encoding engine identifies the currently reproduced sub video based on the identification information, waits until the reproduction of the corresponding sub video ends, and automatically connects the main video
≪ / RTI > 영상 운영 제어 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서,
상기 영상 운영 제어 방법은,
네트워크를 통해 메인 영상과 서브 영상의 실시간 트랜스코딩을 위한 인코딩 엔진과 통신하여 원격에서 상기 메인 영상에 상기 서브 영상을 삽입하기 위한 영상 운영 툴로서 상기 메인 영상을 재생하기 위한 메인 영상 플레이어와 상기 메인 영상에 삽입되는 상기 서브 영상을 재생하기 위한 서브 영상 플레이어를 포함하는 툴을 제공하는 단계;
상기 인코딩 엔진과의 통신을 통해 상기 인코딩 엔진이 상기 메인 영상 플레이어에 비해 일정 시간의 딜레이(delay)를 유지하도록 제어하는 단계; 및
상기 서브 영상의 삽입 요청 명령이 입력되는 시점을 기준으로 상기 메인 영상 플레이어의 시간 흐름에 맞추어 상기 서브 영상 플레이어의 재생을 제어하는 단계
를 포함하고,
상기 일정 시간의 딜레이를 유지하도록 제어하는 단계는,
상기 인코딩 엔진의 딜레이에 따라 상기 메인 영상 플레이어의 버퍼링을 제거하는 것
을 특징으로 하는, 컴퓨터 프로그램.A computer program recorded on a computer-readable recording medium for executing a video operation control method,
The video operation control method includes:
A main image player for reproducing the main image as an image operating tool for inserting the sub image into the main image remotely by communicating with an encoding engine for real-time transcoding of the main image and the sub image through a network, A sub-image player for reproducing the sub-image inserted in the sub-image;
Controlling the encoding engine to maintain a delay of a predetermined time period in comparison with the main video player through communication with the encoding engine; And
Controlling playback of the sub video player in accordance with a time flow of the main video player based on a time point at which the insert request command of the sub video is input
Lt; / RTI >
Wherein the controlling to maintain the delay of the predetermined time comprises:
Removing the buffering of the main video player according to the delay of the encoding engine
And a computer program product. 컴퓨터로 구현되는 시스템에 있어서,
컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
네트워크를 통해 메인 영상과 서브 영상의 실시간 트랜스코딩을 위한 인코딩 엔진과 통신하여 원격에서 상기 메인 영상에 상기 서브 영상을 삽입하기 위한 영상 운영 툴로서 상기 메인 영상을 재생하기 위한 메인 영상 플레이어와 상기 메인 영상에 삽입되는 상기 서브 영상을 재생하기 위한 서브 영상 플레이어를 포함하는 툴을 제공하는 툴 제공부;
상기 인코딩 엔진과의 통신을 통해 상기 인코딩 엔진이 상기 메인 영상 플레이어에 비해 일정 시간의 딜레이(delay)를 유지하도록 제어하는 메인 영상 제어부; 및
상기 서브 영상의 삽입 요청 명령이 입력되는 시점을 기준으로 상기 메인 영상 플레이어의 시간 흐름에 맞추어 상기 서브 영상 플레이어의 재생을 제어하는 서브 영상 제어부
를 포함하고,
상기 메인 영상 제어부는,
상기 인코딩 엔진의 딜레이에 따라 상기 메인 영상 플레이어의 버퍼링을 제거하는 것
을 특징으로 하는 시스템.In a computer implemented system,
At least one processor configured to execute computer readable instructions,
Lt; / RTI >
Wherein the at least one processor comprises:
A main image player for reproducing the main image as an image operating tool for inserting the sub image into the main image remotely by communicating with an encoding engine for real-time transcoding of the main image and the sub image through a network, A sub-picture player for playing the sub-picture inserted in the sub-picture;
A main image controller for controlling the encoding engine to maintain a delay of a predetermined time period in comparison with the main video player through communication with the encoding engine; And
A sub video controller for controlling reproduction of the sub video player in accordance with a time flow of the main video player on the basis of a time point at which the insertion request command of the sub video is input,
Lt; / RTI >
The main image control unit,
Removing the buffering of the main video player according to the delay of the encoding engine
Lt; / RTI > 제12항에 있어서,
상기 인코딩 엔진은 영상 운영과 관련된 원격 컨트롤을 위해 상기 메인 영상을 일정 시간 지연시키기 위한 버퍼를 포함하고,
상기 메인 영상 제어부는,
상기 영상 운영 툴을 이용한 원격 컨트롤을 위해 상기 인코딩 엔진에 일정 시간의 딜레이(delay)를 설정하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
Wherein the encoding engine includes a buffer for delaying the main image for a predetermined time for remote control related to image operation,
The main image control unit,
Setting a delay of a predetermined time in the encoding engine for remote control using the video operation tool
Lt; / RTI > 제12항에 있어서,
상기 메인 영상 제어부는,
상기 인코딩 엔진의 딜레이가 임계 레벨 미만으로 작아지면 상기 메인 영상 플레이어를 다시 시작하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
The main image control unit,
Restarting the main video player if the delay of the encoding engine becomes less than the threshold level
Lt; / RTI > 제12항에 있어서,
상기 서브 영상 제어부는,
상기 인코딩 엔진과의 통신 시간에 기초하여 구간이동(seeking) 하여 상기 서브 영상을 재생하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
The sub-
And playing back the sub video by seeking based on the communication time with the encoding engine
Lt; / RTI > 제12항에 있어서,
상기 서브 영상 제어부는,
상기 서브 영상의 삽입 요청 명령이 입력되는 시점부터 상기 인코딩 엔진으로부터 상기 삽입 요청 명령에 대한 성공 메시지가 수신되는 시점까지의 소요 시간을 측정하고,
상기 성공 메시지가 수신되면 상기 서브 영상의 재생을 시작하되, 상기 소요 시간만큼 구간이동 한 위치에서 상기 서브 영상을 재생하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
The sub-
Measuring a time required from a time point at which the sub-image insertion request command is input to a time at which the encoding engine receives the success message for the insertion request command,
And when the success message is received, playing the sub video image at a position shifted by the required time
Lt; / RTI > 제12항에 있어서,
상기 서브 영상 제어부는,
둘 이상의 서브 영상을 포함하는 재생 목록이 제공되는 경우 이전 서브 영상을 기준으로 다음 서브 영상의 재생을 위한 타이머를 설정하되, 이전 서브 영상의 듀레이션에서 상기 인코딩 엔진과의 통신 시간을 뺀 시간 값으로 상기 타이머를 설정하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
The sub-
Wherein when a reproduction list including at least two sub-images is provided, a timer for reproducing the next sub-image is set based on the previous sub-image, and a time value obtained by subtracting the communication time from the encoding engine from the duration of the previous sub- Setting the timer
Lt; / RTI > 제12항에 있어서,
상기 서브 영상 제어부는,
상기 메인 영상 플레이어의 버퍼링 시간을 상기 서브 영상 플레이어에 반영하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
The sub-
And reflecting the buffering time of the main video player to the sub video player
Lt; / RTI > 제12항에 있어서,
상기 서브 영상 제어부는,
둘 이상의 서브 영상을 포함하는 재생 목록이 제공되는 경우 이전 서브 영상의 재생이 종료되고 다음 서브 영상의 재생이 시작되기 전에 상기 메인 영상 플레이어에 버퍼링이 발생하면 상기 메인 영상 플레이어의 버퍼링 시간만큼 서브 영상의 재생을 대기하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
The sub-
When a reproduction list including two or more sub images is provided and buffering occurs in the main video player before the reproduction of the previous sub video ends and the reproduction of the next sub video starts, Waiting for playback
Lt; / RTI > 제12항에 있어서,
상기 서브 영상 제어부는,
상기 서브 영상의 삽입 종료에 대한 예약 명령이 입력되면 상기 예약 명령에 따른 예약 종료 요청과 함께 상기 서브 영상의 식별 정보를 상기 인코딩 엔진으로 전달하고,
상기 인코딩 엔진에서는 상기 식별 정보를 기준으로 현재 재생 중인 서브 영상을 식별하여 해당 서브 영상의 재생이 종료될 때까지 기다렸다가 자동으로 상기 메인 영상을 연결하는 것
을 특징으로 하는 시스템.13. The method of claim 12,
The sub-
When a reservation command for ending the insertion of the sub-image is inputted, transmits a reservation termination request according to the reservation command and identification information of the sub-image to the encoding engine,
The encoding engine identifies the currently reproduced sub video based on the identification information, waits until the reproduction of the corresponding sub video ends, and automatically connects the main video
Lt; / RTI >
KR1020180039043A 2018-04-04 2018-04-04 Timing synchronization method and timing synchronization system for remote controlling of multimedia content KR101859560B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180039043A KR101859560B1 (en) 2018-04-04 2018-04-04 Timing synchronization method and timing synchronization system for remote controlling of multimedia content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180039043A KR101859560B1 (en) 2018-04-04 2018-04-04 Timing synchronization method and timing synchronization system for remote controlling of multimedia content

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170014990A Division KR101899576B1 (en) 2017-02-02 2017-02-02 Timing synchronization method and timing synchronization system for remote controlling of multimedia content

Publications (1)

Publication Number Publication Date
KR101859560B1 true KR101859560B1 (en) 2018-05-21

Family

ID=62453151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180039043A KR101859560B1 (en) 2018-04-04 2018-04-04 Timing synchronization method and timing synchronization system for remote controlling of multimedia content

Country Status (1)

Country Link
KR (1) KR101859560B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013176103A (en) * 2007-09-07 2013-09-05 Yahoo Inc Delayed advertisement insertion in videos

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013176103A (en) * 2007-09-07 2013-09-05 Yahoo Inc Delayed advertisement insertion in videos

Similar Documents

Publication Publication Date Title
KR101722673B1 (en) Method and system for providing time machine function in live broadcast
KR101899576B1 (en) Timing synchronization method and timing synchronization system for remote controlling of multimedia content
RU2530249C2 (en) System and method of coordinating simultaneous edits of shared digital data
TWI260166B (en) Fast channel change
KR102123593B1 (en) Method, system, and non-transitory computer readable record medium for synchronization of real-time live video and information data
KR20180018045A (en) Method and system for video recording
JP2008503926A (en) Method and system for interactive control of media over a network
CN110582012B (en) Video switching method, video processing device and storage medium
US20100166387A1 (en) Method and apparatus for playing video data of high bit rate format by a player capable of playing video data of low bit rate format
KR101833942B1 (en) Transcoder for real-time compositing
KR101949494B1 (en) Method and system for providing remote operation tool for multimedia content
CN114143562A (en) Delay minimizing method, server, and computer-readable recording medium
KR101998303B1 (en) Method and system for managing sliding window for time machine function
JP6869135B2 (en) Reproduction device, control method of reproduction device, and program
KR101950497B1 (en) Method for Realtime video Editing and system thereof
KR101859560B1 (en) Timing synchronization method and timing synchronization system for remote controlling of multimedia content
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
KR101865627B1 (en) Method and system for providing remote operation tool for multimedia content
CN107852523B (en) Method, terminal and equipment for synchronizing media rendering between terminals
KR101783723B1 (en) Method and system for providing time machine function in live broadcast
KR20200056859A (en) A method and system for generating and providing a preview video of a video content
JP2001285832A (en) Data receiver, data receiving method, data transmitting method and data storage medium
US11870830B1 (en) Embedded streaming content management
KR102427882B1 (en) System and method for real-time video sharing for online interactions
KR102201021B1 (en) A method and system for generating and providing a preview video of a video content

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant