KR101249279B1 - 동영상 생성 방법 및 장치 - Google Patents

동영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101249279B1
KR101249279B1 KR1020120072399A KR20120072399A KR101249279B1 KR 101249279 B1 KR101249279 B1 KR 101249279B1 KR 1020120072399 A KR1020120072399 A KR 1020120072399A KR 20120072399 A KR20120072399 A KR 20120072399A KR 101249279 B1 KR101249279 B1 KR 101249279B1
Authority
KR
South Korea
Prior art keywords
image
time point
video
audio
generating
Prior art date
Application number
KR1020120072399A
Other languages
English (en)
Inventor
서형수
곽준혁
Original Assignee
알서포트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알서포트 주식회사 filed Critical 알서포트 주식회사
Priority to KR1020120072399A priority Critical patent/KR101249279B1/ko
Application granted granted Critical
Publication of KR101249279B1 publication Critical patent/KR101249279B1/ko
Priority to JP2013140236A priority patent/JP5675902B2/ja
Priority to US13/935,377 priority patent/US8830401B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

동영상 생성 방법 및 장치가 개시된다. 본 발명의 일 실시예는, PIP 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 단계, 제1 이미지, 제2 이미지 및 오디오를 획득하기 위한 각각의 작업 시점을 결정하는 단계, 각각의 작업 시점에서 제1 이미지, 제2 이미지 및 오디오를 획득하는 단계 및 기준 시점과 각각의 작업 시점을 비교한 결과에 따라, 제1 이미지, 제2 이미지 및 오디오를 합성하여 PIP 동영상을 생성하는 단계를 포함한다. 따라서, PIP 동영상을 생성하는데 소비되는 시간과 비용을 현저히 줄일 수 있고, PIP 동영상을 신속하게 획득할 수 있다.

Description

동영상 생성 방법 및 장치{METHOD AND APPARATUS FOR PRODUCING VIDEO}
본 발명은 동영상 생성 기술에 관한 것으로, 더욱 상세하게는 PIP(Picture-In-Picture) 동영상을 생성하기 위한 동영상 생성 방법 및 장치에 관한 것이다.
PIP(Picture-In-Picture) 동영상은 주 동영상 내에 또 다른 동영상이 포함되어 있는 동영상을 말한다. PIP 동영상을 생성하기 위해, 두 개의 동영상을 하나의 PIP 동영상으로 생성하기 위한 별도의 동영상 편집 과정을 수행하여야 한다.
이러한 동영상 편집 과정은 두 개의 동영상을 각각 편집하여 하나의 PIP 동영상으로 생성하는 작업이기 때문에, 생성된 PIP 동영상의 동기가 맞지 않는 문제가 발생하며, 동기가 맞는 PIP 동영상을 생성하기 위해 상당한 시간을 투자해야 하는 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 동기가 일치된 PIP(Picture-In-Picture) 동영상을 용이하게 생성하기 위한 동영상 생성 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 동기가 일치된 PIP 동영상을 용이하게 생성하기 위한 동영상 생성 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예는, 동영상 생성 장치에서 실행되는 프로그램에 의해 생성된 제1 이미지, 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 단계, 상기 제1 이미지를 획득하는 시점인 제1 작업 시점, 상기 제2 이미지를 획득하는 시점인 제2 작업 시점 및 상기 오디오를 획득하는 시점인 제3 작업 시점을 결정하는 단계, 각각의 상기 작업 시점에서 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계 및 상기 기준 시점과 각각의 상기 작업 시점을 비교한 결과에 따라, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 PIP 동영상을 생성하는 단계를 포함한다.
여기서, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계는, 상기 프로그램 플랫폼의 버퍼에 위치하는 이미지를 갱신하는 갱신 함수의 시작 지점을 검출하는 단계, 상기 프로그램 플랫폼의 버퍼에 위치하는 이미지를 후킹하기 위한 후킹 코드를 갱신 함수의 시작 지점에 주입하는 단계 및 상기 후킹 코드에 의해 후킹된 이미지를 상기 제1 이미지로 획득하는 단계를 포함할 수 있다.
여기서, 상기 PIP 동영상을 생성하는 단계는, 상기 기준 시점과 각각의 상기 작업 시점 간의 차이를 산출하는 단계 및 산출한 차이가 상기 PIP 동영상을 구성할 프레임들 간의 간격 이하인 경우, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 상기 PIP 동영상을 구성하는 하나의 프레임을 생성하는 단계를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예는, 단말에서 실행되는 프로그램에 의해 생성된 제1 이미지, 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 단계, 상기 제1 이미지를 획득하는 시점인 제1 작업 시점, 상기 제2 이미지를 획득하는 시점인 제2 작업 시점 및 상기 오디오를 획득하는 시점인 제3 작업 시점을 결정하는 단계, 각각의 상기 작업 시점에서 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계 및 상기 기준 시점과 각각의 상기 작업 시점을 비교한 결과에 따라, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 PIP 동영상을 생성하는 단계를 포함하되, 상기 작업 시점에서 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계는, 상기 단말에 상기 제1 이미지의 전송을 요청하는 단계 및 전송 요청에 따라 상기 단말로부터 상기 제1 이미지를 획득하는 단계를 포함한다.
여기서, 상기 PIP 동영상을 생성하는 단계는, 상기 기준 시점과 각각의 상기 작업 시점 간의 차이를 산출하는 단계 및 산출한 차이가 상기 PIP 동영상을 구성할 프레임들 간의 간격 이하인 경우, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 상기 PIP 동영상을 구성하는 하나의 프레임을 생성하는 단계를 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예는, 동영상 생성 장치에서 실행되는 프로그램에 의해 생성된 제1 이미지, 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 결정부, 상기 제1 이미지를 획득하는 시점인 제1 작업 시점을 결정하고, 상기 제1 작업 시점에서 상기 제1 이미지를 획득하는 제1 획득부, 상기 제2 이미지를 획득하는 시점인 제2 작업 시점을 결정하고, 상기 제2 작업 시점에서 상기 제2 이미지를 획득하는 제2 획득부, 상기 오디오를 획득하는 시점인 제3 작업 시점을 결정하고, 상기 제3 작업 시점에서 상기 오디오를 획득하는 제3 획득부 및 상기 기준 시점과 각각의 상기 작업 시점을 비교한 결과에 따라, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 PIP 동영상을 생성하는 생성부를 포함한다.
여기서, 상기 제1 획득부는, 상기 프로그램 플랫폼의 버퍼에 위치하는 이미지를 갱신하는 갱신 함수의 시작 지점을 검출하고, 상기 프로그램 플랫폼의 버퍼에 위치하는 이미지를 후킹하기 위한 후킹 코드를 갱신 함수의 시작 지점에 주입하고, 후킹 코드에 의해 후킹된 이미지를 제1 이미지로 획득할 수 있다.
여기서, 상기 생성부는, 상기 기준 시점과 각각의 상기 작업 시점 간의 차이를 산출하고, 산출한 차이가 상기 PIP 동영상을 구성할 프레임들 간의 간격 이하인 경우, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 상기 PIP 동영상을 구성하는 하나의 프레임을 생성할 수 있다.
본 발명에 의하면, 동기를 맞추는 것과 같은 별도의 편집 과정 없이도, 한 번의 녹화 작업으로 단말에서 실행되는 프로그램(예를 들어, 게임 프로그램)에 의해 생성된 이미지, 카메라에 의해 생성된 이미지 및 오디오를 합성하여 PIP(Picture-In-Picture) 동영상을 생성할 수 있으므로, 이미지들과 오디오 간의 동기가 일치된 PIP 동영상을 생성하는데 소비되는 시간과 비용을 현저히 줄일 수 있다.
또한, 이미지를 획득하는 과정에서, 단말의 화면에 디스플레이되는 이미지를 획득하는 것이 아니라 그래픽 버퍼에 위치하는 이미지를 획득하므로, 이미지를 신속하게 획득할 수 있으며, 그 결과 PIP 동영상을 신속하게 획득할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 생성 방법을 도시한 흐름도이다.
도 2는 도 1의 데이터 획득 단계를 도시한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 동영상 생성 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 동영상 생성 장치를 도시한 블록도이다.
도 5는 이미지를 후킹하는 방법을 도시한 개념도이다.
도 6은 본 발명의 일 실시예에 따라 생성된 PIP 동영상의 예를 도시한 개념도이다.
도 7은 본 발명의 일 실시예에 따라 생성된 PIP 동영상의 다른 예를 도시한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 동영상 생성 방법을 도시한 흐름도이다.
도 1을 참조하면, 동영상 생성 장치는, 상기 동영상 생성 장치에서 실행되는 프로그램에 의해 생성된 제1 이미지(image), 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP(Picture-In-Picture) 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정할 수 있고(S100), 결정한 기준 시점을 동영상 생성 장치에 구비된 데이터베이스에 저장할 수 있다.
여기서, 동영상 생성 장치는 데스크탑 컴퓨터(Desktop Computer), 랩탑 컴퓨터(Laptop Computer), 태블릿(Tablet) PC, 무선전화기(Wireless Phone), 모바일폰(Mobile Phone), 스마트폰(Smart Phone), e-book 리더기 등일 수 있다.
또한, 동영상 생성 장치에서 실행되는 프로그램은 게임, 웹브라우저(web browser) 및 각종 어플리케이션(application) 등을 포함하며, 동영상 생성 장치에서 실행되는 프로그램에 의해 생성된 제1 이미지는 게임의 실행에 따라 디스플레이되는 이미지, 웹브라우저의 실행에 따라 디스플레이되는 이미지 및 각종 어플리케이션의 실행에 따라 디스플레이되는 이미지를 의미할 수 있다.
여기서, 카메라는 동영상 생성 장치와 일체로 구성될 수 있으며, 동영상 생성 장치로 컴퓨터를 사용하는 경우에 카메라는 컴퓨터에 구비된 화상카메라를 의미할 수 있고, 동영상 생성 장치로 모바일 단말을 사용하는 경우에 카메라는 모바일 단말에 구비된 카메라를 의미할 수 있다. 한편, 카메라는 동영상 생성 장치와 별도의 구성으로 존재할 수 있으며, 이 경우에 카메라는 데이터를 전송할 수 있도록 동영상 생성 장치와 유선 또는 무선을 통해 연결될 수 있다. 카메라에 의해 생성된 제2 이미지는 카메라에 의해 촬영된 이미지를 의미할 수 있다.
여기서, 오디오는 제1 이미지를 생성하는 동영상 생성 장치에 의해 발생하는 오디오를 의미할 수 있고, 동영상 생성 장치에 구비된 마이크 또는 카메라에 구비된 마이크를 통해 입력된 오디오를 의미할 수 있다.
여기서, PIP 동영상을 생성하기 위한 기준이 되는 기준 시점은, 개별적으로 획득한 제1 이미지, 제2 이미지 및 오디오 간의 동기를 맞추기 위해 기준이 되는 시점을 의미할 수 있다.
PIP 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정한 후, 동영상 생성 장치는, 제1 이미지를 획득하는 시점인 제1 작업 시점, 제2 이미지를 획득하는 시점인 제2 작업 시점 및 오디오를 획득하는 시점인 제3 작업 시점을 결정할 수 있고(200), 결정한 제1 작업 시점, 제2 작업 시점 및 제3 작업 시점을 동영상 생성 장치에 구비된 데이터베이스에 저장할 수 있다.
본 발명의 일 실시예에 따른 동영상 생성 방법에서, 제1 이미지를 획득하기 위한 작업, 제2 이미지를 획득하기 위한 작업 및 오디오를 획득하기 위한 작업은 개별적으로 수행되므로, 개별적으로 획득한 제1 이미지, 제2 이미지 및 오디오 간의 동기를 맞추기 위해 각각의 작업마다 기준이 되는 시점을 정의할 필요가 있다.
이에 따라, 동영상 생성 장치는, 제1 이미지를 획득하는 작업의 기준이 되는 시점을 제1 작업 시점으로 결정할 수 있고, 제2 이미지를 획득하는 작업의 기준이 되는 시점을 제2 작업 시점으로 결정할 수 있고, 오디오를 획득하는 작업의 기준이 되는 시점을 제3 작업 시점으로 결정할 수 있다.
이때, 동영상 생성 장치는 제1 작업 시점, 제2 작업 시점 및 제3 작업 시점을 작업의 특성에 따라 서로 다르게 결정할 수 있다. 예를 들어, 제1 이미지와 제2 이미지가 생성되는 시점이 다른 경우, 동영상 생성 장치는 제1 이미지를 획득하는 작업의 기준이 되는 제1 작업 시점과 제2 이미지를 획득하는 작업의 기준이 되는 제2 작업 시점을 서로 다르게 결정할 수 있다.
제1 작업 시점, 제2 작업 시점 및 제3 작업 시점을 결정한 후, 동영상 생성 장치는, 제1 작업 시점에서 제1 이미지를 획득할 수 있고, 제2 작업 시점에서 제2 이미지를 획득할 수 있고, 제3 작업 시점에서 오디오를 획득할 수 있고(S300), 획득한 제1 이미지, 제2 이미지 및 오디오를 동영상 생성 장치에 구비된 데이터베이스에 저장할 수 있다. 이때, 동영상 생성 장치는 제1 이미지를 획득하기 위한 작업, 제2 이미지를 획득하기 위한 작업 및 오디오를 획득하기 위한 작업을 병렬적으로 수행할 수 있다.
단계 S300은 단계 S310, 단계 S311, 단계 S312 및 단계 S313을 포함할 수 있고, 단계 S311, 단계 S312 및 단계 S313만을 포함할 수도 있다. 단계 S300에 대해 도 2를 참조하여 상세하게 설명한다.
도 2는 도 1의 데이터 획득 단계를 도시한 흐름도이다.
도 2를 참조하면, 동영상 생성 장치는, 제1 이미지를 획득하기 위한 대상인 프로그램(예를 들어, 게임 프로그램 등)이 동영상 생성 장치에서 실행되는지 감시할 수 있다(S310). 동영상 생성 장치는 미리 설치된 후킹(hooking) 모듈을 사용하여 프로그램이 동영상 생성 장치에서 실행되는지 감시할 수 있다.
예를 들어, 제1 이미지를 획득하기 위한 대상인 프로그램이 게임 프로그램인 경우, 동영상 생성 장치는 현재 실행되고 있는 프로그램이 게임 라이브러리(library)를 사용하고 있는지 판단할 수 있다. 이때, 동영상 생성 장치는, 현재 실행되고 있는 프로그램이 게임 라이브러리를 사용하고 있는 경우에 해당 프로그램을 게임 프로그램으로 판단할 수 있고, 현재 실행되고 있는 프로그램이 게임 라이브러리를 사용하지 않는 경우에 해당 프로그램을 게임 프로그램이 아닌 일반 프로그램으로 판단할 수 있다.
본 발명의 일 실시예에서 상술한 단계 S310은 생략될 수 있다.
동영상 생성 장치는, 프로그램 플랫폼(platform)의 버퍼(buffer)에 위치하는 이미지를 갱신하는 갱신 함수의 시작 지점을 검출할 수 있다(S311).
여기서, 갱신 함수란 프로그램 플랫폼의 버퍼에 위치하는 이미지를 새로운 이미지로 갱신하는 역할을 수행하는 함수로, 갱신 함수를 후킹하는 경우에 프로그램 플랫폼의 버퍼에 위치하는 이미지를 획득할 수 있다.
따라서, 프로그램 플랫폼의 버퍼에 위치하는 이미지를 획득하기 위해, 먼저 동영상 생성 장치는 이미지를 갱신하는 갱신 함수의 시작 지점을 검출할 수 있고, 검출한 갱신 함수의 시작 지점을 동영상 생성 장치에 구비된 데이터베이스에 저장할 수 있다.
갱신 함수의 시작 시점을 검출한 경우, 동영상 생성 장치는 프로그램 플랫폼의 버퍼에 위치하는 이미지를 후킹하기 위한 후킹 코드를 갱신 함수의 시작 지점에 주입할 수 있고(S312), 후킹 코드에 의해 후킹된 이미지(즉, 제1 이미지)를 획득할 수 있다(S313).
이하 단계 S312, 단계 S313에 대해 도 5를 참조하여 상세하게 설명한다.
도 5는 이미지를 후킹하는 방법을 도시한 개념도이다.
도 5를 참조하면, 일반적으로 갱신 함수는 프로그램 플랫폼 버퍼(20)에 위치하는 이미지를 새로운 이미지를 갱신하고, 갱신한 이미지를 디스플레이 플랫폼 버퍼(30)에 제공한다. 본 발명의 일 실시예에 따라 후킹 코드를 갱신 함수의 시작 지점에 주입한 경우, 후킹 코드가 주입된 갱신 함수는 갱신한 이미지를 디스플레이 플랫폼 버퍼(30)에 제공하는 것이 아니라 동영상 생성 장치(10)에 먼저 제공할 수 있으며, 동영상 생성 장치(10)는 상술한 후킹 코드가 주입된 갱신 함수의 동작에 의해 프로그램 플랫폼 버퍼(20)에 위치한 이미지를 획득할 수 있다.
예를 들어, 프로그램 플랫폼 버퍼(20)가 게임 프로그램 플랫폼 버퍼인 경우, 윈도우 운영체제에서 DirectX/OpenGL 등의 게임 프로그램 플랫폼을 제공하므로, 동영상 생성 장치는 후킹을 통해 게임 프로그램 플랫폼 버퍼에 위치한 이미지를 획득할 수 있다.
프로그램 플랫폼 버퍼(20)에 위치한 이미지를 획득한 후, 동영상 생성 장치(10)는 후킹 코드가 주입된 갱신 함수의 시작 지점을 복원할 수 있다. 즉, 동영상 생성 장치(10)는 주입된 후킹 코드를 제거하여 후킹 코드가 주입된 갱신 함수의 시작 지점을 복원할 수 있으며, 시작 지점이 복원된 갱신 함수는 프로그램 플랫폼 버퍼(20)에 위치한 이미지를 디스플레이 플랫폼 버퍼(30)에 제공할 수 있다.
복원된 갱신 함수에 의해 프로그램 플랫폼 버퍼(20)에 위치한 이미지가 디스플레이 플랫폼 버퍼(30)에 제공된 후, 동영상 생성 장치는 추가적으로 획득할 이미지가 존재하는지 판단할 수 있고, 추가적으로 획득할 이미지가 존재하는 경우에 상술한 단계 S311, 단계 S312 및 단계 S313을 다시 수행할 수 있고, 추가적으로 획득할 이미지가 존재하지 않는 경우에 단계 S300을 종료할 수 있다.
상술한 바와 같이, 동영상 생성 장치는 디스플레이 플랫폼 버퍼(30)에 위치하는 이미지(즉, 화면상에 디스플레이된 이미지)를 획득하는 것이 아니라, 프로그램 플랫폼 버퍼(20)에 위치하는 이미지를 획득할 수 있으므로, 이미지를 신속하게 획득할 수 있으며, 그 결과 PIP 동영상을 신속하게 생성할 수 있다.
카메라에 의해 생성된 제2 이미지를 획득하기 위해, 동영상 생성 장치는 운영체제에서 제공하는 카메라 관련 API(Application Program Interface)를 사용하여 제2 이미지를 획득할 수 있다(S300). 예를 들어, 운영체제로 윈도우를 사용하는 경우, 동영상 생성 장치는 'DirectShow', 'Video For Windows' 등을 사용하여 카메라에 의해 생성된 제2 이미지를 획득할 수 있다.
상술한 방법을 통해 제1 이미지 및 제2 이미지를 획득한 후, 동영상 생성 장치는 획득한 제1 이미지 및 제2 이미지에 대해 정규화(normalization), 스레시홀드(threshold) 등과 같은 이미지 처리를 수행할 수 있다.
오디오를 획득하기 위해, 동영상 생성 장치는 운영체제에서 제공하는 오디오 녹음 관련 API를 사용하여 오디오를 획득할 수 있다(S300). 예를 들어, 운영체제로 윈도우를 사용하는 경우, 'MCI(Media Control Interface)', 'DirectShow', 'WASAPI(Window Audio Session API)' 등을 사용하여 오디오를 획득할 수 있다.
제1 이미지, 제2 이미지 및 오디오를 획득한 후, 동영상 생성 장치는, 기준 시점과 제1 작업 시점을 비교한 결과, 기준 시점과 제2 작업 시점을 비교한 결과 및 기준 시점과 제3 작업 시점을 비교한 결과에 따라, 제1 이미지, 제2 이미지 및 오디오를 합성하여 PIP 동영상을 생성할 수 있다(S400).
먼저, 동영상 생성 장치는, 제1 작업 시점과 기준 시점의 차이, 제2 작업 시점과 기준 시점의 차이 및 제3 작업 시점과 기준 시점의 차이를 산출할 수 있다(S410).
각각의 작업 시점과 기준 시점 간의 차이를 산출한 후, 동영상 생성 장치는 각각의 작업 시점과 기준 시점 간의 차이와 PIP 동영상을 구성할 프레임들 간의 간격을 비교할 수 있다. 여기서, 프레임들 간의 간격은 하나의 프레임이 차지하는 시간을 의미하며, 예를 들어, 10 FPS(Frame Per Second) PIP 동영상의 경우에 하나의 프레임이 차지하는 시간은 100ms이다.
각각의 작업 시점과 기준 시점 간의 차이와 PIP 동영상을 구성할 프레임들 간의 간격을 비교한 결과, 각각의 작업 시점과 기준 시점 간의 차이가 PIP 동영상을 구성할 프레임들 간의 간격 이하인 경우, 동영상 생성 장치는, 제1 이미지, 제2 이미지 및 오디오를 합성하여 PIP 동영상을 구성하는 하나의 프레임을 생성할 수 있다(S420).
만일, 각각의 작업 시점과 기준 시점의 차이가 IP 동영상을 구성할 프레임들 간의 간격보다 큰 경우, 동영상 생성 장치는 해당 데이터(제1 이미지, 제2 이미지, 오디오)를 다음 프레임을 생성하기 위해 사용할 수 있다. 예를 들어, '제1 작업 시점과 기준 시점의 차이 ≤ PIP 동영상을 구성할 프레임들 간의 간격', '제2 작업 시점과 기준 시점의 차이 > PIP 동영상을 구성할 프레임들 간의 간격', '제3 작업 시점과 기준 시점의 차이 ≤ PIP 동영상을 구성할 프레임들 간의 간격' 인 경우, 동영상 생성 장치는 제1 이미지와 오디오를 합성하여 현재 프레임을 생성할 수 있고, 제2 이미지는 다음 프레임을 생성하기 위해 사용할 수 있다. 또한, 상기와 같은 경우에 동영상 생성 장치는 제1 이미지, 오디오 및 이전 프레임을 생성하는데 사용한 제2 이미지를 합성하여 현재 프레임을 생성할 수 있다.
제1 이미지, 제2 이미지 및 오디오를 합성하여 PIP 동영상을 구성하는 프레임을 생성하는 경우, 동영상 생성 장치는 제1 이미지와 제2 이미지를 먼저 합성하고, 제1 이미지와 제2 이미지가 합성된 이미지에 오디오를 합성할 수 있다.
제1 이미지와 제2 이미지를 합성하는 경우, 동영상 생성 장치는 제1 이미지와 제2 이미지의 해상도를 변경할 수 있고, 제1 이미지 상에 위치하는 제2 이미지의 위치를 변경할 수 있고, 제2 이미지 상에 위치하는 제1 이미지의 위치를 변경할 수 있고, 제1 이미지와 제2 이미지의 투명도를 조절할 수 있다.
또한, 동영상 생성 장치는 하나의 제1 이미지와 복수의 제2 이미지를 합성할 수 있다. 즉, 하나의 단말에 의해 생성된 하나의 제1 이미지와 복수의 카메라에 의해 생성된 복수의 제2 이미지를 합성하여, PIP 동영상을 구성하는 하나의 프레임을 생성할 수 있다.
상술한 방법을 통해 PIP 동영상을 생성할 수 있으며, 생성된 PIP 동영상은 디스플레이 장치(예를 들어, LCD(Liquid Crystal Display), LED(Light Emitting Diode) 등)에 표시될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 동영상 생성 방법을 도시한 흐름도이다.
도 3을 참조하면, 동영상 생성 장치에서 수행되는 동영상 생성 방법은, 단말에서 실행되는 프로그램에 의해 생성된 제1 이미지, 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 단계(S100), 제1 이미지를 획득하는 시점인 제1 작업 시점, 제2 이미지를 획득하는 시점인 제2 작업 시점 및 오디오를 획득하는 시점인 제3 작업 시점을 결정하는 단계(S200), 각각의 작업 시점에서 제1 이미지, 제2 이미지 및 오디오를 획득하는 단계(S300) 및 기준 시점과 각각의 작업 시점을 비교한 결과에 따라, 제1 이미지, 제2 이미지 및 오디오를 합성하여 PIP 동영상을 생성하는 단계(S400)를 포함할 수 있다.
여기서, 동영상 생성 장치와 단말은 서로 다른 구성이며, 단말은 태블릿 PC, 스마트폰과 같은 모바일 단말일 수 있다.
이와 같이, 동영상 생성 장치와 단말이 별도의 구성으로 존재하는 경우, 동영상 생성 장치와 단말은 유선 또는 무선을 통해 네트워크를 형성할 수 있고, 무선을 통해 네트워크를 형성하는 경우에 2G 이동통신망(GSM(Global System for Mobile communication), CDMA(Code Division Multiple Access) 등), 3G 이동통신망(WCDMA(Wideband Code Division Multiple Access), CDMA2000 등), 4G 이동통신망(LTE(Long Term Evolution)-advanced 등), WiFi 등을 사용하여 네트워크를 형성할 수 있다.
여기서, 단계 S100, 단계 S200 및 단계 S400에서 수행되는 방법은, 도 1을 참조하여 설명한 단계 S100, 단계 S200 및 단계 S400에서 수행되는 방법과 동일하다.
각각의 작업 시점에서 제1 이미지, 제2 이미지 및 오디오를 획득하는 경우, 동영상 생성 장치는 단말에 제1 이미지의 전송을 요청할 수 있고(S320), 제1 이미지의 전송 요청을 받은 단말은 화면에 디스플레이되는 이미지를 캡쳐(capture)할 수 있다. 이때, 단말은 일반적인 캡쳐 함수를 사용하여 화면에 디스플레이되는 이미지를 캡쳐할 수 있다.
화면에 디스플레이되는 이미지를 캡쳐한 후, 단말은 캡쳐된 이미지를 단말에 구비된 버퍼에 저장할 수 있고, 버퍼에 저장된 이미지를 동영상 생성 장치에 제공할 수 있다. 이때, 단말은 화면에 디스플레이되는 이미지만을 동영상 생성 장치에 제공할 수 있고, 화면에 디스플레이되는 이미지와 함께 단말의 베젤(bezel)을 동영상 생성 장치에 제공(도 7(c) 참조)할 수 있다.
동영상 생성 장치는 이미지 전송 요청에 따라 단말이 제공하는 제1 이미지를 획득할 수 있다(S321). 제1 이미지를 획득한 후, 동영상 생성 장치는 추가적으로 획득할 제1 이미지가 존재하는지 판단할 수 있고, 추가적으로 획득할 제1 이미지가 존재하는 경우에 상술한 단계 S320 및 단계 S321을 다시 수행할 수 있고, 추가적으로 획득할 이미지가 존재하지 않는 경우에 단계 S300을 종료할 수 있다.
도 4는 본 발명의 일 실시예에 따른 동영상 생성 장치를 도시한 블록도이다.
도 4를 참조하면, 동영상 생성 장치(10)는 결정부(11), 제1 획득부(12), 제2 획득부(13), 제3 획득부(14) 및 생성부(15)를 포함할 수 있다.
결정부(11)는, 동영상 생성 장치에서 실행되는 프로그램에 의해 생성된 제1 이미지, 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정할 수 있다. 여기서, 결정부(11)가 수행하는 기능은 단계 S100에서 설명한 내용과 동일하다.
제1 획득부(12)는, 제1 이미지를 획득하는 시점인 제1 작업 시점을 결정할 수 있고, 제1 작업 시점에서 제1 이미지를 획득할 수 있다.
구체적으로, 제1 획득부(12)는, 프로그램이 동영상 생성 장치에서 실행되는지 감시하고, 프로그램이 실행되는 경우에 프로그램 플랫폼의 버퍼에 위치하는 이미지를 갱신하는 갱신 함수의 시작 지점을 검출하고, 프로그램 플랫폼의 버퍼에 위치하는 이미지를 후킹하기 위한 후킹 코드를 갱신 함수의 시작 지점에 주입하고, 후킹 코드에 의해 후킹된 이미지(즉, 제1 이미지)를 획득할 수 있다. 여기서, 제1 획득부(12)가 수행하는 기능은 도 1, 2에 도시된 단계 S200, 단계 S300에서 설명한 내용과 동일하다.
제2 획득부(13)는, 제2 이미지를 획득하는 시점인 제2 작업 시점을 결정할 수 있고, 제2 작업 시점에서 상기 제2 이미지를 획득할 수 있다. 여기서, 제2 획득부(13)가 수행하는 기능은 도 1에 도시된 단계 S200, 단계 S300에서 설명한 내용과 동일하다.
제3 획득부(14)는, 오디오를 획득하는 시점인 제3 작업 시점을 결정할 수 있고, 제3 작업 시점에서 오디오를 획득할 수 있다. 여기서, 제3 획득부(14)가 수행하는 기능은 도 1에 도시된 단계 S200, 단계 S300에서 설명한 내용과 동일하다.
생성부(15)는, 기준 시점과 각각의 작업 시점을 비교한 결과에 따라, 제1 이미지, 제2 이미지 및 오디오를 합성하여 PIP 동영상을 생성할 수 있다.
구체적으로, 생성부(15)는, 각각의 작업 시점과 기준 시점 간의 차이를 산출하고, 산출한 차이가 상기 PIP 동영상을 구성할 프레임들 간의 간격보다 작거나 같은 경우, 제1 이미지, 제2 이미지 및 오디오를 합성하여 PIP 동영상을 구성하는 하나의 프레임을 생성할 수 있다. 여기서, 생성부(15)가 수행하는 기능은 도 1에 도시된 단계 S400에서 설명한 내용과 동일하다.
결정부(11), 제1 획득부(12), 제2 획득부(13), 제3 획득부(14) 및 생성부(15)가 수행하는 기능은 실질적으로 프로세서(예를 들어, CPU(Central Processing Unit) 및/또는 GPU(Graphics Processing Unit) 등)에서 수행될 수 있으며, 도 1, 2, 3에 도시된 각 단계는 상기 프로세서에서 수행될 수 있다.
또한, 결정부(11), 제1 획득부(12), 제2 획득부(13), 제3 획득부(14) 및 생성부(15)는 하나의 단일한 형태, 하나의 물리적인 장치 또는 하나의 모듈로 구현될 수 있다. 이뿐만 아니라, 결정부(11), 제1 획득부(12), 제2 획득부(13), 제3 획득부(14) 및 생성부(15)는 각각 하나의 물리적인 장치 또는 집단이 아닌 복수의 물리적 장치 또는 집단으로 구현될 수 있다.
또한, 동영상 생성 장치(10)는 이미지가 저장되는 버퍼를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따라 생성된 PIP 동영상의 예를 도시한 개념도이다.
도 6을 참조하면, 도 6(a)는 게임 프로그램에 의해 생성된 제1 이미지(51)와 카메라에 의해 생성된 제2 이미지(52)를 기반으로 생성한 PIP 동영상(50)을 도시한 것으로, 제1 이미지(51) 내에 하나의 제2 이미지(52)가 포함되어 있다.
도 6(b)는 게임 프로그램에 의해 생성된 제1 이미지(51)와 두 개의 카메라에 의해 각각 생성된 두 개의 제2 이미지(52)를 기반으로 생성한 PIP 동영상(50)을 도시한 것으로, 제1 이미지(51) 내에 두 개의 제2 이미지(52)가 포함되어 있다.
도 7은 본 발명의 일 실시예에 따라 생성된 PIP 동영상의 다른 예를 도시한 개념도이다.
도 7을 참조하면, 도 7(a)는 모바일 단말에 의해 생성된 제1 이미지(51)와 카메라에 의해 생성된 제2 이미지(52)를 기반으로 생성한 PIP 동영상(50)을 도시한 것으로, 제1 이미지(51) 내에 하나의 제2 이미지(52)가 포함되어 있다.
도 7(b)는 모바일 단말에 의해 생성된 제1 이미지(51)와 두 개의 카메라에 의해 각각 생성된 두 개의 제2 이미지(52)를 기반으로 생성한 PIP 동영상(50)을 도시한 것으로, 제1 이미지(51)의 외부에 두 개의 제2 이미지(52)가 위치하고 있다.
도 7(c)는 모바일 단말에 의해 생성된 제1 이미지(51)와 두 개의 카메라에 의해 각각 생성된 두 개의 제2 이미지(52)를 기반으로 생성한 PIP 동영상(50)을 도시한 것으로, 제1 이미지(51)의 외부에 두 개의 제2 이미지(52)가 위치하고 있으며, 제1 이미지(51)는 모바일 단말의 화면에 디스플레이되는 이미지뿐만 아니라 모바일 단말의 베젤도 포함하고 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 동영상 생성 장치
11: 결정부
12: 제1 획득부
13: 제2 획득부
14: 제3 획득부
15: 생성부

Claims (8)

  1. 동영상 생성 장치에서 수행되는 동영상 생성 방법에 있어서,
    상기 장치에서 실행되는 프로그램에 의해 생성된 제1 이미지(image), 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP(Picture-In-Picture) 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 단계;
    상기 제1 이미지를 획득하는 시점인 제1 작업 시점, 상기 제2 이미지를 획득하는 시점인 제2 작업 시점 및 상기 오디오를 획득하는 시점인 제3 작업 시점을 결정하는 단계;
    각각의 상기 작업 시점에서 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계; 및
    상기 기준 시점과 각각의 상기 작업 시점을 비교한 결과에 따라, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 PIP 동영상을 생성하는 단계를 포함하되,
    상기 PIP 동영상을 생성하는 단계는,
    상기 기준 시점과 각각의 상기 작업 시점 간의 차이를 산출하는 단계; 및
    산출한 차이가 상기 PIP 동영상을 구성할 프레임들 간의 간격 이하인 경우, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 상기 PIP 동영상을 구성하는 하나의 프레임을 생성하는 단계를 포함하는 동영상 생성 방법.
  2. 청구항 1에 있어서, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계는,
    상기 프로그램 플랫폼(platform)의 버퍼(buffer)에 위치하는 이미지를 갱신하는 갱신 함수의 시작 지점을 검출하는 단계;
    상기 프로그램 플랫폼의 버퍼에 위치하는 이미지를 후킹(hooking)하기 위한 후킹 코드를 갱신 함수의 시작 지점에 주입하는 단계; 및
    상기 후킹 코드에 의해 후킹된 이미지를 상기 제1 이미지로 획득하는 단계를 포함하는 동영상 생성 방법.
  3. 삭제
  4. 동영상 생성 장치에서 수행되는 동영상 생성 방법에 있어서,
    단말에서 실행되는 프로그램에 의해 생성된 제1 이미지(image), 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP(Picture-In-Picture) 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 단계;
    상기 제1 이미지를 획득하는 시점인 제1 작업 시점, 상기 제2 이미지를 획득하는 시점인 제2 작업 시점 및 상기 오디오를 획득하는 시점인 제3 작업 시점을 결정하는 단계;
    각각의 상기 작업 시점에서 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계; 및
    상기 기준 시점과 각각의 상기 작업 시점을 비교한 결과에 따라, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 PIP 동영상을 생성하는 단계를 포함하되,
    상기 작업 시점에서 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 획득하는 단계는,
    상기 단말에 상기 제1 이미지의 전송을 요청하는 단계; 및
    전송 요청에 따라 상기 단말로부터 상기 제1 이미지를 획득하는 단계를 포함하고,
    상기 PIP 동영상을 생성하는 단계는,
    상기 기준 시점과 각각의 상기 작업 시점 간의 차이를 산출하는 단계; 및
    산출한 차이가 상기 PIP 동영상을 구성할 프레임들 간의 간격 이하인 경우, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 상기 PIP 동영상을 구성하는 하나의 프레임을 생성하는 단계를 포함하는 동영상 생성 방법.
  5. 삭제
  6. 동영상 생성 장치에서 실행되는 프로그램에 의해 생성된 제1 이미지(image), 카메라에 의해 생성된 제2 이미지 및 오디오를 기초로 하는 PIP(Picture-In-Picture) 동영상을 생성하기 위한 기준이 되는 기준 시점을 결정하는 결정부;
    상기 제1 이미지를 획득하는 시점인 제1 작업 시점을 결정하고, 상기 제1 작업 시점에서 상기 제1 이미지를 획득하는 제1 획득부;
    상기 제2 이미지를 획득하는 시점인 제2 작업 시점을 결정하고, 상기 제2 작업 시점에서 상기 제2 이미지를 획득하는 제2 획득부;
    상기 오디오를 획득하는 시점인 제3 작업 시점을 결정하고, 상기 제3 작업 시점에서 상기 오디오를 획득하는 제3 획득부; 및
    상기 기준 시점과 각각의 상기 작업 시점을 비교한 결과에 따라, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 PIP 동영상을 생성하는 생성부를 포함하되,
    상기 생성부는,
    상기 기준 시점과 각각의 상기 작업 시점 간의 차이를 산출하고, 산출한 차이가 상기 PIP 동영상을 구성할 프레임들 간의 간격 이하인 경우, 상기 제1 이미지, 상기 제2 이미지 및 상기 오디오를 합성하여 상기 PIP 동영상을 구성하는 하나의 프레임을 생성하는 동영상 생성 장치.
  7. 청구항 6에 있어서, 상기 제1 획득부는,
    상기 프로그램 플랫폼(platform)의 버퍼(buffer)에 위치하는 이미지를 갱신하는 갱신 함수의 시작 지점을 검출하고, 상기 프로그램 플랫폼의 버퍼에 위치하는 이미지를 후킹(hooking)하기 위한 후킹 코드를 갱신 함수의 시작 지점에 주입하고, 후킹 코드에 의해 후킹된 이미지를 제1 이미지로 획득하는 동영상 생성 장치.
  8. 삭제
KR1020120072399A 2012-07-03 2012-07-03 동영상 생성 방법 및 장치 KR101249279B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120072399A KR101249279B1 (ko) 2012-07-03 2012-07-03 동영상 생성 방법 및 장치
JP2013140236A JP5675902B2 (ja) 2012-07-03 2013-07-03 動画生成方法及び装置
US13/935,377 US8830401B2 (en) 2012-07-03 2013-07-03 Method and apparatus for producing video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120072399A KR101249279B1 (ko) 2012-07-03 2012-07-03 동영상 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101249279B1 true KR101249279B1 (ko) 2013-04-02

Family

ID=48442072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120072399A KR101249279B1 (ko) 2012-07-03 2012-07-03 동영상 생성 방법 및 장치

Country Status (3)

Country Link
US (1) US8830401B2 (ko)
JP (1) JP5675902B2 (ko)
KR (1) KR101249279B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3005719A4 (en) * 2013-06-05 2017-05-10 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
CN111221657A (zh) * 2020-01-14 2020-06-02 新华智云科技有限公司 一种高效视频分布式调度合成方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
CN107943839A (zh) * 2017-10-30 2018-04-20 百度在线网络技术（北京）有限公司 基于图片和文字生成视频的方法、装置、设备及存储介质
US11016788B2 (en) * 2018-11-28 2021-05-25 Hisense Visual Technology Co., Ltd. Application launching method and display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020011728A (ko) * 2000-08-04 2002-02-09 이성한 동영상 생성 시스템 및 그 방법
KR20070019511A (ko) * 2005-08-11 2007-02-15 주식회사 오아시스미디어 실시간 다층 동영상 합성보드
KR20100089287A (ko) * 2009-02-03 2010-08-12 삼성전자주식회사 텔레비전 시스템 및 그 제어방법
KR20120007763A (ko) * 2010-07-15 2012-01-25 에스케이플래닛 주식회사 운동 경기의 중계 방송 제공 방법 및 시스템

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5251015A (en) * 1991-05-06 1993-10-05 Thomson Consumer Electronics, Inc. Apparatus for positioning a timing signal relative to a synchronization signal derived in the deflection section of a television system
TW335241U (en) * 1992-11-30 1998-06-21 Thomson Consumer Electronics A video display system
US5675511A (en) * 1995-12-21 1997-10-07 Intel Corporation Apparatus and method for event tagging for multiple audio, video, and data streams
US6307597B1 (en) * 1996-03-07 2001-10-23 Thomson Licensing S.A. Apparatus for sampling and displaying an auxiliary image with a main image
US6154600A (en) * 1996-08-06 2000-11-28 Applied Magic, Inc. Media editor for non-linear editing system
US5914757A (en) * 1997-04-21 1999-06-22 Philips Electronics North America Corporation Synchronization of multiple video and graphic sources with a display using a slow PLL approach
US7848930B2 (en) * 2006-10-17 2010-12-07 Broadcom Corporation Control mechanism for audio rate adjustment
KR19990055332A (ko) 1997-12-27 1999-07-15 전주범 Pip 회로를 내장한 텔레비전에 있어서 동기 일치 장치
US7843510B1 (en) * 1998-01-16 2010-11-30 Ecole Polytechnique Federale De Lausanne Method and system for combining video sequences with spatio-temporal alignment
JP3464924B2 (ja) * 1998-03-13 2003-11-10 株式会社東芝 同期制御回路
US6192511B1 (en) * 1998-09-16 2001-02-20 International Business Machines Corporation Technique for test coverage of visual programs
US6493872B1 (en) * 1998-09-16 2002-12-10 Innovatv Method and apparatus for synchronous presentation of video and audio transmissions and their interactive enhancement streams for TV and internet environments
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
KR100313901B1 (ko) * 1999-02-08 2001-11-17 구자홍 텔레비젼 수신기에서의 부화면 처리 장치
US6512552B1 (en) * 1999-03-29 2003-01-28 Sony Corporation Subpicture stream change control
US7448021B1 (en) * 2000-07-24 2008-11-04 Sonic Solutions, A California Corporation Software engine for combining video or audio content with programmatic content
US6378132B1 (en) * 1999-05-20 2002-04-23 Avid Sports, Llc Signal capture and distribution system
US6392672B1 (en) * 1999-09-17 2002-05-21 Conexant Systems, Inc. Adding method for ordered sorting of a group of windows on a display
US7546576B2 (en) * 2001-06-15 2009-06-09 Lightsurf Technology, Inc. Software framework for web-based applications
FR2829655B1 (fr) * 2001-09-10 2003-12-26 Digigram Systeme de transmission de donnees audio, entre un module maitre et des modules esclaves, par l'intermediaire d'un reseau de communication numerique
US6857119B1 (en) * 2001-09-25 2005-02-15 Oracle International Corporation Techniques for modifying a compiled application
KR100430997B1 (ko) * 2002-01-02 2004-05-12 삼성전자주식회사 디지털 방송 수신장치 및 수신방법
US7006152B2 (en) * 2002-03-01 2006-02-28 Broadcom Corporation System and method for providing picture-in-picture timebase management
US20040019885A1 (en) * 2002-07-26 2004-01-29 Sun Microsystems, Inc., A Delaware Corporation Performance monitoring
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
KR20040071945A (ko) * 2003-02-07 2004-08-16 엘지전자 주식회사 부화면 조정이 가능한 영상표시기기 및 그 방법
KR100928258B1 (ko) 2003-03-17 2009-11-24 엘지전자 주식회사 영상 처리 시스템의 동기신호 생성방법
JP4051703B2 (ja) * 2003-03-31 2008-02-27 日本電気株式会社 シングルプロセッサ向けｏｓによる並列処理システム、並列処理プログラム
CA2527083C (en) 2003-06-02 2011-04-26 Disney Enterprises, Inc. System and method of programmatic window control for consumer video players
US7471337B2 (en) * 2004-06-09 2008-12-30 Lsi Corporation Method of audio-video synchronization
KR100678938B1 (ko) * 2004-08-28 2007-02-07 삼성전자주식회사 영상과 자막의 동기화 조절 장치 및 방법
KR100631610B1 (ko) * 2004-11-26 2006-10-09 엘지전자 주식회사 휴대단말기의 영상신호 합성장치 및 방법
KR20060085151A (ko) 2005-01-21 2006-07-26 엘지전자 주식회사 기록매체, 기록매체 재생장치와 재생방법
KR20070014945A (ko) 2005-07-29 2007-02-01 엘지전자 주식회사 기록매체, 데이터 재생방법 및 재생장치와 데이터 기록방법및 기록장치
WO2007017767A2 (en) * 2005-08-11 2007-02-15 Mario Maracic Method, system and apparatus for communication by means of transmitted signals over visual media
JP4081772B2 (ja) * 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体
US7716686B1 (en) * 2006-02-14 2010-05-11 Mcafee, Inc. System, method and computer program product for interface hooking
US7904886B2 (en) * 2006-03-13 2011-03-08 International Business Machines Corporation Method for executing an application in a virtual container forming a virtualized environment session
CA2541560C (en) * 2006-03-31 2013-07-16 Leitch Technology International Inc. Lip synchronization system and method
JP2008011245A (ja) * 2006-06-29 2008-01-17 Canon Inc 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2008052836A (ja) * 2006-08-25 2008-03-06 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP4099211B1 (ja) * 2007-10-29 2008-06-11 イメージニクス株式会社 映像切替器と映像切替方法
KR101520659B1 (ko) * 2008-02-29 2015-05-15 엘지전자 주식회사 개인용 비디오 레코더를 이용한 영상 비교 장치 및 방법
US8194756B2 (en) * 2008-05-28 2012-06-05 Broadcom Corporation Using program clock references to assist in transport of video stream to wireless device
US8446527B2 (en) * 2009-07-21 2013-05-21 Qualcomm Incorporated System of programmable time intervals used for video signal synchronization
KR101044274B1 (ko) * 2009-11-03 2011-06-28 주식회사 안철수연구소 악성 사이트 검출 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101711009B1 (ko) * 2010-08-26 2017-03-02 삼성전자주식회사 영상 저장장치, 영상 재생장치, 영상 저장방법, 영상 제공방법, 저장매체 및 촬영장치
JP2012054958A (ja) * 2011-10-03 2012-03-15 Hitachi Ltd 再生装置、コンピュータ読み取り可能な記録媒体、およびサーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020011728A (ko) * 2000-08-04 2002-02-09 이성한 동영상 생성 시스템 및 그 방법
KR20070019511A (ko) * 2005-08-11 2007-02-15 주식회사 오아시스미디어 실시간 다층 동영상 합성보드
KR20100089287A (ko) * 2009-02-03 2010-08-12 삼성전자주식회사 텔레비전 시스템 및 그 제어방법
KR20120007763A (ko) * 2010-07-15 2012-01-25 에스케이플래닛 주식회사 운동 경기의 중계 방송 제공 방법 및 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3005719A4 (en) * 2013-06-05 2017-05-10 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
US10074400B2 (en) 2013-06-05 2018-09-11 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
US10706888B2 (en) 2013-06-05 2020-07-07 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
CN111221657A (zh) * 2020-01-14 2020-06-02 新华智云科技有限公司 一种高效视频分布式调度合成方法
CN111221657B (zh) * 2020-01-14 2023-04-07 新华智云科技有限公司 一种高效视频分布式调度合成方法

Also Published As

Publication number Publication date
JP5675902B2 (ja) 2015-02-25
US20140009681A1 (en) 2014-01-09
US8830401B2 (en) 2014-09-09
JP2014014077A (ja) 2014-01-23

Similar Documents

Publication Publication Date Title
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
CN109416931B (zh) 用于视线跟踪的装置和方法
US10754423B2 (en) Providing virtual reality experience service
US11094110B2 (en) Method, apparatus and electronic device for processing image
US20160180593A1 (en) Wearable device-based augmented reality method and system
KR101249279B1 (ko) 동영상 생성 방법 및 장치
EP4083900A1 (en) Virtual reality experience sharing
WO2015070694A1 (zh) 屏幕拼接系统和视频数据流的处理方法
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109831662B (zh) Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
CN109582122B (zh) 增强现实信息提供方法、装置及电子设备
JP2017500766A (ja) 再焦点合わせ可能画像
US11590415B2 (en) Head mounted display and method
US20220103873A1 (en) Computer program, method, and server apparatus
CN104918136A (zh) 视频定位方法和装置
US9830880B1 (en) Method and system for adjusting the refresh rate of a display device based on a video content rate
US10986401B2 (en) Image processing apparatus, image processing system, and image processing method
US20150189021A1 (en) Information Processing Apparatus And Information Processing Method
US10198868B2 (en) Information processing apparatus, method for controlling information processing apparatus, image processing system and non-transitory computer-readable storage medium
CN111565298B (zh) 视频处理方法、装置、设备及计算机可读存储介质
JP2020028096A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US10901213B2 (en) Image display apparatus and image display method
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
US20160078664A1 (en) Image synthesizing apparatus and method
KR102089439B1 (ko) 비디오 회의 환경을 위한 비디오 디스플레이 수정 기법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160307

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 8