KR101981955B1 - 컨텐츠 제작 장치 및 방법 - Google Patents

컨텐츠 제작 장치 및 방법 Download PDF

Info

Publication number
KR101981955B1
KR101981955B1 KR1020170162138A KR20170162138A KR101981955B1 KR 101981955 B1 KR101981955 B1 KR 101981955B1 KR 1020170162138 A KR1020170162138 A KR 1020170162138A KR 20170162138 A KR20170162138 A KR 20170162138A KR 101981955 B1 KR101981955 B1 KR 101981955B1
Authority
KR
South Korea
Prior art keywords
audio
audio samples
samples
frame
slow
Prior art date
Application number
KR1020170162138A
Other languages
English (en)
Inventor
황벽주
김민영
정병준
배성욱
Original Assignee
(주)유윈인포시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유윈인포시스 filed Critical (주)유윈인포시스
Priority to KR1020170162138A priority Critical patent/KR101981955B1/ko
Priority to PCT/KR2017/014090 priority patent/WO2019107631A1/ko
Application granted granted Critical
Publication of KR101981955B1 publication Critical patent/KR101981955B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시예에 따른 컨텐츠 제작 장치는 원본 컨텐츠를 수신하는 컨텐츠 제공부, 사용자로부터 재생 배율을 입력 받는 제어부, 상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하여 출력하는 영상 처리부 및 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 오디오 처리부를 포함한다.

Description

컨텐츠 제작 장치 및 방법{APPARATUS AND METHDO FOR MAKING CONTENTS}
본 발명은 컨텐츠를 제작하는 기술에 관한 것으로, 보다 상세하게는 슬로우 오디오 데이터를 포함하는 컨텐츠를 제작하는 기술에 관한 것이다.
슬로우 모션 컨텐츠를 제공하기 위해서는 슬로우 모션 영상과 슬로우 모션에 맞는 오디오를 생성하여야 한다. 하지만, 일반적으로 슬로우 모션에 맞는 오디오를 생성하는 경우, 프레임 단위에 해당하는 개수의 오디오의 샘플 수를 각 프레임에 매칭되도록 슬로우 모션에 대응하는 오디오 데이터(이하, 슬로우 오디오 데이터라 지칭)를 생성할 필요가 있다.
하지만, 고정된 배율이 아닌 사용자가 임의로 설정한 배율에 따른 슬로우 모션에 맞추어 슬로우 오디오 데이터를 생성하는 경우, 각 프레임의 끝에 해당하는 오디오 샘플과 다음 프레임의 처음에 해당하는 오디오 샘플의 오디오 신호가 연속되지 않기 때문에 슬로우 오디오 데이터를 재생하는 스피커에서 파열음이 발생할 가능성이 높다.
본 발명이 해결하고자 하는 과제는 슬로 오디오 데이터를 생성하는 컨텐츠 제작 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 원본 컨텐츠를 수신하는 컨텐츠 제공부; 사용자로부터 재생 배율을 입력 받는 제어부; 상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하여 출력하는 영상 처리부; 및 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 오디오 처리부;를 포함하는 컨텐츠 제작 장치가 제공된다.
상기 오디오 처리부는, 상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 저장하는 캐시; 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 피치 쉬프트부; 및 상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 슬라이딩 오디오 버퍼를 포함할 수 있다.
상기 슬라이딩 오디오 버퍼는, 상기 기본 오디오 샘플을 우선적으로 저장하고, 상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하고, 상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력할 수 있다.
상기 피치 쉬프트부는, 상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고, 상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고, 상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출할 수 있다.
본 발명의 다른 측면에 따르면, 컨텐츠 제작 장치가 컨텐츠를 제작하는 방법에 있어서, 원본 컨텐츠를 수신하는 단계; 사용자로부터 재생 배율을 입력 받는 단계; 상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하는 단계; 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;를 포함하는 컨텐츠 제작 방법이 제공된다.
상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는, 상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 캐시에 저장하는 단계; 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계; 및 상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;를 포함할 수 있다.
상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는, 상기 기본 오디오 샘플을 슬라이딩 오디오 버퍼에 우선적으로 저장하는 단계; 상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하는 단계; 및 상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력하는 단계를 포함할 수 있다.
상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계는, 상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계; 상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계; 및 상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출하는 단계;를 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 임의의 재생 배율에 따른 슬로우 오디오 데이터를 재생할 때 발생하는 파열음을 방지할 수 있다.
또한, 본 발명에 따르면, 파열음이 발생하는 것을 방지하기 위해 지정된 재생 배율을 사용하지 않고, 임의의 재생 배율을 이용하여 슬로우 오디오 데이터를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치의 오디오 처리부를 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 생성하는 슬로우 모션 영상의 프레임을 개념적으로 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 입력 받는 원본 영상 및 원본 오디오를 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 각 프레임의 종류에 따라 오디오 샘플 수를 조정하지 않는 경우의 오디오 시퀀스와 각 프레임의 종류에 따라 오디오 샘플 수를 조정한 경우의 오디오 시퀀스를 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치를 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 다른 컨텐츠 제작 장치는 컨텐츠 제공부(110), 제어부(120), 영상 처리부(130) 및 오디오 처리부(140)를 포함한다.
컨텐츠 제공부(110)는 통신망 또는 저장 매체로부터 영상 및 오디오를 포함하는 원본 컨텐츠를 수신하고, 원본 컨텐츠의 영상(이하, 원본 영상이라 지칭)을 영상 처리부(130)로 전송하고, 원본 컨텐츠의 오디오(이하, 원본 오디오라 지칭)를 오디오 처리부(140)로 전송한다.
제어부(120)는 지정된 입력 장치(예를 들어, 마우스, 키보드, 셔틀 인터페이스 등)로부터 원본 컨텐츠 중 재생 속도를 변경할 대상을 나타내는 범위 정보 및 범위 정보에 해당하는 원본 컨텐츠의 재생 배율을 수신하고, 범위 정보 및 재생 배율을 영상 처리부(130) 및 오디오 처리부(140)로 전송한다. 이 때, 재생 배율은 미리 설정된 재생 배율 중 어느 하나를 선택한 사용자가 선택한 배율이 아닌 사용자가 임의로 입력한 배율일 수 있다.
영상 처리부(130)는 전체 원본 영상 중 범위 정보에 해당하는 원본 영상을 재생 배율에 대응하는 슬로우 모션 영상을 생성한다. 영상 처리부(130)는 슬로우 모션 영상을 출력한다. 이 때, 영상 처리부(130)는 배율 정보에 따라 원본 영상의 각 프레임 간에 보간 프레임을 삽입하여 슬로우 모션 영상을 생성할 수 있다. 또한, 영상 처리부(130)는 원본 영상의 프레임(이하, 원본 프레임이라 지칭) 간 배율 정보에 대응하는 수의 보간 프레임을 삽입하였을 때, 일부 원본 프레임이 재생되는 시간이 배율 정보에 맞지 않는 경우, 일부 원본 프레임 간에 추가 보간 프레임을 삽입하여 슬로우 모션 영상을 생성할 수 있다. 보간 프레임 및 추가 보간 프레임을 생성 및 삽입하는 과정은 표준 등의 공지된 방식을 따를 수 있다.
오디오 처리부(140)는 전체 원본 오디오 중 범위 정보에 대응하는 오디오 샘플을 재생 배율에 따른 슬로우 모션 영상의 각 프레임에 대응하도록 슬로우 오디오 데이터를 생성한다. 추후 도 2 내지 도 3을 참조하여 오디오 처리부(140)가 슬로우 오디오 데이터를 생성하는 과정을 상세히 설명하도록 한다. 오디오 처리부(140)는 슬로우 오디오 데이터를 출력한다.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치의 오디오 처리부를 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 생성하는 슬로우 모션 영상의 프레임을 개념적으로 예시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 다른 컨텐츠 제작 장치의 오디오 처리부(140)는 캐시(210), 피치 쉬프트부(220) 및 슬라이딩 오디오 버퍼(230)를 포함한다.
캐시(210)는 컨텐츠 제공부(110)로부터 재생 배율에 대해 미리 지정된 수의 오디오 샘플(이하, 기본 오디오 샘플이라 지칭)과 기본 오디오 샘플 이후의 미리 지정된 수의 오디오 샘플(이하, 예비 오디오 샘플이라 지칭)을 수신한다. 이 때, 캐시(210)는 슬로우 모션 영상의 한 프레임에 대한 기본 오디오 샘플과 추가 오디오 샘플을 저장할 수 있다.
피치 쉬프트부(220)는 범위 정보에 대응하는 각 프레임에 대응하는 오디오 샘플 수를 산출한다. 예를 들어, 피치 쉬프트부(220)는 현재 슬로우 오디오 데이터 생성을 하고자 하는 오디오 샘플에 대응하는 프레임(이하, 대상 프레임 이라 지칭)의 종류를 확인(원본 프레임, 보간 프레임 및 추가 보간 프레임 중 어느 하나임을 확인)하고, 대상 프레임의 종류에 대응하는 오디오 샘플 수를 산출할 수 있다. 즉, 1배속에서 4개 프레임으로 구성된 0.07초의 원본 영상을 사용자의 입력에 따라 0.31배속으로 변경하여 도 3과 같이 원본 프레임(310) 4개, 보간 프레임(320) 4개, 추가 보간 프레임(330) 1개로 슬로우 모션 영상이 구성된다고 가정하면, 피치 쉬프트부(220)는 1배속의 원본 영상 중 범위 구간에 해당하는 전체 프레임에 대응하는 오디오 샘플의 수(이하, 1배속 오디오 샘플 수라 지칭)를 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값을 원본 프레임 샘플 수로 산출할 수 있다. 즉, 피치 쉬프트부(220)는 1배속의 영상에서 한 프레임에 대응하는 오디오 샘플 수가 1602개인 경우, 1602의 4배인 6408을 슬로우 모션 영상의 총 프레임 수인 13으로 나눈 값의 버림한 값인 492로 원본 프레임 샘플 수를 산출할 수 있다. 또한, 피치 쉬프트부(220)는 1배속 오디오 샘플 수를 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값을 보간 프레임 샘플 수로 산출할 수 있다. 즉, 피치 쉬프트부(220)는 6408을 13으로 나눈 값의 올림한 값인 493으로 보간 프레임 샘플 수를 산출할 수 있다. 또한, 피치 쉬프트부(220)는 1배속 오디오 샘플 수에서 원본 프레임 샘플 수 및 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 추가 보간 프레임 샘플 수로 산출할 수 있다. 피치 쉬프트부(220)는 대상 프레임의 종류에 따라 원본 프레임 샘플 수, 보간 프레임 샘플 수 및 추가 보간 프레임 샘플 수 중 어느 하나를 슬라이딩 오디오 버퍼(230)로 전송한다. 또한, 피치 쉬프트부(220)는 대상 프레임이 보간 프레임 또는 추가 보간 프레임인 경우, 캐시(210)에 저장된 예비 오디오 샘플 중 보간 프레임 샘플 수 또는 추가 보간 프레임 샘플 수에서 원본 프레임 샘플 수를 차감한 수의 오디오 샘플(이하, 추가 오디오 샘플)을 슬라이딩 오디오 버퍼(230)로 전송하도록 제어한다.
슬라이딩 오디오 버퍼(230)는 컨텐츠 제공부(110)로부터 기본 오디오 샘플을 수신한다. 또한, 슬라이딩 오디오 버퍼(230)는 캐시(210)로부터 추가 오디오 샘플을 수신하여 기 저장된 기본 오디오 샘플 이후에 이어지도록 구성한 슬로우 오디오 데이터를 생성하여 출력한다.
도 4는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 입력 받는 원본 영상 및 원본 오디오를 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 각 프레임의 종류에 따라 오디오 샘플 수를 조정하지 않는 경우의 오디오 시퀀스와 각 프레임의 종류에 따라 오디오 샘플 수를 조정한 경우의 오디오 시퀀스를 예시한 도면이다.
도 4를 참조하면, 컨텐츠 제작 장치는 12개의 프레임으로 구성된 영상에 각 프레임 별 5개의 오디오 샘플을 매칭한 컨텐츠를 수신할 수 있다. 이 때, 도 4에 예시된 바와 같이 컨텐츠의 오디오 시퀀스는 선형으로 구성될 수 있다. 도 4에 예시된 컨텐츠를 0.5배속으로 재생하는 경우, 도 5의 510과 같이 각 원본 프레임 사이에는 보간 프레임이 삽입될 수 있다. 즉, 원본 프레임인 1 frame과 본간 프레임인 보간 1-1에는 총 5개의 오디오 샘플이 매칭될 수 있다. 하지만, 1 frame과 보간 1-1 각각에는 2.5개의 오디오 샘플이 매칭되고, 일반적으로 2.5개의 오디오 샘플이 각 프레임에 매칭되는 경우, 도 5와 같이 오디오 시퀀스가 비선형으로 변형되게 된다. 본 발명의 일 실시예에 따른 컨텐츠 제작 장치는 원본 프레임에 대해서는 2개의 오디오 샘플을 매칭하고, 보간 프레임에 대해서는 3개의 오디오 샘플을 매칭하도록 하여 원본 컨텐츠의 오디오 시퀀스와 마찬가지로 선형의 오디오 시퀀스를 포함하는 슬로우 오디오 데이터를 생성할 수 있다. 따라서, 오디오 시퀀스에 대한 일반적인 저배속 재생은 510과 같이 비선형의 오디오 시퀀스를 생성하게 되어 오디오 재생 시 스피커에서 파열음이 발생하게 되나, 본 발명의 일 실시예에 따른 컨텐츠 제작 장치는 각 프레임에 매칭되는 오디오 샘플 수를 520과 같이 조정함으로써 저배속의 재생 시에도 파열음이 발생하는 것을 방지할 수 있다.
도 6은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 컨텐츠를 제작하는 방법을 예시한 순서도이다. 이하 설명하는 각 단계는 컨텐츠 제작 장치를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 컨텐츠 제작 장치로 통칭하도록 한다.
도 6을 참조하면, 단계 610에서 컨텐츠 제작 장치는 원본 컨텐츠를 수신한다. 이 때, 컨텐츠 제작 장치는 슬로우 오디오 데이터의 재생 배율 및 범위 정보를 사용자로부터 입력 받을 수 있다.
단계 620에서 컨텐츠 제작 장치는 원본 컨텐츠의 기본 오디오 샘플 및 예비 오디오 샘플을 캐시(210)에 저장한다. 이 때, 컨텐츠 제작 장치는 원본 컨텐츠의 오디오 샘플 중 슬로우 오디오 데이터에 포함되지 않은 오디오 샘플 중 순서가 빠른 오디오 샘플부터 재생 배율에 대해 미리 지정된 수의 기본 오디오 샘플 및 예비 오디오 샘플을 캐시에 저장할 수 있다. 따라서, 컨텐츠 제작 장치는 이전 단계에서 대상 프레임에 대응하는 슬로우 오디오 데이터에 포함된 오디오 샘플 다음에 위치하고 재생 배율에 따라 지정된 수의 오디오 샘플을 캐시(210)에 저장할 수 있다.
단계 630에서 컨텐츠 제작 장치는 슬로우 모션 영상의 대상 프레임에 대응하는 오디오 샘플 수를 산출한다. 예를 들어, 컨텐츠 제작 장치는 재생 배율에 따라 생성되는 슬로우 모션 영상의 대상 프레임이 원본 프레임, 보간 프레임 및 추가 보간 프레임 중 어느 하나임을 판단하고, 대상 프레임의 종류에 따라 해당 대상 프레임에 대응하는 오디오 샘플 수를 산출한다.
단계 640에서 컨텐츠 제작 장치는 대상 프레임에 대응하는 오디오 샘플 수의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력한다. 즉, 컨텐츠 제작 장치는 대상 프레임의 종류에 대응하는 오디오 샘플 수를 포함하는 슬로우 오디오 데이터를 생성 및 출력한다.
단계 650에서 컨텐츠 제작 장치는 대상 프레임이 원본 컨텐츠의 범위 정보에 해당하는 마지막 프레임인지 확인한다.
단계 650에서 대상 프레임이 원본 컨텐츠의 범위 정보에 해당하는 마지막 프레임 경우, 컨텐츠 제작 장치는 컨텐츠의 제작 과정을 종료한다.
단계 650에서 대상 프레임이 원본 컨텐츠의 범위 정보에 해당하는 마지막 프레임이 아닌 경우, 컨텐츠 제작 장치는 단계 620부터의 과정을 반복 수행한다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (8)

  1. 원본 컨텐츠를 수신하는 컨텐츠 제공부;
    사용자로부터 재생 배율을 입력 받는 제어부;
    상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하여 출력하는 영상 처리부; 및
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 오디오 처리부;
    를 포함하되,
    상기 오디오 처리부는,
    상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 저장하는 캐시;
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 피치 쉬프트부; 및
    상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 슬라이딩 오디오 버퍼
    를 포함하고,
    상기 피치 쉬프트부는,
    상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고,
    상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고,
    상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출하는 것을 특징으로 하는 컨텐츠 제작 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 슬라이딩 오디오 버퍼는,
    상기 기본 오디오 샘플을 우선적으로 저장하고,
    상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하고,
    상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력하는 것을 특징으로 하는 컨텐츠 제작 장치.
  4. 삭제
  5. 컨텐츠 제작 장치가 컨텐츠를 제작하는 방법에 있어서,
    원본 컨텐츠를 수신하는 단계;
    사용자로부터 재생 배율을 입력 받는 단계;
    상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하는 단계; 및
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;
    를 포함하되,
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는,
    상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 캐시에 저장하는 단계;
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계; 및
    상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;
    를 포함하고,
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계는,
    상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계;
    상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계; 및
    상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출하는 단계;
    를 포함하는 것을 특징으로 하는 컨텐츠 제작 방법.
  6. 삭제
  7. 제5 항에 있어서,
    상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는,
    상기 기본 오디오 샘플을 슬라이딩 오디오 버퍼에 우선적으로 저장하는 단계;
    상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하는 단계; 및
    상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 제작 방법.
  8. 삭제
KR1020170162138A 2017-11-29 2017-11-29 컨텐츠 제작 장치 및 방법 KR101981955B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170162138A KR101981955B1 (ko) 2017-11-29 2017-11-29 컨텐츠 제작 장치 및 방법
PCT/KR2017/014090 WO2019107631A1 (ko) 2017-11-29 2017-12-04 컨텐츠 제작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170162138A KR101981955B1 (ko) 2017-11-29 2017-11-29 컨텐츠 제작 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101981955B1 true KR101981955B1 (ko) 2019-05-24

Family

ID=66664022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170162138A KR101981955B1 (ko) 2017-11-29 2017-11-29 컨텐츠 제작 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101981955B1 (ko)
WO (1) WO2019107631A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050045520A (ko) * 2003-11-11 2005-05-17 주식회사 코스모탄 디지털 오디오신호 및 오디오/비디오신호의 변속처리방법및 이를 이용한 디지털 방송신호의 변속재생방법
KR20090002847A (ko) * 2007-07-04 2009-01-09 삼성전자주식회사 움직임 보상 및 영상 보간을 통한 슬로우 비디오 재생 방법및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714721B2 (en) * 2001-06-18 2004-03-30 Thomson Licensing Changing a playback speed for video presentation recorded in a non-progressive frame structure format
US20050281342A1 (en) * 2004-06-22 2005-12-22 Broadcom Corporation Slow motion and high speed for digital video
KR100641453B1 (ko) * 2004-12-30 2006-10-31 엘지전자 주식회사 오디오 속도 조절 방법
KR101091992B1 (ko) * 2011-02-01 2011-12-09 동국대학교 산학협력단 오디오 재생속도 제어 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050045520A (ko) * 2003-11-11 2005-05-17 주식회사 코스모탄 디지털 오디오신호 및 오디오/비디오신호의 변속처리방법및 이를 이용한 디지털 방송신호의 변속재생방법
KR20090002847A (ko) * 2007-07-04 2009-01-09 삼성전자주식회사 움직임 보상 및 영상 보간을 통한 슬로우 비디오 재생 방법및 장치

Also Published As

Publication number Publication date
WO2019107631A1 (ko) 2019-06-06

Similar Documents

Publication Publication Date Title
US8238722B2 (en) Variable rate video playback with synchronized audio
US10629241B2 (en) Time compressing video content
JP7045266B2 (ja) 音響信号補助情報変換伝送装置及びプログラム
CN113470665A (zh) 编码装置和方法、解码装置和方法及计算机可读记录介质
KR20180082521A (ko) 오디오 데이터 처리 방법 및 단말기
CN105530534B (zh) 一种视频剪辑的方法和装置
KR101981955B1 (ko) 컨텐츠 제작 장치 및 방법
CN116821647B (zh) 基于样本偏离评估的数据标注的优化方法、装置及设备
US20210090551A1 (en) Emotional speech generating method and apparatus for controlling emotional intensity
JP2008084021A (ja) 動画シナリオ生成方法、プログラムおよび装置
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
TW580842B (en) Time scaling of stereo audio
US10348938B2 (en) Display timing determination device, display timing determination method, and program
JP2005512134A (ja) リアルタイム時間伸縮用パラメータ付きデジタルオーディオ
JP4032122B2 (ja) 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法
JP2013005423A (ja) 映像再生装置、映像再生方法およびプログラム
CN116962741A (zh) 音画同步检测方法、装置、计算机设备和存储介质
JP7468359B2 (ja) 情報処理装置および方法、並びにプログラム
US20220122616A1 (en) Information processing device and information processing method
JP2012204876A (ja) 再生装置、再生方法およびプログラム
KR20210066807A (ko) 정보 처리 장치 및 방법, 그리고 프로그램
JP6181920B2 (ja) 音声再生装置およびそのプログラム
US20230197114A1 (en) Storage apparatus, playback apparatus, storage method, playback method, and medium
WO2024078303A1 (zh) 人脸驱动模型的训练方法、视频生成方法及装置
CN113609960B (zh) 一种目标图片的人脸驱动方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant