WO2019107631A1 - Device and method for producing content - Google Patents

Device and method for producing content Download PDF

Info

Publication number
WO2019107631A1
WO2019107631A1 PCT/KR2017/014090 KR2017014090W WO2019107631A1 WO 2019107631 A1 WO2019107631 A1 WO 2019107631A1 KR 2017014090 W KR2017014090 W KR 2017014090W WO 2019107631 A1 WO2019107631 A1 WO 2019107631A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
audio samples
samples
frame
slow
Prior art date
Application number
PCT/KR2017/014090
Other languages
French (fr)
Korean (ko)
Inventor
황벽주
김민영
정병준
배성욱
Original Assignee
(주) 유윈인포시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 유윈인포시스 filed Critical (주) 유윈인포시스
Publication of WO2019107631A1 publication Critical patent/WO2019107631A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams

Definitions

  • the present invention relates to a technique for producing contents, and more particularly, to a technique for producing contents including slow audio data.
  • audio corresponding to the slow motion image and the slow motion should be generated.
  • audio data corresponding to the slow motion (hereinafter referred to as slow audio data) is generated such that the number of samples of audio corresponding to the frame unit is matched to each frame There is a need.
  • the audio samples of the audio samples corresponding to the end of each frame and the audio samples corresponding to the beginning of the next frame are continuous
  • a platter sound is generated in a speaker for reproducing slow audio data.
  • the present invention provides a content producing apparatus and method for generating slow audio data.
  • a content providing apparatus including: a content providing unit for receiving original content; A control unit for receiving a playback magnification from a user; An image processor for generating an original image of the original content as a slow motion image according to the reproduction magnification and outputting the slow motion image; And an audio processing unit for calculating the number of audio samples according to the type of the target frame of the slow motion video and generating and outputting slow audio data including audio samples of the original content according to the number of audio samples, Device is provided.
  • the audio processing unit comprises: a cache for storing a basic audio sample and a spare audio sample corresponding to the reproduction magnification; A pitch shift unit for calculating the number of audio samples according to a type of a target frame of the slow motion image; And a sliding audio buffer for generating and outputting slow audio data including audio samples corresponding to the target frame according to the number of audio samples.
  • the sliding audio buffer preferentially stores the basic audio samples and extracts additional audio samples corresponding to the number of audio samples from the cache from the cache if the number of audio samples is greater than the number of basic audio samples And to generate and output slow audio data including the basic audio samples and the additional audio samples after the basic audio samples.
  • the pitch shift unit calculates the number of original frames as the number of audio samples, which is a discarded value of a value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow motion image when the target frame is an original frame,
  • the number of audio samples is calculated by dividing the number of 1-time audio samples divided by the total number of frames of the slow motion image by the number of audio samples, and when the target frame is an additional interpolation frame, A value obtained by dividing the number obtained by subtracting the number of original frame samples and the number of interpolated frame samples from the number of double-speed audio samples divided by the number of additional interpolation frames may be calculated as the number of audio samples.
  • a method of producing content by a content production apparatus comprising: receiving original content; Receiving a playback magnification from a user; Generating an original image of the original content as a slow motion image according to the reproduction magnification; Calculating a number of audio samples according to a type of a target frame of the slow motion image and generating and outputting slow audio data including audio samples of the original content according to the number of audio samples; / RTI >
  • the step of calculating the number of audio samples according to the kind of the target frame of the slow motion image and generating and outputting the slow audio data including the audio samples of the original content according to the number of audio samples Storing a basic audio sample and a spare audio sample in a cache; Calculating a number of audio samples according to a type of a target frame of the slow motion image; And generating and outputting slow audio data including audio samples corresponding to a target frame according to the number of audio samples.
  • generating and outputting slow audio data including audio samples corresponding to a target frame according to the number of audio samples includes: storing the basic audio samples preferentially in a sliding audio buffer; Extracting additional audio samples corresponding to the number of audio samples of the spare audio samples from the cache and storing them after the basic audio samples if the number of audio samples is greater than the number of basic audio samples; And generating and outputting slow audio data including the basic audio sample and the additional audio sample.
  • the step of calculating the number of audio samples according to the kind of the target frame of the slow motion image comprises the step of calculating the number of audio samples by subtracting a value obtained by dividing the number of 1x audio samples by the total number of frames of the slow motion image, Calculating a number of frame samples as the number of audio samples; Calculating the number of interpolated frame samples, which is a value obtained by dividing the value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow motion image, when the target frame is an interpolation frame; And calculating a value obtained by dividing a value obtained by subtracting the number of original frame samples and the number of interpolated frame samples from the number of 1x audio samples by the number of additional interpolation frames when the target frame is a supplementary interpolation frame. . ≪ / RTI >
  • FIG. 1 illustrates a content production apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an audio processing unit of a content production apparatus according to an embodiment of the present invention
  • FIG. 3 is a conceptual illustration of a frame of a slow motion image generated by a content production apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an original image and an original audio to which a content production apparatus according to an exemplary embodiment of the present invention is input;
  • FIG. 5 illustrates an audio sequence when the content production apparatus according to an embodiment of the present invention does not adjust the number of audio samples according to the type of each frame, and an audio sequence when the number of audio samples is adjusted according to the type of each frame
  • FIG. 1 is a diagram illustrating a content production apparatus according to an embodiment of the present invention.
  • a content production apparatus includes a content providing unit 110, a control unit 120, an image processing unit 130, and an audio processing unit 140.
  • the content providing unit 110 receives original content including video and audio from a communication network or a storage medium and transmits a video of the original content (hereinafter referred to as an original video) to the video processing unit 130, (Hereinafter, referred to as original audio) to the audio processing unit 140.
  • original video a video of the original content
  • original audio a video of the audio
  • the control unit 120 receives from the designated input device (for example, a mouse, a keyboard, a shuttle interface, etc.) range information indicating an object whose playback speed is to be changed and playback magnification of original content corresponding to the range information, And transmits the information and reproduction magnification to the image processing unit 130 and the audio processing unit 140.
  • the reproduction magnification may be a magnification that the user arbitrarily inputs, not the magnification selected by the user who selected one of the preset reproduction magnifications.
  • the image processing unit 130 generates a slow motion image corresponding to the reproduction magnification of the original image corresponding to the range information of the entire original image.
  • the image processing unit 130 outputs a slow motion image.
  • the image processing unit 130 may insert the interpolation frame between each frame of the original image according to the magnification information to generate the slow motion image.
  • the image processing unit 130 determines that, when the time at which some original frames are reproduced does not match the scaling information,
  • the slow motion image can be generated by inserting additional interpolation frames between some original frames.
  • the process of creating and inserting the interpolation frame and the additional interpolation frame may follow a known method such as standard.
  • the audio processing unit 140 generates slow audio data so that the audio samples corresponding to the range information of the entire original audio correspond to each frame of the slow motion image according to the reproduction magnification.
  • the process of generating audio data by the audio processing unit 140 will be described in detail with reference to FIGS. 2 to 3.
  • FIG. The audio processing unit 140 outputs slow audio data.
  • FIG. 2 is a diagram illustrating an audio processing unit of a content production apparatus according to an embodiment of the present invention.
  • FIG. 3 conceptually illustrates a frame of a slow motion image generated by a content production apparatus according to an exemplary embodiment of the present invention FIG.
  • an audio processing unit 140 of a content production apparatus includes a cache 210, a pitch shift unit 220, and a sliding audio buffer 230.
  • the cache 210 receives a predetermined number of audio samples (hereinafter, referred to as basic audio samples) and a predetermined number of audio samples (hereinafter, referred to as spare audio samples) Quot;). At this time, the cache 210 may store a basic audio sample and an additional audio sample for one frame of the slow motion image.
  • basic audio samples a predetermined number of audio samples
  • spare audio samples a predetermined number of audio samples
  • the pitch shift unit 220 calculates the number of audio samples corresponding to each frame corresponding to the range information. For example, the pitch shifting unit 220 may identify the type of the frame corresponding to the audio sample for which the slow audio data is to be generated (hereinafter, referred to as a target frame) (either an original frame, an interpolation frame, or an additional interpolation frame And the number of audio samples corresponding to the type of the target frame can be calculated.
  • a target frame the type of the frame corresponding to the audio sample for which the slow audio data is to be generated
  • the original image of 0.07 second composed of four frames at 1x speed is changed to 0.31 times speed according to the input of the user, and four original frames 310, four interpolation frames 320, and an additional interpolation frame 330 ),
  • the pitch shifting unit 220 sets the number of audio samples corresponding to the entire frame corresponding to the range of the original image at the 1x speed (hereinafter, referred to as 1x audio sample number)
  • the reduced value of the value divided by the total number of frames of the slow motion image can be calculated as the number of original frame samples.
  • the pitch shifting unit 220 subtracts 6408, which is four times 1602, from the total number of frames of the slow-motion image, which is 13, The number of frame samples can be calculated.
  • the pitch shift unit 220 can calculate a value obtained by dividing the value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow-motion image, as the number of interpolated frame samples. That is, the pitch shifting unit 220 can calculate the number of interpolated frame samples by 493, which is a value obtained by dividing 6408 by 13.
  • the pitch shift unit 220 can calculate a value obtained by dividing the value obtained by subtracting the number of original frame samples and the number of interpolation frame samples from the number of 1-times audio samples divided by the number of additional interpolation frames, as the number of additional interpolation frame samples.
  • the pitch shift unit 220 transmits either the number of original frame samples, the number of interpolated frame samples, or the number of additional interpolated frame samples to the sliding audio buffer 230 according to the type of the target frame.
  • the pitch shift unit 220 may store the number of interpolation frame samples or the number of additional interpolation frame samples, which is the subtraction of the number of original frame samples, among the spare audio samples stored in the cache 210, when the target frame is an interpolation frame or an additional interpolation frame (Hereinafter referred to as an additional audio sample) to the sliding audio buffer 230.
  • the sliding audio buffer 230 receives basic audio samples from the content providing unit 110. In addition, the sliding audio buffer 230 receives the additional audio samples from the cache 210 and generates and outputs slow audio data configured to follow the stored basic audio samples.
  • FIG. 4 is a diagram illustrating an original image and an original audio to which a content production apparatus according to an exemplary embodiment of the present invention is input
  • FIG. 5 is a diagram illustrating a content production apparatus according to an exemplary embodiment of the present invention, The audio sequence in the case where the number of samples is not adjusted and the audio sequence in the case where the number of audio samples is adjusted in accordance with the type of each frame.
  • the content production apparatus may receive content matching five audio samples for each frame on an image composed of twelve frames.
  • the audio sequence of the content may be linearly formed.
  • an interpolation frame may be inserted between each original frame as shown in FIG. That is, a total of five audio samples can be matched in one frame, which is the original frame, and in the interpolation 1-1, which is the interim frame.
  • the audio sequence is deformed into a non-linear shape as shown in FIG.
  • the content production apparatus matches two audio samples with respect to an original frame and matches three audio samples with respect to an interpolation frame so as to include a linear audio sequence as well as an audio sequence of original content Slow audio data can be generated. Accordingly, the general low-speed reproduction for the audio sequence generates a non-linear audio sequence such as 510, so that a plosive sound is generated in the speaker during audio reproduction. However, in the content production apparatus according to an embodiment of the present invention, By adjusting the number of audio samples to be 520, it is possible to prevent a plague sound from being generated even at a low speed reproduction.
  • FIG. 6 is a flowchart illustrating a method of generating content by a content production apparatus according to an exemplary embodiment of the present invention.
  • a content production apparatus for a brief and clear description of a process or an invention performed through each functional unit constituting the content production apparatus.
  • step 610 the content production apparatus receives original content.
  • the content production apparatus can receive the playback magnification and range information of the slow audio data from the user.
  • the content production apparatus stores the basic audio samples and the redundant audio samples of the original content in the cache 210.
  • the content production apparatus can cache a predetermined number of basic audio samples and spare audio samples for the reproduction magnification from the audio samples that are earlier than the audio samples that are not included in the slow audio data among the audio samples of the original contents . Accordingly, the content production apparatus can store a predetermined number of audio samples in the cache 210 after the audio samples included in the slow audio data corresponding to the target frame in the previous step and according to the reproduction magnification.
  • the content production apparatus calculates the number of audio samples corresponding to the target frame of the slow motion image. For example, the content production apparatus determines that the target frame of the slow motion image generated according to the reproduction magnification is one of an original frame, an interpolation frame, and an additional interpolation frame, and outputs audio corresponding to the target frame The number of samples is calculated.
  • step 640 the content production apparatus generates and outputs slow audio data including audio samples of the number of audio samples corresponding to the target frame. That is, the content production apparatus generates and outputs slow audio data including the number of audio samples corresponding to the type of the target frame.
  • step 650 the content production apparatus confirms whether the target frame is the last frame corresponding to the range information of the original content.
  • the content production apparatus ends the production process of the content.
  • the content production apparatus repeats the process from step 620.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

A content producing device according to an embodiment of the present invention comprises: a content providing unit for receiving an original content; a control unit for receiving an input of a reproduction magnification from a user; an image processing unit for generating and outputting, according to the reproduction magnification, a slow motion image corresponding to an original image of the original content; and an audio processing unit for calculating the number of audio samples according to a type of a target frame of the slow motion image, and generating and outputting slow audio data including an audio sample of the original content according to the number of the audio samples.

Description

컨텐츠 제작 장치 및 방법Apparatus and method for producing content
본 발명은 컨텐츠를 제작하는 기술에 관한 것으로, 보다 상세하게는 슬로우 오디오 데이터를 포함하는 컨텐츠를 제작하는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for producing contents, and more particularly, to a technique for producing contents including slow audio data.
슬로우 모션 컨텐츠를 제공하기 위해서는 슬로우 모션 영상과 슬로우 모션에 맞는 오디오를 생성하여야 한다. 하지만, 일반적으로 슬로우 모션에 맞는 오디오를 생성하는 경우, 프레임 단위에 해당하는 개수의 오디오의 샘플 수를 각 프레임에 매칭되도록 슬로우 모션에 대응하는 오디오 데이터(이하, 슬로우 오디오 데이터라 지칭)를 생성할 필요가 있다.In order to provide the slow motion contents, audio corresponding to the slow motion image and the slow motion should be generated. However, when audio corresponding to the slow motion is generally generated, audio data corresponding to the slow motion (hereinafter referred to as slow audio data) is generated such that the number of samples of audio corresponding to the frame unit is matched to each frame There is a need.
하지만, 고정된 배율이 아닌 사용자가 임의로 설정한 배율에 따른 슬로우 모션에 맞추어 슬로우 오디오 데이터를 생성하는 경우, 각 프레임의 끝에 해당하는 오디오 샘플과 다음 프레임의 처음에 해당하는 오디오 샘플의 오디오 신호가 연속되지 않기 때문에 슬로우 오디오 데이터를 재생하는 스피커에서 파열음이 발생할 가능성이 높다.However, when the slow audio data is generated in accordance with the slow motion according to the magnification set by the user rather than the fixed magnification, the audio samples of the audio samples corresponding to the end of each frame and the audio samples corresponding to the beginning of the next frame are continuous There is a high possibility that a platter sound is generated in a speaker for reproducing slow audio data.
본 발명이 해결하고자 하는 과제는 슬로 오디오 데이터를 생성하는 컨텐츠 제작 장치 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention provides a content producing apparatus and method for generating slow audio data.
본 발명의 일 측면에 따르면, 원본 컨텐츠를 수신하는 컨텐츠 제공부; 사용자로부터 재생 배율을 입력 받는 제어부; 상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하여 출력하는 영상 처리부; 및 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 오디오 처리부;를 포함하는 컨텐츠 제작 장치가 제공된다.According to an aspect of the present invention, there is provided a content providing apparatus including: a content providing unit for receiving original content; A control unit for receiving a playback magnification from a user; An image processor for generating an original image of the original content as a slow motion image according to the reproduction magnification and outputting the slow motion image; And an audio processing unit for calculating the number of audio samples according to the type of the target frame of the slow motion video and generating and outputting slow audio data including audio samples of the original content according to the number of audio samples, Device is provided.
상기 오디오 처리부는, 상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 저장하는 캐시; 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 피치 쉬프트부; 및 상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 슬라이딩 오디오 버퍼를 포함할 수 있다.Wherein the audio processing unit comprises: a cache for storing a basic audio sample and a spare audio sample corresponding to the reproduction magnification; A pitch shift unit for calculating the number of audio samples according to a type of a target frame of the slow motion image; And a sliding audio buffer for generating and outputting slow audio data including audio samples corresponding to the target frame according to the number of audio samples.
상기 슬라이딩 오디오 버퍼는, 상기 기본 오디오 샘플을 우선적으로 저장하고, 상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하고, 상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력할 수 있다.Wherein the sliding audio buffer preferentially stores the basic audio samples and extracts additional audio samples corresponding to the number of audio samples from the cache from the cache if the number of audio samples is greater than the number of basic audio samples And to generate and output slow audio data including the basic audio samples and the additional audio samples after the basic audio samples.
상기 피치 쉬프트부는, 상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고, 상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고, 상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출할 수 있다.Wherein the pitch shift unit calculates the number of original frames as the number of audio samples, which is a discarded value of a value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow motion image when the target frame is an original frame, The number of audio samples is calculated by dividing the number of 1-time audio samples divided by the total number of frames of the slow motion image by the number of audio samples, and when the target frame is an additional interpolation frame, A value obtained by dividing the number obtained by subtracting the number of original frame samples and the number of interpolated frame samples from the number of double-speed audio samples divided by the number of additional interpolation frames may be calculated as the number of audio samples.
본 발명의 다른 측면에 따르면, 컨텐츠 제작 장치가 컨텐츠를 제작하는 방법에 있어서, 원본 컨텐츠를 수신하는 단계; 사용자로부터 재생 배율을 입력 받는 단계; 상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하는 단계; 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;를 포함하는 컨텐츠 제작 방법이 제공된다.According to another aspect of the present invention, there is provided a method of producing content by a content production apparatus, comprising: receiving original content; Receiving a playback magnification from a user; Generating an original image of the original content as a slow motion image according to the reproduction magnification; Calculating a number of audio samples according to a type of a target frame of the slow motion image and generating and outputting slow audio data including audio samples of the original content according to the number of audio samples; / RTI >
상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는, 상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 캐시에 저장하는 단계; 상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계; 및 상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;를 포함할 수 있다.Wherein the step of calculating the number of audio samples according to the kind of the target frame of the slow motion image and generating and outputting the slow audio data including the audio samples of the original content according to the number of audio samples, Storing a basic audio sample and a spare audio sample in a cache; Calculating a number of audio samples according to a type of a target frame of the slow motion image; And generating and outputting slow audio data including audio samples corresponding to a target frame according to the number of audio samples.
상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는, 상기 기본 오디오 샘플을 슬라이딩 오디오 버퍼에 우선적으로 저장하는 단계; 상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하는 단계; 및 상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력하는 단계를 포함할 수 있다.Wherein generating and outputting slow audio data including audio samples corresponding to a target frame according to the number of audio samples includes: storing the basic audio samples preferentially in a sliding audio buffer; Extracting additional audio samples corresponding to the number of audio samples of the spare audio samples from the cache and storing them after the basic audio samples if the number of audio samples is greater than the number of basic audio samples; And generating and outputting slow audio data including the basic audio sample and the additional audio sample.
상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계는, 상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계; 상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계; 및 상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출하는 단계;를 포함할 수 있다.Wherein the step of calculating the number of audio samples according to the kind of the target frame of the slow motion image comprises the step of calculating the number of audio samples by subtracting a value obtained by dividing the number of 1x audio samples by the total number of frames of the slow motion image, Calculating a number of frame samples as the number of audio samples; Calculating the number of interpolated frame samples, which is a value obtained by dividing the value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow motion image, when the target frame is an interpolation frame; And calculating a value obtained by dividing a value obtained by subtracting the number of original frame samples and the number of interpolated frame samples from the number of 1x audio samples by the number of additional interpolation frames when the target frame is a supplementary interpolation frame. . ≪ / RTI >
상술한 바와 같이 본 발명에 따르면, 임의의 재생 배율에 따른 슬로우 오디오 데이터를 재생할 때 발생하는 파열음을 방지할 수 있다.As described above, according to the present invention, it is possible to prevent a plosive sound generated when reproducing slow audio data according to an arbitrary reproduction magnification.
또한, 본 발명에 따르면, 파열음이 발생하는 것을 방지하기 위해 지정된 재생 배율을 사용하지 않고, 임의의 재생 배율을 이용하여 슬로우 오디오 데이터를 생성할 수 있다.Further, according to the present invention, it is possible to generate slow audio data using an arbitrary reproduction magnification without using a designated reproduction magnification in order to prevent a plague sound from being generated.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치를 예시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 illustrates a content production apparatus according to an embodiment of the present invention. FIG.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치의 오디오 처리부를 예시한 도면.2 is a diagram illustrating an audio processing unit of a content production apparatus according to an embodiment of the present invention;
도 3은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 생성하는 슬로우 모션 영상의 프레임을 개념적으로 예시한 도면.3 is a conceptual illustration of a frame of a slow motion image generated by a content production apparatus according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 입력 받는 원본 영상 및 원본 오디오를 예시한 도면.4 is a diagram illustrating an original image and an original audio to which a content production apparatus according to an exemplary embodiment of the present invention is input;
도 5는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 각 프레임의 종류에 따라 오디오 샘플 수를 조정하지 않는 경우의 오디오 시퀀스와 각 프레임의 종류에 따라 오디오 샘플 수를 조정한 경우의 오디오 시퀀스를 예시한 도면.FIG. 5 illustrates an audio sequence when the content production apparatus according to an embodiment of the present invention does not adjust the number of audio samples according to the type of each frame, and an audio sequence when the number of audio samples is adjusted according to the type of each frame FIG.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치를 예시한 도면이다.FIG. 1 is a diagram illustrating a content production apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 컨텐츠 제작 장치는 컨텐츠 제공부(110), 제어부(120), 영상 처리부(130) 및 오디오 처리부(140)를 포함한다.Referring to FIG. 1, a content production apparatus according to an exemplary embodiment of the present invention includes a content providing unit 110, a control unit 120, an image processing unit 130, and an audio processing unit 140.
컨텐츠 제공부(110)는 통신망 또는 저장 매체로부터 영상 및 오디오를 포함하는 원본 컨텐츠를 수신하고, 원본 컨텐츠의 영상(이하, 원본 영상이라 지칭)을 영상 처리부(130)로 전송하고, 원본 컨텐츠의 오디오(이하, 원본 오디오라 지칭)를 오디오 처리부(140)로 전송한다.The content providing unit 110 receives original content including video and audio from a communication network or a storage medium and transmits a video of the original content (hereinafter referred to as an original video) to the video processing unit 130, (Hereinafter, referred to as original audio) to the audio processing unit 140.
제어부(120)는 지정된 입력 장치(예를 들어, 마우스, 키보드, 셔틀 인터페이스 등)로부터 원본 컨텐츠 중 재생 속도를 변경할 대상을 나타내는 범위 정보 및 범위 정보에 해당하는 원본 컨텐츠의 재생 배율을 수신하고, 범위 정보 및 재생 배율을 영상 처리부(130) 및 오디오 처리부(140)로 전송한다. 이 때, 재생 배율은 미리 설정된 재생 배율 중 어느 하나를 선택한 사용자가 선택한 배율이 아닌 사용자가 임의로 입력한 배율일 수 있다. The control unit 120 receives from the designated input device (for example, a mouse, a keyboard, a shuttle interface, etc.) range information indicating an object whose playback speed is to be changed and playback magnification of original content corresponding to the range information, And transmits the information and reproduction magnification to the image processing unit 130 and the audio processing unit 140. At this time, the reproduction magnification may be a magnification that the user arbitrarily inputs, not the magnification selected by the user who selected one of the preset reproduction magnifications.
영상 처리부(130)는 전체 원본 영상 중 범위 정보에 해당하는 원본 영상을 재생 배율에 대응하는 슬로우 모션 영상을 생성한다. 영상 처리부(130)는 슬로우 모션 영상을 출력한다. 이 때, 영상 처리부(130)는 배율 정보에 따라 원본 영상의 각 프레임 간에 보간 프레임을 삽입하여 슬로우 모션 영상을 생성할 수 있다. 또한, 영상 처리부(130)는 원본 영상의 프레임(이하, 원본 프레임이라 지칭) 간 배율 정보에 대응하는 수의 보간 프레임을 삽입하였을 때, 일부 원본 프레임이 재생되는 시간이 배율 정보에 맞지 않는 경우, 일부 원본 프레임 간에 추가 보간 프레임을 삽입하여 슬로우 모션 영상을 생성할 수 있다. 보간 프레임 및 추가 보간 프레임을 생성 및 삽입하는 과정은 표준 등의 공지된 방식을 따를 수 있다.The image processing unit 130 generates a slow motion image corresponding to the reproduction magnification of the original image corresponding to the range information of the entire original image. The image processing unit 130 outputs a slow motion image. At this time, the image processing unit 130 may insert the interpolation frame between each frame of the original image according to the magnification information to generate the slow motion image. In addition, when the number of interpolation frames corresponding to the scaling information between frames of the original image (hereinafter, referred to as original frames) is inserted, the image processing unit 130 determines that, when the time at which some original frames are reproduced does not match the scaling information, The slow motion image can be generated by inserting additional interpolation frames between some original frames. The process of creating and inserting the interpolation frame and the additional interpolation frame may follow a known method such as standard.
오디오 처리부(140)는 전체 원본 오디오 중 범위 정보에 대응하는 오디오 샘플을 재생 배율에 따른 슬로우 모션 영상의 각 프레임에 대응하도록 슬로우 오디오 데이터를 생성한다. 추후 도 2 내지 도 3을 참조하여 오디오 처리부(140)가 슬로우 오디오 데이터를 생성하는 과정을 상세히 설명하도록 한다. 오디오 처리부(140)는 슬로우 오디오 데이터를 출력한다.The audio processing unit 140 generates slow audio data so that the audio samples corresponding to the range information of the entire original audio correspond to each frame of the slow motion image according to the reproduction magnification. The process of generating audio data by the audio processing unit 140 will be described in detail with reference to FIGS. 2 to 3. FIG. The audio processing unit 140 outputs slow audio data.
도 2는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치의 오디오 처리부를 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 생성하는 슬로우 모션 영상의 프레임을 개념적으로 예시한 도면이다.FIG. 2 is a diagram illustrating an audio processing unit of a content production apparatus according to an embodiment of the present invention. FIG. 3 conceptually illustrates a frame of a slow motion image generated by a content production apparatus according to an exemplary embodiment of the present invention FIG.
도 2를 참조하면, 본 발명의 일 실시예에 따른 컨텐츠 제작 장치의 오디오 처리부(140)는 캐시(210), 피치 쉬프트부(220) 및 슬라이딩 오디오 버퍼(230)를 포함한다.2, an audio processing unit 140 of a content production apparatus according to an exemplary embodiment of the present invention includes a cache 210, a pitch shift unit 220, and a sliding audio buffer 230.
캐시(210)는 컨텐츠 제공부(110)로부터 재생 배율에 대해 미리 지정된 수의 오디오 샘플(이하, 기본 오디오 샘플이라 지칭)과 기본 오디오 샘플 이후의 미리 지정된 수의 오디오 샘플(이하, 예비 오디오 샘플이라 지칭)을 수신한다. 이 때, 캐시(210)는 슬로우 모션 영상의 한 프레임에 대한 기본 오디오 샘플과 추가 오디오 샘플을 저장할 수 있다. The cache 210 receives a predetermined number of audio samples (hereinafter, referred to as basic audio samples) and a predetermined number of audio samples (hereinafter, referred to as spare audio samples) Quot;). At this time, the cache 210 may store a basic audio sample and an additional audio sample for one frame of the slow motion image.
피치 쉬프트부(220)는 범위 정보에 대응하는 각 프레임에 대응하는 오디오 샘플 수를 산출한다. 예를 들어, 피치 쉬프트부(220)는 현재 슬로우 오디오 데이터 생성을 하고자 하는 오디오 샘플에 대응하는 프레임(이하, 대상 프레임 이라 지칭)의 종류를 확인(원본 프레임, 보간 프레임 및 추가 보간 프레임 중 어느 하나임을 확인)하고, 대상 프레임의 종류에 대응하는 오디오 샘플 수를 산출할 수 있다. 즉, 1배속에서 4개 프레임으로 구성된 0.07초의 원본 영상을 사용자의 입력에 따라 0.31배속으로 변경하여 도 3과 같이 원본 프레임(310) 4개, 보간 프레임(320) 4개, 추가 보간 프레임(330) 1개로 슬로우 모션 영상이 구성된다고 가정하면, 피치 쉬프트부(220)는 1배속의 원본 영상 중 범위 구간에 해당하는 전체 프레임에 대응하는 오디오 샘플의 수(이하, 1배속 오디오 샘플 수라 지칭)를 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값을 원본 프레임 샘플 수로 산출할 수 있다. 즉, 피치 쉬프트부(220)는 1배속의 영상에서 한 프레임에 대응하는 오디오 샘플 수가 1602개인 경우, 1602의 4배인 6408을 슬로우 모션 영상의 총 프레임 수인 13으로 나눈 값의 버림한 값인 492로 원본 프레임 샘플 수를 산출할 수 있다. 또한, 피치 쉬프트부(220)는 1배속 오디오 샘플 수를 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값을 보간 프레임 샘플 수로 산출할 수 있다. 즉, 피치 쉬프트부(220)는 6408을 13으로 나눈 값의 올림한 값인 493으로 보간 프레임 샘플 수를 산출할 수 있다. 또한, 피치 쉬프트부(220)는 1배속 오디오 샘플 수에서 원본 프레임 샘플 수 및 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 추가 보간 프레임 샘플 수로 산출할 수 있다. 피치 쉬프트부(220)는 대상 프레임의 종류에 따라 원본 프레임 샘플 수, 보간 프레임 샘플 수 및 추가 보간 프레임 샘플 수 중 어느 하나를 슬라이딩 오디오 버퍼(230)로 전송한다. 또한, 피치 쉬프트부(220)는 대상 프레임이 보간 프레임 또는 추가 보간 프레임인 경우, 캐시(210)에 저장된 예비 오디오 샘플 중 보간 프레임 샘플 수 또는 추가 보간 프레임 샘플 수에서 원본 프레임 샘플 수를 차감한 수의 오디오 샘플(이하, 추가 오디오 샘플)을 슬라이딩 오디오 버퍼(230)로 전송하도록 제어한다.The pitch shift unit 220 calculates the number of audio samples corresponding to each frame corresponding to the range information. For example, the pitch shifting unit 220 may identify the type of the frame corresponding to the audio sample for which the slow audio data is to be generated (hereinafter, referred to as a target frame) (either an original frame, an interpolation frame, or an additional interpolation frame And the number of audio samples corresponding to the type of the target frame can be calculated. In other words, the original image of 0.07 second composed of four frames at 1x speed is changed to 0.31 times speed according to the input of the user, and four original frames 310, four interpolation frames 320, and an additional interpolation frame 330 ), The pitch shifting unit 220 sets the number of audio samples corresponding to the entire frame corresponding to the range of the original image at the 1x speed (hereinafter, referred to as 1x audio sample number) The reduced value of the value divided by the total number of frames of the slow motion image can be calculated as the number of original frame samples. That is, when the number of audio samples corresponding to one frame is 1602, the pitch shifting unit 220 subtracts 6408, which is four times 1602, from the total number of frames of the slow-motion image, which is 13, The number of frame samples can be calculated. In addition, the pitch shift unit 220 can calculate a value obtained by dividing the value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow-motion image, as the number of interpolated frame samples. That is, the pitch shifting unit 220 can calculate the number of interpolated frame samples by 493, which is a value obtained by dividing 6408 by 13. In addition, the pitch shift unit 220 can calculate a value obtained by dividing the value obtained by subtracting the number of original frame samples and the number of interpolation frame samples from the number of 1-times audio samples divided by the number of additional interpolation frames, as the number of additional interpolation frame samples. The pitch shift unit 220 transmits either the number of original frame samples, the number of interpolated frame samples, or the number of additional interpolated frame samples to the sliding audio buffer 230 according to the type of the target frame. In addition, the pitch shift unit 220 may store the number of interpolation frame samples or the number of additional interpolation frame samples, which is the subtraction of the number of original frame samples, among the spare audio samples stored in the cache 210, when the target frame is an interpolation frame or an additional interpolation frame (Hereinafter referred to as an additional audio sample) to the sliding audio buffer 230.
슬라이딩 오디오 버퍼(230)는 컨텐츠 제공부(110)로부터 기본 오디오 샘플을 수신한다. 또한, 슬라이딩 오디오 버퍼(230)는 캐시(210)로부터 추가 오디오 샘플을 수신하여 기 저장된 기본 오디오 샘플 이후에 이어지도록 구성한 슬로우 오디오 데이터를 생성하여 출력한다. The sliding audio buffer 230 receives basic audio samples from the content providing unit 110. In addition, the sliding audio buffer 230 receives the additional audio samples from the cache 210 and generates and outputs slow audio data configured to follow the stored basic audio samples.
도 4는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 입력 받는 원본 영상 및 원본 오디오를 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 각 프레임의 종류에 따라 오디오 샘플 수를 조정하지 않는 경우의 오디오 시퀀스와 각 프레임의 종류에 따라 오디오 샘플 수를 조정한 경우의 오디오 시퀀스를 예시한 도면이다.FIG. 4 is a diagram illustrating an original image and an original audio to which a content production apparatus according to an exemplary embodiment of the present invention is input, FIG. 5 is a diagram illustrating a content production apparatus according to an exemplary embodiment of the present invention, The audio sequence in the case where the number of samples is not adjusted and the audio sequence in the case where the number of audio samples is adjusted in accordance with the type of each frame.
도 4를 참조하면, 컨텐츠 제작 장치는 12개의 프레임으로 구성된 영상에 각 프레임 별 5개의 오디오 샘플을 매칭한 컨텐츠를 수신할 수 있다. 이 때, 도 4에 예시된 바와 같이 컨텐츠의 오디오 시퀀스는 선형으로 구성될 수 있다. 도 4에 예시된 컨텐츠를 0.5배속으로 재생하는 경우, 도 5의 510과 같이 각 원본 프레임 사이에는 보간 프레임이 삽입될 수 있다. 즉, 원본 프레임인 1 frame과 본간 프레임인 보간 1-1에는 총 5개의 오디오 샘플이 매칭될 수 있다. 하지만, 1 frame과 보간 1-1 각각에는 2.5개의 오디오 샘플이 매칭되고, 일반적으로 2.5개의 오디오 샘플이 각 프레임에 매칭되는 경우, 도 5와 같이 오디오 시퀀스가 비선형으로 변형되게 된다. 본 발명의 일 실시예에 따른 컨텐츠 제작 장치는 원본 프레임에 대해서는 2개의 오디오 샘플을 매칭하고, 보간 프레임에 대해서는 3개의 오디오 샘플을 매칭하도록 하여 원본 컨텐츠의 오디오 시퀀스와 마찬가지로 선형의 오디오 시퀀스를 포함하는 슬로우 오디오 데이터를 생성할 수 있다. 따라서, 오디오 시퀀스에 대한 일반적인 저배속 재생은 510과 같이 비선형의 오디오 시퀀스를 생성하게 되어 오디오 재생 시 스피커에서 파열음이 발생하게 되나, 본 발명의 일 실시예에 따른 컨텐츠 제작 장치는 각 프레임에 매칭되는 오디오 샘플 수를 520과 같이 조정함으로써 저배속의 재생 시에도 파열음이 발생하는 것을 방지할 수 있다.Referring to FIG. 4, the content production apparatus may receive content matching five audio samples for each frame on an image composed of twelve frames. At this time, as illustrated in FIG. 4, the audio sequence of the content may be linearly formed. When the content illustrated in FIG. 4 is reproduced at 0.5 times speed, an interpolation frame may be inserted between each original frame as shown in FIG. That is, a total of five audio samples can be matched in one frame, which is the original frame, and in the interpolation 1-1, which is the interim frame. However, when 2.5 audio samples are matched in each of the 1 frame and the interpolation 1-1, and 2.5 audio samples are matched to each frame in general, the audio sequence is deformed into a non-linear shape as shown in FIG. The content production apparatus according to an embodiment of the present invention matches two audio samples with respect to an original frame and matches three audio samples with respect to an interpolation frame so as to include a linear audio sequence as well as an audio sequence of original content Slow audio data can be generated. Accordingly, the general low-speed reproduction for the audio sequence generates a non-linear audio sequence such as 510, so that a plosive sound is generated in the speaker during audio reproduction. However, in the content production apparatus according to an embodiment of the present invention, By adjusting the number of audio samples to be 520, it is possible to prevent a plague sound from being generated even at a low speed reproduction.
도 6은 본 발명의 일 실시예에 따른 컨텐츠 제작 장치가 컨텐츠를 제작하는 방법을 예시한 순서도이다. 이하 설명하는 각 단계는 컨텐츠 제작 장치를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 컨텐츠 제작 장치로 통칭하도록 한다.FIG. 6 is a flowchart illustrating a method of generating content by a content production apparatus according to an exemplary embodiment of the present invention. Each step to be described below allows the subject of each step to be collectively referred to as a content production apparatus for a brief and clear description of a process or an invention performed through each functional unit constituting the content production apparatus.
도 6을 참조하면, 단계 610에서 컨텐츠 제작 장치는 원본 컨텐츠를 수신한다. 이 때, 컨텐츠 제작 장치는 슬로우 오디오 데이터의 재생 배율 및 범위 정보를 사용자로부터 입력 받을 수 있다.Referring to FIG. 6, in step 610, the content production apparatus receives original content. At this time, the content production apparatus can receive the playback magnification and range information of the slow audio data from the user.
단계 620에서 컨텐츠 제작 장치는 원본 컨텐츠의 기본 오디오 샘플 및 예비 오디오 샘플을 캐시(210)에 저장한다. 이 때, 컨텐츠 제작 장치는 원본 컨텐츠의 오디오 샘플 중 슬로우 오디오 데이터에 포함되지 않은 오디오 샘플 중 순서가 빠른 오디오 샘플부터 재생 배율에 대해 미리 지정된 수의 기본 오디오 샘플 및 예비 오디오 샘플을 캐시에 저장할 수 있다. 따라서, 컨텐츠 제작 장치는 이전 단계에서 대상 프레임에 대응하는 슬로우 오디오 데이터에 포함된 오디오 샘플 다음에 위치하고 재생 배율에 따라 지정된 수의 오디오 샘플을 캐시(210)에 저장할 수 있다.In step 620, the content production apparatus stores the basic audio samples and the redundant audio samples of the original content in the cache 210. At this time, the content production apparatus can cache a predetermined number of basic audio samples and spare audio samples for the reproduction magnification from the audio samples that are earlier than the audio samples that are not included in the slow audio data among the audio samples of the original contents . Accordingly, the content production apparatus can store a predetermined number of audio samples in the cache 210 after the audio samples included in the slow audio data corresponding to the target frame in the previous step and according to the reproduction magnification.
단계 630에서 컨텐츠 제작 장치는 슬로우 모션 영상의 대상 프레임에 대응하는 오디오 샘플 수를 산출한다. 예를 들어, 컨텐츠 제작 장치는 재생 배율에 따라 생성되는 슬로우 모션 영상의 대상 프레임이 원본 프레임, 보간 프레임 및 추가 보간 프레임 중 어느 하나임을 판단하고, 대상 프레임의 종류에 따라 해당 대상 프레임에 대응하는 오디오 샘플 수를 산출한다.In step 630, the content production apparatus calculates the number of audio samples corresponding to the target frame of the slow motion image. For example, the content production apparatus determines that the target frame of the slow motion image generated according to the reproduction magnification is one of an original frame, an interpolation frame, and an additional interpolation frame, and outputs audio corresponding to the target frame The number of samples is calculated.
단계 640에서 컨텐츠 제작 장치는 대상 프레임에 대응하는 오디오 샘플 수의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력한다. 즉, 컨텐츠 제작 장치는 대상 프레임의 종류에 대응하는 오디오 샘플 수를 포함하는 슬로우 오디오 데이터를 생성 및 출력한다.In step 640, the content production apparatus generates and outputs slow audio data including audio samples of the number of audio samples corresponding to the target frame. That is, the content production apparatus generates and outputs slow audio data including the number of audio samples corresponding to the type of the target frame.
단계 650에서 컨텐츠 제작 장치는 대상 프레임이 원본 컨텐츠의 범위 정보에 해당하는 마지막 프레임인지 확인한다.In step 650, the content production apparatus confirms whether the target frame is the last frame corresponding to the range information of the original content.
단계 650에서 대상 프레임이 원본 컨텐츠의 범위 정보에 해당하는 마지막 프레임 경우, 컨텐츠 제작 장치는 컨텐츠의 제작 과정을 종료한다.If the target frame is the last frame corresponding to the range information of the original content in step 650, the content production apparatus ends the production process of the content.
단계 650에서 대상 프레임이 원본 컨텐츠의 범위 정보에 해당하는 마지막 프레임이 아닌 경우, 컨텐츠 제작 장치는 단계 620부터의 과정을 반복 수행한다.If the target frame is not the last frame corresponding to the range information of the original content in step 650, the content production apparatus repeats the process from step 620.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to the embodiments thereof. Many embodiments other than the above-described embodiments are within the scope of the claims of the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. The disclosed embodiments should, therefore, be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (8)

  1. 원본 컨텐츠를 수신하는 컨텐츠 제공부;A content providing unit for receiving original content;
    사용자로부터 재생 배율을 입력 받는 제어부;A control unit for receiving a playback magnification from a user;
    상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하여 출력하는 영상 처리부; 및An image processor for generating an original image of the original content as a slow motion image according to the reproduction magnification and outputting the slow motion image; And
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 오디오 처리부;An audio processing unit for calculating the number of audio samples according to a type of a target frame of the slow motion video and generating and outputting slow audio data including audio samples of the original content according to the number of audio samples;
    를 포함하는 컨텐츠 제작 장치.And a content creator.
  2. 제1 항에 있어서,The method according to claim 1,
    상기 오디오 처리부는,The audio processing unit includes:
    상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 저장하는 캐시;A cache for storing a primary audio sample and a secondary audio sample corresponding to the playback magnification;
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 피치 쉬프트부; 및A pitch shift unit for calculating the number of audio samples according to a type of a target frame of the slow motion image; And
    상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 슬라이딩 오디오 버퍼And generating and outputting slow audio data including audio samples corresponding to the target frame according to the number of audio samples,
    를 포함하는 것을 특징으로 하는 컨텐츠 제작 장치.And a content creator.
  3. 제2 항에 있어서,3. The method of claim 2,
    상기 슬라이딩 오디오 버퍼는,The sliding audio buffer includes:
    상기 기본 오디오 샘플을 우선적으로 저장하고, Preferentially storing the basic audio samples,
    상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하고, Extracting additional audio samples corresponding to the number of audio samples of the spare audio samples from the cache and storing them after the basic audio samples if the number of audio samples is greater than the number of the basic audio samples,
    상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력하는 것을 특징으로 하는 컨텐츠 제작 장치.And generates and outputs slow audio data including the basic audio sample and the additional audio sample.
  4. 제2 항에 있어서,3. The method of claim 2,
    상기 피치 쉬프트부는,The pitch-
    상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고,Wherein when the target frame is an original frame, the number of audio samples is calculated as the number of original frame samples, which is a value of a value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow motion video,
    상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하고,The number of interpolated frame samples which is a value obtained by dividing the value obtained by dividing the number of 1x-speed audio samples by the total number of frames of the slow-motion image is calculated as the number of audio samples when the object frame is an interpolation frame,
    상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출하는 것을 특징으로 하는 컨텐츠 제작 장치.And a value obtained by dividing the value obtained by subtracting the number of original frame samples and the number of interpolated frame samples from the number of 1x audio samples by the number of additional interpolation frames is calculated as the number of audio samples when the target frame is a supplementary interpolation frame. Lt; / RTI >
  5. 컨텐츠 제작 장치가 컨텐츠를 제작하는 방법에 있어서,A method of producing a content by a content production apparatus,
    원본 컨텐츠를 수신하는 단계;Receiving original content;
    사용자로부터 재생 배율을 입력 받는 단계;Receiving a playback magnification from a user;
    상기 원본 컨텐츠의 원본 영상을 상기 재생 배율에 따라 슬로우 모션 영상으로 생성하는 단계; 및Generating an original image of the original content as a slow motion image according to the reproduction magnification; And
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;Calculating a number of audio samples according to a type of a target frame of the slow motion image, and generating and outputting slow audio data including audio samples of the original content according to the number of audio samples;
    를 포함하는 컨텐츠 제작 방법.And generating the content.
  6. 제5 항에 있어서,6. The method of claim 5,
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하고, 상기 오디오 샘플 수에 따른 상기 원본 컨텐츠의 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는,Wherein the step of calculating the number of audio samples according to the type of the target frame of the slow motion image and generating and outputting the slow audio data including the audio samples of the original content according to the number of audio samples,
    상기 재생 배율에 대응하는 기본 오디오 샘플 및 예비 오디오 샘플을 캐시에 저장하는 단계;Storing a basic audio sample and a spare audio sample corresponding to the playback magnification in a cache;
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계; 및Calculating a number of audio samples according to a type of a target frame of the slow motion image; And
    상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계;Generating and outputting slow audio data including audio samples corresponding to a target frame according to the number of audio samples;
    를 포함하는 것을 특징으로 하는 컨텐츠 제작 방법.And generating the content.
  7. 제6 항에 있어서,The method according to claim 6,
    상기 오디오 샘플 수에 따라 대상 프레임에 대응하는 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성하여 출력하는 단계는,And generating and outputting slow audio data including audio samples corresponding to a target frame according to the number of audio samples,
    상기 기본 오디오 샘플을 슬라이딩 오디오 버퍼에 우선적으로 저장하는 단계;Storing the basic audio samples preferentially in a sliding audio buffer;
    상기 오디오 샘플 수가 상기 기본 오디오 샘플의 수보다 큰 경우, 상기 캐시로부터 예비 오디오 샘플 중 상기 오디오 샘플 수에 대응하는 추가 오디오 샘플을 추출하여 상기 기본 오디오 샘플 이후에 저장하는 단계; 및 Extracting additional audio samples corresponding to the number of audio samples of the spare audio samples from the cache and storing them after the basic audio samples if the number of audio samples is greater than the number of basic audio samples; And
    상기 기본 오디오 샘플 및 상기 추가 오디오 샘플을 포함하는 슬로우 오디오 데이터를 생성 및 출력하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 제작 방법.And generating and outputting slow audio data including the basic audio sample and the additional audio sample.
  8. 제6 항에 있어서,The method according to claim 6,
    상기 슬로우 모션 영상의 대상 프레임의 종류에 따라 오디오 샘플 수를 산출하는 단계는,Wherein the step of calculating the number of audio samples according to the type of the target frame of the slow-
    상기 대상 프레임이 원본 프레임인 경우, 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값의 버림한 값인 원본 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계;Calculating, as the number of audio samples, the number of original frame samples, which is a discarded value of a value obtained by dividing the number of 1 × -speed audio samples by the total number of frames of the slow motion image when the target frame is an original frame;
    상기 대상 프레임이 보간 프레임인 경우, 상기 1배속 오디오 샘플 수를 상기 슬로우 모션 영상의 전체 프레임 수로 나눈 값을 올림한 값인 보간 프레임 샘플 수를 상기 오디오 샘플 수로 산출하는 단계; 및Calculating the number of interpolated frame samples, which is a value obtained by dividing the value obtained by dividing the number of 1-times audio samples by the total number of frames of the slow motion image, when the target frame is an interpolation frame; And
    상기 대상 프레임이 추가 보간 프레임인 경우, 상기 1배속 오디오 샘플 수에서 상기 원본 프레임 샘플 수 및 상기 보간 프레임 샘플 수를 차감한 값을 추가 보간 프레임의 수로 나눈 값을 상기 오디오 샘플 수로 산출하는 단계;Calculating a value obtained by dividing a value obtained by subtracting the number of original frame samples and the number of interpolated frame samples from the number of 1x audio samples by the number of additional interpolation frames when the target frame is a supplementary interpolation frame;
    를 포함하는 것을 특징으로 하는 컨텐츠 제작 방법.And generating the content.
PCT/KR2017/014090 2017-11-29 2017-12-04 Device and method for producing content WO2019107631A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0162138 2017-11-29
KR1020170162138A KR101981955B1 (en) 2017-11-29 2017-11-29 Apparatus and methdo for making contents

Publications (1)

Publication Number Publication Date
WO2019107631A1 true WO2019107631A1 (en) 2019-06-06

Family

ID=66664022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014090 WO2019107631A1 (en) 2017-11-29 2017-12-04 Device and method for producing content

Country Status (2)

Country Link
KR (1) KR101981955B1 (en)
WO (1) WO2019107631A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040010743A (en) * 2001-06-18 2004-01-31 톰슨 라이센싱 에스.에이. Changing a playback speed for a video presentation recorded in a non-progressive frame structure format
KR20060078183A (en) * 2004-12-30 2006-07-05 엘지전자 주식회사 Time scale modification method
KR20090002847A (en) * 2007-07-04 2009-01-09 삼성전자주식회사 Method and apparatus to display slow video by motion compensation and image interpolation
US20100177823A1 (en) * 2004-06-22 2010-07-15 Gaurav Aggarwal Slow motion and high speed for digital video
KR101091992B1 (en) * 2011-02-01 2011-12-09 동국대학교 산학협력단 Apparatus and method for controlling play back speed of audio

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100547445B1 (en) * 2003-11-11 2006-01-31 주식회사 코스모탄 Shifting processing method of digital audio signal and audio / video signal and shifting reproduction method of digital broadcasting signal using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040010743A (en) * 2001-06-18 2004-01-31 톰슨 라이센싱 에스.에이. Changing a playback speed for a video presentation recorded in a non-progressive frame structure format
US20100177823A1 (en) * 2004-06-22 2010-07-15 Gaurav Aggarwal Slow motion and high speed for digital video
KR20060078183A (en) * 2004-12-30 2006-07-05 엘지전자 주식회사 Time scale modification method
KR20090002847A (en) * 2007-07-04 2009-01-09 삼성전자주식회사 Method and apparatus to display slow video by motion compensation and image interpolation
KR101091992B1 (en) * 2011-02-01 2011-12-09 동국대학교 산학협력단 Apparatus and method for controlling play back speed of audio

Also Published As

Publication number Publication date
KR101981955B1 (en) 2019-05-24

Similar Documents

Publication Publication Date Title
KR100738241B1 (en) Image processing apparatus
WO2021085784A1 (en) Learning method of object detection model, and object detection device in which object detection model is executed
WO2012157886A2 (en) Apparatus and method for converting 2d content into 3d content, and computer-readable storage medium thereof
WO2009157713A2 (en) Image processing method and apparatus
US20140064517A1 (en) Multimedia processing system and audio signal processing method
CN112565885A (en) Video segmentation method, system, device and storage medium
WO2010137849A2 (en) Image-processing method and apparatus
WO2019107631A1 (en) Device and method for producing content
WO2014010820A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
WO2022146080A1 (en) Algorithm and method for dynamically changing quantization precision of deep-learning network
WO2019088635A1 (en) Voice synthesis device and method
CN113691862B (en) Video processing method, electronic device for video playing and video playing system
WO2022065537A1 (en) Video reproduction device for providing subtitle synchronization and method for operating same
WO2021045434A1 (en) Electronic device and control method therefor
WO2013028041A2 (en) Method and apparatus for encoding image, and method and apparatus for decoding image
WO2023068503A1 (en) Meta-description conversion method for network data analysis, and network analysis device using same
CN112019923B (en) Video cutting processing method
WO2020032375A1 (en) Movie scenario document analysis device enabling running time estimation and method for operating same
WO2018151540A1 (en) Electronic apparatus for playing substitutional advertisement and method for controlling method thereof
WO2018203579A1 (en) Stereophonic sound generating device and computer program therefor
CN112671966B (en) Ear-return time delay detection device, method, electronic equipment and computer readable storage medium
WO2024038975A1 (en) Apparatus and method for providing speech video
WO2023106554A1 (en) Artificial intelligence-based video edit recommendation method for semi-automatic video editing by means of computer-human cooperation
WO2022270669A1 (en) Method for providing utterance image and computing device for performing same
CN112637615B (en) Method and device for smooth display of intelligent tag in live broadcast scene

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933846

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17933846

Country of ref document: EP

Kind code of ref document: A1