KR102377081B1 - 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 - Google Patents
멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 Download PDFInfo
- Publication number
- KR102377081B1 KR102377081B1 KR1020210100828A KR20210100828A KR102377081B1 KR 102377081 B1 KR102377081 B1 KR 102377081B1 KR 1020210100828 A KR1020210100828 A KR 1020210100828A KR 20210100828 A KR20210100828 A KR 20210100828A KR 102377081 B1 KR102377081 B1 KR 102377081B1
- Authority
- KR
- South Korea
- Prior art keywords
- track
- effect
- video
- data
- tracks
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 160
- 238000013523 data management Methods 0.000 claims abstract description 17
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000002045 lasting effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 24
- 230000014509 gene expression Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011017 operating method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
- H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 발명은 디지털 컨텐츠 생성장치 및 그 방법에 관한 것으로서, 일실시예에 따른 디지털 컨텐츠 생성장치는 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터를 수신하는 데이터 수신부와, 기설정된 영상 효과 및 음성 효과 중 적어도 하나의 효과를 실시간 기록 데이터에 적용하는 데이터 관리부 및 적어도 하나의 효과가 적용된 실시간 기록 데이터를 인코딩하는 멀티 트랙 제어부를 포함한다.
Description
본 발명은 디지털 컨텐츠 생성장치에 관한 것으로, 보다 상세하게는 멀티 트랙에 대한 기록 동작을 제어하는 기술적 사상에 관한 것이다.
최근, 유튜브(YouTube), 틱톡(TikTok) 및 트릴러(Triller)와 같은 영상 공유 어플(App)에 대한 수요가 증가하고 있다.
이러한 영상 공유 어플은 영상의 녹화 기능, 편집 기능 및 업로드 기능과 같이 영상 공유를 위해 필요한 전반적인 기능들을 제공하고 있으나, 복수의 음성 트랙을 포함하는 멀티 트랙에 대한 효율적인 시각화, 기록 및 편집 기능을 제공하지는 못하고 있다.
본 발명은 비트 트랙, 영상 트랙 및 음성 트랙으로 구성되는 멀티 트랙에 대한 기록 동작을 보다 효율적으로 수행할 수 있는 디지털 컨텐츠 생성장치를 제공하고자 한다.
또한, 본 발명은 멀티 트랙 각각에 대응되는 데이터에 실시간으로 영상 효과 및 음성 효과를 적용할 수 있는 디지털 컨텐츠 생성장치를 제공하고자 한다.
본 발명의 일실시예에 따른 디지털 컨텐츠 생성장치는 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터를 수신하는 데이터 수신부와, 기설정된 영상 효과 및 음성 효과 중 적어도 하나의 효과를 실시간 기록 데이터에 적용하는 데이터 관리부 및 적어도 하나의 효과가 적용된 실시간 기록 데이터를 인코딩하는 멀티 트랙 제어부를 포함할 수 있다.
일측에 따르면, 데이터 관리부는 기설정된 초기 효과 정보에 대응되는 적어도 하나의 효과를 실시간 기록 데이터에 적용할 수 있다.
일측에 따르면, 데이터 관리부는 효과 적용을 위한 사용자 입력을 수신하고, 효과 적용을 위한 사용자 입력에 대응되는 적어도 하나의 효과를 실시간 기록 데이터에 적용할 수 있다.
일측에 따르면, 기설정된 영상 효과는 색상 필터 효과 및 증강현실 스티커 효과 중 적어도 하나의 효과를 포함할 수 있다.
일측에 따르면, 기설정된 음성 효과는 리볼브(reverb) 효과, 디스토션(distortion) 효과, 딜레이(delay) 효과, 피치 조정(picth correction) 효과 및 피치 시프트(pitch shift) 효과 중 적어도 하나의 효과를 포함할 수 있다.
일측에 따르면, 멀티 트랙은 비트 트랙, 영상 트랙 및 음성 트랙 중 화면에 표시되는 적어도 둘 이상의 트랙을 포함할 수 있다.
일측에 따르면, 실시간 기록 데이터는 영상 입력 수단을 통해 실시간으로 기록되고 있는 영상 데이터 및 음성 입력 수단을 통해 실시간으로 기록되고 있는 음성 데이터 중 어느 하나의 데이터를 포함할 수 있다.
본 발명의 일실시예에 따른 디지털 컨텐츠 생성방법은 데이터 수신부에서 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터를 수신하는 단계와, 데이터 관리부에서 기설정된 영상 효과 및 음성 효과 중 적어도 하나의 효과를 실시간 기록 데이터에 적용하는 단계 및 멀티 트랙 제어부에서 적어도 하나의 효과가 적용된 실시간 기록 데이터를 인코딩하는 단계를 포함할 수 있다.
일측에 따르면, 기설정된 영상 효과는 색상 필터 효과 및 증강현실 스티커 효과 중 적어도 하나의 효과를 포함할 수 있다.
일측에 따르면, 기설정된 음성 효과는 리볼브(reverb) 효과, 디스토션(distortion) 효과, 딜레이(delay) 효과, 피치 조정(picth correction) 효과 및 피치 시프트(pitch shift) 효과 중 적어도 하나의 효과를 포함할 수 있다.
일실시예에 따르면, 본 발명은 비트 트랙, 영상 트랙 및 음성 트랙으로 구성되는 멀티 트랙에 대한 기록 동작을 보다 효율적으로 수행할 수 있다.
일실시예에 따르면, 본 발명은 멀티 트랙 각각에 대응되는 데이터에 실시간으로 영상 효과 및 음성 효과를 적용할 수 있다.
도 1은 일실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 2는 제1 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 3은 제2 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 4는 제3 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 디지털 컨텐츠 생성장치의 동작예를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 멀티 트랙을 활성화하는 예시를 설명하기 위한 도면이다.
도 7은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 비트 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 8은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 영상 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 9는 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 음성 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 10은 제2 실시예에 따른 디지털 컨텐츠 생성장치의 동작방법을 설명하기 위한 도면이다.
도 11은 제3 실시예에 따른 디지털 컨텐츠 생성장치의 동작방법을 설명하기 위한 도면이다.
도 2는 제1 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 3은 제2 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 4는 제3 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 디지털 컨텐츠 생성장치의 동작예를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 멀티 트랙을 활성화하는 예시를 설명하기 위한 도면이다.
도 7은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 비트 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 8은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 영상 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 9는 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 음성 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 10은 제2 실시예에 따른 디지털 컨텐츠 생성장치의 동작방법을 설명하기 위한 도면이다.
도 11은 제3 실시예에 따른 디지털 컨텐츠 생성장치의 동작방법을 설명하기 위한 도면이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
상술한 구체적인 실시 예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다.
그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 상술한 실시 예들이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 다양한 실시 예들이 내포하는 기술적 사상의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.
그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 일실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 디지털 컨텐츠 생성장치(100)는 입력부(110), 멀티 트랙 제어부(120), 기록 제어부(130) 및 표시 제어부(140)를 포함할 수 있다.
예를 들면, 디지털 컨텐츠 생성장치(100)는 스마트폰 및 테블릿 PC 중 적어도 하나의 사용자 단말에 구비될 수 있으며, 사용자 단말에서 수행되는 영상 공유 어플과 연동하여 동작할 수 있다.
일실시예에 따른 입력부(110)는 카메라와 같이 영상을 기록할 수 있는 영상 입력 수단, 마이크와 같이 음성을 기록할 수 있는 음성 입력 수단 및 사용자 단말에 구비된 화면 상에서 사용자의 터치 입력을 수신할 수 있는 터치 입력 수단을 포함할 수 있다.
이하에서 설명하는 사용자 입력은 터치 입력 수단을 통한 사용자의 터치 입력을 의미하나, 일실시예에 따른 사용자 입력은 이에 한정되지 않고 영상 입력 수단을 이용한 사용자의 제스처 입력 및 음성 입력 수단을 이용한 사용자의 음성 명령 입력을 포함할 수도 있다.
일실시예에 따른 멀티 트랙 제어부(120)는 사용자 입력에 대응하여, 비트 트랙, 영상 트랙 및 음성 트랙 중 적어도 둘 이상의 멀티 트랙을 화면에 표시하기 위한 UI 제어신호를 생성할 수 있다.
예를 들면, 비트 트랙은 비트 음원 데이터 및 배경 음원 데이터 중 적어도 하나의 데이터를 포함할 수 있다. 또한, 비트 트랙은 사전에 비트 데이터 서버로부터 다운받아 사용자 단말에 저장되어 있거나, 사용자에 의해 사전에 제작되어 사용자 단말에 저장되어 있을 수 있다.
또한, 영상 트랙은 영상 입력 수단을 통해 실시간으로 기록(즉, 녹화) 중인 영상 데이터 및 기록(즉, 녹화)이 완료된 영상 데이터 중 적어도 하나의 영상 데이터에 대응되는 트랙이고, 음성 트랙은 음성 입력 수단을 통해 실시간으로 기록(즉, 녹음) 중인 음성 데이터 및 기록(즉, 녹음)이 완료된 음성 데이터 중 적어도 하나의 음성 데이터에 대응되는 트랙일 수 있다.
일실시예에 따른 표시 제어부(140)는 멀티 트랙 제어부(120)로부터 UI 제어신호를 수신하고, 수신한 UI 제어신호에 기초하여 화면을 통해 표시되는 영상을 최대한 가리지 않고, 멀티 트랙을 화면 상에서 효율적으로 시각화할 수 있다.
또한, 표시 제어부(140)는 화면을 통해 표시되는 영상 및 멀티 트랙과 함께, 기록 버튼, 기록 완료 버튼, 재생 버튼 및 정지 버튼 중 적어도 하나의 가상 버튼을 화면 상에 시각화할 수 있다.
구체적으로, 멀티 트랙 제어부(120)는 멀티 트랙 중 어느 하나의 트랙이 사용자 입력에 의해 활성화된 상태에서 기록 버튼에 대한 사용자 입력이 감지되면 활성화된 트랙에 대응되는 실시간 기록 데이터(즉, 실시간으로 기록 중인 영상/음성 데이터)를 생성할 수 있다.
또한, 멀티 트랙 제어부(120)는 기록 버튼에 대한 사용자 입력이 감지된 이후에, 정지 버튼(또는 정지 버튼 + 기록 완료 버튼)에 대한 사용자 입력이 감지되거나, 정지 버튼에 대한 사용자 입력이 기설정된 임계 시간이 초과할 때까지 감지되지 않으면, 최초 기록 시점(0:00) 부터 정지 버튼에 대한 입력이 감지된 시간 또는 임계 시간까지 기록된 데이터를 기록 데이터(즉, 기록이 일시정지/완료된 영상 데이터 및/또는 음성 데이터)로 생성할 수 있다.
일측에 따르면, 기설정된 임계 시간은 비트 트랙의 총 재생 시간(즉, 비트 길이)일 수 있다.
구체적으로, 멀티 트랙 제어부(120)는 기설정된 비트 트랙의 비트 길이가 3분 40초인 경우에, 최대 3분 40초까지 단일 트랙에 대한 기록(녹음/녹화)을 수행할 수 있고, 하나의 트랙에 대해 3분 40초를 초과하여 기록이 진행이 되면 하나의 트랙에 하나의 파일(데이터)만이 생성될 수 있으며, 하나의 트랙에 대해 3분 40초 내에서 3번 나눠서 기록이 진행되면 하나의 트랙에 대해 3개의 파일(데이터)가 생성될 수 있다.
일측에 따르면, 입력부(110), 멀티 트랙 제어부(120) 및 표시 제어부(140)는 기록 제어부(130)를 통해 제어될 수 있다. 즉, 멀티 트랙 제어부(120)는 기록 제어부(130)를 통해 제어되어 실시간 기록 데이터 및/또는 기록 데이터를 생성할 수 있다.
한편, 표시 제어부(140)는 기록 버튼에 대한 사용자 입력이 감지되면, 기록 버튼에 대응되는 위치에 기록 버튼 대신 정지 버튼을 표시할 수 있으며, 이후 정지 버튼에 대한 사용자 입력이 감지되면, 정지 버튼에 대응되는 위치에 정지 버튼 대신 기록 버튼을 다시 표시할 수 있다.
또한, 표시 제어부(140)는 정지 버튼과 함께 기록 완료 버튼을 시각화할 수도 있다.
일실시예에 따른 멀티 트랙 제어부(120) 및 표시 제어부(140)는 이후 실시예 도 2를 통해 보다 구체적으로 설명하기로 한다.
일실시예에 따른 기록 제어부(130)는 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터 또는 기록 데이터를 수신하고, 수신된 데이터에 영상 효과 및 음성 효과 중 적어도 하나의 효과를 적용할 수 있다.
구체적으로, 기록 제어부(130)는 멀티 트랙에 대한 기록 과정 및 편집 과정 전반에 필요한 기능을 제공할 수도 있다.
이를 위해, 기록 제어부(130)는 오디오 매니저(AudioManager), 오디오 기록 매니저(AudioRecordManager), 카메라 뷰 매니저(CameraViewManager), 미디어 매니저(MediaManager) 및 비디오 뷰 매니저(VideoViewManager)를 포함할 수 있다.
구체적으로, 오디오 매니저는 음성 효과(Reverb, Delay, Distortion, Pitch Shift, Pitch correction과 같은 효과)와 함께 여러 트랙의 동시 재생을 지원하는 매니저로, 여기서 트랙은 동시에 N(여기서, N은 양의 정수)개까지 재생할 수 있다.
오디오 매니저는 음성 효과와 함께 음성 트랙을 재생하기 위해, 직접 PCM 데이터를 로딩하여 음성 효과를 입힌 데이터를 가공해서 재생되도록 제어할 수 있다.
보다 구체적으로, 오디오 매니저는 음성 트랙에 음성 효과를 적용하기 위해, 음성트랙을 초기화하는 startSession 함수, 음성 트랙을 중지하고 해당 리소스를 반환하는 stopSession 함수, 음성 재생시 실제 사용자 단말의 스피커에서 출력되기까지 걸리는 딜레이 시간을 반환하는 getAudioDelay 함수, 선택한 음성 트랙에 음성 효과를 적용하는 setEffect 함수, 선택한 음성 트랙의 모든 트랙에 대해서 EQ를 설정하는 setEQ 함수를 이용할 수 있다.
또한, 오디오 매니저는 선택한 음성 트랙의 볼륨을 조절하는 setVolume 함수, 재생하고자 하는 음성 트랙 정보를 입력하는 setPlaylist 함수, 선택한 음성 트랙의 총재생 길이를 결정하는 setTotalDurationTime 함수, 음성 재생시 페이드-인(Fade-in), 페이드-아웃(Fade-out) 시간을 지정하는 setFadeTiming 함수, 음성 트랙의 시작 시간에 맞춰 음성을 재생하는 play 함수 및 현재 재생 중인 음성 트랙을 정지하는 stop 함수를 이용할 수 있다.
오디오 기록 매니저는 영상에 대한 기록(녹화) 없이 음성만 기록(녹음)하기 위한 매니저로, 이를 위해 오디오 기록 매니저는 현재 마이크로 들어오는 음성을 현재 적용된 음성 효과와 함께 직접 들을 수 있게 에코(모니터링) 해주는 setEchoMode 함수, 음성 트랙에서 음성 기록을 시작하는 startAudioRecord 함수 및 음성 트랙에서 음성 녹음을 중지하는 stopAudioRecord 함수를 이용할 수 있다.
여기서, startAudioRecord 함수는 음성 트랙이 기록 중지 후 재 기록시 기존 음성 파일과 별도로 새로운 음성 파일을 생성하여 추가되도록 제어할 수 있다.
카메라 뷰 매니저는 카메라에서 받은 화면을 쉐이더(Shader)와 함께 출력하고, 쉐이더 상태로 출력된 영상을 녹화하기 위한 매니저로, 이를 위해 카메라 뷰 매니저는 카메라를 실행하고 실시간 영상정보 및 실시간 음성정보를 받아오는 startSession 함수, 카메라를 종료하고 그와 관련된 모든 동작을 종료하는 endSession 함수, 전면/후면카메라를 설정하는 setCameraDirection 함수, 카메라 플래쉬를 설정하는 setFlashLight 함수, 카메라 뷰의 쉐이더를 결정하고, 설정된 영상 효과를 적용하는 setShader 함수, 카메라의 줌을 설정하는 setZoom 함수, 현 재 카메라 뷰에 시각화되는 실시간 영상 정보 및 음성 정보를 녹화하는 startVideoRecord 함수 및 녹화를 종료하는 stopVideoRecord 함수를 이용할 수 있다.
여기서, 멀티 트랙 중 시각화 되는 영상 트랙은 하나이나, stopVideoRecord 함수는 기록 중지 후 재 기록시, 기존 영상 파일에 이어서 녹화하지 않고, 새로운 비디오 파일을 생성하여 추가할 수 있다.
미디어 매니저는 영상 트랙 및 음성 트랙에 대응하여 기록된 영상 파일과 음성 파일로부터 정보를 가져오기 위한 매니저로, 이를 위해 미디어 매니저는 영상 파일에서 영상의 길이를 가져오는 getVideoFileDescription 함수, 여러 개의 영상 파일에서 썸네일 이미지 하나를 문자열로 반환하는 getVideoPreviewBase64 함수, 여러 개의 영상 파일에서 썸네일 이미지 여러장을 문자열 목록으로 반환하는 getVideoPreviewListBase64 함수, 음성파일에서 음성의 길이 정보를 가져오는 getAudioFileDescription 함수 및 음성파일에서 PCM 데이터를 가져오는 getAudioVisualPCMData 함수를 이용할 수 있다.
비디오 뷰 매니저는 기록된 여러 개의 영상 파일을 지정된 쉐이더와 함께 재생하기 위한 매니저로, 이를 위해 비디오 뷰 매니저는 영상 트랙의 영상 파일 목록을 저장하는 setPlaylist 함수, 영상 재생 시 페이드-인 및 페이드-아웃 시간을 저장하는 setFadeTiming 함수, 시작 시간에 맞춰 영상을 재생하는 play 함수, 재생 중인 영상을 종료하는 stop 함수, 여러 개의 영상 파일 목록을 영상 검색에 맞춰 해당 파일 및 시간으로 설명/재생하는 seek 함수 및 비디오 뷰의 쉐이더를 설정하는 setShader 함수를 이용할 수 있다.
여기서, 영상 트랙은 단일 트랙이나 setPlaylist 함수는 기록 중지 후 재 기록 시 기존 영상 파일에 이어서 기록하지 않고, 새로운 비디오 파일을 생성하여 추가할 수 있다. 또한, setShader 함수는 영상의 LUT(Look-Up Table) 필터를 포함한 여러 영상 효과 필터에 적용될 수 있다.
한편, 멀티 트랙 제어부(120)는 기록 제어부(130)를 통해 녹화/편집 처리된 데이터를 인코딩할 수 있으며, 이를 위해 인코딩 매니저(EncodingManager)를 포함할 수 있다.
인코딩 매니저는 프로젝트 구성 정보(Project.json)에 저장된 프로젝트 정보를 바탕으로 최종 영상을 생성하기 위한 매니저로, 이를 위해 인코딩 매니저는 Project.json 파일을 이용하여 인코딩을 시작하는 encodeProject 함수 및 인코딩을 중단하는 stop 함수를 이용할 있으며, 여기서 Project.json 파일은 녹화 화면 진입시 생성될 수 있다.
일측에 따르면, 디지털 컨텐츠 생성장치(100)를 이용한 멀티 트랙의 기록 과정에서, 사용자 단말의 화면 상에 녹화 화면이 실행된 후에 녹화 화면이 로딩되면, 카메라 뷰 매니저는 카메라를 활성화하고, 오디오 매니저는 모든 트랙의 볼륨, EQ 및 음성 효과를 초기화할 수 있다.
다음으로, 화면 상에서 영상 트랙이 추가/변경되면, 카메라 뷰 매니저는 카메라의 설정치(방향, 줌 등)을 초기화하고, 오디오 매니저는 해당 트랙의 볼륨, EQ, 음성 효과를 초기화할 수 있으며, 화면 상에서 음성 트랙이 추가/변경되면, 오디오 매니저는 해당 트랙의 볼륨, EQ, 음성 효과를 초기화할 수 있다.
다음으로, 화면 상에서 영상 트랙에 대한 기록이 수행되면, 카메라 뷰 매니저는 영상/음성 데이터를 기록하고, 오디오 매니저는 해당 트랙의 볼륨, EQ, 음성 효과를 초기화할 수 있다.
다음으로, 화면 상에서 음성 트랙에 대한 녹음이 수행되면, 오디오 기록 매니저에서 음성 데이터를 기록하고, 오디오 매니저는 해당 트랙의 볼륨, EQ, 음성 효과를 초기화할 수 있다.
다음으로, 화면 상에서 영상 효과가 추가/변경되면, 카메라 뷰 매니저는 영상 데이터에 영상 효과를 적용하고, 화면 상에서 음성 효과가 추가/변경되면, 오디오 기록 매니저에서 음성 데이터에 대한 모니터링을 수행하고, 오디오 매니저에서 음성 트랙의 음성 효과를 초기화 및 변경할 수 있다.
일측에 따르면, 디지털 컨텐츠 생성장치(100)를 이용한 멀티 트랙의 편집 과정에서, 사용자 단말의 화면 상에 편집 화면이 실행되면, 미디어 매니저는 각 트랙별 영상/음성 파일 정보를 불러올 수 있다.
다음으로, 화면 상에서 편집 화면이 로딩되면, 비디오 뷰 매니저는 영상을 활성화시킬 수 있으며, 화면 상에서 영상에 스티커/텍스트가 추가되면, 비디오 뷰 매니저는 비디오 텍스쳐를 추가할 수 있다.
다음으로, 화면 상에서 영상의 길이가 조절되면, 비디오 뷰 매니저는 영상 미리보기를 제공하고, 미디어 매니저는 대응되는 영상 파일 정보를 불러올 수 있다.
다음으로, 화면 상에서 영상의 페이드-인/페이드-아웃 효과가 적용되면, 비디오 뷰 매니저는 영상 페이드 효과의 미리보기를 제공하고, 미디어 매니저는 대응되는 영상 파일 정보를 불러올 수 있다.
다음으로, 화면 상에서 음성의 페이드-인/페이드-아웃 효과가 적용되면, 오디오 매니저는 음성 페이드 효과 미리듣기를 제공하고, 미디어 매니저는 대응되는 음성 파일 정보를 불러올 수 있다.
다음으로, 화면 상에서 EQ가 적용되면, 오디오 매니저는 음성 EQ 미리듣기를 제공하고, 미디어 매니저는 대응되는 음성 파일 정보를 불러올 수 있다.
다음으로, 화면 상에서 영상 커버 이미지 선택이 수행되면, 비디오 뷰 매니저는 대응되는 영상 미리보기를 제공하고, 미디어 매니저는 영상 미리보기 중에서 사용자의 입력을 통해 선택된 하나의 이미지 정보를 불러올 수 있다.
일실시예에 따른 기록 제어부(130)는 이후 실시예 도 3 내지 도 4를 통해 보다 구체적으로 설명하기로 한다.
도 2는 제1 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 2를 참조하면, 제1 실시예에 따른 디지털 컨텐츠 생성장치(200)는 비트 트랙, 영상 트랙 및 음성 트랙으로 구성되는 멀티 트랙에 대한 기록 동작을 보다 효율적으로 수행할 수 있다.
또한, 디지털 컨텐츠 생성장치(200)는 화면을 통해 표시되는 영상을 최대한 가리지 않고, 멀티 트랙을 화면 상에 효율적으로 시각화할 수 있다.
또한, 디지털 컨텐츠 생성장치(200)는 멀티 트랙을 가이드 트랙과 촬영 트랙으로 구분하고, 구분된 가이드 트랙과 촬영 트랙을 화면 상에 동시에 시각화하여 사용자의 편의성을 향상시킬 수 있다.
이를 위해, 디지털 컨텐츠 생성장치(200)는 멀티 트랙 제어부(210) 및 표시 제어부(220)를 포함할 수 있다. 즉, 도 2를 통해 설명하는 멀티 트랙 제어부(210) 및 표시 제어부(220)는 도 1을 통해 설명한 일실시예에 따른 디지털 컨텐츠 생성장치의 멀티 트랙 제어부 및 표시 제어부일 수 있다.
제1 실시예에 따른 멀티 트랙 제어부(210)는 사용자 입력에 기초하여 UI 제어신호를 생성할 수 있다.
또한, 표시 제어부(220)는 UI 제어신호에 기초하여 화면의 제1 영역에 비트 트랙, 영상 트랙 및 음성 트랙 중 적어도 둘 이상의 멀티 트랙을 표시하고, 화면의 제2 영역에 기록 버튼을 표시할 수 있다.
예를 들면, 표시 제어부(220)는 사용자 단말의 화면 상에서 제1 영역 및 제1 영역의 하단에 배치되는 제2 영역을 설정할 수 있다.
또한, 멀티 트랙은 영상 트랙 및 음성 트랙 중 적어도 하나의 트랙이 비트 트랙에 동기화될 수 있다. 다시 말해, 멀티 트랙은 비트 트랙의 시간 정보에 기초하여 나머지 트랙들이 동기화될 수 있다.
일측에 따르면, 멀티 트랙 제어부(210)는 멀티 트랙을 기록 작업이 완료된 가이드 트랙과 기록 작업이 가능한 촬영 트랙으로 구분하고, 가이드 트랙을 제1 영역에 구비된 제1 서브영역에 표시하며, 촬영 트랙을 제1 영역에 구비된 제2 서브영역에 표시하기 위한 UI 제어신호를 생성할 수 있다.
예를 들면, 가이드 트랙에서는 선택된 트랙의 진행도를 표시하고, 촬영 트랙에서는 기록 진행 시, 영상 트랙의 경우에는 프리뷰, 음성 트랙의 경우에는 기록된 음성의 파형을 표시할 수 있다.
일측에 따르면, 멀티 트랙 제어부(210)는 영상 트랙 및 음성 트랙 중 기록된 데이터의 길이가 기설정된 임계 시간 이상인 트랙과, 비트 트랙을 가이드 트랙으로 구분할 수 있다.
또한, 멀티 트랙 제어부(210)는 영상 트랙 및 음성 트랙 중 사용자 입력에 따른 기록 완료 신호가 수신된 트랙과, 비트 트랙을 가이드 트랙으로 구분할 수도 있다.
즉, 비트 트랙은 사용자 입력에 따라 가이드 트랙이 선택됨과 동시에 제1 영역에 고정적으로 표시될 수 있다.
구체적으로, 멀티 트랙 제어부(210)는 영상 트랙 및 음성 트랙 중 어느 하나의 트랙이 활성화되고, 화면 상에 표시된 기록 버튼에 대한 사용자 입력이 감지된 이후에, 정지 버튼에 대한 사용자 입력이 기설정된 임계 시간이 초과할 때까지 감지되지 않거나, 화면 상에 표시된 기록 완료 버튼에 대한 사용자 입력이 감지되면, 활성화된 트랙을 가이드 트랙으로 구분될 수 있다.
또한, 멀티 트랙 제어부(210)는 제1 영역을 제1 서브영역과 제1 서브영역의 하단에 배치되는 제2 서브영역으로 구분하고, 제1 서브영역에 적어도 하나 이상의 가이드 트랙을 표시하며, 제2 서브영역에 적어도 하나의 촬영 트랙을 표시하기 위한 UI 제어신호를 생성할 수 있다.
일측에 따르면, 제1 서브 영역은 가이드 트랙으로 구분된 N개(여기서, N은 양의 정수)의 트랙 중 제1 가이드 트랙을 표시하는 제1 트랙 영역과, 제1 가이드 트랙에 대응되는 아이콘이 표시되는 제1 아이콘 영역을 포함할 수 있다.
또한, 제2 서브 영역은 촬영 트랙으로 구분된 M개(여기서, M은 양의 정수)의 트랙 중 제1 촬영 트랙을 표시하는 제2 트랙 영역과, 제1 촬영 트랙에 대응되는 아이콘이 표시되는 제2 아이콘 영역을 포함할 수 있다.
일측에 따르면, 멀티 트랙 제어부(210)는 제1 아이콘 영역에 대한 사용자 입력이 감지되면, 제1 트랙 영역에 가이드 트랙으로 구분된 N개의 트랙 중 제2 가이드 트랙을 표시하도록 제어하는 UI 제어신호를 생성할 수 있다.
또한, 멀티 트랙 제어부(210)는 제2 아이콘 영역에 대한 사용자 입력이 감지되면, 제2 트랙 영역에 촬영 트랙으로 구분된 M개의 트랙 중 제2 촬영 트랙을 표시하도록 제어하는 UI 제어신호를 생성할 수 있다.
구체적으로, 제1 서브 영역 및 제2 서브 영역 각각은 제1 내지 제N 가이드 트랙 중 제1 가이드 트랙과, 제1 내지 제M 촬영 트랙 중 제1 촬영 트랙만이 화면 내에 표시될 수 있으며, 제1 서브 영역 및 제2 서브 영역 각각에 구비된 제1 아이콘 영역 및 제2 아이콘 영역에 대한 사용자 입력이 감지될 때마다 화면에 표시되는 트랙을 순차적으로 변경할 수 있다.
다시 말해, 제1 아이콘 영역에 대한 사용자 입력이 감지될 때마다 제1 트랙 영역에는 제2 내지 제N 가이드 트랙이 순차적으로 표시되고, 제2 아이콘 영역에 대한 사용자 입력이 감지될 때마다 제2 트랙 영역에는 제2 내지 제M 촬영 트랙이 순차적으로 표시될 수 있다.
또한, 제N 가이드 트랙이 제1 트랙 영역에 표시된 상태에서 제1 아이콘 영역에 대한 사용자 입력이 감지되면 제1 트랙 영역에는 다시 제1 가이드 트랙이 표시되고, 제M 촬영 트랙이 제2 트랙 영역에 표시된 상태에서 제2 아이콘 영역에 대한 사용자 입력이 감지되면 제2 트랙 영역에는 다시 제1 촬영 트랙이 표시될 수 있다.
예를 들면, 제1 내지 제N 가이드 트랙과 제1 내지 제M 촬영 트랙 각각은 생성된 시간에 기초하여 순차적으로 넘버링될 수 있다.
한편, 표시 제어부(220)는 가이드 트랙에 대한 사용자 입력이 감지되면, 화면의 제2 영역에 재생 버튼을 표시할 수 있다.
구체적으로, 표시 제어부(220)는 가이드 트랙이 활성화되면, 제2 영역에서 기록 버튼에 대응되는 위치에 기록 버튼 대신 재생 버튼을 표시할 수 있으며, 촬영 트랙이 활성화되면, 제2 영역에 기록 버튼을 그대로 표시할 수 있다.
일측에 따르면, 멀티 트랙 제어부(210)는 기록 버튼에 대한 사용자 입력 또는 기설정된 어플의 실행을 위한 사용자 입력이 감지되면, 영상 트랙 및 제1 음성 트랙 중 적어도 하나의 트랙과 비트 트랙을 제1 영역에 표시하기 위한 UI 제어신호를 생성할 수 있다.
예를 들면, 기설정된 어플은 영상/음성에 대한 기록 기능을 제공하는 영상 공유 어플로, 디지털 컨텐츠 생성장치(200)의 동작에 기초하여 어플 실행 시 제1 영역에 멀티 트랙을 표시하고, 제2 영역에 기록 버튼을 표시할 수 있다.
구체적으로, 멀티 트랙 제어부(210)는 사용자 입력을 통해 기설정된 어플이 실행되면, 하나의 영상 트랙 및 하나의 음성 트랙을 촬영 트랙으로 생성할 수 있다.
또한, 멀티 트랙 제어부(210)는 사용자 입력을 통해 기설정된 어플이 실행된 후, 최초에 기록 버튼에 대한 사용자 입력이 감지되면, 하나의 영상 트랙 및 하나의 음성 트랙을 촬영 트랙으로 생성할 수도 있다.
또한, 멀티 트랙 제어부(210)는 사용자의 입력에 기초하여 복수의 비트 중 어느 하나의 비트를 선택하여 가이드 트랙으로 생성할 수 있으며, 사용자 입력을 통해 기설정된 어플이 실행되면 기설정된 비트 트랙을 가이드 트랙으로 자동 생성할 수도 있다.
일측에 따르면, 멀티 트랙 제어부(210)는 영상 트랙 및 제1 음성 트랙 중 적어도 하나의 트랙과 비트 트랙이 제1 영역에 표시되고, 기록 버튼에 대한 사용자 입력이 감지되면, 제2 음성 트랙을 제1 영역에 표시하기 위한 UI 제어신호를 생성할 수 있다.
이후, 멀티 트랙 제어부(210)는 기록 버튼에 대한 사용자 입력이 입력될 때마다 제1 영역 상에 제3 내지 제i 음성 트랙(여기서, i는 양의 정수)을 생성하여 표시하기 위한 UI 제어신호를 생성할 수 있다.
즉, 제1 영역에는 하나의 비트 트랙, 하나의 영상 트랙 및 i개의 음성 트랙이 표시될 수 있다.
일측에 따르면, 멀티 트랙 제어부(210)는 멀티 트랙 중 어느 하나의 트랙의 터치 동작에 따른 사용자 입력이 1회 감지되면, 어느 하나의 트랙이 활성화 되도록 제어하는 UI 제어신호를 생성할 수 있다.
또한, 멀티 트랙 제어부(210)는 어느 하나의 트랙의 터치 동작에 따른 사용자 입력이 2회 감지되면, 어느 하나의 트랙에 대한 편집 메뉴를 표시하기 위한 UI 제어신호를 생성할 수 있다.
또한, 멀티 트랙 제어부(210)는 기설정된 입력시간 동안 지속되는 어느 하나의 트랙의 터치 동작에 따른 사용자 입력이 감지되면, 어느 하나의 트랙에 대한 트랙 옵션 메뉴를 표시하기 위한 UI 제어신호를 생성할 수 있다.
구체적으로, 멀티 트랙 제어부(210)는 멀티 트랙 중 어느 하나의 트랙이 짧게 한번 터치되면 어느 하나의 트랙을 활성화하고, 어느 하나의 트랙이 짧게 두번 터치되면 어느 하나의 트랙에 대한 편집 기능을 제공할 수 있으며, 어느 하나의 트랙이 길게 터치되면 트랙 옵션 기능을 제공할 수 있다.
예를 들면, 어느 하나의 트랙에 대한 편집 메뉴는 오디오 FX 기능, 트랙 브레이크 기능, 볼륨 제어 기능 및 트랙 초기화 기능 중 적어도 하나의 기능을 포함할 수 있다.
또한, 트랙 옵션 기능은 트랙 삭제 기능 및 트랙 복제 기능 중 적어도 하나의 기능을 포함할 수 있다.
한편, 표시 제어부(220)는 영상 트랙에 대한 사용자 입력에 기초하여, 영상 트랙에 대응되는 기록 동작 또는 재생 동작이 수행되면, 화면에 기록 동작 또는 재생 동작에 따른 영상 데이터를 표시하되, 멀티 트랙이 오버랩되어 표시되도록 제어할 수 있다.
다시 말해, 표시 제어부(220)는 화면을 통해 표시되는 영상을 최대한 가리지 않고, 멀티 트랙을 화면 상에 효율적으로 시각화할 수 있다.
제1 실시예에 따른 디지털 컨텐츠 생성장치(200)는 이후 실시예 도 5 내지 도 9를 통해 보다 구체적으로 설명하기로 한다.
도 3은 제2 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 3을 참조하면, 제2 실시예에 따른 디지털 컨텐츠 생성장치(300)는 비트 트랙, 영상 트랙 및 음성 트랙으로 구성되는 멀티 트랙에 대한 기록 동작을 보다 효율적으로 수행할 수 있다.
또한, 디지털 컨텐츠 생성장치(300)는 멀티 트랙 각각에 대응되는 데이터에 실시간으로 영상 효과 및 음성 효과를 적용할 수 있다.
이를 위해, 디지털 컨텐츠 생성장치(300)는 데이터 수신부(310), 데이터 관리부(320) 및 멀티 트랙 제어부(330)를 포함할 수 있다. 즉, 도 3을 통해 설명하는 데이터 수신부(310) 및 데이터 관리부(320)는 도 1을 통해 설명한 일실시예에 따른 디지털 컨텐츠 생성장치의 기록 제어부에 포함될 수 있고, 멀티 트랙 제어부(330)는 일실시예에 따른 디지털 컨텐츠 생성장치의 멀티 트랙 제어부일 수 있다.
제2 실시예에 따른 데이터 수신부(310)는 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터를 수신할 수 있다.
예를 들면, 멀티 트랙은 비트 트랙, 영상 트랙 및 음성 트랙 중 화면에 표시되는 적어도 둘 이상의 트랙을 포함할 수 있다.
또한, 실시간 기록 데이터는 영상 입력 수단을 통해 실시간으로 기록되고 있는 영상 데이터 및 음성 입력 수단을 통해 실시간으로 기록되고 있는 음성 데이터 중 어느 하나의 데이터를 포함할 수 있다.
제2 실시예에 따른 데이터 관리부(320)는 기설정된 영상 효과 및 음성 효과 중 적어도 하나의 효과를 실시간 기록 데이터에 적용할 수 있다.
예를 들면, 기설정된 영상 효과는 색상 필터 효과 및 증강현실(AR) 스티커 효과 중 적어도 하나의 효과를 포함하고, 기설정된 음성 효과는 리볼브(reverb) 효과, 디스토션(distortion) 효과, 딜레이(delay) 효과, 피치 조정(picth correction) 효과 및 피치 시프트(pitch shift) 효과 중 적어도 하나의 효과를 포함할 수 있다.
일측에 따르면, 화면은 멀티 트랙이 표시되는 제1 영역과, 제1 영역의 하단에 배치되고 기록 버튼, 기록 완료 버튼, 재생 버튼 및 정지 버튼 중 적어도 하나의 가상 버튼이 표시되는 제2 영역 및 제2 영역의 하단에 배치되고 제1 영역에 표시된 멀티 트랙 중 활성화된 어느 하나의 트랙에 대한 정보를 표시하는 제3 영역을 포함할 수 있다.
구체적으로, 제1 영역에 표시된 비트 트랙이 짧게 두번 터치되면, 제3 영역에는 비트 브레이크 아이콘, 볼륨 아이콘 및 해당 세션에서 작업한 편집 내용을 초기화하는 초기화 아이콘 중 적어도 하나의 아이콘이 표시될 수 있으며, 이후 제3 영역에 표시된 비트 브레이크 아이콘 및 볼륨 아이콘 중 어느 하나의 아이콘이 터치되면 터치된 아이콘의 효과를 적용하기 위한 세부 편집 기능이 제2 영역에 표시될 수 있다.
예를 들면, 비트 브레이크 아이콘이 터치되면, 제2 영역에는 기록 버튼이 표시되고, 이후 제1 영역에 표시된 트랙에 대한 스와이프 동작 및 기록 버튼에 대한 사용자 입력을 통해 비트 트랙에서 원하는 구간의 비트를 삭제할 수 있다.
또한, 볼륨을 제어 아이콘이 터치되면, 제2 영역에는 비트 트랙의 볼륨을 제어하기 위한 게이지 바가 표시되고, 이후 게이지 바에 대한 사용자 입력을 통해 비트 트랙에 대응되는 비트 데이터의 볼륨을 제어할 수 있다.
제1 영역에 표시된 음성 트랙이 짧게 두번 터치되면, 제3 영역에는 오디오 FX 아이콘, 오디오 트랙 브레이크 아이콘, 볼륨 아이콘 및 초기화 아이콘이 표시될 수 있으며, 이후 제3 영역에 표시된 오디오 FX 아이콘, 오디오 트랙 브레이크 아이콘 및 볼륨 아이콘 중 어느 하나의 아이콘이 터치되면 터치된 아이콘의 효과를 적용하기 위한 세부 편집 기능이 제2 영역에 표시될 수 있다.
예를 들면, 오디오 FX 아이콘이 터치되면, 제2 영역에는 오디오 FX의 세부 기능인 리볼브 조절 아이콘, 디스토션 조절 아이콘, 딜레이 조절 아이콘 및 피치 조절 아이콘이 표시되고, 이후 제2 영역에 표시된 아이콘에 대한 사용자 입력을 통해 관련 음성 데이터를 조절할 수 있다.
또한, 오디오 트랙 브레이크 아이콘을 터치하면, 제2 영역에는 기록 버튼이 표시되고, 이후 제1 영역에 표시된 트랙에 대한 스와이프 동작 및 기록 버튼에 대한 사용자 입력을 통해 음성 트랙에서 원하는 구간의 음성 데이터를 삭제할 수 있다.
마찬가지로, 제1 영역에 표시된 영상 트랙이 짧게 두번 터치되면, 제3 영역에는 색상 필터 아이콘 및 증강현실 스티커 아이콘이 표시될 수 있으며, 이후 제3 영역에 표시된 색상 필터 아이콘 및 증강현실 스티커 아이콘 중 적어도 하나의 아이콘이 터치되면 터치된 아이콘의 효과를 적용하기 위한 세부 편집 기능이 제2 영역에 표시될 수 있다.
일측에 따르면, 증강현실 스티커는 대응되는 컨텐츠가 연동되어 있으며, 데이터 관리부(320)는 사용자 입력에 따라 복수의 증강현실 스티커 중 적어도 하나의 증강현실 스티커를 영상 데이터에 반영할 수 있으며, 영상 데이터에 반영된 증강현실 스티커가 터치되면 터치된 증강현실 스티커에 대응되는 컨텐츠를 사용자에게 제공할 수 있다.
예를 들면, 증강현실 스티커에 대응되는 컨텐츠는 영상 컨텐츠를 포함할 수 있다.
일측에 따르면, 데이터 관리부(320)는 기설정된 초기 효과 정보에 대응되는 적어도 하나의 효과를 실시간 기록 데이터에 적용할 수 있다.
일측에 따르면, 데이터 관리부(320)는 효과 적용을 위한 사용자 입력을 수신하고, 효과 적용을 위한 사용자 입력에 대응되는 적어도 하나의 효과를 실시간 기록 데이터에 적용할 수 있다.
또한, 제2 실시예에 따른 멀티 트랙 제어부(330)는 적어도 하나의 효과가 적용된 실시간 기록 데이터를 인코딩할 수 있다.
도 4는 제3 실시예에 따른 디지털 컨텐츠 생성장치를 설명하기 위한 도면이다.
도 4를 참조하면, 제3 실시예에 따른 디지털 컨텐츠 생성장치(400)는 비트 트랙, 영상 트랙 및 음성 트랙으로 구성되는 멀티 트랙에 대한 기록 동작을 보다 효율적으로 수행할 수 있다.
또한, 디지털 컨텐츠 생성장치(400)는 멀티 트랙 각각에 대응하여 기록된 데이터를 보다 효율적으로 편집할 수 있다.
이를 위해, 디지털 컨텐츠 생성장치(400)는 데이터 수신부(410), 데이터 편집부(420) 및 멀티 트랙 제어부(430)를 포함할 수 있다. 즉, 도 4를 통해 설명하는 데이터 수신부(410) 및 데이터 편집부(420)는 도 1을 통해 설명한 일실시예에 따른 디지털 컨텐츠 생성장치의 기록 제어부에 포함될 수 있고, 멀티 트랙 제어부(430)는 일실시예에 따른 디지털 컨텐츠 생성장치의 멀티 트랙 제어부일 수 있다. 또한, 데이터 수신부(410)는 도 3을 통해 설명한 제2 실시예에 따른 데이터 수신부일 수도 있다.
한편, 제3 실시예에 따른 디지털 컨텐츠 생성장치(400)는 사용자 단말의 화면이 편집 모드(즉, 마스터링 모드)로 전환되면 수행될 수 있다.
제3 실시예에 따른 데이터 수신부(410)는 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 기록 데이터를 수신할 수 있다.
예를 들면, 멀티 트랙은 비트 트랙, 영상 트랙 및 음성 트랙 중 화면에 표시되는 적어도 둘 이상의 트랙을 포함할 수 있다.
일측에 따르면, 제3 실시예에 따른 디지털 컨텐츠 생성장치(400)는 기록 데이터 중 영상 데이터에 대한 렌더링(rendering)을 수행하는 데이터 렌더링부를 더 포함할 수 있다.
제3 실시예에 따른 데이터 편집부(420)는 이미지 스티커 효과, 텍스트 효과, 클립 조정 효과 및 페이드 효과 중 적어도 하나의 효과를 기록 데이터에 적용할 수 있다.
예를 들면, 이미지 스티커 효과는 기록 데이터가 영상 데이터인 경우, 기설정된 복수의 이미지 스티커 중 사용자 입력을 통해 선택된 적어도 하나의 이미지 스티커를 삽입하는 효과이고, 클립 조정 효과는 영상 데이터에 대응되는 비디오 클립 및 음성 데이터에 대응되는 음성 클립의 사이즈를 조절하는 효과이며, 페이드 효과는 영상 데이터 및 음성 데이터에 대한 페이드-인, 페이드-아웃 효과를 조절하는 효과일 수 있다.
또한, 텍스트 효과는 기록 데이터 중 영상 데이터에 대한 텍스트 입력 효과, 영상 효과에 입력된 텍스트에 대한 색상 편집 효과, 폰트 편집 효과 및 크기 편집 효과 중 적어도 하나의 효과를 포함할 수 있다.
일측에 따르면, 데이터 편집부(420)는 효과 적용을 위한 사용자 입력을 수신하고, 효과 적용을 위한 사용자 입력에 대응되는 적어도 하나의 효과를 기록 데이터에 적용할 수 있다.
일측에 따르면, 화면은 데이터 생성 장치를 통해 기록된 멀티 트랙 영상을 합쳐서 하나의 영상으로 재생되는 제1 영역과, 제1 영역의 하단에 배치되고 멀티 트랙을 통합한 통합 트랙에 대한 정보를 표시하는 제2 영역 및 제2 영역의 하단에 배치되고 기록 버튼, 기록 완료 버튼, 재생 버튼 및 정지 버튼 중 적어도 하나의 가상 버튼이 표시되는 제3 영역을 포함할 수 있다.
일측에 따르면, 사용자 입력을 통해 사용자 단말의 화면이 편집 모드로 전환되면, 제3 영역에는 스티커 효과 아이콘, 텍스트 효과 아이콘, 클립 조정 아이콘, 페이드 효과 아이콘, 오디오 EQ 아이콘 및 커버 설정 아이콘 중 적어도 하나의 아이콘이 표시될 수 있으며, 제1 영역에는 통합 영상 파일에 대응되는 제어 바가 표시될 수 있다.
예를 들면, 제3 영역에 표시된 오디오 EQ 아이콘이 터치되면, 제1 영역에는 오디오 EQ를 제어하기 위한 세부 기능이 표시될 수 있다.
또한, 제3 영역에 표시된 커버 설정 아이콘이 터치되면, 기저장된 커버 이미지 또는 영상 데이터에 포함된 이미지 중 어느 하나의 이미지를 커버 이미지로 적용하는 기능을 제공할 수 있다.
일측에 따르면, 데이터 편집부(420)는 렌더링이 수행된 기록 데이터에 적어도 하나의 효과를 적용할 수 있다.
일측에 따르면, 데이터 편집부(420)는 영상 트랙 및 음성 트랙 중 적어도 하나의 데이터 트랙과 비트 트랙간의 지연시간을 연산하고, 연산된 지연시간에 기초하여 데이터 트랙과 비트 트랙을 동기화할 수 있다.
구체적으로, 디지털 컨텐츠 생성장치(400)는 멀티 트랙에 대한 기록 과정에서 저장된 프로젝트 설정 파일을 로딩하여 각 트랙을 하나의 영상 파일처럼 시각화하는데, 이 과정에서 비트 트랙과 각각 기록된 영상 트랙 및 음성 트랙간에는 지연시간이 발생되게 된다.
이에 데이터 편집부(420)는 각 트랙 간 지연시간을 계산하여 하나의 영상처럼 재생할 때 문제가 되지 않도록 계산된 지연시간을 보상할 수 있다.
한편, 제3 실시예에 따른 멀티 트랙 제어부(430)는 적어도 하나의 효과가 적용된 기록 데이터를 인코딩할 수 있다.
도 5는 일실시예에 따른 디지털 컨텐츠 생성장치의 동작예를 설명하기 위한 도면이다.
도 5를 참조하면, 일실시예에 따른 디지털 컨텐츠 생성장치의 동작에 따른 사용자 단말의 화면은 비트 트랙, 영상 트랙 및 음성 트랙 중 적어도 둘 이상의 멀티 트랙(511, 513)이 표시되는 제1 영역(510)과, 제1 영역(510)의 하단에 배치되고 기록 버튼(521)이 표시되는 제2 영역(520)을 포함할 수 있다.
예를 들면, 디지털 컨텐츠 생성장치의 동작에 따른 사용자 단말의 화면은 영상 공유 어플에 따른 스튜디오 모드 화면일 수 있다.
또한, 제2 영역(520)은 사용자 입력에 따라 기록 버튼(521) 이외에도 기록 완료 버튼, 재생 버튼 및 정지 버튼 중 적어도 하나의 가상 버튼을 표시할 수 있다.
일측에 따르면, 사용자 단말의 화면은 제2 영역의 하단에 배치되고 제1 영역에 표시된 멀티 트랙 중 활성화된 어느 하나의 트랙에 대한 정보를 표시하는 제3 영역(530) 및 화면을 통해 기록되는 영상 데이터 및 음성 데이터 중 적어도 하나의 데이터에 대한 제어 기능을 제공하는 제4 영역(540)을 포함할 수 있다.
예를 들면, 제3 영역(530)에 표시되는 활성화된 어느 하나의 트랙에 대한 정보는 활성화된 트랙에 대한 현재 작업을 초기화하는 초기화 기능, 활성화된 트랙의 종류 정보(비디오, 오디오) 및 활성화된 트랙에서 이전에 실행한 작업 내용을 취소하는 실행취소 기능을 포함할 수 있다.
또한, 제4 영역(540)에 표시되는 제어 기능은 사용자 단말의 카메라 방향(전면/후면)을 전환하는 카메라 전환 기능, 기저장된 가사를 불러오는 기능, 해당 영상/음성을 모니터링하는 기능, 볼륨 조절 기능, 카메라 플래쉬의 온/오프(on/off) 기능 및 뷰티 모드의 온/오프 기능을 포함할 수 있으며, 제4 영역(540)의 맨 하단에 표시되는 화살표 아이콘의 터치 동작에 따라 제어 기능 항목을 제4 영역(540) 상에 전체 표시하거나 요약하여 표시할 수 있다.
한편, 사용자 단말의 화면은 영상 트랙에 대응되는 기록 동작 또는 재생 동작이 수행되면, 화면에 기록 동작 또는 재생 동작에 따른 영상을 표시하되, 제1 영역 내지 제4 영역과 함께 오버랩하여 영상 데이터를 표시하는 영상 표시 영역을 더 포함할 수 있으며, 영상 표시 영역에서 화면을 위/아래로 스와이프하는 사용자 입력이 감지되면, 영상 표시 영역에 표시되는 영상을 줌-인/줌-아웃할 수 있다.
일측에 따르면, 제1 영역(510)은 멀티 트랙 중 기록 작업이 완료된 가이드 트랙(511)이 표시되는 제1 서브영역(511, 512)과, 기록 작업이 가능한 촬영 트랙이 표시되는 제2 서브영역(513, 514)을 포함할 수 있다.
구체적으로, 제1 서브영역(511, 512)은 가이드 트랙으로 구분된 N개의 트랙 중 제1 가이드 트랙을 표시하는 제1 트랙 영역(511)과, 제1 가이드 트랙에 대응되는 아이콘이 표시되는 제1 아이콘 영역(512)을 포함할 수 있다.
또한, 제2 서브영역(513, 514)은 촬영 트랙으로 구분된 M개의 트랙 중 제1 촬영 트랙을 표시하는 제2 트랙 영역(513)과, 제1 촬영 트랙에 대응되는 아이콘이 표시되는 제2 아이콘 영역(514)을 포함할 수 있다.
다시 말해, 제1 서브영역(511, 512) 및 제2 서브영역(513, 514) 각각은 제1 내지 제N 가이드 트랙 중 제1 가이드 트랙과, 제1 내지 제M 촬영 트랙 중 제1 촬영 트랙만이 화면 내에 표시될 수 있으며, 제1 서브영역(511, 512) 및 제2 서브영역(513, 514) 각각에 구비된 제1 아이콘 영역(512) 및 제2 아이콘 영역(514)에 대한 사용자 입력이 감지될 때마다 화면에 표시되는 트랙을 순차적으로 변경할 수 있다.
즉, 제1 아이콘 영역(512)에 대한 사용자 입력이 감지될 때마다 제1 트랙 영역(511)에는 제2 내지 제N 가이드 트랙이 순차적으로 표시되고, 제2 아이콘 영역(514)에 대한 사용자 입력이 감지될 때마다 제2 트랙 영역(513)에는 제2 내지 제M 촬영 트랙이 순차적으로 표시될 수 있다.
또한, 제N 가이드 트랙이 제1 트랙 영역(511)에 표시된 상태에서 제1 아이콘 영역(512)에 대한 사용자 입력이 감지되면 제1 트랙 영역(511)에는 다시 제1 가이드 트랙이 표시되고, 제M 촬영 트랙이 제2 트랙 영역(513)에 표시된 상태에서 제2 아이콘 영역(514)에 대한 사용자 입력이 감지되면 제2 트랙 영역(513)에는 다시 제1 촬영 트랙이 표시될 수 있다.
일측에 따르면, 사용자 단말의 화면은 제1 트랙 영역(511)에 표시된 가이드 트랙의 번호와, 전체 가이드 트랙의 수에 대한 정보를 '가이드 트랙 번호/전체 가이드 트랙의 수'로 표시하는 제5 영역(515)과, 제2 트랙 영역(513)에 표시된 촬영 트랙의 번호와, 전체 촬영 트랙의 수에 대한 정보를 '촬영 트랙 번호/전체 촬영 트랙의 수'로 표시하는 제6 영역(516)을 더 포함할 수 있다.
일측에 따르면, 제1 영역(510)은 멀티 트랙 중 어느 하나의 트랙이 짧게 한번 터치되면 어느 하나의 트랙을 활성화하고, 어느 하나의 트랙이 짧게 두번 터치되면 어느 하나의 트랙에 대한 편집 기능을 제공할 수 있으며, 어느 하나의 트랙이 길게 터치되면 트랙 옵션 기능을 제공할 수 있다.
예를 들면, 활성화된 트랙은 화면 상에서 별도의 색상으로 표시되어 활성화되지 않은 트랙과 구분될 수 있다.
또한, 어느 하나의 트랙에 대한 편집 메뉴는 오디오 FX 기능, 트랙 브레이크 기능, 볼륨 제어 기능 및 트랙 초기화 기능 중 적어도 하나의 기능을 포함할 수 있다.
또한, 트랙 옵션 기능은 트랙 삭제 기능 및 트랙 복제 기능 중 적어도 하나의 기능을 포함할 수 있다.
구체적으로, 제1 영역에 표시된 음성 트랙이 짧게 두번 터치되면, 제3 영역에는 오디오 FX 아이콘, 오디오 트랙 브레이크 아이콘, 볼륨 아이콘 및 초기화 아이콘이 표시될 수 있으며, 이후 제3 영역에 표시된 오디오 FX 아이콘, 오디오 트랙 브레이크 아이콘 및 볼륨 아이콘 중 어느 하나의 아이콘이 터치되면 터치된 아이콘의 효과를 적용하기 위한 세부 편집 기능이 제2 영역에 표시될 수 있다.
도 6은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 멀티 트랙을 활성화하는 예시를 설명하기 위한 도면이다.
도 6을 참조하면, 도 6의 (a)는 제1 서브영역에 배치된 가이드 트랙 중 비트 트랙을 시각화하는 예시를 도시하고, 도 6의 (b)는 제2 서브영역에 배치된 촬영 트랙 중 영상 트랙이 활성화되는 예시를 도시하며, 도 6의 (c)는 제2 서브영역에 배치된 촬영 트랙 중 음성 트랙을 활성화하는 예시를 도시한다.
도 6의 (a)에 따르면, 제1 서브영역에 배치된 비트 트랙이 활성화 되면, 기설정된 활성화 시간(일례로, 1초) 동안 활성화된 트랙 상에 트랙의 명칭 정보(610)가 표시되고, 제2 영역에는 재생 버튼(640)이 표시될 수 있다.
도 6의 (b) 및 (c)에 따르면, 제2 서브영역에 배치된 촬영 트랙(영상 트랙 및 음성 트랙)이 활성화 되면, 기설정된 활성화 시간 동안 활성화된 트랙 상에 트랙의 명칭 정보(620, 630)가 표시되고, 제2 영역에는 기록 버튼(650, 660)이 표시되며, 제3 영역에는 활성화된 트랙의 명칭 정보(670, 680)가 표시될 수 있다.
한편, 제1 서브영역에 배치된 가이드 트랙 중 비트 트랙 이외에 다른 트랙(영상 트랙 및 음성 트랙)이 활성화되면, 기설정된 활성화 시간 동안 활성화된 트랙 상에 트랙의 명칭 정보가 표시되고, 제2 영역에는 재생 버튼이 표시되며, 제3 영역에는 활성화된 트랙의 명칭 정보가 표시될 수 있다.
도 7은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 비트 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 7의 (a)는 비트 트랙의 선택을 위한 안내 메시지를 표시하는 예시를 도시하고, 도 7의 (b)는 사용자 입력에 따라 복수의 비트 중 어느 하나의 비트를 선택하는 예시를 도시하며, 도 7의 (c)는 선택된 비트를 비트 트랙에 적용하는 예시를 도시한다.
도 7의 (a) 내지 (c)에 따르면, 디지털 컨텐츠 생성장치의 동작에 따른 사용자 단말의 화면은 최초 스튜디오 모드 화면 진입 시, 비트 트랙이 사전에 설정되어 있지 않다면, 참조부호 710과 같이 비트 트랙 선택을 위한 메시지를 표시할 수 있다.
예를 들면, 스튜디오 모드 화면에서는 제1 영역에 인디케이터가 중앙에 고정되어 있으며, 이후 인디케이터는 사용자가 트랙(또는 인디케이터)을 좌/우로 스와이프하거나, 트랙의 재생 또는 기록 동작이 진행되어 트랙이 움직이면, 트랙이 움직이면서 상단에 재생시간이 분/초로 표시(0:00)될 수 있다.
다음으로, 사용자가 참조부호 710에 표시된 메시지를 선택하면, 도 7의 (b)와 같이 복수의 비트 목록을 화면 상에 표시할 수 있다.
구체적으로, 비트 목록은 각각의 비트에 대한 비트 메이커 정보, 비트 제목, 재생 시간 및 비트의 BPM 정보와 함께, 각 비트에 대응되는 이미지 표시 영역(720)을 포함할 수 있으며, 이미지 표시 영역(720)을 선택하면, 대응되는 비트 데이터가 재생 또는 정지될 수 있다.
또한, 비트 목록에 포함된 복수의 비트 중 어느 하나의 비트 (730)를 사용자가 왼쪽 방향으로 스와이프 하거나 선택하면, 비트 사용 버튼(740)이 표시될 수 있다.
일측에 따르면, 참조부호 710과 같이 비트 선택을 위한 메시지를 표시된 상태에서 사용자가 촬영 트랙을 활성화하여 제2 영역에 기록 버튼이 표시된 이후, 사용자가 기록 버튼을 선택하면, 비트 선택 오류를 표시한 후 비트 목록을 화면 상에 표시할 수도 있다.
이후, 비트 사용 버튼(740)을 선택하면, 제1 서브 영역 상에 가이드 트랙으로 선택된 비트의 음향 파형이 표시되며, 이와 동시에 참조부호 750과 같이 선택된 비트 트랙에 대한 정보가 표시될 수 있다.
한편, 사용자가 참조부호 750을 선택하면, 화면에는 비트 변경을 위한 메뉴를 표시할 수 있으며, 이때 사용자가 비트 변경을 선택하면 선택된 비트 트랙을 통해 사용자가 수행한 작업 내용이 모두 삭제될 수 있다.
도 8은 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 영상 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 8의 (a) 내지 (c)를 참조하면, 일실시예에 따른 디지털 컨텐츠 생성장치의 동작에 따른 사용자 단말의 화면은 사용자가 제2 서브영역에 표시된 촬영 트랙 중 영상 트랙을 활성화한 상태에서 제2 영역에 표시된 기록 버튼(810)을 터치하면, 활성화된 영상 트랙에 대한 기록(녹화) 동작이 수행될 수 있다.
예를 들면, 활성화된 영상 트랙에 대한 기록 동작 중 사용자가 기록 버튼(810)을 길게 누르면서 화면 위/아래로 스와이프하면 촬영 중 영상에 대한 줌-인/줌-아웃 효과가 적용될 수 있다.
또한, 활성화된 영상 트랙에 대한 기록 동작 중 사용자가 영상이 표시되고 있는 화면 영역을 위/아래로 스와이프하면 촬영 중 영상에 대한 줌-인/줌-아웃 효과가 적용될 수도 있다.
다음으로, 활성화된 영상 트랙에 대한 기록(녹화) 동작이 수행되면, 제2 영역에는 정지 버튼(820)이 표시될 수 있으며, 사용자가 기록 정지 버튼을 터치하면 활성화된 영상 트랙에 대한 기록 동작이 정지될 수 있다.
다음으로, 활성화된 영상 트랙에 대한 기록 동작이 정지되면 제2 영역에는 기록 버튼과 함께 기록 완료 버튼(830)이 표시될 수 있으며, 사용자가 기록 완료 버튼(830)을 터치하면 모든 트랙에 대한 기록이 최종 종료되어, 사용자의 단말 화면이 편집 모드(즉, 마스터링 모드)로 이동될 수 있다.
일측에 따르면, 활성화된 영상 트랙에 대한 기록 동작이 정지된 후, 기록 버튼을 터치하면 기록 정지 버튼이 터치되어 기록이 정지된 시점부터 이어서 기록을 수행할 수 있다.
도 9는 일실시예에 따른 디지털 컨텐츠 생성장치를 이용하여 음성 트랙을 생성하는 예시를 설명하기 위한 도면이다.
도 9의 (a) 내지 (c)를 참조하면, 일실시예에 따른 디지털 컨텐츠 생성장치의 동작에 따른 사용자 단말의 화면은 사용자가 제2 서브영역에 표시된 촬영 트랙 중 음성 트랙을 활성화한 상태에서 제2 영역에 표시된 기록 버튼(910)을 터치하면, 활성화된 음성 트랙에 대한 기록(녹음) 동작이 수행될 수 있다.
일측에 따르면, 활성화된 음성 트랙에 대한 기록 동작은 인디케이터 또는 활성화된 음성 트랙을 좌/우로 스와이프하여 선택된 시간부터 녹음을 진행할 수도 있다.
다음으로, 활성화된 음성 트랙에 대한 기록 동작이 수행되면, 제2 영역에는 정지 버튼(920)이 표시될 수 있으며, 사용자가 기록 정지 버튼을 터치하면 활성화된 음성 트랙에 대한 기록 동작이 정지될 수 있다.
다음으로, 활성화된 음성 트랙에 대한 기록 동작이 정지되면 제2 영역에는 기록 버튼과 함께 기록 완료 버튼(930)이 표시될 수 있으며, 사용자가 기록 완료 버튼(930)을 터치하면 모든 트랙에 대한 기록이 최종 종료되어, 사용자의 단말 화면이 편집 모드(즉, 마스터링 모드)로 이동될 수 있다.
또한, 활성화된 음성 트랙에 대한 기록 동작이 정지된 후, 기록 버튼을 터치하면 기록 정지 버튼이 터치되어 기록이 정지된 시점부터 이어서 기록을 수행할 수도 있다.
도 10은 제2 실시예에 따른 디지털 컨텐츠 생성장치의 동작방법을 설명하기 위한 도면이다.
다시 말해, 도 10은 도 1 내지 도 9를 통해 설명한 제2 실시예에 따른 디지털 컨텐츠 생성장치를 이용한 디지털 컨텐츠 생성방법을 설명하기 위한 도면으로, 이하에서 도 10을 통해 설명하는 내용 중 도 1 내지 도 9를 통해 설명한 내용과 중복되는 설명은 생략하기로 한다.
도 10을 참조하면, 1010 단계에서 디지털 컨텐츠 생성방법은 데이터 수신부에서 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터를 수신할 수 있다.
다음으로, 1020 단계에서 디지털 컨텐츠 생성방법은 데이터 관리부에서 기설정된 영상 효과 및 음성 효과 중 적어도 하나의 효과를 실시간 기록 데이터에 적용할 수 있다.
예를 들면, 기설정된 영상 효과는 색상 필터 효과 및 증강현실 스티커 효과 중 적어도 하나의 효과를 포함하고, 기설정된 음성 효과는 리볼브(reverb) 효과, 디스토션(distortion) 효과, 딜레이(delay) 효과, 피치 조정(picth correction) 효과 및 피치 시프트(pitch shift) 효과 중 적어도 하나의 효과를 포함할 수 있다.
다음으로, 1030 단계에서 디지털 컨텐츠 생성방법은 멀티 트랙 제어부에서 적어도 하나의 효과가 적용된 실시간 기록 데이터를 선택된 트랙에 따라 영상 트랙의 경우 영상 파일로, 음성 트랙의 경우 음성 파일로 인코딩할 수 있다.
도 11은 제3 실시예에 따른 디지털 컨텐츠 생성장치의 동작방법을 설명하기 위한 도면이다.
다시 말해, 도 11은 도 1 내지 도 9를 통해 설명한 제3 실시예에 따른 디지털 컨텐츠 생성장치를 이용한 디지털 컨텐츠 생성방법을 설명하기 위한 도면으로, 이하에서 도 11을 통해 설명하는 내용 중 도 1 내지 도 9를 통해 설명한 내용과 중복되는 설명은 생략하기로 한다.
도 11을 참조하면, 1110 단계에서 디지털 컨텐츠 생성방법은 데이터 수신부에서 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 기록 데이터를 수신할 수 있다.
예를 들면, 멀티 트랙은 비트 트랙, 영상 트랙 및 음성 트랙 중 화면에 표시되는 적어도 둘 이상의 트랙을 포함할 수 있다.
다음으로, 1120 단계에서 디지털 컨텐츠 생성방법은 데이터 편집부에서 스티커 효과, 텍스트 효과, 클립 조정 효과 및 페이드 효과 중 적어도 하나의 효과를 기록 데이터에 적용할 수 있다.
일측에 따르면, 1120 단계에서 디지털 컨텐츠 생성방법은 데이터 렌더링부에서 기록 데이터 중 영상 데이터에 대한 렌더링(rendering)을 수행하는 단계를 더 포함할 수 있으며, 이후 데이터 편집부는 랜더링이 수행된 영상 데이터에 적어도 하나의 효과를 적용할 수 있다.
일측에 따르면, 1120 단계에서 디지털 컨텐츠 생성방법은 데이터 편집부에서 영상 트랙 및 음성 트랙 중 적어도 하나의 데이터 트랙과 비트 트랙간의 지연시간을 연산하고, 연산된 지연시간에 기초하여 데이터 트랙과 비트 트랙을 동기화할 수 있다.
다음으로, 1130 단계에서 디지털 컨텐츠 생성방법은 멀티 트랙 제어부에서 멀티 트랙에 기록된 모든 데이터를 하나의 영상 파일 혹은 영상을 기록하지 않은 경우 음성파일로 인코딩할 수 있다.
결국, 본 발명을 이용하면, 비트 트랙, 영상 트랙 및 음성 트랙으로 구성되는 멀티 트랙에 대한 기록 동작을 보다 효율적으로 수행할 수 있다.
또한, 본 발명을 이용하면, 화면을 통해 표시되는 영상을 최대한 가리지 않고, 멀티 트랙을 화면 상에 효율적으로 시각화할 수 있다.
또한, 본 발명을 이용하면, 멀티 트랙을 가이드 트랙과 촬영 트랙으로 구분하고, 구분된 가이드 트랙과 촬영 트랙을 화면 상에 동시에 시각화하여 사용자의 편의성을 향상시킬 수 있다.
또한, 본 발명을 이용하면, 멀티 트랙 각각에 대응되는 데이터에 실시간으로 영상 효과 및 음성 효과를 적용할 수 있다.
또한, 본 발명을 이용하면, 멀티 트랙 각각에 대응하여 기록된 데이터를 보다 효율적으로 편집할 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
300: 디지털 컨텐츠 생성장치 310: 데이터 수신부
320: 데이터 관리부 330: 멀티 트랙 제어부
320: 데이터 관리부 330: 멀티 트랙 제어부
Claims (10)
- 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터를 수신하는 데이터 수신부;
기설정된 영상 효과 및 음성 효과 중 적어도 하나의 효과를 상기 실시간 기록 데이터에 적용하는 데이터 관리부 및
상기 적어도 하나의 효과가 적용된 실시간 기록 데이터를 인코딩하는 멀티 트랙 제어부
를 포함하고,
상기 멀티 트랙 제어부는,
상기 멀티 트랙 중 어느 하나의 트랙의 터치 동작에 따른 사용자 입력이 1회 감지되면, 상기 어느 하나의 트랙이 활성화 되도록 제어하는 UI 제어신호를 생성하고,
상기 어느 하나의 트랙의 터치 동작에 따른 상기 사용자 입력이 2회 감지되면, 상기 어느 하나의 트랙에 대한 편집 메뉴를 상기 화면에 표시하기 위한 상기 UI 제어신호를 생성하며,
기설정된 입력시간 동안 지속되는 상기 어느 하나의 트랙의 터치 동작에 따른 상기 사용자 입력이 감지되면, 상기 어느 하나의 트랙에 대한 트랙 옵션 메뉴를 상기 화면에 표시하기 위한 상기 UI 제어신호를 생성하는
디지털 컨텐츠 생성장치. - 제1항에 있어서,
상기 데이터 관리부는,
기설정된 초기 효과 정보에 대응되는 상기 적어도 하나의 효과를 상기 실시간 기록 데이터에 적용하는
디지털 컨텐츠 생성장치. - 제1항에 있어서,
상기 데이터 관리부는,
효과 적용을 위한 사용자 입력을 수신하고, 상기 효과 적용을 위한 사용자 입력에 대응되는 상기 적어도 하나의 효과를 상기 실시간 기록 데이터에 적용하는
디지털 컨텐츠 생성장치. - 제1항에 있어서,
상기 기설정된 영상 효과는,
색상 필터 효과 및 증강현실 스티커 효과 중 적어도 하나의 효과를 포함하는
디지털 컨텐츠 생성장치. - 제1항에 있어서,
상기 기설정된 음성 효과는,
리볼브(reverb) 효과, 디스토션(distortion) 효과, 딜레이(delay) 효과, 피치 조정(picth correction) 효과 및 피치 시프트(pitch shift) 효과 중 적어도 하나의 효과를 포함하는
디지털 컨텐츠 생성장치. - 제1항에 있어서,
상기 멀티 트랙은,
비트 트랙, 영상 트랙 및 음성 트랙 중 상기 화면에 표시되는 적어도 둘 이상의 트랙을 포함하는
디지털 컨텐츠 생성장치. - 제1항에 있어서,
상기 실시간 기록 데이터는,
영상 입력 수단을 통해 실시간으로 기록되고 있는 영상 데이터 및 음성 입력 수단을 통해 실시간으로 기록되고 있는 음성 데이터 중 어느 하나의 데이터를 포함하는
디지털 컨텐츠 생성장치. - 데이터 수신부에서, 화면에 표시되는 멀티 트랙 중 적어도 하나의 트랙에 대응되는 실시간 기록 데이터를 수신하는 단계;
데이터 관리부에서, 기설정된 영상 효과 및 음성 효과 중 적어도 하나의 효과를 상기 실시간 기록 데이터에 적용하는 단계 및
멀티 트랙 제어부에서, 상기 적어도 하나의 효과가 적용된 실시간 기록 데이터를 인코딩하는 단계
를 포함하고,
상기 멀티 트랙 제어부는,
상기 멀티 트랙 중 어느 하나의 트랙의 터치 동작에 따른 사용자 입력이 1회 감지되면, 상기 어느 하나의 트랙이 활성화 되도록 제어하는 UI 제어신호를 생성하고,
상기 어느 하나의 트랙의 터치 동작에 따른 상기 사용자 입력이 2회 감지되면, 상기 어느 하나의 트랙에 대한 편집 메뉴를 상기 화면에 표시하기 위한 상기 UI 제어신호를 생성하며,
기설정된 입력시간 동안 지속되는 상기 어느 하나의 트랙의 터치 동작에 따른 상기 사용자 입력이 감지되면, 상기 어느 하나의 트랙에 대한 트랙 옵션 메뉴를 상기 화면에 표시하기 위한 상기 UI 제어신호를 생성하는
는 디지털 컨텐츠 생성방법. - 제8항에 있어서,
상기 기설정된 영상 효과는,
색상 필터 효과 및 증강현실 스티커 효과 중 적어도 하나의 효과를 포함하는
디지털 컨텐츠 생성방법. - 제8항에 있어서,
상기 기설정된 음성 효과는,
리볼브(reverb) 효과, 디스토션(distortion) 효과, 딜레이(delay) 효과, 피치 조정(picth correction) 효과 및 피치 시프트(pitch shift) 효과 중 적어도 하나의 효과를 포함하는
디지털 컨텐츠 생성방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210100828A KR102377081B1 (ko) | 2021-07-30 | 2021-07-30 | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 |
| PCT/KR2022/006704 WO2023008702A1 (ko) | 2021-07-30 | 2022-05-11 | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210100828A KR102377081B1 (ko) | 2021-07-30 | 2021-07-30 | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102377081B1 true KR102377081B1 (ko) | 2022-03-22 |
Family
ID=80992521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210100828A KR102377081B1 (ko) | 2021-07-30 | 2021-07-30 | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102377081B1 (ko) |
| WO (1) | WO2023008702A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023008702A1 (ko) * | 2021-07-30 | 2023-02-02 | 아이디아이디 주식회사 | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0436186Y2 (ko) | 1988-08-10 | 1992-08-26 | ||
| KR101721231B1 (ko) | 2016-02-18 | 2017-03-30 | (주)다울디엔에스 | 미디어 플랫폼을 이용한 mpeg-v 표준 기반의 4d 미디어 제작방법 |
| KR20210092220A (ko) * | 2018-10-29 | 2021-07-23 | 헨리 페나 | 실시간 비디오 특수 효과 시스템 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101950674B1 (ko) * | 2017-05-26 | 2019-05-17 | (주)거노코퍼레이션 | 동영상 편집 방법을 컴퓨터에서 수행하기 위한 앱이 기록된 컴퓨터 |
| KR102377081B1 (ko) * | 2021-07-30 | 2022-03-22 | 아이디아이디 주식회사 | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 |
-
2021
- 2021-07-30 KR KR1020210100828A patent/KR102377081B1/ko active IP Right Grant
-
2022
- 2022-05-11 WO PCT/KR2022/006704 patent/WO2023008702A1/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0436186Y2 (ko) | 1988-08-10 | 1992-08-26 | ||
| KR101721231B1 (ko) | 2016-02-18 | 2017-03-30 | (주)다울디엔에스 | 미디어 플랫폼을 이용한 mpeg-v 표준 기반의 4d 미디어 제작방법 |
| KR20210092220A (ko) * | 2018-10-29 | 2021-07-23 | 헨리 페나 | 실시간 비디오 특수 효과 시스템 및 방법 |
Non-Patent Citations (6)
| Title |
|---|
| How to add voiceovers to your TikToks(https://mashable.com/article/how-to-add-voiceover-to-tiktok, 2021.07.16.) * |
| How to add voiceovers to your TikToks(https://mashable.com/article/how-to-add-voiceover-to-tiktok, 2021.07.16.)* |
| How to Do Voice Effects on TikTok(https://www.distractify.com/p/how-to-do-voice-effects-on-tiktok, 2021.4.7.) * |
| How to Do Voice Effects on TikTok(https://www.distractify.com/p/how-to-do-voice-effects-on-tiktok, 2021.4.7.)* |
| How to use AR Sticker effect On TikTok(https://www.youtube.com/watch?v=UXJ1QpJapog, 2019.2.4.) * |
| How to use AR Sticker effect On TikTok(https://www.youtube.com/watch?v=UXJ1QpJapog, 2019.2.4.)* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023008702A1 (ko) * | 2021-07-30 | 2023-02-02 | 아이디아이디 주식회사 | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023008702A1 (ko) | 2023-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8744239B2 (en) | Teleprompter tool for voice-over tool | |
| JP7440119B2 (ja) | マルチメディアを記録してレンダリングするための装置、システム、及び方法 | |
| US6292620B1 (en) | Edited-list creating apparatus, editing apparatus and editing method | |
| US9420394B2 (en) | Panning presets | |
| US9142259B2 (en) | Editing device, editing method, and program | |
| US6118444A (en) | Media composition system with enhanced user interface features | |
| US7653550B2 (en) | Interface for providing modeless timeline based selection of an audio or video file | |
| US7194676B2 (en) | Performance retiming effects on synchronized data in an editing system | |
| US8452432B2 (en) | Realtime editing and performance of digital audio tracks | |
| JPH11341350A (ja) | マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体 | |
| US8751022B2 (en) | Multi-take compositing of digital media assets | |
| US20090273712A1 (en) | System and method for real-time synchronization of a video resource and different audio resources | |
| CN105530440A (zh) | 一种视频的制作方法及装置 | |
| JPH07220452A (ja) | ビデオ編集及び実時間処理のための方法及び装置 | |
| KR20010074365A (ko) | 멀티미디어 파일 작성용 저작장치 및 방법 | |
| KR102377081B1 (ko) | 멀티 트랙에 대한 기록 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 | |
| RU2017102479A (ru) | Создание электронных изображений, редактирование изображений и упрощенное устройство редактирования аудио/видео, способ кинопроизводства, начинающийся с неподвижных изображений и звуковых дорожек, и соответствующая компьютерная программа | |
| US11551724B2 (en) | System and method for performance-based instant assembling of video clips | |
| KR102377082B1 (ko) | 멀티 트랙에 대한 편집 동작에 기반하는 디지털 컨텐츠 생성장치 및 그 방법 | |
| KR102377080B1 (ko) | 멀티 트랙 ui 기반의 디지털 컨텐츠 생성장치 | |
| JPH07303209A (ja) | 特殊効果編集装置 | |
| JP4172031B2 (ja) | 記録再生装置 | |
| JP2005278212A (ja) | 画像編集方法及び画像編集装置 | |
| JP2939001B2 (ja) | 情報編集装置 | |
| JP2001143446A (ja) | ディジタル・オーディオ・ディスク・レコーダ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |