KR20210050410A - 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템 - Google Patents

Abstract

영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템을 개시한다. 일실시예에 따른 컨텐츠 편집 지원 방법은 컨텐츠 편집 툴을 통해 선택된 영상 컨텐츠로부터 복수의 스냅샷을 추출하는 단계, 상기 추출된 복수의 스냅샷을 상기 컨텐츠 편집 툴을 통해 타임라인에 따라 표시하는 단계, 상기 컨텐츠 편집 툴을 통해 입력되는 텍스트 및 상기 컨텐츠 편집 툴을 통해 선택된 음성 타입에 기반하여 상기 입력된 텍스트를 상기 선택된 음성 타입의 음성으로 변환하는 단계 및 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 변환된 음성을 추가하는 단계를 포함할 수 있다.

Description

영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템{METHOD AND SYSTEM FOR SUPPOTING CONTENT EDITING BASED ON REAL TIME GENERATION OF SYNTHESIZED SOUND FOR VIDEO CONTENT}

아래의 설명은 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템에 관한 것이다.

영상 컨텐츠의 편집을 위한 다양한 기술들이 존재한다. 예를 들어, 한국 공개특허 제10-2007-0013122호는 동영상 자막 편집 방법에 관한 것으로, 디브이디 레코더에서 광디스크에 기록된 동영상 파일을 재생하면서 그 동영상과 연결된 자막 파일의 자막 부분을 실시간으로 편집하는 것이 가능하도록 하는 동영상 자막 편집 방법을 개시하고 있다.

그러나, 영상 컨텐츠가 이미 보유하고 있는 영상이나 자막, 오디오 등을 편집하는 것은 상대적으로 수월한 반면, 영상 컨텐츠에 사용자가 원하는 내용, 특히 특정한 음성이나 효과음 등의 합성음을 새롭게 추가하는 것은 사용자가 합성음을 획득하는 것도 쉽지 않을 뿐만 아니라, 획득한 합성음을 영상 컨텐츠의 원하는 부분에 추가하는 것 역시 쉽지 않다는 문제점이 있다.

사용자가 원하는 합성음을 실시간으로 생성하여 영상 컨텐츠의 원하는 부분에 추가할 수 있는 컨텐츠 편집 지원 방법 및 시스템을 제공한다.

적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 컨텐츠 편집 지원 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 컨텐츠 편집 툴을 통해 선택된 영상 컨텐츠로부터 복수의 스냅샷을 추출하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 추출된 복수의 스냅샷을 상기 컨텐츠 편집 툴을 통해 타임라인에 따라 표시하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴을 통해 입력되는 텍스트 및 상기 컨텐츠 편집 툴을 통해 선택된 음성 타입에 기반하여 상기 입력된 텍스트를 상기 선택된 음성 타입의 음성으로 변환하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 변환된 음성을 추가하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 편집 지원 방법을 제공한다.

일측에 따르면, 상기 변환된 음성을 추가하는 단계는, 상기 타임라인상에서 특정 시점을 나타내는 타임 인디케이터에 대한 드래그를 통해 선택된 시점에 상기 변환된 음성을 추가하는 것을 특징으로 할 수 있다.

다른 측면에 따르면, 상기 컨텐츠 편집 지원 방법은 상기 적어도 하나의 프로세서에 의해, 상기 추가된 음성에 대한 복사 또는 잘라내기 기능을 제공하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 기능을 통해 복사 또는 잘라내기된 음성을 추가하는 단계를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 선택된 음성 타입은 목소리 및 감정의 조화에 따라 기 정의되어 상기 컨텐츠 편집 툴을 통해 제공되는 다수의 음성 타입들 중에서 선택되는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 컨텐츠 편집 지원 방법은 상기 적어도 하나의 프로세서에 의해, 컨텐츠 편집 툴을 통해 사용자의 음성 타입을 생성하는 기능을 제공하는 단계를 더 포함하고, 상기 기능은 기 정의된 음성 타입의 발화 속도 및 발화 볼륨 중 적어도 하나를 조절하여 새로운 음성 타입을 생성하는 기능을 포함하는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 추가된 음성에 대응하는 텍스트의 내용 중 적어도 일부의 내용이 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점과 연계하여 표시되는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 적어도 일부의 내용이 표시된 영역에 대한 사용자의 입력에 따라 상기 추가된 음성에 대응하는 텍스트의 내용, 상기 추가된 음성에 대응하는 음성 타입 및 상기 추가된 음성의 시작 시간 중 적어도 하나를 편집하기 위한 기능이 제공되는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 컨텐츠 편집 지원 방법은 상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴을 통해 제공된 복수의 효과음 중 하나의 효과음을 선택받는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 선택된 효과음을 추가하는 단계를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 추가된 효과음에 대한 정보가 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점과 연계하여 표시되고, 상기 정보가 표시된 영역에 대한 사용자의 입력에 따라 상기 추가된 효과음의 종류 및 시작 시간 중 적어도 하나를 편집하기 위한 기능이 제공되는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 컨텐츠 편집 지원 방법은 상기 적어도 하나의 프로세서에 의해, 상기 영상 컨텐츠를 분석하여 상기 변환된 음성을 추가할 상기 타임라인상의 시점을 추천하는 단계를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 컨텐츠 편집 지원 방법은 상기 적어도 하나의 프로세서에 의해, 상기 영상 컨텐츠에서 상기 타임라인에 대해 선택된 시점의 영상을 분석하여 상기 선택된 시점을 위한 음성 타입 및 효과음 중 적어도 하나를 추천하는 단계를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 변환하는 단계는, 상기 타임라인에 대해 선택된 시점을 기준으로 타임라인에서 상기 변환된 음성을 추가 가능한 구간의 길이를 확인하는 단계; 및 상기 확인된 구간의 길이에 따라 상기 입력되는 텍스트의 길이를 제한하거나 또는 상기 변환되는 음성의 발화 속도를 조절하는 단계를 포함하는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 변환하는 단계는, 상기 영상 컨텐츠에서 상기 타임라인에 대해 선택된 시점에 대한 백그라운드 사운드의 볼륨을 확인하는 단계; 및 상기 확인된 백그라운드 사운드의 볼륨에 따라 상기 변환되는 음성의 발화 볼륨을 조절하는 단계를 포함하는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 변환된 음성을 추가하는 단계는, 상기 영상 컨텐츠에서 상기 타임라인에 대해 선택된 시점에 대한 화자의 음성을 제거한 후, 상기 변환된 음성을 추가하는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 컨텐츠 편집 지원 방법은 상기 적어도 하나의 프로세서에 의해, 상기 영상 컨텐츠에서 음성을 추출하여 텍스트로 변환하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 변환된 텍스트를 상기 컨텐츠 편집 툴을 통해 선택된 음성 타입의 음성으로 변환하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 변환된 음성을 상기 영상 컨텐츠에서 음성이 추출된 구간에 추가하는 단계를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 변환하는 단계는, 상기 입력된 텍스트를 교정하는 제1 기능 및 상기 입력된 텍스트를 다른 언어의 문자로 번역하는 제2 기능 중 적어도 하나의 기능을 제공하는 단계; 및 상기 제1 기능을 통해 교정되거나 또는 상기 제2 기능을 통해 번역된 텍스트를 상기 선택된 음성 타입의 음성으로 변환하는 단계를 포함하는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 컨텐츠 편집 지원 방법은 상기 적어도 하나의 프로세서에 의해, 상기 타임라인상에서 타임 인디케이터가 지시하는 시점에 대응하는 썸네일 및 상기 타임 인디케이터가 지시하는 시점에 대응하는 음절 단위의 음성에 대한 텍스트 정보 중 적어도 하나를 제공하는 단계를 더 포함할 수 있다.

컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.

상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.

컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 컨텐츠 편집 툴을 통해 선택된 영상 컨텐츠로부터 복수의 스냅샷을 추출하고, 상기 추출된 복수의 스냅샷을 상기 컨텐츠 편집 툴을 통해 타임라인에 따라 표시하고, 상기 컨텐츠 편집 툴을 통해 입력되는 텍스트 및 상기 컨텐츠 편집 툴을 통해 선택된 음성 타입에 기반하여 상기 입력된 텍스트를 상기 선택된 음성 타입의 음성으로 변환하고, 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 변환된 음성을 추가하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.

사용자가 원하는 합성음을 실시간으로 생성하여 영상 컨텐츠의 원하는 부분에 추가할 수 있다.

도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 컨텐츠 편집 지원 환경의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 컨텐츠 편집 툴의 화면 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 효과음 편집 기능의 예를 도시한 도면이다.
도 6은 본 발명의 일실시예에 있어서, 음성 편집 기능의 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 음성 목록을 편집하는 기능의 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 음성 타입을 편집하는 기능의 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 있어서, 사용자 자신의 음성 타입을 생성하는 기능의 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 컨텐츠 편집 지원 방법의 예를 도시한 흐름도이다.
도 11은 본 발명의 일실시예에 있어서, 타임 인디케이터가 지시하는 시점에 대한 정보를 제공하는 예를 도시한 도면이다.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

본 발명의 실시예들에 따른 컨텐츠 편집 지원 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 컨텐츠 편집 지원 방법은 컨텐츠 편집 지원 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 컨텐츠 편집 지원 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 컨텐츠 편집 지원 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.

도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.

복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.

통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 컨텐츠 제공 서비스, 그룹 통화 서비스(또는 음성 컨퍼런스 서비스), 메시징 서비스, 메일 서비스, 소셜 네트워크 서비스, 지도 서비스, 번역 서비스, 금융 서비스, 결제 서비스, 검색 서비스 등)를 제공하는 시스템일 수 있다.

도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.

이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.

프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 인터페이스(230)은 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.

입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.

또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

도 3은 본 발명의 일실시예에 따른 컨텐츠 편집 지원 환경의 예를 도시한 도면이다. 도 3은 컨텐츠 편집 지원 서버(300), 복수의 사용자들(310) 및 컨텐츠 편집 툴(320)을 나타내고 있다.

컨텐츠 편집 지원 서버(300)는 적어도 하나의 컴퓨터 장치(200)에 의해 구현될 수 있으며, 복수의 사용자들(310)에게 컨텐츠 편집 툴(320)을 제공하여 복수의 사용자들(310)이 컨텐츠 편집 툴(320)을 이용하여 복수의 사용자들(310) 자신의 영상 컨텐츠를 편집하는 것을 지원할 수 있다.

복수의 사용자들(310)은 컨텐츠 편집 지원 서버(300)로부터 컨텐츠 편집 툴(320)을 제공받아 자신의 영상 컨텐츠를 편집할 수 있다. 이때, 복수의 사용자들(310) 각각은 실질적으로 네트워크(170)를 통해 컨텐츠 편집 지원 서버(300)에 접근하여 컨텐츠 편집 툴(320)을 제공받는 물리적인 전자 기기들일 수 있다. 이러한 물리적인 전자 기기들 역시 각각 앞서 도 2를 통해 설명한 컴퓨터 장치(200)에 의해 구현될 수 있다.

컨텐츠 편집 툴(320)은 웹 방식 또는 앱 방식으로 복수의 사용자들(310)에게 제공될 수 있다. 웹 방식은 복수의 사용자들(310)이 컨텐츠 편집 툴(320)의 기능이 구현되어 있으며 컨텐츠 편집 지원 서버(300)에 의해 제공되는 웹페이지를 방문하여 해당 웹 페이지를 통해 컨텐츠 편집을 위한 기능을 제공받는 방식을 의미할 수 있다. 앱 방식은 복수의 사용자들(310)에 대응하는 물리적인 전자 기기들 각각에 설치 및 구동되는 어플리케이션을 통해 컨텐츠 편집 지원 서버(300)에 접속하여 컨텐츠 편집을 위한 기능을 제공받는 방식을 의미할 수 있다. 실시예에 따라 컨텐츠 편집을 위한 기능이 포함된 어플리케이션을 통해 복수의 사용자들(310)에 대응하는 물리적인 전자 기기들 각각에서 자체적으로 컨텐츠 편집을 처리할 수도 있다.

본 실시예에 따른 컨텐츠 편집 툴(320)은 사용자에 의해 선택된 영상 컨텐츠에서 스냅샷들을 추출하고, 추출된 스냅샷들을 타임라인에 따라 표시하는 기능을 포함할 수 있다. 이때, 컨텐츠 편집 툴(320)은 사용자가 타임라인상에서 원하는 시점이나 구간을 선택할 수 있는 기능을 제공할 수 있으며, 선택된 시점이나 구간에 대해 사용자가 원하는 임의의 텍스트를 연계시킬 수 있는 사용자 인터페이스를 제공할 수 있다. 선택된 시점이나 구간에 대해 임의의 텍스트가 연계되면, 컨텐츠 편집 툴(320)은 연계된 텍스트를 자동으로 음성으로 변환하여 선택된 시점이나 구간에 변환된 음성을 추가함으로써, 사용자들이 쉽고 간편하게 영상 컨텐츠에 원하는 내용의 음성을 더빙할 수 있도록 서포트할 수 있다.

도 4는 본 발명의 일실시예에 따른 컨텐츠 편집 툴의 화면 예를 도시한 도면이다. 도 4는 도 3을 통해 설명한 컨텐츠 편집 툴(320)의 화면 예(400)를 나타내고 있다. 본 실시예에 따른 컨텐츠 편집 툴(320)의 구성은 하나의 실시예로서 상기 구성은 실시예에 따라 다양하게 바뀔 수 있다.

사용자는 자신의 전자 기기를 통해 컨텐츠 편집 툴(320)에 접근할 수 있으며, 컨텐츠 편집 툴(320)은 사용자에 의해 선택된 영상 컨텐츠를 재생하기 위한 컨텐츠 재생 기능(410)과 선택된 영상 컨텐츠를 다른 영상 컨텐츠로 변경하기 위한 컨텐츠 변경 기능(411)을 포함할 수 있다. 이때, 사용자에 의해 선택된 영상 컨텐츠는 사용자가 컨텐츠 편집 툴(320)에 접근하기 위해 사용된 전자 기기의 로컬 저장소에 저장된 영상 컨텐츠를 포함할 수 있다. 실시예에 따라, 사용자에 의해 선택된 영상 컨텐츠는 전자 기기의 로컬 저장소가 아닌 웹상에 위치하는 영상 컨텐츠일 수도 있다.

또한, 컨텐츠 편집 툴(320)은 텍스트를 음성(보이스)으로 변환하여 영상 컨텐츠에 대한 타임라인에 추가하기 위한 텍스트-음성 변환 기능(420)을 포함할 수 있다. 텍스트-음성 변환 기능(420)은 사용자로부터 텍스트를 입력받기 위한 텍스트 입력 기능(421)과 입력된 텍스트를 변환할 음성 타입을 선택하는 음성 타입 선택 기능(422)을 포함할 수 있다. 음성 타입은 특정한 특정 목소리(일례로, 기 정의된 캐릭터 'K1'의 목소리)와 감정(일례로, 기본 감정, 슬픔, 기쁨 등)의 조합에 따라 식별될 수 있다. 도 4에서는 감정의 예로, "기본", "슬픔", "기쁨"만이 나타나 있으나, 실시예에 따라 보다 다양한 감정(일례로, "분노", "좌절" 등)이 활용될 수도 있다. 실시예에 따라 음성 타입은 발화의 속도와 볼륨에 따라 다르게 식별될 수도 있다. 다시 말해, 동일한 목소리의 동일한 감정의 음성 타입들이라 하더라도 발화 속도나 볼륨이 서로 다른 음성 타입들은 서로 다른 음성 타입들로 식별될 수 있다. 실제 텍스트-음성간 변환은 TTS(Text-To-Speech)와 같은 문자-음성 자동변환 기술을 통해 이루어질 수 있다. 또한, 텍스트-음성 변환 기능(420)은 입력된 텍스트를 선택된 음성 타입의 음성으로 변환하여 미리 듣기 할 수 있는 미리 듣기 기능(423), 그리고 입력된 텍스트를 선택된 음성 타입의 음성으로 변환하여 영상 컨텐츠에 대한 타임라인에 추가하기 위한 음성 추가 기능(424)을 더 포함할 수 있다. 예를 들어, 음성 추가 기능(424)이 사용자에 의해 선택(일례로, PC 환경에서 사용자가 마우스로 음성 추가 기능(424)에 대응하는 영역을 클릭 또는 터치스크린 환경에서 사용자가 손가락으로 음성 추가 기능(424)에 대응하는 영역을 터치)하는 경우, 컨텐츠 편집 툴(320)은 사용자가 텍스트 입력 기능(421)을 통해 입력한 텍스트를 음성 타입 선택 기능(422)을 통해 선택된 음성 타입의 음성으로 변환한 후, 영상 컨텐츠에 대한 타임라인에 추가할 수 있다. 해당 음성이 타임라인의 어디에 추가되는가에 대해서는 이후 더욱 자세히 설명한다.

또한, 컨텐츠 편집 툴(320)은 미리 제작되어 있는 효과음을 영상 컨텐츠에 대한 타임라인에 추가하기 위한 효과음 추가 기능(430)을 포함할 수 있다. 효과음 추가 기능(430)은 미리 제작되어 있는 다수의 효과음들의 리스트를 표시하고, 효과음들에 대한 미리 듣기를 수행하거나 효과음을 타임라인의 특정 시간에 추가하기 위한 기능들을 포함할 수 있다. 필요에 따라 사용자가 원하는 효과음을 외부 파일로부터 추가하거나 직접 생성할 수도 있다.

또한, 컨텐츠 편집 툴(320)은 영상 컨텐츠에 대한 타임라인을 가시적으로 표현하기 위한 타임라인 표시 기능(440)을 포함할 수 있다. 타임라인 표시 기능(440)은 사용자에 의해 선택된 영상 컨텐츠로부터 추출된 썸네일들을 시간에 따라 표시하기 위한 기능을 포함할 수 있다. 타임라인에 적용되는 시간은 영상 컨텐츠의 시간에 대응될 수도 있고, 실시예에 따라 미리 정의된 시간(일례로, 5분)으로 제한될 수도 있다. 예를 들어, 컨텐츠 편집 툴(320)은 영상 컨텐츠에서 5분 분량의 프레임들 중에서 썸네일을 추출하여 타임라인 표시 기능(440)을 통해 시간에 따라 표시할 수 있다. 이때, 사용자는 타임라인 표시 기능(440)의 썸네일들을 보면서 원하는 시점이나 구간에 음성이나 효과음들과 같은 합성음을 추가할 수 있다. 예를 들어, 사용자가 원하는 시점은 타임 인디케이터(450)에 의해 설정될 수 있다. 사용자는 타임 인디케이터(450)를 드래그하거나 원하는 타임라인의 위치를 클릭하는 방식으로 이동시켜 타임라인에서 원하는 시점을 설정할 수 있다. 도 4에서 타임 인디케이터(450)와 연관하여 표시된 시각 "02:16.46"은 타임라인에서 타임 인디케이터(450)가 지시하는 시점을 나타낼 수 있다.

사용자가 텍스트-음성 변환 기능(420)이 포함하는 음성 추가 기능(424)을 선택하면, 텍스트 입력 기능(421)을 통해 입력된 텍스트가 음성 타입 선택 기능(422)을 통해 선택된 음성 타입에 따라 음성으로 변환될 수 있으며, 이때 변환된 음성이 타임 인디케이터(450)가 지시하는 시점에 추가될 수 있다.

또 다른 실시예로, 사용자가 음성 추가 기능(424)을 선택하면, 텍스트 입력 기능(421)을 통해 입력된 테스트 및 음성 타입 선택 기능(422)을 통해 선택된 음성 타입을 타입 인디케이터(450)가 지시하는 시점에 대응시켜 저장할 수 있다. 이러한 정보들을 이용하여 필요한 경우(예를 들어, 미리 듣기, 또는 동영상 생성 요청 시 등)에 입력된 텍스트를 선택된 음성 타입에 따라 음성으로 변환하여 제공할 수 있다.

또한, 컨텐츠 편집 툴(320)은 타임라인에서 음성이나 효과음 같은 합성음이 추가된 구간을 표시할 수 있다. 예를 들어, 점선박스(460)에는 타임라인에 추가된 음성들에 대한 구간을, 점선박스(470)에는 타임라인에 추가된 효과음들에 대한 구간을 각각 나타내고 있다. 예를 들어, 점선박스(460)에서 "텍스트 1"에 대응하는 구간은 사용자에 의해 텍스트 입력 기능(421)을 통해 입력된 텍스트 1에 따라 변환된 음성이 추가된 구간을 의미할 수 있다. 해당 구간의 위치에는 실제 "텍스트 1"의 내용 중 적어도 일부가 표시됨으로써, 사용자가 추가된 음성의 내용을 쉽게 인지할 수 있도록 도울 수 있다.

이처럼, 사용자들은 컨텐츠 편집 툴(320)을 통해 음성을 실시간으로 생성하거나 미리 생성된 효과음 등을 활용하여 영상 컨텐츠에 간편하게 자신이 원하는 합성음을 추가함으로써, 영상 컨텐츠가 이미 포함하고 있는 정보에 대한 편집이 아닌, 새로운 합성음을 추가하는 등의 컨텐츠 편집을 간편하게 처리할 수 있게 된다.

또한, 컨텐츠 편집 툴(320)은 합성음들이 추가된 영상 컨텐츠를 저장하기 위한 저장 기능(480) 및 합성음들이 추가된 영상 컨텐츠를 사용자의 전자 기기로 다운로드하기 위한 다운로드 기능(490)을 더 포함할 수 있다.

이하에서는 컨텐츠 편집 툴(320)이 제공할 수 있는 보다 다양한 기능들을 설명한다.

도 5는 본 발명의 일실시예에 있어서, 효과음 편집 기능의 예를 도시한 도면이다. 도 5는 앞서 도 4를 통해 설명한 화면 예(400)의 일부분(500)을 나타내고 있다. 사용자가 컨텐츠 편집 툴(320)에서 타임라인과 연관하여 표시된 효과음을 선택하면, 선택된 효과음에 대한 효과음 편집 기능이 제공될 수 있다. 도 5의 실시예는 사용자가 효과음 2(510)를 선택함에 따라 점선박스(520)와 같이 효과음 편집 기능이 제공되는 예를 나타내고 있다. 예를 들어, PC 환경의 사용자가 효과음 2(510)가 표시된 영역에 마우스를 올리는 경우, 점선박스(520)와 같이 효과음 편집 기능이 제공될 수 있다. 효과음 편집 기능은 효과음 2(510)의 타임라인 상에서의 시작 시점을 변경하기 위한 시점 변경 기능(521)과 효과음 2(510)를 복사하기, 잘라내기 및/또는 삭제하기 위한 편집 기능(522)을 포함할 수 있다. 복사하거나 잘라낸 효과음은 타임라인의 다른 시점에 붙여넣기 될 수 있다. 예를 들어, 복사하거나 잘라낸 효과음 2(510)는 사용자의 입력에 따라 도 4에서 설명한 타임 인디케이터(450)가 지시하는 시점에 붙여넣기 될 수 있다.

도 6은 본 발명의 일실시예에 있어서, 음성 편집 기능의 예를 도시한 도면이다. 도 6은 앞서 도 4를 통해 설명한 화면 예(400)의 일부분(600)을 나타내고 있다. 사용자가 컨텐츠 편집 툴(320)에서 타임라인과 연관하여 표시된 음성을 선택하면, 선택된 음성에 대한 효과음 편집 기능이 제공될 수 있다. 도 6의 실시예는 사용자가 텍스트 3(610)을 선택함에 따라 점선박스(620)와 같이 음성 편집 기능이 제공되는 예를 나타내고 있다. 실질적으로 사용자는 텍스트 3(610)의 내용을 편집함으로써 음성을 편집할 수 있다. 예를 들어, 사용자가 텍스트 3(610)의 내용을 변경하면, 컨텐츠 편집 툴(320)은 변경된 텍스트의 내용을 기 선택된 음성 타입의 음성으로 재변환하여 기존 음성을 대체할 수 있다.

다른 예로, 텍스트에 대한 음성으로의 변환은 음성 제공이 필요한 경우(예를 들어, 미리 듣기, 또는 동영상의 생성 요청 시 등)까지 미뤄질 수 있다. 이 경우, 특정 시점에 대응하는 텍스트 및 음성 타입을 업데이트 함으로써 사용자는 자유롭게 텍스트의 내용을 변경할 수 있다.

텍스트의 내용을 편집하는 기능은 앞서 도 4를 통해 설명한 텍스트-음성 변환 기능(420)의 텍스트 입력 기능(421)을 통해 이루어지거나 또는 이후 설명되는 도 7에서와 같이 별도의 음성 목록을 통해 이루어질 수 있다.

또한, 사용자는 텍스트의 내용뿐만 아니라, 음성 타입을 변경할 수도 있다. 실시예에 따라, 텍스트의 내용을 변경된 음성 타입의 내용으로 재변환하여 기존 음성을 대체하거나, 특정 시점에 대응하는 텍스트 및 음성 타입을 업데이트 하여 저장 수 있다.

이러한 음성 타입의 변경은 도 4를 통해 설명한 텍스트-음성 변환 기능(420)의 음성 타입 선택 기능(422)을 통해 이루어지거나 또는 이후 설명되는 도 7에서와 같이 별도의 음성 목록에서 이루어질 수 있다. 일례로, 컨텐츠 편집 툴(320)은 사용자가 음성 타입 선택 기능(422)을 통해 다른 음성 타입을 선택하거나 또는 도 7에서 설명하는 음성 목록에서 다른 음성 타입을 선택하는 경우, 텍스트 3(610)의 내용을 선택된 다른 음성 타입에 따라 재변환할 수 있으며, 재변환된 음성으로 기존 음성을 대체할 수 있다. 실시예에 따라 음성에 대해서도 복사하기, 잘라내기 및/또는 삭제하기 위한 기능이 제공될 수 있다.

도 7은 본 발명의 일실시예에 있어서, 음성 목록을 편집하는 기능의 예를 도시한 도면이다. 도 7은 컨텐츠 편집 툴(320)이 제공할 수 있는 음성 목록의 편집 기능의 화면 예(700)를 나타내고 있다. 제1 점선박스(710)는 음성 목록에 포함된 개별 음성에 대해 설정된 음성 타입(일례로, 도 7의 보이스 폰트)을, 제2 점선박스(720)는 개별 음성들의 타임라인에서의 시작 시간을, 제3 점선박스(730)는 개별 음성들에 대응하는 텍스트의 내용을, 제4 점선박스(740)는 개별 음성들의 길이를 각각 나타내고 있다. 이때, 컨텐츠 편집 툴(320)은 제1 점선박스(710)에 나타난 개별 음성별 음성 타입을 다른 음성 타입으로 변경하기 위한 기능을 제공할 수 있다. 또한, 컨텐츠 편집 툴(320)은 제3 점선박스(730)에 나타난 텍스트의 내용을 편집하기 위한 기능을 제공할 수 있다. 또한, 제5 점선박스(750)는 개별 음성들에 대한 미리 듣기를 위한 기능을, 제6 점선박스(760)는 개별 음성들을 삭제하기 위한 기능을 각각 나타내고 있다. 또한, 음성 목록의 편집 기능은 새로운 음성을 생성하기 위한 기능을 포함할 수도 있다. 제7 점선박스(770)는 새로운 음성의 생성을 위해, 음성 타입, 시작 시간 및 텍스트의 내용을 설정하기 위한 기능을 나타내고 있다.

도 8은 본 발명의 일실시예에 있어서, 음성 타입을 편집하는 기능의 예를 도시한 도면이다. 도 8은 컨텐츠 편집 툴(320)이 제공할 수 있는 음성 타입의 편집 기능의 화면 예(800)를 나타내고 있다. 음성 타입을 편집하는 기능은 다양한 음성 타입들 중 주로 사용할 음성 타입을 선택하기 위한 기능과, 특정 음성 타입의 음성을 들어보기 위한 기능을 포함할 수 있다. 예를 들어, 사용자가 음성 타입 K1-기쁨(810)을 선택하고, 텍스트 입력 기능(820)을 통해 텍스트를 입력한 후, 미리 듣기 버튼(830)을 누르는 경우, 입력된 텍스트를 음성 타입 K1-기쁨(810)에 따라 변환한 음성을 미리 듣기 할 수 있다.

도 7 및 도 8은 음성 목록을 편집하는 기능과 음성 타입을 편집하는 기능을 각각 나타내고 있으나, 실시예에 따라 도 7의 음성 목록을 편집하는 기능과 도 8의 음성 타입을 편집하는 기능을 하나의 창이나 페이지를 통해 구현함으로써, 사용자가 보다 쉽게 개별 음성에 대한 텍스트의 내용과 음성 타입 등을 편집하도록 할 수도 있다.

도 9는 본 발명의 일실시예에 있어서, 사용자 자신의 음성 타입을 생성하는 기능의 예를 도시한 도면이다. 음성 타입을 생성하는 기능은 생성하고자 하는 음성 타입의 이름을 입력받는 기능(910), 기 정의된 음성 타입들 중에서 원하는 음성 타입을 선택하는 기능(920), 발화의 속도를 조절하는 기능(930), 발화의 볼륨을 조절하는 기능(940) 및 생성된 음성 타입의 음성을 미리 듣기 위한 기능(950)을 포함할 수 있다. 생성된 음성 타입은 해당 사용자와 연관하여 저장될 수 있으며, 사용자는 일례로 도 8에 나타난 '내 보이스 폰트'에서 자신이 생성한 음성 타입을 확인 및/또는 선택할 수 있다.

도 10은 본 발명의 일실시예에 따른 컨텐츠 편집 지원 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 컨텐츠 편집 지원 방법은 컨텐츠 제작 툴(300)을 통해 컨텐츠 편집 지원을 위한 서비스를 제공하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 10의 방법이 포함하는 단계들(1010 내지 1060)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.

단계(1010)에서 컴퓨터 장치(200)는 컨텐츠 편집 툴을 통해 선택된 영상 컨텐츠로부터 복수의 스냅샷을 추출할 수 있다. 컨텐츠 편집 툴은 앞서 도 3를 통해 설명한 컨텐츠 편집 툴(320)에 대응될 수 있다. 사용자가 컨텐츠 편집 툴을 통해 영상 컨텐츠를 선택하면, 컴퓨터 장치(200)는 영상 컨텐츠에서 복수의 스냅샷을 추출할 수 있다. 예를 들어, 컴퓨터 장치(200)는 복수의 스냅샷으로서 영상 컨텐츠에서 일정 간격의 프레임들을 추출하거나 또는 영상 컨텐츠를 분석하여 등장인물이 포함되어 있거나 특정 씬이나 액션이 포함된 프레임들을 추출할 수 있다. 다른 예로, 컴퓨터 장치(200)는 영상 컨텐츠에서 음성이 변화하는 구간의 프레임을 스냅샷으로서 추출할 수도 있다.

단계(1020)에서 컴퓨터 장치(200)는 추출된 복수의 스냅샷을 컨텐츠 편집 툴을 통해 타임라인에 따라 표시할 수 있다. 예를 들어, 도 4에서는 타임라인 표시 기능(440)을 통해 타임라인에 따라 복수의 스냅샷들이 표시되는 예를 설명한 바 있다.

단계(1030)에서 컴퓨터 장치(200)는 컨텐츠 편집 툴을 통해 입력되는 텍스트 및 컨텐츠 편집 툴을 통해 선택된 음성 타입에 기반하여 입력된 텍스트를 선택된 음성 타입의 음성으로 변환할 수 있다. 음성 타입은 목소리 및 감정의 조화에 따라 기 정의되어 컨텐츠 편집 툴을 통해 제공되는 다수의 음성 타입들 중에서 선택될 수 있다. 예를 들어, 사용자가 컨텐츠 편집 툴을 통해 표시된 다수의 음성 타입들 중 하나를 선택하는 경우, 컴퓨터 장치(200)는 선택된 음성 타입을 확인할 수 있다. 텍스트를 음성으로 변환하는 것은 이미 설명한 바와 같이 TTS와 같은 문자음성 자동변환 기술을 통해 이루어질 수 있다.

실시예에 따라 컴퓨터 장치(200)는 타임라인에 대해 선택된 시점을 기준으로 타임라인에서 변환된 음성을 추가 가능한 구간의 길이를 확인하고, 확인된 구간의 길이에 따라 입력되는 텍스트의 길이를 제한하거나 또는 변환되는 음성의 발화 속도를 조절할 수 있다. 예를 들어, 타임라인에 대해 선택된 시점에 음성을 추가하기 위해 텍스트를 입력할 때, 텍스트의 길이가 너무 길어서 변환된 음성의 길이가 추가 가능한 구간의 길이를 넘어설 수 있다. 이 경우, 컴퓨터 장치(200)는 입력하는 텍스트의 길이를 제한하거나 또는 변환된 음성의 발화 속도를 상대적으로 더 빠르게 조절함으로써 변환된 음성의 길이가 추가 가능한 구간의 길이를 넘지 않도록 제어할 수 있다. 또한 해당 구간에 입력 가능한 텍스트의 길이 및 예상 합성 음성 시간을 미리 사용자에게 제공할 수 있다.

다른 실시예에서 컴퓨터 장치(200)는 영상 컨텐츠에서 타임라인에 대해 선택된 시점에 대한 백그라운드 사운드의 볼륨을 확인하고, 확인된 백그라운드 사운드의 볼륨에 따라 변환되는 음성의 발화 볼륨을 조절할 수 있다. 예를 들어, 영상 컨텐츠에서 백그라운드 사운드의 크기가 너무 큰 경우, 추가되는 음성이 잘 들리지 않는 경우가 존재할 수 있다. 따라서, 컴퓨터 장치(200)는 백그라운드 사운드의 크기가 클수록 추가되는 음성의 발화 볼륨이 커지도록 텍스트를 음성으로 변환할 수 있다.

또 다른 실시예로 컴퓨터 장치(200)는 입력된 텍스트를 교정하는 제1 기능 및 입력된 텍스트를 다른 언어의 문자로 번역하는 제2 기능 중 적어도 하나의 기능을 제공할 수 있으며, 제1 기능을 통해 교정되거나 또는 제2 기능을 통해 번역된 텍스트를 선택된 음성 타입의 음성으로 변환할 수 있다. 다시 말해, 컴퓨터 장치(200)는 텍스트를 음성으로 변환하기 전, 컨텐츠 편집 툴을 통해 텍스트를 교정하거나 또는 다른 언어로 변환하기 위한 기능을 사용자에게 제공할 수 있다. 입력된 텍스트를 교정하는 제1 기능의 경우, 입력된 텍스트의 철자 또는 문법적 오류를 바로잡거나, 음성 합성에 조금 더 유리한 형태의 입력(예를 들어 필요한 부분에 띄어쓰기 추가, 또는 합성이 잘 되지 않는 단어들을 발음 기호 그대로 표기하는 방법 등)으로 수정하거나, 욕설이나 비속어 등의 금칙어를 입력하는 경우 이를 인식하여 합성이 불가능 하도록 제외하는 기능 등을 포함할 수 있다.

단계(1040)에서 컴퓨터 장치(200)는 컨텐츠 편집 툴에서 타임라인에 대해 선택된 시점에 변환된 음성을 추가할 수 있다. 예를 들어, 컴퓨터 장치(200)는 타임라인상에서 특정 시점을 나타내는 타임 인디케이터에 대한 드래그를 통해 선택된 시점에 변환된 음성을 추가할 수 있다. 타임 인디케이터는 앞서 도 4를 통해 설명한 타임 인디케이터(450)에 대응될 수 있다.

한편, 추가된 음성에 대응하는 텍스트의 내용 중 적어도 일부의 내용이 컨텐츠 편집 툴에서 타임라인에 대해 선택된 시점과 연계하여 표시될 수 있다. 예를 들어, 도 4에서는 점선박스(460)을 통해 텍스트의 내용 중 적어도 일부의 내용이 타임라인에 대해 해당 텍스트에 대해 선택된 시점과 연계하여 표시되는 예를 나타내고 있다. 이때, 적어도 일부의 내용이 표시된 영역에 대한 사용자의 입력에 따라 추가된 음성에 대응하는 텍스트의 내용, 추가된 음성에 대응하는 음성 타입 및 추가된 음성의 시작 시간 중 적어도 하나를 편집하기 위한 기능이 제공될 수 있다. 일례로, 도 6에서는 적어도 일부의 내용이 표시된 영역에 대한 마우스 오버 입력에 따라 음성 편집 기능이 제공되는 예를 설명한 바 있다.

또한, 다른 실시예에서 컴퓨터 장치(200)는 영상 컨텐츠에서 타임라인에 대해 선택된 시점에 대한 화자의 음성을 제거한 후, 변환된 음성을 추가할 수 있다. 다시 말해, 영상 컨텐츠에서 화자의 음성을 변환된 음성으로 대체할 수 있다.

단계(1050)에서 컴퓨터 장치(200)는 컨텐츠 편집 툴을 통해 제공된 복수의 효과음 중 적어도 하나의 효과음을 선택받을 수 있다. 예를 들어, 도 4에서는 효과음 추가 기능(430)을 통해 미리 제작되어 있는 다수의 효과음들의 리스트를 표시하고, 효과음들에 대한 미리 듣기를 수행하거나 효과음을 타임라인의 특정 시간에 추가하기 위한 기능들을 포함할 수 있다.

단계(1060)에서 컴퓨터 장치(200)는 컨텐츠 편집 툴에서 타임라인에 대해 선택된 시점에 선택된 효과음을 추가할 수 있다. 실시예에 따라 이러한 단계(1050) 및 단계(1060)은 앞서 설명한 단계(1030) 및 단계(1040)과는 병렬적으로 수행되거나 생략될 수 있다. 혹은 단계(1030) 및 단계(1040)가 생략될 수도 있다.

또한, 실시예에 따라 컴퓨터 장치(200)는 추가된 음성에 대한 복사 또는 잘라내기 기능을 제공할 수 있으며, 컨텐츠 편집 툴에서 타임라인에 대해 선택된 시점에 상기 기능을 통해 복사 또는 잘라내기 된 음성을 추가할 수도 있다.

다른 실시예에서 컴퓨터 장치(200)는 컨텐츠 편집 툴을 통해 사용자의 음성 타입을 생성하는 기능을 제공할 수 있다. 이때, 상기 기능은 기 정의된 음성 타입의 발화 속도 및 발화 볼륨 중 적어도 하나를 조절하여 새로운 음성 타입을 생성하는 기능을 포함할 수 있다.

또 다른 실시예에서 컴퓨터 장치(200)는 영상 컨텐츠를 분석하여 변환된 음성을 추가할 타임라인상의 시점을 추천할 수 있다. 예를 들어, 컴퓨터 장치(200)는 영상 컨텐츠를 분석하여 등장인물이 나오는 시점이나 특정 씬 또는 액션이 나오는 시점, 또는 음성 특징이 변하는 구간 등을 찾을 수 있다. 이렇게 분석된 정보를 이용하여, 사용자에게 음성이나 효과음을 추가할 시점으로서 추천하거나, 특정 키워드(예를 들면 등장 인물의 이름, 검색하고자 하는 장면 내용 등)에 대한 검색 결과로 제공하거나, 컨텐츠를 삽입할 인디케이터 이동시 해당 시점 기준으로 쉽게 이동하도록 할 수 있다.

또 다른 실시예에서 컴퓨터 장치(200)는 영상 컨텐츠에서 타임라인에 대해 선택된 시점의 영상을 분석하여 선택된 시점을 위한 음성 타입 및 효과음 중 적어도 하나를 추천할 수 있다. 예를 들어, 사용자가 타임 인디케이터를 통해 특정 시점을 선택하면, 컴퓨터 장치(200)는 선택된 시점의 영상을 분석하여 해당 시점에 추가할 음성에 대한 음성 타입 또는 해당 시점에 추가할 효과음을 사용자에게 추천할 수 있다. 보다 구체적인 예로, 컴퓨터 장치(200)는 영상에서 분석되는 등장인물의 성별, 연령대, 체형이나 외모 등에 따라 음성 타입을 추천하거나 영상에서 분석되는 특정 씬이나 장소 등에 따라 알맞은 효과음을 추천할 수 있다.

또 다른 실시예에서 컴퓨터 장치(200)는 영상 컨텐츠에서 음성을 추출하여 텍스트로 변환하고, 변환된 텍스트를 컨텐츠 편집 툴을 통해 선택된 음성 타입의 음성으로 변환할 수 있다. 이후 컴퓨터 장치(200)는 변환된 음성을 영상 컨텐츠에서 음성이 추출된 구간에 추가할 수 있다. 다시 말해, 컴퓨터 장치(200)는 영상 컨텐츠에 포함된 음성의 목소리 및/또는 감정을 다른 목소리 및/또는 다른 감정으로 대체할 수 있는 기능을 제공할 수 있다. 이때, 다른 목소리 및/또는 다른 감정은 컨텐츠 편집 툴을 통해 선택되는 음성 타입 또는 컴퓨터 장치(200)가 자체적으로 선택하는 음성 타입에 따라 결정될 수 있다.

또 따른 실시예에서 컴퓨터 장치(200)는 타임 인디케이터가 지시하는 시점에 대응하는 음절 단위의 음성에 대한 텍스트 정보 및 상기 시점에 대응하는 썸네일 중 적어도 하나를 제공할 수 있다.

도 11은 본 발명의 일실시예에 있어서, 타임 인디케이터가 지시하는 시점에 대한 정보를 제공하는 예를 도시한 도면이다. 도 11은 도 4를 통해 설명한 화면 예(400)의 일부분(1100)을 나타내고 있다. 이미 설명한 바와 같이, 사용자는 타임 인디케이터(450)를 드래그하거나 타임라인의 특정 시점(위치)을 선택하여 타임라인에서의 특정 시점을 선택할 수 있다.

일례로, PC 환경에서는 사용자가 마우스로 타임 인디케이터(450)를 클릭한 상태에서 드래그함으로써, 타임 인디케이터(450)를 이동시킬 수 있으며, 터치스크린 환경에서는 사용자가 손가락이나 펜 등으로 타임 인디케이터(450)를 터치한 상태에서 드래그함으로써, 타임 인디케이터(450)를 이동시킬 수 있다. 이때, 타임 인디케이터(450)가 클릭된 상태 또는 터치된 상태인 경우, 컨텐츠 편집 툴(320)은 타임 인디케이터(450)가 지시하는 시점에 대응하는 썸네일(1110) 및 해당 시점에 대응하는 음절 단위의 음성에 대한 텍스트 정보(1120)를 제공할 수 있다. 도 4에서 설명하는 점선박스(460)에서도 대응하는 텍스트의 적어도 일부가 표시될 수 있으나, 이는 사용자가 해당 구간에 추가된 음성의 내용이 무엇인지를 쉽게 인지하기 위한 것이다.

한편, 본 실시예에서 타임 인디케이터(450)가 지시하는 시점에 대응하여 제공되는 음절 단위의 음성에 대한 텍스트 정보(1120)는 실제 타임 인디케이터(450)가 지시하는 시점에 출력될 음절 단위의 음성에 대한 텍스트 내용을 포함할 수 있다. 도 11의 실시예에서는 사용자에 의해 선택(일례로, 클릭 또는 터치)된 타임 인디케이터(450)가 지시하고 있는 "01:17.12"의 시점에 해당하는 썸네일(1110)과, 해당 시점에 실제로 추가되는 음절 단위의 음성에 대한 텍스트 "안녕"이 표시되는 예를 나타내고 있다. 만약, 타임 인디케이터(450)가 사용자에 의해 선택된 상태로 다른 시점으로 드래그되는 경우, 다른 시점에 해당하는 썸네일과 다른 시점에 실제로 추가되는 음절 단위의 음성에 대한 텍스트가 표시될 수 있음을 위 설명을 통해 쉽게 이해할 수 있을 것이다. 이 경우, 사용자는 타임 인디케이터(450)를 드래그하면서 다양한 시점에 대한 썸네일 및/또는 해당 시점에 대해 추가되는 음절 단위의 음성에 대한 텍스트를 간단히 확인할 수 있게 된다.

이와 같이, 본 발명의 실시예들에 따르면, 사용자가 원하는 합성음을 실시간으로 생성하여 영상 컨텐츠의 원하는 부분에 추가할 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (18)

1. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 컨텐츠 편집 지원 방법에 있어서,
   상기 적어도 하나의 프로세서에 의해, 컨텐츠 편집 툴을 통해 선택된 영상 컨텐츠로부터 복수의 스냅샷을 추출하는 단계;
   상기 적어도 하나의 프로세서에 의해, 상기 추출된 복수의 스냅샷을 상기 컨텐츠 편집 툴을 통해 타임라인에 따라 표시하는 단계;
   상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴을 통해 입력되는 텍스트 및 상기 컨텐츠 편집 툴을 통해 선택된 음성 타입에 기반하여 상기 입력된 텍스트를 상기 선택된 음성 타입의 음성으로 변환하는 단계; 및
   상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 변환된 음성을 추가하는 단계
   를 포함하는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
2. 제1항에 있어서,
   상기 적어도 하나의 프로세서에 의해, 상기 추가된 음성에 대한 복사 또는 잘라내기 기능을 제공하는 단계; 및
   상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 기능을 통해 복사 또는 잘라내기된 음성을 추가하는 단계
   를 더 포함하는 컨텐츠 편집 지원 방법.
3. 제1항에 있어서,
   상기 적어도 하나의 프로세서에 의해, 컨텐츠 편집 툴을 통해 사용자의 음성 타입을 생성하는 기능을 제공하는 단계
   를 더 포함하고,
   상기 기능은 기 정의된 음성 타입의 발화 속도 및 발화 볼륨 중 적어도 하나를 조절하여 새로운 음성 타입을 생성하는 기능을 포함하는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
4. 제1항에 있어서,
   상기 추가된 음성에 대응하는 텍스트의 내용 중 적어도 일부의 내용이 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점과 연계하여 표시되는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
5. 제4항에 있어서,
   상기 적어도 일부의 내용이 표시된 영역에 대한 사용자의 입력에 따라 상기 추가된 음성에 대응하는 텍스트의 내용, 상기 추가된 음성에 대응하는 음성 타입 및 상기 추가된 음성의 시작 시간 중 적어도 하나를 편집하기 위한 기능이 제공되는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
6. 제1항에 있어서,
   상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴을 통해 제공된 복수의 효과음 중 적어도 하나의 효과음을 선택받는 단계; 및
   상기 적어도 하나의 프로세서에 의해, 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 선택된 효과음을 추가하는 단계
   를 더 포함하는 컨텐츠 편집 지원 방법.
7. 제1항에 있어서,
   상기 추가된 효과음에 대한 정보가 상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점과 연계하여 표시되고,
   상기 정보가 표시된 영역에 대한 사용자의 입력에 따라 상기 추가된 효과음의 종류 및 시작 시간 중 적어도 하나를 편집하기 위한 기능이 제공되는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
8. 제1항에 있어서,
   상기 적어도 하나의 프로세서에 의해, 상기 영상 컨텐츠를 분석하여 상기 변환된 음성을 추가할 상기 타임라인상의 시점을 추천하는 단계
   를 더 포함하는 컨텐츠 편집 지원 방법.
9. 제1항에 있어서,
   상기 적어도 하나의 프로세서에 의해, 상기 영상 컨텐츠에서 상기 타임라인에 대해 선택된 시점의 영상을 분석하여 상기 선택된 시점을 위한 음성 타입 및 효과음 중 적어도 하나를 추천하는 단계
   를 더 포함하는 컨텐츠 편집 지원 방법.
10. 제1항에 있어서,
    상기 변환하는 단계는,
    상기 타임라인에 대해 선택된 시점을 기준으로 타임라인에서 상기 변환된 음성을 추가 가능한 구간의 길이를 확인하는 단계; 및
    상기 확인된 구간의 길이에 따라 상기 입력되는 텍스트의 길이를 제한하거나 또는 상기 변환되는 음성의 발화 속도를 조절하는 단계
    를 포함하는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
11. 제1항에 있어서,
    상기 변환하는 단계는,
    상기 영상 컨텐츠에서 상기 타임라인에 대해 선택된 시점에 대한 백그라운드 사운드의 볼륨을 확인하는 단계; 및
    상기 확인된 백그라운드 사운드의 볼륨에 따라 상기 변환되는 음성의 발화 볼륨을 조절하는 단계
    를 포함하는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
12. 제1항에 있어서,
    상기 변환된 음성을 추가하는 단계는,
    상기 영상 컨텐츠에서 상기 타임라인에 대해 선택된 시점에 대한 화자의 음성을 제거한 후, 상기 변환된 음성을 추가하는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
13. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 영상 컨텐츠에서 음성을 추출하여 텍스트로 변환하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 변환된 텍스트를 상기 컨텐츠 편집 툴을 통해 선택된 음성 타입의 음성으로 변환하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 변환된 음성을 상기 영상 컨텐츠에서 음성이 추출된 구간에 추가하는 단계
    를 더 포함하는 컨텐츠 편집 지원 방법.
14. 제1항에 있어서,
    상기 변환하는 단계는,
    상기 입력된 텍스트를 교정하는 제1 기능 및 상기 입력된 텍스트를 다른 언어의 문자로 번역하는 제2 기능 중 적어도 하나의 기능을 제공하는 단계; 및
    상기 제1 기능을 통해 교정되거나 또는 상기 제2 기능을 통해 번역된 텍스트를 상기 선택된 음성 타입의 음성으로 변환하는 단계
    를 포함하는 것을 특징으로 하는 컨텐츠 편집 지원 방법.
15. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 타임라인상에서 타임 인디케이터가 지시하는 시점에 대응하는 썸네일 및 상기 타임 인디케이터가 지시하는 시점에 대응하는 음절 단위의 음성에 대한 텍스트 정보 중 적어도 하나를 제공하는 단계
    를 더 포함하는 컨텐츠 편집 지원 방법.
16. 컴퓨터 장치와 결합되어 제1항 내지 제15항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
17. 제1항 내지 제15항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
18. 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    컨텐츠 편집 툴을 통해 선택된 영상 컨텐츠로부터 복수의 스냅샷을 추출하고,
    상기 추출된 복수의 스냅샷을 상기 컨텐츠 편집 툴을 통해 타임라인에 따라 표시하고,
    상기 컨텐츠 편집 툴을 통해 입력되는 텍스트 및 상기 컨텐츠 편집 툴을 통해 선택된 음성 타입에 기반하여 상기 입력된 텍스트를 상기 선택된 음성 타입의 음성으로 변환하고,
    상기 컨텐츠 편집 툴에서 상기 타임라인에 대해 선택된 시점에 상기 변환된 음성을 추가하는 것
    을 특징으로 하는 컴퓨터 장치.

Images