KR102440890B1 - 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법 - Google Patents
제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR102440890B1 KR102440890B1 KR1020210029179A KR20210029179A KR102440890B1 KR 102440890 B1 KR102440890 B1 KR 102440890B1 KR 1020210029179 A KR1020210029179 A KR 1020210029179A KR 20210029179 A KR20210029179 A KR 20210029179A KR 102440890 B1 KR102440890 B1 KR 102440890B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- data
- video
- subtitles
- audio data
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title abstract description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 65
- 238000003786 synthesis reaction Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001771 impaired effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
- G10L21/055—Time compression or expansion for synchronising with other signals, e.g. video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Quality & Reliability (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
동영상 자동 더빙 장치 및 그 동작 방법이 개시된다. 본 발명은 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법을 제시함으로써, 시각장애인이나 시약자가 동영상을 보다 다양한 언어들로 감상하는 것이 가능하도록 지원할 수 있다.
Description
본 발명은 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법에 대한 것이다.
최근, 코로나 시대가 장기화되면서, 실내에서 영상 콘텐츠를 시청하는 비율이 증가하고 있는 추세이다. 이에 따라, 실시간 TV 시청량은 증가하였으며, VOD 시청 건수도 증가하였다.
이렇게, 실내에서 영상 콘텐츠를 시청하는 비율이 증가하면서, 영상 콘텐츠와 관련해서, 전 세계인들을 위해 다국어를 지원해 줄 필요성 또한 증대되고 있다.
현재에는, 영상 콘텐츠를 번역가들이 다국어로 번역해 줌으로써, 다국어 버전의 자막을 배포하고 있는 실정이다.
한편, 시각장애인이나 시약자는 다국어 버전의 자막을 보는데 있어, 어려움이 존재하기 때문에 시청 약자들이 동영상을 편하게 볼 수 있도록 지원하기 위한 방안이 필요하다.
이와 관련해서, 동영상을 다양한 언어로 더빙함으로써, 시각장애인이나 시약자를 보조하는 방법을 고려할 수 있다.
그러나, 현재의 영상 제공 서비스에서는 제1 언어의 음성으로 더빙되어 있는 동영상을 제2 언어의 음성으로 자동 더빙하는 기술을 도입하고 있지 않아서, 동영상이 처음부터 제2 언어로 더빙된 상태로 제작되어 있지 않다면, 제2 언어를 사용하는 사용자들은 자신의 언어로 더빙된 동영상을 보기가 어려운 실정이다.
따라서, 제1 언어의 음성으로 더빙된 동영상을 또 다른 제2 언어의 음성으로 자동 더빙해 줄 수 있는 동영상 자동 더빙 기술에 대한 연구가 필요하다.
본 발명은 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법을 제시함으로써, 시각장애인이나 시약자가 동영상을 보다 다양한 언어들로 감상하는 것이 가능하도록 지원하고자 한다.
본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치는 상기 제1 언어의 음성으로 더빙된 동영상에 대한, 사전 설정된 제1 컨테이너(Container) 포맷으로 구성된 제1 동영상 파일로부터 비디오 데이터와 오디오 데이터를 분리 추출하는 분리 추출부, 상기 비디오 데이터와 상기 오디오 데이터가 분리 추출되면, 상기 오디오 데이터를 사전 설정된 제1 재생 시간 간격으로 분할함으로써, 복수의 부분 오디오 데이터들을 생성하는 분할부, 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성 이외의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 복수의 음성 데이터들을 생성하는 음성 데이터 생성부, 상기 복수의 음성 데이터들을 사전 구축된 음성 인식 모델에 순차적으로 입력으로 인가하여 음성 인식을 수행함으로써, 상기 복수의 음성 데이터들 각각에 대응되는 상기 제1 언어로 구성된 복수의 자막들을 생성하는 자막 생성부, 사전 구축된 번역 엔진을 통해 상기 복수의 자막들을 상기 제2 언어로 번역함으로써, 복수의 번역 자막들을 생성하는 번역 자막 생성부, 상기 복수의 번역 자막들 각각을 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 복수의 합성 음성 데이터들을 생성하는 음성 합성부, 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대한 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 사람의 음성에 대한 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱(Mixing)함으로써, 복수의 믹싱 데이터들을 생성하는 믹싱 데이터 생성부, 상기 복수의 믹싱 데이터들을 재생 시간 순서에 따라 하나의 오디오 데이터로 결합함으로써, 더빙 오디오 데이터를 생성하는 결합부 및 상기 더빙 오디오 데이터와 상기 비디오 데이터를 포함하는, 상기 제1 컨테이너 포맷으로 구성된 제2 동영상 파일을 생성함으로써, 상기 제2 언어의 음성으로 더빙된 동영상에 대한 상기 제2 동영상 파일을 생성하는 동영상 생성부를 포함한다.
또한, 본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 동작 방법은 상기 제1 언어의 음성으로 더빙된 동영상에 대한, 사전 설정된 제1 컨테이너 포맷으로 구성된 제1 동영상 파일로부터 비디오 데이터와 오디오 데이터를 분리 추출하는 단계, 상기 비디오 데이터와 상기 오디오 데이터가 분리 추출되면, 상기 오디오 데이터를 사전 설정된 제1 재생 시간 간격으로 분할함으로써, 복수의 부분 오디오 데이터들을 생성하는 단계, 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성 이외의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 복수의 음성 데이터들을 생성하는 단계, 상기 복수의 음성 데이터들을 사전 구축된 음성 인식 모델에 순차적으로 입력으로 인가하여 음성 인식을 수행함으로써, 상기 복수의 음성 데이터들 각각에 대응되는 상기 제1 언어로 구성된 복수의 자막들을 생성하는 단계, 사전 구축된 번역 엔진을 통해 상기 복수의 자막들을 상기 제2 언어로 번역함으로써, 복수의 번역 자막들을 생성하는 단계, 상기 복수의 번역 자막들 각각을 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 복수의 합성 음성 데이터들을 생성하는 단계, 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대한 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 사람의 음성에 대한 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱함으로써, 복수의 믹싱 데이터들을 생성하는 단계, 상기 복수의 믹싱 데이터들을 재생 시간 순서에 따라 하나의 오디오 데이터로 결합함으로써, 더빙 오디오 데이터를 생성하는 단계 및 상기 더빙 오디오 데이터와 상기 비디오 데이터를 포함하는, 상기 제1 컨테이너 포맷으로 구성된 제2 동영상 파일을 생성함으로써, 상기 제2 언어의 음성으로 더빙된 동영상에 대한 상기 제2 동영상 파일을 생성하는 단계를 포함한다.
본 발명은 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법을 제시함으로써, 시각장애인이나 시약자가 동영상을 보다 다양한 언어들로 감상하는 것이 가능하도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 동작 방법을 도시한 순서도이다.
도 2는 본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 동영상 자동 더빙 장치(110)는 분리 추출부(111), 분할부(112), 음성 데이터 생성부(113), 자막 생성부(114), 번역 자막 생성부(115), 음성 합성부(116), 믹싱 데이터 생성부(117), 결합부(118) 및 동영상 생성부(119)를 포함한다.
분리 추출부(111)는 상기 제1 언어의 음성으로 더빙된 동영상에 대한, 사전 설정된 제1 컨테이너(Container) 포맷으로 구성된 제1 동영상 파일로부터 비디오 데이터와 오디오 데이터를 분리 추출한다.
여기서, 컨테이너 포맷이란 상이한 데이터 구성요소들과 메타 데이터들이 컴퓨터 파일 안에서 같이 있을 수 있게 하는 방법을 기술하고 있는 메타 파일 포맷을 의미한다. 예컨대, 다양한 파일들을 하나의 파일로 무손실 압축할 수 있는 포맷인 'zip' 파일이나, 비디오와 오디오 코덱을 하나의 파일로 담고 있는 동영상 포맷인 'mkv' 파일 등이 컨테이너 포맷으로 구성된 파일일 수 있다.
분할부(112)는 상기 비디오 데이터와 상기 오디오 데이터가 분리 추출되면, 상기 오디오 데이터를 사전 설정된 제1 재생 시간 간격으로 분할함으로써, 복수의 부분 오디오 데이터들을 생성한다.
음성 데이터 생성부(113)는 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성 이외의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 복수의 음성 데이터들을 생성한다.
자막 생성부(114)는 상기 복수의 음성 데이터들을 사전 구축된 음성 인식 모델에 순차적으로 입력으로 인가하여 음성 인식을 수행함으로써, 상기 복수의 음성 데이터들 각각에 대응되는 상기 제1 언어로 구성된 복수의 자막들을 생성한다.
번역 자막 생성부(115)는 사전 구축된 번역 엔진을 통해 상기 복수의 자막들을 상기 제2 언어로 번역함으로써, 복수의 번역 자막들을 생성한다.
음성 합성부(116)는 상기 복수의 번역 자막들 각각을 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 복수의 합성 음성 데이터들을 생성한다.
믹싱 데이터 생성부(117)는 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대한 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 사람의 음성에 대한 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱(Mixing)함으로써, 복수의 믹싱 데이터들을 생성한다.
결합부(118)는 상기 복수의 믹싱 데이터들을 재생 시간 순서에 따라 하나의 오디오 데이터로 결합함으로써, 더빙 오디오 데이터를 생성한다.
동영상 생성부(119)는 상기 더빙 오디오 데이터와 상기 비디오 데이터를 포함하는, 상기 제1 컨테이너 포맷으로 구성된 제2 동영상 파일을 생성함으로써, 상기 제2 언어의 음성으로 더빙된 동영상에 대한 상기 제2 동영상 파일을 생성한다.
이하에서는, 분리 추출부(111), 분할부(112), 음성 데이터 생성부(113), 자막 생성부(114), 번역 자막 생성부(115), 음성 합성부(116), 믹싱 데이터 생성부(117), 결합부(118) 및 동영상 생성부(119)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 사전 설정된 제1 컨테이너 포맷을 'mkv'라고 하고, 상기 제1 컨테이너 포맷으로 구성된 제1 동영상 파일을 '연애시대.mkv'라고 가정하자.
이때, 분리 추출부(111)는 상기 제1 언어의 음성으로 더빙된 동영상에 대한, 상기 제1 컨테이너 포맷으로 구성된 제1 동영상 파일인 '연애시대.mkv'로부터 비디오 데이터와 오디오 데이터를 분리 추출할 수 있다.
이렇게, 분리 추출부(111)에 의해 상기 비디오 데이터와 상기 오디오 데이터가 분리 추출되면, 분할부(112)는 상기 오디오 데이터를 사전 설정된 제1 재생 시간 간격으로 분할함으로써, 복수의 부분 오디오 데이터들을 생성할 수 있다.
만약, 사전 설정된 제1 재생 시간 간격을 '1분'이라고 하고, 상기 제1 동영상 파일의 총 재생 시간이 '5분'이라고 하는 경우, 분할부(112)는 상기 오디오 데이터를 상기 제1 재생 시간 간격인 '1분' 간격으로 분할함으로써, '1분'의 재생 시간을 갖는 복수의 부분 오디오 데이터들을 '부분 오디오 데이터 1, 부분 오디오 데이터 2, 부분 오디오 데이터 3, 부분 오디오 데이터 4, 부분 오디오 데이터 5'로 생성할 수 있다.
이렇게, 분할부(112)에 의해, 상기 복수의 부분 오디오 데이터들이 생성되면, 음성 데이터 생성부(113)는 상기 복수의 부분 오디오 데이터들인 '부분 오디오 데이터 1, 부분 오디오 데이터 2, 부분 오디오 데이터 3, 부분 오디오 데이터 4, 부분 오디오 데이터 5' 각각에 대해, 사람의 음성 이외의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들인 '부분 오디오 데이터 1, 부분 오디오 데이터 2, 부분 오디오 데이터 3, 부분 오디오 데이터 4, 부분 오디오 데이터 5' 각각에 대응되는 복수의 음성 데이터들을 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5'로 생성할 수 있다.
이렇게, 음성 데이터 생성부(113)에 의해 상기 복수의 음성 데이터들이 생성되면, 자막 생성부(114)는 상기 복수의 음성 데이터들인 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5'를 사전 구축된 음성 인식 모델에 순차적으로 입력으로 인가하여 음성 인식을 수행함으로써, 상기 복수의 음성 데이터들인 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5' 각각에 대응되는 상기 제1 언어로 구성된 복수의 자막들을 '자막 1, 자막 2, 자막 3, 자막 4, 자막 5'로 생성할 수 있다.
이렇게, 자막 생성부(114)에 의해 상기 복수의 자막들이 생성되면, 번역 자막 생성부(115)는 사전 구축된 번역 엔진을 통해 상기 복수의 자막들인 '자막 1, 자막 2, 자막 3, 자막 4, 자막 5'를 상기 제2 언어로 번역함으로써, 복수의 번역 자막들을 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5'로 생성할 수 있다.
이렇게, 번역 자막 생성부(115)에 의해 상기 복수의 번역 자막들이 생성되면, 음성 합성부(116)는 상기 복수의 번역 자막들인 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각을 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들인 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각에 대응되는 복수의 합성 음성 데이터들을 '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5'로 생성할 수 있다.
이렇게, 음성 합성부(116)에 의해 복수의 합성 음성 데이터들이 생성되면, 믹싱 데이터 생성부(117)는 상기 복수의 부분 오디오 데이터들인 '부분 오디오 데이터 1, 부분 오디오 데이터 2, 부분 오디오 데이터 3, 부분 오디오 데이터 4, 부분 오디오 데이터 5' 각각에 대해, 사람의 음성에 대한 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들인 '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5'를 사람의 음성에 대한 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱함으로써, 복수의 믹싱 데이터들을 '믹싱 데이터 1, 믹싱 데이터 2, 믹싱 데이터 3, 믹싱 데이터 4, 믹싱 데이터 5'로 생성할 수 있다.
즉, 믹싱 데이터 생성부(117)는 '합성 음성 데이터 1'과 사람의 음성에 대한 소리 성분이 제거된 '부분 오디오 데이터 1'을 서로 믹싱하여 '믹싱 데이터 1'을 생성할 수 있고, '합성 음성 데이터 2'와 사람의 음성에 대한 소리 성분이 제거된 '부분 오디오 데이터 2'를 서로 믹싱하여 '믹싱 데이터 2'를 생성할 수 있으며, '합성 음성 데이터 3'과 사람의 음성에 대한 소리 성분이 제거된 '부분 오디오 데이터 3'을 서로 믹싱하여 '믹싱 데이터 3'을 생성할 수 있고, '합성 음성 데이터 4'와 사람의 음성에 대한 소리 성분이 제거된 '부분 오디오 데이터 4'를 서로 믹싱하여 '믹싱 데이터 4'를 생성할 수 있고, '합성 음성 데이터 5'와 사람의 음성에 대한 소리 성분이 제거된 '부분 오디오 데이터 5'를 서로 믹싱하여 '믹싱 데이터 5'를 생성할 수 있다.
이렇게, 믹싱 데이터 생성부(117)에 의해 상기 복수의 믹싱 데이터들이 생성되면, 결합부(118)는 상기 복수의 믹싱 데이터들인 '믹싱 데이터 1, 믹싱 데이터 2, 믹싱 데이터 3, 믹싱 데이터 4, 믹싱 데이터 5'를 재생 시간 순서에 따라 하나의 오디오 데이터로 결합함으로써, 더빙 오디오 데이터를 생성할 수 있다.
이렇게, 결합부(118)에 의해 상기 더빙 오디오 데이터가 생성되면, 동영상 생성부(119)는 상기 더빙 오디오 데이터와 상기 비디오 데이터를 포함하는, 상기 제1 컨테이너 포맷으로 구성된 제2 동영상 파일을 '연애시대(*).mkv'로 생성함으로써, 상기 제2 언어의 음성으로 더빙된 동영상에 대한 상기 제2 동영상 파일을 생성할 수 있다.
이때, 본 발명의 일실시예에 따르면, 음성 데이터 생성부(113)는 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 제1 주파수 대역 이외의 주파수 대역의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 상기 복수의 음성 데이터들을 생성할 수 있다.
이때, 믹싱 데이터 생성부(117)는 상기 복수의 부분 오디오 데이터들 각각에 대해, 상기 제1 주파수 대역의 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 상기 제1 주파수 대역의 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱함으로써, 상기 복수의 믹싱 데이터들을 생성할 수 있다.
예컨대, 사람의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 제1 주파수 대역을 '50Hz ~ 4000Hz'라고 가정하자.
이때, 전술한 예에 따르면, 음성 데이터 생성부(113)는 상기 복수의 부분 오디오 데이터들인 '부분 오디오 데이터 1, 부분 오디오 데이터 2, 부분 오디오 데이터 3, 부분 오디오 데이터 4, 부분 오디오 데이터 5' 각각에 대해, 사람의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 제1 주파수 대역인 '50Hz ~ 4000Hz' 이외의 주파수 대역의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들인 '부분 오디오 데이터 1, 부분 오디오 데이터 2, 부분 오디오 데이터 3, 부분 오디오 데이터 4, 부분 오디오 데이터 5' 각각에 대응되는 상기 복수의 음성 데이터들인 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5'를 생성할 수 있다.
또한, 믹싱 데이터 생성부(117)는 상기 복수의 부분 오디오 데이터들인 '부분 오디오 데이터 1, 부분 오디오 데이터 2, 부분 오디오 데이터 3, 부분 오디오 데이터 4, 부분 오디오 데이터 5' 각각에 대해, 상기 제1 주파수 대역인 '50Hz ~ 4000Hz'의 소리 성분을 제거함으로써, 각 부분 오디오 데이터에서 사람의 음성에 대한 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들인 '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5'를 상기 제1 주파수 대역인 '50Hz ~ 4000Hz'의 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱함으로써, 상기 복수의 믹싱 데이터들인 '믹싱 데이터 1, 믹싱 데이터 2, 믹싱 데이터 3, 믹싱 데이터 4, 믹싱 데이터 5'를 생성할 수 있다.
본 발명의 일실시예에 따르면, 자막 생성부(114)는 상기 복수의 음성 데이터들 각각에 대해서, 남성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 남성 주파수 대역에 속하는 주파수를 갖는 남성 음성 구간과 여성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 여성 주파수 대역에 속하는 주파수를 갖는 여성 음성 구간을 확인한 후, 상기 복수의 음성 데이터들에 대한 음성 인식을 통해 상기 복수의 자막들이 생성되면, 상기 복수의 자막들 각각에 대해, 각 자막에서의 상기 남성 음성 구간에 대응되는 텍스트 구간에 남성 음성에 대응되는 구간임을 지시하는 제1 태그를 할당하고, 상기 여성 음성 구간에 대응되는 텍스트 구간에 여성 음성에 대응되는 구간임을 지시하는 제2 태그를 할당할 수 있다.
이때, 번역 자막 생성부(115)는 상기 복수의 자막들을 상기 제2 언어로 번역할 때, 상기 복수의 자막들 각각에 할당되어 있는 상기 제1 태그와 상기 제2 태그를 상기 복수의 번역 자막들 각각에 동일하게 할당할 수 있다.
이때, 음성 합성부(116)는 상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 상기 제1 태그가 할당된 텍스트 구간을, 남성의 음성을 기반으로 사전 구축된 남성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행하고, 상기 제2 태그가 할당된 텍스트 구간을, 여성의 음성을 기반으로 사전 구축된 여성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 상기 복수의 합성 음성 데이터들을 생성할 수 있다.
예컨대, 전술한 예와 같이, 음성 데이터 생성부(113)에 의해 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5'가 생성되었다고 가정하자. 그러면, 자막 생성부(114)는 상기 복수의 음성 데이터들인 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5' 각각에 대해서, 남성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 남성 주파수 대역에 속하는 주파수를 갖는 남성 음성 구간과 여성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 여성 주파수 대역에 속하는 주파수를 갖는 여성 음성 구간을 확인할 수 있다.
그 이후, 자막 생성부(114)는 상기 복수의 음성 데이터들인 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5'에 대한 음성 인식을 통해 상기 복수의 자막들인 '자막 1, 자막 2, 자막 3, 자막 4, 자막 5'가 생성되면, 상기 복수의 자막들인 '자막 1, 자막 2, 자막 3, 자막 4, 자막 5' 각각에 대해, 각 자막에서의 상기 남성 음성 구간에 대응되는 텍스트 구간에 남성 음성에 대응되는 구간임을 지시하는 제1 태그를 할당하고, 상기 여성 음성 구간에 대응되는 텍스트 구간에 여성 음성에 대응되는 구간임을 지시하는 제2 태그를 할당할 수 있다.
이때, 번역 자막 생성부(115)는 상기 복수의 자막들인 '자막 1, 자막 2, 자막 3, 자막 4, 자막 5'를 상기 제2 언어로 번역할 때, 상기 복수의 자막들인 '자막 1, 자막 2, 자막 3, 자막 4, 자막 5' 각각에 할당되어 있는 상기 제1 태그와 상기 제2 태그를 상기 복수의 번역 자막들인 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각에 동일하게 할당할 수 있다.
그러면, 음성 합성부(116)는 상기 복수의 번역 자막들인 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각에 대한 음성 합성을 수행할 때, 상기 제1 태그가 할당된 텍스트 구간을, 남성의 음성을 기반으로 사전 구축된 남성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행하고, 상기 제2 태그가 할당된 텍스트 구간을, 여성의 음성을 기반으로 사전 구축된 여성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들인 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각에 대응되는 상기 복수의 합성 음성 데이터들인 '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5'를 생성할 수 있다.
본 발명의 일실시예에 따르면, 음성 합성부(116)는 상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 합성된 음성이 발화되는 속도를 조절함으로써, 상기 복수의 합성 음성 데이터들 각각의 재생 시간이 상기 제1 재생 시간 간격만큼의 재생 시간을 갖도록 음성 합성을 수행할 수 있다.
예컨대, 전술한 예와 같이, 상기 제1 재생 시간 간격이 '1분'이라고 하면, 음성 합성부(116)는 상기 복수의 번역 자막들인 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각에 대한 음성 합성을 수행할 때, 합성된 음성이 발화되는 속도를 조절함으로써, 상기 복수의 합성 음성 데이터들인 '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5' 각각의 재생 시간이 상기 제1 재생 시간 간격인 '1분' 간격만큼의 재생 시간을 갖도록 음성 합성을 수행할 수 있다.
즉, 음성 합성부(116)는 '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각에 대한 음성 합성을 수행할 때, '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5' 각각의 재생 시간이 '1분'이 되도록 초당 발화되는 음절수 등을 조절할 수 있다.
이와 관련해서, '합성 음성 데이터 1'은 '음성 데이터 1'이 상기 제2 언어로 더빙된 데이터이고, '합성 음성 데이터 2'는 '음성 데이터 2'가 상기 제2 언어로 더빙된 데이터이며, '합성 음성 데이터 3'은 '음성 데이터 3'이 상기 제2 언어로 더빙된 데이터이고, '합성 음성 데이터 4'는 '음성 데이터 4'가 상기 제2 언어로 더빙된 데이터이고, '합성 음성 데이터 5'는 '음성 데이터 5'가 상기 제2 언어로 더빙된 데이터이기 때문에, '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5' 각각의 재생 시간은 원래의 음성 데이터인 '음성 데이터 1, 음성 데이터 2, 음성 데이터 3, 음성 데이터 4, 음성 데이터 5' 각각의 재생 시간인 '1분'과 동일하게 맞추어져야 상기 제2 언어로 더빙된 동영상에서 음성과 영상 간의 싱크가 맞을 수 있다.
따라서, 음성 합성부(116)는 상기 제2 언어로 더빙된 동영상에서 영상과 더빙 음성 간의 싱크가 최대한 맞도록 하기 위해, '번역 자막 1, 번역 자막 2, 번역 자막 3, 번역 자막 4, 번역 자막 5' 각각에 대한 음성 합성을 수행할 때, '합성 음성 데이터 1, 합성 음성 데이터 2, 합성 음성 데이터 3, 합성 음성 데이터 4, 합성 음성 데이터 5' 각각의 재생 시간이 '1분'이 되도록 합성된 음성이 발화되는 속도를 조절할 수 있다.
도 2는 본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 동작 방법을 도시한 순서도이다.
단계(S210)에서는 상기 제1 언어의 음성으로 더빙된 동영상에 대한, 사전 설정된 제1 컨테이너 포맷으로 구성된 제1 동영상 파일로부터 비디오 데이터와 오디오 데이터를 분리 추출한다.
단계(S220)에서는 상기 비디오 데이터와 상기 오디오 데이터가 분리 추출되면, 상기 오디오 데이터를 사전 설정된 제1 재생 시간 간격으로 분할함으로써, 복수의 부분 오디오 데이터들을 생성한다.
단계(S230)에서는 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성 이외의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 복수의 음성 데이터들을 생성한다.
단계(S240)에서는 상기 복수의 음성 데이터들을 사전 구축된 음성 인식 모델에 순차적으로 입력으로 인가하여 음성 인식을 수행함으로써, 상기 복수의 음성 데이터들 각각에 대응되는 상기 제1 언어로 구성된 복수의 자막들을 생성한다.
단계(S250)에서는 사전 구축된 번역 엔진을 통해 상기 복수의 자막들을 상기 제2 언어로 번역함으로써, 복수의 번역 자막들을 생성한다.
단계(S260)에서는 상기 복수의 번역 자막들 각각을 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 복수의 합성 음성 데이터들을 생성한다.
단계(S270)에서는 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대한 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 사람의 음성에 대한 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱함으로써, 복수의 믹싱 데이터들을 생성한다.
단계(S280)에서는 상기 복수의 믹싱 데이터들을 재생 시간 순서에 따라 하나의 오디오 데이터로 결합함으로써, 더빙 오디오 데이터를 생성한다.
단계(S290)에서는 상기 더빙 오디오 데이터와 상기 비디오 데이터를 포함하는, 상기 제1 컨테이너 포맷으로 구성된 제2 동영상 파일을 생성함으로써, 상기 제2 언어의 음성으로 더빙된 동영상에 대한 상기 제2 동영상 파일을 생성한다.
이때, 본 발명의 일실시예에 따르면, 단계(S230)에서는 상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 제1 주파수 대역 이외의 주파수 대역의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 상기 복수의 음성 데이터들을 생성할 수 있다.
이때, 단계(S270)에서는 상기 복수의 부분 오디오 데이터들 각각에 대해, 상기 제1 주파수 대역의 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 상기 제1 주파수 대역의 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱함으로써, 상기 복수의 믹싱 데이터들을 생성할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S240)에서는 상기 복수의 음성 데이터들 각각에 대해서, 남성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 남성 주파수 대역에 속하는 주파수를 갖는 남성 음성 구간과 여성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 여성 주파수 대역에 속하는 주파수를 갖는 여성 음성 구간을 확인한 후, 상기 복수의 음성 데이터들에 대한 음성 인식을 통해 상기 복수의 자막들이 생성되면, 상기 복수의 자막들 각각에 대해, 각 자막에서의 상기 남성 음성 구간에 대응되는 텍스트 구간에 남성 음성에 대응되는 구간임을 지시하는 제1 태그를 할당하고, 상기 여성 음성 구간에 대응되는 텍스트 구간에 여성 음성에 대응되는 구간임을 지시하는 제2 태그를 할당할 수 있다.
이때, 단계(S250)에서는 상기 복수의 자막들을 상기 제2 언어로 번역할 때, 상기 복수의 자막들 각각에 할당되어 있는 상기 제1 태그와 상기 제2 태그를 상기 복수의 번역 자막들 각각에 동일하게 할당할 수 있다.
이때, 단계(S260)에서는 상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 상기 제1 태그가 할당된 텍스트 구간을, 남성의 음성을 기반으로 사전 구축된 남성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행하고, 상기 제2 태그가 할당된 텍스트 구간을, 여성의 음성을 기반으로 사전 구축된 여성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 상기 복수의 합성 음성 데이터들을 생성할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S260)에서는 상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 합성된 음성이 발화되는 속도를 조절함으로써, 상기 복수의 합성 음성 데이터들 각각의 재생 시간이 상기 제1 재생 시간 간격만큼의 재생 시간을 갖도록 음성 합성을 수행할 수 있다.
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 동영상 자동 더빙 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 동영상 자동 더빙 장치의 동작 방법은 도 1을 이용하여 설명한 동영상 자동 더빙 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치
111: 분리 추출부 112: 분할부
113: 음성 데이터 생성부 114: 자막 생성부
115: 번역 자막 생성부 116: 음성 합성부
117: 믹싱 데이터 생성부 118: 결합부
119: 동영상 생성부
111: 분리 추출부 112: 분할부
113: 음성 데이터 생성부 114: 자막 생성부
115: 번역 자막 생성부 116: 음성 합성부
117: 믹싱 데이터 생성부 118: 결합부
119: 동영상 생성부
Claims (10)
- 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치에 있어서,
상기 제1 언어의 음성으로 더빙된 동영상에 대한, 사전 설정된 제1 컨테이너(Container) 포맷으로 구성된 제1 동영상 파일로부터 비디오 데이터와 오디오 데이터를 분리 추출하는 분리 추출부;
상기 비디오 데이터와 상기 오디오 데이터가 분리 추출되면, 상기 오디오 데이터를 사전 설정된 제1 재생 시간 간격으로 분할함으로써, 복수의 부분 오디오 데이터들을 생성하는 분할부;
상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 제1 주파수 대역 이외의 주파수 대역의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 복수의 음성 데이터들을 생성하는 음성 데이터 생성부;
상기 복수의 음성 데이터들을 사전 구축된 음성 인식 모델에 순차적으로 입력으로 인가하여 음성 인식을 수행함으로써, 상기 복수의 음성 데이터들 각각에 대응되는 상기 제1 언어로 구성된 복수의 자막들을 생성하는 자막 생성부;
사전 구축된 번역 엔진을 통해 상기 복수의 자막들을 상기 제2 언어로 번역함으로써, 복수의 번역 자막들을 생성하는 번역 자막 생성부;
상기 복수의 번역 자막들 각각을 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 복수의 합성 음성 데이터들을 생성하는 음성 합성부;
상기 복수의 부분 오디오 데이터들 각각에 대해, 상기 제1 주파수 대역의 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 상기 제1 주파수 대역의 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱(Mixing)함으로써, 복수의 믹싱 데이터들을 생성하는 믹싱 데이터 생성부;
상기 복수의 믹싱 데이터들을 재생 시간 순서에 따라 하나의 오디오 데이터로 결합함으로써, 더빙 오디오 데이터를 생성하는 결합부; 및
상기 더빙 오디오 데이터와 상기 비디오 데이터를 포함하는, 상기 제1 컨테이너 포맷으로 구성된 제2 동영상 파일을 생성함으로써, 상기 제2 언어의 음성으로 더빙된 동영상에 대한 상기 제2 동영상 파일을 생성하는 동영상 생성부
를 포함하고,
상기 자막 생성부는
상기 복수의 음성 데이터들 각각에 대해서, 남성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 남성 주파수 대역에 속하는 주파수를 갖는 남성 음성 구간과 여성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 여성 주파수 대역에 속하는 주파수를 갖는 여성 음성 구간을 확인한 후, 상기 복수의 음성 데이터들에 대한 음성 인식을 통해 상기 복수의 자막들이 생성되면, 상기 복수의 자막들 각각에 대해, 각 자막에서의 상기 남성 음성 구간에 대응되는 텍스트 구간에 남성 음성에 대응되는 구간임을 지시하는 제1 태그를 할당하고, 상기 여성 음성 구간에 대응되는 텍스트 구간에 여성 음성에 대응되는 구간임을 지시하는 제2 태그를 할당하며,
상기 번역 자막 생성부는
상기 복수의 자막들을 상기 제2 언어로 번역할 때, 상기 복수의 자막들 각각에 할당되어 있는 상기 제1 태그와 상기 제2 태그를 상기 복수의 번역 자막들 각각에 동일하게 할당하며,
상기 음성 합성부는
상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 상기 제1 태그가 할당된 텍스트 구간을, 남성의 음성을 기반으로 사전 구축된 남성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행하고, 상기 제2 태그가 할당된 텍스트 구간을, 여성의 음성을 기반으로 사전 구축된 여성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 상기 복수의 합성 음성 데이터들을 생성하는 동영상 자동 더빙 장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 음성 합성부는
상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 합성된 음성이 발화되는 속도를 조절함으로써, 상기 복수의 합성 음성 데이터들 각각의 재생 시간이 상기 제1 재생 시간 간격만큼의 재생 시간을 갖도록 음성 합성을 수행하는 동영상 자동 더빙 장치. - 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치의 동작 방법에 있어서,
상기 제1 언어의 음성으로 더빙된 동영상에 대한, 사전 설정된 제1 컨테이너(Container) 포맷으로 구성된 제1 동영상 파일로부터 비디오 데이터와 오디오 데이터를 분리 추출하는 단계;
상기 비디오 데이터와 상기 오디오 데이터가 분리 추출되면, 상기 오디오 데이터를 사전 설정된 제1 재생 시간 간격으로 분할함으로써, 복수의 부분 오디오 데이터들을 생성하는 단계;
상기 복수의 부분 오디오 데이터들 각각에 대해, 사람의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 제1 주파수 대역 이외의 주파수 대역의 소리 성분을 모두 제거함으로써, 상기 복수의 부분 오디오 데이터들 각각에 대응되는 복수의 음성 데이터들을 생성하는 단계;
상기 복수의 음성 데이터들을 사전 구축된 음성 인식 모델에 순차적으로 입력으로 인가하여 음성 인식을 수행함으로써, 상기 복수의 음성 데이터들 각각에 대응되는 상기 제1 언어로 구성된 복수의 자막들을 생성하는 단계;
사전 구축된 번역 엔진을 통해 상기 복수의 자막들을 상기 제2 언어로 번역함으로써, 복수의 번역 자막들을 생성하는 단계;
상기 복수의 번역 자막들 각각을 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 복수의 합성 음성 데이터들을 생성하는 단계;
상기 복수의 부분 오디오 데이터들 각각에 대해, 상기 제1 주파수 대역의 소리 성분을 제거한 후, 상기 복수의 합성 음성 데이터들을 상기 제1 주파수 대역의 소리 성분이 제거된 각 부분 오디오 데이터와 믹싱(Mixing)함으로써, 복수의 믹싱 데이터들을 생성하는 단계;
상기 복수의 믹싱 데이터들을 재생 시간 순서에 따라 하나의 오디오 데이터로 결합함으로써, 더빙 오디오 데이터를 생성하는 단계; 및
상기 더빙 오디오 데이터와 상기 비디오 데이터를 포함하는, 상기 제1 컨테이너 포맷으로 구성된 제2 동영상 파일을 생성함으로써, 상기 제2 언어의 음성으로 더빙된 동영상에 대한 상기 제2 동영상 파일을 생성하는 단계
를 포함하고,
상기 복수의 자막들을 생성하는 단계는
상기 복수의 음성 데이터들 각각에 대해서, 남성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 남성 주파수 대역에 속하는 주파수를 갖는 남성 음성 구간과 여성의 음성에 대응되는 주파수 대역인 것으로 사전 설정된 여성 주파수 대역에 속하는 주파수를 갖는 여성 음성 구간을 확인한 후, 상기 복수의 음성 데이터들에 대한 음성 인식을 통해 상기 복수의 자막들이 생성되면, 상기 복수의 자막들 각각에 대해, 각 자막에서의 상기 남성 음성 구간에 대응되는 텍스트 구간에 남성 음성에 대응되는 구간임을 지시하는 제1 태그를 할당하고, 상기 여성 음성 구간에 대응되는 텍스트 구간에 여성 음성에 대응되는 구간임을 지시하는 제2 태그를 할당하며,
상기 복수의 번역 자막들을 생성하는 단계는
상기 복수의 자막들을 상기 제2 언어로 번역할 때, 상기 복수의 자막들 각각에 할당되어 있는 상기 제1 태그와 상기 제2 태그를 상기 복수의 번역 자막들 각각에 동일하게 할당하며,
상기 복수의 합성 음성 데이터들을 생성하는 단계는
상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 상기 제1 태그가 할당된 텍스트 구간을, 남성의 음성을 기반으로 사전 구축된 남성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행하고, 상기 제2 태그가 할당된 텍스트 구간을, 여성의 음성을 기반으로 사전 구축된 여성용 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 복수의 번역 자막들 각각에 대응되는 상기 복수의 합성 음성 데이터들을 생성하는 동영상 자동 더빙 장치의 동작 방법. - 삭제
- 삭제
- 제5항에 있어서,
상기 복수의 합성 음성 데이터들을 생성하는 단계는
상기 복수의 번역 자막들 각각에 대한 음성 합성을 수행할 때, 합성된 음성이 발화되는 속도를 조절함으로써, 상기 복수의 합성 음성 데이터들 각각의 재생 시간이 상기 제1 재생 시간 간격만큼의 재생 시간을 갖도록 음성 합성을 수행하는 동영상 자동 더빙 장치의 동작 방법. - 제5항 또는 제8항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
- 제5항 또는 제8항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210029179A KR102440890B1 (ko) | 2021-03-05 | 2021-03-05 | 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210029179A KR102440890B1 (ko) | 2021-03-05 | 2021-03-05 | 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102440890B1 true KR102440890B1 (ko) | 2022-09-06 |
Family
ID=83281341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210029179A KR102440890B1 (ko) | 2021-03-05 | 2021-03-05 | 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102440890B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050118733A (ko) * | 2003-04-14 | 2005-12-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 시청각 스트림상에 자동 더빙을 수행하는 시스템 및 방법 |
| KR20100045336A (ko) * | 2008-10-23 | 2010-05-03 | 엔에이치엔(주) | 웹 상의 멀티미디어 컨텐츠에 포함되는 특정 언어를 다른 언어로 번역하여 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| WO2016037440A1 (zh) * | 2014-09-11 | 2016-03-17 | 百度在线网络技术（北京）有限公司 | 视频语音转换方法、装置和服务器 |
| KR20200118894A (ko) * | 2018-02-26 | 2020-10-16 | 구글 엘엘씨 | 미리 레코딩된 비디오들에 대한 자동화된 보이스 번역 더빙 |
| KR20200142282A (ko) * | 2019-06-12 | 2020-12-22 | 삼성전자주식회사 | 컨텐츠 번역 서비스를 제공하는 전자 장치 및 그 제어 방법 |
-
2021
- 2021-03-05 KR KR1020210029179A patent/KR102440890B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050118733A (ko) * | 2003-04-14 | 2005-12-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 시청각 스트림상에 자동 더빙을 수행하는 시스템 및 방법 |
| KR20100045336A (ko) * | 2008-10-23 | 2010-05-03 | 엔에이치엔(주) | 웹 상의 멀티미디어 컨텐츠에 포함되는 특정 언어를 다른 언어로 번역하여 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| WO2016037440A1 (zh) * | 2014-09-11 | 2016-03-17 | 百度在线网络技术（北京）有限公司 | 视频语音转换方法、装置和服务器 |
| KR20200118894A (ko) * | 2018-02-26 | 2020-10-16 | 구글 엘엘씨 | 미리 레코딩된 비디오들에 대한 자동화된 보이스 번역 더빙 |
| KR20200142282A (ko) * | 2019-06-12 | 2020-12-22 | 삼성전자주식회사 | 컨텐츠 번역 서비스를 제공하는 전자 장치 및 그 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9552807B2 (en) | Method, apparatus and system for regenerating voice intonation in automatically dubbed videos | |
| US20060285654A1 (en) | System and method for performing automatic dubbing on an audio-visual stream | |
| KR101990023B1 (ko) | 외국어학습을 위한 청크단위 분리 규칙과 핵심어 자동 강세 표시 구현 방법 및 시스템 | |
| US20060136226A1 (en) | System and method for creating artificial TV news programs | |
| KR20040039432A (ko) | 다중 언어 필사 시스템 | |
| EP1891622A1 (en) | A method and a device for performing an automatic dubbing on a multimedia signal | |
| JP2005064600A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2012181358A (ja) | テキスト表示時間決定装置、テキスト表示システム、方法およびプログラム | |
| JP2002374494A (ja) | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 | |
| US9666211B2 (en) | Information processing apparatus, information processing method, display control apparatus, and display control method | |
| JP6641045B1 (ja) | コンテンツ生成システム、及びコンテンツ生成方法 | |
| WO2015019774A1 (ja) | データ生成装置、データ生成方法、翻訳処理装置、プログラム、およびデータ | |
| KR20110100649A (ko) | 음성을 합성하기 위한 방법 및 장치 | |
| KR102440890B1 (ko) | 제1 언어의 음성으로 더빙된 동영상을 제2 언어의 음성으로 자동 더빙하는 동영상 자동 더빙 장치 및 그 동작 방법 | |
| JP2006528864A (ja) | シナリオを記録した情報記録媒体、記録装置及び記録方法、その情報記録媒体の再生装置及びシナリオの検索方法 | |
| KR20050012101A (ko) | 시나리오를 기록한 정보저장매체, 기록장치 및 기록방법,그 정보저장매체의 재생장치 및 시나리오의 검색방법 | |
| KR102523813B1 (ko) | 영상에 대한 키워드 기반 검색을 가능하게 하는 영상 스트리밍 서비스 서버 및 그 동작 방법 | |
| KR20180042058A (ko) | 하이브리드 자막 효과 구현 단말 및 방법 | |
| CN110992984A (zh) | 音频处理方法及装置、存储介质 | |
| JP2004229706A (ja) | 演劇通訳システム、演劇通訳装置 | |
| KR102523814B1 (ko) | 음성 인식을 기반으로 영상이 재생되는 화면에 자막을 출력하는 전자 장치 및 그 동작 방법 | |
| Bastas et al. | Towards a DHH accessible theater: real-time synchronization of subtitles and sign language videos with ASR and NLP solutions | |
| CN115841808A (zh) | 视频处理方法、装置、电子设备、可读存储介质及系统 | |
| Matamala | Audio subtitling | |
| JP2002197488A (ja) | リップシンクデータ生成装置並びに方法、情報記憶媒体、及び情報記憶媒体の製造方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |