KR20210012815A - 오디오 컨텐츠 제공 방법 및 장치 - Google Patents

오디오 컨텐츠 제공 방법 및 장치 Download PDF

Info

Publication number
KR20210012815A
KR20210012815A KR1020190091177A KR20190091177A KR20210012815A KR 20210012815 A KR20210012815 A KR 20210012815A KR 1020190091177 A KR1020190091177 A KR 1020190091177A KR 20190091177 A KR20190091177 A KR 20190091177A KR 20210012815 A KR20210012815 A KR 20210012815A
Authority
KR
South Korea
Prior art keywords
audio content
sound source
title
content
character
Prior art date
Application number
KR1020190091177A
Other languages
English (en)
Other versions
KR102267651B1 (ko
Inventor
박종세
김봉완
김진영
송나혜
Original Assignee
주식회사 카카오
주식회사 카카오엔터프라이즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오, 주식회사 카카오엔터프라이즈 filed Critical 주식회사 카카오
Priority to KR1020190091177A priority Critical patent/KR102267651B1/ko
Publication of KR20210012815A publication Critical patent/KR20210012815A/ko
Application granted granted Critical
Publication of KR102267651B1 publication Critical patent/KR102267651B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

오디오 컨텐츠 제공 방법 및 장치가 개시된다. 일 실시예에 따른 오디오 컨텐츠 제공 방법은 오디오 컨텐츠의 재생 요청을 수신하는 단계, 오디오 컨텐츠에 대응하는 컨텐츠 음원을 획득하는 단계, 오디오 컨텐츠의 유형에 기초하여 사용자에 대응하는 호칭 음원을 생성하는 단계 및 컨텐츠 음원과 호칭 음원을 결합함으로써 오디오 컨텐츠를 제공하는 단계를 포함한다.

Description

오디오 컨텐츠 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AUDIO CONTENT}
아래 실시예들은 오디오 컨텐츠 제공 방법 및 장치에 관한 것으로, 보다 구체적으로는 인명을 포함한 구연동화 재생 방법에 관한 것이다.
도서 내용이 단말기에 음성으로 출력되는 오디오북 서비스는 이동 단말기가 대중화됨에 따라 그 사용이 날로 증가하고 있다. 오디오북 서비스는 단말기 화면에 계속 집중하지 않고도 이동 중 이어폰을 이용하여 도서 내용을 전달받을 수 있을 뿐만 아니라, 시각 장애인들도 도서 내용을 손쉽게 획득할 수 있는 장점이 있다. 특히, 어린이들에게 말로 재미있고 실감나게 동화 내용을 들려주는 구연동화 분야에서 오디오북 서비스가 활발하게 활용되고 있다.
하지만, 종래의 오디오북 서비스는 도서 내용을 성우 또는 특정인의 음성으로 직접 녹음하고, 녹음된 음성 정보를 저장하고 있는 소정의 저장 매체를 단말기에 실행시켜 음성 정보가 출력되도록 하였다.
종래의 오디오북 서비스로 제공되는 구연 동화의 경우, 단순히 하나의 음성을 그대로 녹음하여 재생하는 방법을 사용하고 있기 때문에, 대중화된 매체를 통해 이미 획일화되어 가고 있는 아이들의 다양한 정서발달을 고려하지 못하고 있다. 나아가, 종래의 구연동화는 부모가 읽어주는 동화와는 다른 느낌 때문에 어린이의 관심을 끌지 못하여 제 기능을 다하지 못하고 있는 실정이다.
실시예들은 단순히 오디오 컨텐츠를 재생하는 것이 아니라, 컨텐츠에 호칭 음원(예를 들어 자녀의 이름)이 결합된 오디오 컨텐츠를 제공하고자 한다.
실시예들은 호칭 음원이 결합된 오디오 컨텐츠 제공 시, 오디오 컨텐츠 유형에 어울리는 호칭 음원을 제공하고자 한다.
실시예들은 호칭 음원이 결합된 오디오 컨텐츠 제공 시, 호칭에 결합되는 조사의 종류에 따라 호칭 음원과 컨텐츠 음원 사이의 묵음 간격을 다르게 설정하여 보다 자연스러운 오디오 컨텐츠를 제공하고자 한다.
일 실시예에 따른 오디오 컨텐츠 제공 방법은 오디오 컨텐츠의 재생 요청을 수신하는 단계; 상기 오디오 컨텐츠에 대응하는 컨텐츠 음원을 획득하는 단계; 상기 오디오 컨텐츠의 유형에 기초하여 사용자에 대응하는 호칭 음원을 생성하는 단계; 및 상기 컨텐츠 음원과 상기 호칭 음원을 결합함으로써 상기 오디오 컨텐츠를 제공하는 단계를 포함한다.
상기 오디오 컨텐츠는 상기 호칭 음원과 상기 컨텐츠 음원을 결합하기 위한 스크립트를 포함하고, 상기 오디오 컨텐츠를 제공하는 단계는 상기 스크립트에 기초하여, 상기 호칭 음원과 상기 컨텐츠 음원을 결합하는 단계를 포함할 수 있다.
상기 호칭 음원을 생성하는 단계는 상기 사용자의 호칭 문자(text)를 획득하는 단계; 상기 오디오 컨텐츠의 유형에 대응하는 호칭 음원 데이터베이스에 기반하여 구축된 TTS(Text-to-Speech; TTS) 엔진을 통해, 상기 사용자의 호칭 문자에 대응하는 상기 호칭 음원을 생성하는 단계를 포함할 수 있다.
상기 호칭 음원은 상기 컨텐츠 음원의 성우 음성 및 상기 오디오 컨텐츠의 유형에 대응하는 톤에 기초하여 생성될 수 있다.
상기 호칭 음원을 생성하는 단계는 상기 사용자의 호칭 문자가 기 등록된 경우에는, 상기 기 등록된 호칭 문자에 대응하는 호칭 음원을 생성하는 단계; 및 상기 사용자의 호칭 문자가 기 등록되지 않은 경우에는, 미리 정해진 호칭 문자에 대응하는 호칭 음원으로 생성하는 단계 중 적어도 하나를 포함할 수 있다.
상기 호칭 음원을 생성하는 단계는 상기 스크립트에 기초하여, 상기 호칭 음원에 결합되는 조사를 결정하는 단계; 상기 조사에 대응하는 묵음 간격을 결정하는 단계; 및 상기 사용자의 호칭 문자, 상기 조사 및 상기 묵음 간격이 포함된 호칭 음원을 생성하는 단계를 포함할 수 있다.
상기 스크립트는 상기 오디오 컨텐츠의 제목, 상기 오디오 컨텐츠의 유형, 상기 오디오 컨텐츠의 출력 순서, 상기 오디오 컨텐츠의 성우 정보, 상기 오디오 컨텐츠 내 상기 출력 순서에 따른 음원의 종류, 상기 출력 순서에 따른 상기 컨텐츠 음원의 파일명, 상기 출력 순서에 따른 상기 컨텐츠 음원의 파일 길이, 및 상기 출력 순서에 따라 상기 호칭 음원에 결합되는 조사 종류 중 적어도 하나를 포함할 수 있다.
상기 오디오 컨텐츠의 유형은 일반 오디오 컨텐츠, 수면 오디오 컨텐츠, 외국어 오디오 컨텐츠, 액션 오디오 컨텐츠, 판소리 오디오 컨텐츠 및 뮤지컬 오디오 컨텐츠 중 적어도 하나를 포함할 수 있다.
상기 오디오 컨텐츠의 유형이 외국어 오디오 컨텐츠인 경우, 상기 호칭 음원을 생성하는 단계는 호칭 문자를 외국어 호칭 문자로 변환하는 단계; 상기 외국어 호칭 문자를 발음기호 형태로 변환하는 단계; 및 상기 발음기호 형태 및 상기 오디오 컨텐츠의 유형에 기초하여, 상기 호칭 문자를 상기 호칭 음원으로 변환하는 단계를 포함할 수 있다.
일 실시예에 따른 오디오 컨텐츠 제공 서버는 오디오 컨텐츠 재생 요청을 수신하는 마이크; 상기 오디오 컨텐츠를 재생하는 스피커; 및 서버로부터 상기 오디오 컨텐츠에 대응하는 컨텐츠 음원을 획득하며, 상기 오디오 컨텐츠의 유형에 기초하여 사용자에 대응하는 호칭 음원을 생성하고, 상기 컨텐츠 음원과 상기 호칭 음원을 결합함으로써 상기 오디오 컨텐츠가 재생되도록 상기 스피커를 제어하는 프로세서를 포함한다,.
상기 오디오 컨텐츠는 상기 호칭 음원과 상기 컨텐츠 음원을 결합하기 위한 스크립트를 포함하고, 상기 프로세서는 상기 스크립트에 기초하여, 상기 호칭 음원과 상기 컨텐츠 음원을 결합할 수 있다.
상기 프로세서는 상기 사용자의 호칭 문자(text)를 획득하고, 상기 오디오 컨텐츠의 유형에 대응하는 호칭 음원 데이터베이스에 기반하여 구축된 TTS(Text-to-Speech; TTS) 엔진을 통해, 상기 사용자의 호칭 문자에 대응하는 상기 호칭 음원을 생성할 수 있다.
상기 프로세서는 상기 사용자의 호칭 문자가 기 등록된 경우에는, 상기 기 등록된 호칭 문자에 대응하는 호칭 음원을 생성하고, 상기 사용자의 호칭 문자가 기 등록되지 않은 경우에는, 미리 정해진 호칭 문자에 대응하는 호칭 음원으로 생성할 수 있다.
상기 프로세서는 상기 스크립트에 기초하여, 상기 호칭 음원에 결합되는 조사를 결정하고, 상기 조사에 대응하는 묵음 간격을 결정하고, 상기 사용자의 호칭 문자, 상기 조사 및 상기 묵음 간격이 포함된 호칭 음원을 생성할 수 있다.
상기 프로세서는 호칭 문자를 외국어 호칭 문자로 변환하고, 상기 외국어 호칭 문자를 발음기호 형태로 변환하며, 상기 발음기호 형태 및 상기 오디오 컨텐츠의 유형에 기초하여, 상기 호칭 문자를 상기 호칭 음원으로 변환할 수 있다.
실시예들은 단순히 오디오 컨텐츠를 재생하는 것이 아니라, 컨텐츠에 호칭 음원(예를 들어 자녀의 이름)이 결합된 오디오 컨텐츠를 제공할 수 있다.
실시예들은 호칭 음원이 결합된 오디오 컨텐츠 제공 시, 오디오 컨텐츠 유형에 어울리는 호칭 음원을 제공할 수 있다.
실시예들은 호칭 음원이 결합된 오디오 컨텐츠 제공 시, 호칭에 결합되는 조사의 종류에 따라 호칭 음원과 컨텐츠 음원 사이의 묵음 간격을 다르게 설정하여 보다 자연스러운 오디오 컨텐츠를 제공할 수 있다.
도 1은 일 실시예에 따른 사용자에게 오디오 컨텐츠를 제공하는 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 오디오 컨텐츠 제공 서버와 단말 사이의 관계를 개괄적으로 나타낸 도면이다.
도 3은 일 실시예에 따른 오디오 컨텐츠 제공 방법을 설명하기 위한 순서도 이다.
도 4는 일 실시예에 따른 호칭 음원을 생성하고 컨텐츠 음원을 획득하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 영문 오디오 컨텐츠의 경우 호칭 음원을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 호칭에 결합되는 조사의 종류에 따라 호칭 음원과 컨텐츠 음원 사이의 묵음 간격을 다르게 설정하는 방법을 설명하기 위한 도면이다.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 사용자에게 오디오 컨텐츠를 제공하는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 단말(110)은 사용자(120)에게 오디오 컨텐츠를 제공할 수 있다. 오디오 컨텐츠(audio contents)는 음성과 같은 청각적으로 생성될 수 있는 컨텐츠를 의미할 수 있다. 오디오 북(audio book)이 대표적인 오디오 컨텐츠에 해당하고, 오디오 북은 전문 성우나 저자가 직접 책을 낭독하여 눈으로 읽는 대신 귀로 들을 수 있게 제작한 디지털 컨텐츠를 의미할 수 있다. 오디오 컨텐츠는 청 각적으로 생성될 수 있는 오디오 형식(예: WAV, AIFF, AU, FLAG, MPS, 무손실 또는 손실 압축이 가능한 다른 형식) 및/또는 청각적으로 생성될 수 있는 포맷으로 변환될 수 있는 텍스트 형식(예: doc, pdf, txt, html, xml, 기타 형식)의 데이터를 포함할 수 있다. 이하, 설명의 편의를 위하여 오디오 컨텐츠는 오디오 북, 오디오 북에서도 오디오 동화를 예시로 설명하겠다. 다만, 일 실시예에 따른 오디오 컨텐츠는 오디오 동화에 국한되어 적용될 필요는 없고, 다양한 유형의 오디오 컨텐츠에 적용될 수 있다.
단말(110)은 사용자(120)에게 오디오 동화를 제공할 수 있다. 종래의 경우, 기 설정된 음성(예를 들어, 성우나 저자)을 wav 파일로 녹음하여 서버에 저장한 후에, 단말이 서버에 접속하여 오디오 동화 요청을 통해 녹음된 파일을 다운로드하는 방식으로 사용자(120)에게 오디오 동화를 제공하였다. 그러나 종래에 제공되고 있는 오디오 동화는 성우가 책의 내용을 낭독하는 정도의 경험만을 제공하기 때문에, 부모가 읽어주는 동화와는 느낌이 달라 어린이의 관심을 끌지 못하여 제 기능을 다하지 못하고 있다.
일 실시예에 따른 단말(110)은 사용자(120)에게 단순히 동화 내용을 재생하는 것에서 나아가, 동화 중간 중간에 사용자(120)의 호칭(예를 들어, 아이의 이름)을 넣어서 보다 생동감 있는 오디오 동화를 제공할 수 있다.
또한, 최근에는 동화의 종류가 전래동화나 명작동화 뿐만 아니라 수면동화(잠자리에서 듣는 동화), 영어동화 등 다양한 형태로 늘어나고 있다. 이러한 환경에서, 동화의 유형에 상관없이 아이의 이름을 항상 동일한 음성합성 음원을 사용한다면, 동화 부분과 아이 이름 부분의 목소리 톤이 어울리지 않는 문제가 생길 수 있다.
일 실시예에 따른 단말(110)은 사용자(120)에게 동화의 유형에 따라 알맞는 호칭 음원을 생성하고, 호칭 음원과 동화 음원이 자연스럽게 연결된 오디오 동화를 제공할 수 있다.
도 2는 일 실시예에 따른 오디오 컨텐츠 제공 서버와 단말 사이의 관계를 개괄적으로 나타낸 도면이다.
도 2를 참조하면, 일 실시예에 따른 오디오 컨텐츠 제공 서비스는 통신망(220)을 통해 통신 가능한 단말(210)과 오디오 컨텐츠 제공 서버(230)를 주체로 포함할 수 있다. 단말(210)은 도 1을 참조하여 설명한 단말(110)일 수 있고, 사용자(120)는 오디오 컨텐츠 어플리케이션이 설치된 단말(210)을 통하여 오디오 컨텐츠 제공 서버(230)에 접속할 수 있다. 도 2는 발명의 일례를 설명하기 위한 것으로 단말이나 서버가 도 2에 도시된 사항과 같이 한정되는 것은 아니다.
통신망(220)은 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함할 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
단말(210)은 사용자(120)로부터 소정 명령을 수신하여 이에 해당하는 동작을 구동하는 기기로서, 오디오 출력 기능, 유무선 통신 기능 또는 이와는 다른 기능을 포함하는 디지털 기기일 수 있다. 일 실시예에 따르면, 단말(210)은 인공지능 스피커, 태블릿 PC, 스마트폰, 개인용 컴퓨터(예를 들어, 노트북 컴퓨터 등), 스마트 TV, 이동 전화기, 내비게이션, 웹 패드, PDA, 워크스테이션 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기를 모두 포함하는 개념일 수 있다.
단말(210)은 오디오 컨텐츠 제공 서버(230)와 관련된 오디오 컨텐츠 어플리케이션의 설치 및 실행이 가능한 모든 사용자 장치를 의미할 수 있다. 이때, 단말(210)은 오디오 컨텐츠 어플리케이션의 제어 하에 서비스 화면의 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다. 오디오 컨텐츠 어플리케이션은 PC 환경은 물론 모바일 환경에서 사용 가능하도록 구현되며, 독립적으로 동작하는 프로그램 형태로 구현되거나 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.
단말(210)은 음향학적 신호(acoustic speech signal)를 수신하는 마이크와 오디오 컨텐츠를 재생하는 스피커를 포함하는 기기일 수 있다. 단말(210)은 음성 인식 기술을 통해 다양한 서비스(또는 기능)을 제공할 수 있다. 예를 들어, 단말(210)은 마이크를 통해 수신한 사용자(120)의 음성 명령을 바탕으로 스피커를 통해 오디오 컨텐츠를 제공할 수 있다.
단말(210)은 사용자(120)에게 오디오 컨텐츠 제공 서비스와 관련된 인터페이스를 제공할 수 있다. 예를 들어, 단말(210)은 사용자(120)에게 실행 중인 오디오 컨텐츠 어플리케이션에 대응되는 직관적인 사용자 인터페이스를 제공할 수 있다. 단말(210)은 사용자(120)의 음성을 인식하여 사용자의 의도 및 목적을 달성하기 위한 동작을 파악하여 오디오 컨텐츠 어플리케이션을 단계적으로 실행시킬 수 있는 인터페이스를 제공할 수 있다. 또는, 단말(210)은 사용자(120)로부터 의도 및 목적을 달성하기 위한 동작을 입력 받기 위한 인터페이스(예를 들어, 사용자(120)로부터 오디오 컨텐츠를 선택 받기 위해 오디오 컨텐츠 목록을 제공하는 인터페이스) 및 입력에 따른 오디오 컨텐츠 어플리케이션의 동작 과정을 사용자(120)에게 시각적으로 표시하는 인터페이스를 제공할 수 있다. 인터페이스는 단말(210) 자체적으로 제공하는 것일 수 있다. 예를 들면, 단말(210)의 OS(Operation System)에 의해 제공되는 것일 수도 있고, 단말(210)에 설치된 어플리케이션에 의해 제공되는 것일 수도 있다. 또한, 인터페이스는 오디오 컨텐츠 제공 서버(230)에 의해 제공되는 것일 수도 있으며, 단말(210)은 단순히 오디오 컨텐츠 제공 서버(230)로부터 제공되는 인터페이스를 수신하여 표시하기만 할 수도 있다.
아래에서 상세하게 설명하겠으나, 실시예들에 따른 오디오 컨텐츠 제공 장치는 단말(210) 또는 오디오 컨텐츠 제공 서버(230)에 구비될 수 있고, 오디오 컨텐츠 제공 장치는 컨텐츠의 유형에 따라 알맞는 호칭 음원을 생성하고, 호칭 음원과 컨텐츠 음원이 자연스럽게 연결된 오디오 컨텐츠를 제공할 수 있다.
도 3은 일 실시예에 따른 오디오 컨텐츠 제공 방법을 설명하기 위한 순서도 이다.
도 3을 참조하면, 일 실시예에 따른 단계들(310 내지 330)은 도 2를 참조하여 전술된 오디오 컨텐츠 제공 장치에 의해 수행될 수 있다. 오디오 컨텐츠 제공 장치는 하나 또는 그 이상의 하드웨어 모듈, 하나 또는 그 이상의 소프트웨어 모듈, 또는 이들의 다양한 조합에 의하여 구현될 수 있다. 전술한 것과 같이 오디오 컨텐츠 제공 장치는 서버 혹은 단말에 구비될 수 있고, 설명의 편의를 위하여 오디오 컨텐츠 제공 장치가 서버에 구비되는 것을 가정하고 도 3의 실시예를 설명한다.
단계(310)에서, 오디오 컨텐츠 제공 장치는 오디오 컨텐츠의 재생 요청을 수신한다. 단말은 사용자로부터 오디오 동화 재생 명령을 수신할 수 있고, 오디오 컨텐츠 제공 장치는 단말로부터 오디오 컨텐츠 재생 요청을 수신할 수 있다. 예를 들어, 단말은 사용자에게 오디오 동화 리스트를 제공할 수 있고, 사용자로부터 재생될 오디오 동화를 입력 받을 수 있다.
오디오 컨텐츠의 유형이란 임의의 기준에 따라 나뉘어진 오디오 컨텐츠 분류를 의미하는 것으로, 예로 들어, 오디오 동화는 일반동화, 수면동화, 외국어동화, 액션동화, 판소리동화 및 뮤지컬동화로 분류될 수 있다. 오디오 컨텐츠 유형은 오디오 컨텐츠 스타일로 지칭될 수도 있다. 오디오 컨텐츠 유형과 구별되는 개념으로 오디오 컨텐츠 제목이 있을 수 있다. 오디오 컨텐츠 제목은 백설공주, 신데렐라와 같이 오디오 컨텐츠 각각에 부여된 고유의 이름일 수 있다. 하나의 백설공주 오디오 컨텐츠는 백설공주 일반동화, 백설공주 수면동화, 백설공주 영어동화와 같은 여러 유형을 포함할 수 있다.
단말은 사용자로부터 재생하고자 하는 오디오 컨텐츠와 함께 그 유형도 함께 입력 받을 수 있다. 예를 들어, 단말은 사용자로부터 재생하고자 하는 오디오 컨텐츠와 그 유형을 한번에 선택 받거나, 또는 오디오 컨텐츠를 선택 받은 후 사용자에게 오디오 컨텐츠의 유형 리스트를 제공하여 사용자로부터 오디오 컨텐츠 유형을 선택 받을 수도 있다.
단말은 마이크를 구비할 수 있고, 마이크를 통해 오디오 컨텐츠 재생 요청을 수신할 수도 있다. 예를 들어, 단말은 인공지능 스피커일 수 있고, 이 경우 인공지능 스피커는 사용자로부터 "백설공주 수면동화 읽어줘"와 같은 음성 신호를 수신할 수 있다. 사용자로부터 오디오 컨텐츠 재생 요청을 수신한 단말은, 오디오 컨텐츠 제공 장치로 오디오 컨텐츠 재생 요청을 전달할 수 있다.
사용자가 오디오 컨텐츠의 유형을 선택하지 않는 경우에는, 오디오 컨텐츠 제공 장치는 사용자가 미리 정해진 유형을 선택한 것으로 간주할 수 있다. 예를 들어, 사용자가 오디오 동화의 유형을 선택하지 않는 경우 오디오 컨텐츠 제공 장치는 사용자가 일반동화를 선택한 것으로 간주할 수 있다.
단계(320)에서, 오디오 컨텐츠 제공 장치는 오디오 컨텐츠의 유형에 대응하는 컨텐츠 음원을 획득할 수 있다. 컨텐츠 음원은 오디오 컨텐츠 내용에 대응하는 음원일 수 있다. 컨텐츠 음원은 성우 또는 특정인의 목소리로 녹음되어 컨텐츠 음원 데이터베이스에 저장될 수 있고, 컨텐츠 음원 데이터베이스는 오디오 컨텐츠 유형 별로 구축될 수 있다. 오디오 컨텐츠 제공 장치는 컨텐츠 음원 데이터베이스에서 오디오 컨텐츠의 유형에 대응하는 데이터베이스를 선택할 수 있고, 선택된 데이터베이스에서 컨텐츠 음원을 획득할 수 있다.
단계(330)에서, 오디오 컨텐츠 제공 장치는 오디오 컨텐츠 유형에 기초하여 사용자에 대응하는 호칭 음원을 생성한다. 호칭 음원은 보다 생동감 있는 오디오 컨텐츠 제공을 위해 오디오 컨텐츠 중간 중간에 삽입되는 사용자의 호칭(예를 들어, 이름이나 별명)에 대응하는 음원일 수 있다. 예를 들어, 컨텐츠 음원은 백설공주 동화 내용에 대응하는 음원이고, 호칭 음원은 "지원아"와 같은 아이의 이름에 대응하는 음원일 수 있다.
오디오 컨텐츠 제공 장치는 오디오 컨텐츠의 유형에 따라 다른 컨텐츠 음원을 획득할 수 있고, 호칭 음원을 생성할 수 있다. 예를 들어, 백설공주 재생 요청을 받은 경우, 오디오 컨텐츠 제공 장치는 백설공주 일반동화, 백설공주 수면동화, 백설공주 영어동화 등 오디오 컨텐츠 유형에 따라 다른 컨텐츠 음원을 획득하고, 호칭 음원을 생성할 수 있다. 보다 구체적으로, 오디오 컨텐츠 제공 장치는 일반동화인 경우에는 보통의 목소리 톤으로, 수면동화의 경우에는 졸린 톤으로, 영어동화의 경우에는 영어 발음으로 구성된 컨텐츠 음원을 획득하고.호칭 음원을 생성할 수 있다.
호칭 음원은 컨텐츠 음원의 성우 음성 및 오디오 컨텐츠의 유형에 대응하는 톤에 기초하여 생성될 수 있다. 이를 통해, 오디오 컨텐츠 제공 장치는 호칭 음원과 컨텐츠 음원이 자연스럽게 연결된 오디오 컨텐츠를 제공할 수 있다. 예를 들어, 오디오 컨텐츠 제공 장치는 수면동화 요청을 받은 경우, 호칭 음원은 컨텐츠 음원과 동일한 성우 음성을 및 컨텐츠 음원과 동일한 졸린 톤을 갖도록 생성할 수 있다. 컨텐츠 음원을 획득하고, 호칭 음원을 생성하는 보다 구체적인 방법은 아래에서 도 4를 참조하여 상세히 설명된다.
단계(340)에서, 오디오 컨텐츠 제공 장치는 컨텐츠 음원과 호칭 음원을 결합함으로써 오디오 컨텐츠를 제공한다. 오디오 컨텐츠 하나를 다 청취하려면, 컨텐츠 부분과 호칭 부분이 오디오 컨텐츠 내용에 맞게 순서대로 재생되어야 한다. 이를 위해 각 오디오 컨텐츠 별로 컨텐츠 부분과 호칭 부분의 순서를 정의하는 스크립트가 필요할 수 있다. 오디오 컨텐츠는 호칭 음원과 컨텐츠 음원을 결합하기 위한 스크립트를 포함할 수 있고, 오디오 컨텐츠 제공 장치는 스크립트에 기초하여 호칭 음원과 컨텐츠 음원을 결합하여 오디오 컨텐츠를 생성할 수 있다.
스크립트는 오디오 컨텐츠의 제목, 오디오 컨텐츠의 유형, 오디오 컨텐츠의 출력 순서, 오디오 컨텐츠의 성우 정보, 오디오 컨텐츠 내 출력 순서에 따른 음원의 종류, 출력 순서에 따른 컨텐츠 음원의 파일명, 출력 순서에 따른 컨텐츠 음원의 파일 길이, 및 출력 순서에 따라 호칭 음원에 결합되는 조사 종류 중 적어도 하나를 포함할 수 있다. 일 예로, 스크립트는 표 1과 같은 형태로 구성될 수 있다.
Figure pat00001
오디오 컨텐츠의 출력 순서는 호칭 음원과 컨텐츠 음원이 제공되는 순서를 의미할 수 있다. 오디오 컨텐츠의 성우 정보는 해당 오디오 컨텐츠를 녹음한 성우의 정보(이름 또는 인덱스)를 의미할 수 있다. 음원의 종류는 해당 음원이 TTS 엔진에 의해 생성된 것인지, Audio 파일인지에 관한 정보일 수 있다. 컨텐츠 음원의 파일명은 컨텐츠 음원 파일에 할당된 고유 이름일 수 있다. 컨텐츠 음원의 파일 길이는 해당 컨텐츠 음원 파일의 총 재생 시간을 의미할 수 있다.
스크립트는 표 1과 같이, 오디오 컨텐츠 제목 및 유형 별로 존재할 수 있다. 오디오 컨텐츠 제공 장치는 스크립트를 통해 각각의 컨텐츠 음원 및 호칭 음원의 파일 길이를 알 수 있고, 이를 통해 각각의 음원 재생이 끝나는 시점 직후에 다음 동작을 바로 실행할 수 있기 때문에 끊김없이 동화 스트리밍이 가능하다. 예를 들어, 오디오 컨텐츠 제공 장치는 단말로부터 현재 재생되고 있는 음원이 종료되었으니 다음 음원을 재생해달라는 요청을 기다릴 필요 없이, 각각의 음원 재생이 끝나는 시점 직후에 다음 동작을 바로 실행할 수 있다.
실시예에 따라 오디오 컨텐츠 제공 장치가 단말에 구비되는 경우, 단계(310)는 단말의 마이크를 통하여 오디오 컨텐츠 재생 요청을 수신하는 단계로 해석되고, 단계(320)는 서버로부터 컨텐츠 음원을 획득하는 단계로 해석되며, 단계(330)는 단말에 탑재된 TTS 엔진을 이용하거나 혹은 서버와 연동하여 호칭 음원을 생성하는 단계로 해석되고, 단계(340)는 사용자에게 오디오 컨텐츠를 제공하는 단계로 해석될 수 있다.
도 4는 일 실시예에 따른 호칭 음원을 생성하고, 컨텐츠 음원을 획득하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 점선을 기준으로 오른쪽 도면(450, 455)는 재생기기(예를 들어, 인공지능 스피커)영역에서 동작을 설명하기 위한 도면이고, 왼쪽 도면(410 내지 446)은 오디오 컨텐츠 제공 장치 영역에서 동작을 설명하기 위한 도면일 수 있다. 점선 기준 왼쪽 도면에 도시된 오디오 컨텐츠 제공 장치는 서버나 단말에 구성될 수 있다. 오디오 컨텐츠 제공 장치가 단말에 구성되는 경우, 재생기기(450)는 해당 단말에 포함될 수 있다.
동화 재생 요청(410)을 받은 오디오 컨텐츠 제공 장치는 동화 종류를 판단(415)할 수 있다.
오디오 컨텐츠 제공 장치는 오디오 컨텐츠 유형 별로 구축된 컨텐츠 음원 데이터베이스(425, 435)에서 오디오 컨텐츠의 유형에 대응하는 데이터베이스를 선택할 수 있고, 선택된 데이터베이스 및 음원 획득 모듈(445, 446)에 기초하여 컨텐츠 음원을 획득할 수 있다. 음원 획득 모듈(445, 446)은 오디오 컨텐츠의 유형에 따라 컨텐츠 음원 데이터베이스(425, 435)에서 컨텐츠 음원을 로드(load)하는 모듈이다. 오디오 컨텐츠의 유형은 예를 들어, 재생 요청된 동화 종류에 대응하여 결정될 수 있다. 설명의 편의를 위하여 오디오 컨텐츠 제공 장치가 복수의 음원 획득 모듈들을 포함하고, 오디오 컨텐츠의 유형에 대응하는 어느 하나의 음원 획득 모듈이 선택적으로 활성화되는 실시예를 도시하였으나, 실시예에 따라 복수의 음원 획득 모듈들은 단일 음원 획득 모듈의 형태로 구현될 수도 있다. 이 경우, 단일 음원 획득 모듈은 오디오 컨텐츠의 유형에 따른 데이터베이스(425, 435)에 접근하여, 컨텐츠 음원을 획득할 수 있다.
컨텐츠 음원이 저장된 데이터베이스를 컨텐츠 음원 데이터베이스라 할 수 있다. 컨텐츠 음원 데이터베이스는 컨텐츠의 제목 및 유형별로 구축될 수 있다. 예를 들어, 백설공주 일반동화, 백설공주 수면동화, 백설공주 영어동화 각각의 컨텐츠 음원 데이트베이스가 존재하고, 오디오 컨텐츠 제공 장치는 요청 받은 오디오 컨텐츠 제목 및 유형(예를 들어, 백설공주 수면동화)에 대응하는 데이터베이스(435) 및 음원 획득 모듈(446)에 기초하여 컨텐츠 음원을 획득할 수 있다.
오디오 컨텐츠 제공 장치는 오디오 컨텐츠 유형 별로 구축된 호칭 음원 데이터베이스(420, 430)에서 오디오 컨텐츠의 유형에 대응하는 데이터베이스를 선택할 수 있고, 선택된 데이터베이스에 기초하여 하여 호칭 음원을 생성할 수 있다. 호칭 음원이 저장된 데이터베이스를 호칭 음원 데이터베이스라 할 수 있다. 호칭 음원 데이터베이스는 오디오 컨텐츠 유형별로 구축될 수 있다.
예를 들어, 일반동화, 수면동화, 영어동화 각각의 컨텐츠 음원 데이트베이스가 존재하고, 오디오 컨텐츠 제공 장치는 요청 받은 오디오 컨텐츠 유형(예를 들어, 수면동화)에 대응하는 데이터베이스(430)에 기초하여 호칭 음원을 생성할 수 있다.
오디오 컨텐츠 제공 장치는 호칭 음원 데이터베이스에 기반하여 구축된 TTS(Text-to-Speech; TTS) 엔진(440, 441)을 통해 호칭 음원을 생성할 수 있다. 사용자는 호칭 음원에 대응하는 호칭 문자를 오디오 컨텐츠 제공 장치에 사전 등록할 수 있다. 예를 들어, 호칭 문자는 호칭 음원 데이터베이스(420, 430)에 저장될 수도 있고, 별도의 저장 공간에 저장될 수도 있다. 실시예들에 따르면, 호칭 문자의 등록을 요청하는 사용자와 해당 호칭 문자에 의하여 호칭되는 사용자는 동일할 수도 있고, 서로 다를 수도 있다. 예를 들어, 사용자는 오디오 컨텐츠 어플리케이션의 '서비스 설정-키즈설정-자녀설정' 경로를 통해 호칭 문자(자녀 이름)를 설정할 수 있다. 이 경우, 호칭 문자의 등록을 요청하는 사용자는 부모이고, 해당 호칭 문자에 의하여 호칭되는 사용자는 자녀일 수 있다.
오디오 컨텐츠 제공 장치는 오디오 컨텐츠의 유형에 대응하는 호칭 음원 데이터베이스를 선택할 수 있고, 선택된 호칭 음원 데이터베이스에 기반하여 구축된 TTS 엔진을 통해 미리 등록한 호칭 문자에 대응하는 호칭 음원을 생성할 수 있다.
예를 들어, 오디오 컨텐츠 제공 장치는 수면동화에 대응하는 호칭 데이터베이스(430)를 선택할 수 있고, 호칭 데이터베이스(430)에 기초하여 구축된 TTS 엔진(441) 엔진을 통해 미리 등록한 호칭 문자에 대응하는 호칭 음원을 생성할 수 있다.
사용자가 호칭 문자를 등록하지 않은 경우에는, 미리 정해진 호칭 문자를 호칭 음원으로 생성할 수 있다. 예를 들어, 사용자가 호칭 문자를 등록하지 않은 경우에는, "친구", "어린이"처럼 미리 정해진 호칭을 대신 사용할 수 있다.
일 실시예에 따르면, 복수의 호칭 음원도 생성될 수 있다. 예를 들어, 복수의 자녀가 있는 경우, 복수의 호칭 문자를 등록할 수 있다. 예를 들어, 두 개의 호칭 문자"지원", 민수"가 등록될 수 있다. 일반적인 경우 오디오 컨텐츠 제공 장치는 대표 호칭 문자로 등록된 호칭 문자에 대응하는 호칭 음원만 생성할 수 있다. 예를 들어, "백설공주 수면동화 틀어줘"라는 입력을 받으면, 오디오 컨텐츠 제공 장치는 대표 호칭 문자로 설정된 "지원"에 대응하는 호칭 음원만 생성할 수 있다.
또는, 사용자가 특정 호칭 문자를 지정하여 오디오 컨텐츠를 요청하는 경우, 지정된 호칭 문자에 대응하는 호칭 음원만 생성할 수 있다. 예를 들어, "민수에게 백설공주 수면동화 틀어줘"라는 입력을 받으면, 오디오 컨텐츠 제공 장치는 "민수"에 대응하는 호칭 음원만 생성할 수 있다.
또는, 오디오 컨텐츠 내 호칭 음원을 출력하는 부분들에서, 복수의 호칭 문자들 중 미리 정해진 방식에 따라 선택된 어느 하나의 호칭 문자에 대응하는 호칭 음원이 생성될 수 있다. 예를 들어, "지원"과 "민수"가 번갈아 선택되거나, 상기 오디오 컨텐츠의 챕터(chapter) 별로 "지원" 혹은 "민수" 중 어느 하나의 호칭 문자가 선택되는 등 다양한 방식이 이용될 수 있다.
또는, 특정 오디오 컨텐츠에서는 복수의 호칭 문자에 대응하는 호칭 음원들을 생성할 수 있다. 예를 들어, "헨젤과 그레텔"과 같이 복수의 주인공이 등장하고 주인공의 성별 등의 특성에 따라 주인공을 호칭 문자와 매칭시킬 수 있는 오디오 컨텐츠의 경우, 오디오 컨텐츠 제공 장치는 "지원"과 "민수"를 호칭 음원으로 생성하여, 여성 주인공인 "헨젤"과 남성 주인공인 "그레텔" 호칭 부분을 여성 사용자인 "지원"과 남성 사용자인 "민수"로 치환하여 재생할 수도 있다.
TTS 엔진에는 문자를 바로 소리로 바꿔 전달하는 문자음성 자동변환 기술이 탑재될 수 있다. TTS 엔진은 호칭 음원 데이터베이스 별로 존재할 수 있고, 각각의 호칭 음원 데이터베이스의 '호칭 문자-호칭 음원'에 기초하여 학습된 인공신경망 모듈일 수 있다. 학습이 완료된 TTS 엔진을 사용하는 오디오 컨텐츠 제공 장치의 경우에는 호칭 음원 데이터베이스를 포함하지 않을 수 있다. 도면에 도시하지 않았으나, TTS 엔진이 인공신경망 모듈일 경우에는 TTS 엔진은 단말에 탑재될 수 있다. TTS 엔진은 실시간으로 호칭 음원을 생성할 수도 있고, 호칭 문자를 생성한 시점에 미리 호칭 음원을 생성해 저장해둘 수도 있다.
다른 실시예에 따르면, 오디오 컨텐츠 제공 장치는 TTS 엔진을 사용하지 않고 미리 녹음된 호칭 음원을 사용할 수도 있다. 예를 들어, 사용자로부터 호칭 문자를 입력 받으면 오디오 컨텐츠 제공 장치는 호칭 문자에 대응하는 호칭 음원을 유형 별로 미리 녹음해 놓을 수 있고, 오디오 컨텐츠 재생 요청 시 해당 유형에 대응하는 호칭 음원을 선택할 수 있다.
나아가, 컨텐츠 음원 데이터베이스 및 호칭 음원 데이터베이스는 컨텐츠 음원 및 호칭 음원을 녹음한 성우 별로 구축될 수 있다. 예를 들어, '성우1'이 녹음한 백설공주 수면동화 버전과 '성우2'가 녹음한 백설공주 수면동화 버전이 따로 구축될 수도 있다.
도 4에서는, 일반 스타일 및 수면 스타일의 오디오 컨텐츠를 예시로, 컨텐츠 음원을 획득하고 호칭 음원을 생성하는 방법을 설명하였으나, 외국어 오디오 컨텐츠의 경우 도 4에서 설명한 방법 이외의 동작이 더 필요할 수 있다. 외국어 오디오 컨텐츠의 경우 호칭 음원을 생성하는 방법은 아래에서 도 5를 참조하여 상세히 설명된다.
도 5는 일 실시예에 따른 영문 오디오 컨텐츠의 경우 호칭 음원을 생성하는 방법을 설명하기 위한 도면이다.
도 5 를 참조하면, 일 실시예에 따른 오디오 컨텐츠 제공 장치는 영문 오디오 컨텐츠 재생 요청(예를 들어, 영어 동화 재생 요청)(510)을 받을 수 있다. 영문 오디오 컨텐츠를 제공 시, 호칭 음원도 컨텐츠 음원과 마찬가지로 영어 발음 형태로 제공되어야 보다 자연스러운 오디오 컨텐츠가 재생될 수 있다.
영문 오디오 컨텐츠 재생 요청을 받은 오디오 컨텐츠 제공 장치는 영문변환기(515), 영어발음 변환기(520), 발음사전(525)을 더 이용하여 호칭 문자를 호칭 음원으로 변환할 수 있다. 영문변환기(515)는 한글 호칭 문자를 수신하여, 한글 호칭 문자를 영문 호칭 문자로 변환하여 출력할 수 있다. 영어발음 변환기(520)는 영문변환기(515)로부터 영문 호칭 문자를 수신하여, 영문 호칭 문자를 영어 발음기호로 변환 하여 출력할 수 있다. 나아가, 영어발음 변환기(520)는 영문 호칭 문자를 영어 발음기호로 변환 시, 호칭 문자의 발음 정보를 포함하는 발음사전(525)을 참고할 수도 있다.
예를 들어, 사용자가 호칭 문자를 "민수"라고 등록해 둔 경우, 영문변환기(515)는 "민수"를 “min soo”로 자동 변환할 수 있다. 발음사전(525)에 "민수"가 입력될 수 있고, 영어발음 변환기(520)에는 “min soo”가 입력될 수 있다. “min soo”를 입력 받은 영어발음 변환기(520)는 발음사전(525)의 출력을 참고하여 “min soo”에 대한 발음기호인 [m], [i], [n], [s], [u] 로 변환할 수 있다. 영어 호칭 음원 데이터베이스(535)에 기반하여 구축된 TTS 엔진(530)은 발음기호 [m], [i], [n], [s], [u]에 대응하는 호칭 음원을 생성할 수 있다.
도 1 내지 도 5를 참조하여, 호칭 음원을 생성하고 컨텐츠 음원을 획득하여 호칭 음원이 결합된 오디오 컨텐츠를 제공하는 방법에 대하여 설명하였다. 아래에서 도 6을 참조하여, 호칭 음원이 결합된 오디오 컨텐츠 제공 시 호칭에 결합되는 조사의 종류에 따라 호칭 음원과 컨텐츠 음원 사이의 묵음 간격을 다르게 설정하여 보다 자연스러운 오디오 컨텐츠를 제공하는 방법에 대해 설명한다.
도 6은 일 실시예에 따른 호칭에 결합되는 조사의 종류에 따라 호칭 음원과 컨텐츠 음원 사이의 묵음 간격을 다르게 설정하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예에 따른 오디오 컨텐츠 제공 장치는 호칭 문자에 결합되는 조사를 결정할 수 있다. 호칭 구간과 컨텐츠 구간을 연결하여 재생할 때 자연스러움이 중요한데, 호칭 문자에 붙는 조사의 종류에 따라서 호칭 음원과 컨텐츠 음원 사이 묵음 간격을 다르게 설정할 수 있다. 묵음 간격(620)은 호칭 구간(예를 들어, 이름 구간)(610)과 컨텐츠 구간(예를 들어, 동화 구간)(630) 사이의 간격을 의미할 수 있다.
호칭 문자는 대부분 조사와 결합되어 사용된다. 이때 호칭 문자 마지막 음절의 받침 유무에 따라 이름과 조사 사이에 “이”가 삽입되기도 한다. 예를 들어, “철수+처럼”의 경우에는 조사 "이"가 삽입되지 않지만, “영식+이+처럼”의 경우에는 조사 "이"가 삽입될 수도 있다. 또한, 호칭 음원과 컨텐츠 음원을 이어서 재생할 때는 사이에 약간의 묵음구간이 생기도록 한다. 실제로 호칭 구간과 컨텐츠 구간을 한 문장으로 읽은 게 아니기 때문에 약간의 운율상의 어색함이 생기는데, 묵음 간격을 사용하여 어색함을 줄일 수 있다. 적절한 묵음 간격은 컨텐츠 내 문장의 내용에 따라 달라질 수 있다. 예를 들어, 오디오 컨텐츠 제공 장치는 스크립트에 기초하여, 호칭 문자에 결합되는 조사를 결정할 수 있고, 묵은 간격은 표 2와 같이 호칭 문자에 붙은 조사의 종류에 따라 다르게 설정할 수 있다.
Figure pat00002
표 2를 참조하면, “철수야” 처럼 호격 조사는 묵음 간격이 길고(0.3초), “철수는” 처럼 주격 조사는 묵음 간격이 짧은(0.1초) 게 자연스러울 수 있다.
오디오 컨텐츠 제공 장치는 스크립트에 기초하여 호칭 문자에 붙을 조사를 결정할 수 있고, 묵음 간격은 조사에 기초하여 결정될 수 있다. 예를 들어, 오디오 컨텐츠 제공 장치는 표 1의 스크립트에 따라 순서 2에서 TTS 엔진을 이용하여 "[이름]에게"의 호칭 음원을 생성할 수 있다. 이 경우, 조사의 종류가 "에게"이므로, 오디오 컨텐츠 제공 장치는 표 2를 참조하여 "에게"에 해당하는 0.2초를 묵음 간격으로 결정할 수 있다. 오디오 컨텐츠 제공 장치는 사용자의 호칭 문자, 조사 및 묵음 간격이 포함된 호칭 음원을 생성할 수 있다.
도면에 도시하지 않았으나, 오디오 컨텐츠 제공 장치는 프로세서 및 메모리를 포함한다. 프로세서는 도 1 내지 도 6를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리는 컨텐츠 음원 데이터베이스, 호칭 음원 데이터베이스를 포함할 수 있다. 메모리는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서는 프로그램을 실행하고, 오디오 컨텐츠 제공 장치를 제어할 수 있다. 프로세서에 의하여 실행되는 프로그램의 코드는 메모리에 저장될 수 있다. 오디오 컨텐츠 제공 장치는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 오디오 컨텐츠의 재생 요청을 수신하는 단계;
    상기 오디오 컨텐츠에 대응하는 컨텐츠 음원을 획득하는 단계;
    상기 오디오 컨텐츠의 유형에 기초하여 사용자에 대응하는 호칭 음원을 생성하는 단계; 및
    상기 컨텐츠 음원과 상기 호칭 음원을 결합함으로써 상기 오디오 컨텐츠를 제공하는 단계
    를 포함하는 오디오 컨텐츠 제공 방법.
  2. 제1항에 있어서,
    상기 오디오 컨텐츠는 상기 호칭 음원과 상기 컨텐츠 음원을 결합하기 위한 스크립트를 포함하고,
    상기 오디오 컨텐츠를 제공하는 단계는
    상기 스크립트에 기초하여, 상기 호칭 음원과 상기 컨텐츠 음원을 결합하는 단계
    를 포함하는, 오디오 컨텐츠 제공 방법.
  3. 제1항에 있어서,
    상기 호칭 음원을 생성하는 단계는
    상기 사용자의 호칭 문자(text)를 획득하는 단계;
    상기 오디오 컨텐츠의 유형에 대응하는 호칭 음원 데이터베이스에 기반하여 구축된 TTS(Text-to-Speech; TTS) 엔진을 통해, 상기 사용자의 호칭 문자에 대응하는 상기 호칭 음원을 생성하는 단계
    를 포함하는, 오디오 컨텐츠 제공 방법.
  4. 제1항에 있어서,
    상기 호칭 음원은
    상기 컨텐츠 음원의 성우 음성 및 상기 오디오 컨텐츠의 유형에 대응하는 톤에 기초하여 생성되는, 오디오 컨텐츠 제공 방법.
  5. 제1항에 있어서,
    상기 호칭 음원을 생성하는 단계는
    상기 사용자의 호칭 문자가 기 등록된 경우에는, 상기 기 등록된 호칭 문자에 대응하는 호칭 음원을 생성하는 단계; 및
    상기 사용자의 호칭 문자가 기 등록되지 않은 경우에는, 미리 정해진 호칭 문자에 대응하는 호칭 음원으로 생성하는 단계
    중 적어도 하나를 포함하는, 오디오 컨텐츠 제공 방법.
  6. 제2항에 있어서,
    상기 호칭 음원을 생성하는 단계는
    상기 스크립트에 기초하여, 상기 호칭 음원에 결합되는 조사를 결정하는 단계;
    상기 조사에 대응하는 묵음 간격을 결정하는 단계; 및
    상기 사용자의 호칭 문자, 상기 조사 및 상기 묵음 간격이 포함된 호칭 음원을 생성하는 단계
    를 포함하는, 오디오 컨텐츠 제공 방법.
  7. 제2항에 있어서,
    상기 스크립트는
    상기 오디오 컨텐츠의 제목, 상기 오디오 컨텐츠의 유형, 상기 오디오 컨텐츠의 출력 순서, 상기 오디오 컨텐츠의 성우 정보, 상기 오디오 컨텐츠 내 상기 출력 순서에 따른 음원의 종류, 상기 출력 순서에 따른 상기 컨텐츠 음원의 파일명, 상기 출력 순서에 따른 상기 컨텐츠 음원의 파일 길이, 및 상기 출력 순서에 따라 상기 호칭 음원에 결합되는 조사 종류 중 적어도 하나를 포함하는, 오디오 컨텐츠 제공 방법.
  8. 제1항에 있어서,
    상기 오디오 컨텐츠의 유형은
    일반 오디오 컨텐츠, 수면 오디오 컨텐츠, 외국어 오디오 컨텐츠, 액션 오디오 컨텐츠, 판소리 오디오 컨텐츠 및 뮤지컬 오디오 컨텐츠 중 적어도 하나를 포함하는, 오디오 컨텐츠 제공 방법.
  9. 제1항에 있어서,
    상기 오디오 컨텐츠의 유형이 외국어 오디오 컨텐츠인 경우, 상기 호칭 음원을 생성하는 단계는
    호칭 문자를 외국어 호칭 문자로 변환하는 단계;
    상기 외국어 호칭 문자를 발음기호 형태로 변환하는 단계; 및
    상기 발음기호 형태 및 상기 오디오 컨텐츠의 유형에 기초하여, 상기 호칭 문자를 상기 호칭 음원으로 변환하는 단계
    를 포함하는, 오디오 컨텐츠 제공 방법.
  10. 하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  11. 오디오 컨텐츠 재생 요청을 수신하는 마이크;
    상기 오디오 컨텐츠를 재생하는 스피커; 및
    서버로부터 상기 오디오 컨텐츠에 대응하는 컨텐츠 음원을 획득하며, 상기 오디오 컨텐츠의 유형에 기초하여 사용자에 대응하는 호칭 음원을 생성하고, 상기 컨텐츠 음원과 상기 호칭 음원을 결합함으로써 상기 오디오 컨텐츠가 재생되도록 상기 스피커를 제어하는 프로세서
    를 포함하는 오디오 컨텐츠 제공 장치.
  12. 제11항에 있어서,
    상기 오디오 컨텐츠는 상기 호칭 음원과 상기 컨텐츠 음원을 결합하기 위한 스크립트를 포함하고,
    상기 프로세서는
    상기 스크립트에 기초하여, 상기 호칭 음원과 상기 컨텐츠 음원을 결합하는, 오디오 컨텐츠 제공 장치.
  13. 제11항에 있어서,
    상기 프로세서는
    상기 사용자의 호칭 문자(text)를 획득하고, 상기 오디오 컨텐츠의 유형에 대응하는 호칭 음원 데이터베이스에 기반하여 구축된 TTS(Text-to-Speech; TTS) 엔진을 통해, 상기 사용자의 호칭 문자에 대응하는 상기 호칭 음원을 생성하는, 오디오 컨텐츠 제공 장치.
  14. 제11항에 있어서,
    상기 프로세서는
    상기 사용자의 호칭 문자가 기 등록된 경우에는, 상기 기 등록된 호칭 문자에 대응하는 호칭 음원을 생성하고, 상기 사용자의 호칭 문자가 기 등록되지 않은 경우에는, 미리 정해진 호칭 문자에 대응하는 호칭 음원으로 생성하는, 오디오 컨텐츠 제공 장치.
  15. 제12항에 있어서,
    상기 프로세서는
    상기 스크립트에 기초하여, 상기 호칭 음원에 결합되는 조사를 결정하고, 상기 조사에 대응하는 묵음 간격을 결정하고, 상기 사용자의 호칭 문자, 상기 조사 및 상기 묵음 간격이 포함된 호칭 음원을 생성하는, 오디오 컨텐츠 제공 장치.
  16. 제11항에 있어서,
    상기 프로세서는
    호칭 문자를 외국어 호칭 문자로 변환하고, 상기 외국어 호칭 문자를 발음기호 형태로 변환하며, 상기 발음기호 형태 및 상기 오디오 컨텐츠의 유형에 기초하여, 상기 호칭 문자를 상기 호칭 음원으로 변환하는, 오디오 컨텐츠 제공 장치.
KR1020190091177A 2019-07-26 2019-07-26 오디오 컨텐츠 제공 방법 및 장치 KR102267651B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190091177A KR102267651B1 (ko) 2019-07-26 2019-07-26 오디오 컨텐츠 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091177A KR102267651B1 (ko) 2019-07-26 2019-07-26 오디오 컨텐츠 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210012815A true KR20210012815A (ko) 2021-02-03
KR102267651B1 KR102267651B1 (ko) 2021-06-22

Family

ID=74571899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091177A KR102267651B1 (ko) 2019-07-26 2019-07-26 오디오 컨텐츠 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102267651B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020082328A (ko) * 2001-04-20 2002-10-31 김장휘 네트워크상에서 나만의 동화를 구현시키는 기술
KR20040089905A (ko) * 2003-04-15 2004-10-22 주식회사 포스티브 음성 합성 기술을 이용한 오디오북 제공 시스템 및 그 방법
KR20140058746A (ko) * 2012-11-05 2014-05-15 주식회사 인프라웨어북스 도서 구연 시스템 및 방법
KR20140147401A (ko) * 2013-06-19 2014-12-30 한국전자통신연구원 Tts를 이용한 화면해설방송 제작 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020082328A (ko) * 2001-04-20 2002-10-31 김장휘 네트워크상에서 나만의 동화를 구현시키는 기술
KR20040089905A (ko) * 2003-04-15 2004-10-22 주식회사 포스티브 음성 합성 기술을 이용한 오디오북 제공 시스템 및 그 방법
KR20140058746A (ko) * 2012-11-05 2014-05-15 주식회사 인프라웨어북스 도서 구연 시스템 및 방법
KR20140147401A (ko) * 2013-06-19 2014-12-30 한국전자통신연구원 Tts를 이용한 화면해설방송 제작 방법 및 장치

Also Published As

Publication number Publication date
KR102267651B1 (ko) 2021-06-22

Similar Documents

Publication Publication Date Title
US10381016B2 (en) Methods and apparatus for altering audio output signals
US9330657B2 (en) Text-to-speech for digital literature
CN110782900B (zh) 协作ai讲故事
JP6505117B2 (ja) 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア
US9318100B2 (en) Supplementing audio recorded in a media file
US20200126566A1 (en) Method and apparatus for voice interaction
JP6681450B2 (ja) 情報処理方法および装置
US20150113410A1 (en) Associating a generated voice with audio content
US20090254826A1 (en) Portable Communications Device
CN108228132A (zh) 促进用户录制的音频的创建和回放
JP3864197B2 (ja) 音声クライアント端末装置
US20200058288A1 (en) Timbre-selectable human voice playback system, playback method thereof and computer-readable recording medium
WO2022184055A1 (zh) 文章的语音播放方法、装置、设备、存储介质及程序产品
US11049490B2 (en) Audio playback device and audio playback method thereof for adjusting text to speech of a target character using spectral features
JP2019015951A (ja) 電子機器のウェイクアップ方法、装置、デバイス及びコンピュータ可読記憶媒体
US20080162559A1 (en) Asynchronous communications regarding the subject matter of a media file stored on a handheld recording device
KR20160131505A (ko) 음성 변환 방법 및 음성 변환 장치
CN109460548B (zh) 一种面向智能机器人的故事数据处理方法及系统
KR102184053B1 (ko) 대사를 캐릭터별 상이한 목소리로 변환하여 전달하는 웹툰 동영상 생성 방법
KR102232642B1 (ko) 스토리 컨텐츠에 대한 음향 효과를 제공하는 미디어 재생 장치 및 음성 인식 서버
KR102267651B1 (ko) 오디오 컨텐츠 제공 방법 및 장치
US11790913B2 (en) Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal
JPWO2020070959A1 (ja) 通訳システム、サーバ装置、配信方法、および記録媒体
CN109241331B (zh) 一种面向智能机器人的故事数据处理方法
US11182417B1 (en) Method and system for facilitating conversion of content based on user preferences

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant