KR101181785B1 - 미디어 처리 서버 장치 및 미디어 처리 방법 - Google Patents

미디어 처리 서버 장치 및 미디어 처리 방법 Download PDF

Info

Publication number
KR101181785B1
KR101181785B1 KR1020107022310A KR20107022310A KR101181785B1 KR 101181785 B1 KR101181785 B1 KR 101181785B1 KR 1020107022310 A KR1020107022310 A KR 1020107022310A KR 20107022310 A KR20107022310 A KR 20107022310A KR 101181785 B1 KR101181785 B1 KR 101181785B1
Authority
KR
South Korea
Prior art keywords
emotion
data
voice
speech
text
Prior art date
Application number
KR1020107022310A
Other languages
English (en)
Other versions
KR20100135782A (ko
Inventor
신이치 이소베
마사미 야부사키
Original Assignee
가부시키가이샤 엔.티.티.도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔.티.티.도코모 filed Critical 가부시키가이샤 엔.티.티.도코모
Publication of KR20100135782A publication Critical patent/KR20100135782A/ko
Application granted granted Critical
Publication of KR101181785B1 publication Critical patent/KR101181785B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

미디어 처리 서버 장치는, 사용자 식별자와 관련시켜, 음성 합성용 데이터를 감정마다 분류하여 기억하는 음성 합성용 데이터 기억부와, 메시지 서버 장치로부터 수신한 텍스트 메시지로부터 텍스트의 감정을 판정하는 텍스트 해석부와, 판정한 감정에 대응하면서, 또한 텍스트 메시지의 송신자인 사용자의 사용자 식별자와 관련된 음성 합성용 데이터를 사용하여 텍스트에 대한 음성을 합성하여 감정 표현 부가 음성 데이터를 생성하는 음성 데이터 합성부를 구비한다.

Description

미디어 처리 서버 장치 및 미디어 처리 방법{MEDIA PROCESS SERVER APPARATUS AND MEDIA PROCESS METHOD THEREFOR}
본 발명은, 텍스트 데이터에 기초하여 음성 메시지를 합성하는 것이 가능한 미디어 처리 서버 장치 및 미디어 처리 방법에 관한 것이다.
정보 처리 기술 및 통신 기술의 고도화에 의해, 전자 메일로 대표되는 텍스트를 사용한 메시지 통신이 널리 이용되고 있다. 이와 같은 텍스트를 사용한 메시지 통신으로서는, 메시지 중에 그림 문자(graphical emoticons)나 복수개의 문자의 조합에 의한 얼굴 문자(text emoticons or face marks)를 사용함으로써, 메시지의 내용을 보다 더 감정이 풍부하게 표현할 수 있게 된다.
또한, 종래 기술로서, 전자 메일에 포함되는 메시지를, 발신자 본인의 목소리로 감정이 표현되도록 낭독하는 기능을 가지는 단말기 장치가 알려져 있다(예, 특허 문헌 1 참조).
특허 문헌 1에 기재된 단말기 장치는, 통화중에 얻어진 음성 데이터로부터 얻어지는 음성 특징 데이터를, 감정별로 분류하여 전화 번호나 메일 주소에 대응시켜 기억해 둔다. 또한, 이 기억되어 있는 통신 상대로부터의 메시지를 수신했을 때, 상기 메시지에 포함되는 텍스트 데이터가 어떤 감정인가를 판정하여, 메일 주소와 대응한 음성 특징 데이터를 사용하여 음성을 합성하여 낭독한다.
일본 특허 제3806030호 공보
그러나, 상기 종래의 단말기 장치에서는, 메모리 용량 등의 제한에 의해, 음성 특징 데이터를 등록할 수 있는 통신 상대의 수 또는 통신 상대의 음성 특징 데이터의 등록 수가 한정적이어서, 합성되는 감정 표현의 변화가 적어져 합성의 정밀도가 떨어지는 문제가 있었다.
본 발명은, 전술한 사정을 감안하여 이루어진 것으로, 고품질이면서, 또한 감정 표현이 풍부한 음성 메시지를, 텍스트 데이터로부터 합성하는 것이 가능한 미디어 처리 서버 장치 및 미디어 처리 방법을 제공하는 것을 목적으로 한다.
본 발명은, 상기 목적을 달성하기 위하여, 복수개의 통신 단말기 사이에서 송수신되는 텍스트 메시지에 대응하는 음성을 합성함으로써 음성 메시지를 생성할 수 있는 미디어 처리 서버 장치로서, 상기 복수개의 통신 단말기의 각 사용자를 일의적으로 식별하는 사용자 식별자와 관련지어, 음성 합성용 데이터를 감정의 종류별로 분류하여 기억하는 음성 합성용 데이터 기억부와; 상기 복수개의 통신 단말기 중, 제1 통신 단말기로부터 송신된 텍스트 메시지를 수신하면, 수신된 텍스트 메시지의 판정 단위(determination unit)별로, 상기 판정 단위 내의 텍스트로부터 감정 정보를 추출하고, 추출한 감정 정보에 기초하여 감정의 종별을 판정하는 감정 판정부와; 상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터 중, 상기 감정 판정부에서 판정한 감정의 종별에 대응하는 음성 합성용 데이터를, 상기 음성 합성용 데이터 기억부로부터 판독하고, 판독된 상기 음성 합성용 데이터를 사용하여, 상기 판정 단위의 텍스트에 대응하는 감정 표현별로 음성 데이터를 합성하는 음성 데이터 합성부를 구비하는 것을 특징으로 하는 미디어 처리 서버 장치를 제공한다.
본 발명에 따른 미디어 처리 서버 장치에 있어서는, 각 사용자별로 감정의 종류별로 분류한 음성 합성용 데이터를 기억하고 있고, 텍스트 메시지의 감정의 종별의 판정 결과에 따라, 상기 텍스트 메시지의 송신자인 사용자의 음성 합성용 데이터를 사용하여 음성 데이터를 합성한다. 따라서, 송신자 본인의 소리를 사용하여, 감정이 들어있는 음성 메시지를 작성하는 것이 가능하게 된다. 또한, 음성 합성용 데이터를 기억하는 기억부를 미디어 처리 서버 장치에 설치하였으므로, 통신 단말기 등의 단말기 장치에 상기 기억부를 설치하는 경우에 비해, 대량의 음성 합성용 데이터를 등록하는 것이 가능하게 된다. 따라서, 음성 합성 데이터를 등록하는 사용자의 수나, 등록 가능한 각 사용자의 음성 합성용 데이터의 수가 증가하므로, 고품질이면서, 또한 감정 표현이 풍부한 음성 메시지를 합성하는 것이 가능하게 된다. 즉, 종래와 같이, 단말기 장치에 음성 합성용 데이터를 등록해 둘 필요가 없어, 단말기 장치의 메모리 용량에 부담을 주지 않는다. 또한, 텍스트 메시지의 감정을 판정하는 기능이나, 음성을 합성하는 기능도 필요 없게 되므로, 단말기 장치의 처리 부하가 경감된다.
본 발명의 바람직한 양태로서, 상기 감정 판정부는, 상기 감정 정보로서, 감정을 복수개의 문자의 조합으로부터 표현한 감정 기호를 추출한 경우에는, 상기 감정 기호에 기초하여 감정의 종별을 판정한다. 감정 기호는, 예를 들면, 얼굴 문자이며, 메시지의 송신자인 통신 단말기의 사용자에 의해 입력된다. 즉, 감정 기호는 사용자가 지정한 감정을 나타낸다. 따라서, 감정 정보로서 감정 기호를 추출하고, 상기 감정 기호에 기초하여 감정의 종별을 판정함으로써, 메시지의 송신자의 감정을 보다 정확하게 반영한 판정 결과를 얻을 수 있게 된다.
본 발명의 다른 바람직한 양태로서, 상기 감정 판정부는, 수신한 상기 텍스트 메시지에, 텍스트에 삽입할 화상이 첨부되어 있는 경우에는, 상기 판정 단위 내의 텍스트에 더하여, 상기 텍스트에 삽입할 화상도 상기 감정 정보의 추출 대상으로 하고, 상기 감정 정보로서, 감정을 그림에 의해 표현한 감정 화상을 추출한 경우에는, 상기 감정 화상에 기초하여 감정의 종별을 판정한다. 감정 화상은, 예를 들면, 그림 문자 화상이며, 메시지의 송신자인 통신 단말기의 사용자의 선택에 의해 입력된다. 즉, 감정 화상은 사용자가 지정한 감정을 나타낸다. 따라서, 감정 정보로서 감정 화상을 추출하고, 상기 감정 화상에 기초하여 감정의 종별을 판정함으로써, 메시지의 송신자의 감정을 보다 정확하게 반영한 판정 결과를 얻는 것이 가능하게 된다.
바람직하게는, 상기 감정 판정부는, 상기 판정 단위 내로부터 추출한 감정 정보가 복수개 있는 경우에는, 복수개의 각각의 감정 정보에 대하여 감정의 종별을 판정하고, 판정한 감정의 종별 중, 가장 출현수가 많은 감정의 종별을 판정 결과로서 선택하도록 해도 된다. 이 양태에 의하면, 판정 단위 중에서 가장 강하게 나타난 감정을 선택하는 것이 가능하게 된다.
또는, 상기 감정 판정부는, 상기 텍스트 메시지 내의 상기 판정 단위 내로부터 추출한 감정 정보가 복수개 있는 경우에는, 상기 판정 단위의 종점에 가장 가까운 위치에 출현하는 감정 정보에 기초하여 감정의 종별을 판정하도록 해도 된다. 이 양태에 의하면, 메시지의 송신자의 감정 중에서, 메시지의 송신 시점에 더욱 가까운 감정을 선택하는 것이 가능하게 된다.
본 발명의 바람직한 양태에 있어서, 상기 음성 합성용 데이터 기억부는, 복수개의 통신 단말기의 각 사용자의 음성 패턴의 특성을 감정의 종별마다 설정하는 파라미터를 더 기억하고, 상기 음성 데이터 합성부는, 합성한 음성 데이터를 상기 파라미터에 기초하여 조정한다. 본 양태에 있어서는, 각 사용자에 대하여 기억된 감정의 종류에 따른 파라미터를 사용하여 음성 데이터를 조정하므로, 사용자의 음성 패턴의 특성에 합치한 음성 데이터가 작성된다. 따라서, 송신자의 사용자의 개인적인 음성의 특징을 반영한 음성 메시지를 작성하는 것이 가능하게 된다.
바람직하게는, 상기 파라미터는, 상기 각 사용자에게 대하여 상기 감정마다 분류하여 기억된 음성 합성용 데이터의 목소리의 크기의 평균값, 속도의 평균값, 운율(韻律)의 평균값, 및 주파수의 평균값 중 적어도 1개로 하도록 해도 된다. 이 경우에는, 음성 데이터를, 각 사용자의 소리의 크기, 이야기하는 속도(템포), 운율(억양, 리듬, 강세)이나, 주파수(소리의 높이) 등에 따라 조정한다. 따라서, 사용자 본인의 목소리 상태에 보다 가까운 음성 메시지를 재현하는 것이 가능하게 된다.
본 발명의 바람직한 양태에 있어서, 상기 음성 데이터 합성부는, 상기 판정 단위 내의 텍스트를 복수개의 합성 단위로 분해하여, 상기 합성 단위마다 상기 음성 데이터의 합성을 실행하고, 상기 음성 데이터 합성부는, 상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터에, 상기 감정 판정부에서 판정한 감정에 대응하는 음성 합성용 데이터가 포함되어 있지 않은 경우에는, 상기 합성 단위의 텍스트와 발음이 부분적으로 일치하는 음성 합성용 데이터를, 상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터로부터 선택하여 판독한다. 본 발명에 의하면, 음성 합성의 대상인 텍스트의 문자열이 음성 합성용 데이터 기억부에 그대로 기억되어 있지 않은 경우에도, 음성 합성을 행하는 것이 가능하게 된다.
또한, 본 발명은, 복수개의 통신 단말기 사이에서 송수신되는 텍스트 메시지에 대응하는 음성을 합성함으로써 음성 메시지를 생성하는 것이 가능한 미디어 처리 서버 장치에서의 미디어 처리 방법으로서, 상기 미디어 처리 서버 장치는, 상기 복수개의 통신 단말기의 각 사용자를 일의적으로 식별하는 사용자 식별자와 관련시켜서, 음성 합성용 데이터를 감정의 종별마다 분류하여 기억하는 음성 합성용 데이터 기억부를 구비하고 있고, 전술한 방법은, 상기 복수개의 통신 단말기 중, 제1 통신 단말기로부터 송신된 텍스트 메시지를 수신하면, 수신한 텍스트 메시지의 판정 단위마다, 판정 단위 내의 텍스트로부터 감정 정보를 추출하고, 추출한 감정 정보에 기초하여 감정의 종별을 판정하는 판정 단계와, 상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터 중, 상기 판정 단계에서 판정한 감정의 종별에 대응하는 음성 합성용 데이터를, 상기 음성 합성용 데이터 기억부로부터 판독하고, 판독한 상기 음성 합성용 데이터를 사용하여, 상기 판정 단위의 텍스트에 대응하는 음성 데이터를 합성하는 합성 단계를 포함하는 것을 특징으로 하는 미디어 처리 방법을 제공한다. 본 발명에 의하면, 상기 미디어 처리 서버 장치와 마찬가지의 효과를 달성할 수 있다.
본 발명에 의하면, 고품질이면서, 또한 감정 표현이 풍부한 음성 메시지를, 텍스트 데이터로부터 합성할 수 있는 미디어 처리 장치 및 미디어 처리 방법을 제공하는 것이 가능하게 된다.
도 1은 본 발명의 일실시예에 따른 미디어 처리 서버 장치를 포함하는 각 감정 표현 부가 음성 합성 메시지 시스템의 간이 구성도이다.
도 2는 본 발명의 일실시예에 따른 통신 단말기의 기능 구성도이다.
도 3은 본 발명의 일실시예에 따른 미디어 처리 서버 장치의 기능 구성도이다.
도 4는 본 발명의 일실시예에 따른 음성 합성용 데이터 기억부에 있어서 관리되는 데이터를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 미디어 처리 방법의 흐름을 설명하기 위한 시퀀스 차트이다.
이하, 도면을 참조하면서 본 발명의 실시예에 대하여 상세하게 설명한다. 그리고, 도면의 설명에 있어서는 동일 요소에는 동일 부호를 부여하고, 중복되는 설명을 생략한다.
도 1에 본 실시예에 따른 미디어 처리 서버 장치를 포함하는 감정 표현 부가 음성 합성 메시지 시스템(이하, 「음성 합성 메시지 시스템」이라고 함)을 나타낸다. 음성 합성 메시지 시스템은, 복수개의 통신 단말기(10)(10a, 10b)와, 각 통신 단말기 사이의 텍스트 메시지의 송수신을 가능하게 하는 메시지 서버 장치(20)와, 통신 단말기와 관련된 미디어 정보를 기억?가공하는 미디어 처리 서버 장치(30)와, 각 장치를 접속하는 네트워크(N)를 구비한다. 그리고, 설명을 간단하게 하기 위하여, 도 1에는 2개의 통신 단말기(10)만을 나타내었으나, 실제로 음성 합성 메시지 시스템은, 다수의 통신 단말기를 포함한다.
네트워크(N)는, 통신 단말기(10)의 접속처이며, 통신 단말기(10)에 대하여 통신 서비스를 제공한다. 예를 들면, 휴대 전화기망이 이에 해당한다.
통신 단말기(10)는, 무선 또는 유선에 의해 중계 장치(도시하지 않음)를 통하여 네트워크(N)에 접속되어 있고, 마찬가지로 중계 장치를 통하여 네트워크(N)에 접속하는 다른 통신 단말기와 통신을 행할 수 있다. 도면에는 도시하지 않았지만, 통신 단말기(10)는, CPU(Central Processing Unit), 주기억장치인 RAM(Random Access Memory) 및 ROM(Read Only Memory), 통신을 행하기 위한 통신 모듈, 및 하드디스크 등의 보조기억장치 등의 하드웨어를 구비하는 컴퓨터로서 구성된다. 이들 구성 요소가 협동함으로써, 후술하는 통신 단말기(10)의 기능이 실현된다.
도 2는, 통신 단말기(10)의 기능 구성도이다. 도 2에 나타낸 바와 같이, 통신 단말기(10)는, 송수신부(101)와, 텍스트 메시지 작성부(102)와, 음성 메시지 재생부(103)와, 입력부(104)와, 표시부(105)를 구비한다.
송수신부(101)는, 텍스트 메시지 작성부(102)로부터 텍스트 메시지를 수신하면, 이것을 네트워크(N)를 통하여 메시지 서버 장치(20)에 송신한다. 여기서, 텍스트 메시지란, 예를 들면, 전자 메일, 채팅 또는 IM(Instant Message)이 이에 해당한다. 또한, 송수신부(101)는 미디어 처리 서버 장치(30)에 있어서 음성 합성된 음성 메시지를 네트워크(N)를 통하여 메시지 서버 장치(20)로부터 수신하면, 이것을 음성 메시지 재생부(103)에 전송한다. 그리고, 텍스트 메시지를 수신하면, 이것을 표시부(105)에 전송한다.
입력부(104)는, 터치 패널이나 키보드가 이에 해당하고, 입력된 문자를 텍스트 메시지 작성부(102)에 송신한다. 또한, 입력부(104)는, 텍스트에 삽입할 그림 문자(graphical emoticon) 화상이 선택에 의해 입력되면, 입력된 그림 문자 화상을 텍스트 메시지 작성부(102)에 송신한다. 그림 문자 화상의 선택 시에는, 통신 단말기(10)의 도시하지 않은 메모리에 기억된 그림 문자 사전이 표시부(105)에 표시되고, 통신 단말기(10)의 사용자는, 입력부(104)를 조작함으로써, 표시된 그림 문자 화상 중에서 원하는 화상을 선택할 수 있다. 이 그림 문자 사전으로서는, 예를 들면, 네트워크(N)의 통신 사업자가 제공하는 고유의 그림 문자 사전이 있다. 「그림 문자 화상」은, 감정을 그림으로 표현한 감정 화상, 및 사상(事象)이나 물건 등을 그림으로 표현한 비감정 화상을 포함한다. 감정 화상으로서는, 얼굴의 표정 변화에 따라 감정을 나타낸 표정 감정 화상이나, 예를 들면, 「분노」를 나타내는 폭탄 화상이나 「기쁨」이나 「호의」를 나타내는 하트 화상과 같이 그림 자체로부터 감정을 추측할 수 있는 비표정 감정 화상이 있다. 비감정 화상으로서는, 날씨를 나타내는 태양 또는 우산의 화상, 스포츠의 종류를 나타내는 볼이나 라켓 등의 화상이 있다.
또한, 입력된 문자는, 문자의 조합(문자열)에 의해 감정을 나타내는 얼굴 문자(감정 기호)를 포함하는 경우가 있다. 얼굴 문자(text emoticon)는, 콤마, 콜론, 하이픈 등의 구두점(punctuation characters), 별표(*, asterisk)나 앳마크(@, at sign) 등의 기호, 및 일부 알파벳(「m」이나 「T」) 등을 조합한 문자열에 의해 감정을 나타낸 것이다. 대표적인 얼굴 문자로서는, 웃는 얼굴(happy face)을 나타내는 「:)」(콜론이 눈, 괄호가 입), 화난 얼굴(angry face)을 나타내는 「>:(」, 우는 얼굴(crying face)을 나타내는 「T_T」 등이 있다. 그림 문자의 경우와 마찬가지로, 통신 단말기(10)의 도시하지 않은 메모리에는 얼굴 문자 사전이 기억되어 있고, 통신 단말기(10)의 사용자는, 얼굴 문자 사전으로부터 판독되어 표시부(105)에 표시된 얼굴 문자 중에서, 입력부(104)를 조작함으로써, 원하는 얼굴 문자를 선택할 수 있다.
텍스트 메시지 작성부(102)는, 입력부(104)로부터 입력된 문자 및 얼굴 문자로부터 텍스트 메시지를 작성하고, 이것을 송수신부(101)에 전송한다. 또한, 텍스트에 삽입할 그림 문자 화상이 입력부(104)로부터 입력되어, 텍스트 메시지 작성부(102)에 송신되면, 상기 그림 문자 화상을 첨부 화상으로 하는 텍스트 메시지를 작성하여 송수신부(101)에 전송한다. 이 때, 텍스트 메시지 작성부(102)는, 그림 문자 화상의 삽입 위치를 나타내는 삽입 위치 정보를 생성하고, 텍스트 메시지에 첨부하여 송수신부(101)에 전송한다. 그림 문자 화상이 복수개 첨부되어 있는 경우에는, 각 그림 문자 화상에 대하여, 이 삽입 위치 정보가 생성된다. 여기서, 텍스트 메시지 작성부(102)란, 통신 단말기(10)에 탑재되는, 전자 메일, 채팅, IM의 소프트웨어가 이에 해당한다. 다만, 소프트웨어로 한정되는 것이 아니고, 하드웨어로 구성되어도 된다.
음성 메시지 재생부(103)는, 송수신부(101)로부터 음성 메시지를 수신하면 이것을 재생한다. 여기서, 음성 메시지 재생부(103)란, 음성 인코더, 스피커가 이에 해당한다. 또한, 표시부(105)는, 송수신부(101)로부터 텍스트 메시지를 수신하면 이것을 표시한다. 텍스트 메시지에 그림 문자 화상이 첨부되어 있는 경우에는, 삽입 위치 정보에 의해 지정된 위치에 그림 문자 화상을 삽입한 상태에서, 텍스트 메시지가 표시된다. 표시부(105)는, 예를 들면, LCD(Liquid Crystal Display) 등이며, 수신한 텍스트 메시지 외에, 각종 정보를 표시할 수 있다.
통신 단말기(10)는, 이동 통신 단말기가 그 대표적인 예이지만, 이에 한정되지 않고, 예를 들면, 음성 통화 가능한 퍼스널 컴퓨터나, SIP(Session Initiation Protocol) 전화 등도 적용할 수 있다. 그리고, 본 실시예에서는, 통신 단말기(10)는 이동 통신 단말기인 것으로서 설명한다. 이 경우, 네트워크(N)는 이동 통신망이며, 전술한 중계 장치는 기지국이다.
메시지 서버 장치(20)는, 전자 메일, 채팅, IM용의 어플리케이션 서버 프로그램 등을 실장한 컴퓨터 장치가 이에 해당한다. 메시지 서버 장치(20)는, 통신 단말기(10)로부터 텍스트 메시지를 수신하면, 송신원 통신 단말기(10)가 음성 합성 서비스에 가입하고 있는 경우에는, 수신한 텍스트 메시지를, 미디어 처리 서버 장치(30)에 전송한다. 음성 합성 서비스란, 전자 메일이나 채팅, IM 등에 의해 송신한 텍스트 메시지에 음성 합성을 행하고, 음성 메시지로서 송신처에 분배하는 서비스이며, 계약에 의해 이 서비스에 미리 가입하고 있는 통신 단말기(10)로부터(또는 통신 단말기(10)에) 송신된 메시지에 대해서만 음성 메시지의 작성과 분배가 실행된다.
미디어 처리 서버 장치(30)는, 네트워크(N)에 접속되어 있고, 이 네트워크(N)를 통하여 통신 단말기(10)에 접속된다. 도면에는 도시하지 않았지만, 미디어 처리 서버 장치(30)는, CPU, 주기억장치인 RAM 및 ROM, 통신을 행하기 위한 통신 모듈, 및 하드디스크 등의 보조기억장치 등의 하드웨어를 구비하는 컴퓨터로서 구성된다. 이들 구성 요소가 협동함으로써, 후술하는 미디어 처리 서버 장치(30)의 기능이 실현된다.
도 3에 나타낸 바와 같이, 미디어 처리 서버 장치(30)는, 송수신부(301)와, 텍스트 해석부(302)와, 음성 데이터 합성부(303)와, 음성 메시지 작성부(304)와, 음성 합성용 데이터 기억부(305)를 구비한다.
송수신부(301)는, 메시지 서버 장치(20)로부터 텍스트 메시지를 수신하면, 이것을 텍스트 해석부(302)에 전송한다. 또한, 송수신부(301)는, 음성 메시지 작성부(304)로부터 음성 합성된 메시지를 수신하면, 이것을 메시지 서버 장치(20)에 전송한다.
텍스트 해석부(302)는, 송수신부(301)로부터 텍스트 메시지를 수신하면, 그 문자 또는 문자열이나 첨부 화상으로부터, 텍스트의 내용의 감정을 나타내는 감정 정보를 추출하고, 추출한 감정 정보에 기초하여, 감정의 종류를 추측에 의해 판정한다. 그리고, 음성 합성의 대상으로 되는 텍스트 데이터와 함께 판정한 감정의 종별을 나타내는 정보를 음성 데이터 합성부(303)에 출력한다.
구체적으로는, 텍스트 해석부(302)는, 전자 메일 등에 개별적으로 첨부된 그림 문자 화상이나, 얼굴 문자(감정 기호)로부터 감정을 판단한다. 또한, 텍스트 해석부(302)는, 「즐거움」, 「슬픔」, 「기쁨」 등의 감정을 표현하는 단어로부터도, 그 텍스트의 감정의 종별을 인식한다.
더욱 상세하게는, 텍스트 해석부(302)는, 판정 단위마다 텍스트의 감정의 종별을 판정한다. 본 실시예에서는, 텍스트 메시지에서의 텍스트 중의 구두점(문장의 마지막을 나타내는 종지부. 일본어의 경우에는 「。」, 영어의 경우에는 피리어드 「.」) 또는 공백을 검출함으로써 구두점 또는 공백마다 텍스트를 구분하여, 이 판정 단위로 한다.
다음으로, 텍스트 해석부(302)는, 전술한 판정 단위 내에 출현한 그림 문자 화상, 얼굴 문자, 단어로부터 그 판정 단위를 표현하는 감정을 나타내는 감정 정보를 추출하여 감정 판정을 행한다. 구체적으로는, 텍스트 해석부(302)는, 상기 감정 정보로서, 그림 문자 화상 속에서는 감정 화상, 전체 얼굴 문자, 및 감정을 나타내는 단어를 추출한다. 그러므로, 미디어 처리 서버 장치(30)의 도시하지 않은 메모리에는, 그림 문자 사전, 얼굴 문자 사전, 및 감정을 나타내는 단어의 사전이 기억되어 있다. 각 얼굴 문자 사전 및 그림 문자 사전에는, 얼굴 문자와 그림 문자 각각에 대하여 대응하는 단어의 문자열이 기억되어 있다.
얼굴 문자나 그림 문자 화상에서는 매우 다양한 종류의 감정의 감정 표현이 가능하므로, 문장으로 표현하는 것보다도, 얼굴 문자나 그림 문자 화상 쪽이 간단하면서도, 또한 정확하게 감정을 표현할 수 있는 경우가 많다. 그러므로, 특히 전자 메일(특히 휴대 전화기의 전자 메일)이나 채팅, IM 등의 텍스트 메시지의 송신자는, 얼굴 문자나 그림 문자 화상에 의존하여 자신의 감정을 표현하는 경향이 있다. 본 실시예에서는, 전자 메일이나 채팅, IM 등의 텍스트 메시지의 감정 판정을 행할 때, 얼굴 문자나 그림 문자 화상을 사용하는 구성으로 하였으므로, 메시지의 송신자 스스로가 지정한 감정 그 자체에 기초하여 감정을 판정하게 된다. 따라서, 문장에 포함되는 단어만으로 감정 판정을 행하는 경우에 비해, 메시지의 송신자의 감정을 보다 정확하게 반영한 판정 결과를 얻을 수 있다.
하나의 판정 단위 중에 복수개의 감정 정보가 출현한 경우에는, 텍스트 해석부(302)는, 각 감정 정보에 대하여 감정의 종별을 판정한 후, 판정한 감정의 종별의 출현수를 카운트하여 가장 많은 감정을 선택하거나, 판정 단위의 말미 또는 판정 단위의 종점에 가장 가까운 위치에 출현하는 그림 문자, 얼굴 문자, 또는 단어의 감정을 선택하도록 구성해도 된다.
그리고, 판정 단위를 구분하는 방법으로서는, 텍스트가 기록되어 있는 언어의 특성에 따라 판정 단위의 구분을 전환하여 적절하게 설정하는 것이 좋다. 또한, 감정 정보로서 추출하는 단어에 대해서도, 언어에 따라 적절하게 설정하는 것이 좋다.
이상과 같이, 텍스트 해석부(302)는, 수신한 텍스트 메시지의 판정 단위마다, 상기 판정 단위 내의 텍스트로부터 감정 정보를 추출하고, 추출한 감정 정보에 기초하여 감정의 종별을 판정하는 감정 판정부로서 기능한다.
또한, 텍스트 해석부(302)는, 판정 단위로 구분한 텍스트에 형태소 해석 (morphological analysis) 등을 행함으로써, 더욱 짧은 합성 단위로 구분한다. 합성 단위는, 음성 합성 처리(speech synthesis processing or text-to-speech processing) 시의 기준 단위이다. 텍스트 해석부(302)는, 판정 단위 내의 텍스트를 나타내는 텍스트 데이터를, 합성 단위로 분할한 후에, 판정 단위 전체의 감정 판정의 결과를 나타내는 정보와 함께 음성 데이터 합성부(303)에 송신한다. 그리고, 판정 단위의 텍스트 데이터에 얼굴 문자가 포함되어 있는 경우에는, 상기 얼굴 문자를 구성하는 문자열을, 대응하는 단어의 문자열로 치환한 후에 하나의 합성 단위로 하여 음성 데이터 합성부(303)에 송신한다. 또한, 마찬가지로, 그림 문자 화상이 포함되어 있는 경우에도, 상기 그림 문자 화상을, 대응하는 단어의 문자열로 치환한 후에 하나의 합성 단위로 하여 음성 데이터 합성부(303)에 송신한다. 이들 치환은, 메모리에 기억되어 있는 얼굴 문자 사전 및 그림 문자 사전을 참조함으로써 실행된다.
텍스트 메시지에는, 그림 문자 화상이나 얼굴 문자가 문장의 필수적인 구성 요소로 되어 있는 경우(예를 들면, 「오늘은 [비를 나타내는 그림 문자]입니다.」)와, 어느 단어의 문자열의 직후에 같은 의미의 그림 문자나 얼굴 문자가 삽입되어 있는 경우(예를 들면, 「오늘은 비[비를 나타내는 그림 문자]입니다.」)가 있다. 후자의 경우에는, 상기 치환했을 때, 「비」의 문자열의 후에 「비」에 대응하는 그림 문자 화상에 대응하는 문자열이 삽입된다. 그러므로, 연속하는 2개의 합성 단위의 문자열이 동일하거나 또는 거의 동일한 경우에는, 한쪽을 삭제하고, 음성 데이터 합성부(303)에 송신하도록 해도 된다. 또는, 그림 문자 화상 또는 얼굴 문자를 포함하는 판정 단위 내에, 상기 그림 문자 화상 또는 얼굴 문자와 동일한 의미를 가지는 단어가 포함되어 있는지의 여부를 탐색하고, 포함되어 있는 경우에는 그림 문자 또는 얼굴 문자를 문자열로 치환하지 않고 삭제하도록 해도 된다.
음성 데이터 합성부(303)는, 음성 합성하는 텍스트 데이터와 함께 그 판정 단위에 해당하는 감정의 종별을 나타내는 정보를 텍스트 해석부(302)로부터 수취한다. 음성 데이터 합성부(303)는, 합성 단위마다, 수취한 텍스트 데이터 및 감정 정보에 기초하여, 감정의 종별에 해당하는 음성 합성용 데이터를, 음성 합성용 데이터 기억부(305) 중의 통신 단말기(10a)용의 데이터로부터 검색하고, 그대로 해당하는 음성이 등록되어 있는 경우에는 그 음성 합성용 데이터를 판독하여 이용한다.
또한, 합성 단위의 텍스트 데이터에 그대로 해당하는 감정의 음성 합성용 데이터가 없는 경우에는, 음성 데이터 합성부(303)는, 비교적 가까운 단어의 음성 합성용 데이터를 판독하여 이것을 이용하여 음성 데이터를 합성한다. 판정 단위 내의 모든 합성 단위의 각 텍스트 데이터에 대하여 음성 합성이 종료하면, 음성 데이터 합성부(303)는, 합성 단위마다의 음성 데이터를 연결하여, 판정 단위 전체의 음성 데이터를 생성한다.
여기서, 비교적 가까운 단어란, 발음이 부분적으로 일치하는 단어이며, 예를 들면, 「즐거웠다(tanoshi-katta)」나 「즐긴다(tanoshi-mu)」에 대한 「즐겁다(tanoshi-i)」가 이에 해당한다. 즉, 「즐겁다(tanoshi-i)」라는 단어에 대응하는 음성 합성용 데이터는 등록되어 있지만, 「즐거웠다(tanoshi-katta)」나 「즐긴다(tanoshi-mu)」와 같이 일본어의 활용 어미가 변화된 형태의 단어에 대응하는 음성 합성용 데이터가 등록되어 있지 않다고 판단되었을 경우에는, 즐거웠다(tanoshi-katta)」 또는 「즐긴다(tanoshi-mu)」의 어간인 「즐겁(たのし)(tanoshi-)」에 대해서는 등록된 음성 합성용 데이터를 인용하고, 「즐거웠다(tanoshi-katta)」의 「웠다(かっつた)(-katta)」나 「즐긴다(tanoshi-mu)」의 「-mu」를, 같은 감정의 종별의 다른 단어로부터 인용하여, 「즐거웠다(tanoshi-katta)」 또는 「즐긴다(tanoshi-mu)」라는 말을 합성한다. 그림 문자나 얼굴 문자의 경우에도, 대응하는 문자열이 등록되어 있지 않은 경우에는, 마찬가지로 비교적 가까운 단어를 인용하여 음성 데이터를 합성할 수 있다.
도 4는, 음성 합성용 데이터 기억부(305)에서 관리되는 데이터를 나타낸다. 데이터는, 통신 단말기 ID, 전자 메일의 어드레스, 채팅의 ID, 또는 IM의 ID 등의 사용자 식별자와 관련되어, 사용자마다 관리된다. 도 4의 예에서는, 사용자 식별자로서 통신 단말기 ID가 사용되고 있고, 통신 단말기(10a)용 데이터(3051)가 예로서 표시되어 있다. 통신 단말기(10a)용 데이터(3051)는, 통신 단말기(10a)의 사용자 본인 소리의 음성 데이터이며, 도시한 바와 같이, 감정마다 분류하지 않고 등록되어 있는 음성 데이터(3051a)와 감정마다의 데이터 부분(3051b)로 나누어져 관리된다. 각 감정의 데이터 부분(3051b)은, 감정별로 분류된 음성 데이터(3052)와 각 감정별의 파라미터(3053)를 가진다.
감정별로 분류하지 않고 등록되어 있는 음성 데이터(3051a)는, 등록된 음성 데이터를 소정의 구분 단위(예를 들면, 문절(文節))로 구분하고, 특별히 감정을 구별하지 않고 등록된 음성 데이터이다. 감정별의 데이터 부분에 등록되어 있는 음성 데이터(3051b)는, 등록된 음성 데이터를 소정의 구분 단위로 구분하여, 감정의 종별마다 분류하여 등록된 음성 데이터이다. 그리고, 음성 합성 서비스의 대상으로 되는 언어가 일본어 이외의 언어의 경우에는, 문절 대신, 그 언어에 적합한 구분 단위를 적절하게 사용하여 음성 데이터를 등록해 두는 것이 좋다.
음성 데이터의 등록은, 음성 합성 서비스에 가입하고 있는 통신 단말기(10)에 대하여, (i) 통신 단말기(10)와 미디어 처리 서버(30)와 네트워크(N)를 통하여 접속된 상태에서, 사용자가 통신 단말기(10)를 향해 음성을 발하여 미디어 처리 서버 장치(30)에 녹음하는 방법, (ii) 통신 단말기(10) 사이의 통화 내용을 복제하여, 미디어 처리 서버(30)에 기억시키는 방법, (iii) 음성 인식 게임에 있어서 사용자가 음성 입력한 단어를 통신 단말기(10)에서 기억하고, 게임 종료 후에 네트워크를 통하여 미디어 처리 서버(30)에 전송하여 기억하는 방법 등을 고려할 수 있다.
음성 데이터의 분류는, (i) 미디어 처리 서버 장치(30)에 사용자마다 각 감정의 기억 영역을 형성해 두고, 통신 단말기(10)로부터 수신하는 감정의 분류의 지시에 따라, 해당하는 감정의 기억 영역에, 분류의 지시 이후에 발해진 음성의 데이터를 등록하는 방법, (ii) 감정별로 분류하기 위한 텍스트 정보에 의한 사전을 미리 준비해 두고, 서버가 음성 인식을 실행하고, 각 감정에 해당하는 단어가 발생한 경우에, 서버로 자동적으로 분류하는 방법 등을 고려할 수 있다.
이와 같이, 본 실시예에 있어서는, 음성 합성용 데이터를 미디어 처리 서버 장치(30)에 기억시키기 위하여, 데이터 메모리 용량 등에 제한이 있는 통신 단말기(10)에 음성 합성용 데이터를 기억시키는 경우에 비해, 음성 합성용 데이터로서 기억 가능한 사용자의 수 또는 사용자당 음성 합성용 데이터의 등록 수를 증가시킬 수 있다. 따라서, 합성되는 감정 표현의 변화가 증가하고, 합성 정밀도가 향상된다. 즉, 더욱 고품질의 음성 합성 데이터를 생성하는 것이 가능하게 된다.
또한, 종래의 단말기 장치에서는, 음성 통화 시에, 통화 상대의 음성 특징 데이터(음성 합성용 데이터)를 학습하여 등록하기 위하여, 전자 메일의 송신자 본인의 소리를 사용하여 음성 합성하는 것이 가능한 메시지는, 단말기 장치의 사용자가 그 발신자와 음성으로 통화한 적이 있는 경우로 한정되어 있었다. 그러나, 본 실시예에 의하면, 텍스트 메시지의 수취 측의 통신 단말기(10)(예를 들면, 통신 단말기(10b))가, 메시지를 송신한 통신 단말기(10)(예를 들면, 통신 단말기(10a))와 실제로 음성 통화한 적이 없는 경우에도, 미디어 처리 서버 장치(30)에 통신 단말기(10a)의 사용자의 음성 합성용 데이터가 기억만 되어 있으면, 통신 단말기(10a)의 사용자 본인의 소리를 사용하여 합성된 음성 메시지를 수취할 수 있다.
감정별 데이터 부분(3051b)은, 또한 감정별로 분류된 음성 데이터(3052)와, 감정별로 등록되어 있는 음성 데이터의 평균적인 파라미터(3053)를 가진다. 각 감정의 데이터 부분(3052)은, 감정별로 분류하지 않고 등록되어 있는 음성 데이터가 감정별로 분류되어 저장된 데이터이다.
그리고, 본 실시예에서는, 1개의 데이터가 감정에 의한 분류의 유무에 의해 중복되어 등록된다. 따라서, 실제 음성 데이터는 등록된 음성 데이터(3051a)의 영역에 등록해 두고, 감정별 데이터 영역(3051b)에서는, 등록된 음성 데이터의 텍스트 정보와 실제로 등록되어 있는 음성 데이터의 영역으로의 포인터(어드레스, 번지) 등을 기억해 둘 수 있다. 보다 구체적으로는, 「즐겁다」라는 음성 데이터가, 등록된 음성 데이터(3051a)의 영역의 어드레스 100번지에 저장되어 있다고 하면, 감정별 데이터 영역(3051b)에서는, 「즐거움의 데이터」영역 중에 「즐겁다」라는 텍스트 정보를 기억하고, 그 실제의 음성 데이터의 저장소인 100번지의 어드레스를 기억해 두도록 구성해도 된다.
파라미터(3053)에는, 통신 단말기(10a)의 사용자에 대하여, 해당하는 감정에 대응하는 음성 패턴(말투)을 표현하기 위한 파라미터로서, 소리의 크기, 목소리의 속도(tempo), 운율(prosody, rhythm), 소리의 주파수 등이 설정되어 있다.
음성 데이터 합성부(303)는, 판정 단위의 음성 합성이 종료하면, 음성 합성용 데이터 기억부(305)에 기억된, 해당하는 감정의 파라미터(3053)에 기초하여, 합성된 음성 데이터를 조정(가공)한다. 최종적으로 합성된, 판정 단위의 음성 데이터는 다시 각 감정의 파라미터와 조합하여, 전체적으로, 등록되어 있는 파라미터에 따른 음성 데이터로 되어 있는지의 여부를 확인한다.
전술한 확인이 완료하면, 음성 데이터 합성부(303)는, 합성한 음성 데이터를 음성 메시지 작성부(304)에 송신한다. 이하 텍스트 해석부(302)로부터 수취하는 판정 단위별 텍스트 데이터에 대하여 전술한 동작을 반복한다.
각 감정의 파라미터는, 이동 통신 단말기(10)의 각 사용자의 음성 패턴으로서, 각 감정의 종별마다 설정되어 있고, 도 4의 파라미터(3053)에 나타낸 바와 같이, 소리의 크기, 속도, 운율, 주파수 등이 이에 해당한다. 또한, 각 감정의 파라미터를 참조하여 합성된 음성을 조정하는 것은, 운율, 목소리의 속도 등을 예로 들면, 그 감정의 평균적인 파라미터로 조정하는 것을 말한다. 음성 합성 시에는, 해당하는 감정 중에서 단어를 선택하고 음성을 합성하기 위하여, 합성된 음성과 음성의 이음매에 위화감을 느끼는 경우가 있다. 따라서, 운율, 목소리의 속도 등을 예로 들면, 그 감정의 평균적인 파라미터로 조정함으로써 합성된 음성과 음성의 이음매에서의 위화감을 저감시키는 것이 가능하게 된다. 보다 구체적으로는, 각 감정으로 등록되어 있는 음성 데이터로부터 그 음성 데이터의, 목소리의 크기, 속도, 운율, 주파수 등의 평균값을 계산하고, 이것을 각 감정을 나타내는 평균적인 파라미터(도 4의 3053)로서 등록해 둔다. 음성 데이터 합성부(303)는, 이 평균적인 파라미터와 합성된 음성 데이터의 각 값을 비교하여, 크게 차이가 있는 경우에는 보다 평균적인 파라미터에 가까워지도록 합성한 음성을 조정한다. 그리고, 상기 파라미터 중, 운율은, 판정 단위 내의 텍스트에 대응하는 음성 데이터 전체의 목소리의 리듬, 강세(stress), 억양(intonation) 등을 조정하기 위해 사용된다.
음성 메시지 작성부(304)는, 음성 데이터 합성부(303)로부터 합성된 판정 단위별 음성 데이터를 모두 수신하면, 수신한 음성 데이터를 연결하여, 텍스트 메시지에 대응하는 음성 메시지를 작성한다. 작성한 음성 메시지는 송수신부(301)로부터, 메시지 서버 장치(20)에 전송된다. 여기서 음성 데이터를 연결한다는 것은, 예를 들면, 텍스트 메시지 내의 문장이 「xxxx[그림 문자 1] yyyy[그림 문자 2]」와 같이, 2개의 그림 문자가 포함되어 구성되어 있을 때, 그림 문자 1보다 앞의 문장은, 그림 문자 1이 해당하는 감정으로 음성 합성되고, 그림 문자 2보다 앞의 문장은 그림 문자 2가 해당하는 감정으로 음성 합성되고, 최종적으로 각각의 감정으로 합성된 음성 데이터가 1개의 문장의 음성 메시지로서 출력되는 것을 의미한다. 이 경우, 「xxxx[그림 문자 1]」, 「yyyy[그림 문자 2]」는, 전술한 판정 단위에 각각 해당한다.
음성 합성용 데이터 기억부(305)에 기억되어 있는 데이터는, 음성 합성 데이터를 작성하기 위하여, 음성 데이터 합성부(303)에 의해 이용된다. 즉, 음성 합성용 데이터 기억부(305)는, 음성 데이터 합성부(303)에 음성 합성용 데이터 및 파라미터를 제공한다.
계속하여, 도 5를 참조하여, 본 실시예의 음성 합성 메시지 시스템에서의 처리를 설명한다. 이 처리는, 통신 단말기(10a)(제1 통신 단말기)로부터 통신 단말기(10b)(제2 통신 단말기)에 텍스트 메시지가 메시지 서버 장치(20)를 통하여 송신되는 과정에 있어서, 미디어 처리 서버 장치(30)가 텍스트 메시지에 대응하는 감정 표현 부가 음성 메시지를 합성하여 음성 메시지로서 통신 단말기(10b)에 송신될 때까지의 처리를 나타낸다.
통신 단말기(10a)는, 통신 단말기(10b)용으로 텍스트 메시지를 작성한다(S1). 텍스트 메시지의 예로서는 IM, 전자 메일, 채팅 등이 있다.
통신 단말기(10a)는, 단계 S1에서 작성한 텍스트 메시지를, 메시지 서버 장치(20)에 송신한다(S2).
메시지 서버 장치(20)는, 통신 단말기(10a)로부터 메시지를 수신하면 이것을 미디어 처리 서버 장치에 전송한다(S3). 그리고, 메시지 서버 장치(20)는, 메시지를 수신하면, 먼저, 통신 단말기(10a) 또는 통신 단말기(10b)가 음성 합성 서비스에 가입되어 있는지의 여부를 확인한다. 즉, 메시지 서버 장치(20)에 의해 일단 계약 정보를 확인하고, 음성 합성 서비스에 가입되어 있는 통신 단말기(10)로부터의 또는 통신 단말기(10)로의 메시지인 경우에는, 메시지를 미디어 처리 서버 장치(30)에 전송하고, 그 이외의 경우에는 통상의 텍스트 메시지로서 통신 단말기(10b)에 그대로 전송한다. 텍스트 메시지가 미디어 처리 서버 장치(30)에 전송되지 않는 경우에는, 미디어 처리 서버 장치(30)는 텍스트 메시지의 처리에 관여하지 않고, 텍스트 메시지는, 통상의 전자 메일, 채팅, IM의 송수신과 마찬가지로 처리된다.
미디어 처리 서버 장치(30)는, 메시지 서버 장치(20)로부터 텍스트 메시지를 수신하면, 그 메시지 중의 감정을 판정한다(S4).
미디어 처리 서버 장치(30)는, 수신한 텍스트 메시지를 단계 S4에서 판정된 감정에 따라 음성 합성한다(S5).
미디어 처리 서버 장치(30)는, 음성 합성된 음성 데이터를 작성하면, 메시지 서버 장치(20)로부터 전송된 텍스트 메시지에 대응한 음성 메시지를 작성한다(S6).
미디어 처리 서버 장치(30)는, 음성 메시지를 작성하면, 이것을 메시지 서버 장치(20)에 반송한다(S7). 이 때, 미디어 처리 서버 장치(30)는, 메시지 서버 장치(20)로부터 전송된 텍스트 메시지와 함께 합성한 음성 메시지를 메시지 서버 장치(20)에 반송한다. 구체적으로는, 음성 메시지를 텍스트 메시지의 첨부 파일로서 송신한다.
메시지 서버 장치(20)는, 미디어 처리 서버 장치(30)로부터 음성 메시지를 수신하면, 이것을 텍스트 메시지와 함께 통신 단말기(10b)에 송신한다(S8).
통신 단말기(10b)는, 메시지 서버 장치(20)로부터 음성 메시지를 수신하면, 음성을 재생한다(S9). 수신한 텍스트 메시지는, 전자 메일용 소프트웨어에 의해 표시된다. 그리고, 이 경우, 사용자로부터 지시가 있는 경우에만, 텍스트 메시지를 표시하도록 해도 된다.
변형예:
상기 실시예에서는, 음성 합성용 데이터 기억부(305)에 음성 데이터를 문절별 등으로 구분하여 감정별로 기억시키는 예를 나타냈으나, 이에 한정되지 않고, 예를 들면, 음소(音素)별로 세분화하여 감정별로 기억시키도록 구성해도 된다. 이 경우, 음성 데이터 합성부(303)는, 텍스트 해석부(302)로부터 음성 합성하는 텍스트 데이터와 함께 그 텍스트에 해당하는 감정을 나타내는 정보를 수취하고, 감정에 해당하는 음성 합성용 데이터인 음소를 음성 합성용 데이터 베이스(305) 중에서 판독하고, 이것을 이용하여 음성을 합성하도록 구성해도 된다.
전술한 실시예에서는, 구두점이나 공백에 의해 텍스트를 구분하여 판정 단위로 하고 있었지만, 이에 한정되지 않는다. 예를 들면, 그림 문자나 얼굴 문자는 문장의 최후에 삽입되는 경우가 많다. 그러므로, 그림 문자나 얼굴 문자가 포함되어 있는 경우에는, 그림 문자 또는 얼굴 문자를 문장의 구분으로 간주하여, 판정 단위로 해도 된다. 또한, 그림 문자 또는 얼굴 문자가 단어의 직후 또는 단어 대신 삽입되어 있는 경우도 있으므로, 텍스트 해석부(302)는, 그림 문자 또는 얼굴 문자가 출현한 장소로부터 전방 및 후방에 구두점이 있는 장소까지를 하나의 판정 단위로 할 수도 있다. 또는, 텍스트 메시지 전체를 판정 단위로 할 수도 있다.
또한, 임의의 판정 단위로부터 아무런 감정 정보가 추출되지 않는 경우를 생각할 수 있다. 그 경우에는, 예를 들면, 직전 또는 직후의 판정 단위로 추출된 감정 정보에 기초한 감정 판정의 결과를 사용하여, 텍스트의 음성 합성을 행해도 된다. 또한, 텍스트 메시지 내로부터 감정 정보가 1개만 추출된 경우에는, 그 감정 정보에 기초한 감정 판정의 결과를 사용하여, 텍스트 메시지 전체의 음성 합성을 행해도 된다.
또한, 상기 실시예에서는, 감정 정보로서 추출 대상으로 되는 단어에 특별히 제한은 두지 않았지만, 추출 대상으로 하는 단어의 일람을 미리 준비해 두고, 이 일람에 있는 단어가 판정 단위 내에 포함되어 있는 경우에는, 감정 정보로서 추출해도 된다. 이 방법에 의하면, 한정된 감정 정보만을 추출하여 판정의 대상으로 하므로, 판정 단위 내의 텍스트 전문(全文)에 대하여 감정 판정을 행하는 방법에 비해, 보다 간단하고 용이하게 감정 판정을 행하는 것이 가능하게 된다. 따라서, 감정 판정에 드는 처리 시간을 단축할 수 있고, 음성 메시지의 배신(配信)을 보다 신속하게 행할 수 있다. 또한, 미디어 처리 서버 장치(30)의 처리 부하도 적어지게 된다. 또한, 단어를 감정 정보의 추출 대상으로부터 제외한(즉, 얼굴 문자와 그림 문자 화상만을 감정 정보로서 추출함) 구성으로 하면, 처리 시간이 더욱 단축되고, 처리 부하가 더욱 저감된다.
전술한 실시예에서는, 통신 단말기 ID, 전자 메일의 어드레스, 채팅의 ID, 또는 IM의 ID를 사용자 식별자로서 사용하는 경우에 대하여 설명하였으나, 단일 사용자가 복수개의 통신 단말기 ID나 메일 주소를 가지고 있는 경우가 있다. 그러므로, 사용자를 일의적으로 식별하는 사용자 식별자를 별개로 설치하고, 음성 합성 데이터를 이 사용자 식별자에 대응시켜 관리하도록 해도 된다. 이 경우에는, 통신 단말기 ID, 전자 메일의 어드레스, 채팅의 ID, 또는 IM의 ID 등에 사용자 식별자를 대응시킨 대응표도 병행하여 기억해 두는 것이 좋다.
전술한 실시예에서는, 메시지 서버 장치(20)는, 텍스트 메시지의 송신측 단말기 또는 수신측 단말기가 음성 합성 서비스에 가입하고 있는 경우에만, 수신한 텍스트 메시지를 미디어 처리 서버 장치(30)에 전송하도록 하고 있었지만, 서비스의 계약의 유무에 관계없이, 모든 텍스트 메시지를 미디어 처리 서버 장치(30)에 전송하도록 해도 된다.
10, 10a, 10b: 단말기 101: 송수신부
102: 텍스트 메시지 작성부 103: 음성 메시지 재생부
104: 입력부 105: 표시부
20: 메시지 서버 장치 30: 미디어 처리 서버 장치
301: 송수신부 302: 텍스트 해석부(감정 판정부)
303: 음성 데이터 합성부 304: 음성 메시지 작성부
305: 음성 합성용 데이터 기억부 N: 네트워크

Claims (9)

  1. 복수개의 통신 단말기 사이에서 송수신되는 텍스트 메시지에 대응하는 음성을 합성함으로써 음성 메시지를 생성하는 것이 가능한 미디어 처리 서버 장치로서,
    상기 복수개의 통신 단말기의 각 사용자를 일의적으로 식별하는 사용자 식별자와 관련하여, 음성 합성용 데이터를 감정의 종별마다 분류하여 기억하는 음성 합성용 데이터 기억부;
    상기 복수개의 통신 단말기 중, 제1 통신 단말기로부터 송신된 텍스트 메시지를 수신하면, 수신한 텍스트 메시지의 판정 단위마다, 상기 판정 단위 내의 텍스트로부터 감정 정보를 추출하고, 추출한 감정 정보에 기초하여 감정의 종별을 판정하는 감정 판정부; 및
    상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터 중, 상기 감정 판정부에서 판정한 감정의 종별에 대응하는 음성 합성용 데이터를, 상기 음성 합성용 데이터 기억부로부터 판독하고, 판독한 상기 음성 합성용 데이터를 사용하여, 상기 판정 단위의 텍스트에 대응하는 감정 표현에 대한 음성 데이터를 합성하는 음성 데이터 합성부
    를 포함하고,
    상기 음성 합성용 데이터 기억부에 기억되는 음성 합성용 데이터는, 상기 복수개의 통신 단말기의 각 사용자 본인의 목소리의 음성 데이터이고,
    음성 데이터 합성부에 의해 합성된 음성 데이터는, 상기 제1 통신 단말기로부터 송신된 상기 텍스트 메시지의 수신처인, 제2 통신 단말기에 송신되는 미디어 처리 서버 장치.
  2. 제1항에 있어서,
    상기 감정 판정부는, 상기 감정 정보로서, 감정을 복수개의 문자의 조합에 의해 표현한 감정 기호를 추출한 경우에는, 상기 감정 기호에 기초하여 감정의 종별을 판정하는, 미디어 처리 서버 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 감정 판정부는, 수신한 상기 텍스트 메시지에, 텍스트에 삽입할 화상이 첨부되어 있는 경우에는, 상기 판정 단위 내의 텍스트에 더하여, 상기 텍스트에 삽입할 화상도 상기 감정 정보의 추출 대상으로 하고, 상기 감정 정보로서, 감정을 그림에 의해 표현한 감정 화상을 추출한 경우에는, 상기 감정 화상에 기초하여 감정의 종별을 판정하는, 미디어 처리 서버 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 감정 판정부는, 상기 판정 단위 내로부터 추출한 감정 정보가 복수개 있는 경우에는, 복수개의 상기 감정 정보 각각에 대하여 감정의 종별을 판정하고, 판정한 감정의 종별 중, 가장 출현수가 많은 감정의 종별을 판정 결과로서 선택하는, 미디어 처리 서버 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 감정 판정부는, 상기 텍스트 메시지 내의 상기 판정 단위 내로부터 추출한 감정 정보가 복수개 있는 경우에는, 상기 판정 단위의 종점에 가장 가까운 위치에 출현하는 감정 정보에 기초하여 감정의 종별을 판정하는, 미디어 처리 서버 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 음성 합성용 데이터 기억부는, 상기 복수개의 통신 단말기의 각 사용자의 음성 패턴의 특성을 감정의 종별마다 설정하는 파라미터를 더 기억하고,
    상기 음성 데이터 합성부는, 합성한 음성 데이터를 상기 파라미터에 기초하여 조정하는, 미디어 처리 서버 장치.
  7. 제6항에 있어서,
    상기 파라미터는, 각각의 상기 사용자에 대하여 상기 감정의 종별마다 분류하여 기억된 음성 합성용 데이터의 목소리의 크기의 평균값, 속도의 평균값, 운율(韻律)의 평균값, 및 주파수의 평균값 중 적어도 하나인, 미디어 처리 서버 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 음성 데이터 합성부는, 상기 판정 단위 내의 텍스트를 복수개의 합성 단위로 분해하고, 상기 합성 단위마다 상기 음성 데이터의 합성을 실행하고,
    상기 음성 데이터 합성부는, 상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터에, 상기 감정 판정부에서 판정한 감정의 종별에 대응하는 음성 합성용 데이터가 포함되어 있지 않은 경우에는, 상기 합성 단위의 텍스트와 발음이 부분적으로 일치하는 음성 합성용 데이터를, 상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터로부터 선택하여 판독하는, 미디어 처리 서버 장치.
  9. 복수개의 통신 단말기 사이에서 송수신되는 텍스트 메시지에 대응하는 음성을 합성함으로써 음성 메시지를 생성하는 것이 가능한 미디어 처리 서버 장치에서의 미디어 처리 방법으로서,
    상기 미디어 처리 서버 장치는, 상기 복수개의 통신 단말기의 각 사용자를 일의적으로 식별하는 사용자 식별자와 관련시켜서, 음성 합성용 데이터를 감정의 종별마다 분류하여 기억하는 음성 합성용 데이터 기억부를 포함하고,
    상기 방법은,
    상기 복수개의 통신 단말기 중, 제1 통신 단말기로부터 송신된 텍스트 메시지를 수신하면, 수신한 텍스트 메시지의 판정 단위마다, 판정 단위 내의 텍스트로부터 감정 정보를 추출하고, 추출한 감정 정보에 기초하여 감정의 종별을 판정하는 판정 단계; 및
    상기 제1 통신 단말기의 사용자를 나타내는 사용자 식별자와 관련된 음성 합성용 데이터 중, 상기 판정 단계에서 판정한 감정의 종별에 대응하는 음성 합성용 데이터를, 상기 음성 합성용 데이터 기억부로부터 판독하고, 판독한 상기 음성 합성용 데이터를 사용하여, 상기 판정 단위의 텍스트에 대응하는 음성 데이터를 합성하는 합성 단계
    를 포함하고,
    상기 음성 합성용 데이터 기억부에 기억되는 음성 합성용 데이터는, 상기 복수개의 통신 단말기의 각 사용자 본인의 목소리의 음성 데이터이고,
    음성 데이터 합성부에 의해 합성된 음성 데이터는, 상기 제1 통신 단말기로부터 송신된 상기 텍스트 메시지의 수신처인, 제2 통신 단말기에 송신되는 미디어 처리 방법.
KR1020107022310A 2008-04-08 2009-04-02 미디어 처리 서버 장치 및 미디어 처리 방법 KR101181785B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2008-100453 2008-04-08
JP2008100453 2008-04-08
PCT/JP2009/056866 WO2009125710A1 (ja) 2008-04-08 2009-04-02 メディア処理サーバ装置およびメディア処理方法

Publications (2)

Publication Number Publication Date
KR20100135782A KR20100135782A (ko) 2010-12-27
KR101181785B1 true KR101181785B1 (ko) 2012-09-11

Family

ID=41161842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107022310A KR101181785B1 (ko) 2008-04-08 2009-04-02 미디어 처리 서버 장치 및 미디어 처리 방법

Country Status (6)

Country Link
US (1) US20110093272A1 (ko)
EP (1) EP2267696A4 (ko)
JP (1) JPWO2009125710A1 (ko)
KR (1) KR101181785B1 (ko)
CN (1) CN101981614B (ko)
WO (1) WO2009125710A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067597A1 (ko) * 2018-09-28 2020-04-02 주식회사 닫닫닫 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE602009000214D1 (de) * 2008-04-07 2010-11-04 Ntt Docomo Inc Gefühlerkennungsmitteilungssystem und Mitteilungsspeicherserver dafür
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20110238406A1 (en) * 2010-03-23 2011-09-29 Telenav, Inc. Messaging system with translation and method of operation thereof
US10398366B2 (en) * 2010-07-01 2019-09-03 Nokia Technologies Oy Responding to changes in emotional condition of a user
KR101233628B1 (ko) 2010-12-14 2013-02-14 유비벨록스(주) 목소리 변환 방법 및 그를 적용한 단말 장치
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
KR101203188B1 (ko) * 2011-04-14 2012-11-22 한국과학기술원 개인 운율 모델에 기반하여 감정 음성을 합성하기 위한 방법 및 장치 및 기록 매체
CN102752229B (zh) * 2011-04-21 2015-03-25 东南大学 一种融合通信中的语音合成方法
US8954317B1 (en) * 2011-07-01 2015-02-10 West Corporation Method and apparatus of processing user text input information
US20130030789A1 (en) * 2011-07-29 2013-01-31 Reginald Dalce Universal Language Translator
US9191713B2 (en) * 2011-09-02 2015-11-17 William R. Burnett Method for generating and using a video-based icon in a multimedia message
RU2631164C2 (ru) * 2011-12-08 2017-09-19 Общество с ограниченной ответственностью "Базелевс-Инновации" Способ анимации sms-сообщений
WO2013094979A1 (ko) * 2011-12-18 2013-06-27 인포뱅크 주식회사 통신 단말 및 그 통신 단말의 정보처리 방법
WO2013094982A1 (ko) * 2011-12-18 2013-06-27 인포뱅크 주식회사 정보처리 방법 및 시스템과 기록매체
WO2013128715A1 (ja) * 2012-03-01 2013-09-06 株式会社ニコン 電子機器
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
GB2505400B (en) * 2012-07-18 2015-01-07 Toshiba Res Europ Ltd A speech processing system
JP6003352B2 (ja) * 2012-07-30 2016-10-05 ブラザー工業株式会社 データ生成装置、及びデータ生成方法
JP2014130211A (ja) * 2012-12-28 2014-07-10 Brother Ind Ltd 音声出力装置、音声出力方法、およびプログラム
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
JP2014178620A (ja) * 2013-03-15 2014-09-25 Yamaha Corp 音声処理装置
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10051120B2 (en) 2013-12-20 2018-08-14 Ultratec, Inc. Communication device and methods for use by hearing impaired
US10116604B2 (en) * 2014-01-24 2018-10-30 Mitii, Inc. Animated delivery of electronic messages
US9397972B2 (en) * 2014-01-24 2016-07-19 Mitii, Inc. Animated delivery of electronic messages
US10013601B2 (en) * 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US11289077B2 (en) * 2014-07-15 2022-03-29 Avaya Inc. Systems and methods for speech analytics and phrase spotting using phoneme sequences
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9747276B2 (en) 2014-11-14 2017-08-29 International Business Machines Corporation Predicting individual or crowd behavior based on graphical text analysis of point recordings of audible expressions
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11016534B2 (en) 2016-04-28 2021-05-25 International Business Machines Corporation System, method, and recording medium for predicting cognitive states of a sender of an electronic message
JP6465077B2 (ja) * 2016-05-31 2019-02-06 トヨタ自動車株式会社 音声対話装置および音声対話方法
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
CN106571136A (zh) * 2016-10-28 2017-04-19 努比亚技术有限公司 一种语音输出装置和方法
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10147415B2 (en) * 2017-02-02 2018-12-04 Microsoft Technology Licensing, Llc Artificially generated speech for a communication session
CN106710590B (zh) * 2017-02-24 2023-05-30 广州幻境科技有限公司 基于虚拟现实环境的具有情感功能的语音交互系统及方法
US10170100B2 (en) * 2017-03-24 2019-01-01 International Business Machines Corporation Sensor based text-to-speech emotional conveyance
JP6806619B2 (ja) * 2017-04-21 2021-01-06 株式会社日立ソリューションズ・テクノロジー 音声合成システム、音声合成方法、及び音声合成プログラム
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) * 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10650095B2 (en) 2017-07-31 2020-05-12 Ebay Inc. Emoji understanding in online experiences
JP7021488B2 (ja) * 2017-09-25 2022-02-17 富士フイルムビジネスイノベーション株式会社 情報処理装置、及びプログラム
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
JP2019179190A (ja) * 2018-03-30 2019-10-17 株式会社フュートレック 音声変換装置、画像変換サーバ装置、音声変換プログラム及び画像変換プログラム
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
JP7179512B2 (ja) * 2018-07-10 2022-11-29 Ｌｉｎｅ株式会社 情報処理方法、情報処理装置、及びプログラム
US10929617B2 (en) * 2018-07-20 2021-02-23 International Business Machines Corporation Text analysis in unsupported languages using backtranslation
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109934091A (zh) * 2019-01-17 2019-06-25 深圳壹账通智能科技有限公司 基于图像识别的辅助发音方法、装置、计算机设备及存储介质
US10902841B2 (en) * 2019-02-15 2021-01-26 International Business Machines Corporation Personalized custom synthetic speech
KR102685417B1 (ko) * 2019-02-19 2024-07-17 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11715485B2 (en) * 2019-05-17 2023-08-01 Lg Electronics Inc. Artificial intelligence apparatus for converting text and speech in consideration of style and method for the same
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11488576B2 (en) * 2019-05-21 2022-11-01 Lg Electronics Inc. Artificial intelligence apparatus for generating text or speech having content-based style and method for the same
CN110189742B (zh) * 2019-05-30 2021-10-08 芋头科技（杭州）有限公司 确定情感音频、情感展示、文字转语音的方法和相关装置
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN111354334B (zh) * 2020-03-17 2023-09-15 阿波罗智联(北京)科技有限公司 语音输出方法、装置、设备和介质
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11594226B2 (en) * 2020-12-22 2023-02-28 International Business Machines Corporation Automatic synthesis of translated speech using speaker-specific phonemes
WO2022178066A1 (en) * 2021-02-18 2022-08-25 Meta Platforms, Inc. Readout of communication content comprising non-latin or non-parsable content items for assistant systems
US20220269870A1 (en) * 2021-02-18 2022-08-25 Meta Platforms, Inc. Readout of Communication Content Comprising Non-Latin or Non-Parsable Content Items for Assistant Systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041411A (ja) * 2000-07-28 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> テキスト読み上げロボット、その制御方法及びテキスト読み上げロボット制御プログラムを記録した記録媒体
JP2003202885A (ja) * 2001-12-28 2003-07-18 Canon Electronics Inc 情報処理装置及び方法
WO2005086010A1 (ja) 2004-03-05 2005-09-15 Nec Corporation メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512023A (ja) * 1991-07-04 1993-01-22 Omron Corp 感情認識装置
JPH09258764A (ja) * 1996-03-26 1997-10-03 Sony Corp 通信装置および通信方法、並びに情報処理装置
JP2000020417A (ja) * 1998-06-26 2000-01-21 Canon Inc 情報処理方法及び装置、その記憶媒体
US6990452B1 (en) * 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
GB0113570D0 (en) * 2001-06-04 2001-07-25 Hewlett Packard Co Audio-form presentation of text messages
US6876728B2 (en) * 2001-07-02 2005-04-05 Nortel Networks Limited Instant messaging using a wireless interface
JP2004023225A (ja) * 2002-06-13 2004-01-22 Oki Electric Ind Co Ltd 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP2005062289A (ja) * 2003-08-08 2005-03-10 Triworks Corp Japan データ表示サイズ対応プログラム、データ表示サイズ対応機能搭載携帯端末およびデータ表示サイズ対応機能支援サーバ
JP2006330958A (ja) * 2005-05-25 2006-12-07 Oki Electric Ind Co Ltd 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ
US20070245375A1 (en) * 2006-03-21 2007-10-18 Nokia Corporation Method, apparatus and computer program product for providing content dependent media content mixing
US8886537B2 (en) * 2007-03-20 2014-11-11 Nuance Communications, Inc. Method and system for text-to-speech synthesis with personalized voice

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041411A (ja) * 2000-07-28 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> テキスト読み上げロボット、その制御方法及びテキスト読み上げロボット制御プログラムを記録した記録媒体
JP2003202885A (ja) * 2001-12-28 2003-07-18 Canon Electronics Inc 情報処理装置及び方法
WO2005086010A1 (ja) 2004-03-05 2005-09-15 Nec Corporation メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067597A1 (ko) * 2018-09-28 2020-04-02 주식회사 닫닫닫 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체

Also Published As

Publication number Publication date
KR20100135782A (ko) 2010-12-27
EP2267696A4 (en) 2012-12-19
WO2009125710A1 (ja) 2009-10-15
US20110093272A1 (en) 2011-04-21
EP2267696A1 (en) 2010-12-29
CN101981614B (zh) 2012-06-27
JPWO2009125710A1 (ja) 2011-08-04
CN101981614A (zh) 2011-02-23

Similar Documents

Publication Publication Date Title
KR101181785B1 (ko) 미디어 처리 서버 장치 및 미디어 처리 방법
US7570814B2 (en) Data processing device, data processing method, and electronic device
US20100332224A1 (en) Method and apparatus for converting text to audio and tactile output
US20040085259A1 (en) Avatar control using a communication device
JP4872323B2 (ja) Ｈｔｍｌメール生成システム、通信装置、ｈｔｍｌメール生成方法、及び記録媒体
JP3806030B2 (ja) 情報処理装置及び方法
JP2007272773A (ja) 対話型インターフェイス制御システム
JP2003521750A (ja) スピーチシステム
KR101509196B1 (ko) 감정 전달이 가능한 라이브 텍스트 및 라이브 텍스트를 이용한 라이브 보이스를 제공하기 위한 텍스트 편집 및 보이스 변환 시스템 및 방법
US20060019636A1 (en) Method and system for transmitting messages on telecommunications network and related sender terminal
JP2005065252A (ja) 携帯電話機
JP4200874B2 (ja) 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
JP2004023225A (ja) 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法
JP2002342234A (ja) 表示方法
JPH0561637A (ja) 音声合成メールシステム
KR100487446B1 (ko) 이동 통신 단말의 오디오 장치를 이용한 감정 표현 방법및 이를 위한 이동 통신 단말
JP4530016B2 (ja) 情報通信システムおよびそのデータ通信方法
JP2006184921A (ja) 情報処理装置及び方法
JP2020141400A (ja) 通話制御装置、通話制御方法、音声変換のための文字入力装置、音声変換のための文字入力方法およびプログラム
JP2004362419A (ja) 情報処理装置および方法
JP4403284B2 (ja) 電子メール処理装置および電子メール処理プログラム
JP2002229914A (ja) 電子メール用コミックメーカプログラム
JP2002366175A (ja) 音声コミュニケーション支援装置およびその方法
JP2005216087A (ja) 電子メール受信装置及び電子メール送信装置
JP2006127371A (ja) アニメーション選択装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee