KR20170092603A - 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류 - Google Patents

인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류 Download PDF

Info

Publication number
KR20170092603A
KR20170092603A KR1020177017702A KR20177017702A KR20170092603A KR 20170092603 A KR20170092603 A KR 20170092603A KR 1020177017702 A KR1020177017702 A KR 1020177017702A KR 20177017702 A KR20177017702 A KR 20177017702A KR 20170092603 A KR20170092603 A KR 20170092603A
Authority
KR
South Korea
Prior art keywords
user
fact
emotional
type code
profile
Prior art date
Application number
KR1020177017702A
Other languages
English (en)
Other versions
KR102457486B1 (ko
Inventor
에드워드 언
맥스 렁
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020227036149A priority Critical patent/KR102632775B1/ko
Publication of KR20170092603A publication Critical patent/KR20170092603A/ko
Application granted granted Critical
Publication of KR102457486B1 publication Critical patent/KR102457486B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G06F17/2785—
    • G06F17/30976—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시내용은 인터랙티브 다이얼로그 시스템에서 의미적 내용과 연관된 감정 유형 코드를 선택하는 기술에 관한 것이다. 일 양태에 있어서, 팩트 또는 프로파일 입력의 특정 조합에 기초하여 감정 유형을 선택하는 감정 분류 알고리즘에 팩트 또는 프로파일 입력이 제공된다. 감정 분류 알고리즘은 규칙 기반일 수도 또는 머신 러닝으로부터 도출될 수도 있다. 이전의 사용자 입력도 감정 분류 알고리즘에 입력으로서 지정될 수도 있다. 본 기술은 특히 스마트폰 등의 모바일 통신 디바이스에 적용 가능하며, 팩트 또는 프로파일 입력은 온라인 액세스, 텍스트 또는 음성 통신, 스케줄링 기능 등을 비롯한 디바이스의 다양한 기능 세트의 사용으로부터 도출될 수 있다.

Description

인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류{EMOTION TYPE CLASSIFICATION FOR INTERACTIVE DIALOG SYSTEM}
인공 인터랙티브 다이얼로그 시스템(artificial interactive dialog system)은 최첨단 소비자 전자 디바이스에 점차 보급되는 특징이다. 예를 들어, 현대의 무선 스마트폰은 음성 인식, 인터랙티브 다이얼로그 및 음성 합성 소프트웨어를 통합하여, 정보와 뉴스, 원격 디바이스 구성 및 프로그래밍, 대화식 친밀관계(conversational rapport) 등의 서비스를 제공하기 위해 사용자와의 실시간 인터랙티브 대화를 시작한다.
사용자가 다이얼로그 시스템과의 보다 자연스럽고 끊김없는 대화를 경험하게 하기 위해, 의미적(semantic) 내용과 함께 감정적 내용을 갖는 음성 또는 다른 출력을 생성하는 것이 바람직하다. 예를 들어, 뉴스를 전달하거나, 태스크를 스케줄링하거나, 또는 다른 식으로 사용자와 상호작용할 때, 합성된 음성 및/또는 다른 출력에 감정적인 특성을 부여하여 사용자를 대화에 보다 효과적으로 참여시킬 수 있는 것이 바람직할 것이다.
따라서, 인터랙티브 다이얼로그 시스템에 의해 전달되는 의미적 내용에 부여할 적절한 감정을 결정하고, 그렇게 결정된 감정을 복수의 미리 정해진 감정 유형 중 하나에 따라 분류하는 기술을 제공하는 것이 바람직하다.
본 개요는 상세한 설명에서 또한 후술하는 다양한 개념들을 간략화한 형태로 소개하기 위해 제공된다. 본 개요는 청구범위의 발명의 대상이 되는 주요 특징 또는 본질적 특징을 확인하기 위한 것이 아니며, 청구범위의 발명의 대상의 범위를 한정하기 위해 이용되어서도 안 된다.
정리하면, 본 명세서에 기술하는 청구 대상의 다양한 양태는 인터랙티브 다이얼로그 시스템을 위한 장치를 제공하는 기술에 관한 것이다. 일 양태에 있어서, 인터랙티브 다이얼로그 시스템에 의해 생성되는 출력문(output statement)과 연관시킬 적절한 감정 유형 코드를 선택하기 위해, 모바일 통신 디바이스에 이용 가능한 팩트(fact) 또는 프로파일(profile) 입력이 이전 또는 현재의 사용자 입력과 결합될 수도 있다. 팩트 또는 프로파일 입력은 디바이스 사용의 특정 양태, 예를 들어, 사용자 온라인 활동, 사용자 통신, 캘린더 및 스케줄링 기능 등으로부터 도출될 수 있다. 감정 유형 코드를 선택하기 위한 알고리즘은 규칙(rule)에 기반할 수도 있거나, 머신 러닝 기술을 이용하여 미리 구성될 수도 있다. 감정 유형 코드는 출력문과 결합되어, 사용자 경험의 개선을 위해 감정적 특성을 갖는 합성된 음성을 생성할 수 있다.
다른 효과는 이하의 상세한 설명 및 도면으로부터 분명해질 수 있다.
도 1은 본 개시내용의 기술이 적용될 수 있는 모바일 통신 디바이스를 채택하는 시나리오를 도시한다.
도 2는 디바이스의 프로세서 및 다른 엘리먼트에 의해 수행될 수 있는 프로세싱의 예시적인 실시형태를 도시한다.
도 3은 다이얼로그 엔진에 의해 수행되는 프로세싱의 예시적인 실시형태를 도시한다.
도 4는 본 개시내용에 따른 감정 유형 분류 블록의 예시적인 실시형태를 도시한다.
도 5는 하이브리드 감정 유형 분류 알고리즘의 예시적인 실시형태를 도시한다.
도 6은 규칙 기반 알고리즘의 예시적인 실시형태를 도시한다.
도 7은 규칙 기반 알고리즘의 대안의 예시적인 실시형태를 도시한다.
도 8은 감정 유형을 선택하기 위한 트레이닝된 알고리즘을 도출하는 트레이닝 스킴의 예시적인 실시형태를 도시한다.
도 9는 본 개시내용에 따른 방법의 예시적인 실시형태를 도시한다.
도 10은 전술한 방법과 프로세스 중 하나 이상을 수행할 수 있는 비제한적인 컴퓨팅 시스템을 개략적으로 보여준다.
도 11은 본 개시내용에 따른 장치의 예시적인 실시형태를 도시한다.
도 12는 가청 음성보다는 또는 가청 음성과 함께, 디스플레이되는 텍스트에 감정적 내용이 부여되는 다이얼로그 시스템에 본 개시내용의 기술이 통합되는 예시적인 실시형태를 도시한다.
본 명세서에 기술하는 기술의 다양한 양태는 일반적으로 전자 인터랙티브 다이얼로그 시스템에서 출력문과 연관된 감정 유형 코드를 선택하는 기술에 관한 것이다. 첨부하는 도면과 관련하여 후술하는 상세한 설명은 본 발명의 예시적인 양태의 설명으로서 의도된 것이며, 본 발명이 실시될 수 있는 예시적인 양태만을 나타내려고 의도되지 않는다. 본 설명 전체에 걸쳐 사용되는 "예시적인"이라는 표현은 "예, 실례 또는 예시로서 역할하는" 것을 의미하며, 반드시 다른 예시적인 양태보다 바람직하거나 유리한 것으로 해석되어서는 안 된다. 상세한 설명은 본 발명의 예시적인 양태들의 완전한 이해를 제공하는 것을 목적으로 하는 특정 세부사항을 포함한다. 당업자에게는 본 발명의 예시적인 양태들이 이러한 특정 세부 사항없이도 실시될 수 있음이 명백할 것이다. 일부 경우에 있어서, 잘 알려져 있는 구조 및 디바이스는 본 명세서에 제시하는 예시적인 양태의 신규성을 모호하게 하는 것을 피하기 위해 블록도 형태로 도시된다.
도 1은 본 개시내용의 기술이 적용될 수 있는 모바일 통신 디바이스(120)를 채택한 시나리오를 도시한다. 도 1은 예시적인 목적만으로 도시되는 것이며, 본 개시내용을 모바일 통신 디바이스에만 적용하도록 본 개시내용의 범위를 한정하는 것을 의도하지 않는다. 예를 들어, 본 명세서에서 설명하는 기술은 다른 디바이스 및 시스템, 예컨대 노트북 및 데스크탑 컴퓨터의 인간 인터페이스 시스템, 자동차 네비게이션 시스템 등에 용이하게 적용될 수 있다. 이러한 다른 애플리케이션도 본 개시내용의 범위 내에 있는 것으로 간주된다.
도 1에서, 사용자(110)는 모바일 통신 디바이스(120), 예컨대 핸드헬드 스마트폰과 통신한다. 스마트폰은 음성 호출(voice calling) 및 인터넷 액세스 등의 통신 기능을, 다양한 연산적 태스크를 구현하기 위한 비교적 복잡한 마이크로프로세서와 통합하는 임의의 모바일 디바이스를 포함하는 것으로 이해될 수 있다. 사용자(110)는 음성 입력(speech input; 122)을 디바이스(120) 상의 마이크(124)에 제공할 수 있다. 디바이스(120) 내의 하나 이상의 프로세서(125) 및/또는 네트워크를 통해 이용 가능한 프로세서(도시 생략)(예컨대, 클라우드 컴퓨팅 스킴을 구현하는 경우)는 마이크(124)에 의해 수신되는 음성 신호를 프로세싱하여, 예컨대, 도 2를 참조하여 이하에서 더 설명하는 바와 같은 기능을 수행할 수 있다. 프로세서(125)는 예시적인 목적만을 위해 여기에 기술하는 임의의 특정 형태, 형상 또는 기능적 분할(functional partitioning)을 가질 필요가 없고, 이러한 프로세서는 일반적으로 해당 기술분야에 알려진 다양한 기술을 사용하여 구현될 수 있음을 알아야 한다.
프로세서(125)에 의해 수행되는 프로세싱에 기초하여, 디바이스(120)는 오디오 스피커(122)를 이용해 음성 입력(122)에 응답하는 음성 출력(speech output; 126)을 생성할 수 있다. 소정의 시나리오에 있어서, 디바이스(120)는 음성 입력(122)과 독립적으로도 음성 출력(126)을 출력할 수 있는데, 예를 들어 디바이스(120)는 다른 사용자(도시 생략)로부터의 경보 또는 중계 메시지를 음성 출력(126)의 형태로 사용자(110)에게 자율적으로 제공할 수도 있다. 예시적인 실시형태에 있어서, 음성 입력(122)에 응답하는 출력은 또한, 예컨대 텍스트, 그래픽, 애니메이션 등으로서, 디바이스(120)의 디스플레이(129) 상에 표시될 수도 있다.
도 2는 디바이스(120)의 프로세서(125) 및 다른 엘리먼트에 의해 구현될 수 있는 인터랙티브 다이얼로그 시스템(200)의 예시적인 실시형태를 도시한다. 도 2에 나타내는 프로세싱은 예시적인 목적만을 위한 것이며, 본 개시내용의 범위를 도 2에 나타내는 임의의 특정 시퀀스 또는 동작 세트로 제한하려는 의도는 없다. 예를 들어, 대안의 예시적인 실시형태에 있어서, 감정 유형 코드를 선택하기 위한, 본 명세서에 개시하는 소정의 기술은 도 2에 나타내는 프로세싱과 독립적으로 적용될 수 있다. 또한, 도 2에 나타내는 하나 이상의 블록은 시스템 내의 특정의 기능적 분할에 따라 결합되거나 생략될 수 있으며, 그래서, 도 2는 도시하는 블록들의 임의의 기능적 종속성 또는 독립성을 제안하려는 의도가 없다. 이러한 대안의 예시적인 실시형태는 본 개시내용의 범위 내에 있는 것으로 고려된다.
도 2에 있어서, 블록 210에서, 음성 입력(speech input)이 수신된다. 음성 입력(210)은 디바이스(120) 상에서 예컨대 마이크(124)로부터 도출된 음향 신호의 파형 표현(waveform representation)에 대응할 수 있다. 음성 입력(210)의 출력(210a)은 음성 내용을 포함하는 음향 파형의 디지털 버전(digitized version)에 대응할 수 있다.
블록 220에서, 출력(210a)에 대한 음성 인식이 이루어진다. 예시적인 실시형태에 있어서, 음성 인식(220)은 출력(210a)에 존재하는 음성을 텍스트로 변환한다. 따라서, 음성 인식(220)의 출력(220a)은 디지털 음향 파형 출력(210a)에 존재하는 음성의 텍스트 표현(textual representation)에 대응할 수 있다. 예를 들어, 마이크(124)에 의해 픽업될 때, 출력(210a)이 "내일 날씨는 어때(What is the weather tomorrow?)"와 같은 인간 발화의 오디오 파형 표현을 포함한다면, 음성 인식(220)은 자신의 음성 인식 능력에 따라 텍스트 "내일 날씨는 어때?"에 대응하는 ASCII 텍스트(또는 다른 텍스트 표현)를 출력할 수 있다. 블록 220에 의해 수행되는 음성 인식은, 예컨대, 히든 마코프 모델(Hidden Markov Model, HMM), 신경망 등을 포함하는 음향 모델링 및 언어 모델링 기술을 이용하여 행해질 수 있다.
블록 230에서는, 출력(210a)의 예상 자연어에 대한 지식에 기초하여 음성 인식(220)의 출력(220a)에 대해 언어 이해가 수행된다. 예시적인 실시형태에 있어서, 구문 분석 및 문법 분석과 같은 자연어 이해 기술은 출력(220a)에서 텍스트의 의도된 의미를 도출하기 위해, 예컨대 형태 및 구문의 지식을 이용하여 수행될 수 있다. 언어 이해(230)의 출력(230a)은 출력(220a)에 존재하는 음성의 의미적 및/또는 감정적 내용의 형식적 표현(formal representation)을 포함할 수 있다.
블록 240에서, 다이얼로그 엔진은 출력(230a)으로부터 결정되는, 음성에 대한 적절한 응답을 생성한다. 예를 들어, 언어 이해(230)가, 사용자 음성 입력이 특정 지리의 날씨에 관한 쿼리에 대응한다고 결정하면, 다이얼로그 엔진(240)은 소스, 예컨대 일기 예보 서비스 또는 데이터베이스로부터 필수 날씨 정보를 취득해서 어셈블링할 수 있다. 예를 들어, 검색된(retrieved) 날씨 정보는 일기 예보에 대한 시간/날짜 코드, "맑은" 날씨에 대응하는 날씨 유형 코드, 및 평균 온도 72도를 나타내는 온도 필드에 대응할 수 있다.
예시적인 실시형태에 있어서, 다이얼로그 엔진(240)은 검색된 정보를 더욱 "포장(package)"하여 사용자가 바로 이해할 수 있도록 제공할 수 있다. 따라서, 다이얼로그 엔진(240)의 의미적 내용 출력(semantic content output; 240a)은 "오늘 날씨는 맑음, 온도 72도"와 같은 의미적 내용의 표현에 대응할 수 있다.
의미적 내용(240a)에 추가하여, 다이얼로그 엔진(240)은 의미적 내용(240a)과 연관된 감정 유형 코드(240b)도 생성할 수 있다. 감정 유형 코드(240b)는 출력 음성으로서 사용자에게 전달될 때 의미적 내용(240a)에 부여할 특정 유형의 감정적 내용을 나타낼 수 있다. 예를 들어, 사용자가 특정 날에 소풍을 계획하고 있다면, 맑은 일기 예보는 동시에 감정적으로 명랑한 톤의 목소리로 전달될 수도 있다. 이 경우, 감정 유형 코드(240b)는 "보통의 행복(moderate happiness)"에 해당하는 감정적 내용 유형을 나타낼 수 있다. 인터랙티브 다이얼로그 시스템(200)에 이용 가능한 데이터, 팩트 및 입력에 기초하여 감정 유형 코드(240b)를 생성하는 기술은 예컨대 도 3을 참조하여 이하에서 더 설명될 것이다.
블록 250에서, 다이얼로그 엔진(240)의 출력(240a, 240b)에 대해 언어 생성이 행해진다. 언어 생성은 다이얼로그 엔진(240)의 출력을, 자연어 형식으로, 예컨대, 인간 사용자가 바로 이해할 수 있도록 어휘 및 문법 규칙을 따르는 타겟 언어로 된 문장으로서 제시한다. 예를 들어, 의미적 내용(240a)에 기초하여, 언어 생성(250)은 다음의 문장을 생성할 수 있다. "오늘 날씨는 72도이고 맑겠습니다."
예시적인 실시형태에 있어서, 블록 250은 시스템 성격 블록(255)으로부터 입력(255a)을 더 접수할 수 있다. 시스템 성격 블록(255)은 인터랙티브 다이얼로그 시스템에 대해 미리 선택된 "성격(personality)"에 따라 다이얼로그 엔진을 위한 디폴트 파라미터(255a)를 지정할 수 있다. 예를 들어, 시스템 성격이 "남성" 또는 "여성", "쾌활한(cheerful)" 또는 "사려 깊은(thoughtful)"으로 선택되면, 블록 255는 시스템 성격에 대응하는 파라미터를 참조용 입력(255a)으로서 지정할 수 있다. 소정의 예시적인 실시형태에 있어서, 블록 255는 생략되거나 그 기능이 다른 블록, 예컨대 다이얼로그 엔진(240) 또는 언어 생성 블록(250)에 통합될 수도 있으며, 이러한 대안의 예시적인 실시형태는 본 개시내용의 범위 내에 있는 것으로 간주되는 것을 알아야 한다.
일 예시적인 실시형태에 있어서, 언어 생성 블록(250)은 출력문(250a)을 합성하기 위해 의미적 내용(240a), 감정 유형 코드(240b), 및 디폴트 감정 파라미터(255a)를 결합할 수 있다. 예를 들어, "보통의 행복"에 대응하는 감정 유형 코드(240b)는 블록 250에서 "Great news - the weather today will be 72 degrees and sunny!"와 같은 자연어(예컨대, 영어) 문장을 생성하게 할 수도 있다. 언어 생성 블록(250)의 출력문(250a)은 출력문(250a)에 대응하는 오디오 음성을 생성하기 위해 후속하는 텍스트-음성 변환 블록(text-to-speech block)(260)에 제공된다.
소정의 예시적인 실시형태에서는, 전술한 언어 생성 블록(250)의 일부 기능이 생략될 수도 있음을 알아야 한다. 예를 들어, 언어 생성 블록(250)은 출력문(250a)을 생성할 때에 감정 유형 코드(240b)를 특별히 고려할 필요는 없으며, 대신에, 합성된 음성 출력의 전체 감정적 내용을 제공하기 위해 (감정 유형 코드(240b)에도 액세스하는) 텍스트-음성 변환 블록(260)에 의지할 수도 있다. 또한, 다이얼로그 엔진에 의해 검색된 정보가 이미 자연어 포맷으로 되어 있는 소정의 경우에는, 언어 생성 블록(250)을 사실상 건너뛸 수도 있다. 예를 들어, 다이얼로그 엔진(240)에 의해 액세스되는 인터넷 날씨 서비스는 언어 생성(250)이 의미적 내용(240a)에 어떤 실질적인 사후 프로세싱을 할 필요가 없도록, 영어와 같은 자연어로 직접 날씨 업데이트를 제공할 수도 있다. 이러한 대안의 예시적인 실시형태는 본 개시내용의 범위 내에 있는 것으로 고려된다.
블록 260에서, 텍스트-음성 변환이 언어 생성(250)의 출력(250a)에 행해진다. 예시적인 실시형태에 있어서, 감정 유형 코드(250a)에 대응하는 텍스트 내용 및 감정 유형 코드(240b)에 대응하는 감정적 내용을 합성하기 위해 감정 유형 코드(240b)는 텍스트-음성 변환 블록(260)에도 제공된다. 텍스트-음성 변환(260)의 출력은 오디오 파형일 수 있다.
블록 270에서, 텍스트-음성 변환(260)의 출력으로부터 음향 출력이 생성된다. 음성 출력은 디바이스(120)의 스피커(128)에 의해 청취자, 예컨대 도 1의 사용자(110)에게 제공될 수 있다.
인터랙티브 다이얼로그 시스템이 점점 정교해짐에 따라, 음성 및 이러한 시스템에 의해 생성된 다른 유형의 출력에 대해 적절한 감정 유형 코드를 효과적으로 선택하기 위한 기술을 제공하는 것이 바람직할 것이다. 예를 들어, 의미적 내용(240a)과 함께 감정 유형 코드(240b)를 제공하는 것이 제안하는 바와 같이, 소정의 애플리케이션에서는, 청취자에게 전달될 때에, 음성 출력(270)이 감정 중립적인 텍스트의 렌더링으로서 생성될 뿐만 아니라 미리 지정된 감정적 내용을 포함하는 것이 바람직하다. 따라서, 출력문(250a)은 사용자(110)가 음성 출력(270)에 존재하게 될 적절한 감정적 내용을 인식하도록 적절한 감정 유형 코드(240b)와 연관될 수 있다.
예를 들어, 다이얼로그 엔진(240)에서, 특정 야구팀이 월드 시리즈에서 우승한 정보에 의미적 내용(240a)이 대응한다고 지정하고, 사용자(110)도 그 야구팀의 팬이라면, 사용자의 감정 상태와 일치시켜 "흥분"(예컨대, 중립이나 불행과는 반대되는 것)을 표현하는 감정 유형 코드(240b)을 선택하는 것은 사용자(110)에게 더욱 만족스러운 인터랙티브 경험이 될 수도 있을 것이다.
도 3은 적절한 의미적 내용 및 연관된 감정 유형 코드를 생성하기 위해 다이얼로그 엔진(240)에 의해 수행되는 프로세싱의 예시적인 실시형태(240.1)를 도시한다. 도 3은 설명의 목적으로만 도시되며, 본 개시내용의 범위를 본 명세서에 설명하는 기술의 어떤 특정 애플리케이션에 제한하려는 의도가 없음을 알아야 한다.
도 3에서, 다이얼로그 엔진(240.1)은 의미적 내용 생성 블록(semantic content generation; 310) 및 본 명세서에서 "분류 블록"이라고도 지칭되는 감정 유형 분류 블록(320)을 포함한다. 양 블록(310 및 320)에는 현재 또는 임의의 이전 다이얼로그 세션에서 사용자(110)의 하나 이상의 문장 또는 쿼리에 대해 행해진 언어 이해(230)의 출력을 포함할 수 있는 사용자 다이얼로그 입력(230a)이 제공된다. 구체적으로, 의미적 내용 생성 블록(310)은 사용자에게 전달될 정보에 대응하는 의미적 내용(240.1a)을 생성하고, 감정 유형 분류 블록(320)은 의미적 내용(240.1a)에 부여될, 감정 유형 코드(240.1b)가 나타내는 적절한 감정 유형을 생성한다. 사용자 다이얼로그 입력(230a)은, 예컨대, 로컬 디바이스 메모리 상의 이력 파일에 저장되어 있는, 현재 또는 이전 다이얼로그 세션으로부터의 사용자 입력의 전부 또는 임의의 것을 포함하는 것으로 이해될 수 있음을 알아야 한다.
사용자 다이얼로그 입력(230a) 외에, 블록 320에는 다이얼로그 엔진(240.1)이 구현되는 디바이스의 사용으로부터 도출된 파라미터를 포함할 수 있는 "팩트(fact) 또는 프로파일(profile)" 입력(301)도 제공된다. 감정 유형 분류 블록(320)은, 예컨대 이하에서 더 설명하는 머신 러닝 기술에 따라 오프라인으로 트레이닝된 파라미터를 갖는 하나 이상의 알고리즘에 따라, 팩트 또는 프로파일 입력(301) 및 사용자 다이얼로그 입력(230a)의 결합에 기초하여 적절한 감정 유형 코드(240.1b)를 생성할 수 있다. 예시적인 실시형태에 있어서, 감정 유형 코드(240.1b)는 감정(예컨대, "행복" 등)과 그 감정을 표시하는 정도를 나타내는 정도 표시자(degree indicator)(예컨대, 1부터 5까지의 수로서, 5는 "매우 행복"을 나타냄)를 포함할 수도 있다. 예시적인 실시형태에 있어서, 감정 유형 코드(240.1b)는 출력 음성에 부여될 수 있는 복수의 미리 정해진 감정 유형 중 하나를 지정하는 감정 마크업 언어(Emotion Markup Language)(EmotionML) 등으로 지정되는 포맷으로 표현될 수 있다
현재의 경향은 스마트폰과 같은 현대의 소비자 디바이스가 점차 없어서는 안 될 개인 비서 역할을 수행하여, 다양한 기능 세트를, 사용자가 자주 그리고 종종 연속적으로 소지하는 단일 모바일 디바이스에 통합하는 것으로 알려져 있다. 단일 사용자가 다양한 용도(예컨대, 음성 통신, 인터넷 액세스, 스케줄 계획, 오락 등)에 맞게 이러한 디바이스를 반복 사용하는 것은, 감정 유형 코드(2401b)를 선택하기 위해 대량의 관련 데이터에 인터랙티브 다이얼로그 시스템(200)이 잠재적으로 액세스하게 하는 것이다. 예를 들어, 위치 서비스가 스마트폰에서 활성화되면, 일정 기간 동안 사용자의 지리적 장소에 관한 데이터를 사용하여, 사용자의 지리적 선호에 관한 어떤 것, 예컨대 지역 스포츠팀의 팬인지, 또는 소정 구역 내에 새로운 레스토랑을 해 보기 위한 경향을 추론할 수 있다. 관련 데이터를 생성하는 사용 시나리오의 다른 예는, 주제 또는 키워드 검색을 하기 위해 스마트폰을 사용하여 인터넷에 액세스하는 것, 캘린더 날짜 또는 약속을 스케줄링하는 것, 디바이스 초기화 시에 사용자 프로파일을 설정하는 것 등을 포함하지만, 이들에 한정되지는 않는다. 이러한 데이터는 사용자(110)와의 인터랙티브 다이얼로그 세션 동안 의미적 내용(240.1a)에 부여할 적절한 감정 유형 코드(240.1b)를 평가하기 위해 다이얼로그 시스템에 의해 집합적으로 이용될 수 있다. 이러한 사용 시나리오를 고려하면, 인터랙티브 다이얼로그 시스템을 구현하는 모바일 통신 디바이스의 사용으로부터 적어도 하나 또는 심지어 다수의 팩트 또는 프로파일 입력(301)을 도출하는 것이 특히 바람직하다.
도 4는 본 개시내용에 따른 감정 유형 분류 블록의 예시적인 실시형태(320.1)를 도시한다. 도 4에서, 디바이스(120)에 의해 취득 가능한 예시적인 팩트 또는 프로파일 입력(301.1)은 감정 유형 분류 태스크와 관련하여 시스템 설계자에 의해 선택된 복수의 팩트 또는 프로파일 파라미터(402-422)를 포함한다. 예시적인 팩트 또는 프로파일 입력(301.1)은 예시적인 목적만을 위해 주어진 것임을 알아야 한다. 대안의 예시적인 실시형태에 있어서, 팩트 또는 프로파일 입력(301.1)의 개별 파라미터 중 임의의 것이 생략될 수 있고/있거나 도 4에 도시하지 않은 다른 파라미터가 추가될 수도 있다. 파라미터(402-422)는 파라미터들의 분리된 클래스를 기술할 필요가 없는데, 즉, 감정 유형 분류 블록(320.1)이 사용하는 단일 유형의 입력은 동시에 입력(402-422)의 2개 이상의 카테고리로 분류될 수도 있다. 이러한 대안의 예시적인 실시형태는 본 개시내용의 범위 내에 있는 것으로 고려된다.
사용자 구성(402)은 감정 유형 분류를 돕는, 사용자(110)가 디바이스(120)에 직접 입력하는 정보를 포함한다. 예시적인 실시형태에 있어서, 디바이스(120)의 셋업 중에, 또는 대개 디바이스(120)의 동작 중에, 사용자(110)는 일련의 프로파일 질문에 답할 것을 요청받을 수 있다. 예를 들어, 사용자(110)는 연령 및 성별, 취미, 관심사, 좋아하는 영화, 스포츠, 성격 특성 등에 관해 질문을 받을 수 있다. 일부의 경우에, 사용자의 성격 특성(예컨대, 외향적 또는 내향적, 지배적 또는 순종적 등)에 관한 정보는 성격 프로파일 설문지에서 질문을 함으로써 추론될 수 있다. 사용자 구성(402)으로부터의 정보는 감정 유형 코드(240.1b)를 선택하는 감정 유형 분류 블록(320.1)에 의해 나중에 사용하도록 저장될 수도 있다.
사용자 온라인 활동(404)은 인터넷 사용 통계 및/또는 디바이스(120)를 통해 인터넷이나 다른 네트워크에 대해 전송된 데이터의 컨텐츠를 포함한다. 예시적인 실시형태에 있어서, 온라인 활동(404)은 예컨대 디바이스(120)를 통해 웹 검색 엔진에 제출되는 사용자 검색 쿼리를 포함할 수 있다. 사용자 검색 쿼리의 내용뿐만 아니라 유사한 쿼리의 빈도 및/또는 타이밍 등과 같은 다른 통계가 기록될 수도 있다. 예시적인 실시형태에 있어서, 온라인 활동(404)은 자주 액세스되는 웹 사이트의 아이덴티티, 이메일 메시지의 내용, 소셜 미디어 웹사이트에의 포스팅 등을 더 포함할 수도 있다.
사용자 통신(406)은 디바이스(120)를 사용하여 수행된 텍스트 또는 음성 통신을 포함한다. 이러한 통신은 예컨대, 단문 메시징 서비스(short messaging service, SMS)를 통해 전송된 텍스트 메시지, 무선 네트워크를 통한 음성 호출 등을 포함할 수 있다. 사용자 통신(406)은 또한 네이티브 또는 제3자 소셜 미디어 네트워크, 예컨대 디바이스(120)를 사용해 사용자(110)가 액세스한 인터넷 웹사이트, 또는 인스턴트 메시징 또는 채팅 애플리케이션 등을 통한 메시징도 포함할 수 있다.
사용자 위치(408)는, 예컨대 하나 이상의 셀룰러 기지국과의 무선 통신, 또는 인터넷 기반 위치 서비스(이러한 서비스가 가능한 경우)를 통해, 디바이스(120)에서 이용 가능한 사용자 위치의 기록을 포함할 수 있다. 사용자 위치(408)는 예컨대 사용자가 집이나 직장에, 차 안에, 혼잡한 환경에 있거나, 회의중인 경우 등에 사용자의 위치 콘텍스트도 지정할 수 있다.
캘린더/스케줄링 기능/로컬 날짜 및 시간(410)은 사용자의 활동의 스케줄에 기초하여 감정 분류에 관련된 시간 정보를 포함할 수 있다. 예를 들어, 이러한 정보는 사용자(110)가 디바이스(120)를 개인 스케줄링 오거나이저(personal scheduling organizer)처럼 사용하는 것의 전제가 될 수 있다. 예시적인 실시형태에 있어서, 사용자의 캘린더 상의 시간 세그먼트가 이용 가능하거나 이용 불가능한지의 여부가 감정 유형의 분류와 관련될 수도 있다. 또한, 예컨대 예정된 휴가나 중요한 비지니스 미팅과 같은 임박한 약속의 성격도 관련될 수 있다.
캘린더/스케줄링 기능/로컬 날짜 및 시간(410)은 또한 특정 시간이 사용자의 업무 시간과 겹치는지의 여부, 또는 현재 날짜가 주말에 해당하는지의 여부 등과 같은 정보를 더 포함할 수도 있다.
사용자 감정 상태(412)는 사용자의 실시간 감정 상태의 결정에 관련된 데이터를 포함한다. 이러한 데이터는 음성 파라미터, 생체 신호 등과 함께 다이얼로그 시스템에 대한 사용자 발화의 내용을 포함할 수 있다. 감정 인식 기술은 또한 디바이스(120) 상의 다양한 센서에 의해 감지되는 것(예컨대, 물리적 센서 입력(420))인, 예컨대 사용자 음성, 표정, 디바이스(120) 상에서 통신한 최근의 텍스트 메시지, 체온 및 심박수를 비롯한 생체 신호 등을 감지함으로써 사용자 감정의 추론에도 이용될 수 있다.
디바이스 사용 통계(414)는 사용자(110)가 디바이스(120)를 얼마나 자주 사용하는지, 사용자가 디바이스(120)를 얼마나 오랫동안 사용했는지, 무슨 용도로 사용했는지 등에 관한 정보를 포함한다. 예시적인 실시형태에 있어서, 하루 동안 디바이스(120)와의 사용자 인터랙션의 시간 및 빈도뿐만 아니라 이 인터랙션 중에 사용한 애플리케이션 또는 방문한 웹 사이트도 기록될 수 있다.
온라인 정보 리소스(416)는 온라인 정보 소스로부터 획득되는, 사용자의 관심사에 관한 뉴스 또는 이벤트를 포함할 수 있다. 예를 들어, 사용자(110)가 스포츠팀의 팬이라는 결정에 기초하여, 온라인 정보 리소스(416)는 그 스포츠팀이 최근에 게임에서 승리했다는 뉴스를 포함할 수 있다. 대안으로, 사용자(110)가 예컨대 특정 종류의 요리를 선호한다고 결정되면, 온라인 정보 리소스(416)는 그러한 종류의 새로운 레스토랑이 사용자의 집 근처에서 막 개업했다는 뉴스를 포함할 수 있다.
디지털 어시스턴트(DA, digital assistant) 성격(418)은 다이얼로그 시스템에 대한 성격 프로파일을 지정하여, 사용자에 의한 다이얼로그 시스템과의 인터랙션을 인간 어시스턴트와의 인터랙션에 보다 가깝게 모방하게 할 수 있다. DA 성격 프로파일은 예컨대, DA가 외향적인지 내향적인지, 지배적인지 또는 순종적인지, 또는 DA의 성(gender)을 지정할 수도 있다. 예를 들어, DA 성격(418)은 디지털 어시스턴트에 대해, 여성의 쾌활한 성격에 해당하는 프로파일을 지정할 수도 있다. 이 특징은 도 2를 참조하여 전술한 바와 같이 시스템 성격 블록(255)의 대안으로, 또는 이 블록과 함께 제공될 수 있음을 알아야 한다.
물리적 센서 입력(420)은 디바이스(120)의 물리적 파라미터를 감지하기 위한, 디바이스(120) 상의 센서로부터 도출되는 신호를 포함할 수 있다. 예를 들어, 물리적 센서 입력(420)은, 예컨대 사용자(110)가 현재 걷고 있는지 또는 차 안에 있는지 등을 결정하기 위해, 디바이스(120) 내의 가속도계 및/또는 자이로스코프로부터의 센서 신호를 포함할 수 있다. 사용자의 현재 이동성 상황에 관한 지식이 감정 유형 분류 블록(320.1)에 정보를 제공하여 적절한 감정적 응답을 생성하는 것을 돕는다. 물리적 센서 입력(420)은 또한, 예컨대 배경 잡음 등에 기초하여 환경의 특성을 추론하기 위해, 디바이스(120) 상의 마이크 또는 다른 음향 기록 디바이스로부터의 센서 신호를 포함할 수 있다.
대화 이력(422)은 사용자와 디지털 어시스턴트 간의 현재 및 과거의 대화의 임의의 기록을 포함할 수 있다.
사용자 다이얼로그 입력(230a)과 함께, 팩트 또는 프로파일 입력(301.1)도 감정 유형 분류 블록(320.1)의 감정 유형 분류 알고리즘(450)에 입력으로서 제공될 수 있다. 감정 유형 분류 알고리즘(450)은 특정 팩트 또는 프로파일 입력(301.1) 및 사용자 다이얼로그 입력(230a)에 의해 지정된 다차원 벡터를, 예컨대 적절한 감정 유형 및 그 감정의 대응 정도(degree)를 지정하는, 감정 유형 코드(240.1b)의 특정 출력 결정에 매핑시킬 수 있다.
도 5는 하이브리드 감정 유형 분류 알고리즘의 예시적인 실시형태(450.1)를 도시한다. 도 5은 설명의 목적으로만 도시되며, 본 개시내용의 범위를, 도시하는 어떤 특정 애플리케이션에 제한하려는 의도가 없음을 알아야 한다.
도 5에서, 감정 유형 분류 알고리즘(450.1)은 감정 유형을 선택하는데 사용될 적어도 하나의 알고리즘을 선택하기 위한 알고리즘 선택 블록(510)을 포함한다. 예시적인 실시형태에 있어서, 적어도 하나의 알고리즘은 규칙 기반 알고리즘(512) 및 트레이닝된 알고리즘(514)을 포함한다. 규칙 기반 알고리즘(512)은 다이얼로그 시스템의 설계자에 의해 지정된 알고리즘에 대응할 수 있고, 특정 시나리오, 팩트, 프로파일, 및/또는 사용자 다이얼로그 입력에 주어진 감정 유형을 할당하기 위해 설계자가 인식하고 있는 근본적인 이론적 근거(rationale)에 일반적으로 기초할 수 있다. 한편, 트레이닝된 알고리즘(514)은 대량의 트레이닝 데이터 세트로부터, 예컨대 오프라인으로 도출되는 파라미터 및 함수적 매핑(functional mapping)을 갖는 알고리즘에 대응할 수 있다. 트레이닝된 알고리즘(514)에서의 입력과 출력 사이의 상호관계(interrelationship)가 규칙 기반 알고리즘(512)보다는 시스템 설계자에게 덜 투명할 수 있고, 트레이닝된 알고리즘(514)은 일반적으로, 알고리즘 트레이닝으로부터 결정되는 변수들 사이에서 더 복잡한 상호의존성을 포착할 수 있는 것을 알 것이다.
도 5에서 보다시피, 규칙 기반 알고리즘(512) 및 트레이닝된 알고리즘(514) 둘 다 팩트 또는 프로파일 입력(301.1) 및 사용자 다이얼로그 입력(230a)을 입력으로서 접수할 수 있다. 알고리즘 선택 블록(510)은 경우에 따라 감정 유형 코드(240.1b)를 선택하기 위해 사용할 알고리즘(512 또는 514) 중 적절한 하나를 선택할 수 있다. 예를 들어, 미리 정해진 세트의 값에 대응하는 사용자 다이얼로그 입력(230a) 및/또는 팩트 또는 프로파일 입력(301.1)에 응답하여, 선택 블록(510)은 트레이닝된 알고리즘(514) 대신에 특정의 규칙 기반 알고리즘(512)을 선택할 수도 또는 그 반대로 할 수도 있다. 예시적인 실시형태에 있어서, 규칙 기반 알고리즘(512)은 예컨대 근본적인 이론적 근거에 기초한 알고리즘의 설계가 소정의 경우에 보다 정확한 감정 유형의 분류를 초래할 수 있다면, 소정의 경우에는 트레이닝된 알고리즘(514)보다 더 선호될 수도 있다. 규칙 기반 알고리즘(512)은 또한, 예컨대 소정의 유형의 트레이닝된 알고리즘(514)을 설계하는 데에 이용할 수 있는 충분한 트레이닝 데이터가 없는 소정의 시나리오에서는 더 선호될 수도 있다. 예시적인 실시형태에 있어서, 규칙 기반 알고리즘(512)은 설계자가 특정 입력 세트에 기초하여 예상 응답을 도출하는 것이 비교적 수월할 때에 선택될 수도 있다.
도 6은 규칙 기반 알고리즘의 예시적인 실시형태(600)를 도시한다. 도 6은 예시만을 위한 것이며, 본 개시내용의 범위를 규칙 기반 알고리즘에, 규칙 기반 알고리즘의 임의의 특정 구현예에, 또는 도시하는 팩트 또는 프로파일 입력(301.1) 또는 감정 유형(240b)에 대한 임의의 특정 포맷 또는 컨텐츠에 한정하려는 의도가 없음을 알아야 한다.
도 6에 있어서, 결정 블록(610)에서, 사용자 감정 상태(412)가 "행복"인지가 결정된다. no이면, 알고리즘은 블록 612으로 진행하여, 감정 유형 코드(240b)를 "중립"으로 설정한다. yes이면, 알고리즘은 결정 블록(620)으로 진행한다.
결정 블록(620)에서, 사용자 구성(402)의 성격 파라미터(402.1)가 "외향적"인지가 또한 결정된다. no이면, 알고리즘은 블록 622로 진행하여, 감정 유형 코드(240b)를 "흥미(1)"로 설정하는데, 이것은 감정 유형의 "흥미" 정도가 l임을 표시한다. yes이면, 알고리즘은 블록 630으로 진행하여, 감정 유형 코드(240b)를 "행복(3)"으로 설정한다.
규칙 기반 알고리즘(600)은 외향적인 사용자가 더 밝거나 "더 행복한" 감정 유형을 나타내는 다이얼로그 시스템에 더 많이 참여할 것이라는 가정 하에, 사용자 성격에 기초하여 감정 유형 코드(240b)를 선택적으로 설정한다는 것을 알 것이다. 또한, 규칙 기반 알고리즘(600)은 현재 행복한 사용자가 역시 행복한 감정 유형을 갖는 시스템에 더 긍정적으로 응답할 것이라는 가정 하에, 현재 사용자 감정 상태에 기초하여 감정 유형 코드(240b)를 설정한다. 대안의 예시적인 실시형태에 있어서, 본 명세서에 명시적으로 기술하지 않는 다른 규칙 기반 알고리즘도 감정 유형 코드(240b)를 팩트 또는 프로파일 입력(301.1)의 다른 파라미터 및 값과 관련시키도록 수월하게 설계될 수 있다.
알고리즘(600)으로 예시하는 바와 같이, 감정 유형 코드(240b)의 결정이 항상 팩트 또는 프로파일 입력(301.1) 및 사용자 다이얼로그 입력(230a)에서 이용 가능한 모든 파라미터를 이용할 필요는 없다. 구체적으로, 알고리즘(600)은 사용자 감정 상태(412) 및 사용자 구성(402)만 이용한다. 본 명세서에 명시적으로 기술하지 않는 파라미터를 이용하는 알고리즘의 대안의 예시적인 실시형태뿐만 아니라 이용 가능한 파라미터의 임의의 서브세트를 이용하는 알고리즘의 그러한 예시적인 실시형태도 본 개시내용의 범위 내에 있는 것으로 간주된다.
도 7은 규칙 기반 알고리즘의 대안의 예시적인 실시형태(700)를 도시한다. 도 7에 있어서, 결정 블록(710)에서, 사용자 다이얼로그 입력(230a)이 업데이트된 뉴스에 관한 사용자의 쿼리에 대응하는지가 결정된다. yes이면, 알고리즘은 결정 블록(720)으로 진행한다.
결정 블록(720)에서, 사용자 감정 상태(412)가 "행복"인지, 또한 온라인 정보 리소스(416)가, 사용자가 좋아하는 스포츠팀이 방금 게임에서 승리했음을 나타내는지가 결정된다. 예시적인 실시형태에 있어서, 사용자가 좋아하는 스포츠팀 그 자체는 팩트 또는 프로파일 입력(301.1)의 다른 파라미터로부터, 예컨대, 사용자 구성(402), 사용자 온라인 활동(404), 캘린더/스케줄링 기능(410) 등으로부터 도출될 수 있다. 결정 블록(720)의 출력이 yes이면, 알고리즘은 블록 730으로 진행하고, 여기서는 감정 유형 코드(240b)가 "흥분(3)"으로 설정된다.
감정 유형 코드(240b)를 선택하기 위한 규칙 기반 알고리즘 외에, 감정 유형 분류 알고리즘(450.1)도 대안으로 또는 연계하여, 트레이닝된 알고리즘을 이용할 수 있다. 도 8은 감정 유형을 선택하기 위한 트레이닝된 알고리즘을 도출하는 트레이닝 스킴의 예시적인 실시형태(800)를 도시한다. 도 8은 예시의 목적으로만 도시되며, 본 개시내용의 범위를, 감정 유형을 선택하기 위한 알고리즘을 트레이닝하는 임의의 특정 기술에 제한하려는 의도가 없음을 알아야 한다.
도 8에서, 트레이닝 단계(801) 동안, 알고리즘 트레이닝 블록(810)에는, 일련의 또는 복수의 참조용 팩트 또는 프로파일 입력(301.1*), 대응하는 일련의 참조용 이전 사용자 입력(230a*) 및 대응하는 일련의 참조용 감정 유형 코드(240.1b*)를 포함한 입력이 제공된다. 여기서, 중괄호 {x}로 묶인 파라미터 x는 복수의 또는 일련의 오브젝트 x를 나타내는 것이다. 구체적으로, 각각의 참조용 팩트 또는 프로파일 입력(301.1*)은 팩트 또는 프로파일 입력(301.1)에 대한 세팅의 특정 조합에 대응한다.
예를 들어, 하나의 예시적인 참조용 팩트 또는 프로파일 입력(301.1*)은 "외향적인" 성격 유형을 포함하는 사용자 구성(402), "시호크스(Seahawks)"라는 문구에 대한 온라인 검색의 다수의 인스턴스를 포함하는 사용자 온라인 활동(404), 거주지로서 "시애틀(Seattle)"에 대응하는 사용자 위치(408) 등을 지정할 수 있다. 이 참조용 팩트 또는 프로파일 입력(301.1*)에 대응하여, 참조용 사용자 다이얼로그 입력(230a*)은 최신 스포츠 뉴스에 관한 사용자 쿼리를 포함할 수 있다. 대안의 경우에 있어서, 이 참조용 팩트 또는 프로파일 입력(301.1*)에 대응하는 참조용 사용자 다이얼로그 입력(230a*)은 이전 사용자 입력이 없음을 나타내는 NULL 문자열일 수도 있다. 참조용 팩트 또는 프로파일 입력(301.1*) 및 대응하는 참조용 사용자 다이얼로그 입력(230a*)의 이러한 예시적인 조합에 기초하여, 참조용 감정 유형 코드(240.1b*)는 트레이닝 단계(801) 동안 알고리즘 트레이닝 블록(810)에 지정될 수 있다.
예시적인 실시형태에 있어서, 참조용 팩트 또는 프로파일 입력(301.1*) 및 사용자 다이얼로그 입력(230a*)의 특정 세팅에 대한 적절한 참조용 감정 유형 코드(240.1b*)는 인간 주석자(human annotator) 또는 심사위원(judge)에게 제공될 수 있다. 이들 인간 주석자에게는 트레이닝 단계(801) 동안 참조용 팩트 또는 프로파일 입력과 참조용 사용자 입력의 개별적인 조합이 제공될 수 있으며, 이들은 상황에 따라 적절한 감정 유형으로 각 조합에 주석을 달 수 있다. 이 프로세스는 다수의 인간 주석자 및 참조용 팩트 또는 프로파일 입력 및 이전 사용자 입력의 다수의 조합을 사용하여 반복될 수 있어, 알고리즘 트레이닝 블록(810)에 대해 대량의 트레이닝 데이터가 이용 가능하다. 트레이닝 데이터 및 참조용 감정 유형 주석에 기초하여, 주어진 조합의 참조용 입력을 참조용 출력에 가장 정확하게 매핑하는 트레이닝된 알고리즘에 대해, 트레이닝된 알고리즘 파라미터(810a)의 최적의 세트가 도출될 수 있다.
예시적인 실시형태에 있어서, 인간 주석가는 디지털 어시스턴트의 성격의 대응 특성과 유사하거나 동일한 소정의 특성을 소유할 수 있다. 예를 들어, 인간 주석가는 예컨대 시스템 성격(255) 및/또는 디지털 어시스턴트 성격(418)에 의해 지정되는, 디지털 어시스턴트의 구성된 특성과 동일한 성별 또는 성격 유형을 가질 수 있다.
알고리즘 트레이닝 블록(810)은 참조용 팩트 또는 프로파일 입력(301.1*), 사용자 다이얼로그 입력(230a*), 및 참조용 감정 유형 코드(240.1b*)의 다수의 제공되는 인스턴스에 응답하여, 각 조합의 입력을 제공되는 참조용 감정 유형에 최적으로 매핑하는, 알고리즘 파라미터의 세트, 예컨대, 가중치, 구조, 계수 등을 제공하도록 구성된다. 예시적인 실시형태에 있어서, 입력을 출력에 매핑하기 위한 일반적인 규칙을 최적으로 도출하는 기술은, 머신 러닝, 예컨대 지도 학습(supervised learning)으로부터 활용될 수 있다. 따라서, 알고리즘 트레이닝 블록(810)은 도 5에 도시하는 바와 같이, 트레이닝된 알고리즘 블록(514)의 예시적인 실시형태(514.1)에 제공되는 최적 세트의 트레이닝 알고리즘 파라미터(810a)를 생성한다. 구체적으로, 블록 514.1은 트레이닝된 알고리즘 파라미터(810a)에 따라 실시간 동작(802) 중에 감정 유형(240.1b)을 선택한다.
이하에, 본 개시내용의 기술의 예시적인 적용에 대한 실례가 되는 설명을 추가로 제공한다. 이 예는 단지 예시적인 목적으로 제시된 것이며, 본 개시내용의 범위를 팩트 또는 프로파일 입력, 시스템 응답, 또는 시나리오의 임의의 특정 세트 또는 유형으로 제한하려는 의도가 없음을 알아야 한다.
마크(Mark)는 풋볼 팬이다. 그는 항상 NFL(National Football League)에 관한 뉴스에 관심이 있다. 시애틀 거주자이기 때문에, 그가 가장 좋아하는 팀은 시애틀 시호크스(Seattle Seahawks)이다. 일요일마다 마크는 스마트폰을 사용하여 풋볼 게임을 온라인으로 시청하고, 온라인 채팅 애플리케이션을 통해 선수와 팀에 관해 친구와 이야기를 한다. 그는 또한 소셜 미디어 애플리케이션을 통해 자신의 활동과 관심을 공유한다. 몇달 전, 시호크스가 연장 타임에서 포티나이너스(49ers)를 이겼을 때, 그는 매우 흥분하여 자신의 소셜 미디어 프로파일 페이지 상에서 광범위하게 승리를 이야기하였다.
어느 월요일에, 샌프란시스코에서 시호크스가 포티나이너스와 먼데이나이트풋볼(Monday Night Football) 경기를 하고 있다. 불행히도 마크는 고객과 저녁 식사를 하느라 게임을 놓쳤다. 저녁 식사는 마크에게 중요한 미팅이였는데, 그는 비지니스 거래를 체결할 예정이었다. 미팅은 아주 잘 진행된 것으로 드러났고 고객이 마크의 제안을 받아들였다. 저녁식사 후, 마크의 드라이브 홈에서 그는 스마트폰으로 인터랙티브 다이얼로그 시스템(또는 디지털 어시스턴트(DA))을 활성화하여 실시간 음성 대화에 참여하였다.
마크: "이봐, 멋진 저녁이었어! 내가 그 거래를 성사시켰어. 돈(Don)(마크의 상사)이 좋아할 거 같아."
디지털 어시스턴트(명랑한 톤의 목소리로): "대단해요! 기뻐요."(DA 응답 1)
마크: "그래, 시호크스는 어때? 알려줘!"
디지털 어시스턴트(흥분한 톤의 목소리로): "당신의 시호크스가 이겼어요! 시호크스가 포티나인스를 30 대 25로 이겼어요. 러셀 윌슨이 4쿼터에서 터치다운 패스를 두번 던졌어요."(DA 응답 2)
마크: "와, 대단해. 이 게임을 놓쳐서 아쉽네. 나는 이 팀이 올해 플레이오프에 다시 오를 거 같아!
디지털 어시스턴트(계속해서 흥분한 목소리로, 조금 더 차분하게): "네! 플레이오프 동안에는 당신의 캘린더를 봉쇄할게요. 당신이 그것을 놓치고 싶어할 거 같지 않아요."(DA 응답 3)
앞의 예는 본 개시내용의 기술의 몇가지 양상들을 나타내고 있다. 구체적으로, 인터랙티브 다이얼로그 시스템은 마크가 풋볼 팬이고, 또 시호크스의 팬인 것을 알고 있다. 시스템은 이 정보를, 즉 예컨대 마크가 풋볼 뉴스를 트랙킹하는 것과, 또 그가 좋아하는 팀이 시호크스임을 나타내는 것을 마크가 그의 디지털 어시스턴트에서 설정한 명시적인 세팅으로부터 취득한다. 온라인 정보 소스로부터, DA는 시호크스가 라이벌팀인 샌프란시스코 포티나이너스와 그 밤에 경기를 하였고, 시호크스가 상대팀을 이겼다는 사실을 알고 있다. 이에, 시호크스의 승리 소식을 마크에게 보고할 때, DA는 흥분한 톤의 목소리에 대응하는 감정 유형(DA 응답 2)을 선택할 수 있다. 또한, 마크의 좋아하는 것과 마크의 이전 입력에 대한 지식을 기반으로, DA는 마크의 캘린더에서 마크를 위한 시간을 봉쇄할 것을 제안할 때 흥분한 톤의 목소리를 선택한다(DA 응답 3).
다이얼로그 시스템은 예컨대 마크가 자신의 스마트폰을 사용하는 패턴(예컨대, 사용 빈도, 사용 시간 등), 마크가 자신의 스마트폰의 셋업 시에 표시한 개인적 관심사와 취미뿐만 아니라 소셜 미디어 네트워크에 대한 상태 업데이트로부터 도출되는 마크의 성격에 관한 정보도 갖고 있다. 이 예에서, 다이얼로그 시스템은 마크의 성격을 추론하기 위해, 마크의 스마트폰 사용 패턴에 의해 생성되는 수많은 통계를 처리하도록 설계된 머신 러닝 알고리즘을 기반으로 마크가 외향적이고 양심적인 사람이라고 결정할 수 있다.
추가 정보는 마크가 2개월 전에 DA 시스템을 활성화하였다는 사실과 이후 DA를 정기적으로 사용하고 빈도가 증가하였다는 사실로부터 도출되는 것이다. 지난주 마크는 DA와 하루 평균 5회 인터랙션하였다. 예시적인 실시형태에 있어서, 특정 감정 유형 분류 알고리즘은 이러한 인터랙션의 빈도로 마크와 DA 사이의 친밀감의 증가를 추론할 수 있다.
DA는 또한 마크의 목소리로부터 마크의 현재 감정 상태가 행복한 것으로 결정한다. DA는 마크가 디바이스 상의 캘린더/스케줄링 기능을 사용하는 것으로부터, 근무 시간 이후라는 것과 마크가 클라이언트와의 미팅을 막 마쳤다는 것을 안다. 인터랙션 시에, DA는 예컨대, 자동차 전자장치와의 무선 블루투스 접속 확립, 가속도계가 측정한 걷기 간격에 이어지는 정지상태 간격, 차량 내부의 저레벨의 배경 소음, 측정된 이동 속도 등으로부터 마크가 차 안에 있음을 확인한다. 또한 하루중시간 통계(time-of-day statistic)에 매칭되는 위치 데이터 이력 등의 과거 데이터로부터 마크가 저녁 식사후 운전하여 집에 가는 것이 추측된다. 따라서, 도 4의 블록 450.1을 참조하여 설명한 바와 같은 분류 알고리즘에 따라, DA는 명령한 톤의 목소리(DA 응답 1)에 대응하는 감정 유형을 선택한다.
도 9는 본 개시내용에 따른 방법(900)의 예시적인 실시형태를 도시한다. 도 9는 예시의 목적으로만 도시되며, 본 개시내용의 범위를, 도시하는 어떤 특정 방법에 제한하려는 의도가 없음을 알아야 한다.
도 9에 있어서, 블록 910에서, 방법은 적어도 하나의 팩트 또는 프로파일 입력에 기초하여, 출력문과 연관된 감정 유형 코드를 선택하는 단계를 포함하는데, 이 감정 유형 코드는 복수의 미리 정해진 감정 유형 중 하나를 지정하는 것이다.
블록 920에서, 방법은 출력문에 대응하는 음성을 생성하는 단계를 포함하는데, 이 음성은 감정 유형 코드에 의해 지정된 미리 정해진 감정 유형을 갖도록 생성되는 것이다. 예시적인 실시형태에 있어서, 적어도 하나의 팩트 또는 프로파일 입력은 인터랙티브 다이얼로그 시스템을 구현하는 모바일 통신 디바이스의 사용으로부터 도출된다.
도 10은 전술한 방법과 프로세스 중 하나 이상을 수행할 수 있는 비제한적인 컴퓨팅 시스템(1000)을 개략적으로 보여준다. 컴퓨팅 시스템(1000)이 단순화된 형태로 도시되고 있다. 본 개시내용의 범위에서 벗어나는 일 없이 사실상 임의의 컴퓨터 아키텍처가 이용될 수 있는 것은 물론이다. 상이한 실시형태들에 있어서, 컴퓨팅 시스템(1000)은 메인프레임 컴퓨터, 서버 컴퓨터, 클라우드 컴퓨팅 시스템, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트용 컴퓨터, 네트워크 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스, 스마트폰, 게이밍 디바이스 등의 형태를 취할 수 있다.
컴퓨팅 시스템(1000)은 프로세서(1010)와 메모리(1020)를 포함한다. 컴퓨팅 시스템(1000)은 선택사항으로서, 디스플레이 서브시스템, 통신 서브시스템, 센서 서브시스템, 카메라 서브시스템, 및/또는 도 10에 도시하지 않은 다른 컴포넌트를 포함할 수 있다. 또한, 컴퓨팅 시스템(1000)은 선택사항으로서, 예컨대 키보드, 마우스, 게임 컨트롤러, 카메라, 마이크, 및/또는 터치 스크린 등의 사용자 입력 장치도 포함할 수 있다.
프로세서(1010)는 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 디바이스를 포함할 수 있다. 예를 들어, 프로세서는 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성 중 부분일 수 있는 하나 이상의 명령어를 실행하도록 구성될 수 있다. 그러한 명령어는 태스크를 수행, 데이터 타입을 구현, 하나 이상의 디바이스의 상태를 변환, 또는 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
프로세서는 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 프로세서의 프로세서들은 싱글 코어 또는 멀티 코어일 수 있고, 거기에서 실행되는 프로그램은 병렬 처리 또는 분산 처리에 맞게 구성될 수 있다. 프로세서는 선택사항으로서, 2개 이상의 디바이스를 통해 분산되는 개별 컴포넌트를 포함할 수 있으며, 이들 디바이스는 원격으로 배치될 수도 및/또는 프로세싱 조정에 맞게 구성될 수도 있다. 프로세서의 하나 이상의 양태는 클라우드 컴퓨팅 구성으로 구성된, 원격으로 액세스 가능한 네트워크형 컴퓨팅 디바이스들에 의해 가상화 및 실행될 수 있다.
메모리(1020)는 여기에서 설명하는 방법과 프로세스를 구현하기 위해 프로세서에 의해 실행 가능한 데이터 및/또는 명령어를 보유하도록 구성된 하나 이상의 물리적 디바이스를 포함할 수 있다. 이러한 방법과 프로세스가 구현될 경우, 메모리(1020)의 상태는 (예컨대, 상이한 데이터를 보유하도록) 변형될 수 있다.
메모리(1020)는 분리형 매체 및/또는 내장형 디바이스를 포함할 수 있다. 메모리(1020)는 무엇보다도 광학적 메모리 디바이스(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 디바이스(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리 디바이스(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 메모리(1020)는 다음과 같은 특징, 즉 휘발성, 비휘발성, 동적, 정적, 읽기/쓰기, 읽기 전용, 랜덤 액세스, 순차적 액세스, 위치 지정 가능, 파일 지정 가능 및 내용 지정 가능 중 하나 이상의 특징을 지닌 디바이스를 포함할 수 있다. 일부 실시형태에 있어서, 프로세서(1010)와 메모리(1020)는 ASIC(Application Specific Integrated Circuit) 또는 시스템온칩(SoC) 등의 하나 이상의 공통 디바이스(common device)에 통합될 수 있다.
메모리(1020)는 또한 분리형 컴퓨터 판독 가능한 저장 매체의 형태도 취할 수 있는데, 이 저장 매체는 여기에서 설명하는 방법과 프로세스를 구현하기 위해 실행 가능한 데이터 및/또는 명령어를 저장 및/또는 전송하는데 이용될 수 있다. 메모리(1020)는 무엇보다도 CD, DVD, HD-DVD, 블루레이 디스크, EEPROM, 및/또는 플로피 디스크의 형태를 취할 수 있다.
메모리(1020)는 정보를 저장하는 하나 이상의 물리적 디바이스를 포함하는 것이 이해되어야 한다. 용어 "모듈", "프로그램" 및 "엔진"은 하나 이상의 특정 기능을 수행하도록 구현된 컴퓨팅 시스템(1000)의 양태를 기술하는데 이용될 수 있다. 일부 경우에 있어서, 이러한 모듈, 프로그램 또는 엔진은 메모리(1020)가 보유한 명령어를 실행하는 프로세서(1010)를 통해 예시될 수 있다. 상이한 모듈, 프로그램 및/또는 엔진은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 예시될 수 있음이 이해되어야 한다. 마찬가지로, 동일한 모듈, 프로그램 및/또는 엔진은 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 예시될 수도 있다. 용어 "모듈", "프로그램", 및 "엔진"은 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등의 개개 또는 그룹을 망라하는 것이 이해될 수 있다.
일 양태에 있어서, 컴퓨팅 시스템(1000)은 적어도 하나의 팩트 또는 프로파일 입력에 기초하여, 출력문과 연관된 감정 유형 코드를 선택하도록, 프로세서(1010)에 의해 실행 가능한 명령어를 보유하는 메모리(1020)를 포함하는 컴퓨팅 디바이스에 대응할 수 있으며, 감정 유형 코드는 복수의 미리 정해진 감정 유형 중 하나를 지정하는 것이다. 명령어는, 또한 출력문에 대응하는 음성을 생성하도록 프로세서(1010)에 의해 실행될 수 있으며, 이 음성은 감정 유형 코드에 의해 지정된 미리 정해진 감정 유형을 갖도록 생성되는 것이다. 예시적인 실시형태에 있어서, 적어도 하나의 팩트 또는 프로파일 입력은 인터랙티브 다이얼로그 시스템을 구현하는 모바일 통신 디바이스의 사용으로부터 도출된다. 이러한 컴퓨팅 디바이스는 주제(matter)의 프로세스, 머신, 제조, 또는 구성에 대응하는 것으로 이해될 것이다.
도 11은 본 개시내용에 따른 장치(1100)의 예시적인 실시형태를 도시한다. 장치(1100)는 예시의 목적으로만 도시되며, 본 개시내용의 범위를, 도시하는 어떤 특정 장치에 제한하려는 의도가 없음을 알아야 한다.
도 11에서, 분류 블록(1120)은 적어도 하나의 팩트 또는 프로파일 입력(1120b)에 기초하여, 출력문(1110a)과 연관된 감정 유형 코드(1120a)를 선택하도록 구성된다. 감정 유형 코드(1120a)는 복수의 미리 정해진 감정 유형 중 하나를 지정한다. 텍스트-음성 변환 블록(text-to-speech block)(1130)은 출력문(1110a) 및 감정 유형 코드(1120a)에 의해 지정된 미리 정해진 음성 유형에 대응하는 음성(1130a)을 생성하도록 구성된다. 예시적인 실시형태에 있어서, 적어도 하나의 팩트 또는 프로파일 입력(1120b)은 인터랙티브 다이얼로그 시스템을 구현하는 모바일 통신 디바이스의 사용으로부터 도출된다.
본 개시내용의 기술은 모바일 통신 디바이스를 포함하는 실시형태에 한정될 필요가 없음을 알아야 한다. 대안의 예시적인 실시형태에 있어서, 본 기술은 또한 비제한적인 디바이스, 예컨대 데스크탑 컴퓨터, 가정용 게임 시스템 등에 통합될 수도 있다. 또한, 본 기술을 통합하는 모바일 통신 디바이스는 스마트폰에 제한될 필요는 없으며, 컴퓨터화된 손목시계, 안경 등의 착용형 디바이스도 포함할 수 있다. 이러한 대안의 예시적인 실시형태는 본 개시내용의 범위 내에 있는 것으로 간주된다.
도 12는 가청 음성보다는 또는 가청 음성과 함께, 디스플레이되는 텍스트에 감정적 내용이 부여되는 다이얼로그 시스템에 본 개시내용의 기술이 통합되는 예시적인 실시형태(1200)를 도시한다. 도 12에 도시하는 블록들은 도 2에서 유사하게 번호가 붙여진 블록들에 대응하고, 도 2에 도시하는 특정 블록들은 설명의 용이함을 위해 도 12에서 생략되었음을 알아야 한다.
도 12에서, 언어 생성 블록(250)의 출력(250a)은 다이얼로그 엔진(240)에 의해 생성된 감정 유형 코드(240b)와 결합되어, 텍스트-음성 변환 및/또는 디스플레이용 텍스트 블록(1260)에 입력된다. 텍스트를 음성으로 변환하는 양태에서, 블록 1260은 의미적 내용(240a) 및 감정 유형 코드(240b)를 갖는 음성을 생성한다. 디스플레이용 텍스트 양상에 있어서, 블록 1260은 대안으로 또는 추가로 의미적 내용(240a) 및 감정 유형 코드(240b)를 갖는 디스플레이용 텍스트를 생성한다. 감정 유형 코드(240b)는, 예컨대 디스플레이된 텍스트 문자의 사이즈나 폰트를 조정하기, 감정 유형 코드(240b)에 대응하는 이모티콘(예컨대, 웃는 얼굴 또는 다른 픽처)을 제공하기 등과 같은 기술을 이용하여, 디스플레이되는 문자에 감정을 부여할 수 있는 것이 이해될 것이다. 예시적인 실시형태에 있어서, 블록 1260은 대안으로 또는 추가로, 디스플레이 상에 DA 또는 사용자를 표현하는 하나 이상의 아바타에 대한 감정 기반 애니메이션 또는 그래픽 변형을 생성한다. 예를 들어, 감정 유형 코드(240b)가 "슬픔"에 대응하는 경우, DA를 표현하는 미리 선택된 아바타는 미리 선택된 "슬픈" 표정으로 생성되거나 그렇지 않으면 예컨대 우는 행위 등의 움직임을 통해 표현하도록 애니메이션될 수 있다. 이러한 대안의 예시적인 실시형태는 본 개시내용의 범위 내에 있는 것으로 간주된다.
본 명세서 및 청구범위에서, 엘리먼트가 다른 엘리먼트에 "접속" 또는 "결합되는" 것으로 언급될 때, 그 엘리먼트는 다른 엘리먼트에 직접 접속 또는 결합될 수도 있고, 또는 개재되는 엘리먼트가 존재할 수도 있음이 이해될 것이다. 반면, 엘리먼트가 다른 엘리먼트에 "직접 접속" 또는 "직접 결합되는" 것으로 언급될 때에는, 개재 엘리먼트가 존재하지 않는다. 또한, 엘리먼트가 다른 엘리먼트에 "전기적으로 결합되는" 것으로 언급될 때에는, 이것은 이들 엘리먼트 사이에 저 저항의 경로가 존재하는 것을 의미하며, 엘리먼트가 단순히 다른 엘리먼트에 "결합되는" 것으로 언급될 때에는, 이들 엘리먼트 사이에 저 저항의 경로가 있을 수도 없을 수도 있다.
본 명세서에서 설명하는 기능은 적어도 부분적으로, 하나 이상의 하드웨어 및/또는 소프트웨어 로직 컴포넌트에 의해 수행될 수 있다. 예를 들면, 제한 없이, 사용될 수 있는 하드웨어 로직 컴포넌트의 실례 타입은 FPGA(Field-programmable Gate Array), ASIC(Application-specific Integrated Circuit), ASSP(Application-specific Standard Product), SOC(System-on-a-chip system), CPLD(Complex Programmable Logic Device) 등을 포함한다.
본 발명은 다양한 변형 및 대안적 구성이 가능하며 소정의 예시적인 실시형태들을 도면에 도시하여 앞에서 상세하게 설명하였다. 그러나, 본 발명을 개시하는 특정 형태에 한정하려는 의도는 없으며, 반면 의도하는 바는 모든 변형, 대안적 구성, 및 본 발명의 사상 및 범주 내에 있는 균등물을 포함하는 것이다.

Claims (10)

  1. 인터랙티브 다이얼로그 시스템(interactive dialog system)을 위한 장치에 있어서,
    적어도 하나의 팩트(fact) 또는 프로파일(profile) 입력에 기초하여, 출력문(output statement)과 연관된 감정 유형 코드를 선택하도록 구성된 분류 블록으로서, 상기 감정 유형 코드는 복수의 미리 정해진 감정 유형 중 하나를 지정하는 것인, 상기 분류 블록과,
    상기 출력문에 대응하는 음성(speech)을 생성하도록 구성된 텍스트-음성 변환 블록(text-to-speech block)으로서, 상기 음성은 상기 감정 유형 코드에 의해 지정되는 상기 미리 정해진 감정 유형을 갖도록 생성되는 것인, 상기 텍스트-음성 변환 블록
    을 포함하고,
    상기 적어도 하나의 팩트 또는 프로파일 입력은 상기 인터랙티브 다이얼로그 시스템을 구현하는 모바일 통신 디바이스의 사용으로부터 도출되는 것인 인터랙티브 다이얼로그 시스템을 위한 장치.
  2. 제1항에 있어서, 상기 모바일 통신 디바이스는 음성 호출(voice calling) 및 인터넷 액세스 서비스를 제공하도록 구성되며, 상기 장치는 상기 출력문을 자연어로 생성하도록 구성된 언어 생성 블록을 더 포함하고, 상기 출력문은 미리 정해진 의미적 내용(semantic content)과, 상기 감정 유형 코드와 연관되는 지정된 미리 정해진 감정 유형을 갖는 것인 인터랙티브 다이얼로그 시스템을 위한 장치.
  3. 제1항에 있어서, 상기 적어도 하나의 팩트 또는 프로파일 입력은 사용자에 의해 구성된 적어도 하나의 사용자 구성(configuration) 파라미터를 포함하고, 상기 적어도 하나의 사용자 구성 파라미터는 취미, 관심사, 성격 특성, 좋아하는 영화, 좋아하는 스포츠, 및 좋아하는 종류의 요리 중 적어도 하나를 포함하는 것인 인터랙티브 다이얼로그 시스템을 위한 장치.
  4. 제1항에 있어서, 상기 적어도 하나의 팩트 또는 프로파일 입력은 상기 장치를 사용한 사용자 온라인 활동으로부터 도출되는 적어도 하나의 파라미터를 더 포함하고, 상기 사용자 온라인 활동으로부터 도출되는 적어도 하나의 파라미터는 인터넷 검색 쿼리, 액세스된 인터넷 웹사이트, 이메일 메시지의 내용, 및 온라인 소셜 미디어 웹사이트에의 포스팅 중 적어도 하나를 포함하는 것인 인터랙티브 다이얼로그 시스템을 위한 장치.
  5. 제1항에 있어서, 상기 적어도 하나의 팩트 또는 프로파일 입력은, 사용자 위치, 사용자 텍스트 또는 음성 통신의 내용, 및 상기 장치의 캘린더 스케줄링 기능을 이용해 사용자가 스케줄링한 적어도 하나의 이벤트 중 적어도 하나를 더 포함하는 것인 인터랙티브 다이얼로그 시스템을 위한 장치.
  6. 제1항에 있어서, 상기 적어도 하나의 팩트 또는 프로파일 입력은, 현재 사용자의 감정 상태, 디바이스 사용 통계, 온라인 정보 리소스, 및 디지털 어시스턴트 성격 중 적어도 하나를 더 포함하는 것인 인터랙티브 다이얼로그 시스템을 위한 장치.
  7. 제1항에 있어서, 상기 분류 블록은 복수의 참조용 팩트 또는 프로파일 입력과 대응하는 복수의 참조용 감정 유형 사이에 적어도 하나의 함수적 매핑(functional mapping)을 포함하는 알고리즘을 이용하여 상기 감정 유형 코드를 선택하도록 구성되며, 상기 적어도 하나의 함수적 매핑은 머신 러닝 기술로부터 도출되는 것인 인터랙티브 다이얼로그 시스템을 위한 장치.
  8. 프로세서와, 상기 프로세서에 의해 실행 가능한 명령어를 보유하는 메모리를 포함하는 컴퓨팅 디바이스에 있어서,
    상기 명령어는,
    적어도 하나의 팩트 또는 프로파일 입력에 기초하여, 출력문과 연관된 감정 유형 코드를 선택하게 하고, 상기 감정 유형 코드는 복수의 미리 정해진 감정 유형 중 하나를 지정하는 것이며,
    상기 출력문에 대응하는 음성을 생성하게 하고, 상기 음성은 상기 감정 유형 코드에 의해 지정되는 상기 미리 정해진 감정 유형을 갖도록 생성되는 것이며,
    상기 적어도 하나의 팩트 또는 프로파일 입력은 인터랙티브 다이얼로그 시스템을 구현하는 모바일 통신 디바이스의 사용으로부터 도출되는 것인 컴퓨팅 디바이스.
  9. 방법에 있어서,
    적어도 하나의 팩트 또는 프로파일 입력에 기초하여, 출력문과 연관된 감정 유형 코드를 선택하는 단계로서, 상기 감정 유형 코드는 복수의 미리 정해진 감정 유형 중 하나를 지정하는 것인, 상기 감정 유형 코드를 선택하는 단계와,
    상기 출력문에 대응하는 음성을 생성하는 단계로서, 상기 음성은 상기 감정 유형 코드에 의해 지정되는 상기 미리 정해진 감정 유형을 갖도록 생성되는 것인, 상기 음성을 생성하는 단계
    를 포함하며,
    상기 적어도 하나의 팩트 또는 프로파일 입력은 인터랙티브 다이얼로그 시스템을 구현하는 모바일 통신 디바이스의 사용으로부터 도출되는 것인 방법.
  10. 제9항에 있어서, 상기 적어도 하나의 팩트 또는 프로파일 입력은, 사용자 위치, 사용자에 의해 구성되는 사용자 구성 파라미터, 사용자 온라인 활동, 사용자 위치, 사용자 텍스트 또는 음성 통신의 내용, 및 캘린더 스케줄링 기능을 이용해 사용자가 스케줄링한 적어도 하나의 이벤트 중 적어도 하나를 포함하는 것인 방법.
KR1020177017702A 2014-12-04 2015-12-02 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류 KR102457486B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227036149A KR102632775B1 (ko) 2014-12-04 2015-12-02 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/561,190 2014-12-04
US14/561,190 US9786299B2 (en) 2014-12-04 2014-12-04 Emotion type classification for interactive dialog system
PCT/US2015/063301 WO2016089929A1 (en) 2014-12-04 2015-12-02 Emotion type classification for interactive dialog system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227036149A Division KR102632775B1 (ko) 2014-12-04 2015-12-02 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류

Publications (2)

Publication Number Publication Date
KR20170092603A true KR20170092603A (ko) 2017-08-11
KR102457486B1 KR102457486B1 (ko) 2022-10-20

Family

ID=55025379

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177017702A KR102457486B1 (ko) 2014-12-04 2015-12-02 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류
KR1020227036149A KR102632775B1 (ko) 2014-12-04 2015-12-02 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227036149A KR102632775B1 (ko) 2014-12-04 2015-12-02 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류

Country Status (11)

Country Link
US (2) US9786299B2 (ko)
EP (1) EP3227885A1 (ko)
JP (1) JP6803333B2 (ko)
KR (2) KR102457486B1 (ko)
CN (1) CN107003997A (ko)
AU (2) AU2015355097B2 (ko)
BR (1) BR112017010047B1 (ko)
CA (1) CA2967976C (ko)
MX (1) MX2017007317A (ko)
RU (1) RU2705465C2 (ko)
WO (1) WO2016089929A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067710A1 (ko) * 2018-09-27 2020-04-02 삼성전자 주식회사 대화형 인터페이스를 제공하는 방법 및 시스템
WO2020209647A1 (ko) * 2019-04-09 2020-10-15 네오사피엔스 주식회사 사용자 인터페이스를 통해 텍스트에 대한 합성 음성을 생성하는 방법 및 시스템
WO2020235712A1 (ko) * 2019-05-21 2020-11-26 엘지전자 주식회사 콘텐츠 기반의 스타일을 갖는 텍스트 또는 음성을 생성하는 인공 지능 장치 및 그 방법
US11430438B2 (en) 2019-03-22 2022-08-30 Samsung Electronics Co., Ltd. Electronic device providing response corresponding to user conversation style and emotion and method of operating same
WO2023146030A1 (ko) * 2022-01-28 2023-08-03 주식회사 마블러스 감성, 집중도, 대화를 통합한 인공지능 기반 상호작용 장치, 방법 및 프로그램

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786299B2 (en) * 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
US9722965B2 (en) * 2015-01-29 2017-08-01 International Business Machines Corporation Smartphone indicator for conversation nonproductivity
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
US20180358021A1 (en) * 2015-12-23 2018-12-13 Intel Corporation Biometric information for dialog system
US10489509B2 (en) * 2016-03-14 2019-11-26 International Business Machines Corporation Personality based sentiment analysis of textual information written in natural language
US10831802B2 (en) * 2016-04-11 2020-11-10 Facebook, Inc. Techniques to respond to user requests using natural-language machine learning based on example conversations
US10567312B2 (en) 2016-04-11 2020-02-18 Facebook, Inc. Techniques for messaging bot controls based on machine-learning user intent detection
JP6791669B2 (ja) * 2016-07-12 2020-11-25 Ｓｕｐｅｒｓｈｉｐ株式会社 情報処理装置及びプログラム
US11233760B2 (en) 2016-09-21 2022-01-25 Facebook, Inc. Module ranking for a modular inbox
US10356029B2 (en) 2016-09-21 2019-07-16 Facebook, Inc. Methods and systems for presenting modules in an inbox interface
WO2018060993A1 (en) * 2016-09-27 2018-04-05 Faception Ltd. Method and system for personality-weighted emotion analysis
US10217453B2 (en) 2016-10-14 2019-02-26 Soundhound, Inc. Virtual assistant configured by selection of wake-up phrase
CN106503805B (zh) * 2016-11-14 2019-01-29 合肥工业大学 一种基于机器学习的双模态人人对话情感分析方法
US9934785B1 (en) * 2016-11-30 2018-04-03 Spotify Ab Identification of taste attributes from an audio signal
US11016719B2 (en) * 2016-12-30 2021-05-25 DISH Technologies L.L.C. Systems and methods for aggregating content
US10373278B2 (en) 2017-02-15 2019-08-06 International Business Machines Corporation Annotation of legal documents with case citations
US10452780B2 (en) 2017-02-15 2019-10-22 International Business Machines Corporation Tone analysis of legal documents
US10318799B2 (en) * 2017-02-16 2019-06-11 Wipro Limited Method of predicting an interest of a user and a system thereof
US10558757B2 (en) * 2017-03-11 2020-02-11 International Business Machines Corporation Symbol management
JP2018167339A (ja) * 2017-03-29 2018-11-01 富士通株式会社 発話制御プログラム、情報処理装置及び発話制御方法
US10535344B2 (en) * 2017-06-08 2020-01-14 Microsoft Technology Licensing, Llc Conversational system user experience
CN109146450A (zh) 2017-06-16 2019-01-04 阿里巴巴集团控股有限公司 支付方法、客户端、电子设备、存储介质和服务器
US11188809B2 (en) * 2017-06-27 2021-11-30 International Business Machines Corporation Optimizing personality traits of virtual agents
CN107516533A (zh) * 2017-07-10 2017-12-26 阿里巴巴集团控股有限公司 一种会话信息处理方法、装置、电子设备
US20190065458A1 (en) * 2017-08-22 2019-02-28 Linkedin Corporation Determination of languages spoken by a member of a social network
CN107657017B (zh) * 2017-09-26 2020-11-13 百度在线网络技术（北京）有限公司 用于提供语音服务的方法和装置
CN110121706B (zh) * 2017-10-13 2022-05-03 微软技术许可有限责任公司 提供会话中的响应
CN107945848A (zh) * 2017-11-16 2018-04-20 百度在线网络技术（北京）有限公司 一种健身指导实现方法、装置、设备和介质
CN110301117B (zh) * 2017-11-24 2022-10-21 微软技术许可有限责任公司 用于在会话中提供响应的方法和装置
CN109857352A (zh) * 2017-11-30 2019-06-07 富泰华工业（深圳）有限公司 动画显示方法及人机交互装置
US10636419B2 (en) * 2017-12-06 2020-04-28 Sony Interactive Entertainment Inc. Automatic dialogue design
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
US10372825B2 (en) 2017-12-18 2019-08-06 International Business Machines Corporation Emotion detection and expression integration in dialog systems
CN110019848A (zh) * 2017-12-22 2019-07-16 深圳市优必选科技有限公司 对话交互方法、装置及机器人
CN108091324B (zh) 2017-12-22 2021-08-17 北京百度网讯科技有限公司 语气识别方法、装置、电子设备和计算机可读存储介质
CN108009287A (zh) * 2017-12-25 2018-05-08 北京中关村科金技术有限公司 一种基于对话系统的回答数据生成方法以及相关装置
CN108154888A (zh) * 2017-12-26 2018-06-12 四川沐迪圣科技有限公司 一种基于语音特征的可穿戴设备监测心理健康方法
AU2019212839B2 (en) * 2018-01-29 2023-11-09 EmergeX, LLC System and method for facilitating affective-state-based artificial intelligence
CA3089720A1 (en) * 2018-02-06 2019-08-15 Vi Labs Ltd Digital personal assistant
US10522143B2 (en) * 2018-02-27 2019-12-31 Microsoft Technology Licensing, Llc Empathetic personal virtual digital assistant
CN108597509A (zh) * 2018-03-30 2018-09-28 百度在线网络技术（北京）有限公司 智能语音交互实现方法、装置、计算机设备及存储介质
US10622007B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US20190325866A1 (en) * 2018-04-20 2019-10-24 Spotify Ab Systems and Methods for Enhancing Responsiveness to Utterances Having Detectable Emotion
US10621983B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US11604831B2 (en) * 2018-06-08 2023-03-14 Ntt Docomo, Inc. Interactive device
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
JP2021529382A (ja) 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
US11132681B2 (en) 2018-07-06 2021-09-28 At&T Intellectual Property I, L.P. Services for entity trust conveyances
US10802872B2 (en) 2018-09-12 2020-10-13 At&T Intellectual Property I, L.P. Task delegation and cooperation for automated assistants
US11354507B2 (en) 2018-09-13 2022-06-07 International Business Machines Corporation Compared sentiment queues
WO2020060151A1 (en) 2018-09-19 2020-03-26 Samsung Electronics Co., Ltd. System and method for providing voice assistant service
US20200099634A1 (en) * 2018-09-20 2020-03-26 XRSpace CO., LTD. Interactive Responding Method and Computer System Using the Same
CN109359181B (zh) * 2018-09-27 2021-11-19 深圳前海微众银行股份有限公司 负面情绪原因识别方法、设备及计算机可读存储介质
CN111048062B (zh) * 2018-10-10 2022-10-04 华为技术有限公司 语音合成方法及设备
US11481186B2 (en) 2018-10-25 2022-10-25 At&T Intellectual Property I, L.P. Automated assistant context and protocol
CN109352666A (zh) * 2018-10-26 2019-02-19 广州华见智能科技有限公司 一种基于机器语音对话的情感发泄方法及系统
CN109493885A (zh) * 2018-11-13 2019-03-19 平安科技（深圳）有限公司 心理状态评估及调节方法、装置及存储介质、服务器
FR3089324A1 (fr) * 2018-11-29 2020-06-05 Orange Procédé de détermination d’un agent conversationnel sur un terminal
EP3664470B1 (en) 2018-12-05 2021-02-17 Sonova AG Providing feedback of an own voice loudness of a user of a hearing device
US11222631B2 (en) * 2018-12-11 2022-01-11 International Business Machines Corporation Performance evaluation using audio and structured feedback
CN111475206B (zh) * 2019-01-04 2023-04-11 优奈柯恩(北京)科技有限公司 用于唤醒可穿戴设备的方法及装置
US11854538B1 (en) * 2019-02-15 2023-12-26 Amazon Technologies, Inc. Sentiment detection in audio data
CN109977215B (zh) 2019-03-29 2021-06-18 百度在线网络技术（北京）有限公司 基于关联兴趣点的语句推荐方法和装置
RU2720359C1 (ru) * 2019-04-16 2020-04-29 Хуавэй Текнолоджиз Ко., Лтд. Способ и оборудование распознавания эмоций в речи
TWI751560B (zh) * 2019-05-20 2022-01-01 仁寶電腦工業股份有限公司 語音轉文字裝置以及語音轉文字方法
CN110287323B (zh) * 2019-06-27 2020-10-23 成都冰鉴信息科技有限公司 一种面向目标的情感分类方法
CN110413788B (zh) * 2019-07-30 2023-01-31 携程计算机技术（上海）有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
KR20210020656A (ko) * 2019-08-16 2021-02-24 엘지전자 주식회사 인공 지능을 이용한 음성 인식 방법 및 그 장치
CN110705584A (zh) * 2019-08-21 2020-01-17 深圳壹账通智能科技有限公司 情绪识别方法、装置、计算机装置及存储介质
US11587561B2 (en) * 2019-10-25 2023-02-21 Mary Lee Weir Communication system and method of extracting emotion data during translations
WO2021141419A1 (en) * 2020-01-07 2021-07-15 Samsung Electronics Co., Ltd. Method and apparatus for generating customized content based on user intent
JP7248615B2 (ja) * 2020-03-19 2023-03-29 ヤフー株式会社 出力装置、出力方法及び出力プログラム
US11735206B2 (en) * 2020-03-27 2023-08-22 Harman International Industries, Incorporated Emotionally responsive virtual personal assistant
CN112883145B (zh) * 2020-12-24 2022-10-11 浙江万里学院 一种面向中文评论的情感多倾向分类方法
CN112396185B (zh) * 2021-01-21 2021-05-11 中国人民解放军国防科技大学 一种事实验证方法、系统、计算机设备和存储介质
WO2022214616A1 (en) * 2021-04-09 2022-10-13 Interdigital Ce Patent Holdings, Sas Personalizing audio-visual content based on user's interest
CN112989822B (zh) * 2021-04-16 2021-08-27 北京世纪好未来教育科技有限公司 识别对话中句子类别的方法、装置、电子设备和存储介质
CN113791690B (zh) * 2021-09-22 2024-03-29 入微智能科技(南京)有限公司 一种带有实时情绪识别功能的人机交互公共设备
US20230169990A1 (en) * 2021-12-01 2023-06-01 Verizon Patent And Licensing Inc. Emotionally-aware voice response generation method and apparatus
CN114283820A (zh) * 2021-12-30 2022-04-05 思必驰科技股份有限公司 多角色语音的交互方法、电子设备和存储介质
CN116030811B (zh) * 2023-03-22 2023-06-30 广州小鹏汽车科技有限公司 语音交互方法、车辆及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207214A (ja) * 1999-01-20 2000-07-28 Victor Co Of Japan Ltd 対話装置
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3799134B2 (ja) * 1997-05-28 2006-07-19 ソニー株式会社 システムおよび通知方法
IL122632A0 (en) * 1997-12-16 1998-08-16 Liberman Amir Apparatus and methods for detecting emotions
US6246672B1 (en) * 1998-04-28 2001-06-12 International Business Machines Corp. Singlecast interactive radio system
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US7222075B2 (en) 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
US6151571A (en) 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters
US6598020B1 (en) * 1999-09-10 2003-07-22 International Business Machines Corporation Adaptive emotion and initiative generator for conversational systems
US6757362B1 (en) 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
CN1283428C (zh) 2000-03-31 2006-11-08 索尼公司 机器人设备、控制机器人设备动作的方法
JP3561211B2 (ja) 2000-06-27 2004-09-02 株式会社東芝 情報処理装置および不揮発性記憶装置の書き換え制御方法
US20020029203A1 (en) * 2000-09-01 2002-03-07 Pelland David M. Electronic personal assistant with personality adaptation
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
WO2002067194A2 (en) 2001-02-20 2002-08-29 I & A Research Inc. System for modeling and simulating emotion states
JP2002304188A (ja) 2001-04-05 2002-10-18 Sony Corp 単語列出力装置および単語列出力方法、並びにプログラムおよび記録媒体
EP1256937B1 (en) * 2001-05-11 2006-11-02 Sony France S.A. Emotion recognition method and device
US20030093280A1 (en) * 2001-07-13 2003-05-15 Pierre-Yves Oudeyer Method and apparatus for synthesising an emotion conveyed on a sound
WO2003073417A2 (en) 2002-02-26 2003-09-04 Sap Aktiengesellschaft Intelligent personal assistants
KR20050015584A (ko) * 2003-08-06 2005-02-21 삼성전자주식회사 감정 표현이 가능한 통신 장치 및 방법
KR100680191B1 (ko) * 2003-09-05 2007-02-08 삼성전자주식회사 감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템
US7944448B2 (en) 2005-06-14 2011-05-17 Omron Corporation Apparatus and method for socially intelligent virtual entity
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
US20080096533A1 (en) 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
JP4965322B2 (ja) * 2007-04-17 2012-07-04 日本電信電話株式会社 ユーザ支援方法、ユーザ支援装置およびユーザ支援プログラム
CN101474481B (zh) 2009-01-12 2010-07-21 北京科技大学 情感机器人系统
KR101594057B1 (ko) * 2009-08-19 2016-02-15 삼성전자주식회사 텍스트 데이터의 처리 방법 및 장치
US8719277B2 (en) * 2011-08-08 2014-05-06 Google Inc. Sentimental information associated with an object within a media
RU2553413C2 (ru) * 2012-08-29 2015-06-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Воронежский государственный университет" (ФГБУ ВПО "ВГУ") Способ выявления эмоционального состояния человека по голосу
RU2530267C2 (ru) 2012-11-28 2014-10-10 Общество с ограниченной ответственностью "Спиктуит" Способ коммуникации пользователя с информационной диалоговой системой
US20150358416A1 (en) 2013-01-23 2015-12-10 Persuasive Labs Inc. Method and apparatus for adapting customer interaction based on assessed personality
CN103198827B (zh) * 2013-03-26 2015-06-17 合肥工业大学 基于韵律特征参数和情感参数关联性的语音情感修正方法
KR101504699B1 (ko) * 2013-04-09 2015-03-20 얄리주식회사 유무선 통신 네트워크를 이용한 음성대화방법 및 장치
US20140343947A1 (en) 2013-05-15 2014-11-20 GM Global Technology Operations LLC Methods and systems for managing dialog of speech systems
US8971183B1 (en) * 2013-09-08 2015-03-03 Divyahans Gupta Control signal traffic profile based mobile application access management
US9514748B2 (en) * 2014-01-15 2016-12-06 Microsoft Technology Licensing, Llc Digital personal assistant interaction with impersonations and rich multimedia in responses
US10803850B2 (en) * 2014-09-08 2020-10-13 Microsoft Technology Licensing, Llc Voice generation with predetermined emotion type
US9786299B2 (en) * 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
US9641563B1 (en) * 2015-11-10 2017-05-02 Ricoh Company, Ltd. Electronic meeting intelligence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207214A (ja) * 1999-01-20 2000-07-28 Victor Co Of Japan Ltd 対話装置
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067710A1 (ko) * 2018-09-27 2020-04-02 삼성전자 주식회사 대화형 인터페이스를 제공하는 방법 및 시스템
US11423895B2 (en) 2018-09-27 2022-08-23 Samsung Electronics Co., Ltd. Method and system for providing an interactive interface
US11430438B2 (en) 2019-03-22 2022-08-30 Samsung Electronics Co., Ltd. Electronic device providing response corresponding to user conversation style and emotion and method of operating same
WO2020209647A1 (ko) * 2019-04-09 2020-10-15 네오사피엔스 주식회사 사용자 인터페이스를 통해 텍스트에 대한 합성 음성을 생성하는 방법 및 시스템
WO2020235712A1 (ko) * 2019-05-21 2020-11-26 엘지전자 주식회사 콘텐츠 기반의 스타일을 갖는 텍스트 또는 음성을 생성하는 인공 지능 장치 및 그 방법
US11488576B2 (en) 2019-05-21 2022-11-01 Lg Electronics Inc. Artificial intelligence apparatus for generating text or speech having content-based style and method for the same
WO2023146030A1 (ko) * 2022-01-28 2023-08-03 주식회사 마블러스 감성, 집중도, 대화를 통합한 인공지능 기반 상호작용 장치, 방법 및 프로그램

Also Published As

Publication number Publication date
KR102632775B1 (ko) 2024-02-01
RU2017119007A3 (ko) 2019-06-19
CN107003997A (zh) 2017-08-01
MX2017007317A (es) 2017-08-25
AU2020239704B2 (en) 2021-12-16
AU2020239704A1 (en) 2020-10-15
KR20220147150A (ko) 2022-11-02
AU2015355097A1 (en) 2017-05-25
US9786299B2 (en) 2017-10-10
AU2015355097B2 (en) 2020-06-25
US20160163332A1 (en) 2016-06-09
US20180005646A1 (en) 2018-01-04
BR112017010047B1 (pt) 2023-03-14
KR102457486B1 (ko) 2022-10-20
CA2967976C (en) 2022-08-09
RU2017119007A (ru) 2018-12-03
WO2016089929A1 (en) 2016-06-09
JP2018503894A (ja) 2018-02-08
BR112017010047A2 (pt) 2018-01-02
JP6803333B2 (ja) 2020-12-23
CA2967976A1 (en) 2016-06-09
RU2705465C2 (ru) 2019-11-07
EP3227885A1 (en) 2017-10-11
US10515655B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
AU2020239704B2 (en) Emotion type classification for interactive dialog system
US10809876B2 (en) Virtual assistant conversations
US10175865B2 (en) Evaluating conversation data based on risk factors
CN110998725B (zh) 在对话中生成响应
US11423895B2 (en) Method and system for providing an interactive interface
US20180367475A1 (en) Context-sensitive generation of conversational responses
US20180331839A1 (en) Emotionally intelligent chat engine
US10791072B2 (en) Generating conversations for behavior encouragement
US20120072424A1 (en) Developing a Knowledge Base Associated with a User That Facilitates Evolution of an Intelligent User Interface
US8504487B2 (en) Evolution of a user interface based on learned idiosyncrasies and collected data of a user
JP2019204512A (ja) コンテキスト情報に基づいた質問および回答インターフェース
JP2013175066A (ja) ３次元フィギアを構成するデータを配信するための方法、システム、サーバ装置、端末装置およびプログラム
CN112138410B (zh) 一种虚拟对象的交互方法以及相关装置
CN117959715A (zh) 交互方法、装置、介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant