KR20180122106A - 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템 - Google Patents

사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템 Download PDF

Info

Publication number
KR20180122106A
KR20180122106A KR1020170056128A KR20170056128A KR20180122106A KR 20180122106 A KR20180122106 A KR 20180122106A KR 1020170056128 A KR1020170056128 A KR 1020170056128A KR 20170056128 A KR20170056128 A KR 20170056128A KR 20180122106 A KR20180122106 A KR 20180122106A
Authority
KR
South Korea
Prior art keywords
user
option
options
determining
voice input
Prior art date
Application number
KR1020170056128A
Other languages
English (en)
Other versions
KR101949497B1 (ko
Inventor
차세진
최은정
Original Assignee
네이버 주식회사
라인 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 라인 가부시키가이샤 filed Critical 네이버 주식회사
Priority to KR1020170056128A priority Critical patent/KR101949497B1/ko
Priority to JP2018085215A priority patent/JP2018190413A/ja
Priority to US15/969,394 priority patent/US10657963B2/en
Publication of KR20180122106A publication Critical patent/KR20180122106A/ko
Application granted granted Critical
Publication of KR101949497B1 publication Critical patent/KR101949497B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/72522—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템을 제공한다. 사용자 명령 처리 방법은 사용자 명령에 따라 수행 가능한 적어도 하나의 기 정의된 동작을 관리하는 단계(상기 적어도 하나의 기 정의된 동작 각각과 관련하여 복수의 옵션들이 기 설정됨), 사용자로부터 수신된 음성 입력을 적어도 포함하는 사용자 명령을 수신하는 단계, 상기 음성 입력에서 추출되는 키워드에 대응하는 동작을 선택하는 단계, 상기 선택된 동작과 관련하여 기 설정된 복수의 옵션들 중 상기 추출된 키워드에 대응하는 적어도 하나의 옵션을 결정하되, 상기 음성 입력의 표현법에 따라 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계 및 상기 결정된 적어도 하나의 옵션과 연계하여 상기 선택된 동작을 수행하는 단계를 포함할 수 있다.

Description

사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템{METHOD AND SYSTEM FOR PROCESSING USER COMMAND TO PROVIDE AND ADJUST OPERATION OF DEVICE OR RANGE OF PROVIDING CONTENTS ACCODING TO ANALYZING PRESENTATION OF USER SPEECH}
아래의 설명은 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템, 그리고 컴퓨터와 결합되어 사용자 명령 처리 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체에 관한 것이다.
홈 네트워크 서비스의 인공지능 스피커와 같이 음성을 기반으로 동작하는 인터페이스는 시각 정보를 사용할 수 없기 때문에, 다양한 옵션 중에서 하나의 옵션을 선택하는 행위나 많은 수의 정보들 중에서 하나의 정보를 선택하는 행위가 어렵다는 문제점이 있다. 예를 들어, 한국공개특허 제10-2011-0139797호는 홈 미디어 디바이스 및 이를 이용한 홈 네트워크 시스템, 방법에 관한 기술로, 홈 네트워크 서비스에서 이동통신망 외에 와이파이와 같은 제2 통신망을 이용하여 홈 네트워크 서비스를 제공하는 것이 가능하고, 홈내 복수의 멀티미디어 기기를 사용자가 별도의 버튼 조작 없이도 음성 명령을 통해 다중 제어할 수 있는 기술을 개시하고 있다. 이러한 홈 네트워크 서비스에서 사용자의 음성 명령을 입력받는 전자 기기가 사용자의 음성 입력 "불 꺼줘"를 수신한 경우를 고려할 수 있다. 이러한 전자 기기는 수신한 음성 입력 "불 꺼줘"를 분석하여 스마트 조명기기의 라이트 전원을 오프(OFF)하는 것을 고려할 수 있으나, 홈 네트워크상에 다수의 스마트 조명 기기들이 존재하는 경우에는 어느 스마트 조명기기의 라이트 전원을 오프해야 하는 가에 대한 결정의 상황에 직면하게 된다. 이러한 종래기술에서는 이미 입력된 사용자의 음성 입력만으로 음성 입력에 따라 선택된 동작과 관련된 다양한 옵션들 중에서 사용자가 의도한 옵션을 선택하기 어려우며, 이와 유사하게 사용자의 음성 입력이 의도하는 정보를 제공함에 있어서도, 관련된 다양한 정보들을 어떠한 옵션에 따라 제공할 것인가를 선택하기 어렵다는 문제점이 있다.
사용자 명령에 따라 수행 가능한 전자 기기의 기 정의된 동작과 관련하여 동작의 다양의 옵션들에 대해, 사용자로부터 수신된 음성 입력이 옵션의 결정을 위한 직접적인 키워드를 포함하고 있지 않는 경우에도 음성 입력의 표현법에 따라 옵션을 결정하여, 결정된 옵션과 연계하여 선택된 동작을 수행할 수 있는 사용자 명령 처리 방법 및 시스템 그리고, 컴퓨터와 결합되어 사용자 명령 처리 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.
사용자의 음성 입력이 옵션의 결정을 위한 직접적인 키워드를 포함하고 있지 않는 경우에도 이러한 음성 입력의 표현법으로서 선택된 동작과 연관된 사람과 사용자간의 사회적 관계, 음성 입력을 통해 얻어지는 사용자의 말투 및 어조 중 적어도 하나에 기반하여 분석된 사용자 명령의 시급성 및/또는 사용자 감성 등을 활용하여 옵션을 결정할 수 있는 사용자 명령 처리 방법 및 시스템 그리고, 컴퓨터와 결합되어 사용자 명령 처리 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.
사용자 명령 처리 방법에 있어서, 사용자 명령에 따라 수행 가능한 적어도 하나의 기 정의된 동작을 관리하는 단계(상기 적어도 하나의 기 정의된 동작 각각과 관련하여 복수의 옵션들이 기 설정됨); 사용자로부터 수신된 음성 입력을 적어도 포함하는 사용자 명령을 수신하는 단계; 상기 음성 입력에서 추출되는 키워드에 대응하는 동작을 선택하는 단계; 상기 선택된 동작과 관련하여 기 설정된 복수의 옵션들 중 상기 추출된 키워드에 대응하는 적어도 하나의 옵션을 결정하되, 상기 음성 입력의 표현법에 따라 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계; 및 상기 결정된 적어도 하나의 옵션과 연계하여 상기 선택된 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 사용자 명령 처리 방법을 제공한다.
상기 사용자 명령 처리 방법을 컴퓨터에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터와 결합하여 상기 사용자 명령 처리 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
사용자 명령 처리 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 사용자 명령에 따라 수행 가능한 적어도 하나의 기 정의된 동작을 관리하고(상기 적어도 하나의 기 정의된 동작 각각과 관련하여 복수의 옵션들이 기 설정됨), 사용자로부터 수신된 음성 입력을 적어도 포함하는 사용자 명령을 수신하고, 상기 음성 입력에서 추출되는 키워드에 대응하는 동작을 선택하고, 상기 선택된 동작과 관련하여 기 설정된 복수의 옵션들 중 상기 추출된 키워드에 대응하는 적어도 하나의 옵션을 결정하되, 상기 음성 입력의 표현법에 따라 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하고, 상기 결정된 적어도 하나의 옵션과 연계하여 상기 선택된 동작을 수행하는 것을 특징으로 하는 사용자 명령 처리 시스템을 제공한다.
사용자 명령에 따라 수행 가능한 전자 기기의 기 정의된 동작과 관련하여 동작의 다양의 옵션들에 대해, 사용자로부터 수신된 음성 입력이 옵션의 결정을 위한 직접적인 키워드를 포함하고 있지 않는 경우에도 음성 입력의 표현법에 따라 옵션을 결정하여, 결정된 옵션과 연계하여 선택된 동작을 수행할 수 있다.
사용자의 음성 입력이 옵션의 결정을 위한 직접적인 키워드를 포함하고 있지 않는 경우에도 이러한 음성 입력의 표현법으로서 선택된 동작과 연관된 사람과 사용자간의 사회적 관계, 음성 입력을 통해 얻어지는 사용자의 말투 및 어조 중 적어도 하나에 기반하여 분석된 사용자 명령의 시급성 및/또는 사용자 감성 등을 활용하여 옵션을 결정할 수 있다.
도 1은 본 발명의 일실시예에 따른 음성 기반의 인터페이스를 활용한 서비스 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 음성 기반의 인터페이스를 활용한 서비스 환경의 다른 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 일실시예에 따른 전자 기기가 수행할 수 있는 사용자 명령 처리 방법의 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 있어서, 음성 입력의 표현법에 따라 옵션을 결정하지 못하는 경우의 사용자 명령 처리 방법의 예를 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 있어서, 자동으로 선택된 옵션을 추천 또는 확인 받기 위한 사용자 명령 처리 방법의 예를 도시한 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 외부 플랫폼을 활용하는 경우의 사용자 명령 처리 방법의 예를 도시한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 사용자 명령 처리 시스템은 음성을 기반으로 동작하는 인터페이스를 제공하는 전자 기기를 통해 구현될 수 있다. 사용자 명령은 사용자로부터 수신되는 음성 입력을 적어도 포함할 수 있으며, 전자 기기는 이러한 음성 입력을 직접 또는 별도의 인터페이스 커넥트를 통해 연결되는 외부 플랫폼을 통해 인식 및 분석하여 사용자 명령을 처리할 수 있다. 본 발명의 실시예들에 따른 사용자 명령 처리 방법은 상술한 전자 기기를 통해 수행될 수 있다. 이때, 전자 기기에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 전자 기기는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 일실시예에 따른 사용자 명령 처리 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터로 구현되는 전자 기기와 결합되어 사용자 명령 처리 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 음성 기반의 인터페이스를 활용한 서비스 환경의 예를 도시한 도면이다. 도 1의 실시예에서는 스마트홈(smart home)이나 홈 네트워크 서비스와 같이 댁내의 기기들을 연결하여 제어하는 기술에서, 음성을 기반으로 동작하는 인터페이스를 제공하는 전자 기기(100)가 사용자(110)의 발화에 따라 수신되는 음성 입력 "불 꺼줘"를 인식 및 분석하여 댁내에서 전자 기기(100)와 내부 네트워크를 통해 연계된 댁내 조명기기(130)의 라이트 전원을 제어하는 예를 나타내고 있다.
예를 들어, 댁내의 기기들은 상술한 댁내 조명기기(130) 외에도 텔레비전, PC(Personal Computer), 주변기기, 에어컨, 냉장고, 로봇 청소기 등과 같은 가전제품을 비롯하여, 수도, 전기, 냉난방 기기 등과 같은 에너지 소비장치, 도어록, 감시카메라 등과 같은 보안기기 등 온라인 상에서 연결되어 제어될 수 있는 다양한 기기들을 포함할 수 있다. 또한, 내부 네트워크는 이더넷(Ethernet), HomePNA, IEEE 1394와 같은 유선 네트워크 기술이나, 블루투스(Bluetooth), UWB(ultra Wide Band), 지그비(ZigBee), Wireless 1394, Home RF와 같은 무선 네트워크 기술 등이 활용될 수 있다.
전자 기기(100)는 댁내의 기기들 중 하나일 수 있다. 예를 들어, 전자 기기(100)는 댁내에 구비된 인공지능 스피커나 로봇 청소기 등과 같은 기기들 중 하나일 수 있다. 또한, 전자 기기(100)는 스마트폰(smart phone), 휴대폰, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등과 같은 사용자(110)의 모바일 기기일 수도 있다. 이처럼 전자 기기(100)는 사용자(110)의 음성 입력을 수신하여 댁내의 기기들을 제어하기 위해 댁내의 기기들과 연결 가능한 기능을 포함하는 기기라면 특별히 제한되지 않는다.
도 2는 본 발명의 일실시예에 따른 음성 기반의 인터페이스를 활용한 서비스 환경의 예를 도시한 도면이다. 도 2는 음성을 기반으로 동작하는 인터페이스를 제공하는 전자 기기(100)가 사용자(110)의 발화에 따라 수신되는 음성 입력 "오늘 날씨"를 인식 및 분석하여 외부 네트워크를 통해 외부 서버(210)로부터 오늘의 날씨에 대한 정보를 획득하고, 획득한 정보를 음성으로 출력하는 예를 나타내고 있다.
예를 들어, 외부 네트워크는 PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.
도 2의 실시예에서도 전자 기기(100)는 댁내의 기기들 중 하나이거나 사용자(110)의 모바일 기기 중 하나일 수 있으며, 사용자(110)의 음성 입력을 수신하여 처리하기 위한 기능과 외부 네트워크를 통해 외부 서버(210)에 접속하여 외부 서버(210)가 제공하는 서비스나 컨텐츠를 사용자(110)에게 제공하기 위한 기능을 포함하는 기기라면 특별히 제한되지 않는다.
이처럼, 본 발명의 실시예들에 따른 전자 기기(100)는 음성 기반의 인터페이스를 통해 사용자(110)의 발화에 따라 수신되는 음성 입력을 적어도 포함하는 사용자 명령을 처리할 수 있는 기기라면 특별히 제한되지 않을 수 있다. 예를 들어, 전자 기기(100)는 직접 사용자의 음성 입력을 인식 및 분석하여 음성 입력에 알맞은 동작을 수행함으로써 사용자 명령을 처리할 수도 있으나, 실시예에 따라 사용자의 음성 입력에 대한 인식이나 인식된 음성 입력의 분석, 사용자에게 제공될 음성의 합성 등의 처리를 전자 기기(100)와 연계된 외부의 플랫폼을 통해 수행할 수도 있다.
도 3은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다. 도 3은 전자 기기들(310)과 클라우드 인공지능 플랫폼(320) 및 컨텐츠·서비스(330)를 나타내고 있다.
일례로, 전자 기기들(310)은 댁내에 구비되는 기기들을 의미할 수 있으며, 적어도 앞서 설명한 전자 기기(100)를 포함할 수 있다. 이러한 전자 기기들(310)이나 전자 기기들(310)에 설치 및 구동되는 어플리케이션들(이하, 앱들)은 인터페이스 커넥트(340)를 통해 클라우드 인공지능 플랫폼(320)과 연계될 수 있다. 여기서 인터페이스 커넥트(340)는 전자 기기들(310)이나 전자 기기들(310)에 설치 및 구동되는 앱들의 개발을 위한 SDK(Software Development Kit) 및/또는 개발 문서들을 개발자들에게 제공할 수 있다. 또한, 인터페이스 커넥트(340)는 전자 기기들(310)이나 전자 기기들(310)에 설치 및 구동되는 앱들이 클라우드 인공지능 플랫폼(320)이 제공하는 기능들을 활용할 수 있는 API(Application Program Interface)를 제공할 수 있다. 구체적인 예로, 개발자들은 인터페이스 커넥트(340)가 제공하는 SDK(Software Development Kit) 및/또는 개발 문서를 이용하여 개발한 기기나 앱은 인터페이스 커넥트(340)가 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(320)이 제공하는 기능들을 활용할 수 있게 된다.
여기서 클라우드 인공지능 플랫폼(320)은 음성 기반의 서비스를 제공하기 위한 기능을 제공할 수 있다. 예를 들어, 클라우드 인공지능 플랫폼(320)은 수신된 음성을 인식하고, 출력될 음성을 합성하기 위한 음성처리모듈(321), 수신된 영상이나 동영상을 분석하여 처리하기 위한 비전처리모듈(322), 수신된 음성에 따라 알맞은 음성을 출력하기 위해 적절한 대화를 결정하기 위한 대화처리모듈(323), 수신된 음성에 알맞은 기능을 추천하기 위한 추천모듈(324), 인공지능이 데이터 학습을 통해 문장 단위로 언어를 번역할 수 있도록 지원하는 인공신경망 기반 기계 번역(Neural Machine Translation, NMT, 325) 등과 같이 음성 기반 서비스를 제공하기 위한 다양한 모듈들을 포함할 수 있다.
예를 들어, 도 1 및 도 2의 실시예들에서 전자 기기(100)는 사용자(110)의 음성 입력을 인터페이스 커넥트(340)에서 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(320)으로 전송할 수 있다. 이 경우, 클라우드 인공지능 플랫폼(320)은 수신된 음성 입력을 상술한 모듈들(321 내지 325)을 활용하여 인식 및 분석할 수 있으며, 수신된 음성 입력에 따라 적절한 답변 음성을 합성하여 제공하거나, 적절한 동작을 추천할 수 있다.
또한, 확장 키트(350)는 제3자 콘텐츠 개발자 또는 회사들이 클라우드 인공지능 플랫폼(320)에 기반하여 새로운 음성기반 기능을 구현할 수 있는 개발 키트를 제공할 수 있다. 예를 들어, 도 2의 실시예에서, 전자 기기(100)는 수신된 사용자(110)의 음성 입력을 외부 서버(210)로 전송할 수 있고, 외부 서버(210)는 확장 키트(350)를 통해 제공되는 API를 통해 클라우드 인공지능 플랫폼(320)으로 음성 입력을 전송할 수 있다. 이 경우, 앞서 설명한 바와 유사하게 클라우드 인공지능 플랫폼(320)은 수신되는 음성 입력을 인식, 분석하여 적절한 답변 음성을 합성하여 제공하거나 음성 입력을 통해 처리되어야 할 기능에 대한 추천정보를 외부 서버(210)로 제공할 수 있다. 일례로, 도 2에서, 외부 서버(210)는 음성 입력 "오늘 날씨"를 클라우드 인공지능 플랫폼(320)으로 전송할 수 있고, 클라우드 인공지능 플랫폼(320)으로부터 음성 입력 "오늘 날씨"의 인식을 통해 추출되는 키워드 "오늘" 및 "날씨"를 수신할 수 있다. 이 경우, 외부 서버(210)는 키워드 "오늘" 및 "날씨"를 통해 "오늘의 날씨는 …"와 같은 텍스트 정보를 생성하여 다시 클라우드 인공지능 플랫폼(320)으로 생성된 텍스트 정보를 전송할 수 있다. 이때, 클라우드 인공지능 플랫폼(320)는 텍스트 정보를 음성으로 합성하여 외부 서버(210)로 제공할 수 있다. 외부 서버(210)는 합성된 음성을 전자 기기(100)로 전송할 수 있고, 전자 기기(100)는 합성된 음성 "오늘의 날씨는 …"을 스피커를 통해 출력함으로써, 사용자(110)로부터 수신한 음성 입력 "오늘 날씨"가 처리될 수 있다.
도 4는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 4의 전자 기기(410)는 앞서 설명한 전자 기기(100)에 대응할 수 있고, 서버(420)는 앞서 설명한 외부 서버(210)나 클라우드 인공지능 플랫폼(320)을 구현하는 하나의 컴퓨터 장치에 대응할 수 있다.
전자 기기(410)과 서버(420)는 메모리(411, 421), 프로세서(412, 422), 통신 모듈(413, 423) 그리고 입출력 인터페이스(414, 424)를 포함할 수 있다. 메모리(411, 421)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(411, 421)와는 구분되는 별도의 영구 저장 장치로서 전자 기기(410)나 서버(420)에 포함될 수도 있다. 또한, 메모리(411, 421)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 전자 기기(410)에 설치되어 특정 서비스의 제공을 위해 전자 기기(410)에서 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(411, 421)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(413, 423)을 통해 메모리(411, 421)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(430)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 전자 기기(410)의 메모리(411)에 로딩될 수 있다.
프로세서(412, 422)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(411, 421) 또는 통신 모듈(413, 423)에 의해 프로세서(412, 422)로 제공될 수 있다. 예를 들어 프로세서(412, 422)는 메모리(411, 421)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(413, 423)은 네트워크(430)를 통해 전자 기기(410)과 서버(420)가 서로 통신하기 위한 기능을 제공할 수 있으며, 전자 기기(410) 및/또는 서버(420)가 다른 전자 기기 또는 다른 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기(410)의 프로세서(412)가 메모리(411)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(430)를 통해 서버(420)로 전달될 수 있다. 역으로, 서버(420)의 프로세서(422)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(430)를 거쳐 전자 기기(410)의 통신 모듈(213)을 통해 전자 기기(410)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(420)의 제어 신호나 명령, 컨텐츠, 파일 등은 프로세서(412)나 메모리(411)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기(410)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(414)는 입출력 장치(415)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(414)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(415)는 전자 기기(410)와 하나의 장치로 구성될 수도 있다. 또한, 서버(420)의 입출력 인터페이스(424)는 서버(420)와 연결되거나 서버(420)가 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다.
또한, 다른 실시예들에서 전자 기기(410) 및 서버(420)는 도 4의 구성요소들보다 더 적은 또는 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기(410)는 상술한 입출력 장치(415) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기(410)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기(410)에 더 포함되도록 구현될 수 있다.
본 실시예들에서 전자 기기(410)는 사용자의 음성 입력을 수신하기 위한 마이크를 입출력 장치(415)로서 기본적으로 포함할 수 있으며, 필요에 따라 사용자의 음성 입력에 대응하는 답변 음성이나 오디오 컨텐츠와 같은 소리를 출력하기 위한 스피커를 입출력 장치(415)로서 더 포함할 수 있다.
전자 기기(410)가 사용자 명령에 따라 수행할 수 있는 하나의 동작은 동작에 따라 복수의 옵션을 포함할 수 있다. 예를 들어, 사용자 명령이 포함하는 음성 입력 "불 꺼"와 관련하여 전자 기기(410)는 연계된 조명기기의 라이트 전원을 오프(off)하는 동작을 수행할 수 있다. 그러나 전자 기기(410)와 연계된 조명기기가 복수 개인 경우, 어느 조명기기의 라이트 전원을 오프할 것인가를 위한 옵션이 존재하게 된다. 사용자의 음성 입력은 이러한 옵션을 선택하기 위한 정보(일례로, "이 방 불꺼"의 "이 방")를 직접적으로 포함하고 있을 수도 있으나, 단순히 동작에 대한 정보만을 포함할 수도 있다. 본 발명의 실시예들에서는 이러한 옵션을 사용자로부터의 추가적인 음성 입력 없이 기존의 음성 입력의 표현법에 기반하여 선택할 수 있는 기술들에 대해 설명한다.
도 5는 본 발명의 일실시예에 따른 전자 기기가 수행할 수 있는 사용자 명령 처리 방법의 예를 도시한 흐름도이다. 본 발명의 실시예들에 따른 사용자 명령 처리 시스템은 앞서 설명한 전자 기기(410)과 같은 컴퓨터 장치의 형태로 구현될 수 있다. 이러한 전자 기기(410)는 도 5의 사용자 명령 처리 방법이 포함하는 단계들(510 내지 560)을 수행할 수 있다. 이때, 프로세서(412)는 메모리(411)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(412)는 전자 기기(410)에 저장된 코드가 제공하는 제어 명령에 따라 전자 기기(410)가 도 5의 단계들(510 내지 560)을 수행하도록 전자 기기(410)를 제어할 수 있다.
단계(510)에서 전자 기기(410)는 사용자 명령에 따라 수행 가능한 적어도 하나의 기 정의된 동작을 관리할 수 있다. 이때, 적어도 하나의 기 정의된 동작 각각과 관련하여 복수의 옵션들이 기 설정될 수 있다. 예를 들어, 하나의 동작에 대해 기설정된 옵션들은 해당 동작에 따라 제어될 기기의 종류를 선택하거나 또는 동작에 따라 제어될 특정 기기를 선택하는 것과 같이 기기를 선택하기 위한 옵션을 포함할 수 있다. 다른 예로, 하나의 동작에 대해 기설정된 옵션들은 해당 동작에 따라 제공될 컨텐츠의 특성이나 컨텐츠의 제공 순서 등과 같이 제공될 컨텐츠의 범위나 제공 방식 등을 제어하기 위한 옵션을 포함할 수 있다. 이러한 옵션의 구체적인 예에 대해서는 이후 더욱 자세히 설명한다.
단계(520)에서 전자 기기(410)는 사용자로부터 수신된 음성 입력을 적어도 포함하는 사용자 명령을 수신할 수 있다. 예를 들어 전자 기기(410)는 앞서 설명한 바와 같이 입출력 장치(415)로서 마이크를 포함할 수 있으며, 마이크를 통해 입력되는 사용자의 음성 입력을 포함하는 사용자 명령을 수신할 수 있다. 실시예에 따라 전자 기기(410)는 카메라를 포함하여 카메라를 통해 입력되는 영상을 음성 입력과 함께 사용자 명령으로서 수신할 수도 있다. 이러한 영상의 활용에 대해서는 이후 더욱 자세히 설명한다.
단계(530)에서 전자 기기(410)는 음성 입력에서 추출되는 키워드에 대응하는 동작을 선택할 수 있다. 예를 들어, 전자 기기(410)는 수신되는 음성 입력을 분석하여 음성 입력에 대응하는 문자열을 획득할 수 있고, 획득된 문자열을 분석하여 특정 키워드를 이용하여 대응하는 동작을 선택할 수 있다. 다른 예로, 전자 기기(410)는 도 3을 통해 설명한 클라우드 인공지능 플랫폼(320)과 같은 외부 플랫폼의 도움을 통해 키워드를 수신하거나 또는 키워드에 대응하는 동작을 선택할 수도 있다. 보다 구체적인 예로, 전자 기기(410)는 인터페이스 커넥트(340)를 통해 사용자의 음성 입력을 클라우드 인공지능 플랫폼(320)으로 전송하고, 클라우드 인공지능 플랫폼(320)이 음성 입력을 분석하여 제공하는 키워드나 키워드에 대응하는 추천 동작을 통해 사용자 명령에 알맞은 동작을 선택할 수도 있다.
단계(540)에서 전자 기기(410)는 선택된 동작과 관련하여 기 설정된 복수의 옵션들 중 추출된 키워드에 대응하는 적어도 하나의 옵션이 존재하는지 여부를 결정할 수 있다. 예를 들어, 조명기기의 라이트 전원을 오프(off)하기 위한 동작과 관련하여, 전자 기기(410)가 복수의 조명기기들과 연결되어 있는 경우, 복수의 조명기기들 중 특정 조명기기(또는 전체 조명기기)를 선택하기 위한 옵션이 해당 동작에 기설정될 수 있다. 이때, 전자 기기(410)는 사용자의 음성 입력에서 추출된 키워드를 통해 이러한 옵션의 선택이 가능한지 여부를 판단할 수 있다. 보다 구체적인 예로, 전자 기기(410)는 "작은 방 불 꺼"의 "작은 방"이나, "이 방 불 꺼줘"의 "이 방"과 같이 복수의 조명기기들 중 하나를 동작에 대해 기설정된 복수의 옵션들 중 적어도 하나로서 선택할 수 있는가를 결정할 수 있다. 다른 예로, 인스턴트 메시지를 전송하는 동작과 관련하여 인스턴트 메시지가 전송될 사람이 옵션의 선택을 통해 결정될 수도 있다. 보다 구체적인 예로, 해당 동작과 관련하여 메신저 서비스에서 사용자의 계정과 연관하여 등록된 다른 계정들이 복수의 옵션으로 해당 동작에 대해 기설정될 수 있다. 또는 사용자의 스마트폰에 저장된 전화번호들(전화번호들에 대하여 저장된 이름들)이 복수의 옵션으로 해당 동작에 대해 기설정될 수 있다. 이 경우, 전자 기기(410)는 "딸에게 일찍 오라고 문자 보내"의 "딸"이나 "어머님에게 일찍 오시라고 문자 드려"의 "어머님"과 같이 인스턴트 메시지를 전송하기 위한 사람을 동작에 대해 기설정된 복수의 옵션들 중 적어도 하나로서 선택할 수 있는가를 결정할 수 있다. 이때, 전자 기기(410)는 추출된 키워드에 대응하는 옵션이 존재하는 경우에는 단계(550)를, 추출된 키워드에 대응하는 옵션이 존재하지 않는 경우에는 단계(560)를 각각 수행할 수 있다.
단계(550)에서 전자 기기(410)는 복수의 옵션들 중 추출된 키워드에 대응하는 적어도 하나의 옵션을 결정할 수 있다. 다시 말해, 전자 기기(410)는 음성 입력에 포함된 키워드를 이용하여 대응하는 동작뿐만 아니라, 동작에 대해 기 설정된 옵션들 중 적어도 하나를 결정할 수 있다.
반면, 음성 입력에 포함된 키워드를 통해 동작에 대해 기 설정된 옵션들 중 적어도 하나를 결정하지 못하는 경우가 존재한다. 예를 들어, 음성 입력 "불 꺼"에서는 어느 조명기기의 라이트 전원을 끌 것인가에 대한 키워드가 포함되어 있지 않으며, 음성 입력 "일찍 오라고 문자 보내"에는 누구에게 문자를 보낼 것인가에 대한 키워드가 포함되어 있지 않다. 이 경우, 종래기술에서는 어느 조명기기 또는 누구를 사용자로부터 선택 받아야만 하나, 이미 설명한 바와 같이 음성 기반의 인터페이스에서는 사용자가 다양한 옵션들 중 하나를 선택하는 것이 시각적인 정보 기반의 인터페이스에서 다양한 옵션들 중 하나를 선택하는 것보다 어렵다는 문제점이 있다. 이에, 본 발명의 실시예들에서는 음성 입력의 표현법에 따라 옵션을 선택할 수 있는 기능을 제공할 수 있다.
단계(560)에서 전자 기기(410)는 음성 입력의 표현법에 따라 복수의 옵션들 중 적어도 하나의 옵션을 결정할 수 있다. 예를 들어, 전자 기기(410)는 음성 입력에 사용된 높임말이나, 사용자의 발화가 얼마나 탐색적(일례로, 사용자 명령의 시급성 정도)인가, 또는 사용자의 말투나 어조를 통해 파악되는 사용자의 감성 등에 기반하여 동작의 옵션을 결정할 수 있다.
일실시예로, 음성 입력의 표현법은, 선택된 동작과 연관된 사람과 사용자간의 사회적 관계를 나타내는 표현을 포함할 수 있다. 이 경우, 전자 기기(410)는 상기 표현에 따라 파악되는 사용자와의 사회적 관계에 기반하여 복수의 옵션들 중 적어도 하나의 옵션을 결정할 수 있다.
예를 들어, 복수의 옵션들은 전자 기기(410)와 연동된 복수의 기기들에 대응할 수 있다. 이때, 전자 기기(410)는 복수의 기기들 중 사용자와의 사회적 관계에 기반하여 선택되는 사람과 연관된 적어도 하나의 기기를 옵션으로서 결정할 수 있다. 보다 구체적인 예로, 음성 입력 "불 꺼줘"와 음성 입력 "불 꺼 드려"를 비교할 때, 후자는 높임말을 사용하고 있음을 확인할 수 있으며, 조명기기의 라이트 전원을 오프하는 것과 연관된 사람이 사용자보다 사회적 관계가 위에 있음을 확인할 수 있다. 이 경우, 전자 기기(410)는 이러한 음성 입력 "불 꺼 드려"의 표현법에 따라 사용자의 요구가 사용자보다 사회적 관계가 위에 있는 사람임을 확인할 수 있으며, 이러한 사회적 관계에 기반하여 옵션을 선택할 수 있다. 예를 들어, 상술한 예에서는 전자 기기(410)는 조명기기의 선택을 사용자에게 요구하는 것이 아니라, 사용자보다 사회적 서열이 높은 인물(일례로, 부모님)의 방에 위치하는 조명기기를 자동으로 선택할 수 있다. 또한, 전자 기기(410)는 음성 입력 "불 꺼줘"에 대해서는 사용자가 현재 위치하고 있는 방의 조명기기를 자동으로 선택할 수 있다.
다른 예로, 복수의 옵션들은 상기 사용자와 인적 관계가 설정된 다른 사용자의 메신저 계정 또는 전화번호에 대응할 수 있다. 이 경우, 전자 기기(410)는 복수의 기기들 중 사용자와의 사회적 관계에 기반하여 선택되는 다른 사용자의 메신저 계정 또는 전화번호를 옵션으로서 결정할 수 있다. 보다 구체적인 예로, 음성 입력 "일찍 들어와 라고 문자 보내줘"라는 음성 입력을 고려할 때, 전자 기기(410)는 음성 입력의 표현법을 통해 문자의 수신인이 사용자의 동거인이면서 사용자보다 사회적 서열이 낮은 인물(일례로, 자녀)임을 확인할 수 있다. 이 경우, 전자 기기(410)는 사용자에게 수신인을 결정해줄 것을 요청하는 것이 아니라, 자동으로 문자의 수신인을 "딸" 또는 "아들" 등으로 결정할 수 있다. 이 경우, 전자 기기(410)는 "딸에게 문자를 보낼까요"와 같이 사용자에게 수신인을 추천하는 동작을 진행할 수 있으며, 사용자의 확인 입력에 따라 "딸"의 전화번호나 "딸"의 메신저 계정을 이용하여 사용자의 "딸"에게 "일찍 들어와"라는 문자 메시지를 전송할 수 있다. 다른 음성 입력 "일찍 들어오세요 라고 문자 보내줘"를 고려할 때, 전자 기기(410)는 음성 입력의 표현법을 통해 문자의 수신인이 사용자의 동거인이면서 사용자보다 사회적 서열이 높은 인물(일례로, 부모님)임을 확인할 수 있다. 이 경우, 전자 기기(410)는 이러한 사회적 관계에 기반하여 "어머니"나 "아버지"를 문자의 수신인으로서 자동으로 확인할 수 있으며, "어머니께 문자를 보낼까요?"와 같이 사용자에게 문자의 수신인을 추천하는 동작을 진행할 수 있다. 이 경우에도 사용자의 확인 입력에 따라 "어머니"의 전화번호나 "어머니"의 메신저 계정을 이용하여 사용자의 "어머니"에게 "일찍 들어오세요"라는 문자 메시지를 전송할 수 있다. 이를 위해, 전자 기기(410)는 사용자의 사회적 관계에 대한 정보에 기초하여 미리 문자를 보내는 동작에 대한 옵션들을 설정해놓을 수 있다.
다른 실시예로, 음성 입력을 통해 얻어지는 사용자의 말투 및 어조 중 적어도 하나에 기반하여 분석된 사용자 명령의 시급성 및 사용자 감성 중 적어도 하나를 포함할 수 있다. 이 경우, 전자 기기(410)는 사용자 명령의 시급성 및 사용자 감성 중 적어도 하나에 기반하여 복수의 옵션들 중 적어도 하나의 옵션을 결정할 수 있다.
예를 들어, 복수의 옵션들은 선택된 동작과 연계될 컨텐츠의 특성 분류들 또는 컨텐츠와 관련된 정보들의 제공 방식들에 대응할 수 있으며, 이 경우 전자 기기(410)는 사용자 명령의 시급성 및 사용자 감성 중 적어도 하나에 기반하여 선택된 동작과 연계될 컨텐츠의 특성 분류들 중 적어도 하나의 분류를 결정하거나 또는 컨텐츠와 관련된 정보들의 제공 방식들 중 적어도 하나의 방식을 결정할 수 있다. 보다 구체적인 예로, 검색과 관련하여, 음성 입력 "맛집 찾아줘"와 음성 입력 "맞집 좀 찾아볼래?"는 음성 입력의 표현법에 따라 사용자 명령의 시급성이 나뉠 수 있다. 전자 기기(410)는 "찾아줘"와 "좀 찾아볼래?"와 같은 사용자의 말투 및 어조와 같은 음성 입력의 표현법에 따라 미리 시급성 등급을 설정해놓을 수 있으며, 이러한 시급성 등급에 따라 제공될 컨텐츠의 특성이나 제공 방식을 옵션으로서 결정할 수 있다. 일례로, 음성 입력 "맛집 찾아줘"와 같이 시급성 등급이 높은 것으로 결정된 경우에는 사용자와 가까이 있으면서 사용자의 취향이 반영된 정확성이 높은 검색결과를 사용자에게 제공할 수 있다. 다른 예로, 음성 입력 "맞집 좀 찾아볼래?"와 같이 시급성 등급이 낮은 것으로 결정된 경우에는 거리와 무관하게 사용자의 취향을 반영한 검색결과나 최근 사용자들의 관심도가 높은 맛집 등과 같이 보다 다채로운 검색결과를 사용자에게 제공할 수 있다. 보다 구체적인 예로, 검색과 관련하여 사용자와 검색결과간의 거리의 우선순위가 동작에 대한 옵션으로서 결정될 수 있다.
또 다른 실시예로, 사용자의 말투나 어조를 통해 파악되는 사용자의 감성에 기반하여 컨텐츠의 특성이나 제공 방식 등이 옵션으로서 선택될 수도 있다. 예를 들어, 사용자의 기분이 좋지 않은 경우에는 사용자가 응원하는 스포츠 팀에 대한 정보 중 해당 스포츠 팀이 이긴 경기에 대한 정보를 먼저 사용자에게 제공할 수 있다. 다른 예로, 사용자의 기분이 좋은 경우에는 사용자가 응원하는 스포츠 팀의 가장 최신 정보부터 순차적으로 사용자에게 제공할 수 있다. 다시 말해, 전자 기기(410)는 사용자의 감정에 따라 제공될 컨텐츠의 제공 방식이나 컨텐츠의 특성을 컨텐츠의 제공이라는 동작에 대한 옵션으로서 선택할 수 있다.
또 다른 실시예로, 전자 기기(410)는 사용자의 정황 데이터를 더 활용하여 복수의 옵션들 중 적어도 하나의 옵션을 결정할 수 있다. 예를 들어, 정황 데이터는 사용자의 전화번호나 사용자의 메신저 계정과 연관하여 송수신된 인스턴트 메시지 및 전자 기기(410)가 포함하는 카메라를 통해 인식된 사용자의 얼굴 표정 중 적어도 하나를 포함할 수 있다. 보다 구체적인 예로, 사용자가 최근(일례로, 최근 1시간 이내) 송수신한 인스턴트 메시지가 통해 앞서 설명한 사용자의 감정을 보다 명확히 측정하는데 활용될 수 있다. 또는 카메라를 통해 사용자의 얼굴 표정이 사용자의 감정이나 사용자 명령의 시급성 등을 보다 명확히 측정하는데 활용될 수 있다.
단계(570)에서 전자 기기(410)는 결정된 적어도 하나의 옵션과 연계하여 선택된 동작을 수행할 수 있다. 이미 설명한 바와 같이, 전자 기기(410)는 옵션으로서 선택된 수신인을 추천하거나 또는 선택된 수신인에게 문자를 보내는 동작을 수행할 수 있다. 다른 예로, 전자 기기(410)는 옵션으로서 선택된 컨텐츠의 특성 및/또는 제공 방식에 따라 컨텐츠를 사용자에게 제공할 수 있다.
이처럼, 본 실시예에 따르면 사용자의 음성 입력이 동작의 옵션을 선택하기 위한 구체적인 키워드를 포함하지 않는 경우에도, 사용자에게 추가적으로 옵션의 선택을 요구하지 않고도 사용자의 음성 입력의 표현법에 따라 옵션을 자동으로 선택하여 동작을 수행할 수 있게 된다.
도 6은 본 발명의 일실시예에 있어서, 음성 입력의 표현법에 따라 옵션을 결정하지 못하는 경우의 사용자 명령 처리 방법의 예를 도시한 흐름도이다. 도 6의 단계들(610 및 620)은 도 5의 단계(550)에 포함되어 수행될 수 있다.
단계(610)에서 전자 기기(410)는 음성 입력의 표현법에 따라 옵션을 결정하지 못하는 경우, 사용자로부터 복수의 옵션들 중 적어도 하나의 옵션을 선택받기 위한 정보를 출력할 수 있다. 다시 말해, 전자 기기(410)는 음성 입력의 표현법을 통해 자동으로 옵션의 결정을 시도한 후, 표현법을 통해 옵션을 결정할 수 없는 경우에 사용자에게 추가적으로 옵션의 선택을 요구할 수 있다. 예를 들어, 음성 입력의 표현법만으로 문자의 수신인을 결정할 수 없는 경우, "누구에게 문자를 보낼까요?"와 같이 사용자가 수신인을 선택하도록 요구하기 위한 정보를 출력할 수 있다.
단계(620)에서 전자 기기(410)는 출력된 정보에 응답하여 수신되는 추가 음성 입력에 따라 복수의 옵션들 중 적어도 하나의 옵션을 결정할 수 있다. 예를 들어, "누구에게 문자를 보낼까요?"라는 음성을 출력한 이후에 사용자로부터 "어머니"와 같은 추가 음성 입력이 수신되는 경우, 이러한 추가 음성 입력에 기반하여 문자의 수신인을 결정할 수 있다.
도 7은 본 발명의 일실시예에 있어서, 자동으로 선택된 옵션을 추천 또는 확인 받기 위한 사용자 명령 처리 방법의 예를 도시한 흐름도이다. 도 7의 단계들(710 내지 760)은 도 5의 단계(570)에 포함되어 수행될 수 있다.
단계(710)에서 전자 기기(410)는 결정된 적어도 하나의 옵션과 연계하여 동작을 수행하는 것에 대한 진행 여부를 사용자에게 확인받기 위한 정보를 출력할 수 있다. 출력되는 정보는 결정된 옵션이 적절한 것인가를 사용자에게 확인받기 위한 위해, 또는 결정된 옵션을 사용자에게 추천하기 위해 활용될 수 있다. 예를 들어, 앞서 설명한 예시에서 "딸에서 문자를 보낼까요?"는 옵션으로서 결정된 수신인 "딸"이 적절한 것인가를 사용자에게 확인받기 위한 목적 및/또는 옵션으로서 결정된 수신인 "딸"을 사용자에게 추천하기 위한 목적을 가질 수 있다.
단계(720)에서 전자 기기(410)는 출력된 정보에 응답하여 제1 추가 음성 입력을 수신할 수 있다. 이러한 제1 추가 음성 입력은 확인 및/또는 추천을 위해 출력된 정보에 대한 사용자의 진행 찬성 또는 진행 반대를 위한 답변으로서 수신될 수 있다.
단계(730)에서 전자 기기(410)는 제1 추가 음성 입력으로부터 진행 찬성을 위한 답변이 추출되는지 확인할 수 있다. 이때, 전자 기기(410)는 진행 천성을 위한 답변이 추출되는 경우 단계(760)을, 진행 반대를 위한 답변이 추출되는 경우에는 단계(740) 및 단계(750)을 수행한 이후에 단계(760)을 수행할 수 있다.
단계(740)에서 전자 기기(410)는 제1 추가 음성 입력으로부터 진행 반대를 위한 답변이 추출되는 경우, 사용자로부터 복수의 옵션들 중 적어도 하나의 다른 옵션을 선택받기 위한 정보를 출력할 수 있다. 다시 말해, 전자 기기(410)는 확인 및/또는 추천을 위해 출력된 정보에 대해 사용자가 부정적인 반응을 보이는 경우에는 다른 옵션의 선택을 사용자에게 요구할 수 있다. 예를 들어, "딸"을 수신인으로 추천하였으나, 사용자가 출력된 정보 "딸에게 문자를 보낼까요?"에 대해 "아니"와 같은 진행 반대를 위한 답변이 추출되는 경우, 다른 옵션을 선택해줄 것을 사용자에게 요청할 수 있다.
단계(750)에서 전자 기기(410)는 출력된 정보에 응답하여 제2 추가 음성 입력에 따라 복수의 옵션들 중 적어도 하나의 다른 옵션을 결정할 수 있다. 실시예에 따라 사용자는 진행 반대를 위한 답변과 함께 다른 옵션을 선택할 수도 있다. 예를 들어, 사용자는 출력된 정보 "딸에게 문자를 보낼까요?"에 대해 "아니 아들에게 문자 보내"와 같이 진행 반대를 위한 답변과 함께 다른 옵션의 선택이 동시에 이루어질 수도 있다. 이 경우, 단계(740)는 생략될 수 있으며, 전자 기기(410)는 단계(750)에서 제1 추가 음성 입력으로부터 다른 옵션을 결정할 수도 있다.
단계(760)에서 전자 기기(410)는 결정된 적어도 하나의 옵션과 연계하여 선택된 동작을 수행할 수 있다.
도 8은 본 발명의 일실시예에 있어서, 외부 플랫폼을 활용하는 경우의 사용자 명령 처리 방법의 예를 도시한 흐름도이다. 도 8의 단계들(810 및 820)은 도 5의 단계(520)에 이후에 수행될 수 있으며, 단계(820)에서 수신되는 정보에 따라 단계(820) 다음의 단계가 도 5의 단계들(530 내지 570) 중 하나로 연결될 수 있다.
단계(810)에서 전자 기기(410)는 음성 입력을 전자 기기와 인터페이스 커넥트를 통해 연결된 클라우드 인공지능 플랫폼으로 전송할 수 있다. 도 3의 실시예에서는 음성 입력의 처리나 답변 음성의 합성, 및/또는 대화의 처리 등과 관련된 음성 기반 서비스를 외부 플랫폼에서 제공하는 예를 설명한 바 있다. 이러한 음성 기반 서비스에 따른 음성 입력의 처리를 위해 수신된 사용자의 음성 입력이 클라우드 인공지능 플랫폼으로 전송될 수 있다.
단계(820)에서 전자 기기(410)는 클라우드 인공지능 플랫폼에서 음성 입력으로부터 추출된 키워드, 추출된 키워드에 기반하여 추천된 동작, 추출된 키워드에 대응하는 옵션 및 음성 입력의 표현법에 따라 결정된 옵션 중 적어도 하나에 대한 정보를 수신할 수 있다.
일실시예로, 클라우드 인공지능 플랫폼은 음성 입력을 인식 및 분석하여 키워드를 추출하여 전자 기기(410)로 전송할 수 있다. 이 경우, 전자 기기(410)는 도 5를 통해 설명한 단계(530)부터 순차적으로 도 5의 단계들을 수행함으로써, 결정된 옵션과 연계하여 선택된 동작을 수행할 수 있다.
다른 실시예로, 클라우드 인공지능 플랫폼은 음성 입력을 인식 및 분석하여 키워드를 추출하고, 추출된 키워드에 기반하여 동작을 추천할 수 있다. 이 경우, 전자 기기(410)는 추천된 동작에 기반하여 도 5의 단계(540)부터 순차적으로 도 5의 단계들을 수행함으로써, 결정된 옵션과 연계하여 선택된 동작을 수행할 수 있다.
또 다른 실시예로, 클라우드 인공지능 플랫폼은 음성 입력을 인식 및 분석하여 키워드를 추출하고, 추출된 키워드에 기반하여 동작을 선택하며, 추출된 키워드에 대응하는 옵션을 결정하며, 선택된 동작과 결정된 옵션을 전자 기기(410)로 제공할 수 있다. 이 경우, 도 5의 단계(550)에서 전자 기기(410)는, 클라우드 인공지능 플랫폼으로부터 제공된 옵션을 선택된 동작에 대한 적어도 하나의 옵션으로 결정할 수 있다. 또한, 전자 기기(410)는 이후 단계(570)를 통해 결정된 옵션과 연계하여 선택된 동작을 수행할 수 있다.
또 다른 실시예로, 클라우드 인공지능 플랫폼은 음성 입력을 인식 및 분석하여 키워드를 추출하고, 추출된 키워드에 기반하여 동작을 선택하며, 추출된 키워드에 대응하는 옵션이 존재하지 않는 경우, 음성 인식의 표현법에 따라 옵션을 결정할 수 있다. 이때, 클라우드 인공지능 플랫폼은 선택된 동작과 결정된 옵션을 전자 기기(410)로 제공할 수 있다. 이 경우, 전자 기기(410)는 도 5의 단계(560)에서 클라우드 인공지능 플랫폼으로부터 제공된 옵션을 선택된 동작에 대한 적어도 하나의 옵션으로 결정할 수 있으며, 단계(570)를 통해 결정된 옵션과 연계하여 선택된 동작을 수행할 수 있다.
이처럼, 클라우드 인공지능 플랫폼은 실시예들에 따라 음성 기반 서비스를 전자 기기(410)로 제공할 수 있으며, 음성 기반 서비스가 포함하는 기능은 실시예들에 따라 달라질 수 있다.
이상에서와 같이, 본 발명의 실시예들에 따르면, 사용자 명령에 따라 수행 가능한 전자 기기의 기 정의된 동작과 관련하여 동작의 다양의 옵션들에 대해, 사용자로부터 수신된 음성 입력이 옵션의 결정을 위한 직접적인 키워드를 포함하고 있지 않는 경우에도 음성 입력의 표현법에 따라 옵션을 결정하여, 결정된 옵션과 연계하여 선택된 동작을 수행할 수 있다. 또한, 사용자의 음성 입력이 옵션의 결정을 위한 직접적인 키워드를 포함하고 있지 않는 경우에도 이러한 음성 입력의 표현법으로서 선택된 동작과 연관된 사람과 사용자간의 사회적 관계, 음성 입력을 통해 얻어지는 사용자의 말투 및 어조 중 적어도 하나에 기반하여 분석된 사용자 명령의 시급성 및/또는 사용자 감성 등을 활용하여 옵션을 결정할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터로 구현되는 전자 기기와 결합되어 사용자 명령 처리 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 사용자 명령 처리 방법은,
    사용자 명령에 따라 수행 가능한 적어도 하나의 기 정의된 동작을 관리하는 단계 - 상기 적어도 하나의 기 정의된 동작 각각과 관련하여 복수의 옵션들이 기 설정됨 -;
    사용자로부터 수신된 음성 입력을 적어도 포함하는 사용자 명령을 수신하는 단계;
    상기 음성 입력에서 추출되는 키워드에 대응하는 동작을 선택하는 단계;
    상기 선택된 동작과 관련하여 기 설정된 복수의 옵션들 중 상기 추출된 키워드에 대응하는 적어도 하나의 옵션을 결정하되, 상기 음성 입력의 표현법에 따라 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계; 및
    상기 결정된 적어도 하나의 옵션과 연계하여 상기 선택된 동작을 수행하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  2. 제1항에 있어서,
    상기 적어도 하나의 옵션을 결정하는 단계는,
    상기 음성 입력의 표현법에 따라 옵션을 결정하지 못하는 경우, 사용자로부터 상기 복수의 옵션들 중 적어도 하나의 옵션을 선택받기 위한 정보를 출력하는 단계; 및
    상기 출력된 정보에 응답하여 수신되는 추가 음성 입력에 따라 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  3. 제1항에 있어서,
    상기 선택된 동작을 수행하는 단계는,
    상기 결정된 적어도 하나의 옵션과 연계하여 동작을 수행하는 것에 대한 진행 여부를 상기 사용자에게 확인받기 위한 정보를 출력하는 단계;
    상기 출력된 정보에 응답하여 제1 추가 음성 입력을 수신하는 단계; 및
    상기 제1 추가 음성 입력으로부터 진행 찬성을 위한 답변이 추출되는 경우, 상기 결정된 적어도 하나의 옵션과 연계하여 동작을 수행하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  4. 제3항에 있어서,
    상기 선택된 동작을 수행하는 단계는,
    상기 제1 추가 음성 입력으로부터 진행 반대를 위한 답변이 추출되는 경우, 사용자로부터 상기 복수의 옵션들 중 적어도 하나의 다른 옵션을 선택받기 위한 정보를 출력하는 단계;
    상기 출력된 정보에 응답하여 제2 추가 음성 입력에 따라 상기 복수의 옵션들 중 적어도 하나의 다른 옵션을 결정하는 단계; 및
    상기 결정된 적어도 하나의 다른 옵션과 연계하여 상기 선택된 동작을 수행하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  5. 제1항에 있어서,
    상기 음성 입력의 표현법은, 상기 선택된 동작과 연관된 사람과 상기 사용자간의 사회적 관계를 나타내는 표현을 포함하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 표현에 따라 파악되는 상기 사용자와의 사회적 관계에 기반하여 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 것을 특징으로 하는 컴퓨터 프로그램.
  6. 제5항에 있어서,
    상기 복수의 옵션들은 상기 전자 기기와 연동된 복수의 기기들에 대응하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 복수의 기기들 중 상기 사용자와의 사회적 관계에 기반하여 선택되는 사람과 연관된 적어도 하나의 기기를 결정하고,
    상기 사용자의 명령을 처리하는 단계는,
    상기 결정된 적어도 하나의 기기와 연계하여 상기 선택된 동작을 수행하는 것을 특징으로 하는 컴퓨터 프로그램.
  7. 제5항에 있어서,
    상기 복수의 옵션들은 상기 사용자와 인적 관계가 설정된 다른 사용자의 메신저 계정 또는 전화번호에 대응하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 복수의 기기들 중 상기 사용자와의 사회적 관계에 기반하여 선택되는 다른 사용자의 메신저 계정 또는 전화번호를 결정하고,
    상기 사용자의 명령을 처리하는 단계는,
    상기 결정된 메신저 계정 또는 전화번호와 연계하여 상기 선택된 동작을 수행하는 것을 특징으로 하는 컴퓨터 프로그램.
  8. 제1항에 있어서,
    상기 음성 입력의 표현법은, 상기 음성 입력을 통해 얻어지는 사용자의 말투 및 어조 중 적어도 하나에 기반하여 분석된 사용자 명령의 시급성 및 사용자 감성 중 적어도 하나를 포함하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 사용자 명령의 시급성 및 상기 사용자 감성 중 적어도 하나에 기반하여 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 것을 특징으로 하는 컴퓨터 프로그램.
  9. 제8항에 있어서,
    상기 복수의 옵션들은 상기 동작과 연계될 컨텐츠의 특성 분류들 또는 상기 컨텐츠와 관련된 정보들의 제공 방식들에 대응하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 사용자 명령의 시급성 및 상기 사용자 감성 중 적어도 하나에 기반하여 상기 선택된 동작과 연계될 컨텐츠의 특성 분류들 중 적어도 하나의 분류를 결정하거나 또는 상기 컨텐츠와 관련된 정보들의 제공 방식들 중 적어도 하나의 방식을 결정하고,
    상기 사용자의 명령을 처리하는 단계는,
    상기 결정된 적어도 하나의 분류 또는 상기 결정된 적어도 하나의 방식에 따라 상기 컨텐츠와 연계하여 상기 선택된 동작을 수행하는 것을 특징으로 하는 컴퓨터 프로그램.
  10. 제1항에 있어서,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    사용자의 정황 데이터를 더 활용하여 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하고,
    상기 정황 데이터는 사용자의 전화번호나 사용자의 메신저 계정과 연관하여 송수신된 인스턴트 메시지 및 상기 전자 기기가 포함하는 카메라를 통해 인식된 사용자의 얼굴 표정 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  11. 제1항에 있어서,
    상기 전자 기기는, 스마트홈에 포함된 기기들과 연동하여 상기 기기들을 제어하거나 또는 인터넷을 통해 상기 사용자 명령에 따른 컨텐츠를 제공하는 인공지능 스피커를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  12. 제1항에 있어서,
    상기 사용자 명령 처리 방법은,
    상기 음성 입력을 상기 전자 기기와 인터페이스 커넥트를 통해 연결된 클라우드 인공지능 플랫폼으로 전송하는 단계; 및
    상기 클라우드 인공지능 플랫폼에서 상기 음성 입력으로부터 추출된 키워드, 상기 추출된 키워드에 기반하여 추천된 동작, 상기 추출된 키워드에 대응하는 옵션 및 상기 음성 입력의 표현법에 따라 결정된 옵션 중 적어도 하나에 대한 정보를 수신하는 단계
    를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  13. 사용자 명령 처리 방법에 있어서,
    사용자 명령에 따라 수행 가능한 적어도 하나의 기 정의된 동작을 관리하는 단계 - 상기 적어도 하나의 기 정의된 동작 각각과 관련하여 복수의 옵션들이 기 설정됨 -;
    사용자로부터 수신된 음성 입력을 적어도 포함하는 사용자 명령을 수신하는 단계;
    상기 음성 입력에서 추출되는 키워드에 대응하는 동작을 선택하는 단계;
    상기 선택된 동작과 관련하여 기 설정된 복수의 옵션들 중 상기 추출된 키워드에 대응하는 적어도 하나의 옵션을 결정하되, 상기 음성 입력의 표현법에 따라 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계; 및
    상기 결정된 적어도 하나의 옵션과 연계하여 상기 선택된 동작을 수행하는 단계
    를 포함하는 것을 특징으로 하는 사용자 명령 처리 방법.
  14. 제13항에 있어서,
    상기 음성 입력의 표현법은, 상기 선택된 동작과 연관된 사람과 상기 사용자간의 사회적 관계를 나타내는 표현을 포함하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 표현에 따라 파악되는 상기 사용자와의 사회적 관계에 기반하여 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 것을 특징으로 하는 사용자 명령 처리 방법.
  15. 제14항에 있어서,
    상기 복수의 옵션들은 상기 전자 기기와 연동된 복수의 기기들에 대응하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 복수의 기기들 중 상기 사용자와의 사회적 관계에 기반하여 선택되는 사람과 연관된 적어도 하나의 기기를 결정하고,
    상기 사용자의 명령을 처리하는 단계는,
    상기 결정된 적어도 하나의 기기와 연계하여 상기 선택된 동작을 수행하는 것을 특징으로 하는 사용자 명령 처리 방법.
  16. 제13항에 있어서,
    상기 음성 입력의 표현법은, 상기 음성 입력을 통해 얻어지는 사용자의 말투 및 어조 중 적어도 하나에 기반하여 분석된 사용자 명령의 시급성 및 사용자 감성 중 적어도 하나를 포함하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 사용자 명령의 시급성 및 상기 사용자 감성 중 적어도 하나에 기반하여 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 것을 특징으로 하는 사용자 명령 처리 방법.
  17. 제16항에 있어서,
    상기 복수의 옵션들은 상기 동작과 연계될 컨텐츠의 특성 분류들 또는 상기 컨텐츠와 관련된 정보들의 제공 방식들에 대응하고,
    상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 단계는,
    상기 사용자 명령의 시급성 및 상기 사용자 감성 중 적어도 하나에 기반하여 상기 선택된 동작과 연계될 컨텐츠의 특성 분류들 중 적어도 하나의 분류를 결정하거나 또는 상기 컨텐츠와 관련된 정보들의 제공 방식들 중 적어도 하나의 방식을 결정하고,
    상기 사용자의 명령을 처리하는 단계는,
    상기 결정된 적어도 하나의 분류 또는 상기 결정된 적어도 하나의 방식에 따라 상기 컨텐츠와 연계하여 상기 선택된 동작을 수행하는 것을 특징으로 하는 사용자 명령 처리 방법.
  18. 사용자 명령 처리 시스템에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    사용자 명령에 따라 수행 가능한 적어도 하나의 기 정의된 동작을 관리하고 - 상기 적어도 하나의 기 정의된 동작 각각과 관련하여 복수의 옵션들이 기 설정됨 -,
    사용자로부터 수신된 음성 입력을 적어도 포함하는 사용자 명령을 수신하고,
    상기 음성 입력에서 추출되는 키워드에 대응하는 동작을 선택하고,
    상기 선택된 동작과 관련하여 기 설정된 복수의 옵션들 중 상기 추출된 키워드에 대응하는 적어도 하나의 옵션을 결정하되, 상기 음성 입력의 표현법에 따라 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하고,
    상기 결정된 적어도 하나의 옵션과 연계하여 상기 선택된 동작을 수행하는 것
    을 특징으로 하는 사용자 명령 처리 시스템.
  19. 제18항에 있어서,
    상기 음성 입력의 표현법은, 상기 선택된 동작과 연관된 사람과 상기 사용자간의 사회적 관계를 나타내는 표현을 포함하고,
    상기 적어도 하나의 프로세서는, 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하기 위해,
    상기 표현에 따라 파악되는 상기 사용자와의 사회적 관계에 기반하여 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 것을 특징으로 하는 사용자 명령 처리 시스템.
  20. 제18항에 있어서,
    상기 음성 입력의 표현법은, 상기 음성 입력을 통해 얻어지는 사용자의 말투 및 어조 중 적어도 하나에 기반하여 분석된 사용자 명령의 시급성 및 사용자 감성 중 적어도 하나를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하기 위해,
    상기 사용자 명령의 시급성 및 상기 사용자 감성 중 적어도 하나에 기반하여 상기 복수의 옵션들 중 적어도 하나의 옵션을 결정하는 것을 특징으로 하는 사용자 명령 처리 시스템.
KR1020170056128A 2017-05-02 2017-05-02 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템 KR101949497B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170056128A KR101949497B1 (ko) 2017-05-02 2017-05-02 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
JP2018085215A JP2018190413A (ja) 2017-05-02 2018-04-26 ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
US15/969,394 US10657963B2 (en) 2017-05-02 2018-05-02 Method and system for processing user command to provide and adjust operation of electronic device by analyzing presentation of user speech

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170056128A KR101949497B1 (ko) 2017-05-02 2017-05-02 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180122106A true KR20180122106A (ko) 2018-11-12
KR101949497B1 KR101949497B1 (ko) 2019-02-18

Family

ID=64015405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170056128A KR101949497B1 (ko) 2017-05-02 2017-05-02 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템

Country Status (3)

Country Link
US (1) US10657963B2 (ko)
JP (1) JP2018190413A (ko)
KR (1) KR101949497B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088322B1 (ko) * 2018-11-16 2020-03-12 엘지전자 주식회사 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템
WO2021177669A1 (ko) * 2020-03-03 2021-09-10 삼성전자 주식회사 사용자 입력을 처리하는 전자 장치 및 방법
WO2022163963A1 (ko) * 2021-01-28 2022-08-04 삼성전자 주식회사 전자 장치 및 전자 장치의 단축 명령어 수행 방법
WO2022186531A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 전자 장치 및 전자 장치의 기기 연결 방법
US11769489B2 (en) 2021-01-28 2023-09-26 Samsung Electronics Co., Ltd. Electronic device and method for performing shortcut command in electronic device
US11966439B2 (en) 2021-03-25 2024-04-23 Samsung Electronics Co., Ltd. Method for providing voice assistant service and electronic device supporting the same

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI651714B (zh) * 2017-12-22 2019-02-21 隆宸星股份有限公司 語音選項選擇系統與方法以及使用其之智慧型機器人
CN112313924A (zh) * 2018-05-07 2021-02-02 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
JP6956921B2 (ja) * 2019-04-23 2021-11-02 三菱電機株式会社 機器制御装置、および、機器制御方法
US11211045B2 (en) * 2019-05-29 2021-12-28 Lg Electronics Inc. Artificial intelligence apparatus and method for predicting performance of voice recognition model in user environment
US20210027409A1 (en) * 2019-07-23 2021-01-28 Ola Electric Mobility Private Limited Methods and Systems for Facilitating Safety and Security of Users
CN110519373B (zh) * 2019-08-28 2022-04-26 百度在线网络技术（北京）有限公司 用于推送信息的方法和装置
KR20210059367A (ko) * 2019-11-15 2021-05-25 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
GB2590473B (en) * 2019-12-19 2022-07-27 Samsung Electronics Co Ltd Method and apparatus for dynamic human-computer interaction
CN113115251B (zh) * 2020-01-09 2023-10-31 博泰车联网科技(上海)股份有限公司 用于信息处理的方法、设备和计算机存储介质
US11917092B2 (en) * 2020-06-04 2024-02-27 Syntiant Systems and methods for detecting voice commands to generate a peer-to-peer communication link
US11989786B1 (en) * 2020-06-30 2024-05-21 United Services Automobile Association (Usaa) System and method to enable augmented intelligence guided help
CN113643701B (zh) * 2021-07-27 2024-04-12 广州市威士丹利智能科技有限公司 一种智能识别语音控制家居的方法及统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070106488A (ko) * 2007-10-12 2007-11-01 (주)인피니티 텔레콤 자연어 음성 인식 기능을 이용한 휴대폰 서비스 방법
KR20130125367A (ko) * 2010-11-12 2013-11-18 마이크로소프트 코포레이션 콘텐츠의 시청자 기반 제공 및 맞춤화
KR20160141595A (ko) * 2015-06-01 2016-12-09 삼성전자주식회사 메시지를 출력하는 전자 장치 및 그 제어 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01119791A (ja) 1987-11-04 1989-05-11 Toshiba Corp 核融合装置
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
JP2000187776A (ja) * 1998-06-09 2000-07-04 Digicube Co Ltd 情報提供装置、情報提供システム、情報提供処理方法、及び記録媒体
JP2002320037A (ja) * 2001-04-19 2002-10-31 Atr Onsei Gengo Tsushin Kenkyusho:Kk 翻訳電話システム
JP2003216690A (ja) * 2002-01-18 2003-07-31 Fujita Corp 情報管理システム
JP2004219714A (ja) * 2003-01-15 2004-08-05 Will Being:Kk 人間からの指示に基づいてそれぞれ予め定めた特定のシーンに属する対話のシーンを識別し、シーンに即した自然対話を構成する応答文を作成して、それを音声合成することにより、音声対話を行うコンピュータによる音声対話方法及び音声対話システム
JP2005275601A (ja) * 2004-03-23 2005-10-06 Fujitsu Ltd 音声による情報検索システム
US7590536B2 (en) * 2005-10-07 2009-09-15 Nuance Communications, Inc. Voice language model adjustment based on user affinity
KR101268432B1 (ko) * 2006-01-09 2013-05-28 삼성전자주식회사 스마트 커뮤니케이터를 이용한 지능형 출입 인증 시스템 및방법
JP5448372B2 (ja) * 2008-05-26 2014-03-19 日本電信電話株式会社 選択式情報提示装置および選択式情報提示処理プログラム
JP2010210847A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 楽曲選択方法、楽曲選択プログラム、及び楽曲選択装置
JP5446540B2 (ja) * 2009-07-24 2014-03-19 株式会社Ｊｖｃケンウッド 情報検索装置、制御方法及びプログラム
KR101387928B1 (ko) 2010-06-24 2014-04-22 에스케이플래닛 주식회사 홈 미디어 디바이스 및 이를 이용한 홈 네트워크 시스템, 방법
EP2761860B1 (en) * 2011-09-30 2019-10-23 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10417037B2 (en) * 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10229676B2 (en) * 2012-10-05 2019-03-12 Avaya Inc. Phrase spotting systems and methods
US9189196B2 (en) * 2013-03-14 2015-11-17 Google Inc. Compartmentalized self registration of external devices
US9484025B2 (en) * 2013-10-15 2016-11-01 Toyota Jidosha Kabushiki Kaisha Configuring dynamic custom vocabulary for personalized speech recognition
US9607137B2 (en) * 2013-12-17 2017-03-28 Lenovo (Singapore) Pte. Ltd. Verbal command processing based on speaker recognition
US10410630B2 (en) * 2014-06-19 2019-09-10 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット
US10262655B2 (en) * 2014-11-03 2019-04-16 Microsoft Technology Licensing, Llc Augmentation of key phrase user recognition
US10476872B2 (en) * 2015-02-20 2019-11-12 Sri International Joint speaker authentication and key phrase identification
US20160262017A1 (en) * 2015-03-04 2016-09-08 Microsoft Technology Licensing, Llc Personal assistant authentication
US20180074785A1 (en) * 2015-03-31 2018-03-15 Sony Corporation Information processing device, control method, and program
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070106488A (ko) * 2007-10-12 2007-11-01 (주)인피니티 텔레콤 자연어 음성 인식 기능을 이용한 휴대폰 서비스 방법
KR20130125367A (ko) * 2010-11-12 2013-11-18 마이크로소프트 코포레이션 콘텐츠의 시청자 기반 제공 및 맞춤화
KR20160141595A (ko) * 2015-06-01 2016-12-09 삼성전자주식회사 메시지를 출력하는 전자 장치 및 그 제어 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088322B1 (ko) * 2018-11-16 2020-03-12 엘지전자 주식회사 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템
US11615792B2 (en) 2018-11-16 2023-03-28 Lg Electronics Inc. Artificial intelligence-based appliance control apparatus and appliance controlling system including the same
WO2021177669A1 (ko) * 2020-03-03 2021-09-10 삼성전자 주식회사 사용자 입력을 처리하는 전자 장치 및 방법
WO2022163963A1 (ko) * 2021-01-28 2022-08-04 삼성전자 주식회사 전자 장치 및 전자 장치의 단축 명령어 수행 방법
US11769489B2 (en) 2021-01-28 2023-09-26 Samsung Electronics Co., Ltd. Electronic device and method for performing shortcut command in electronic device
WO2022186531A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 전자 장치 및 전자 장치의 기기 연결 방법
US11966439B2 (en) 2021-03-25 2024-04-23 Samsung Electronics Co., Ltd. Method for providing voice assistant service and electronic device supporting the same

Also Published As

Publication number Publication date
JP2018190413A (ja) 2018-11-29
KR101949497B1 (ko) 2019-02-18
US10657963B2 (en) 2020-05-19
US20180322872A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
KR101949497B1 (ko) 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
JP6731894B2 (ja) デバイス制御方法及び電子機器
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR101968725B1 (ko) 음성요청에 대응하는 정보 제공을 위한 미디어 선택
JP6567727B2 (ja) 受信した音声入力の入力音量に基づいて出力される音の出力音量を調節するユーザ命令処理方法およびシステム
JP2019109510A (ja) 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム
KR101924852B1 (ko) 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
KR102079979B1 (ko) 인공지능 기기에서의 복수의 호출 용어를 이용한 서비스 제공 방법 및 그 시스템
KR101934954B1 (ko) 음성요청에 대응하는 정보 전달 향상을 위한 출력
KR20190084202A (ko) 복수의 호출 용어를 이용하여 인공지능 기기를 제어하는 방법 및 시스템
CN111640429B (zh) 提供语音识别服务的方法和用于该方法的电子装置
JP6681940B2 (ja) ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置
US20220172722A1 (en) Electronic device for processing user utterance and method for operating same
KR20190021012A (ko) 인공지능 기기에서의 연속 대화 기능
KR20190134975A (ko) 인공지능 시스템의 앱들 또는 스킬들의 리스트를 표시하는 증강 현실 장치 및 동작 방법
JP2019012506A (ja) 機械の自動活性のための方法及びシステム
KR102396147B1 (ko) 음성 명령을 이용한 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
JP2019091037A (ja) 人工知能機器の自動不良検出のための方法およびシステム
KR20190018666A (ko) 기계의 자동 활성을 위한 방법 및 시스템
KR102255844B1 (ko) 사용자의 위치 및 공간에 알맞은 정보를 능동적으로 제공하는 방법 및 장치
KR102309509B1 (ko) 인공지능 기기 상호간의 호출을 활용한 IoT 디바이스를 제어하는 방법 및 시스템
KR20180129729A (ko) 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
KR20210041476A (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant