KR20200076439A - 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. - Google Patents

전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. Download PDF

Info

Publication number
KR20200076439A
KR20200076439A KR1020180165546A KR20180165546A KR20200076439A KR 20200076439 A KR20200076439 A KR 20200076439A KR 1020180165546 A KR1020180165546 A KR 1020180165546A KR 20180165546 A KR20180165546 A KR 20180165546A KR 20200076439 A KR20200076439 A KR 20200076439A
Authority
KR
South Korea
Prior art keywords
call
party
user
electronic device
voice
Prior art date
Application number
KR1020180165546A
Other languages
English (en)
Other versions
KR102607052B1 (ko
Inventor
김근섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180165546A priority Critical patent/KR102607052B1/ko
Priority to EP19897762.1A priority patent/EP3874732B1/en
Priority to PCT/KR2019/016942 priority patent/WO2020130425A1/en
Priority to US16/701,878 priority patent/US11089154B2/en
Publication of KR20200076439A publication Critical patent/KR20200076439A/ko
Application granted granted Critical
Publication of KR102607052B1 publication Critical patent/KR102607052B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/527—Centralised call answering arrangements not requiring operator intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27453—Directories allowing storage of additional subscriber data, e.g. metadata
    • H04M1/72519—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/436—Arrangements for screening incoming calls, i.e. evaluating the characteristics of a call before deciding whether to answer it
    • H04M3/4365—Arrangements for screening incoming calls, i.e. evaluating the characteristics of a call before deciding whether to answer it based on information specified by the calling party, e.g. priority or subject
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/18—Comparators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/10—Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Telephonic Communication Services (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

전자 장치를 개시한다. 본 전자 장치는, 통신부, 통신부를 통해 수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해 통화 요청을 한 상대방과 통화(telephone conversation)를 수행하고, 수행된 통화의 내용에 기초하여 전자 장치의 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 프로세서를 포함한다.

Description

전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. { ELECTRONIC APPARATUS, CONTROLLING METHOD OF ELECTRONIC APPARATUS AND COMPUTER READADBLE MEDIUM }
본 개시는 사용자에게 통화 서비스를 제공하는 전자 장치에 관한 것이다. 보다 상세하게는, 사용자에게 걸려온 전화에 대한 음성 비서를 제공하는 전자 장치에 관한 것이다.
아울러, 본 개시는 딥 러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(Artificial Intelligence, AI) 시스템 및 그 응용에 따라 학습된 언어 모델을 이용하여 추천 문장을 제공하기 위한 전자 장치 및 그 제어 방법에 관한 것이다.
종래에 악의적이거나 상업적인 음성 전화가 걸려오는 것을 필터링 하기 위한 기술로서, 수신된 전화 요청에 대응되는 전화번호를 데이터베이스에 포함된 전화번호와 비교 후 사용자에게 알려주는 메커니즘이 사용되었다.
다만, 이 경우 데이터베이스에 저장되지 않은 신규번호의 전화가 걸려오는 경우 필터링이 불가능했다. 또한, 특정 전화번호에 대한 정보를 데이터베이스에 저장하기 위해서, 누군가 한 명은 해당 전화번호의 상대방과 직접 통화해서 그 목적을 파악한 뒤 이를 데이터베이스에 기록하는 작업이 필요했다.
관련하여, 사용자가 통화를 수행하는 중에 해당 통화의 대화 패턴, 배경음 패턴 등을 기저장된 데이터베이스와 비교한 결과 해당 통화가 악의적인 통화일 수 있음을 사용자에게 실시간으로 알려주는 기술이 등장했지만, 사용자가 직접 통화를 해야 하고, 악의적인 통화인지 여부를 판단하는 시간보다 통화 시간이 짧으면 사용자에게 아무런 도움이 되지 못한다는 문제가 있었다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥 러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
예를 들어, 인공지능 시스템은 다양한 문장을 학습하고, 학습 결과에 따른 언어 모델(language model)의 생성에 적용될 수 있다. 또한, 생성된 언어 모델에 기초하여 학습과 유사한 과정을 통해 새로운 워드를 제공하거나 문장을 완성할 수도 있다.
본 개시를 통해, 사용자 또는 다른 누군가가 직접 통화를 하지 않고도 수신된 통화 요청의 목적을 판단할 수 있는 전자 장치 및 그 제어 방법을 제공함에 그 목적이 있다.
또한, 통화 요청이 수신되더라도 곧바로 사용자에게 연결하지 않고, 인공지능 모델을 이용하는 음성 비서를 통해 상대방과 통화를 선제적으로 수행한 뒤, 해당 통화의 내용을 사용자에게 제공하는 전자 장치 및 그 제어 방법을 제공함에도 그 목적이 있다.
아울러, 본 개시를 통해, 기계 학습된 인공지능 모델을 이용함으로써, 사용자에게 전화가 걸려온 상황에서 마치 인간의 인지적 능력을 갖춘 비서와 같은 역할을 하는 음성 비서 서비스를 제공하는 전자 장치를 제공함에도 그 목적이 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 통신부, 상기 통신부를 통해 수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화(telephone conversation)를 수행하고, 상기 통화의 내용에 기초하여 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 프로세서를 포함한다.
이때, 하나 이상의 전화번호를 포함하는 리스트가 저장된 메모리를 더 포함하고, 상기 프로세서는, 상기 상대방의 전화번호가 상기 리스트에 포함되어 있는지 여부에 따라 상기 음성 비서를 통해 상기 상대방과 통화를 수행할 수 있다.
이 경우, 상기 프로세서는, 상기 상대방의 전화번호가 상기 리스트에 포함되어 있는 경우, 상기 유저 인터페이스를 제공하고, 상기 상대방의 전화번호가 상기 리스트에 포함되어 있지 않은 경우, 상기 음성 비서를 통해 상기 상대방과 통화를 수행할 수 있다.
그리고, 상기 프로세서는, 상기 통화의 내용에 기초하여 획득된 상기 통화 요청의 목적이 기설정된 목적에 해당하는 경우, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화를 종료하고, 상기 통화 요청의 목적이 기설정된 목적에 해당하지 않는 경우, 상기 유저 인터페이스를 제공할 수 있다.
또한, 상기 프로세서는, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 획득된 상기 통화에 대한 요약 정보를 포함하는 상기 유저 인터페이스를 통해, 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 개시 또는 거절하기 위한 사용자 명령을 입력받을 수 있다.
이 경우, 상기 프로세서는, 상기 유저 인터페이스를 통해 상기 상대방에게 메시지를 제공하기 위한 사용자 명령이 입력되면, 상기 음성 비서를 통해 상기 메시지를 상기 상대방에게 제공할 수 있다.
또한, 상기 프로세서는, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방으로부터 수신된 음성에서 기설정된 타입의 단어를 식별하고, 상기 식별된 단어의 타입을 포함하는 기저장된 문장에 상기 식별된 단어를 추가하여 상기 요약 정보를 획득할 수 있다.
한편, 상기 프로세서는, 대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 통해, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 상기 통화 요청의 목적을 판단할 수 있다.
이 경우, 상기 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델은, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용 및, 상기 전자 장치의 사용자와 상기 상대방 간의 통화가 종료된 이후 상기 사용자로부터 입력된 상기 통화 요청의 목적에 기초하여 학습된 것일 수 있다.
그리고, 상기 프로세서는, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방이 기설정된 단어 또는 문장을 발화했는지 여부, 상기 상대방이 발화한 상기 사용자에 대한 정보의 진위 여부 및 상기 통화의 내용의 문맥 정보 중 적어도 하나에 기초하여 상기 통화 요청의 목적을 판단할 수도 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화(telephone conversation)를 수행하는 단계, 상기 통화의 내용에 기초하여 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 단계를 포함한다.
이때, 본 제어 방법은, 상기 상대방의 전화번호가 기저장된 리스트에 포함되어 있는지 식별하는 단계를 더 포함하고, 상기 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화를 수행하는 단계는, 상기 상대방의 전화번호가 상기 기저장된 리스트에 포함되어 있지 않은 경우, 상기 음성 비서를 이용하여 상기 통화를 요청한 상대방과 통화를 수행할 수 있다.
또는, 본 제어 방법은, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 획득된 상기 통화 요청의 목적이 기설정된 목적에 해당하는 경우, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화를 종료하는 단계를 더 포함하고, 상기 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 단계는, 상기 통화 요청의 목적이 상기 기설정된 목적에 해당하지 않는 경우, 상기 사용자와 상기 상대방 간의 통화를 위한 상기 유저 인터페이스를 제공할 수도 있다.
그리고, 본 제어 방법은, 상기 통화의 내용에 기초하여 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화에 대한 요약 정보를 획득하는 단계를 더 포함하고, 상기 유저 인터페이스를 제공하는 단계는, 상기 획득된 요약 정보를 포함하고 상기 사용자와 상기 상대방 간의 통화를 개시 또는 거절하기 위한 사용자 명령을 수신하기 위한, 상기 유저 인터페이스를 출력할 수도 있다.
이때, 본 제어 방법은, 상기 유저 인터페이스를 통해 상기 상대방에게 메시지를 제공하기 위한 사용자 명령이 입력되면, 상기 음성 비서를 통해 상기 메시지를 상기 상대방에게 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 요약 정보를 획득하는 단계는, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방으로부터 수신된 음성에서 기설정된 타입의 단어를 식별하고, 상기 식별된 단어의 타입을 포함하는 기저장된 문장에 상기 식별된 단어를 추가하여 상기 요약 정보를 생성할 수 있다.
한편, 본 제어 방법은, 대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 통해, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 상기 통화 요청의 목적을 판단하는 단계를 더 포함할 수 있다.
이 경우, 본 제어 방법은, 상기 사용자와 상기 상대방 간의 통화가 종료된 이후 상기 사용자로부터 입력된 상기 통화 요청의 목적에 기초하여, 상기 대화 상대방의 목적을 판단하도록 학습된 상기 인공 지능 모델을 학습시키는 단계도 포함할 수 있다.
그리고, 본 제어 방법은, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방이 기설정된 단어 또는 문장을 발화했는지 여부, 상기 상대방이 발화한 상기 사용자에 대한 정보의 진위 여부 및 상기 통화의 내용의 문맥 정보 중 적어도 하나에 기초하여 상기 통화 요청의 목적을 판단하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따른 컴퓨터 판독 가능 매체에는, 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금, 수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화(telephone conversation)를 수행하는 단계, 상기 통화의 내용에 기초하여 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 단계를 포함하는 동작을 수행하도록 하는 컴퓨터 명령어가 저장되어 있다.
본 개시에 따른 전자 장치는, 모르는 전화번호의 통화 요청이 수신된 경우, 이를 사용자에게 알리지 않고 음성 비서가 대신 통화를 수행한 결과, 자체적으로 통화 요청의 목적을 판단할 수 있다.
또한, 판단된 목적에 따라 통화 요청이 수신된 것을 사용자에게 선택적으로 알릴 수 있어, 광고나 스팸 전화를 수신해야 하는 사용자의 불편을 방지할 수 있다.
그리고, 본 개시에 따른 전자 장치는, 음성 비서가 선제적으로 수행한 통화의 내용을 요약하여 사용자에게 제공함과 동시에 사용자가 통화 요청의 수락 여부를 선택하게 하는 유저 인터페이스를 제공하므로, 사용자는 모르는 전화번호의 통화 요청이 수신되는 경우라도, 그 목적을 알고 있는 상태로 직접 통화 여부를 결정할 수 있다.
도 1은 본 개시에 따른 전자 장치의 동작을 개괄적으로 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3 내지 도 4는 음성 비서가 상대방과 통화를 수행하는 몇 가지 예를 설명하기 위한 도면들이다.
도 5는 음성 비서와 상대방 간의 통화 내용의 요약 정보 및 전자 장치의 사용자와 상대방 간의 통화를 위한 유저 인터페이스가 제공되는 실시 예를 설명하기 위한 도면,
도 6은 음성 비서 및 상대방 간의 통화의 내용에 대한 요약 정보를 획득하기 위한 과정을 설명하기 위한 도면,
도 7은 음성 비서를 통해 상대방에게 제공될 메시지를 작성하기 위한 유저 인터페이스를 제공하는 실시 예를 설명하기 위한 도면,
도 8은 사용자 명령에 따라 상대방에게 메시지를 제공하는 음성 비서의 통화 내용의 일 예를 설명하기 위한 도면,
도 9는 통화 요청의 목적을 판단하는 인공지능 모델을 학습하기 위해, 상대방과 통화를 직접 수행한 사용자로부터 상대방의 통화 요청의 목적을 입력받는 유저 인터페이스가 출력되는 실시 예를 설명하기 위한 도면,
도 10은 전자 장치가 클라우드 서버에 저장된 하나 이상의 인공지능 모델들을 이용하는 경우, 전자 장치와 클라우드 서버의 시스템 구성 및 동작의 일 예를 설명하기 위한 블록도,
도 11은 전자 장치를 통해 입력되는 상대방의 음성에 대한 데이터를 클라우드 서버로 전송하기 위한 전자 장치와 클라우드 서버의 시스템 구성 및 동작의 일 예를 설명하기 위한 블록도,
도 12는 인공지능 모델들이 전자 장치에 직접 저장되어 있는 경우, 전자 장치와 클라우드 서버의 시스템 구성의 일 예를 설명하기 위한 블록도,
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 상세한 구성을 설명하기 위한 블록도,
도 14는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도,
도 15는 본 개시의 제어 방법에 대한 구체적인 일 예를 설명하기 위한 알고리즘, 그리고
도 16은 본 개시의 제어 방법에 있어, 음성 비서 및 상대방 간의 통화의 내용을 요약하는 일 예를 설명하기 위한 순서도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시에 따른 전자 장치의 동작을 개괄적으로 설명하기 위한 도면이다. 도 1에서 휴대폰(40)이 본 개시에 따른 전자 장치에 해당한다.
도 1을 참조하면, 상대방(10)이 휴대폰(20)을 통해 사용자(30)의 휴대폰(40)에 전화를 거는 경우, 휴대폰(40)은 사용자(30)에게 전화가 왔음을 알리지 않은 채 휴대폰(20)과 전화 연결을 수행한 뒤, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서(41)를 이용하여 상대방(10)과 통화(telephone conversation)를 수행할 수 있다.
그리고, 휴대폰(40)은, 음성 비서(41)와 상대방(10) 간의 통화 내용을 이용하여 상대방(10)이 사용자(30)에게 전화를 건 목적이 무엇인지 판단할 수 있다. 이때, 해당 목적이 광고나 범죄가 아니라면, 휴대폰(40)은 사용자(30)에게 상대방(10)으로부터 전화가 걸려왔음을 알릴 수 있다.
아울러, 휴대폰(40)은 음성 비서(41)와 상대방(10) 간의 통화 내용을 사용자(30)에게 제공할 수도 있다.
사용자(30)는 통화 내용을 확인한 뒤, 휴대폰(40)을 통해 상대방(10)(휴대폰(20))과 통화를 수행할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다.
전자 장치(100)는 휴대폰, 스마트폰, 유선 전화기, 인터넷 전화기, 태블릿 PC, 노트북 PC, 데스크탑 PC, 인터폰 등으로 구현될 수 있다.
도 2를 참조하면, 전자 장치(100)는 통신부(110) 및 프로세서(120)를 포함할 수 있다.
통신부(110)는 하나 이상의 외부 장치와 신호/데이터를 송수신하기 위한 구성이다.
유선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 통신부(110)는 동축 케이블, 광섬유 케이블 등과 연결되어 통신을 수행할 수 있다. 일 예로, LAN(Local Area Network)을 이용할 수도 있다.
무선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 통신부(110)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(110)는 방송 신호를 수신하기 위해 안테나, 복조기, 등화기 등을 포함할 수 있다. 또한, GPS(Global Positioning System) 위성으로부터 GPS 신호를 수신하여, 전자 장치(100)의 현재 위치를 검출하기 위한 GPS 모듈을 포함할 수도 있다.
통신부(110)는 하나 이상의 외부 장치(도시되지 않음)로부터 통화 요청을 수신할 수 있다. 그리고, 외부 장치와 연결되어 오디오 신호를 송수신할 수 있다. 이를 위해, 통신부(110)는 통신 모듈을 통해 통화 요청을 수신하기 위한 Telephony Manager(도시되지 않음)를 포함할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
이를 위해, 프로세서(120)는 RAM(Random Access Memory)(도시되지 않음), ROM(Read Only Memory)(도시되지 않음), CPU(central processing unit)(도시되지 않음), GPU(Graphic processing unit)(도시되지 않음) 및 시스템 버스(도시되지 않음) 등을 포함할 수 있으며, 전자 장치(100)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
프로세서(120)는 통신부(110)를 통해 수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해, 통화 요청을 한 상대방과 통화(telephone conversation)를 수행할 수 있다.
대화 내용을 생성하도록 학습된 인공지능 모델은, 통화를 시작하기 위한 첫 문장에 대응되는 문장을 생성하거나 또는 대화 상대방이 말한 문장에 이어지는 문장을 생성하도록 학습될 수 있다. 이를 위해, 다양한 통화 내용을 포함하는 데이터 베이스를 이용하여 학습될 수 있으며, 대화 상대방의 대화 내용에 이어지는 대화 내용을 생성함에 있어 시간의 흐름에 따라 입력되는 데이터를 순차적/추가적으로 고려하는 학습 방식인 RNN(Recurrent Neural Network)을 이용할 수도 있다.
대화 내용을 생성하도록 학습된 인공 지능 모델은, 전자 장치(100)의 메모리(도시되지 않음)에 저장될 수도 있지만, 서버(도시되지 않음) 등에 저장된 채로 전자 장치(100)의 동작에 이용될 수도 있다.
프로세서(120)는 통화 요청을 한 상대방의 외부 장치(도시되지 않음)와 통화 연결을 수행하도록 통신부(110)를 제어할 수 있다. 그리고, 인공지능 모델을 이용하여 생성된 대화 내용에 대응되는 음성 데이터를 통화 요청을 한 상대방의 외부 장치(도시되지 않음)로 전송하도록 통신부(110)를 제어할 수 있다. 이때, 음성 데이터는 기설정된 특징 정보를 가질 수 있으며, 음성 데이터는 이러한 특징 정보를 가지는 음성, 즉 음성 비서의 목소리로서 상대방에게 제공될 수 있다.
특징 정보는 음성의 Pitch, Formant, LPCC(Linear Predictive Cepstral Coefficient), MFCC(Mel-Frequency Cepstral Coefficient), PLP(Perceptual Linear Predictive) 등 해당 음성에 대한 디지털화, 주파수 변환 등을 통해 얻어진 다양한 파라미터에 해당할 수 있다.
그 결과, 통화 요청을 한 상대방에게 음성 비서의 목소리가 제공될 수 있고, 전자 장치(100)는 음성 비서를 통해 상대방과 통화를 수행할 수 있다. 이때, 전자 장치(100)의 사용자에게는 아직 통화 요청에 대한 알림이 제공되지 않은 상태일 수 있다.
전자 장치(100)가 전화 요청을 한 상대방과 통화를 수행하기 위해 인공지능 모델을 이용하여 대화 내용을 생성하고, 생성된 대화 내용에 대응되는 음성 데이터를 상대방의 외부 장치(도시되지 않음)로 전송하는 동작은 모두 음성 비서의 동작으로서 정의될 수 있다.
한편, 상술한 실시 예들에 있어, 음성 비서는 인공지능 모델을 통해 대화 내용을 생성하고 생성된 대화 내용에 따라 상대방과 통화(telephone conversation)를 수행하는 대상 내지는 서비스로서 설명되었으나, 음성 비서는 이보다 더 다양한 역할을 가지는 것으로 정의될 수 있다.
예로, 전자 장치(100)가 음성 비서와 상대방 간의 통화의 내용을 이용하여 통화 요청의 목적을 판단하고, 통화의 내용에 대한 요약 정보를 사용자에게 제공하며, 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 사용자에게 제공하는 등의 (후술할) 다양한 실시 예들 역시, 음성 비서의 서비스 내지는 동작으로서 정의될 수 있다.
이 경우, 음성 비서는, 대화 내용을 생성하도록 학습된 인공지능 모델뿐만 아니라, 대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델 및 텍스트(통화 내용)를 요약하도록 학습된 인공지능 모델 중 적어도 하나를 더 이용하여 전자 장치(100)의 다양한 동작을 수행하는 인공지능 시스템이자, 종합 인공지능 서비스로서, 사용자에게 인간의 인지적 능력에 준하는 통화 비서 서비스를 제공하는 특정한 대상으로 정의될 수 있다.
다만, 이하에서는 전자 장치(100)의 동작을 기술적으로 설명하기 위해, 대화 내용을 생성하고 이를 이용하여 상대방과 통화를 수행하는 전자 장치(100)의 동작만을 음성 비서의 역할로 보고, 다른 동작들에 대해서는 전자 장치(100)의 각 구성을 통해 기술 내용 위주로 설명한다.
도 2와 달리, 전자 장치(100)는 메모리(도시되지 않음)를 추가로 더 포함할 수 있다. 이때, 메모리에는 하나 이상의 전화번호를 포함하는 리스트가 저장될 수 있다.
이 경우, 프로세서(120)는 통화 요청을 한 상대방의 전화번호가 리스트에 포함되어 있는지 여부에 따라 음성 비서를 통해 상대방과 통화를 수행할 수 있다.
저장된 리스트는 사용자의 가족, 친구, 지인 등의 전화번호를 포함하는 화이트 리스트에 해당할 수 있다.
이때, 상대방의 전화번호가 저장된 리스트에 포함되어 있지 않은 경우, 프로세서(120)는 상대방의 외부 장치와 통화 연결하도록 통신부(110)를 제어하고, 음성 비서를 통해 상대방과 통화를 수행할 수도 있다.
반면, 상대방의 전화번호가 저장된 리스트에 포함되어 있지 않은 경우, 프로세서(120)는 음성 비서를 통해 상대방과 통화를 수행하지 않고, 곧바로 사용자와 상대방 간의 통화(telephone conversation)를 위한 유저 인터페이스를 제공할 수 있다.
사용자와 상대방 간의 통화를 위한 유저 인터페이스는, 상대방으로부터 통화 요청이 수신되었음을 알릴 수 있다. 또한, 본 유저 인터페이스를 통해, 상대방과의 통화를 개시할지 거절할지 여부를 선택하는 사용자 명령이 입력(수신)될 수 있다. 사용자와 상대방 간의 통화를 위한 유저 인터페이스는, 전자 장치(100)의 디스플레이(도시되지 않음) 또는 전자 장치(100)의 음성 출력부(도시되지 않음)를 통해 시각적 또는 청각적으로 출력될 수 있다.
사용자와 상대방 간의 통화를 위한 유저 인터페이스에 대해서는, 이하 도 5 를 통해 더욱 상세히 후술한다.
도 3 내지 도 4는 전자 장치(100)와 상대방(10)의 외부 장치(20)가 통화 연결되어 음성 비서가 상대방(10)과 통화를 수행하는 몇 가지 예를 설명하기 위한 도면들이다. 이때, 프로세서(120)는 음성 비서와 상대방 간의 통화의 내용으로부터 획득된 통화 요청의 목적을 이용하여 음성 비서를 통해 통화를 수행할 수도 있다.
한편, 도 3 내지 도 4에 도시된 음성 비서 및 상대방(10) 간의 통화는, 통화를 요청한 상대방의 전화번호가 저장된 리스트에 포함되지 않은 결과일 수도 있다.
도 3을 참조하면, 전자 장치(100)의 음성 비서는 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하여 "안녕하세요. XXX(ex: 사용자 이름)님의 음성 비서입니다. 어떠한 용무로 전화하셨는지 말씀해 주시면 연결해드리겠습니다."라고 말할 수 있다.
도 3을 참조하면, 음성 비서의 음성에 응답하여, 상대방(10)은 "안녕하세요. XXXX 대출입니다. 이번에 좋은 대출 상품이 출시되어 추천을 드리려고 하는데요. 고객 신용에 상관 없이..."라고 말하고 있는 것을 확인할 수 있다.
이때, 전자 장치(100) 또는 전자 장치(100)와 통신 가능한 서버(도시되지 않음)는 통화의 내용 즉, 상대방(10)이 말한 내용을 이용하여 통화 요청의 목적이 '대출 광고'임을 판단할 수 있다. 이 경우, 프로세서(120)는 학습된 인공지능 모델을 이용하거나 통화 요청의 목적을 판단하기 위한 다양한 메커니즘을 사용할 수 있는데 자세한 내용은 후술한다.
그 후, 전자 장치(100)는 통화 요청의 목적이 '대출 광고'라고 판단한 결과 및 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하여, "죄송합니다. 대출 안 받아요."라는 거절 의사의 문장을 생성하고, 본 문장을 음성 비서의 음성으로 상대방에게 전달할 수 있다.
그리고, 전자 장치(100)는 상대방(10)의 외부 장치(20)와의 통화 연결을 종료할 수 있다.
도 4를 참조하면, 전자 장치(100)의 음성 비서는 도 3과 마찬가지로 "안녕하세요. XXX(ex: 사용자 이름)님의 음성 비서입니다. 어떠한 용무로 전화하셨는지 말씀해 주시면 연결해드리겠습니다."라고 말할 수 있다.
도 4를 참조하면, 음성 비서의 음성에 응답하여, 상대방(10)은 "안녕하세요. 정수기 매니저입니다. 정수기 정기 필터교체 방문일정을 상의드리려고 합니다."라고 말하고 있는 것을 확인할 수 있다.
이때, 전자 장치(100) 또는 전자 장치(100)와 통신 가능한 서버(도시되지 않음)는 통화의 내용 즉, 상대방(10)이 말한 내용을 이용하여 통화 요청의 목적이 '정수기 필터 교체'에 대한 것임을 판단할 수 있다.
그 후, 전자 장치(100)는 통화 요청의 목적이 '정수기 필터 교체'라고 판단한 결과 및 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하여, "정수기 매니저님 잠시만 기다려주세요. XXX님 연결해 드리겠습니다."라는 말을 음성 비서의 음성으로 상대방에게 전달할 수 있다.
그리고, 전자 장치(100)는 전자 장치(100)의 사용자와 상대방(10) 간의 통화를 위한 유저 인터페이스를 제공할 수 있다.
프로세서(120)는 음성 비서를 통해 상대방과 수행한 통화의 내용에 기초하여 전자 장치(100)의 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 제공할 수 있다.
이때, 프로세서(120)는 음성 비서를 통해 상대방과 수행한 통화의 내용에 따라 획득된 통화 요청의 목적에 따라, 전자 장치(100)의 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 제공할 수 있다.
통화 요청의 목적은, 전자 장치(100) 및/또는 전자 장치(100)와 통신 가능한 서버(도시되지 않음)를 통해 판단될 수 있다. 이하에서는 전자 장치(100)의 프로세서(120)가 통화 요청의 목적을 판단하는 경우를 상정하여 설명한다.
프로세서(120)는, 대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 통해, 음성 비서를 통해 상대방과 수행한 통화의 내용에 기초하여 통화 요청의 목적을 판단할 수 있다.
대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델은, 복수의 대화 및 각각의 대화에 대응되는 목적을 포함하는 데이터 베이스를 이용하여 학습된 것일 수 있다. 이때, 데이터 베이스에 포함된 복수의 대화는, 다양한 통화 내용에 포함된 대화일 수 있으며, 인공지능 모델은 DNN(Deep Neural Network) 방식을 통해 학습된 것일 수 있다.
예를 들어, 인공지능 모델은 다양한 광고 목적의 통화 내용, 다양한 보이스 피싱 기타 범죄 목적의 통화 내용, 일반적인 지인 간의 통화 내용, 사무적인 통화 내용 등 다양한 통화 내용을 이용하여 학습될 수 있다.
대화 상대방의 목적을 판단하도록 학습된 인공지능 모델은, 사용자가 상대방과 직접 통화를 수행하는 경우, 통화를 마친 사용자로부터 상대방의 통화 요청의 목적이 무엇이었는지 직접 입력받은 결과를 이용하여 학습될 수도 있는데, 관련된 구체적인 실시 예는 도 9를 통해 후술한다.
프로세서(120)는 다양한 메커니즘을 토대로 통화 요청의 목적을 판단할 수 있다. 이하에서는, 음성 비서를 통해 상대방과 수행한 통화의 내용을 이용하여 통화 요청의 목적을 판단하는 구체적인 메커니즘들을 하나씩 설명한다. 이하 메커니즘들은, 대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델과 같이, 하나 이상의 인공지능 모델을 통해 수행될 수도 있다.
일 메커니즘으로, 프로세서(120)는, 음성 비서를 통해 상대방과 수행한 통화 중에 상대방이 기설정된 단어 또는 문장을 발화했는지에 따라 통화 요청의 목적을 판단할 수 있다. 구체적으로, 통화의 내용 중 상대방의 대화 내용에 기설정된 단어 또는 문장이 포함되는지 식별할 수 있다.
예를 들어, 프로세서(120)는 상대방이 '대출', '이벤트' 등의 단어를 말하거나 '대출 필요하지 않으세요?'와 같은 문장을 말하는 경우, 통화 요청의 목적이 '광고' 또는 '대출 광고'라는 점을 판단할 수 있다.
일 메커니즘으로, 프로세서(120)는 음성 비서를 통해 상대방과 수행한 통화 중에 상대방이 발화한 전자 장치(100)의 사용자에 대한 정보의 진위 여부에 따라서도, 통화 요청의 목적을 판단할 수 있다. 구체적으로, 통화의 내용 중 상대방의 대화 내용에 사용자에 대한 정보가 포함된 경우, 이를 기저장된 사용자에 대한 정보와 비교할 수 있다. 그리고, 상대방의 대화 내용에 포함된 사용자에 대한 정보가 기저장된 사용자에 대한 정보와 다른 경우, 프로세서(120)는 통화 요청의 목적이 '사기' 또는 '보이스 피싱'인 것으로 판단할 수 있다.
예를 들어, 기저장된 사용자에 대한 정보에 따르면 사용자는 미혼임에도, 상대방이 "배우자 분이 위험에 처해있습니다."라고 발화하는 경우, 프로세서(120)는 통화 요청의 목적이 '보이스 피싱'인 것으로 판단할 수 있다.
일 메커니즘으로, 프로세서(120)는 음성 비서를 통해 상대방과 수행한 통화의 내용의 문맥 정보에 기초하여 통화 요청의 목적을 판단할 수도 있다. 구체적으로, 통화의 내용에 있어서 상대방이 대화의 문맥 또는 상황에 맞는 말 또는 행동을 했는지를 판단할 수 있다.
이를 위해, 통화의 내용에 있어 상황별로 발화할 것으로 예상되는 대화의 타입이 기저장되는 한편, 음성 비서 및 상대방 간의 통화에 있어 상황별로 상대방이 대화한 내용이 기저장된 타입과 유사한지(또는 매칭되는지) 판단할 수 있다.
이하 표 1은, 현재 통화의 내용의 문맥 정보 및 음성 비서의 대화 내용을 이용하여, 이어지는 상대방의 대화 내용의 문맥 정보 또는 행동이 기설정된 대화 내용 또는 행동과 대응되는지(Similarity) 판단하는 예를 나타낸다.
상황 상대방의 대화 내용 또는 행동 Similarity
(No Context) (Any Context) O
(No Context)(질문) (Any Context) O
(CC Context)(질문) 통화 종료 X
(AA Context)(질문) (AA Context) O
(AA Context)(질문) (CC Context) X
(AA Context)(질문) 통화 종료 X
표 1의 6가지 상황 중 첫 번째를 참조하면, 별도의 문맥 정보가 없는 상태(No Context), 즉 대화의 내용이 없는 상태에서 음성 비서가 아직 아무 말도 하지 않은 경우, 상대방이 어떤 말을 하더라도 통화의 내용의 문맥은 정상적인 것(Similarity: O)으로 판단될 수 있다.
세 번째를 참조하면, 특정한 내용(CC Context)에 대해 음성 비서가 질문을 한 상태에서, 상대방도 해당 내용(CC Context)에 대해 말하는 경우에만 문맥 정보가 맞는 것으로 기설정되어 있으므로, 만약 상대방이 아무런 말 없이 곧바로 통화를 종료한 경우, 통화의 내용의 문맥이 비정상적인 것(Similarity: X)으로 판단될 수 있다.
다섯 번째를 참조하면, 음성 비서는 (AA Context)에 대해서 질문을 했음에도 상대방은 (AA Context)가 아닌 (CC Context)에 대한 말을 했으므로, 역시 통화의 내용의 문맥이 비정상적인 것(Similarity: O)으로 판단될 수 있다.
이렇듯, 프로세서(120)는 통화의 내용에 있어 상대방이 대화의 문맥 정보 또는 상황에 맞는 말 또는 행동을 한 경우에만, 통화 요청의 목적이 악의적이거나 이상한 것이 아니라고 판단할 수 있다.
한편, 통화 요청의 목적을 판단하는 상술한 실시 예들은, 그 중 어느 하나만 이용될 수도 있지만, 둘 이상이 다양한 방식으로 조합되어 이용될 수 있다. 예를 들어, 상술한 실시 예들 중 어느 하나만 이용되거나 두 가지 이상이 동시에 이용될 수도 있고, 상술한 메커니즘들이 수행되는 순서도 다양할 수 있다. 아울러, 상술한 메커니즘들 및 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 이용하는 경우만으로 한정되는 것은 아니고, 그 밖에도 다양한 실시 예를 통해 구현될 수 있다.
프로세서(120)는, 통화의 내용에 기초하여 획득된 통화 요청의 목적이 기설정된 목적에 해당하는 경우, 음성 비서를 통해 상대방과 수행한 통화를 종료할 수 있다. 구체적으로, 사용자에게 통화 요청을 전혀 알리지 않은 채, 음성 비서와 상대방 간의 통화를 종료할 수 있다.
이때, 기설정된 목적은 광고 또는 악의적인 목적을 포함할 수 있으며, 스팸, 보이스 피싱 등이 이에 해당될 수 있다. 또한, 그 밖에도 사용자의 요청에 따라 사용자가 통화를 원하지 않는 것으로 기설정된 하나 이상의 목적을 포함할 수 있다. 또한, 명확한 목적을 파악할 수 없는 경우에 해당하는 '목적 불분명'을 포함할 수 있다.
반면, 통화 요청의 목적이 기설정된 목적에 해당하지 않는 경우, 프로세서(120)는 전자 장치(100)의 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 제공할 수 있다.
유저 인터페이스는 수신된 통화 요청에 대한 알림 정보를 포함할 수 있다.
이때, 프로세서(120)는 유저 인터페이스를 통해 전자 장치(100)의 사용자로부터 상대방과의 통화를 개시할 것인지 여부에 대한 사용자 명령을 입력받을 수 있다.
이를 위해, 유저 인터페이스는 통화의 개시 또는 거절 각각에 대응되는 그래픽 UI(User Interface)를 포함하여 디스플레이될 수 있다.
또는, 유저 인터페이스는, 통화의 개시 또는 거절 각각에 대응되는 사용자의 발화 내용을 알려주는 시각적 또는 청각적 가이드를 포함할 수 있다. 그 결과, 전자 장치(100)는 사용자의 발화 내용을 음성 인식하여 사용자 및 상대방 간의 통화를 개시 또는 거절할 수 있다.
또한, 유저 인터페이스는, 음성 비서가 상대방과 수행한 통화의 내용에 기초하여 획득된 통화에 대한 요약 정보를 포함할 수 있다. 전자 장치(100)가 음성 비서와 상대방 간의 통화의 내용에 대한 요약 정보를 제공한 결과, 사용자는 요약된 내용을 토대로 상대방과의 통화를 개시할 것인지 거절할 것인지 선택할 수 있다는 효과가 있다.
프로세서(120)는 유저 인터페이스를 통해 상대방에게 메시지를 제공하기 위한 사용자 명령을 입력받을 수도 있다.
구체적으로, 프로세서(120)는 유저 인터페이스를 이용하여 상대방에게 제공할 메시지의 작성을 시작하기 위한 사용자 명령, 적어도 하나의 텍스트를 입력하는 사용자 명령 및 입력된 텍스트를 상대방에게 제공하기 위한 사용자 명령 중 적어도 하나를 터치, 음성, 모션 등의 형태로 입력받을 수 있다.
이때, 프로세서(120)는 사용자 명령에 따라 입력된 적어도 하나의 텍스트에 대응되는 음성 데이터를 상대방의 외부 장치(도시되지 않음)로 전송하도록 통신부(110)를 제어할 수 있다. 즉, 프로세서(120)는 사용자 명령에 따라 입력된 텍스트에 해당하는 메시지를, 음성 비서와 상대방 간의 통화 중에, 음성 비서를 통해 상대방에게 제공할 수 있다. 이는, 음성 비서가 상대방에 대한 사용자의 메시지를 사용자 대신 전달해주는 형태에 해당한다.
도 5는 전자 장치의 사용자와 상대방 간의 통화를 위한 유저 인터페이스가 제공되는 실시 예를 설명하기 위한 도면이다.
도 5는, 수신된 통화 요청에 대응되는 전화번호가 기저장된 리스트에 포함되지 않는 경우일 수 있다. 그리고, 도 4와 같이, 통화 요청의 목적이 광고나 악의적인 것이 아니고 정수기 필터 교체와 같은 일반적인 목적인 경우에 해당한다.
도 5를 참조하면, 전자 장치(100)는 '전화가 왔습니다.'와 같은 문구를 통해 수신된 전화 요청에 대한 알림을 제공할 수 있다.
도 5를 참조하면, 전자 장치(100)는 '통화', '전달', '거절' 중 적어도 하나를 선택하는 사용자 명령을 터치 또는 음성 형태로 수신하여, 사용자와 상대방과의 직접적인 통화를 개시하거나, 메시지를 전달하기 위한 기능을 실행하거나, 사용자와 상대방의 직접 통화를 거절할 수 있다.
또한, 도 5를 참조하면, "전화의 목적은 정수기 정기 필터교체 방문 일정 상의로 판단됩니다."라는 문구를 통해, 음성 비서를 통해 상대방과 수행한 통화의 내용이 요약된 요약 정보가 제공되는 것을 확인할 수 있다.
음성 비서를 통해 상대방과 수행한 통화에 대한 요약 정보는, 전자 장치(100) 및/또는 서버(도시되지 않음)를 통해 획득될 수 있다. 이하에서는, 전자 장치(100)의 프로세서(120)가 요약 정보를 획득하는 경우를 상정하여 요약 정보를 획득하는 과정에 대한 실시 예를 설명한다.
본 개시의 요약 알고리즘에 따르면, 프로세서(120)는, 음성 비서를 통해 상대방과 수행한 통화 중에 상대방으로부터 수신된 음성에서 기설정된 타입의 단어를 식별하고, 식별된 단어의 타입을 포함하는 기저장된 문장에 식별된 단어를 추가하여 요약 정보를 획득할 수 있다. 이때, 기설정된 타입은 브랜드, 목적, 화자, 시간, 장소 등 상대방의 용건을 설명하기 위한 다양한 내용에 해당할 수 있다.
이는, 종래에 하나 이상의 문장을 요약하는 다양한 알고리즘이 있었지만, 일반적으로 통화 내용의 경우, 각 대화의 내용이 비교적 짧기 때문에 종래의 알고리즘들이 항상 유용한 것만은 아니라는 점을 고려한 것이다.
도 6은 음성 비서 및 상대방 간의 통화의 내용에 대한 요약 정보를 획득하기 위하여 본 개시의 요약 알고리즘을 설명하기 위한 도면이다.
도 6은 동일한 두 가지의 원문(601, 602)에 대하여, 종래의 텍스트 요약 방식을 적용한 데에 더하여, 본 개시에 따른 요약 방식을 추가로 고려한 예를 나타낸다. 이때, 종래의 텍스트 요약 방식 중 '문장 단위 분리 - 품사 태깅 - 불용어 삭제 - 명사 단위 추출 - 단어의 가중치 계산' 알고리즘 방식을 이용하였다.
도 6을 참조하면, 두 가지의 원문(601, 602)을 종래의 텍스트 요약 방식에 따라서 요약한 결과(603, 604)를 확인하면, 텍스트가 양적으로 그다지 줄어들지 않았다는 점을 알 수 있다. 불용어가 삭제되는 등 필요한 내용만을 남겼으나, 일반적으로 음성 비서와 상대방 간의 통화의 내용 대부분은 이미 핵심적인 내용을 높은 비율로 포함하는 경우가 많기 때문이다.
따라서, 통화의 내용으로부터 통화 요청의 용건만을 함축적으로 제공하기 위한 본 개시의 요약 알고리즘을 사용할 필요가 있다.
도 6을 참조하면, 프로세서(120)는 종래의 텍스트 요약 방식에 따른 결과(603, 604)에서, 기설정된 타입의 단어를 식별할 수 있다. 그에 따라, 첫 번째 원문(601)을 종래의 방식으로 요약한 결과(601)로부터는 기설정된 타입 중 '브랜드' 및 '목적'에 해당하는 'ABCD' 및 '스마트폰 교체 행사'를 식별할 수 있다. 그리고, 두 번째 원문(602)을 종래의 방식으로 요약한 결과(604)로부터는 기설정된 타입 중 '화자'에 해당하는 'EFGH 헬스케어 수원 영통 지점 김정숙 매니저', '시간'에 해당하는 '이번주 금요일 오전' 및, '목적'에 해당하는 '정기 필터 교체 기간'과 '방문 일정 확인'을 식별할 수 있다.
상자(610)를 통해, 종래의 요약 방식을 이용한 각각의 결과(603, 604)로부터 식별된 기설정된 타입의 단어에 해당하는 타입을 각각 정리하였다.
상자(620)는, 기저장된 문장들을 나타낸 것이다. 다만, 기저장된 문장들은 상자(620)에 표시된 내용 외에도 다양할 수 있다.
상자(620)를 참조하면, 프로세서(120)는 기저장된 문장들 중, 요약 결과(603)로부터 식별된 단어들에 대응되는 타입만을 포함하는 '{브랜드} {목적} 전화입니다.'라는 문장을 이용하여 요약 결과(603)를 다시 요약할 수 있다. 구체적으로, 해당 문장의 각 타입 위치에 식별된 단어를 대응되도록 추가한 결과, ''ABCD' '스마트폰 교체 행사' 전화입니다.'라는 요약 문장(605)을 획득할 수 있다.
상자(620)를 참조하면, 프로세서(120)는 기저장된 문장들 중 요약 결과(604)로부터 식별된 단어들에 대응되는 타입만을 포함하는 '{화자}로부터 {목적} 때문에 {시간}에 {목적} 전화입니다.'라는 문장을 이용하여 요약 결과(604)를 다시 요약할 수 있다. 구체적으로, 해당 문장의 각 타입 위치에 식별된 단어를 대응되도록 추가한 결과, ''헬스케어 수원영통지점 김정숙 매니저'로부터 '정기 필터 교체 기간' 때문에 '이번주 금요일 오전' '방문 일정 확인' 전화입니다.'라는 요약 문장(606)을 획득할 수 있다.
한편, 도 6을 통해서는 종래의 요약 방식을 이용하여 원문을 한 번 이상 요약한 결과에 대하여 본 개시의 요약 알고리즘을 적용하였으나, 원문 자체에 본 요약 알고리즘을 곧바로 적용하는 것도 가능하다.
다시 도 5를 참조하면, 프로세서(120)는 유저 인터페이스를 통해, '전달'을 선택하는 사용자 명령을 입력받은 후, 음성 비서를 통해 상대방에게 제공될 메시지를 작성하기 위한 유저 인터페이스를 제공할 수 있다.
도 7은 음성 비서를 통해 상대방에게 제공될 메시지를 작성하기 위한 유저 인터페이스를 제공하는 실시 예를 설명하기 위한 도면이다. 도 7은 도 5에서 '전달'을 선택하는 사용자 명령이 입력된 경우를 가정한다.
도 7을 참조하면, 전자 장치(100)는 '음성 비서를 통해 발신자에게 전달할 메시지를 적어주세요.'라는 문구를 디스플레이 하는 한편, 사용자 명령을 통해 입력된 텍스트를 표시할 수 있다.
그리고, 도 7을 참조하면, 적어도 하나의 메시지가 작성된 이후, 터치 또는 음성을 통해 '전달'을 선택하는 사용자 명령이 입력되면, 전자 장치(100)는 작성된 메시지를 음성 비서를 통해 상대방에게 제공할 수 있다.
도 8은 사용자 명령에 따라 상대방에게 메시지를 제공하는 음성 비서의 통화 내용의 일 예를 설명하기 위한 도면이다. 도 8은, 도 7에서 사용자가 '1시간 뒤에 다시 전화주세요'라고 메시지를 작성한 뒤 '전달'을 선택한 상황을 가정한다.
도 8을 참조하면, 전자 장치(100)는 음성 비서를 통해 상대방에게 '매니저님, XXX 님이 1시간 뒤에 다시 전화 주세요 라고 전해달라고 하였습니다.'라는 말을 전하는 것을 확인할 수 있다.
한편, 통화 요청의 목적을 판단하는 실시 예와 관련하여, 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델은, 음성 비서를 통해 상대방과 수행한 통화의 내용 및, 전자 장치(100)의 사용자와 상대방 간의 통화가 종료된 이후 사용자로부터 입력된 통화 요청의 목적에 기초하여 학습될 수 있다.
예로, 음성 비서를 통해 상대방과 수행한 통화의 내용에 따라 통화 요청의 목적이 획득되고, 해당 목적이 기설정된 목적이 아니기 때문에 사용자와 상대방 간의 통화를 위한 유저 인터페이스가 제공된 후, 상대방과의 통화를 개시하는 사용자 명령이 입력된 결과 사용자와 상대방 간의 통화가 수행되는 상황을 가정한다. 이 경우, 전자 장치(100) 또는 서버(도시되지 않음)는 이미 음성 비서를 통해 상대방과 수행한 통화의 내용으로부터 통화 요청의 목적을 판단하기는 하였으나, 그 판단 내용이 정확했는지 확인하기 위해서는 사용자로부터 피드백을 받을 필요가 있다. 이를 위해, 사용자와 상대방 간의 통화가 종료된 이후 사용자로부터 통화 요청의 목적이 무엇이었는지 다시금 입력받을 수 있다.
도 9는 인공지능 모델을 학습하기 위해, 상대방과 통화를 직접 수행한 사용자로부터 상대방의 통화 요청의 목적을 입력받는 유저 인터페이스가 출력되는 실시 예를 설명하기 위한 도면이다.
도 9를 참조하면, 전자 장치(100)는 사용자와 상대방 간의 통화가 종료된 후, 상대방의 통화 요청의 목적이 무엇이었는지 입력받기 위한 유저 인터페이스(910)를 출력한 것을 확인할 수 있다. 그리고, 음성 비서 및 상대방 간의 통화 내용 및 사용자로부터 입력된 통화 요청의 목적을 이용하여 인공지능 모델을 학습시킬 수 있다.
도 10은 전자 장치(100)가 클라우드 서버(200)에 저장된 하나 이상의 인공지능 모델들을 이용하는 경우, 전자 장치(100)와 클라우드 서버(200)의 시스템 구성(architecture) 및 동작의 일 예를 설명하기 위한 블록도이다.
도 10을 참조하면, Call App(1005)을 통해 상대방(10)의 외부 장치(20)로부터 전화 요청이 수신되면, Call Receiver Service App(1010)이 외부 장치(20) 및 클라우드 서버(200) 내의 AI Assistant Server(1015)가 서로 Audio Stream Data를 주고받도록 하여 음성 비서 및 상대방(10) 간의 통화가 수행될 수 있다.
이때, AI Assistant Server(1015)로부터 Call receiver Service(1010)를 거쳐 외부 장치(20)로 전송되는 Audio Stream Data, 즉 음성 비서의 통화 중 대화 내용은, 상대방의 통화 중 대화 내용에 대응되는 Audio Stream Data가 외부 장치(20)로부터 Call Receiver Service App(1010)을 거쳐 클라우드 서버(200)로 전송된 후, Speech Recognition Engine(1020), Natural Language Understanding Engine(1025), Dialog Manager(1030), Language Generation Engine(1040) 및 Text to Speech Synthesis Engine(1045) 등을 거친 결과일 수 있다.
구체적으로, Speech Recognition Engine(1020)을 통해 Audio Stream Data가 word data로 변환되면, Natural Language Understanding Engine(1025)은 변환된 word data에 매칭되는 데이터를 식별할 수 있다. 그리고, Dialog Manager(1030)는 식별된 데이터를 이용하여 식별된 데이터에 이어지는 데이터를 획득할 수 있다. 이를 위해, Dialog Manager(1030)는 복수의 단어 및/또는 문장을 통해 학습된 인공지능 모델을 이용할 수 있다. 구체적으로, 본 인공지능 모델은, 상대방의 대화 내용에 대응되는 데이터가 입력되면 상대방의 대화 내용에 이어지는 다음 대화 내용에 대응되는 데이터를 획득하도록 학습된 것일 수 있다. 이때, 데이터는 다양한 word 또는 텍스트 각각에 매칭되는 코드, 행렬 또는 벡터 등으로 기설정되어 이용되는 것일 수 있다.
또한, Dialog Manager(1030)는 Knowledge Dictionary에 포함된 정보를 이용할 수 있는데, 예를 들어, 스타벅스, 커피 빈 등이 카페 브랜드 이름에 해당하거나 또는 나이키, 아디다스 등이 스포츠 용품 브랜드의 이름에 해당한다는 정보 등을 Knowledge Dictionary(1035)로부터 획득할 수 있다.
Dialog Manager(1030)를 통해 생성된 대화 내용에 대응되는 데이터가 생성되면, Language Generation Engine(1040)은 생성된 데이터를 word data 형태로 변환하고, Text to Speech Synthesis Engine(1045)은 word data 형태의 데이터를 다시 Audio Stream Data로 변환할 수 있다.
변환된 Audio Stream Data가 전자 장치(100)를 거쳐 외부 장치(20)로 전송된 결과, 클라우드 서버에서 생성된 대화 내용이 음성 비서의 목소리로서 외부 장치(20)를 통해 상대방(10)에게 제공될 수 있다.
한편, Dialogue Manager(1030)에 수신된 데이터 및 Dialogue Manager(1030)에서 생성된 데이터, 즉 음성 비서와 상대방 간의 대화 내용에 대한 정보를 이용하여, Malicious & Context Classifier(1050)는 상대방의 통화 요청의 목적을 판단할 수 있다. 이를 위해, Malicious & Context Classifier(1050)는 AI Assistant Deep Learning Manager(1060)를 통해 학습된 인공지능 모델(Malicious Model)을 이용할 수 있다. 또한, Malicious & Context Classifier(1050)는 기저장된 User Database(1065)를 통해 식별되는 사용자의 정보가, 상대방의 대화 내용에 포함된 사용자의 정보와 일치하는지에 따라서도 통화 요청의 목적을 판단할 수 있다. 그 외에 Malicious & Context Classifier(1050)는 '대출', '광고' 등 기설정된 단어가 상대방의 대화 내용에 포함되어 있는지에 따라 통화 요청의 목적을 판단할 수도 있고, 음성 비서와 상대방 간의 통화의 내용의 문맥 내지는 패턴을 분석하여 통화 요청의 목적을 판단할 수도 있다.
Malicious & Context Classifier(1050)를 통해 실시간으로 판단된 통화 요청의 목적은, Dialog Manager(1030)가 음성 비서의 대화 내용을 생성하는 데에 이용될 수도 있다. 예를 들어, 통화 요청의 목적이 '대출 광고'인 것으로 판단되는 경우, '대출 안 받아요.'라는 대화 내용이 생성될 수 있다.
Summarize Engine(1070)은 음성 비서와 상대방 간의 통화의 내용을 요약하여 요약 정보를 획득할 수 있다. 이때, 텍스트를 요약하도록 학습된 인공지능 모델을 이용할 수 있다.
Summarize Engine(1070)은, Malicious & context Classifier(1050)을 통해 판단된 통화 요청의 목적이 광고 또는 범죄 등 기설정된 목적이 아닌 경우에만 음성 비서와 상대방 간의 통화의 내용을 요약할 수도 있다.
획득된 요약 정보는, 전자 장치(100)의 Call App(1005)을 통해, 수신된 통화 요청에 대한 알림과 함께 사용자(30)에게 제공될 수 있다. 아울러, Call App(1005)을 통해, 사용자 및 상대방과의 직접 통화를 위한 유저 인터페이스가 제공될 수 있다. 이때, Malicious & Context Classifier(1050)를 통해 판단된 통화 요청의 목적이 기설정된 목적이 아닌 경우에만, 수신된 통화 요청에 대한 알림 및 유저 인터페이스가 Call App(1005)을 통해 출력될 수 있다.
해당 유저 인터페이스를 통해 직접 통화의 개시가 선택되어 사용자가 상대방과의 통화(Call Receiver Service(1010)를 통해 진행)가 종료된 경우, AI Assistant Deep Learning Manager(1060)는, Call App(1005)을 통해 사용자로부터 입력된 통화 요청의 목적에 대한 정보를, 통화 요청의 목적을 판단하기 위한 인공지능 모델(Malicious Model)의 학습에 이용할 수 있다.
도 11은 전자 장치를 통해 입력되는 상대방의 음성에 대한 데이터를 클라우드 서버로 전송하기 위한 전자 장치와 클라우드 서버의 시스템 구성 및 동작의 일 예를 설명하기 위한 블록도이다.
도 11을 참조하면, 전자 장치(100)는 먼저, Telephony Manager(1105)를 통해 통화 요청을 수신할 수 있다. 이를 위해, Telephony Manager(1105)는 HAL(Hardware Abstraction Layer), RIL(Radio Interface Layer) 등 미들웨어 계층의 인터페이스와 통신할 수 있다.
통화 요청이 수신되면, Call Receiver Service App(1110)은 Audio Recorder(1115)가 동작을 시작하도록 할 수 있다. 이때, Audio Recorder(1115)는 통화에 대한 오디오 데이터를 수신하도록 라우팅 될 수 있다. 구체적으로, Audio Recorder(1115)는, Telephony Manager(1105)로부터 통화에 대한 오디오 데이터를 수신하는 Media Manager(1120)로부터 통화에 대한 오디오 데이터를 수신하여 녹음할 수 있다. 그 결과, 음성 비서 및 상대방 간의 통화 중에, 상대방의 대화 내용에 대응되는 오디오 데이터가 녹음될 수 있다.
한편, 통화 요청이 수신되면, Call Receiver Service App(1110)은, 클라우드 서버(200)의 AI Assistant Server(1125)와 통신 연결을 개시하도록 전자 장치(100)를 제어할 수 있다.
그리고, Audio Recorder(1115)로부터 녹음된 오디오 데이터는 Encoder(1130)를 거쳐 스트림 데이터 형식으로 AI Assistant Server(1125)로 전송될 수 있다. 그 결과, AI Assistant Server(1125)는 음성 비서와 상대방 간의 통화 중에 상대방의 대화 내용을 인식할 수 있다.
AI Assistant Server(1125)는 (음성 비서의) 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하여 상대방의 대화 내용에 이어질 음성 비서의 대화 내용을 획득하고, 이에 대응되는 스트림 데이터를 Stream Server(1135)로 전송할 수 있다. 이후, 수신된 스트림 데이터는 Decorder(1140)를 거쳐 오디오 데이터 형태로 변환되어 상대방의 외부 장치로 전송된다. 그 결과, 상대방은 음성 비서의 목소리를 들을 수 있다.
한편, AI Assistant Server(1125)는 음성 비서와 상대방 간의 통화의 내용을 이용하여 상대방의 통화 요청의 목적을 판단할 수 있다. 또한, AI Assistant Server(1125)는 음성 비서와 상대방 간의 통화의 내용에 대한 요약 정보를 획득할 수 있다.
AI Assistant Server(1125)를 통해 획득된 요약 정보는 Call App(1145)으로 전달될 수 있는데, 판단된 목적이 광고 또는 범죄 등 기설정된 목적이 아닌 경우에만 전달될 수도 있다.
이후, Call App(1145)의 명령에 따라, 전자 장치(100)는 수신된 통화 요청을 사용자에게 알릴 수 있다. 이때, 전자 장치(100)는 진동, 벨소리 출력, 안내 텍스트 디스플레이, 안내 음성 출력 등 다양한 방식을 이용하도록 구현될 수 있다.
또한, Call App(1145)의 명령에 따라, 전자 장치(100)는 요약 정보 및 사용자가 상대방과 직접 통화를 수행하기 위한 UI를 디스플레이할 수 있다.
이때, 만약 (사용자로부터) 상대방과 직접 통화를 개시하기 위한 사용자 명령이 입력되면, Call App(1145)은 상대방의 대화 내용에 대응되는 오디오 데이터가 Audio Recorder(1115) 쪽이 아닌 전자 장치(100)의 음성 출력부(도시되지 않음)에 라우팅되도록 Call Receiver Service App(1110)를 제어할 수 있다. 이 경우, 음성 출력부는 스피커 또는 이어폰/헤드폰 단자일 수 있고, 음성 출력부를 통해 사용자에게 상대방의 통화 내용이 전달될 수 있다.
도 12는, 도 10과 달리, 학습된 인공지능 모델들이 전자 장치(100)에 직접 저장되어 있는 경우, 전자 장치(100)와 클라우드 서버(200)의 시스템 구성 및 동작의 일 예를 설명하기 위한 블록도이다.
도 12를 참조하면, Telephony Manager(1205)를 통해 전화 요청이 수신되면, Call Receiver Service App(1210)을 통해 음성 비서 및 상대방 간의 통화가 개시될 수 있다. 이때, Audio Recorder(1215)를 통해 녹음된 상대방의 통화 내용은 Speech Recognition Engine(1225)을 통해 텍스트 형태로 인식될 수 있다.
전자 장치(100)는 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 Dialog Manager(1230)를 통해, Speech Recognition Engine(1225)에서 인식된 텍스트 다음에 이어질 대화 내용을 생성할 수 있고, 생성된 대화 내용이 Text to Speech Synthesis Engine(1235)를 통해 음성 데이터로 변환되어 음성 비서의 목소리로서 상대방의 외부 장치로 전달될 수 있다.
한편, 전자 장치(100)는 Malicious & Context Classifier(1240)를 통해 인식된 텍스트를 이용하여 통화 요청의 목적을 판단할 수 있다. 이때, Malicious & Context Classifier(1240)는 대화 내용에 따라 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 이용할 수 있다.
판단된 통화 요청의 목적이 기설정된 목적이 아닌 경우, Summarize Engine(1245)은 음성 비서 및 상대방 간의 통화의 내용을 요약하여 요약 정보를 획득할 수 있다. 이때, 텍스트(통화의 내용)를 요약하도록 학습된 인공지능 모델을 이용할 수 있다.
그리고, Call App(1255)은, 획득된 요약 정보 및 통화 요청에 대한 알림을 제공하도록 전자 장치(100)를 제어할 수 있다. 또한, 상대방과 직접 통화를 수행하기 위한 UI를 제공할 수 있다.
한편, 대화 내용을 생성하도록 학습된 인공지능 모델, 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델 및 텍스트를 요약하도록 학습된 인공지능 모델 중 적어도 하나는, AI Assistant Server(1250)상에서 학습되고, 학습될 때마다 학습된 내용이 전자 장치(100)에 전송되는 방식으로 전자 장치(100) 내에서 업데이트될 수 있다.
이 경우, Call App(1255)은 상대방과 직접 통화를 마친 사용자로부터 통화 요청의 목적이 무엇이었는지에 대한 피드백 정보를 입력을 받고, 입력된 피드백 정보를 AI Assistant Server(1250)로 전송할 수 있다. 또한, Call receiver Service App(1210)은 음성 비서와 상대방 간의 통화의 내용을 AI Assistant Server(1250)로 전송할 수 있다.
그 결과, AI Assistant Server(1250) 내에서, 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델은 피드백 정보 및 통화의 내용에 따라 학습되고, 학습된 내용은 다시 전자 장치(100)로 전송될 수 있다. 그리고, 전자 장치(100) 내에 기저장된, 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델이 업데이트 될 수 있다.
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 상세한 구성을 설명하기 위한 블록도이다.
도 13을 참조하면, 전자 장치(100)는 통신부(110) 및 프로세서(120) 외에 메모리(130), 사용자 입력부(140), 디스플레이(150), 음성 출력부(160) 및 입출력 포트(170) 중 적어도 하나를 더 포함할 수 있다.
메모리(130)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장하기 위한 구성이다.
이를 위해, 메모리(130)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
메모리(130)에는 통화를 수행하기 위한 하나 이상의 애플리케이션, 음성 비서 서비스를 제공하기 위한 애플리케이션 등이 저장되어 있을 수 있다.
메모리(130)에는 대화 내용을 생성하도록 학습된 인공지능 모델, 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델 및 텍스트를 요약하도록 학습된 인공지능 모델 중 적어도 하나가 저장되어 있을 수 있다.
또한, 메모리(130)에는 사용자의 지인, 가족, 친구, 거래처, 업무 관계자 등의 전화번호에 대한 리스트가 저장될 수 있다. 본 리스트는, 사용자 명령을 통해 입력된 전화번호가 포함될 수 있다.
사용자 입력부(140)는, 전자 장치(100)가 수행할 기능에 대한 사용자 명령 또는 정보에 대응되는 사용자 입력을 수신하기 위한 구성이다.
사용자 입력부(140)는 사용자 입력을 수신하기 위한 하나 이상의 버튼, 키보드, 마우스(이상 도시되지 않음) 등을 포함할 수 있다.
사용자 입력부(140)는 사용자 입력을 터치 형태로 수신하기 위해 디스플레이(150)와 함께 구현된 터치 패널(도시되지 않음) 또는 별도의 터치 패드(도시되지 않음)를 포함할 수 있다.
사용자 입력부(140)는 사용자 입력을 모션 형태로 수신하기 위한 하나 이상의 카메라(도시되지 않음)를 포함할 수 있다. 이때, 하나 이상의 카메라(도시되지 않음)는 광 센서를 포함하는 디지털 카메라일 수 있다.
또한, 사용자 입력부(140)는 사용자 입력을 음성으로 수신하기 위해 마이크(도시되지 않음)를 포함할 수도 있다.
디스플레이(150)는 프로세서(120)의 제어에 따라 하나 이상의 이미지를 표시하기 위한 구성이다. 이를 위해, 디스플레이(150)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED) 등으로 구현될 수 있다. LCD로 구성되는 경우, 디스플레이(150) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로(도시되지 않음), 백라이트 유닛(도시되지 않음) 등도 함께 포함될 수 있다.
한편, 디스플레이(150)는 사용자의 터치 조작을 감지할 수 있는 터치 패널이 포함된 터치스크린 형태로 구현될 수도 있으며, 이 경우 사용자 입력부(140)에 포함되는 것으로 볼 수 있다.
음성 출력부(160)는 프로세서(120)의 제어에 따라 특정한 음성을 출력하기 위한 구성이다. 음성 출력부(160)는 수신된 통화 요청을 알리는 벨소리, 상대방의 통화 음성을 출력할 수 있다. 또한, 음성 비서와 상대방 간의 통화의 내용의 요약 정보를 음성 형태로 출력할 수 있다.
이를 위해, 음성 출력부(160)는 스피커(도시되지 않음) 및/또는 헤드폰/이어폰 출력 단자(도시되지 않음)를 포함할 수 있다.
입출력 포트(170)를 통해, 전자 장치(100)는 하나 이상의 외부 장치(도시되지 않음)와 신호/데이터를 송수신할 수 있다.
이를 위해, 입출력 포트(170)는 HDMI 포트, 디스플레이 포트, RGB 포트, DVI(Digital Visual Interface) 포트, 썬더볼트 및 컴포넌트 포트 등 유선 포트로 구현될 수 있다.
입출력 포트(170)는 HDMI 포트나 썬더볼트 등으로 구현되어 이미지 및 음성 신호를 함께 전송하도록 구현될 수도 있지만, 이미지 신호를 전송하는 제1 포트 및 음성 신호를 전송하는 제2 포트가 각각 별도로 구현된 것일 수도 있다.
입출력 포트(170)는 USB와 같은 인터페이스 모듈을 포함할 수 있으며, 이 같은 인터페이스 모듈을 통해 PC와 같은 외부 단말 장치와 물리적으로 연결되어 음성 또는 이미지 데이터를 송수신하거나 혹은 펌웨어 업그레이드를 수행하기 위한 펌웨어 데이터를 송수신할 수도 있다.
이하 본 개시에 따른 전자 장치의 제어 방법을 설명한다.
도 14는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.
도 14를 참조하면, 본 제어 방법은, 수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해, 통화 요청을 한 상대방과 통화(telephone conversation)를 수행할 수 있다(S1410). 이 경우, 사용자에게는 수신된 통화 요청을 알리지 않고, 음성 비서를 통해 상대방과 통화를 수행할 수 있다.
구체적으로는, 상대방의 통화 내용을 고려하여 음성 비서의 대화 내용을 생성하고, 생성된 대화 내용에 대응되는 음성 데이터를 통화 요청을 전송한 상대방의 외부 장치(도시되지 않음)에 전송할 수 있다. 그 결과, 음성 비서의 목소리가 상대방에게 전달될 수 있다.
본 제어 방법은, 통화 요청을 한 상대방의 전화번호가 기저장된 리스트에 포함되어 있는지 식별하고, 상대방의 전화번호가 기저장된 리스트에 포함되어 있지 않은 경우, 음성 비서를 이용하여 상대방과 통화를 수행할 수도 있다.
그리고, 음성 비서를 통해 상대방과 수행한 통화의 내용에 기초하여 전자 장치의 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 제공할 수 있다(S1420).
유저 인터페이스는, 수신된 통화 요청에 대한 알림을 포함할 수 있다. 유저 인터페이스를 통해, 상대방과 통화를 개시 또는 거절하기 위한 사용자 명령을 수신할 수 있다.
이때, 음성 비서를 통해 상대방과 수행한 통화의 내용에 기초하여 획득된 통화 요청의 목적이 기설정된 목적에 해당하는 경우, 음성 비서를 통해 상대방과 수행한 통화를 종료할 수 있다. 그리고, 수신된 통화 요청에 대한 정보를 사용자에게 알리지 않을 수 있다.
반면, 통화 요청의 목적이 기설정된 목적에 해당하지 않는 경우, 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 제공할 수 있다.
기설정된 목적은 광고, 범죄 등을 포함할 수 있으며, 사용자 명령에 의해 기설정된 목적일 수 있다. 또한, 명확한 목적을 파악할 수 없는 경우에 해당하는 '목적 불분명'을 포함할 수 있다.
본 제어 방법은, 대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 통해, 음성 비서를 통해 상대방과 수행한 통화의 내용에 기초하여 통화 요청의 목적을 판단할 수 있다.
이 경우, 음성 비서를 통해 상대방과 수행한 통화 중에 상대방이 기설정된 단어 또는 문장을 발화했는지 여부에 따라, 통화 요청의 목적을 판단할 수 있다. 예를 들어, 상대방이 '계좌 번호', '경찰에 알리지 마라' 등의 단어 또는 문장을 발화한 경우, 통화 요청의 목적이 보이스 피싱 또는 협박 등 범죄에 해당한다고 판단할 수 있다.
또한, 상대방이 발화한 사용자에 대한 정보의 진위 여부를 이용하여 통화 요청의 목적을 판단할 수 있다. 구체적으로, 상대방이 사용자의 정보를 말했지만, 상대방이 말한 정보가 전자 장치에 기저장된 사용자의 정보와 일치하지 않는 경우, 통화 요청의 목적이 사기나 보이스 피싱인 것으로 판단할 수도 있다.
또한, 음성 비서를 통해 상대방과 수행한 통화의 내용의 문맥 정보에 기초하여 통화 요청의 목적을 판단할 수도 있다. 예로, 음성 비서가 특정 내용에 대해 질문을 했음에도 상대방이 곧바로 통화를 종료하거나, 음성 비서가 말한 특정 내용과 전혀 무관한 내용을 상대방이 말하는 경우, 목적이 불분명한 통화 요청인 것으로 판단할 수 있다.
본 제어 방법은, 음성 비서를 통해 상대방과 수행한 통화의 내용에 기초하여 음성 비서를 통해 상대방과 수행한 통화에 대한 요약 정보를 획득할 수 있다. 이 경우, 획득된 요약 정보를 포함하고 사용자와 상대방 간의 통화를 개시 또는 거절하기 위한 사용자 명령을 수신하기 위한, 유저 인터페이스를 출력할 수 있다.
이때, 유저 인터페이스를 통해 상대방에게 메시지를 제공하기 위한 사용자 명령이 입력되면, 해당 메시지를 음성 비서를 통해 상대방에게 제공할 수 있다. 구체적으로는, 해당 메시지에 대응되는 음성 데이터를 상대방의 외부 장치(도시되지 않음)에 전송한 결과, 상대방은 음성 비서의 목소리로 해당 메시지를 전달받을 수 있다.
도 15는 본 개시의 제어 방법에 대한 구체적인 일 예를 설명하기 위한 알고리즘이다.
도 15를 참조하면, 상대방의 외부 장치로부터 상대방이 한 통화 요청이 수신되면(S1505), 통화 요청에 대응되는 상대방의 전화번호가 기저장된 White list에 포함되는지 식별할 수 있다(S1510). White list는 전자 장치의 사용자의 가족, 친구, 지인, 업무 관계자 등의 전화번호를 포함할 수 있으며, White list에 포함되는 전화번호는 사용자 명령에 따라 추가된 것일 수 있다.
만약, 상대방의 전화번호가 White list에 포함되는 경우(S1510 - Y), 통화 요청이 왔음을 사용자에게 곧바로 알릴 수 있다(S1515). 이 경우, 사용자와 상대방 간의 통화를 위한 유저 인터페이스를 제공할 수 있고, 유저 인터페이스를 통해, 상대방과 통화를 개시할지 거절할지 여부에 대한 사용자 명령을 입력받을 수 있다.
반면, 상대방의 전화번호가 White list에 포함되지 않는 경우(S1510 - N), 음성 비서를 통해 상대방과 통화를 수행할 수 있다(S1520). 이때, 사용자에게는 수신된 통화 요청을 알리지 않을 수 있다.
그리고, 음성 비서와 상대방 간의 통화의 내용이 'Normal Entire Call'인지 식별할 수 있다(S1525). 'Normal Entire Call'은 대화의 문맥상 이상이 없는 경우를 의미한다.
또한, 음성 비서와 상대방 간의 통화의 내용이 사용자에 대한 '잘못된 정보'를 포함하는지 식별할 수 있다(S1530). 구체적으로는, 통화의 내용 중 상대방이 발화한 내용에, 잘못된 사용자 정보가 있는지 식별할 수 있다.
또한, 대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 통해, 통화 요청의 목적이 악의적인 것은 아닌지 판단할 수 있다(S1535).
만약, 통화의 내용이 'Normal Entire Call'이 아니거나(S1525 - N), '잘못된 정보'를 포함하거나(S1530 - Y) 또는 '악의적인 전화'인 경우(S1535 - Y) 음성 비서를 통해 수행한 상대방과의 통화를 종료할 수 있다(S1540). 이 경우, 음성 비서를 통해 상대방에게 통화 거절의 의사를 알릴 수 있으며, 사용자에게는 통화 요청이 수신되었음을 알리지 않을 수 있다.
반면, 통화의 내용이 통화의 내용이 'Normal Entire Call'이고(S1525 - Y), '잘못된 정보'를 포함하지 않으며(S1530 - N), '악의적인 전화'가 아닌 경우(S1535 - N) 통화의 내용을 요약하여 요약 정보를 획득할 수 있다(S1545). 그리고, 사용자에게 요약 정보를 제공하는 한편 통화 요청이 수신되었음을 알릴 수 있다(S1550).
한편, 도 15에는 도시되지 않았으나, S1550 단계 이후, 만약 사용자 명령에 의해 사용자와 상대방 간의 통화가 개시된 경우, 사용자와 상대방 간의 통화가 종료된 이후 사용자로부터 피드백 정보를 받아, 이를 기초로, 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 학습시킬 수 있다.
이때, 피드백 정보는, 사용자로부터 입력된 상대방의 통화 요청의 목적일 수 있다.
본 개시에 따른 전자 장치의 제어 방법은, 요약 정보를 획득함에 있어, 음성 비서를 통해 상대방과 수행한 통화 중에 상대방으로부터 수신된 음성에서 기설정된 타입의 단어를 식별하고, 식별된 단어의 타입을 포함하는 기저장된 문장에 식별된 단어를 추가하여 요약 정보를 생성할 수 있다.
도 16은 본 개시의 제어 방법에 있어, 음성 비서 및 상대방 간의 통화의 내용을 요약하는 일 예를 설명하기 위한 순서도이다.
도 16을 참조하면, 음성 비서 및 상대방 간의 통화의 내용에 포함되는 음성을 인식하여(S1610) 텍스트를 획득할 수 있다.
그리고, 요약 알고리즘을 이용하여 획득된 텍스트를 요약할 수 있다(S1620). 이때, 종래의 요약 알고리즘인 '문장 단위 분리 - 품사 태깅 - 불용어 삭제 - 명사 단위 추출 - 단어의 가중치 계산' 알고리즘 방식을 이용할 수도 있다. 다만 이에 한정되는 것은 아니다.
또한, 텍스트를 요약하도록 학습된 딥 러닝 기반의 인공지능 모델을 이용하여 획득된 텍스트를 요약할 수도 있다(S1630).
이때, S1620 단계 및 S1630 단계 각각의 요약 결과에서, 공통되는 언어를 추출할 수 있다(S1640).
그리고, 공통되는 언어에 포함된 단어들의 타입을 분류할 수 있다(S1650). 이때, 기설정된 타입에 해당하는 단어를 식별할 수 있다. 예로, '브랜드'에 해당하는 'ABCD사' 및 '목적' 타입에 해당하는 '고객 만족도 조사'를 식별할 수 있다.
이후, 식별된 단어에 대응되는 타입을 포함하는 템플릿 문장을 매칭시킬 수 있다(S1660). 구체적으로, 기저장된 템플릿 문장 중, 식별된 단어에 대응되는 타입만을 포함하는 문장을 검색할 수 있다. 예를 들어, '브랜드' 및 '목적' 타입만을 포함하는 "'브랜드'의 '목적' 전화입니다."라는 템플릿 문장을 검색할 수 있다.
그리고, 검색된 템플릿 문장 및 식별된 단어를 이용하여 요약 문장을 생성할 수 있다(S1670). 구체적으로, 식별된 단어 각각을 검색된 템플릿 문장에 포함된 대응되는 타입 부분 각각에 추가할 수 있다. 예를 들어, "'브랜드' '목적' 전화입니다."라는 템플릿 문장에 'ABCD사' 및 '고객 만족도 조사'를 추가하여 "'ABCD사'의 '고객 만족도 조사'입니다."라는 요약 문장을 생성할 수 있다.
상술한 전자 장치의 제어 방법에 대한 다양한 실시 예들은, 도 2 및 도 13을 통해 도시 및 설명한 전자 장치(100)를 통해 수행될 수 있다.
또는 전자 장치(100) 및 하나 이상의 외부 장치(도시되지 않음)를 통해 수행될 수도 있다. 도 10 내지 도 12를 통해 도시 및 설명한 예가 이에 포함될 수 있고, 다만 이에 한정되는 것은 아니다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(Programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processor), 제어기(controller), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessor), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 전자 장치 110: 통신부
120: 프로세서 130: 메모리
140: 사용자 입력부 150: 디스플레이
160: 음성 출력부 170: 입출력 포트
200: 클라우드 서버

Claims (20)

  1. 전자 장치에 있어서,
    통신부; 및
    상기 통신부를 통해 수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화(telephone conversation)를 수행하고,
    상기 통화의 내용에 기초하여 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    하나 이상의 전화번호를 포함하는 리스트가 저장된 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 상대방의 전화번호가 상기 리스트에 포함되어 있는지 여부에 따라 상기 음성 비서를 통해 상기 상대방과 통화를 수행하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 상대방의 전화번호가 상기 리스트에 포함되어 있는 경우, 상기 유저 인터페이스를 제공하고, 상기 상대방의 전화번호가 상기 리스트에 포함되어 있지 않은 경우, 상기 음성 비서를 통해 상기 상대방과 통화를 수행하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 통화의 내용에 기초하여 획득된 상기 통화 요청의 목적이 기설정된 목적에 해당하는 경우, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화를 종료하고, 상기 통화 요청의 목적이 기설정된 목적에 해당하지 않는 경우, 상기 유저 인터페이스를 제공하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 획득된 상기 통화에 대한 요약 정보를 포함하는 상기 유저 인터페이스를 통해, 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 개시 또는 거절하기 위한 사용자 명령을 입력받는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 유저 인터페이스를 통해 상기 상대방에게 메시지를 제공하기 위한 사용자 명령이 입력되면, 상기 음성 비서를 통해 상기 메시지를 상기 상대방에게 제공하는, 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방으로부터 수신된 음성에서 기설정된 타입의 단어를 식별하고, 상기 식별된 단어의 타입을 포함하는 기저장된 문장에 상기 식별된 단어를 추가하여 상기 요약 정보를 획득하는, 전자 장치.
  8. 제4항에 있어서,
    상기 프로세서는,
    대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 통해, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 상기 통화 요청의 목적을 판단하는, 전자 장치.
  9. 제8항에 있어서,
    상기 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델은,
    상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용 및, 상기 전자 장치의 사용자와 상기 상대방 간의 통화가 종료된 이후 상기 사용자로부터 입력된 상기 통화 요청의 목적에 기초하여 학습되는, 전자 장치.
  10. 제4항에 있어서,
    상기 프로세서는,
    상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방이 기설정된 단어 또는 문장을 발화했는지 여부, 상기 상대방이 발화한 상기 사용자에 대한 정보의 진위 여부 및 상기 통화의 내용의 문맥 정보 중 적어도 하나에 기초하여 상기 통화 요청의 목적을 판단하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화(telephone conversation)를 수행하는 단계; 및
    상기 통화의 내용에 기초하여 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 상대방의 전화번호가 기저장된 리스트에 포함되어 있는지 식별하는 단계;를 더 포함하고,
    상기 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화를 수행하는 단계는, 상기 상대방의 전화번호가 상기 기저장된 리스트에 포함되어 있지 않은 경우, 상기 음성 비서를 이용하여 상기 통화를 요청한 상대방과 통화를 수행하는, 제어방법.
  13. 제11항에 있어서,
    상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 획득된 상기 통화 요청의 목적이 기설정된 목적에 해당하는 경우, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화를 종료하는 단계;를 더 포함하고,
    상기 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 단계는, 상기 통화 요청의 목적이 상기 기설정된 목적에 해당하지 않는 경우, 상기 사용자와 상기 상대방 간의 통화를 위한 상기 유저 인터페이스를 제공하는, 제어 방법.
  14. 제11항에 있어서,
    상기 통화의 내용에 기초하여 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화에 대한 요약 정보를 획득하는 단계;를 더 포함하고,
    상기 유저 인터페이스를 제공하는 단계는,
    상기 획득된 요약 정보를 포함하고 상기 사용자와 상기 상대방 간의 통화를 개시 또는 거절하기 위한 사용자 명령을 수신하기 위한, 상기 유저 인터페이스를 출력하는, 제어 방법.
  15. 제14항에 있어서,
    상기 유저 인터페이스를 통해 상기 상대방에게 메시지를 제공하기 위한 사용자 명령이 입력되면, 상기 음성 비서를 통해 상기 메시지를 상기 상대방에게 제공하는 단계;를 더 포함하는, 제어 방법.
  16. 제14항에 있어서,
    상기 요약 정보를 획득하는 단계는,
    상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방으로부터 수신된 음성에서 기설정된 타입의 단어를 식별하고, 상기 식별된 단어의 타입을 포함하는 기저장된 문장에 상기 식별된 단어를 추가하여 상기 요약 정보를 생성하는, 전자 장치.
  17. 제13항에 있어서,
    대화 내용을 통해 대화 상대방의 목적을 판단하도록 학습된 인공지능 모델을 통해, 상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화의 내용에 기초하여 상기 통화 요청의 목적을 판단하는 단계;를 더 포함하는, 제어 방법.
  18. 제17항에 있어서,
    상기 사용자와 상기 상대방 간의 통화가 종료된 이후 상기 사용자로부터 입력된 상기 통화 요청의 목적에 기초하여, 상기 대화 상대방의 목적을 판단하도록 학습된 상기 인공 지능 모델을 학습시키는 단계;를 더 포함하는, 제어 방법.
  19. 제13항에 있어서,
    상기 음성 비서를 통해 상기 상대방과 수행한 상기 통화 중에 상기 상대방이 기설정된 단어 또는 문장을 발화했는지 여부, 상기 상대방이 발화한 상기 사용자에 대한 정보의 진위 여부 및 상기 통화의 내용의 문맥 정보 중 적어도 하나에 기초하여 상기 통화 요청의 목적을 판단하는 단계;를 더 포함하는, 제어 방법.
  20. 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금,
    수신된 통화 요청(call request)에 응답하여, 대화 내용을 생성하도록 학습된 인공지능 모델을 이용하는 음성 비서를 통해 상기 통화 요청을 한 상대방과 통화(telephone conversation)를 수행하는 단계; 및
    상기 통화의 내용에 기초하여 상기 전자 장치의 사용자와 상기 상대방 간의 통화를 위한 유저 인터페이스를 제공하는 단계;를 포함하는 동작을 수행하도록 하는 컴퓨터 명령어가 저장된 컴퓨터 판독 가능 매체.
KR1020180165546A 2018-12-19 2018-12-19 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. KR102607052B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180165546A KR102607052B1 (ko) 2018-12-19 2018-12-19 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
EP19897762.1A EP3874732B1 (en) 2018-12-19 2019-12-03 Electronic apparatus, controlling method of electronic apparatus and computer readable medium
PCT/KR2019/016942 WO2020130425A1 (en) 2018-12-19 2019-12-03 Electronic apparatus, controlling method of electronic apparatus and computer readable medium
US16/701,878 US11089154B2 (en) 2018-12-19 2019-12-03 Electronic apparatus, controlling method of electronic apparatus and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180165546A KR102607052B1 (ko) 2018-12-19 2018-12-19 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.

Publications (2)

Publication Number Publication Date
KR20200076439A true KR20200076439A (ko) 2020-06-29
KR102607052B1 KR102607052B1 (ko) 2023-11-29

Family

ID=71097906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165546A KR102607052B1 (ko) 2018-12-19 2018-12-19 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.

Country Status (4)

Country Link
US (1) US11089154B2 (ko)
EP (1) EP3874732B1 (ko)
KR (1) KR102607052B1 (ko)
WO (1) WO2020130425A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196965A1 (ko) * 2021-03-15 2022-09-22 삼성전자 주식회사 어시스턴스 모듈을 이용하여 상대방과 통신을 수행하는 전자 장치 및 그 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291428B (zh) * 2020-10-23 2021-10-01 北京蓦然认知科技有限公司 一种语音助手的智能呼叫方法、装置
CN112966085B (zh) * 2021-03-11 2023-10-13 平安国际智慧城市科技股份有限公司 人机会话智能控制方法、装置、电子设备及存储介质
US12028478B2 (en) * 2022-02-14 2024-07-02 Capital One Services, Llc Systems and methods for phishing monitoring

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180020093A1 (en) * 2016-07-15 2018-01-18 Circle River, Inc. Automated call answering based on artificial intelligence

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818649A (ja) 1994-06-30 1996-01-19 Sanyo Electric Co Ltd 留守番電話機
US20070165811A1 (en) 2006-01-19 2007-07-19 John Reumann System and method for spam detection
TW201125349A (en) 2009-06-30 2011-07-16 Ibm An extended device for wireless communication device for processing incoming calls on-demand with multiple pre-recorded answering voices and/or pre-defined messages
US8478267B2 (en) * 2010-11-02 2013-07-02 Telecomax Group Mobile software services for telecom operators
US20150003595A1 (en) * 2011-04-25 2015-01-01 Transparency Sciences, Llc System, Method and Computer Program Product for a Universal Call Capture Device
KR101909141B1 (ko) 2012-07-27 2018-10-17 엘지전자 주식회사 전자기기 및 전자기기의 제어방법
KR101431596B1 (ko) 2012-08-17 2014-08-21 (주)케이믹글로벌 보이스피싱 방지장치, 사용자 단말장치 및 보이스피싱 방지방법
US9386152B2 (en) 2013-03-15 2016-07-05 Genesys Telecommunications Laboratories, Inc. Intelligent automated agent and interactive voice response for a contact center
KR20140122829A (ko) 2013-04-11 2014-10-21 주식회사 케이티 지인의 전화 번호를 이용하는 보이스 피싱을 차단하는 모바일 보이스 피싱 차단 시스템 및 모바일 보이스 피싱 차단 방법
US9189742B2 (en) 2013-11-20 2015-11-17 Justin London Adaptive virtual intelligent agent
US9787565B2 (en) * 2014-06-27 2017-10-10 Agora Lab, Inc. Systems and methods for a call over network with a visualized summary
JP6128472B1 (ja) 2016-04-12 2017-05-17 株式会社エルブズ 人工知能エージェントによる見守りシステム
KR101798765B1 (ko) 2016-05-03 2017-11-16 주식회사 엘지유플러스 통화중 질의에 대한 실시간 응답 장치 및 방법
US20180018969A1 (en) * 2016-07-15 2018-01-18 Circle River, Inc. Call Forwarding to Unavailable Party Based on Artificial Intelligence
US20180054507A1 (en) * 2016-08-19 2018-02-22 Circle River, Inc. Artificial Intelligence Communication with Caller and Real-Time Transcription and Manipulation Thereof
US9986079B1 (en) * 2016-11-04 2018-05-29 Republic Wireless, Inc. Virtual telephony assistant
US10205825B2 (en) * 2017-02-28 2019-02-12 At&T Intellectual Property I, L.P. System and method for processing an automated call based on preferences and conditions
CN107331383A (zh) 2017-06-27 2017-11-07 苏州咖啦魔哆信息技术有限公司 一种基于人工智能电话外呼系统及其实现方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180020093A1 (en) * 2016-07-15 2018-01-18 Circle River, Inc. Automated call answering based on artificial intelligence

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196965A1 (ko) * 2021-03-15 2022-09-22 삼성전자 주식회사 어시스턴스 모듈을 이용하여 상대방과 통신을 수행하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US11089154B2 (en) 2021-08-10
WO2020130425A1 (en) 2020-06-25
EP3874732A1 (en) 2021-09-08
KR102607052B1 (ko) 2023-11-29
US20200204677A1 (en) 2020-06-25
EP3874732B1 (en) 2024-09-25

Similar Documents

Publication Publication Date Title
US11810554B2 (en) Audio message extraction
US11657812B2 (en) Message playback using a shared device
US11102624B2 (en) Automated messaging
US10176810B2 (en) Using voice information to influence importance of search result categories
JP6690063B2 (ja) 対話型アシスタントモジュールによるアクセスの条件付き提供
US10733987B1 (en) System and methods for providing unplayed content
US20210065716A1 (en) Voice processing method and electronic device supporting the same
CN107430858B (zh) 传送标识当前说话者的元数据
KR102607052B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
US9053096B2 (en) Language translation based on speaker-related information
US9723149B2 (en) Assistant redirection for customer service agent processing
US20170277993A1 (en) Virtual assistant escalation
US10157614B1 (en) Message playback using a shared device
US10672379B1 (en) Systems and methods for selecting a recipient device for communications
KR102356623B1 (ko) 가상 비서 전자 장치 및 그 제어 방법
KR20200059054A (ko) 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
US10186267B1 (en) Message playback using a shared device
US11513655B2 (en) Simplified user interface generation
US20180090126A1 (en) Vocal output of textual communications in senders voice
US10841411B1 (en) Systems and methods for establishing a communications session
US12001808B2 (en) Method and apparatus for providing interpretation situation information to one or more devices based on an accumulated delay among three devices in three different languages
KR20200040562A (ko) 사용자 발화를 처리하기 위한 시스템
US20240040039A1 (en) Selectable Controls for Interactive Voice Response Systems
WO2022125079A1 (en) Saving communicated information from voice calls and video calls
WO2022125078A1 (en) Identifying and providing requested user information during voice calls and video calls

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right