KR101909141B1 - 전자기기 및 전자기기의 제어방법 - Google Patents

전자기기 및 전자기기의 제어방법 Download PDF

Info

Publication number
KR101909141B1
KR101909141B1 KR1020120082170A KR20120082170A KR101909141B1 KR 101909141 B1 KR101909141 B1 KR 101909141B1 KR 1020120082170 A KR1020120082170 A KR 1020120082170A KR 20120082170 A KR20120082170 A KR 20120082170A KR 101909141 B1 KR101909141 B1 KR 101909141B1
Authority
KR
South Korea
Prior art keywords
call
electronic device
party
automatic
unit
Prior art date
Application number
KR1020120082170A
Other languages
English (en)
Other versions
KR20140014900A (ko
Inventor
김태호
박형신
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120082170A priority Critical patent/KR101909141B1/ko
Priority to PCT/KR2012/010462 priority patent/WO2014017708A1/en
Priority to US13/708,515 priority patent/US9160848B2/en
Publication of KR20140014900A publication Critical patent/KR20140014900A/ko
Application granted granted Critical
Publication of KR101909141B1 publication Critical patent/KR101909141B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936Speech interaction details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/64Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/537Arrangements for indicating the presence of a recorded message, whereby the presence information might include a preview or summary of the message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/39Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Abstract

발명이 해결하고자 하는 기술적 과제를 해결하기 위하여 본 발명의 일 양태에 의하면 다음과 같은 전자기기가 제공된다. 상기 전자기기는 통신부; 출력부; 및 상기 통신부를 통해 수신된 콜(call)을 연결하고, 상기 콜의 상대방과 자동 대화(auto-conversation)를 수행하는 자동 대화 동작을 수행하고, 상기 자동 대화에 기초하여, 상기 콜을 종료하는 제1 동작 및 상기 자동 대화에 대한 인식 정보를 생성하여 상기 출력부를 통해 출력하는 제2 동작 중 하나를 선택적으로 수행하는 제어부를 포함한다.

Description

전자기기 및 전자기기의 제어방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING ELECTRONIC DEVICE}
본 발명은 다른 전자기기와 통신을 수행하는 전자기기의 제어방법에 관한 것으로써, 특히, 전자기기가 지능적으로 콜 및/또는 메시지의 상대방과 자동 대화를 수행할 수 있도록 상기 전자기기를 제어하는 방법에 관한 것이다.
하드웨어 기술이 고도화되어 가면서, 모바일 전자기기 등에도 인공지능 기술이 적용된 알고리듬 등이 적용될 수 있는 환경이 무르익어 가고 있다. 이에 따라, 사용자의 요구 및 사용자가 처해 있는 상황에 보다 적합한 서비스를 모바일 전자기기를 통해서 사용자에게 제공하는 것에 대한 연구도 활발하게 진행되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 다른 전자기기와 지능적으로 통신을 수행하는 전자기기 및 전자기기의 제어방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는 전자기기와 지능적으로 통신을 수행하는 이동통신망의 제어방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 기술적 과제를 해결하기 위하여 본 발명의 일 양태에 의하면 다음과 같은 전자기기가 제공된다. 상기 전자기기는 통신부; 출력부; 및 상기 통신부를 통해 수신된 콜(call)을 연결하고, 상기 콜의 상대방과 자동 대화(auto-conversation)를 수행하는 자동 대화 동작을 수행하고, 상기 자동 대화에 기초하여, 상기 콜을 종료하는 제1 동작 및 상기 자동 대화에 대한 인식 정보를 생성하여 상기 출력부를 통해 출력하는 제2 동작 중 하나를 선택적으로 수행하는 제어부를 포함할 수 있다.
이 때, 상기 자동 대화 동작은, 상기 통신부를 통해 수신된 상기 상대방의 음성을 인식하고, 상기 인식된 결과에 대응되는 응답 음성을 생성하고, 상기 응답 음성을 상기 통신부를 통해 전송하는 것을 포함할 수 있다.
상기 제어부는, 설정되어 있는 콜 수신 모드를 확인하고, 상기 확인된 콜 수신 모드가 정상 모드(normal mode)인 경우에는 콜 수신 알림 화면 및/또는 콜 수신 알림 사운드를 출력하는 콜 알림 동작을 수행하고, 상기 확인된 콜 수신 모드가 자동 모드(automatic mode)인 경우에는 상기 자동 대화 동작을 수행할 수 있다.
상기 제어부는, 상기 출력된 인식 정보에 대하여 제1 사용자 입력을 더 수신하고, 상기 제1 사용자 입력에 대응되는 음성 데이터를 상기 통신부를 통해 전송할 수 있다.
상기 제어부는, 상기 출력된 인식 정보에 대하여 제2 사용자 입력이 수신되면, 스피커, 마이크 및 카메라를 포함하는 통화를 위한 모듈들 중 적어도 하나를 활성화시킬 수 있다.
한편, 상기 제1 동작은, 상기 자동대화에 기초하여 생성된 상기 상대방의 전달 메시지를 생성하는 것을 더 포함할 수 있다.
상기 제어부는, 상기 콜 수신 모드가 상기 자동 모드에서 상기 정상 모드로 전환되는 경우, 상기 전달 메시지를 상기 출력부를 통해 출력할 수 있다.
상기 제어부는, 상기 자동 대화에 기초하여, 상기 콜의 상대방의 긴급여부를 판단하고, 상기 콜의 상대방이 긴급한 경우 상기 제2 동작을 수행할 수 있다. 이 때, 상기 제어부는, 상기 자동 대화를 자연어 처리한 결과에 기초하여, 상기 긴급여부를 판단할 수 있다. 또는, 상기 제어부는, 상기 콜의 상대방의 음성을 고려하여, 상기 긴급여부를 판단할 수 있다. 상기 제어부는, 상기 콜의 상대방의 음성의 톤, 크기 및 빠르기 중 적어도 하나를 고려하여, 상기 긴급여부를 판단할 수 있다.
본 발명의 기술적 과제를 해결하기 위하여 본 발명의 다른 양태에 의하면 다음과 같은 전자기기가 제공된다. 상기 전자기기는, 통신부; 출력부; 및 상기 통신부를 통해 수신된 콜(call)을 연결하고, 상기 콜의 상대방과 자동 대화(auto-conversation)를 수행하는 자동 대화 동작을 수행하고, 상기 자동 대화에 기초하여 상기 콜의 상대방의 요청사항을 인식한 경우, 접근가능 도메인에 기초하여, 상기 요청사항에 대한 자동 응답 가능여부를 판단하고, 상기 판단결과에 따라, 상기 요청사항에 대한 응답을 상기 콜의 상대방으로 전송하는 제어부를 포함할 수 있다.
본 발명의 기술적 과제를 해결하기 위하여 본 발명의 또 다른 양태에 의하면 다음과 같은 전자기기가 제공된다. 상기 전자기기는, 입력부; 통신부; 출력부; 및 미리 정해진 기준 및 상기 입력부를 통해 수신된 미리 정해진 입력 중 적어도 하나에 따라, 적어도 자동 모드 및 정상 모드를 포함하는 콜 수신 모드를 설정하고, 상기 통신부를 통해, 상기 설정된 콜 수신 모드에 대한 정보를 제1 전자기기로 전송하고, 상기 통신부를 통해 수신된 콜(call)의 상대방과 자동 대화(auto-conversation)를 수행하는 자동 대화 동작을 수행하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 자동 대화에 기초하여, 상기 콜을 종료하는 제1 동작 및 상기 자동 대화에 대한 인식 정보를 생성하여 상기 출력부를 통해 출력하는 제2 동작 중 하나를 선택적으로 수행할 수 있다.
상기 제어부는, 상기 자동 대화에 기초하여, 상기 콜의 상대방의 긴급여부를 판단하고, 상기 콜의 상대방이 긴급한 경우 상기 제2 동작을 수행할 수 있다. 이 때, 상기 제어부는, 상기 자동 대화를 자연어 처리한 결과 및 상기 콜의 상대방의 음성 중 적어도 하나에 기초하여, 상기 긴급여부를 판단할 수 있다.
한편, 상기 콜은, 상기 제1 전자기기를 통해, 제2 전자기기로부터 요청된 것이며, 상기 제1 전자기기는 상기 제2 전자기기로부터 상기 콜을 요청 받은 때, 상기 설정된 콜 수신 모드에 대한 정보를 상기 제2 전자기기로 제공할 수 있다.
이 때, 상기 제1 전자기기는 상기 제2 전자기기로부터 상기 요청한 콜을 철회하고자 하는 요청을 수신하면, 상기 콜을 상기 전자기기로 전송하지 않을 수 있다.
상기 제어부는, 상기 제1 전자기기로부터 상기 콜 철회에 대한 정보를 포함하는 알람 메시지를 수신할 수 있다. 이 때, 상기 제어부는, 상기 콜 수신 모드가 정상모드로 전환된 때, 상기 알람 메시지를 수신할 수 있다.
본 발명에 의하면 다음과 같은 효과가 발생한다.
본 발명에 의하면, IA는 마치 전자기기의 사용자의 가상의 개인 비서의 입장에서 콜의 상대방과 자동 대화를 수행함으로써, 자연스럽게 상대방으로부터 전화를 한 용건을 파악할 수 있게 된다.
첫째, IA에 의한 자동 대화를 구현함으로써, 사용자가 전화를 직접적으로 받지 못하는 상황이 발생한 경우, 전자기기의 콜 수신 모드를 자동 모드로 변경함으로써, IA가 대신 전화를 수신할 수 있도록 할 수 있게 된다. 이로부터, 종래에는 통화가 불가능하거나 힘든 상황에서, 콜을 의도적으로 무시하거나 또는 비의도적으로 놓치거나, 콜을 연결하여 통화가 힘든 상황임을 간략하게 알린 후 콜을 종료함으로써, 콜의 상대방에게 줄 수 있는 불편함을 완화시킬 수 있는 효과가 발생한다.
둘째, 사용자가 회의 시작 전 또는 중요한 약속 자리에 참석하기 전에 미처 전자기기의 수신 모드를 자동 모드로 변경하기 못한 경우, 수신 모드 전환을 위한 이벤트를 발생시킴으로써 IA가 대신 전화를 받을 수 있도록 할 수 있도록 할 수 있는 효과가 발생한다. 이에 따라, 회의 진행 및/또는 중요한 약속은 방해받지 않을 수 있을 뿐만 아니라 동시에 콜의 상대방의 콜에 대해서 보다 효율적으로 응답할 수 있는 효과가 발생한다.
셋째, 사용자는 자동 모드로 설정되어 있는 동안 수신된 콜의 상대방과의 자동대화에 의해 생성된 전달 메시지를 확인할 수 있게 되며, 전달 메시지를 확인함에 따라 콜의 상대방의 용건 등을 파악한 후, 필요에 따라 상대방과 다시 직접 통화를 할 수 있게 됨으로써, 보다 효율적으로 콜의 상대방과 커뮤니케이션을 할 수 있게 되는 효과가 발생한다.
넷째, 제1 전자기기에 설정되어 있는 콜 수신 모드에 대한 정보를 미리 제공받음으로써, 제1 전자기기의 사용자와 직접 통화를 수행하고 싶고 제1 전자기기에 구비된 가상 비서(즉, IA)와 통화를 하고 싶지 않은 제2 전자기기의 사용자는, 제1 전자기기가 자동모드로 설정되어 있는 경우, 미리 제1 전자기기에 대한 콜 요청을 철회할 수 있다. 이에 따라, 제2 전자기기의 사용자는 제1 전자기기와 콜 연결을 통해 불가피하게 발생할 수 있는 통신료를 절감할 수 있게 되는 효과도 부수적으로 발생하게 된다.
다섯째, 제1 전자기기에 IA가 구비되어 있지 않아도, 마치 제1 전자기기에 IA가 설치되어 있는 것과 동일한 효과를 누릴 수 있게 된다.
도 1은 본 발명의 몇몇 실시예들과 관련된 전자기기의 블록 구성도(block diagram)이다.
도 2는 본 발명의 몇몇 실시예들에 있어서 콜이 수신되는 경우 전자기기의 동작 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 제1 실시예에 따라, 전자기기가 자동모드로 설정되어 있는 경우, 수신되는 콜을 자동으로 연결하여 응답하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따라 콜 수신 모드가 정상 모드인 경우의 전자기기의 제어방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따라 작성된 콜 상대방과의 자동대화를 통해 생성된 전달 메시지를 출력하기 위한 전자기기의 제어 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따라 IA에 의해 자동 대화가 수행되고 있는 것을 시각적으로 예시한 도면이다.
도 7은 본 발명의 실시예에 따라 제1 상황인지 여부를 판단하는 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따라 제1 상황인지 여부를 판단하는 방법을 설명하기 위한 다른 예시도이다.
도 9는 본 발명의 실시예에 따라 사용자에게 콜 응답을 요청할 때 전자기기의 동작을 예시하는 도면이다.
도 10은 본 발명의 실시예에 따라 사용자에게 콜 응답을 요청할 때 전자기기의 다른 동작을 예시하는 도면이다.
도 11은 본 발명의 실시예에 따라 제1 상황이 아닌 것으로 판단되는 자동 대화의 일예를 도시하는 도면이다.
도 12는 본 발명의 실시예에 따르는 수신 모드의 전환을 위한 이벤트를 설명하기 위한 도면이다.
도 13은 본 발명의 제2 실시예에 따르는 전자기기의 제어방법을 설명하기 위한 흐름도이다.
도 14 내지 도 17은 본 발명의 제3 실시예에 따라 메시지에 대해 자동으로 응답하는 전자기기의 제어방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 제4 실시예에 따른 제1 전자기기, 이동통신망(즉, 이동통신망을 관장하는 기지국 또는 제어국 또는 상기 기지국 또는 제어국의 동작을 제어하는 서버) 및 제2 전자기기의 동작 환경을 개략적으로 도시한 도면이다.
도 19는 본 발명의 제4 실시예에 따라 제1 전자기기, 이동통신망 및 제2 전자기기의 제어방법을 설명하기 위한 도면이다.
도 20은 본 발명의 제4 실시예에 따라 제2 전자기기에 콜 수신 모드에 대한 정보가 출력되는 화면의 일예를 도시하고 있는 도면이다.
도 21은 본 발명의 제5 실시예에 따른 제1 전자기기, 이동통신망(즉, 이동통신망을 관장하는 기지국 또는 제어국) 및 제2 전자기기의 동작 환경을 개략적으로 도시한 도면이다.
도 22는 본 발명의 제4 실시예에 따라 제1 전자기기, 이동통신망 및 제2 전자기기의 제어방법을 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다.
또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
이하, 본 발명과 관련된 전자기기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 전자기기는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기를 포함할 수 있을 뿐만 아니라, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기도 포함할 수 있다.
도 1은 본 발명의 실시예들과 관련된 전자기기의 블록 구성도(block diagram)이다.
상기 전자기기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리부(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 전자기기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 전자기기(100)와 무선 통신 시스템 사이 또는 전자기기(100)와 전자기기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVBH(Digital Video BroadcastHandheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMBT(Digital Multimedia BroadcastingTerrestrial), DMBS(Digital Multimedia BroadcastingSatellite), MediaFLO(Media Forward Link Only), DVBH(Digital Video BroadcastHandheld), ISDBT(Integrated Services Digital BroadcastTerrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리부(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 전자기기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, WiHD, WiGig 등이 이용될 수 있다.
위치정보 모듈(115)은 전자기기의 위치를 확인하거나 얻기 위한 모듈이다. 상기 위치정보 모듈의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(115)은, 일 지점(개체)이 3개 이상의 위성으로부터 떨어진 거리에 관한 정보와, 상기 거리 정보가 측정된 시간에 관한 정보를 산출한 다음 상기 산출된 거리 정보에 삼각법을 적용함으로써, 일 시간에 일 지점(개체)에 대한 위도, 경도, 및 고도에 따른 3차원의 위치 정보를 산출할 수 있다. 나아가, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법 또한 사용되고 있다. GPS 모듈(115)은 현 위치를 실시간으로 계속 산출하고 그를 이용하여 속도 정보를 산출하기도 한다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리부(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 전자기기(100)의 개폐 상태, 전자기기(100)의 위치, 사용자 접촉 유무, 전자기기의 방위, 전자기기의 가속/감속 등과 같이 전자기기(100)의 현 상태를 감지하여 전자기기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 전자기기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수도 있다. 한편, 상기 센싱부(140)는 자세감지센서(141) 및/또는 근접센서(142)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다.
디스플레이부(151)는 전자기기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 전자기기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 전자기기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistorliquid crystal display), 유기 발광 다이오드(organic lightemitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 투명 LCD 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
전자기기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 전자기기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다. 또는 디스플레이부(151)는 논리적으로 두 개 이상의 영역으로 분할될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 약칭함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
도 1을 참조하면, 상기 터치스크린에 의해 감싸지는 전자기기의 내부 영역 또는 상기 터치 스크린의 근처에 근접센서(142)가 배치될 수 있다. 상기 근접센서(142)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접센서(142)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접센서(142)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접센서, 정전용량형 근접센서, 자기형 근접센서, 적외선 근접센서 등이 있다.
상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다. 그러나, 터치를 근접 터치와 접촉 터치로 구별하여 설명할 필요가 없는 경우에는, ‘터치’ 또는 ‘터치 입력’이라 함은, 근접 터치에 의한 입력 및 접촉 터치에 의한 입력 모두를 포함하는 것으로 한다.
상기 근접센서(142)는, 근접 터치 및 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리부(160)에 저장된 오디오 데이터를 출력할 수도 있다. 음향 출력 모듈(152)은 전자기기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 전자기기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 전자기기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 비디오 신호나 오디오 신호는 디스플레이부(151)이나 음성 출력 모듈(152)을 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(eletrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리부(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리부(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(ReadOnly Memory, ROM), EEPROM(Electrically Erasable Programmable ReadOnly Memory), PROM(Programmable ReadOnly Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자기기(100)는 인터넷(internet)상에서 상기 메모리부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 전자기기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 전자기기(100) 내부의 각 구성 요소에 전달하거나 전자기기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 전자기기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
상기 인터페이스부는 전자기기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 전자기기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 전자기기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 전자기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(180)는 통상적으로 전자기기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
한편, 제어부(180)는 인공지능부(intelligent agent, 182)를 포함할 수 있다. 인공지능부(182)는 다른 외부의 전자기기 또는 상기 전자기기(100)의 사용자와 능동적으로 상호작용을 수행할 수 있다. 예를 들어, 상기 인공지능부(182)는 다른 전자기기의 요청에 대해, 상기 전자기기(100)의 사용자로부터 특별한 명령을 수신하지 않고, 능동적으로 응답할 수 있다. 또 다른 예를 들어, 상기 인공지능부(182)는 사용자의 다양한 형태의 입력(예를 들어, 터치입력, 키입력, 음성입력, 모션 입력, 제스쳐 입력 등)을 인식할 수 있으며, 사용자의 입력에 대해 능동적으로 응답할 수 있다. 상기 인공지능부(182)는 미리 정해져 있는 특정한 패턴에 부합하는 입력뿐만 아니라 사용자의 일상적이거나 자연스러운 동작, 대화, 제스쳐, 메시지 입력 등을 인식할 수 있으며, 그에 따라 상기 인공지능부(182)는 상기 사용자의 자연스러운 동작, 대화, 제스쳐 등과 상호작용할 수 있는 응답을 출력할 수 있다. 상기 응답은 청각적으로 출력될 수 있으며, 시각적으로 출력될 수도 있으며, 또는 촉각적으로도 출력될 수도 있다. 상기 응답의 출력 형태는, 반드시 이에 한정되는 것은 아니지만, 상기 사용자의 입력 형태를 고려하여 적절하게 결정될 수 있다. 예를 들어, 상기 인공지능부(182)가 상기 사용자의 자연스러운 대화에 대하여 응답하는 경우, 상기 응답은 청각적으로 출력될 수 있으며, 상기 사용자의 메시지 입력에 대하여 응답하는 경우, 상기 응답은 시각적으로 출력될 수 있다.
상기 인공지능부(182)의 기능은, 전술한 것에 한정되지 않으며, 나중에 더욱 상세하게 서술하기로 한다.
한편, 인공지능부(182)는 제어부(180)의 하위 구성요소로써 구성된 것을 예시하여 설명하였으나, 인공지능부(182)는 반드시 제어부(180)의 하위 구성요소로 구성되어야만 하는 것은 아니며, 별도의 모듈로써 구현될 수 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(microcontrollers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리부(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
본 발명에 의하면, 상기 인공지능부(182)를 이용하여, 사용자가 보다 편리하고 용이하게 사용할 수 있는 전자기기(100)가 개시된다. 상기 인공지능부(182)는 하드웨어적으로 구현될 수도 있으며, 소프트웨어적으로 구현될 수 있다. 또한, 상기 인공지능부(182)는 이하에서 필요에 따라 IA(Intelligent Agent)라고 칭할 수도 있음을 밝혀 둔다. 이하에서는, 본 발명에 의해 제공되는 인공지능부(182)를 이용한 전자기기(100)의 다양한 동작 방법에 대해서 상술하도록 한다.
도 2는 본 발명의 몇몇 실시예들에 있어서 콜이 수신되는 경우 전자기기의 동작 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 전자기기(100)로 콜이 수신되는 경우(S101), 전자기기(100)는, 현재 전자기기(100)에 설정되어 있는 콜 수신 모드를 확인할 수 있다(S102). 단계 S102는 제어부(180)에 의해 수행될 수 있으며, 또는 상기 IA(182)에 의해서 수행될 수도 있다.
본 발명에 의하는 경우, 전자기기(100)의 콜 수신 모드는 자동 모드(automatic mode)와 정상 모드(normal mode)를 포함한다. 본 발명을 설명함에 있어서, 설명의 편의를 위하여, 전자기기(100)는 자동 모드와 정상 모드 둘 중의 어느 하나의 모드로 설정되는 것을 가정하여 설명한다. 그러나, 전자기기(100)의 콜 수신 모드는 상기 두 개의 모드 이외에 다른 모드를 더 포함할 수 있음을 미리 밝혀둔다. 전자기기(100)의 콜 수신 모드를 설정하는 방법은 매우 다양할 수 있으며, 이에 대한 자세한 방법은 나중에 후술하기로 한다.
이어서, 전자기기(100)는, 현재의 모드가 자동 모드인지 여부를 판단하고(S103), 전자기기의 콜 수신 모드가 자동 모드로 설정되어 있는 경우 도 3에 도시된 단계 S104를 수행할 수 있으며, 전자기기의 콜 수신 모드가 정상 모드로 설정되어 있는 경우(즉, 자동 모드로 설정되어 있지 않은 경우), 도 4에 도시된 단계 S112를 수행할 수 있다.
본 발명의 제1 실시예에 의하면, 자동 모드로 설정되어 있는 경우, 전자기기(100)는, IA(182)의 동작에 의하여, 사용자를 대신하여 콜을 연결하여 상대방과 통화를 수행할 수 있으며, 필요에 따라 연결된 콜을 사용자가 직접 통화할 수 있도록 연결된 콜을 사용자에게 패스해줄 수도 있으며, 또는 필요한 사항을 확인한 후에 연결된 콜을 종료할 수 있게 된다. 이하에서는, 도 3 내지 도 12를 참조하여, 본 발명의 제1 실시예에 대해 설명한다.
도 3은 본 발명의 제1 실시예에 따라, 전자기기가 자동모드로 설정되어 있는 경우, 수신되는 콜을 자동으로 연결하여 응답하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 상기 IA(182)는 수신되고 있는 콜을 연결할 수 있다(S104). 이에 따라, 상기 콜의 상대방(상기 콜을 요청한 전자기기)과 연결될 수 있다. 즉, 전자기기(100)의 콜 수신 모드가 자동 모드로 설정되어 있는 경우, 콜 수신에 대해서 전자기기(100)의 사용자가 별도의 입력(예를 들어, 콜 연결을 위한 버튼 입력, 터치 입력, 특정 제스쳐 입력, 보이스 커맨드 등)을 하지 않아도 상기 IA(182)가 스스로 콜을 수신하게 된다.
또한, 콜 수신 시, 콜 수신 모드가 자동 모드로 설정되어 있는 경우, 전자기기(100)는 사용자에게 콜 수신이 되고 있음을 사용자에게 알리는 동작을 수행하지 않을 수 있다. 예를 들어, 지금까지 알려진 핸드폰 또는 스마트폰 등은 콜 수신 시, 벨 소리를 출력하거나, 디스플레이 모듈(151)에 콜 수신 화면을 출력하거나, 또는 진동을 함으로써 사용자에게 콜이 수신되고 있음을 사용자에게 알리고, 사용자가 이에 따라 콜 연결을 위한 소정의 입력을 수행하도록 설계되어 있으나, 본 발명에 의한 전자기기(100)는 자동 모드로 설정되어 있는 경우, 사용자 대신 콜 수신에 대하여 능동적으로 응답할 수 있으므로 사용자에게 콜이 수신되고 있음을 알리는 동작을 수행할 필요가 없게 된다. 다만, 전술한 바와 같이, 콜 수신을 사용자에게 알리는 동작을 수행할 필요가 없다는 것의 의미는 매우 적극적으로 벨소리를 출력하거나, 콜 수신 화면을 출력하거나, 또는 진동을 함으로써 사용자가 콜 수신을 잘 인식할 수 있도록 할 필요가 없다는 것을 의미할 뿐이며, 현재 자동 모드로 설정되어 있는 상태에서 콜이 수신되고 있거나 또는 이하에서 후술할 IA(182)에 의한 자동대화가 수행되고 있음을 사용자에게 소극적으로 알리기 위하여 디스플레이 모듈(151)의 일부에 소정의 인디케이터를 표시하거나 하는 등의 동작을 통하여 사용자에게 콜 수신을 알리는 것까지 배제하는 것은 아니다.
나아가, 콜 수신 시, 콜 수신 모드가 자동 모드로 설정되어 있는 경우, 전자기기(100)는 콜 상대방의 음성을 출력하기 위한 스피커(즉, 음향 출력 모듈(152)), 콜 상대방에게 전달할 사용자의 음성을 입력 받기 위한 마이크(122), 콜 상대방에게 전달할 사용자의 영상을 촬영하기 위한 카메라(121) 등을 활성화시키거나 또는 콜 상대방의 영상을 출력하기 위한 화면을 디스플레이 모듈(151)에 표시할 필요가 없다. 즉, 지금까지 알려진 핸드폰 또는 스마트폰 등은 콜 수신 시, 상대방과의 통화를 위하여 음향 출력 모듈(152)와 마이크(122)를 활성화 시킴으로써 사용자와 콜 상대방 간의 음성통화가 가능하도록 하거나, 이에 나아가, 영상통화를 위한 콜이 연결된 경우, 디스플레이 모듈(151)에 상대방의 영상을 표시하고, 사용자의 영상을 촬영하기 위한 카메라(121)를 활성화시키고 있으나, 본 발명에 의한 전자기기(100)는 사용자를 대신하여 콜 수신에 대하여 능동적으로 응답할 수 있으므로 사용자와 콜의 상대방이 통화를 수행하기 위한 전술한 동작들을 수행할 필요가 없게 된다. 물론, 전술한 음향 출력 모듈(152), 마이크(122), 카메라(121) 등을 활성화시키지 않는 다는 것의 의미는, 콜 수신 및/또는 콜 연결 이벤트를 트리거(trigger)로 삼아 상기 모듈들을 활성화시킬 필요가 없다는 의미이며, 자동 모드로 설정되어 있는 상태에서 상기 모듈들이 다른 목적에 의해서(예를 들어, 회의내용 녹취를 위한 마이크(122) 활성화 등) 활성화되어 있는 경우, 콜 수신이 되었을 때, 이미 활성화 되어 있는 상기 모듈들을 비활성화시킬 필요는 없다.
IA(182)가 스스로 콜을 연결한 후, IA(182)는 연결된 콜의 상대방과 자동대화(auto conversation)를 수행할 수 있다(S105).
IA(182)는 콜의 상대방의 음성을 인식하고, 인식된 결과에 따라 스스로 상대방의 말(예를 들어, 연결된 콜을 통해 수신되는 상대방의 문장 및/또는 구)에 대한 적절한 문장 및/또는 구를 생성해낼 수 있으며, 상기 생성된 문장 및/또는 구를 상기 콜의 상대방(즉, 상기 상대방이 사용하고 있는 다른 전자기기)에게 전달할 수 있다. 이 때, IA(182)에 의해 생성된 문장 및/또는 구는 상기 전자기기(100)에서 청각적으로 출력될 필요는 없으며, 다만 상기 콜의 상대방에게 청각적으로 출력될 수 있도록 상기 문장 및/또는 구를 적절히 인코딩한 후, 인코딩된 결과를 전달할 수 있으며, 이로써, 콜의 상대방은 IA(182)에 의해 생성된 응답(즉, 문장 및/또는 구)을 청취할 수 있게 된다.
콜의 상대방은 전술한 바와 같이 전달받은 IA(182)의 응답에 대해 다시 다른 문장 및/또는 구를 전자기기(100)로 전달할 수 있으며, 이에 대해 IA(182)는 전술한 바와 같은 방식을 반복적으로 수행하여 상대방에게 적절히 응답할 수 있다.
한편, 상대방으로부터 요청된 콜이 영상 통화를 위한 것일 경우, IA(182)는 영상 전송을 거절하거나, 대체 영상을 전송할 수 있을 것이다. 상기 대체 영상은 상기 IA(182)에 대응시켜 시각화한 이미지(예를 들어, 아바타 이미지 등)일 수 있으며, 사용자가 미리 설정해 둔 이미지일 수 있을 것이다.
즉, IA(182)는, 자동 수신 모드로 설정되어 있는 경우, 콜의 상대방과 자연스럽게 대화를 진행할 수 있게 된다.
이와 같은 자동 대화를 수행하기 위하여, IA(182)에는 음성 인식 기술이 적용될 뿐만 아니라, 상대방의 말을 인식하여 그 의미를 파악하기 위한 자연어 처리 기술 등이 적용될 수도 있다.
도 6은 본 발명의 실시예에 따라 IA에 의해 자동 대화가 수행되고 있는 것을 시각적으로 예시한 도면이다.
도 6을 참조하면, IA(182)는 콜의 상대방인 미쉘에 대해 자연스럽게 응답하고 있는 것을 알 수 있으며, 나아가, 미쉘이 하고 있는 말의 의미를 파악하여 그에 대하여 적절하게 응답하고 있음을 알 수 있다. 또한, 사용자의 현재 상황에 대해서도 간략하게 콜의 상대방인 미쉘에게 전달해줌으로써, 미쉘이 본래 통화하고자 하였던 Mr.신과 통화하지 못함으로 인해서 발생할 수 있는 불편함을 완화시킬 수 있게 된다.
이와 같이, IA(182)는 마치 전자기기(100)의 사용자의 가상의 개인 비서의 입장에서 콜의 상대방과 자동 대화를 수행함으로써, 자연스럽게 상대방으로부터 전화를 한 용건을 파악할 수 있게 된다. IA(182)에 의한 자동 대화를 구현함으로써, 사용자가 전화를 직접적으로 받지 못하는 상황이 발생한 경우, 전자기기(100)의 콜 수신 모드를 자동 모드로 변경함으로써, IA(182)가 대신 전화를 수신할 수 있도록 할 수 있게 된다. 이로부터, 종래에는 통화가 불가능하거나 힘든 상황에서, 콜을 의도적으로 무시하거나 또는 비의도적으로 놓치거나, 콜을 연결하여 통화가 힘든 상황임을 간략하게 알린 후 콜을 종료함으로써, 콜의 상대방에게 줄 수 있는 불편함을 완화시킬 수 있는 효과가 발생한다.
IA(182)는 단계 S105에서 자동 대화를 수행하면서, 자동 대화를 토대로 현재의 상황이 제1 상황에 해당하는 지를 판단할 수 있다(S106). 상기 제1 상황은 적어도 긴급상황을 포함할 수 있다. 즉, IA(182)는 상대방과의 자동 대화를 수행하면서, 콜의 상대방이 사용자와 긴급하게 직접 통화를 할 필요성이 있는지 여부를 판단할 수 있다.
IA(182)는 현재의 상황이 긴급상황인지 여부를 판단하기 위하여, 다양한 방식을 사용할 수 있다.
첫째, IA(182)는, 상대방의 문장 및/또는 구를 자연어 처리한 결과 인식된 문장 및/또는 구의 의미를 파악할 수 있으며, 파악된 의미에 따라 상대방이 사용자와 현재 직접적으로 통화를 하고 싶어하는지 여부를 판단할 수 있을 것이다. 예를 들어, IA(182)는 직접적으로 상대방에게 현재 사용자가 전화를 직접 받을 수 없는 상황에 대해서 정확하게 설명을 한 후, 그럼에도 불구하고 지금 바로 사용자와 직접 전화 통화를 하여야 하는지 질문함으로써 현재의 상황이 긴급한 상황인지 여부를 판단할 수 있을 것이다. 또는, 긴급상황인지를 판단하기 위하여, 상대방의 대화 내용에 미리 지정되어 있는 단어 및/또는 구들이 포함되어 있는지 여부를 판단할 수 있다. 도 7은 본 발명의 실시예에 따라 제1 상황인지 여부를 판단하는 방법을 설명하기 위한 예시도로써, 특히, 도 7에 도시된 IA와 상대방간의 자동 대화는 도 6에 도시된 자동대화로부터 연속된 대화를 예시하고 있는 것이다. 도 7을 참조하면, 상대방인 미쉘은 지금 직접 Mr.신과 통화를 하고 싶어하고 있으며, 이에 따라, IA(182)는 바로 사용자인 Mr.신에게 통화를 연결해주겠다고 응답을 하고 있다. 이에 따라, 사용자에게 통화를 연결해주는 것에 대해서는 후술하기로 한다.
둘째, IA(182)는, 상대방의 음성을 분석하여, 현재 상황이 다급한 상황인지를 판단할 수 있다. 예를 들어, 상대방의 음성이 높고 날카로운 경우, IA(182)는 현재 상황이 다급한 상황인 것으로 판단할 수 있을 것이다. 이를 위하여, IA(182)는 전자기기(100)의 폰북 등에 저장되어 있는 사람들의 음성들을 샘플링해 놓을 수 있으며, 상대방의 음성이 높고 날카로운지 여부를 판단하기 위하여 샘플링된 음성과 비교를 수행할 수 있다. 다만, 폰북 등에 저장되어 있는 사람들의 음성들의 샘플링 결과는 반드시 전자기기(100)에 의해 수행되거나, 또는 전자기기(100)에 구비된 메모리(160)에 저장되어 있을 필요는 없으며, 상기 샘플링 및/또는 저장은 서버와 같은 다른 전자기기에 의해 수행될 수도 있다. 또는, 다급한 상황에서 나오는 음성에 포함된 특유의 음성의 특징에 대한 기준값을 설정하고, 상기 기준값과 상대방의 음성 분석 결과를 비교하여 현재 상황이 다급한 상황인 것으로 판단할 수 있다. 즉, 일반적으로 다급한 경우, 상대방의 음성의 톤이 높아지고 목소리가 커질 수 있는 데, 음성 톤에 대한 기준값 및/또는 목소리 크기에 대한 기준값 등을 미리 설정하여 두고 상대방의 음성을 기준값과 비교함으로써 전술한 판단을 수행할 수 있을 것이다. 도 8은 본 발명의 실시예에 따라 제1 상황인지 여부를 판단하는 방법을 설명하기 위한 다른 예시도로써, 특히, 도 8에 도시된 IA와 상대방간의 자동 대화는 도 6에 도시된 자동대화로부터 연속된 대화일 수 있다. 도 8을 참조하면, 상대방인 미쉘의 목소리가 더 큰 것을 알 수 있으며, IA(182)는 미쉘의 목소리의 크기가 기준값보다 더 크다고 판단하여, 현재 상황이 긴급한 상황임을 판단할 수 있게 된다. 나아가, 긴급한 상황인지 여부를 판단하기 위하여, 상대방의 음성의 빠르기도 추가적으로 또는 독립적으로 고려될 수 있다.
셋째, IA(182)는, 소정의 방법을 통하여(예를 들어, 전술한 첫번째 방식, 두번째 방식 또는 첫번째 방식 및 두번째 방식의 조합을 통하여), 상대방의 긴급 정도를 미리 정해진 등급에 따라 레벨화하고, 사용자로부터 미리 수신 받은 사용자 설정 레벨을 비교한 후, 사용자가 설정한 레벨보다 판단된 상대방의 긴급 정도의 레벨이 더 높은 경우만 긴급 상황인 것으로 판단할 수 있다. 보다 자세히 설명하면, 사용자가 자동 모드로 설정할 때, 사용자의 상황에 맞게 레벨을 설정할 수 있다. 예를 들어, 사용자는, 현재 매우 중요한 회의에 참석하고 있으면 레벨 1, 비교적 자유로운 미팅에 참석하고 있으면 레벨 2, 다른 사람으로부터 방해 받고 싶지 않은 경우라면 레벨 3, 단순히 다른 어플(예를 들어, 비디오 시청, 게임 플레이 등)을 실행하고 있는 경우라면, 레벨 4로 자동 모드를 위한 등급을 별도로 설정할 수 있을 것이다. 이 때, IA(182)는 상대방의 긴급 정도를 적절하게 레벨화 하여, 현재 판단된 상대방의 긴급 정도의 레벨이 2이고, 현재 전자기기(100)에 설정된 레벨이 3인 경우에는 긴급한 상황인 것으로 판단할 수 있으나, 현재 전자기기(100)에 설정된 레벨이 1인 경우에는 긴급한 상황이 아닌 것으로 판단할 수 있다.
IA(182)는 전술한 방식 등에 따라 현재 상황이 제1 상황(예를 들어, 긴급 상황)인지 여부를 판단하고, 현재 상황이 제1 상황이라고 판단하는 경우(예를 들어, 긴급한 상황이라고 판단한 경우), 단계 S108을 수행하고, 현재 상황이 제1 상황이 아니라고 판단하는 경우, 단계 S107을 수행하게 된다.
이하에서는, 현재 상황이 제1 상황이라고 판단한 경우, 전자기기(100)의 후속 동작에 대해서 전술한 후, 현재 상황이 제1 상황이 아니라고 판단한 경우의 전자기기(100)의 후속 동작에 대해서 후술하기로 한다.
IA(182)는 현재 상황이 제1 상황이라고 판단한 경우, 제2 동작을 수행할 수 있다(S108). 상기 제2 동작은 기본적으로 연결된 콜에 대해서 사용자가 직접 응답할 수 있도록 유도하기 위한 목적 하에 수행되는 동작들을 포함하는 것으로써, 상기 제2 동작은 다양한 동작을 포함할 수 있다. 이하에서는 상기 제2 동작에 대해서 보다 구체적으로 설명하기로 한다.
먼저, IA(182)는 사용자에게 직접 콜 응답을 요청하는 알람을 출력할 수 있다. 예를 들어, 콜 수신 시 출력되는 벨소리를 출력하거나, 진동을 출력하거나, 콜 응답을 요청하는 화면을 출력할 수 있다.
이때, IA(182)는 단계 S105에서 수행한 자동 대화에 기초하여, 콜 상대방의 용건 등을 요약하여 사용자가 인식할 수 있도록 시각적으로 및/또는 청각적으로 출력할 수 있다. 예를 들어, 도 7에 도시된 바와 같은 자동 대화가 수행되었던 경우, IA(182)는 디스플레이 모듈(151)에 “내일 미팅 관련 용무”라고 간략하게 요약된 내용을 텍스트 등을 이용하여 시각적으로 표시할 수 있다. 물론, IA(182)는 이와 동일한 내용을 음향 출력 모듈(152)을 통해 청각적으로 출력할 수도 있다.
도 9는 본 발명의 실시예에 따라 사용자에게 콜 응답을 요청할 때 전자기기의 동작을 예시하는 도면이다. 먼저, 도 9의 (a)를 참조하면, 전자기기(100)는 디스플레이 모듈(151)을 통하여, 콜 상대방의 전화번호, 성명(또는 이에 준하는 식별가능한 명칭 등) 및 상대방의 용건에 대한 요약 사항 등이 표시되어 있고, 음향 출력 모듈(152)을 통하여 벨소리가 출력되고 있음을 알 수 있다. 나아가, IA(182)가 긴급하다고 판단하여 사용자에게 패스하려고 하는 콜에 대해서 직접 통화를 수행할 지 아니면, 상대방의 콜에 대한 직접 통화를 거절할 지 여부 등을 질의하고 그에 대한 사용자의 응답을 받기 위한 사용자 인터페이스가 디스플레이 모듈(151)에 표시되고 있는 것이 도시되어 있다. 이어서, 도 9의 (b)를 참조하면, 도 9의 (a)에 도시되어 있는 화면과 달리, IA(182)에 대응되는 아바타(avatar, AV)가 표시되어 있으며, 아바타(AV)가, 마치 개인 비서가 전화연결을 위해 상황을 설명하는 것처럼, 상대방의 용건 등에 대해서 설명하는 텍스트 등이 표시되어 있음을 알 수 있다. 또한, 도 9의 (b)에는, 사용자로 하여금 긴급통화가 요청되었음을 인지할 수 있도록 벨 소리가 출력되는 대신 전자기기(100)가 진동하고 있음을 알 수 있다. 도 9에 도시된 바와 같이, 전자기기(100)는 사용자로 하여금 IA(182)가 자동으로 수신한 콜을 패스받을 수 있도록 하기 위한 다양한 출력 동작을 할 수 있다.
한편, 도 9에 도시된 화면은, 콜 수신 시, 일반적인 스마트폰 등에서 표시되고 있는 콜이 수신되고 있음을 사용자에게 알람하는 화면과 비교하여, IA(182)가 콜의 상대방과 수행한 자동대화에 기초한 요약 내용이 더 추가된 것이다. 그러나, IA(182)가 사용자로 하여금 직접 콜에 응답하도록 알람하기 위한 화면은 도 9의 (a)에 도시된 화면에 한정되지 않으며, 상대방의 전화 번호, 성명, 용건에 대한 요약 사항 및 콜에 직접 응답할지 여부를 입력하기 위한 사용자 인터페이스들 중 적어도 하나 이상이 생략되어 표시될 수 있으며, 또한 이보다 더 많은 정보를 상기 디스플레이 모듈(151)에 표시할 수 있다.
한편, IA(182)는, 자동대화에 근거하여 긴급 여부를 판단할 때, 상대방의 긴급 여부뿐만 아니라, 긴급의 정도에 대해서도 더 판단할 수 있는데, IA(182)는, 전자기기(100)를 통해 사용자에게 직접 콜 응답 요청을 알람할 때, 상기 긴급의 정도에 따라서, 출력하는 화면 및/또는 사운드를 달리 구성할 수 있다. 예를 들어, 보통 정도의 긴급 상황이라고 판단되면, 전자기기(100)는 도 9에 도시된 바와 같이 출력할 수 있으나, 긴급의 정도가 매우 높은 상황이라고 판단되면, 도 10에 도시된 바와 같이 출력할 수 있다. 도 10은 본 발명의 실시예에 따라 사용자에게 콜 응답을 요청할 때 전자기기의 다른 동작을 예시하는 도면이다. 도 10의 (a)를 참조하면, IA(182)는 아이가 다친 상황에 대해서 매우 긴급한 상황이라고 판단하고, 사용자에게 상기와 같은 상황을 보다 잘 전달하기 위하여 도 9에 도시된 것보다 더 큰 폰트 사이즈로 요약 정보를 출력할 수 있으며, 나아가 전자기기(100)에 설정된 벨소리 음량을 무시하고 가장 큰 벨소리 음량으로 벨소리를 출력할 수 있다. 또는 도 10의 (b)에 도시된 바와 같이, 긴급한 상황을 더욱 직접적으로 사용자에게 알리기 위하여, 요약 정보를 텍스트로 표시하면서 벨소리를 출력하는 대신, 요약 정보를 벨소리 대신 청각적으로 출력할 수도 있다. 나아가, 도 10에 도시된 바와 같이, 상기와 같이 매우 긴급한 상황으로 판단되는 경우, IA(182)는 도 9에 도시된 바와 달리, 사용자가 콜에 대한 직접응답을 수락하거나 거절하기 위한 사용자 인터페이스는 제공하지 않을 수 있다.
전술한 바와 같이, IA(182)는 제2 동작을 수행(S108)한 후, 사용자의 입력을 대기할 수 있다(S109). 예를 들어, IA(182)는 도 9에 도시된 바와 같이, 사용자로부터 직접 통화에 대한 수락 여부를 질의하는 사용자 인터페이스를 출력하고, 그에 대한 사용자 입력을 대기할 수 있다. 또 다른 예를 들어, 도 10에 도시된 바와 같이, 직접 통화에 대한 수락 여부를 질의하는 사용자 인터페이스를 출력하지 않고 있는 경우, 미리 정해진 형태의 직접 통화를 위한 사용자 입력(예를 들어, 터치 스크린의 임의의 영역 터치)이 수신되는 것을 대기할 수 있다.
IA(182)는 사용자의 입력이 있는지 여부를 모니터링할 수 있으며(S110), 소정의 시간 동안 사용자의 입력이 없는 경우, 단계 S107로 진행하여, 후술할 제1 동작을 수행하게 되며, 사용자의 입력이 있는 경우, 단계 S111을 수행하게 된다.
단계 S111에서, IA(182)는 사용자의 입력이 직접 통화를 수락하는 것인지 여부를 판단할 수 있다. 예를 들어, 도 9의 (a)에 도시된 바와 같은 경우, ‘통화’라고 표시되어 있는 오브젝트에 대해 입력을 수행한 경우, 예를 들어, ‘통화’라고 표시되어 있는 부분을 터치하거나, 터치한 후 미리 정해져 있거나 또는 임의의 방향으로 슬라이드한 경우, IA(182)는 사용자가 직접 통화를 수락하는 입력을 한 것으로 판단할 수 있다. 이와 반대로, 도 9의 (a)에 도시된 화면에서, ‘거절’이라고 표시되어 있는 부분에 대해 입력을 수행한 경우, IA(182)는 사용자가 직접 통화를 거절하는 입력을 한 것으로 판단할 수 있다.
단계 S111의 판단 결과에 따라, 사용자의 입력이 직접 통화의 수락인 경우, IA(182)는, 콜의 상대방과 사용자가 직접 통화를 할 수 있도록 하기 위하여, 후술할 도 4에 도시된 단계 S115를 수행하게 되며, 사용자의 입력이 직접 통화의 거절인 경우, IA(182)는 단계 S107로 진입하여, 후술할 제1 동작을 수행할 수 있다.
이상, IA(182)가 자동대화를 통해 상대방의 용무가 긴급하다고 판단되는 경우에 전자기기(100)의 동작에 대해서 상세히 살펴보았다.
이하에서는, 계속하여 도 3 및 이에 관련된 도면들을 참조하여, IA(182)가 상대방의 용무가 긴급하지 않다고 판단되는 경우의 전자기기(100)의 동작에 대해서 구체적으로 설명하기로 한다.
단계 S106에서, 현재의 상황이 제1 상황이 아니라고 판단되는 경우(예를 들어, 상대방의 용무가 긴급한 용무가 아니라고 판단되는 경우), IA(182)는 제1 동작을 수행할 수 있다(S107).
IA(182)가 현재의 상황이 긴급 상황인지 여부를 판단하기 위한 다양한 방식에 대해서는 이미 전술한 바 있으므로, 자세한 설명은 생략하기로 한다. 도 11은 본 발명의 실시예에 따라 제1 상황이 아닌 것으로 판단되는 자동 대화의 일예를 도시하는 도면이다. 특히, 도 11은 도 6에 도시된 자동대화에 연속된 자동대화를 도시한 것일 수 있다. 도 11에 도시된 바와 같이, 콜의 상대방이 IA(182)와의 자동대화를 통하여 사용자와의 직접 통화를 포기한 경우, IA(182)는 상대방의 용무가 긴급한 사항이 아닌 것으로 판단할 수 있을 것이다.
이와 같이, 긴급한 상황이 아니라고 판단되는 경우, IA(182)는 제1 동작을 수행할 수 있는데, 제1 동작은 기본적으로 IA(182)가 수행한 자동대화를 사용자에게 추후에 전달할 수 있도록 하는 준비하는 동작들을 포함하는 것으로써, 상기 제1 동작은 다양한 동작들을 포함할 수 있다. 이하에서는 상기 제1 동작에 대해서 보다 구체적으로 설명하기로 한다.
먼저, IA(182)는 사용자에게 추후에 전달할 전달 메시지를 작성하고 이를 저장할 수 있다. 상기 전달 메시지는 전화한 상대방에 대한 정보(예를 들어, 상대방의 전화번호 및/또는 성명 등), 상대방과 자동대화를 한 내용 전체 또는 그 일부 등을 포함할 수 있다. 상기 자동대화의 내용은, 음성 그 자체로 저장될 수도 있으며, 또는 STT엔진을 사용하여 상대방의 음성 및 IA(182)에 의해 상대방에게 전달된 문장 및/또는 구를 텍스트화하여 저장될 수 있다. 또한, IA(182)는 상기 자동대화의 내용을 토대로 하여 중요한 내용만 포함하는 요약대화를 생성할 수 있으며, 상기 전달 메시지는 상기 요약대화를 포함할 수 있다. IA(182)는 상기 전제대화 및 상기 요약대화 중 적어도 하나를 저장할 수 있다. 즉, IA(182)는 둘 중 하나만 저장할 수도 있으며, 둘 모두를 저장할 수도 있다. 이어서, IA(182)는 단계 S104에서 연결된 콜을 종료할 수 있다. IA(182)는 전술한 제1 동작을 수행한 후, 도 5에 도시된 단계 S117을 수행할 수 있다. 이에 대해서는, 나중에 후술하기로 한다.
이상에서는, 콜 수신 시, 콜 수신 모드가 이미 자동모드로 설정되어 있는 경우에 대해서 설명하였다. 이하에서는, 콜 수신 모드가 정상 모드인 경우의 전자기기(100)의 동작에 대해서 설명하기로 한다.
도 4는 본 발명의 실시예에 따라 콜 수신 모드가 정상 모드인 경우의 전자기기의 제어방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, IA(182)는 다양한 방법을 통해서, 콜이 수신되고 있음을 사용자에게 알리기 위한 콜 수신 알람 동작을 수행할 수 있다(S112). 예를 들어, 벨소리를 출력하는 것과 같이, IA(182)는 음향 출력 모듈(152)을 통해 청각적으로 콜이 수신되고 있음을 사용자에게 알릴 수 있으며, IA(182)는 디스플레이 모듈(151)을 통해 시각적으로 콜이 수신되고 있음을 사용자에게 알릴 수도 있으며, 또는 햅틱모듈(154)을 통해 진동을 발생시킴으로써 사용자에게 콜이 수신되고 있음을 알릴 수 있다.
이어서, IA(182)는 사용자로부터 콜 연결을 요청하는 입력이 수신되고 있는 지를 모니터링 할 수 있다(S113). 상기 단계 S113은 콜 수신이 되기 시작한 후 미리 정해진 일정시간 동안만 수행될 수 있다. 또는 단계 S113은 콜 수신 알람 동작을 수행하기 시작한 후 미리 정해진 일정시간 동안만 수행될 수 있다. 단계 S113을 수행하던 중, 사용자로부터 콜 연결을 요청하는 입력이 수신되는 경우, IA(182)는 단계 S114를 수행하지만, 콜 연결을 요청하는 입력이 수신되지 않은 상태에서는 IA(182)는 전자기기(100)에 설정되어 있는 콜 수신 모드가 정상모드에서 자동 모드로 전환되는 이벤트가 발생하였는지 여부를 함께 모니터링할 수 있다(S116).
먼저, 단계 S114 및 S115에 대해서 설명한 후, 단계 S116에 대해서 설명하기로 한다.
IA(12)는 수신되고 있는 콜을 연결할 수 있다(S114). 이로써, 전자기기(100)는 콜의 상대방과 전자기기(100)의 사용자가 통화를 수행할 수 있도록 준비될 수 있다.
단계 S114에 이어서, 또는 단계 S114와 동시에, IA(182)는 통화동작을 수행할 수 있다(S115). 단계 S115는 전자기기(100)에 구비되어 있는 구성요소들 중 통화를 수행하기 위하여 필요한 모듈들을 활성화시키는 동작을 포함할 수 있다. 예를 들어, IA(182)는, 수신된 콜이 음성통화를 위한 콜인 경우, 음향 출력 모듈(152) 및 마이크(122)를 활성화시킬 수 있다. 또 다른 예를 들어, IA(182)는, 수신된 콜이 영상통화를 위한 콜인 경우, 음향 출력 모듈(152), 마이크(122), 디스플레이 모듈(151) 및 카메라(121)를 활성화시킬 수 있다. 이로써, 전자기기(100)는 사용자가 콜의 상대방과 통화를 수행하기 위한 준비를 마칠 수 있다. 이어서, 단계 S115는 콜의 상대방으로부터 수신되는 음성 및/또는 영상을 상기 음향 출력 모듈(152) 및/또는 상기 디스플레이 모듈(151)을 통해 출력할 수 있으며, 전자기기(100)의 사용자로부터 음성 및/또는 영상을 상기 마이크(122) 및/또는 카메라(121)를 통해 입력 받아 상기 콜의 상대방으로 전송할 수 있다.
단계 S115는 통화 종료를 위한 이벤트(예를 들어, 사용자가 종료버튼을 누르는 것 등)가 발생할 때까지 수행될 수 있으며, 통화종료를 위한 이벤트가 발생하면, IA(182)는 상기 연결될 콜을 종료시킬 수 있다. 이상에서 설명한 단계 S114 및 단계 S115는 종래의 스마트폰 및/또는 휴대폰에서 콜을 수신하여 통화 동작을 수행하는 것과 크게 다르지 않을 수 있다.
이어서, 단계 S116에 대해서 설명한다. 단계 S116은 전술한 바와 같이 콜 수신 모드가 정상 모드로 설정되어 있는 상태에서 콜 수신 알람 동작을 수행하던 중, 수신 모드의 전환을 위한 이벤트가 발생하였는지 여부를 모니터링 하는 단계이다.
수신 모드의 전환을 위한 이벤트의 종류는 다양할 수 있다.
첫째, 전자기기(100)는 단계 S112를 통해 콜 수신 알람 동작을 수행할 때, 수신 모드의 전환을 위한 사용자 인터페이스를 디스플레이 모듈(151)을 통해 제공할 수 있으며, 사용자가 제공된 사용자 인터페이스를 통해 수신 모드의 전환을 위한 입력을 수행한 경우, IA(182)는 수신 모드의 전환을 위한 이벤트가 발생하였다고 판단할 수 있다. 도 12는 본 발명의 실시예에 따르는 수신 모드의 전환을 위한 이벤트를 설명하기 위한 도면으로써, 예를 들어, IA(182)는 단계 S112를 통해 도 12의 (a)에 도시된 바와 같이, 수신모드의 전환을 위한 소프트키(SK1)를 제공할 수 있으며, 사용자가 상기 소프트키(SK1)에 대해 미리 정해진 방식에 따라 입력을 수행한 경우, IA(182)는 수신 모드의 전환을 위한 이벤트가 발생하였다고 판단할 수 있다.
둘째, 전자기기(100)가 콜 수신 알람 동작을 수행하던 중 전자기기(100)가 미리 정해진 방식에 따라 움직이는 경우, IA(182)는 수신 모드의 전환을 위한 사용자 인터페이스가 발생되었다고 판단할 수 있다. 예를 들어, 도 12의 (b)에 도시된 바와 같이, 전자기기(100)에 구비된 디스플레이 모듈(151)이 상면을 향하도록 전자기기(100)가 놓여있는 상태에서 콜 수신 알람 동작을 수행하던 중 사용자 등의 동작 등에 의해 전자기기(100)가 회전하여 상기 디스플레이 모듈(151)이 하면을 향하도록 뒤집힌 경우, IA(182)는 수신 모드의 전환을 위한 이벤트가 발생하였다고 판단할 수 있다. 도 12의 (b)에는 전자기기(100)가 미리 정해진 방식에 따라 움직이는 일예로써, ‘뒤집기’에 대해서만 도시하였으나, 그 외에도 전자기기(100)를 좌우로 적어도 한번 이상 흔들리는 동작 등이 상기 미리 정해진 방식에 따른 움직임으로 설정될 수도 있다.
셋째, 사용자는 전자기기(100)가 특정한 위치에 진입한 경우 자동모드로 전환되도록 설정해놓을 수 있는데, 도 12의 (c)에 도시된 바와 같이, 콜이 수신되기 시작할 때는 상기 특정한 위치에 진입하지 않았으나, 콜 수신 알람 동작이 수행되던 중, 상기 전자기기(100)가 상기 특정한 위치로 진입한 경우, IA(182)는 수신 모드 전환을 위한 이벤트가 발생하였다고 판단할 수 있다.
전술한 바와 같이 단계 S116을 통해 수신 모드 전환을 위한 이벤트가 발생하였다고 판단되는 경우, IA(182)는 이미 전술한 바 있는 단계 S104 및 그에 따른 후속 동작을 수행할 수 있다.
이로써, 사용자가 회의 시작 전 또는 중요한 약속 자리에 참석하기 전에 미처 전자기기(100)의 수신 모드를 자동 모드로 변경하기 못한 경우, 수신 모드 전환을 위한 이벤트를 발생시킴으로써 IA(182)가 대신 전화를 받을 수 있도록 할 수 있도록 할 수 있는 효과가 발생한다. 이에 따라, 회의 진행 및/또는 중요한 약속은 방해받지 않을 수 있을 뿐만 아니라 동시에 콜의 상대방의 콜에 대해서 보다 효율적으로 응답할 수 있는 효과가 발생한다.
이어서, 도 5를 참조하여 본 발명의 실시예에 따라 작성된 콜 상대방과의 자동대화를 통해 생성된 전달 메시지를 출력하기 위한 전자기기의 제어 방법을 설명한다. 도 5는 본 발명의 실시예에 따라 작성된 콜 상대방과의 자동대화를 통해 생성된 전달 메시지를 출력하기 위한 전자기기의 제어 방법을 설명하기 위한 흐름도이다.
단계 S107에서 전술한 바와 같이, 자동 모드로 설정되어 있는 상태에서 IA(182)는 콜의 상대방과 자동대화를 수행하여 사용자에게 전달할 전달 메시지를 작성할 수 있다. 이와 같이 작성된 전달 메시지는 추후에 사용자에게 전달될 수 있다.
예를 들어, 도 5에 도시된 바와 같이, IA(182)는 전자기기(100)에 설정된 콜 수신 모드가 자동 모드에서 정상 모드로 전환되는 지 여부를 모니터링 할 수 있다(S117). 이에 따라, 콜 수신 모드가 정상 모드로 전환되었다고 판단되는 경우, IA(182)는 단계 S107을 통하여 설명한 바에 따라 작성된 전달 메시지를 사용자에게 출력할 수 있다(S118).
전달 메시지가 사용자에게 출력되는 방식은 매우 다양할 수 있다. 예를 들어, 전달 메시지의 내용을 청각적으로 사용자에게 출력할 수 있으며, 전달 메시지의 내용을 텍스트화하거나 이미지화 하여 시각적으로 사용자에게 출력할 수 있다.
전달 메시지는 콜 수신 모드가 정상 모드로 전환됨과 동시에 사용자에게 출력될 수 있다. 또는 전달 메시지는 콜 수신 모드가 정상 모드로 전환된 후, 사용자로부터 특별한 요청을 받은 후에 사용자에게 출력될 수 있다.
전달 메시지는 콜 수신 모드가 자동 모드로 설정되어 있는 동안 복수개가 작성될 수 있으며, 작성된 복수개의 전달 메시지가 모두 사용자에게 출력될 수 있다. 이 때, 출력되는 순서는 미리 정해진 순서에 따라 출력될 수도 있으며, 또는 사용자의 선택에 따라 출력되는 순서가 결정될 수도 있다.
이로써, 사용자는 자동 모드로 설정되어 있는 동안 수신된 콜의 상대방과의 자동대화에 의해 생성된 전달 메시지를 확인할 수 있게 되며, 전달 메시지를 확인함에 따라 콜의 상대방의 용건 등을 파악한 후, 필요에 따라 상대방과 다시 직접 통화를 할 수 있게 됨으로써, 보다 효율적으로 콜의 상대방과 커뮤니케이션을 할 수 있게 되는 효과가 발생한다.
이상, 본 발명의 제1 실시예에 대해서 설명하였다. 이하에서는, 도 13을 참조하여, 본 발명의 제2 실시예에 대해 설명하기로 한다.
도 13은 본 발명의 제2 실시예에 따르는 전자기기의 제어방법을 설명하기 위한 흐름도이다.
도 13을 참조하면, IA(182)는, 콜 수신 모드가 자동 모드로 설정되어 있는 경우, 수신되는 콜을 연결할 수 있으며(S200), 이어서, 콜의 상대방과 자동대화를 수행할 수 있다(S210). 이에 대해서는, 도 3에 도시된 단계 S104 및 단계 S105에서 설명한 동작과 유사하므로 이에 대한 자세한 설명을 생략하기로 한다.
이어서, IA(182)는, 자동대화를 통하여, 콜의 상대방에게 요청사항이 있는지 여부를 판단할 수 있다(S202). 예를 들어, 콜의 상대방은 전자기기(100)의 사용자에게 전화를 하여, 다른 사람의 전화번호나 이메일 주소와 같은 연락처를 물어보려고 할 수 있으며, 또는 전자기기(100)의 사용자의 일정을 확인하고 싶을 수 있을 것이다. IA(182)는 자동대화를 통하여, 콜의 상대방의 요청사항을 확인할 수 있다. 이와 같이, IA(182)는 자동대화를 통하여, 콜의 상대방의 요청사항 유무를 확인할 수 있으며, 만약 콜 상대방의 요청사항이 확인되면 IA(182)는 단계 S203을 수행할 수 있으며, 콜 상대방의 요청사항이 확인되지 않으면, 단계 S207을 수행할 수 있다.
만약, 단계 S202에서 콜 상대방의 요청사항이 확인된다면, IA(182)는 확인된 요청사항에 대해서 IA(182)가 응답가능한 것인지를 판단할 수 있다(S203).
IA(182)는 요청사항이 응답가능한 것인지를 판단하기 위하여 다양한 팩터를 고려할 수 있다.
첫째, IA(182)는 요청사항에 답변하기 위한 정보에 접근할 수 있는지를 파악할 수 있다. 예를 들어, IA(182)는 상대방의 요청사항에 대한 정보가 상기 전자기기(100)의 메모리(160) 및/또는 상기 전자기기(100)가 연결 가능한 다른 전자기기에 저장되어 있는지 여부를 확인할 수 있다. 즉, 상대방의 요청사항이 다른 사람의 연락처였는데, 만약 IA(182)가 상기 다른 사람에 대한 연락처가 전자기기(100)의 메모리(160) 및/또는 상기 전자기기(100)가 연결 가능한 다른 전자기기에 저장되어 있는지 여부를 확인함으로써, 상기 요청사항에 대해 IA(182)가 응답가능한 것인지 여부를 확인할 수 있다.
둘째, IA(182)는 콜 상대방에 부여되어 있는 접근권한을 고려할 수 있다. 콜 상대방에 부여되는 접근 권한은 미리 정해진 알고리즘에 의해 부여될 수 있으며, 또는 전자기기(100)의 사용자에 의해 부여될 수 있다. 예를 들어, IA(182)는, 연락처에 대한 접근권한에 있어서, 콜의 상대방과 동일한 그룹으로 폰북에 분류되어 있는 사람들에 대해서만 접근권한을 부여할 수 있다. 즉, 콜의 상대방이 폰북에 A그룹으로 분류되어 있는 경우, 상대방이 A그룹에 속해있는 다른 사람의 연락처에 대해서만 접근 권한이 부여될 수 있으며, A그룹을 제외한 다른 그룹에 속한 사람들의 연락처에 대해서는 접근권한이 부여되지 않을 수 있다. 다른 예를 들어, IA(182)는, 일정에 대한 접근권한에 있어서, 콜의 상대방이 관련되어 있는 일정에 대해서만 접근권한을 부여할 수 있다. 즉, 콜의 상대방이 특정 일정에 함께 참석하는 것으로 예정되어 있는 경우, 콜의 상대방은 자신이 참석하기로 되어 있는 일정에 대한 정보에 대해서만 접근권한을 부여받을 수 있으며, 자신이 참석하지 않는 일정에 대해서는 접근권한을 부여 받을 수 없다.
셋째, IA(182)는 상대방의 요청사항에 대해 접근해야 하는 정보에 대하여 전자기기(100)의 사용자가 설정해놓은 접근 가부 및/또는 접근 등급을 고려할 수 있다. 즉, 사용자가 특정 사람의 연락처 정보에 대해서 접근할 수 없도록 설정해 놓은 경우, IA(182)는 상기 특정 사람의 연락처에 대해서 응답가능하지 않은 것으로 판단할 수 있다.
IA(182)는, 전술한 바와 같은 그러나 이에 한정되지 않은, 다양한 팩터들을 고려하여 상대방의 요청이 응답가능한 요청인지 여부를 판단할 수 있다. 이 때, 만약 상대방의 요청이 응답가능한 것이라고 판단되는 경우, IA(182)는 단계 S204를 수행할 수 있으나, 이와 달리 응답가능하지 않은 것이라고 판단되는 경우, IA(182)는 단계 S207을 수행할 수 있다.
상대방의 요청이 응답가능한 것이라고 판단되는 경우, IA(182)는 요청사항에 대한 자동응답을 수행할 수 있다(S204). 즉, 상대방의 요청사항이 다른 사람의 연락처인 경우, IA(182)는 상기 다른 사람에 대한 연락처를 콜의 상대방에게 알려줄 수 있다.
이어서, IA(182)는, 콜의 상대방과 자동대화를 지속적으로 수행할 수 있으며, 이를 통해 콜 상대방이 추가 요청사항이 있는지 여부를 판단할 수 있다(S205). 만약 추가 요청사항이 있다고 판단되는 경우, IA(182)는 단계 S(203)으로 회귀하여 이미 설명한 바 있는 일련의 동작들을 수행할 수 있으며, 만약 추가 요청사항이 없다고 판단되는 경우, 연결된 콜을 종료하고, 콜의 상대방과의 자동대화의 내용을 사용자에게 알릴 수 있는 전달 메시지를 생성할 수 있다(S206).
이상, IA(182)가 수행한 자동대화를 통하여, 상대방의 요청사항이 확인되는 경우에 전자기기(100)를 어떻게 제어하는지에 대해서 설명하였다.
한편, 만약, 콜 상대방의 요청사항이 확인되지 않거나 또는 상대방의 요청사항이 응답가능하지 않다고 판단되는 경우, 제3 동작을 수행할 수 있다(S207).
제3 동작은 도 3에 도시된 단계 S107과 유사한 동작을 수행하는 것으로써, 제3 동작은, 기본적으로 IA(182)가 수행한 자동대화를 사용자에게 추후에 전달할 수 있도록 하는 준비하는 동작들을 포함하는 것으로써, 상기 제3 동작은, 제1 동작과 마찬가지로, 다양한 동작들을 포함할 수 있다. 제3 동작에 포함될 수 있는 다양한 동작들에 대해서는 제1 동작을 설명하면서 설명한 동작들을 모두 포함할 수 있는 것으로써, 여기서는 자세한 설명을 생략하기로 한다.
한편, 제2 실시예에 있어서도, 자동 모드에서 수행된 자동대화에 대해서는, 도 5를 참조하여 설명한 바와 같이, IA(182)는 추후에 사용자에게 전달 메시지를 전달하는 동작을 수행할 수 있다.
또한, 제2 실시예의 경우, 콜 수신 모드가 자동 모드로 설정되어 있지 않은 경우, 제1 실시예에서 설명한 바와 유사한 동작을 수행할 수 있으므로 여기서는 자세한 설명을 생략하기로 한다.
이하에서는, IA(182)가 전화가 아닌 메시지에 대하여 자동으로 응답하는 것에 대한 본 발명의 제3 실시예에 대해서 설명하기로 한다.
도 14 내지 도 17은 본 발명의 제3 실시예에 따라 메시지에 대해 자동으로 응답하는 전자기기의 제어방법을 설명하기 위한 흐름도이다.
도 14를 참조하면, 전자기기(100)로 메시지가 수신되는 경우(S301), 전자기기(100)는, 현재 전자기기(100)에 설정되어 있는 메시지 수신 모드를 확인할 수 있다(S302). 단계 S302는 제어부(180)에 의해 수행될 수 있으며, 또는 상기 IA(182)에 의해서 수행될 수도 있다.
본 발명에 의하는 경우, 전자기기(100)의 메시지 수신 모드는, 콜 수신 모드와 유사하게, 자동 모드(automatic mode)와 정상 모드(normal mode)를 포함한다. 본 발명을 설명함에 있어서, 설명의 편의를 위하여, 전자기기(100)는 자동 모드와 정상 모드 둘 중의 어느 하나의 모드로 설정되는 것을 가정하여 설명한다. 그러나, 전자기기(100)의 메시지 수신 모드는 상기 두 개의 모드 이외에 다른 모드를 더 포함할 수 있음을 미리 밝혀둔다. 전자기기(100)의 메시지 수신 모드를 설정하는 방법은 매우 다양할 수 있으며, 이에 대한 자세한 방법은 나중에 후술하기로 한다. 또한, 메시지 수신 모드는 콜 수신 모드에 대해 종속적으로 설정될 수도 있으며 독립적으로 설정될 수도 있다. 즉, 콜 수신 모드가 자동 모드로 설정된 경우, 메시지 수신 모드도 자동 모드로, 콜 수신 모드와 동일하게, 설정될 수 있으나, 메시지 수신 모드는 콜 수신 모드와 상관없이 독립적으로 설정될 수 있다.
이어서, 전자기기(100)는, 현재의 모드가 자동 모드인지 여부를 판단하고(S303), 전자기기의 메시지 수신 모드가 자동 모드로 설정되어 있는 경우 도 15에 도시된 단계 S304를 수행할 수 있으며, 전자기기의 메시지 수신 모드가 정상 모드로 설정되어 있는 경우(즉, 자동 모드로 설정되어 있지 않은 경우), 도 16에 도시된 단계 S310을 수행할 수 있다.
본 발명의 제3 실시예에 의하면, 자동 모드로 설정되어 있는 경우, 전자기기(100)는, IA(182)의 동작에 의하여, 사용자를 대신하여 메시지를 통하여 상대방과 대화를 수행할 수 있으며, 필요에 따라 메시지를 통해 사용자가 직접 대화할 수 있도록 할 수도 있다. 또는 필요한 사항을 확인한 후에 메시지를 통한 대화를 종료할 수 있게 된다.
도 15는 본 발명의 제3 실시예에 따라, 전자기기가 자동모드로 설정되어 있는 경우, 수신되는 메시지에 자동으로 응답하는 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 상기 IA(182)는 수신된 메시지에 자동으로 응답하게 할 수 있다. 이하에서는, 메시지를 통한 자동응답 및/또는 자동 대화를 콜 연결을 통한 자동대화와 구별하기 위하여 편의상 자동 메시지 대화라고 부르기로 한다.
전자기기(100)의 메시지 수신 모드가 자동 모드로 설정되어 있는 상태에서 메시지가 수신되는 경우, 전자기기(100)는 사용자에게 메시지 수신이 되고 있음을 사용자에게 알리는 동작을 수행하지 않을 수 있다. 예를 들어, 지금까지 알려진 핸드폰 또는 스마트폰 등은 메시지 수신 시, 메시지 수신 알림음을 출력하거나, 디스플레이 모듈(151)에 메시지 수신 화면을 출력하거나, 또는 진동을 함으로써 사용자에게 메시지가 수신되고 있음을 사용자에게 알리고, 사용자가 이에 따라 메시지 연결을 위한 소정의 입력을 수행하도록 설계되어 있으나, 본 발명에 의한 전자기기(100)는 자동 모드로 설정되어 있는 경우, 사용자 대신 메시지 수신에 대하여 능동적으로 응답할 수 있으므로 사용자에게 메시지가 수신되고 있음을 알리는 동작을 수행할 필요가 없게 된다.
IA(182)는 수신된 메시지의 상대방과 자동 메시지 대화(auto message conversation)를 수행할 수 있다(S105).
IA(182)는 메시지에 포함된 정보를 인식하고, 인식된 결과에 따라 스스로 메시지에 포함된 정보에 대한 응답메시지를 적절히 생성해낼 수 있으며, 상기 응답메시지를 상기 메시지의 상대방(즉, 상기 상대방이 사용하고 있는 다른 전자기기)에게 전달할 수 있다.
수신된 메시지는 텍스트, 이미지, 음성파일, 비디오 파일 또는 이들의 적어도 하나 이상의 조합을 포함할 수 있으며, 상기 응답메시지도 텍스트, 이미지, 음성파일, 비디오 파일 또는 이들의 적어도 하나 이상의 조합을 포함할 수 있다.
메시지의 상대방은 전술한 바와 같이 전달받은 IA(182)의 응답에 대해 다시 다른 메시지를 전자기기(100)로 전달할 수 있으며, 이에 대해 IA(182)는 전술한 바와 같은 방식을 반복적으로 수행하여 상대방에게 적절히 응답할 수 있다.
즉, IA(182)는, 자동 수신 모드로 설정되어 있는 경우, 메시지의 상대방과 자연스럽게 대화를 진행할 수 있게 된다. 이와 같은 자동 메시지 대화를 수행하기 위하여, IA(182)에는 텍스트 인식 기술, 음성 인식 기술, 이미지 인식 기술 등이 적용될 뿐만 아니라, 텍스트, 이미지, 음성 데이터에 포함된 자연어의 의미를 파악하기 위한 자연어 처리 기술 등이 적용될 수도 있다.
한편, 단계 S304에서 수행되는 자동 메시지 대화를 수행하는 동안, IA(182)는 스스로 작성한 응답메시지를 상대방에게 전달할 수 있는데, 이 때, IA(182)는 상기 응답메시지가 IA(182)에 의해 생성된 메시지임을 표시하여 상기 응답메시지를 작성할 수 있다. 예를 들어, 상기 응답메시지에 상기 IA(182)의 서명이 텍스트 및/또는 이미지로 표시될 수 있다. 다른 예를 들어, 상기 응답메시지에 IA(182)의 아바타 이미지가 포함될 수 있다. 또 다른 예를 들어, 도 6에 도시된 자동 대화에서와 유사하게, 응답메시지에는 전자기기(100)의 사용자를 대신하여 IA(182)가 전송하는 것임을 명백한 내용이 포함될 수 있다.
이와 같이, IA(182)는 마치 전자기기(100)의 사용자의 가상의 개인 비서의 입장에서 메시지의 상대방과 자동 메시지 대화를 수행함으로써, 자연스럽게 상대방의 메시지에 대해 적절히 응답할 수 있게 된다. IA(182)에 의한 자동 메시지 대화를 구현함으로써, 사용자가 메시지에 대해 직접적으로 응답하지 못하는 상황이 발생한 경우, 전자기기(100)의 메시지 수신 모드를 자동 모드로 변경함으로써, IA(182)가 대신 전화를 수신할 수 있도록 할 수 있게 된다. 이로부터, 종래에는 메시지에 대한 응답이 불가능하거나 힘든 상황에서, 메시지를 의도적으로 무시하거나 또는 비의도적으로 응답하지 않거나, 메시지에 대해 간단히 응답하기 힘든 상황임 알림으로써, 메시지의 상대방에게 줄 수 있는 불편함을 완화시킬 수 있는 효과가 발생한다.
IA(182)는 단계 S304에서 자동 메시지 대화를 수행하면서, 자동 메시지 대화를 토대로 현재의 상황이 제3 상황에 해당하는 지를 판단할 수 있다(S305). 상기 제3 상황은 적어도 긴급상황을 포함할 수 있다. 즉, IA(182)는 상대방과의 자동 메시지 대화를 수행하면서, 메시지의 상대방이 사용자와 긴급하게 직접 대화를 할 필요성이 있는지 여부를 판단할 수 있다.
IA(182)는 현재의 상황이 긴급상황인지 여부를 판단하기 위하여, 다양한 방식을 사용할 수 있다. 이러한 다양한 방식은, 이미 전술한 자동 대화를 통해 현재의 상황이 긴급한 상황인지 여부를 판단하는 방식에 대해 설명한 방식들의 적어도 일부를 포함할 수 있다. 즉, IA(182)는 자연어 처리를 통해 상대방의 의도를 직접 파악함으로써, 긴급상황인지 여부를 판단할 수 있으며, 메시지에 음성 데이터 및/또는 비디오 데이터가 포함되어 있는 경우, 상대방의 음성을 분석하여 현재의 상황의 긴급 정도를 판단할 수 있다. 이에 대한 구체적인 설명은 전술한 바 있으므로, 자세한 설명은 여기서는 생략하기로 한다.
IA(182)는 전술한 방식 등에 따라 현재 상황이 제3 상황(예를 들어, 긴급 상황)인지 여부를 판단하고, 현재 상황이 제3 상황이라고 판단하는 경우(예를 들어, 긴급한 상황이라고 판단한 경우), 단계 S306을 수행하고, 현재 상황이 제3 상황이 아니라고 판단하는 경우, 단계 S304로 회귀할 수 있다.
IA(182)는 현재 상황이 제3 상황이라고 판단한 경우, 제6 동작을 수행할 수 있다(S108). 상기 제6 동작은 기본적으로 수신된 메시지에 대해서 사용자가 직접 응답할 수 있도록 유도하기 위한 목적 하에 수행되는 동작들을 포함하는 것으로써, 상기 제6 동작은 다양한 동작을 포함할 수 있다. 이하에서는 상기 제6 동작에 대해서 보다 구체적으로 설명하기로 한다.
먼저, IA(182)는 사용자에게 직접 메시지 응답을 요청하는 알람을 출력할 수 있다. 예를 들어, 메시지 수신 시 출력되는 메시지 알람음을 출력하거나, 진동을 출력하거나, 메시지 응답을 요청하는 화면을 출력할 수 있다.
이때, IA(182)는 상대방과 자동 메시지 대화를 수행한 대화 화면을 사용자에게 시각적으로 및/또는 청각적으로 출력할 수 있다.
또는, IA(182)는 단계 S304에서 수행한 자동 메시지 대화에 기초하여, 메시지 상대방의 용건 등을 요약하여 사용자가 인식할 수 있도록 시각적으로 및/또는 청각적으로 출력할 수 있다. 이는 도 7을 통하여 설명한 바와 유사한 방식에 의해 수행될 수 있다.
전술한 바와 같이, IA(182)는 제6 동작을 수행(S306)한 후, 사용자의 입력을 대기할 수 있다(S307). 예를 들어, IA(182)는 사용자가 메시지에 응답할 수 있도록 정보를 입력하기 위한 사용자 인터페이스를 출력하고, 그에 대한 사용자 입력을 대기할 수 있다.
이어서, IA(182)는 사용자의 입력이 있는지 여부를 모니터링할 수 있으며(S308), 소정의 시간 동안 사용자의 입력이 없는 경우, 단계 S304로 회귀하여 자동 메시지 대화를 수행할 수 있으며, 사용자의 입력이 있는 경우, 프로세스를 종료하게 된다.
이상에서는, 메시지 수신 시, 메시지 수신 모드가 이미 자동모드로 설정되어 있는 경우에 대해서 설명하였다. 이하에서는, 메시지 수신 모드가 정상 모드인 경우의 전자기기(100)의 동작에 대해서 설명하기로 한다.
도 16을 참조하면, IA(182)는 다양한 방법을 통해서, 메시지가 수신되고 있음을 사용자에게 알리기 위한 메시지 수신 알람 동작을 수행할 수 있다(S310). 예를 들어, 메시지 수신 알람음을 출력하는 것과 같이, IA(182)는 음향 출력 모듈(152)을 통해 청각적으로 메시지가 수신되고 있음을 사용자에게 알릴 수 있으며, IA(182)는 디스플레이 모듈(151)을 통해 시각적으로 메시지가 수신되고 있음을 사용자에게 알릴 수도 있으며, 또는 햅틱모듈(154)을 통해 진동을 발생시킴으로써 사용자에게 메시지가 수신되고 있음을 알릴 수 있다.
이어서, IA(182)는 사용자가 정해진 시간 이내에 메시지를 읽었는지(S311) 및/또는 정해진 시간 이내에 수신된 메시지에 대해 응답을 하였는지(S312)를 모니터링 할 수 있다. 단계 S311 및/또는 단계 S312를 수행하던 중, 사용자가 메시지를 읽었다고 판단되지 않는다거나, 또는 사용자가 메시지에 대해서 응답하는 메시지를 발송하지 않았다고 판단되는 경우, IA(182)는 단계 S313을 수행하지만, 사용자가 수신된 메시지를 읽고, 그리고 수신된 메시지에 대하여 응답메시지를 발송한 경우, IA(182)는 프로세스를 종료할 수 있다.
IA(182)는 전자기기(100)에 설정되어 있는 메시지 수신 모드가 정상모드에서 자동 모드로 전환되는 이벤트가 발생하였는지 여부를 함께 모니터링할 수 있다(S313).
메시지 수신 모드의 전환을 위한 이벤트의 종류는 다양할 수 있다. 메시지 수신 모드의 전환을 위한 이벤트는 콜 수신 모드의 전환을 위한 이벤트와 매우 유사할 수 있다. 즉, 전자기기(100)는 수신 모드의 전환을 위한 사용자 인터페이스를 디스플레이 모듈(151)을 통해 제공할 수 있으며, 사용자가 제공된 사용자 인터페이스를 통해 수신 모드의 전환을 위한 입력을 수행한 경우, IA(182)는 수신 모드의 전환을 위한 이벤트가 발생하였다고 판단할 수 있다. 또는, 전자기기(100)가 미리 정해진 방식에 따라 움직이는 경우, IA(182)는 수신 모드의 전환을 위한 사용자 인터페이스가 발생되었다고 판단할 수 있다. 또는, 미리 정해진 위치에 진입함으로써 수신 모드의 전환을 위한 이벤트가 발생되었다고 판단될 수 있다. 나아가, 메시지의 수신 여부를 사용자에게 알렸으나, 미리 정해진 시간 이내에 사용자가 메시지를 읽지 않았다고 판단되거나, 또는 사용자가 메시지에 대한 응답 메시지를 전송하지 않았다고 판단되는 경우에도 IA(182)는 메시지 수신 모드의 전환을 위한 이벤트가 발생되었다고 판단할 수 있다.
전술한 바와 같이 단계 S313을 통해 수신 모드 전환을 위한 이벤트가 발생하였다고 판단되는 경우, IA(182)는 이미 전술한 바 있는 단계 S304 및 그에 따른 후속 동작을 수행할 수 있다.
이로써, 사용자가 회의 시작 전 또는 중요한 약속 자리에 참석하기 전에 미처 전자기기(100)의 수신 모드를 자동 모드로 변경하기 못한 경우, 수신 모드 전환을 위한 이벤트를 발생시킴으로써 IA(182)가 대신 메시지에 대해 응답할 수 있도록 하는 효과가 발생한다. 이에 따라, 회의 진행 및/또는 중요한 약속은 방해받지 않을 수 있을 뿐만 아니라 동시에 메시지의 상대방의 콜에 대해서 보다 효율적으로 응답할 수 있는 효과가 발생한다.
이어서, 도 17을 참조하여 본 발명의 실시예에 따라 작성된 메시지 상대방과의 자동 메시지 대화를 수행한 히스토리를 출력하기 위한 전자기기의 제어 방법을 설명한다.
도 17에 도시된 바와 같이, IA(182)는 메시지 수신 모드가 자동 모드에서 정상 모드로 전환되는지 여부를 모니터링할 수 있다(S314). 만약, 단계 S314의 모니터링 결과, 전자기기(100)에 설정되어 있는 메시지 수신 모드가 자동 모드에서 정상 모드로 전환되었다고 판단되는 경우, IA(182)는 전자기기(100)가 자동 모드로 설정되어 있는 동안 IA(182)가 수행하였던 자동 메시지 대화의 히스토리를 출력할 수 있다.
상기 히스토리가 사용자에게 출력되는 방식은 매우 다양할 수 있다. 예를 들어, 히스토리의 내용을 청각적으로 사용자에게 출력할 수 있으며, 히스토리의 내용을 텍스트화하거나 이미지화 하여 시각적으로 사용자에게 출력할 수 있다.
상기 히스토리는 메시지 수신 모드가 정상 모드로 전환됨과 동시에 사용자에게 출력될 수 있다. 또는 상기 히스토리는 메시지 수신 모드가 정상 모드로 전환된 후, 사용자로부터 특별한 요청을 받은 후에 사용자에게 출력될 수 있다.
상기 히스토리는 메시지 수신 모드가 자동 모드로 설정되어 있는 동안 복수개가 작성될 수 있으며, 작성된 복수개의 히스토리가 모두 사용자에게 출력될 수 있다. 이 때, 출력되는 순서는 미리 정해진 순서에 따라 출력될 수도 있으며, 또는 사용자의 선택에 따라 출력되는 순서가 결정될 수도 있다.
이로써, 사용자는 자동 모드로 설정되어 있는 동안 수신된 메시지의 상대방과의 자동 메시지 대화에 의해 생성된 히스토리를 확인할 수 있게 되며, 히스토리를 확인함에 따라 메시지의 상대방의 용건 등을 파악한 후, 필요에 따라 상대방과 다시 직접 통화를 하거나 메시지 대화를 할 수 있게 됨으로써, 보다 효율적으로 메시지의 상대방과 커뮤니케이션을 할 수 있게 되는 효과가 발생한다.
한편, IA(181)는 단계 S315에서, 메시지 히스토리를 출력하는 대신, 또는 메시지 히스토리를 출력함과 동시에, 자동 모드로 설정되어 있는 상태에서 IA(182)는 메시지의 상대방과 자동 메시지 대화를 수행하여 생성된 전달 메시지를 출력할 수 있다. 상기 전달 메시지를 생성하는 방법에 대해서는 제1 실시예를 설명하면서 자세히 설명한 바 있으므로 여기서는 자세한 설명을 생략하기로 한다.
본 발명의 제3 실시예에서는, 수신된 메시지에 대해 IA(182)가 자동 메시지 대화를 수행하는 방법에 대해서 설명하였다. 이 때, 제3 실시예에서 설명한 메시지는 SMS메시지, MMS메시지 등에 국한되지 않으며, 각종 SNS 서비스 등을 통해 제공되는 메시지들, 각종 메시지 어플리케이션을 통해 제공되는 메시지들을 포함할 수 있다.
이하에서는, 본 발명에 의한 제4 실시예에 대해서 설명하기로 한다.
도 18은 본 발명의 제4 실시예에 따른 제1 전자기기, 이동통신망(즉, 이동통신망을 관장하는 기지국 또는 제어국 또는 상기 기지국 또는 제어국의 동작을 제어하는 서버) 및 제2 전자기기의 동작 환경을 개략적으로 도시한 도면이며, 도 19는 본 발명의 제4 실시예에 따라 제1 전자기기, 이동통신망 및 제2 전자기기의 제어방법을 설명하기 위한 도면이다.
본 발명의 제4 실시예는, 도 18에 도시된 바와 같이, 제1 전자기기(200)에 전술한 바와 같은 IA(182)가 동작되고 있고 상기 제1 전자기기(200)가 이동통신망(400)을 통해서 제2 전자기기(300)와 통신을 수행하고 있는 상황을 가정하여 설명한다. 이 때, 상기 제2 전자기기(300)에는 전술한 바와 같은 IA(182)가 동작하고 있을 수도 있고 동작하지 않고 있을 수도 있다.
도 19를 참조하면, 제1 전자기기(200)와 이동통신망(400)은 제1 전자기기(200)에 설정되어 있는 콜 수신 모드에 대한 정보를 최신화 하여 공유하고 있을 수 있다(S400). 예를 들어, 제1 전자기기(200)는 제1 전자기기(200)에 설정되어 있는 콜 수신 모드의 상태가 변환될 때마다 이동통신망(400)에 현재 설정되어 있는 수신 모드를 노티할 수 있다. 다른 예를 들어, 제1 전자기기(200)는 제1 전자기기(200)에 설정되어 있는 콜 수신 모드에 대한 정보를 주기적으로 이동통신망으로 전송할 수 있다. 또 다른 예를 들어, 이동통신망(400)은 제1 전자기기(200)로 현재 설정되어 있는 콜 수신 모드에 대한 정보를 주기적으로 및/또는 비주기적으로 상기 제1 전자기기(200)로 요청할 수 있다. 이동통신망(400)의 요청에 따라, 제1 전자기기(200)는 현재 설정되어 있는 콜 수신 모드에 대한 정보를 이동통신망(400)으로 전송할 수 있다.
이 때, 제2 전자기기(300)가 제1 전자기기(200)에 대한 콜을 이동통신망(400)에 요청한 경우(S401), 이동통신망(400)은 바로 제1 전자기기(200)로 상기 콜 요청을 전송하는 대신, 상기 제2 전자기기(300)로 상기 제1 전자기기(200)에 대한 콜 수신 모드에 대한 정보를 전송할 수 있다(S402). 특히, 단계 S402는 상기 제1 전자기기(300)에 설정되어 있는 콜 수신 모드가 자동 모드인 경우에만 수행될 수 있다. 즉, 제1 전자기기(200)에 설정되어 있는 콜 수신 모드가 정상모드인 경우에는, 단계 S402를 수행하는 대신, 상기 제2 전자기기(400)의 콜 요청을 바로 제1 전자기기(200)로 전송할 수 있다.
제2 전자기기(300)는, 상기 제1 전자기기의 콜 수신 모드에 대한 정보를 수신하면, 상기 수신된 콜 수신 모드에 대한 정보를 상기 제2 전자기기(300)에 구비되어 있는 출력 모듈들을 통해 출력할 수 있다. 또한, 제2 전자기기(300)는, 단계 S401을 통해 요청한 콜을 계속하여 유지할 지 여부에 대해 질의하고 그에 대해 사용자의 입력을 입력받을 수 있는 사용자 인터페이스를 출력할 수 있다. 도 20은 본 발명의 제4 실시예에 따라 제2 전자기기에 콜 수신 모드에 대한 정보가 출력되는 화면의 일예를 도시하고 있는 도면이다. 도 20을 참조하면, 제2 전자기기(300)에는 콜을 연결하고자 했던 상대방(즉, Mr. 신)의 전자기기(즉, 제1 전자기기(200))의 콜 수신 모드가 자동 모드로 설정되어 있어, 상대방이 직접 전화를 받는 대신 상기 제1 전자기기(200)에서 동작되고 있는 가상 비서(즉, IA(182)가 상기 콜에 응답할 수 있음을 알려주는 화면이 출력되고 있는 것을 알 수 있다. 또한, 이와 함께, 래 통화하고자 하였던 상대방과 직접 통화할 수 없음에도 불구하고, 콜 요청을 유지할 것인지에 대해 질의하고 있는 화면 및 그에 대한 응답을 입력 받을 수 있는 화면이 함께 출력되고 있음을 알 수 있다.
이어서, 제2 전자기기(300)는, 사용자의 입력에 따라, 콜 요청을 유지할 것인지에 대해 판단을 할 수 있다(S404). 만약 단계 S404의 판단 결과, 콜 요청의 철회가 요청된 경우, 제2 전자기기(300)는 이동통신망(400)으로 단계 S401에서 요청한 콜의 철회를 요청할 수 있다(S405). 이와 반대로, 단계 S404의 판단 결과, 콜 요청의 유지가 요청된 경우, 제2 전자기기(300)는 이동통신망(400)으로 콜 요청의 유지를 요청할 수 있다(S406).
이에 따라, 이동통신망(400)은, 콜 요청의 철회를 요청받은 경우에는, 제1 전자기기(200)로 콜 요청을 전달하지 않고, 프로세스를 끝낼 수 있으나, 만약 콜 요청의 유지를 요청받은 경우에는, 제1 전자기기(200)로 콜 요청을 전달할 수 있다(S407).
이에 따라, 제1 전자기기(200)는 제2 전자기기(300)로부터 요청된 콜 요청을 수신할 수 있으며, 전술한 실시예들에 따라, 제1 전자기기(200)에 구비되어 있는 IA(182)는 수신된 콜을 스스로 연결할 수 있으며(S408), 나아가 IA(182)는 전술한 바와 같은 자동 대화를 제2 전자기기(300)의 사용자와 함께 수행할 수 있다.
제1 전자기기(200)에 설정되어 있는 콜 수신 모드에 대한 정보를 미리 제공받음으로써, 제1 전자기기(200)의 사용자와 직접 통화를 수행하고 싶고 제1 전자기기(200)에 구비된 가상 비서(즉, IA(182))와 통화를 하고 싶지 않은 제2 전자기기(300)의 사용자는, 제1 전자기기(200)가 자동모드로 설정되어 있는 경우, 미리 제1 전자기기(200)에 대한 콜 요청을 철회할 수 있다. 이에 따라, 제2 전자기기(200)의 사용자는 제1 전자기기(200)와 콜 연결을 통해 불가피하게 발생할 수 있는 통신료를 절감할 수 있게 되는 효과도 부수적으로 발생하게 된다.
한편, 단계 S405에서 콜 요청의 철회가 요청되는 경우, 이동통신망(400)은 제2 전자기기(300)로부터 콜의 요청이 있었으나 철회되었음을 알리는 알림 메시지를 생성할 수 있으며, 추후에, 제1 전자기기(200)의 콜 수신 모드가 정상 모드로 전환되었음을 노티받은 경우, 이동통신망(400)은 제1 전자기기(200)로 상기 생성된 알림 메시지를 상기 제1 전자기기(200)로 전송할 수 있다. 이에 따라, 제1 전자기기(200)의 사용자는 상기 제2 전자기기(300)의 사용자가 통화를 시도한 바 있었음에 대한 정보를 제공받을 수 있게 된다.
이하에서는, 본 발명의 제5 실시예에 대해서 설명하기로 한다.
도 21은 본 발명의 제5 실시예에 따른 제1 전자기기, 이동통신망(즉, 이동통신망을 관장하는 기지국 또는 제어국) 및 제2 전자기기의 동작 환경을 개략적으로 도시한 도면이며, 도 22는 본 발명의 제4 실시예에 따라 제1 전자기기, 이동통신망 및 제2 전자기기의 제어방법을 설명하기 위한 도면이다.
본 발명의 제5 실시예는, 도 21에 도시된 바와 같이, 이동통신망(400)에 전술한 바와 같은 IA(182)가 동작되고 있고, 상기 이동통신망(400)을 통해 제1 전자기기(200) 및 제2 전자기기(300)가 통신을 수행하고 있는 상황을 가정하여 설명한다. 이 때, 상기 제1 전자기기(200) 및 제2 전자기기(300)에는 전술한 바와 같은 IA(182)가 동작하고 있지 않은 것을 가정하여 설명한다. 그러나, 제1 전자기기(200) 및 제2 전자기기(300)에 전술한 바와 같은 IA(182)가 구비되어 있는 경우에도 본 발명의 제5 실시예가 적용될 수 있을 것이다.
이 때, 이동통신망(400)에 구비된 IA(182)는 전술한 바 있는 전자기기(100)에 구비된 IA(182)의 동작과 매우 유사하게 상대방의 콜 요청에 대하여 자동 대화 및/또는 자동 메시지 대화 등을 수행할 수 있다.
도 22를 참조하면, 제1 전자기기(200)는 이동통신망(400)으로, 사용자를 대신하여 콜 요청에 응답해줄 것을 요청할 수 있다. 즉, 제1 전자기기(200)는 이동통신망(400)에 구비된 IA(182)가 다른 전자기기로부터 요청되는 콜에 대해 응답해줄 것을 요청할 수 있다. 이에 따라, 이동통신망(400)은 상기 제1 전자기기(200)로 연결을 요청하는 콜에 대해서는 제1 전자기기(200)로 콜을 전송하는 대신, 필요에 따라, 상기 콜을 종료시키거나 또는 상기 콜을 직접 수신하여 자동대화를 수행할 수 있다.
이 때, 도 22에 도시된 바와 같이, 제2 전자기기(300)가 제1 전자기기(200)로 콜을 요청(S501)하는 경우, 제2 전자기기(300) 및 이동통신망(400)은 단계 S502, S503, S504, S505, 및 S506을 수행할 수 있는데, 상기 단계 S502 내지 S506은 제4 실시예에서 설명한 단계 S402 내지 S406과 동일하거나 유사하므로 여기서는 자세한 설명을 생략하기로 한다.
이에 따라, 이동통신망(400)은, 콜 요청의 철회를 요청받은 경우에는, 프로세스를 끝낼 수 있으나, 만약 콜 요청의 유지를 요청받은 경우에는, 제1 전자기기(200)를 대신하여 상기 콜 요청을 연결할 수 있다(S507). 이 때, 상기 제2 전자기기(300)의 콜 요청은 상기 제1 전자기기(200)로 전송되지 않을 수 있다.
이어서, 이동통신망(400)에 구비된 IA(182)는 제1 전자기기(200)의 사용자 대신 제2 전자기기(300)의 사용자와 자동 대화를 수행할 수 있다(S508). 상기 이동통신망(400)에 구비된 IA(182)는, 전술한 실시예들에 따라, 자동 대화를 제2 전자기기(300)의 사용자와 함께 수행할 수 있다.
이어서, 콜 종료 이벤트가 발생하게 되면, 이동통신망(400)과 제2 전자기기(300) 사이에 연결된 콜은 종료될 수 있으며(S509), 이 때, 상기 IA(182)는 전술한 실시예들에 따라, 전달 메시지 및/또는 메시지 히스토리 등을 작성할 수 있다.
이어서, 상기 생성된 전달 메시지 및/또는 메시지 히스토리는 상기 제1 전자기기(200)로 전송될 수 있다(S510). 상기 전달 메시지 및/또는 메시지 히스토리는 상기 연결된 콜이 종료된 후에 전송될 수도 있으나, 상기 제1 전자기기(200)로부터 자동응답의 철회 요청을 수신한 후에 상기 제1 전자기기로 전송될 수도 있다.
이에 따라, 상기 제1 전자기기(200)의 사용자는 상기 제1 전자기기(200)에 IA(182)가 구비되어 있지 않아도, 마치 제1 전자기기(200)에 IA(182)가 설치되어 있는 것과 동일한 효과를 누릴 수 있게 된다.
상술한 본 발명에 따른 전자기기의 제어방법에 있어서, 각 실시예를 구성하는 단계는 필수적인 것은 아니며, 따라서 각 실시예는 상술한 단계를 선택적으로 포함할 수 있다. 또 각 실시예를 구성하는 각 단계는 반드시 설명된 순서에 따라 수행되어야 하는 것은 아니며, 나중에 설명된 단계가 먼저 설명된 단계보다 먼저 수행될 수도 있다.
또한 본 발명에 따른 전자기기의 제어방법은, 이를 수행하는 코드 또는 프로그램의 형태로 구현될 수 있으며, 이러한 코드 또는 프로그램은 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 상술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 또한 본 문서에서 설명된 실시예들은 한정되게 적용될 수 있는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 나아가, 각 실시예를 구성하는 단계들은 다른 실시예를 구성하는 단계들과 개별적으로 또는 조합되어 이용될 수 있다.
100: 전자기기
182: 인공지능부(Intelligent Agent; IA)
200: 제1 전자기기
300: 제2 전자기기
400: 이동통신망(이동통신망의 동작을 관장하는 기지국, 제어국 또는 서버)

Claims (20)

  1. 통신부;
    출력부; 및
    상기 통신부를 통해 수신된 콜(call)을 연결하고,
    상기 콜의 상대방과 자동 대화(auto-conversation)를 수행하는 자동 대화 동작을 수행하는 인공지능부; 및
    상기 자동 대화에 기초하여, 상기 콜을 종료하는 제1 동작 및 상기 자동 대화에 대한 인식 정보를 생성하여 상기 출력부를 통해 출력하는 제2 동작 중 하나를 선택적으로 수행하는 제어부;를 포함하되,
    상기 인공지능부는,
    상기 콜의 상대방의 음성을 인식하여 상기 상대방의 문장 및/또는 구에 대하여 응답할 문장 및/또는 구를 생성하고, 생성된 문장 및/또는 구를 상기 통신부를 통해 상기 콜의 상대방에게 전달되도록 하여 상기 자동 대화를 수행하고,
    상기 제어부는,
    상기 인공지능부를 통해 상기 자동 대화가 수행 중임을 알리는 인디케이터를 상기 출력부에 표시하는 것을 특징으로 하는 전자 기기.
  2. 제 1 항에 있어서,
    상기 자동 대화 동작은,
    상기 통신부를 통해 수신된 상기 상대방의 음성을 인식하고,
    상기 인식된 결과에 대응되는 응답 음성을 생성하고,
    상기 응답 음성을 상기 통신부를 통해 전송하는 것을 포함하는 전자기기.
  3. 제 1 항에 있어서, 상기 제어부는,
    설정되어 있는 콜 수신 모드를 확인하고,
    상기 확인된 콜 수신 모드가 정상 모드(normal mode)인 경우에는 콜 수신 알림 화면 및/또는 콜 수신 알림 사운드를 출력하는 콜 알림 동작을 수행하고, 상기 확인된 콜 수신 모드가 자동 모드(automatic mode)인 경우에는 상기 자동 대화 동작을 수행하는 것을 특징으로 하는 전자기기.
  4. 제 1 항에 있어서, 상기 제어부는,
    상기 출력된 인식 정보에 대하여 제1 사용자 입력을 더 수신하고, 상기 제1 사용자 입력에 대응되는 음성 데이터를 상기 통신부를 통해 전송하는 것을 특징으로 하는 전자기기.
  5. 제 1 항에 있어서, 상기 제어부는,
    상기 출력된 인식 정보에 대하여 제2 사용자 입력이 수신되면, 스피커, 마이크 및 카메라를 포함하는 통화를 위한 모듈들 중 적어도 하나를 활성화시키는 것을 특징으로 하는 전자기기.
  6. 제 3 항에 있어서,
    상기 제1 동작은,
    상기 자동대화에 기초하여 생성된 상기 상대방의 전달 메시지를 생성하는 것을 더 포함하는 전자기기.
  7. 제 6 항에 있어서, 상기 제어부는,
    상기 콜 수신 모드가 상기 자동 모드에서 상기 정상 모드로 전환되는 경우, 상기 전달 메시지를 상기 출력부를 통해 출력하는 것을 특징으로 하는 전자기기.
  8. 제 1 항에 있어서, 상기 제어부는,
    상기 자동 대화에 기초하여, 상기 콜의 상대방의 긴급여부를 판단하고, 상기 콜의 상대방이 긴급한 경우 상기 제2 동작을 수행하는 것을 특징으로 하는 전자기기.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 자동 대화를 자연어 처리한 결과에 기초하여, 상기 긴급여부를 판단하는 것을 특징으로 하는 전자기기.
  10. 제 8 항에 있어서, 상기 제어부는,
    상기 콜의 상대방의 음성 및 상기 콜 상대방의 대화에 미리 정해진 단어 및/또는 구의 포함여부 중 적어도 하나를 고려하여, 상기 긴급여부를 판단하는 것을 특징으로 하는 전자기기.
  11. 제 10 항에 있어서, 상기 제어부는,
    상기 콜의 상대방의 음성의 톤, 크기 및 빠르기 중 적어도 하나를 고려하여, 상기 긴급여부를 판단하는 것을 특징으로 하는 전자기기.
  12. 통신부;
    출력부; 및
    상기 통신부를 통해 수신된 콜(call)을 연결하고,
    상기 콜의 상대방과 자동 대화(auto-conversation)를 수행하는 자동 대화 동작을 수행하는 인공지능부; 및
    상기 자동 대화에 기초하여 상기 콜의 상대방의 요청사항을 인식한 경우, 접근가능 도메인에 기초하여, 상기 요청사항에 대한 자동 응답 가능여부를 판단하고,
    상기 판단결과에 따라, 상기 요청사항에 대한 응답을 상기 콜의 상대방으로 전송하는 제어부;를 포함하되,
    상기 인공지능부는,
    상기 콜의 상대방의 음성을 인식하여 상기 상대방의 문장 및/또는 구에 대응하여 응답할 문장 및/또는 구를 생성하고, 생성된 문장 및/또는 구를 상기 통신부를 통해 상기 콜의 상대방에 전달되도록 하여 상기 자동 대화를 수행하고,
    상기 제어부는,
    상기 인공지능부를 통해 상기 자동 대화가 수행 중임을 알리는 인디케이터를 상기 출력부에 표시하는 것을 특징으로 하는 전자 기기.
  13. 입력부;
    통신부;
    출력부; 및
    미리 정해진 기준 및 상기 입력부를 통해 수신된 미리 정해진 입력 중 적어도 하나에 따라, 적어도 자동 모드 및 정상 모드를 포함하는 콜 수신 모드를 설정하고,
    상기 통신부를 통해, 상기 설정된 콜 수신 모드에 대한 정보를 제1 전자기기로 전송하는 제어부;
    상기 통신부를 통해 수신된 콜(call)의 상대방과 자동 대화(auto-conversation)를 수행하는 자동 대화 동작을 수행하는 인공지능부;를 포함하되,
    상기 제어부는, 상기 자동 대화는 상기 설정된 콜 수신 모드에 따라, 상기 인공지능부를 통해 상기 자동 대화가 선택적으로 수행되도록 하고,
    상기 인공지능부는,
    상기 콜의 상대방의 음성을 인식하여 상기 상대방의 문장 및/또는 구에 대응하여 응답할 문장 및/또는 구를 생성하고, 생성된 문장 및/또는 구를 상기 통신부를 통해 상기 콜의 상대방에게 전달되도록 하여 상기 자동 대화를 수행하고,
    상기 제어부는,
    상기 인공지능부를 통해 상기 자동 대화가 수행 중임을 알리는 인디케이터를 상기 출력부에 표시하는 것을 특징으로 하는 전자 기기.
  14. 제 13 항에 있어서, 상기 제어부는,
    상기 자동 대화에 기초하여, 상기 콜을 종료하는 제1 동작 및 상기 자동 대화에 대한 인식 정보를 생성하여 상기 출력부를 통해 출력하는 제2 동작 중 하나를 선택적으로 수행하는 제어부를 포함하는 전자기기.
  15. 제 14 항에 있어서, 상기 인공지능부는,
    상기 자동 대화에 기초하여, 상기 콜의 상대방의 긴급여부를 판단하고, 상기 콜의 상대방이 긴급한 경우 상기 제2 동작을 수행하는 것을 특징으로 하는 전자기기.
  16. 제 15 항에 있어서, 상기 인공지능부는,
    상기 자동 대화를 자연어 처리한 결과 및 상기 콜의 상대방의 음성 중 적어도 하나에 기초하여, 상기 긴급여부를 판단하는 것을 특징으로 하는 전자기기.
  17. 제 13 항에 있어서,
    상기 콜은, 상기 제1 전자기기를 통해, 제2 전자기기로부터 요청된 것이며,
    상기 제1 전자기기는 상기 제2 전자기기로부터 상기 콜을 요청 받은 때, 상기 설정된 콜 수신 모드에 대한 정보를 상기 제2 전자기기로 제공하는 것을 특징으로 하는 전자기기.
  18. 제 17 항에 있어서,
    상기 제1 전자기기는 상기 제2 전자기기로부터 상기 요청한 콜을 철회하고자 하는 요청을 수신하면, 상기 콜을 상기 전자기기로 전송하지 않는 것을 특징으로 하는 전자기기.
  19. 제 18 항에 있어서, 상기 제어부는,
    상기 제1 전자기기로부터 상기 콜 철회에 대한 정보를 포함하는 알람 메시지를 수신하는 것을 특징으로 하는 전자기기.
  20. 제 19 항에 있어서, 상기 제어부는,
    상기 콜 수신 모드가 정상모드로 전환된 때, 상기 알람 메시지를 수신하는 것을 특징으로 하는 전자기기.
KR1020120082170A 2012-07-27 2012-07-27 전자기기 및 전자기기의 제어방법 KR101909141B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120082170A KR101909141B1 (ko) 2012-07-27 2012-07-27 전자기기 및 전자기기의 제어방법
PCT/KR2012/010462 WO2014017708A1 (en) 2012-07-27 2012-12-05 Electronic device and method of controlling the same
US13/708,515 US9160848B2 (en) 2012-07-27 2012-12-07 Electronic device and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120082170A KR101909141B1 (ko) 2012-07-27 2012-07-27 전자기기 및 전자기기의 제어방법

Publications (2)

Publication Number Publication Date
KR20140014900A KR20140014900A (ko) 2014-02-06
KR101909141B1 true KR101909141B1 (ko) 2018-10-17

Family

ID=49994907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120082170A KR101909141B1 (ko) 2012-07-27 2012-07-27 전자기기 및 전자기기의 제어방법

Country Status (3)

Country Link
US (1) US9160848B2 (ko)
KR (1) KR101909141B1 (ko)
WO (1) WO2014017708A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130425A1 (en) * 2018-12-19 2020-06-25 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus and computer readable medium
US11114445B2 (en) 2019-10-15 2021-09-07 Samsung Electronics Co., Ltd. Semiconductor device

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176827B2 (en) 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US10489434B2 (en) 2008-12-12 2019-11-26 Verint Americas Inc. Leveraging concepts with information retrieval techniques and knowledge bases
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
US9122744B2 (en) 2010-10-11 2015-09-01 Next It Corporation System and method for providing distributed intelligent assistance
US9836177B2 (en) 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
US9223537B2 (en) 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
WO2014025990A1 (en) 2012-08-10 2014-02-13 Nuance Communications, Inc. Virtual agent communication for electronic devices
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9830044B2 (en) * 2013-12-31 2017-11-28 Next It Corporation Virtual assistant team customization
US20160071517A1 (en) 2014-09-09 2016-03-10 Next It Corporation Evaluating Conversation Data based on Risk Factors
US20180146002A1 (en) * 2015-07-16 2018-05-24 Raymond Canfield Cyber Security System and Method Using Intelligent Agents
CN105872203A (zh) * 2015-12-31 2016-08-17 乐视移动智能信息技术(北京)有限公司 一种快速接听电话的方法和手机终端
EP3394803A1 (en) * 2016-06-13 2018-10-31 Google LLC Escalation to a human operator
US10827064B2 (en) 2016-06-13 2020-11-03 Google Llc Automated call requests with status updates
WO2018013804A1 (en) * 2016-07-15 2018-01-18 Circle River, Inc. Automated call answering based on artificial intelligence
JP7273473B2 (ja) * 2017-08-31 2023-05-15 Line株式会社 個人スケジュールおよびライフスタイルを反映した人工知能のコンタクト制御
KR102479499B1 (ko) * 2017-11-22 2022-12-21 엘지전자 주식회사 이동 단말기
US11568175B2 (en) 2018-09-07 2023-01-31 Verint Americas Inc. Dynamic intent classification based on environment variables
US11196863B2 (en) 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
KR102196779B1 (ko) * 2018-11-13 2020-12-30 엘지전자 주식회사 인공지능 기반의 목걸이 타입 웨어러블 기기
KR20200066933A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102221015B1 (ko) * 2018-12-26 2021-02-25 성재호 대리통화 서비스 장치 및 방법
JP7167357B2 (ja) 2019-05-06 2022-11-08 グーグル エルエルシー 自動通話システム
US10715648B1 (en) * 2019-05-09 2020-07-14 Cisco Technology, Inc. User interface for virtual assistant interactions on telephony device
US11158321B2 (en) 2019-09-24 2021-10-26 Google Llc Automated calling system
JP2022020149A (ja) * 2020-07-20 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
US11303749B1 (en) 2020-10-06 2022-04-12 Google Llc Automatic navigation of an interactive voice response (IVR) tree on behalf of human user(s)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100330964A1 (en) * 2009-06-30 2010-12-30 International Business Machines Corporation Wireless communication device for processing incoming calls on-demand with multiple pre-recorded answering voices and/or pre-defined messages

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332908A (ja) * 1999-05-17 2000-11-30 Kyocera Corp 携帯テレビ電話端末
JP3444486B2 (ja) * 2000-01-26 2003-09-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識手段を使用する自動音声応答システムおよび方法
US7333496B1 (en) * 2001-12-31 2008-02-19 Cisco Technology, Inc. System and method for indicating the priority of voice over internet protocol (VoIP) calls
JP2005010691A (ja) * 2003-06-20 2005-01-13 P To Pa:Kk 音声認識装置、音声認識方法、会話制御装置、会話制御方法及びこれらのためのプログラム
US7283829B2 (en) * 2005-03-25 2007-10-16 Cisco Technology, Inc. Management of call requests in multi-modal communication environments
US8065146B2 (en) * 2006-07-12 2011-11-22 Microsoft Corporation Detecting an answering machine using speech recognition
US20090061832A1 (en) * 2007-08-29 2009-03-05 Embarq Holdings Company, Llc System and method for wireless call parking
US8402096B2 (en) * 2008-06-24 2013-03-19 Microsoft Corporation Automatic conversation techniques
JP5149737B2 (ja) * 2008-08-20 2013-02-20 株式会社ユニバーサルエンターテインメント 自動会話システム、並びに会話シナリオ編集装置
US20110142208A1 (en) * 2009-12-10 2011-06-16 Lawrence Anderson Interactive answering system and method
KR101168312B1 (ko) * 2010-02-16 2012-07-25 모젼스랩(주) 가중치를 이용한 응답문 생성장치 및 방법
US8838072B2 (en) * 2011-08-11 2014-09-16 Samsung Electronics Co., Ltd. Apparatus and method for mobile personal assistant

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100330964A1 (en) * 2009-06-30 2010-12-30 International Business Machines Corporation Wireless communication device for processing incoming calls on-demand with multiple pre-recorded answering voices and/or pre-defined messages

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130425A1 (en) * 2018-12-19 2020-06-25 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus and computer readable medium
US11089154B2 (en) 2018-12-19 2021-08-10 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus and computer readable medium
US11114445B2 (en) 2019-10-15 2021-09-07 Samsung Electronics Co., Ltd. Semiconductor device

Also Published As

Publication number Publication date
WO2014017708A1 (en) 2014-01-30
KR20140014900A (ko) 2014-02-06
US20140029734A1 (en) 2014-01-30
US9160848B2 (en) 2015-10-13

Similar Documents

Publication Publication Date Title
KR101909141B1 (ko) 전자기기 및 전자기기의 제어방법
CN112136175B (zh) 用于在主设备处访问配套设备的呼叫功能的语音交互
CA2929140C (en) Electronic device and method of determining suggested responses to text-based communications
KR101770262B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR101875743B1 (ko) 이동 단말기 및 그 제어방법
US9596672B2 (en) Terminal and operating method thereof
KR101647735B1 (ko) 이동 단말기 및 이동 단말기의 데이터 관리 방법
KR101932270B1 (ko) 이동 단말기 및 그 제어방법
KR20190009201A (ko) 이동 단말기 및 그 제어 방법
EP2731369B1 (en) Mobile terminal and control method thereof
CN106603381A (zh) 处理聊天信息的方法及装置
CN110097883B (zh) 用于在主设备处访问配套设备的呼叫功能的语音交互
KR20110136307A (ko) 음성인식을 이용한 정보 알림장치
KR20150094057A (ko) 이동단말 제어방법
KR20100089383A (ko) 호 착신 알림장치 및 방법
KR20100133128A (ko) 이동 단말기 및 그 통화 내용 표시 방법
US20130017839A1 (en) Electronic device and method of operating the same
KR20120012552A (ko) 이동 단말기 및 이것의 수신 호 제어 방법
KR20140044618A (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR20130006156A (ko) 휴대 전자기기 및 이의 제어방법
CN107172301A (zh) 通知消息的提醒方法、装置和移动终端
KR101640850B1 (ko) 이동 단말기 및 이동 단말기의 호 수신 알림 방법
KR101833944B1 (ko) 이동 단말기의 제어방법
KR20160089724A (ko) 이동 단말기 및 그 제어 방법
KR20120015169A (ko) 전화 회의 초대 거절 방법 및 이를 이용하는 이동 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant