KR101977087B1 - 자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법 - Google Patents

자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법 Download PDF

Info

Publication number
KR101977087B1
KR101977087B1 KR1020120152370A KR20120152370A KR101977087B1 KR 101977087 B1 KR101977087 B1 KR 101977087B1 KR 1020120152370 A KR1020120152370 A KR 1020120152370A KR 20120152370 A KR20120152370 A KR 20120152370A KR 101977087 B1 KR101977087 B1 KR 101977087B1
Authority
KR
South Korea
Prior art keywords
voice
user
automatic response
information
call
Prior art date
Application number
KR1020120152370A
Other languages
English (en)
Other versions
KR20140082423A (ko
Inventor
김경화
김미영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120152370A priority Critical patent/KR101977087B1/ko
Priority to ES13005311.9T priority patent/ES2546264T3/es
Priority to US14/076,672 priority patent/US9225831B2/en
Priority to EP13005311.9A priority patent/EP2747389B1/en
Priority to CN201310722476.1A priority patent/CN103905602B/zh
Publication of KR20140082423A publication Critical patent/KR20140082423A/ko
Application granted granted Critical
Publication of KR101977087B1 publication Critical patent/KR101977087B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936—Speech interaction details
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/57—Arrangements for indicating or recording the number of the calling subscriber at the called subscriber's set
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/642—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations storing speech in digital form
    • H04M1/645—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations storing speech in digital form with speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484—User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533—Voice mail systems
    • H04M3/53366—Message disposing or creating aspects
    • H04M3/53383—Message registering commands or announcements; Greetings
    • H04M3/53391—Message registering commands or announcements; Greetings dependent on calling party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Abstract

본 발명은 대화형 UX를 이용하여 자동으로 상대방과 통화를 유지할 수 있는 가상 비서 자동 응답(Virtual Assistance auto response)기능을 제공하는 이동 단말기 및 그의 자동응대(Auto Answering) 방법에 관한 것으로, 자동 응대 기능과 그와 관련된 정보를 등록한 후 호 수신시 상기 등록 정보에 근거하여 자동 응대 대상자를 판별한 후 단말기 스스로 기 설정된 사용자의 음성 패턴에 따라 상대 사용자와 음성 통화를 수행함으로써 사용자가 전화를 받지 못하는 경우에도 통화를 유지할 수 있으며, 특히 전화를 건 사용자는 해당 사용자와 통화하는 느낌을 받을 수 있는 장점이 있다.

Description

자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법{MOBILE TERMINAL HAVING AUTO ANSWERING FUNCTION AND AUTO ANSWERING METHOD THEREOF}
본 발명은 대화형 UX(User experience)를 이용하여 외부 이벤트에 대하여 응답할 수 있는 이동 단말기 및 그의 자동응대(Auto Answering)방법에 관한 것이다.
이동 단말기는 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 데이터 및 음성 통신 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다. 일부 이동 단말기는 게임을 실행할 수 있는 추가적 기능을 포함하고, 다른 일부 이동 단말기는 멀티미디어 기기로서 구현되기도 한다. 더욱이 최근의 이동단말기는 방송이나 멀티캐스트(multicast) 신호를 수신하여 비디오나 텔레비전 프로그램을 시청할 수 있다.
그리고, 상기 이동 단말기의 기능 지지 및 증대를 위한 노력들이 계속되고 있다. 상술한 노력은 이동 단말기를 형성하는 구조적인 구성요소의 변화 및 개량뿐만 아니라 소프트웨어나 하드웨어의 개량도 포함한다.
그 중에서 이동 단말기의 터치 기능은 터치 스크린을 이용하여 버튼/키 입력이 익숙하지 않은 사용자도 편리하게 단말기의 동작을 수행할 수 있도록 한 것으로서, 최근에는 단순한 입력뿐만 아니라 사용자 인터페이스(UI)와 함께 단말기의 중요한 기능으로서 자리 잡아가고 있다.
그리고, 이동 단말기의 자동응답(Automatic Response)기능은 메모리에 음성 정보를 저장해 두고 외부 전화에 응답하는 기능으로, 예를들면 현재 사용자가 전화를 받지 못하거나 통화가 불가능한 경우 음성으로 안내하거나 또는 외부 질의를 분석하여 해당 질의에 대하여 음성으로 응답한다.
하지만 이동 단말기에 구현된 종래의 자동응답 기능은 저장된 음성 정보에 기반하여 단순한 문장을 음성 또는 문자등으로 출력할 뿐 전화를 건 상대방과 통화를 유지하면서 실시간으로 대화를 나누는 것은 어려운 실정이다.
따라서, 본 발명의 목적은 이동 단말기가 자동으로 전화를 건 사용자와 통화를 유지하면서 실시간으로 대화를 나눌 수 있는 이동 단말기 및 그의 자동응대 방법을 제공하는데 있다.
본 발명의 다른 목적은 자동 응대시 사용자 음성으로 통화를 수행하고 자동종료시 통화 내용 및 변경 정보를 효과적으로 사용자에게 통지할 수 있는 이동 단말기 및 그의 자동응대 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따른 이동 단말기의 자동 응대 방법은, 호 이벤트를 수신하는 단계; 응답 모드를 확인하는 단계; 및 응답 모드가 자동응대 모드로 설정된 경우 등록된 자동응대 정보에 따라 사용자 음성 패턴으로 자동응대 대상자와 선택적으로 자동응대를 수행하는 단계;를 포함한다.
상기 자동응대 정보는 자동응대 메뉴에서 설정하거나 음성으로 입력한다.
상기 자동응대 모드가 설정된 경우 음소거 모드를 활성화한다.
상기 자동응대 수행단계는 상기 등록된 자동응대 정보를 근거로 상대 사용자가 자동응대 대상자인지 판별하는 단계; 상기 상대 사용자가 자동응대 대상자인 경우 인사말과 용건이 포함된 음성 안내를 송출하는 단계; 및 상기 음성안내에 대하여 상대 사용자가 송신한 음성을 수신하여 문맥 인식을 수행하는 단계; 기저장된 사용자의 스케줄 및 메모를 확인하여 상대 사용자에게 응답하는 단계;를 포함한다.
상기 자동 응대 대상자는 상대 사용자의 식별정보 또는 음성을 이용하여 판별한다.
상기 자동응대 정보는 이벤트 타입, 자동응대 적용 대상자, 자동응대 적용 시간, 통화 내용 표시방법, 사용자의 음성 패턴 및 공개 여부 정보를 포함한다.
상기 사용자의 음성 패턴은 소정 시간동안 사용자의 통화 목록과 메시지 내용을 분석하여 추출된 어휘 및 어투를 포함한다.
상기 이동 단말기의 자동 응대 방법은 상기 자동응대 모드를 설정하는 단계; 상기 자동 응대모드를 위한 정보를 설정하는 단계; 및 상기 설정된 자동응대 정보를 저장하는 단계;를 더 포함한다.
상기 이동 단말기의 자동 응대 방법은 자동 응대중에 상대 사용자와 수행한 통화 내용을 화면에 문자로 표시하는 단계; 및 상기 자동 응대가 종료되면 통화 내용과 변경 정보를 저장하는 단계;를 더 포함한다.
상기 통화 내용과 변경 정보는 음성, 텍스트, 요약 형태로 저장된다.
상기 이동 단말기의 자동 응대 방법은 자동 응대 종료 후 사용자가 단말기를 활성화시키면 상기 통화 내용과 변경 정보를 문자로 표시하는 단계; 및 자동 응대 기능 아이콘이 선택되면 통화 내용을 음성으로 출력하는 단계;를 더 포함한다.
상기 자동 응대 기능 아이콘은 자동 응대 기능이 설정되면 상태정보 표시영역에 표시되고, 자동 응대가 수행되거나 종료될 때 서로 다른 색으로 표시된다.
상기 응답 모드가 자동 응답모드로 설정된 경우 기 저장된 자동응답 메시지를 출력한다.
기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따른 이동 단말기는, 자동 응대 정보를 저장하는 메모리; 자동 응대시 통화 내용을 표시하는 디스플레이부; 및 호 수신시 메모리에 저장된 자동 응대 정보를 근거로 자동 응대 대상자를 판별하고, 기저장된 사용자의 음성 패턴에 따라 상대 사용자와 자동응대를 수행하는 제어부;를 포함한다.
상기 자동응대 정보는 자동응대 메뉴에서 설정하거나 음성으로 입력한다.
상기 제어부는 자동응대 모드가 설정된 경우 음소거 모드를 활성화한다.
상기 제어부는 자동응대 대상자에게 인사말과 용건이 포함된 음성 안내를 송출하고, 상대 사용자가 송신한 음성에 대하여 문맥 인식을 수행하여, 응답이 필요한 경우 사용자의 스케줄 및 메모를 확인하여 상대 사용자에게 응답한다.
상기 제어부는 상대 사용자의 식별정보 또는 음성을 이용하여 자동응대 대상자를 판별한다.
상기 자동응대 정보는 이벤트 타입, 자동응대 적용 대상자, 자동응대 적용 시간, 통화 내용 표시방법, 사용자의 음성 패턴 및 공개 여부 정보를 포함한다.
상기 사용자의 음성 패턴은 소정 시간동안 사용자의 통화 목록과 메시지 내용을 분석하여 추출된 어휘와 공손, 발랄, 지적 및 애교와 같은 어투를 포함한다.
상기 제어부는 사용자가 설정한 자동응대 모드 및 상기 자동 응대모드를 위한 정보를 메모리에 저장한다.
상기 제어부는 자동 응대중에 상대 사용자와 수행한 통화 내용을 화면에 문자로 표시하고, 상기 자동 응대가 종료되면 통화 내용과 변경 정보를 메모리에 저장한다.
상기 제어부는 음성, 텍스트, 요약 형태로 통화 내용과 변경 정보를 저장한다.
상기 제어부는 자동 응대 종료 후 사용자가 단말기를 활성화시키면 상기 통화 내용과 변경 정보를 문자로 표시하고, 자동 응대 기능 아이콘이 선택되면 통화 내용을 음성으로 출력한다.
상기 자동 응대 기능 아이콘은 자동 응대 기능이 설정되면 상태정보 표시영역에 표시되고, 자동 응대가 수행되거나 종료될 때 서로 다른 색으로 표시된다.
상기 제어부는 응답 모드가 자동 응답모드로 설정된 경우 기 저장된 자동응답 메시지를 출력한다.
본 발명은 비서와 같은 역할을 수행하는 상호 자동 응대 (Interactive Auto Answering) 기능을 제공함으로써 사용자가 전화를 받지 못하는 상황에서 다른 사람으로부터 전화가 올 경우 단말기가 스스로 상대방과 통화를 유지하면서 음성 통화를 수행할 수 있는 효과가 있다. 또한,
또한, 본 발명은 단말기 사용자의 음성 통화 내용을 기반으로 사용자의 성문(어투,어휘) 및 목소리를 분석 및 저장한 후 이를 이용하여 자동응대에 사용함으로써 상대방이 실제 사람과 통화하는 느낌을 줄 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 관련된 이동 단말기의 블록 구성도.
도 2는 본 발명의 일 실시예에 관련된 이동 단말기가 동작할 수 있는 무선 통신 시스템에 대한 블록도.
도 3은 본 발명에서 자동응대 기능을 수행하기 위한 자동응대 시스템의 구성도.
도 4a 및 도 4b는 본 발명에서 가상 비서 자동 응답의 일종인 자동 응대 기능을 설정하는 일 예를 나타낸 도면.
도 5a 및 도 5b는 본 발명에서 자동응대 기능이 적용될 대상을 등록하는 예를 나타낸 도면.
도 6은 사용자의 음성 패턴을 등록하는 일 실시예를 나타낸 도면.
도 7은 사용자의 음성 패턴을 등록하는 다른 실시예를 나타낸 도면.
도 8a 및 도 8b는 음성 패턴 분석결과를 근거로 다양한 옵션을 설정하는 동작을 나타낸 도면.
도 9는 본 발명에 따른 자동응대 기능을 설정하는 다른 예로서 음성을 이용하여 설정하는 예를 나타낸 도면.
도 10은 자동 응대 기능 설정 완료시 화면 표시를 나타낸 도면.
도 11은 본 발명에서 이벤트 타입에 따라 자동 응대모드에 진입하는 동작을 나타낸 순서도.
도 12는 본 발명에서 호 수신시 음성 자동 응대모드로 진입하는 동작을 나타낸 순서도.
도 13은 본 발명에서 음성 자동응대 모드에 진입하여 자동응대를 수행하는 동작을 나타낸 순서도.
도 14는 도 13에 도시된 음성 자동 응대의 일 예를 나타낸 도면.
도 15는 본 발명에서 음성 자동 응대시 대화 내용을 문자로 화면에 표시하는 예를 나타낸 도면.
도 16은 본 발명의 실시예에 따른 이동 단말기의 자동 응대방법을 나타낸 순서도.
도 17은 자동응대 종료시 통화내용을 출력하는 방법을 나타낸 순서도.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있음을 유념해야 한다.
단말기는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기와, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기가 있다. 이하의 설명에서는 상기 단말기가 이동 단말기인 것으로 가정하고 설명한다. 그러나, 이하의 설명에 따른 구성은 이동용을 위해 특별히 구성된 구성요소를 제외한다면 상기 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1은 다양한 구성요소를 가지고 있는 이동 단말기를 나타내고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소 보다 많은 구성요소에 의해 이동 단말기가 구현될 수도 있고, 그 보다 적은 구성요소에 의해서도 이동 단말기가 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 간의 무선 통신 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트웍간의 무선 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
한편, 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성된다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
또한, 이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN (Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
또한, 위치정보 모듈(115)은 이동 단말기의 위치를 확인하거나 얻기 위한 모듈이다. 상기 위치정보 모듈(115)의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
한편, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)은 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이 모듈(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)은 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰 (Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이 모듈(151)과 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기 (100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당한다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다. 이에 대해서는 나중에 터치스크린과 관련되어 후술된다.
또한, 상기 센싱부(140)는 사용자가 이동할 때 이동방향을 계산하는 지자기 센서, 회전방향을 계산하는 자이로 센서 및 가속도센서를 포함한다.
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 포함될 수 있다.
여기에서, 식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module; 'UIM'), 가입자 인증 모듈(Subscriber Identify Module; 'SIM'), 범용 사용자 인증 모듈(Universal Subscriber Identity Module; 'USIM') 등을 포함할 수 있다. 또한, 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다. 이와 같은 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다.
또한, 상기 인터페이스부(170)는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로, 이에는 디스플레이 모듈(151), 음향 출력 모듈(152), 및 알람부(153) 등이 포함될 수 있다.
디스플레이 모듈(151)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
한편, 전술한 바와 같이, 디스플레이 모듈(151)과 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이 모듈(151)은 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이 모듈(151)은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 이를 통해 외부를 볼 수 있도록 투명하도록 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(transparent organic light emitting diode) 등이 있다. 그리고 이동 단말기(100)의 구현 형태에 따라 디스플레이 모듈(151)이 2개 이상 존재할 수도 있다. 예를 들어, 이동 단말기(100)에 외부 디스플레이 모듈(미도시)과 내부 디스플레이 모듈(미도시)이 동시에 구비될 수 있다. 상기 터치스크린은 터치 입력 위치 및 면적 뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 알람부(153)는 진동을 출력할 수 있다. 또는, 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 알람부(153)는 진동을 출력할 수 있다. 상기와 같은 진동 출력을 통해 사용자는 이벤트 발생을 인지할 수 있다. 물론 이벤트 발생 알림을 위한 신호는 디스플레이 모듈(151)이나 음향 출력 모듈(152)을 통해서도 출력될 수 있다.
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 상기 메모리(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
또한, 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
그리고 제어부(180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 배터리로서 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
도 1에 도시된 단말기(100)는, 유무선 통신 시스템 및 위성 기반 통신 시스템을 포함하여, 프레임(frame) 또는 패킷(packet)을 통하여 데이터(data)를 전송할 수 있는 통신 시스템에서 동작 가능하도록 구성될 수 있다.
도 2는 본 발명에 관련된 단말기가 동작 가능한 무선 통신 시스템이다.
도 2에 도시된 바와 같이, 무선 통신 시스템은, 복수의 단말기들(100), 복수의 기지국(Base Station; 'BS')(270), 기지국 제어부(Base Station Controllers; 'BSCs')(275), 이동 스위칭 센터(Mobile Switching Center; 'MSC')(280)를 포함할 수 있다. MSC(280)는, 일반 전화 교환망(Public Switched Telephone Network; 'PSTN')(290)과 연결되도록 구성되고, BSCs(275)와도 연결되도록 구성된다. BSCs(275)는, 백홀 라인(backhaul line)을 통하여, BS(270)과 짝을 이루어 연결될 수 있다. 백홀 라인은, E1/T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL 또는 xDSL 중 적어도 하나에 따라서 구비될 수 있다. 따라서, 복수의 BSCs(275)가 도 2에 도시된 시스템에 포함될 수 있다.
각각의 BS(270)는, 적어도 하나의 섹터를 포함할 수 있고, 각각의 섹터는, 전방향성 안테나 또는 BS(270)으로부터 방사상의 특정 방향을 가리키는 안테나를 포함할 수 있다. 또한, 각각의 섹터는, 다양한 형태의 안테나를 두 개 이상 포함할 수도 있다. 각각의 BS(270)는, 복수의 주파수 할당을 지원하도록 구성될 수 있고, 복수의 주파수 할당 각각은, 특정 스펙트럼(예를 들어, 1.25MHz, 5MHz 등)을 갖는다.
섹터와 주파수 할당의 교차는, CDMA 채널이라고 불릴 수 있다. BS(270)은, 기지국 송수신 하부 시스템(Base Station Transceiver Subsystem; 'BTSs')이라고 불릴수 있다. 이러한 경우, "기지국"이라는 단어는, 하나의 BSC(275) 및 적어도 하나의 BS(270)을 합하여 불릴 수도 있다. 기지국은, 또한 "셀 사이트"를 나타낼 수도 있다. 또는, 특정 BS(270)에 대한 복수의 섹터들 각각은, 복수의 셀 사이트로 불릴 수도 있다.
도 2에 도시된 바와 같이, 방송 송신부(Broadcasting Transmitter; 'BT')(295)는, 시스템 내에서 동작하는 단말기들(100)에게 방송 신호를 송신한다. 도 1에 도시된 방송수신 모듈(111)은, BT(295)에 의해 전송되는 방송 신호를 수신하기 위해 단말기(100) 내에 구비된다.
뿐만 아니라, 도 2에서는, 여러 개의 위성 위치 확인 시스템(Global Positioning System; 'GPS') 위성(300)을 도시한다. 상기 위성들(300)은, 복수의 단말기(100) 중 적어도 하나의 단말기의 위치를 파악하는 것을 돕는다. 도 2에서는 두 개의 위성이 도시되어 있지만, 유용한 위치 정보는, 두 개 이하 또는 이상의 위성들에 의해 획득될 수도 있다. 도 1에 도시된 위치정보 모듈(115)은, 원하는 위치 정보를 획득하기 위하여 위성들(300)과 협력한다. 여기에서는, GPS 추적 기술뿐만 아니라 위치를 추적할 수 있는 모든 기술들을 이용하여 위치를 추적할 수 있다. 또한, GPS 위성들(300) 중 적어도 하나는, 선택적으로 또는 추가로 위성 DMB 전송을 담당할 수도 있다.
무선 통신 시스템의 전형적인 동작 중, BS(270)은, 다양한 단말기들(100)로부터 역 링크 신호를 수신한다. 이때, 단말기들(100)은, 호를 연결 중이거나, 메시지를 송수신 중이거나 또는 다른 통신 동작을 수행하고 있다. 특정 기지국(270)에 의해 수신된 역 링크 신호들 각각은, 특정 기지국(270)에 의해 내에서 처리된다. 상기 처리 결과 생성된 데이터는, 연결된 BSC(275)로 송신된다. BSC(275)는, 기지국들(270) 간의 소프트 핸드오프(soft handoff)들의 조직화를 포함하여, 호 자원 할당 및 이동성 관리 기능을 제공한다. 또한, BSC(275)는, 상기 수신된 데이터를 MSC(280)으로 송신하고, MSC(280)은, PSTN(290)과의 연결을 위하여 추가적인 전송 서비스를 제공한다. 유사하게, PSTN(290)은 MSC(280)과 연결하고, MSC(280)은 BSCs(275)와 연결하고, BSCs(275)는 단말기들(100)로 순 링크 신호를 전송하도록 BS들(270)을 제어한다.
본 발명은 단말기 사용자가 외부 이벤트(전화, 이메일, SNS메시지)을 받지 못하거나 응답하지 못하는 상황에서 해당 이벤트가 발생되면 단말기가 스스로 이벤트에 대한 응답을 수행하는 가상 비서 자동 응답(Virtual Assistance auto response)기능을 제공한다.
상기 가상 비서 자동 응답은 이벤트의 종류 및 수신자에 따라 선택적으로 설정될 수 있다.
상기 가상 비서 자동 응답은 이벤트의 종류에 따라 음성, 비디오 또텍스트 형태로 수행된다. 상기 이벤트의 종류는 호(incomming call), 메시지(SMS, MMS, SNS 및 기타) 및 이메일을 포함할 수 있다.
상기 가상 비서 자동 응답이 호(음성통화 또는 영상통화)에 대해 설정된 경우 단말기는 상대방과 통화를 유지하면서 실시간으로 대화(conversation)를 나누는 자동 응대(Auto answering)기능을 수행한다.
음성 통화형 UX를 이용한 가상 비서 자동 응답
도 3은 본 발명에서 자동응대 기능을 수행하기 위한 자동응대 시스템의 구성도이다.
본 발명은 기존의 대화형 기술을 발전시킨 UX(User experience)를 이용한 가상 비서 자동 응답기능증의 하나로 자동응대(Auto Answering)기능을 제공한다.
상기 자동 응대 기능은 호 이벤트가 발생되었을 때 활성화되는 기능으로, 음성 인식과 언어 응답(Verbal response)를 결합한 새로운 형태의 가상 비서(Auto Assistant)기능이다.
상기 자동응대 기능은 도 3에 도시된 바와같이, 단말기(100)의 사용자를 대신하여 단말기(300)의 사용자에 대하여 실시간 자동응답을 수행하는 기능으로, 단말기(100)내에 구비되거나 또는 서버(200)내에 구비될 수 있다. 상기 자동응대 기능이 서버(200)에 구비되는 경우 단말기(100)의 제어부(180)는 단말기(300) 사용자의 음성을 서버(200)로 요청하여 문맥인식을 수행한다.
상기 자동 응대 기능을 수행하기 위하여 본 발명은 일반적인 음성 인식 기능이외에 성문(Voice print) 분석, 목소리(Voice) 녹음 기술이 사용된다. 즉, 단말기가 사용자의 성문과 목소리를 저장하거나 기존 음성 통화내용을 기반으로 성문을 분석하여 동일한 음성을 지원함으로써 상대방이 마치 통화하는 듯한 느낌이 들도록 한다.
상기 성문은 사람의 목소리를 음성 분석기(소나 그래프)를 통해 길이, 높이, 강도등을 분석하여 지문처럼 무늬로 시각화한 것으로 개인마다 특이한 성질을 지니고 있다. 따라서, 상기 성문은 성대로부터 입술까지의 길이에 따라 특이한 공명주파수를 갖기 때문에 발성자의 연령, 출신지, 키, 학력, 말버릇, 직업 및 교양정도까지 추출이 가능하기 때문에, 지문이나 혈액형 등과 함께 사용자를 구별하는 중요한 요소이다.
또한, 본 발명은 자동 응대 기능을 수행하기 위하여 통화중에 음성인식을 통해 상대 사용자의 의도를 분명하게 파악하기 위하여 문맥 인지(Context awarence)를 이용한다. 상기 문맥 인지는 입력된 자연어(Natural Langue)에서 단어별 또는 소 문장별로 특징을 추출하여 인식하는 방법뿐만 아니라 학습 및 추론 등의 지능화된 기법을 포함한다. 상기 문맥 인지를 위한 자연어 분석은 도 3에 도시된 바와같이, 메모리(60)에 저장된 정보를 이동 단말기(100)에서 직접 수행하거나 또는 서버(200)로 요청하여 그 결과만을 수신할 수 있다.
그리고, 본 발명은 자동 응대 기능을 수행하기 위하여 음성/텍스트 변환 기능, 즉 텍스트 입력을 음성으로 변환하거나 상대 사용자의 통화 내용을 텍스트로 변환하는 기능을 이용한다.
본 발명은 자동 응대 기능이 활성화되면 이동 단말기의 일부 하드웨어의 동작을 제한할 수 있다. 예를들어, 자동 응대 기능이 설정되면 음향출력모듈(152) 및 마이크(122)를 오프 상태로 하여, 상대방의 음성이 단말기(100) 밖으로 출력되거나 주변 음이 상대방에게 전달되지 않도록 한다. 또한, 본 발명은 사용자가 이벤트의 형태에 따라 설정한 자동 응대기능에 최적화 되어 최소한의 하드웨어만 동작되도록 제어할 수 있다.
상기 자동 응대 기능은 단말기(100)의 스케쥴러 또는 네트워크를 통해 서버 (200)(웸 서버)에 저장되어 있는 스케쥴러와 자동으로 연동되어 수행되며, 메모리 (160)의 별도 영역에 저장된 메모 내용에 연동되어 동작된다.
상기 자동 응대 기능은 사용자가 외부 이벤트(전화, 이메일, SNS메시지)을 받지 못하거나 응답하지 못하는 상황을 감지하여 감지된 상황에 효율적으로 대처할 수 있는 기능이다.
상기 전화를 받지 못하는 상황은 자리를 비우거나 회의중처럼 소정 시간동안 전화를 전혀 받을 수 없는 상황, 짧은 시간동안 전화를 받지 못하는 상황(전화를 받으러 가는 시간 동안의 상황 및 화장실에 있는 상황)을 포함하고, 상기 응답하지 못하는 상황은 운전중과 같이 이벤트 수신은 가능하나 입력(터치 입력 또는 키입력)은 불가능한 상황을 나타낸다.
마지막으로 본 발명은 자동 응대 기능을 수행하기 위하여 클라우드(Cloud )와 연동된다. 상기 자동응대 중에 발생한 데이타는 기본적으로 메모리(160)에 저장되지만, 다른 디바이스를 통해 확인할 수 있도록 클라우드에도 저장된다.
본 발명에 따른 자동 응대 기능은 사용자 메뉴에서 설정 가능하며, 해당 설정상태는 바탕화면에 아이콘 형태로 표시된다.
1. 자동 응대 기능 설정
도 4a 및 도 4b는 본 발명에서 가상 비서 자동 응답의 일종인 자동 응대 기능을 설정하는 일 예이다.
도 4a 및 도 4b에 도시된 바와같이, 자동 응대 기능은 자동응대 메뉴를 통해 설정할 수 있다. 상기 자동응대 메뉴가 선택되면 이벤트 타입(e.g., 호, 메시지,이메일 및 기타)메뉴, 에이블 시간을 설정할 수 있는 인에이블시간(Enable time)메뉴, 대화의 표시 형태(type)을 설정할 수 있는 디스플레이 타입(Display type)메뉴 및 응답할 음성 패턴을 설정할 수 있는 음성 패턴(Voice pattern)메뉴를 포함한다.
상기 이벤트 타입메뉴를 통하여 자동응대할 이벤트의 종류(call, measage, email 및 기타)를 설정할 수 있으며, 상기 이벤트 타입메뉴를 통하여 사용자는 각 이벤트에 대한 자동응대의 설정시간(시간 및 분) 및 적용 대상(친구, 가족 및 기타 다른 사용자)을 설정할 수 있다. 상기 적용 대상이 선택되면 해당 사용자의 기저장된 음성이 자동으로 연락처(contact)에 등록된다. 따라서, 특정 사용자가 다른 사람의 단말기로 전화를 걸 경우 해당 사용자의 음성을 자동으로 인식하여 자동응대 기능이 동작된다.
1-1. 적용 대상 등록
자동응대 기능의 적용 대상은 모든 사용자에게 자동응대 또는 일부 사용자에게 자동응대로 구분되며, 사용자별로 또는 그룹별로 설정 가능하다.
그리고, 상기 Display type메뉴를 통하여 사용자는 각 이벤트에 대한 응답을 음성(Voice), 메시지 및 음성/메시지를 동시에 출력하도록 선택할 수 있으며, 상기 음성 패턴메뉴를 통하여 사용자의 음성 패턴을 분석하여 어투(공손, 발랄, 지적,애교), 어휘, 이미지 및 공개설정 여부를 직접 설정할 수 있다.
상기와 같은 메뉴 구성은 일 예일 뿐 그 구성 및 표시 형태는 필요에 따라 변경될 수 있다. 즉, 상기 메뉴는 리스트 형태로 표시되었지만, 상기 이벤트 타입이 선택되었을 따 나머지 메뉴들은 하부 메뉴로서 트리형태로 제공될 수도 있다.
도 5a 및 도 5b는 본 발명에서 자동응대 기능이 적용될 대상을 등록하는 예이다.
본 발명에서 자동응대 기능은 모든 사용자 또는 특정 사용자에게 적용된다.
자동 응대기능의 적용대상은 도 5a에 도시된 바와같이, 기본적으로 이벤트 타입 메뉴를 통해 설정할 수 있다. 사용자가 자동응대 기능이 적용될 특정 이벤트 (e.g.,호)를 선택하면, 선택 가능한 복수의 적용 대상항목이 표시된다. 상기 복수의 적용대상 항목은 모든 사용자(All), 대상 사용자(Target User) 및 대상 그룹(Target Group)으로 구분되며, 상기 대상 사용자 및 대상 그룹항목이 선택되면 전화번호부에 저장된 복수의 사용자 또는 사용자 그룹을 표시한다.
따라서, 사용자는 상기 적용 대상항목을 선택하여 상기 자동응대 기능이 적용될 대상을 설정할 수 있다.
또한, 본 발명은 음성 통화 중에 새로운 적용대상을 등록할 수 있다.
도 5b에 도시된 바와같이, 사용자 A는 사용자 B와 통화(영상 또는 음성 통화)를 수행하는 도중에 녹음(Record)버튼을 눌러 사용자 B의 음성을 녹음할 수 있다. 상기 음성 녹음은 기 설정된 짧은 시간내에 이루어진다.
사용자 B의 음성이 녹음되면 제어부(180)는 음성 녹음이 종료되었음 나타낸 후 팝-업(50)을 통해 사용자 B의 음성을 저장할 수 있는 옵션을 제공한다. 상기 팝-업(50)에는 영상통화의 경우 사용자 B의 식별정보(사진 또는 아이콘) 및 녹음 시간과 함께 저장 타입(폴더 저장(Save) 또는 연락처 저장)을 설정하는 버튼이 표시된다. 사용자가 두 버튼중에서 연락처 저장버튼을 선택하면, 사용자 B의 음성을 퀵 보이스의 적용 대상으로 등록할 것인지를 묻는 새로운 팝-업(51)가 표시된다.
따라서, 사용자가 확인버튼을 선택하면 사용자 B의 음성은 연락처에 저장됨 과 함께 자동응답 기능의 적용 대상으로 새로 등록되어, 사용자 B로부터 전화가 오면 음성에 매칭되는 사용자 B의 개인정보가 화면에 표시됨과 함께 자동으로 자동응대 기능을 수행한다.
특히 도 5a와 같은 적용대상 설정은 전화번호부에 해당 사용자의 정보(전화번호, 이메일, 음성)가 있는 경우에 주로 사용되고, 도 5b와 같은 적용대상 설정은 전화번호부에 해당 사용자의 정보가 없는 경우에 주로 사용된다.
1-2. 음성 패턴 등록
도 6은 사용자의 음성 패턴을 등록하는 일 실시예이다.
사용자가 자동응대 메뉴에서 음성패턴 메뉴를 선택하면, 사용자의 어투를 설정할 수 있는 팝-업 창(60)이 표시된다. 상기 팝-업 창(60)에는 여러가지 어투 (e.g., 공손, 발랄, 지적인, 애교의 어투)가 포함되어 있어, 사용자는 자동응대할 어투를 선택한다.
도 7은 사용자의 음성 패턴을 등록하는 다른 실시예이다.
사용자의 어투는 기본적으로 음성패턴 메뉴를 통해 설정할 수 있다. 하지만, 사용자의 어투 및 어휘는 시간에 따라 조금씩 변경될 수 있기 때문에 사용자의 통화 습관을 고려하여 설정할 필요성이 있다.
도 7을 참조하면, 사용자가 음성패턴 메뉴를 롱 터치하면 패턴 감지 항목 (어휘, 어투, 속도, 감지시간)을 표시하고, 상기 감지항목에 대한 정보가 입력되면, 음성 패턴을 분석하기 위한 녹음 아이콘(70)가 표시된다. 상기 녹음 아이콘(70)이 선택되면 팝-업(71)을 통해 사용자 어휘 및 어투 분석을 위하여 개인 정보 제공에 대한 확인을 제공한다. 사용자가 확인을 선택하면 제어부(180)는 설정된 시간(또는 기간)동안 이전의 통화 내용 및 문자 사용을 스캐닝하여 사용자의 어휘 및 어투를 분석하는 음성 패턴 분석동작을 수행한다.
음성 패턴 분석이 완료되면 해당 상태를 사용자에게 통지하며, 사용자가 음성 패턴 분석완료를 확인할 경우 검출된 어휘 및 어투를 표시함과 함께 분석 결과를 기반으로 어투, 이미지 및 앱 공개 여부를 설정할 수 있는 옵션을 팝-업(72)을 제공한다.
따라서, 사용자는 팝-업(72)을 이용하여 자신의 이미지(사진 또는 캐릭터)를 설정하거나 어투를 설정하고, 공개하고자 하는 어플리케이션을 선택적으로 설정한다.
도 8a 및 도 8b는 음성 패턴 분석결과를 근거로 다양한 옵션을 설정하는 동작을 나타낸다.
도 8a에 도시된 바와같이, 사용자가 팝-업(72)에서 이미지항목을 선택하면, 제어부(180)는 갤러리에 등록된 복수의 사용자 이미지(사진, 캐릭터)를 표시한다. 사용자는 표시된 복수의 이미지중에서 자동 응대에 사용될 사진 또는 캐릭터를 설정한다. 일단 이미지가 등록되면 사용자는 어투 항목을 선택하여 공손한 말투, 발랄한 말투, 지적인 말투 및 애교적인 말투 중에서 원하는 말투를 선택한다. 상기 선택된 음성 패턴 관련정보는 연락처에 저장된다.
또한, 상기 설정된 사용자의 음성 패턴은 정보 공유시 특정 어플리케이션에 대하여 공개/또는 비공개를 설정할 수 있다. 이를 위하여 사용자는 도 7b에 도시된 바와같이, 사용자는 팝-업(72)에서 앱 공개여부 설정항목을 선택하여 특정 어플리케이션에 대하여 공개/비공개를 설정할 수 있다.
도 9는 본 발명에 따른 자동응대 기능을 설정하는 다른 예로서 음성을 이용하여 설정하는 예이다.
도 9에 도시된 바와같이, 본 발명은 자동응대 기능을 사용자자 직접 음성으로 설정할 수 있다. 이 경우 제어부(180)는 자동응대 기능을 위한 세부 정보(이벤트 타입, 적용 대상자, 대화 패턴 및 기타 관련정보)를 자동으로 안내하여 사용자가 필요한 정보를 설정할 수 있도록 한다. 또한, 다른 실시예로서, 본 발명은 음성으로 자동응대 기능이 설정하면, 가장 중요한 이벤트인 호(call)로 이벤트 타입을 설정하고, 나머지 세부 정보는 디폴트값으로 설정한다.
자동 응대 기능 설정 완료 표시
도 10은 자동 응대 기능 설정 완료시 화면 표시를 나타낸다.
도 10에 도시된 바와같이, 자동응대 기능이 설정되면 상태정보를 표시하는 영역에, 현재 자동응대 기능이 설정되었음을 나타내는 아이콘(80)이 표시된다. 상기 아이콘(80)은 자동응대가 끝나면, 다른 색으로 변경되어 사용자에게 자동응대 이력을 통보한다.
따라서, 사용자는 아이콘(80)의 색이 변한 경우 해당 아이콘을 선택하여 자동응대한 대화 내용을 음성으로 들거나 메시지를 통해 확인할 수 있다. 특히 상기 대화 내용은 단말기가 파워-온되거나 또는 수면모드(Sleep mode)에서 깨어나면 메시지형태로 표시하고 사용자가 아이콘(50)을 누르면 음성으로 출력한다.
자동응대 모드 진입
도 11은 본 발명에서 이벤트 타입에 따라 자동 응대모드에 진입하는 동작을 나타낸 순서도이다.
도 11에 도시된 바와같이, 외부로부터 이벤트가 수신되면 제어부(180)는 해당 이벤트의 타입을 판별하여(S10~S12), 해당 이벤트가 호이면 음성 자동응대 모드로 진입하여 자동응대를 수행하고(S13), 메시지(SMS, MMS, SNS)이면 문자 자동응대모드로 진입하여 자동응대를 수행한다(S14~S15).
특히, 상기 이벤트가 SMS 또는 MMS일 경우에는 기저장된 응답 메시지를 무선통신부(110)을 통해 전송하고, SNS메시지일 경우에는 음성 자동응대와 동일한 과정을 수행하여 문자 메시지 형태로 상대 사용자와 메시지를 주고 받는다.
도 12는 본 발명에서 호 수신시 음성 자동 응대모드로 진입하는 동작을 나타낸 순서도이다.
도 12에 도시된 바와같이, 무선통신부(110)를 통해 사용자 B로부터 호가 수신 후 제1시간이 경과되면, 제어부(180)는 사용자 A가 전화를 받지 않는 것으로 인지하고 기 설정된 응답 모드를 확인한다 (S20, S21).
확인결과 자동응대 모드가 설정된 경우 제어부(180)는 기 저장된 자동응대 설정정보를 참고하여 사용자 B가 자동응대 대상자인지 판별한다(S23). 이때, 제어부(180)는 사용자 B의 식별정보(전화번호, 사진, 이메일 주소 및 기타)를 이용하거나 기저장된 식별정보가 없는 경우에는 기 등록된 음성을 이용하여 자동 응대 대상자를 판별한다. 또한, 사용자 B의 식별정보와 음성이 모두 있는 경우 두 정보는 서로 매칭된다.
판별결과 사용자 B가 자동응대 대상자인 경우 제어부(180)는 하드웨어(스피커, 마이크)를 제어하여 음소거 모드로 진입함과 함께 자동응대에 필요한 기능(녹음기능, 음성-텍스트 변환기능)을 활성화하여 음성 자동 응대모드로 진입한다(S24, S25). 상기 음 소거모드는 사용자 B에게만 음성이 출력되고 단말기 외부로는 음이 출력되지 않는 모드로서, 도 1에서 음향출력모듈(e.g.스피커)(152)와 마이크(122)가 모드 오프된 상태를 의미한다.
반면에, 일반적인 자동응답 모드가 설정된 경우에는 제2시간이 될 때까지 대기한 후 또는 사용자 B가 자동응대 대상자가 아닌 경우 제어부(180)는 사용자 A가 전화를 받을 수 없다는 자동응답 메시지를 상대 사용자에게 송출한다(S26, S27).
음성 자동응대 모드에서 통화 수행
도 13은 음성 자동응대 모드에 진입하여 자동응대를 수행하는 동작을 나타낸 순서도이고, 도 14는 도 12에 도시된 음성 자동 응대의 일 예이다.
도 13에 도시된 바와같이, 자동응대 기능이 설정된 상태에서 사용자 B로부터 호가 수신되면, 제어부(180)는 사용자 B가 자동응대 대상자인 경우 음성 자동응대 모드로 진입한다(S30).
일단 음성 자동응대 모드에 진입하면 제어부(180)는 자동응대 설정정보를 참고하여, 사용자 A의 어투 및 음성 패턴에 따라 음성 안내를 개시한다(S31).
상기 음성 안내는 간단한 인사말과 용건으로 이루어지는데, 예를들면 도 13에 도시된 바와같이, "안녕하세요 사용자 A입니다. 어떤 용무로 전화 하셨나요?"로 구성된다. 즉, 제어부 (180)는 이전의 음성 통화내용을 기반으로 성문을 분석하거나 기설정된 대화 패턴 및 어휘에 따라 사용자 A와 동일한 음성을 출력한다.
상기 인사말 및 용건 질문에 대하여 사용자 B로부터 음성이 수신되면 제어부 (180)는 사용자 B의 대화내용을 분석하여 응답이 필요한지 확인한다(S32~S34). 상기 사용자 B의 대화내용은 문맥 인지방법을 이용하여 사용자 B가 전송한 자연어에서 단어별 또는 소 문장별로 특징을 추출하여 확인한다. 상기 문맥인지는 제어부(180)에서 직접 수행할 수 있고, 서버로 요청하여 분석할 수도 있다.
상기 사용자 B의 음성에 대한 응답의 필요성은 예를들면, "오늘 오후 2시에 미팅을 좀 했으면 하는데 시간이 되세요?"와 같이 주로 어떤 사안에 대하여 질문분만 아니라 요청, 확인 등의 경우를 포함한다.
확인 결과 상대방의 음성에 응답해야 할 경우 제어부(180)는 사용자 A의 스케중 및 메모를 확인하여 상기 질문사항에 대한 정보를 찾아 응답한다(S35, S36). 즉, 도 13에 도시된 바와같이, "2시에는 회의가 있습니다. 3시는 어떠세요?"라고 응대한다.
이후 제어부(180)는 상기 응답에 대하여 사용자 B로부터 새로운 음성, 예를들면 "네 그럼 3시에 뵙겠습니다"을 수신한 후 단계(S32, S33)를 반복적으로 수행한다.
이후 대화가 종료되거나 더 이상 응답할 필요가 없는 경우 제어부(180)는 사용자 B와의 대화 내용을 근거로 새로운 스케줄을 생성하거나 사용자 A에게 남길 메모를 작성한 후 사용자 B에게 확인을 받는다(S37, S38). 상기 확인 응대 메시지는 "미팅이 3시로 변경되었습니다 맞습니까?"등과 같이 스케줄 또는 메모내용을 요약하여 출력한다.
상기 스케줄 또는 메모에 대하여 사용자 B가 확인하면("네 맞습니다"), 제어부 (180)는 상기 작성된(또는 변경된) 스케줄을 스케줄러에 저장하고 메모는 메모리(160)의 별도 영역에 저장한다(S39). 상기 작성되는 스케줄 또는 메모의 전부 또는 요약되어 저장될 수 있으며, 저장형태는 음성 또는 텍스트 또는 두 가지 형태 모두 저장될 수 있다.
음성 자동응대가 종료되면 제어부(180)는 화면 상단의 상태정보 영역에 표시된 자동응대 아이콘(80)의 색을 변경하여 자동응대가 종료되었음을 나타내고 배터리 소모를 절약하기 위하여 슬립모드로 전환한다.
이후 사용자가 슬립모드를 해제하면 기저장된 대화내용 과 스케줄 변경 내용을 기 설정된 표시형태에 따라 표시하고, 자동응대 아이콘(50)이 선택되면 대화내용을 음성으로 출력한다. 특히 미팅시간이 변경될 경우에는 정보 공개 설정을 참조하여 해당 시간에 미팅에 참여할 모든 사용자에게 변경된 미팅시간을 자동으로 알려줄 수도 있다.
통화내용 출력
도 15는 음성 자동응대시 대화 내용을 문자로 화면에 표시하는 예이다.
도 15에 도시된 바와같이, 제어부(180)는 음성 자동응대가 수행되는 동안에 사용자 B와 주고받는 대화 내용을 메시지 형태로 화면에 표시하며, 상기 표시된 내용은 대화 종료시 메모리(180)에 저장된다.
도 16은 본 발명의 실시예에 따른 이동 단말기의 자동 응대방법을 나타낸 순서도이다.
도 16에 도시된 바와같이, 사용자 A는 자동응대 메뉴 즉, 도 3에 도시된 자동응대 메뉴를 통하여 또는 음성으로 자동응대 모드를 설정한다(S40). 이를 위하여 제어부(180)는 사용자 A의 입력에 따라 메모리(160)에 저장된 자동응대 메뉴를 디스플레이부(151)에 표시하고 음성인식 기능을 이용하여 사용자의 음성 입력을 인식한다.
이후 제어부(180)는 사용자 A의 입력에 따라 자동응대 기능이 적용될 대상자 (e.g., 친구, 가족 및 기타), Enable time, 표시 타입, 음성 패턴 (e.g, 어투, 어휘) 및 공개 여부등과 같은 자동응대 정보를 설정한다(S41). 만약 사용자 A가 자동응대 모드만 설정하고 상세 자동응대 정보를 설정하지 않은 경우에는 디폴트값이 설정된다.
제어부(180)는 상기 설정된 모든 정보는 메모리(180)에 저장하고, 바탕화면의 상태정보 표시영역에 자동응대 아이콘(80)(도 10)을 표시하여 현재 자동응대 기능이 설정되었음을 나타낸다. 상기 자동응대 아이콘(80)은 실제로 자동응대가 진행될 때 또는 자동응대가 종료되었을 때 각각 다른 색으로 표시된다. 사용자 A는 자동응대 아이콘(80)을 선택하여 설정된 자동응대 정보를 확인할 수 있다.
상기와 같이 자동응대 기능 및 그와 관련된 정보를 설정한 상태에서 사용자 A가 회의에 참석하거나 화장실에 가는 등 전화를 받지 못하는 상황이 발생할 수 있다. 이와 같은 상황을 고려하여 사용자 A는 자동응대 기능을 설정할 때 메모기능을 이용하여 간단한 메모를 입력할 수 있다. 상기 메모는 문자입력 및 음성입력을 포함한다. 이러한 메모 입력은 스케줄러에 포함되지 않은 정보로서 차후 자동 응대시 참고자료로 활용된다.
이후 사용자 B로부터 전화가 걸려오면(S42), 제어부(180)는 자동응대 모드가 설정되었는지 체크한다(S43). 체크결과 자동응대 기능이 설정된 것으로 확인되면 제어부(180)는 기 설정된 자동응대 정보를 참고하여 사용자 B가 자동응대 대상자인지 판단한다(S44).
만약 사용자 B가 자동응대 대상자인 경우 제어부(180)는 음 소거모드로 진입한 후 스케줄러에 저장된 사용자 A의 스케줄 정보 또는 메모리160)에 저장된 메모 입력을 참고하여, 사용자 B와 통화를 유지하면서 전화건 사유를 물어보거나 질문을 하면서 대화를 나누게 된다(S45). 이때, 제어부(180)는 자동응대 아이콘의 색을 변경하여 현재 자동 응대가 진행중임을 나타낼 수 있다. 제어부(180)는 사용자 B와 대화를 수행하는 문맥 인지방법을 이용하여 사용자 B가 전송한 자연어에서 단어별 또는 소 문장별로 특징을 추출하여 확인한다. 상기 문맥인지는 제어부(180)에서 직접 수행할 수 있고, 서버로 요청하여 분석할 수도 있다.
제어부(180)는 자동 응대가 진행되는 동안 대화내용(음성통화 내용)을 도 14와 같이 메시지 형태로 표시함과 함께 음성녹음을 진행한다(S46). 음성통화가 종료되면 통화내용 및 자동응대중에 변경된 정보(e.g., 스케줄 정보)를 메모리(160)에 저장함과 함께 자동응대 아이콘의 색을 다시 변경하여 현재 자동 응대가 완료되었음을 나타낸다(S47, S48).
또한, 제어부(180)는 자동 응대중에 특정 스케쥴이 변경되면 해당 스케줄의 공개여부를 확인하여 해당 스케줄에 관련된 사용자들에게 변경사항을 전송한다.
한편, 상기 단계(S33)에서 자동응대 기능이 설정되지 않았거나 단계(S34)에서 자동응대 기능은 설정되었지만 사용자 B가 자동응대 대상자가 아닌 경우 제어부 (180)는 기존처럼 자동응답 메시지를 출력한다(S49).
도 17은 자동응대 종료시 통화내용을 출력하는 방법을 나타낸 순서도이다.
도 17에 도시된 바와같이 자동응대가 종료되면 제어부(180)는 음소거모드를 해제하고(S50, S51), 통화 내용과 변경정보(스케줄, 메모)를 음성, 메시지, 요약형태로 메모리(160)에 저장한다. 그리고 제어부(180)는 전력소모를 줄이기 위하여 저전력상태 즉, 슬립 모드로 진입한다(S52).
이후 사용자 A가 버튼등을 이용하여 슬립 모드를 해제하면, 즉 이동 단말기의 동작모드가 슬립 모드에서 액티브(Active) 모드로 변경되면(S53), 제어부(180)는 메모리 (160)에 저장된 통화내용을 도 14에 도시된 바와같이 문자로 표시하고, 변경된 스케줄 정보 또는 요약정보를 화면에 표시한다(S44). 이 상태에서 사용자 A가 자동응대 아이콘(80)을 선택하면 제어부(180)는 통화 내용을 음향 출력 모듈 (152)를 통해 음성으로 출력한다(S55).
한편 본 발명에 따른 자동응대 기능을 갖는 이동 단말기는 클라우드(Cloud)와 연동되어, 도 3에 도시된 바와같이, 통화내용 및 통화중에 변경된 정보(스케줄, 메모)등을 서버(200)에 저장할 수 있다. 예를들어, 사용자가 단말기를 집에 두고온 경우 자동응대 기능은 원격(전화, 메시지)으로 설정될 수 있다. 제어부(180)는 자동응대 기능이 원격제어될 경우 사용자 A의 식별정보(전화, 이메일) 뿐만 아니라 기 분석된 음성 패턴을 비교하여 사용자 A를 확인한 후 요구된 자동응대 기능을 설정한다. 상기 자동응대 기능이 설정되면 앞에서 설명한 자동응대가 수행될 수 있으며, 수행된 음성통화 내용 및 스케줄 변경정보는 클라우드와 연동하여 서버(200)에 저장된다. 따라서, 사용자 A의 다른 기기(회사 컴퓨터 및 노트북 및 기타)을 이용하여 확인할 수 있다.
그리고, 본 발명의 자동응대 기능은 이벤트가 메시지일 경우에도 적용될 수 있다. 이벤트가 메시지일 경우 제어부(180)는 자동응대 설정정보를 근거로 메시지 형태의 자동응대를 수행한다. 또한, 이벤트가 SNS메시지일 경우에는 메시지 형태로 대화하는 것을 제외하면 호 수신시의 음성 응대와 동작과 거의 유사하다.
또한, 도 15에 도시된 바와같이, 자동 응대중에 화면에 표시되는 통화내용은 상대 사용자측 단말기에도 동일하게 표시된다.
상술한 바와같이, 본 발명은 전화를 받지 못하는 상황에서 다른 사용자로부터 전화가 올 경우 가상 비서 자동 응답(Virtual Assistance auto response)기능의 상호 자동 응대(Interactive Auto Answering) 기능을 이용하여 비서와 같은 역할을 수행하도록 함으로써 단말기가 스스로 상대방과 통화를 유지하면서 음성 통화를 수행할 수 있게 된다. 특히 본 발명은 단말기 사용자의 음성 통화 내용을 기반으로 사용자의 성문 및 목소리를 분석 및 저장한 후 이를 이용하여 자동응대에 사용함으로써 상대방이 실제 사람과 통화하는 느낌을 줄 수 있는 장점이 있다.
또한, 본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는, 단말기의 제어부를 포함할 수도 있다.
상기와 같이 설명된 이동 단말기 및 그의 어플리케이션 검색방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
50, 51, 60, 71, 72 : 팝-업 70 : 녹음 아이콘
90 : 자동응대 아이콘 122 : 마이크
151 : 디스플레이부 152 : 음향출력모듈
160 : 메모리 180 : 제어부

Claims (26)

  1. 발신측으로부터 착신호 수신 시 자동응대 기능을 통해 응답하는 단계;
    상기 수신된 착신호가 대상 사용자인지 판단하여 대상 사용자인 경우 발신측으로 제1음성 출력을 제공하는 단계;
    상기 발신측으로부터 제1음성 출력에 대응하는 제1응답 입력을 수신하는 단계;
    상기 제1응답 입력에 기초하여 실행 가능한 복수의 어플리케이션 중에서 제1어플리케이션의 정보를 수정하는 단계, 상기 제1어플리케이션은 제1응답 입력의 내용에 기초하여 복수의 어플리케이션으로부터 식별되며;
    적어도 제1음성 출력 및 제1응답 입력을 포함하는 자동응대 기능 동안 상기 발신측과의 통화한 기록을 저장하는 단계;
    상기 통화가 종료되면 슬립 모드로 진입하는 단계; 및
    상기 슬립 모드가 해제되면 상기 통화 기록 및 제1어플리케이션의 수정 정보를 표시하는 단계;를 포함하는 것을 특징으로 하는 이동 단말기의 자동 응대 방법.
  2. 제1항에 있어서, 상기 착신호의 신호를 통해 수신된 발신측의 정보가 이동 단말기에 자동응대 대상 사용자의 정보로 저장되어 있는지; 또는
    상기 발신측의 음성이 이동 단말기에 대상 사용자의 음성으로 저장되어 있는지에 근거하여 상기 발신측을 대상 사용자로 식별하는 단계;를 더 포함하는 것을 특징으로 하는 이동 단말기의 자동 응대 방법.
  3. 제1항에 있어서, 상기 복수의 어플리케이션 중 어떤 어플리케이션이 대상 사용자에 의해 수정되도록 허가되는지 식별하는 단계; 또는
    제1어플리케이션의 새로운 어플리케이션 항목을 생성하는 단계를 더 포함하는 것을 특징으로 하는 이동 단말기의 자동 응대 방법.
  4. 제1항에 있어서, 상기 제1어플리케이션의 정보를 수정하는 단계는 제1어플리케이션의 기존 어플리케이션 항목을 식별하여 기존 어플리케이션 항목의 정보를 변경하는 단계를 포함하는 것을 특징으로 하는 이동 단말기의 자동 응대 방법.
  5. 제1항에 있어서, 상기 발신측으로 제2음성 출력을 제공하는 단계;
    상기 제2음성 출력을 제공한 후 발신측으로부터 제2음성 출력에 대응하는 제2응답 입력을 수신하는 단계; 및
    상기 제1어플리케이션이 상기 수신된 제2응답 입력의 내용에 기초하여 식별될 때까지 제2음성 출력의 제공과 제2응답 입력의 수신을 반복하는 단계;를 더 포함하는 것을 특징으로 하는 이동 단말기의 자동 응대 방법.
  6. 제1항에 있어서, 상기 제1 음성 출력을 제공하는 단계는,
    이동 단말기 사용자의 음성 패턴 (speech pattern)에 따른 음성으로 상기 발신측에 자동 응답 안내를 개시하는 단계를 포함하며,
    상기 자동 응답 안내는 소개 및 질문을 포함하며,
    상기 사용자의 음성 패턴은 이전의 전화 통화 및 사용자의 텍스트 기반 메시지로부터 추출된 적어도 어휘 데이터 또는 음성 스타일 데이터를 포함하는 것을 특징으로 하는 이동 단말기의 자동 응대 방법.
    .
  7. 제6항에 있어서, 상기 사용자는 자동응대 기능을 위한 설정을 미리 설정할 수 있으며, 상기 설정은
    자동응대 기능을 개시하는 이벤트 타입;
    자동응대 기능을 개시하는 대상 대상자,
    자동응대 기능을 개시하는 시간 주기;
    자동응대 기능 동안 수행된 통화 내용을 표시하는 선호 표시방법;
    자동응대 기능의 프라이버시 설정; 또는
    사용자의 음성 패턴을 포함하는 것을 특징으로 하는 이동 단말기의 자동 응대 방법.
  8. 정보를 송수신하는 무선통신부;
    정보를 저장하는 메모리;
    정보를 디스플레이하는 디스플레이부; 및
    (a) 발신측으로부터 무선 통신부에 의해 수신된 착신호에 대하여 자동응대 기능을 통해 응답하고,
    (b) 상기 착신호가 대상 사용자로 식별되는 경우 발신측으로 제1음성 출력을 제공하여, 무선 통신부를 통해 발신측으로부터 제1응답 입력을 수신하고,
    (c) 상기 제1응답 입력에 기초하여 실행 가능한 복수의 어플리케이션 중 제1어플리케이션의 정보를 수정하고, 상기 제1어플리케이션은 제1응답 입력의 내용에 기초하여 복수의 어플리케이션으로부터 식별되며;
    (d) 적어도 제1음성 출력 및 제1응답 입력을 포함하는 자동응대 기능 동안 상기 발신측과의 통화한 기록을 메모리에 저장하며,
    (e) 상기 통화가 종료되면 슬립 모드로 진입하고, 상기 슬립 모드가 해제될 때 상기 통화 기록 및 제1어플리케이션의 수정 정보를 디스플레이부에 표시하는 제어부를 포함하는 것을 특징으로 하는 이동 단말기.
  9. 제8항에 있어서, 상기 제어부는
    착신호의 신호를 통해 수신된 발신측의 정보가 이동 단말기에 자동응대 대상 사용자의 정보로 저장되어 있는지; 또는
    상기 발신측의 음성이 이동 단말기에 대상 사용자의 음성으로 저장되어 있는지에 근거하여 발신측을 대상 사용자로 식별하는 것을 특징으로 하는 이동 단말기.
  10. 제8항에 있어서, 상기 제1어플리케이션의 정보를 수정하는 것은 제1어플리케이션의 새로운 어플리케이션 항목을 생성하는 것, 또는
    제1어플리케이션의 기존 어플리케이션 항목을 식별하여 기존 어플리케이션 항목의 정보를 변경하는 것을 포함하는 것을 특징으로 하는 이동 단말기.
  11. 제8항에 있어서, 상기 제어부는
    발신측으로 제2음성 출력을 제공하고,
    상기 제2음성 출력을 제공한 후 발신측으로부터 제2음성 출력에 대응하는 제2응답 입력을 수신하여,
    상기 제1어플리케이션이 상기 수신된 제2응답 입력의 내용에 기초하여 식별될 때까지 제2음성 출력의 제공과 제2응답 입력의 수신을 반복하는 것을 특징으로 하는 이동 단말기.
  12. 제8항에 있어서,
    상기 제1음성은 이동 단말기 사용자의 음성 패턴 (speech pattern)에 따른 음성이며,
    상기 제어부는,
    상기 제1 음성 출력 시에, 상기 제1 음성으로 상기 발신측에 자동 응답 안내를 개시하고,
    상기 자동 응답 안내는 소개 및 질문을 포함하며,
    상기 사용자의 음성 패턴은 이전의 전화 통화 및 사용자의 텍스트 기반 메시지로부터 추출된 적어도 어휘 데이터 또는 음성 스타일 데이터를 포함하는 것을 특징으로 하는 이동 단말기.
  13. 제12항에 있어서, 상기 제어부는 자동응대 기능을 위한 설정을 메모리에 미리 설정하며, 상기 설정은
    자동응대 기능을 개시하는 이벤트 타입;
    자동응대 기능을 개시하는 대상 대상자,
    자동응대 기능을 개시하는 시간 주기;
    자동응대 기능 동안 수행된 통화 내용을 표시하는 선호 표시방법;
    자동응대 기능의 프라이버시 설정; 또는
    사용자의 음성 패턴을 포함하는 것을 특징으로 하는 이동 단말기.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
KR1020120152370A 2012-12-24 2012-12-24 자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법 KR101977087B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120152370A KR101977087B1 (ko) 2012-12-24 2012-12-24 자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법
ES13005311.9T ES2546264T3 (es) 2012-12-24 2013-11-11 Terminal móvil con una función de respuesta automática y método de respuesta automática para su utilización en el terminal móvil
US14/076,672 US9225831B2 (en) 2012-12-24 2013-11-11 Mobile terminal having auto answering function and auto answering method for use in the mobile terminal
EP13005311.9A EP2747389B1 (en) 2012-12-24 2013-11-11 Mobile terminal having auto answering function and auto answering method for use in the mobile terminal
CN201310722476.1A CN103905602B (zh) 2012-12-24 2013-12-24 具有自动应答功能的移动终端及其中使用的自动应答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120152370A KR101977087B1 (ko) 2012-12-24 2012-12-24 자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법

Publications (2)

Publication Number Publication Date
KR20140082423A KR20140082423A (ko) 2014-07-02
KR101977087B1 true KR101977087B1 (ko) 2019-05-10

Family

ID=49582525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120152370A KR101977087B1 (ko) 2012-12-24 2012-12-24 자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법

Country Status (5)

Country Link
US (1) US9225831B2 (ko)
EP (1) EP2747389B1 (ko)
KR (1) KR101977087B1 (ko)
CN (1) CN103905602B (ko)
ES (1) ES2546264T3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037510A (zh) * 2020-08-28 2020-12-04 广州汽车集团股份有限公司 辅助驾驶控制方法和装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750705B (zh) * 2013-12-27 2019-05-28 华为技术有限公司 信息回复方法及装置
KR20150089525A (ko) * 2014-01-28 2015-08-05 삼성전자주식회사 통신 메시지 운용 방법 및 이를 지원하는 전자 장치
US9111214B1 (en) 2014-01-30 2015-08-18 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
CN104104771A (zh) * 2014-07-25 2014-10-15 小米科技有限责任公司 通话处理方法及装置
US20160072937A1 (en) * 2014-09-08 2016-03-10 James Albert Gavney, Jr. Auto reminder, alarm and response system and method
CN107209549B (zh) 2014-12-11 2020-04-17 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
KR20160076201A (ko) * 2014-12-22 2016-06-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN104580756B (zh) 2014-12-27 2018-07-06 小米科技有限责任公司 来电回复方法、装置、终端及服务器
CN104660773B (zh) * 2015-03-09 2018-03-30 广东欧珀移动通信有限公司 一种骚扰电话处理方法和骚扰电话处理装置
US9536260B2 (en) * 2015-03-31 2017-01-03 Paypal, Inc. Business communication service
CN105100455A (zh) * 2015-07-06 2015-11-25 珠海格力电器股份有限公司 语音控制接听来电通话的方法和装置
EP3357205B1 (en) 2015-09-28 2022-01-05 Microsoft Technology Licensing, LLC User assistant for unified messaging platform
US10353474B2 (en) 2015-09-28 2019-07-16 Microsoft Technology Licensing, Llc Unified virtual reality platform
US10230846B2 (en) * 2016-05-17 2019-03-12 Facebook, Inc. Systems and methods for interacting with answering systems
CN105939424B (zh) * 2016-06-23 2019-12-27 北京小米移动软件有限公司 应用切换方法及装置
CN106534514A (zh) * 2016-10-26 2017-03-22 深圳市金立通信设备有限公司 一种来电处理的方法及终端
CN106534446B (zh) * 2016-11-11 2020-03-27 努比亚技术有限公司 移动终端拨号装置和方法
CN108173802B (zh) * 2016-12-07 2022-06-07 北京搜狗科技发展有限公司 一种通讯处理方法、装置和终端
US10868842B2 (en) 2017-01-23 2020-12-15 Microsoft Technology Licensing, Llc Automatic responses to incoming calls based on user activity
US11363132B2 (en) * 2017-04-20 2022-06-14 Maxell, Ltd. Information processing terminal and automatic response method
JP6531776B2 (ja) * 2017-04-25 2019-06-19 トヨタ自動車株式会社 音声対話システムおよび音声対話方法
CN107222386A (zh) * 2017-05-02 2017-09-29 珠海市魅族科技有限公司 一种消息回复方法及终端
CN109348066B (zh) * 2018-11-27 2021-03-19 维沃移动通信有限公司 一种来电意图识别方法、终端及计算机可读存储介质
KR20200066933A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11381675B2 (en) 2018-12-12 2022-07-05 Samsung Electronics Co., Ltd. Command based interactive system and a method thereof
KR102217301B1 (ko) * 2019-02-13 2021-02-18 라인 가부시키가이샤 개인 일정 및 라이프 스타일을 반영한 인공지능의 컨텍 제어
KR102606456B1 (ko) * 2019-03-15 2023-11-29 현대자동차주식회사 피싱 분석 장치 및 그 방법
JP7318241B2 (ja) * 2019-03-18 2023-08-01 コニカミノルタ株式会社 音声情報処理装置及びプログラム
CN111724789B (zh) * 2019-03-19 2023-03-28 华为终端有限公司 语音交互的方法和终端设备
CN109992652B (zh) * 2019-03-25 2023-04-28 联想(北京)有限公司 一种信息回复方法、装置、设备及存储介质
CN112399015A (zh) * 2019-08-13 2021-02-23 Oppo广东移动通信有限公司 一种通讯业务自动应答方法、装置及计算机可读存储介质
CN110545351B (zh) * 2019-08-21 2021-02-05 维沃移动通信有限公司 一种来电处理方法、电子设备及计算机可读存储介质
CN110798578A (zh) * 2019-11-07 2020-02-14 浙江同花顺智能科技有限公司 一种来电事务管理方法、装置以及相关设备
US11019207B1 (en) 2019-11-07 2021-05-25 Hithink Royalflush Information Network Co., Ltd. Systems and methods for smart dialogue communication
CN110891124B (zh) * 2019-12-11 2021-04-23 厦门韭黄科技有限公司 一种人工智能代接来电的系统
CN112291423B (zh) * 2020-10-23 2023-09-26 腾讯科技（深圳）有限公司 通信呼叫智能应答处理方法、装置、电子设备及存储介质
CN112927698A (zh) * 2021-02-27 2021-06-08 北京基智科技有限公司 一种基于深度学习的智能电话语音系统
WO2022243851A1 (en) * 2021-05-17 2022-11-24 Bhivania Rajat Method and system for improving online interaction
CN116614573B (zh) * 2023-07-14 2023-09-15 上海飞斯信息科技有限公司 基于数据预分组的dsp的数字信号处理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003580A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Mobile telephone interactive call disposition system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046359A1 (de) * 2000-09-20 2002-03-28 Philips Corp Intellectual Pty Dialogsystem
US20050096909A1 (en) 2003-10-29 2005-05-05 Raimo Bakis Systems and methods for expressive text-to-speech
JP2007523571A (ja) * 2004-02-20 2007-08-16 スナップイン ソフトウェア インコーポレイテッド モバイルデバイス上での顧客セルフサポート、などを目的とするユーザインターフェース方法
US7474740B1 (en) * 2004-08-26 2009-01-06 American Airlines, Inc. Interactive voice-activated reservation system and method
US8301123B2 (en) * 2005-06-24 2012-10-30 Nuance Communications, Inc. Local intercept methods, such as applications for providing customer assistance for training, information calls and diagnostics
US9313307B2 (en) * 2005-09-01 2016-04-12 Xtone Networks, Inc. System and method for verifying the identity of a user by voiceprint analysis
US20070263784A1 (en) * 2006-04-10 2007-11-15 Forrer Thomas R Jr Automated voice answering system correlated to user calendar to provide telephone voice responses based upon user schedule
US8391445B2 (en) * 2008-11-10 2013-03-05 International Business Machines Corporation Caller identification using voice recognition
KR101612788B1 (ko) 2009-11-05 2016-04-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN102238262A (zh) * 2010-04-20 2011-11-09 上海博路信息技术有限公司 一种手机个性化自动应答语音系统
CN101924811A (zh) * 2010-06-25 2010-12-22 康佳集团股份有限公司 一种具有自动应答功能的手机及手机的自动应答方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003580A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Mobile telephone interactive call disposition system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037510A (zh) * 2020-08-28 2020-12-04 广州汽车集团股份有限公司 辅助驾驶控制方法和装置
CN112037510B (zh) * 2020-08-28 2022-09-20 广州汽车集团股份有限公司 辅助驾驶控制方法和装置

Also Published As

Publication number Publication date
US20140179281A1 (en) 2014-06-26
KR20140082423A (ko) 2014-07-02
EP2747389A3 (en) 2014-09-10
US9225831B2 (en) 2015-12-29
CN103905602A (zh) 2014-07-02
EP2747389B1 (en) 2015-07-08
CN103905602B (zh) 2016-10-12
ES2546264T3 (es) 2015-09-22
EP2747389A2 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
KR101977087B1 (ko) 자동응대 기능을 갖는 이동 단말기 및 그의 자동응대 방법
US9883363B2 (en) Apparatus and method for processing call services in mobile terminal
US9111538B2 (en) Genius button secondary commands
CN101557432B (zh) 移动终端及其菜单控制方法
US20170215051A1 (en) Remote access to a mobile communication device over a wireless local area network (wlan)
CN106550146A (zh) 一种聊天信息发送装置和方法
CN101647300A (zh) 跟踪移动终端组
CN106328139A (zh) 一种语音交互的方法和系统
KR20100007625A (ko) 이동 단말기 및 그 메뉴 표시 방법
CN106911850A (zh) 移动终端及其截屏方法
CN106157970A (zh) 一种音频识别方法以及终端
CN105657174A (zh) 一种语音转换方法和终端
US20150024715A1 (en) Mobile terminal and method of controlling the same
KR101127569B1 (ko) 휴대 단말기의 위치 기반 말풍선 서비스 이용방법, 장치 및 이를 이용한 시스템
CN104811540A (zh) 一种移动终端及其语音通信的声音设置方法和装置
US9681274B2 (en) Communication device, non-transitory storage medium, and call control method
CN108141496B (zh) 一种呼叫等待处理方法
CN107249072A (zh) 移动终端及其连锁操作启动方法
CN106648505A (zh) 一种移动终端操控方法及移动终端
WO2020042080A1 (zh) 一种呼叫提示方法及终端
US20150015514A1 (en) Method and apparatus for group communications
KR101772075B1 (ko) Ｔｖ 및 이동 단말기에서 방송 채널 동기화를 통한 채팅방법
JP2005182234A (ja) 入力支援装置、メッセージ送信装置、ユーザインターフェース、入力支援方法、およびプログラム
CN115408492A (zh) 资源显示的方法、终端及服务器
CN106412207A (zh) 一种录音方法和终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right