KR102056177B1 - 음성 대화 서비스 제공 방법 및 이동 단말 - Google Patents

음성 대화 서비스 제공 방법 및 이동 단말 Download PDF

Info

Publication number
KR102056177B1
KR102056177B1 KR1020130019494A KR20130019494A KR102056177B1 KR 102056177 B1 KR102056177 B1 KR 102056177B1 KR 1020130019494 A KR1020130019494 A KR 1020130019494A KR 20130019494 A KR20130019494 A KR 20130019494A KR 102056177 B1 KR102056177 B1 KR 102056177B1
Authority
KR
South Korea
Prior art keywords
feedback
driving mode
information
chat service
voice
Prior art date
Application number
KR1020130019494A
Other languages
English (en)
Other versions
KR20140105338A (ko
Inventor
전하영
김소라
김희운
안유미
안지현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130019494A priority Critical patent/KR102056177B1/ko
Priority to US14/183,945 priority patent/US9361062B2/en
Priority to EP14155733.0A priority patent/EP2770500B1/en
Priority to CN201410060454.8A priority patent/CN104007816B/zh
Publication of KR20140105338A publication Critical patent/KR20140105338A/ko
Priority to US15/164,134 priority patent/US10379809B2/en
Application granted granted Critical
Publication of KR102056177B1 publication Critical patent/KR102056177B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad

Abstract

본 발명은 운전 상황에 적합하게 음성 대화 서비스를 제공하는 방법 및 이를 구현하는 이동 단말을 제안한다. 본 발명의 일 실시예에 따른 음성 대화 서비스 제공 방법은 센서부로부터 감지 정보를 수신하는 단계; 상기 감지 정보를 이용하여 상기 음성 대화 서비스의 운영 모드를 운전 모드로 설정할지 여부를 결정하는 단계; 및 상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 경우, 미리 저장된 운전 모드 설정 정보를 참조하여 청각적인 피드백을 제공하는 단계를 포함한다.

Description

음성 대화 서비스 제공 방법 및 이동 단말{METHOD FOR PROVIDING A VOICE-SPEECH SERVICE AND MOBILE TERMINAL IMPLEMENTING THE SAME}
본 발명은 이동 단말에서 사용자의 음성을 인식하고, 사용자의 음성에 대한 피드백을 사용자에게 음성으로 제공하는 음성 대화 서비스 방법 및 이를 구현하는 이동 단말에 관한 것이다.
기존 음성 대화 서비스는 사용자와 이동 단말(예컨대, 스마트폰)의 보이스 에이전트(Voice Agent)간의 음성을 통한 대화와, 대화와 관련된 내용(대화의 히스토리 및 대화와 관련된 콘텐츠)을 보여 주기 위한 그래픽 유저 인터페이스(Graphic User Interface; GUI)로 이루어진다. 기존 음성 대화 서비스는 기본적으로 화면을 보는 상황을 기반으로 하여 설계된 서비스이다. 즉, 사용자는 내용의 확인, 콘텐츠의 선택, 콘텐츠의 수정 및 콘텐츠의 편집을 위해 화면을 보면서 보이스 에이전트와 상호작용(즉, 대화)하는 경우가 많다.
사용자의 음성이 마이크로 입력되면, 음성이 텍스트로 변환(Speech To Text; STT)되어 화면에 출력된다. 텍스트의 의미가 처리되고, 그 결과물이 GUI 피드백으로 제공되고 또한, TTS(Text To Speech) 피드백으로 제공된다. 즉 GUI 피드백은 화면에 표시되는 시각적인 정보이고 TTS 피드백은 텍스트가 음성으로 변환되어 스피커를 통해 출력되는 청각적인 정보이다. 결과물이 많은 경우, 일반적으로 TTS 피드백으로는 요약 정보만 제공하고, GUI 피드백으로 상세 정보가 제공된다. 이와 같이 상세 정보는 시각적으로 제공된다.
그런데, 기존 음성대화 서비스에 따르면 사용자의 상황이 시각적으로 제약을 받는 경우, 사용자는 음성 대화 서비스를 이용하기 어렵다. 특히, 사용자가 운전 중일 경우, GUI 피드백은 운전을 방해하고 사용자의 안전을 위협하는 요소가 될 수 있다.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 사용자의 상황에 최적화된 음성 대화 서비스를 제공하는 방법 및 이를 구현하는 이동 단말을 제공함을 목적으로 한다. 특히, 본 발명은 운전 상황에 적합하게 음성 대화 서비스를 제공하는 방법 및 이를 구현하는 이동 단말을 제공함을 목적으로 한다.
본 발명의 일 실시예에 따른 음성 대화 서비스 제공 방법은 센서부로부터 감지 정보를 수신하는 단계; 상기 감지 정보를 이용하여 상기 음성 대화 서비스의 운영 모드를 운전 모드로 설정할지 여부를 결정하는 단계; 및 상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 경우, 미리 저장된 운전 모드 설정 정보를 참조하여 청각적인 피드백을 제공하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 음성 대화 서비스 제공 방법은 메시지를 수신하는 단계; 상기 메시지를 청각적인 피드백으로 변환하는 단계; 상기 음성 대화 서비스의 운영 모드가 운전 모드인 경우, 미리 저장된 운전 모드 설정 정보를 참조하여 상기 청각적인 피드백을 제공하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 음성 대화 서비스 제공 방법은 마이크로부터 음성 데이터를 검출하는 단계; 상기 음성 데이터에 해당되는 기능을 수행하는 단계; 상기 수행 결과물을 청각적인 피드백으로 변환하는 단계; 및 상기 음성 대화 서비스의 운영 모드가 운전 모드인 경우, 미리 저장된 운전 모드 설정 정보를 참조하여 상기 청각적인 피드백을 제공하는 단계를 포함한다.
본 발명의 일 실시예에 따른 이동 단말은 마이크; 스피커; 상기 마이크 및 상기 스피커로부터 수신한 신호를 처리하는 오디오 처리부; 운전 모드 설정 정보를 저장하는 저장부; 물리량을 감지하는 센서부; 및 상기 마이크, 상기 스피커, 상기 저장부, 상기 오디오 처리부 및 상기 센서부를 제어하는 제어부를 포함하고, 상기 제어부는, 센서부로부터 감지 정보를 수신하고, 상기 감지 정보를 이용하여 상기 음성 대화 서비스의 운영 모드를 운전 모드로 설정할지 여부를 결정하고, 상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 경우, 상기 운전 모드 설정 정보를 참조하여 청각적인 피드백을 제공하도록 제어한다.
이상으로 음성 대화 서비스 제공 방법 및 이동 단말은 운전 상황에 적합하게 음성 대화 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 단말의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 운전 모드 설정 방법을 설명하기 위한 흐름도이다.
도 3a 및 도 3b는 운전 모드 설정 화면의 일례이다.
도 4는 본 발명의 일 실시예에 따른 음성 대화 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 5a는 음성 대화 서비스가 비운전 모드일 때 표시되는 메시지의 일례이다.
도 5b는 음성 대화 서비스가 운전 모드일 때 표시되는 메시지의 일례이다.
도 6은 본 발명의 다른 실시예에 따른 음성 대화 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 7a는 음성 대화 서비스가 비운전 모드일 때 표시되는 GUI 피드백의 일례이다.
도 7b는 음성 대화 서비스가 운전 모드일 때 표시되는 GUI 피드백의 일례이다.
이하에서 본 발명에 따른 음성 대화 서비스 제공 방법 및 이동 단말에 대해 상세히 설명한다. 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 아래 설명과 첨부된 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있다. 또한, 첨부 도면에서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다. 본 발명과 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략된다.
본 발명에 따른 이동 단말은 사용자가 휴대 가능한 단말이거나 차량에 설치되어 이동 가능한 단말이다. 예컨대, 이동 단말은 예컨대, 스마트폰, 태블릿 PC, 노트북 PC, 디지털 카메라, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 미디어 플레이어(Media Player)(예컨대, MP3 플레이어), 네비게이션 단말 등이다.
본 발명에 따른 이동 단말은 사용자의 음성 명령이나 수신 메시지에 응답하여 청각적인 피드백(예, 스피커로부터 출력되는 음성), 시각적인 피드백(예, 표시부의 화면에 표시되는 이미지), 촉각적인 피드백(예, 이동 단말에 구비된 진동 모터의 진동)을 제공한다. 청각적인 피드백은 TTS 피드백, 청각적인 정보, 청각적인 콘텐츠 등으로 지칭될 수 있다. 시각적인 피드백은 GUI 피드백, 시각적인 정보, 시각적인 콘텐츠 등으로 지칭될 수 있다. 특히 본 발명의 이동 단말은 사용자의 상황이 운전 중인 경우 이동 단말의 사용 환경을 운전 모드로 설정(예컨대, 스피커의 음량 설정 값을 최대값으로 설정, 음성의 재생 속도 설정 값을 정보량에 따라 자동으로 최대값까지 설정, GUI 피드백의 폰트 크기 설정값을 최대값으로 설정 등)하고, 운전 모드의 설정 정보를 참조하여 TTS 피드백 및 GUI 피드백을 제공한다. 이에 따라, 사용자는 운전에 방해받지 않으면서 음성 대화 서비스를 제공받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 단말의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이동 단말(100)은 표시부(110), 키입력부(120), 저장부(130), 무선통신부(140), 오디오처리부(150), 스피커(SPK), 마이크(MIC), 이어잭(160), 센서부(170), GPS 수신부(180) 및 제어부(190)를 포함하여 이루어진다.
표시부(110)는 제어부(190)의 제어 하에 데이터를 화면에 표시한다. 즉 제어부(190)가 데이터를 처리(예컨대, 디코딩(decoding))하여 버퍼에 저장하면, 표시부(110)는 버퍼에 저장된 데이터를 아날로그 신호로 변환하여 화면에 표시한다. 표시부(110)에 전원이 공급되면, 표시부(110)는 잠금 이미지를 화면에 표시한다. 잠금 이미지가 표시되고 있는 상태에서 잠금 해제 정보가 검출되면, 제어부(190)는 잠금을 해제한다. 표시부(110)는 제어부(190)의 제어 하에 잠금 이미지 대신 예컨대, 홈 이미지를 표시한다. 홈 이미지는 배경(background) 이미지(예컨대, 사용자에 의해 설정된 사진)와 이 위에 표시되는 다수의 아이콘을 포함한다. 여기서 아이콘들은 각각 어플리케이션 또는 콘텐츠(예, 사진 파일, 비디오 파일, 녹음 파일, 문서, 메시지 등)를 지시한다. 아이콘들 중 하나 예컨대, 어플리케이션 아이콘이 사용자에 의해 선택되면, 제어부(190)는 해당 어플리케이션을 실행한다. 표시부(110)는 제어부(190)로부터 어플리케이션의 실행 이미지를 수신하고 아날로그 신호로 변환하여 출력한다.
표시부(110)는 제어부(190)의 제어 하에, 이미지들을 다층(multi-layer) 구조로 화면에 표시한다. 예컨대, 표시부(110)는 음성 대화 서비스의 실행 이미지를 화면에 표시하고, GUI 피드백을 그 위에 표시한다.
표시부(110)는 액정 표시 장치(Liquid Crystal Display : LCD), AMOLED(Active Matrix Organic Light Emitted Diode), 플랙서블 디스플레이(Flexible display) 또는 투명 디스플레이로 이루어질 수 있다.
터치패널(111)은 표시부(110)의 화면에 설치된다. 구체적으로 터치패널(111)은 표시부(110)의 화면에 위치하는 애드 온 타입(add-on type)이나 표시부(110) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현된다.
터치패널(111)은 화면에 대한 사용자의 제스처에 응답하여 터치이벤트를 발생하고, 터치이벤트를 AD(Analog to Digital) 변환하여 제어부(190)로 전달한다. 여기서 터치이벤트는 하나 이상의 터치 좌표(x, y)를 포함한다. 예컨대, 터치패널(111)의 터치 IC(Integrated Circuit)는 사용자의 터치를 검출하고, 터치에 응답하여 터치 영역을 결정하고, 터치 영역에 포함된 터치 좌표(x, y)를 제어부(190)로 전달한다. 여기서 터치 좌표는 픽셀 단위일 수 있다. 예컨대, 화면의 해상도가 640(가로 픽셀의 개수)*480(세로 픽셀의 개수)인 경우, X축 좌표는 (0, 640)이고, Y축 좌표는 (0, 480)이다. 제어부(190)는 터치패널(111)로부터 터치 좌표가 수신될 경우, 터치입력기구(예, 손가락이나 펜)가 터치패널(111)에 터치된 것으로 결정하고 터치패널(111)로부터 터치 좌표가 수신되지 않을 경우 터치입력기구의 터치가 해제된 것으로 결정한다. 또한 제어부(190)는 터치된 좌표가 예컨대, (x0, y0)에서 (x1, y2)로 변화되고, 그 변화량(예컨대, D(D2 = (x0 - x1)2 + (y0 - y1)2)가 미리 설정된 "이동 임계치(예컨대, 1밀리미터)"를 초과할 경우 제어부(190)는 터치입력기구의 움직임이 발생된 것으로 결정한다. 제어부(190)는 터치입력기구의 이동에 응답하여 터치입력기구의 위치변화량(dx, dy) 및 터치입력기구의 이동 속도 등을 산출한다. 제어부(190)는 터치 좌표, 터치입력기구의 터치 해제 여부, 터치입력기구의 이동 여부, 터치입력기구의 위치변화량 및 터치입력기구의 이동 속도 등을 기반으로, 화면에 대한 사용자의 제스처를 터치, 멀티 터치, 탭(Tap), 더블 탭(Double Tap), 롱 탭(Long tap), 탭 앤 터치(Tap & touch), 드래그(Drag), 플릭(Flick), 프레스(Press), 핀치인(pinch in) 및 핀치아웃(pinch out) 등 중에서 어느 하나로 결정한다.
터치는 사용자가 터치입력기구를 화면에 접촉하는 제스처이고, 멀티 터치는 다수의 터치입력기구(예, 엄지와 검지)를 화면에 접촉하는 제스처이고, 탭은 화면의 어느 한 지점에 터치입력기구가 터치된 후 이동 없이 해당 지점에서 터치 해제(touch-off)되는 제스처이고, 더블 탭은 어느 한 지점을 연속적으로 두 번 탭하는 제스처이고, 롱 탭은 탭보다 상대적으로 길게 터치한 후 터치입력기구의 이동 없이 해당 지점에서 터치입력기구의 터치를 해제하는 제스처이고, 탭 앤 터치는 화면의 어느 지점을 탭한 후 해당 지점을 소정 시간(예, 0.5초)이내에 다시 터치하는 제스처이고, 드래그는 어느 한 지점을 터치한 상태에서 터치입력기구를 소정 방향으로 이동시키는 제스처이고, 플릭은 드래그에 비해 터치 기구를 빠르게 이동시킨 후 터치 해제하는 제스처이고, 프레스는 어느 한 지점을 터치한 후 소정 시간(예, 2초)이상 움직임 없이 터치를 유지하는 제스처이고, 핀치 인은 두 개의 터치입력기구로 두 지점을 동시에 멀티 터치한 후 터치 기구들의 간격을 좁히는 제스처이고, 핀치 아웃은 터치입력기구들의 간격을 넓히는 제스처이다. 즉 터치는 터치패널(111)에 접촉(contact)한 것을 의미하고, 그 밖의 제스처들은 터치의 변화를 의미한다.
터치패널(111)은 손 제스처를 감지하는 손 터치패널과 펜 제스처를 감지하는 펜 터치패널을 포함하여 구성된 복합 터치패널일 수 있다. 여기서 손 터치패널은 정전용량 방식(capacitive type)으로 구현된다. 물론 손 터치패널은 저항막 방식(resistive type), 적외선 방식 또는 초음파 방식으로 구현될 수도 있다. 또한 손 터치패널은 손 제스처에 의해서만 터치이벤트를 발생하는 것은 아니며, 다른 물체(예, 정전용량 변화를 가할 수 있는 전도성 재질의 물체)에 의해서도 터치이벤트를 생성할 수 있다. 펜 터치패널은 전자 유도 방식(electromagnetic induction type)으로 구성될 수 있다. 이에 따라 펜 터치패널은 자기장을 형성할 수 있도록 특수 제작된 터치용 펜에 의해 터치이벤트를 생성한다. 특히, 펜 터치패널에서 생성되는 터치이벤트는 터치좌표와 함께, 터치의 종류를 나타내는 값을 포함한다. 예컨대, 제어부(190)는 펜 터치패널로부터 제 1 전압레벨 값이 수신된 경우, 터치입력기구의 터치를 간접터치(일명, 호버링(hovering))로 결정한다. 제어부(190)는 터치패널(111)로부터 제 1 전압레벨보다 큰 제 2 전압레벨 값이 수신된 경우, 터치입력기구의 터치를 직접터치로 결정한다. 또한 펜 터치패널에서 생성되는 터치이벤트는 펜에 설치된 키의 눌림 여부를 나타내는 값을 더 포함할 수 있다. 예컨대, 펜에 설치된 키가 눌리면, 펜의 코일에서 발생되는 자기장이 변화되고, 자기장의 변화에 응답하여 펜 터치패널은 제 3 전압레벨 값을 발생하고, 이를 제어부(190)로 전달한다.
키입력부(120)는 적어도 하나의 터치키를 포함할 수 있다. 터치키는 사용자의 터치를 감지하기 위해 정전용량 방식이나 저항막 방식 등으로 구현된다. 터치키는 사용자의 터치에 응답하여 이벤트를 발생하고, 이를 제어부(190)로 전달한다. 또한 터치키는 화면에 인접하게(예컨대, 화면의 하단) 설치될 수 있다. 또한 키입력부(120)는 터치 방식 외에 다른 방식의 키도 포함할 수 있다. 예컨대, 돔(dome) 키 방식의 홈 키(home key)가 포함된다. 사용자가 홈 키를 누르면, 홈 키가 변형되어 인쇄회로기판에 접촉되고, 이에 따라 인쇄회로기판에서 키 이벤트가 발생되어 제어부(190)로 전달된다. 한편, 사용자가 홈 키를 두 번 누르면, 본 발명에 따른 음성 대화 서비스 어플리케이션(131)이 실행될 수 있다.
저장부(secondary memory unit; 130)는 디스크, 램(RAM), 롬(ROM) 또는 플래시 메모리 등이다. 저장부(130)는 제어부(190)의 제어 하에, 이동 단말(100)에서 생성되거나 무선통신부(140)를 통해 외부장치(예, 서버, 데스크탑 PC, 태블릿 PC 등)로부터 수신한 데이터를 저장한다. 또한 저장부(130)는 복사 및 붙여 넣기(copy & paste) 등을 위해 사용자가 메시지, 사진, 웹페이지, 문서 등에서 복사한 데이터를 임시 저장한다.
또한 저장부(130)는 운전 모드 설정 정보(132)를 저장한다. 여기서 운전 모드 설정 정보(132)는 음량 설정 값, 재생속도 설정 값, 폰트 크기 설정 값을 포함할 수 있다. 여기서, 음량 설정 값은 스피커(SPK)에서 출력되는 소리의 음량을 의미한다. 예컨대, 음량 설정 값은 음성 대화 서비스의 운영 모드가 운전 모드인 경우 최대 음량을 나타내는 값으로 설정될 수 있다. 재생 속도 설정 값은 스피커(SPK)에서 출력되는 소리의 속도를 의미한다. 예컨대, 재생 속도 설정 값은 비운전 모드인 경우 1배속이고 운전 모드인 경우 2배속으로 설정될 수 있다. 폰트 크기 설정 값은 GUI 피드백에서 텍스트의 크기를 나타내는 값이다. 예컨대, 폰트 크기 설정 값은 비운전 모드인 경우 폰트 12로 설정되고 운전 모드인 경우 폰트 20으로 설정될 수 있다. 또한 운전 모드 설정 정보(132)는 화면의 색상 설정 값, 화면의 밝기 설정 값 등을 더 포함할 수 있다. 예컨대, 화면의 밝기 설정 값은 음성 대화 서비스의 운영 모드가 운전 모드인 경우 최대 밝기를 나타내는 값으로 설정될 수 있다. 또한, 화면의 색상 설정 값은 예컨대, 음성 대화 서비스의 운영 모드가 운전 모드인 경우 바탕이 하얀색으로 변경되도록 설정될 수 있다.
또한 저장부(130)는 운전 모드 설정 정보(132) 이외에도, 이동 단말(100)의 운영을 위한 다양한 설정 값(예, 화면 밝기, 터치 발생 시 진동 여부, 화면의 자동 회전 여부 등)을 저장한다.
저장부(130)는 부팅 프로그램, 적어도 하나 이상의 운영체제 및 어플리케이션들을 저장한다. 운영체제는 하드웨어와 어플리케이션 사이 그리고 어플리케이션들 사이의 인터페이스 역할을 하고, CPU, GPU, 메인메모리 및 저장부(130) 등의 컴퓨터 자원을 관리한다. 어플리케이션들은 내재화 어플리케이션(embedded application)과 서드파티 어플리케이션(3rd party application)으로 분류된다. 예컨대 내재화 어플리케이션은 웹 브라우저(Web browser), 이메일(email) 프로그램, 인스턴트 메신저(instant messenger) 등이다. 특히 저장부(130)는 음성 대화 서비스 어플리케이션(131)을 저장한다. 음성 대화 서비스 어플리케이션(131)은 사용자가 운전 중인지 여부를 결정하는 루틴과, 음성데이터(사용자의 요청 정보)를 텍스트로 변환하는 STT(Speech To Text) 루틴과, 텍스트의 의미를 추론하는 루틴과, 추론된 텍스트의 의미에 해당되는 기능을 수행하는 루틴과, 기능의 수행에 따른 응답 정보를 TTS 피드백으로 제공하는 루틴과, 응답 정보를 GUI 피드백으로 제공하는 루틴을 포함할 수 있다. 특히 TTS 피드백과 GUI 피드백은 운전 여부에 따라 다르게 제공된다. 즉 사용자가 운전 중인 경우 GUI 피드백의 량은 최소화되고 반면 TTS 피드백의 량은 최대화된다. 예컨대, 운전 중이 아닐 경우, 상세 정보(detailed information)가 GUI 피드백으로 제공되고 상세 정보로부터 짧고 간결하게 요약된 정보(simple information)는 TTS 피드백으로 제공된다. 반면, 운전 중일 경우, 요약 정보가 GUI 피드백으로 제공되고 상세 정보는 TTS 피드백으로 제공된다. 또한, 사용자가 운전 중인 경우 GUI 피드백의 가독성은, 사용자가 그 의미를 짧은 시간에 직관적으로 인식할 수 있게, 높아진다. 예컨대, 운전 중이 아닐 경우 텍스트의 크기는 12이고 운전 중일 경우 텍스트의 크기는 20이다. 운전 중이 아닐 경우 텍스트의 굵기는 1이고 운전 중일 경우 텍스트의 굵기는 3이다.
한편, 음성 대화 서비스 어플리케이션(131)의 루틴들 중에서 특정 루틴은 서버에 구비될 수 있다. 예컨대, 텍스트의 의미를 추론하는 루틴은 서버에 구비될 수 있다. 이럴 경우, 이동 단말(100)은 텍스트를 서버로 전송한다. 이에 응답하여 서버는 텍스트의 의미를 추론하고, 그 결과물을 이동 단말(100)로 전송한다.
무선통신부(140)는 제어부(190)의 제어 하에, 네트워크를 통해 외부장치와 음성 통화, 화상 통화 또는 데이터 통신을 수행한다. 무선통신부(140)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부를 포함한다. 또한 무선 통신부(130)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5세대(3.5-Generation) 이동통신모듈 또는 4세대(4-Generation) 이동통신모듈 등), 디지털 방송 모듈(예컨대, DMB 모듈) 및 근거리 통신 모듈(예, 와이파이(Wi-Fi) 모듈, 블루투스(bluetooth) 모듈, NFC(Near Field Communication) 모듈)을 포함한다.
오디오 처리부(150)는 스피커(SPK) 및 마이크(MIC)와 결합하여 음성 인식, 음성 녹음, 디지털 레코딩(recording) 및 통화를 위한 오디오 신호(예, 음성 데이터)의 입력 및 출력을 수행한다. 오디오 처리부(150)는 제어부(190)로부터 오디오 신호를 수신하고, 수신한 오디오 신호를 아날로그로 D/A　변환하고 증폭한 후 스피커(SPK)로 출력할 수 있다. 스피커(SPK)는 오디오 처리부(150)로부터 수신한 오디오 신호를 음파(sound wave)로 변환하여 출력한다. 한편, 이동 단말(100)은 다수의 스피커를 구비할 수 있다. 예컨대, 제 1 스피커는 통화 용도이며 일명, 리시버(receiver)라 한다. 즉 제 1 스피커는 사용자가 이동 단말(100)을 귀에 대고 통화할 때 쓰이는 것이다. 제 2 스피커는 통화뿐 아니라 음악, 비디오 등과 같은 데이터의 재생 용도이며 일명, 라우드 스피커(loud speaker)라 한다.
또한 오디오 처리부(150)는 제어부(190)의 제어 하에, 오디오 신호를 이어잭(160)으로 출력할 수도 있다. 즉 이어잭(160)에 이어폰의 플러그가 연결된 경우 오디오 신호는 이어잭(160)을 통해 이어폰으로 출력될 수도 있다. 또한 오디오 처리부(150)는 제어부(190)의 제어 하에, 오디오 신호를 무선통신부(140)의 블루투스 모듈로 출력할 수도 있다. 즉 블루투스 모듈을 통해 이동 단말(100)이 무선 이어폰에 연결된 경우, 오디오 신호는 블루투스 모듈을 통해 무선 이어폰으로 출력될 수도 있다.
마이크(MIC)는 사람이나 기타 소리원(sound source)들로부터 전달된 음파를 오디오 신호로 변환한다. 오디오 처리부(150)는 마이크(MIC)으로부터 수신한 오디오 신호를 디지털로 A/D 변환한 후 제어부(190)로 전달한다.
이어잭(160)은 이어폰(또는 헤드폰, 헤드셋)이 연결되면, 연결되었음을 알리는 신호를 제어부(190)로 전달한다. 또한 이어잭(160)은 이어폰이 분리되면 이를 알리는 신호를 제어부(190)로 전달한다. 이에 따라 제어부(190)는 이어폰의 연결 상태를 인식하고, 이어폰이 이어잭(160)에 연결된 경우 오디오 신호의 출력단을 이어잭(160)으로 하도록 오디오 처리부(150)를 제어할 수 있다.
이어잭(160)은 오디오 처리부(150)로부터 수신한 오디오 신호를, 연결된 이어폰으로 전송하고, 이어폰에 구비된 마이크로부터 수신한 오디오 신호를 오디오 처리부(150)로 전송한다. 또한, 이어잭(160)은 이어폰에 구비된 키로부터 키 이벤트를 수신하고, 이를 제어부(190)로 전달한다. 예컨대, 사용자가 이어폰 키를 두 번 누르면, 본 발명에 따른 음성 대화 서비스 어플리케이션(131)이 실행될 수 있다.
센서부(170)는 물리량(예, 광량, 속도, 가속도, 고도, 중력 등)이나 그 변화를 감지하고, 감지 정보를 생성하여 제어부(190)로 전달한다. 예컨대, 센서부(170)는 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 조도 센서(illuminance sensor), 방향 센서(orientation sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor) 및 이미지 센서(image sensor) 등과 같은 다양한 센서들을 포함할 수 있다.
GPS 수신부(180)는 제어부(190)의 제어에 따라, 세 개 이상의 GPS 위성이 송신한 송신 시간을 포함하는 GPS 신호를 수신하고, 송신 시간과 GPS 신호가 수신된 수신 시간의 시간 차이를 이용하여 GPS 수신부(; 즉, 이동 단말(100))와 각각의 위성들 간의 거리를 계산하며, 이렇게 계산된 거리 정보를 이용하여 이동 단말(100)의 위치 즉, 2차원 좌표값(위도/경도)를 계산하며, 계산된 위치 정보를 제어부(190)로 전달한다. 여기서 이러한 계산 기능은 제어부(190) 예컨대, AP에서 수행될 수도 있다.
제어부(190)는 이동 단말(100)의 전반적인 동작 및 이동 단말(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행하고, 배터리에서 상기 구성들로의 전원 공급을 제어한다.
제어부(190)는 하나 이상의 중앙처리유닛(Central Processing Unit; CPU)을 포함한다. 주지된 바와 같이 CPU는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. CPU는 데이터나 명령을 일시 저장하는 각종 레지스터들을 포함한다. 제어부(190)는 하나 이상의 그래픽처리유닛(Graphic Processing Unit; GPU)을 포함할 수 있다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU과 GPU는 각각, 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 집적 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 즉 CPU들은 하나의 멀티 코어 프로세서로 통합된 것일 수 있다. 또한 다수의 GPU들도 하나의 멀티 코어 프로세서로 통합된 것일 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC; System on Chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수 있다. 한편 어플리케이션 프로세서(Application Processor; AP)는 CPU 및 GPU를 포함할 수 있다. 나아가, AP는 ISP를 더 포함할 수도 있다.
제어부(190)는 메인메모리(main memory unit) 예컨대, 램(RAM)을 포함한다. 메인메모리는 저장부(130)로부터 로딩된 각종 프로그램 예컨대, 부팅 프로그램, 운영체제 및 어플리케이션들을 저장한다. 제어부(190)로 배터리의 전원이 공급되면 먼저 부팅 프로그램이 제어부(190)의 메인메모리(main memory unit)으로 로딩(loading)된다. 이러한 부팅 프로그램은 운영체제를 메인메모리로 로딩한다. 운영체제는 어플리케이션들을 메인메모리로 로딩한다. 제어부(190)(예컨대, AP)는 이와 같은 프로그램에 액세스하여 프로그램의 명령어를 해독하고, 해독 결과에 따른 기능(예컨대, 음성 대화 서비스)을 실행한다. 또한 제어부(190)는 저장부(130)에 기록(write)할 데이터를 임시 저장하고 저장부(130)로부터 읽어 온(read) 데이터를 임시 저장하는 캐시메모리를 포함한다.
제어부(190)는, 음성 대화 서비스의 요청을 검출하면, 음성 대화 서비스 어플리케이션(131)을 실행하고, 인사 메시지를 청각적인 피드백과 시각적인 피드백으로 제공할 수 있다. 또한, 음성 대화 서비스의 운영 모드가 운전 모드인 경우 제어부(190)는 교통 정보, 날씨 정보 등과 같은 부가 정보를 수집할 수 있다. 예컨대, 제어부(190)는 해당 정보를 제공하는 서버에 접속하여 서버로부터 정보를 수신하도록 무선통신부(140)를 제어한다. 제어부(190)는 무선통신부(140)로부터 수신한 부가 정보를 기본 인사말과 함께(예컨대, "비가 오고 있으니 안전 운전 하세요") 제공할 수 있다.
제어부(190)는 사용자가 운전 중인지 여부를 결정한다. 일례로, 제어부(190)는 운영 모드 정보를 저장부(130)에서 확인한다. 확인 결과 운영 모드 정보가 '운전 모드'인 경우 제어부(190)는 사용자가 운전 중인 것으로 결정한다. 즉 사용자가 직접 음성 대화 서비스의 운영 모드를 운전 모드로 설정할 수 있다.
다른 예로, 음성 대화 서비스 어플리케이션(131)이 실행 중이면 제어부(190)는 감지 정보를 생성하도록 센서부(170)를 제어한다. 제어부(190)는 센서부(170)로부터 감지 정보를 수신하고, 이를 이용하여 스피드, 이동 방향, 가속도 등을 계산한다. 제어부(190)는 계산한 값을 이용하여 운전 중인지 여부를 결정한다. 예컨대, 스피드가 40km/h 이상이고, 이동 방향이 미리 정해진 시간 동안(예, 3초) 일정한 경우, 제어부(190)는 사용자가 운전 중인 것으로 결정한다.
또 다른 예로, 제어부(190)는 지도 정보 및 2차원 좌표값(위도/경도)을 이용하여 사용자가 운전 중인지 여부를 결정한다. 제어부(190)는 이와 같은 지도 정보 및 2차원 좌표값(위도/경도)을 통해 사용자(즉, 이동 단말(100))의 위치를 인식한다. 만약 사용자가 전철을 타고 있는 것으로 인식되면 제어부(190)는 스피드와 상관없이 사용자가 운전 중이 아닌 것으로 결정한다.
또 다른 예로, 제어부(190)는 무선으로 연결된 외부 장치의 식별 정보를 이용하여 사용자가 운전 중인지 여부를 결정한다. 예컨대, 블루투스 모듈에 연결된 외부 장치의 식별 정보가 '차량'을 나타내는 경우, 제어부(190)는 사용자가 차량에 탑승 중인 것으로 결정한다. 이 상태에서 스피드가 40km/h 이상이면, 제어부(190)는 사용자가 운전 중인 것으로 결정한다.
이동 단말(100)의 사용자가 운전 중인 것으로 결정되면 제어부(190)는 음성 대화 서비스의 운영 모드를 운전 모드로 설정한다.
음성 대화 서비스의 운영 모드가 운전 모드로 설정되면 제어부(190)는 스피커(SPK)에서 출력되는 소리의 음량을 최대값으로 설정할 수 있다. 이에 따라 TTS 피드백은 최대 음량으로 출력된다. 사용자는 엔진 소리 등과 같은 주변 소음 속에서도 TTS 피드백을 잘 들을 수 있다. 그러나, 오디오의 출력단이 스피커가 아닌 이어폰(예컨대, 이어잭(160)에 연결된 이어폰 또는 블루투스 모듈에 연결된 무선 이어폰)인 경우, 음량은 상향 조정되지 않고 그대로 유지될 수 있다.
음성 대화 서비스의 운영 모드가 운전 모드로 설정된 상태에서 제어부(190)는, TTS 피드백의 양이 미리 설정된 임계치를 초과할 경우, 그 재생 속도를 2배속으로 설정할 수 있다. 이에 따라, 예컨대 TTS 피드백의 량이 100자 이상인 경우, TTS 피드백은 2배속으로 재생된다. 사용자는 지루함이 없이 TTS 피드백을 빠르게 청취할 수 있다. 또한 제어부(190)는 TTS 피드백의 중요도(verbosity)를 "고(high)"로 설정한다. 이에 따라, 상세 정보(detailed information)가 TTS 피드백으로 제공되고 요약 정보(simple information)가 GUI 피드백으로 제공된다. 이때, 예컨대, 스피드가 100km/h인 경우, 요약 정보마저도 GUI 피드백으로 제공되지 않을 수도 있다.
한편, 이동 단말(100)은 진동 모터, 액세서리 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 여기서 액세서리는 이동 단말(100)로부터 분리가 가능한 이동 단말(100)의 부속품으로써 예컨대, 터치를 위한 펜이 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 운전 모드 설정 방법을 설명하기 위한 흐름도이다. 도 3a 및 도 3b는 운전 모드 설정 화면의 일례이다.
도 2를 참조하면, 단계 210에서 제어부(190)는 음성 대화 서비스의 요청이 검출되는지 여부를 결정한다. 여기서 요청은 예컨대, 사용자가 홈 키를 두 번 누름, 사용자가 이어폰 키를 두 번 누름 등이 될 수 있다. 음성 대화 서비스의 요청이 검출된 경우 제어부(190)는 음성 대화 서비스 어플리케이션(131)을 실행한다. 즉 제어부(190)는 음성 대화 서비스 어플리케이션(131)을 메인메모리로 로딩시키고, 메인메모리로 로딩된 음성 대화 서비스 어플리케이션(131)에 액세스하여 프로그램의 명령어를 해독하고, 해독 결과에 따른 기능을 실행한다. 예컨대, 표시부(110)는 제어부(190)의 제어 하에, 마이크 모양의 아이콘을 포함하는 서비스 이미지를 표시한다. 오디오 처리부(150)는 제어부(190)의 제어 하에, 인사(greeting) 메시지를 스피커(SPK), 이어잭(160) 또는 블루투스 모듈로 출력한다.
또한, 제어부(190)는 음성 대화 서비스의 요청이 검출되면 센서부(170)를 활성화한다. 이에 따라 센서부(170)는 감지 정보를 생성하여 제어부(190)로 전달한다. 물론, 센서부(170)는 그 전부터 활성화 상태일 수 있다.
단계220에서 제어부(190)는 사용자가 운전 중인지 여부를 결정한다. 일례로, 도 3a 및 도 3b를 참조하면, 표시부(110)는 제어부(190)의 제어 하에, 음성 대화 서비스의 환경 설정 메뉴를 표시한다. 사용자가 환경 설정 메뉴에서 비활성화 상태(예컨대, 연한 색상; 도 3a 참조)인 온(ON) 버튼(310)을 터치하면, 제어부(190)는 이러한 터치를 터치패널(111)로부터 검출한다. 이와 같이 비활성화 상태인 온(ON) 버튼(310)에 대한 터치가 검출되면 제어부(190)는 사용자가 운전 중인 것으로 결정한다.
사용자가 운전 중인 것으로 결정되면 단계 230에서 제어부(190)는 음성 대화 서비스의 운영 모드를 운전 모드로 설정한다. 예컨대, 제어부(190)는, 온(ON) 버튼(310)에 대한 터치에 응답하여, 온(ON) 버튼(310)을 활성화 상태(예, 짙은 색상; 도 3b 참조)로 표시하도록 표시부(110)를 제어한다. 또한, 제어부(190)는, 온(ON) 버튼(310)에 대한 터치에 응답하여, 음성 대화 서비스의 운영 모드를 운전 모드로 설정한다.
사용자가 운전 중이 아닌 것으로 결정되면 단계 240에서 제어부(190)는 음성 대화 서비스의 운영 모드를 비운전 모드로 설정한다. 일례로, 오프(OFF) 버튼(320)이 활성화 상태이면 제어부(190)는 사용자가 운전 중이 아닌 것으로 결정하고, 음성 대화 서비스의 운영 모드를 비운전 모드로 설정할 수 있다.
한편, 음성 대화 서비스의 운영 모드는 자동으로 설정될 수 있다. 예컨대, 표시부(110)는 제어부(190)의 제어 하에, "자동 변경" 버튼을 표시할 수 있다. 사용자가 비활성화 상태(예컨대, 체크박스가 체크되어 있지 않은 상태)인 "자동 변경" 버튼을 터치하면, 제어부(190)는 이러한 터치를 터치패널(111)로부터 검출하고, '자동 변경' 버튼을 활성화 상태(예컨대, 체크박스가 체크되어 있는 상태)로 표시하도록 표시부(110)를 제어한다. 이와 같이 자동 변경 버튼이 활성화 상태이면, 단계 220에서 제어부(190)는 센서부(170)로부터 수신한 감지 정보, GPS 수신부(180)로부터 수신한 GPS 정보, 무선통신부(140)로부터 수신한(또는 저장부(130)에 저장된) 지도 정보 등을 이용하여 사용자가 운전 중인지 여부를 결정할 수 있다. 예컨대, 계산된 스피드가 40km/h 이상이고, 이동 방향이 미리 정해진 시간 동안(예, 3초) 일정한 경우, 제어부(190)는 사용자가 운전 중인 것으로 결정하고 단계 230으로 진행하여 음성 대화 서비스의 운영 모드를 운전 모드로 설정할 수 있다. 반면, 계산된 스피드가 40km/h 미만이면 제어부(190)는 사용자가 운전 중이 아닌 것으로 결정하고 단계 240으로 진행하여 음성 대화 서비스의 운영 모드를 비운전 모드로 설정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 음성 대화 서비스 제공 방법을 설명하기 위한 흐름도이다. 도 5a는 음성 대화 서비스가 비운전 모드일 때 표시되는 메시지의 일례이고, 도 5b는 음성 대화 서비스가 운전 모드일 때 표시되는 메시지의 일례이다.
도 4를 참조하면, 단계 410에서 제어부(190)는 음성 대화 서비스를 실행하고 그 운영 모드를 운전 모드로 설정한다.
음성 대화 서비스가 실행 중이고 그 운영 모드가 운전 모드로 설정된 상태에서, 단계 420에서 제어부(190)는 무선통신부(140)로부터 메시지를 수신할 수 있다. 이러한 메시지는 예컨대, 통화 연결 요청 메시지, 문자 메시지, SNS(Social Network Service) 메시지, 어플리케이션 업데이트 안내 메시지 등 다양하다.
이와 같은 메시지가 수신되면 단계 430에서 제어부(190)는 운전 모드 설정 정보(132)를 참조하여 수신 메시지를 TTS 피드백 및 GUI 피드백으로 제공한다. 구체적으로, 제어부(190)는 수신 메시지를 음성 메시지로 변환하고, 음성 메시지를 스피커(SPK)로 출력하도록 오디오 처리부(150)를 제어한다. 이때, 제어부(190)는 스피커(SPK)의 음량이 상향(예, 최대 출력) 조정되도록 오디오 처리부(150)를 제어할 수 있다. 하지만 오디오 신호가 이어잭(160)으로 출력되는 경우, 제어부(190)는 음량을 상향 조정하지 않는다. 블루투스 모듈에 연결된 외부 장치가 무선 이어폰으로 식별되고 오디오 신호가 무선 이어폰으로 출력되는 경우, 제어부(190)는 음량을 상향 조정하지 않을 수도 있다. 또한, 제어부(190)는 TTS 피드백의 량이 임계치를 초과하는 경우(100글자 이상), TTS 피드백의 재생 속도가 2배속이 되도록 오디오 처리부(150)를 제어할 수 있다. TTS 피드백의 재생이 길어지면, 사용자는 운전에 집중할 수 없다. 또한, 사용자는 피드백에 대해 지루함을 느낄 수 있다. 또한, 들은 정보를 기억하지 못할 수도 있다. 따라서 사용자가 운전하는 상황에서는 피드백을 너무 길지 않게 적정한 속도로 제공하는 것이 안전 운전에 도움이 될 수 있다.
한편, 음성 대화 서비스가 실행 중이고 그 운영 모드가 운전 모드로 설정된 상태에서 메시지가 수신되면, 제어부(190)는 수신 메시지를 요약 정보로 요약한다. 예를 들면, 제어부(190)는 수신 메시지에서 시간, 장소, 이름 등과 관련된 단어들을 추출한다. 제어부(190)는 추출된 단어(예컨대, 제임스)를 미리 설정된 안내 문구(예컨대, 메시지, 수신)와 조합하여 요약 정보를 생성한다. 제어부(190)는 도 5a에 도시된 바와 같이, 요약 정보(510)를 표시하도록 표시부(110)를 제어한다. 또한, 제어부(190)는 요약 정보(510)를 화면 중앙에(또는 화면 전체에) 표시하도록 표시부(110)를 제어할 수 있다. 제어부(190)는 요약 정보(510)의 글자 크기를 최대로 하여 표시하도록 표시부(110)를 제어할 수 있다. 또한 제어부(190)는 글자를 굵게 표시하도록 표시부(110)를 제어할 수도 있다. 도 5b는 비 운전 모드일 때 표시되는, 수신 메시지와 관련된 정보이다. 도 5b와 비교해보면, 도 5a가 가독성이 높은 것을 알 수 있다. 따라서 사용자는 요약 정보(510)를 토대로 수신 메시지의 의미를 짧은 시간에 직관적으로 인식할 수 있다. 물론, 이러한 GUI 피드백은 생략될 수도 있다.
도 6은 본 발명의 다른 실시예에 따른 음성 대화 서비스 제공 방법을 설명하기 위한 흐름도이다. 도 7a는 음성 대화 서비스가 비운전 모드일 때 표시되는 GUI 피드백의 일례이고, 도 7b는 음성 대화 서비스가 운전 모드일 때 표시되는 GUI 피드백의 일례이다.
도 6을 참조하면, 단계 610에서 제어부(190)는 음성 대화 서비스를 실행하고 그 운영 모드를 운전 모드로 설정한다.
음성 대화 서비스가 실행 중이고 그 운영 모드가 운전 모드로 설정된 상태에서, 단계 620에서 제어부(190)는 오디오 처리부(150)를 통해 마이크(MIC)(또는 이어폰의 마이크)로부터 음성 데이터(예, 내일 일정 알려줘")를 검출할 수 있다.
이와 같이 음성 데이터가 검출되면 단계 630에서 제어부(190)는 음성 데이터에 해당되는 기능을 수행할 수 있다. 구체적으로, 제어부(190)는 우선 음성 데이터를 텍스트로 변환한다. 제어부(190)는 텍스트의 의미를 추론할 수 있다. 또는, 제어부(190)는 텍스트를 서버로 전달하여 그 의미를 추론하게 할 수도 있다. 추론이 성공되면 제어부(190)는 그 의미에 해당되는 기능을 수행한다. 예컨대, 제어부(190)는 저장부(130)에 저장된(또는 데이터베이스 서버에 저장된) 캘린더 정보에서 2월 25일 일정을 검색한다.
단계 640에서 제어부(190)는 운전 모드 설정 정보(132)를 참조하여 수행 결과물(예, 2월 25일 일정)을 TTS 피드백 및 GUI 피드백으로 제공한다. 구체적으로, 제어부(190)는 수행 결과물을 음성 메시지로 변환하고, 음성 메시지를 스피커(SPK)로 출력하도록 오디오 처리부(150)를 제어한다. 이때, 제어부(190)는 스피커(SPK)의 음량이 상향(예, 최대 출력) 조정되도록 오디오 처리부(150)를 제어할 수 있다. 또한, 제어부(190)는 TTS 피드백의 량이 임계치를 초과하는 경우(100글자 이상), TTS 피드백의 재생 속도가 2배속이 되도록 오디오 처리부(150)를 제어할 수 있다.
한편, 음성 대화 서비스가 실행 중이고 그 운영 모드가 운전 모드로 설정된 상태인 경우, 제어부(190)는 수행 결과물을 요약 정보로 요약한다. 예를 들면, 제어부(190)는 수행 결과물에서 시간, 장소, 이름 등과 관련된 단어들을 추출한다. 제어부(190)는 추출된 단어(예컨대, 오전 10시, 강남구, 세미나)를 미리 설정된 안내 문구(예컨대, 일정 정보)와 조합하여 요약 정보를 생성한다. 제어부(190)는 도 7a에 도시된 바와 같이, 요약 정보(710)를 표시하도록 표시부(110)를 제어한다. 또한 제어부(190)는 요약 정보(710)의 글자 크기를 최대로 하여 표시하도록 표시부(110)를 제어할 수 있다. 도 7b는 비 운전 모드일 때 표시되는, 일정 정보와 관련된 정보이다. 도 7b와 비교해보면, 도 7a가 상세하지는 않지만 가독성이 높은 것을 알 수 있다. 따라서 사용자는 요약 정보(710)를 토대로 수신 메시지의 의미를 짧은 시간에 직관적으로 인식할 수 있다. 물론, 이러한 GUI 피드백은 생략될 수도 있다.
상술한 바와 같은 본 발명에 따른 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다. 또한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media)와, CD-ROM, DVD와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 롬(ROM)과, 램(RAM)과, 플래시 메모리 등과 같은 하드웨어 장치가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다. 하드웨어 장치는 본 발명을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
본 발명에 따른 방법 및 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.
100: 이동 단말
110: 표시부 111: 터치 패널
120: 키입력부 130: 저장부
131: 음성 대화 서비스 어플리케이션
132: 운전 모드 설정 정보
140: 무선통신부 150: 오디오 처리부
160: 이어잭 170: 센서부
180: GPS 수신부 190: 제어부

Claims (16)

  1. 휴대 전자 장치를 동작시키는 방법에 있어서,
    상기 휴대 전자 장치의 센서부로부터 감지 정보를 수신하는 동작;
    상기 감지 정보를 이용하여 음성 대화 서비스의 운영 모드를 운전 모드로 설정할지 여부를 결정하는 동작; 및
    상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 것에 기반하여, 상기 휴대 전자 장치의 메모리에 저장된 운전 모드 설정 정보를 이용하여 청각적인 피드백을 제공하는 동작을 포함하고,
    상기 청각적인 피드백을 제공하는 동작은,
    상기 청각적인 피드백의 량이 미리 설정된 임계치보다 많은지 여부를 판단하는 동작; 및
    상기 청각적인 피드백의 량이 상기 임계치보다 많은 것에 기반하여, 상기 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 재생 속도보다 상기 청각적인 피드백의 재생 속도를 높이는 동작을 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 청각적인 피드백을 제공하는 동작은,
    상기 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 음량보다 상기 청각적인 피드백의 음량을 높이는 동작을 더 포함하는 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 것에 기반하여, 상기 운전 모드 설정 정보를 이용하여 시각적인 피드백을 제공하는 동작을 더 포함하는 방법.
  5. 제 4 항에 있어서,
    상기 시각적인 피드백을 제공하는 동작은,
    정보를 요약하고, 상기 요약된 정보를 상기 시각적인 피드백으로 제공하는 동작을 포함하는 방법.
  6. 제 4 항에 있어서,
    상기 시각적인 피드백을 제공하는 동작은,
    상기 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 폰트의 크기보다 상기 시각적인 피드백의 폰트를 크게 하는 동작을 더 포함하는 방법.
  7. 휴대 전자 장치를 동작시키는 방법에 있어서,
    상기 휴대 전자 장치의 무선 통신부를 통해 메시지를 수신하는 동작;
    상기 메시지를 청각적인 피드백으로 변환하는 동작; 및
    음성 대화 서비스의 운영 모드가 운전 모드인 것에 기반하여, 상기 휴대 전자 장치의 메모리에 저장된 운전 모드 설정 정보를 이용하여 상기 청각적인 피드백을 제공하는 동작을 포함하고,
    상기 운전 모드 설정 정보는 상기 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 상기 청각적인 피드백의 재생 속도에 관한 정보를 포함하고,
    상기 청각적인 피드백을 제공하는 동작은,
    상기 청각적인 피드백의 량이 미리 설정된 임계치보다 많은지 여부를 판단하는 동작; 및
    상기 청각적인 피드백의 량이 상기 임계치보다 많은 것에 기반하여, 상기 설정된 재생 속도보다 상기 청각적인 피드백의 재생 속도를 높이는 동작을 포함하는 방법.
  8. 제 7 항에 있어서,
    상기 운전 모드 설정 정보는,
    스피커의 음량 설정 값, 화면의 색상 설정 값, 및 화면의 밝기 설정 값 중 적어도 하나를 더 포함하는 방법.
  9. 휴대 전자 장치를 동작시키는 방법에 있어서,
    상기 휴대 전자 장치의 마이크로부터 음성 데이터를 검출하는 동작;
    상기 음성 데이터에 해당되는 기능을 수행하는 동작;
    상기 기능의 수행에 따른 결과물을 청각적인 피드백으로 변환하는 동작; 및
    음성 대화 서비스의 운영 모드가 운전 모드인 것에 기반하여, 상기 휴대 전자 장치의 메모리에 저장된 운전 모드 설정 정보를 이용하여 상기 청각적인 피드백을 제공하는 동작을 포함하고,
    상기 운전 모드 설정 정보는 상기 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 상기 청각적인 피드백의 재생 속도에 관한 정보를 포함하고,
    상기 청각적인 피드백을 제공하는 동작은,
    상기 청각적인 피드백의 량이 미리 설정된 임계치보다 많은지 여부를 판단하는 동작; 및
    상기 청각적인 피드백의 량이 상기 임계치보다 많은 것에 기반하여, 상기 설정된 재생 속도보다 상기 청각적인 피드백의 재생 속도를 높이는 동작을 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 운전 모드 설정 정보는,
    스피커의 음량 설정 값, 화면의 색상 설정 값, 및 화면의 밝기 설정 값 중 적어도 하나를 더 포함하는 방법.
  11. 휴대 전자 장치에 있어서,
    마이크;
    스피커;
    상기 마이크 및 상기 스피커로부터 수신한 신호를 처리하는 오디오 처리부;
    운전 모드 설정 정보를 저장하는 메모리;
    물리량을 감지하는 센서부; 및
    상기 마이크, 상기 스피커, 상기 메모리, 상기 오디오 처리부 및 상기 센서부에 연결된 프로세서를 포함하고,
    상기 운전 모드 설정 정보는 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 청각적인 피드백의 재생 속도에 관한 정보를 포함하고
    상기 프로세서는,
    센서부로부터 감지 정보를 수신하고,
    상기 감지 정보를 이용하여 상기 음성 대화 서비스의 운영 모드를 운전 모드로 설정할지 여부를 결정하고,
    상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 것에 기반하여, 청각적인 피드백의 량이 미리 설정된 임계치보다 많은지 여부를 판단하고,
    상기 청각적인 피드백의 량이 상기 임계치보다 많은 것에 기반하여, 상기 설정된 재생 속도보다 상기 청각적인 피드백의 재생 속도를 높여서 상기 청각적인 피드백을 제공하도록 구성된 휴대 전자 장치.
  12. 제 11 항에 있어서,
    상기 운전 모드 설정 정보는 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 상기 청각적인 피드백의 음량에 관한 정보를 더 포함하되,
    상기 프로세서는, 상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 것에 기반하여, 상기 설정된 음량보다 상기 청각적인 피드백의 음량을 높이도록 구성된 휴대 전자 장치.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 프로세서는,
    상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 것에 기반하여, 상기 운전 모드 설정 정보를 이용하여 시각적인 피드백을 제공하도록 구성된 휴대 전자 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    정보를 요약하고, 상기 요약된 정보를 상기 시각적인 피드백으로 제공하도록 구성된 휴대 전자 장치.
  16. 제 14 항에 있어서,
    상기 운전 모드 설정 정보는 음성 대화 서비스의 운영 모드가 비운전 모드일 때 설정된 상기 시각적인 피드백의 폰트 크기에 관한 정보를 더 포함하되,
    상기 프로세서는, 상기 음성 대화 서비스의 운영 모드가 상기 운전 모드로 설정된 것에 기반하여, 상기 설정된 폰트 크기보다 상기 시각적인 피드백의 폰트를 크게 하도록 구성된 휴대 전자 장치.
KR1020130019494A 2013-02-22 2013-02-22 음성 대화 서비스 제공 방법 및 이동 단말 KR102056177B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130019494A KR102056177B1 (ko) 2013-02-22 2013-02-22 음성 대화 서비스 제공 방법 및 이동 단말
US14/183,945 US9361062B2 (en) 2013-02-22 2014-02-19 Method for providing a voice-speech service and mobile terminal implementing the same
EP14155733.0A EP2770500B1 (en) 2013-02-22 2014-02-19 Method for providing a voice-speech service and mobile terminal implementing the same
CN201410060454.8A CN104007816B (zh) 2013-02-22 2014-02-21 用于提供语音-言语服务的方法和实现该方法的移动终端
US15/164,134 US10379809B2 (en) 2013-02-22 2016-05-25 Method for providing a voice-speech service and mobile terminal implementing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130019494A KR102056177B1 (ko) 2013-02-22 2013-02-22 음성 대화 서비스 제공 방법 및 이동 단말

Publications (2)

Publication Number Publication Date
KR20140105338A KR20140105338A (ko) 2014-09-01
KR102056177B1 true KR102056177B1 (ko) 2020-01-22

Family

ID=50137512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130019494A KR102056177B1 (ko) 2013-02-22 2013-02-22 음성 대화 서비스 제공 방법 및 이동 단말

Country Status (4)

Country Link
US (2) US9361062B2 (ko)
EP (1) EP2770500B1 (ko)
KR (1) KR102056177B1 (ko)
CN (1) CN104007816B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD766258S1 (en) * 2013-12-31 2016-09-13 Beijing Qinhoo Technology Co. Ltd Display screen with a graphical user interface
US9431002B2 (en) 2014-03-04 2016-08-30 Tribune Digital Ventures, Llc Real time popularity based audible content aquisition
CN106371740A (zh) * 2015-07-23 2017-02-01 中兴通讯股份有限公司 驾驶模式切换方法和装置
CN105357389A (zh) * 2015-11-20 2016-02-24 广东欧珀移动通信有限公司 一种响铃事件处理方法及装置
US9959343B2 (en) 2016-01-04 2018-05-01 Gracenote, Inc. Generating and distributing a replacement playlist
CN106251826B (zh) * 2016-07-26 2019-06-28 Oppo广东移动通信有限公司 控制方法及控制装置
CN106055116B (zh) * 2016-07-26 2019-09-06 Oppo广东移动通信有限公司 控制方法及控制装置
US11086593B2 (en) 2016-08-26 2021-08-10 Bragi GmbH Voice assistant for wireless earpieces
CN106603383A (zh) * 2016-11-30 2017-04-26 广东小天才科技有限公司 一种车载即时通讯方法及系统
US10565980B1 (en) 2016-12-21 2020-02-18 Gracenote Digital Ventures, Llc Audio streaming of text-based articles from newsfeeds
US10419508B1 (en) * 2016-12-21 2019-09-17 Gracenote Digital Ventures, Llc Saving media for in-automobile playout
US10019225B1 (en) 2016-12-21 2018-07-10 Gracenote Digital Ventures, Llc Audio streaming based on in-automobile detection
US10708725B2 (en) 2017-02-03 2020-07-07 T-Mobile Usa, Inc. Automated text-to-speech conversion, such as driving mode voice memo
KR102060775B1 (ko) 2017-06-27 2019-12-30 삼성전자주식회사 음성 입력에 대응하는 동작을 수행하는 전자 장치
US10657965B2 (en) * 2017-07-31 2020-05-19 Bose Corporation Conversational audio assistant
WO2019183062A1 (en) * 2018-03-19 2019-09-26 Facet Labs, Llc Interactive dementia assistive devices and systems with artificial intelligence, and related methods
CN110581923A (zh) * 2019-10-11 2019-12-17 华勤通讯技术有限公司 一种移动终端及其控制方法、以及计算机可读存储介质
CN111931091B (zh) * 2020-07-06 2021-07-23 广东技术师范大学 页面内容展示方法、装置、计算机设备及存储介质
EP4162233A1 (en) * 2021-08-24 2023-04-12 Google LLC Proactively activating automated assistant driving modes for varying degrees of travel detection confidence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084575A1 (ja) * 2006-12-28 2008-07-17 Mitsubishi Electric Corporation 車載用音声認識装置
US20110195758A1 (en) * 2010-02-10 2011-08-11 Palm, Inc. Mobile device having plurality of input modes

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035515A (ko) 2002-10-22 2004-04-29 엘지전자 주식회사 핸즈프리 기능을 구비한 이동통신 단말기와 그의 제어 방법
US20050004179A1 (en) * 2003-05-22 2005-01-06 Pedersen Ward A. Methods and materials for treating, detecting, and reducing the risk of developing Alzheimer's Disease
US8041020B2 (en) * 2003-07-14 2011-10-18 Cisco Technology, Inc. System and method for active mobile collaboration
KR20050077989A (ko) 2004-01-30 2005-08-04 에스케이텔레텍주식회사 운전모드에서 휴대폰 특정기능 실행 방법
WO2006063603A1 (de) * 2004-12-14 2006-06-22 Bayerische Motoren Werke Aktiengesellschaft System zur nutzung mindestens eines mobilen endgeräts in einem kraftfahrzeug
WO2009073806A2 (en) 2007-12-05 2009-06-11 Johnson Controls Technology Company Vehicle user interface systems and methods
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
JP5463922B2 (ja) * 2010-01-12 2014-04-09 株式会社デンソー 車載機
KR101385803B1 (ko) * 2010-05-20 2014-04-16 파나소닉 주식회사 본딩 툴, 전자부품 장착장치 및 본딩 툴의 제조방법
US10976784B2 (en) * 2010-07-01 2021-04-13 Cox Communications, Inc. Mobile device user interface change based on motion
US8365586B2 (en) * 2010-07-02 2013-02-05 GM Global Technology Operations LLC Method of monitoring soot mass in a particulate filter and monitoring system for same
KR101755376B1 (ko) 2010-12-23 2017-07-26 엘지전자 주식회사 음성 명령 기능을 이용한 이동단말기 제어 방법 및 그 이동단말기
TWI512539B (zh) * 2012-03-30 2015-12-11 Hon Hai Prec Ind Co Ltd 模式管理系統及其管理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084575A1 (ja) * 2006-12-28 2008-07-17 Mitsubishi Electric Corporation 車載用音声認識装置
US20110195758A1 (en) * 2010-02-10 2011-08-11 Palm, Inc. Mobile device having plurality of input modes

Also Published As

Publication number Publication date
US9361062B2 (en) 2016-06-07
EP2770500A3 (en) 2014-12-24
KR20140105338A (ko) 2014-09-01
EP2770500A2 (en) 2014-08-27
CN104007816A (zh) 2014-08-27
US20160266872A1 (en) 2016-09-15
CN104007816B (zh) 2018-10-12
US20140245155A1 (en) 2014-08-28
US10379809B2 (en) 2019-08-13
EP2770500B1 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
KR102056177B1 (ko) 음성 대화 서비스 제공 방법 및 이동 단말
KR102032449B1 (ko) 이미지 표시 방법 및 휴대 단말
US20190258397A1 (en) User terminal device and control method thereof
KR102056175B1 (ko) 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
US10683015B2 (en) Device, method, and graphical user interface for presenting vehicular notifications
KR102064952B1 (ko) 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
KR102083209B1 (ko) 데이터 제공 방법 및 휴대 단말
KR102044826B1 (ko) 마우스 기능 제공 방법 및 이를 구현하는 단말
KR102190904B1 (ko) 윈도우 제어 방법 및 이를 지원하는 전자장치
KR20150006180A (ko) 채팅 창 제어 방법 및 이를 구현하는 전자 장치
US10181830B2 (en) Method and apparatus for playing content
KR102022288B1 (ko) 터치 입력 방법 및 휴대 단말
KR20140105689A (ko) 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
US20150128031A1 (en) Contents display method and electronic device implementing the same
US20140164186A1 (en) Method for providing application information and mobile terminal thereof
US10206073B2 (en) Method and apparatus for performing call switching
KR20150022237A (ko) 긴급 재난 메시지에 의한 모드 전환 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20140105354A (ko) 터치 감응 유저 인터페이스를 포함하는 전자장치
KR102076193B1 (ko) 이미지 표시 방법 및 휴대 단말
KR102191376B1 (ko) 이미지 표시 방법 및 휴대 단말
KR20140032851A (ko) 터치 입력 처리 방법 및 휴대 단말
KR20140029827A (ko) 이미지 처리 방법 및 휴대 단말

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant