KR20150053339A - 전자 디바이스의 입력 처리 방법 및 장치 - Google Patents

전자 디바이스의 입력 처리 방법 및 장치 Download PDF

Info

Publication number
KR20150053339A
KR20150053339A KR1020130135128A KR20130135128A KR20150053339A KR 20150053339 A KR20150053339 A KR 20150053339A KR 1020130135128 A KR1020130135128 A KR 1020130135128A KR 20130135128 A KR20130135128 A KR 20130135128A KR 20150053339 A KR20150053339 A KR 20150053339A
Authority
KR
South Korea
Prior art keywords
input
voice
input mode
mode
command
Prior art date
Application number
KR1020130135128A
Other languages
English (en)
Inventor
곽성민
황수지
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130135128A priority Critical patent/KR20150053339A/ko
Priority to US14/531,237 priority patent/US20150133197A1/en
Publication of KR20150053339A publication Critical patent/KR20150053339A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Abstract

본 발명은 전자 디바이스의 입력 처리 방법 및 장치에 관한 것으로, 본 발명의 전자 디바이스의 입력 처리 방법은 입력 모드에서, 입력 영역과 표시 영역을 포함하는 입력 모드 화면을 표시하는 동작, 상기 입력 영역을 통한 터치 입력 또는 음성 입력 중 적어도 하나의 입력이 감지되는지 여부를 판단하는 동작, 및 상기 판단 결과에 따라, 상기 터치 입력 또는 음성 입력을 처리하여 표시하는 동작을 포함하는 것을 특징으로 한다.

Description

전자 디바이스의 입력 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AN INPUT OF ELECTRONIC DEVICE}
본 발명은 전자 디바이스에 관한 것으로, 보다 구체적으로 전자 디바이스의 입력 처리 방법 및 장치에 관한 것이다.
음성 인식(Speech Recognition)이란 사람이 말하는 음성 정보를 컴퓨터가 해석하여 그 내용을 문자 정보(데이터)로 전환 하는 처리 기술을 지칭한다. 상기 음성 인식은 키보드 대신 언어로 문자를 입력하는 방식으로 최근의 가장 주목 받고 있는 인터페이스 중 하나이다.
스마트폰의 음성인식 기술발전으로, 관련 응용기술이 다양하게 적용되고 있다. 예를 들어, 사용자의 음성 명령을 인식하고 웹과 온라인 서비스를 검색해 답변을 제공하는 인공지능형 음성인식 서비스를 제공하거나, 또는 전화 걸기, 문자 전송, 메일 작성, 메모, 일정 예약, 알람, 지도 검색 등을 음성으로 수행할 수 있는 서비스 등이 그것이다.
이러한 음성 인식 서비스는 음성을 텍스트로 변환하는 STT(Speech To Text) 기능에서 출발한다. 예컨대, 전자 디바이스에서 STT(Speech To Text) 기능을 이용하여 문자 메시지(Text Message), 이메일 등의 전자문서를 작성할 수 있도록 함으로써 사용자가 텍스트를 간편하게 입력할 수 있도록 한다.
종래 기술의 음성 인식 서비스에 따르면, 음성 입력 시 문장 부호 입력과 문자 정보 입력의 구분이 모호하거나, 또는 음성 입력 모드에서 명령어 수행과 문자 정보 입력의 구분이 모호하다는 문제점이 있었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 전자 디바이스의 입력 처리 방법은 입력 모드에서, 입력 영역과 표시 영역을 포함하는 입력 모드 화면을 표시하는 동작, 상기 입력 영역을 통한 터치 입력 또는 음성 입력 중 적어도 하나의 입력이 감지되는지 여부를 판단하는 동작, 및 상기 판단 결과에 따라, 상기 터치 입력 또는 음성 입력을 처리하여 표시하는 동작을 포함하는 것을 특징으로 한다.
또한, 본 발명의 전자 디바이스는 문자 정보 또는 기호 정보를 표시하는 표시부, 사용자 입력을 수신하는 입력부, 음성을 입력받는 마이크, 및 입력 모드에서 입력 영역과 표시 영역을 포함하는 입력 모드 화면을 표시하고, 상기 입력 영역을 통한 터치 입력 또는 음성 입력 중 적어도 하나의 입력이 감지되는지 여부를 판단하며, 상기 판단 결과에 따라 상기 터치 입력 또는 음성 입력을 처리하여 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 전자 디바이스의 입력 모드 전환 방법은 입력 모드에 진입하는 동작, 입력 모드 전환을 위한 모션 입력이 감지되는지 판단하는 동작, 및 감지되는 경우, 상기 감지된 입력에 대응하는 입력 모드로 전환하는 동작을 포함하는 것을 특징으로 한다.
그리고 본 발명의 전자 디바이스는 문자 정보 또는 기호 정보를 표시하는 표시부, 사용자 입력을 수신하는 입력부, 음성을 입력받는 마이크, 모션(motion)을 감지하는 센서부, 및 입력 모드에 진입 시 입력 모드 전환을 위한 모션 입력이 감지되는지 판단하고, 감지되는 경우 상기 감지된 입력에 대응하는 입력 모드로 전환하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 입력 모드에서 음성 정보 및 입력 정보를 모두 인식하여, 인식된 음성 정보 및 입력 정보를 문자 또는 기호로 변환하여 출력할 수 있다. 또한, 본 발명에 따르면 음성 입력 외에, 모션(motion)과 같은 입력을 부가적으로 사용하여 입력 모드를 용이하게 전환할 수 있다.
도 1은 종래 기술에 따른 문제점을 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 전자 디바이스의 내부 구조를 도시하는 블록도.
도 3 내지 도 5는 본 발명의 일 실시예에 따라, STT 입력 모드에서 입력 처리 방법을 도시하는 도면.
도 6은 본 발명의 일 실시예에 따른 전자 디바이스의 동작 순서를 도시하는 순서도.
도 7 및 도 8은 본 발명의 일 실시예에 따른 입력 모드 전환 방법을 도시하는 도면.
도 9는 본 발명의 일 실시예에 따른 입력 모드 전환 과정을 도시하는 순서도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
도 1은 종래 기술에 따른 문제점을 설명하기 위한 도면이다.
도 1에서는 전자 디바이스의 입력 모드에서 음성 인식 서비스(예를 들어, STT 등) 를 이용하여 "How are you?" 하나의 문장을 작성하는 예시를 도시한다. 이 경우, 상기 입력 모드는 전자 디바이스에 내장(embedded)된 어플리케이션에서 제공하는 기능일 수 있으며, 또는 어플리케이션 서버 등으로부터 사용자가 직접 다운로드 받은 어플리케이션에서 제공하는 기능일 수 있다. 예를 들어, 사용자는 단문 메시지 서비스 또는 멀티미디어 메시지 서비스 등의 입력 모드에서, 특정 문자 및 기호 등을 입력하고자 할 수 있다.
도 1에서 예시된 문장을 음성을 통해 작성하기 위해서는, 종래 음성 인식 서비스에 따르면 "How are you?"영어를 말한 후, 물음표(?)를 입력하기 위해 정확한 발음으로 "question mark"를 직접 말해야 한다. 상기한 예시 외에도, 느낌표(!), 마침표(.), 쉼표(,)를 입력하기 위해서는 각각 "exclamination mark", "period", "comma" 등을 정확한 발음으로 말해야 한다.
이와 같이, 종래의 음성 인식 서비스 이용 중, 문장 부호를 입력하기 위해서는 자동 변환되는 방법을 사용해아 한다.
상기 방법이 적절치 않은 경우, 사용자는 STT를 종료하고 기존의 키보드(또는, 키패드)를 이용하여 원하는 부호를 입력 해야 한다.
현재의 음성 입력 모드에서는 사용자가 문장 부호를 입력하려고 했는지, 문자를 입력하려고 했는지 알 수 없기 때문에, 기 등록된 키워드(keyword)를 음성으로 입력 받으면, 전자 장치는 자동으로 상기 입력받은 음성을 문장 부호로 변환하고 있다. 　
여기서 문제가 생기는데, 예를 들어 사용자가 Period라는 문자를 입력하고 싶었는데, 상기 문자가 미리 키워드로서 등록되었다면, 자동으로 마침표로 변환될 수 있다.
이와 같이, 자동으로 문장 부호를 만들어 주는 방식은사용자의 의도를 정확하게 반영할 수 없다는 문제점을 가지고 있다.
이에 따라, 사용자가 문장 부호를 입력하려는 것인지, 또는 언어를 입력하려는 것인지를 명확하게 구분할 필요가 있으며, 정확하면서도 쉽게 입력할 수 있는 방법이 필요한 실정이다.
또한, 사용자는 음성 입력 모드에서, 문장 부호뿐만 아니라, 편집을 위한 명령을 지시할 수도 있을 것이다. 하기의 표 1을 예시하여 설명하기로 한다.
1. 입력된 음성 정보
I named my pet pig cap bacon
2. 출력된 텍스트 정보
I named my pet pig Bacon
상기의 표 1에서 예시된 바와 같이, 사용자가 음성 입력 모드에서, 기 등록된 명령어 키워드인 "cap"을 음성으로 입력하면, 후속하여 입력된 단어의 첫 글자는 대문자로 입력 "Bacon" 된다.
상기한 "cap"과 같은 명령으로, new line, all caps, no space 등이 있다.
상기한 명령어 입력의 경우도, 문장 부호 입력의 경우와 동일한 문제가 있다. 예를 들어, 사용자는 문자 정보 입력을 의도하였는데, 명령어가 수행될 수 있다.
이를 방지하기 위해, 종래 사용자는 STT를 종료하고, 수동 키보드 입력 모드로 되돌아 가서, 원하는 문자를 입력해야 한다.
이메일 작성의 경우, 이미 작성된 텍스트에 대해서도 편집하기 위한 명령어도 필요할 수 있다. 기 작성된 텍스트의 일부를 지운다거나, 일부 텍스트를 bold, italic 체로 변경을 하고 싶을 수 있다.
앞으로 음성 텍스트 입력 모드에서 이러한 편집 명령이 추가 될 것이라고 예상할 수 있을 것이다.
한편, 아이콘(이모티콘) 등은 사용자 간 대화에 활력을 불어넣어주는 요소 중 하나이다. 현재 음성 입력 모드에서 아이콘(이모티콘)은 입력할 수 없다.
아이콘은 의미를 가지는 텍스트와 매칭 될 수 있다. 예를 들어, (^_^) 는 "happy"로 대체 될 수 있다. 상기한 명령어와 같이, 이를 이용하여 아이콘 입력을 제공 할 수도 있을 것이며, 이러한 경우의 아이콘 입력 방법은, 문자 정보 입력과 정확히 구분될 필요가 있을 것이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, STT 문장 입력 모드에서 문자 정보 입력, 문장 부호, 명령어(command), 이모티콘(아이콘) 입력을 정확하게 인식할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
이를 위해, 하기에서 기술될 본 발명의 실시예에서는 STT 입력 중, 문자 정보 입력, 문장 부호, 명령어, 이모티콘(아이콘)을 입력할 수 있는 수기 입력 영역(hand-write area)을 제공하는 방법을 제시한다.
또한, 이하에서 기술될 본 발명의 실시예에서는 STT 입력 중, 문자 정보 입력, 문장 부호, 명령어, 이모티콘(아이콘)을 입력하기 위한 트리거 모션(trigger motion)을 인식하는 방법을 제시한다.
　
　도 2는 본 발명의 실시예에 따른 전자 디바이스의 내부 구조를 도시하는 블록도이다.
도 2에서 도시되는 바와 같이, 본 발명의 전자 디바이스는 무선부(210), 음성 처리부(220), 표시부(230), 입력부(240), 카메라(250), 센서(260), 저장부(270), 제어부(280)를 포함할 수 있다.
무선부(210)는 전자 디바이스의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선부(210)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등을 포함할 수 있다. 또한, 무선부(210)는 무선 채널을 통해 데이터를 수신하여 제어부(280)로 출력하고, 제어부(280)로부터 출력된 데이터를 무선 채널을 통해 전송할 수 있다.
음성 처리부(220)는 마이크로 폰(MIC)를 통해 입력되는 사용자의 음성 신호는 무선부(210)를 통해 송출하기 위한 형태로 처리하고, 무선부(210)를 통해 입력되는 통화 상대방의 음성 신호나 제어부(280)에서 발생되는 각종 오디오 신호를 스피커(SPK)에서 출력할 수 있는 형태의 신호로 처리할 수 있다.
특히, 본 발명에 따른 음성 처리부(220)는 외부로부터 음성 신호를 수신하여 디지털 신호인 음성 데이터로 변환할 수 있다.
　표시부(230)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있으며, 전자 디바이스의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공할 수 있다. 표시부(230)는 전자 디바이스의 부팅 화면, 대기 화면, 메뉴 화면, 통화 화면, 기타 어플리케이션 화면을 출력하는 기능을 수행할 수 있다.
입력부(240)는 전자 디바이스를 제어하기 위한 사용자의 키 조작을 입력 받고 입력 신호를 생성하여 제어부(280)에 전달할 수 있다. 입력부(240)는 숫자 키, 방향키를 포함하는 키패드로 구성될 수 있으며, 전자 디바이스의 일면에 소정의 기능키로 형성될 수도 있다.
카메라(250)는 외부에서 입력되는 빛 정보를 수신하여 전기 신호 및 영상 신호로 출력한다. 본 발명의 실시예에 따르면, 카메라(250)는 사용자의 모션(motion) 등을 감지하고 이를 제어부(280)로 전달할 수 있다.
센서(260)는 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB(red, green, blue) 센서, 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다.
　저장부(270)는 전자 디바이스의 동작 및 상태 또는 제어부(280)의 제어 시 필요한 프로그램과 데이터를 저장할 수 있다. 또한, 저장부(270)는 각종 휘발성 및/또는 비휘발성 메모리 소자가 사용될 수 있다. 특히, 본 발명에 따른 저장부(270)는 음성인식에 의한 문자 입력 기능을 수행하기 위한 프로그램을 저장한다. 또한, 저장부(270)는 기본 음성정보 테이블과, 아이콘테이블, 문장부호 테이블, 명령어 테이블을 포함할 수 있다.
음성 정보 테이블은 각각의 음성 정보에 대응한 문자 정보를 테이블 형태로 저장할 수 있다. 대체 문자 정보는 한글, 영문 대문자, 영문 소문자로 구성되는 것이 가능하다. 상기 테이블은 도면에서와 같이 단말에 포함될 수도 있고, 또는 서버(외부)에 저장되어 사용하면서 업데이트 되는 형태로 구성될 수도 있다.
아이콘 테이블은 아이콘과 문자를 매핑한 테이블이다. 예를 들어, 사용자가 "happy"라는 음성데이터를 줄 경우, 모드에 따라 (^_^) 문자로 대체할 수 있다.
명령어 테이블 역시, 명령어와 해당 동작을 매핑한 정보를 저장하고 있다. 명령어는 텍스트 명령일수도 있고, 또는 패턴일 수도 있다.
문장 부호 테이블은 특수 문자, 기호 등의 정보가 저장된 테이블이다. 상기 문장 부호 테이블은 특수 문자, 기호와 해당 텍스트 명령이 매핑한 정보를 저장할 수 있다.
제어부(270)는 전자 디바이스가 본 발명의 실시예에 따라 동작할 수 있도록 각 블록 간 신호 흐름을 제어할 수 있다.
예를 들어, 제어부(270)는 본 발명의 일 실시예에 따라, 입력 모드에서 입력 영역과 표시 영역을 포함하는 입력 모드 화면을 표시할 수 있다. 그리고 제어부(270)는 상기 입력 영역을 통한 터치 입력 또는 음성 입력 중 적어도 하나의 입력이 감지되는지 여부를 판단하고, 상기 판단 결과에 따라 상기 터치 입력 또는 음성 입력을 처리하여 표시하도록 제어할 수 있다. 구체적으로, 제어부(270)는 터치 입력이 감지되면 상기 터치 입력에 대응되는 기호 정보를 상기 표시 영역에 표시하도록 제어할 수 있다. 또한, 제어부(270)는 음성 입력이 감지되면 상기 음성 정보를 문자 정보로 변환하여 상기 표시 영역에 표시하도록 제어할 수 있다.
종래에는 STT를 이용한 입력 모드에서는 음성을 통해서만 입력할 수 있으나, 본 발명에서는 STT를 이용한 입력 모드에서도 별도의 입력 영역을 제공하여, 음성 입력 중에도 기호 정보를 용이하게 입력할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 제어부(270)는 STT를 이용한 입력 모드에서, 모션을 감지할 수 있다. 입력 모드에서 모션을 감지하는 경우, 상기 감지된 모션에 대응하는 입력 모드로 전환하도록 제어할 수 있다. 후술하는 바와 같이, 상기 입력 모드는 문장 입력 모드, 문장 부호 입력 모드, 명령어 입력 모드 또는 아이콘 입력 모드 중 적어도 하나를 포함할 수 있다.
보다 구체적으로, 본 발명의 실시예에 따른 제어부(270)는 음성 인식 모듈(282), 음성 문자 변환 모듈(283), 터치 패턴 문자 인식 모듈(281), 모션 인식 모듈(284)을 포함할 수 있다.
　음성 인식 모듈(282)은 음성처리부(220)로부터 획득한 음성 데이터를 입력받아 음성 데이터의 음성 특징을 검출하여 음성 정보로 인식한다. 그리고 음성 문자 변환 모듈(283)은 음성 인식 모듈(282)에 의해 인식된 음성 정보를 문자 정보로 변환한다. 즉, 음성 문자 변환 모듈(283)은 음성 정보로부터 문자 정보를 획득한다.
이때, 음성 문자 변환 모듈(283)은 음성 정보를 문자 정보로 변환하기 위해, 음성 정보와 문자 정보가 매핑된 테이블을 저장한 저장부(270)의 기본 음성 정보 테이블을 참조한다. 상기 정보는 상기 도 2에서 도시된 바와 같이, 전자 디바이스 내에 포함될 수도 있고, 또는 서버(외부)에 저장되어 사용하면서 업데이트 되는 형태로 구성될 수도 있다.
획득된 문자 정보는 현재 모드에 따라 사용될 수 있다. 예를 들어, 현재 설정된 모드가 문장 입력 모드 이면, 상기 문자 정보 텍스트 그대로 사용될 수 있다. 또한, 현재 모드가 문장 부호 입력 모드이면, 입력된 음성 정보는 저장부(270)의 음성 정보 테이블(271)을 참조하여 그에 대응하는 문장 부호로 변환될 수 있다. 현재 모드가 명령어 입력 모드이면, 입력된 음성 정보는 저장부(270)의 명령어 테이블을 참조하여 그에 대응하는 명령어로 변환하고, 해당 명령어 가 실행될 수 있다. 또한, 현재 모드가 이모티콘 입력 모드이면, 입력된 음성 정보는 저장부(270)의 아이콘 테이블(272)에 기반하여 그에 대응하는 이모티콘으로 변환될 수 있다. 상기한 바와 같이, 모드를 전환하는 방법에 대해서는 후술할 모션 인식 모듈에서 설명하기로 한다.
모션 인식 모듈(284)에서는 카메라(250) 또는 센서(260)를 통해서 입력된 사용자 모션(또는, action)을 인식할 수 있다.
본 발명의 실시예에서는 상기 인식된 모션을 트리거링 포인트로 이용할 수 있다. 센서(260)는 근접함을 인식하기 위한 근접 센서를 이용할 수 있고, 동작을 인식할 수 있는 적외선 센서를 이용할 수도 있다. 특정 모션과 입력 모드에 대한 매핑 정보를 토대로, STT 모드에서 출력되는 문자 정보를 적절하게 활용할 수 있다.
STT 모드에서, 모션을 통해 트리거링 하면, 문장 부호 입력 모드로 전환되고, 문장 부호를 음성으로 입력할 수 있다. 또 다른 트리거링 동작으로 명령어 입력 모드로 전환할 수 있다. 또 다른 트리거링 동작으로 아이콘 입력 모드로 전활할 수 있다.
상기한 트리커링 포인트로 인식되는 세 동작은 동일한 또는 다른 종류의 모션 이 될 수 있다. 상기 모션에 대한 사용자 가이드를 위해 표시부(230)에서 UI(User Interface)를 통해 모션 및/또는 방향을 표시해 줄 수 있다. 상기 동작에 대해서는 이하의 해당 부분에서 도면을 참고하여 상세하게 설명하도록 한다.
　본 발명의 일 실시예에 따르면, 입력 모드에서 모션 인식을 통한 모드 전환 없이, 문장부호, 명령어, 이모티콘 등을 입력할 수 있다. 예를 들어, 터치 패턴 문자 인식 모듈(281)에서 특정 패턴이 입력되면, 문장 입력 모드 에서도 동시에 이모티콘, 문장부호를 입력하거나 명령어를 입력할 수도 있다.
본 발명의 일 실시예에 따르면, 전자 디바이스는 입력된 패턴을 문자 정보로 변환하고, 해당 문자 정보를 저장부의 아이콘 테이블, 문장 부호 테이블, 명령어 테이블에 기반하여 그에 상응하는 문자로 변환하거나 명령을 실행할 수 있다.
만약, 상기한 세 종류의 테이블에 공통분모가 있을 경우, 사용자 또는 단말이 정한 우선 순위에 따라 우선 순위가 높은 테이블에서 검색된 데이터를 사용하도록 설정할 수도 있다.
한편, 상기에서는 제어부(270)가 별도의 세부 블록들을 포함하고, 제어부 및 세부 블록들이 수행하는 기능을 별도로 기술하였으나, 이는 일 실시예에 불과할 뿐이다. 예를 들어, 하드웨어 또는 소프트웨어 적으로, 음성 인식 모듈(282)이 수행하는 기능을 제어부(270)가 직접 수행(실행)할 수도 있을 것이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라, STT 입력 모드에서 입력 처리 방법을 도시하는 도면이다.
구체적으로, 도 3 내지 도 5는 STT를 이용한 입력 모드에서 음성 입력 및, 입력 영역을 통한 터치 입력을 처리하는 방법을 도시하는 도면이다. 예를 들어, 도 3 및 도 4는 STT를 이용한 입력 모드에서 문장 부호를 입력하기 위한 해결 방안을 제시할 수 있다.
사용자가 전자 디바이스를 손에 들고 있는 일반적인 경우, 수기(handwriting)에 기반한 입력 영역(310, 410, 510)을 통한 문장 부호 입력이 가장 쉬운 방법 중 하나일 수 있다.
이를 위해, 본 발명의 실시예에 따른 전자 디바이스는 음성으로 입력되는 음성 정보는 모두 문자 정보로 변환하고, 입력 영역을 통해 입력되는 터치 입력은 특수 문자, 기호 등의 기호 정보로 변환할 수 있다.
본 발명의 일 실시예에서는 표시부, 또는 스크린(sreecn) 상의 특정 영역(310, 410, 510)을 커서 크기로 가정하고 문장 부호를 손으로 그려 입력할 수 있다. 상기 특정 영역(310, 410, 510)을 통해 입력되는 터치 입력은 기호 정보로 변환되어 STT를 이용한 입력 모드에서도 기호 정보를 손쉽게 입력할 수 있다.
또한, 엔터(enter)나 스페이스(space) 같은 입력의 경우, 특정 패턴을 매핑하여 입력할 수 있게 하거나, 별도의 소프트 버튼을 두어 선택할 수 있도록 할 수 도 있다.
수기 입력을 위한 입력 영역 설정은 도 3 및 도 4에 도시된 바와 같이, 전자 디바이스 표시부의 임의의 영역(예를 들어, 빈 영역)(310, 410)을 이용할 수 있다.
예를 들어, 상기 임의의 영역은 표시 영역 중 텍스트가 없는 부분(텍스트가 표시되지 않은 부분)일 수 있다. 또는, 본 발명의 다양한 실시예에 따르면, 사용자가 입력 중인 텍스트가 표시 되고 있는 표시 영역 중에, 글씨가 표시되지 않은 부분에 인식되는 터치를 처리할 수 있다. 이 경우, 텍스트 부분의 터치는 커서 이동명령으로 처리할 수 있다.
또한, 예를 들어 상기 빈 영역은, 텍스트 표시 영역과는 별도의, 표시부의 특정 부분(311)을 이용할 수도 있다.
또는, 본 발명의 다른 실시예에 따르면, 입력된 문자, 또는 기호를 표시하기 위한 표시 영역(505)과, 수기 입력만을 위한 입력 영역(510)이 각각 별도로 설정될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 전자 디바이스의 동작 순서를 도시하는 순서도이다.
우선, 전자 디바이스는 S610 동작에서 입력 모드에 진입하였음을 감지할 수 있다. 입력 모드는 전자 디바이스에 내장(embedded)된 어플리케이션에서 제공하는 기능일 수 있으며, 또는 어플리케이션 서버 등으로부터 사용자가 직접 다운로드 받은 어플리케이션에서 제공하는 기능일 수 있다. 예를 들어, 사용자는 단문 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(MMS) 등의 입력 모드에서, 특정 문자 또는 기호 등을 입력하고자 할 수 있다.
그러면, 전자 디바이스는 S620 동작에서, 입력 영역과 표시 영역을 포함하는 입력 모드 화면을 표시할 수 있다. 상기 입력 영역은 사용자의 수기 입력을 감지하기 위한 영역일 수 있다. 본 발명의 일 실시예에 따르면, 상기 입력 영역은 터치를 감지할 수 있는 터치스크린에 기반하여 구현될 수 있다. 표시 영역은 사용자의 음성 입력을 문자 정보로 변환하여 표시하거나, 또는 상기 입력 영역을 통해 감지된 입력을 기호 정보로 변환하여 표시하는 영역일 수 있다.
그리고 전자 디바이스는 S630 동작에서, 음성 입력이 감지되는지 여부를 판단한다.
음성 입력이 감지되는 경우, 전자 디바이스는 S640 동작으로 진행하여 STT에 기반하여 감지된 음성 입력을 문자 정보로 변환할 수 있다. 그리고 전자 디바이스는 S650 동작에서, 상기 변환된 문자 정보를 표시 영역에 표시할 수 있다.
반면, 음성 입력이 감지되지 않는 경우, 전자 디바이스는 S660 동작으로 진행하여, 입력 영역에 터치 입력이 감지되는지 여부를 판단할 수 있다. 상기 입력 영역에 터치 입력이 감지되는 경우, 전자 디바이스는 S670 동작으로 진행하여 터치 입력에 대응되는 기호 정보를 확인할 수 있다. 예를 들어, 전자 디바이스는 저장부(270)에 저장된 변환 테이블 예를 들어, 문장 부호 테이블, 명령어 테이블, 이모티콘 테이블 등을 확인하여, 터치 입력에 대응되는 기호 정보가 존재하는지 여부를 확인할 수 있다.
그리고 전자 디바이스는 S680 동작에서, 상기 확인된 기호 정보를 표시 영역에 표시할 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 입력 모드 전환 방법을 도시하는 도면이다.
보다 구체적으로, 도 7 및 도 8은 모션 입력을 통해, 입력 모드를 전환하는 방법을 도시하는 도면이다.
사용자가 정확한 터치 입력을 수행할 수 없는 경우, 예를 들어, 사용자가 자동차 운전 중인 경우, 상기 기술한 실시예처럼 수기를 이용한 입력은 어려둘 수 있다. 이러한 경우에는 특정 입력(예를 들어, 사용자 액션, 모션)을 통해 모드를 전환하여, 결과 값 범위를 좁혀 보다 정확하게 입력할 수 있게 하는 방법이 필요할 수 있다. 　
본 발명의 실시예에서 예시(제공)하는 입력 모드는 문장입력 모드, 문장부호입력 모드, 명령어 입력 모드, 이모티콘 입력 모드 네 가지 이다. 물론 상기 예시한 네 가지 입력 모드 이외의 다른 입력 모드가 추가로 설정될 수도 있을 것이다.
상기 문장입력 모드는 일반적인 STT 스트링을 입력하는 모드이다.
사용자가 음성 인식을 통해 기호 정보(특수한 문자 및/또는 기호)를 입력하고 싶은 경우, 입력 모드를 도 7에 도시된 바와 같은 모션(제스처)을 통해 전환하여, 해당되는 타입의 문자만 입력할 수 있다.　
이를 통해 음성 입력만으로 문장 부호가 있는 완성된 STT 메시지 작성이 가능하도록 할 수 있다.
상기한 모션 즉, 특정 사용자 액션의 예는 다음과 같다. 전면 카메라 및 IR 센서 또는 근접 센서를 통해 입력 모드를 변경 또는 전환할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 전자 디바이스의 전면부의 일정 근접 거리에서 위에서 아래로, 아래에서 위로, 좌에서 우로, 우에서 좌로 등의 모션을 행할 수 있다. 상기 모션에 대한 정보는 전자 디바이스 표시부의 일 영역에서 모드 전환 영역(810)을 통해 표시되어, 사용자에게 가이드 라인을 제공할 수도 있다.
만약, 전자 디바이스의 현재 모드가 문장입력 모드이면, 음성문자 변환모듈에서 생성된 문자 정보 텍스트는 그대로 사용될 수 있다. 즉, 사용자가 입력한 음성 정보는 STT에 의해 텍스트 정보로 변환되고, 상기 변환된 텍스트 정보는 그대로 표시부에 표시될 수 있다.
만약, 현재 입력 모드가 문장부호입력 모드이면, 전자 디바이스는 저장부(270)의 문장부호 테이블을 참조하여 사용자에 의해 입력된 음성 정보를 그에 대응하는 문장부호로 변환할 수 있다.
만약, 현재 모드가 명령어 입력 모드이면, 전자 디바이스는 저장부(270)의 명령어 테이블을 참조하여 그에 대응하는 명령어로 변환할 수 있다. 그리고 전자 디바이스는 상기 변환된 명령어를 실행할 수 있다. 예를 들어, 사용자에 의해 입력된 음성 정보가 명령어로 변환되어, 줄을 바꾸거나, 소문자를 대문자로 변환할 수 있다.
만약, 현재 모드가 이모티콘 입력 모드이면, 전자 디바이스는 저장부(270)의 아이콘 테이블을 참조하여 그에 대응하는 이모티콘으로 변환할 수 있다.
상기한 바와 같이, 본 발명의 실시예에 따르면, 각 입력 모드에서는 각 모드에서 지원하는 문자, 또는 기호 정보만 입력될 수 있다.
도 9는 본 발명의 일 실시예에 따른 입력 모드 전환 과정을 도시하는 순서도이다.
우선, 전자 디바이스는 S905 동작에서, 입력 모드에 진입하였음을 감지할 수 있다. 입력 모드는 전자 디바이스에 내장(embedded)된 어플리케이션에서 제공하는 기능일 수 있으며, 또는 어플리케이션 서버 등으로부터 사용자가 직접 다운로드 받은 어플리케이션에서 제공하는 기능일 수 있다. 예를 들어, 사용자는 단문 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(MMS) 등의 입력 모드에서, 특정 문자 또는 기호 등을 입력하고자 할 수 있다.
그리고 전자 디바이스는 S910 동작에서, 모드 전환 영역과 표시 영역을 포함하는 입력 모드 화면을 표시할 수 있다. 상기 모드 전환 영역은, 모션을 입력 모드를 전환할 수 있는 모션에 대한 정보가 표시될 수 있다. 상기한 바와 같이, 상기 전환 영역에서는 위에서 아래로, 아래에서 위로, 좌에서 우로, 우에서 좌로 등의 모션 및 상기 모션 각각에 대응하는 입력 모드의 매핑 관계가 표시될 수 있다.
그리고 전자 디바이스는 S915 동작에서, 입력 모드를 전환하기 위한 입력이 감지되었는지 여부를 판단할 수 있다. 예를 들어, 전자 디바이스는 카메라, 모션 센서 등을 통해 미리 설정된 모션이 감지되었는지 여부를 판단할 수 있다.
모드 전환 입력이 감지된 경우, 전자 디바이스는 S920 동작에서, 상기 감지된 모드 전환 입력에 따라 입력 모드를 전환할 수 있다. 예를 들어, 우에서 좌로의 모션이 감지된 경우, 전자 디바이스는 현재의 입력 모드를 명령어 입력 모드로 전환할 수 있다.
한편, 모드 전환 입력이 감지된 것이 아니라면, 전자 디바이스는 S925 동작으로 진행하여, 음성 입력이 감지되었는지 여부를 판단할 수 있다.
음성 입력이 감지된 경우, 전자 디바이스는 S930 동작에서, 현재 설정된 입력 모드를 확인할 수 있다.
만약, 현재 설정된 입력 모드가 문장 입력 모드인 경우, 전자 디바이스는 S935 동작으로 진행하여, 입력된 음성 정보를 STT에 기반하여 문자 정보로 변환할 수 있다.
또는, 현재 설정된 입력 모드가 문장 부호 입력 모드인 경우, 전자 디바이스는 S940 동작으로 진행하여, 문장 부호 테이블에 기반하여 입력된 음성 정보를 문장 부호 정보로 변환할 수 있다.
또는, 현재 설정된 입력 모드가 명령어 입력 모드인 경우, 전자 디바이스는 S945 동작으로 진행하여, 명령어 테이블에 기반하여 입력된 음성 정보를 명령어로 변환할 수 있다.
또는, 현재 설정된 입력 모드가 이모티콘 입력 모드인 경우, 전자 디바이스는 S950 동작으로 진행하여, 아이콘 테이블에 기반하여 입력된 음성 정보를 이모티콘으로 변환할 수 있다.
그리고 전자 디바이스는 S955 동작으로 진행하여 상기의 변환 결과에 따라 변환된 정보를 표시하거나, 또는 명령어를 행할 수 있다.
상기한 본 발명에 따르면, 입력 모드에서 음성 정보 및 입력 정보를 모두 인식하여, 인식된 음성 정보 및 입력 정보를 문자 또는 기호로 변환하여 출력할 수 있다. 또한, 본 발명에 따르면 음성 입력 외에, 모션(motion)과 같은 입력을 부가적으로 사용하여 입력 모드를 용이하게 전환할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

  1. 전자 디바이스에 있어서,
    문자 정보 또는 기호 정보를 표시하는 표시부;
    사용자 입력을 수신하는 입력부;
    음성을 입력받는 마이크; 및
    입력 영역과 표시 영역을 포함하는 입력 모드 화면을 표시하고, 상기 입력 영역을 통한 터치 입력 또는 음성 입력 중 적어도 하나의 입력이 감지되는지 여부를 판단하며, 상기 판단 결과에 따라 상기 터치 입력 또는 음성 입력을 처리하여 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 전자 디바이스.
  2. 제1항에 있어서,
    터치 입력이 감지되면 상기 터치 입력에 대응되는 문자 또는 기호 정보를 상기 표시 영역에 표시하는 제어부를 포함하는 전자 디바이스.
  3. 제1항에 있어서,
    음성 입력이 감지되면 상기 음성 정보를 문자 정보로 변환하여 상기 표시 영역에 표시하거나,
    미리 설정된 변환 테이블에 기반하여 상기 문자정보에 대응하는 기호 정보가 존재하는지 여부를 판단하고, 존재하는 경우 상기 대응하는 기호 정보를 표시하는 제어부를 포함하는 전자 디바이스.
  4. 제1항에 있어서, 상기 터치 입력은,
    임의로 설정된 입력 영역을 통해 감지되는지 여부에 따라 판단되며,
    상기 입력 영역은 표시 영역의 전체 또는 일부, 또는 화면에서 표시 영역 외의 임의의 영역을 포함는 것을 특징으로 하는 전자 디바이스.
  5. 제4항에 있어서, 입력영역은,
    표시 영역에서 입력중인 텍스트 외의 공간으로 설정하는 전자디바이스.
  6. 전자 디바이스에 있어서,
    문자 정보 또는 기호 정보를 표시하는 표시부;
    사용자 입력을 수신하는 입력부;
    음성을 입력받는 마이크;
    모션(motion)을 감지하는 센서부; 및
    입력 모드 전환을 위한 모션 입력이 감지되는지 판단하고, 감지되는 경우 문장 입력 모드, 문장 부호 입력 모드, 명령어 입력 모드 또는 아이콘 입력 모드 중 적어도 하나의 입력 모드로 전환하고,
    사용자 입력 또는 음성 입력이 감지되는지 판단하고, 감지되는 경우 현재 상기 확인된 입력 모드에 따라 상기 감지된 입력을 변환하여 표시하도록 제어하는 제어부를 포함하는 전자 디바이스.
  7. 제6항에 있어서,
    상기 확인된 입력 모드가 문장 입력 모드인 경우, 상기 음성 입력을 문자 정보로 변환하여 표시하는 제어부를 포함하는 전자 디바이스.
  8. 제6항에 있어서,
    상기 확인된 입력 모드가 문장 부호 입력 모드인 경우 문장 부호 테이블에 기반하여 상기 음성 입력에 대응하는 문장 부호를 확인하고, 상기 음성 입력을 상기 확인된 문장 부호로 변환하여 표시하는 제어부를 포함하는 전자 디바이스.
  9. 제6항에 있어서,
    상기 확인된 입력 모드가 명령어 입력 모드인 경우 명령어 테이블에 기반하여 상기 음성 입력에 대응하는 명령어를 확인하고, 상기 음성 입력을 상기 확인된 명령어로 변환하여 실행하는 제어부를 포함하는 전자 디바이스.
  10. 제6항에 있어서,
    상기 확인된 입력 모드가 아이콘 입력 모드인 경우 아이콘 테이블에 기반하여 상기 음성 입력에 대응하는 아이콘을 확인하고, 상기 음성 입력을 상기 확인된 아이콘으로 변환하여 표시하는 제어부를 포함하는 전자 디바이스.
  11. 전자 디바이스의 입력 처리 방법에 있어서,
    입력 영역과 표시 영역을 포함하는 입력 모드 화면을 표시하는 동작;
    상기 입력 영역을 통한 터치 입력 또는 음성 입력 중 적어도 하나의 입력이 감지되는지 여부를 판단하는 동작; 및
    상기 판단 결과에 따라, 상기 터치 입력 또는 음성 입력을 처리하여 표시하는 동작을 포함하는 것을 특징으로 하는 입력 처리 방법.
  12. 제11항에 있어서,
    상기 터치 입력 또는 음성 입력을 처리하여 표시하는 동작은,
    터치 입력이 감지되면 상기 터치 입력에 대응되는 문자 또는 기호 정보를 상기 표시 영역에 표시하는 것을 특징으로 하는 입력 처리 방법.
  13. 제11항에 있어서,
    상기 터치 입력 또는 음성 입력을 처리하여 표시하는 동작은,
    음성 입력이 감지되면 상기 음성 정보를 문자 정보로 변환하여 상기 표시 영역에 표시하거나, 또는
    미리 설정된 변환 테이블에 기반하여 상기 문자정보에 대응하는 기호 정보가 존재하는지 여부를 판단하고, 존재하는 경우 상기 대응하는 기호 정보를 표시하도록 제어하는 것을 특징으로 하는 전자 디바이스.
  14. 제11항에 있어서, 상기 터치 입력은,
    임의로 설정된 입력 영역을 통해 감지되는지에 따라 판단되며,
    상기 입력 영역은 표시 영역의 전체 또는 일부, 또는 화면에서 표시 영역 외의 임의의 영역을 포함하는 것을 특징으로 하는 입력 처리 방법.
  15. 제14항에 있어서, 입력영역은,
    표시 영역에서 입력중인 텍스트 외의 공간으로 설정하는 전자디바이스.
  16. 전자 디바이스의 입력 모드 전환 방법에 있어서,
    입력 모드에 진입하는 동작;
    입력 모드 전환을 위한 모션 입력이 감지되는지 판단하는 동작; 및
    감지되는 경우, 문장 입력 모드, 문장 부호 입력 모드, 명령어 입력 모드 또는 아이콘 입력 모드 중 적어도 하나의 입력 모드로 전환하고, 사용자 입력 또는 음성 입력이 감지되는지 판단하고, 감지되는 경우 현재 상기 확인된 입력 모드에 따라 상기 감지된 입력을 변환하여 표시하는 동작을
    포함하는 것을 특징으로 하는 입력 모드 전환 방법.
  17. 제16항에 있어서, 상기 표시 동작은,
    상기 확인된 입력 모드가 문장 입력 모드인 경우, 상기 음성 입력을 문자 정보로 변환하여 표시하는 것을 특징으로 하는 입력 모드 전환 방법.
  18. 제16항에 있어서, 상기 표시 동작은,
    상기 확인된 입력 모드가 문장 부호 입력 모드인 경우, 문장 부호 테이블에 기반하여 상기 음성 입력에 대응하는 문장 부호를 확인하는 동작; 및
    상기 음성 입력을 상기 확인된 문장 부호로 변환하여 표시하는 동작을 더 포함하는 것을 특징으로 하는 입력 모드 전환 방법.
  19. 제16항에 있어서, 상기 표시 동작은,
    상기 확인된 입력 모드가 명령어 입력 모드인 경우, 명령어 테이블에 기반하여 상기 음성 입력에 대응하는 명령어를 확인하는 동작; 및
    상기 음성 입력을 상기 확인된 명령어로 변환하여 실행하는 동작을 더 포함하는 것을 특징으로 하는 입력 모드 전환 방법.
  20. 제16항에 있어서, 상기 표시 동작은,
    상기 확인된 입력 모드가 아이콘 입력 모드인 경우, 아이콘 테이블에 기반하여 상기 음성 입력에 대응하는 아이콘을 확인하는 동작; 및
    상기 음성 입력을 상기 확인된 아이콘으로 변환하여 표시하는 동작을 더 포함하는 것을 특징으로 하는 입력 모드 전환 방법.
KR1020130135128A 2013-11-08 2013-11-08 전자 디바이스의 입력 처리 방법 및 장치 KR20150053339A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130135128A KR20150053339A (ko) 2013-11-08 2013-11-08 전자 디바이스의 입력 처리 방법 및 장치
US14/531,237 US20150133197A1 (en) 2013-11-08 2014-11-03 Method and apparatus for processing an input of electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130135128A KR20150053339A (ko) 2013-11-08 2013-11-08 전자 디바이스의 입력 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150053339A true KR20150053339A (ko) 2015-05-18

Family

ID=53044234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135128A KR20150053339A (ko) 2013-11-08 2013-11-08 전자 디바이스의 입력 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US20150133197A1 (ko)
KR (1) KR20150053339A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101737A1 (ko) * 2016-11-29 2018-06-07 주식회사 닷 스마트 장치를 제어하는 장치, 방법 및 컴퓨터 프로그램
KR20180134808A (ko) * 2016-11-29 2018-12-19 주식회사 닷 스마트 장치를 제어하는 장치, 방법 및 컴퓨터 프로그램
KR20200047853A (ko) * 2018-10-25 2020-05-08 현대오토에버 주식회사 연속 음성 명령에 기반하여 서비스를 제공하는 인공지능 음성단말장치 및 음성서비스시스템
WO2022255502A1 (ko) * 2021-05-31 2022-12-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181018A (ja) * 2015-03-23 2016-10-13 ソニー株式会社 情報処理システムおよび情報処理方法
US10157039B2 (en) * 2015-10-05 2018-12-18 Motorola Mobility Llc Automatic capturing of multi-mode inputs in applications
CN113495621A (zh) * 2020-04-03 2021-10-12 百度在线网络技术（北京）有限公司 一种交互模式的切换方法、装置、电子设备及存储介质
US11651541B2 (en) * 2021-03-01 2023-05-16 Roblox Corporation Integrated input/output (I/O) for a three-dimensional (3D) environment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030233237A1 (en) * 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
US8065143B2 (en) * 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US10241670B2 (en) * 2011-03-31 2019-03-26 Nokia Technologies Oy Character entry apparatus and associated methods
US9361883B2 (en) * 2012-05-01 2016-06-07 Microsoft Technology Licensing, Llc Dictation with incremental recognition of speech
KR102057284B1 (ko) * 2013-01-23 2020-01-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR102063766B1 (ko) * 2013-09-17 2020-01-08 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9600474B2 (en) * 2013-11-08 2017-03-21 Google Inc. User interface for realtime language translation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101737A1 (ko) * 2016-11-29 2018-06-07 주식회사 닷 스마트 장치를 제어하는 장치, 방법 및 컴퓨터 프로그램
KR20180134808A (ko) * 2016-11-29 2018-12-19 주식회사 닷 스마트 장치를 제어하는 장치, 방법 및 컴퓨터 프로그램
KR20200047853A (ko) * 2018-10-25 2020-05-08 현대오토에버 주식회사 연속 음성 명령에 기반하여 서비스를 제공하는 인공지능 음성단말장치 및 음성서비스시스템
WO2022255502A1 (ko) * 2021-05-31 2022-12-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US20150133197A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
KR20150053339A (ko) 전자 디바이스의 입력 처리 방법 및 장치
US9129011B2 (en) Mobile terminal and control method thereof
EP2397937B1 (en) Personalization using custom gestures
KR101639074B1 (ko) 터치스크린을 이용한 문자 인식 및 문자 입력 장치 및 그 방법
KR20060051527A (ko) 가상 노트 장치 및 그 입력 방법
KR20080068491A (ko) 터치 방식 정보 입력 단말기 및 그 방법
WO2008010432A1 (fr) dispositif d'interface utilisateur, programme informatique et son support d'enregistrement
KR101756042B1 (ko) 입력 처리 방법, 장치 및 설비
KR20140092873A (ko) 적응식 입력 언어 전환
KR20120018541A (ko) 휴대 단말기의 문자 입력 방법 및 장치
CN107688399B (zh) 一种输入方法和装置、一种用于输入的装置
US20160210276A1 (en) Information processing device, information processing method, and program
EP2743816A2 (en) Method and apparatus for scrolling screen of display device
KR20100027863A (ko) 터치 궤적 및 터치 방향의 인식에 기초한 사용자 인터페이스 방법
CN111476209A (zh) 手写输入的识别方法、设备及计算机存储介质
US20140288916A1 (en) Method and apparatus for function control based on speech recognition
CN109002183B (zh) 一种信息输入的方法及装置
KR101218820B1 (ko) 터치 방식 정보 입력 단말기 및 그 방법
US20130095454A1 (en) Apparatus and method for inputting braille in a portable terminal
CN105159874A (zh) 文字的修改方法及装置
KR102222770B1 (ko) 메시지 전송 장치 및 그 방법
US20090055181A1 (en) Mobile terminal and method of inputting message thereto
KR102092058B1 (ko) 인터페이스 제공 방법 및 장치
KR101729821B1 (ko) 내비게이션 실행 장치 및 그 제어방법과, 그 제어방법을 실행하기 위한 프로그램을 기록한 기록 매체와, 하드웨어와 결합되어 그 제어방법을 실행시키기 위하여 매체에 저장된 애플리케이션
EP2806364B1 (en) Method and apparatus for managing audio data in electronic device

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid