KR20030004927A - 터치스크린 또는 음성인식을 통해 동작 제어되는정보단말기 및 그의 명령 실행 방법 - Google Patents

터치스크린 또는 음성인식을 통해 동작 제어되는정보단말기 및 그의 명령 실행 방법 Download PDF

Info

Publication number
KR20030004927A
KR20030004927A KR1020010040682A KR20010040682A KR20030004927A KR 20030004927 A KR20030004927 A KR 20030004927A KR 1020010040682 A KR1020010040682 A KR 1020010040682A KR 20010040682 A KR20010040682 A KR 20010040682A KR 20030004927 A KR20030004927 A KR 20030004927A
Authority
KR
South Korea
Prior art keywords
voice
command
touch screen
recognized
subcommands
Prior art date
Application number
KR1020010040682A
Other languages
English (en)
Other versions
KR100457509B1 (ko
Inventor
조수경
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR10-2001-0040682A priority Critical patent/KR100457509B1/ko
Priority to CNB021079609A priority patent/CN1198203C/zh
Priority to US10/152,332 priority patent/US7167826B2/en
Priority to JP2002181796A priority patent/JP3926220B2/ja
Publication of KR20030004927A publication Critical patent/KR20030004927A/ko
Application granted granted Critical
Publication of KR100457509B1 publication Critical patent/KR100457509B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

터치스크린 또는 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법이 개시된다. 스크린을 터치함으로써 실행하고자 하는 명령을 입력할 수 있고, 명령실행 결과를 표시하는 터치 스크린을 포함하는 본 발명에 따른 정보 단말기는 외부로부터 입력되는 음성신호를 인식하는 음성인식 및 학습부 및 터치 스크린에서 소정 항목이 터치되면서 음성인식 및 학습부로 음성신호가 입력되면, 터치된 항목의 좌표에 상응하는 명령을 인식하고 인식된 명령에 종속되는 다수개의 서브명령들 중 어느 하나에 대응하는 음성이 음성인식 및 학습부에서 인식되면 해당 서브명령을 실행하는 시스템 제어부를 포함하는 것이 바람직하다. 본 발명에 따르면, 터치스크린과 음성인식을 이용하여 명령 인식 및 실행을 함으로써, 사용자가 정보 단말기를 사용하는 사용시나리오를 보다 자연스럽게 만들 수 있다. 특히, 터치스크린이 작아 정보 및 명령어를 화면에 모두 표시할 수 없는 경우 명령어를 화면에 표시하지 않고도 사용자가 쉽게 명령을 실행시킬 수 있다. 또한, 현재 입력된 음성이 사용자가 실행하고자 하는 명령에 대응되지 않는 경우, 현재 입력된 음성이 현재 실행하고자 하는 명령의 음성명령임을 학습시킬 수 있으므로 이용의 편의성을 높일 수 있다.

Description

터치스크린 또는 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법{Communication terminal controlled through a touch screen or a voice recognition and instruction executing method thereof}
본 발명은 정보단말기에 관한 것으로, 특히, 터치스크린 또는 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법에 관한 것이다.
일반적으로, IMT2000과 같은 휴대 정보 단말기에서는 터치스크린을 구비하여사용자가 터치한 스크린의 좌표를 인식하고, 인식된 좌표에 따른 명령을 실행한다.
도 1은 종래에 터치스크린을 통해 명령을 인식하는 방법을 나타내는 플로우챠트이다.
도 1을 참조하여, 휴대 정보 단말기의 터치스크린에는 사용자가 선택가능한 항목들이 표시된다. 사용자는 터치스크린에 표시된 항목들중 하나의 항목을 선택하여 누르면(제10단계), 휴대 정보 단말기는 터치스크린에서 눌려진 지점에 해당하는 x,y 좌표를 인식하고, 인식된 x,y 좌표에 해당하는 명령어를 검색한다(제12단계).
검색된 명령어가 하나이면, 검색된 명령을 실행하고(제18단계), 검색된 명령어가 2개 이상이면 검색된 명령어들을 다시 터치스크린에 표시하여(제16단계), 제10~제14단계를 반복 진행한다. 즉, 휴대 정보 단말기는 사용자에 의해 선택된 항목에 서브 명령들이 있는 경우, 서브 명령들을 표시하고 사용자가 다시 서브 명령들중 하나를 선택하도록 한다. 이처럼, 화면의 제약상 단계적인 명령실행을 해야 하며, 사용자는 원하는 동작을 실행하기 위해 여러 번의 명령어 선택을 해야 한다는 번거로움이 있다.
한편, 휴대 정보 단말기가 음성을 인식하여 명령을 수행하는 경우, 예컨대, 최초에 "명령어를 말하세요"라는 음성 안내 메시지가 나오고 주어진 시간 내에 명령어를 말해야 한다. 주어진 시간이 지나면 휴대 정보 단말기는 명령어를 인식하지 못하고 "다시 말해주세요"라고 한다. 만약, 사용자의 음성을 제대로 인식을 못한 경우 "조용한 곳에서 다시 시도해 주세요" 혹은 "처리할 수 없는 명령입니다"라는 음성을 재생하고 명령실행 모드를 종료한다. 이처럼, 휴대 정보 단말기는 주어진시간 내에 정해진 음성이 인식되지 않으면 명령실행 모드를 스스로 종료함으로써, 사용함에 불편함이 있다.
본 발명이 이루고자 하는 기술적 과제는 터치스크린과 음성명령을 혼합하여 보다 효과적이고 사용자 편의적인 제어가 가능한 정보 단말기를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 정보 단말기에서 수행되는 명령 실행 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 명령 실행 방법을 저장한 기록매체를 제공하는 데 있다.
도 1은 종래에 터치스크린을 통해 명령을 인식하는 방법을 나타내는 플로우챠트이다.
도 2는 본 발명에 따른 터치스크린 또는 음성인식을 통해 동작 제어되는 정보 단말기의 일실시예를 개략적으로 나타내는 블록도이다.
도 3은 도 2에 도시된 사용자는 정보 단말기의 명령실행과정의 일실시예를 나타내는 도면이다.
도 4는 도 2에 도시된 장치에서 실행되는 명령인식과정의 다른 실시예를 나타내는 흐름도이다.
상기 과제를 이루기 위해, 스크린을 터치함으로써 실행하고자 하는 명령을 입력할 수 있고, 명령실행 결과를 표시하는 터치 스크린을 포함하는 본 발명에 따른 정보 단말기는 외부로부터 입력되는 음성신호를 인식하는 음성인식 및 학습부 및 터치 스크린에서 소정 항목이 터치되면서 음성인식 및 학습부로 음성신호가 입력되면, 터치된 항목의 좌표에 상응하는 명령을 인식하고 인식된 명령에 종속되는 다수개의 서브명령들 중 어느 하나에 대응하는 음성이 음성인식 및 학습부에서 인식되면 해당 서브명령을 실행하는 시스템 제어부를 포함하는 것이 바람직하다.
상기 과제를 이루기 위해, 스크린을 터치함으로써 실행하고자 하는 명령을 입력할 수 있고, 명령실행 결과를 표시하는 터치 스크린을 포함하는 본 발명에 따른 정보 단말기는 외부로부터 입력되는 음성신호를 인식하는 음성인식 및 학습부및 터치 스크린에서 소정 항목이 터치되면 터치된 항목의 좌표에 대응하는 명령을 인식하고, 인식된 명령에 둘 이상의 서브명령들이 종속되어있는가의 여부에 따라 입력되는 음성신호를 인식하여 해당 서브명령을 실행하는 시스템 제어부를 포함하고, 시스템 제어부는 서브명령에 상응하는 음성이 인식되지 않으면, 다수개의 서브명령들을 터치 스크린에 표시하고, 다수개의 서브명령들 중 어느 하나가 선택되면 음성인식 및 학습부를 제어하여 입력된 음성신호에 대응하는 서브명령이 선택된 서브명령임을 학습시키는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 터치 스크린에 표시된 항목들 중 하나가 선택되면, 선택된 항목의 좌표를 인식하여 명령실행을 하거나 또는 사용자의 음성을 인식하여 명령실행을 하는 정보 단말기의 본 발명에 따른 명령 실행 방법은 터치 스크린에서 하나의 항목이 선택되면서 입력되는 사용자의 음성을 인식하는 (a)단계, (a)단계에서 선택된 좌표에 대응되는 서브 명령들 중 어느 하나에 대응되는 음성이 인식되면 해당 명령을 실행하는 (b)단계 및 (b)단계에서 서브 명령들 중 어느 하나에도 대응되지 않는 음성이 인식되면 서브 명령들을 터치 스크린에 표시하는 (c)단계로 이루어지는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 터치 스크린에 표시된 항목들 중 하나가 선택되면, 선택된 항목의 좌표를 인식하여 명령실행을 하거나 또는 사용자의 음성을 인식하여 명령실행을 하는 정보 단말 장치의 본 발명에 따른 명령 실행 방법은 터치 스크린에서 하나의 항목이 선택되면, 선택된 항목의 좌표값에 따른 명령을 인식하는 (a)단계, 서브명령이 있는가를 판단하여 서브명령이 존재하지 않으면 인식된명령을 실행하는 (b)단계, (b)단계에서 둘 이상의 서브명령들이 있다고 판단되면, 사용자 음성 입력을 대기하는 (c)단계, 사용자의 음성이 입력되면 입력된 음성을 인식하여 해당 서브명령을 인식을 하고 (b)단계로 진행하는 (d)단계, (d)단계에서 서브명령들 중 어느 하나에도 대응되지 않는 음성이 인식되면 서브명령들을 터치 스크린에 표시하는 (e)단계 및 서브 명령들중 하나가 선택되면, 좌표값에 따른 서브명령을 인식하고 (b)단계로 진행하며, 선택된 서브 명령에 대한 음성학습을 하는 (f)단계로 이루어지는 것이 바람직하다.
이하, 본 발명에 따른 터치스크린 또는 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 2는 본 발명에 따른 터치스크린 또는 음성인식을 통해 동작 제어되는 정보 단말기의 일실시예를 개략적으로 나타내는 블록도로서, 터치스크린(20), 음성인식 및 학습부(22) 및 시스템 제어부(26)를 포함하여 구성된다.
도 2를 참조하여, 터치스크린(20)은 사용자가 터치하여 선택한 명령의 실행 결과를 화면에 표시하거나 또는 선택한 항목에 대한 정보를 화면에 표시한다. 음성인식 및 학습부(22)는 외부로부터 입력되는 음성신호를 인식하고, 인식된 결과를 시스템 제어부(26)로 제공한다. 또한, 시스템 제어부(26)의 제어에 따라 음성학습을 한다.
시스템 제어부(26)는 터치 스크린(20)에서 소정 항목이 터치되면서 음성인식 및 학습부로 음성신호가 입력되면, 터치된 항목의 좌표에 상응하는 명령을 인식하고 인식된 명령에 종속되는 다수개의 서브명령들 중 어느 하나에 대응하는 음성이 음성인식 및 학습부에서 인식되면 해당 서브명령을 실행한다.
한편, 시스템 제어부(26)는 음성인식 및 학습부(22)의 음성인식결과 서브명령에 대응하는 음성이 인식되지 않으면, 다수개의 서브명령들을 터치 스크린에 표시한다. 그리고, 사용자에 의해 다수개의 서브명령들 중 어느 하나가 선택되면 음성인식 및 학습부를 제어하여 입력된 음성신호에 대응하는 서브명령이 사용자에 의해 선택된 서브명령임을 학습시킨다.
도 3은 도 2에 도시된 사용자는 정보단말기의 명령실행과정의 일실시예를 나타내는 도면이다. 설명의 편의를 위해, 사용자가 정보를 편집하는 경우에 대해 설명한다.
도 2 및 도 3을 참조하여, 사용자는 정보단말기에 저장된 누군가의 개인정보를 편집하고자 하면, 도 3에 도시된 바와 같이 개인정보가 저장된 화면(20a)이 표시된다. 사용자(50)는 그중 하나의 항목을 스타일러스펜과 같은 도구를 이용하여 터치하면서 "edit"이라는 말을 한다(1). 음성인식 및 학습부(22)에서 "edit"이라는 음성이 인식되면, 시스템 제어부(26)는 편집명령을 실행하여 선택된 항목에 대한 정보를 편집할 수 있는 편집화면(20b)을 표시한다(2). 한편, 시스템 제어부(26)는 편집명령을 실행하는 동안 "edit"이라는 명령어를 깜빡깜빡거리도록 함으로써, 편집명령이 실행중임을 사용자에게 알려줄 수 있다.
반면, 음성인식 및 학습부(22)가 "edit"이라는 음성을 인식하지 못하면, 예컨대 사용자가 "편집"이라고 말한 경우, 시스템 제어부(26)는 현 상태에서 실행 가능한 서브명령들을 터치스크린에 표시한다(20c). 도 3에 도시된 바와 같이, "call","view","edit"이라는 서브명령들이 표시되면, 사용자는 그중 "edit"이라는 서브명령을 선택한다. 이처럼, 터치스크린(20c)에서 "edit"이라는 서브명령이 선택되면, 시스템 제어부(26)는 편집명령을 실행하여 선택된 항목에 대한 정보를 편집할 수 있는 편집화면(20b)을 표시한다(4). 이와 동시에, 시스템 제어부(26)는 음성인식 및 학습부(22)를 제어하여 사용자(50)에 의해 입력된 음성이 "edit"이라는 서브명령에 대한 음성임을 학습시킨다(5). 이와 같은 음성인식 및 학습부(22)의 음성학습을 통해, 이후 사용자는 편집명령을 실행시 "edit"이라고 말하거나 또는 "편집"이라고 말하여도 편집명령을 실행할 수 있다. 결국, 사용자는 음성명령을 원하는 대로 변경할 수 있다.
도 4는 도 2에 도시된 장치에서 실행되는 명령인식과정의 다른 실시예를 나타내는 흐름도이다.
도 4 및 도 2를 참조하여, 사용자는 터치스크린(20)에 표시된 다수개의 명령들 중 하나를 터치하여 원하는 명령어를 선택한다(제30단계). 이 때, 터치스크린(20)은 터치된 위치에 상응하는 신호를 시스템 제어부(26)로 발생한다.
시스템 제어부(26)는 터치스크린(20)에서 발생되는 신호를 분석하여 그 좌표를 인식하여 명령어를 인식한다(제34단계). 이 때, 인식된 명령어에 종속된 서브명령어가 포함되어 있는가를 판단하여(제34단계), 서브 명령이 없으면 인식된 명령을 실행한다(제44단계).
한편, 제34단계에서 서브 명령이 있으면 서브 명령에 상응하는 음성 입력을대기하고(제36단계), 음성 신호가 입력되면 음성인식 및 학습부(22)는 입력된 음성신호를 인식하고 인식결과를 시스템 제어부(26)로 제공한다. 시스템 제어부(26)는 음성인식 및 학습부(22)에서 서브 명령들중 어느 하나에 대응되는 음성이 인식되었다고 판단되면(제38단계), 제34단계로 진행한다. 이 때, 사용자의 음성이 인식되면 인식된 서브명령어를 터치 스크린(20)에 표시하여 정상적으로 명령인식이 되었음을 표시할 수 있다.
반면, 시스템 제어부(26)는 음성인식 및 학습부(22)에서 서브 명령들중 어느 하나에 대응되는 음성이 인식되지 않았다면, 터치 스크린(20)에 실행 가능한 서브명령들을 표시한다(제40단계).
터치스크린(20)에 표시된 서브명령어들 중 하나가 사용자에 의해 선택되면, 제32단계로 진행하여 명령실행을 한다. 이와 동시에 시스템 제어부(26)는 음성인식 및 학습부(22)를 제어하여, 서브명령을 실행하기 위해 입력되었던 음성신호가 사용자에 의해 선택된 서브명령에 대한 음성명령임을 학습시킨다(제42단계). 음성인식 및 학습부(22)가 음성학습을 하는 동안, 입력되었던 사용자의 음성신호를 재생함으로써, 현재 음성학습이 이루어지고 있음을 사용자에게 알려줄 수 있다.
이상에서와 같이, 터치스크린과 음성인식을 이용하여 명령 인식 및 실행을 함으로써, 사용자가 정보단말기를 사용하는 사용시나리오를 보다 자연스럽게 만들 수 있다. 특히, 터치스크린이 작아 정보 및 명령어를 화면에 모두 표시할 수 없는 경우 명령어를 화면에 표시하지 않고도 사용자가 쉽게 명령을 실행시킬 수 있다. 또한, 현재 입력된 음성이 사용자가 실행하고자 하는 명령에 대응되지 않는 경우,현재 입력된 음성이 현재 실행하고자 하는 명령의 음성명령임을 학습시킬 수 있으므로 이용의 편의성을 높일 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이, 본 발명의 터치스크린 또는 음성인식을 통해 동작 제어되는 정보 단말기 및 그의 명령 실행 방법에 따르면, 터치스크린과 음성인식을 이용하여 명령 인식 및 실행을 함으로써, 사용자가 정보단말기를 사용하는 사용시나리오를 보다 자연스럽게 만들 수 있다. 특히, 터치스크린이 작아 정보 및 명령어를 화면에 모두 표시할 수 없는 경우 명령어를 화면에 표시하지 않고도 사용자가 쉽게 명령을 실행시킬 수 있다. 또한, 현재 입력된 음성이 사용자가 실행하고자 하는 명령에 대응되지 않는 경우, 현재 입력된 음성이 현재 실행하고자 하는 명령의 음성명령임을 학습시킬 수 있으므로 이용의 편의성을 높일 수 있다.

Claims (10)

  1. 터치 스크린에 표시된 항목들 중 하나가 선택되면, 선택된 항목의 좌표를 인식하여 명령실행을 하거나 또는 사용자의 음성을 인식하여 명령실행을 하는 정보 단말기의 명령 인식 방법에 있어서,
    (a)상기 터치 스크린에서 하나의 항목이 선택되면서 입력되는 사용자의 음성을 인식하는 단계;
    (b)상기 (a)단계에서 선택된 좌표에 대응되는 서브 명령들 중 어느 하나에 대응되는 음성이 인식되면 해당 명령을 실행하는 단계; 및
    (c)상기 (b)단계에서 서브 명령들 중 어느 하나에도 대응되지 않는 음성이 인식되면 상기 서브 명령들을 상기 터치 스크린에 표시하는 단계로 이루어지는 것을 특징으로 하는 정보 단말기에서 명령 실행 방법.
  2. 제1항에 있어서,
    상기 터치 스크린에 표시된 서브 명령들 중 사용자에 의해 어느 하나가 선택되면, 선택된 서브 명령을 인식하고 상기 선택된 서브 명령에 대한 음성학습을 하는 단계를 더 포함하는 것을 특징으로 하는 정보 단말기에서 명령 실행 방법.
  3. 터치 스크린에 표시된 항목들 중 하나가 선택되면, 선택된 항목의 좌표를 인식하여 명령실행을 하거나 또는 사용자의 음성을 인식하여 명령실행을 하는 정보 단말기의 명령 실행 방법에 있어서,
    (a)터치 스크린에서 하나의 항목이 선택되면, 선택된 항목의 좌표값에 따른명령을 인식하는 단계;
    (b)서브명령이 있는가를 판단하여 서브명령이 존재하지 않으면 인식된 명령을 실행하는 단계;
    (c)상기 (b)단계에서 둘 이상의 서브명령들이 있다고 판단되면, 사용자 음성 입력을 대기하는 단계;
    (d)사용자의 음성이 입력되면 입력된 음성을 인식하여 해당 서브명령을 인식을 하고 상기 (b)단계로 진행하는 단계;
    (e)상기 (d)단계에서 상기 서브명령들 중 어느 하나에도 대응되지 않는 음성이 인식되면 상기 서브명령들을 상기 터치 스크린에 표시하는 단계; 및
    (f)서브 명령들중 하나가 선택되면, 좌표값에 따른 서브명령을 인식하고 상기 (b)단계로 진행하며, 상기 선택된 서브 명령에 대한 음성학습을 하는 단계로 이루어지는 것을 특징으로 하는 정보 단말기에서 명령 실행 방법.
  4. 제1항 또는 제3항에서, 사용자의 음성이 인식되면 상기 터치 스크린에 인식된 서브명령을 표시하여 정상적으로 인식되었음을 표시하는 것을 특징으로 하는 정보 단말기에서 명령 실행 방법.
  5. 제2항 또는 제4항에 있어서, 상기 터치 스크린에 표시된 서브명령들 중 어느 하나가 선택되면, 사용자에 의해 입력된 음성을 재생하여 음성학습이 되었음을 표시하는 것을 특징으로 하는 정보 단말기에서 명령 실행 방법.
  6. 제1항 내지 제5항 중 어느 한 항의 방법을 컴퓨터에서 실행 가능한 프로그램코드로 기록한 기록매체.
  7. 스크린을 터치함으로써 실행하고자 하는 명령을 입력할 수 있고, 명령실행 결과를 표시하는 터치 스크린을 포함하는 정보 단말기에 있어서,
    외부로부터 입력되는 음성신호를 인식하는 음성인식 및 학습부; 및
    상기 터치 스크린에서 소정 항목이 터치되면서 상기 음성인식 및 학습부로 음성신호가 입력되면, 터치된 항목의 좌표에 상응하는 명령을 인식하고 인식된 명령에 종속되는 다수개의 서브명령들 중 어느 하나에 대응하는 음성이 상기 음성인식 및 학습부에서 인식되면 해당 서브명령을 실행하는 시스템 제어부를 포함하는 것을 특징으로 하는 정보 단말기.
  8. 제7항에 있어서, 상기 시스템 제어부는
    상기 인식된 명령의 상기 서브명령에 상응하는 음성이 인식되지 않으면, 상기 다수개의 서브명령들을 상기 터치 스크린에 표시하고, 상기 다수개의 서브명령들 중 어느 하나가 선택되면 상기 음성인식 및 학습부를 제어하여 상기 입력된 음성신호에 대응하는 서브명령이 상기 선택된 서브명령임을 학습시키는 것을 특징으로 하는 정보 단말기.
  9. 스크린을 터치함으로써 실행하고자 하는 명령을 입력할 수 있고, 명령실행 결과를 표시하는 터치 스크린을 포함하는 정보 단말기에 있어서,
    외부로부터 입력되는 음성신호를 인식하는 음성인식 및 학습부; 및
    상기 터치 스크린에서 소정 항목이 터치되면 터치된 항목의 좌표에 대응하는 명령을 인식하고, 인식된 명령에 둘 이상의 서브명령들이 종속되어있는가의 여부에 따라 입력되는 음성신호를 인식하여 해당 서브명령을 실행하는 시스템 제어부를 포함하고,
    상기 시스템 제어부는 상기 서브명령에 상응하는 음성이 인식되지 않으면, 상기 다수개의 서브명령들을 상기 터치 스크린에 표시하고, 상기 다수개의 서브명령들 중 어느 하나가 선택되면 상기 음성인식 및 학습부를 제어하여 상기 입력된 음성신호에 대응하는 서브명령이 상기 선택된 서브명령임을 학습시키는 것을 특징으로 하는 정보 단말기.
  10. 제7항 또는 제9항에 있어서, 상기 음성인식 및 학습부는 상기 선택된 서브명령에 대응하는 음성인식을 학습하는 동안 상기 입력된 음성신호를 재생하는 것을 특징으로 하는 정보 단말기.
KR10-2001-0040682A 2001-07-07 2001-07-07 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법 KR100457509B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2001-0040682A KR100457509B1 (ko) 2001-07-07 2001-07-07 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법
CNB021079609A CN1198203C (zh) 2001-07-07 2002-03-25 通过触摸屏和语音识别控制的通信终端及其指令执行方法
US10/152,332 US7167826B2 (en) 2001-07-07 2002-05-22 Communication terminal controlled through touch screen or voice recognition and instruction executing method thereof
JP2002181796A JP3926220B2 (ja) 2001-07-07 2002-06-21 タッチスクリーン又は音声認識を通じて動作制御される情報端末及びその命令実行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0040682A KR100457509B1 (ko) 2001-07-07 2001-07-07 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법

Publications (2)

Publication Number Publication Date
KR20030004927A true KR20030004927A (ko) 2003-01-15
KR100457509B1 KR100457509B1 (ko) 2004-11-17

Family

ID=19711910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0040682A KR100457509B1 (ko) 2001-07-07 2001-07-07 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법

Country Status (4)

Country Link
US (1) US7167826B2 (ko)
JP (1) JP3926220B2 (ko)
KR (1) KR100457509B1 (ko)
CN (1) CN1198203C (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064118A (ko) * 2012-11-19 2014-05-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20160048602A (ko) * 2014-10-25 2016-05-04 박남태 영상표시 장치의 음성제어를 이용한 보안 입력 방법 및 장치
WO2019004744A1 (ko) * 2017-06-30 2019-01-03 엘지전자 주식회사 이동 로봇
KR20190061705A (ko) * 2017-11-28 2019-06-05 현대자동차주식회사 수동조작을 이용한 음성인식 장치 및 방법
US11144175B2 (en) 2018-04-02 2021-10-12 Samsung Electronics Co., Ltd. Rule based application execution using multi-modal inputs

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037998A (ja) * 2002-07-05 2004-02-05 Denso Corp 音声制御装置
JP2006323690A (ja) * 2005-05-19 2006-11-30 Sony Corp 検索装置，プログラム及び検索方法
KR100823083B1 (ko) * 2006-02-09 2008-04-18 삼성전자주식회사 터치스크린을 구비한 문서 표시장치의 문서 교정 방법 및그 장치
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
KR100838343B1 (ko) 2007-05-04 2008-06-17 연세대학교 산학협력단 터치스크린 디스플레이를 구비한 다중 모드 입력의 디지털동화 구현 학습기 및 그 구동 방법
KR100826213B1 (ko) 2007-05-22 2008-05-02 송지원 터치스크린을 이용한 통화 기능을 갖는 정보단말기
US8598995B2 (en) 2008-02-22 2013-12-03 Hill-Rom Services, Inc. Distributed healthcare communication system
KR101545881B1 (ko) * 2009-04-22 2015-08-20 삼성전자주식회사 휴대 단말기의 입력 처리 장치 및 방법
KR101566379B1 (ko) * 2009-05-07 2015-11-13 삼성전자주식회사 입력 신호 종류 별 사용자 기능 활성화 방법 및 이를 지원하는 휴대 단말기
US8412531B2 (en) * 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
CN101931551B (zh) * 2009-06-19 2013-01-09 鸿富锦精密工业（深圳）有限公司 服务器管理系统及方法
US20110060588A1 (en) * 2009-09-10 2011-03-10 Weinberg Garrett L Method and System for Automatic Speech Recognition with Multiple Contexts
JP5234160B2 (ja) * 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
KR20130032966A (ko) * 2011-09-26 2013-04-03 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
KR102022318B1 (ko) * 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US20130185650A1 (en) * 2012-01-17 2013-07-18 Howard A. Gutowitz Apparatus for message triage
WO2013147845A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Voice-enabled touchscreen user interface
JP2013222229A (ja) * 2012-04-12 2013-10-28 Konica Minolta Inc 入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラム
US9058815B2 (en) 2012-11-30 2015-06-16 General Electric Company System. apparatus, and method for interfacing workflow instructions
US20140282005A1 (en) * 2013-03-15 2014-09-18 Howard Gutowitz Apparatus for message triage
KR20140113832A (ko) 2013-03-15 2014-09-25 현대자동차주식회사 자동차의 음성 전달 시동장치 및 시동방법
US9575720B2 (en) * 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
US9412363B2 (en) 2014-03-03 2016-08-09 Microsoft Technology Licensing, Llc Model based approach for on-screen item selection and disambiguation
CN103885596B (zh) * 2014-03-24 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN103941686B (zh) * 2014-04-14 2017-06-13 广东美的制冷设备有限公司 语音控制方法和系统
CN105573534A (zh) * 2014-10-09 2016-05-11 中兴通讯股份有限公司 操作对象的处理方法及装置
US20170364323A1 (en) 2015-03-12 2017-12-21 Kabushiki Kaisha Toshiba Dialogue support apparatus, method and terminal
CN105094331B (zh) * 2015-07-27 2018-08-07 联想(北京)有限公司 一种信息处理方法及电子设备
CN106569771A (zh) * 2015-10-09 2017-04-19 百度在线网络技术（北京）有限公司 对象控制方法及装置
US9886958B2 (en) 2015-12-11 2018-02-06 Microsoft Technology Licensing, Llc Language and domain independent model based approach for on-screen item selection
KR101820291B1 (ko) * 2016-01-15 2018-01-19 현대자동차주식회사 차량용 음성 인식 제어 장치 및 그 방법
CN106027785A (zh) * 2016-05-26 2016-10-12 深圳市金立通信设备有限公司 一种语音处理方法及终端
CN105901891A (zh) * 2016-06-03 2016-08-31 海宁滴滴箱包智能科技有限公司 具有空气质量监测功能的自能箱包

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4785408A (en) * 1985-03-11 1988-11-15 AT&T Information Systems Inc. American Telephone and Telegraph Company Method and apparatus for generating computer-controlled interactive voice services
US5634080A (en) * 1992-06-29 1997-05-27 Elonex Ip Holdings, Ltd. Hand-held portable computer having an electroluminescent flat-panel display with pixel elements at right angles to the plane of the display and an excitation direction parallel to the plane of the display
JPH0695831A (ja) * 1992-09-11 1994-04-08 Komatsu Ltd インテリジェント型表示操作パネル
TW249877B (ko) * 1993-11-23 1995-06-21 Bellsouth Int Inc
US5717828A (en) * 1995-03-15 1998-02-10 Syracuse Language Systems Speech recognition apparatus and method for learning
US5991726A (en) * 1997-05-09 1999-11-23 Immarco; Peter Speech recognition devices
FI981154A (fi) * 1998-05-25 1999-11-26 Nokia Mobile Phones Ltd Menetelmä ja laite puheen tunnistamiseksi
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
FR2788615B1 (fr) 1999-01-18 2001-02-16 Thomson Multimedia Sa Appareil comportant une interface utilisateur vocale ou manuelle et procede d'aide a l'apprentissage des commandes vocales d'un tel appareil
JP2001042890A (ja) * 1999-07-30 2001-02-16 Toshiba Tec Corp 音声認識装置
KR19990078762A (ko) * 1999-08-05 1999-11-05 한상민 이동통신망과 통신되는 전자책 및 그 제어방법
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
KR20000049864A (ko) * 2000-05-03 2000-08-05 임정택 음성 인식 셀룰러폰 및 그 제어방법
US6791529B2 (en) * 2001-12-13 2004-09-14 Koninklijke Philips Electronics N.V. UI with graphics-assisted voice control system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064118A (ko) * 2012-11-19 2014-05-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20160048602A (ko) * 2014-10-25 2016-05-04 박남태 영상표시 장치의 음성제어를 이용한 보안 입력 방법 및 장치
WO2019004744A1 (ko) * 2017-06-30 2019-01-03 엘지전자 주식회사 이동 로봇
KR20190003121A (ko) * 2017-06-30 2019-01-09 엘지전자 주식회사 이동 로봇
US11701782B2 (en) 2017-06-30 2023-07-18 Lg Electronics Inc. Moving robot
KR20190061705A (ko) * 2017-11-28 2019-06-05 현대자동차주식회사 수동조작을 이용한 음성인식 장치 및 방법
US11144175B2 (en) 2018-04-02 2021-10-12 Samsung Electronics Co., Ltd. Rule based application execution using multi-modal inputs

Also Published As

Publication number Publication date
KR100457509B1 (ko) 2004-11-17
US7167826B2 (en) 2007-01-23
JP2003076389A (ja) 2003-03-14
JP3926220B2 (ja) 2007-06-06
CN1198203C (zh) 2005-04-20
CN1396520A (zh) 2003-02-12
US20030009330A1 (en) 2003-01-09

Similar Documents

Publication Publication Date Title
KR100457509B1 (ko) 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법
KR102084041B1 (ko) 펜 기능 운용 방법 및 시스템
US7827232B2 (en) Record button on a computer system
KR100547900B1 (ko) 데이터 입력 방법 및 데이터 입력 장치
JP4006338B2 (ja) 情報処理装置及びその方法、プログラム
EP2703972A1 (en) Display control device, display control method, and program
KR20140112910A (ko) 입력 제어 방법 및 이를 지원하는 전자 장치
KR20140008987A (ko) 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
KR20080104099A (ko) 입력 장치 및 그 입력 방법
CN108062214A (zh) 一种搜索界面的展示方法及装置
JPH08166866A (ja) 対話型インターフェースを具備した編集支援システム
KR20030008873A (ko) 자판 자동변환을 통한 문자 입력 방법 및 이 방법을실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
JP2001071289A (ja) 情報処理装置および方法、並びにプログラム格納媒体
US20080109227A1 (en) Voice Control System and Method for Controlling Computers
KR20140127146A (ko) 디스플레이 장치 및 그의 제어 방법
KR102283360B1 (ko) 텍스트 편집 위치를 가이드 하는 방법, 장치 및 기록매체
JP4509361B2 (ja) 音声認識装置、認識結果修正方法及び記録媒体
CN108090112A (zh) 一种搜索界面的交互方法及装置
KR20080080871A (ko) 사용자 인터페이스 제공 장치 및 방법
JP2000250587A (ja) 音声認識装置及び音声認識翻訳装置
JPS60146327A (ja) 計算機対話方法
KR101702760B1 (ko) 가상 키보드 음성입력 장치 및 방법
KR102373515B1 (ko) 콘텐츠의 플레이 중 메모 입력 기능을 제공하는 방법, 장치 및 프로그램
KR20030010279A (ko) 음성인식이 가능한 컴퓨터시스템 및 그 제어방법
JP3099753B2 (ja) ユーザインタフェース装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170217

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee