KR101457116B1 - 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법 - Google Patents

음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR101457116B1
KR101457116B1 KR1020110115084A KR20110115084A KR101457116B1 KR 101457116 B1 KR101457116 B1 KR 101457116B1 KR 1020110115084 A KR1020110115084 A KR 1020110115084A KR 20110115084 A KR20110115084 A KR 20110115084A KR 101457116 B1 KR101457116 B1 KR 101457116B1
Authority
KR
South Korea
Prior art keywords
input
text
user
motion
voice
Prior art date
Application number
KR1020110115084A
Other languages
English (en)
Other versions
KR20130049988A (ko
Inventor
최찬희
류희섭
배재현
장종혁
박승권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110115084A priority Critical patent/KR101457116B1/ko
Priority to EP20120161348 priority patent/EP2590054A1/en
Priority to US13/531,197 priority patent/US20130117027A1/en
Publication of KR20130049988A publication Critical patent/KR20130049988A/ko
Application granted granted Critical
Publication of KR101457116B1 publication Critical patent/KR101457116B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 그의 제어 방법이 제공된다. 본 전자 장치의 제어 방법은 사용자의 음성이 입력되면, 상기 사용자의 음성을 인식하여, 텍스트 입력창에 인식된 사용자의 음성을 텍스트로 디스플레이하고, 디스플레이된 텍스트의 입력을 취소하기 위한 사용자의 취소 모션이 입력되면, 취소 모션에 따라 텍스트 입력 취소가 수행된 텍스트를 디스플레이한다. 이에 의해, 사용자는 더욱 쉽고 편하게 음성 인식을 통해 입력한 텍스트를 취소할 수 있게 된다.

Description

음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법{Electronic apparatus and Method for controlling electronic apparatus using voice recognition and motion recognition}
본 발명은 전자 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 음성 입력부 및 모션 입력부를 통해 각각 입력된 음성 인식 및 모션 인식에 의해 제어되는 전자 장치 및 그의 제어 방법에 관한 것이다.
전자 장치가 점점 다기능화, 고도화됨에 따라, 전자 장치를 제어하기 위한 다양한 사용자 인터페이스가 개발되어 왔다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 있다.
근래에는 사용자의 음성을 인식하여 전자 장치를 제어하는 방법, 사용자의 모션을 인식하여 전자 장치를 제어하는 방법 등이 개발되고 있다. 하지만, 음성 인식 또는 모션 인식을 이용하여 제어하는 종래 기술은, 전자 장치의 제어 기능 중 단순한 일부 기능에만 해당하며, 사용자의 조작의 편의를 고려하여 설계되지 못하였다.
특히, 음성 인식을 이용한 텍스트 입력 과정 중에서 입력 취소 상황 발생 시 음성 인식을 이용하여 선별적인 취소, 부분적인 취소 및 전체 취소 기능이 지원되지 않아 전체 입력 과정을 다시 진행해야 하는 문제점이 있다.
따라서, 사용자가 더욱 쉽고 편하게 음성 인식을 통해 입력된 텍스트를 취소하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 음성 입력부를 통해 입력된 텍스트를 취소하기 위하여, 모션 입력부를 통해 입력되는 취소 모션을 이용하는 전자 장치 및 그의 제어 방법에 관한 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 사용자의 음성이 입력되면, 상기 사용자의 음성을 인식하는 단계; 텍스트 입력창에 상기 인식된 사용자의 음성을 텍스트로 디스플레이하는 단계;및 상기 디스플레이된 텍스트의 입력을 취소하기 위한 사용자의 취소 모션이 입력되면, 상기 취소 모션에 따라 텍스트 입력 취소가 수행된 텍스트를 디스플레이하는 단계;를 포함한다.
그리고, 상기 입력 취소가 수행된 텍스트를 디스플레이하는 단계는, 상기 취소 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 단어를 취소하여 디스플레이할 수 있다.
또한, 상기 입력 취소가 수행된 텍스트를 디스플레이하는 단계는, 상기 취소 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 철자를 취소하여 디스플레이할 수 있다.
그리고, 상기 입력 취소가 수행된 텍스트를 디스플레이하는 단계는, 상기 취소 모션이 기설정된 횟수 입력되면, 상기 텍스트의 입력을 모두 취소할 수 있다.
또한, 상기 입력 취소가 수행된 텍스트를 디스플레이하는 단계는, 사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하는 단계; 및 상기 취소 명령이 입력되면, 상기 커서가 위치하는 단어를 삭제하여 디스플레이하는 단계;를 포함할 수 있다.
그리고, 상기 입력 취소가 수행된 텍스트를 디스플레이하는 단계는, 사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하는 단계; 상기 이동된 커서의 위치에서 드래그 동작이 입력되면, 상기 드래그 동작에 의해 선택된 텍스트의 영역을 구별되게 디스플레이하는 단계;및 상기 취소 모션이 입력되면, 상기 선택된 텍스트의 영역을 취소하여 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 드래그 동작은, 상기 커서의 위치에서 사용자의 손을 기 설정된 시간 고정시키고, 왼쪽 방향 및 오른쪽 방향 중 하나로 이동하는 동작일 수 있다.
그리고, 상기 취소 모션은, 상기 사용자의 손을 반시계 방향으로 회전하는 모션일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 전자 장치는, 사용자의 음성을 입력받는 음성 입력부; 사용자의 모션을 입력받는 모션 입력부; 디스플레이부; 및 상기 음성 입력부를 통해 사용자의 음성이 입력되면, 상기 사용자의 음성을 인식하여, 텍스트 입력창에 상기 인식된 사용자의 음성을 텍스트로 디스플레이하고, 상기 모션 입력부를 통해 상기 디스플레이된 텍스트의 입력을 취소하기 위한 사용자의 취소 모션이 입력되면, 상기 취소 모션에 따라 텍스트 입력 취소가 수행된 텍스트를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 취소 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 단어를 취소하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 취소 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 철자를 취소하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 취소 모션이 기설정된 횟수 입력되면, 상기 텍스트 입력창에 입력된 텍스트를 모두 취소하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하고, 상기 취소 명령이 입력되면, 상기 커서가 위치하는 단어를 삭제하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하고, 상기 이동된 커서의 위치에서 드래그 동작이 입력되면, 상기 드래그 동작에 의해 선택된 텍스트의 영역을 구별되게 디스플레이하며, 상기 취소 모션이 입력되면, 상기 선택된 텍스트의 영역을 취소하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 드래그 동작은, 상기 커서의 위치에서 사용자의 손을 기 설정된 시간 고정시키고, 왼쪽 방향 및 오른쪽 방향 중 하나로 이동하는 동작일 수 있다.
그리고, 상기 취소 모션은, 상기 사용자의 손을 반시계 방향으로 회전하는 모션일 수 있다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의하면, 사용자는 더욱 쉽고 편하게 음성 인식을 통해 입력한 텍스트를 취소할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른, 전자 장치의 구성을 나타내는 블럭도를 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른, 전자 장치를 도시한 도면,
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른, 단어 취소에 대한 실시 예를 설명하기 위한 도면,
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른, 전체 취소에 대한 실시 예를 설명하기 위한 도면,
도 5a 내지 도 5c는 본 발명의 일 실시 예에 따른, 선택 취소에 대한 제1 실시 예를 설명하기 위한 도면,
도 6a 내지 도 6d는 본 발명의 일 실시 예에 따른, 선택 취소에 대한 제2 실시 예를 설명하기 위한 도면, 그리고,
도 7은 본 발명의 일 실시 예에 따른, 취소 모션에 따라 텍스트의 입력을 취소하는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시 예에 따른, 전자 장치(100)의 구성을 나타내는 블럭도를 도시한 도면이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 영상 입력부(130), 저장부(140), 출력부(150) 및 제어부(160)를 포함한다. 이때, 전자 장치(100)는 TV, 태블릿 PC, 휴대폰 등으로 구현할 수 있으나 이는 일 실시 예에 불과할 뿐, 음성 인식 및 모션 인식을 이용하는 전자 장치에는 본 발명의 기술적 사상을 적용할 수 있다.
음성 입력부(110)는 사용자가 발화(utterance)한 음성을 입력받는다. 음성 입력부(110)는 입력된 음성 신호를 전기 신호로 변환하여 제어부(160)로 출력한다. 예를 들어, 음성 입력부(110)는 마이크로폰으로 구현될 수 있다.
모션 입력부(120)는 사용자의 모션을 촬상한 영상 신호(예를 들어, 연속되는 프레임)를 입력받아 제어부(160)로 제공한다. 예를 들어, 모션 입력부(120)는 렌즈 및 이미지센서로 구성되는 카메라로 구현될 수 있다.
음성 입력부(110) 및 모션 입력부(120)는 도 2에 도시된 바와 같이, 디스플레이부(153)의 외곽에 위치하는 베젤(bezel)의 위쪽 중간에 위치할 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 전자 장치(100)의 다른 영역에 위치할 수 있으며, 외부에 분리되어 구비될 수 있다. 음성 입력부(110) 및 모션 입력부(120)가 분리된 경우, 분리된 음성 입력부(110) 및 모션 입력부(120)는 전자 장치(100)와 연결될 수 있다.
영상 입력부(130)는 외부로부터 영상을 입력받는다. 특히, 영상 입력부(130)는 방송 수신부(133) 및 외부단자 입력부(136)를 포함할 수 있다. 방송 수신부(133)는 외부의 방송국으로부터 전송되는 방송 채널 신호를 선국하여, 선국된 방송 채널 신호에 대한 신호 처리 과정을 수행한다. 외부단자 입력부(136)는 외부기기(예를 들어, DVD, PC, 셋탑박스)로부터 영상 신호를 수신할 수 있다.
저장부(140)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터 및 프로그램을 저장한다. 저장부(140)는 음성 입력부(110)를 통해 입력된 음성을 인식하기 위한 음성 인식 모듈 및 모션 입력부(120)를 통해 입력된 모션을 인식하기 위한 모션 인식 모듈을 저장한다.
또한, 저장부(140)는 음성 데이터베이스 및 모션 데이터베이스를 저장할 수 있다. 음성 데이터베이스는 음성 및 각 음성에 매칭되는 음성 태스크가 기록된 데이터베이스를 의미한다. 모션 데이터베이스는 모션 및 각 모션에 매칭되는 모션 태스크가 기록된 데이터베이스를 의미한다. 여기서, 전자 장치(100)의 태스크라 함은 채널 변경, 음량 변경, 웹 브라우징과 같은 전자 장치(100)에 의해 수행될 수 있는 기능을 의미한다.
출력부(150)는 신호처리된 영상 데이터 및 영상 데이터에 대응되는 오디오 데이터를 외부로 출력한다. 이때, 영상 데이터는 디스플레이부(153)에 의해 출력될 수 있으며, 오디오 데이터는 오디오 출력부(156)에 의해 출력될 수 있다. 오디오 출력부(156)는 스피커, 헤드폰 출력 단자 또는 S/PDIF 출력 단자 중 적어도 하나를 포함할 수 있다.
제어부(160)는 사용자의 명령에 따라, 전자 장치(100)의 전반적인 동작을 제어한다. 이때, 제어부(160)는 사용자의 명령에 따라 음성 입력부(110), 모션 입력부(120), 영상 입력부(130), 저장부(140) 및 출력부(150)를 제어할 수 있다. 제어부(160)는 CPU(central processing unit) 및 전자 장치(100)를 제어하기 위한 모듈 및 모듈을 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
제어부(160)는 음성 입력부(110) 및 모션 입력부(120)를 통해 입력된 음성 및 모션을 저장부(140)에 저장된 음성 인식 모듈 및 모션 인식 모듈을 이용하여 인식할 수 있다.
구체적으로, 음성 입력부(110)를 통해 음성이 입력되는 경우, 제어부(160)는 음성 인식 모듈 및 음성 데이터베이스를 이용하여 음성을 인식한다. 음성 인식(voice recognition)은 입력되는 음성의 형태에 따라, 각각의 단어를 구분하여 발화한 음성을 인식하는 고립단어 인식(isolated word recognition), 연속단어, 연속문장 및 대화체 음성을 인식하는 연속음성 인식(continuous speech recognition) 및 고립단어 인식과 연속음성 인식의 중간형태로, 미리 정해진 핵심어를 검출하여 인식하는 핵심어 검출(keyword spotting)으로 구분될 수 있다. 사용자 음성이 입력되는 경우, 제어부(160)는 입력된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 제어부(160)는 입력된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 제어부(160)는 검출된 음성 구간 내의 음성 신호에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성한다. 제어부(160)는 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 텍스트 정보를 생성한다. 이에 따라, 제어부(160)는 음성 신호 중에 포함된 사용자의 음성을 인식할 수 있다.
모션 입력부(120)를 통해 모션이 입력되는 경우, 제어부(160)는 모션 감지 모듈 및 모션 데이터베이스를 이용하여 모션을 인식한다. 모션 인식(motion recognition)은 모션 입력부(120)를 통해 입력되는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 모션 인식 모듈을 이용하여 주위 배경과 손(예를 들어, 손가락을 펴거나 손가락을 오므려 주먹을 쥐는) 영역으로 분리하고, 연속되는 손의 움직임을 인식할 수 있다. 사용자 모션이 입력되는 경우, 제어부(160)는 수신된 영상을 프레임 단위로 저장하고, 저장된 프레임을 이용하여 사용자 모션의 대상인 오브젝트(예를 들어, 사용자의 손)를 감지한다. 모션 감지 모듈은 프레임에 포함된 오브젝트의 형상, 색깔, 움직임 중 적어도 하나를 감지하여 오브젝트를 검출한다. 제어부(160)는 검출된 오브젝트의 움직임을 추적할 수 있다. 또한, 제어부(160)은 오브젝트의 움직임 이외의 노이즈를 제거할 수 있다.
제어부(160)는 추적된 오브젝트의 형체 및 위치에 따라 모션을 판단한다. 제어부(160)는 오브젝트의 형태의 변화, 속도, 위치, 방향 등을 판단하여 사용자의 모션을 판단한다. 사용자의 모션은 손을 쥐는 모션인 그랩(grab), 표시된 커서를 손으로 이동시키는 모션인 포인팅 이동(pointing move), 손을 일정 속도 이상으로 한쪽 방향으로 움직이는 모션인 슬랩(slap), 손을 좌/우 또는 상/하로 흔드는 모션인 쉐이크(shake) 및 손을 회전하는 모션인 회전을 포함한다. 상술한 실시 예에 이외의 다른 모션에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있다.
제어부(160)는 상술한 바와 같이, 인식한 음성 및 모션을 이용하여, 전자 장치(100)의 태스크(task)를 수행한다. 특히, 제어부(160)는 음성 입력부(110)를 통해 사용자의 음성이 입력되면, 사용자의 음성을 인식한다. 그리고, 제어부(160)는 텍스트 입력창에 인식된 사용자의 음성을 텍스트로 디스플레이한다. 그리고, 모션 입력부(120)를 통해 디스플레이된 텍스트의 입력을 취소하기 위한 사용자의 취소 모션이 입력되면, 제어부(160)는 취소 모션에 따라 텍스트 입력 취소가 수행된 텍스트를 디스플레이하도록 디스플레이부(153)를 제어할 수 있다.
이하에서는 도 3a 내지 도 6d를 참조하여 취소 모션을 이용하여 텍스트를 취소하는 다양한 실시 예에 대해 설명하도록 한다. 도 3a 및 도 3b는 본 발명의 일 실시 예에 따른, 단어 취소에 대한 실시 예를 설명하기 위한 도면이다.
우선, 음성 입력부(110)를 통해 "음성 인식 중 입니다"라는 사용자 음성이 입력되면, 제어부(160)는 음성 인식 모듈을 이용하여, "음성 인식 중 입니다"를 인식한다. 그리고, 제어부(160)는 도 3a에 도시된 바와 같이, 텍스트 입력창(310)에 "음성 인식 중 입니다"라는 텍스트를 디스플레이하도록 디스플레이부(153)를 제어한다.
"음성 인식 중 입니다"라는 텍스트가 디스플레이된 상태에서, 모션 입력부(120)를 통해 취소 모션이 입력되면, 도 3b에 도시된 바와 같이, 제어부(160)는 가장 최근에 입력된 단어인 "입니다"의 입력을 취소하여 "음성 인식 중 "을 디스플레이하도록 디스플레이부(153)를 제어한다. 이때, 취소 모션은 사용자의 손을 반시계 방향으로 회전시키는 모션일 수 있으나, 이에 한정되지 않고, 다른 모션(예를 들어, 그랩 모션)이 취소 모션일 수 있다. 여기서 단어에는 띄어쓰기도 포함될 수 있다.
또한, 상술한 실시 예에서는 취소 모션이 입력된 경우, 가장 최근에 입력된 단어를 삭제하는 것으로 상정하였으나, 이는 일 실시 예에 불과할 뿐, 가장 최근에 입력된 철자, 숫자 및 기호 중 하나를 삭제할 수 있다.
따라서, 상술한 바와 같은 실시 예에 의해 전자 장치(100)는 취소 모션을 통해 가장 최근에 입력된 단어의 입력을 취소할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른, 전체 취소에 대한 실시 예를 설명하기 위한 도면이다.
우선, 음성 입력부(110)를 통해 "음성 인식 중 입니다"라는 사용자 음성이 입력되면, 제어부(160)는 음성 인식 모듈을 이용하여, "음성 인식 중 입니다"를 인식한다. 그리고, 제어부(160)는 도 4a에 도시된 바와 같이, 텍스트 입력창(410)에 "음성 인식 중 입니다"라는 텍스트를 디스플레이하도록 디스플레이부(153)를 제어한다.
"음성 인식 중 입니다"라는 텍스트가 디스플레이된 상태에서, 모션 입력부(120)를 통해 취소 모션(예를 들어, 반시계 방향의 회전 모션)이 3회 연속적으로 입력되면, 도 4b에 도시된 바와 같이, 제어부(160)는 텍스트 입력창(410)에 표시된 텍스트를 모두 취소하여 디스플레이하도록 디스플레이부(153)를 제어한다.
한편, 상술한 실시 예에서는 3회 연속적인 취소 모션이 입력된 경우, 전체 취소가 수행되는 것으로 하였으나, 이는 일 실시 예에 불과할 뿐 3회를 제외한 복수회의 취소 모션이 입력된 경우, 전체 취소가 실행될 수 있다. 또한, 전체 취소 모션과 대응되는 모션(예를 들어, 쉐이크 모션)이 입력되는 경우, 전체 취소가 수행될 수 있다.
도 5a 내지 도 5c는 본 발명의 일 실시 예에 따른, 선택 취소에 대한 제1 실시 예를 설명하기 위한 도면이다.
우선, 음성 입력부(110)를 통해 "음성 인식 중 입니다"라는 사용자 음성이 입력되면, 제어부(160)는 음성 인식 모듈을 이용하여, "음성 인식 중 입니다"를 인식한다. 그리고, 제어부(160)는 도 5a에 도시된 바와 같이, 텍스트 입력창(510)에 "음성 인식 중 입니다"라는 텍스트를 디스플레이하도록 디스플레이부(153)를 제어한다.
"음성 인식 중 입니다"가 디스플레이된 상태에서 커서(520)의 위치를 이동시키기 위한 사용자 명령이 입력되면, 제어부(160)는 사용자 명령에 따라 커서(520)의 위치를 이동시킨다. 예를 들어, 도 5b에 도시된 바와 같이, 제어부(160)는 "인"과 "식" 사이에 커서(520)를 위치할 수 있다. 이때, 커서(520)를 이동시키기 위한 사용자 명령은 특정 모션(예를 들어, 슬랩 모션) 또는 외부기기(예를 들어, 리모컨)에 의해 수행될 수 있다.
커서(520)의 위치가 "인"과 "식" 사이에 위치하는 상태에서 모션 입력부(120)를 통해 취소 모션(예를 들어, 반시계 방향의 회전 모션)이 입력된 경우, 제어부(160)는 커서(520)가 위치하는 단어인 "인식"을 삭제하여, 도 5c에 도시된 바와 같이, "음성 중 입니다"라고 디스플레이하도고 디스플레이부(153)를 제어할 수 있다.
한편, 커서(520)의 위치가 단어 중간에 있는 것이 아니라, 단어의 끝 또는 시작에 위치하는 경우, 커서(520)의 왼쪽에 있는 단어를 취소하도록 설정할 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 사용자 설정에 의해 오른쪽에 있는 단어를 취소할 수 있다.
따라서, 사용자는 커서(520)의 위치를 삭제하고자 하는 단어에 이동시켜 선택적으로 텍스트 입력을 취소할 수 있게 된다.
도 6a 내지 도 6d는 본 발명의 일 실시 예에 따른, 선택 취소에 대한 제2 실시 예를 설명하기 위한 도면이다.
우선, 음성 입력부(110)를 통해 "음성 인식 중 입니다"라는 사용자 음성이 입력되면, 제어부(160)는 음성 인식 모듈을 이용하여, "음성 인식 중 입니다"를 인식한다. 그리고, 제어부(160)는 도 6a에 도시된 바와 같이, 텍스트 입력창(610)에 "음성 인식 중 입니다"라는 텍스트를 디스플레이하도록 디스플레이부(153)를 제어한다.
텍스트 입력창(610)에 "음성 인식 중 입니다"가 디스플레이된 상태에서 커서(620)의 위치를 이동시키기 위한 사용자 명령이 입력되면, 제어부(160)는 사용자 명령에 따라 커서(620)의 위치를 이동시킨다. 예를 들어, 도 6b에 도시된 바와 같이, 제어부(160)는 "중"의 오른쪽에 커서(620)를 위치할 수 있다.
커서(620)가 "중"의 위치에 디스플레이된 상태에서 드래그 모션이 입력되면, 제어부(160)는 사용자의 드래그 모션에 의해 선택된 영역을 구별되게 표시되도록 디스플레이부(153)를 제어한다. 예를 들어, 커서(620)가 "중"의 위치에 디스플레이된 상태에서 "인"까지 선택하고자 하는 드래그 모션이 입력되면, 제어부(160)는 도 6c에 도시된 바와 같이, "인식 중"(630)을 하이라이트 표시하여 디스플레이하도록 디스플레이부(153)를 제어한다. 이때, 드래그 모션은 커서(620)의 위치에서 사용자의 손을 기 설정된 시간(예를 들어, 5초) 고정시키고, 왼쪽 방향 및 오른쪽 방향 중 하나로 이동하는 동작일 수 있으나 이에 한정되는 것은 아니다.
또한, 상술한 실시 예에서는 선택된 영역(630)인 "인식 중"을 하이라이트 표시하는 것은 일 실시 예에 불과할 뿐, 다른 방법(예를 들어, 밑줄, 볼딕)을 이용하여 구별되게 표시할 수 있다.
드래그 모션에 의해 선택된 영역(630)이 구별되게 표시된 상태에서 모션 입력부(120)를 통해 취소 모션(예를 들어, 반시계 방향의 회전 모션)이 입력되면, 제어부(160)는 선택된 영역(630)을 삭제하여, 도 6d에 도시된 바와 같이, "음성 입니다"라고 디스플레이하도록 디스플레이부(153)를 제어할 수 있다.
따라서, 사용자는 모션 인식을 이용해 삭제하고자 하는 영역을 드래그하여 선택적으로 텍스트 입력을 취소할 수 있게 된다.
한편, 도 3a 내지 도 6d에서 설명한 실시 예는 검색 웹 페이지에 존재하는 텍스트 입력창 이외에 텍스트를 입력할 수 있는 다른 곳에도 적용될 수 있다. 예를 들어, 문자 메시지 작성시, 혹은 문서 작성시 입력되는 텍스트도 상술한 바와 같은 모션 입력을 통해 취소할 수 있다.
이하에서는 도 7을 참조하여, 취소 모션에 따라 텍스트의 입력을 취소하는 전자 장치(100)의 제어 방법을 설명하도록 한다.
우선, 전자 장치(100)는 음성 입력부(110)를 통해 음성을 입력받는다(S710), 이때, 전자 장치(100)는 마이크를 통해 사용자의 음성을 입력받을 수 있다.
그리고, 전자 장치(100)는 음성 입력부(110)를 통해 입력된 음성을 인식하여 텍스트 입력창에 인식된 음성에 대응되는 텍스트를 디스플레이한다(S720). 구체적으로, 전자 장치(100)는 음성 인식 모듈을 이용하여 사용자의 음성을 인식하고, 이를 텍스트 정보로 변환할 후, 변환된 텍스트 정보를 텍스트 입력창에 디스플레이할 수 있다.
그리고, 전자 장치(100)는 모션 입력부(120)를 통해 취소 모션이 입력되었는지 여부를 판단한다(S730). 이때, 취소 모션은 반시계 방향의 회전 모션일 수 있으나, 이에 한정되는 것은 아니다.
취소 모션이 입력된 경우(S730-Y), 전자 장치(100)는 취소 모션에 따라 텍스트 입력을 취소한다(S740). 예를 들어, 도 3a 내지 도 6d에 도시된 바와 같이, 전자 장치(100)는 최근에 입력된 단어(또는 철자, 기호, 숫자), 커서가 위치하는 단어, 드래그에 의해 선택된 단어 및 전체 단어를 삭제할 수 있다. 본 발명의 다양한 실시 예에 의해 텍스트 입력을 취소하는 방법은 도 3a 내지 도 6d에서 자세히 설명하였으므로, 자세한 설명은 생략한다.
그리고, 전자 장치(100)는 취소 모션에 따라 입력이 취소된 텍스트를 디스플레이한다(S750).
상술한 바와 같은 전자 장치의 제어 방법에 의해, 사용자는 모션 인식을 통해 입력된 텍스트의 취소를 더욱 쉽고 편하게 수행할 수 있게 된다.
본 발명의 예시적 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 예시적 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 음성 입력부 120: 모션 입력부
130: 영상 입력부 140: 저장부
150: 출력부 160: 제어부

Claims (18)

  1. 전자 장치의 제어 방법에 있어서,
    사용자의 음성이 입력되면, 상기 사용자의 음성을 인식하는 단계;
    텍스트 입력창에 상기 인식된 사용자의 음성을 텍스트로 디스플레이하는 단계;
    사용자의 모션에 관한 영상을 획득하는 단계; 및
    상기 획득된 영상의 사용자 모션이 상기 디스플레이된 텍스트를 편집하기 위한 사용자의 소정 모션인 경우, 상기 소정 모션에 따라 편집된 텍스트를 디스플레이하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 편집된 텍스트를 디스플레이하는 단계는,
    상기 소정 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 단어를 취소하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 편집된 텍스트를 디스플레이하는 단계는,
    상기 소정 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 철자를 취소하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 편집된 텍스트를 디스플레이하는 단계는,
    상기 소정 모션이 기설정된 횟수 입력되면, 상기 텍스트의 입력을 모두 취소하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 편집된 텍스트를 디스플레이하는 단계는,
    사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하는 단계; 및
    상기 소정 명령이 입력되면, 상기 커서가 위치하는 단어를 삭제하여 디스플레이하는 단계;를 포함하는 제어 방법.
  6. 제1항에 있어서,
    상기 편집된 텍스트를 디스플레이하는 단계는,
    사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하는 단계;
    상기 이동된 커서의 위치에서 드래그 동작이 입력되면, 상기 드래그 동작에 의해 선택된 텍스트의 영역을 구별되게 디스플레이하는 단계;및
    상기 소정 모션이 입력되면, 상기 선택된 텍스트의 영역을 취소하여 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  7. 제6항에 있어서,
    상기 드래그 동작은,
    상기 커서의 위치에서 사용자의 손을 기 설정된 시간 고정시키고, 왼쪽 방향 및 오른쪽 방향 중 하나로 이동하는 동작인 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 소정 모션은,
    상기 사용자의 손을 반시계 방향으로 회전하는 모션인 것을 특징으로 하는 제어 방법.
  9. 전자 장치에 있어서,
    사용자의 음성을 입력받는 음성 입력부;
    사용자의 모션에 관한 영상을 입력받는 모션 입력부;
    디스플레이부; 및
    상기 음성 입력부를 통해 사용자의 음성이 입력되면, 상기 사용자의 음성을 인식하여, 텍스트 입력창에 상기 인식된 사용자의 음성을 텍스트로 디스플레이하고, 상기 모션 입력부를 통해 획득된 상기 영상의 사용자 모션이 상기 디스플레이된 텍스트를 편집하기 위한 사용자의 소정 모션인 경우, 상기 소정 모션에 따라 편집된 텍스트를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 전자 장치.
  10. 제9항에 있어서,
    상기 제어부
    상기 소정 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 단어를 취소하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 소정 모션이 1회 입력되면, 상기 텍스트 중 가장 최근에 입력된 철자를 취소하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
  12. 제9항에 있어서,
    상기 제어부는,
    상기 소정 모션이 기설정된 횟수 입력되면, 상기 텍스트 입력창에 입력된 텍스트를 모두 취소하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
  13. 제9항에 있어서,
    상기 제어부는,
    사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하고, 상기 소정 명령이 입력되면, 상기 커서가 위치하는 단어를 삭제하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
  14. 제9항에 있어서,
    상기 제어부는,
    사용자의 입력에 따라 텍스트에 디스플레이된 커서의 위치를 이동하고, 상기 이동된 커서의 위치에서 드래그 동작이 입력되면, 상기 드래그 동작에 의해 선택된 텍스트의 영역을 구별되게 디스플레이하며, 상기 소정 모션이 입력되면, 상기 선택된 텍스트의 영역을 취소하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 장치.
  15. 제14항에 있어서,
    상기 드래그 동작은,
    상기 커서의 위치에서 사용자의 손을 기 설정된 시간 고정시키고, 왼쪽 방향 및 오른쪽 방향 중 하나로 이동하는 동작인 것을 특징으로 하는 전자 장치.
  16. 제9항에 있어서,
    상기 소정 모션은,
    상기 사용자의 손을 반시계 방향으로 회전하는 모션인 것을 특징으로 하는 전자 장치.
  17. 제 1 항에 있어서,
    상기 획득된 영상은 배경 부분 및 사용자 신체의 일 부분을 포함하며,
    상기 편집된 텍스트를 디스플레이하는 단계는,
    상기 사용자 신체의 일 부분의 위치가 이동되는 동작이 상기 사용자의 소정 모션인 경우, 상기 소정 모션에 따라 상기 디스플레이된 텍스트를 편집하는 것을 특징으로 하는 제어 방법.
  18. 제 9 항에 있어서,
    상기 모션 입력부를 통해 획득된 영상은 배경 부분과 사용자 신체의 일 부분을 포함하며,
    상기 제어부는,
    상기 사용자 신체의 일 부분의 위치가 이동되는 동작이 상기 사용자의 소정 모션인 경우, 상기 소정 모션에 따라 상기 디스플레이된 텍스트를 편집하는 것을 특징으로 하는 전자 장치.
KR1020110115084A 2011-11-07 2011-11-07 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법 KR101457116B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110115084A KR101457116B1 (ko) 2011-11-07 2011-11-07 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
EP20120161348 EP2590054A1 (en) 2011-11-07 2012-03-26 Electronic apparatus and method for controlling electronic apparatus using recognition and motion recognition
US13/531,197 US20130117027A1 (en) 2011-11-07 2012-06-22 Electronic apparatus and method for controlling electronic apparatus using recognition and motion recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110115084A KR101457116B1 (ko) 2011-11-07 2011-11-07 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20130049988A KR20130049988A (ko) 2013-05-15
KR101457116B1 true KR101457116B1 (ko) 2014-11-04

Family

ID=45936922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110115084A KR101457116B1 (ko) 2011-11-07 2011-11-07 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US20130117027A1 (ko)
EP (1) EP2590054A1 (ko)
KR (1) KR101457116B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977072B1 (ko) * 2012-05-07 2019-05-10 엘지전자 주식회사 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기
KR102091003B1 (ko) * 2012-12-10 2020-03-19 삼성전자 주식회사 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
KR102196671B1 (ko) * 2013-01-11 2020-12-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9292254B2 (en) * 2013-05-15 2016-03-22 Maluuba Inc. Interactive user interface for an intelligent assistant
JP2016091266A (ja) * 2014-11-04 2016-05-23 富士通株式会社 翻訳装置、翻訳方法、及び翻訳プログラム
JP2016109725A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10311874B2 (en) 2017-09-01 2019-06-04 4Q Catalyst, LLC Methods and systems for voice-based programming of a voice-controlled device
GB2572437A (en) * 2018-03-29 2019-10-02 Francisca Jones Maria Display apparatus
US11094327B2 (en) * 2018-09-28 2021-08-17 Lenovo (Singapore) Pte. Ltd. Audible input transcription

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052378A (ko) * 2008-11-10 2010-05-19 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952803B1 (en) * 1998-12-29 2005-10-04 Xerox Corporation Method and system for transcribing and editing using a structured freeform editor
US7551779B2 (en) * 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
US20080221882A1 (en) * 2007-03-06 2008-09-11 Bundock Donald S System for excluding unwanted data from a voice recording
JP4625831B2 (ja) * 2007-08-01 2011-02-02 シャープ株式会社 表示装置および表示方法
US20110210931A1 (en) * 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
US20090070109A1 (en) * 2007-09-12 2009-03-12 Microsoft Corporation Speech-to-Text Transcription for Personal Communication Devices
JP2009093291A (ja) * 2007-10-04 2009-04-30 Toshiba Corp ジェスチャー判定装置及び方法
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US20110029869A1 (en) * 2008-02-29 2011-02-03 Mclennan Hamish Method and system responsive to intentional movement of a device
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US20110115702A1 (en) * 2008-07-08 2011-05-19 David Seaberg Process for Providing and Editing Instructions, Data, Data Structures, and Algorithms in a Computer System
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US20110161889A1 (en) * 2009-12-30 2011-06-30 Motorola, Inc. User Interface for Electronic Devices
US20130120282A1 (en) * 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Gesture Usability
US20120096345A1 (en) * 2010-10-19 2012-04-19 Google Inc. Resizing of gesture-created markings for different display sizes
US9348417B2 (en) * 2010-11-01 2016-05-24 Microsoft Technology Licensing, Llc Multimodal input system
US8786547B2 (en) * 2010-12-23 2014-07-22 Microsoft Corporation Effects of gravity on gestures
US20130246063A1 (en) * 2011-04-07 2013-09-19 Google Inc. System and Methods for Providing Animated Video Content with a Spoken Language Segment
WO2012162895A1 (en) * 2011-06-03 2012-12-06 Google Inc. Gestures for selecting text
US8442970B2 (en) * 2011-08-05 2013-05-14 Microsoft Corporation Creating and editing user search queries
US20130067411A1 (en) * 2011-09-08 2013-03-14 Google Inc. User gestures indicating rates of execution of functions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052378A (ko) * 2008-11-10 2010-05-19 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:IEEE 2003 *
논문1:IEEE 2003*

Also Published As

Publication number Publication date
EP2590054A1 (en) 2013-05-08
KR20130049988A (ko) 2013-05-15
US20130117027A1 (en) 2013-05-09

Similar Documents

Publication Publication Date Title
KR101457116B1 (ko) 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
JP5746111B2 (ja) 電子装置及びその制御方法
JP5819269B2 (ja) 電子装置及びその制御方法
JP6111030B2 (ja) 電子装置及びその制御方法
AU2012293064B2 (en) Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
US20130035941A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130033644A1 (en) Electronic apparatus and method for controlling thereof
US20130174036A1 (en) Electronic apparatus and method for controlling thereof
US20140297257A1 (en) Motion sensor-based portable automatic interpretation apparatus and control method thereof
JP2014130595A (ja) 電子装置及びその制御方法
KR20130080380A (ko) 전자 장치 및 그의 제어 방법
US20130174101A1 (en) Electronic apparatus and method of controlling the same
KR102393774B1 (ko) 음성 인식 장치 및 그 제어방법
KR20130078494A (ko) 디스플레이 장치 및 그의 제어 방법
KR20150066156A (ko) 디스플레이 장치 및 이의 제어 방법
US20140195014A1 (en) Electronic apparatus and method for controlling electronic apparatus
KR20210109722A (ko) 사용자의 발화 상태에 기초하여 제어 정보를 생성하는 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee