KR20180061691A - 음성 기반 제어 장치 및 방법 - Google Patents

음성 기반 제어 장치 및 방법 Download PDF

Info

Publication number
KR20180061691A
KR20180061691A KR1020160161151A KR20160161151A KR20180061691A KR 20180061691 A KR20180061691 A KR 20180061691A KR 1020160161151 A KR1020160161151 A KR 1020160161151A KR 20160161151 A KR20160161151 A KR 20160161151A KR 20180061691 A KR20180061691 A KR 20180061691A
Authority
KR
South Korea
Prior art keywords
voice
screen
based control
response
divided
Prior art date
Application number
KR1020160161151A
Other languages
English (en)
Other versions
KR102664318B1 (ko
Inventor
김지현
Original Assignee
주식회사 넥슨코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥슨코리아 filed Critical 주식회사 넥슨코리아
Priority to KR1020160161151A priority Critical patent/KR102664318B1/ko
Publication of KR20180061691A publication Critical patent/KR20180061691A/ko
Application granted granted Critical
Publication of KR102664318B1 publication Critical patent/KR102664318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

음성 인식에 기반한 제어 장치 및 방법이 제공된다. 일 실시예에 따른 음성 기반 제어 장치는 사용자로부터 제1 음성 신호 및 제2 음성 신호를 획득하여, 제1 음성 신호에 대응하는 분할 화면을 확대하고, 제2 음성 신호에 따라 선택된 객체에 할당된 동작을 실행할 수 있다.

Description

음성 기반 제어 장치 및 방법{DEVICE AND METHOD TO CONTROL BASED ON VOICE}
이하, 음성 기반 제어 기술이 제공된다.
근래 들어, 전체 모바일 게임 시장에서 터치폰과 같은 터치 스크린 디스플레이를 구비한 포터블 디바이스의 사용자가 증대하고 있고, 이러한 사용자의 증대로 매출 점유율 역시 증가하고 있다.
모바일 터치 게임의 진행에 있어, 특정 지점으로의 캐릭터의 이동 및 터치의 직관성을 살린 사용자 인터페이스, 조작방법의 직관성 등으로 많은 게임 유저들의 호응을 얻고 있으나, 모바일 게임을 위한 터치폰과 같은 터치 스크린 디스플레이를 구비한 포터블 디바이스의 경우, 사용자 유저 인터페이스가 작아 터치가 불편하여 게임 유저의 손가락의 이용한 키 입력이 불가한 등의 문제점이 있었다.
또한, 이러한 사용자 인터페이스의 한계로 인하여 터치 스크린 디스플레이를 구비한 포터블 디바이스에서는 모바일 터치 게임의 플레이에서 미세한 컨트롤이 불가하고, 사용자 인터페이스가 난잡하여 터치하기가 힘들고 복잡함은 물론 화면을 가려 게임 유저의 터치 실수로 게임 플레이에 치명적인 영향을 미치는 문제점이 있었다.
더 나아가 가상 현실 기기의 경우 조작부가 사용자의 시야에 보이지 않아, 조작이 용이하지 않을 수 있다.
이에, 포터블 디바이스 및 가상 현실 기기 등에서 게임 플레이를 위한 입력 방식에서 발생할 수 있는 비정확성과 불편함을 개선하고, 게임 유저를 고려한 조작의 직관성과 편의성을 확보할 수 있는 사용자 인터페이스의 필요성이 대두되었다.
일 실시예에 따르면 음성 기반 제어 장치는 음성 명령을 통해 조작 가능 객체가 위치하는 분할 화면을 확대할 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 음성 명령을 통해 조작 가능 객체를 실행할 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 음성 명령을 통해 반복적으로 화면을 확대할 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 음성 명령을 조작 객체에 매핑할 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 객체 실행 후 전체 화면을 복구할 수 있다.
일 실시예에 따르면 사용자 단말에 의해 수행되는 음성 기반 제어 방법은 사용자로부터 제1 음성 신호의 획득에 응답하여, 전체 화면 중 상기 제1 음성 신호에 대응하는 분할 화면을 확대하는 단계; 상기 분할 화면에서 조작 가능 객체를 선택하는 단계; 및 상기 사용자로부터 제2 음성 신호의 획득에 응답하여, 상기 선택된 객체에 할당된 동작을 실행하는 단계를 포함할 수 있다.
음성 기반 제어 방법은 상기 사용자로부터 제3 음성 신호의 획득에 응답하여, 상기 제3 음성 신호에 매핑된 객체를 현재 화면 내에서 검색하는 단계; 및 상기 제3 음성 신호에 매핑된 객체가 상기 현재 화면 내에서 검색된 경우에 응답하여, 상기 제3 음성 신호에 매핑된 객체에 할당된 동작을 실행하는 단계를 더 포함할 수 있다.
상기 선택하는 단계는, 상기 분할 화면에서 조작 가능 객체 중 임계 영역(threshold area) 이상의 영역을 차지하는 객체를 강조 표시하는 단계를 포함할 수 있다.
상기 선택하는 단계는, 상기 분할 화면에서 조작 가능 객체 중 가장 넓은 영역을 차지하는 객체를 강조 표시하는 단계를 포함할 수 있다.
음성 기반 제어 방법은 상기 제2 음성 신호에 따른 객체의 동작 실행에 응답하여, 상기 확대되었던 분할 화면으로부터 상기 전체 화면으로 복원하는 단계를 포함할 수 있다.
상기 선택하는 단계는, 상기 사용자로부터 획득된 제4 음성 신호에 응답하여, 상기 제4 음성 신호에 대응하는 음성 명령을 상기 선택된 객체에 매핑하여 데이터베이스에 저장하는 단계를 포함할 수 있다.
상기 확대하는 단계는, 상기 전체 화면을 미리 정한 개수의 분할 화면들로 분할하는 단계; 상기 제1 음성 신호가 매칭하는 상기 분할 화면들의 각각에 대해 지정된 대상 명령을 검색하는 단계; 및 상기 제1 음성 신호에 매칭하는 대상 명령이 지정된 분할 화면을 확대하는 단계를 포함할 수 있다.
상기 확대하는 단계는, 상기 전체 화면을 상기 조작 가능 객체의 배치, 크기, 및 개수 중 적어도 하나에 기초하여 복수의 분할 화면들로 분할하는 단계; 상기 복수의 분할 화면들의 각각에 대상 명령을 할당하는 단계; 및 상기 할당된 대상 명령에 대응하는 그래픽 표현을 상기 복수의 분할 화면들의 각각에 시각화하는 단계를 포함할 수 있다.
상기 선택된 객체에 할당된 동작을 실행하는 단계는, 상기 제2 음성 신호의 획득에 응답하여, 상기 선택된 객체에 대해 가상의 터치 조작을 입력하는 단계를 포함할 수 있다.
상기 선택하는 단계는, 상기 분할 화면 내에서 상기 사용자에 의해 조작 가능 객체를 검색하는 단계; 및 복수의 조작 가능 객체들이 검색된 경우에 응답하여, 상기 복수의 조작 가능 객체들 중 하나의 객체를 선택하는 단계를 포함할 수 있다.
상기 분할 화면을 확대하는 단계는, 상기 제1 음성 신호의 획득에 응답하여, 상기 제1 음성 신호에 대응하는 분할 화면으로부터 조작 가능 객체를 검색하는 단계; 및 상기 제1 음성 신호에 대응하는 분할 화면에서 조작 가능 객체가 검색되지 않는 경우에 응답하여, 상기 분할 화면의 확대를 배제하는 단계를 포함할 수 있다.
상기 분할 화면을 확대하는 단계는, 상기 사용자로부터 일련의 복수의 제1 음성 신호들을 획득하는 단계; 및 상기 복수의 제1 음성 신호들에 기초하여, 상기 전체 화면 및 상기 분할 화면 중에서 조작 가능 객체를 선택하는 단계를 포함할 수 있다.
상기 분할 화면을 확대하는 단계는, 상기 전체 화면에서 조작 가능 객체가 복수인 경우에 응답하여, 조작 가능 객체가 단일 객체만 화면에 표시될 때까지 상기 분할 화면을 확대하는 단계를 포함할 수 있다.
음성 기반 제어 방법은 음성 기반 제어 어플리케이션을 백그라운드 프로세스로 실행하는 단계; 및 대상 어플리케이션을 실행한 후, 상기 음성 기반 제어 어플리케이션을 통해 상기 대상 어플리케이션의 어플리케이션 화면을 모니터링하는 단계를 더 포함할 수 있다.
일 실시예에 따른 음성 기반 제어 장치는 사용자로부터 제1 음성 신호 및 제2 음성 신호를 획득하는 입력 수신부; 상기 제1 음성 신호의 획득에 응답하여, 전체 화면 중 상기 제1 음성 신호에 대응하는 분할 화면을 확대하고, 상기 분할 화면에서 조작 가능 객체를 표시하는 디스플레이; 및 상기 제2 음성 신호의 획득에 응답하여, 상기 조작 가능 객체에 할당된 동작을 실행하는 처리부를 포함할 수 있다.
일 실시예에 따르면 음성 기반 제어 장치는 음성 명령을 통해 조작 가능 객체가 위치하는 분할 화면을 확대함으로써 사용자에게 현재 화면의 조작 가능 객체를 인식시킬 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 음성 명령을 통해 조작 가능 객체를 실행함으로써 객체에 할당된 동작을 별도 조작 없이도 실행할 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 음성 명령을 통해 반복적으로 화면을 확대함으로써 조작 가능 객체를 편리하게 선택할 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 음성 명령을 조작 가능 객체에 매핑함으로써, 조작 가능 객체를 사용자가 단일 음성 명령을 통해 즉시 실행하도록 할 수 있다.
일 실시에에 따르면 음성 기반 제어 장치는 객체 실행 후 전체 화면을 복구함으로써 음성 기반 제어 후 별도 명령 없이도 사용자에게 기본 화면을 제공할 수 있다.
도 1은 일 실시예에 따른 음성 기반 제어 장치를 설명하는 도면이다.
도 2는 일 실시예에 따른 음성 기반 제어 장치의 구성을 설명하는 블록도이다.
도 3 및 도 4는 일 실시예에 따른 음성 기반 제어 방법을 설명하는 흐름도이다.
도 5 및 도 6은 일 실시예에 따른 분할 화면의 확대를 설명하는 도면이다.
도 7은 일 실시예에 따른 분할 화면의 재확대를 설명하는 도면이다.
도 8은 일 실시예에 따른 조작 가능 객체의 선택을 설명하는 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 음성 기반 제어 장치를 설명하는 도면이다.
음성 기반 제어 장치(110)는 사용자(109)로부터 음성 신호를 획득할 수 있고, 획득된 음성 신호에 대응하는 동작을 수행하는 장치를 나타낸다.
일 실시예에 따르면 음성 기반 제어 장치(110)는 음성 기반 제어 어플리케이션을 백그라운드 프로세스로 실행할 수 있다. 음성 기반 제어 장치(110)는 백그라운드 프로세스로 동작하는 음성 기반 제어 어플리케이션을 이용하여, 대상 어플리케이션(target application)(예를 들어, 게임 어플리케이션)을 제어할 수 있다.
예를 들어, 음성 기반 제어 장치(110)는 대상 어플리케이션을 실행할 수 있고, 대상 어플리케이션에 의해 제공되는 하나 이상의 객체를 디스플레이를 통해 시각화할 수 있다. 음성 기반 제어 장치(110)는 대상 어플리케이션을 실행한 후, 음성 기반 제어 어플리케이션을 통해 대상 어플리케이션의 어플리케이션 화면을 모니터링할 수 있다. 음성 기반 제어 장치(110)는 사용자(109)로부터 획득된 음성 신호에 기초하여, 대상 어플리케이션에 의해 제공되는 하나 이상의 객체 중 조작 가능 객체(111)를 선택 및 실행할 수 있다.
일 실시예에 따르면 대상 어플리케이션은 음성 인식 기능을 지원하지 않는 어플리케이션일 수 있다. 음성 기반 제어 장치(110)는 음성 기반 제어 어플리케이션을 통해 대상 어플리케이션에 강제적으로 음성에 기반한 제어를 제공할 수 있다. 음성 기반 제어 장치(110)는 모바일 폰, 데스크톱 PC, 태블릿 PC, VR 기기(virtual reality apparatus) 등일 수 있다. 따라서, 음성 기반 제어 장치(110)는 손으로 터치 등의 조작을 하지 않아도 동작을 음성으로 제어하는 편리함을 제공할 수 있다.
하기에서는 음성 기반 제어 장치(110)가 사용자(109)의 음성 신호에 기초하여 대상 어플리케이션의 객체를 선택 및 실행하는 과정을 설명한다.
도 2는 일 실시예에 따른 음성 기반 제어 장치의 구성을 설명하는 블록도이다.
음성 기반 제어 장치(200)는 통신부(210), 디스플레이부(220), 입력수신부(230), 처리부(240), 및 저장부(250)를 포함할 수 있다.
통신부(210)는 서버와 통신할 수 있다. 예를 들어, 통신부(210)는 무선 통신 및 유선 통신 중 적어도 하나를 이용하여 서버와 통신할 수 있다. 일 실시예에 따르면 통신부(210)는 서버로 대상 어플리케이션과 연관된 정보를 송수신할 수 있다. 또한, 통신부(210)는 서버로, 개인화된 음성 명령과 연관된 데이터베이스를 송신할 수도 있다. 이 경우 서버는 개인화된 음성 명령과 연관된 데이터베이스를 사용자 계정 별로 관리할 수 있다.
디스플레이(220)는 대상 어플리케이션의 화면 등을 표시할 수 있다. 디스플레이(220)는 처리부(240)의 제어에 응답하여, 대상 어플리케이션의 전체 화면으로부터 선택된 분할 화면 등을 확대하여 표시할 수 있다. 또한, 디스플레이(220)는 제1 음성 신호의 획득에 응답하여, 전체 화면 중 제1 음성 신호에 대응하는 분할 화면을 확대하고, 분할 화면에서 조작 가능 객체를 강조 표시할 수 있다.
본 명세서에서 조작 가능 객체는 사용자에 의해 조작될 수 있는 객체로서, 예를 들어, 터치가 가능한 객체일 수 있다. 다만, 이로 한정하는 것은 아니고, 조작 가능 객체는 장치의 OS(operating system)에서 제공하는 SDK(Software Development Kit)에 의해 정의되는 조작 가능 객체를 포함할 수도 있다.
입력수신부(230)는 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력수신부(230)는 사용자로부터 제1 음성 신호 및 제2 음성 신호를 획득할 수 있다. 또한, 입력수신부(230)는 제3 음성 신호 및 제4 음성 신호를 더 획득할 수도 있다. 일 실시예에 따르면, 입력수신부(230)를 통해 획득된 음성 신호는 처리부(240)에 의해 대상 어플리케이션과 연관된 명령으로 변환될 수 있다. 예를 들어, 대상 어플리케이션의 일부 화면을 확대하는 명령, 대상 어플리케이션에 나타나는 객체를 선택 및 실행하는 명령 등을 포함할 수 있다. 입력은, 사용자로부터 수신되는 모든 조작에 의한 입력을 포함할 수 있다.
처리부(240)는 제2 음성 신호의 획득에 응답하여, 선택된 객체에 할당된 동작을 실행할 수 있다. 또한 처리부(240)는 제1 음성 신호의 획득에 응답하여, 전체 화면 중 제1 음성 신호에 대응하는 분할 화면을 확대하고, 분할 화면에서 조작 가능 객체를 강조 표시하도록 디스플레이를 제어할 수 있다. 더 나아가 처리부(240)는 음성 기반 제어 방법을 수행하기 위한 처리를 수행할 수 있다. 예를 들어, 처리부(240)는 사용자로부터 음성 신호를 획득하여 그에 기반하여 대상 어플리케이션을 제어하도록 통신부(210), 디스플레이(220), 입력수신부(230), 및 저장부(250) 중 적어도 하나를 제어할 수 있다. 또한, 처리부(240)는 음성 기반 제어 장치(200)의 동작에 필요한 처리를 수행할 수 있다. 여기서, 처리의 수행은 저장부(250) 내에 저장된 프로그램 코드를 실행하는 것을 나타낼 수 있다.
저장부(250)는 음성 기반 제어 장치(200)를 동작시키기 위한 명령어들을 포함하는 프로그램을 저장할 수 있다. 저장부(250)에 저장된 프로그램은 상술한 처리부(240)에 의해 실행될 수 있다. 예를 들어, 저장부(250)는 대상 어플리케이션 및 음성 기반 제어 어플리케이션을 저장할 수 있다.
도 3 및 도 4는 일 실시예에 따른 음성 기반 제어 방법을 설명하는 흐름도이다.
우선, 단계(310)에서 음성 기반 제어 장치는 사용자로부터 제1 음성 신호의 획득에 응답하여, 전체 화면 중 제1 음성 신호에 대응하는 분할 화면을 확대할 수 있다. 제1 음성 신호는 전체 화면의 일부(예를 들어, 분할 화면)을 확대하기 위한 음성 명령을 포함하는 신호를 나타낼 수 있다. 음성 기반 제어 장치는 제1 음성 신호에 대응하는 분할 화면을 식별할 수 있고, 식별된 분할 화면을 디스플레이의 크기에 따라 확대할 수 있다.
일 실시예에 따르면 음성 기반 제어 장치는 전체 화면을 조작 가능 객체의 배치, 크기, 및 개수 중 적어도 하나에 기초하여 복수의 분할 화면들로 분할할 수 있다. 음성 기반 제어 장치는 복수의 분할 화면들의 각각에 대상 명령을 할당할 수 있다. 음성 기반 제어 장치는 할당된 대상 명령에 대응하는 그래픽 표현을 복수의 분할 화면들의 각각에 시각화할 수 있다. 예를 들어, "1번 화면", "왼쪽 화면" 등의 텍스트 객체를 해당 분할 화면 상에 오버레이할 수 있다.
그리고 단계(320)에서 음성 기반 제어 장치는 분할 화면에서 조작 가능 객체를 선택할 수 있다. 조작 가능 객체는, 사용자 입력에 의해 조작될 수 있는 객체를 나타낼 수 있다. 예를 들어, 조작 가능 객체는 대상 어플리케이션 내에서 사용자의 터치 입력 등에 의해 활성화되거나, 선택될 수 있는 객체를 나타낼 수 있다.
이어서 단계(330)에서 음성 기반 제어 장치는 사용자로부터 제2 음성 신호의 획득에 응답하여, 선택된 객체에 할당된 동작을 실행할 수 있다. 제2 음성 신호는 선택된 객체에 대해 사용자 입력을 인가하기 위한 음성 명령을 포함하는 신호를 나타낼 수 있다. 음성 기반 제어 장치는 선택된 객체를 제2 음성 신호에 기초하여 활성화할 수 있다.
도 4는 도 3의 음성 기반 제어 방법을 보다 상세히 나타낸 흐름도이다.
우선, 단계(401)에서 음성 기반 제어 장치는 사용자로부터 음성 신호를 획득할 수 있다. 일 실시예에 따르면 음성 기반 제어 장치는 사용자로부터 음성 신호를 모니터링할 수 있다. 예를 들어, 음성 기반 제어 장치는 사용자 입력(예를 들어, 음성 기반 제어 장치의 특정 버튼 내지는 터치 입력 등)에 응답하여, 해당 사용자 입력 후 일정 시간 동안 음성 신호를 모니터링할 수 있다. 다른 예를 들어, 음성 기반 제어 장치는 음성 기반 제어 어플리케이션이 백그라운드 프로세스로 실행되는 동안 사용자의 음성 신호를 모니터링할 수 있다.
그리고 단계(402)에서 음성 기반 제어 장치는 음성 신호를 식별할 수 있다. 일 실시예에 따르면, 음성 기반 제어 장치는 사용자로부터 획득된 음성 신호의 종류를 결정할 수 있다. 음성 신호의 종류는 각 음성 신호에 따라 실행되는 동작에 따라 분류될 수 있다. 예를 들어, 제1 음성 신호는 분할 화면을 확대하기 위한 음성 명령을 포함할 수 있고, 제2 음성 신호는 선택된 객체를 활성화하는 음성 명령을 포함할 수 있으며, 제3 음성 신호는 미리 지정된 동작을 실행하는 음성 명령을 포함할 수 있고, 제4 음성 신호는 임의의 동작에 새로운 음성 명령(예를 들어, 자동 장착을 위한 동작에 대하여 "자착"이라는 음성)을 등록하는 음성 명령(예를 들어, "세팅"이라는 음성)을 포함할 수 잇다.
일 실시예에 따르면, 음성 기반 제어 장치는 단계(402)에서 획득된 음성 신호가 제1 음성 신호 또는 제3 음성 신호인 지 여부를 결정할 수 있다. 나머지 음성 신호로 식별되는 경우, 음성 기반 제어 장치는 다음 음성 신호를 획득할 때까지 대기할 수 있다.
이어서 단계(411)에서 음성 기반 제어 장치는 제1 음성 신호의 획득에 응답하여, 전체 화면 중 제1 음성 신호에 대응하는 분할 화면을 확대활 수 있다. 예를 들어, 음성 기반 제어 장치는 전체 화면으로부터 제1 음성 신호에 의해 지정되는 분할 화면을 결정할 수 있다. 음성 기반 제어 장치는 결정된 분할 화면의 길이 및 폭 중 적어도 하나를 디스플레이에 매칭시킴으로써, 분할 화면을 확대하여 디스플레이에 시각화할 수 있다. 예를 들어, 음성 기반 제어 장치는 분할 화면의 화면 비율을 유지하면서, 디스플레이 크기 내에서 최대 크기로 분할 화면을 확대할 수 있다.
그리고 단계(412)에서 음성 기반 제어 장치는 조작 가능 객체가 복수인 지 여부를 판단할 수 있다. 조작 가능 객체가 단수인 경우에는 단계(421)의 동작을 음성 기반 제어 장치가 수행할 수 있다.
이어서 단계(413)에서 음성 기반 제어 장치는 조작 가능 객체가 복수인 경우에 응답하여, 제1 음성 신호를 대기할 수 있다. 음성 기반 제어 장치는 제1 음성 신호가 재차 획득되는 경우에 응답하여, 단계(411)로 돌아가 재차 획득된 제1 음성 신호에 대응하는 분할 화면을 확대할 수 있다. 따라서, 음성 기반 제어 장치는 전체 화면에서 조작 가능 객체가 복수인 경우에 응답하여, 조작 가능 객체가 단일 객체만 화면에 표시될 때까지 분할 화면을 확대할 수 있다.
상술한 바와 같이, 단계들(411 내지 413)에서 음성 기반 제어 장치는 사용자로부터 일련의 복수의 제1 음성 신호들을 획득할 수 있다. 음성 기반 제어 장치는 복수의 제1 음성 신호들에 기초하여, 전체 화면 및 분할 화면 중에서 조작 가능 객체를 선택할 수 있다. 따라서, 음성 기반 제어 장치는 조작 가능 객체가 하나만 남을 때까지 단계들(411 내지 413)을 반복할 수 있다.
그리고 단계(421)에서 음성 기반 제어 장치는 조작 가능 객체를 선택하고, 음성 신호를 대기할 수 있다. 일 실시예에 따르면 음성 기반 제어 장치는 상술한 단계들(411 내지 413)의 반복을 통해 결정된 최종 분할 화면에 나타나는 단일 객체를 선택할 수 있다. 음성 기반 제어 장치는 현재 분할 화면 내에 존재하는 단일 조작 가능 객체를 선택한 이후, 다음 음성 신호가 획득될 때까지 대기할 수 있다.
이어서 단계(422)에서 음성 기반 제어 장치는 음성 신호의 획득에 응답하여, 음성 신호를 식별할 수 있다. 예를 들어, 음성 기반 제어 장치는 단일 조작 가능 객체가 선택된 이후에는, 제2 음성 신호 또는 제4 음성 신호가 획득되었는지 여부를 판단할 수 있다. 음성 기반 제어 장치는 나머지 음성 신호에 대해서는 다음 음성 신호를 획득할 때까지 대기할 수 있다.
그리고 단계(431)에서 음성 기반 제어 장치는 제2 음성 신호의 획득에 응답하여 선택된 객체를 실행할 수 있다. 일 실시예에 따르면 음성 기반 제어 장치는 단계(421)에서 선택된 객체에 할당된 동작을 실행할 수 있다.
이어서 단계(432)에서 음성 기반 제어 장치는 전체 화면을 복구할 수 있다. 일 실시예에 따르면 음성 기반 제어 장치는 제2 음성 신호에 따른 객체의 동작 실행에 응답하여, 확대되었던 분할 화면으로부터 전체 화면으로 복원할 수 있다. 따라서, 음성 기반 제어 장치는 조작 가능 객체에 할당된 동작을 실행하거나 실행한 이후에는 사용자에게 다시 기존 전체 화면을 제공할 수 있다.
그리고 단계(440)에서 음성 기반 제어 장치는 사용자로부터 획득된 제4 음성 신호에 응답하여, 제4 음성 신호에 대응하는 음성 명령을 선택된 객체에 매핑하여 데이터베이스에 저장할 수 있다. 일 실시예에 따르면, 음성 기반 제어 장치는 선택된 객체에 할당된 동작을 상술한 바와 같이 제4 음성 신호에 매핑하여 등록함으로써, 등록 이후에는 객체에 매핑된 음성 명령만으로 즉시 객체에 대응하는 동작을 실행하도록 설정할 수 있다. 예를 들어, 제4 음성 신호는 등록 절차를 시작하는 음성 명령(예를 들어, "등록"이라는 음성) 및 등록하고자 하는 음성 명령(예를 들어, "자동 장착"이라는 음성) 등을 포함할 수 있다. 또한, 음성 기반 제어 장치는 객체에 대응하는 이미지를 등록하고자 하는 음성 명령과 함께 매핑하여 저장할 수도 있다.
이어서 단계(450)에서 음성 기반 제어 장치는 제3 음성 신호에 매핑된 동작을 실행할 수 있다. 예를 들어, 음성 기반 제어 장치는 사용자로부터 제3 음성 신호의 획득에 응답하여, 제3 음성 신호에 매핑된 객체를 현재 화면 내에서 검색할 수 있다. 음성 기반 제어 장치는 제3 음성 신호에 매핑된 객체가 현재 화면 내에서 검색된 경우에 응답하여, 제3 음성 신호에 매핑된 객체에 할당된 동작을 실행할 수 있다. 여기서 제3 음성 신호는 상술한 단계(440)에서 제4 음성 신호에 기초하여 등록된 음성 명령에 대응할 수 있다. 다만, 이로 한정하는 것은 아니고, 제3 음성 신호는 사용자에 의해 등록되거나, 서비스 제공자에 의해 등록될 수 있다.
도 5 및 도 6은 일 실시예에 따른 분할 화면의 확대를 설명하는 도면이다.
일 실시예에 따르면 음성 기반 제어 장치는 전체 화면(500)을 미리 정한 개수의 분할 화면들로 분할할 수 있다. 예를 들어, 도 5에 도시된 바와 같이 음성 기반 제어 장치는 격자 형태로 전체 화면(500)을 분할 화면들로 분할할 수 있다. 도 5에서는 전체 화면(500)이 9개의 분할 화면들로 분할된 예시를 나타낸다.
음성 기반 제어 장치는 제1 음성 신호가 매칭하는 분할 화면들의 각각에 대해 지정된 대상 명령을 검색할 수 있다. 예를 들어, 도 5에서는 왼쪽 위부터 순서대로 제1 분할 화면(510)에 대해서는 "1번 화면", 제2 분할 화면(520)에 대해서는 "2번 화면", 제3 분할 화면(530)에 대해서는 "3번 화면", 제4 분할 화면(540)에 대해서는 "4번 화면", 제5 분할 화면(550)에 대해서는 "5번 화면", 제6 분할 화면(560)에 대해서는 "6번 화면", 제7 분할 화면(570)에 대해서는 "7번 화면", 제8 분할 화면(580)에 대해서는 "8번 화면", 제9 분할 화면(590)에 대해서는 "9번 화면"이라는 대상 명령이 지정되어 있을 수 있다. 음성 기반 제어 장치는 분할 화면들(510 내지 590) 중 하나에 지정된 대상 명령(예를 들어, 제9 분할 화면을 선택을 선택하려는 경우 "9번 화면")을 검색하여, 획득된 제1 음성 신호가 매칭하는 대상 명령을 결정할 수 있다. 도 5에서는 각 분할 화면에 격자 및 번호가 도시되었으나, 이는 이해를 돕기 위한 것으로서, 실제 디스플레이에는 격자 및 번호가 표시되지 않을 수 있다.
음성 기반 제어 장치는 제1 음성 신호에 매칭하는 대상 명령이 지정된 분할 화면을 확대할 수 있다. 예를 들어, 도 5에서 사용자로부터 제1 음성 신호가 "9번 화면"이라는 음성 명령을 포함하는 것으로 식별되는 경우에 응답하여, 음성 기반 제어 장치는 제9 분할 화면(590)을 하기 도 7에 도시된 바와 같이 확대하여 표시할 수 있다.
다만, 전체 화면이 격자 형태로 분할되는 것으로 한정하는 것은 아니다. 설계에 따라 전체 화면이 분할되는 형태가 변경될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 제1 분할 화면(610), 제2 분할 화면(620), 제3 분할 화면(630), 및 제4 분할 화면(640)으로 전체 화면(600)이 분할될 수 있다. 음성 기반 제어 장치는 제1 분할 화면(610)에 대해서는 대상 명령으로서 "위쪽 화면", 제2 분할 화면(620)에 대해서는 대상 명령으로서 "오른쪽 화면", 제3 분할 화면(630)에 대해서는 대상 명령으로서 "아래쪽 화면", 제4 분할 화면(640)에 대해서는 대상 명령으로서 "왼쪽 화면"을 지정할 수 있다.
또한, 음성 기반 제어 장치는 제1 음성 신호의 획득에 응답하여, 제1 음성 신호에 대응하는 분할 화면으로부터 조작 가능 객체를 검색할 수 있다. 음성 기반 제어 장치는 제1 음성 신호에 대응하는 분할 화면에서 조작 가능 객체가 검색되지 않는 경우에 응답하여, 분할 화면의 확대를 배제할 수 있다. 따라서, 음성 기반 제어 장치는 조작 가능 객체가 없는 분할 화면에 대해서는 불필요하게 화면을 확대하지 않음으로써 효율적인 음성 조작을 사용자에게 제공할 수 있다.
도 7은 일 실시예에 따른 분할 화면의 재확대를 설명하는 도면이다.
음성 기반 제어 장치가 도 5의 제9 분할 화면(590)을 확대한 예시를 설명한다. 도 7에 도시된 바와 같이 확대된 분할 화면(700)에는 복수의 조작 가능 객체들(701 내지 704)가 나타날 수 있다. 확대된 분할 화면(700)은 도 5의 제9 분할 화면(590)에 대응할 수 있다.
일 실시예에 따르면 음성 기반 제어 장치는 확대된 분할 화면 (700)에 나타나는 조작 가능 객체들(701 내지 704)를 강조 표시할 수 있다. 따라서, 음성 기반 제어 장치는 사용자에게 현재 화면에서 조작 가능 객체들(701 내지 704)을 명확하게 인식시킬 수 있다.
다만, 이로 한정하는 것은 아니고, 음성 기반 제어 장치는 분할 화면(700)에서 조작 가능 객체 중 임계 영역(threshold area) 이상의 영역을 차지하는 객체를 강조 표시할 수 있다. 또한 음성 기반 제어 장치는 분할 화면(700)에서 조작 가능 객체 중 가장 넓은 영역을 차지하는 객체를 강조 표시할 수도 있다.
일 실시예에 따르면 음성 기반 제어 장치는 분할 화면(700) 내에서 사용자에 의해 조작 가능 객체를 검색할 수 있다. 음성 기반 제어 장치는 복수의 조작 가능 객체들이 검색된 경우에 응답하여, 복수의 조작 가능 객체들 중 하나의 객체를 선택할 수 있다. 예를 들어, 음성 기반 제어 장치는 디스플레이에 나타나는 화면 상에 단일 조작 가능 객체가 남을 때까지, 화면 확대를 반복함으로써, 하나의 객체를 선택할 수 있다.
예를 들어, 도 7에서 분할 화면(700)은 제1 서브 분할 화면(710), 제2 서브 분할 화면(720), 제3 서브 분할 화면(730), 제4 서브 분할 화면(740), 제5 서브 분할 화면(750), 제6 서브 분할 화면(760), 제7 서브 분할 화면(770), 제8 서브 분할 화면(780), 및 제9 서브 분할 화면(790)으로 구분될 수 있다. 음성 기반 제어 장치는 제8 서브 분할 화면에 대해 지정된 대상 명령인 "8번 화면"이라는 음성 명령을 사용자로부터 획득할 수 있고, 도 8에 도시된 바와 같이 재확대된 분할 화면을 제공할 수 있다.
또한, 도 7에서는 분할 화면(700)이 격자 형태로 분할되었으나, 이로 한정하는 것은 아니다. 예를 들어, 음성 기반 제어 장치는 조작 가능 객체가 배치되는 지점들, 밀도, 분포, 및 크기 등에 기초하여, 분할 화면(700)을 재분할할 수 있다. 도 7에서 9개로 분할 화면(700)이 재분할되었으나, 이로 한정하는 것은 아니고, 왼쪽 화면, 가운데 화면, 오른쪽 화면 등과 같이 3개로 재분할될 수도 있다. 따라서, 음성 기반 제어 장치는 설계에 따라, 조작 가능 객체의 배치(예를 들어, 배치 지점, 밀도, 및 분포), 크기, 및 개수 등에 기초하여 화면의 분할 형태 및 분할 개수 등을 결정할 수 있다.
도 8은 일 실시예에 따른 조작 가능 객체의 선택을 설명하는 도면이다.
음성 기반 제어 장치는 단계들(411 내지 413)을 반복함으로써 디스플레이에 단일 조작 가능 객체가 나타낼 까지 화면을 확대할 수 있다. 음성 기반 제어 장치는 분할 화면(800)에 나타난 단일 조작 가능 객체를 선택할 수 있다. 일 실시예에 따르면 음성 기반 제어 장치는 제2 음성 신호의 획득에 응답하여, 단일 조작 가능 객체에 할당된 동작을 수행할 수 있다.
예를 들어, 음성 기반 제어 장치는 제2 음성 신호(예를 들어, "실행")의 획득에 응답하여 선택된 객체에 대해 가상의 터치 조작을 입력할 수 있다. 도 8에 도시된 예시에서, 단일 조작 가능 객체(810)에 할당된 동작으로서 "자동 장착" 동작을 음성 기반 제어 장치가 대상 어플리케이션 내에서 실행할 수 있다.
일 실시예에 따르면, 음성 기반 제어 장치는 VR 기기로 구현될 수 있고, 음성 인식 기능이 포함되지 않은 대상 어플리케이션에 대해서도 음성 기반 제어 어플리케이션을 통해 음성으로 동작을 제어함으로써, 대상 어플리케이션의 조작 편이성을 강화할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
109: 사용자
110: 음성 기반 제어 장치
111: 조작 가능 객체

Claims (16)

  1. 사용자 단말에 의해 수행되는 음성 기반 제어 방법에 있어서,
    사용자로부터 제1 음성 신호의 획득에 응답하여, 전체 화면 중 상기 제1 음성 신호에 대응하는 분할 화면을 확대하는 단계;
    상기 분할 화면에서 조작 가능 객체를 선택하는 단계; 및
    상기 사용자로부터 제2 음성 신호의 획득에 응답하여, 상기 선택된 객체에 할당된 동작을 실행하는 단계
    를 포함하는 음성 기반 제어 방법.
  2. 제1항에 있어서,
    상기 사용자로부터 제3 음성 신호의 획득에 응답하여, 상기 제3 음성 신호에 매핑된 객체를 현재 화면 내에서 검색하는 단계; 및
    상기 제3 음성 신호에 매핑된 객체가 상기 현재 화면 내에서 검색된 경우에 응답하여, 상기 제3 음성 신호에 매핑된 객체에 할당된 동작을 실행하는 단계
    를 더 포함하는 음성 기반 제어 방법.
  3. 제1항에 있어서,
    상기 선택하는 단계는,
    상기 분할 화면에서 조작 가능 객체 중 임계 영역(threshold area) 이상의 영역을 차지하는 객체를 강조 표시하는 단계
    를 포함하는 음성 기반 제어 방법.
  4. 제1항에 있어서,
    상기 선택하는 단계는,
    상기 분할 화면에서 조작 가능 객체 중 가장 넓은 영역을 차지하는 객체를 강조 표시하는 단계
    를 포함하는 음성 기반 제어 방법.
  5. 제1항에 있어서,
    상기 제2 음성 신호에 따른 객체의 동작 실행에 응답하여, 상기 확대되었던 분할 화면으로부터 상기 전체 화면으로 복원하는 단계
    를 포함하는 음성 기반 제어 방법.
  6. 제1항에 있어서,
    상기 선택하는 단계는,
    상기 사용자로부터 획득된 제4 음성 신호에 응답하여, 상기 제4 음성 신호에 대응하는 음성 명령을 상기 선택된 객체에 매핑하여 데이터베이스에 저장하는 단계
    를 포함하는 음성 기반 제어 방법.
  7. 제1항에 있어서,
    상기 확대하는 단계는,
    상기 전체 화면을 미리 정한 개수의 분할 화면들로 분할하는 단계;
    상기 제1 음성 신호가 매칭하는 상기 분할 화면들의 각각에 대해 지정된 대상 명령을 검색하는 단계; 및
    상기 제1 음성 신호에 매칭하는 대상 명령이 지정된 분할 화면을 확대하는 단계
    를 포함하는 음성 기반 제어 방법.
  8. 제1항에 있어서,
    상기 확대하는 단계는,
    상기 전체 화면을 상기 조작 가능 객체의 배치, 크기, 및 개수 중 적어도 하나에 기초하여 복수의 분할 화면들로 분할하는 단계;
    상기 복수의 분할 화면들의 각각에 대상 명령을 할당하는 단계; 및
    상기 할당된 대상 명령에 대응하는 그래픽 표현을 상기 복수의 분할 화면들의 각각에 시각화하는 단계
    를 포함하는 음성 기반 제어 방법.
  9. 제1항에 있어서,
    상기 선택된 객체에 할당된 동작을 실행하는 단계는,
    상기 제2 음성 신호의 획득에 응답하여, 상기 선택된 객체에 대해 가상의 터치 조작을 입력하는 단계
    를 포함하는 음성 기반 제어 방법.
  10. 제1항에 있어서,
    상기 선택하는 단계는,
    상기 분할 화면 내에서 상기 사용자에 의해 조작 가능 객체를 검색하는 단계; 및
    복수의 조작 가능 객체들이 검색된 경우에 응답하여, 상기 복수의 조작 가능 객체들 중 하나의 객체를 선택하는 단계
    를 포함하는 음성 기반 제어 방법.
  11. 제1항에 있어서,
    상기 분할 화면을 확대하는 단계는,
    상기 제1 음성 신호의 획득에 응답하여, 상기 제1 음성 신호에 대응하는 분할 화면으로부터 조작 가능 객체를 검색하는 단계; 및
    상기 제1 음성 신호에 대응하는 분할 화면에서 조작 가능 객체가 검색되지 않는 경우에 응답하여, 상기 분할 화면의 확대를 배제하는 단계
    를 포함하는 음성 기반 제어 방법.
  12. 제1항에 있어서,
    상기 분할 화면을 확대하는 단계는,
    상기 사용자로부터 일련의 복수의 제1 음성 신호들을 획득하는 단계; 및
    상기 복수의 제1 음성 신호들에 기초하여, 상기 전체 화면 및 상기 분할 화면 중에서 조작 가능 객체를 선택하는 단계
    를 포함하는 음성 기반 제어 방법.
  13. 제1항에 있어서,
    상기 분할 화면을 확대하는 단계는,
    상기 전체 화면에서 조작 가능 객체가 복수인 경우에 응답하여, 조작 가능 객체가 단일 객체만 화면에 표시될 때까지 상기 분할 화면을 확대하는 단계
    를 포함하는 음성 기반 제어 방법.
  14. 제1항에 있어서,
    음성 기반 제어 어플리케이션을 백그라운드 프로세스로 실행하는 단계; 및
    대상 어플리케이션을 실행한 후, 상기 음성 기반 제어 어플리케이션을 통해 상기 대상 어플리케이션의 어플리케이션 화면을 모니터링하는 단계
    를 더 포함하는 음성 기반 제어 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  16. 음성 기반 제어 장치에 있어서,
    사용자로부터 제1 음성 신호 및 제2 음성 신호를 획득하는 입력 수신부;
    상기 제1 음성 신호의 획득에 응답하여, 전체 화면 중 상기 제1 음성 신호에 대응하는 분할 화면을 확대하고, 상기 분할 화면에서 조작 가능 객체를 표시하는 디스플레이; 및
    상기 제2 음성 신호의 획득에 응답하여, 상기 조작 가능 객체에 할당된 동작을 실행하는 처리부
    를 포함하는 음성 기반 제어 장치.
KR1020160161151A 2016-11-30 2016-11-30 음성 기반 제어 장치 및 방법 KR102664318B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160161151A KR102664318B1 (ko) 2016-11-30 2016-11-30 음성 기반 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160161151A KR102664318B1 (ko) 2016-11-30 2016-11-30 음성 기반 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180061691A true KR20180061691A (ko) 2018-06-08
KR102664318B1 KR102664318B1 (ko) 2024-05-09

Family

ID=62600038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160161151A KR102664318B1 (ko) 2016-11-30 2016-11-30 음성 기반 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102664318B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897508A (zh) * 2018-06-21 2018-11-27 广东小天才科技有限公司 一种基于分屏显示的语音搜题方法及家教设备
CN110428832A (zh) * 2019-07-26 2019-11-08 苏州蜗牛数字科技股份有限公司 一种自定义语音实现屏幕控制的方法
KR20200050609A (ko) * 2018-11-02 2020-05-12 김종훈 음성 명령 기반의 가상 터치 입력 장치
KR20200128506A (ko) * 2018-12-26 2020-11-13 (주)소프트젠 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
CN113238708A (zh) * 2021-05-17 2021-08-10 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置
WO2022196885A1 (ko) * 2021-03-17 2022-09-22 삼성전자 주식회사 음성 인식 서비스를 제공하는 전자 장치 및 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013094A (ja) * 2002-06-11 2004-01-15 Nippon Hoso Kyokai <Nhk> 音声操作方法及びその装置及びプログラム
KR100651452B1 (ko) * 2005-12-02 2006-11-30 삼성전자주식회사 이동 통신 단말의 메뉴 배경 화면 디스플레이 방법
KR20100054620A (ko) * 2008-11-14 2010-05-25 삼성전자주식회사 컨텐츠의 확대 영역 선택 방법, 컨텐츠 제공 장치 및 시스템
KR20110069907A (ko) * 2009-12-18 2011-06-24 주식회사 엔씨소프트 음성에 의한 게임객체 선택명령 처리 방법
KR20140114519A (ko) * 2013-03-15 2014-09-29 주식회사 팬택 음성 명령에 의한 오브젝트 실행 장치 및 방법
KR101447879B1 (ko) * 2013-08-09 2014-10-08 주식회사 디오텍 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
KR20140136310A (ko) * 2013-05-20 2014-11-28 엘지전자 주식회사 영상 표시 장치 및 그것의 제어 방법
KR101474854B1 (ko) * 2013-09-12 2014-12-19 주식회사 디오텍 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
US20150039318A1 (en) * 2013-08-02 2015-02-05 Diotek Co., Ltd. Apparatus and method for selecting control object through voice recognition
KR20150043272A (ko) * 2015-04-03 2015-04-22 박남태 영상표시 장치의 음성제어 방법
KR101517738B1 (ko) * 2014-05-13 2015-05-04 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR20150072625A (ko) * 2013-12-20 2015-06-30 주식회사 디오텍 음성인식에 의한 포인터 제어방법 및 장치

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013094A (ja) * 2002-06-11 2004-01-15 Nippon Hoso Kyokai <Nhk> 音声操作方法及びその装置及びプログラム
KR100651452B1 (ko) * 2005-12-02 2006-11-30 삼성전자주식회사 이동 통신 단말의 메뉴 배경 화면 디스플레이 방법
KR20100054620A (ko) * 2008-11-14 2010-05-25 삼성전자주식회사 컨텐츠의 확대 영역 선택 방법, 컨텐츠 제공 장치 및 시스템
KR20110069907A (ko) * 2009-12-18 2011-06-24 주식회사 엔씨소프트 음성에 의한 게임객체 선택명령 처리 방법
KR20140114519A (ko) * 2013-03-15 2014-09-29 주식회사 팬택 음성 명령에 의한 오브젝트 실행 장치 및 방법
KR20140136310A (ko) * 2013-05-20 2014-11-28 엘지전자 주식회사 영상 표시 장치 및 그것의 제어 방법
US20150039318A1 (en) * 2013-08-02 2015-02-05 Diotek Co., Ltd. Apparatus and method for selecting control object through voice recognition
KR101447879B1 (ko) * 2013-08-09 2014-10-08 주식회사 디오텍 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
KR101474854B1 (ko) * 2013-09-12 2014-12-19 주식회사 디오텍 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
US20150073801A1 (en) * 2013-09-12 2015-03-12 Diotek Co., Ltd. Apparatus and method for selecting a control object by voice recognition
KR20150072625A (ko) * 2013-12-20 2015-06-30 주식회사 디오텍 음성인식에 의한 포인터 제어방법 및 장치
KR101517738B1 (ko) * 2014-05-13 2015-05-04 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR20150043272A (ko) * 2015-04-03 2015-04-22 박남태 영상표시 장치의 음성제어 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897508A (zh) * 2018-06-21 2018-11-27 广东小天才科技有限公司 一种基于分屏显示的语音搜题方法及家教设备
CN108897508B (zh) * 2018-06-21 2021-06-01 广东小天才科技有限公司 一种基于分屏显示的语音搜题方法及家教设备
KR20200050609A (ko) * 2018-11-02 2020-05-12 김종훈 음성 명령 기반의 가상 터치 입력 장치
KR20200128506A (ko) * 2018-12-26 2020-11-13 (주)소프트젠 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
CN110428832A (zh) * 2019-07-26 2019-11-08 苏州蜗牛数字科技股份有限公司 一种自定义语音实现屏幕控制的方法
WO2022196885A1 (ko) * 2021-03-17 2022-09-22 삼성전자 주식회사 음성 인식 서비스를 제공하는 전자 장치 및 방법
CN113238708A (zh) * 2021-05-17 2021-08-10 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置
CN113238708B (zh) * 2021-05-17 2024-02-23 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置

Also Published As

Publication number Publication date
KR102664318B1 (ko) 2024-05-09

Similar Documents

Publication Publication Date Title
KR20180061691A (ko) 음성 기반 제어 장치 및 방법
US9916074B2 (en) Adjustment mechanisms for virtual knobs on a touchscreen interface
US10742900B2 (en) Method and system for providing camera effect
US10712908B2 (en) Career history exercise data visualization
US9933922B2 (en) Child container control of parent container of a user interface
KR101396829B1 (ko) 복수개의 이미지를 이용한 슬라이드 쇼 제공 방법
US20140232723A1 (en) Moving visualizations between displays and contexts
US10343072B2 (en) Apparatus and method of producing rhythm game, and non-transitory computer readable medium
CN105469787B (zh) 信息展示方法和装置
US20170019490A1 (en) Mirrored visualization of user activity in user interface
KR20180036074A (ko) 텍스트 필터링 장치 및 방법
US20150178361A1 (en) Information processing apparatus, information processing terminal, computer program product, and information processing method
WO2019210173A1 (en) Seating display method, device and equipment
KR102498889B1 (ko) 전자 장치, 사용자의 입력 행위에 따른 외적 심리 레벨을 고려하여 사용자의 심리 상태를 판별하는 방법 및 컴퓨터 프로그램
KR101996009B1 (ko) 테스트케이스 작성 지원 방법 및 이를 수행하는 서버 및 사용자 단말
KR101811344B1 (ko) 디스플레이 제어 방법, 장치 및 컴퓨터프로그램
KR101403159B1 (ko) 객체에 관한 부가정보 제공 장치 및 방법
CN111191795A (zh) 一种训练机器学习模型的方法、装置及系统
KR102161907B1 (ko) 카테고리 탐색을 위한 사용자 인터페이싱 방법 및 장치
JP2015007844A (ja) ユーザインタフェース装置、ユーザインタフェース方法およびプログラム
CN111124387A (zh) 机器学习平台的建模系统、方法、计算机设备及存储介质
CN106371622B (zh) 输入法及输入设备
KR20150095034A (ko) 광학 인식 코드를 이용한 다국어 지원 서비스
JP4576925B2 (ja) 複数地図画像の一括操作方法及び装置及びプログラム及び複数地図画像の一括操作プログラムを格納した記憶媒体
JP6987003B2 (ja) テキストマイニング方法、テキストマイニングプログラム、および、テキストマイニング装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)