KR102232308B1 - Smart input device and method for operating the same - Google Patents

Smart input device and method for operating the same Download PDF

Info

Publication number
KR102232308B1
KR102232308B1 KR1020200065657A KR20200065657A KR102232308B1 KR 102232308 B1 KR102232308 B1 KR 102232308B1 KR 1020200065657 A KR1020200065657 A KR 1020200065657A KR 20200065657 A KR20200065657 A KR 20200065657A KR 102232308 B1 KR102232308 B1 KR 102232308B1
Authority
KR
South Korea
Prior art keywords
input
microphone
smart
electronic device
voice
Prior art date
Application number
KR1020200065657A
Other languages
Korean (ko)
Inventor
이혁수
Original Assignee
이혁수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이혁수 filed Critical 이혁수
Priority to KR1020200065657A priority Critical patent/KR102232308B1/en
Application granted granted Critical
Publication of KR102232308B1 publication Critical patent/KR102232308B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

According to the present invention, a smart input device provides an input required for an electronic device in a wired or a wireless manner and comprises: an input unit including mouse operation keys including a scroll key and a mouse function key for an operation of a user required for the input and a sensor for point control for controlling the mouse point; a pad for point navigation for controlling the mouse point if the smart input device is separated to a bottom surface; a microphone for receiving a voice of the user; and a control unit which provides the electronic device with an input corresponding to an operation of the input unit or provides the electronic device with an input in accordance with a signal inputted from the pad for point navigation and the mouse operation keys, or recognizes a voice received from the microphone to convert the voice into text and then provides the electronic device with the text.

Description

스마트 입력 장치 및 그 동작 방법{Smart input device and method for operating the same}Smart input device and method for operating the same

본 발명은 전자 장치에 필요한 다양한 입력을 제공하는 스마트 입력 장치 및 그 동작 방법에 관한 것이다.The present invention relates to a smart input device that provides various inputs required for an electronic device and a method of operating the same.

마우스(mouse)는 컴퓨터의 다양한 기능에 신속하게 액세스(access)하기 위해 고안된 입력 장치이다. 원칙적으로 마우스는 컴퓨터에 유선/무선으로 연결되어 사용자에 의해 생성되는 입력 신호 즉, 마우스 제어 신호를 컴퓨터측에 전송하는 방식의 장치이다.A mouse is an input device designed to quickly access various functions of a computer. In principle, the mouse is a device of a method of transmitting an input signal generated by a user, that is, a mouse control signal, to the computer side by wired/wireless connection to the computer.

최근 스마트폰(smartphone), 네비게이션(navigation), 스마트 TV 등 전자 장치의 광범위한 보급에 따라 사용자가 보다 편리하게 제어할 수 있도록 다양한 입력 장치들이 개발되고 있다. 주로 터치스크린(touch screen)이나 외장 버튼이 전자 장치의 주요 입력 수단으로 이용될 수 있으나, 이러한 주요 입력 수단만으로 신속하고 정확한 전자 장치의 제어가 어려울 수 있고 손을 사용하기 힘든 상황(예컨대, 운전 중 네비게이션의 조작)에서는 다른 형태의 입력 장치의 활용이 필요하다.Recently, with the widespread spread of electronic devices such as smartphones, navigation, and smart TVs, various input devices have been developed so that users can control them more conveniently. Mainly, a touch screen or an external button can be used as a main input means of an electronic device, but it may be difficult to quickly and accurately control an electronic device with only these main input means, and it is difficult to use a hand (e.g., while driving In the operation of navigation), it is necessary to use a different type of input device.

또한, 최근 전자 장치의 사용이 급격하게 증가하면서, 손목 통증으로 고생하는 사례가 증가하고 있다. 이에 따라 손목터널증후군 운동이 온라인 상에서 이슈가 되고 있다.In addition, as the use of electronic devices is rapidly increasing in recent years, cases of suffering from wrist pain are increasing. Accordingly, carpal tunnel syndrome exercise is becoming an issue online.

대한민국 등록특허 제10-1486875호(2015.01.21.등록.)Korean Patent Registration No. 10-1486875 (registered on January 21, 2015)

본 발명은 음성 기반으로 전자 장치의 제어에 필요한 입력과 텍스트 입력 기능을 제공할 수 있는 스마트 입력 장치 및 그 동작 방법을 제공한다.The present invention provides a smart input device capable of providing input and text input functions necessary for controlling an electronic device based on voice and a method of operating the same.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 스마트 입력 장치는 전자 장치에 필요한 입력을 유선 또는 무선으로 제공하는 스마트 입력 장치로서, 상기 입력에 필요한 사용자의 조작을 위한 마우스 기능 키 및 스크롤 키를 포함한 마우스 조작키와 상기 전자 장치 상에 마우스 포인트 제어를 위한 포인트 제어용 센서를 포함한 입력부와, 상기 스마트 입력 장치가 바닥면으로 이탈된 경우 상기 마우스 포인트 제어를 위한 포인트 네비게이션용 패드와, 상기 사용자의 음성을 입력받기 위한 마이크와, 상기 입력부의 조작에 대응되는 입력을 상기 전자 장치에 제공하거나 상기 포인트 네비게이션용 패드 및 마우스 조작키로부터 입력되는 신호에 의거하여 입력을 상기 전자 장치에 제공하거나, 상기 마이크로부터 입력받은 음성을 인식하여 텍스트로 변환한 후 이를 상기 전자 장치에 제공하는 제어부를 포함할 수 있다.As a technical means for achieving the above technical problem, a smart input device according to an embodiment of the present invention is a smart input device that provides an input required for an electronic device by wire or wirelessly, and a mouse for user manipulation required for the input An input unit including a mouse operation key including a function key and a scroll key, a point control sensor for controlling a mouse point on the electronic device, and a point navigation pad for controlling the mouse point when the smart input device is deviated to the floor surface And, a microphone for receiving the user's voice and an input corresponding to an operation of the input unit is provided to the electronic device, or an input is transmitted to the electronic device based on a signal input from the point navigation pad and a mouse operation key. It may include a control unit that recognizes a voice input from the microphone or converts it into text and provides the same to the electronic device.

본 발명의 실시예에 따르면, 상기 스마트 입력 장치는 상기 마이크의 기능을 활성화시킬 수 있는 마이크 활성화 키를 더 포함하며, 상기 제어부는 상기 마이크 활성화 키의 조작에 따라 상기 마이크의 기능을 활성화시켜 상기 음성을 입력받아 음성 인식을 수행하여 상기 입력받은 음성을 텍스트로 변환할 수 있다.According to an embodiment of the present invention, the smart input device further includes a microphone activation key capable of activating the function of the microphone, and the control unit activates the function of the microphone according to the operation of the microphone activation key to activate the voice The received voice may be converted into text by performing voice recognition by receiving the input.

본 발명의 실시예에 따르면, 상기 제어부는 상기 입력부의 포인트 제어용 센서로부터 기 설정된 시간 동안 신호가 입력되지 않을 경우 상기 스마트 입력 장치가 바닥면으로 이탈된 것으로 판단하여 상기 포인트 네비게이션용 패드를 활성화시킬 수 있다.According to an embodiment of the present invention, when a signal is not input from the point control sensor of the input unit for a preset time, the control unit may determine that the smart input device has deviated to the bottom surface and activate the point navigation pad. have.

본 발명의 실시예에 따르면, 상기 제어부는 상기 마이크로부터 입력받은 음성을 인식하여 텍스트로 변환한 후 변환한 텍스트가 상기 입력부의 조작에 대응되는 명령어인 경우 상기 명령어를 기반으로 전자 장치에 입력을 제공하고, 상기 입력부에 대응되는 명령어가 아닌 경우 상기 변환한 텍스트를 상기 전자 장치에 제공할 수 있다.According to an embodiment of the present invention, the control unit recognizes the voice input from the microphone, converts it into text, and provides an input to the electronic device based on the command when the converted text is a command corresponding to the manipulation of the input unit. And, if it is not a command corresponding to the input unit, the converted text may be provided to the electronic device.

본 발명의 실시예에 따르면, 상기 제어부는 상기 마이크로부터 입력된 음성의 신호 세기가 기 설정된 값 이상인 경우 상기 입력받은 음성에 대한 인식을 수행할 수 있다.According to an embodiment of the present invention, when the signal strength of the voice input from the microphone is greater than or equal to a preset value, the controller may perform recognition on the input voice.

본 발명의 실시예에 따르면, 상기 제어부는 상기 입력부로부터 기 설정된 시간 동안 상기 입력부의 조작에 대응되는 신호가 입력되지 않을 경우 상기 마이크의 기능을 활성화시킬 수 있다.According to an embodiment of the present invention, the control unit may activate a function of the microphone when a signal corresponding to an operation of the input unit is not input from the input unit for a preset time.

본 발명의 실시예에 따르면, 상기 스마트 입력 장치는 바닥면에 지면을 감지를 위한 적어도 하나 이상의 센서를 구비하며, 상기 제어부는 상기 센서로부터 수신되는 신호에 의거하여 마이크 기능의 활성화 여부를 결정할 수 있다.According to an embodiment of the present invention, the smart input device includes at least one sensor for sensing the ground on a bottom surface, and the controller may determine whether to activate the microphone function based on a signal received from the sensor. .

본 발명의 실시예에 따르면, 상기 제어부는 기 등록된 특정 음성이 상기 마이크로부터 입력된 후 상기 음성에 대한 텍스트 변환을 수행하여 상기 전자 장치에 필요한 입력을 제공할 수 있다. According to an embodiment of the present invention, the control unit may provide an input required to the electronic device by performing text conversion on the voice after inputting a pre-registered specific voice from the microphone.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 스마트 입력 장치의 입력 제공 방법은 전자 장치에 필요한 입력을 유선 또는 무선으로 제공하는 스마트 입력 장치를 이용한 입력 제공 방법에 관한 것으로서, 상기 입력에 필요한 사용자의 조작을 위한 마우스 기능 키 및 스크롤 키를 포함한 마우스 조작키와 상기 전자 장치 상에 마우스 포인트 제어를 위한 포인트 제어용 센서를 포함한 입력부로부터 신호를 인가받아 상기 전자 장치에 필요한 입력을 제공하는 제 1 단계와, 상기 스마트 입력 장치가 바닥면으로 이탈된 경우 상기 마우스 포인트 제어를 위한 포인트 네비게이션용 패드 및 상기 마우스 조작키로부터 입력되는 신호에 의거하여 상기 전자 장치에 입력을 제공하는 제 2 단계와, 상기 마이크로부터 입력받은 음성을 인식하여 텍스트로 변환한 후 이를 상기 전자 장치에 제공하는 제 3 단계를 포함할 수 있다.As a technical means for achieving the above technical problem, the input providing method of a smart input device according to an embodiment of the present invention relates to an input providing method using a smart input device that provides an input required to an electronic device by wire or wirelessly. , Input required for the electronic device by receiving a signal from an input unit including a mouse operation key including a mouse function key and a scroll key for user manipulation required for the input, and a point control sensor for controlling a mouse point on the electronic device. A first step of providing and a second providing an input to the electronic device based on a signal input from the point navigation pad for controlling the mouse point and the mouse operation key when the smart input device is deviated to the bottom surface And a third step of recognizing a voice input from the microphone, converting it into text, and providing it to the electronic device.

본 발명의 실시예에 따르면, 상기 스마트 입력 장치는 상기 마이크의 기능을 활성화시킬 수 있는 마이크 활성화 키를 더 포함하며, 상기 제 3 단계는 상기 마이크 활성화 키의 조작에 따라 상기 마이크의 기능을 활성화시킨 후 수행될 수 있다.According to an embodiment of the present invention, the smart input device further includes a microphone activation key capable of activating the function of the microphone, and the third step is to activate the function of the microphone according to the operation of the microphone activation key. It can be done after.

본 발명의 실시예에 따르면, 상기 제 2 단계는 상기 입력부의 포인트 제어용 센서로부터 기 설정된 시간 동안 신호가 입력되지 않을 경우 상기 스마트 입력 장치가 바닥면으로 이탈된 것으로 판단하여 상기 포인트 네비게이션용 패드를 활성화시킨 후 수행될 수 있다.According to an embodiment of the present invention, in the second step, when a signal is not input from the point control sensor of the input unit for a preset time, it is determined that the smart input device has deviated to the bottom surface, and the point navigation pad is activated. It can be carried out after making.

본 발명의 실시예에 따르면, 상기 스마트 입력 장치를 이용한 입력 제공 방법은 상기 마이크로부터 입력된 음성에 대한 신호 세기를 계산하고, 상기 계산한 신호 세기가 기 설정된 값 이상인 경우 상기 제 3 단계를 수행할 수 있다.According to an embodiment of the present invention, the input providing method using the smart input device calculates the signal strength of the voice input from the microphone, and performs the third step when the calculated signal strength is greater than or equal to a preset value. I can.

전술한 본 발명의 실시예에 따르면, 음성 및 별도의 포인트 네비게이션용 패드를 기반으로 전자 장치의 제어에 필요한 입력과 텍스트 입력 기능을 제공할 수 있는 스마트 입력 장치 및 이를 이용한 입력 제공 방법을 제공함으로써, 몸이 불편한 장애인들과 컴퓨터를 오래 사용하는 일반 사용자와 및 전자 장치의 사용이 어려운 노인층 사용자에게 전자 장치 사용의 편리성을 제공할 수 있다.According to an embodiment of the present invention described above, by providing a smart input device capable of providing input and text input functions necessary for controlling an electronic device based on a voice and a separate point navigation pad, and an input providing method using the same, Convenience of using electronic devices can be provided to people with disabilities, general users who use computers for a long time, and elderly users having difficulty using electronic devices.

도 1은 본 발명의 실시예에 따른 스마트 입력 장치와 그 주변 구성을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 스마트 입력 장치의 내부 구성을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 스마트 입력 장치가 적용된 예시도이다.
도 4는 본 발명의 일 실시예에 따른 스마트 입력 장치의 동작 과정을 도시한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 스마트 입력 장치의 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 스마트 입력 장치의 동작 과정을 도시한 흐름도이다.
1 is a block diagram showing a smart input device and a peripheral configuration thereof according to an embodiment of the present invention.
2 is a block diagram showing an internal configuration of a smart input device according to an embodiment of the present invention.
3 is an exemplary diagram to which a smart input device according to an embodiment of the present invention is applied.
4 is a flowchart illustrating an operation process of a smart input device according to an embodiment of the present invention.
5 is a flowchart illustrating an operation process of a smart input device according to another embodiment of the present invention.
6 is a flowchart illustrating an operation process of a smart input device according to another embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시 형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a specific embodiment of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present specification. The terms used in the detailed description are only for describing embodiments of the present invention, and should not be limiting. Unless explicitly used otherwise, expressions in the singular form include the meaning of the plural form. In the present description, expressions such as "comprising" or "feature" are intended to refer to certain features, numbers, steps, actions, elements, some or combination thereof, and one or more It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, any part or combination thereof.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 스마트 입력 장치 및 그 동작 방법에 대해 설명하기로 한다.Hereinafter, a smart input device and an operating method thereof according to an embodiment of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 스마트 입력 장치와 그 주변 구성을 도시한 블록도이며, 도 2는 본 발명의 실시예에 따른 스마트 입력 장치의 내부 구성을 도시한 블록도이며, 도 3은 본 발명의 실시예에 따른 스마트 입력 장치가 적용된 예시도이다.1 is a block diagram showing a smart input device and its surrounding configuration according to an embodiment of the present invention, FIG. 2 is a block diagram showing an internal configuration of a smart input device according to an embodiment of the present invention, and FIG. 3 is It is an exemplary diagram to which a smart input device according to an embodiment of the present invention is applied.

도 1에 도시된 바와 같이, 스마트 입력 장치(100)는 전자 장치(50)와 유선 또는 무선으로 연결 설정되어 전자 장치(50)의 제어에 필요한 다양한 입력을 제공할 수 있다.As shown in FIG. 1, the smart input device 100 may be connected to the electronic device 50 by wire or wirelessly to provide various inputs necessary for controlling the electronic device 50.

본 발명의 실시예에서, 스마트 입력 장치(100)에 의해 전자 장치(50)에 제공되는 다양한 입력은 마우스 커서 이동, 특정 부분의 마우스 클릭, 특정 부분의 스크롤, 문자 입력 등을 포함할 수 있다.In an embodiment of the present invention, various inputs provided to the electronic device 50 by the smart input device 100 may include moving a mouse cursor, clicking a mouse on a specific portion, scrolling on a specific portion, and inputting a character.

먼저, 스마트 입력 장치(100)에 연결되는 본 발명의 실시예에 따른 전자 장치(50)는 이동 전화기 (cellular phone), 스마트폰(smart phone), 넷-북(netbook), e-리더(e-reader) 또는 PDA(personal digital assistant) 등의 모바일(mobile) 계열의 단말기, PC(Personal Computer), 태블릿(tablet) PC, 노트북(notebook) PC와 같은 컴퓨팅(computing) 계열의 기기, 스마트 TV, 스마트 냉장고 등의 스마트 정보가전기기, 네비게이션(navigation), 차량 DMB 등의 운행 중에 설정 변경을 하면 위험 요인이 따르는 ITS (Intelligent Transport System) 계열의 기기, 음성으로 제어하기를 원하는 휴대용 게임기, 콘솔형 게임기, 아케이드 게임기와 같은 모든 계열의 게임기기, 웨어러블 컴퓨터, 웨어러블 로봇과 같이 핸즈프리(hands-free)가 중시되는 모든 웨어러블 기기, 현대전에 적용되는 차세대 화기, 손목, 손, 손가락의 장애로 인해 기기를 사용하기 힘든 사람들을 위한 전동휠체어로 구현될 수 있다.First, the electronic device 50 according to an embodiment of the present invention connected to the smart input device 100 includes a cellular phone, a smart phone, a netbook, an e-reader (e -reader) or mobile terminal such as PDA (personal digital assistant), personal computer (PC), tablet PC, computing device such as notebook PC, smart TV, Smart information appliances such as smart refrigerators, ITS (Intelligent Transport System) series devices that risk factors when changing settings during operation of navigation, vehicle DMB, etc., portable game consoles that want to be controlled by voice, console game consoles , All types of game devices such as arcade game machines, wearable computers, all wearable devices that value hands-free such as wearable robots, next-generation firearms applied to modern warfare, wrists, hands, and fingers due to disability. It can be implemented as an electric wheelchair for those who are difficult to do.

전자 장치(50)는 중앙 처리부(CPU: Central Processing Unit, 51), 네트워크 인터페이스(network interface, 52), 디스플레이부(display unit, 53) 및 스마트 입력 장치(100)와의 연결 설정에 따라 스마트 입력 장치(100)로부터 입력을 처리할 수 있는 입력 처리 회로(54) 등을 포함할 수 있다.The electronic device 50 is a smart input device according to connection settings with a central processing unit (CPU) 51, a network interface 52, a display unit 53, and the smart input device 100. An input processing circuit 54 capable of processing input from 100 may be included.

본 발명의 실시예에서, 스마트 입력 장치(100)는 전자 장치(50)와 유선 또는 무선으로 연결되어 다양한 입력을 제공할 수 있다. 구체적으로, 스마트 입력 장치(100)는 전자 장치(50)와 USB 또는 블루투스 방식으로 상호 연결되어 전자 장치(50)에 필요한 다양한 입력을 제공할 수 있다. In an embodiment of the present invention, the smart input device 100 may be connected to the electronic device 50 by wire or wirelessly to provide various inputs. Specifically, the smart input device 100 may be interconnected with the electronic device 50 through a USB or Bluetooth method to provide various inputs required for the electronic device 50.

구체적으로, 스마트 입력 장치(100)는 바닥면에 위치하여 전자 장치(50)에 필요한 입력을 제공하는 제 1 기능, 바닥면으로부터 이탈된 상태에서 전자 장치(50)에 필요한 입력을 제공하는 제 2 기능 및 음성을 텍스트로 변환하여 제공하는 제 3 기능을 통해 전자 장치(50)와 연동될 수 있다.Specifically, the smart input device 100 has a first function that provides an input required to the electronic device 50 by being located on the bottom surface, and a second function that provides an input required to the electronic device 50 in a state away from the floor surface. It may be interlocked with the electronic device 50 through a third function that converts functions and voices into text and provides them.

제 1 기능은 도 2의 마우스 입력부(110)를 통해 이루어지며, 제 2 기능은 마우스 입력부(110)의 마우스 조작키(102) 및 포인트 네비게이션용 패드(115)를 통해 이루어지며, 제 3 기능은 마이크(120)를 통해 이루어질 수 있다.The first function is performed through the mouse input unit 110 of FIG. 2, and the second function is performed through the mouse operation keys 102 and the point navigation pad 115 of the mouse input unit 110, and the third function is It can be done through the microphone 120.

이를 위하여 스마트 입력 장치(100)는, 도 2 및 도 3에 도시된 바와 같이, 전자 장치(50)의 제어에 필요한 다양한 입력을 제공하기 위해 사용자의 조작을 위한 마우스 기능 키 및 스크롤 키를 포함한 마우스 조작키(102) 및 전자 장치(50) 상의 마우스 포인트 제어를 위한 포인트 제어용 센서(104)로 이루어진 마우스 입력부(110), 스마트 입력 장치(100)가 바닥면에서 이탈된 경우 마우스 포인트를 제어하기 위한 신호를 제공하는 포인트 네비게이션용 패드(115), 사용자의 음성을 입력받기 위한 마이크(120), 마이크(120) 기능을 활성화시키기 위한 마이크 활성화 키(125) 및 전반적인 제어를 담당하는 제어부(130) 등을 포함할 수 있다.To this end, as shown in FIGS. 2 and 3, the smart input device 100 includes a mouse function key and a scroll key for user manipulation in order to provide various inputs required for control of the electronic device 50. A mouse input unit 110 consisting of an operation key 102 and a point control sensor 104 for controlling a mouse point on the electronic device 50, and for controlling the mouse point when the smart input device 100 is deviated from the floor surface. A point navigation pad 115 that provides a signal, a microphone 120 for receiving a user's voice, a microphone activation key 125 for activating the microphone 120 function, and a control unit 130 for overall control, etc. It may include.

포인트 네비게이션용 패드(115)는 스마트 입력 장치(100)가 바닥면으로부터 이탈된 경우, 예컨대 바닥에서 이탈되어 사용자의 손에 파지된 상태인 경우 동작하는 것으로서, 전자 장치(50) 내 마우스 포인트를 제어할 수 있는 인터페이스를 제공할 수 있다. 여기에서, 포인트 네비게이션용 패드(115)는 스마트 입력 장치(100)의 마우스 조작키(102)와 인접한 영역, 예컨대 상부면에 형성될 수 있다.The point navigation pad 115 is operated when the smart input device 100 is separated from the floor surface, for example, when the smart input device 100 is detached from the floor and held in the user's hand, and controls the mouse point in the electronic device 50 It can provide an interface that can do. Here, the point navigation pad 115 may be formed in an area adjacent to the mouse operation key 102 of the smart input device 100, for example, on an upper surface.

또한, 포인트 네비게이션용 패드(115)는 스마트 입력 장치(100)의 마우스 조작키(102)와 인접한 중앙 부분에 설치되어 사용자의 조작 용이성을 제공할 수 있다. In addition, the point navigation pad 115 may be installed in a central portion adjacent to the mouse operation key 102 of the smart input device 100 to provide ease of operation for the user.

본 발명의 실시예에서, 포인트 네비게이션용 패드(115)는 소정 물체, 예컨대 사용자의 손가락 움직임을 감지한 후 이에 대응되는 신호를 제어부(130)에 제공할 수 있다.In an embodiment of the present invention, the point navigation pad 115 may detect a movement of a predetermined object, such as a user's finger, and then provide a signal corresponding thereto to the controller 130.

이 경우, 제어부(130)는 포인트 네비게이션용 패드(115)로부터 입력되는 신호를 이용하여 마우스 포인트 제어용 입력을 전자 장치(50)에 제공할 수 있다. 이를 위하여, 제어부(130)는 신호 입력단에 스위칭 신호에 의거하여 포인트 네비게이션용 패드(115) 및 포인트 제어용 센서(104)에서 출력되는 신호 중 어느 하나만을 출력하는 스위칭 소자(132)를 더 포함할 수 있다. 이때, 제어부(130)는 스마트 입력 장치(100)가 바닥으로부터 이탈된 것으로 판단되는 경우 제 1 스위칭 신호를 스위칭 소자(132)에 인가하여 포인트 네비게이션용 패드(115)로부터 출력되는 신호를 제공받으며, 그렇지 않을 경우 제 2 스위칭 신호를 스위칭 소자(132)에 인가하여 포인트 제어용 센서(104)로부터 출력되는 신호를 제공받을 수 있다.In this case, the controller 130 may provide an input for controlling a mouse point to the electronic device 50 by using a signal input from the pad 115 for point navigation. To this end, the control unit 130 may further include a switching element 132 that outputs only one of signals output from the point navigation pad 115 and the point control sensor 104 based on the switching signal at the signal input terminal. have. At this time, when it is determined that the smart input device 100 is separated from the floor, the controller 130 applies a first switching signal to the switching element 132 to receive a signal output from the point navigation pad 115, Otherwise, a second switching signal may be applied to the switching element 132 to receive a signal output from the point control sensor 104.

마이크 활성화 키(125)는 마이크(120)의 기능을 활성화시키기 위한 것으로, 사용자의 조작에 따라 마이크(120)를 활성화시킬 수 있다.The microphone activation key 125 is for activating the function of the microphone 120 and may activate the microphone 120 according to a user's manipulation.

이 경우, 제어부(130)는 마이크 활성화 키(125)의 조작에 따라 마이크(120)의 기능을 활성화시켜 음성을 입력받아 전자 장치(50)에 입력을 제공하거나 전자 장치(50)에 인식된 음성에 대응되는 텍스트를 전자 장치(50)에 제공할 수 있다.In this case, the control unit 130 activates the function of the microphone 120 according to the operation of the microphone activation key 125 to receive a voice and provide an input to the electronic device 50 or the voice recognized by the electronic device 50. Text corresponding to may be provided to the electronic device 50.

제어부(130)는 마우스 입력부(110) 또는 포인트 네비게이션용 패드(115)로부터 수신되는 신호에 의거하여 전자 장치(50)에 입력을 제공하거나 마이크(120)로부터 입력받은 음성을 인식하여 마우스 입력부(110)에 대응되는 명령어인 경우 명령어를 기반으로 전자 장치(50)에 입력을 제공하고, 마우스 조작키(102) 또는 포인트 제어용 센서(104)에 대응되는 명령어가 아닌 경우 인식한 음성에 대응되는 텍스트를 전자 장치(50)에 제공할 수 있다.The control unit 130 provides an input to the electronic device 50 based on a signal received from the mouse input unit 110 or the point navigation pad 115 or recognizes a voice input from the microphone 120 to recognize the mouse input unit 110 In the case of a command corresponding to ), an input is provided to the electronic device 50 based on the command, and if it is not a command corresponding to the mouse operation key 102 or the point control sensor 104, a text corresponding to the recognized voice is displayed. It may be provided to the electronic device 50.

이를 위하여, 본 발명의 실시예에 따른 스마트 입력 장치(100)의 제어부(130)는 마우스 조작에 대응되는 텍스트와 명령어가 매칭된 제어용 데이터가 저장된 메모리(140)와 연동되어 동작할 수 있다. 구체적으로, 제어부(130)는 마이크(120)를 통해 입력받은 음성을 인식하여 텍스트로 변환한 후 변환한 텍스트와 메모리(140)에 저장된 제어용 데이터간의 비교를 통해 인식한 음성이 마우스 조작키에 대응되는 명령어인지를 체크하며, 명령어인 경우 명령어를 기반으로 전자 장치(50)에 입력을 제공할 수 있다.To this end, the control unit 130 of the smart input device 100 according to an embodiment of the present invention may operate in conjunction with a memory 140 in which control data in which text corresponding to a mouse operation and a command are matched are stored. Specifically, the control unit 130 recognizes the voice input through the microphone 120, converts it into text, and then the recognized voice through comparison between the converted text and the control data stored in the memory 140 corresponds to the mouse operation keys. It is checked whether the command is a command, and if it is a command, an input may be provided to the electronic device 50 based on the command.

본 발명의 실시예에서, 마우스 조작과 관련된 명령어의 예로는 마우스 포인트 움직임, 버튼 클릭, 스크롤 등과 같은 것을 의미할 수 있으나, 이에 한정하지는 않는다.In an embodiment of the present invention, an example of a command related to mouse manipulation may mean a mouse point movement, a button click, a scroll, and the like, but is not limited thereto.

본 발명의 실시예에서, 제어부(130)는 음성 인식 엔진인 STT(Speech-to-Text)와 연동될 수 있다. 즉, 제어부(130)는 STT 엔진을 이용하여 실시간으로 입력된 음성을 인식하여 텍스트로 변환할 수 있다.In an embodiment of the present invention, the control unit 130 may be interlocked with a speech-to-text (STT) speech recognition engine. That is, the controller 130 may recognize a voice input in real time using the STT engine and convert it into text.

STT 엔진은 입력되는 음성에 대한 전처리, 특성 추출, 모델을 통한 텍스트 변환, 결과 보정 단계로 음성인식 결과를 제공할 수 있다.The STT engine can provide speech recognition results through pre-processing of input speech, feature extraction, text conversion through a model, and result correction.

본 발명의 실시예에서, 마우스 입력부(110)의 포인트 제어용 센서(140)는 스마트 입력 장치(100)의 바닥면에 설치된 광 센서를 의미할 수 있다.In an embodiment of the present invention, the sensor 140 for point control of the mouse input unit 110 may mean an optical sensor installed on the bottom surface of the smart input device 100.

이 경우, 제어부(130)는 스마트 입력 장치(100)의 이탈 여부 판단 기능을 통해 스마트 입력 장치(100)가 바닥면으로 기 설정된 시간 동안 이탈되는지를 판단하며, 이탈된 경우 포인트 네비게이션용 패드(115)를 활성화시켜 포인트 네비게이션용 패드(115)로부터 수신되는 움직임 감지 신호를 기반으로 마우스 포인트 제어를 위한 입력을 전자 장치(50)에 제공할 수 있다. 이때, 제어부(130)는 포인트 네비게이션용 패드(115)로부터 수신되는 신호와 마우스 조작키(102)로부터 수신되는 신호(클릭 신호, 스크롤 신호)를 이용하여 전자 장치(50)에 입력을 제공할 수 있다.In this case, the control unit 130 determines whether the smart input device 100 is separated from the floor surface for a preset time through the function of determining whether the smart input device 100 is separated, and if it is separated, the point navigation pad 115 ) May be activated to provide an input for controlling a mouse point to the electronic device 50 based on a motion detection signal received from the point navigation pad 115. At this time, the control unit 130 may provide an input to the electronic device 50 using a signal received from the point navigation pad 115 and a signal (click signal, scroll signal) received from the mouse operation key 102. have.

한편, 본 발명의 실시예에 따른 스마트 입력 장치(100)의 제어부(130)는 사용자만의 음성만을 인식하기 위해서 초기 음성 설정 기능을 제공할 수 있다. 구체적으로, 제어부(130)는 초기 음성 설정 기능을 통해 입력된 음성의 특징점을 메모리(130)에 저장한 후 이를 기반으로 마이크(120)를 통해 입력된 음성에 대한 특징점을 추출하고, 추출한 특징점과 메모리(140)에 저장된 특징점간의 비교를 통해 입력된 음성이 사용자 음성인지를 체크하며, 사용자 음성인 경우에만 음성 인식을 수행하여 텍스트로 변환할 수 있다.Meanwhile, the controller 130 of the smart input device 100 according to an embodiment of the present invention may provide an initial voice setting function in order to recognize only the user's voice. Specifically, the controller 130 stores the feature points of the voice input through the initial voice setting function in the memory 130, and then extracts the feature points of the voice input through the microphone 120 based on this, and extracts the feature points and It is checked whether the input voice is a user voice through comparison between the feature points stored in the memory 140, and voice recognition may be performed only in the case of the user voice to be converted into text.

상술한 바와 같은 제어부(130)에서 제공되는 기능들은 복수의 명령어로 구현된 프로그램 형태, 예컨대 펌웨어 형태로 구현되어 메모리(140)에 저장될 수 있으며, 제어부(130) 내 포함된 적어도 하나 이상의 프로세서(미도시됨)에 의해 실행되어 동작할 수 있다.The functions provided by the controller 130 as described above may be implemented in the form of a program implemented as a plurality of instructions, for example, in the form of firmware, and stored in the memory 140, and at least one processor included in the controller 130 ( Not shown) can be executed and operated.

또한, 상술한 바와 같은 본 발명의 실시예에 따르면, 포인트 제어용 센서(104)를 이용하여 이탈 유무 판단 기능이 제공되는 것으로 예를 들어 설명하였지만, 포인트 제어용 센서(104)와 별도로 스마트 입력 장치(100)의 바닥면에 설치되어 지면을 감지할 수 있는 감지 센서(미도시됨)로부터 수신되는 신호를 기반으로 스마트 입력 장치(100)가 바닥으로부터 이탈되었는지를 판단할 수도 있다.In addition, according to the embodiment of the present invention as described above, it has been described for example that a departure/exit determination function is provided using the point control sensor 104, but the smart input device 100 separately from the point control sensor 104 ), it may be determined whether the smart input device 100 has deviated from the floor based on a signal received from a detection sensor (not shown) that is installed on the floor surface and can detect the ground.

이하에서는 본 발명의 실시예에 따른 스마트 입력 장치(100)가 동작하는 과정에 대해 설명하기로 한다.Hereinafter, a process of operating the smart input device 100 according to an embodiment of the present invention will be described.

도 4는 본 발명의 일 실시예에 따른 스마트 입력 장치(100)의 동작 과정을 도시한 흐름도이다.4 is a flowchart illustrating an operation process of the smart input device 100 according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 스마트 입력 장치(100)의 제어부(130)는 전자 장치(50)와 연결(S200)된 후 마우스 입력부(110)로부터 조작 신호가 입력(S202)되는 경우 제어부(130)는 마우스 입력부(110)의 조작 신호에 대응되는 입력을 전자 장치(50)에 제공한다(S204). 여기에서, 입력은 마우스 커서(포인트) 움직임, 특정 영역의 클릭, 스크롤 등을 의미할 수 있다.As shown in FIG. 4, when the control unit 130 of the smart input device 100 is connected to the electronic device 50 (S200) and an operation signal is input from the mouse input unit 110 (S202), the control unit 130 ) Provides an input corresponding to the manipulation signal of the mouse input unit 110 to the electronic device 50 (S204). Here, the input may mean movement of a mouse cursor (point), clicking on a specific area, scrolling, or the like.

한편, 제어부(130)는 스마트 입력 장치(100)가 바닥면으로 이탈된 것인지를 판단한다(S206). 구체적으로, 제어부(130)는 마우스 입력부(110)의 포인트 제어용 센서(114)로부터의 신호 수신 여부 또는 스마트 입력 장치(100)에 설치된 센서(미도시됨)로부터의 신호 수신 여부를 체크하여 스마트 입력 장치(100)의 바닥면 이탈 여부를 판단할 수 있다. 이때, 스마트 입력 장치(100)에 설치된 센서는 중력을 감지하거나 스마트 입력 장치(100)의 자세 정보를 센싱하기 위한 것으로서, 그 예로 3축 가속도 센서, 관성 센서 등을 들 수 있으나, 이에 한정하지는 않는다.Meanwhile, the control unit 130 determines whether the smart input device 100 has deviated to the bottom surface (S206). Specifically, the control unit 130 checks whether a signal is received from a sensor 114 for point control of the mouse input unit 110 or a signal from a sensor (not shown) installed in the smart input device 100 to be smart input. It may be determined whether the device 100 has deviated from the bottom surface. In this case, the sensor installed in the smart input device 100 is for sensing gravity or for sensing the attitude information of the smart input device 100, and examples thereof include a 3-axis acceleration sensor and an inertial sensor, but are not limited thereto. .

S206의 판단 결과, 바닥면으로부터 이탈된 경우 제어부(130)는 포인트 네비게이션용 패드(115)의 기능을 활성화시켜 포인트 네비게이션용 패드(115)로부터 입력된 신호를 기반으로 전자 장치(50) 내 마우스 포인트의 움직임 제어에 필요한 입력을 제공한다(S208, S210).As a result of the determination of S206, when the control unit 130 activates the function of the point navigation pad 115, the mouse point in the electronic device 50 is based on the signal input from the point navigation pad 115. Provides an input required for motion control of (S208, S210).

한편, S206의 판단 결과, 바닥면으로 이탈되지 않는 것으로 판단되는 경우 제어부(130)는 S202로 진행하여 이후 단계를 수행한다.On the other hand, as a result of the determination in S206, if it is determined that it does not deviate to the bottom surface, the controller 130 proceeds to S202 and performs a subsequent step.

제어부(130)는 마이크 활성화 키(125)의 조작이 있는지를 판단한다(S212).The control unit 130 determines whether there is an operation of the microphone activation key 125 (S212).

S212의 판단 결과, 마이크 활성화 키(125)의 조작이 있는 경우 제어부(130)는 마이크(120)의 기능을 활성화시켜 마이크(120)로부터 입력되는 음성을 텍스트로 변환하여 전자 장치(50)의 입력으로 제공한다(S214, S216).As a result of the determination of S212, when there is a manipulation of the microphone activation key 125, the controller 130 activates the function of the microphone 120 to convert the voice input from the microphone 120 into text, and input the electronic device 50. It is provided as (S214, S216).

도시 생략되었지만, 마이크 활성화 키(125)는 조작 후 기 설정된 시간이 경과됨에 따라 자동으로 비활성화되거나 조작 횟수(예컨대 클릭 횟수)에 의거하여 활성화 또는 비활성화될 수 있다.Although not shown, the microphone activation key 125 may be automatically deactivated or activated or deactivated based on the number of operations (eg, the number of clicks) as a preset time elapses after the operation.

도 5는 본 발명의 다른 실시예에 따른 스마트 입력 장치(100)의 동작 과정을 도시한 흐름도이다.5 is a flowchart illustrating an operation process of the smart input device 100 according to another embodiment of the present invention.

도 5에 도시된 바와 같이, 스마트 입력 장치(100)의 제어부(130)는 전자 장치(50)와 연결(S300)된 후 마우스 입력부(110)로부터 조작에 따른 조작 신호가 입력되는지를 판단한다(S302).As shown in FIG. 5, the control unit 130 of the smart input device 100 determines whether an operation signal according to the manipulation is input from the mouse input unit 110 after being connected to the electronic device 50 (S300) ( S302).

S302의 판단 결과, 조작 신호가 입력되는 경우 제어부(130)는 마우스 입력부(110)의 조작 신호에 대응되는 입력을 전자 장치(50)에 제공한다(S304). 여기에서, 입력은 마우스 커서(포인트) 움직임, 특정 영역의 클릭, 스크롤 등을 의미할 수 있다.As a result of the determination of S302, when a manipulation signal is input, the controller 130 provides an input corresponding to the manipulation signal of the mouse input unit 110 to the electronic device 50 (S304). Here, the input may mean movement of a mouse cursor (point), clicking on a specific area, scrolling, or the like.

한편, S302의 판단 결과, 조작 신호가 입력되지 않을 경우 제어부(130)는 마이크(120)를 통해 음성이 입력되는지를 판단한다(S306).On the other hand, as a result of the determination of S302, if the manipulation signal is not input, the controller 130 determines whether a voice is input through the microphone 120 (S306).

S306의 판단 결과, 음성이 입력되는 경우 제어부(130)는 음성 신호의 세기를 측정한 후 측정한 세기가 기 설정된 크기 이상의 값인지를 판단한다(S308).As a result of the determination in S306, when a voice is input, the controller 130 measures the strength of the voice signal and then determines whether the measured strength is a value equal to or greater than a preset size (S308).

S308의 판단 결과, 기 설정된 크기 이상인 경우 제어부(130)는 음성을 텍스트로 변환한 후 변환한 텍스트가 메모리(140)에 저장된 제어용 데이터에 존재하는지를 판단한다(S310, S312).As a result of the determination of S308, if the size is greater than or equal to a preset size, the controller 130 converts the voice into text and then determines whether the converted text exists in the control data stored in the memory 140 (S310 and S312).

S312의 판단 결과, 존재하는 경우 제어부(130)는 텍스트에 대한 제어용 데이터 내 명령어를 기반으로 전자 장치(50)에 입력을 제공한다(S314).As a result of the determination of S312, if there is, the controller 130 provides an input to the electronic device 50 based on a command in the control data for the text (S314).

S312의 판단 결과, 존재하지 않을 경우 제어부(130)는 문자 입력으로 판단하여 텍스트를 전자 장치(50)에 전송하여 텍스트를 입력시킨다(S316).As a result of the determination in S312, if it does not exist, the controller 130 determines that the text is input and transmits the text to the electronic device 50 to input the text (S316).

한편, S308의 판단 결과, 기 설정된 크기보다 작은 경우 제어부(130)는 음성 재입력을 위한 음성을 스피커(미도시됨)를 통해 송출(S318)한 후 S306으로 진행하여 이후 단계를 수행한다.On the other hand, as a result of the determination in S308, if the size is smaller than the preset size, the controller 130 transmits (S318) the voice for re-input through a speaker (not shown), and then proceeds to S306 to perform subsequent steps.

도 6은 본 발명의 또 다른 실시예에 따른 스마트 입력 장치(100)의 동작 과정을 도시한 흐름도이다.6 is a flowchart illustrating an operation process of the smart input device 100 according to another embodiment of the present invention.

도 6에 도시된 바와 같이, 스마트 입력 장치(100)의 제어부(130)는 전자 장치(50)와 연결(S400)된 후 이탈 여부 판단 기능을 통해 마우스 입력부(110)의 포인트 제어용 센서(114)로부터 기 설정된 시간 동안 포인트 제어용 신호(예컨대, 광 신호)가 미입력되는지를 판단한다(S402).As shown in FIG. 6, the control unit 130 of the smart input device 100 is connected to the electronic device 50 (S400), and the sensor 114 for point control of the mouse input unit 110 is It is determined whether a point control signal (eg, an optical signal) is not input for a preset time from (S402).

S402의 판단 결과, 기 설정된 시간 동안 포인트 제어용 신호가 입력되지 않을 경우 제어부(130)는 스마트 입력 장치(100)가 바닥면으로 이탈된 것으로 판단하여 마이크(120)를 활성화시킨다(S404).As a result of the determination of S402, when the point control signal is not input for a preset time, the controller 130 determines that the smart input device 100 has deviated to the bottom surface and activates the microphone 120 (S404).

이후, 제어부(130)는 마이크(120)로부터 입력받은 음성 인식을 통해 텍스트를 이용하여 전자 장치(50)에 입력을 제공할 수 있다. Thereafter, the controller 130 may provide an input to the electronic device 50 using text through speech recognition received from the microphone 120.

구체적으로, 제어부(130)는 음성이 입력됨에 따라 음성 신호의 세기를 측정한 후 측정한 세기가 기 설정된 크기 이상의 값인지를 판단한다(S406). Specifically, the controller 130 measures the strength of the voice signal as the voice is input, and then determines whether the measured strength is a value equal to or greater than a preset size (S406).

S406의 판단 결과, 기 설정된 크기 이상인 경우 제어부(130)는 음성을 텍스트로 변환한 후 변환한 텍스트가 메모리(140)에 저장된 제어용 데이터에 존재하는지를 판단한다(S408, S410).As a result of the determination in S406, if the size is greater than or equal to a preset size, the controller 130 converts the voice into text and then determines whether the converted text exists in the control data stored in the memory 140 (S408, S410).

S410의 판단 결과, 존재하는 경우 제어부(130)는 텍스트에 대한 제어용 데이터 내 명령어를 기반으로 전자 장치(50)에 입력을 제공한다(S412).As a result of the determination of S410, if there is, the controller 130 provides an input to the electronic device 50 based on a command in the control data for the text (S412).

S410의 판단 결과, 존재하지 않을 경우 제어부(130)는 문자 입력으로 판단하여 텍스트를 전자 장치(50)에 전송하여 텍스트를 입력시킨다(S414).As a result of the determination in S410, if it does not exist, the controller 130 determines that the text is input and transmits the text to the electronic device 50 to input the text (S414).

한편, S406의 판단 결과, 기 설정된 크기보다 작은 경우 제어부(130)는 음성 재입력을 위한 음성을 스피커(미도시됨)를 통해 송출(S416)한 후 S406으로 진행하여 이후 단계를 수행한다.On the other hand, as a result of the determination of S406, if the size is smaller than the preset size, the controller 130 transmits (S416) the voice for voice re-input through a speaker (not shown), and then proceeds to S406 to perform subsequent steps.

S402의 판단 결과, 마우스 입력부(110)의 포인트 제어용 센서(114)로부터 포인트 제어용 신호가 입력되는 경우 제어부(130)는 마우스 입력부(110)로부터 조작에 따른 조작 신호에 대응되는 명령어를 전자 장치(50)의 입력으로 제공한다(S418).As a result of the determination of S402, when a point control signal is input from the point control sensor 114 of the mouse input unit 110, the control unit 130 transmits a command corresponding to the manipulation signal according to the manipulation from the mouse input unit 110 to the electronic device 50. ) Is provided as an input (S418).

상술한 바와 같은 본 발명의 실시예에서는 생략되었지만, 초기 음성 설정 기능을 통해 설정된 사용자 음성의 특징점을 이용하여 마이크(120)를 통해 입력된 음성이 사용자의 음성인지를 판단하고, 판단 결과 사용자의 음성인 경우에만 제어부(130)는 마이크(120)로부터 입력된 음성에 대응되는 입력을 전자 장치(50)에 제공할 수도 있다.Although omitted in the embodiment of the present invention as described above, it is determined whether the voice input through the microphone 120 is the user's voice using the feature points of the user's voice set through the initial voice setting function, and as a result of the determination, the user's voice Only in the case of is the controller 130 may provide an input corresponding to the voice input from the microphone 120 to the electronic device 50.

한편, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록에서 설명된 기능들을 수행하는 수단을 생성하게 된다.Meanwhile, combinations of each block of the attached block diagram and each step of the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on the processor of a general purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are described in each block of the block diagram. It creates a means to perform functions.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리) 등에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리)에 저장된 인스트럭션들은 블록도의 각 블록에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.These computer program instructions can also be stored on a computer-usable or computer-readable recording medium (or memory) that can be directed to a computer or other programmable data processing equipment to implement a function in a specific manner, so that the computer can be used. Alternatively, instructions stored in a computer-readable recording medium (or memory) may produce an article of manufacture including instruction means for performing the functions described in each block of the block diagram.

그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.In addition, since computer program instructions can be mounted on a computer or other programmable data processing equipment, a series of operation steps are performed on a computer or other programmable data processing equipment to create a process that is executed by a computer, It is also possible for instructions to perform possible data processing equipment to provide steps for executing the functions described in each block of the block diagram.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block may represent a module, segment, or part of code including at least one or more executable instructions for executing the specified logical function(s). In addition, it should be noted that in some alternative embodiments, functions mentioned in blocks may occur out of order. For example, two blocks shown in succession may in fact be executed substantially simultaneously, or the blocks may sometimes be executed in the reverse order depending on the corresponding function.

50 : 전자 장치
100 : 스마트 입력 장치
110 : 마우스 입력부
120 : 마이크
130 : 제어부
140 : 메모리
50: electronic device
100: smart input device
110: mouse input unit
120: microphone
130: control unit
140: memory

Claims (6)

전자 장치(50)에 필요한 입력을 유선 또는 무선으로 제공하는 스마트 입력 장치(100)로서,
상기 입력에 필요한 사용자의 조작을 위한 마우스 기능 키 및 스크롤 키를 포함한 마우스 조작키(102)와 상기 전자 장치(50) 상에 마우스 포인트 제어를 위한 포인트 제어용 센서(140)를 포함한 입력부(110)와,
상기 스마트 입력 장치(100)가 바닥면으로 이탈된 경우 상기 마우스 포인트 제어를 위한 포인트 네비게이션용 패드(115)와,
상기 사용자의 음성을 입력받기 위한 마이크(120)와,
상기 입력부(110)의 조작에 대응되는 입력을 상기 전자 장치(50)에 제공하거나 상기 포인트 네비게이션용 패드(115) 및 상기 마우스 조작키(102)로부터 입력되는 신호에 의거하여 입력을 상기 전자 장치(50)에 제공하거나, 상기 마이크(120)로부터 입력받은 음성을 인식하여 텍스트로 변환한 후 이를 상기 전자 장치(50)에 제공하는 제어부(130)를 포함하되,
상기 제어부(130)는 상기 입력부(110)로부터 기 설정된 시간 동안 상기 입력부(110)의 조작에 대응되는 신호가 입력되지 않을 경우에 상기 마이크(120)의 기능을 활성화시키고,
상기 스마트 입력 장치(100)는 바닥면에 지면을 감지하기 위한 적어도 하나 이상의 센서를 구비하며, 상기 제어부(130)는 상기 적어도 하나 이상의 센서로부터 수신되는 신호에 의거하여 상기 마이크(120)의 기능 활성화 여부를 결정하고,
상기 포인트 네비게이션 패드(115)는 상기 스마트 입력 장치(100)의 상기 마우스 조작키(102)와 인접한 중앙 부분에 설치되는 것을 특징으로 하는
스마트 입력 장치.
A smart input device 100 that provides an input required for the electronic device 50 by wire or wirelessly,
An input unit 110 including a mouse operation key 102 including a mouse function key and a scroll key for user manipulation required for the input, and a point control sensor 140 for controlling a mouse point on the electronic device 50, and ,
A point navigation pad 115 for controlling the mouse point when the smart input device 100 is deviated to the bottom surface,
A microphone 120 for receiving the user's voice input,
Provides an input corresponding to the manipulation of the input unit 110 to the electronic device 50, or inputs an input based on a signal input from the point navigation pad 115 and the mouse operation key 102. 50) or a control unit 130 for recognizing the voice input from the microphone 120 and converting it into text and providing the same to the electronic device 50,
The control unit 130 activates the function of the microphone 120 when a signal corresponding to the manipulation of the input unit 110 is not input from the input unit 110 for a preset time,
The smart input device 100 includes at least one sensor for detecting the ground on the bottom surface, and the control unit 130 activates the function of the microphone 120 based on a signal received from the at least one sensor. Decide whether or not,
The point navigation pad 115 is installed in a central portion adjacent to the mouse operation key 102 of the smart input device 100.
Smart input device.
제1항에 있어서,
상기 스마트 입력 장치(100)는,
상기 마이크(120)의 기능을 활성화시킬 수 있는 마이크 활성화 키(125)를 더 포함하며,
상기 제어부(130)는,
상기 마이크 활성화 키(125)의 조작에 따라 상기 마이크(120)의 기능을 활성화시켜 상기 음성을 입력받아 음성 인식을 수행하여 상기 입력받은 음성을 텍스트로 변환하고,
상기 마이크(120)로부터 입력받은 음성을 인식하여 텍스트로 변환한 후 변환된 텍스트가 상기 입력부(110)의 조작에 대응되는 명령어인 경우에 상기 명령어를 기반으로 상기 전자 장치(50)에 입력을 제공하고, 상기 입력부(110)에 대응되는 명령어가 아닌 경우에 상기 변환된 텍스트를 상기 전자 장치(50)에 제공하며,
상기 마이크(120)로부터 입력된 음성의 신호 세기가 기 설정된 값 이상인 경우에 상기 입력받은 음성에 대한 인식을 수행하고,
기 등록된 특정 음성이 상기 마이크(120)로부터 입력된 후 상기 음성에 대한 텍스트 변환을 수행하여 상기 전자 장치(50)에 필요한 입력을 제공하는
스마트 입력 장치.
The method of claim 1,
The smart input device 100,
Further comprising a microphone activation key 125 capable of activating the function of the microphone 120,
The control unit 130,
Activating the function of the microphone 120 according to the operation of the microphone activation key 125 to receive the voice and perform voice recognition to convert the received voice into text,
Recognizing the voice input from the microphone 120, converting it into text, and providing an input to the electronic device 50 based on the command when the converted text is a command corresponding to the manipulation of the input unit 110 And, if the command is not corresponding to the input unit 110, the converted text is provided to the electronic device 50,
When the signal strength of the voice input from the microphone 120 is greater than or equal to a preset value, recognition of the received voice is performed,
After a specific previously registered voice is input from the microphone 120, text conversion is performed on the voice to provide the necessary input to the electronic device 50.
Smart input device.
제1항에 있어서,
상기 제어부는,
상기 입력부의 포인트 제어용 센서로부터 기 설정된 시간 동안 신호가 입력되지 않을 경우 상기 스마트 입력 장치가 바닥면으로 이탈된 것으로 판단하여 상기 포인트 네비게이션용 패드를 활성화시키고,
스위칭 신호에 의거하여 상기 포인트 네비게이션용 패드(115) 및 상기 포인트 제어용 센서(140)에서 출력되는 신호 중 어느 하나만을 출력하는 스위칭 소자(132)를 포함하는
스마트 입력 장치.
The method of claim 1,
The control unit,
When a signal is not input from the point control sensor of the input unit for a preset time, it is determined that the smart input device has deviated to the bottom surface, and the point navigation pad is activated,
Including a switching element 132 that outputs only one of the signals output from the point navigation pad 115 and the point control sensor 140 based on a switching signal
Smart input device.
전자 장치(50)에 필요한 입력을 유선 또는 무선으로 제공하는 스마트 입력 장치(100)를 이용한 입력 제공 방법에 있어서,
상기 입력에 필요한 사용자의 조작을 위한 마우스 기능 키 및 스크롤 키를 포함한 마우스 조작키(102)와 상기 전자 장치(50) 상에 마우스 포인트 제어를 위한 포인트 제어용 센서(140)를 포함한 입력부(110)로부터 신호를 인가받아 상기 전자 장치(50)에 필요한 입력을 제공하는 제 1 단계와,
상기 스마트 입력 장치(100)가 바닥면으로 이탈된 경우 상기 마우스 포인트 제어를 위한 포인트 네비게이션용 패드(115) 및 상기 마우스 조작키(102)로부터 입력되는 신호에 의거하여 상기 전자 장치(50)에 입력을 제공하는 제 2 단계와,
마이크(120)로부터 입력받은 음성을 인식하여 텍스트로 변환한 후 이를 상기 전자 장치(50)에 제공하는 제 3 단계를 포함하되,
상기 입력부(110)로부터 기 설정된 시간 동안 상기 입력부(110)의 조작에 대응되는 신호가 입력되지 않을 경우에 상기 마이크(120)의 기능을 활성화시키고,
상기 스마트 입력 장치(100)의 바닥면의 센서로부터 수신되는 신호에 의거하여 상기 마이크(120)의 기능 활성화 여부를 결정하며,
상기 포인트 네비게이션용 패드(115)는 상기 마우스 조작키(102)와 인접한 중앙 부분에 설치되는 것을 특징으로 하는
스마트 입력 장치를 이용한 입력 제공 방법.
In the input providing method using the smart input device 100 for providing an input required to the electronic device 50 wired or wirelessly,
From the input unit 110 including a mouse operation key 102 including a mouse function key and a scroll key for user manipulation required for the input, and a point control sensor 140 for controlling a mouse point on the electronic device 50 A first step of receiving a signal and providing an input required to the electronic device 50;
When the smart input device 100 deviates to the bottom surface, it is input to the electronic device 50 based on a signal input from the point navigation pad 115 and the mouse operation key 102 for controlling the mouse point. A second step of providing
A third step of recognizing the voice input from the microphone 120, converting it into text, and providing it to the electronic device 50,
When a signal corresponding to the manipulation of the input unit 110 is not input from the input unit 110 for a preset time, the function of the microphone 120 is activated,
Determines whether to activate the function of the microphone 120 based on a signal received from a sensor on the bottom of the smart input device 100,
The point navigation pad 115 is characterized in that it is installed in a central portion adjacent to the mouse operation key 102
A method of providing input using a smart input device.
제4항에 있어서,
상기 스마트 입력 장치(100)는,
상기 마이크(120)의 기능을 활성화시킬 수 있는 마이크 활성화 키(125)를 더 포함하며,
상기 제 3 단계는,
상기 마이크 활성화 키(125)의 조작에 따라 상기 마이크(120)의 기능을 활성화시킨 후 수행되고,
상기 마이크(120)로부터 입력받은 음성을 인식하여 텍스트로 변환한 후 변환된 텍스트가 상기 입력부(110)의 조작에 대응되는 명령어인 경우에 상기 명령어를 기반으로 상기 전자 장치(50)에 입력을 제공하고,
상기 입력부(110)에 대응되는 명령어가 아닌 경우에 상기 변환된 텍스트를 상기 전자 장치(50)에 제공하며,
상기 마이크(120)로부터 입력된 음성의 신호 세기가 기 설정된 값 이상인 경우에 상기 입력받은 음성에 대한 인식을 수행하고,
기 등록된 특정 음성이 상기 마이크(120)로부터 입력된 후 상기 음성에 대한 텍스트 변환을 수행하여 상기 전자 장치(50)에 필요한 입력을 제공하는 것을 특징으로 하는
스마트 입력 장치를 이용한 입력 제공 방법.
The method of claim 4,
The smart input device 100,
Further comprising a microphone activation key 125 capable of activating the function of the microphone 120,
The third step,
It is performed after activating the function of the microphone 120 according to the operation of the microphone activation key 125,
Recognizing the voice input from the microphone 120, converting it into text, and providing an input to the electronic device 50 based on the command when the converted text is a command corresponding to the manipulation of the input unit 110 and,
Provides the converted text to the electronic device 50 when it is not a command corresponding to the input unit 110,
When the signal strength of the voice input from the microphone 120 is greater than or equal to a preset value, recognition of the received voice is performed,
Characterized in that a pre-registered specific voice is input from the microphone 120 and then text conversion is performed on the voice to provide the necessary input to the electronic device 50.
A method of providing input using a smart input device.
제4항에 있어서,
상기 제 2 단계는,
상기 입력부(110)의 포인트 제어용 센서(140)로부터 기 설정된 시간 동안 신호가 입력되지 않을 경우 상기 스마트 입력 장치(100)가 바닥면으로 이탈된 것으로 판단하여 상기 포인트 네비게이션용 패드(115)를 활성화시킨 후 수행되고,
스위칭 신호에 의거하여 상기 포인트 네비게이션용 패드(115) 및 상기 포인트 제어용 센서(140)에서 출력되는 신호 중 어느 하나만을 출력하는 것을 특징으로 하는
스마트 입력 장치를 이용한 입력 제공 방법.
The method of claim 4,
The second step,
When a signal is not input from the point control sensor 140 of the input unit 110 for a preset time, it is determined that the smart input device 100 has deviated to the bottom surface, and the point navigation pad 115 is activated. After being done,
Characterized in that only one of the signals output from the point navigation pad 115 and the point control sensor 140 is output based on a switching signal.
A method of providing input using a smart input device.
KR1020200065657A 2020-06-01 2020-06-01 Smart input device and method for operating the same KR102232308B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200065657A KR102232308B1 (en) 2020-06-01 2020-06-01 Smart input device and method for operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200065657A KR102232308B1 (en) 2020-06-01 2020-06-01 Smart input device and method for operating the same

Publications (1)

Publication Number Publication Date
KR102232308B1 true KR102232308B1 (en) 2021-03-26

Family

ID=75259546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200065657A KR102232308B1 (en) 2020-06-01 2020-06-01 Smart input device and method for operating the same

Country Status (1)

Country Link
KR (1) KR102232308B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080068487A (en) * 2007-01-19 2008-07-23 구영욱 Mouse device having camera
KR20100012679U (en) * 2009-06-12 2010-12-22 강예진 Mouse having microphone
KR20140131093A (en) * 2013-05-03 2014-11-12 삼성전자주식회사 Method for recognizing for a voice an electronic device thereof
KR101486875B1 (en) 2013-10-07 2015-01-29 금오공과대학교 산학협력단 A voice recognition mouse circuit and a method of operating the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080068487A (en) * 2007-01-19 2008-07-23 구영욱 Mouse device having camera
KR20100012679U (en) * 2009-06-12 2010-12-22 강예진 Mouse having microphone
KR20140131093A (en) * 2013-05-03 2014-11-12 삼성전자주식회사 Method for recognizing for a voice an electronic device thereof
KR101486875B1 (en) 2013-10-07 2015-01-29 금오공과대학교 산학협력단 A voice recognition mouse circuit and a method of operating the same

Similar Documents

Publication Publication Date Title
KR101793566B1 (en) Remote controller, information processing method and system
US11587559B2 (en) Intelligent device identification
US9261969B2 (en) Gesture detecting device, gesture recognition device
CN104049737B (en) The object control method and apparatus of user equipment
US8791918B2 (en) Character input device, character-input control method, storing character input program
KR100630806B1 (en) Command input method using motion recognition device
US20130106700A1 (en) Electronic apparatus and input method
KR101696930B1 (en) Method for setting private mode in mobile terminal and mobile terminal using the same
US20120068925A1 (en) System and method for gesture based control
US8478600B2 (en) Input/output apparatus based on voice recognition, and method thereof
US20200379598A1 (en) Apparatus capable of sensing touch and sensing touch pressure, and control method therefor
KR20140095998A (en) Remote control system and device
JP2015121979A (en) Wearable information input device, information input system and information input method
WO2017214732A1 (en) Remote control by way of sequences of keyboard codes
CN106055959B (en) Unlocking method and mobile terminal
KR20160143428A (en) Pen terminal and method for controlling the same
US20180063283A1 (en) Information processing apparatus, information processing method, and program
KR102232308B1 (en) Smart input device and method for operating the same
CN110825306B (en) Braille input method, device, terminal and readable storage medium
US12013987B2 (en) Non-standard keyboard input system
CN111506191A (en) Control method and electronic device
US20170199578A1 (en) Gesture control method for interacting with a mobile or wearable device
KR101375317B1 (en) Method and apparatus for operating a mobile device equipped with touch sesitive devices
KR20090022465A (en) Selecting method of menu in terminal and terminal applied by this method
TWI492095B (en) A method of handling a computer by a portable calling device

Legal Events

Date Code Title Description
GRNT Written decision to grant