WO2013154268A1 - 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치 - Google Patents

가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치 Download PDF

Info

Publication number
WO2013154268A1
WO2013154268A1 PCT/KR2013/001762 KR2013001762W WO2013154268A1 WO 2013154268 A1 WO2013154268 A1 WO 2013154268A1 KR 2013001762 W KR2013001762 W KR 2013001762W WO 2013154268 A1 WO2013154268 A1 WO 2013154268A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
input
user
user tool
signal
Prior art date
Application number
PCT/KR2013/001762
Other languages
English (en)
French (fr)
Inventor
김영환
조성인
유동곤
김상훈
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to CN201380019732.9A priority Critical patent/CN104272224A/zh
Priority to US14/394,029 priority patent/US9766714B2/en
Priority to JP2015505628A priority patent/JP5965540B2/ja
Publication of WO2013154268A1 publication Critical patent/WO2013154268A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • the present invention relates to a method and apparatus for recognizing a key input on a virtual keyboard, and a method for recognizing key input on various types of virtual keyboard.
  • a conventional physical keyboard has a disadvantage of being bulky and difficult to clean
  • an alternative to this is a virtual keyboard made by projecting the keyboard on a flat surface.
  • a projection virtual keyboard is not user-friendly, and thus it is not easy for a user to adapt, and there is a inconvenience in that the user must adapt to a keyboard shape provided because the type and form of the keyboard are limited.
  • these keyboards require expensive hardware resources and an infrared receiver to recognize the user's keyboard input to create a virtual keyboard.
  • the virtual keyboard applied to a tablet PC or a smart phone occupies almost half of the screen, and is inconvenient to cover the screen, and when the two-byte characters, special characters, and numbers are to be alternated, the keys on the virtual keyboard are alternately used. Keystrokes are inconvenient because they are shown on the screen as they go.
  • An object of the present invention for solving the above problems is to provide a user input and provide a key input recognition method applicable to various types of virtual keyboard.
  • Another object of the present invention for solving the above problems is to provide a user input and provide a key input recognition apparatus applicable to various types of virtual keyboard.
  • the present invention provides a method for recognizing a key input on a virtual keyboard using at least one camera, wherein the operation of a user tool for key input on the virtual keyboard is detected using the camera. Tracking the user tool, tracking until the position on the vertical coordinate of the user tool is less than or equal to a predefined vertical threshold and finally determining that the key on the horizontal position of the tracked user tool is entered. It provides a key input recognition method comprising the step.
  • the method may further include recognizing a position according to a pattern of each key on the virtual keyboard according to a predetermined pattern recognition method using the camera.
  • the user tool for key input on the virtual keyboard further comprises the step of measuring the lowest position on the vertical coordinate that is recognized as touching the plane of the virtual keyboard to determine the vertical threshold value Characterized in that.
  • the vertical coordinate of the user's fingertip typing the virtual keyboard is measured, and the lowest point is determined as the vertical threshold.
  • the determining may include: when the at least one other signal is detected together with the operation of the user tool for key input, a time at which the at least one other signal is generated and a time when the user tool is finally tracked. If it is equal to, characterized in that it is determined that the key on the horizontal position is input.
  • the determining may include: when the at least one other signal is detected together with the operation of the user tool for key input, a time at which the at least one other signal is generated and a time when the user tool is finally tracked. And when the difference is within a predetermined tolerance, it is determined that the key on the horizontal position of the finally tracked user tool is input.
  • the vertical threshold is adjusted according to the time at which the at least one other signal is detected. It further comprises the step of correcting.
  • generating a signal for confirming the input of the key further comprises.
  • the signal for confirming the input of the key is characterized in that it comprises at least one of vibration, sound, light emission.
  • an apparatus for recognizing a key input on a virtual keyboard using at least one camera wherein the at least one camera and the at least one camera are used to input a key on a virtual keyboard.
  • the user tool tracking unit for tracking the user tool when the motion of the user tool for detecting the position until the position on the vertical coordinates of the user tool is less than or equal to a predefined vertical threshold and the last tracked user
  • a key input recognition device including a key value recognition unit for determining that a key on a horizontal position of a tool is input.
  • the apparatus may further include a pattern recognition unit recognizing a position according to a pattern of each key on the virtual keyboard using a predetermined pattern recognition method.
  • the apparatus may further include a threshold initializer configured to determine, as the vertical threshold, a minimum position on a vertical coordinate recognized by the user tool for key input on the virtual keyboard to touch the plane of the virtual keyboard.
  • a threshold initializer configured to determine, as the vertical threshold, a minimum position on a vertical coordinate recognized by the user tool for key input on the virtual keyboard to touch the plane of the virtual keyboard.
  • the threshold value initialization unit measures the vertical coordinate of the fingertip of the user typing the virtual keyboard, and determines the lowest point as the vertical threshold.
  • the key value recognizing unit when the at least one other signal is detected in advance with the operation of the user tool for the key input, the key value recognizing unit includes a time at which the at least one other signal is generated and a time when the user tool is finally tracked; If it is the same, it is determined that the key on the horizontal position is input.
  • the key value recognizing unit when the at least one other signal is detected in advance with the operation of the user tool for the key input, the key value recognizing unit includes a time at which the at least one other signal is generated and a time when the user tool is finally tracked; If the difference is within a predetermined tolerance, it is determined that the key on the horizontal position of the finally tracked user tool is input.
  • the key value recognizing unit may be configured according to a time when the at least one other signal is detected when the difference between the time at which the at least one other signal is generated and the time at which the user tool is finally tracked is within a predetermined tolerance. And correcting the vertical threshold.
  • the key value recognition unit when it is determined that the key on the horizontal position of the user tool is input, the key value recognition unit generates a signal for confirming the input of the key.
  • the signal for confirming the input of the key is characterized in that it comprises at least one of vibration, sound, light emission.
  • FIG. 1 is a flowchart illustrating a process of recognizing a key input on a virtual keyboard according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating an example of recognizing a key on a virtual keyboard according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating a process according to a difference in detection time between a key input and a user signal according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing the configuration of a key input recognition device on a virtual keyboard according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a flowchart showing each step for recognizing a key input on a virtual keyboard according to an embodiment of the present invention.
  • a process of recognizing a key input on a virtual keyboard includes key pattern recognition step S110, threshold value initialization step S120, key input tool motion tracking step S130, and the like.
  • the key input pattern comparison step S140, the user signal detection step S150, the threshold value correction step S160, the key input confirmation step S170, and the confirmation tone output step S180 may be included.
  • a process of recognizing a key input on a virtual keyboard according to an embodiment of the present invention is performed using at least one camera, and each step may be described as follows.
  • the key pattern recognition step S110 may be a step of recognizing a position according to a pattern of each key on the virtual keyboard according to a predetermined pattern recognition method using at least one camera.
  • a key pattern recognition method on a virtual keyboard will be described with reference to the drawings.
  • the camera may use two cameras or one 3D camera.
  • FIG. 2 is a conceptual diagram illustrating an example of recognizing a key on a virtual keyboard according to an embodiment of the present invention.
  • positions of each key in the virtual keyboard 200 according to the present invention may be identified using a method of pattern recognition of a letter (a, b, c, etc.) using a camera.
  • a method of pattern recognition of a letter a, b, c, etc.
  • searching for " ⁇ " after searching for " ⁇ " 210, the closed area 220 around it may be viewed as an area of " ⁇ ".
  • the virtual keyboard according to the present invention is recognized using an image tracking method, it is possible to create and use a projection keyboard using a laser like a conventional projection keyboard, or to draw a keyboard directly by a user. Conventional physical keyboards can also be used.
  • the size and position of the key can be changed arbitrarily. For example, it is possible to make the "Esc" key larger than the existing key, or to place the "Enter” key on both sides. Therefore, even if the keyboard is made with a laser like a conventional projection keyboard, the position of the laser hardware that generates the keyboard and the camera hardware that recognizes it is advantageous for the design.
  • the range of a specific key can be changed according to the user input pattern.
  • the user can help the user's convenience by accumulating and distinguishing the data of a specific user in addition to the general user's habits.
  • the threshold initialization step (S120) may be a step of determining a vertical threshold by measuring a lowest position on a vertical coordinate recognized by the user tool for key input on the virtual keyboard to be in contact with the plane of the virtual keyboard. For example, if the user tool is the user's hand, the vertical coordinates of the finger recognized by the camera may be different when the keyboard on the virtual keyboard is touched according to the user's finger thickness or the like.
  • the lowest point on the vertical coordinate from the virtual keyboard may be set as the vertical threshold when the user's fingertip is positioned at the lowest.
  • the fingertip is positioned at a lower position than the set vertical threshold, it may be determined that a key of the corresponding position is input.
  • Key input tool movement tracking step (S130) is to track the user tool when the motion of the user tool for key input on the virtual keyboard using the camera. At this time, the position on the vertical coordinate of the user tool may be tracked until a predetermined vertical threshold value, for example, smaller than or equal to the vertical threshold value set in the threshold initialization step S120.
  • Comparing the key input pattern step (S140) is a step of analyzing whether the user's typing habits to compare the predefined key input pattern and the key input image tracked in the key input tool movement tracking step (S130) to distinguish whether or not the key input Can be. This is to distinguish users from placing their hands on a flat surface, although they do not want to enter a key.
  • a user may take a comfortable posture when typing is resting and in a waiting state, and typing may not proceed further.
  • the easiest way to do this is to recognize that eight fingers, except for the two-handed thumb, are touching at the same time and create a key to go to standby.
  • the user signal detecting step S150 may be a step of detecting at least one predetermined signal, that is, a user signal induced by a user, together with an operation of a user tool for key input according to a selection.
  • the difference between the time when the user signal is detected and the time when the user tool is finally tracked may be compared, and if the difference is within a predetermined tolerance, the vertical threshold may be corrected according to the time when the user signal is detected. (S160).
  • a signal from a user such as sound and vibration is sensed to detect an image recognition result and a user signal.
  • a method of modifying the vertical threshold may be used. It will be described below with reference to the drawings.
  • FIG. 3 is a conceptual diagram illustrating a process according to a difference in detection time between a key input and a user signal according to an embodiment of the present invention.
  • the threshold value may be modified according to the user signal detection time (S150).
  • the correction of the threshold need not be performed.
  • the key input checking step S170 may be a step of determining that a key on a horizontal position of the tracked user tool is finally input. That is, it may be determined that a key value corresponding to the derived position is input by deriving the position on the horizontal coordinate of the position where the position on the vertical coordinate of the tracked user tool is smaller than the predetermined vertical threshold value. In this case, the key value corresponding to the derived position may be determined by referring to the position of the key according to the pattern recognized in the key pattern recognition step (S110).
  • the confirmation tone output step S180 may be a step of generating a signal for confirming the input of the key when it is determined in the key input confirmation step S170 that the key on the horizontal position of the user tool is input. That is, the user may give feedback signals such as vibration, light emission, and beep to confirm that the key is normally input to the user. This feedback signal can reproduce the sensation the user felt while typing keys on a conventional keyboard.
  • FIG. 4 is a block diagram showing the configuration of a key input recognition device on a virtual keyboard according to an embodiment of the present invention.
  • the key input recognition apparatus 10 on the virtual keyboard 30 may include a camera 410, a pattern recognition unit 420, a threshold initialization unit 430, and key value recognition. It may be configured to include a portion 440.
  • each component of the key input recognition device 10 on the virtual keyboard according to an embodiment of the present invention and the relationship between the components can be described as follows.
  • the camera 410 may be used to recognize a key pattern on the virtual keyboard 30 to confirm the location of each key, and to track the user's key input operation to recognize the location of the input key. In this case, the camera 410 may use a dual camera to recognize a user input.
  • the pattern recognizing unit 420 is a position according to the pattern of each key on the virtual keyboard 30 according to a predetermined pattern recognition method using at least one camera 410 (for example, two cameras or one 3D camera). Will be recognized.
  • the threshold initializer 430 may determine the vertical threshold by measuring the lowest position on the vertical coordinate that the user tool for key input on the virtual keyboard 30 touches the plane of the virtual keyboard.
  • the key value recognizing unit 440 tracks the user tool when an operation of the user tool for key input is detected on the virtual keyboard 30 using the camera 410. At this time, the position on the vertical coordinate of the user tool may be tracked until it is smaller than or equal to a predetermined vertical threshold.
  • the key value recognizing unit 440 may detect at least one predetermined signal, that is, a user signal induced by a user, along with an operation of a user tool for key input according to a selection. In this case, the difference between the time at which the user signal is detected and the time at which the user tool is finally tracked is compared, and if the same is the same, it is determined that the key on the horizontal position of the finally tracked user tool is input. That is, when the user types a position where “1” is displayed, it is determined that “1” is input in response to a pattern recognized in advance for the corresponding position value, and the processing is performed accordingly.
  • the operation is ignored and it is determined that the key is not input. If the difference is within the tolerance range, the vertical threshold is corrected according to the time when the user signal is detected and the corresponding horizontal position. It is determined that the key of is entered.
  • a sensor for detecting a user signal may be used, and an ADC may be used to convert and measure an analog signal into a digital signal.
  • a method of using the difference between the peaks of the two signals on the time axis, a method of measuring the period between two signals by sampling at regular intervals, and a method of using a phase meter may be used. Can be.
  • the key value recognizing unit 440 may generate a signal for confirming the input of the key. That is, the user may give feedback signals such as vibration, light emission, and beep to confirm that the key is normally input to the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식방법은 적어도 하나의 카메라, 예를 들면 두 개의 카메라 또는 하나의 3D 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 방법에 있어서, 상기 카메라를 이용하여 상기 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 단계 및 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계를 포함하여 구성된다.

Description

가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
본 발명은 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치에 관한 것으로, 다양한 종류의 가상 키보드 상의 키 입력을 인식하는 방법에 관한 것이다.
종래의 물리적 키보드는 부피가 크고, 청소가 어렵다는 단점이 있기 때문에, 이에 대한 대안으로 평면에 키보드를 프로젝션하여 만든 가상 키보드가 존재한다. 그러나, 이러한 프로젝션 가상 키보드는 사용자 친화적이지 않아서 사용자의 적응이 쉽지 않고, 키보드의 종류와 형태가 한정되어 있어서 제공되는 키보드 모양에 사용자가 맞추어서 적응해야 하는 불편함이 있다. 또한, 이러한 키보드 들은 가상의 키보드를 만들기 위하여 고가의 하드웨어 자원과 사용자의 키보드 입력을 인지하기 위한 적외선 수신기를 필요로 한다.
또한, 태블릿 PC나 스마트폰 등에 적용되는 가상 키보드의 경우 화면의 거의 절반을 차지하면서 화면을 가리는 불편함이 있고, 2바이트 문자나 특수 문자, 숫자 등을 번갈아 입력해야 하는 경우 가상 키보드 상의 키 역시 번갈아 가면서 화면에 보여지기 때문에 키 입력이 불편한 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자 편의를 제공하고 다양한 종류의 가상 키보드에 적용 가능한 키 입력 인식 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 사용자 편의를 제공하고 다양한 종류의 가상 키보드에 적용 가능한 키 입력 인식 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명은, 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 방법에 있어서, 상기 카메라를 이용하여 상기 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 단계 및 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계를 포함하는 키 입력 인식방법을 제공한다.
여기서, 상기 추적하는 단계 이전에, 상기 카메라를 이용하여 미리 정해진 패턴인식 방법에 따라 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 단계를 더 포함하는 것을 특징으로 한다.
여기서, 상기 추적하는 단계 이전에, 상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 상기 수직 문턱값으로 결정하는 단계를 더 포함하는 것을 특징으로 한다.
여기서, 상기 결정하는 단계는, 상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 한다.
여기서, 상기 판단하는 단계는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.
여기서, 상기 판단하는 단계는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.
여기서, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우, 상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 단계를 더 포함하는 것을 특징으로 한다.
여기서, 상기 판단하는 단계에서, 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 상기 키의 입력을 확인하기 위한 신호를 발생시키는 단계를 더 포함하는 것을 특징으로 한다.
여기서, 상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명은, 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 장치에 있어서, 적어도 하나의 카메라, 상기 적어도 하나의 카메라를 이용하여, 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 사용자 도구 추적부 및 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 키값 인식부를 포함하는 키 입력 인식 장치를 제공한다.
여기서, 미리 정해진 패턴인식 방법을 이용하여 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 패턴인식부를 더 포함하는 것을 특징으로 한다.
여기서, 상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 상기 수직 문턱값으로 결정하는 문턱값 초기화부를 더 포함하는 것을 특징으로 한다.
여기서, 상기 문턱값 초기화부는, 상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 한다.
여기서, 상기 키값 인식부는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.
여기서, 상기 키값 인식부는, 상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 한다.
여기서, 상기 키값 인식부는, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우, 상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 것을 특징으로 한다.
여기서, 상기 키값 인식부는 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 상기 키의 입력을 확인하기 위한 신호를 발생시키는 것을 특징으로 한다.
여기서, 상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따른 가상 키보드 상의 키 입력 인식 방법 및 장치를 이용할 경우에는 다양한 종류의 가상 키보드 상에 표시된 키를 카메라를 이용하여 패턴인식하고, 이에 따라 키를 타이핑하는 사용자의 움직임을 추적하여 입력된 키 값을 인식함으로써, 키보드 종류나 형태에 구애 받지 않고 사용자의 키 입력을 인식 할 수 있다. 특히, 본 발명에 따른 방법 및 장치가 태블릿 PC나 스마트폰 등에 적용되는 경우, 분리된 별도의 가상 키보드를 사용할 수 있기 때문에 종래에 PC나 스마트폰의 화면에 표시되는 가상 키보드로 인하여 화면이 가려지거나 2바이트 코드 다른 종류의 키를 입력 시 화면에 번갈아 가면서 보여주는 불편이 사라지게 된다. 또한, 태블릿 PC 등에 3D 촬영과 같은 기능이 추가되면서 자연스레 카메라가 두 개 이상 또는 3D 카메라가 부착되는 경우 추가적인 하드웨어 자원이 필요치 않다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하는 과정을 보여주는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 가상 키보드 상의 키를 인식하는 예를 예를 보여주는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 키 입력과 사용자 신호의 감지시간차이에 따른 처리과정을 보여주는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식장치의 구성을 보여주는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하기 위한 각 단계를 보여주는 흐름도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하는 과정은 키 패턴인식 단계(S110), 문턱값 초기화 단계(S120), 키 입력 도구 움직임 추적 단계(S130), 키 입력 패턴비교 단계(S140), 사용자 신호 감지단계(S150), 문턱값 보정 단계(S160), 키 입력 확인 단계(S170) 및 확인 신호음 출력 단계(S180)를 포함하여 구성될 수 있다.
또한, 도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력을 인식하는 과정은 적어도 하나의 카메라를 이용하여 수행되며, 각 단계는 다음과 같이 설명될 수 있다.
키 패턴인식 단계(S110)는 적어도 하나의 카메라를 이용하여 미리 정해진 패턴인식 방법에 따라 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 단계일 수 있다. 이하, 가상 키보드 상의 키 패턴인식 방법을 도면을 참조하여 설명한다. 이때, 카메라는 두 개의 카메라 또는 하나의 3D카메라를 이용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가상 키보드 상의 키를 인식하는 예를 보여주는 개념도이다.
도 2를 참조하면 본 발명에 따른 가상 키보드(200) 내의 각 키의 위치들은 카메라를 이용하여 문자(ㄱ, ㄴ, ㄷ 등)를 패턴인식하는 방법을 사용하여 파악될 수 있다. 예를 들면, 패턴인식 방법에 따라 “ㅂ”을 탐색하는 경우, “ㅂ”(210)을 탐색한 이후에 그 주변의 폐쇄된 영역(220)을 “ㅂ”의 영역으로 볼 수 있다.
한편, 본 발명에 따른 가상 키보드는, 영상 추적 방법을 이용하여 인식하기 때문에, 종래의 프로젝션 키보드와 같이 레이저를 이용하여 프로젝션 키보드를 만들어내어 사용할 수도 있고, 사용자가 직접 키보드를 그려서도 사용할 수 있고, 종래의 물리적 키보드도 사용할 수 있다. 또, 물리적인 경계가 없기 때문에, 키의 크기나 위치를 임의로 바꿀 수 있다. 예를 들어, "Esc" 키를 기존의 키보다 크게 만들거나, "Enter" 키를 양쪽에 배치하는 것도 가능하다. 따라서 기존의 프로젝션 키보드와 같이 레이저로 키보드를 만들어내더라도 키보드를 만들어내는 레이저 하드웨어와 이를 인지하는 카메라 하드웨어의 위치가 상호 독립적으로 정해질 수 있어 디자인에 유리하다.
또 사용자 입력 패턴에 따라, 특정 키의 범위도 변경 가능하다. 그리고 키 입력을 원하지 않는 상황에서 손을 평면에 위치시키는 경우에도 전반적인 사용자들의 습관과 덧붙여 특정 사용자에 대한 데이터를 축적하여 이를 구별함으로써 사용자의 편의를 도울 수 있다.
문턱값 초기화 단계(S120)는 가상 키보드 상에 키 입력을 위한 사용자 도구가 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 수직 문턱값으로 결정하는 단계일 수 있다. 예를 들면, 사용자 도구가 사용자의 손이라면, 사용자의 손가락 두께 등에 따라 가상 키보드 상의 키보드가 터치될 때, 카메라에 의해 인지되는 손가락의 수직 좌표가 다를 수 있다.
따라서, 초기에 사용자가 몇 번 임의의 키를 타이핑하는 과정을 거치면서, 사용자의 손가락 끝이 가장 낮게 위치한 경우, 즉 가상 키보드로부터 수직좌표상 최저점을 수직 문턱값으로 설정할 수 있다. 향후, 설정된 수직 문턱값보다 낮은 곳에 손가락 끝이 위치하면 해당 위치의 키가 입력된 것으로 판단할 수 있다. 이 때, 카메라를 이용하여 입력을 인식하기 위해서는 그 전에 손가락 끝의 위치를 파악해야 하는데, 기존에 개발되어 있는 손의 색에 기반한 위치 찾기나 미리 지정된 영역에 손을 사용자가 위치시키는 방법 등을 사용할 수 있다.
키 입력 도구 움직임 추적 단계(S130)는 카메라를 이용하여 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 사용자 도구를 추적하게 된다. 이때, 사용자 도구의 수직 좌표 상의 위치가 미리 정해진 수직 문턱값, 예를 들면, 문턱값 초기화 단계(S120)에서 설정한 수직 문턱값보다 작거나 같을 때까지 추적할 수 있다.
키 입력 패턴비교 단계(S140)는 사용자의 타이핑 습관을 분석하여 미리 정의된 키 입력 패턴과 키 입력 도구 움직임 추적 단계(S130)에서 추적된 키 입력 영상을 비교하여 키 입력 중인지 여부를 구별하는 단계 일 수 있다. 이는 사용자들이 키 입력을 원하는 것은 아니지만 평면에 손을 위치시키는 경우를 구별해내기 위한 것이다.
예를 들면, 사용자가 타이핑을 쉬고 대기 상태일 때 편한 자세를 취할 수 있고, 타이핑은 더 진행되지 않는 경우가 있을 수 있다. 가장 쉬운 예로 양손 엄지를 제외한 여덟 손가락이 동시에 닿는 것을 대기 상태로 인식하는 방법과 대기 상태로 가는 키 등을 만드는 방법 등이 있다.
사용자 신호 감지단계(S150)는 선택에 따라서 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호, 즉 사용자로부터 유발된 사용자 신호를 감지하는 단계일 수 있다. 이때, 사용자 신호가 감지된 시간과 사용자 도구가 최종적으로 추적된 시간과의 차이를 비교하여, 그 차이가 미리 정해진 허용오차 이내인 경우 사용자 신호가 감지된 시간에 맞추어 수직 문턱값을 보정할 수 있다(S160).
즉, 가상 키보드 상의 키를 입력하는 사용자 도구(예를 들면, 사용자 손)에 대한 추적 영상인식의 정확성을 높이기 위하여 소리 및 진동과 같은 사용자부터의 신호를 감지하여, 영상 인식결과와 사용자 신호의 감지결과에 따른 시간 차이를 동기화하기 위하여 수직 문턱값을 수정하는 방법을 사용할 수 있다. 이하 도면을 참조하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 키 입력과 사용자 신호의 감지시간 차이에 따른 처리과정을 보여주는 개념도이다.
도 3을 참조하면, 추적영상 신호(310)와 사용자 신호(320)로 입력된, 각각 세 가지 신호를 보여준다. 첫 번째는 영상 신호(311)와 사용자 신호(321)간의 감지시간 차이가 너무 크기 때문에 키가 입력된 것으로 판단하지 않는 경우이다. 두 번째는 영상 신호(313)와 사용자 신호(323)간의 감지시간 차이가 있기는 하지만, 허용될 수 있는 차이이므로 키가 입력된 것으로 판단할 수 있다. 또한, 이 경우, 신호간 도달 시간 차이를 조정하기 위하여 사용자 신호 감지시간에 맞추어 문턱 값을 수정할 수 있다(S150). 세 번째는 영상 신호(315)와 사용자 신호(315)간의 차이가 없으므로 키가 입력된 것으로 판단할 수 있다. 또한, 이 경우, 문턱값의 보정은 수행할 필요가 없다.
키 입력 확인 단계(S170)는 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계일 수 있다. 즉 최종적으로 추적된 사용자 도구의 수직 좌표 상의 위치가 미리 정해진 수직 문턱값보다 작은 위치의 수평 좌표 상의 위치를 도출하여, 도출된 위치에 대응되는 키 값이 입력된 것으로 판단할 수 있다. 이때, 도출된 위치에 대응되는 키 값은 키 패턴인식 단계(S110)에서 인식된 패턴에 따른 키의 위치를 참조하여 파악될 수 있다.
또는 사용자 신호 감지단계(S150)에서 약속된 사용자 신호를 감지한 경우, 사용자 신호가 감지된 시간과 사용자 도구가 최종적으로 추적된 시간과의 차이를 비교하여, 차이가 없거나, 그 차이가 미리 정해진 허용오차 이내라면 해당 수평 좌표상의 위치의 키 값이 입력된 것으로 판단할 수 있다.
확인 신호음 출력 단계(S180)는 키 입력 확인 단계(S170)에서, 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 키의 입력을 확인하기 위한 신호를 발생시키는 단계일 수 있다. 즉, 사용자에게 키가 정상적으로 입력되었음을 확인할 수 있도록 진동이나 발광, 신호음 등의 피드백 신호를 줄 수 있다. 이러한 피드백 신호는 사용자가 종래의 키보드에서 키를 타이핑 하면서 느꼈던 감각을 재현할 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식장치의 구성을 보여주는 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 가상 키보드(30) 상의 키 입력 인식장치(10)는 카메라(410), 패턴인식부(420), 문턱값 초기화부(430), 키값 인식부(440)를 포함하여 구성될 수 있다.
또한, 도 4를 참조하면, 본 발명의 일 실시예에 따른 가상 키보드 상의 키 입력 인식장치(10)의 각 구성요소 및 구성요소간의 연결관계는 다음과 같이 설명될 수 있다.
카메라(410)는 가상 키보드(30) 상의 키 패턴을 인식하여 각 키의 위치를 확인하고, 사용자의 키 입력 동작을 추적하여 입력된 키의 위치를 인식하기 위하여 이용될 수 있다. 이때, 카메라(410)는 사용자의 입력을 인지할 듀얼 카메라가 이용될 수 있다.
패턴인식부(420)는 적어도 하나의 카메라(410)(예를 들면 두 개의 카메라 또는 하나의3D카메라)를 이용하여 미리 정해진 패턴인식 방법에 따라 가상 키보드(30)상의 각 키의 패턴에 따른 위치를 인식하게 된다.
문턱값 초기화부(430)는 가상 키보드(30) 상에 키 입력을 위한 사용자 도구가 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 수직 문턱값으로 결정할 수 있다.
키값 인식부(440)는 카메라(410)를 이용하여 가상 키보드(30) 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 사용자 도구를 추적하게 된다. 이때, 사용자 도구의 수직 좌표 상의 위치가 미리 정해진 수직 문턱값보다 작거나 같을 때까지 추적할 수 있다.
또한, 키값 인식부(440)는, 선택에 따라서 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호, 즉 사용자로부터 유발된 사용자 신호를 감지할 수 있다. 이때, 사용자 신호가 감지된 시간과 사용자 도구가 최종적으로 추적된 시간과의 차이를 비교하여, 동일하면 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하게 된다. 즉, “1”이 표시된 위치를 사용자가 타이핑한 경우, 해당 위치 값을 미리 인식한 패턴에 대응시켜 “1”이 입력된 것으로 판단하고, 이에 따른 처리를 하게 된다.
그러나 그 차이가 미리 정해진 허용오차를 벗어난 경우 해당 동작을 무시하고 키가 입력되지 않은 것으로 판단하게 된고, 허용오차 범위 이내인 경우, 사용자 신호가 감지된 시간에 맞추어 수직 문턱값을 보정하고 해당 수평 위치의 키가 입력된 것으로 판단하게 된다.
이때, 사용자 신호를 감지하기 위한 센서가 사용될 수 있고, 또한 아날로그 신호를 디지털 신호로 변환하여 측정하기 위하여 ADC가 이용될 수 있다. 또한 영상 신호와 사용자 신호의 차이를 측정하기 위하여 시간 축 상에서 두 신호의 최고점의 차이를 이용하는 방법이나 일정 주기마다 샘플링하여 두 신호가 발생한 사이 주기를 측정하는 방법, 위상 측정기를 이용하는 방법 등이 이용될 수 있다.
또한, 키값 인식부(440)는 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 키의 입력을 확인하기 위한 신호를 발생시킬 수 있다. 즉, 사용자에게 키가 정상적으로 입력되었음을 확인할 수 있도록 진동이나 발광, 신호음 등의 피드백 신호를 줄 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (18)

  1. 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 방법에 있어서,
    상기 카메라를 이용하여 상기 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 단계; 및
    최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 단계를 포함하는 키 입력 인식 방법.
  2. 청구항 1에 있어서, 상기 추적하는 단계 이전에,
    상기 카메라를 이용하여 미리 정해진 패턴인식 방법에 따라 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 단계를 더 포함하는 것을 특징으로 하는 키 입력 인식 방법.
  3. 청구항 1에 있어서, 상기 추적하는 단계 이전에,
    상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 측정하여 상기 수직 문턱값으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 키 입력 인식 방법.
  4. 청구항 3에 있어서, 상기 결정하는 단계는,
    상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 하는 키 입력 인식 방법.
  5. 청구항 1에 있어서, 상기 판단하는 단계는,
    상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 하는 키 입력 인식 방법.
  6. 청구항 1에 있어서, 상기 판단하는 단계는,
    상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 하는 키 입력 인식 방법.
  7. 청구항 6에 있어서,
    상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우,
    상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 단계를 더 포함하는 것을 특징으로 하는 키 입력 인식 방법.
  8. 청구항 1에 있어서, 상기 판단하는 단계에서, 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우,
    상기 키의 입력을 확인하기 위한 신호를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 청구항 8에 있어서,
    상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 하는 키 입력 인식 방법.
  10. 적어도 하나의 카메라를 이용하여 가상 키보드 상의 키 입력을 인식하는 장치에 있어서,
    적어도 하나의 카메라;
    상기 적어도 하나의 카메라를 이용하여, 가상 키보드 상에 키 입력을 위한 사용자 도구의 동작이 감지되면 상기 사용자 도구를 추적하되, 상기 사용자 도구의 수직 좌표 상의 위치가 미리 정의된 수직 문턱값 보다 작거나 같을 때까지 추적하는 사용자 도구 추적부; 및
    상기 사용자 도구 추적부에서 최종적으로 추적된 상기 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 키값 인식부를 포함하는 키 입력 인식 장치.
  11. 청구항 10에 있어서,
    미리 정해진 패턴인식 방법을 이용하여 상기 가상 키보드 상의 각 키의 패턴에 따른 위치를 인식하는 패턴인식부를 더 포함하는 것을 특징으로 하는 키 입력 인식 장치.
  12. 청구항 10에 있어서,
    상기 가상 키보드 상에 키 입력을 위한 사용자 도구가 상기 가상 키보드의 평면에 닿은 것으로 인식되는 수직좌표 상의 최저 위치를 상기 수직 문턱값으로 결정하는 문턱값 초기화부를 더 포함하는 것을 특징으로 하는 키 입력 인식 장치.
  13. 청구항 12에 있어서, 상기 문턱값 초기화부는,
    상기 사용자 도구가 사용자의 손인 경우, 상기 가상 키보드를 타이핑하는 사용자의 손끝의 수직 좌표를 측정하여, 가장 최저점을 상기 수직 문턱값으로 결정하는 것을 특징으로 하는 키 입력 인식 장치.
  14. 청구항 10에 있어서, 상기 키값 인식부는,
    상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과 동일하면, 상기 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 하는 키 입력 인식 장치.
  15. 청구항 10에 있어서, 상기 키값 인식부는,
    상기 키 입력을 위한 사용자 도구의 동작과 함께 미리 정해진 적어도 하나의 다른 신호가 감지된 경우, 상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우 상기 최종적으로 추적된 사용자 도구의 수평 위치상의 키가 입력된 것으로 판단하는 것을 특징으로 하는 키 입력 인식 장치.
  16. 청구항 15에 있어서, 상기 키값 인식부는,
    상기 적어도 하나의 다른 신호가 발생한 시간과 상기 사용자 도구가 최종적으로 추적된 시간과의 차이가 미리 정해진 허용오차 이내인 경우, 상기 적어도 하나의 다른 신호가 감지된 시간에 맞추어 상기 수직 문턱값을 보정하는 것을 특징으로 하는 키 입력 인식 장치.
  17. 청구항 10에 있어서, 상기 키값 인식부는
    사용자 도구의 수평 위치상의 키가 입력된 것으로 판단한 경우, 상기 키의 입력을 확인하기 위한 신호를 발생시키는 것을 특징으로 하는 키 입력 인식 장치.
  18. 청구항 17에 있어서,
    상기 키의 입력을 확인하기 위한 신호는 진동, 소리, 발광 중 최소한 하나를 포함하는 것을 특징으로 하는 키 입력 인식 장치.
PCT/KR2013/001762 2012-04-13 2013-03-05 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치 WO2013154268A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380019732.9A CN104272224A (zh) 2012-04-13 2013-03-05 用于识别来自虚拟键盘的键输入的方法及装置
US14/394,029 US9766714B2 (en) 2012-04-13 2013-03-05 Method and apparatus for recognizing key input from virtual keyboard
JP2015505628A JP5965540B2 (ja) 2012-04-13 2013-03-05 仮想キーボード上のキー入力を認識する方法及びその装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0038351 2012-04-13
KR1020120038351A KR20130115750A (ko) 2012-04-13 2012-04-13 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2013154268A1 true WO2013154268A1 (ko) 2013-10-17

Family

ID=49327801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001762 WO2013154268A1 (ko) 2012-04-13 2013-03-05 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치

Country Status (5)

Country Link
US (1) US9766714B2 (ko)
JP (1) JP5965540B2 (ko)
KR (1) KR20130115750A (ko)
CN (1) CN104272224A (ko)
WO (1) WO2013154268A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452191B1 (ko) * 2014-03-28 2014-10-22 주식회사 한글과컴퓨터 터치스크린 장치 및 상기 터치스크린 장치의 가상 키보드 터치 인식 영역 조정 방법
US10402089B2 (en) * 2015-07-27 2019-09-03 Jordan A. Berger Universal keyboard
US10282090B2 (en) * 2015-09-30 2019-05-07 Apple Inc. Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
KR101719454B1 (ko) * 2016-05-26 2017-03-23 한국과학기술원 키보드 타이핑 모션 생성 방법 및 장치
CN114356140B (zh) * 2021-12-31 2024-02-13 上海永亚智能科技有限公司 一种红外感应悬浮按键的按键动作识别方法
US20230343005A1 (en) * 2022-04-22 2023-10-26 Zebra Technologies Corporation Methods and Systems for Automated Structured Keyboard Layout Generation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288156A (ja) * 2002-03-28 2003-10-10 Minolta Co Ltd 入力装置
KR20070009207A (ko) * 2005-07-15 2007-01-18 엘지전자 주식회사 가상 키보드 입력 장치를 갖는 이동통신 단말기 및 이를이용한 입력 방법
KR20090100934A (ko) * 2008-03-21 2009-09-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US20100164869A1 (en) * 2008-12-26 2010-07-01 Frank Huang Virtual keyboard structure of electric device and data inputting method thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US6690354B2 (en) * 2000-11-19 2004-02-10 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
US8866745B1 (en) * 2002-03-11 2014-10-21 Brad Schrick System and method for providing a touch input interface for information computing and control devices
WO2005069114A1 (ja) * 2004-01-15 2005-07-28 Vodafone K.K. 移動体通信端末
US20070115261A1 (en) * 2005-11-23 2007-05-24 Stereo Display, Inc. Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens
US20060244720A1 (en) * 2005-04-29 2006-11-02 Tracy James L Collapsible projection assembly
US20070035521A1 (en) * 2005-08-10 2007-02-15 Ping-Chang Jui Open virtual input and display device and method thereof
JP4635788B2 (ja) * 2005-09-06 2011-02-23 株式会社日立製作所 弾力性素材を用いた入力装置
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2009099280A2 (en) * 2008-02-05 2009-08-13 Lg Electronics Inc. Input unit and control method thereof
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
JP5205187B2 (ja) 2008-09-11 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 入力システム及び入力方法
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
GB2470653B (en) * 2009-05-26 2015-04-29 Zienon L L C Enabling data entry based on differentiated input objects
JP2012053532A (ja) 2010-08-31 2012-03-15 Casio Comput Co Ltd 情報処理装置及び方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288156A (ja) * 2002-03-28 2003-10-10 Minolta Co Ltd 入力装置
KR20070009207A (ko) * 2005-07-15 2007-01-18 엘지전자 주식회사 가상 키보드 입력 장치를 갖는 이동통신 단말기 및 이를이용한 입력 방법
KR20090100934A (ko) * 2008-03-21 2009-09-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US20100164869A1 (en) * 2008-12-26 2010-07-01 Frank Huang Virtual keyboard structure of electric device and data inputting method thereof

Also Published As

Publication number Publication date
JP2015513163A (ja) 2015-04-30
US20150084869A1 (en) 2015-03-26
KR20130115750A (ko) 2013-10-22
JP5965540B2 (ja) 2016-08-10
CN104272224A (zh) 2015-01-07
US9766714B2 (en) 2017-09-19

Similar Documents

Publication Publication Date Title
WO2013154268A1 (ko) 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
WO2014196779A1 (ko) 가상 키보드를 이용한 정보 처리 장치 및 방법
WO2016114610A1 (en) Virtual input device and method for receiving user input using the same
WO2012102519A2 (en) Terminal having touch screen and method for identifying touch event therein
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2015088263A1 (ko) 터치 입력의 압력 상태에 따라 동작하는 전자 장치 및 그 방법
WO2013115558A1 (en) Method of operating multi-touch panel and terminal supporting the same
WO2014030902A1 (en) Input method and apparatus of portable device
EP2561430A2 (en) Method and apparatus for interface
WO2012134210A2 (ko) 시각 장애인을 위한 터치스크린 장치 및 그 장치에서 문자 입력 방법
EP2590056B1 (en) Mobile terminal device and program used in mobile terminal device
WO2018004140A1 (ko) 전자 장치 및 그의 동작 방법
WO2015194709A1 (en) Portable display device and method of controlling therefor
WO2013118987A1 (en) Control method and apparatus of electronic device using control device
WO2011087206A2 (en) Method for inputting korean character on touch screen
WO2010117103A1 (ko) 전자칠판의 입력 인식 방법 및 시스템
WO2013005988A2 (ko) 터치스크린 장치 및 그의 신호 처리 방법
WO2016085122A1 (ko) 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
WO2014129825A1 (ko) 차동 터치 센싱 시스템의 좌표 선택 회로 및 방법
WO2016060454A1 (ko) 터치스크린을 이용한 문자입력 방법
WO2016085156A1 (ko) 한자 입력 방법 및 장치
WO2014109543A1 (ko) 가상 터치 포인터를 이용한 화면 제어 방법 및 이를 수행하는 휴대용 단말기
KR101392981B1 (ko) 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
WO2010137799A2 (ko) 입력 장치 및 입력 방법
US20110148670A1 (en) Portable character input apparatus and method using change in tension of strings connected to fingers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13776318

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015505628

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14394029

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13776318

Country of ref document: EP

Kind code of ref document: A1