WO2013172560A1 - 방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법 - Google Patents

방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법 Download PDF

Info

Publication number
WO2013172560A1
WO2013172560A1 PCT/KR2013/003458 KR2013003458W WO2013172560A1 WO 2013172560 A1 WO2013172560 A1 WO 2013172560A1 KR 2013003458 W KR2013003458 W KR 2013003458W WO 2013172560 A1 WO2013172560 A1 WO 2013172560A1
Authority
WO
WIPO (PCT)
Prior art keywords
pad
mark
input device
user
input
Prior art date
Application number
PCT/KR2013/003458
Other languages
English (en)
French (fr)
Inventor
김호연
Original Assignee
Kim Ho-Yon
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Ho-Yon filed Critical Kim Ho-Yon
Priority to US14/401,620 priority Critical patent/US20150103052A1/en
Priority to CN201380037924.2A priority patent/CN104508603A/zh
Publication of WO2013172560A1 publication Critical patent/WO2013172560A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G9/00—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
    • G05G9/02—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
    • G05G9/04—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
    • G05G9/047—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0338—Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image

Definitions

  • the present invention relates to an input device, and more particularly to a direction input device.
  • the input device By using the input device, user manipulation of the object displayed on the screen of the electronic device is possible. For example, the position or direction of the mouse pointer displayed on the screen may be changed. Examples of such input devices include a mouse, joystick, trackball, touchpad, trackpad, and the like.
  • the mouse is the most widely used.
  • One of the drawbacks of the mouse is that it requires a floor on which to put the mouse. Therefore, it is difficult to use a mouse in a mobile environment.
  • the mouse needs a large bottom surface, it is inconvenient to use in a narrow desk, so there must be a minimum working space enough for the mouse to move.
  • Input devices mainly used in the mobile environment include a touch pad and a track pad. These two devices are convenient, but they can cause incorrect input due to unintentional touches, and even if the touch is not generated due to the different generation of static electricity. For this reason, people who draw pictures or figures often prefer a mouse over touch because it is difficult to perform delicate work or precise control when using touch.
  • joysticks and trackballs it is relatively easy to input the direction, but it is inconvenient to control the moving distance, so it is not suitable for drawing or CAD work like touch. This mechanical input is easy to control only the direction, but insufficient for delicate input or control.
  • Joysticks and the like are often used as input devices in game areas where the direction must be selected quickly.
  • joysticks are difficult to input delicately by using a mechanical motion or simple sensor, and a mouse, etc., needs a flat bottom, or it is inconvenient to repeatedly lift and reposition the mouse to increase the moving distance.
  • the pads, etc. are difficult to control with precise movements because the friction of the fingers is different.
  • a device that does not require a floor surface, such as a mouse for direction and distance input and control, and is not disturbed by finger friction or touched static electricity, and can respond precisely according to the strength of an input signal.
  • An apparatus and a method of operating a user interface using the same are provided.
  • a direction input device includes a pad part including a mark surface composed of marks having different codes for each mark on one surface or formed integrally with the mark surface, and the pad portion and the pad portion in the mark surface direction of the pad portion.
  • a method of operating a user interface using a direction input device includes: receiving a light generated from a light source by a pad of a pad part, and when a user force is applied, the mark surface of the pad and the optical part are relative to the direction of the user force. Moving in the direction to reflect light received from the light source at a predetermined mark on the mark surface, the sensor detecting light reflected from the predetermined mark on the mark surface, and converting the light into an image signal; Analyzing the converted video signal through the step of determining the size, direction, speed and distance information of the user input.
  • the pad part and the optical part are formed in one integrated type so that the user can carry and use in a three-dimensional space.
  • the present invention enables the manufacture of a small direction input device.
  • FIG. 1 is a block diagram of a direction input device according to an embodiment of the present invention
  • FIG 2 is an external view of an input device according to an embodiment of the present invention.
  • FIG 3 is an external view of an input device according to another embodiment of the present invention.
  • FIGS. 4A to 4C are external views of an input device according to another embodiment of the present invention.
  • 5A and 5B are external views of a pad unit of an input device according to various embodiments of the present disclosure.
  • FIG. 6 is an internal structure diagram of an input device including a processor according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view showing a mark surface of a pad unit according to an embodiment of the present invention.
  • 8A and 8B are exemplary views each showing examples of valid marks and invalid marks in the marks constituting the mark surface;
  • FIG. 9 is a reference view showing a mark surface designed for easy mark reading according to an embodiment of the present invention.
  • FIG. 10 is a reference diagram illustrating an interval between marks on a mark surface according to an exemplary embodiment of the present disclosure
  • FIG. 11 is a flowchart illustrating a user interface manipulation method using an input device according to an embodiment of the present invention.
  • FIG. 1 is a configuration diagram of a direction input device (hereinafter, referred to as an "input device") 1 according to an embodiment of the present invention.
  • the input device 1 is a pointing device that enables a user operation on an object displayed on the screen of the electronic device.
  • the display object includes a mouse pointer displayed on the screen.
  • the input device 1 may be in a portable form, may be separated from the electronic apparatus, or may be embedded in the portable electronic apparatus.
  • the electronic device may receive input size, direction, speed, and distance information, which are input parameters, from the input device 1 and change the direction or position of the display object on the screen.
  • the electronic device includes all devices having a display function, and may be, for example, various computers, personal digital assistants (PDAs), portable electronic devices, wireless communication devices, cellular phones, cellular smartphones, and notebook computers.
  • PDAs personal digital assistants
  • the input device 1 includes a pad portion 10 and an optical portion 12, and the pad portion 10 includes a pad 100 and a mark surface 100a, and includes an optical portion ( 12 includes a light source 120 and a sensor 122.
  • Optical connection herein means any connection that allows light to reach a given object using only air through a light guide member or medium, a physical channel or a combination thereof.
  • the light source 120 emits light, which may include, for example, visible light, non-visible light, or both.
  • One example of non-visible light is infrared light.
  • the light source 120 may be in the form of a light emitting diode (LED).
  • LED light emitting diode
  • Light emitted from the light source 120 reaches the pad 100, some of which may be reflected.
  • the sensor 122 at the fixed position separated from the pad 100 at the bottom of the pad 100 moved by an input object such as a user's fingertip or a palm is reflected from the mark surface 100a of the pad 100. Can receive light.
  • the pad 100 has a mark surface 100a formed of marks having different codes for each mark.
  • different codes are printed on the mark surface 100a for each mark having a size such as 3x3 mark or 4x4.
  • the code may be, for example, similar to a two-dimensional barcode. Since each mark has a different code, the sensor 122 may know the position of the current mark on the mark surface 100a by reading only the code of a specific mark, and use the relative mark between the current mark surface and the optical unit 12 by using the same. I can figure out the location.
  • the code formed on the mark surface 100a may be printed in a predetermined narrow area through semiconductor processing equipment or the like.
  • the size of the mark is related to the resolution of the camera. If the resolution is high, precise control is possible even if the mark size is large or small.
  • An embodiment of the shape of the mark surface 100a composed of marks having different codes from each other will be described later with reference to FIGS. 7 to 10.
  • the mark surface 100a of the pad 100 moves by the user input and the optical unit 12 is fixed. At this time, the mark surface 100a moves in the opposite direction to the optical unit 12 according to a force applied to the pad 100 by a user input such as a user's fingertip or a palm.
  • the mark surface 100a may be fixed and the optical unit 12 may be moved to have the opposite structure. At this time, the optical unit 12 moves in a relatively opposite direction to the mark surface 100a according to a force applied to a user input such as a user's fingertip or a palm.
  • the light received from the light source 120 is reflected to the sensor 122 through a predetermined mark among the marks on the mark surface 100a. If the input is controlled according to the finger touch movement without the mark surface 100a, the input may not be precise and the input may be discontinuous due to finger friction. Also, if the moving distance is large, the touch must be repeated with a finger. However, when the mark surface 100a is used as in the present invention, the current relative position of the mark surface 100a can be determined, so that the input amount of the mark surface 100a relatively moved relative to the optical unit 12 can be accurately determined. Can be recognized and the mark surface 100a can be controlled to continue to move in the same direction at the same speed as the vector size relatively moved in the specific direction.
  • the sensor 122 detects light reflected from the mark surface 100a of the pad 100.
  • the sensor 122 detects light reflected from a predetermined mark on the mark surface 100a and converts the light into an electrical signal in the form of an image.
  • the sensor 122 may be in the form of an image sensor or a camera.
  • a lens may be further included between the light source 120 and the pad 100 and between the pad 100 and the sensor 122.
  • the lens between the light source 120 and the pad 100 collects the light generated from the light source 120, and the lens between the pad 100 and the sensor 122 collects the light reflected from the pad 100. It serves as a delivery to (122).
  • FIG 2 is an external view of an input device 1a according to an embodiment of the present invention.
  • the input device 1 includes a pad unit 10 including a pad 100 having a mark surface, and an optical unit including a light source 120, a sensor 122, and lenses 130 and 140. 12) and a connecting portion 14.
  • the input device 1a may also be manufactured in a portable form.
  • a portable form for example, as shown in Figure 2 may be manufactured in the form of a rod, such as a ballpoint pen.
  • the input device (1a) has a ballpoint pen shape, but this is only an embodiment for helping the understanding of the present invention can be changed in various forms.
  • the pad part 10 and the optical part 12 are configured to be movable up, down, left, and right relative to each other in a state in which movement in one direction is fixed, and are physically connected as one.
  • the light source 120 and the sensor 122 of the optical unit 12 are fixed to the mark surface 100a direction of the pad unit 10, and the pad surface 100 mark surface of the pad unit 10 is fixed. It may have a structure that is directed to the optical unit 12 and can move in accordance with the user input.
  • the pad part 10 may be fixed and the optical part 12 may be moved.
  • connection part 14 connecting the pad part 10 and the optical part 12 may be, for example, shaped like a connection member of a joystick or a button.
  • the connecting portion 14 may be a structure having two axes to move up, down, left and right, or may be a structure capable of moving on a plane.
  • the pad part 10 may be in the form of a button or a capsule.
  • the pad part 10 may be manufactured to be movable in a predetermined direction such as up, down, left and right, or may be manufactured to be freely rotatable regardless of a specific direction.
  • the pad portion 10 has a housing having an outer surface that allows user contact as shown in FIG. 2. Then, the pad 100 is included in the housing.
  • the pad 100 has a mark surface 100a composed of marks having different codes for each mark in the direction of the optical portion 12.
  • the mark surface 100a of the pad 100 reflects the light received through the predetermined mark on the mark surface 100a moving in the same direction or in the opposite direction to the force applied according to the user's contact to the sensor 122.
  • the relative position of the mark surface 100a as well as the direction in which the mark surface 100a is relatively moved is determined.
  • a vector input such as a mouse can be generated by calculating how much movement occurred in which direction the mark surface 100a is moved from the center position at the time of user input.
  • the direction in which the image is moved can be measured, and the movement is not natural due to friction, whereas the direction of movement like a joystick is used by using the pad portion 10 on which the mark is printed.
  • the relative position and distance from the origin can be calculated precisely, and the user input is also natural.
  • FIG 3 is an external view of an input device 1b according to another embodiment of the present invention.
  • the difference between the input device 1b of FIG. 3 and the input device 1a of FIG. 1 is that the input device 1b of FIG. 3 does not have the mark surface 100a positioned at the upper end of the connection part 14, but rather, the connection part 14 is connected. Is located at the bottom of the.
  • the mark surface 100a is formed at the bottom of the connecting portion 14 serving as an axis. In this case, there is no obstacle that obstructs the image acquisition of the sensor 122, and the pad part 10 is easily moved.
  • the connecting portion 14 may be a structure having two axes to move up, down, left and right, or may be a structure capable of moving on a plane.
  • the input device 1b includes a restoration unit 16.
  • the restoration unit 16 may be formed between the pad 100 and the connection unit 14 of the pad unit 10.
  • the restoration unit 16 functions to restore the relative positions of the pad unit 10 and the optical unit 12 to the origin when no user force is applied, and may be, for example, a spring or the like.
  • the origin is preferably the center of the mark surface, it may be difficult to adjust the center to a perfect center according to the play of the restoration unit 16, etc., so that the position in the state where the user's force is not applied can be reset to the origin. This allows the relative position to always be restored to the origin unless the user exerts a force.
  • 4A to 4C are external views of the input device 1c according to another embodiment of the present invention.
  • the input device 1c may be in the form of a mouse.
  • 4A illustrates a top view of the input device 1c
  • FIGS. 4B and 4C illustrate side views of the input device 1c according to various embodiments.
  • the pad part 10 may include an additional button on an upper surface thereof. That is, like the mouse, the left and right buttons may be added to the upper surface of the pad unit 10.
  • the pad portion 10 itself may be designed to be a clickable button.
  • the optical unit 12 is formed at the lower end of the mark surface 100a of the pad unit 10 and the optical unit 12 is fixed, so that the pad unit 10 is in accordance with a user input. Can be moved.
  • the pad unit 10 may include a left and right buttons for performing a user's click operation, or the pad unit 10 may be in the form of a clickable button.
  • the optical unit 12 is formed on the mark surface 100a of the pad unit 10 and the pad unit 10 is fixed so that the optical unit 12 moves according to a user input. Can be.
  • 5A and 5B are external views of the pad part 10 of the input device 1 according to various embodiments of the present disclosure.
  • the pad part 10 may be a joystick type having a convex outer surface as shown in FIG. 5A, and a button type having a concave outer surface as shown in FIG. 5B.
  • a button type the user input may be started when there is a press, and the user input may be stopped when the mark surface is released or the mark surface moves to the origin.
  • the button press can be set up to determine the input like a mouse click button, or it can be made as a two-stage button to perform two functions: the input start / end signal and the mouse button.
  • FIG. 6 is a diagram illustrating an internal structure of the input device 1 including the processor 150 according to an embodiment of the present invention.
  • the input device 1 includes a pad 100, a light source 120, a sensor 122, and a processor 150.
  • the processor 150 controls light irradiation of the light source 120. Then, by analyzing the image signal obtained through the sensor 122 to calculate the mark position of the mark surface of the pad 100 is the light reflection is calculated to calculate the current relative position of the pad 100. Then, the movement speed is calculated from the difference between the relative position of the pad 100 and the current relative position of the pad 100 obtained previously, and the time required for the movement between the two positions. Then, input parameters including the input size, velocity and direction vector are determined using the calculated relative position and movement speed.
  • the processor 150 calculates an input vector value by using a mark surface of the pad 100 relatively moved by a user input. As the mark position of the pad 100 is farther from the origin, the mouse moves faster. You can generate the same input continuously as you move it, and the closer the mark position is to the origin, the same input as you slowly move the mouse in the direction of the vector. In other words, even if the user does not repeat the operation of moving or listening and then releasing to increase the moving distance like a mouse, the user can continue to input in the corresponding direction by moving in one direction like the joystick.
  • the difference between the input device 1 and the joystick of the present invention is that the magnitude of the vector value and the moving speed can be precisely controlled according to the position.
  • the joystick can also be input using a size moved by a pressure sensor or a pressure sensor, but less accurate than the configuration using the optical characteristics of the present invention.
  • the size of the input speed or the direction vector may be determined according to the speed at which the mark surface moves after the previous image (coordinate value is changed). That is, an input vector (eg, mouse movement speed) in the corresponding direction may be calculated from a function of moving from the origin to the current mark plane coordinates and a distance from the origin of the current mark plane.
  • the difference between the input device 1 and the touch pad of the present invention is that, unlike the touch pad, the input device 1 can be precisely reacted according to the strength of the input signal without being disturbed by finger friction or touched static electricity.
  • FIG. 7 is an exemplary view showing a mark surface of the pad portion 10 according to an embodiment of the present invention
  • FIGS. 8A and 8B show examples of an effective mark and an invalid mark in marks constituting the mark surface, respectively. Illustrated illustration.
  • the mark surface 100a may be designed as 3 ⁇ 3 marks according to an exemplary embodiment. As shown in FIG. 7, marks having different patterns from each other may be arranged on the mark surface 100a, but the marks may be aligned in a line in left, right, up and down.
  • the mark pattern is designed such that there are no empty cells in the x and y direction projections of the mark. That is, in the cells constituting one mark of the mark surface, the cells are coded so that no row or column is empty for each row and column. Empty here means that if the code has a binary value, it has a value of '0'.
  • the number of codes that can be generated is 32 in consideration of this restriction. That is, in the case of using binary code, 128 code patterns are possible as 2 9 , but as one or more rows or columns are empty as shown in FIG. 8B, the number of possible patterns is 32. That is, a mark pattern as shown in FIG. 8A is designed, but at least one row or column as shown in FIG. 8B is designed so that there are no marks with empty spaces.
  • the effective mark position is an area in which the projections in the x and y-axis directions are not empty for three consecutive times, and the mark can be easily read in the found area.
  • the mark uses a binary value in the present description
  • more precise code design is possible by using a brightness value or a color value.
  • Brightness values can be used as absolute values, but you can use relative differences or define only a few levels within a mark.
  • FIG. 9 is a reference diagram illustrating a mark surface designed for easy mark reading according to an exemplary embodiment of the present invention
  • FIG. 10 is a reference diagram illustrating an interval between marks.
  • the mark surface 100a is designed such that the sensor 122 receives light from at least one or more marks upon receiving light reflected from the mark surface 100a.
  • each mark has a size of 3 ⁇ 3, and the distance between the mark and the mark is set to 2 cells, the sensor 122 is designed to have a size of 7 ⁇ 7 or more, as shown by reference numeral 510.
  • the area indicated by the hatch corresponding to the reference numeral 500 of FIG. 9 becomes a range in which the center coordinate of the sensor 122 is movable, that is, a measurable movement range.
  • the resolution of the sensor 122 having a 7 ⁇ 7 size should be designed.
  • the input precision is smaller than this, various changes such as reducing the mark size are possible.
  • FIG. 11 is a flowchart illustrating a method of operating a user interface using the input apparatus 1 according to an exemplary embodiment.
  • the input device 1 receives light generated by the pad 100 from the light source 120 (800). Subsequently, when a user input occurs, the mark surface and the optical portion of the pad 100 move in a relative direction according to the direction of the force applied to the user input to reflect the light received from the light source at a predetermined mark on the mark surface ( 810). In operation 820, the sensor 122 detects light reflected from a predetermined mark on the mark surface and converts the light into an image signal.
  • the processor 150 analyzes the image signal converted by the sensor 122 to determine an input parameter including the size, direction, speed, and distance information of the user input (830).
  • the processor 150 analyzes an image signal acquired through the sensor 122 to calculate a mark position of the pad 100 on which the light is reflected and calculates a current relative position of the pad 100.
  • the movement speed is calculated from the difference between the relative position of the pad 100 previously obtained and the current relative position of the pad 100 and the time required for the movement between the two positions.
  • the input size, the speed, and the direction vector are determined using the calculated relative position and the moving speed.
  • the user input is started when the mark surface is pressed, and the user input is stopped when the mark surface is released or the mark surface is moved to the origin after the process described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Position Input By Displaying (AREA)

Abstract

방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법이 개시된다. 본 발명의 일 실시 예에 따른 방향 입력장치는 각 마크 별로 서로 상이한 코드를 갖는 마크들로 구성된 마크 면을 일면에 포함하거나 마크 면과 일체로 형성되는 패드부와, 패드부의 마크 면 방향으로 패드부와 물리적으로 연결되고, 광원을 통해 광을 패드의 마크 면에 조사하고 사용자 힘이 가해지면 센서를 통해 마크 면에 있는 소정의 마크로부터 반사된 광을 감지하여 이를 영상신호로 변환하는 광학부와, 패드부 와 광학부를 연결하는 연결부를 포함한다.

Description

방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법
본 발명은 입력장치에 관한 것으로, 보다 상세하게는 방향 입력 장치에 관한 것이다.
입력장치를 이용하여 전자기기의 화면에 디스플레이되는 객체에 대한 사용자 조작이 가능하다. 예를 들어, 화면에 디스플레이되는 마우스 포인터의 위치나 방향을 변화시킬 수 있다. 이러한 입력장치의 예로 마우스, 조이스틱, 트랙볼, 터치패드, 트랙패드 등이 있다. 그 중 마우스가 가장 범용적으로 사용되고 있다. 마우스의 단점 중 하나는 반드시 마우스를 올려놓을 바닥면이 필요하다는 것이다. 따라서 모바일 환경에서는 마우스를 사용하기 어렵다. 또한 마우스는 넓은 바닥면이 필요하기 때문에 좁은 책상 등에서는 사용이 불편하여 마우스가 움직이기에 충분한 정도의 최소한의 작업 공간이 있어야 한다.
모바일 환경에서 주로 사용되는 입력장치는 터치패드와 트랙패드 등이 있다. 이 두 장치는 편리한 면도 있지만, 사용자가 의도하지 않은 터치로 인해 오 입력이 발생하고, 터치하더라도 정전기의 발생 정도가 달라서 입력이 잘 감지되지 않는 경우도 발생한다. 이러한 이유로 그림이나 도형을 그리는 작업을 하는 사람들은 터치를 이용하는 경우에 섬세한 작업이나 정밀 제어를 하기 어려우므로 터치보다는 마우스를 선호하는 경우가 많다.
조이스틱이나 트랙볼의 경우에는 방향을 입력하기는 비교적 수월하나 이동 거리를 제어하기가 불편해서 터치와 마찬가지로 그림을 그린다거나 CAD 작업 등의 정밀작업을 하는 데는 적합하지 않다. 이러한 기계적인 방식의 입력은 단순히 방향만을 제어하기에는 용이하나 섬세한 입력이나 제어를 하는 데는 미흡하다. 조이스틱 등은 주로 신속하게 방향을 선택해야 하는 게임 영역에서의 입력장치로 사용되는 경우가 많다.
기존 장치들 중 조이스틱 등은 기계식 동작이나 단순한 센서를 사용하여 섬세한 입력이 어려우며, 마우스 등은 평평한 바닥이 필요하거나 이동거리를 늘리기 위해서는 마우스를 들었다가 다시 놓는 작업을 반복해야 하는 불편함이 있고, 트랙패드 등은 손가락의 마찰 정도가 달라서 정밀한 움직임으로 제어하기가 어렵다.
일 실시 예에 따라, 방향이나 거리 입력과 제어를 위해서 마우스와 같이 바닥면이 필요한 장치가 아니면서 동시에 손가락 마찰이나 터치된 정전기 등에 방해받지도 않으며, 입력신호의 세기에 따라 정밀하게 반응할 수 있는 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법을 제안한다.
일 실시 예에 따른 방향 입력장치는, 각 마크 별로 서로 상이한 코드를 갖는 마크들로 구성된 마크 면을 일면에 포함하거나 마크 면과 일체로 형성되는 패드부와, 패드부의 마크 면 방향으로 패드부와 물리적으로 연결되고, 광원을 통해 광을 패드의 마크 면에 조사하고 사용자 힘이 가해지면 센서를 통해 마크 면에 있는 소정의 마크로부터 반사된 광을 감지하여 이를 영상신호로 변환하는 광학부와, 패드부 와 광학부를 연결하는 연결부를 포함한다.
다른 실시 예에 따른 방향 입력장치를 이용한 사용자 인터페이스 조작 방법은, 패드부의 패드가 광원으로부터 생성된 광을 수신하는 단계와, 사용자 힘이 가해지면 사용자 힘의 방향에 따라 패드의 마크 면과 광학부가 상대적인 방향으로 이동하여 마크 면의 소정의 마크에서 광원으로터 수신된 광을 반사하는 단계와, 센서가 마크 면의 소정의 마크로부터 반사된 광을 감지하여 이를 영상신호로 변환하는 단계와, 프로세서가 센서를 통해 변환된 영상신호를 분석하여 사용자 입력의 크기와 방향, 속도 및 거리정보를 결정하는 단계를 포함한다.
일 실시 예에 따르면, 휴대가 가능하고 사용이 편리하다. 즉, 마우스와 같이 마우스를 지지하기 위한 바닥이 필요가 없고, 패드부와 광학부가 하나의 일체형으로 구성되어 3차원 공간에서 사용자가 휴대하면서 사용할 수 있다.
나아가, 정밀한 입력이 가능하다. 즉, 터치패드와 같이 손가락 마찰이나 터치된 정전기 등에 방해받지도 않으며, 입력신호의 세기에 따라 정밀하게 반응할 수 있다.
더 나아가 입력 장치 및 공간의 소형화가 가능하다. 마우스는 작게 만들더라도 움직일 수 있는 공간이 필요하기 때문에 일정 면적 이상의 공간이 있어야 하지만, 본 발명을 이용하면 소형 방향입력장치의 제작이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 방향 입력장치의 구성도,
도 2는 본 발명의 일 실시 예에 따른 입력장치의 외관도,
도 3은 본 발명의 다른 실시 예에 따른 입력장치의 외관도,
도 4a 내지 도 4c는 본 발명의 또 다른 실시 예에 따른 입력장치의 외관도,
도 5a 및 도 5b는 본 발명의 다양한 실시 예에 따른 입력장치의 패드부의 외관도,
도 6은 본 발명의 일 실시 예에 따라 프로세서를 포함하는 입력장치의 내부 구조도,
도 7은 본 발명의 일 실시 예에 따른 패드부의 마크 면을 도시한 예시도,
도 8a 및 도 8b는 마크 면을 구성하는 마크에 있어서 유효한 마크와 무효한 마크의 예를 각각 도시한 예시도,
도 9는 본 발명의 일 실시 예에 따라 마크 판독이 용이하게 디자인한 마크 면을 도시한 참조도,
도 10은 본 발명의 일 실시 예에 따라 마크 면의 각 마크 간 간격을 도시한 참조도,
도 11은 본 발명의 일 실시 예에 따라 입력장치를 이용한 사용자 인터페이스 조작 방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 방향 입력장치(이하 '입력장치'라 칭함)(1)의 구성도이다.
입력장치(1)는 전자장치의 화면에 디스플레이되는 객체에 대한 사용자 조작을 가능하게 하는 포인팅 장치이다. 디스플레이 객체는 화면에 디스플레이되는 마우스 포인터를 포함한다. 입력장치(1)는 휴대 가능한 형태일 수 있으며, 전자장치와는 별도로 분리된 형태이거나 휴대 가능한 전자장치에 내장된 형태일 수 있다. 전자장치는 입력장치(1)로부터 입력 파라미터인 입력 크기와 방향, 속도 및 거리정보를 입력받아, 화면에서 디스플레이 객체의 방향이나 위치를 변화시킬 수 있다. 전자장치는 디스플레이 기능을 갖는 모든 장치를 포함하는데, 예를 들어 각종 컴퓨터, 개인용 휴대 정보 단말기(PDA), 휴대용 전자기기, 무선통신 기기, 휴대폰, 셀 방식의 스마트폰, 노트북 컴퓨터 등일 수 있다.
도 1을 참조하면, 입력장치(1)는 패드부(10)와 광학부(12)를 포함하고, 패드부(10)는 패드(100)와 마크 면(100a)을 포함하며, 광학부(12)는 광원(120)과 센서(122)를 포함한다.
패드(100)와 광원(120) 및 센서(122)는 광학적으로 연결된다. 여기서 광학적 연결은, 광(light)이 광 가이드 부재나 매체, 물리 채널 또는 이들의 결합형태를 통해 단지 공기를 사용하여 소정의 대상에 도달하도록 허용하는 임의의 연결을 의미한다.
광원(120)은 광을 방출하는데, 방출하는 광은 예를 들어, 가시 광선, 비 가시광선 또는 양쪽 모두를 포함할 수 있다. 비 가시광선의 일 예는 적외선 광이다. 광원(120)은 발광 다이오드(LED) 형태일 수 있다. 광원(120)에서 방출된 광은 패드(100)에 도달하고 그 중 일부는 반사될 수 있다. 이때, 사용자의 손가락 끝이나 손바닥 등의 입력 물체에 의해 움직이는 패드(100) 하단에서 패드(100)와는 분리 고정된 위치에 있는 센서(122)가 패드(100)의 마크 면(100a)으로부터 반사된 광을 수신할 수 있다.
패드(100)는 도 1에 도시된 바와 같이 하부에 각 마크 별로 서로 상이한 코드를 갖는 마크들로 구성된 마크 면(100a)이 형성된다. 예를 들어, 마크 면(100a)에 3×3 마크 또는 4×4 등의 크기를 갖는 각 마크 별로 서로 상이한 코드가 인쇄된다. 이때 코드는 예를 들어 이차원 바코드와 유사한 형태일 수 있다. 각 마크 별로 서로 상이한 코드를 가지므로, 센서(122)는 특정 마크의 코드만 판독하면 마크 면(100a)에서 현재 마크의 위치를 알 수 있고 이를 이용해서 현재 마크 면과 광학부(12)의 상대적인 위치를 파악할 수 있다. 마크 면(100a)에 형성되는 코드는 반도체 공정 장비 등을 통해 소정의 좁은 영역에 인쇄될 수 있다. 즉, 약간의 움직임에도 정밀하게 반응할 수 있도록 하기 위해 매우 좁은 영역에 인쇄된다. 물론 마크의 크기는 카메라의 해상도와 연관성이 있다. 해상도가 높으면 마크의 크기가 크거나 개수가 작아도 정밀한 제어가 가능하도록 할 수 있다. 서로 상이한 코드를 갖는 마크들로 구성된 마크 면(100a)의 형태에 대한 실시 예는 도 7 내지 도 10에서 후술한다.
일 실시 예에 따라, 패드(100)의 마크 면(100a)은 사용자 입력에 의해 자체가 움직이고 광학부(12)가 고정된다. 이때, 마크 면(100a)은 패드(100)에 사용자의 손가락 끝이나 손바닥 등의 사용자 입력으로 가해지는 힘에 따라 광학부(12)와는 상대적으로 반대 방향으로 이동한다. 다른 실시 예에 따라, 마크 면(100a)이 고정되고 광학부(12)가 이동되는 반대의 구조로 제작될 수 있다. 이때, 광학부(12)는 사용자의 손가락 끝이나 손바닥 등의 사용자 입력으로 가해지는 힘에 따라 마크 면(100a)과는 상대적으로 반대 방향으로 이동한다.
사용자 입력이 발생하면 마크 면(100a)의 마크들 중에 소정의 마크를 통해 광원(120)으로부터 수신된 광을 센서(122)로 반사한다. 마크 면(100a) 없이 손가락 터치 움직임에 따라 입력을 제어하면 입력이 정밀하지 못하고 손가락 마찰에 의해 입력이 불연속적일 수 있다. 또한 이동 거리가 큰 경우 손가락으로 터치를 반복해야 한다. 그러나, 본 발명과 같이 마크 면(100a)을 이용하면 마크 면(100a)의 현재 상대적 위치를 판별할 수 있으므로 정확하게 마크 면(100a)이 광학부(12)를 기준으로 상대적으로 이동한 만큼의 입력을 인식할 수 있고 마크면(100a)이 특정 방향으로 상대적으로 이동한 벡터 크기만큼의 속도로 동일 방향으로 계속 움직이도록 제어할 수도 있기 때문에 반복 터치를 하지 않아도 된다.
센서(122)는 패드(100)의 마크 면(100a)으로부터 반사된 광을 감지하는데, 마크 면(100a)에 있는 소정의 마크로부터 반사된 광을 감지하여 이를 이미지 형태의 전기신호로 변환한다. 센서(122)는 영상센서 또는 카메라 형태일 수도 있다.
본 발명의 추가 실시 예에 따르면, 광원(120)과 패드(100) 사이, 패드(100)와 센서(122) 사이에 렌즈를 더 포함할 수 있다. 광원(120)과 패드(100) 사이의 렌즈는 광원(120)에서 발생한 광을 모으는 역할을 하고, 패드(100)와 센서(122) 사이의 렌즈는 패드(100)에서 반사된 광을 모아 센서(122)로 전달하는 역할을 한다.
도 2는 본 발명의 일 실시 예에 따른 입력장치(1a)의 외관도이다.
도 2를 참조하면, 입력장치(1)는 마크 면을 갖는 패드(100)를 포함하는 패드부(10)와, 광원(120)과 센서(122) 및 렌즈(130,140)를 포함하는 광학부(12)와, 연결부(14)로 구성된다.
입력장치(1a)는 휴대 가능한 형태로도 제작될 수 있다. 예를 들어 도 2에 도시된 바와 같이 볼펜 형태와 같이 막대 형으로도 제작될 수 있다. 이 경우, 마크 면(100a)이 하단에 형성된 패드부(10)에 사용자 입력이 가해지면, 예를 들어 패드(100)가 중심 위치에서 상하좌우로 이동하거나 눌림이 가해질 경우 입력 프로세스를 시작할 수 있다. 한편, 도 2에서는 입력장치(1a)가 볼펜 형태를 갖지만, 이는 본 발명의 이해를 돕기 위한 일 실시 예일 뿐 다양한 형태로 변경될 수 있음은 물론이다.
패드부(10)와 광학부(12)는 도 2에 도시된 바와 같이 한 방향의 움직임이 고정된 상태에서 상호 상대적으로 상하좌우 이동 가능하도록 구성되고 물리적으로는 하나로 연결된 일체형이다. 이때, 광학부(12)의 광원(120)과 센서(122)가 패드부(10)의 마크 면(100a) 방향에 고정되고, 패드부(10)의 패드(100) 마크 면(100a)이 광학부(12)로 향하며 사용자 입력에 따라 움직일 수 있는 구조를 갖을 수 있다. 혹은 반대로 패드부(10)가 고정되고 광학부(12)가 움직일 수 있는 구조를 가질 수도 있다.
패드부(10)와 광학부(12)를 연결하는 연결부(14)는 예를 들어 조이스틱이나 버튼의 연결부재와 같은 형태일 수 있다. 연결부(14)는 상하좌우 움직임이 가능하도록 두 개의 축이 있는 구조가 될 수도 있고 평면상에서의 움직임이 가능한 구조가 될 수도 있다.
일 실시 예에 따르면 패드부(10)는 버튼 형태이거나 캡슐 형태일 수 있다. 패드부(10)는 상하좌우 등 소정의 방향으로 이동 가능하도록 제작될 수 있고, 또는 특정 방향과 상관없이 자유자재로 회전 가능하도록 제작될 수도 있다.
패드부(10)는 도 2에 도시된 바와 같이 사용자 접촉이 가능한 외부 표면을 가진 하우징을 갖는다. 그리고, 하우징 내부에 패드(100)를 포함한다. 패드(100)는 광학부(12) 방향으로 각 마크 별로 서로 상이한 코드를 갖는 마크들로 구성된 마크 면(100a)을 갖는다. 패드(100)의 마크 면(100a)은 사용자 접촉에 따라 가해지는 힘과 동일 방향 혹은 역방향으로 이동하는 마크 면(100a)의 소정의 마크를 통해 수신된 광을 센서(122)로 반사한다.
패드부(10)의 일면에 형성된 마크 면(100a) 혹은 광학부(12)가 움직이는 형태를 가짐에 따라, 마크 면(100a)이 상대적으로 움직인 방향뿐만 아니라 마크 면(100a)의 상대위치를 계산할 수 있다. 즉, 사용자 입력 시에 마크 면(100a)이 중심 위치에서 어떤 방향으로 얼마나 움직임이 발생했는지를 계산함으로써 마우스와 같은 벡터 입력을 발생시킬 수 있다. 손가락 터치만으로는 이전 영상과 다음 영상을 비교해서 영상이 움직인 방향만 측정 가능하고 그것도 마찰로 인해 움직임이 자연스럽지 않은데 비하여, 마크가 인쇄된 패드부(10)를 사용함에 따라, 조이스틱처럼 움직인 방향을 알 수 있을 뿐 아니라 원점으로부터의 상대 위치와 거리를 정밀하게 계산할 수 있고, 사용자 입력 또한 자연스럽게 된다.
도 3은 본 발명의 다른 실시 예에 따른 입력장치(1b)의 외관도이다.
도 3의 입력장치(1b)와 도 1의 입력장치(1a)와의 차이점은 도 3의 입력장치(1b)는 마크 면(100a)이 연결부(14)의 상단에 위치하는 것이 아니라, 연결부(14)의 하단에 위치한다는 점이다. 예를 들어, 도 3에 도시된 바와 같이, 축 역할을 하는 연결부(14) 하단에 마크 면(100a)이 형성된다. 이 경우, 센서(122)의 이미지 획득에 방해가 되는 장애물이 없어지고, 패드부(10)의 이동이 용이해진다. 연결부(14)는 상하좌우 움직임이 가능하도록 두 개의 축이 있는 구조가 될 수도 있고, 평면상에서의 움직임이 가능한 구조가 될 수도 있다.
본 발명의 추가 실시 예에 따라, 입력장치(1b)는 복원부(16)를 포함한다. 복원부(16)는 패드부(10)의 패드(100)와 연결부(14) 사이에 형성될 수 있다. 복원부(16)는 사용자의 힘이 가해지지 않은 경우에는 패드부(10)와 광학부(12)의 상대적 위치가 원점으로 복원될 수 있도록 하는 기능을 하며, 예를 들어 스프링 등일 수 있다. 원점은 마크 면의 중앙이 바람직하나 복원부(16)의 유격 등에 따라 완전한 중앙으로 조정하기 어려울 수 있으므로, 사용자의 힘이 가해지지 않은 상태에서의 위치를 원점으로 재설정하도록 할 수 있다. 이렇게 함으로써 사용자가 힘을 가하지 않으면 상대위치는 항상 원점으로 복원될 수 있도록 할 수 있다.
도 4a 내지 도 4c는 본 발명의 또 다른 실시 예에 따른 입력장치(1c)의 외관도이다.
도 4a 내지 도 4c를 참조하면, 입력장치(1c)는 마우스 형태일 수 있다. 도 4a는 입력장치(1c)의 상부 모습을 도시한 것이고, 도 4b와 도 4c는 다양한 실시 예에 따른 입력장치(1c)의 측면 모습을 도시한 것이다.
도 4a에 도시된 바와 같이, 패드부(10)는 그 상면에 추가적인 버튼을 포함할 수 있다. 즉, 마우스와 마찬가지로 패드부(10) 상면에 좌우 버튼을 추가하도록 할 수도 있다. 혹은 패드부(10) 자체가 클릭이 가능한 버튼이 되도록 디자인할 수도 있다.
한편, 도 4b에 도시된 바와 같이, 광학부(12)는 패드부(10)의 마크 면(100a) 하단에 형성되고 광학부(12)가 고정되어, 패드부(10)가 사용자 입력에 따라 이동될 수 있다. 이 경우, 패드부(10) 상부에 사용자의 클릭 동작 수행을 위한 좌우 버튼을 포함하거나, 패드부(10) 자체가 클릭 가능한 버튼 형태일 수 있다. 또는 도 4c에 도시된 바와 같이, 광학부(12)는 패드부(10)의 마크 면(100a) 상단에 형성되고 패드부(10)가 고정되어, 광학부(12)가 사용자 입력에 따라 이동될 수 있다.
도 5a 및 도 5b는 본 발명의 다양한 실시 예에 따른 입력장치(1)의 패드부(10)의 외관도이다.
일 실시 예에 따르면, 패드부(10)는 도 5a에 도시된 바와 같이 외부 표면이 볼록한 조이스틱형일 수 있고, 도 5b에 도시된 바와 같이 외부 표면이 오목한 버튼형일 수 있다. 버튼형일 경우, 눌림이 있는 경우 사용자 입력을 시작하고, 마크 면의 눌림이 해제되거나 마크 면이 원점으로 이동하면 사용자 입력을 중단하도록 할 수 있다. 버튼의 눌림은 마우스의 클릭 버튼과 같이 입력을 결정하는 기능을 하도록 설정할 수도 있고 입력 시작/끝 신호와 마우스 버튼의 두 가지 기능을 할 수 있도록 2단 버튼으로 만들 수도 있다.
도 6은 본 발명의 일 실시 예에 따라 프로세서(150)를 포함하는 입력장치(1)의 내부 구조도이다.
도 6을 참조하면, 입력장치(1)는 패드(100), 광원(120), 센서(122) 및 프로세서(150)를 포함한다.
패드(100), 광원(120) 및 센서(122)의 구성은 전술한 도면을 참조로 설명하였으므로, 프로세서(150)를 중심으로 후술한다.
프로세서(150)는 광원(120)의 광 조사를 제어한다. 그리고, 센서(122)를 통해 획득한 영상신호를 분석하여 광 반사가 이루어진 패드(100)의 마크 면의 마크 위치를 계산하여 패드(100)의 현재 상대위치를 계산한다. 그리고, 이전에 획득한 패드(100)의 상대위치와 패드(100)의 현재 상대위치의 차이와, 두 위치 간의 이동에 소요된 시간으로부터 이동속도를 계산한다. 이어서, 계산된 상대위치와 이동속도를 이용하여 입력크기와 속도 및 방향 벡터를 포함한 입력 파라미터들을 결정한다.
프로세서(150)가 사용자 입력에 의해 상대적으로 움직인 패드(100)의 마크 면을 이용하여 입력 벡터값을 계산하는 방법은, 패드(100)의 마크 위치가 원점에서 멀리 떨어져 있을수록 마우스를 빠른 속도로 움직이는 것과 동일한 입력을 지속적으로 발생시킬 수 있고, 마크 위치가 원점에서 가까울수록 마우스를 해당 벡터 방향으로 천천히 움직인 것과 동일한 입력을 발생시킬 수 있다. 즉, 마우스와 같이 이동거리를 늘리기 위해서 계속 움직이거나 들었다가 다시 놓는 작업을 반복하지 않더라도 조이스틱처럼 한쪽 방향으로 이동하는 동작을 통해 계속 해당 방향으로 입력되도록 할 수 있다.
본 발명의 입력장치(1)와 조이스틱과의 차이는, 위치에 따라서 벡터값의 크기나 움직이는 속도를 정밀하게 제어할 수 있다는 점이다. 조이스틱에서도 움직인 크기나 압력센서를 이용해서 크기를 입력할 수 있으나, 본 발명의 광 특성을 이용하는 구성에 비해서 정밀도가 떨어진다. 또한, 마크 면이 직전 영상 이후로 움직인(좌표값이 변경된) 속도에 따라서 입력속도나 방향 벡터의 크기를 결정할 수 있다. 즉, 원점에서 현재의 마크 면 좌표로 이동한 속도와 현재의 마크 면이 원점으로부터 떨어진 거리에 대한 함수값으로부터 해당 방향으로의 입력 벡터(예: 마우스 이동 속도)를 계산할 수 있다.
본 발명의 입력장치(1)와 터치 패드와의 차이는, 터치 패드와 달리 손가락 마찰이나 터치된 정전기에 방해받지 않으면서, 입력 신호의 세기에 따라 정밀하게 반응할 수 있다는 데에 있다.
도 7은 본 발명의 일 실시 예에 따른 패드부(10)의 마크 면을 도시한 예시도이고, 도 8a 및 도 8b는 마크 면을 구성하는 마크에 있어서 유효한 마크와 무효한 마크의 예를 각각 도시한 예시도이다.
도 7을 참조하면, 일 실시예에 따라 마크 면(100a)을 3×3 마크들로 설계할 수 있다. 도 7에 도시된 바와 같이, 서로 패턴이 다른 마크를 마크 면(100a)에 배치하되 마크를 좌우 상하로 일렬로 정렬할 수 있다.
이때, 도 8a에 도시된 바와 같이 마크의 x, y 방향 프로젝션에서 비어 있는 셀이 없도록 마크 패턴을 설계한다. 즉, 마크 면의 하나의 마크를 구성하는 셀들에 있어서 각 행과 열 별로 모두 비워진 행이나 열이 없도록 코드화된다. 여기서 비워짐은 코드가 이진 값을 갖는 경우 '0'의 값을 갖는 것을 의미한다. 3×3 마크의 경우 이런 제약을 감안하면 생성 가능한 코드의 개수는 32개이다. 즉, 원래는 이진 코드를 사용할 경우 29 개로 128개의 코드 패턴이 가능하나, 도 8b에 도시된 바와 같이 하나 이상의 행이나 열이 비워진 경우는 제외되므로, 가능 패턴의 개수는 32개가 된다. 즉 도 8a에 도시된 바와 같은 마크 패턴을 설계하되, 도 8b에 도시된 바와 같은 하나 이상의 행이나 열이 빈 자리가 있는 마크가 없도록 설계한다.
그러면 추후 센서를 통해 획득한 영상신호를 분석할 때, x, y축 프로젝션만 해봐도 유효한 마크의 위치를 쉽게 찾을 수 있다. 이때 유효한 마크의 위치는 x, y축 방향의 프로젝션이 3개 연속으로 비어있지 않은 영역이며, 찾아진 영역에서 마크를 쉽게 판독할 수 있다.
한편, 본 설명에서 마크는 이진 값을 이용했으나, 명도 값이나 컬러 값을 이용하면, 보다 정밀한 코드 설계가 가능하다. 센서의 성능과 특성에 따라서 다양한 설계가 가능하다. 명도 값은 절대값으로 사용할 수도 있지만 상대적인 값의 차이를 이용하거나 하나의 마크 내에서 몇 개의 레벨만 정의해서 사용할 수도 있다.
도 9는 본 발명의 일 실시 예에 따라 마크 판독이 용이하게 디자인한 마크 면을 도시한 참조도이고, 도 10은 각 마크 간 간격을 도시한 참조도다.
도 6과 도 9 및 도 10을 참조하면, 센서(122)가 마크 면(100a)으로부터 반사된 광을 수신시에 최소한 하나 이상의 마크로부터 광을 수신하도록 마크 면(100a)이 설계된다. 예를 들어, 도 10에 도시된 바와 같이 각 마크가 3×3 크기를 갖고, 마크와 마크 사이의 간격을 2 셀로 설정하면, 센서(122)는 참조부호 510과 같이 7×7 이상의 크기로 설계되어야 한다. 이렇게 하면 도 9의 참조부호 500에 해당하는 빗금으로 표시된 영역이 센서(122)의 중심좌표가 이동 가능한 범위, 즉 측정 가능한 이동범위가 된다.
3×3 크기를 갖는 마크를 판독을 위해서, 7×7 크기를 갖는 센서(122)의 해상도를 설계해야 한다. 물론 해당 영역을 커버할 수 있다면 해상도는 높을수록 유리하나, 3×3 크기의 마크 판독을 위해서 경계 부분에서의 오류를 고려해서 판별 가능한 최소한의 해상도를 설계한다. 예를 들어 하나의 셀을 담당하는 화소가 최소 3×3 이상이면 큰 문제가 없으므로 센서의 화소 크기는 (7×3)×(7×3) = 441 이상이면 좋다. 이 경우 정밀도는 가로 세로, 각각 30×3 = 90 크기의 격자가 가능하다. 물론 입력 정밀도가 이보다 작아도 될 경우 마크 크기를 줄이는 등의 다양한 변경이 가능하다.
도 11은 본 발명의 일 실시 예에 따라 입력장치(1)를 이용한 사용자 인터페이스 조작 방법을 도시한 흐름도이다.
도 6과 도 11을 참조하면, 입력장치(1)는 패드(100)가 광원(120)으로부터 생성된 광을 수신한다(800). 이어서, 사용자 입력이 발생하면, 사용자 입력에 가해지는 힘의 방향에 따라 패드(100)의 마크 면과 광학부가 상대적인 방향으로 이동하여 마크 면의 소정의 마크에서 광원으로터 수신된 광을 반사한다(810). 그리고, 센서(122)가 마크 면의 소정의 마크로부터 반사된 광을 감지하여 이를 영상신호로 변환한다(820).
이어서, 프로세서(150)가 센서(122)를 통해 변환된 영상신호를 분석하여 사용자 입력의 크기와 방향, 속도 및 거리정보를 포함한 입력 파라미터를 결정한다(830). 일 실시 예에 따르면, 프로세서(150)는 센서(122)를 통해 획득한 영상신호를 분석하여 광 반사가 이루어진 패드(100)의 마크 위치를 계산하여 패드(100)의 현재 상대위치를 계산하고, 이전에 획득한 패드(100)의 상대위치와 패드(100)의 현재 상대위치의 차이와, 두 위치 간의 이동에 소요된 시간으로부터 이동속도를 계산한다. 그리고, 계산된 상대위치와 이동속도를 이용하여 입력크기와 속도 및 방향 벡터를 결정한다.
한편, 본 발명의 추가 실시 예에 따르면, 마크 면 눌림 시에 사용자 입력을 시작하고, 전술한 프로세스 수행 이후에 마크 면 눌림이 해제되거나 마크 면이 원점으로 이동하면 사용자 입력을 중지한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. 각 마크 별로 서로 상이한 코드를 갖는 마크들로 구성된 마크 면을 일면에 포함하거나 마크 면과 일체로 형성되는 패드부;
    상기 패드부의 마크 면 방향으로 상기 패드부와 물리적으로 연결되고, 광원을 통해 광을 상기 패드부의 마크 면에 조사하며 사용자 힘이 가해지면 센서를 통해 상기 패드부의 마크 면의 소정의 마크로부터 반사된 광을 감지하여 이를 영상신호로 변환하는 광학부; 및
    상기 패드부와 상기 광학부를 연결하는 연결부;
    를 포함하는 것을 특징으로 하는 방향 입력장치.
  2. 제 1 항에 있어서,
    상기 광학부는 상기 패드부의 마크 면 하단에 형성되고,
    상기 광학부가 고정되고, 상기 패드부에 사용자 힘이 가해져 상기 패드부의마크 면이 상기 광학부와는 상대적으로 반대 방향으로 이동되는 것을 특징으로 하는 방향 입력장치.
  3. 제 2 항에 있어서, 상기 패드부는
    상기 패드부 상부에 사용자의 클릭 동작 수행을 위한 버튼을 포함하거나, 상기 패드부 자체가 사용자가 클릭 가능한 버튼 형태인 것을 특징으로 하는 방향 입력장치.
  4. 제 1 항에 있어서,
    상기 광학부는 상기 패드부의 마크 면 상단에 형성되고,
    상기 패드부가 고정되고 상기 광학부에 사용자 힘이 가해져 상기 광학부가 상기 패드부의 마크 면과는 상대적으로 반대 방향으로 이동되는 것을 특징으로 하는 방향 입력장치.
  5. 제 1 항에 있어서,
    상기 센서의 이미지 획득을 위하여 상기 패드부의 마크 면이 상기 연결부의 하단에 위치하는 것을 특징으로 하는 방향 입력장치.
  6. 제 5 항에 있어서,
    상기 연결부는 상하좌우 움직임이 가능하도록 두 개의 축을 갖는 것을 특징으로 하는 방향 입력장치.
  7. 제 1 항에 있어서,
    사용자 힘이 가해지지 않는 경우에는 상기 패드부와 상기 광학부의 상대적 위치를 원점으로 복원시키는 복원부;
    를 더 포함하는 것을 특징으로 하는 방향 입력장치.
  8. 제 1 항에 있어서,
    상기 방향 입력장치는 마우스 형태인 것을 특징으로 하는 방향 입력장치.
  9. 제 1 항에 있어서,
    상기 방향 입력장치는 상기 패드부가 사용자에 의해 눌러지거나 상하좌우로 이동 가능한 버튼으로 구성된 볼펜 형태인 것을 특징으로 하는 방향 입력장치.
  10. 제 1 항에 있어서, 상기 패드부는
    상기 패드부의 마크 면에서 하나의 마크를 구성하는 셀들에 있어서 각 행과 열 별로 모두 비워진 행이나 열이 없도록 코드화되는 것을 특징으로 하는 방향 입력장치.
  11. 제 1 항에 있어서,
    상기 패드부의 마크 면의 마크들은 이진 값, 명도 값 및 컬러 값 중 하나를 이용하여 코드화되는 것을 특징으로 하는 방향 입력장치.
  12. 제 1 항에 있어서,
    상기 광학부의 센서를 통해 획득한 영상신호를 분석하여 광 반사가 이루어진 패드 영상에서 하나 이상의 마크와 해당 위치를 판독하여 상기 패드부의 현재 상대위치를 계산하고, 미리 정의된 원점으로부터 현재 상대위치까지의 벡터값을 이용하여 입력크기와 속도 및 방향 벡터를 포함하는 입력 파라미터를 계산하는 프로세서;
    를 더 포함하는 것을 특징으로 하는 방향 입력장치.
  13. 제 12 항에 있어서, 상기 프로세서는,
    이전에 획득한 일련의 패드부의 상대위치와 상기 패드부의 현재 상대위치의 차이와, 두 위치 간의 이동에 소요된 시간으로부터 이동속도를 계산하고,
    상기 패드부의 상대위치 차이와 이동속도를 이용하여 입력크기와 속도 및 방향 벡터를 계산하는 것을 특징으로 하는 방향 입력장치.
  14. 방향 입력장치를 이용한 사용자 인터페이스 조작 방법에 있어서,
    패드부의 패드가 광원으로부터 생성된 광을 수신하는 단계;
    사용자 힘이 가해지면, 사용자 힘의 방향에 따라 상기 패드부의 마크 면과 광학부가 상대적인 방향으로 이동하여 마크 면의 소정의 마크에서 상기 광원으로터 수신된 광을 반사하는 단계;
    상기 광학부의 센서가 상기 마크 면의 소정의 마크로부터 반사된 광을 감지하여 이를 영상신호로 변환하는 단계; 및
    프로세서가 상기 센서를 통해 변환된 영상신호를 분석하여 사용자 입력 방향 및 거리정보를 포함하는 입력 파라미터를 계산하는 단계;
    를 포함하는 것을 특징으로 하는 사용자 인터페이스 조작 방법.
  15. 제 14 항에 있어서, 상기 입력 파라미터를 계산하는 단계는,
    상기 영상신호를 분석하여 광 반사가 이루어진 패드의 마크 위치를 판독하여 상기 패드부의 현재 상대위치를 계산하는 단계; 및
    미리 정의된 원점으로부터 현재 패드부의 상대위치까지의 벡터값을 이용하여 입력크기와 속도 및 방향 벡터를 포함하는 입력 파라미터를 계산하는 단계;
    를 포함하는 것을 특징으로 하는 인터페이스 조작 방법.
  16. 제 14 항에 있어서, 상기 입력 파라미터를 계산하는 단계는,
    이전에 획득한 일련의 패드부의 상대위치와 상기 패드부의 현재 상대위치의 차이와, 두 위치 간의 이동에 소요된 시간으로부터 이동속도를 계산하는 단계; 및
    상기 패드부의 상대위치 차이와 이동속도를 이용하여 입력크기와 속도 및 방향 벡터를 계산하는 단계;
    를 포함하는 것을 특징으로 하는 사용자 인터페이스 조작 방법.
  17. 제 14 항에 있어서,
    마크 면 눌림 시에 사용자 입력 이벤트를 시작하는 단계; 및
    마크 면 눌림이 해제되거나 마크 면이 원점으로 이동하면 사용자 입력 이벤트를 중지하는 단계;
    를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 조작 방법.
PCT/KR2013/003458 2012-05-17 2013-04-23 방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법 WO2013172560A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/401,620 US20150103052A1 (en) 2012-05-17 2013-04-23 Direction input device and method for operating user interface using same
CN201380037924.2A CN104508603A (zh) 2012-05-17 2013-04-23 方向输入装置和利用方向输入装置操作用户界面的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0052656 2012-05-17
KR1020120052656A KR101341577B1 (ko) 2012-05-17 2012-05-17 방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법

Publications (1)

Publication Number Publication Date
WO2013172560A1 true WO2013172560A1 (ko) 2013-11-21

Family

ID=49583931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003458 WO2013172560A1 (ko) 2012-05-17 2013-04-23 방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법

Country Status (4)

Country Link
US (1) US20150103052A1 (ko)
KR (1) KR101341577B1 (ko)
CN (1) CN104508603A (ko)
WO (1) WO2013172560A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793809A (zh) * 2014-01-21 2015-07-22 精工爱普生株式会社 位置检测装置及位置检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444040B2 (en) * 2015-09-25 2019-10-15 Apple Inc. Crown with three-dimensional input
CN107102750B (zh) * 2017-04-23 2019-07-26 吉林大学 一种基于笔式交互系统的虚拟三维空间中目标的选择方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112220A1 (en) * 2000-12-15 2003-06-19 Hong-Young Yang Pen type optical mouse device and method of controlling the same
KR20050073871A (ko) * 2004-01-12 2005-07-18 와우테크 주식회사 펜형 광마우스
KR20050113311A (ko) * 2004-05-27 2005-12-02 와우테크 주식회사 광학 펜 마우스
KR20060032461A (ko) * 2004-10-12 2006-04-17 삼성전자주식회사 무선 광마우스를 구비한 휴대용 통신 장치
KR20060032251A (ko) * 2004-10-11 2006-04-17 김진일 휴대형 소형 단말기용 광마우스
KR20080058219A (ko) * 2006-12-21 2008-06-25 이문기 카메라를 이용한 3차원 마우스

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03249870A (ja) * 1989-10-31 1991-11-07 Kuraray Co Ltd 光学読取り装置用のパッド
NO300943B1 (no) * 1995-04-03 1997-08-18 Steinar Pedersen Redskap for posisjonering og kontroll av objekter i to eller tre dimensjoner
US6686579B2 (en) * 2000-04-22 2004-02-03 International Business Machines Corporation Digital pen using speckle tracking
KR100650623B1 (ko) * 2004-03-12 2006-12-06 (주)모비솔 스위치 기능을 갖는 광학식 포인팅 장치
TWI221186B (en) * 2003-09-19 2004-09-21 Primax Electronics Ltd Optical detector for detecting relative shift
KR100734246B1 (ko) * 2003-10-02 2007-07-02 (주)모비솔 반사거울을 이용한 광학식 포인팅 장치
TW200807287A (en) * 2006-07-21 2008-02-01 Kye Systems Corp Optical operation input device
CN101149648A (zh) * 2006-09-21 2008-03-26 郑东兴 鼠标
CN201556171U (zh) * 2009-06-19 2010-08-18 原相科技股份有限公司 鼠标滚轮装置
KR101116998B1 (ko) * 2009-11-24 2012-03-16 대성전기공업 주식회사 스위치 장치
CN202177873U (zh) * 2011-06-28 2012-03-28 刘笃林 一种空中鼠标

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112220A1 (en) * 2000-12-15 2003-06-19 Hong-Young Yang Pen type optical mouse device and method of controlling the same
KR20050073871A (ko) * 2004-01-12 2005-07-18 와우테크 주식회사 펜형 광마우스
KR20050113311A (ko) * 2004-05-27 2005-12-02 와우테크 주식회사 광학 펜 마우스
KR20060032251A (ko) * 2004-10-11 2006-04-17 김진일 휴대형 소형 단말기용 광마우스
KR20060032461A (ko) * 2004-10-12 2006-04-17 삼성전자주식회사 무선 광마우스를 구비한 휴대용 통신 장치
KR20080058219A (ko) * 2006-12-21 2008-06-25 이문기 카메라를 이용한 3차원 마우스

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793809A (zh) * 2014-01-21 2015-07-22 精工爱普生株式会社 位置检测装置及位置检测方法
CN104793809B (zh) * 2014-01-21 2019-07-02 精工爱普生株式会社 位置检测装置及位置检测方法

Also Published As

Publication number Publication date
KR101341577B1 (ko) 2013-12-13
KR20130128723A (ko) 2013-11-27
US20150103052A1 (en) 2015-04-16
CN104508603A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
US7295329B2 (en) Position detection system
US10514780B2 (en) Input device
US9569095B2 (en) Removable protective cover with embedded proximity sensors
US7737959B2 (en) Position detection system using laser speckle
KR100465969B1 (ko) 손가락 표면을 이용한 소형 포인팅 장치
US8810514B2 (en) Sensor-based pointing device for natural input and interaction
US20060028457A1 (en) Stylus-Based Computer Input System
CN103744542B (zh) 混合式指向装置
US7825898B2 (en) Inertial sensing input apparatus
WO2014014240A1 (ko) 접촉식 손가락 마우스 및 이의 동작 방법
JP2006202291A (ja) 光学スライドパッド
WO2013172560A1 (ko) 방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법
Ma et al. Lift: Using projected coded light for finger tracking and device augmentation
TWM451589U (zh) 光學感測式輸入裝置
KR101460028B1 (ko) 비접촉 조작 장치를 구비한 키보드
KR20080058219A (ko) 카메라를 이용한 3차원 마우스
EP1775656A1 (en) Inertial sensing input apparatus
KR101095923B1 (ko) 휴대용 단말기의 커서입력장치
CN201540536U (zh) 电脑输入装置
EP1614022A1 (en) Pointing device
US8786544B1 (en) Low RSI absolute coordinate mouse using optical three-dimensional sensing with mouse click functions
CN201044085Y (zh) 一种计算机输入装置
TW200534153A (en) Pointing device
KR20120035344A (ko) 포인팅 디바이스를 구비한 휴대용 단말기
CN106325576A (zh) 光标控制装置与方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13790916

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14401620

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13790916

Country of ref document: EP

Kind code of ref document: A1