KR20150129093A - Apparatus and method for user input - Google Patents
Apparatus and method for user input Download PDFInfo
- Publication number
- KR20150129093A KR20150129093A KR1020120157834A KR20120157834A KR20150129093A KR 20150129093 A KR20150129093 A KR 20150129093A KR 1020120157834 A KR1020120157834 A KR 1020120157834A KR 20120157834 A KR20120157834 A KR 20120157834A KR 20150129093 A KR20150129093 A KR 20150129093A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- user input
- input device
- sensor
- posture
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Abstract
Description
아래의 실시예들은 사용자 입력 장치 및 방법에 관한 것이다.The following embodiments relate to a user input device and method.
3차원 컨텐츠 제어 방법은 2차원 컨텐츠 제어 방법에 비하여 높은 자유도(DOF: Degree-of-Freedom) 입력을 요구한다. 따라서, 3차원 컨텐츠 제어 방법은 기존의 입력 채널의 사용 방식을 변형하여 3차원 컨텐츠를 제어하는 컨텐츠 제어 신호를 생성하거나, 입력 채널 자체를 다양화하는 것이 요구된다. 예를 들어, i) 키보드, 조이스틱, 버튼 등과 같은 입력 방법을 통하여 3차원 가상 공간 상에서 필요한 기능을 추가하여 입력하는 방식, ii) 실제 3차원 공간 상의 사용자의 움직임(kinematic) 및 동작(action) 정보를 입력으로 이용하는 방식 또는 iii) 사용자의 손이 입력 기기에 접촉하여 이동한 정도, 기기에 가하는 힘 또는 그로 인해 발생하는 변위를 측정하여 입력으로 이용하는 방식이 이용될 수 있다. The three-dimensional content control method requires a degree-of-freedom (DOF) input in comparison with the two-dimensional content control method. Accordingly, the three-dimensional content control method is required to generate a content control signal for controlling three-dimensional content by modifying a conventional use method of the input channel, or to diversify the input channel itself. For example, i) a method of inputting necessary functions in a three-dimensional virtual space through an input method such as a keyboard, a joystick, a button, etc., ii) a method of inputting kinematic and action information Or iii) a method of measuring the degree of movement of the user's hand in contact with the input device, the force applied to the device, or the displacement caused thereby, and using the measured displacement as input may be used.
한편, 위와 같이 3차원 공간 상의 사용자의 움직임 및 동작 정보를 이용하는 방식의 경우, 공간 마우스 형태 또는 3차원 공간에서 사용자의 움직임을 2차원 화면에 투사하여 입력하는 방식이 이용되고 있는데, 이러한 방식은 세 방향의 입력을 위해서는 결국 또 다른 입력 채널을 필요로 하게 된다. 또한, 2차원 화면에 맵핑(mapping)하는 방법에서는 맵핑되는 물리적인 공간이 한정되어 사용자 및 입력 장치의 운동이 인터엑션(interaction)에 적합하지 않다.On the other hand, in the case of using the motion and motion information of the user on the three-dimensional space as described above, a method of projecting the movement of the user on the two-dimensional screen and inputting the motion in the space mouse or the three-dimensional space is used. Directional input eventually requires another input channel. In addition, in the method of mapping to a two-dimensional screen, the physical space to be mapped is limited, and the motion of the user and the input device is not suitable for the interaction.
사용자 입력 장치는 사용자 입력 장치에 평면적으로 입력되는 평면 입력 정보를 측정하는 제1 센서, 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서 및 상기 평면 입력 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부를 포함할 수 있다.The user input device includes a first sensor that measures plane input information that is input in a plane to the user input device, a second sensor that measures posture motion information that is input according to a physical quantity related to the attitude or rotational motion of the user input device, And a signal processing unit for generating a content control signal by combining input information and the posture motion information.
상기 평면 입력 정보는 상기 사용자 입력 장치의 접촉면에 대한 수직 정보 또는 상기 접촉면에 대한 수평 정보를 포함할 수 있다. The plane input information may include vertical information on a contact surface of the user input device or horizontal information on the contact surface.
상기 자세 운동 정보는 지자기, 기울기, 각속도, 방위각, 중력 또는 가속도 중 어느 하나 이상을 포함할 수 있다. The posture motion information may include at least one of a geomagnetism, a gradient, an angular velocity, an azimuth, gravity or acceleration.
상기 신호 처리부는 상기 자세 운동 정보로부터 상기 컨텐츠의 3차원 상의 면을 선택하고, 상기 평면 입력 정보를 상기 면에 투사하여 새로운 3차원 상의 정보를 생성할 수 있다. The signal processing unit may select a three-dimensional surface of the content from the posture motion information, and project the plane input information onto the surface to generate new three-dimensional information.
상기 신호 처리부는 상기 선택된 면과 상기 새로운 3차원 상의 정보를 이용하여 상기 컨텐츠의 이동 또는 회전 관련 속성을 변화시킬 수 있다.The signal processing unit may change the movement or rotation related property of the content using the selected face and the new three-dimensional information.
사용자 입력 장치는 상기 컨텐츠 제어 신호를 기반으로 컨텐츠를 표시하는 표시부를 더 포함할 수 있다.The user input device may further include a display unit for displaying the content based on the content control signal.
사용자 입력 장치는 상기 컨텐츠 제어 신호에 의하여 컨텐츠가 변화됨을 인지하도록 사용자에게 피드백을 제공하는 피드백 구현부를 더 포함할 수 있다.The user input device may further include a feedback implementing unit for providing feedback to the user to recognize that the content is changed according to the content control signal.
상기 피드백은 오디오 피드백(audio feedback), 햅틱 피드백(haptic feedback) 또는 비주얼 피드백(visual feedback) 중 어느 하나 이상을 포함할 수 있다.The feedback may include at least one of audio feedback, haptic feedback, or visual feedback.
상기 햅틱 피드백을 구현하는데 있어, 상기 피드백 구현부는, 상기 사용자 입력 장치에 힘을 전달하는 힘 전달부, 상기 사용자 입력 장치에 압력 분포를 표현하는 촉감 표시부, 상기 사용자 입력 장치를 진동하는 하나 이상의 진동부, 및 상기 사용자에게 촉감에 의한 자극을 제공하는 자극 전달부 중 어느 하나 이상을 포함할 수 있다. In implementing the haptic feedback, the feedback implementing unit may include a force transmitting unit for transmitting a force to the user input device, a tactile display unit for expressing a pressure distribution in the user input device, at least one vibration unit for vibrating the user input device, And a stimulus transmission unit that provides a tactile stimulus to the user.
상기 자극 전달부는 정전기력을 이용한 자극, 온도차를 이용한 냉감 또는 온감 자극, 공기 흡입력을 이용한 자극 및 전극 접촉을 이용한 자극 중 어느 하나 이상의 자극을 전달할 수 있다.The stimulus transmission unit may transmit at least one stimulus selected from a stimulus using an electrostatic force, a cold sensation using a temperature difference, a warm sensation stimulus, a stimulation using an air suction force, and a stimulation using an electrode contact.
사용자 입력 장치는 사용자 입력 장치의 입력 면에 작용하는 힘 정보를 측정하는 제1 센서, 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서 및 상기 힘 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부를 포함할 수 있다.The user input device includes a first sensor for measuring force information acting on an input surface of a user input device, a second sensor for measuring posture information input according to a physical quantity related to the attitude or rotational motion of the user input device, And a signal processing unit for generating a content control signal by combining the information and the posture motion information.
사용자 입력 장치는 상기 힘 정보가 입력되는 힘의 작용점의 위치를 검출하는 검출부를 더 포함할 수 있다. The user input device may further include a detector for detecting a position of a point of action of the force to which the force information is input.
사용자 입력 장치는 사용자 입력 장치의 입력 면에 사용자로부터 접촉되는 접촉 정보를 측정하는 제1 센서, 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서 및 상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부를 포함할 수 있다. The user input device includes a first sensor for measuring contact information that is in contact with a user from an input surface of a user input device, a second sensor for measuring posture information input according to a physical quantity related to the attitude or rotational motion of the user input device, And a signal processing unit for generating a content control signal by combining the contact information and the posture motion information.
사용자 입력 장치는 방향 입력 정보를 측정하는 제1 센서, 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서 및 상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부를 포함할 수 있다. The user input device includes a first sensor for measuring direction input information, a second sensor for measuring posture motion information input according to a physical quantity related to the posture or rotational motion of the user input device, And a signal processing unit for generating a content control signal.
사용자 입력 방법은 제1 센서를 이용하여 장치에 평면적으로 입력되는 평면 입력 정보를 측정하는 단계, 제2 센서를 이용하여 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계 및 상기 평면 입력 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계를 포함할 수 있다.The user input method includes the steps of measuring plane input information input in a plane to the device using a first sensor, measuring posture motion information input according to a physical quantity related to a posture or rotational motion of the user input device using a second sensor And generating a content control signal by combining the plane input information and the posture motion information.
사용자 입력 방법은 제1 센서를 이용하여 사용자 입력 장치의 입력 면에 작용하는 힘 정보를 측정하는 단계, 제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계 및 상기 힘 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계를 포함할 수 있다. The user input method includes the steps of measuring force information acting on an input surface of a user input device using a first sensor, calculating a posture of the user input device using a second sensor, And generating the content control signal by combining the force information and the posture motion information.
사용자 입력 방법은 제1 센서를 이용하여 사용자 입력 장치의 입력 면에 사용자로부터 접촉되는 접촉 정보를 측정하는 단계, 제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계 및 상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계를 포함할 수 있다. The user input method comprises the steps of measuring contact information of a user from an input surface of a user input device using a first sensor, inputting a physical quantity related to a posture or rotational motion of the user input device using a second sensor Measuring posture motion information, and generating a content control signal by combining the contact information and the posture motion information.
사용자 입력 방법은 제1 센서를 이용하여 방향 입력 정보를 측정하는 단계, 제2 센서를 이용하여 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계 및 상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계를 포함할 수 있다. The user input method includes the steps of measuring direction input information using a first sensor, measuring posture motion information input according to a physical quantity related to a posture or a rotational motion of a user input device using a second sensor, And generating the content control signal by combining the posture motion information.
도 1은 사용자 입력 장치의 구성을 도시한 블록도이다.
도 2는 힘을 이용한 사용자 입력 장치의 예를 도시한 도면이다.
도 3은 도 2의 힘을 이용한 사용자 입력 장치에 햅틱 피드백 기능을 적용한 예를 도시한 도면이다.
도 4는 접촉 움직임을 이용한 사용자 입력 장치의 예를 도시한 도면이다.
도 5는 방향 키를 이용한 사용자 입력 장치의 예를 도시한 도면이다.
도 6은 볼을 이용한 사용자 입력 장치의 예를 도시한 도면이다.
도 7은 제1 센서인 힘 센서의 구조를 도시한 도면이다.
도 8은 제1 센서인 접촉 센서의 구조를 도시한 도면이다.
도 9는 수평 방향 힘과 자세를 이용한 컨텐츠 제어 기능을 수행하는 방법을 도시한 흐름도이다.
도 10은 수평 방향 접촉 좌표 이동과 자세를 이용한 컨텐츠 제어 기능을 수행하는 방법을 도시한 흐름도이다.
도 11 및 도 12는 평면 입력 정보와 자세 동작 정보를 이용해 3차원 입력 벡터를 생성하는 예를 도시한 도면이다.
도 13은 평면 입력 정보와 자세 동작 정보를 이용하여 객체 또는 커서의 조작을 제어하는 방법을 도시한 흐름도이다.
도 14 내지 도 16은 평면 입력 정보와 자세 동작 정보를 이용하여 커서를 이동하는 예를 도시한 도면이다.
도 17 및 도 18은 평면 입력 정보와 자세 동작 정보를 이용하여 객체의 회전을 제어하는 예를 도시한 도면이다.
도 19는 사용자 입력 방법의 일예를 도시한 흐름도이다.
도 20은 사용자 입력 방법의 다른 예를 도시한 흐름도이다.
도 21은 사용자 입력 방법의 또 다른 예를 도시한 흐름도이다.
도 22는 사용자 입력 방법의 또 다른 예를 도시한 흐름도이다.1 is a block diagram showing the configuration of a user input device.
2 is a diagram showing an example of a user input device using a force.
3 is a diagram illustrating an example of applying a haptic feedback function to a user input device using the force of FIG.
4 is a diagram showing an example of a user input device using contact movement.
5 is a diagram showing an example of a user input device using a direction key.
6 is a diagram showing an example of a user input device using a ball.
7 is a view showing a structure of a force sensor which is a first sensor.
8 is a view showing a structure of a touch sensor which is a first sensor.
9 is a flowchart illustrating a method of performing a content control function using horizontal force and posture.
FIG. 10 is a flowchart illustrating a method of performing a content control function using a horizontal direction coordinate movement and a posture.
11 and 12 illustrate examples of generating a three-dimensional input vector using plane input information and posture operation information.
13 is a flowchart illustrating a method of controlling operations of an object or a cursor using plane input information and posture operation information.
Figs. 14 to 16 are diagrams showing examples of moving a cursor using plane input information and orientation operation information. Fig.
17 and 18 are views showing an example of controlling the rotation of the object by using the plane input information and the posture operation information.
19 is a flowchart showing an example of a user input method.
20 is a flowchart showing another example of the user input method.
21 is a flowchart showing another example of a user input method.
22 is a flowchart showing another example of the user input method.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.
실시예에서 사용되는 용어(terminology)들은 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 해당 분야의 관례 등에 따라 달라질 수 있다. 따라서, 용어들에 대한 정의는 실시예 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terminologies used in the embodiments are terms used to adequately express the embodiments, which may vary depending on the user, the intention of the operator, or the custom in the field. Accordingly, the definitions of the terms should be based on the contents throughout the examples.
사용자 입력 장치는 사용자가 가하는 평면적인 입력과 장치의 자세 입력의 2가지 입력을 받아, 상기 2가지 입력을 기반으로 컨텐츠를 제어할 수 있는 컨텐츠 제어 신호를 생성할 수 있다.The user input device may receive two inputs of a planar input by the user and an attitude input of the device, and may generate a content control signal capable of controlling the content based on the two inputs.
도 1은 사용자 입력 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a user input device.
도 1을 참조하면, 사용자 입력 장치는 사용자 입력 장치에 평면적으로 입력되는 평면 입력 정보를 측정하는 제1 센서(110), 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서(120) 및 상기 평면 입력 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부(130)를 포함한다.Referring to FIG. 1, a user input device includes a
사용자 입력 장치는 상기 평면 입력 정보와 상기 자세 운동 정보를 측정하고, 상기 측정된 평면 입력 정보 및 자세 운동 정보 중 하나 이상을, 입력 정보로 가공하여 컨텐츠 제어 신호를 생성할 수 있다. 또한, 사용자 입력 장치는 상기 생성된 컨텐츠 제어 신호를 이용하여 컨텐츠 또는 대상(object)을 제어 및 표시할 수 있다.The user input device may measure the plane input information and the posture motion information, and generate at least one of the measured plane input information and the posture motion information as input information to generate a content control signal. Also, the user input device can control and display the content or object using the generated content control signal.
상기 평면 입력 정보는 사용자 입력 장치의 접촉면에 대한 수직 정보 및 접촉면을 미는 정도 등의 수평 정보 중 어느 하나 이상을 포함할 수 있다. 또한, 상기 자세 운동 정보는 지자기, 기울기, 각속도, 방위각, 중력 및 가속도 중 어느 하나 이상을 포함하는 다양한 정보를 포함할 수 있다.The plane input information may include at least one of vertical information on a contact surface of a user input device and horizontal information such as a degree of pushing a contact surface. In addition, the posture motion information may include various information including at least one of geomagnetism, tilt, angular velocity, azimuth, gravity, and acceleration.
사용자 입력 장치는 입력 벡터 계산부(120)를 더 포함할 수 있다. 입력 벡터 계산부(120)는 평면 입력 정보를 입력으로 사용할 수 있는 형태로 가공할 수 있다.The user input device may further include an input
제2 센서(130)는 센서의 종류와 자유도에 따라 중력에 대한 기울기, 회전 각속도, 자기 북극에 대한 방위각 또는 특정 레퍼런스(reference)에 대한 상대적인 자세 등을 산출할 수 있다. 제2 센서(130)는 롤(roll), 피치(pitch), 요(yaw)와 같은 오일러 각도(Euler angle) 중 어느 하나 이상을 통하여 상기 자세 동작 정보를 표현할 수 있으며, 팬(pan), 틸트(tilt), 사원수(quaternion), 다이렉션 코사인 매트릭스(Directional Cosine Matrix, DCM)와 같은 매트릭스(matrix) 형태로 상기 자세 동작 정보를 표현할 수도 있다. 또한, 제2 센서(120)는 탭핑(tapping) 또는 쉐이킹(shaking) 등의 제스처 측정치로 상기 자세 동작 정보를 표현할 수도 있다.The
사용자 입력 장치는 자세 계산부(140)를 더 포함할 수 있다. 자세 계산부(140)는 자세 운동 정보를 입력 정보로서, 사용할 수 있는 형태로 가공할 수 있다.The user input device may further include an
신호 처리부(150)는 자세 운동 정보로부터 컨텐츠의 3차원 상의 면을 선택할 수 있고, 평면 입력 정보를 면에 투사하여 새로운 3차원 상의 정보를 생성할 수 있다.The
사용자 입력 장치는 제1 센서(110) 및 제2 센서(130)는 사용자가 휴대 하거나 사용하는 장치에 위치될 수 있으며, 신호 처리부(150)는 사용자 입력 장치 내에 위치하거나 별도의 유닛(unit)으로 구성될 수 있다. 사용자 입력 장치는 신호 처리부가 별도 유닛으로 구성되는 경우, 정보의 처리를 위하여 무선 통신을 위한 모듈 및 전원 공급을 위한 모듈을 포함할 수도 있다.The
신호 처리부(150)는 선택된 면과 새로운 3차원 상의 정보를 이용하여 컨텐츠의 이동 또는 회전 관련 속성을 변화시킬 수 있고, 이를 위해 입력 생성부(151) 및 객체 제어부(152)를 포함할 수 있다. The
입력 생성부(151)는 입력 벡터 계산부(120) 및 자세 계산부(140)로부터 각각 계산되어 수신되는 힘의 방향 및 장치 자세를 입력 값으로 하여 최종 입력을 생성하고, 객체 제어부(152)는 생성된 최종 입력을 기반으로 하여 컨텐츠를 제어하기 위한 컨텐츠 제어 신호를 생성할 수 있다.The
사용자 입력 장치는 컨텐츠 제어 신호를 기반으로 컨텐츠를 표시하는 표시부(160)를 더 포함할 수 있다. 표시부(160)는 사용자 입력 장치에 결합된 형태로 구조화될 수도 있지만, 사용자가 컨텐츠를 제공받는데 불편이 없는 크기의 분리된 형태의 모듈로 제공될 수도 있으며, 스탠드어론(stand-alone) 형태의 디바이스로 제공될 수도 있다. The user input device may further include a
또한, 사용자 입력 장치는 상기 컨텐츠 제어 신호에 의하여 컨텐츠가 변화됨을 인지하도록 사용자에게 피드백을 제공하는 피드백 구현부(170)를 더 포함할 수 있다. 피드백 구현부(170)을 통하여 변화된 컨텐츠 또는 대상에 맞게 사용자에게 피드백을 전달할 수 있다. The user input device may further include a
실시예에 따라, 피드백 구현부(170)는 오디오 피드백(audio feedback), 햅틱 피드백(haptic feedback) 또는 비주얼 피드백(visual feedback) 등의 다양한 피드백을 사용자에게 제공할 수 있다. According to an embodiment, the
예를 들어, 피드백 구현부(170)가 햅틱 피드백을 구현하는 경우, 힘 전달부, 촉감 표시부 및 하나 이상의 진동부 중 어느 하나 이상을 포함할 수 있다. 힘 전달부는 상기 사용자 입력 장치에 힘을 전달하고, 촉감 표시부는 압력 분포를 표현하며, 하나 이상의 진동부는 상기 사용자 입력 장치를 물리적으로 진동시킬 수 있고, 자극 전달부는 사용자에게 촉감에 의한 자극을 제공할 수 있다. 또한, 자극 전달부는 정전기력을 이용한 자극, 온도차를 이용한 냉감 또는 온감 자극, 공기 흡입력을 이용한 자극 및 전극 접촉을 이용한 자극 중 어느 하나 이상의 자극을 전달할 수 있다.
For example, when the
실시예에 따라, 사용자 입력 장치는 사용자가 접촉하는 부위에 손을 이용해 입력을 할 수 있는 제1 센서(110), 사용자 입력 장치의 자세와 관련된 자세 운동 정보를 감지하는 제2 센서(130) 및 힘 정보 및 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부(150)를 포함할 수 있다.According to an embodiment, the user input device includes a
사용자 입력 장치는 제1 센서(110)를 이용하여 사용자 입력 장치의 입력 면에 작용하는 힘 정보를 측정하고, 제2 센서(130)를 이용하여 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정할 수 있으며, 신호 처리부(150)를 이용하여 상기 힘 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성할 수 있다.The user input device measures force information acting on the input surface of the user input device using the
사용자 입력 장치는 힘 정보가 입력되는 힘의 작용점의 위치를 검출하는 검출부를 더 포함할 수 있다.The user input device may further include a detection unit for detecting a position of a point of action of the force to which force information is input.
신호 처리부(150)는 자세 운동 정보로부터 컨텐츠의 3차원 상의 면을 선택하고, 힘 정보를 상기 선택된 면에 투사하여 새로운 3차원 상의 정보를 생성할 수 있으며, 상기 선택된 면과 상기 새로운 3차원 상의 정보를 이용하여 상기 컨텐츠의 이동 또는 회전 관련 속성을 변화시킬 수 있다.
The
도 2는 힘을 이용한 사용자 입력 장치의 예를 도시한 도면이다.2 is a diagram showing an example of a user input device using a force.
도 2를 참조하면, 사용자 입력 장치의 제1 센서(210)는 힘 정보를 측정하고, 측정된 힘 정보를 입력 정보로 사용할 수 있는 센서로서, 사용자 입력 장치에 가해지는 힘에 의하여 상태가 변하는 모든 센서가 적용될 수 있다.Referring to FIG. 2, a
예를 들어, 제1 센서(210)는 저항값, 정전량, 전압, 자기장, 광 파장, 밀도, 온도, 길이, 부피 등의 물리적 상태가 변하고, 변하는 물리적 상태의 정도(값)를 측정할 수 있는 모든 센서를 포함할 수 있다. For example, the
또한, 제1 센서(210)는 센서 주변에 힘 전달을 용이하게 하는 탄성(elasticity)을 가지는 레이어(layer)를 구비할 수 있고, 물질 자체가 탄성을 구비하는 센서일 수 있으며, 탄성을 구비하는 물질 자체가 코팅되어 내구성을 가질 수도 있다.In addition, the
실시예에 따라, 제1 센서(210)는 개수와 배치에 있어서 다양한 구조를 포함할 수 있다. 예를 들어, 제1 센서(210)는 하나 이상의 센서를 포함하여 연속적으로 구성될 수 있고, 불연속적으로 구성될 수도 있다. 이 경우, 제1 센서(210)는 접촉을 이룬 부분에 가하는 힘으로부터 제1 센서(210)를 지지하는 베이스(Base)를 포함할 수 있다.According to an embodiment, the
이하에서는 사용자 입력 장치의 제1 센서가 힘 센서임을 가정하고, 힘 정보를 측정하는 방법을 설명하도록 한다.Hereinafter, a method for measuring force information will be described, assuming that the first sensor of the user input device is a force sensor.
전술한 바와 같이 사용자 입력 장치는 제1 센서인 힘 센서의 개수와 배치 및 제2 센서의 종류 및 자유도에 따라 다양하게 구현될 수 있다. As described above, the user input device can be variously implemented according to the number and arrangement of the force sensors, i.e., the first sensor, and the type and degree of freedom of the second sensor.
제1 센서인 힘 센서는 장치의 모양, 개수 및 배치에 따라 힘의 작용점, 방향, 강도 및 힘을 가한 시간(duration) 등의 정보를 산출할 수 있다.The force sensor as the first sensor can calculate information such as the action point, direction, strength, and duration of the force depending on the shape, number, and arrangement of the apparatus.
힘 센서는 센서의 출력으로부터 힘의 방향을 산출하여 그 값을 직접 이용하거나, 산출된 값을 이용해 미리 정의된 방향으로 구분할 수 있다. 예를 들어, 힘 센서는 힘의 방향을 각도(degree) 또는 라디안(rad)과 같은 단위로 표현할 수 있고, 상하좌우, 4방위, 8방위 및 12시 표현 중 어느 하나로 구분하여 표현할 수 있다. 또한, 힘 센서는 힘의 방향을 수직 방향으로 누르는 힘을 고려하여 3차원 방향으로 표현 할 수도 있다.The force sensor can calculate the direction of the force from the output of the sensor and directly use the value or divide it into a predefined direction using the calculated value. For example, the force sensor can express the direction of the force in units such as degrees or radians, and can be expressed in one of four directions, four directions, eight directions, and 12 degrees. Also, the force sensor can be expressed in three-dimensional directions in consideration of the force pressing the direction of the force in the vertical direction.
또한, 힘 센서는 센서의 출력으로부터 힘의 강도를 산출하여 그 값을 직접 이용하거나, 산출된 값을 이용하여 미리 정의된 강도의 레벨로 표현할 수도 있다. 예를 들어, 힘 센서는 힘의 강도를 전압(voltage), 뉴턴(N), psi 등의 물리적인 단위로 표현 가능한 정도로 표현할 수 있고, 하이(high), 로우(low), 강/중/약, 1~5와 같은 상대적인 레벨로 구분하여 표현할 수도 있다.In addition, the force sensor may calculate the strength of the force from the output of the sensor and directly use the value, or may express the level of the force with a predetermined level using the calculated value. For example, a force sensor can represent the strength of a force in terms of physical units such as voltage, Newton, psi, and the like, and can be expressed as high, low, , 1 to 5, and so on.
또한, 힘 센서는 센서의 출력으로부터 힘이 지속되는 시간을 산출하여 그 값을 직접 이용하거나, 산출된 값을 이용해 미리 정의된 강도의 레벨로 표현할 수도 있다. 예를 들어, 힘 센서는 힘이 지속되는 시간을 초(second)와 같이 시간을 나타내는 물리적인 단위로 표현할 수 있으며, 짧음(short), 김(long) 또는 1~3과 같은 상대적인 레벨로 구분하여 표현할 수 있다. 힘 센서는 센서의 출력으로부터 힘이 지속되는 시간을 산출하여 연속된 시퀀스(sequence)의 힘의 입력을 정의하여 사용할 수 있다.In addition, the force sensor may calculate the time duration of the force from the output of the sensor and use the value directly, or may express the level with a predetermined level of intensity using the calculated value. For example, a force sensor can represent the duration of a force as a physical unit of time, such as seconds, separated by a relative level such as short, long, or 1 to 3 Can be expressed. The force sensor can be used to define the input of a sequence of forces by calculating the duration of the force from the output of the sensor.
사용자 입력 장치는 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서(220)를 포함한다. 제2 센서(220)는 자세와 관련된 자세 운동 정보를 감지할 수 있고, 가속도계, 각속도계, 기울기 센서, 지자기 센서, 방위 센서 및 중력 센서 중 어느 하나 이상의 센서 일 수 있고, 상기 하나 이상의 센서를 통하여 사용자 입력 장치의 자세 또는 회전 운동 상태와 관련된 물리량을 측정할 수 있다. The user input device includes a
또한, 사용자 입력 장치는 상기 힘 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성할 수 있다.
Also, the user input device may generate the content control signal by combining the force information and the posture motion information.
도 3은 도 2의 힘을 이용한 사용자 입력 장치에 햅틱 피드백 기능을 적용한 예를 도시한 도면이다.3 is a diagram illustrating an example of applying a haptic feedback function to a user input device using the force of FIG.
사용자 입력 장치는 제1 센서(310) 및 제2 센서(320)로부터 각각 측정되는 힘 정보 및 자세 운동 정보를 입력으로 하여, 컨텐츠 제어 신호를 생성하고, 생성된 컨텐츠 제어 신호를 기반으로 컨텐츠를 조작하고, 컨텐츠의 조작에 따른 컨텐츠의 변화를 사용자에게 피드백을 제공하는 피드백 구현부를 포함할 수 있다.The user input device inputs force information and posture motion information respectively measured from the
사용자 입력 장치는 오디오 피드백, 햅틱 피드백 또는 비주얼 피드백 중 어느 하나 이상을 사용자에게 제공할 수 있다. 도 3에 도시된 바와 같이 사용자 입력 장치는 사용자에게 햅틱 피드백(330)을 제공할 수 있다. 도 3에 도시된 바와 같이 사용자 입력 장치는 햅틱 피드백을 사용자에게 제공하기 위하여 진동 모터를 구비할 수 있다. The user input device may provide the user with at least one of audio feedback, haptic feedback, or visual feedback. 3, the user input device may provide
또한, 사용자 입력 장치는 오디오 피드백을 사용자에게 제공하기 위하여 스피커 등을 구비할 수 있고, 비주얼 피드백을 제공하기 위하여 시각적 정보를 제공하는 디스플레이 모듈을 포함할 수 있다.In addition, the user input device may include a speaker or the like to provide audio feedback to the user, and may include a display module that provides visual information to provide visual feedback.
실시예에 따라 사용자 입력 장치는 정전기력을 이용한 자극, 온도차를 이용한 냉감 자극 또는 온감 자극, 공기 흡입력을 이용한 자극 및 전극 접촉을 이용한 자극 중 어느 하나 이상의 햅틱 피드백을 제공하기 위한 피드백 구현부를 포함할 수 있다. According to an embodiment, the user input device may include a feedback implementer for providing haptic feedback of at least one of a stimulus using electrostatic force, a cold stimulus using a temperature difference or a warm stimulus, a stimulus using an air suction force, and a stimulus using an electrode contact .
예를 들어, 사용자 입력 장치는 정전기력 액추에이터(actuator)를 구비할 수 있고, 구비된 정전기력 액추에이터를 이용하여 사용자 입력 장치의 힘이 입력되는 부분에서의 촉각 피드백을 사용자에게 제공할 수 있다. 사용자 입력 장치는 힘이 입력되거나 가해지는 부분에 장착된 정전기력 액추에이터를 통하여, 힘 입력이 발생하는 순간에서의 버튼 클릭감 또는 마찰감을 사용자에게 제공 할 수 있다.For example, the user input device may include an electrostatic actuator, and the electrostatic actuator may be provided to provide tactile feedback to a user at a portion where the force of the user input device is input. The user input device can provide a user with a feeling of clicking a button or feeling of friction at the moment when a force input is generated through an electrostatic force actuator mounted on a portion where a force is input or applied.
또 다른 예로, 사용자 입력 장치는 펠티에 히트 펌프(Peltier heat pump)를 구비할수 있고, 구비된 펠티에 히트 펌프를 이용하여 냉/온감에 대한 촉각 피드백을 사용자에게 제공할 수 있다. 이 경우, 사용자 입력 장치는 펠티에 히트 펌프와 같은 하드웨어 모듈을 부착하거나 구비하여 사용자의 컨텐츠 조작에 따른 냉/온감을 사용자에게 제공할 수 있지만, 냉/온감을 사용자에게 제공하기 위하여 펠티에 히트 펌프와 같은 하드웨어 모듈에 한정되지 아니하고, 냉/온감을 제공하기 위한 다양한 수단을 포함할 수 있다.
As another example, the user input device may include a Peltier heat pump, and the user may be provided with tactile feedback on cool / warm by using the Peltier heat pump. In this case, the user input device may be provided with a hardware module such as a Peltier heat pump to provide the user with cool / warm feeling according to user's content manipulation. However, in order to provide cool / warm feeling to the user, But may include various means for providing cooling / warming, not limited to hardware modules.
다시 도 1을 참조하면, 실시예에 따라 사용자 입력 장치는 입력 면에 사용자로부터 접촉되는 접촉 정보를 측정하는 제1 센서(110), 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서(130) 및 접촉 정보 및 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부(150)를 포함할 수 있다. Referring again to FIG. 1, according to an embodiment, a user input device includes a
제1 센서(110)를 통하여 측정되는 접촉 정보는 사용자 입력 장치에 대한 사용자의 접촉 여부 및 변화되는 접촉 좌표 중 어느 하나 이상을 포함할 수 있다.The contact information measured through the
신호 처리부(150)는 제2 센서(130)를 통하여 측정된 자세 운동 정보로부터 조작하고자 하는 컨텐츠의 3차원 상의 면을 선택하고, 제1 센서(110)를 통하여 측정된 접촉 정보를 선택된 면에 투사하여 새로운 3차원 상의 정보를 생성할 수 있으며, 상기 선택된 면과 새로운 3차원 상의 정보를 이용하여 컨텐츠의 이동 또는 회전 관련 속성을 변화시킬 수 있다.
The
도 4는 접촉 움직임을 이용한 사용자 입력 장치의 예를 도시한 도면이다.4 is a diagram showing an example of a user input device using contact movement.
도 4를 참조하면, 사용자 입력 장치는 접촉 움직임을 측정하고, 측정된 접촉 움직임을 입력으로 사용하는 접촉 센서를 포함하는 제1 센서(410)와, 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서(420)를 포함할 수 있다. Referring to Figure 4, the user input device includes a
사용자 입력 장치의 제1 센서(410)는 접촉 여부 또는 접촉 좌표의 변화를 감지할 수 있는 모든 센서를 포함할 수 있다. 예를 들어, 제1 센서(410)는 저항값, 정전량, 전압, 광 파장 또는 온도와 같은 물리적 상태의 변화에 따라, 그 변화되는 정도를 측정할 수 있는 모든 센서를 포함할 수 있고, 접촉 측정 요소(센서)가 어레이(array) 형태로 결합된 하나 이상의 센서를 포함할 수도 있다. The
이하에서는 사용자 입력 장치의 제1 센서가 접촉 센서임을 가정하고, 접촉 정보를 측정하는 방법을 설명하도록 한다.Hereinafter, a method of measuring contact information on the assumption that the first sensor of the user input device is a contact sensor will be described.
제1 센서인 접촉 센서는 접촉 가능한(touchable) 면적, 해상도(resolution) 및 센서의 종류에 따라 다양하게 구현될 수 있고, 접촉 좌표, 좌표 이동 방향 및 미리 정해진 제스처 입력 여부 등의 정보를 산출할 수 있으며, 센서의 종류에 따라서는 접촉 강도나 근접 정도를 감지할 수도 있다. The contact sensor, which is the first sensor, can be variously implemented according to the touchable area, the resolution and the type of the sensor, and can calculate information such as contact coordinates, coordinate movement direction, and predetermined gesture input Depending on the type of sensor, contact strength or proximity may be detected.
예를 들어, 접촉 센서는 센서의 출력으로부터 접촉 좌표 이동 방향을 산출하여 산출된 접촉 좌표 이동 방향을 접촉 정보로 직접 이용하거나, 산출된 값을 이용해 미리 정의된 방향으로 구분하여 접촉 정보로서 사용할 수도 있다. For example, the contact sensor may use the contact coordinate movement direction calculated by calculating the contact coordinate movement direction from the output of the sensor directly as contact information, or may use the calculated value to divide the contact coordinate movement in a predefined direction and use the contact information as contact information .
접촉 센서는 각도(degree) 또는 라디안(rad)과 같은 단위로 표현되거나, 상하좌우, 4방위, 8방위 또는 12시와 같이 표현되는 접촉 좌표 이동 방향을 산출할 수 있다.. 또한, 접촉 센서는 가벼운 탭(light tap) 또는 긴 탭(long tap)과 같이 수평 방향 정보와 구분할 수 있는 수직 방향에 대한 제스처를 접촉 정보로 산출할 수 있다.The contact sensor can be expressed in units such as degrees or radians, or it can calculate the contact coordinate movement directions expressed as vertically, horizontally, horizontally, 4-direction, 8-direction or 12-o'clock. A gesture with respect to a vertical direction that can be distinguished from horizontal direction information such as a light tap or a long tap can be calculated as contact information.
다른 예로, 접촉 센서는 센서의 종류에 따라 누르는 강도를 접촉 정보로 사용할 수도 있고, 센서의 출력으로부터 접촉이 지속되는 시간을 산출하여, 산출된 지속 시간을 입력의 크기로 이용하여 접촉 정보로 산출할 수 있다. 예를 들어, 접촉 센서는 접촉이 지속되는 시간을 초(second)와 같이 시간을 나타내는 물리적인 단위로 표현되거나, 짧음(short), 김(long) 또는 1~3과 같은 레벨로 상대적인 정도로 표현되는 접촉 정보를 산출할 수 있다.As another example, the contact sensor may use the intensity of pressing according to the type of the sensor as contact information, calculate the time duration of contact from the output of the sensor, and calculate the contact duration using the calculated duration as the contact size . For example, a contact sensor may be represented as a physical unit of time, such as seconds, in which a contact lasts for a second, or as a relative short relative to a level such as a long or 1 to 3 The contact information can be calculated.
사용자 입력 장치는 제1 센서(410)로부터 측정되는 접촉 정보 및 제2 센서로(420)로부터 측정되는 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성할 수 있다.
The user input device may generate the content control signal by combining the contact information measured from the
다시 도 1을 참조하면, 실시예에 따라 사용자 입력 장치는 방향 입력 정보를 측정하는 제1 센서(110), 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서(130), 및 접촉 정보와 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부(150)를 포함할 수 있다.1, the user input device includes a
제1 센서(110)는 기설정된 방향 입력을 위한 단일 키를 하나 이상 포함할 수도 있고, 상기 하나 이상의 단일 키에 의하여 연속적인 방향 입력 정보를 수신할 수도 있다.The
신호 처리부(150)는 상기 자세 운동 정보로부터 상기 컨텐츠의 3차원 상의 면을 선택할 수 있고, 상기 방향 입력 정보를 상기 면에 투사하여 새로운 3차원 상의 정보를 생성할 수 있다.
The
도 5는 방향 키를 이용한 사용자 입력 장치의 예를 도시한 도면이다.5 is a diagram showing an example of a user input device using a direction key.
사용자 입력 장치는 방향 키를 제1 센서(510)로 포함할 수 있다. 도 5 에 도시된 바와 같이 제1 센서(510)는 기 설정된 방향, 예를 들어, 4 방향 키, 8 방향 키 또는 연속적인 각도의 방향 키에 대한 입력 정보가 수신되면, 입력 정보가 수신되는 방향 키의 키 조작을 센싱 할 수 있는 모든 센서를 포함할 수 있다.The user input device may include a directional key as the
아래에서는 일측에 따른 사용자 입력 장치의 제1 센서가 방향 키임을 가정하고, 방향 입력 정보를 측정하는 방법을 설명하도록 한다.Hereinafter, a method for measuring the direction input information will be described assuming that the first sensor of the user input device according to one side is a direction key.
제1 센서의 방향 키는 키(key, button)의 개수, 키의 배치, 키의 입력 방식 등에 의해 다양하게 구현될 수 있다. 예를 들어, 방향 키는 특정한 한 방향의 입력이 되도록 지정되도록 위, 아래, 좌, 우 등 여러 방향의 키가 각각 구분되어 눌릴 수 있게 구현될 수 있고, 하나의 키가 여러 방향의 입력을 받도록 구현되어, 눌려진 위치나, 눌려진 상태에서의 기울기 등에 의해 방향 정보를 수신할 수도 있다. 또한, 제1 센서는 방향 키를 통하여 수평적인 방향에 대한 입력 이외에도 수직 방향으로 가해지는 입력을 수신할 수도 있다.The direction keys of the first sensor can be variously implemented by the number of keys, buttons, arrangement of keys, input method of keys, and the like. For example, the direction key may be implemented so that keys in various directions, such as up, down, left, right, etc., are pressed to be designated as a specific one direction input, And the direction information can be received by the depressed position, the inclination in the depressed state, or the like. The first sensor may also receive inputs applied in the vertical direction in addition to the input in the horizontal direction through the directional keys.
사용자 입력 장치는 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서(520)을 포함할 수 있으며, 제1 센서(510)로부터 측정되는 방향 입력 정보 및 제2 센서(520)로부터 측정되는 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성할 수 있다.
The user input device may include a
도 6은 볼을 이용한 사용자 입력 장치의 예를 도시한 도면이다.6 is a diagram showing an example of a user input device using a ball.
도 6을 참조하면, 일측에 따른 사용자 입력 장치는 구르거나 돌리는 방식의 볼 센서를 제1 센서(610)로 적용할 수 있다. 제1 센서(610)는 롤링 요소(rolling element)에 의하여 회전하는 정도를 감지하는 모든 센서를 포함할 수 있다. 제1 센서(610)는 롤링 요소를 구속하고 있는 탄성체의 변화율을 측정하거나, 롤링 요소의 회전을 카운트(count)하여 회전한 정도를 측정할 수 있다.Referring to FIG. 6, the user input device according to one side may be applied with a ball sensor of a roll or turn type as the
사용자 입력 장치는 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서(620)을 포함할 수 있으며, 제1 센서(610)로부터 측정되는 방향 입력 정보(회전 정도) 및 제2 센서(520)로부터 측정되는 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성할 수 있다.
The user input device may include a
도 7은 제1 센서인 힘 센서의 구조를 도시한 도면이다.7 is a view showing a structure of a force sensor which is a first sensor.
도 7을 참조하면, 제1 센서는 힘 센서를 포함할 수 있고, 제1 센서는 사용자의 힘 정보를 측정하는 센서(710), 사용자가 접촉하는 접촉부(720) 및 센서(710)에 전달되는 압력을 지지하기 위한 지지부(730)를 포함할 수 있다.
7, the first sensor may include a force sensor, which may include a
도 8은 제1 센서인 접촉 센서의 구조를 도시한 도면이다.8 is a view showing a structure of a touch sensor which is a first sensor.
도 8을 참조하면, 제1 센서는 접촉 센서(820)를 포함할 수 있고, 인공 피부나 터치 스크린처럼 접촉면 자체에서 입력을 센싱하도록 구현될 수 있으며, 지지대(810)에 의해 고정될 수 있다.
8, the first sensor may include a
도 9는 수평 방향 힘과 자세를 이용한 컨텐츠 제어 기능을 수행하는 방법을 도시한 흐름도이다.9 is a flowchart illustrating a method of performing a content control function using horizontal force and posture.
도 9를 참조하면, 사용자 입력 장치는 평면 입력 정보와 자세 동작 정보를 이용하여 컨텐츠 제어 신호를 생성하고, 생성된 컨텐츠 제어 신호를 이용하여 컨텐츠를 제어할 수 있다.Referring to FIG. 9, the user input device may generate content control signals using the plane input information and the posture motion information, and may control the content using the generated content control signals.
사용자 입력 장치는 입력 모드가 실행되면(910), 센서 신호를 모니터링 할 수 있다(920). 또한, 사용자 입력 장치는 힘 입력이 발생하였는지 여부를 판단하고(930), 힘 입력이 발생한 경우 힘 및 기울기를 측정할 수 있다(940).The user input device may monitor the sensor signal (920) when the input mode is executed (910). In addition, the user input device may determine 940 whether a force input has occurred, and may measure the force and tilt when a force input occurs (940).
사용자 입력 장치는 힘 입력이 발생한 경우, 힘 입력의 수평 힘이 유효 범위에 포함되는지 여부를 판단하고(950), 측정된 수평 힘의 크기가 충분히 큰 경우(수평 힘의 크기가 유효범위인 경우), 힘 입력을 기울기에 따른 변환을 거쳐 3차원 공간상의 벡터로 입력 값을 변환할 수 있다. 예를 들어, 사용자 입력 장치는 힘 입력 값을 기울기에 맞게 변환하고(960), 변환된 입력을 이용하여 컨텐츠를 조작 및 제어할 수 있다(970).The user input device determines 950 whether the horizontal force of the force input is included in the effective range when a force input occurs, and if the magnitude of the measured horizontal force is sufficiently large (when the magnitude of the horizontal force is in the effective range) , The input value can be converted to a vector on the three-dimensional space through the transformation according to the inclination of the force input. For example, the user input device may convert the force input value to a slope (960) and manipulate and control the content using the transformed input (970).
사용자 입력 장치는 수직 힘이 유효 범위에 포함되는지 여부를 판단하고(980), 수직 힘의 크기가 충분히 크거나 입력이 유의미하면 수직 입력에 따라 컨텐츠 제어 기능을 수행할 수 있다(990).
The user input device may determine 990 whether the vertical force is included in the effective range, and perform the content control function according to the vertical input if the size of the vertical force is sufficiently large or the input is significant (990).
도 10은 수평 방향 접촉 좌표 이동과 자세를 이용한 컨텐츠 제어 기능을 수행하는 방법을 도시한 흐름도이다.FIG. 10 is a flowchart illustrating a method of performing a content control function using a horizontal direction coordinate movement and a posture.
도 10을 참조하면, 사용자 입력 장치는 평면 입력 정보와 자세 동작 정보를 이용하여 컨텐츠 제어 신호를 생성하고, 생성된 컨텐츠 제어 신호를 이용하여 컨텐츠를 제어할 수 있다.Referring to FIG. 10, the user input device generates a content control signal using the plane input information and the posture motion information, and controls the content using the generated content control signal.
사용자 입력 장치는 입력 모드가 실행되면(1010), 센서 신호를 모니터링 할 수 있다(1020). 또한, 사용자 입력 장치는 터치 입력이 발생하였는지 여부를 판단하고(1030), 터치 입력이 발생한 경우 터치 제스처 및 기울기를 측정할 수 있다(1040).The user input device may monitor the sensor signal (1020) when the input mode is executed (1010). In addition, the user input device may determine whether a touch input has occurred (1030), and may measure a touch gesture and a tilt when a touch input occurs (1040).
사용자 입력 장치는 수평 좌표 이동이 유효 범위에 포함되는지 여부를 판단하고(1050), 측정된 수평 좌표 이동이 유표 범위에 포함되는 경우, 터치 좌표 이동 값을 기울기에 맞게 변환하고(1060), 변환된 입력을 이용하여 컨텐츠를 조작 및 제어할 수 있다(1070).The user input device determines whether the horizontal coordinate movement is included in the valid range (1050), and if the measured horizontal coordinate movement is included in the range of the reference, the touch coordinate movement value is converted to the inclination (1060) Inputs may be used to manipulate and control content (1070).
사용자 입력 장치는 수평 좌표 이동이 유효 범위가 아닌 경우, 탭(Tap) 제스처로 판단하고, 탭(Tap) 제스처 인식 결과가 유효 범위에 포함되는지 여부를 판단한다1080). 사용자 입력 장치는 탭 제스처의 인식 결과가 유효한 경우 수직 입력에 따라 컨텐츠 제어 기능을 수행할 수 있다(1090). If the horizontal coordinate movement is not within the effective range, the user input device determines 1080 that the tap gesture recognition result is included in the valid range, and determines 1080 that the tap gesture recognition result is included in the valid range. If the recognition result of the tap gesture is valid, the user input device can perform the content control function according to the vertical input (1090).
또한, 사용자 입력 장치는 사전에 정의된 입력 패턴에 따라 선택 및 해제, 모드 변환 등의 사전에 정의된 기능을 위한 입력 값으로 상기 평면 입력 정보를 이용할 수 있다.Also, the user input device can use the plane input information as an input value for a predefined function such as selection and release, mode conversion, etc. according to a predefined input pattern.
사용자 입력 장치는 3차원 공간 상의 벡터로 입력을 생성할 수 있을 뿐만 아니라, 측정된 자세 동작 정보를 이용하여 3차원 가상 공간(virtual space)의 평면을 선택하고, 평면 입력 정보를 통하여 2차원으로 측정되는 입력의 방향 벡터(unit vector)를 선택된 평면에 투사하여 입력 값을 생성할 수 있다. The user input device not only can generate the input with the vector on the three-dimensional space, but also selects the plane of the virtual space using the measured posture motion information and measures it in two dimensions through the plane input information The input vector of the input may be projected onto the selected plane to generate an input value.
예를 들어, 사용자 입력 장치는 하기 수학식 1과 같이 2차원 수평입력 벡터([v])를 기울기(θ: Euler angle 또는 Quaternion)에 따른 변환(C(θ): Directional Cosine Transformation Matrix)을 거쳐 3차원 공간 상의 벡터([V])로 입력을 생성할 수 있다.For example, the user input device may transform a two-dimensional horizontal input vector ([v]) by a directional cosine transformation matrix C (θ) according to Euler angle or Quaternion An input can be generated with a vector ([V]) on the three-dimensional space.
[수학식 1][Equation 1]
도 11 및 도 12는 평면 입력 정보와 자세 동작 정보를 이용해 3차원 입력 벡터를 생성하는 예를 도시한 도면이다.11 and 12 illustrate examples of generating a three-dimensional input vector using plane input information and posture operation information.
도 11을 참조하면, 사용자 입력 장치는 기준 벡터(ref)를 방향 벡터(normal vector)로 하는 면과 평행한 자세를 취할 때, 자세 운동 정보를 제2 센서로부터 측정하여 상기 면을 선택하고, 장치 좌표계(body coordinate)에서 측정된 수평 방향의 평면 입력 벡터를 선택된 면에 표현할 수 있다.Referring to FIG. 11, when the user input device takes an attitude parallel to a plane having a reference vector ref as a normal vector, the user's input device measures the attitude motion information from the second sensor to select the plane, The plane input vector in the horizontal direction measured in the body coordinate system can be expressed on the selected plane.
사용자 입력 장치에 나타낸 화살표는 힘 입력의 방향(f), 터치입력의 좌표 이동, 방향 키를 통한 방향입력, 또는 롤러나 볼 형태로 입력된 방향의 정보 중 어느 하나일 수 있다.The arrow shown in the user input device may be any one of the direction (f) of the force input, the coordinate movement of the touch input, the direction input through the direction key, or the information of the direction input in the form of a roller or a ball.
도 12를 참조하면, 사용자 입력 장치는 기준 벡터(ref)를 방향 벡터 (normal vector)로 하는 면과 평행한 자세를 취할 때, 자세 운동 정보를 제2 센서로 측정하여 상기 면을 선택할 수 있다.Referring to FIG. 12, when the user input device takes an attitude parallel to the plane having the reference vector ref as a normal vector, the user can select the plane by measuring the attitude motion information with the second sensor.
장치 좌표(body coordinate)에서 측정된 수평 방향의 입력 벡터는 선택된 면 내에서 표현될 수 있으며, 수평 방향에서 2차원으로 측정되는 힘의 크기는 3차원 컨텐츠 를 표현하는 가상 공간에서의 벡터 크기와 맵핑(mapping)되고, 상기 맵핑 관계는 선형(linear)적이거나, 비선형(nonlinear)적 일 수 있다.
The input vector in the horizontal direction measured in the body coordinate can be expressed in the selected plane and the magnitude of the force measured in two dimensions in the horizontal direction can be expressed by the vector size in the virtual space representing the three- and the mapping relationship may be linear or nonlinear.
도 13은 평면 입력 정보와 자세 동작 정보를 이용하여 객체 또는 커서의 조작을 제어하는 방법을 도시한 흐름도이다.13 is a flowchart illustrating a method of controlling operations of an object or a cursor using plane input information and posture operation information.
도 13을 참조하면, 사용자 입력 장치는 제어 모드가 실행되면(1310), 이동 입력 모드 또는 회전 입력 모드 여부를 판단한다(1320, 1340).Referring to FIG. 13, when the control mode is executed (1310), the user input device determines whether it is a movement input mode or a rotation input mode (1320, 1340).
사용자 입력 장치는 이동 입력 모드인 지를 판단하여 이동 입력 모드인 경우, 사용자 입력의 크기 및 방향에 따라 객체 및 커서 이동을 수행할 수 있으며(1330), 이동 입력 모드가 아닌 경우, 회전 입력 모드 인지를 판단하고, 회전 입력 모드인 경우, 사용자 입력의 크기 및 방향에 따라 객체 및 커서에 대하여 회전을 수행할 수 있다(1350).
If the user input device is in the movement input mode, the object and cursor movement may be performed according to the size and direction of the user input (1330). If the user input device is not the movement input mode, In the case of the rotation input mode, rotation may be performed with respect to the object and the cursor according to the size and direction of the user input (1350).
사용자 입력 장치를 통하여 생성된 3차원 입력 벡터는 제어 모드에 따라 3차원 컨텐츠를 표현하는 가상 공간에서 평행 이동(translation) 운동과 관련한 물리량, 예를 들어, 위치(position), 속도(velocity), 또는 가속도(acceleration) 등으로 맵핑(mapping)될 수 있다. 또한, 생성된 3차원 입력 벡터는 회전(rotation) 운동과 관련한 물리량 예를 들어, 각위치(angular position), 각속도(angular velocity) 또는 각 가속도 벡터(angular acceleration vector) 으로 맵핑(mapping)될 수도 있다.
The three-dimensional input vector generated through the user input device may be a physical quantity related to a translation movement in a virtual space representing three-dimensional contents according to a control mode, for example, a position, a velocity, Acceleration, or the like. In addition, the generated three-dimensional input vector may be mapped to a physical quantity related to a rotation motion, for example, an angular position, an angular velocity, or an angular acceleration vector .
도 14 내지 도 16은 평면 입력 정보와 자세 동작 정보를 이용하여 커서를 이동하는 예를 도시한 도면이다.Figs. 14 to 16 are diagrams showing examples of moving a cursor using plane input information and orientation operation information. Fig.
도 14 내지 도 16을 참조하면, 사용자 입력 장치는 입력 값으로 생성된 3차원 입력 벡터를 3차원 대상, 커서, 또는 카메라의 좌표를 이동하는 값으로 이용할 수 있다.
Referring to FIGS. 14 to 16, the user input device can use a three-dimensional input vector generated as an input value as a value for moving coordinates of a three-dimensional object, a cursor, or a camera.
도 17 및 도 18은 평면 입력 정보와 자세 동작 정보를 이용하여 객체의 회전을 제어하는 예를 도시한 도면이다.17 and 18 are views showing an example of controlling the rotation of the object by using the plane input information and the posture operation information.
도 17 및 도 18을 참조하면, 사용자 입력 장치는 입력 값으로 생성된 3차원 입력 벡터를 객체의 회전 상태를 변경하는 제어에 이용할 수 있다. Referring to FIGS. 17 and 18, the user input device can use a three-dimensional input vector generated as an input value to control the rotation state of an object.
사용자 입력 장치는 사용자가 접촉한 면에서 수직으로 가하는 입력으로부터 입력의 강도와 시간을 측정하고, 상기 측정된 값을 이용하여 컨텐츠를 조작할 수 있다. 또한, 사용자 입력 장치는 측정된 힘이 특정 크기의 값을 넘는 경우, 버튼(button)과 같은 기능을 수행하거나, 힘의 크기에 따라 어떤 제어 값을 변동할 수도 있다.The user input device can measure the intensity and time of the input from the input vertically on the contact surface of the user and manipulate the content using the measured value. In addition, the user input device may perform the same function as the button when the measured force exceeds a certain size value, or may vary a certain control value according to the magnitude of the force.
사용자 입력 장치는 힘이 지속되는 시간이나 연속 입력하는 패턴을 인식하여 특정 기능을 수행할 수도 있으며, 예를 들어, 미리 정해놓은 유효 범위보다 큰 수직력이 측정되면, 현재 커서가 위치한 객체를 선택할 수 있다.The user input device may perform a specific function by recognizing the duration of the force or the continuous input pattern. For example, if the vertical force greater than the predetermined effective range is measured, the user can select the object where the cursor is currently located .
사용자 입력 장치는 수직력의 크기로 객체가 이동하는 속도 벡터(velocity vector)의 크기를 모듈레이션(modulation)할 수 있으며, 커서의 색, 크기 등을 변화시켜 보여줄 수도 있다. 또한, 사용자 입력 장치는 두 번 연속으로 짧게 수직 방향으로 힘을 가하면 네비게이션 모드(navigation mode)에서 시스템 메뉴(system menu) 선택 모드로 변환시킬 수도 있으며, 시스템 메뉴 선택 모드에서 네비게이션 모드로 변환을 할 수도 있다.The user input device can modulate the magnitude of the velocity vector through which the object moves with the magnitude of the vertical force, and can change the color and size of the cursor. In addition, the user input device can be switched from navigation mode to system menu selection mode, or from system menu selection mode to navigation mode, by applying a force in a short vertical direction twice in succession have.
사용자 입력 장치는 접촉 센서를 통하여 힘의 방향, 크기, 지속 시간과 더불어 힘이 작용하고 있는 지점을 검출 할 수도 있다. The user input device may detect the point where the force is applied, along with the direction, magnitude and duration of the force through the contact sensor.
사용자 입력 장치는 평면 입력 정보와 자세 동작 정보를 이용하여 컨텐츠 제어 신호를 생성하고, 상기 컨텐츠 제어 신호를 이용하여 3차원 컨텐츠를 제어함에 따른 피드백(feedback)을 제공할 수 있다.The user input device generates a content control signal using the plane input information and the posture motion information, and provides feedback according to controlling the three-dimensional content using the content control signal.
사용자 입력 장치는 오디오 피드백, 햅틱 피드백 또는 비주얼 피드백 중 어느 하나 이상을 사용자에게 제공할 수 있다. The user input device may provide the user with at least one of audio feedback, haptic feedback, or visual feedback.
예를 들어, 사용자 입력 장치는 사용자의 입력에 의해 객체를 이동 또는 회전키는 경우, 객체 또는 객체가 놓인 가상 공간의 속성에 따라 관성, 점성, 탄성, 색깔, 온도, 거칠기, 마찰, 워핑(warping), 깨짐, 부러짐, 휨 등의 효과를 제공할 수 있다. 또한, 사용자 입력 장치는 전술한 피드백 구현을 그래픽 요소로 구현할 수도 있고, 특정 음색 또는 음고의 소리로 구현하여 표현할 수도 있으며, 힘, 압력의 분포, 진동 또는 진동의 흐름 등으로 표현할 수 있다. For example, when a user moves or rotates an object by a user's input, the user input device displays inertia, viscosity, elasticity, color, temperature, roughness, friction, warping ), Cracks, breaks, warpage, and the like. In addition, the user input device may implement the feedback implementation described above as a graphic element, or may be implemented as a sound of a specific tone or tone, or may be expressed as a force, a pressure distribution, a vibration, or a vibration flow.
또한, 사용자 입력 장치는 정전기력 액추에이터 또는 펠티에 히트 펌프를 구비하여 촉각 피드백을 사용자에게 제공할 수 있다. 예를 들어, 사용자 입력 장치는 전술한 바 있는 정전기력 액추에이터과 같은 수단(모듈)을 이용하여 사용자 입력 장치의 힘이 입력되는 부분에서의 촉각 피드백을 사용자에게 제공할 수 있고, 전술한 바 있는 펠티에 히트 펌프와 같은 수단(모듈)을 이용하여 냉/온감에 대한 촉각 피드백을 사용자에게 제공할 수 있다.In addition, the user input device may include an electrostatic actuator or a Peltier heat pump to provide tactile feedback to the user. For example, the user input device can provide the user with tactile feedback at the input of the force of the user input device using the above-described means (module) such as the electrostatic actuator, and the Peltier heat pump To provide tactile feedback on the cool / warm feeling to the user using the same means (module).
예를 들어, 실시예에 따른 사용자 입력 장치를 통하여 사용자가 3D 공간에서 날고 있는 비행기 객체를 조작한다고 가정할 경우, 상기 비행기 객체에 대한 조작으로 상기 비행기 객체가 3D 공간의 바다와 접촉이 되면, 사용자 입력 장치는 상기 접촉으로 인한 차가운 느낌의 햅틱 피드백을 사용자에게 제공하고, 비행기 객체가 활주로로 착륙하는 경우, 버튼감, 충돌감 또는 진동감과 같은 착륙으로 인한 접촉감을 사용자에게 제공할 수 있다.
For example, if it is assumed that a user manipulates an airplane object flying in a 3D space through a user input device according to an embodiment, when the airplane object comes into contact with the sea in the 3D space in response to the operation on the airplane object, The input device provides the user with a feeling of cold feeling due to the contact, and can provide the user with a sense of touch due to a landing such as a button sensation, a crash sensation or a vibration sensation when the airplane object lands on the runway.
도 19는 사용자 입력 방법의 일예를 도시한 흐름도이다.19 is a flowchart showing an example of a user input method.
도 19를 참조하면, 사용자 입력 장치는 제1 센서를 이용하여 사용자 입력 장치에 평면적으로 입력되는 평면 입력 정보를 측정하고(1910), 제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정할 수 있다(1920).19, the user input device measures (1910) plane input information that is input to the user input device in a planar manner using the
사용자 입력 장치는 측정된 평면 입력 정보 및 측정된 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하고(1930), 생성된 컨텐츠 제어 신호에 의하여 컨텐츠가 변화됨을 인지하도록 사용자에게 피드백을 제공할 수 있다(1940).
The user input device generates the content control signal by combining the measured plane input information and the measured posture motion information (1930), and provides feedback to the user to recognize that the content is changed by the generated content control signal ( 1940).
도 20은 사용자 입력 방법의 다른 예를 도시한 흐름도이다.20 is a flowchart showing another example of the user input method.
도 20을 참조하면, 사용자 입력 장치는 제1 센서를 이용하여 사용자 입력 장치의 입력 면에 작용하는 힘 정보를 측정하고(2010), 제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정할 수 있다(2020).Referring to FIG. 20, the user input device measures force information acting on the input surface of the user input device using the first sensor (2010), and uses the second sensor to measure the posture or rotational motion of the user input device The postural motion information input according to the related physical quantity can be measured (2020).
사용자 입력 장치는 측정된 힘 정보 및 측정된 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성할 수 있다(2030).
The user input device may generate the content control signal by combining the measured force information and the measured posture motion information (2030).
도 21은 사용자 입력 방법의 또 다른 예를 도시한 흐름도이다.21 is a flowchart showing another example of a user input method.
도 21을 참조하면, 사용자 입력 장치는 제1 센서를 이용하여 사용자 입력 장치의 입력 면에 사용자로부터 접촉되는 접촉 정보를 측정하고(2110), 제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정할 수 있다(2120).Referring to FIG. 21, the user input device measures (2110) contact information that is in contact with a user from an input surface of a user input device using a first sensor, And the posture motion information input according to the physical quantity related to the motion can be measured (2120).
사용자 입력 장치는 측정된 접촉 정보 및 측정된 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성할 수 있다(2130).
The user input device may generate the content control signal by combining the measured contact information and the measured posture motion information (2130).
도 22는 사용자 입력 방법의 또 다른 예를 도시한 흐름도이다.22 is a flowchart showing another example of the user input method.
도 22를 참조하면, 사용자 입력 장치는 제1 센서를 이용하여 방향 입력 정보를 측정하고(2210), 제2 센서를 이용하여 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정할 수 있다(2220).Referring to FIG. 22, the user input device measures direction input information using a
사용자 입력 장치는 측정된 방향 입력 정보 및 측정된 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성한다(2230). 예를 들어, 전술한 사용자 입력 방법을 통하여 사용자가 장치에 가하는 평면적인 입력과 사용자 입력 장치의 기울기 정도를 측정하고, 이를 3차원의 입력 정보로 이용할 수 있다.The user input device generates the content control signal by combining the measured direction input information and the measured posture motion information (2230). For example, it is possible to measure the degree of inclination of the user input device and the planar input applied by the user to the device through the user input method described above, and use the measured input information as the three-dimensional input information.
사용자 입력 장치는 기존 방식의 사용자 입력 장치와 결합하여 다양한 사용자 입력으로 구현될 수 있다.The user input device may be implemented with various user inputs in combination with a conventional user input device.
예를 들어, 사용자 입력 장치는 사용자가 장치에 가하는 평면적인 입력의 크기와 방향을 측정하고, 사용자 입력 장치 내의 기울기 측정 센서로부터 장치의 기울기를 측정함으로써, 사용자의 양손 사용이나 거치구조 없이 3차원 컨텐츠 제어를 위한 입력 정보를 측정할 수 있다. For example, the user input device measures the size and direction of a planar input that a user applies to the device and measures the tilt of the device from a tilt measurement sensor within the user input device, The input information for the control can be measured.
사용자 입력 장치는 장치에 가하는 평면적인 입력과, 장치의 기울기 정보를 입력으로 하여 3차원 표시부에 보여지는 컨텐츠를 조작함으로써, 직관적이고 편리한 사용자 입력이 가능하다.The user input device is capable of intuitive and convenient user input by manipulating the contents displayed on the three-dimensional display section by inputting the planar input to the device and the tilt information of the device.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
110: 제1 센서
120: 입력 벡터 계산부
130: 제2 센서
140: 자세 계산부
150: 신호 처리부
151: 입력 생성부
152: 객체 제어부
160: 표시부
170: 피드백 구현부110: first sensor 120: input vector calculation unit
130: second sensor 140: posture calculation unit
150: signal processor 151: input generator
152: object control unit 160: display unit
170: Feedback Implementation Unit
Claims (30)
상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서; 및
상기 평면 입력 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부
를 포함하는 사용자 입력 장치.
A first sensor for measuring plane input information that is input in a plane to a user input device;
A second sensor for measuring attitude motion information input according to a physical quantity related to the attitude or rotational motion of the user input device; And
A signal processing unit for generating a content control signal by combining the plane input information and the posture motion information,
. ≪ / RTI >
상기 평면 입력 정보는,
상기 사용자 입력 장치의 접촉면에 대한 수직 정보 또는 상기 접촉면에 대한 수평 정보를 포함하는 사용자 입력 장치.
The method according to claim 1,
The plane input information includes:
Wherein the user input device comprises vertical information about a contact surface of the user input device or horizontal information about the contact surface.
상기 자세 운동 정보는,
지자기, 기울기, 각속도, 방위각, 중력 및 가속도 중 어느 하나 이상을 포함하는 사용자 입력 장치.
The method according to claim 1,
The posture motion information includes:
A user input device including at least one of geomagnetism, tilt, angular velocity, azimuth, gravity, and acceleration.
상기 신호 처리부는,
상기 자세 운동 정보로부터 상기 컨텐츠의 3차원 상의 면을 선택하고, 상기 평면 입력 정보를 상기 면에 투사하여 새로운 3차원 상의 정보를 생성하는 사용자 입력 장치.
The method according to claim 1,
The signal processing unit,
Wherein the three-dimensional plane of the content is selected from the posture motion information, and the plane input information is projected onto the plane to generate new three-dimensional information.
상기 신호 처리부는,
상기 선택된 면과 상기 새로운 3차원 상의 정보를 이용하여 상기 컨텐츠의 이동 또는 회전 관련 속성을 변화시키는 사용자 입력 장치.
5. The method of claim 4,
The signal processing unit,
And changes the movement or rotation related property of the content using the selected face and the new three-dimensional information.
상기 컨텐츠 제어 신호를 기반으로 컨텐츠를 표시하는 표시부
를 더 포함하는 사용자 입력 장치.
The method according to claim 1,
A display unit for displaying contents based on the content control signal,
Further comprising:
상기 컨텐츠 제어 신호에 의하여 컨텐츠가 변화됨을 인지하도록 사용자에게 피드백을 제공하는 피드백 구현부
를 더 포함하는 사용자 입력 장치.
The method according to claim 1,
A feedback implementation unit for providing feedback to a user to recognize that the content is changed by the content control signal,
Further comprising:
상기 피드백은,
오디오 피드백(audio feedback), 햅틱 피드백(haptic feedback) 또는 비주얼 피드백(visual feedback) 중 어느 하나 이상을 포함하는 사용자 입력 장치.
8. The method of claim 7,
The feedback,
Wherein the user input comprises at least one of audio feedback, haptic feedback, or visual feedback.
상기 햅틱 피드백을 구현하는데 있어,
상기 피드백 구현부는,
상기 사용자 입력 장치에 힘을 전달하는 힘 전달부, 상기 사용자 입력 장치에 압력 분포를 표현하는 촉감 표시부, 상기 사용자 입력 장치를 진동하는 하나 이상의 진동부, 및 상기 사용자에게 촉감에 의한 자극을 제공하는 자극 전달부 중 어느 하나 이상을 포함하는 사용자 입력 장치.
9. The method of claim 8,
In implementing the haptic feedback,
The feedback implementer includes:
A tactile display unit for expressing a pressure distribution in the user input device, at least one vibration unit for vibrating the user input device, and a stimulus for providing tactile stimulation to the user, And a transfer unit.
상기 자극 전달부는
정전기력을 이용한 자극, 온도차를 이용한 냉감 또는 온감 자극, 공기 흡입력을 이용한 자극 및 전극 접촉을 이용한 자극 중 어느 하나 이상의 자극을 전달하는 사용자 입력 장치.
10. The method of claim 9,
The stimulus-
A user input device for transmitting at least one stimulus selected from the group consisting of stimulation using electrostatic force, cold sensation using temperature difference, warm stimulation, stimulation using air suction force, and stimulation using electrode contact.
상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서; 및
상기 힘 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부
를 포함하는 사용자 입력 장치.
A first sensor for measuring force information acting on an input surface of a user input device;
A second sensor for measuring attitude motion information input according to a physical quantity related to the attitude or rotational motion of the user input device; And
A signal processing unit for generating a content control signal by combining the force information and the posture motion information,
. ≪ / RTI >
상기 힘 정보가 입력되는 힘의 작용점의 위치를 검출하는 검출부
를 더 포함하는 사용자 입력 장치.
12. The method of claim 11,
A detector for detecting the position of a point of action of the force to which the force information is input;
Further comprising:
상기 신호 처리부는,
상기 자세 운동 정보로부터 상기 컨텐츠의 3차원 상의 면을 선택하고, 상기 힘 정보를 상기 면에 투사하여 새로운 3차원 상의 정보를 생성하는 사용자 입력 장치.
12. The method of claim 11,
The signal processing unit,
Wherein the controller is configured to select three-dimensional surfaces of the contents from the posture motion information, and project the force information onto the surface to generate new three-dimensional information.
상기 신호 처리부는,
상기 선택된 면과 상기 새로운 3차원 상의 정보를 이용하여 상기 컨텐츠의 이동 또는 회전 관련 속성을 변화시키는 사용자 입력 장치.
14. The method of claim 13,
The signal processing unit,
And changes the movement or rotation related property of the content using the selected face and the new three-dimensional information.
상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서; 및
상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부
를 포함하는 사용자 입력 장치.
A first sensor for measuring contact information in contact with a user on an input surface of the user input device;
A second sensor for measuring attitude motion information input according to a physical quantity related to the attitude or rotational motion of the user input device; And
A signal processing unit for generating a content control signal by combining the contact information and the posture motion information,
. ≪ / RTI >
상기 접촉 정보는,
상기 사용자 입력 장치에 대한 사용자의 접촉 여부 또는 변화되는 접촉 좌표를 포함하는 사용자 입력 장치.
16. The method of claim 15,
The contact information includes:
Wherein the user input device includes a user's contact with the user input device or a contact coordinate that is changed.
상기 신호 처리부는,
상기 자세 운동 정보로부터 상기 컨텐츠의 3차원 상의 면을 선택하고, 상기 접촉 정보를 상기 면에 투사하여 새로운 3차원 상의 정보를 생성하는 사용자 입력 장치.
16. The method of claim 15,
The signal processing unit,
Wherein the three-dimensional surface of the content is selected from the posture motion information, and the contact information is projected on the surface to generate new three-dimensional information.
상기 신호 처리부는,
상기 선택된 면과 상기 새로운 3차원 상의 정보를 이용하여 상기 컨텐츠의 이동 또는 회전 관련 속성을 변화시키는 사용자 입력 장치.
18. The method of claim 17,
The signal processing unit,
And changes the movement or rotation related property of the content using the selected face and the new three-dimensional information.
사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 제2 센서; 및
상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 신호 처리부
를 포함하는 사용자 입력 장치.
A first sensor for measuring direction input information;
A second sensor for measuring postural motion information inputted according to a physical quantity related to a posture or a rotational motion of the user input device; And
A signal processing unit for generating a content control signal by combining the contact information and the posture motion information,
. ≪ / RTI >
상기 제1 센서는,
기설정된 방향 입력을 위한 단일 키를 하나 이상 포함하고,
상기 하나 이상의 단일 키에 의하여 연속적인 방향 입력 정보를 수신하는 사용자 입력 장치.
20. The method of claim 19,
Wherein the first sensor comprises:
And at least one single key for a predetermined direction input,
And receives continuous direction input information by the one or more single keys.
상기 신호 처리부는,
상기 자세 운동 정보로부터 상기 컨텐츠의 3차원 상의 면을 선택하고, 상기 방향 입력 정보를 상기 면에 투사하여 새로운 3차원 상의 정보를 생성하는 사용자 입력 장치.
20. The method of claim 19,
The signal processing unit,
Dimensional plane of the content from the posture motion information, and projecting the direction input information onto the surface to generate new three-dimensional information.
상기 신호 처리부는,
상기 선택된 면과 상기 새로운 3차원 상의 정보를 이용하여 상기 컨텐츠의 이동 또는 회전 관련 속성을 변화시키는 사용자 입력 장치.
22. The method of claim 21,
The signal processing unit,
And changes the movement or rotation related property of the content using the selected face and the new three-dimensional information.
제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계; 및
상기 평면 입력 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계
를 포함하는 사용자 입력 방법.
Measuring plane input information that is input in a plane to a user input device using a first sensor;
Measuring postural motion information input according to a physical quantity related to a posture or a rotational motion of the user input device using a second sensor; And
Generating a content control signal by combining the plane input information and the posture motion information
Lt; / RTI >
상기 컨텐츠 제어 신호를 생성하는 단계는,
상기 자세 운동 정보로부터 상기 컨텐츠의 3차원 상의 면을 선택하는 단계; 및
상기 평면 입력 정보를 상기 면에 투사하여 새로운 3차원 상의 정보를 생성하는 단계
를 포함하는 사용자 입력 방법.
24. The method of claim 23,
Wherein the step of generating the content control signal comprises:
Selecting a three-dimensional surface of the content from the posture motion information; And
Projecting the plane input information onto the surface to generate new three-dimensional information
Lt; / RTI >
상기 컨텐츠 제어 신호를 생성하는 단계는,
상기 선택된 면과 상기 새로운 3차원 상의 정보를 이용하여 상기 컨텐츠의 이동 또는 회전 관련 속성을 변화시키는 단계
를 더 포함하는 사용자 입력 방법.
25. The method of claim 24,
Wherein the step of generating the content control signal comprises:
Changing the movement or rotation related attribute of the content using the selected face and the new three-dimensional information
Lt; / RTI >
상기 컨텐츠 제어 신호에 의하여 컨텐츠가 변화됨을 인지하도록 사용자에게 피드백을 제공하는 단계
를 더 포함하는 사용자 입력 방법.
24. The method of claim 23,
Providing feedback to the user to recognize that the content is changed by the content control signal
Lt; / RTI >
제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계; 및
상기 힘 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계
를 포함하는 사용자 입력 방법.
Measuring force information acting on an input surface of a user input device using a first sensor;
Measuring postural motion information input according to a physical quantity related to a posture or a rotational motion of the user input device using a second sensor; And
Generating the content control signal by combining the force information and the posture motion information
Lt; / RTI >
제2 센서를 이용하여 상기 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계; 및
상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계
를 포함하는 사용자 입력 방법.
Measuring contact information in contact with a user on an input surface of the user input device using a first sensor;
Measuring postural motion information input according to a physical quantity related to a posture or a rotational motion of the user input device using a second sensor; And
Generating the content control signal by combining the contact information and the posture motion information
Lt; / RTI >
제2 센서를 이용하여 사용자 입력 장치의 자세 또는 회전 운동과 관련된 물리량에 따라 입력되는 자세 운동 정보를 측정하는 단계; 및
상기 접촉 정보 및 상기 자세 운동 정보를 조합하여 컨텐츠 제어 신호를 생성하는 단계
를 포함하는 사용자 입력 방법.
Measuring direction input information using a first sensor;
Measuring postural motion information input according to a physical quantity related to a posture or a rotational motion of a user input device using a second sensor; And
Generating the content control signal by combining the contact information and the posture motion information
Lt; / RTI >
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/895,649 US9244549B2 (en) | 2012-06-28 | 2013-05-16 | Apparatus and method for user input |
| US15/003,100 US9495035B2 (en) | 2012-06-28 | 2016-01-21 | Apparatus and method for user input |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120070287 | 2012-06-28 | ||
| KR1020120070287 | 2012-06-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150129093A true KR20150129093A (en) | 2015-11-19 |
| KR101996232B1 KR101996232B1 (en) | 2019-07-08 |
Family
ID=54843279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120157834A KR101996232B1 (en) | 2012-06-28 | 2012-12-31 | Apparatus and method for user input |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101996232B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070102567A (en) * | 2005-02-24 | 2007-10-18 | 노키아 코포레이션 | Motion-input device for a computing terminal and method of its operation |
| KR20110044391A (en) * | 2009-10-23 | 2011-04-29 | 삼성전자주식회사 | Apparatus and method for input |
-
2012
- 2012-12-31 KR KR1020120157834A patent/KR101996232B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070102567A (en) * | 2005-02-24 | 2007-10-18 | 노키아 코포레이션 | Motion-input device for a computing terminal and method of its operation |
| KR20110044391A (en) * | 2009-10-23 | 2011-04-29 | 삼성전자주식회사 | Apparatus and method for input |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101996232B1 (en) | 2019-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9495035B2 (en) | Apparatus and method for user input | |
| US11221730B2 (en) | Input device for VR/AR applications | |
| EP3602256B1 (en) | Virtual reality / augmented reality handheld controller sensing | |
| KR101666096B1 (en) | System and method for enhanced gesture-based interaction | |
| US20190369752A1 (en) | Styluses, head-mounted display systems, and related methods | |
| US7683883B2 (en) | 3D mouse and game controller based on spherical coordinates system and system for use | |
| US9223422B2 (en) | Remote controller and display apparatus, control method thereof | |
| EP3364272A1 (en) | Automatic localized haptics generation system | |
| JP5561092B2 (en) | INPUT DEVICE, INPUT CONTROL SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| CN111399646A (en) | Systems, methods, and computer-readable media for force-based object manipulation and haptic detection | |
| CN103513894A (en) | Display apparatus, remote controlling apparatus and control method thereof | |
| Zizka et al. | SpeckleSense: fast, precise, low-cost and compact motion sensing using laser speckle | |
| US10509489B2 (en) | Systems and related methods for facilitating pen input in a virtual reality environment | |
| US20120235906A1 (en) | Apparatus and method for inputting information based on events | |
| JP5364035B2 (en) | Virtual force sense presentation device and virtual force sense presentation program | |
| Nguyen et al. | 3DTouch: A wearable 3D input device for 3D applications | |
| CN204945943U (en) | For providing the remote control equipment of remote control signal for external display device | |
| CN102902352B (en) | Motion control is as control device | |
| US10114478B2 (en) | Control method, control apparatus, and program | |
| JP5876733B2 (en) | User interface device capable of imparting tactile vibration according to object height, tactile vibration imparting method and program | |
| Valkov et al. | A multi-touch enabled human-transporter metaphor for virtual 3D traveling | |
| KR101996232B1 (en) | Apparatus and method for user input | |
| Han et al. | Remote interaction for 3D manipulation | |
| KR20110045564A (en) | Apparatus for controlling 3 dimensional avatar and method thereof | |
| UA110191C2 (en) | MANIPULATOR FOR CONTROL OF THE ELECTRONIC DEVICE AND METHOD OF CONTROL OF THE ELECTRONIC DEVICE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |