KR20130114367A - System and method for user interaction - Google Patents
System and method for user interaction Download PDFInfo
- Publication number
- KR20130114367A KR20130114367A KR1020120036647A KR20120036647A KR20130114367A KR 20130114367 A KR20130114367 A KR 20130114367A KR 1020120036647 A KR1020120036647 A KR 1020120036647A KR 20120036647 A KR20120036647 A KR 20120036647A KR 20130114367 A KR20130114367 A KR 20130114367A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- hand
- tactile
- ultrasonic transducers
- dimensional position
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 사용자 인터랙션 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사용자에게 촉감을 인터랙션으로 제공하는 사용자 인터랙션 시스템 및 방법에 관한 것이다.
The present invention relates to a user interaction system and method, and more particularly, to a user interaction system and method for providing tactile feedback to a user through interaction.
정보기기와 사용자의 상호 인터페이스 기술은 다양하게 발전하여 왔다. 이러한 인터페이스 기술은 사용자의 의지, 원하는 입력을 정보기기에 전달할 수 있는 과정(입력 과정)을 위한 입력기술과 이에 대해 사용자가 제대로 입력을 하였는지 알려주는 과정 또는 정보기기가 사용자의 의지(입력)를 인지하였음을 알려주는 피드백(feedback) 과정으로 나뉠 수 있다.The technology of mutual interface between information devices and users has been developed variously. Such an interface technology may include an input technique for a user's intention, a process for inputting a desired input to an information device (an input process), a process for informing the user whether the input is properly performed, And a feedback process to let the user know that they have done so.
컴퓨터라는 정보기기의 입력 과정의 경우, 키보드, 마우스는 입력 과정을 위한 도구, 기술이라 할 수 있을 것이고, 피드백은 1차적으로 마우스나 키보드를 눌렀을 때의 물리적으로 전달되는 손의 느낌과 2차적으로 사용자 입력이 모니터 화면에 반응으로 나타나는 것을 예로 들 수 있다. In the case of an input device of a computer, the keyboard and the mouse are tools and techniques for the input process. The feedback is primarily a feeling of physical hand when the mouse or keyboard is pressed, An example is that the user input appears in response to the monitor screen.
이러한 사용자와 정보기기간의 인터페이스는 다양한 방법으로 진화하여 왔으며, 기술의 발전은 가능한 한 별도 도구의 도움없이 맨손으로 자유롭게 기기와 인터페이스 하는 방법으로 진화하고 있다. 예를 들어, 멀티터치를 인식하는 터치스크린, 별도의 도구 없이 허공에서 사용자의 움직임을 인식하는 제스쳐 인식 기술 등이 이에 해당된다.The interface between these users and information devices has evolved in various ways, and the development of technology has evolved as a way of freely interfacing with devices without bare hands without the help of separate tools. For example, this is a touch screen that recognizes multi-touch, and a gesture recognition technology that recognizes user's movements in the air without a separate tool.
터치스크린의 경우, 피드백 과정은 사용자가 화면을 터치할 때 터치스크린은 손끝에 진동을 전해줌으로써 사용자가 제대로 입력을 하였는지를 인지할 수 있게 한다.In the case of the touch screen, the feedback process allows the user to recognize whether the user has properly input the vibration by transmitting a vibration to the fingertip when the user touches the screen.
하지만, 허공에서의 제스쳐를 통한 제스쳐 인식에서는 별도의 도구없이 사용자에게 이러한 피드백을 전달할 수 없다. 따라서 이러한 터치스크린의 진동과 같은 피드백을 주기 위해 글러브 형태의 다양한 햅틱 장치들이 개발되고 이용되어 왔다.
However, gesture recognition through gestures in the air can not convey this feedback to the user without a separate tool. Therefore, various haptic devices in the form of a glove have been developed and used to provide feedback such as vibration of the touch screen.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 글러브 형태의 햅틱 장치 없이도 사용자의 손에 촉감을 비접촉식으로 다양한 패턴에 따라 전달하되, 사용자 손의 3차원 위치를 기초로 촉감 전달 위치 및 세기를 가변시킬 수 있는 사용자 인터랙션 시스템 및 방법을 제공함에 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a haptic device and a haptic device for communicating a tactile sensation to a user's hands in a noncontact manner in various patterns without using a glove type haptic device, And a user interaction system and method capable of varying the tactile transmission position and intensity.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 인터랙션 시스템은, 사용자에게 영상을 제공하는 디스플레이 장치; 상기 사용자 손의 3차원 위치를 감지하는 센싱 장치; 및 상기 사용자의 손에 촉감을 비접촉식으로 전달하되, 상기 사용자 손의 3차원 위치를 기초로 촉감 전달 위치 및 세기를 결정하는 촉감 전달 장치;를 포함한다.According to an aspect of the present invention, there is provided a user interaction system including: a display device for providing an image to a user; A sensing device for sensing a three-dimensional position of the user's hand; And a tactile transmission device for transmitting a tactile sensation to the user's hand in a noncontact manner, and determining a tactile transmission position and an intensity based on the three-dimensional position of the user's hand.
그리고, 상기 촉감 전달 장치는, 상기 사용자 손의 수평면상 위치를 기초로, 촉감 발생 위치를 결정하고, 상기 사용자 손의 높이를 기초로, 촉감 발생 세기를 결정할 수 있다.The tactile transmission device may determine a tactile generation position based on the horizontal plane position of the user's hand and determine the tactile generation intensity based on the height of the user's hand.
또한, 상기 촉감 전달 장치는, 상기 사용자 손의 높이 및 상기 사용자의 손으로 제공할 인터랙션의 종류를 기초로, 촉감 발생 세기를 결정할 수 있다.In addition, the tactile transmission device may determine the tactile generation intensity based on the height of the user's hand and the type of interaction to be provided by the user's hand.
그리고, 상기 촉감 전달 장치는, 제1 방향으로 상기 사용자의 손에 촉감을 비접촉식으로 전달하는 제1 전달기; 및 상기 제1 방향과 다른 제2 방향으로 상기 사용자의 손에 촉감을 비접촉식으로 전달하는 제2 전달기;를 포함할 수 있다.The tactile transmission device includes: a first transmitter that non-contactly transmits a tactile sensation to a user's hand in a first direction; And a second transmitter that non-contactly transmits a touch to the user's hand in a second direction different from the first direction.
또한, 상기 제1 방향은, 상향, 하향, 좌향 및 우향 중 어느 하나이고, 상기 제2 방향은, 상향, 하향, 좌향 및 우향 중 다른 하나일 수 있다.Also, the first direction may be one of upward, downward, leftward, and rightward, and the second direction may be another one of upward, downward, leftward, and rightward.
그리고, 상기 촉감 전달 장치는, 상기 사용자에 촉감 전달을 위해 초음파을 방사하는 다수의 초음파 변환기들; 상기 센싱 장치로부터 상기 사용자 손의 3차원 위치를 수신하는 인터페이스; 상기 인터페이스를 통해 전달받은 상기 사용자 손의 3차원 위치를 기초로, 초음파를 방사할 초음파 변환기들 및 초음파 변환기들에서의 방사 세기들을 결정하는 프로세서; 상기 프로세서에서 결정한 초음파 변환기들 및 방사 세기들에 따라 상기 초음파 변환기들을 구동하기 위한 구동신호들을 생성하는 구동기; 및 상기 구동기에서 생성된 구동신호들을 각각 증폭하여 상기 초음파 변환기들에 각각 전달하는 증폭기;를 포함할 수 있다.The tactile transmission device may include a plurality of ultrasonic transducers for emitting ultrasonic waves to transmit tactile feedback to the user; An interface for receiving a three-dimensional position of the user's hand from the sensing device; A processor for determining the radiation intensities in the ultrasonic transducers and the ultrasonic transducers to emit ultrasonic waves based on the three-dimensional position of the user's hand received through the interface; A driver for generating driving signals for driving the ultrasonic transducers in accordance with the ultrasonic transducers and the radiation intensities determined by the processor; And an amplifier for amplifying the driving signals generated by the driver and transmitting the amplified driving signals to the ultrasound transducers, respectively.
또한, 상기 구동기는, 상기 초음파 변환기들 각각에 대해 할당된 레지스터들; 상기 프로세서에서 결정한 초음파 변환기들 및 방사 세기들이 수록된 제어신호를 수신하는 인터페이스; 상기 인터페이스를 통해 수신한 상기 제어신호에 수록된 상기 초음파 변환기들에 할당된 레지스터들에 상기 방사 세기들을 세팅하는 디코더; 및 상기 레지스터들 각각에 매칭되며, 자신에 매칭된 레지스터에 세팅된 방사 세기에 부합하는 구동신호를 생성하여 상기 증폭기로 전달하는 구동신호 생성기들;을 포함할 수 있다.The driver may further include: registers allocated to each of the ultrasonic transducers; An interface for receiving ultrasonic transducers determined by the processor and a control signal containing radiant intensities; A decoder for setting the radiation intensities in registers assigned to the ultrasonic transducers recorded in the control signal received through the interface; And driving signal generators matching the respective resistors and generating driving signals corresponding to radiant intensities set in registers matched with the resistors, and transmitting the driving signals to the amplifiers.
한편, 본 발명의 다른 실시예에 따른, 사용자 인터랙션 방법은, 사용자에게 영상을 제공하는 단계; 상기 사용자 손의 3차원 위치를 감지하는 단계; 상기 사용자 손의 3차원 위치를 기초로 촉감 전달 위치 및 세기를 결정하는 단계; 및 결정된 상기 촉감 전달 위치 및 세기에 따라, 상기 사용자의 손에 촉감을 비접촉식으로 전달하는 단계;를 포함한다.
According to another aspect of the present invention, there is provided a user interaction method comprising: providing an image to a user; Sensing a three-dimensional position of the user's hand; Determining a tactile transmission position and intensity based on the three-dimensional position of the user's hand; And transmitting the tactile sensation to the user's hands in a non-contact manner according to the determined tactile transmission position and intensity.
이상 설명한 바와 같이, 본 발명에 따르면, 사용자 손의 3차원 위치를 기초로 촉감 전달 위치 및 세기를 가변시킬 수 있게 되어, 글러브 형태의 햅틱 장치 없이도 사용자의 손에 촉감을 비접촉식으로 다양한 패턴에 따라 전달할 수 있게 된다.As described above, according to the present invention, the tactile transmission position and intensity can be varied based on the three-dimensional position of the user's hand, so that the tactile feedback can be transmitted to the user's hands in a non- .
또한, 공간상(허공)에서의 제스쳐 인식을 통한 사용자와 정보기기 간 인터페이스에서 사용자의 입력(제스쳐)이 제대로 되었는지 물리적인 피드백을 줌으로써 사용자에게 정보가전기기가 제대로 인지하고 있음을 알려줄 수 있게 되며, 이로 인하여 사용자에게 조작상의 자유로움, 편안함 및 편리성을 줄 수 있게 된다.
In addition, it is possible to inform the user that the information appliances are properly recognized by providing the physical feedback of the user's input (gesture) in the interface between the user and the information device through the gesture recognition in the space (air) This provides the user with operational freedom, comfort and convenience.
도 1은 본 발명의 일 실시예에 따른, 비접촉식 촉감 전달 장치를 도시한 도면,
도 2는, 도 1에 도시된 촉감 전달 장치의 상세 블럭도,
도 3은 초음파 변환기 어레이의 배열 형태를 예시한 도면, 그리고,
도 4는, 도 2에 도시된 구동기의 상세 블럭도이다.1 is a view showing a non-contact type tactile transmission device according to an embodiment of the present invention,
Fig. 2 is a detailed block diagram of the tactile transmission device shown in Fig. 1,
3 is a diagram illustrating an arrangement of an ultrasonic transducer array,
4 is a detailed block diagram of the driver shown in Fig.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.
도 1은 본 발명의 일 실시예에 따른, 비접촉식 촉감 전달 장치를 도시한 도면이다. 본 실시예에 따른 비접촉식 촉감 전달 장치는, 초음파를 이용하여 사용자에게 비접촉식으로 촉감을 전달하는 사용자 인터랙션 시스템의 일종에 해당한다.1 is a view showing a non-contact type tactile transmission device according to an embodiment of the present invention. The non-contact type tactile device according to the present embodiment corresponds to a type of user interaction system that transmits tactile sensation to a user in a non-contact manner using ultrasonic waves.
사용자에게 촉감을 "비"접촉식으로 전달할 수 있으므로, 사용자는 촉감을 전달 받기 위해 몸에 별도 장치를 부착할 필요가 없다.Since the user can transmit tactile feedback in a "non-contact " manner, the user does not need to attach a separate device to the body to receive the tactile feedback.
도 1에 도시된 바와 같이, 본 실시예에 따른 비접촉식 촉감 전달 장치는, 디스플레이 장치(100), 사용자 센싱 장치(200), 촉감 전달 장치(300)를 구비한다.1, the non-contact type tactile device according to the present embodiment includes a
디스플레이 장치(100)는 사용자(U)에게 3D 영상을 제공하는 시스템이다. 디스플레이 장치(100)가 3D 영상 대신 2D 플로팅 영상과 같은 다른 영상을 제공하도록 구현하는 것도 가능하다.The
사용자 센싱 장치(200)는 사용자 손의 3차원 위치를 감지하고, 감지된 사용자 손의 3차원 위치를 촉감 전달 장치(300)로 전달한다.The
사용자 손의 3차원 위치를 감지하기 위해, 사용자 센싱 장치(200)는 Z(Depth)-카메라, 스테레오 카메라 등을 이용할 수 있다.In order to sense the three-dimensional position of the user's hand, the
촉감 전달 장치(300)는 사용자의 손에 초음파를 방사하여, 방사되는 초음파의 음압에 의해 촉감을 비접촉식으로 전달한다. 초음파를 방사함에 있어, 촉감 전달 장치(300)는 사용자 센싱 장치(200)로부터 전달받은 사용자 손의 3차원 위치를 참조한다.The
구체적으로, 촉감 전달 장치(300)는 사용자의 손의 3차원 위치를 기초로, 초음파 방사 위치 및 세기(즉, 촉감 전달 위치 및 세기)를 결정한다. 구체적으로, 촉감 전달 장치(300)는 사용자 손의 수평면상 위치(도 1에서 xy-평면상 위치)를 기초로, 초음파 방사 위치(촉감 발생 위치)를 결정한다. 그리고, 촉감 전달 장치(300)는 사용자 손의 높이(도 1에서 z축 상 위치)를 기초로, 초음파 방사 세기(촉감 발생 세기)를 결정한다.Specifically, the
이와 같이 동작하는 촉감 전달 장치(300)에 대해, 이하에서 도 2를 참조하여 상세히 설명한다. 도 2는 촉감 전달 장치(300)의 상세 블럭도이다.The
도 2에 도시된 바와 같이, 촉감 전달 장치(300)는 외부 인터페이스(310), 프로세서(320), 구동기(330), 증폭기(340) 및 초음파 변환기 어레이(350)를 포함한다.2, the
외부 인터페이스(310)는 사용자 센싱 장치(200)와 통신 가능하도록 연결되는 수단으로, 사용자 센싱 장치(200)로부터 사용자의 3차원 손 위치(x,y,z)를 실시간으로 수신하여 프로세서(320)로 전달한다.The external interface 310 is connected to the
프로세서(320)는 외부 인터페이스(310)로부터 전달받은 사용자의 손의 3차원 위치를 기초로, 초음파 방사를 제어하기 위한 제어신호를 생성한다. 제어신호는 초음파 방사 위치 및 세기(즉, 촉감 전달 위치 및 세기)를 제어하기 위한 신호이다.The
구동기(330)는 프로세서(320)에서 생성된 제어신호로부터, 초음파 변환기 어레이(350)를 구성하는 다수의 초음파 변환기들을 구동하기 위한 각각의 구동신호들을 생성한다. 구동기(330)에 대한 상세한 설명은 도 4를 참조하여 상세히 후술한다.The
증폭기(340)는 구동기(330)에서 생성된 구동신호들을 각각 증폭하여 초음파 변환기 어레이(350)의 초음파 변환기들에 각각 전달한다.The amplifier 340 amplifies the driving signals generated by the
초음파 변환기 어레이(350)는 도 3에 도시된 바와 같이 다수의 초음파 변환기들이 매트릭스 형태로 배열되어 있다. 도 3에서는 "O" 하나가 초음파 변환기 하나를 의미한다.The
초음파 변환기 어레이(350)를 구성하는 초음파 변환기들은 증폭기(340)를 통해 증폭된 구동신호들에 의해 각각 구동된다. 초음파 변환기 어레이(350)를 구성하는 초음파 변환기들의 개수가 n개인 경우, 구동신호들의 개수 역시 n개이다.Ultrasonic transducers constituting the
따라서, 1) 초음파 변환기-1은 구동신호-1에 의해 구동되고, 2) 초음파 변환기-2는 구동신호-2에 의해 구동되며, 3) 초음파 변환기-3은 구동신호-3에 의해 구동되고, ... , n) 초음파 변환기-n은 구동신호-n에 의해 구동된다.Accordingly, the ultrasonic transducer-1 is driven by the driving signal-1, the ultrasonic transducer-2 is driven by the driving signal-2, and the ultrasonic transducer-3 is driven by the driving signal- ..., n) The ultrasonic transducer -n is driven by the drive signal -n.
도 4는, 도 2에 도시된 구동기(330)의 상세 블럭도이다. 도 4에 도시된 바와 같이, 구동기(330)는 통신 인터페이스(331), 디코더(332), 레지스터 어레이(333) 및 구동신호 생성부(334)를 구비한다.4 is a detailed block diagram of the
통신 인터페이스(331)는 프로세서(320)와 통신 가능하도록 연결되는 수단으로, 프로세서(320)로부터 제어신호를 수신하여 디코더(332)로 전달한다.The
제어신호에는 '초음파를 방사할 초음파 변환기들'에 대한 정보와 '초음파 변환기들에서의 방사 세기들'에 대한 정보가 수록되어 있다. 예를 들어, 제어신호에는, 1) '초음파 변환기-17'을 '레벨 10'으로 구동하고, 2) '초음파 변환기-18'을 '레벨 10'으로 구동하며, 3) '초음파 변환기-39'를 '레벨 10'으로 구동하고, ... , m) '초음파 변환기-58'을 '레벨 10'으로 구동하라는 명령이 수록될 수 있다.The control signal includes information on 'ultrasonic transducers to emit ultrasonic waves' and information on 'radiation intensities in ultrasonic transducers'. For example, the control signals include 1) driving the 'ultrasound transducer -17' to 'level 10', 2) driving the 'ultrasound transducer-18' to 'level 10' , ≪ / RTI > and m) " drive the ultrasound transducer 58 to " level 10 ".
초음파를 방사할 초음파 변환기들에 의해 초음파 방사 위치(즉, 촉감 전달 위치)가 결정되고, 초음파 변환기들에서의 방사 세기들에 의해 초음파 방사 세기(즉, 촉감 전달 세기)가 결정된다고 할 수 있다.The ultrasonic wave radiation position (i.e., tactile transmission position) is determined by the ultrasonic transducers to emit the ultrasonic wave, and the intensity of the ultrasonic wave radiation (i.e., tactile transmission intensity) is determined by the radiation intensities in the ultrasonic transducers.
디코더(332)는 제어신호를 참고하여 레지스터 어레이(333)를 구성하는 레지스터들(333-1, 333-2, 333-3, ... , 333-n)을 세팅한다. 구체적으로, 디코더(332)는 '제어신호에서 지정하는 초음파 변환기'에 할당된 레지스터에 '제어신호에서 지정하는 세기'를 세팅한다.The
제어신호가 전술한 예와 같은 경우, 디코더(332)는, 레지스터-17, 레지스터-18, 레지스터-39, ... , 레지스터-58에 레벨 10을 세팅하게 된다.When the control signal is the same as the above example, the
구동신호 생성부(334)는 다수의 초음파 변환기들을 각각 구동하기 위한 구동신호들을 생성하는 다수의 구동신호 생성기들(334-1, 334-2, 334-3, ... , 334-n)을 구비한다.The driving
구동신호 생성기들(334-1, 334-2, 334-3, ... , 334-n)은 자신에 매칭된 레지스터들(333-1, 333-2, 333-3, ... , 333-n)에 세팅된 세기에 부합하는 구동신호들을 생성하여 전술한 증폭기(340)로 전달한다.The driving signal generators 334-1, 334-2, 334-3, ..., and 334-n are controlled by the registers 333-1, 333-2, 333-3, -n) and transmits the generated drive signals to the amplifier 340 described above.
레지스터 어레이(333)가 예와 같이 세팅된 경우, 구동신호 생성기-17, 구동신호 생성기-18, 구동신호 생성기-39, ... , 구동신호 생성기-58이 레벨이 10인 구동 신호들을 각각 생성하게 된다.The drive signal generator -17, the drive signal generator -18, the drive signal generator -39, ..., and the drive signal generator -58 generate drive signals having a level of 10, respectively, when the
자신에 할당된 레지스터가 세팅되지 않은 구동신호 생성기는 구동신호를 생성하지 않는데, 이 경우 초음파 변환기는 구동되지 않아 초음파가 방사되지 않는다.The driving signal generator in which the register assigned to itself is not set does not generate the driving signal. In this case, the ultrasonic transducer is not driven and the ultrasonic wave is not radiated.
지금까지, 초음파를 이용하여 사용자에게 비접촉식으로 촉감을 전달하는 비접촉식 촉감 전달 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.Up to now, a non-contact type tactile transmission device for transmitting a tactile sensation to a user in a non-contact manner using ultrasonic waves has been described in detail with a preferred embodiment.
위 실시예에서, '초음파를 방사할 초음파 변환기들'은 사용자 손의 수평면상 위치를 기초로 결정할 수 있는데, 이 경우 사용자 손의 아래 부분에 있는 초음파 변환기들에서 초음파가 방사하게 된다.In the above embodiment, 'ultrasonic transducers to emit ultrasonic waves' can be determined based on the horizontal plane position of the user's hand, in which ultrasonic waves are emitted from the ultrasonic transducers in the lower part of the user's hand.
또한, '초음파 변환기들에서의 방사 세기들'은 사용자 손의 높이를 기초로 결정할 수 있는데, 이 경우 사용자 손이 높을수록 방사 세기들을 강하게 결정하고 사용자 손이 낮을수록 방사 세기들을 약하게 결정할 수 있다.In addition, the 'radiation intensities in the ultrasonic transducers' can be determined based on the height of the user's hand. In this case, the higher the user's hand, the stronger the radiation intensities and the lower the user's hands the weaker the radiation intensities.
그리고, 초음파 변환기 어레이(350)를 구성하는 초음파 변환기들은 모두 함께 구동될 수 있음은 물론, 일부만이 구동될 수도 있다. 모두가 함께 구동되는 경우와 일부만 구동되는 경우 모두에 대해, 구동되는 초음파 변환기들의 방사 세기들은 모두 동일할 수 있음은 물론 각기 다를 수 있다.The ultrasonic transducers constituting the
구동되는 초음파 변환기들의 방사 세기들을 특정 패턴에 따라 각기 다르게 구동하면, 사용자에게 각기 다르게 느끼는 촉감을 전달할 수 있게 된다. 이때, 방사 패턴은 사용자에게 제공하고자 하는 인터랙션의 종류에 따라 결정할 수 있다.If the radiant intensities of the driven ultrasonic transducers are driven differently according to a specific pattern, the user can feel different touch feeling. At this time, the radiation pattern can be determined according to the type of the interaction to be provided to the user.
예를 들어, 사용자가 특정 오브젝트를 선택한 경우, 특정 오브젝트를 확대시킨 경우, 특정 오브젝트를 제거한 경우, 각기 다른 패턴의 초음파 방사로 사용자에게 각기 다른 촉감을 전달할 수 있다.For example, when a user selects a specific object, when a specific object is enlarged, and when a specific object is removed, different tactile sensations can be transmitted to the user by ultrasonic radiation of different patterns.
한편, 위 실시예에서 제시한 초음파 변환기 어레이(350)가 설치된 패널이 도 1의 xy 평면상에서 이동되도록 구현가능하며, 이 경우 이동 방향/거리는 사용자 손의 위치를 기초로 결정할 수 있다. 이에 따르면, 사용자 손의 이동 영역이 넓을지라도, 작은 크기의 초음파 변환기 어레이(350)를 통해 사용자에게 촉감 전달이 가능하다.Meanwhile, it is possible to implement a panel in which the
또한, 위 실시예에서 촉감 전달 장치(300)는 한 방향(상향)으로 촉감을 전달하는 것을 상정하였는데, 이는 설명의 편의를 위한 일 예에 불과하다. 촉감 전달 장치(300)를 사용자 손의 상부에 더 설치하여 양 방향(상향, 하향)으로 촉감을 전달하는 것도 가능하다.In addition, in the above embodiment, the
뿐만 아니라, 좌측에서 우측으로 촉감을 전달하는 촉감 전달 장치(300)와 우측에서 좌측으로 촉감을 전달하는 촉감 전달 장치(300)를 더 구비시켜, 4 방향(상향, 하향, 좌향 및 우향)으로 촉감을 전달하는 것도 가능함은 물론이다.In addition, it is also possible to further include a
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.
100 : 디스플레이 장치 200 : 사용자 센싱 장치
300 : 촉감 전달 장치 310 : 외부 인터페이스
320 : 프로세서 330 : 구동기
331 : 통신 인터페이스 332 : 디코더
333 : 레지스터 어레이 334 : 구동신호 생성부
340 : 증폭기 350 : 초음파 변환기 어레이100: display device 200: user sensing device
300: tactile transmission device 310: external interface
320: Processor 330: Driver
331: Communication interface 332: Decoder
333: Register array 334:
340: Amplifier 350: Ultrasonic transducer array
Claims (8)
상기 사용자 손의 3차원 위치를 감지하는 센싱 장치; 및
상기 사용자의 손에 촉감을 비접촉식으로 전달하되, 상기 사용자 손의 3차원 위치를 기초로 촉감 전달 위치 및 세기를 결정하는 촉감 전달 장치;를 포함하는 것을 특징으로 하는 사용자 인터랙션 시스템.
A display device for providing an image to a user;
A sensing device for sensing a three-dimensional position of the user's hand; And
And a tactile transmission device which transmits the tactile sense to the user's hand in a non-contact manner, and determines the tactile transmission position and the intensity based on the three-dimensional position of the user's hand.
상기 촉감 전달 장치는,
상기 사용자 손의 수평면상 위치를 기초로, 촉감 발생 위치를 결정하고,
상기 사용자 손의 높이를 기초로, 촉감 발생 세기를 결정하는 것을 특징으로 하는 사용자 인터랙션 시스템.
The method of claim 1,
The tactile transmission device includes:
Determine a tactile generation position based on the position on the horizontal plane of the user's hand,
And determining the tactile generation intensity based on the height of the user's hand.
상기 촉감 전달 장치는,
상기 사용자 손의 높이 및 상기 사용자의 손으로 제공할 인터랙션의 종류를 기초로, 촉감 발생 세기를 결정하는 것을 특징으로 하는 사용자 인터랙션 시스템.
The method of claim 2,
The tactile transmission device includes:
Wherein the tactile power generation intensity is determined based on a height of the user's hand and a type of an interaction to be provided to the user's hand.
상기 촉감 전달 장치는,
제1 방향으로 상기 사용자의 손에 촉감을 비접촉식으로 전달하는 제1 전달기; 및
상기 제1 방향과 다른 제2 방향으로 상기 사용자의 손에 촉감을 비접촉식으로 전달하는 제2 전달기;를 포함하는 것을 특징으로 하는 사용자 인터랙션 시스템.
The method of claim 1,
The tactile transmission device includes:
A first transmitter for non-contactally transmitting a touch to the user's hand in a first direction; And
And a second transmitter for non-contactally transmitting a tactile sensation to the user's hand in a second direction different from the first direction.
상기 제1 방향은, 상향, 하향, 좌향 및 우향 중 어느 하나이고,
상기 제2 방향은, 상향, 하향, 좌향 및 우향 중 다른 하나인 것을 특징으로 하는 사용자 인터랙션 시스템.
The method of claim 1,
Wherein the first direction is one of upward, downward, leftward, and rightward,
Wherein the second direction is one of upward, downward, leftward, and rightward.
상기 촉감 전달 장치는,
상기 사용자에 촉감 전달을 위해 초음파을 방사하는 다수의 초음파 변환기들;
상기 센싱 장치로부터 상기 사용자 손의 3차원 위치를 수신하는 인터페이스;
상기 인터페이스를 통해 전달받은 상기 사용자 손의 3차원 위치를 기초로, 초음파를 방사할 초음파 변환기들 및 초음파 변환기들에서의 방사 세기들을 결정하는 프로세서;
상기 프로세서에서 결정한 초음파 변환기들 및 방사 세기들에 따라 상기 초음파 변환기들을 구동하기 위한 구동신호들을 생성하는 구동기; 및
상기 구동기에서 생성된 구동신호들을 각각 증폭하여 상기 초음파 변환기들에 각각 전달하는 증폭기;를 포함하는 것을 특징으로 하는 사용자 인터랙션 시스템.
The method of claim 1,
The tactile transmission device includes:
A plurality of ultrasonic transducers for radiating ultrasonic waves for tactile transmission to the user;
An interface for receiving a three-dimensional position of the user's hand from the sensing device;
A processor for determining the radiation intensities in the ultrasonic transducers and the ultrasonic transducers to emit ultrasonic waves based on the three-dimensional position of the user's hand received through the interface;
A driver for generating driving signals for driving the ultrasonic transducers in accordance with the ultrasonic transducers and the radiation intensities determined by the processor; And
And an amplifier for amplifying the driving signals generated by the driver and transmitting the amplified driving signals to the ultrasound transducers, respectively.
상기 구동기는,
상기 초음파 변환기들 각각에 대해 할당된 레지스터들;
상기 프로세서에서 결정한 초음파 변환기들 및 방사 세기들이 수록된 제어신호를 수신하는 인터페이스;
상기 인터페이스를 통해 수신한 상기 제어신호에 수록된 상기 초음파 변환기들에 할당된 레지스터들에 상기 방사 세기들을 세팅하는 디코더; 및
상기 레지스터들 각각에 매칭되며, 자신에 매칭된 레지스터에 세팅된 방사 세기에 부합하는 구동신호를 생성하여 상기 증폭기로 전달하는 구동신호 생성기들;을 포함하는 것을 특징으로 하는 사용자 인터랙션 시스템.
The method according to claim 6,
The driver includes:
Registers assigned to each of the ultrasonic transducers;
An interface for receiving ultrasonic transducers determined by the processor and a control signal containing radiant intensities;
A decoder for setting the radiation intensities in registers assigned to the ultrasonic transducers recorded in the control signal received through the interface; And
And driving signal generators matching the respective resistors and generating driving signals corresponding to radiation intensities set in registers matched with the resistors, and transmitting the driving signals to the amplifiers.
상기 사용자 손의 3차원 위치를 감지하는 단계;
상기 사용자 손의 3차원 위치를 기초로 촉감 전달 위치 및 세기를 결정하는 단계; 및
결정된 상기 촉감 전달 위치 및 세기에 따라, 상기 사용자의 손에 촉감을 비접촉식으로 전달하는 단계;를 포함하는 것을 특징으로 하는 사용자 인터랙션 방법.
Providing an image to a user;
Sensing a three-dimensional position of the user's hand;
Determining a tactile transmission position and intensity based on the three-dimensional position of the user's hand; And
And contacting the touch to the user's hand in a non-contact manner according to the determined tactile delivery position and intensity.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120036647A KR101437424B1 (en) | 2012-04-09 | 2012-04-09 | System and method for user interaction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120036647A KR101437424B1 (en) | 2012-04-09 | 2012-04-09 | System and method for user interaction |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130114367A true KR20130114367A (en) | 2013-10-17 |
KR101437424B1 KR101437424B1 (en) | 2014-09-05 |
Family
ID=49634418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120036647A KR101437424B1 (en) | 2012-04-09 | 2012-04-09 | System and method for user interaction |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101437424B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101464327B1 (en) * | 2014-03-27 | 2014-11-25 | 연세대학교 산학협력단 | Apparatus, system and method for providing air-touch feedback |
JP2016083711A (en) * | 2014-10-23 | 2016-05-19 | 公立大学法人首都大学東京 | Telepresence robot |
KR20200039983A (en) * | 2018-10-08 | 2020-04-17 | 주식회사 토비스 | Space touch detecting device and display device having the same |
KR20220089523A (en) | 2020-12-21 | 2022-06-28 | 현대자동차주식회사 | Piezoelectric element for untact haptic and method for manufacturing the same |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020085521A1 (en) * | 2018-10-23 | 2020-04-30 | 엘지전자 주식회사 | Input/output device and vehicle comprising same |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101096617B1 (en) * | 2010-03-25 | 2011-12-21 | 동서대학교산학협력단 | Spatial multi interaction-based 3d stereo interactive vision system and method of the same |
-
2012
- 2012-04-09 KR KR1020120036647A patent/KR101437424B1/en active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101464327B1 (en) * | 2014-03-27 | 2014-11-25 | 연세대학교 산학협력단 | Apparatus, system and method for providing air-touch feedback |
JP2016083711A (en) * | 2014-10-23 | 2016-05-19 | 公立大学法人首都大学東京 | Telepresence robot |
KR20200039983A (en) * | 2018-10-08 | 2020-04-17 | 주식회사 토비스 | Space touch detecting device and display device having the same |
KR20220089523A (en) | 2020-12-21 | 2022-06-28 | 현대자동차주식회사 | Piezoelectric element for untact haptic and method for manufacturing the same |
Also Published As
Publication number | Publication date |
---|---|
KR101437424B1 (en) | 2014-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11656684B2 (en) | Haptic gloves for virtual reality systems and methods of controlling the same | |
US11614793B2 (en) | Precision tracking of user interaction with a virtual input device | |
US10974138B2 (en) | Haptic surround functionality | |
KR101437424B1 (en) | System and method for user interaction | |
US8614669B2 (en) | Touchless tablet method and system thereof | |
CN111602101A (en) | Human interaction with an aerial haptic system | |
EP3287871B1 (en) | Wearable device and method for providing feedback of wearable device | |
US8827909B2 (en) | Ultrasound probe | |
US20090028003A1 (en) | Apparatus and method for sensing of three-dimensional environmental information | |
CN104714687A (en) | Systems and methods for optical transmission of haptic parameters | |
JP2011159273A (en) | User interface device using hologram | |
KR101816721B1 (en) | Sensing Module, GUI Controlling Apparatus and Method thereof | |
CN104969148A (en) | Depth-based user interface gesture control | |
KR20140128305A (en) | System and method for enhanced gesture-based interaction | |
JP2005537596A (en) | Grasping computer interactive device | |
JP2010224665A (en) | Light-tactility conversion system, and method for providing tactile feedback | |
CN109782916A (en) | Braille interactive system and its exchange method based on ultrasonic tactile | |
KR20170015467A (en) | Tactile sensation data processing device, tactile sensation providing system, and tactile sensation data processing method | |
CN102681713B (en) | Three-dimensional touch display system and method | |
US20090102789A1 (en) | Input apparatus and operation method for computer system | |
JP3278150B2 (en) | Virtual input device | |
CN202142021U (en) | Remote control mouse | |
CN112764593A (en) | Touch feedback control method, storage medium, touch feedback system and terminal device | |
KR20080017194A (en) | Wireless mouse and driving method thereof | |
JP2012083866A (en) | Finger attachment type processor with tactile sense reproduction function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190531 Year of fee payment: 6 |