KR102278747B1

KR102278747B1 - Contactless Screen Pad for Vehicle

Info

Publication number: KR102278747B1
Application number: KR1020150154469A
Authority: KR
Inventors: 이상엽; 고재진
Original assignee: 한국전자기술연구원
Priority date: 2015-11-04
Filing date: 2015-11-04
Publication date: 2021-07-19
Also published as: KR20170052247A

Abstract

차량용 비접촉식 스크린 패드가 제공된다. 본 발명의 실시예에 따른 스크린 패드는, 사용자의 손끝을 비접촉식으로 감지하는 센서 어레이, 웨어러블 디바이스로부터 사용자 손의 위치 정보를 수신하는 통신 모듈 및 센서 어레이의 감지 결과와 위치 정보를 이용하여 사용자의 손가락에 의한 포인팅 지점을 인식하는 프로세싱 유닛을 포함한다. 이에 의해, 포인트 지시나 문자를 입력하는 등의 세밀한 조작이 필요한 경우, 센서와 웨어러블 디바이스에서 획득한 정보를 연동하여 사용자의 손의 위치를 정확히 판단할 수 있게 된다.A non-contact screen pad for a vehicle is provided. A screen pad according to an embodiment of the present invention includes a sensor array for non-contact sensing of a user's fingertip, a communication module for receiving location information of a user's hand from a wearable device, and a user's finger using the detection result and location information of the sensor array and a processing unit for recognizing a pointing point by Accordingly, when a detailed operation such as a point instruction or input of a character is required, the position of the user's hand can be accurately determined by linking the sensor and information obtained from the wearable device.

Description

Contactless Screen Pad for Vehicle

본 발명은 포인팅 디바이스에 관한 것으로, 더욱 상세하게는 차량 내에서 비접촉식으로 포인트를 지정할 수 있는 스크린 패드에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pointing device, and more particularly, to a screen pad capable of specifying a point in a non-contact manner in a vehicle.

도 1은 BMW 社의 차량 내 제스처 인식 방법을 나타낸 이미지이다. 도 1에 도시된 방식은, 차량 내에서 단순 행동을 인식하는 것에 그치고 있다. 즉, AVN(Audio Video Navigation) 장치의 UI를 변경하거나 UI 내 Tab을 이동하는 수준으로 동작하고 있다.1 is an image illustrating a gesture recognition method in a vehicle of BMW. The method shown in FIG. 1 is limited to recognizing simple actions in the vehicle. That is, it operates at the level of changing the UI of an AVN (Audio Video Navigation) device or moving a tab within the UI.

차량 내부의 특수한 상황, 구체적으로 외부 조도 또는 사용자의 예상치 못한 움직임, 차량의 운행에 있어 과속 방지턱 등에 의해 잘못된 인식 등의 우려로 인해, 사용자의 단순 동작만을 인지하는 것이다.Due to concerns such as a special situation inside the vehicle, specifically, external illumination or unexpected movement of the user, misrecognition due to a speed bump in the operation of the vehicle, etc., it recognizes only a simple operation of the user.

하지만, 무인 자동차 및 차량 내 사용자 환경이 다양한 요청을 가능하도록 구성되는 추세이므로. 차량 내에서 좀 더 세밀한 동작을 인식할 수 있도록 하기 위한 방안의 모색이 요청된다.However, as driverless vehicles and in-vehicle user experiences are trending to be configured to enable various requests. It is required to find a way to recognize a more detailed motion in a vehicle.

도 2 는 Leap Motion 社의 손동작 인식 방법을 나타낸 이미지이다. 이는, 적외선 카메라와 광센서를 이용하여 사용자의 손동작에 대한 인식이 가능하도록 하였다. 하지만, 차량 내에 설치하는 것은 불가능하며, 외부 환경에 의한 오류가 많아 차량에는 적용되기는 어렵다.2 is an image showing a hand gesture recognition method of Leap Motion. This made it possible to recognize the user's hand gestures using an infrared camera and an optical sensor. However, it is impossible to install in a vehicle, and it is difficult to apply to a vehicle because there are many errors due to an external environment.

또한, 도 3에 나타난 바와 같이, 사용자의 손의 위치가 제품의 수직 부분에 위치해야 인식이 가능하다는 제약이 있으며, 사용자의 손이 제품에 가까이 갈수록 인식률이 떨어지는 단점이 있다.In addition, as shown in FIG. 3 , there is a restriction that recognition is possible only when the position of the user's hand is located in the vertical part of the product, and there is a disadvantage that the recognition rate decreases as the user's hand approaches the product.

도 4는 KAIST에 개발한 스크린 패드의 사용을 나타낸 이미지이다. 이 방식은 사용자가 스크린 패드에 손을 접촉하는 방식인데 접촉식이라는 한계가 있다.4 is an image showing the use of a screen pad developed by KAIST. This method is a method in which the user touches the screen pad with his or her hand, but there is a limit to the contact type.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자가 스크린 패드에 직접 접촉하지 않는 비접촉식으로 차량 내에서 외부의 상태 변화에 관계없이 정확하게 다양한 입력이 가능한 스크린 패드를 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide a screen pad that allows the user to accurately input various types regardless of external state changes in the vehicle in a non-contact type that does not directly contact the screen pad. is in providing.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 스크린 패드는, 사용자의 손끝을 비접촉식으로 감지하는 센서 어레이; 웨어러블 디바이스로부터 사용자 손의 위치 정보를 수신하는 통신 모듈; 및 상기 센서 어레이의 감지 결과와 상기 위치 정보를 이용하여, 상기 사용자의 손가락에 의한 포인팅 지점을 인식하는 프로세싱 유닛;을 포함한다.According to an embodiment of the present invention for achieving the above object, the screen pad includes a sensor array for detecting a user's fingertips in a non-contact manner; a communication module for receiving location information of a user's hand from the wearable device; and a processing unit configured to recognize a pointing point of the user's finger by using the detection result of the sensor array and the location information.

그리고, 상기 프로세싱 유닛은, 상기 센서 어레이의 감지 결과로부터 포인팅 지점을 인식하고, 인식된 포인팅 지점을 상기 통신 모듈을 통해 수신된 상기 위치 정보를 참조하여 보정할 수 있다.The processing unit may recognize a pointing point from the detection result of the sensor array, and correct the recognized pointing point with reference to the location information received through the communication module.

또한, 상기 프로세싱 유닛은, 상기 센서 어레이의 감지 결과로부터 상기 손끝과 상기 스크린 패드의 거리를 계산하고, 계산 결과를 이용하여 상기 위치 정보를 보정할 수 있다.Also, the processing unit may calculate a distance between the fingertip and the screen pad from a detection result of the sensor array, and correct the location information using the calculation result.

그리고, 상기 통신 모듈은, 상기 웨어러블 디바이스로부터 상기 사용자 손의 움직임 정보를 더 수신하고, 상기 프로세싱 유닛은, 상기 움직임 정보를 통해 상기 사용자의 입력 동작을 감지할 수 있다.In addition, the communication module may further receive the motion information of the user's hand from the wearable device, and the processing unit may detect the input motion of the user through the motion information.

또한, 상기 센서 어레이는, 상기 손가락에 적외선을 발광하는 IR-LED 어레이; 및 상기 손가락에서 반사되는 적외선을 감지하는 CCD 어레이;를 포함할 수 있다.In addition, the sensor array, IR-LED array for emitting infrared light to the finger; and a CCD array that detects infrared rays reflected from the finger.

한편, 본 발명의 다른 실시예에 따른, 사용자 입력 시스템은, 사용자의 손끝을 비접촉식으로 감지하고, 사용자 손의 위치 정보를 이용하여 상기 사용자의 손가락에 의한 포인팅 지점을 인식하는 스크린 패드; 및 사용자 손의 위치 정보를 상기 스크린 패드로 전송하는 웨어러블 디바이스;를 포함한다.Meanwhile, according to another embodiment of the present invention, a user input system includes: a screen pad for detecting a user's fingertip in a non-contact manner and recognizing a pointing point by the user's finger using location information of the user's hand; and a wearable device that transmits the location information of the user's hand to the screen pad.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사용자가 스크린 패드에 직접 접촉하지 않는 비접촉식으로 차량 내에서 외부의 상태 변화에 관계없이 정확하게 다양한 입력이 가능해진다.As described above, according to the embodiments of the present invention, various inputs can be accurately performed regardless of external state changes in the vehicle in a non-contact manner in which the user does not directly contact the screen pad.

특히, 본 발명의 실시예들에 따르면, 포인트 지시나 문자를 입력하는 등의 세밀한 조작이 필요한 경우, 센서와 웨어러블 디바이스에서 획득한 정보를 연동하여 사용자의 손의 위치를 정확히 판단할 수 있게 된다.In particular, according to embodiments of the present invention, when a detailed manipulation such as a point instruction or input of a character is required, the position of the user's hand can be accurately determined by linking the sensor with information obtained from the wearable device.

도 1은 종래의 차량 내 제스처 인식 방법을 나타낸 이미지,
도 2 및 도 3은 종래의 손동작 인식 방법을 나타낸 이미지,
도 4는 기존의 스크린 패드를 통한 사용자 정보 입력 방법을 나타낸 이미지,
도 5는 본 발명의 실시예에 따른 차량용 사용자 입력 시스템의 개념을 도시한 도면,
도 6은, 도 5에 도시된 차량용 사용자 입력 시스템에서의 입력 정보 획득 방식을 개념적으로 나타낸 도면,
도 7은 스크린 패드의 내부 구성을 나타낸 도면,
도 8은 프로세싱 유닛에 의한 포인팅 지점 인식 과정의 설명에 제공되는 도면,
도 9는 IR/CCD 어레이를 구성하는 하나의 IR-LED와 CCD에서 광량을 측정하는 상황을 나타낸 도면, 그리고,
도 10은 2차원 광량 분포를 이용한 근사 노이즈를 제거 방식의 설명에 제공되는 도면이다.1 is an image showing a conventional in-vehicle gesture recognition method;
2 and 3 are images showing a conventional hand gesture recognition method,
4 is an image showing a user information input method through a conventional screen pad;
5 is a view showing the concept of a vehicle user input system according to an embodiment of the present invention;
6 is a diagram conceptually illustrating an input information acquisition method in the vehicle user input system shown in FIG. 5;
7 is a view showing the internal configuration of the screen pad;
8 is a diagram provided for explanation of a pointing point recognition process by a processing unit;
9 is a view showing a situation in which the amount of light is measured in one IR-LED and CCD constituting the IR/CCD array, and
10 is a diagram provided to explain a method for removing approximate noise using a two-dimensional light quantity distribution.

본 발명의 실시예에서는, 사용자의 손 동작에 따른 제스처가 아닌, 사용자의 손가락에 의한 포인팅 지점을 비접촉식으로 인식하기 위한 차량용 사용자 입력 시스템을 제시한다. 이를 통해, 사용자는 비접촉식으로 문자 입력, 위치 지정, 아이콘/메뉴 선택이 가능해진다.An embodiment of the present invention provides a vehicle user input system for non-contact recognition of a pointing point by a user's finger, not a gesture according to a user's hand gesture. Through this, the user can input text, designate a location, and select an icon/menu in a non-contact manner.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 5는 본 발명의 실시예에 따른 차량용 사용자 입력 시스템의 개념을 도시한 도면이다. 본 발명의 실시예에 따른 차량용 사용자 입력 시스템은, 도 5에 도시된 바와 같이, 웨어러블 디바이스(100)와 스크린 패드(200)가 연동하여, 문자 입력 등을 처리한다.5 is a diagram illustrating a concept of a vehicle user input system according to an embodiment of the present invention. In the vehicle user input system according to an embodiment of the present invention, as shown in FIG. 5 , the wearable device 100 and the screen pad 200 interwork to process text input.

도 5에서 웨어러블 디바이스(100)는 사용자(운전자)의 손목에 착용되는 와치로 구현하였는데, 그 밖의 다른 형태의 디바이스(이를 테면, 반지,밴드, 장갑 등)로 구현하는 것도 가능하다.In FIG. 5 , the wearable device 100 is implemented as a watch worn on the user's (driver's) wrist, but it can also be implemented as other types of devices (for example, a ring, a band, a glove, etc.).

스크린 패드(200)는 차량에 장착되어, 네비게이션, AV 시스템, 차량 정보 안내 등의 기능을 제공한다.The screen pad 200 is mounted on a vehicle and provides functions such as navigation, AV system, and vehicle information guidance.

도 6은, 도 5에 도시된 차량용 사용자 입력 시스템에서의 입력 정보 획득 방식을 개념적으로 나타낸 도면이다. 획득하는 입력 정보에는, 사용자의 손끝(손가락의 끝부분) 위치 정보, 손 위치 정보, 손 움직임 정보 등이 있다.FIG. 6 is a diagram conceptually illustrating an input information acquisition method in the vehicle user input system shown in FIG. 5 . The acquired input information includes user's fingertip (tip of a finger) location information, hand location information, hand movement information, and the like.

사용자 손끝 위치 정보는 스크린 패드(200)에 마련된 센서 어레이를 통해 비접촉식으로 감지한다. 센서 어레이는 사용자의 손가락에 적외선을 발광하는 IR-LED 어레이와 사용자의 손가락에서 반사되는 적외선의 광량을 감지하는 CCD(Charge Coupled Device) 어레이를 포함하는 IR/CCD 어레이(210)로 구성된다.The user's fingertip position information is sensed in a non-contact manner through a sensor array provided on the screen pad 200 . The sensor array is composed of an IR/CCD array 210 including an IR-LED array that emits infrared light to the user's finger and a Charge Coupled Device (CCD) array that detects the amount of infrared light reflected from the user's finger.

사용자 손의 위치 정보와 사용자 손의 움직임 정보는, 웨어러블 디바이스(100)에 마련되어 있는 9축 자이로/가속도 센서, GPS 모듈 등을 통해 생성되어, 스크린 패드(200)로 실시간 무선 전송된다.The location information of the user's hand and the movement information of the user's hand are generated through a 9-axis gyro/acceleration sensor, a GPS module, etc. provided in the wearable device 100 , and are wirelessly transmitted to the screen pad 200 in real time.

도 6에서 웨어러블 디바이스(100)와 스크린 패드(200) 간의 무선 통신 방식으로 블루투스를 상정하였는데, 다른 방식의 무선 통신으로 대체될 수 있음은 물론이다.In FIG. 6 , it is assumed that Bluetooth is a wireless communication method between the wearable device 100 and the screen pad 200 , but it goes without saying that other types of wireless communication may be used.

도 7에는 스크린 패드(200)의 내부 구성을 나타낸 도면이다. 도 7에 도시된 바와 같이, 스크린 패드(200)는 IR/CCD 어레이 구동부(220), 블루투스 모듈(230) 및 프로세싱 유닛(240)을 포함한다.7 is a view showing an internal configuration of the screen pad 200 . 7 , the screen pad 200 includes an IR/CCD array driver 220 , a Bluetooth module 230 and a processing unit 240 .

IR/CCD 어레이 구동부(220)는 IR/CCD 어레이(210)를 구동하기 위한 구동 신호를 생성하기 위한 수단이다. 블루투스 모듈(230)은 웨어러블 디바이스(100)로부터 손 위치 정보와 손 움직임 정보를 수신하기 위한 수단이다.The IR/CCD array driver 220 is a means for generating a driving signal for driving the IR/CCD array 210 . The Bluetooth module 230 is a means for receiving hand position information and hand movement information from the wearable device 100 .

프로세싱 유닛(240)은 IR/CCD 어레이(210)에서 획득된 손끝 위치정보와 블루투스 모듈(230)을 통해 수신한 웨어러블 디바이스(100)에 의해 획득된 손 위치정보를 이용하여, 손가락에 의한 포인팅 지점을 인식한다.The processing unit 240 uses the fingertip position information obtained from the IR/CCD array 210 and the hand position information obtained by the wearable device 100 received through the Bluetooth module 230 to indicate a pointing point by a finger. recognize

도 8은 프로세싱 유닛(240)에 의한 포인팅 지점 인식 과정의 설명에 제공되는 도면이다.8 is a diagram provided for explanation of a pointing point recognition process by the processing unit 240 .

도 8에 도시된 바와 같이, 프로세싱 유닛(240)은 IR/CCD 어레이(210)에 의해 감지된 광량 분포를 수집하고(S310), 웨어러블 디바이스(100)로부터 손의 위치 정보와 움직임 정보를 수신한다(S320).As shown in FIG. 8 , the processing unit 240 collects the light quantity distribution sensed by the IR/CCD array 210 ( S310 ), and receives the position information and motion information of the hand from the wearable device 100 . (S320).

다음, 프로세싱 유닛(240)은 S310단계에서 수집된 정보와 S320단계에서 수신된 정보를 이용하여, 사용자의 손가락에 의한 포인팅 지점을 파악한다(S330).Next, the processing unit 240 uses the information collected in step S310 and the information received in step S320 to identify a pointing point by the user's finger ( S330 ).

구체적으로, 프로세싱 유닛(240)은 S310단계에서 수집된 광량 분포를 분석하여, 포인팅 지점을 인식한다. 이 과정에서 S320단계에서 수신된 손 위치 정보가 참조될 수 있으며, 이에 대해서는 상세히 후술한다.Specifically, the processing unit 240 analyzes the light quantity distribution collected in step S310 to recognize the pointing point. In this process, the hand position information received in step S320 may be referred to, which will be described later in detail.

이후, 프로세싱 유닛(240)은 S320단계에서 수신된 손 위치 정보를 참조하여 포인팅 지점을 보정한다. 예를 들어, 손 위치 정보가 기준 위치로부터 좌측으로 치우쳐 있으면 포인팅 지점을 해당 거리 만큼 우측으로 이동시키는 보정을 수행하고, 손 위치 정보가 기준 위치로부터 우측으로 치우쳐 있으면 포인팅 지점을 좌측으로 이동시키는 보정을 수행할 수 있다.Thereafter, the processing unit 240 corrects the pointing point with reference to the hand position information received in step S320 . For example, if the hand position information is skewed to the left from the reference position, correction is performed to move the pointing point to the right by the corresponding distance, and if the hand position information is skewed to the right from the reference position, correction is performed to move the pointing point to the left. can be done

또한, 프로세싱 유닛(240)은 S320단계에서 수신한 손의 움직임 정보로부터 사용자의 입력 동작을 감지한다(S340). 예를 들어, 사용자의 손이 스크린 패드(200) 측으로 이동한 것으로 파악된 경우에는, 사용자의 입력 동작, 즉, 현재의 포인팅 지점을 선택하고자 하는 동작이 있는 것으로 취급한다.In addition, the processing unit 240 detects a user's input motion from the hand motion information received in step S320 (S340). For example, when it is determined that the user's hand has moved toward the screen pad 200 , it is treated as an input operation of the user, that is, an operation for selecting a current pointing point.

프로세싱 유닛(240)은 S330단계에서 파악된 포인팅 지점과 S340단계에서 파악된 입력 동작을 처리한다(S350). 구체적으로, S330단계에서 파악된 포인팅 지점에 포인터를 위치시키거나 해당 영역을 하이라이트 시키고, S340단계에서 입력 동작이 파악되면 해당 입력에 따른 기능(이를 테면, 문자 입력, 위치 지정, 아이콘/메뉴 선택)을 수행한다.The processing unit 240 processes the pointing point identified in step S330 and the input operation identified in step S340 (S350). Specifically, the pointer is positioned at the pointing point identified in step S330 or the corresponding area is highlighted, and when an input operation is identified in step S340, a function according to the input (eg, character input, positioning, icon/menu selection) carry out

도 9는 IR/CCD 어레이(210)를 구성하는 하나의 IR-LED와 CCD에서 광량을 측정하는 상황을 나타내었다. 이에 의해, 여러 개의 IR-LED와 CCD와 구성되는 IR/CCD 어레이(210)에서는 2차원의 광량 분포가 출력된다.9 shows a situation in which the amount of light is measured in one IR-LED and CCD constituting the IR/CCD array 210 . Accordingly, a two-dimensional light quantity distribution is output from the IR/CCD array 210 configured with several IR-LEDs and CCDs.

그리고, 도 10에 도시된 바와 같이, 프로세싱 유닛(240)은 2차원 광량 분포를 2차원 행렬로 구성한 이후, 이를 다중 행렬로 변환하고, 각 셀간 노이즈 분석을 통해 근사 노이즈를 제거한다. 이때, 근사 노이즈의 기준은 웨어러블 디바이스(100)에 의해 획득된 사용자 손의 위치정보를 기초로 결정한다.Then, as shown in FIG. 10 , the processing unit 240 configures a two-dimensional light quantity distribution into a two-dimensional matrix, converts it into a multi-matrix, and removes approximate noise through inter-cell noise analysis. In this case, the reference of the approximate noise is determined based on the location information of the user's hand obtained by the wearable device 100 .

또한, 프로세싱 유닛(240)은 2차원 광량 분포로부터 사용자의 손끝과 스크린 패드(200) 간의 거리를 계산할 수 있다. 구체적으로, 광량이 가장 큰 지점에서의 광량(즉, 최대 광량)을 기초로 거리 계산이 가능하다. 광량과 거리는 반비례한다. 즉, 광량이 클수록 거리는 가깝게 계산되고, 광량이 작을수록 거리가 멀게 계산된다.Also, the processing unit 240 may calculate a distance between the user's fingertip and the screen pad 200 from the two-dimensional light quantity distribution. Specifically, it is possible to calculate the distance based on the amount of light (ie, the maximum amount of light) at the point where the amount of light is greatest. Light intensity and distance are inversely proportional. That is, the greater the light amount, the closer the distance is calculated, and the smaller the light amount, the farther the distance is calculated.

계산된 거리는 손끝과 스크린 패드(200) 간의 거리를 기초로, 웨어러블 디바이스(100)에 의해 생성된 손의 위치 정보를 보정할 수 있다. 즉, 광량 분포로부터 계산된 거리와, 웨어러블 디바이스(100)에 의해 생성된 손의 위치 정보를 통해 산출된 사용자 손과 스크린 패드(200) 간의 거리를 비교하여, 오차를 도출하고, 도출된 오차를 기반으로 웨어러블 디바이스(100)에 의해 생성된 손의 위치 정보를 보정하는 것이다.The calculated distance may correct the position information of the hand generated by the wearable device 100 based on the distance between the fingertip and the screen pad 200 . That is, by comparing the distance calculated from the light quantity distribution and the distance between the user's hand and the screen pad 200 calculated through the position information of the hand generated by the wearable device 100 , an error is derived, and the derived error is calculated by comparing the distance between the user's hand and the screen pad 200 . Based on the hand position information generated by the wearable device 100 is corrected.

본 발명의 실시예에서는, IR/CCD 어레이와 웨어러블 디바이스를 연동하여, 사용자의 손의 정확한 위치를 파악하고, 손 위치에서 확인된 손가락의 정보를 취합하여 정확한 포인팅 지점을 계산할 수 있게 된다.In an embodiment of the present invention, by interworking the IR/CCD array and the wearable device, the precise location of the user's hand can be identified, and the accurate pointing point can be calculated by collecting the finger information identified at the hand location.

또한, 본 발명의 실시예에서는, IR/CCD 어레이로 각 위치에서 손과 스크린 패드(200) 간의 거리를 확인하여, 손 위치를 보정함으로써, 포인트의 정확도를 높일 수 있게 된다.In addition, in the embodiment of the present invention, by checking the distance between the hand and the screen pad 200 at each position with the IR/CCD array, and correcting the hand position, it is possible to increase the accuracy of the point.

힌편, 본 발명의 실시예에서는, IR/CCD가 어레이로 구성되어, 외부 환경에 대한 오류, 차량 이동 환경에 대한 오류를 제거할 수 있는 기준이 제공된다.On the other hand, in the embodiment of the present invention, the IR/CCD is configured as an array, and a standard capable of removing an error for the external environment and an error for the vehicle moving environment is provided.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims Various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

100 : 웨어러블 디바이스
200 : 스크린 패드
210 : IR/CCD 어레이
220 : IR/CCD 어레이 구동부
230 : 블루투스 모듈
240 : 프로세싱 유닛100: wearable device
200: screen pad
210: IR/CCD Array
220: IR/CCD array driver
230: Bluetooth module
240: processing unit

Claims

a sensor array for non-contact sensing of the user's fingertip position;
a communication module for receiving location information of a user's hand from the wearable device; and
a processing unit for recognizing a pointing point by the user's finger by using the detection result of the sensor array and the location information;
The processing unit is
Recognizing a pointing point from the detection result of the sensor array, and correcting the recognized pointing point with reference to the location information of the user's hand received through the communication module.

delete

The method according to claim 1,
The processing unit is
The screen pad according to claim 1, wherein the distance between the fingertip and the screen pad is calculated from the sensing result of the sensor array, and the position information is corrected using the calculation result.

The method according to claim 1,
The communication module is
Further receiving the motion information of the user's hand from the wearable device,
The processing unit is
The screen pad, characterized in that for detecting the input motion of the user through the motion information.

The method according to claim 1,
The sensor array is
an IR-LED array that emits infrared light to the finger; and
The screen pad comprising a; CCD array for sensing infrared rays reflected from the finger.

a screen pad for detecting a user's fingertip position in a non-contact manner with a sensor array and recognizing a pointing point by the user's finger using the user's hand position information received from the following wearable device; and
Including; a wearable device for transmitting the location information of the user's hand to the screen pad;
The screen pad,
Recognizing a pointing point from the detection result of the sensor array, and correcting the recognized pointing point with reference to the location information of the user's hand received from the wearable device.