KR102133262B1 - Display integrated input Apparatus - Google Patents

Display integrated input Apparatus Download PDF

Info

Publication number
KR102133262B1
KR102133262B1 KR1020150037719A KR20150037719A KR102133262B1 KR 102133262 B1 KR102133262 B1 KR 102133262B1 KR 1020150037719 A KR1020150037719 A KR 1020150037719A KR 20150037719 A KR20150037719 A KR 20150037719A KR 102133262 B1 KR102133262 B1 KR 102133262B1
Authority
KR
South Korea
Prior art keywords
display
display device
integrated input
dimensional camera
sensor
Prior art date
Application number
KR1020150037719A
Other languages
Korean (ko)
Other versions
KR20160113381A (en
Inventor
김민규
신희숙
오창목
임정묵
정현태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150037719A priority Critical patent/KR102133262B1/en
Publication of KR20160113381A publication Critical patent/KR20160113381A/en
Application granted granted Critical
Publication of KR102133262B1 publication Critical patent/KR102133262B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Abstract

디스플레이 일체형 입력장치가 개시된다. 디스플레이 일체형 입력장치는 디스플레이 장치 및 디스플레이 장치의 양 단 각각에 설치되며, 디스플레이 장치의 디스플레이 표면과 디스플레이 표면에 인접한 영역을 인지하는 두 개의 3차원 카메라 센서를 포함한다.Disclosed is a display integrated input device. The display integrated input device is installed on each of both ends of the display device and the display device, and includes two display devices and a three-dimensional camera sensor that recognizes an area adjacent to the display surface.

Description

디스플레이 일체형 입력장치{Display integrated input Apparatus}Display integrated input Apparatus

본 발명은 디스플레이 일체형 입력장치에 관한 것이다.
The present invention relates to a display integrated input device.

최근, 디스플레이와 인접한 3D 공간을 인지하여 사용자의 손가락을 추적하는 시스템을 개발하는 연구가 많이 진행되고 있으며, 이를 응용한 다양한 컨텐츠 역시 개발되고 있다. 디스플레이와 인접한 영역을 인지하는 방식은 크게 두 가지가 있다. 첫 번째 형태는 디스플레이로부터 떨어진 위치에 3D 인지 센서를 설치해 전체 영역에서 필요한 영역만을 잘라내 인지하는 것이다. 두 번째 방식은 디스플레이에 내장된 터치 센서를 이용하는 방식으로, 5cm 이내의 인접한 영역까지 터치 센싱을 가능토록 구현한 것이다.Recently, many studies have been conducted to develop a system for tracking a user's finger by recognizing a 3D space adjacent to a display, and various contents using the same have been developed. There are two ways to recognize the area adjacent to the display. The first form is to install a 3D recognition sensor at a position away from the display and cut and recognize only the required area from the entire area. The second method is a method using a touch sensor embedded in a display, and is implemented to enable touch sensing to an adjacent area within 5 cm.

첫 번째 방식의 경우, 3D 인지 센서의 성능에 따라 정확하게 영역 인지를 할 수 있으나, 3D 인지 센서가 외부에 설치되어 있어, 디스플레이와 3D 인지 센서의 상대적 위치가 변경될 경우 정확도가 떨어지는 단점이 있다. 이를 해결하려면, 캘리브레이션 단계를 거치는 등의 추가적인 조정이 필요하여, 휴대성이 떨어진다는 단점이 있으며, 디스플레이와의 정확한 인터랙션이 어렵다는 단점이 있다.In the first method, it is possible to accurately recognize a region according to the performance of the 3D recognition sensor, but since the 3D recognition sensor is installed outside, there is a disadvantage in that accuracy is reduced when the relative positions of the display and the 3D recognition sensor are changed. To solve this, additional adjustments, such as going through a calibration step, are required, and thus, there is a disadvantage that portability is poor, and it is difficult to accurately interact with a display.

두 번째 방식의 경우, 터치 센서의 특성상 30cm 가량의 거리에서는 사용자의 손가락을 추적하는 것이 불가능하다는 단점이 있다. 이러한 단점 때문에, 디스플레이와 인접한 부분에서의 3D 큐브 영역을 인지하는 데 어려운 문제점이 있다.
In the second method, due to the characteristics of the touch sensor, it is impossible to track a user's finger at a distance of about 30 cm. Due to this disadvantage, there is a difficulty in recognizing a 3D cube area in a portion adjacent to the display.

본 발명은 디스플레이 표면 및 디스플레이 표면과 인접한 공간을 동시에 인식하는 디스플레이 일체형 입력장치를 제안하는 것이다.
The present invention proposes a display integrated input device that simultaneously recognizes a display surface and a space adjacent to the display surface.

본 발명의 일 측면에 따르면, 디스플레이 일체형 입력장치가 개시된다.According to an aspect of the present invention, an integrated display input device is disclosed.

본 발명의 실시예에 따른 디스플레이 일체형 입력장치는 디스플레이 장치 및 상기 디스플레이 장치의 양 단 각각에 설치되며, 상기 디스플레이 장치의 디스플레이 표면과 상기 디스플레이 표면에 인접한 영역을 인지하는 두 개의 3차원 카메라 센서를 포함한다.
A display-integrated input device according to an embodiment of the present invention is installed on both ends of a display device and the display device, and includes two 3D camera sensors for recognizing a display surface of the display device and an area adjacent to the display surface do.

본 발명에 따른 디스플레이 일체형 입력장치는 디스플레이 표면 및 디스플레이 표면과 인접한 공간을 동시에 인식할 수 있다.
The integrated display device according to the present invention can simultaneously recognize a display surface and a space adjacent to the display surface.

도 1은 본 발명의 일 실시예에 따른 디스플레이 일체형 입력장치를 개략적으로 예시한 도면.
도 2는 본 발명의 다른 실시예에 따른 디스플레이 일체형 입력장치를 개략적으로 예시한 도면.
도 3은 두 개의 3차원 카메라 센서가 인지하는 영역을 나타낸 예시도.1 is a view schematically illustrating a display integrated input device according to an embodiment of the present invention.
2 is a view schematically illustrating a display integrated input device according to another embodiment of the present invention.
3 is an exemplary view showing an area recognized by two three-dimensional camera sensors.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the numbers used in the description process of the present specification (eg, first, second, etc.) are merely identification symbols for distinguishing one component from other components.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, in the present specification, when one component is referred to as “connected” or “connected” with another component, the one component may be directly connected to the other component, or may be directly connected. It should be understood that, as long as there is no objection to the contrary, it may or may be connected via another component in the middle.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the overall understanding in describing the present invention, the same reference numerals will be used for the same means regardless of the drawing numbers.

도 1은 본 발명의 일 실시예에 따른 디스플레이 일체형 입력장치를 개략적으로 예시한 도면이고, 도 2는 본 발명의 다른 실시예에 따른 디스플레이 일체형 입력장치를 개략적으로 예시한 도면이다.1 is a view schematically illustrating a display integrated input device according to an embodiment of the present invention, and FIG. 2 is a diagram schematically illustrating a display integrated input device according to another embodiment of the present invention.

우선, 도 1을 참조하면, 디스플레이 일체형 입력장치는 하나의 디스플레이 장치(222) 및 두 개의 3차원 카메라 센서(110, 120)를 포함한다. 도 1에 도시된 디스플레이 일체형 입력장치는 기본적으로 두 개의 3차원 카메라 센서(110, 120) 각각에 대하여 재구성된 공간을 결합함으로써, 디스플레이 표면과 이에 인접한 영역을 인지할 수 있도록 구성될 수 있다. 또한, 디스플레이 일체형 입력장치는 3차원 카메라 센서(110, 120)의 화각을 고려하여, 디스플레이 장치(222)와 3차원 카메라 센서(110, 120)가 약간 떨어지도록 구성될 수 있다.First, referring to FIG. 1, the display integrated input device includes one display device 222 and two three-dimensional camera sensors 110 and 120. The display-integrated input device illustrated in FIG. 1 may be configured to recognize a display surface and an area adjacent thereto by combining a reconstructed space for each of the two three-dimensional camera sensors 110 and 120. In addition, the display integrated input device may be configured such that the display device 222 and the 3D camera sensors 110 and 120 are slightly separated in consideration of the angle of view of the 3D camera sensors 110 and 120.

예를 들어, 본 발명에 따른 디스플레이 장치(222)는 21.5인치의 화면 크기로 구성될 수 있다. 그리고, 디스플레이 일체형 입력장치는 디스플레이 장치(222)의 양 단에 각도가 고정된 3차원 카메라 센서(110, 120)가 설치됨으로써, 디스플레이 표면 및 이에 인접한 영역을 인지할 수 있다. 디스플레이 장치(222)의 양 단에 설치된 3차원 카메라 센서(110, 120)는 디스플레이 장치(222)와 직각보다 15도 가량 뒤로 기울어진 형태로 구성될 수 있으며, 이를 통해 디스플레이 표면으로부터 30cm 떨어진 높이까지 인지가 가능할 수 있다. For example, the display device 222 according to the present invention may be configured with a screen size of 21.5 inches. In addition, the display integrated input device may recognize the display surface and an area adjacent thereto by installing three-dimensional camera sensors 110 and 120 having fixed angles at both ends of the display device 222. The three-dimensional camera sensors 110 and 120 installed at both ends of the display device 222 may be configured to be inclined about 15 degrees behind the right angle to the display device 222, through which the height up to 30 cm away from the display surface Cognition may be possible.

다음으로, 도 2를 참조하면, 디스플레이 일체형 입력장치는 하나의 디스플레이 장치(222), 연결바(200) 및 하나의 3차원 카메라 센서(210)를 포함한다. 여기서, 연결바(200)는 디스플레이 장치(222)와 3차원 카메라 센서(210)를 서로 이격된 상태로 연결시킬 수 있다.Next, referring to FIG. 2, the display-integrated input device includes one display device 222, a connection bar 200, and one three-dimensional camera sensor 210. Here, the connection bar 200 may connect the display device 222 and the 3D camera sensor 210 in a spaced apart state from each other.

예를 들어, 도 2에 도시된 디스플레이 일체형 입력장치는 하나의 3차원 카메라 센서(210)가 디스플레이 장치(222)의 모든 영역을 인지하도록 구성될 수 있다. 즉, 3차원 카메라 센서(210)가 디스플레이 장치(222)로부터 최대한 떨어지면, 하나의 3차원 카메라 센서(210)가 디스플레이 장치(222)의 모든 영역을 인지할 수 있다.
For example, the display integrated input device illustrated in FIG. 2 may be configured such that one 3D camera sensor 210 recognizes all areas of the display device 222. That is, when the 3D camera sensor 210 is as far as possible from the display device 222, one 3D camera sensor 210 may recognize all areas of the display device 222.

도 3은 두 개의 3차원 카메라 센서가 인지하는 영역을 나타낸 예시도이다.3 is an exemplary view showing an area recognized by two three-dimensional camera sensors.

3차원 카메라 센서(110, 120, 210)는 화각이 좁기 때문에, 3차원 카메라 센서(110, 120, 210)에 인접한 모든 영역을 인지하는 것은 불가능하다. 따라서, 이를 해결하기 위하여, 총 두 대의 3차원 카메라 센서(110, 120)가 부착된 형태로 디스플레이 일체형 입력장치가 구성될 수 있다. 각 3차원 카메라 센서(110, 120)는 디스플레이 장치(222)의 양 단 중 부착된 위치의 반대단으로부터 절반 이상의 디스플레이 영역을 인지할 수 있으며, 이후 디스플레이 일체형 입력장치는 각 3차원 카메라 센서(110, 120)가 인지한 정보를 혼합할 수 있다.Since the 3D camera sensors 110, 120, and 210 have a narrow angle of view, it is impossible to recognize all areas adjacent to the 3D camera sensors 110, 120, 210. Therefore, in order to solve this, a total of two 3D camera sensors 110 and 120 may be configured in an integrated display input device. Each of the three-dimensional camera sensors 110 and 120 may recognize more than half the display area from the opposite end of the attached position of both ends of the display device 222, and then the integrated display device may display each of the three-dimensional camera sensors 110 , 120).

즉, 도 3에 도시된 바와 같이, 좌측의 3차원 카메라 센서(110)는 좌측 센서 인지 영역을 인지할 수 있고, 우측의 3차원 카메라 센서(120)는 우측 센서 인지 영역을 인지할 수 있다. 그리고, 좌측 센서 인지 영역과 우측 센서 인지 영역이 겹쳐진 영역에 대한 보정이 수행됨으로써, 디스플레이 장치(222)와 인접한 모든 영역이 인지될 수 있다. 그래서, 본 발명에 따른 디스플레이 일체형 입력 장치는 디스플레이 인접 영역으로부터 최소 30cm 떨어진 영역까지 인지할 수 있게 된다.That is, as illustrated in FIG. 3, the left 3D camera sensor 110 may recognize the left sensor recognition area, and the right 3D camera sensor 120 may recognize the right sensor recognition area. In addition, by correcting the area where the left sensor recognition area and the right sensor recognition area overlap, all areas adjacent to the display device 222 may be recognized. Thus, the display integrated input device according to the present invention can recognize a region at least 30 cm away from the display adjacent region.

지금까지 설명한 본 발명의 구성을 이용하여, 디스플레이 표면 및 디스플레이 표면으로부터 약간 떨어진 영역을 모두 인지할 수 있는 하드웨어가 구성될 수 있다. 이후, 소프트웨어 설계를 통해 해당 영역에서의 사용자 손가락 추적과, 이를 통한 제스처 인식을 하는 기능 역시 구현될 수 있다.
Using the configuration of the present invention described so far, hardware capable of recognizing both the display surface and the area slightly away from the display surface can be configured. Subsequently, a user finger tracking in a corresponding area and a gesture recognition function through the software design may also be implemented.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
The above has been described with reference to preferred embodiments of the present invention, but those skilled in the art may vary the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. It will be understood that modifications and changes can be made.

222: 디스플레이 장치
110, 120, 210: 3차원 카메라 센서
200: 연결바222: display device
110, 120, 210: 3D camera sensor
200: connection bar

Claims (7)

디스플레이 장치; 및
상기 디스플레이 장치의 양 단 각각에 설치되며, 상기 디스플레이 장치의 디스플레이 표면과 상기 디스플레이 표면에 인접한 영역을 인지하는 두 개의 3차원 카메라 센서; 및
상기 디스플레이 장치의 양 단에서, 상기 두 개의 카메라 센서 중 적어도 하나 이상을 이격된 상태로 연결하는 연결바;
를 포함하고,
상기 두 개의 3차원 카메라 센서는
상기 디스플레이 장치의 양 단에 설치된 위치를 기준으로 두 개의 센서 인지 영역을 인지하고,
상기 연결바는
상기 두 개의 3차원 카메라 센서 중 어느 하나의 3차원 카메라 센서를 상기 디스플레이 장치로부터 이격시켜, 한 개의 센서 인지 영역을 상기 두 개의 센서 인지 영역에 상응하는 인지 영역으로 확장시키는 것을 특징으로 하는 디스플레이 일체형 입력 장치.Display device; And
Two three-dimensional camera sensors installed on both ends of the display device and recognizing a display surface of the display device and an area adjacent to the display surface; And
A connecting bar connecting at least one of the two camera sensors in a spaced state at both ends of the display device;
Including,
The two three-dimensional camera sensors
Two sensor recognition areas are recognized based on positions installed at both ends of the display device,
The connection bar
Display-integrated input, characterized in that one of the two three-dimensional camera sensor to separate the three-dimensional camera sensor from the display device, extends one sensor recognition area to a recognition area corresponding to the two sensor recognition areas Device. 청구항 1에 있어서,
상기 두 개의 3차원 카메라 센서는
상기 디스플레이 장치의 양 단에 직각보다 기울어진 형태로 각각 설치되는 것을 특징으로 하는 디스플레이 일체형 입력 장치.The method according to claim 1,
The two three-dimensional camera sensors
A display-integrated input device, characterized in that each of the display device is installed in an inclined form rather than a right angle. 삭제delete 청구항 1에 있어서,
상기 두 개의 3차원 카메라 센서는
상기 두 개의 센서 인지 영역에서 겹쳐진 영역에 대한 보정을 수행하는 것을 특징으로 하는 디스플레이 일체형 입력 장치.The method according to claim 1,
The two three-dimensional camera sensors
Display integrated input device, characterized in that for performing correction on the overlapping area in the two sensor recognition area. 삭제delete 청구항 4에 있어서,
상기 연결바는
상기 두 개의 3차원 카메라 센서를 상기 디스플레이 장치의 양 단으로부터 이격시켜, 상기 두 개의 센서 인지 영역을 확장시키는 것을 특징으로 하는 디스플레이 일체형 입력 장치.The method according to claim 4,
The connection bar
A display-integrated input device characterized in that the two three-dimensional camera sensors are spaced apart from both ends of the display device to expand the two sensor recognition areas. 삭제delete
KR1020150037719A 2015-03-18 2015-03-18 Display integrated input Apparatus KR102133262B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150037719A KR102133262B1 (en) 2015-03-18 2015-03-18 Display integrated input Apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150037719A KR102133262B1 (en) 2015-03-18 2015-03-18 Display integrated input Apparatus

Publications (2)

Publication Number Publication Date
KR20160113381A KR20160113381A (en) 2016-09-29
KR102133262B1 true KR102133262B1 (en) 2020-07-14

Family

ID=57073528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150037719A KR102133262B1 (en) 2015-03-18 2015-03-18 Display integrated input Apparatus

Country Status (1)

Country Link
KR (1) KR102133262B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776547A (en) * 2018-08-30 2018-11-09 宁波视睿迪光电有限公司 A kind of interactive device and 3D computer systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101137003B1 (en) * 2010-10-29 2012-04-19 (주)더게이트테크놀러지스 Method for operating touch of touch screen having camera

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103154858B (en) * 2010-09-22 2016-03-30 岛根县 Input device and method and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101137003B1 (en) * 2010-10-29 2012-04-19 (주)더게이트테크놀러지스 Method for operating touch of touch screen having camera

Also Published As

Publication number Publication date
KR20160113381A (en) 2016-09-29

Similar Documents

Publication Publication Date Title
US9645693B2 (en) Determining user handedness and orientation using a touchscreen device
US9213432B2 (en) Mobile device and method for operating the same
WO2018132608A3 (en) Navigation based on occlusion zones
WO2016074087A3 (en) 3d input detection by using angles of joints
WO2018069757A3 (en) Navigating a vehicle based on a detected barrier
EP2515212A3 (en) Touch screen system and method of driving the same
TW202009653A (en) Direction determination system and direction determination method
US9983302B2 (en) System and method for correcting vehicle tracing-position of radar sensor using laser scanner
WO2014183098A3 (en) Mobile device interfaces
WO2014141113A3 (en) Medical device navigation system
WO2014004570A3 (en) Far-field sensing for rotation of fingerprint
WO2015105753A3 (en) System and method for host-augmented touch processing
RU2016136665A (en) WIRING CONDUCTIVE TRACK FOR DISPLAY SENSORS AND FACE PANEL
WO2016020763A3 (en) Handheld multi-sensor system for sizing irregular objects
WO2017030616A3 (en) Fast scanning radar systems and methods
WO2014099972A3 (en) Sensor data collection
RU2018125897A (en) METHOD FOR LIGHTING DEVICE MANAGEMENT
KR20160090677A (en) Parking guide system and method for controlling the same
US20150370413A1 (en) Portable display device and method of controlling therefor
WO2017050040A1 (en) Capacitive sensor, sensing device, sensing system, and electronic device
TW201624352A (en) Optical fingerprint recognition apparatus
WO2015189710A3 (en) Apparatus and method for disambiguating information input to a portable electronic device
US10048770B1 (en) Gesture onset detection on multiple devices
ITMN20090001A1 (en) OPTICAL INTERACTION DEVICE WITH GRAPHIC INTERFACE SYSTEMS WITH PIXEL GRID SCREEN
KR102133262B1 (en) Display integrated input Apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant