KR20150059423A - Virtual Touch Sensor Using Depth Information and Method for controlling the same - Google Patents
Virtual Touch Sensor Using Depth Information and Method for controlling the same Download PDFInfo
- Publication number
- KR20150059423A KR20150059423A KR1020130142989A KR20130142989A KR20150059423A KR 20150059423 A KR20150059423 A KR 20150059423A KR 1020130142989 A KR1020130142989 A KR 1020130142989A KR 20130142989 A KR20130142989 A KR 20130142989A KR 20150059423 A KR20150059423 A KR 20150059423A
- Authority
- KR
- South Korea
- Prior art keywords
- touch sensor
- depth
- sensor area
- value
- depth image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Abstract
Description
본 발명은 터치 센서 영역의 터치 제어에 관한 것으로, 구체적으로 터치 센서 영역에 인접하여 깊이 촬영 모듈을 설치하여 구해진 깊이 정보를 이용하여 가상의 터치 센서 동작을 구현할 수 있도록 한 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법에 관한 것이다.The present invention relates to touch control of a touch sensor area. More particularly, the present invention relates to a virtual touch sensor using deep information to implement a virtual touch sensor operation using depth information obtained by installing a depth photographing module adjacent to a touch sensor area. Sensor and a control method thereof.
접촉식 터치 센서를 이용한 응용은 스마트폰, PDA 등의 소형 디스플레이 장치에 이용되고 있다.Applications using contact-type touch sensors are used in small-sized display devices such as smart phones and PDAs.
접촉식 터치 센서는 크게 감압식과 정전식으로 구분되며, 감압식은 누르는 힘에 의해 반응하고, 정전식은 사람 몸에 흐르는 미세전류에 반응한다.The contact type touch sensor is largely classified into a depressurization type and an electrostatic type, and the depressurization type reacts by the pressing force, and the electrostatic type responds to the micro current flowing through the human body.
감압식 센서는 디스플레이 바깥층이 눌리면서 아래층과 맞닿아서 인식되는 원리이며, 정전식 센서는 장갑 등이 착용되지 않은 상태에서 사람의 미세전류가 인식되는 원리이다.The pressure sensitive sensor is a principle in which the outer layer of the display is pressed against the lower layer while being pressed, and the electrostatic sensor is a principle in which the human micro current is recognized when the glove is not worn.
이러한 접촉식 터치 센서는 컴퓨터의 마우스 또는 키보드 입력장치에 비하여 편리하므로 스마트폰, PDA 등의 소형 디스플레이 장치에 사용되고 있다.Such a touch-type touch sensor is more convenient than a mouse or a keyboard input device of a computer, and thus is used in a small-sized display device such as a smart phone or a PDA.
그러나, 디스플레이 장치의 크기가 커질수록 터치 센서의 소요 비용이 크게 증가하기 때문에 사용되지 않고 있다.However, as the size of the display device increases, the cost of the touch sensor increases greatly, so that it is not used.
본 발명은 이와 같은 종래 기술의 터치 센서의 문제를 해결하기 위한 것으로, 터치 센서 영역에 인접하여 깊이 촬영 모듈을 설치하여 구해진 깊이 정보를 이용하여 가상의 터치 센서 동작을 구현할 수 있도록 한 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법을 제공하는데 그 목적이 있다.In order to solve the problem of the related art touch sensor, the present invention provides a depth sensor which is provided adjacent to a touch sensor area and uses depth information obtained by installing a depth photographing module, And an object of the present invention is to provide a virtual touch sensor and a control method thereof.
본 발명은 깊이 촬영 모듈로부터 얻은 깊이 정보를 이용하여 가상의 포인터를 생성하고, 생성된 포인터가 터치 센서 영역을 터치한 것으로 판단하여 해당 동작을 실행하여 터치 센서의 제조 비용을 줄이고, 다양한 제품군에 적용할 수 있도록 한 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법을 제공하는데 그 목적이 있다.The present invention generates a virtual pointer using the depth information obtained from the depth photographing module, determines that the generated pointer touches the touch sensor area, executes the corresponding operation to reduce the manufacturing cost of the touch sensor, The present invention provides a virtual touch sensor and a control method thereof using depth information that enables the touch sensor to be operated.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;상기 터치 센서 영역에 대한 깊이 영상에서 객체를 검출하고 검출된 객체에서 포인터를 추출하는 깊이 영상 분석 처리부;상기 깊이 영상 분석 처리부에서 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a virtual touch sensor using depth information according to the present invention includes a depth image capturing module for obtaining a depth image of a touch sensor area, an object detecting unit for detecting an object in the depth image of the touch sensor area, And a touch determiner for determining whether the touch sensor area is touched based on the depth value of the pointer position extracted by the depth image analysis processor.
여기서, 상기 깊이 영상 분석 처리부는, 깊이 영상으로부터 객체를 검출하는 객체 검출 수단과,검출된 객체에서 포인터를 추출하는 포인터 추출 수단 및, 공간좌표 왜곡을 보정하는 공간 좌표 보정 수단을 포함하는 것을 특징으로 한다.The depth image analysis processing unit includes an object detection unit that detects an object from a depth image, a pointer extraction unit that extracts a pointer from the detected object, and a spatial coordinate correction unit that corrects spatial coordinate distortion. do.
상기 포인터 추출 수단은, 깊이 영상 촬영 모듈로부터 제공되는 깊이 영상에서 포인터를 하나 또는 동시에 복수 개를 추출하고, 복수 개의 포인터들을 추출한 경우에는 추출된 포인터들의 각각이 구분되어 깊이 값이 제공되도록 하는 것을 특징으로 한다.The pointer extracting means extracts one or a plurality of pointers from the depth image provided from the depth image photographing module and extracts a plurality of pointers, .
그리고 터치 센서 영역에 대한 깊이 영상을 이용하여 터치 센서 영역의 깊이 값을 계산하여 깊이 영상 분석 처리부로 제공하는 깊이 값 계산 수단을 더 구비하는 것을 특징으로 한다.And depth value calculation means for calculating a depth value of the touch sensor region using the depth image of the touch sensor region and providing the depth value to the depth image analysis processing unit.
그리고 상기 깊이 값 계산 수단은, 실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나, 특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 한다.The depth value calculation means calculates an average value, an intermediate value, or a minimum value by accumulating a screen corresponding to a specific number or selecting a first screen of a depth image to be provided, And the representative depth value.
그리고 상기 깊이 값 계산 수단은, 깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 한다.The depth value calculation unit calculates the depth value of the touch sensor area again when the position or the distance between the depth image pickup module and the touch sensor area is changed.
그리고 깊이 영상 촬영 모듈로부터 얻어진 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 것을 특징으로 한다.Then, the moving direction, the moving speed, and the moving distance of the pointer are detected by continuously comparing the previous frame and the current frame of the depth image obtained from the depth image capturing module.
다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 터치 센서 영역을 촬영하여 깊이 영상을 얻는 깊이 영상 촬영 모듈;상기 깊이 영상 촬영 모듈이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;상기 공간 좌표 보정부에서 보정된 공간좌표를 기준으로 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;검출된 객체에서 포인터를 추출하는 포인터 추출부;추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a virtual touch sensor using depth information according to the present invention includes a depth image capturing module for capturing a depth image by capturing a touch sensor area, A depth value calculation unit for calculating a representative depth value of the touch sensor area in the depth image based on the spatial coordinates corrected by the spatial coordinate correction unit, An object detection unit for sequentially grouping and labeling pixels of a depth image having different depth values and storing the same as a size value corresponding to the number of objects in order, a pointer extracting unit for extracting a pointer from the detected object, And a touch determiner for determining whether the touch sensor area is touched based on the depth value of the touch sensor area .
또 다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 터치 센서 영역을 촬영하여 깊이 영상을 얻는 깊이 영상 촬영 모듈;상기 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;검출된 객체에서 포인터를 추출하는 포인터 추출부;터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a virtual touch sensor using depth information, the depth sensor comprising: a depth image capturing module for capturing a depth image by capturing a touch sensor area; An object detection unit detects an object by sequentially grouping and labeling pixels of a depth image having a depth value different from a representative depth value of the touch sensor area and storing the same in a size value corresponding to the number of objects in order, A spatial coordinate correcting unit for correcting spatial coordinate distortion of an image with respect to the touch sensor area, a touch determination unit for determining whether the touch sensor area is touched based on the depth value of the extracted pointer position, ; And
여기서, 상기 터치 센서 영역은, 발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝터 기기의 빔이 투영되는 스크린 또는 벽, 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥의 어느 하나인 것을 특징으로 한다.Here, the touch sensor area includes a display device in which light is directly displayed through a light emitting element, a screen or a wall on which a beam of the beam projector device is projected, a flat or curved object in the shape of an arbitrary figure, And is characterized by being either one.
그리고 상기 깊이 값 계산부는, 실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나, 특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 한다.The depth value calculator calculates an average value, an intermediate value, or a minimum value by accumulating screens corresponding to a specific number, or selects a first screen of a depth image to be provided, And a depth value.
그리고 상기 깊이 값 계산부는, 깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 한다.The depth value calculation unit calculates the depth value of the touch sensor area again when the position or the distance between the depth image pickup module and the touch sensor area is changed.
다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서의 제어 방법은 깊이 영상 촬영 모듈을 통하여 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 단계;깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 단계;터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 단계;검출된 객체에서 포인터를 추출하고, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of controlling a virtual touch sensor using depth information, the method comprising: acquiring a depth image of a touch sensor area by capturing a touch sensor area through a depth image capturing module; A step of grouping and labeling the pixels of the depth image having a depth value different from the representative depth value of the touch sensor area and sequentially storing the depth information in a size value corresponding to the number of objects in order, Extracting a pointer from the detected object, and determining whether the touch sensor area is touched based on the depth value of the extracted pointer position.
여기서, 깊이 영상의 공간좌표 왜곡을 보정 하는 단계를, 객체 검출 이전 또는 포인터 추출 이후에 더 진행하는 것을 특징으로 한다.Here, the step of correcting the spatial coordinate distortion of the depth image is further performed before the object detection or after the pointer extraction.
그리고 깊이 영상의 공간좌표 왜곡을 보정 하는 단계에서, 1차원 선형 변환을 이용한 보정 또는 어파인 변환 또는 호모그래피 변환의 어느 하나의 방법을 선택하여 공간좌표 왜곡을 보정 하는 것을 특징으로 한다.In the step of correcting the spatial coordinate distortion of the depth image, the spatial coordinate distortion is corrected by selecting one of correction, affine transformation or homography transformation using one-dimensional linear transformation.
그리고 1차원 선형 변환을 이용한 보정은, 깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치되었을 때 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를, The correction using the one-dimensional linear transformation is performed on the basis of the four space-mapped spatial coordinates when the depth imaging module is installed on the left side of the touch sensor area,
그리고 객체를 검출하는 단계에서, 모폴로지 연산, 침식, 팽창, 제거, 채움을 통하여 잡음을 제거하고, 검출한 객체에 대한 라벨링에 생기는 잡음을 제거하기 위하여 라벨링된 객체의 화소수가 설정된 특정 개수 이내이면 라벨링 객체에서 제외시키는 것을 특징으로 한다.If the number of pixels of the labeled object is within a predetermined number in order to remove noises through morphology operation, erosion, expansion, elimination, and filling in the object detection step and remove noise caused by labeling of the detected object, And excluded from the object.
그리고 검출된 객체에서 포인터를 추출하는 과정에서, 깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 왼쪽에 있는 화소의 위치를 포인터로 사용하며, 영상 촬영모듈이 오른쪽일 때는 가장 오른쪽에 있는 화소로, 위쪽일 때는 가장 위쪽에 있는 화소로, 아래쪽일 때는 가장 아래쪽에 있는 화소를 포인터로 사용하는 것을 특징으로 한다.In the process of extracting the pointer from the detected object, when the depth imaging module is installed on the left side of the touch sensor area, the position of the leftmost pixel in the object is used as a pointer And a pixel located at the rightmost pixel when the image capturing module is on the right side and a pixel located on the uppermost side when the image capturing module is the upper side and a pixel located on the lowermost side when the image capturing module is the lower side.
그리고 터치 센서 영역에 대한 터치 여부를 판단하는 단계에서, 포인터가 접촉한 경우를 터치한 것으로 판단하는 경우, 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값, d s (x, y)를 비교하여 두 값의 절대차이가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 한다.If it is determined that the touch of the pointer is touched in the step of determining whether or not the touch sensor area is touched, the depth value of the pointer position d p ( x , y ) depth value at the position, comparing the d s (x, y) will be characterized in that it is determined that the touch when the absolute difference between the two values is below a value.
그리고 터치 센서 영역에 대한 터치 여부를 판단하는 단계에서, 포인터가 접근한 것을 터치한 것으로 판단하는 경우에는, 터치 센서 영역의 왼쪽에 영상 촬영모듈이 설치된 경우에 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정개수 T만큼 떨어진 화소 깊이 값, d s (x-T, y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 한다.If it is determined that the pointer is touched in the step of determining whether or not the touch sensor area is touched, the depth value of the pointer position d p ( x characterized by comparing, y) and the touch sensor position than the left a predetermined number T as the distance pixel depth value, d s (xT, y applicable in the depth image of the region) which determines that the touch when the difference between the two values is below a certain value .
이와 같은 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법은 터치 센서 영역에 인접하여 깊이 촬영 모듈을 설치하여 구해진 깊이 정보를 이용하여 가상의 터치 센서 동작을 구현할 수 있다.The virtual touch sensor and the control method using the depth information according to the present invention can implement the virtual touch sensor operation using the depth information obtained by installing the depth photographing module adjacent to the touch sensor area.
또한, 깊이 촬영 모듈로부터 얻은 깊이 정보를 이용하여 가상의 포인터를 생성하고, 생성된 포인터가 스크린을 터치한 것으로 판단하여 해당 동작을 실행하여 터치 센서의 제조 비용을 줄이고, 다양한 제품군에 적용할 수 있다.
Further, it is possible to generate a virtual pointer using the depth information obtained from the depth photographing module, judge that the generated pointer touches the screen, perform the corresponding operation, reduce the manufacturing cost of the touch sensor, and apply it to various product groups .
도 1a와 도 1b는 본 발명에 따른 가상 터치 센서의 구성도
도 2는 터치 센서 영역에서 깊이 영상 촬영 모듈의 설치 위치를 나타낸 구성도
도 3은 터치 센서 영역을 나타낸 구성도
도 4는 터치 센서 영역의 공간 좌표 보정을 나타낸 구성도
도 5는 터치 센서 영역에서의 터치 판단을 나타낸 구성도
도 6은 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도
도 7은 본 발명에 따른 가상 터치 센서의 제어 방법을 나타낸 플로우 차트1A and 1B are schematic diagrams of a virtual touch sensor according to the present invention
FIG. 2 is a view showing the installation position of the depth image photographing module in the touch sensor area
3 is a schematic view showing a touch sensor area
Fig. 4 is a diagram showing spatial coordinate correction of the touch sensor area
5 is a diagram showing a touch judgment in the touch sensor area
6 is a diagram showing the flow of the touch speed and the locus of the pointer
7 is a flowchart showing a control method of the virtual touch sensor according to the present invention.
이하, 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of a virtual touch sensor and a control method thereof using depth information according to the present invention will be described in detail as follows.
본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.The features and advantages of the virtual touch sensor and the control method thereof using the depth information according to the present invention will be apparent from the following detailed description of each embodiment.
도 1a와 도 1b는 본 발명에 따른 가상 터치 센서의 구성도이고, 도 2는 터치 센서 영역에서 깊이 영상 촬영 모듈의 설치 위치를 나타낸 구성도이다.FIGS. 1A and 1B are diagrams illustrating a configuration of a virtual touch sensor according to the present invention, and FIG. 2 is a diagram illustrating a mounting position of a depth image capturing module in a touch sensor area.
본 발명은 물리적인 접촉식 터치 센서 대신에 가상의 터치 센서를 사용하여 발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝트와 같이 빔이 투영되는 스크린 또는 벽, 그 이외에 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥 등에서 사용 가능하도록 한 터치 센서에 관한 것이다.The present invention can be applied to a display device in which light is directly displayed through a light emitting element using a virtual touch sensor instead of a physical touch sensor, a screen or a wall on which a beam is projected, such as a beam project, A flat or curved object, a floor of a building space, and the like.
이러한 디스플레이 장치, 스크린, 평평하거나 곡면형태의 물체를 이하의 설명에서는 '터치 센서 영역'으로 정의한다.Such a display device, a screen, or a flat or curved object is defined as a 'touch sensor area' in the following description.
도 3은 터치 센서 영역을 나타낸 구성도이다.3 is a configuration diagram showing a touch sensor area.
가상의 터치 센서는 터치 센서 영역의 터치 지점에 물리적인 센서가 존재할 필요가 없고, 깊이 영상 촬영모듈로 촬영된 깊이 영상의 화소값이 터치 센서로 역할을 수행한다.The virtual touch sensor does not need to have a physical sensor at the touch point of the touch sensor area, and the pixel value of the depth image captured by the depth image capturing module serves as the touch sensor.
깊이 영상은 깊이 영상 촬영모듈로부터 얻어지는 화면의 프레임율(초당 화면수), 화면의 해상도(수평방향 및 수직방향 화소수)에 의해 센서의 정확도가 결정된다. The depth image is determined by the frame rate (the number of frames per second) of the screen obtained from the depth imaging module and the resolution of the screen (the number of pixels in the horizontal direction and the vertical direction).
현재, 깊이 영상 촬영모듈의 방식은 두 종류로 TOF(Time of Flight)방식과 스테레오 정합 방식이 있다.At present, there are two types of depth imaging module: TOF (Time of Flight) method and stereo matching method.
본 발명은 깊이 영상 촬영의 방식에는 제한이 없으며, 가상의 터치 센서의 구성은 다음과 같다.The present invention is not limited to the depth imaging method, and the configuration of the virtual touch sensor is as follows.
본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 크게 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈과, 터치 센서 영역에 대한 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상에서 객체를 검출하고 검출된 객체에서 포인터를 추출하는 깊이 영상 분석 처리부와, 깊이 영상 분석 처리부에서 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부를 포함한다.The virtual touch sensor using depth information according to the present invention includes a depth image capturing module for obtaining a depth image for a touch sensor area, an object detecting unit for detecting an object from a depth image having a depth value different from a representative depth value for the touch sensor area A depth image analysis processing unit for extracting a pointer from the detected object, and a touch determination unit for determining whether or not the touch sensor area is touched based on the depth value of the pointer position extracted by the depth image analysis processing unit.
여기서, 깊이 영상 분석 처리부는 객체를 검출하고 검출된 객체에서 포인터를 추출하기 위한 객체 검출 수단 및 포인터 추출 수단 그리고 공간좌표 왜곡을 보정하는 공간 좌표 보정 수단을 포함한다.Here, the depth image analysis processing unit includes object detection means and pointer extraction means for detecting an object and extracting a pointer from the detected object, and spatial coordinate correction means for correcting spatial coordinate distortion.
특히, 포인터 추출 수단은, 깊이 영상 촬영 모듈로부터 제공되는 깊이 영상에서 포인터를 하나 또는 동시에 복수 개를 추출하고, 복수 개의 포인터들을 추출한 경우에는 추출된 포인터들의 각각이 구분되어 깊이 값이 제공되도록 한다.In particular, the pointer extracting means extracts one or a plurality of pointers from the depth image provided from the depth image photographing module, and when a plurality of pointers are extracted, each of the extracted pointers is divided to provide a depth value.
이와 같이 포인터 추출 수단이 동시에 여러 개의 포인터를 추출할 수 있도록 하는 것은, 터치 센서 영역 내에서의 단순 지시 및 동작 제어가 아니라 좀더 복잡한 단계를 갖는 제어 동작을 단순하게 구현할 수 있도록 하기 위함이다.In order to allow the pointer extraction means to extract a plurality of pointers at the same time, it is intended to simplify a control operation having a more complicated step rather than a simple instruction and operation control in the touch sensor area.
즉, 동시에 추출되는 여러 개의 포인터의 각각에 서로 다른 기능을 부가하여 복잡한 단계를 갖는 제어 동작을 단순하게 구현할 수 있도록 하는 것이 가능하다.That is, it is possible to simplify a control operation having a complicated step by adding different functions to each of a plurality of pointers extracted at the same time.
그리고 터치 센서 영역에 대한 깊이 영상을 이용하여 터치 센서 영역의 깊이 값을 계산하여 깊이 영상 분석 처리부로 제공하는 깊이 값 계산 수단을 더 구비한다.And depth value calculation means for calculating a depth value of the touch sensor region using the depth image of the touch sensor region and providing the depth value to the depth image analysis processing unit.
이와 같은 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서의 상세 구성은 다음과 같다.The detailed structure of the virtual touch sensor using the depth information according to the present invention is as follows.
도 1a에서와 같이, 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11)과, 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부(12)와, 공간 좌표 보정부(12)에서 공간좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13)와, 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14)와, 검출된 객체에서 포인터를 추출하는 포인터 추출부(15)와, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)를 포함한다.1A, a depth
그리고 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 도 1b에서와 같이 공간 좌표의 보정 순서를 다르게 할 수 있다.The virtual touch sensor using the depth information according to the present invention can change the order of correction of the spatial coordinates as shown in FIG. 1B.
공간 좌표의 보정을 터치 판단 이전에 하는 경우에는 도 1b에서와 같이, 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(21)과, 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(22)와, 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(23)와, 검출된 객체에서 포인터를 추출하는 포인터 추출부(24)와, 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부(25)와, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(26)를 포함한다.When the correction of the spatial coordinates is performed before the touch determination, as shown in FIG. 1B, a depth
도 1a와 도 1b에서와 같이, 공간좌표 보정의 순서는 다르게 구성할 수 있다. 또한, 공간 좌표 보정은 절대 공간좌표가 응용될 경우에는 사용되고, 상대 공간좌표가 응용될 경우에는 사용되지 않아도 된다.As in Figs. 1A and 1B, the sequence of spatial coordinate correction can be configured differently. In addition, the spatial coordinate correction is used when absolute spatial coordinates are applied, and may not be used when relative spatial coordinates are applied.
도 2에서와 같이, 가상의 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태의 물체 등의 영역에 상,하,좌,우, 좌상, 좌하, 우상, 우하 등의 어느 한 곳에 깊이 영상 촬영모듈 한 개 설치하거나 또는 두 곳 이상에 다수 개가 설치된다.As shown in FIG. 2, a depth image is displayed on any one of a top, bottom, left, right, upper left, lower left, right upper, and lower right regions in a display monitor, screen, or a flat or curved object used as a virtual touch sensor A single imaging module may be installed, or multiple imaging modules may be installed in more than one location.
이와 같은 깊이 영상 촬영 모듈(11)은 행거, 받침대 등의 외부거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 붙이고 떼는 것이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태 등으로 부착이 가능하다.Such a
그리고 터치 센서 영역의 깊이 값 계산부(13)는 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 준다.The depth
그리고 깊이 값 계산부(13)는 실행의 초기에만 작동하는 부분이며, 깊이 영상의 첫 화면을 선택할 수 있다.The depth
또한, 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있다. 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장한다. 평균값 이외에 중간값 또는 최빈치값 등이 사용될 수도 있다.In addition, a screen corresponding to a specific number can be accumulated to obtain a stable image. In case of accumulation, average value is calculated and stored as representative depth value at each position of touch sensor. In addition to the average value, an intermediate value, a minimum value, or the like may be used.
또한, 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 바뀔 경우에는 깊이 값 계산부가 다시 실행된다.When the position or the distance of the photographing module and the touch sensor area is changed, the depth value calculating unit is executed again.
즉, 터치 센서 영역의 깊이 값은 매 화면마다 얻어지는데, 얻어진 깊이 값과 이전에 저장된 대표 깊이 값과의 절대 차이가 특정치 이상으로 발생하는 위치 수가 많을 경우에는 터치 센서 영역의 깊이 값 계산부(13)가 다시 실행된다. That is, the depth value of the touch sensor area is obtained for each screen. When the absolute difference between the obtained depth value and the previously stored representative depth value is larger than a predetermined value, the depth value calculation unit 13) is executed again.
이와 같은 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서의 제어 방법을 설명하면 다음과 같다.The control method of the virtual touch sensor using the depth information according to the present invention will now be described.
도 7은 본 발명에 따른 가상 터치 센서의 제어 방법을 나타낸 플로우 차트이다.7 is a flowchart showing a control method of the virtual touch sensor according to the present invention.
깊이 영상 촬영 모듈(11)을 통하여 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는다.(S701)The depth sensor acquires a depth image of the touch sensor area by photographing the touch sensor area through the depth image capturing module 11 (S701)
이어, 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정한다.(S702)Then, the spatial coordinate distortion of the image of the touch sensor area captured by the depth
그리고 깊이 값 계산부(13)에서 공간좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산한다.(S703)Then, the representative depth value of the touch sensor area is calculated in the depth image in which the spatial coordinate distortion is corrected by the depth
이어, 객체 검출부(14)가 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여(S704) 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다.(S705)Subsequently, the
그리고 검출된 객체에서 포인터를 추출하고(S706), 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단한다.(S707)Then, a pointer is extracted from the detected object (S706), and it is determined whether or not the touch sensor area is touched based on the depth value of the extracted pointer position (S707)
여기서, 공간 좌표의 보정은 객체 검출 이전에 할 수도 있고, 포인터 추출 이후에 할 수도 있다.Here, the correction of the spatial coordinates may be performed before the object detection or after the pointer extraction.
그리고 공간 좌표 보정부(12)는 영상 촬영 모듈이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정해 준다.The spatial coordinate correcting
즉, 영상 촬영모듈의 설치 위치가 왼쪽일 때, 사각형 형태의 터치 센서 영역이 영상 촬영모듈로 촬영되면 사다리꼴 형태로 왜곡된 화면이 얻어진다.That is, when the installation position of the image capturing module is on the left side and the rectangular touch sensor area is captured by the image capturing module, a screen distorted in a trapezoidal shape is obtained.
도 4는 터치 센서 영역의 공간 좌표 보정을 나타낸 구성도이다.4 is a configuration diagram showing spatial coordinate correction of the touch sensor area.
깊이 영상 촬영모듈(11)에 가까운 쪽은 길게, 먼 쪽은 짧은 촬영 영상이 얻어진다. 왜곡된 영상에서의 공간 좌표를 터치 센서 영역의 형태에 맞는 좌표로 변환해 주어야 한다.A short photographic image closer to the depth
깊이 영상의 화면내 4개 이상의 서로 멀리 떨어진 위치에서 수평 및 수직의 공간좌표를 얻고, 각 위치가 실제 터치 센서 영역의 위치에서의 매핑되는 공간좌표를 얻는다.Horizontal and vertical spatial coordinates are obtained at four or more distant positions in the screen of the depth image, and spatial coordinates in which each position is mapped at the position of the actual touch sensor area are obtained.
이러한 4개 이상의 변환전과 변환 후의 매핑된 공간좌표를 바탕으로 왜곡된 영상의 좌표는 수학식 1에서와 같은 1차원 선형 변환을 이용한 보정 또는 어파인 변환 또는 호모그래피 변환과 같은 기하학적 변환이 이용되어 보정될 수 있다.The coordinates of the distorted image based on the four or more mapped spatial coordinates before and after the conversion can be corrected using a one-dimensional linear transformation such as Equation 1 or a geometric transformation such as affine transformation or homography transformation, .
도 4는 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치되었을 때 4개의 매핑되는 공간좌표를 바탕으로 1차원 선형 변환에 의하여 변환전 좌표가 보정되는 것을 보인다.FIG. 4 shows that the coordinates before conversion are corrected by one-dimensional linear transformation based on four mapped spatial coordinates when the imaging module is installed on the left side of the touch sensor area.
수학식 1을 이용하여 보정된 변환 후 절대 좌표를 구할 수 있다.The corrected post-transformation absolute coordinates can be obtained using Equation (1).
여기서, x(수평)와 y(수직)는 변환전 좌표이고, X(수평)와 Y(수직)은 변환후 좌표이다. H x (폭), V y 0, V y 1(높이)는 변환전 터치 센서 영역에 해당되고, H X (폭), V Y (높이)는 변환후 터치 센서 영역에 해당된다. x 0(수평), y 0(수직)은 보정 오프셋이다.Here, x (horizontal) and y (vertical) are coordinates before conversion, and X (horizontal) and Y (vertical) are coordinates after conversion. H x (width), V y 0 , and V y 1 (height) correspond to the touch sensor area before conversion, and H X (width) and V Y (height) correspond to the touch sensor area after conversion. x 0 (horizontal) and y 0 (vertical) are the correction offsets.
객체 검출부(14)는 깊이 영상의 새로운 화면이 들어올 때마다 이전 단계에서 저장해 놓은 터치 센서 영역의 대표 깊이 값과 비교하며, 두 값이 일정범위를 벗어나면 객체가 검출된 것으로 판단한다. The
즉, 다음 수학식 2가 만족되면 수평방향 x, 수직방향 y 위치에서 객체가 검출된 것으로 판단하여 새로운 이진영상을 만들고 해당 위치의 화소값을 '255'로 저장한다. That is, if the following equation (2) is satisfied, it is determined that the object is detected in the horizontal direction x and the vertical direction y position, and a new binary image is generated and the pixel value of the corresponding position is stored as '255'.
여기서, d는 현재 입력되는 깊이 영상에서의 깊이 값이고, d s 는 터치 센서 영역의 대표 깊이 값이며, T I 는 특정 값으로 사용자에 의하여 설정되며, 일반적으로 밀리미터 단위에서 5가 적당하다.Here, d is the depth value of the currently inputted depth image, d s is the representative depth value of the touch sensor area, T I is a specific value set by the user, and generally 5 is appropriate in the millimeter unit.
한 화면에 대해 객체 검출단계가 모두 수행되면 객체 부분에는 '255'로 객체가 아닌 부분에는 '0'으로 화소값을 갖는 이진 영상이 만들어진다. 이진 영상에서 화소 값이 '255'인 화소들을 순차적으로 그룹화하고 라벨링하는 과정을 수행한다.When all object detection steps are performed on one screen, a binary image is created with pixel values of '255' in the object part and '0' in the non-object part. A process of sequentially grouping and labeling pixels having a pixel value of '255' in a binary image is performed.
라벨링된 순서대로 첫 번째 객체에는 '1', 두 번째 객체에는 '2' 등으로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다.In the labeled order, '1' is stored in the first object, '2' is stored in the second object, and so on.
또한, 다양한 모폴로지 연산, 침식, 팽창, 제거, 채움 등을 통하여 잡음을 제거할 수 있다. 검출한 객체에 대한 라벨링에 잡음이 생길 수도 있으므로 잡음을 배제하기 위하여 라벨링된 객체의 화소수가 특정 개수 이내이면 라벨링 객체에서 제외시킬 수 있다.In addition, noise can be removed through various morphology operations, erosion, expansion, removal, filling, etc. Since noise may occur in the labeling of the detected object, if the number of pixels of the labeled object is within a certain number, it may be excluded from the labeling object to exclude noise.
그리고 포인터 추출부(15)는 검출된 객체에서 포인터를 추출하는데, 포인터는 터치 센서 영역에 가장 가까운 위치를 얻어 포인터로서 사용한다. 추출된 포인터는 사람의 손가락 또는 지시도구 등이 될 수 있다. 터치 센서 영역과의 가까운 위치를 찾는 것은 영상 촬영모듈의 설치 방향에 따라 다르다.The
깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 왼쪽에 있는 화소의 위치를 포인터로 사용하며, 영상 촬영모듈이 오른쪽일 때는 가장 오른쪽에 있는 화소로, 위쪽일 때는 가장 위쪽에 있는 화소로, 아래쪽일 때는 가장 아래쪽에 있는 화소를 포인터로 사용한다.When the depth imaging module is installed on the left side of the touch sensor area, the position of the leftmost pixel in the object is used as a pointer based on the direction of the depth of the touch sensor area, The uppermost pixel is used as the upper pixel, and the lower pixel is used as the lower pixel.
도 5는 터치 센서 영역에서의 터치 판단을 나타낸 구성도이고, 도 6은 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도이다.FIG. 5 is a block diagram showing the touch judgment in the touch sensor area, and FIG. 6 is a block diagram showing the flow of the touch speed and the locus of the pointer.
터치 판단부(16)는 포인터가 터치 센서를 접근 또는 접촉하는 지를 판단한다.The
손 또는 지시도구가 터치 센서 영역을 접촉한 경우에만 터치한 것으로 판단하거나, 일정거리 이내로 접근한 경우에도 터치한 것으로 판단하는 지는 사용자의 편의성에 따라 지정할 수 있다.It can be determined according to the convenience of the user whether the touch or the pointer is touched only when the touching area is touched or if the touch is judged to be touched even when the touching area approaches within a certain distance.
터치 판단부(16)에서는 접촉한 경우를 터치한 것으로 고려한다면 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값, d s (x, y)를 비교하여 두 값의 절대차이가 특정 값 미만일 때 터치한 것으로 판단한다.The depth d p ( x , y ) of the pointer position and the depth value at the corresponding position in the depth image of the touch sensor region, d s ( x , y ) y ), and judges that the touch is made when the absolute difference between the two values is less than the specific value.
즉, 다음 수학식 3이 만족되면 수평방향 x, 수직방향 y 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.That is, when the following equation (3) is satisfied, it is determined that the pointer touches the touch sensor area in the horizontal direction x and the vertical direction y position.
여기서, T D 는 특정 값으로 사용자에 의하여 설정되며, 밀리미터 단위에서는 일반적으로 5가 적당하다.Here, T D is set by the user with a specific value, and in millimeters, generally 5 is appropriate.
이때, 판단의 오동작을 방지하기 위하여 수평방향 x, 수직방향 y의 한 위치보다는 이웃한 여러 개, 즉 수평방향으로 x-1, x, x+1 세 위치, 수직방향으로 y-1, y, y+1 세 위치 깊이 값의 평균값이 사용될 수 있다. 또는 왼쪽 대각선, 오른쪽 대각선 등에 있는 이웃한 화소값이 사용될 수 있다.At this time, several neighboring than one position in the horizontal direction x, and the vertical direction y in order to prevent malfunctions of the determination, that is, in the horizontal direction x -1, x, x +1 in three positions, and the vertical direction y -1, y, y + 1 The average value of three depth values can be used. Or neighboring pixel values in the left diagonal, right diagonal, etc. may be used.
접근한 것을 터치한 것으로 판단하는 경우에는 터치된 위치와 깊이 값이 비교되는 위치가 서로 다르게 된다.When it is judged that the approach is touched, the position at which the touched position is compared with the position at which the depth value is compared is different.
즉, 터치 센서 영역의 왼쪽에 영상 촬영모듈이 설치된 경우에 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정개수 T만큼 떨어진 화소 깊이 값, d s (x-T, y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단한다.That is, the touch sensor depth value of the pointer position when the installed image-up module to the left of the area, d p (x, y) and the touch sensor area, the depth image left a predetermined number T as the distance pixel depth value than the corresponding position in the, Compare d s (xT, y) and determines that the touch when the difference between the two values is below a value.
이때 터치한 위치는 수평방향 x-T, 수직방향 y 위치이며 다음 수학식 4가 만족되면 해당 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.At this time, the touched position is the horizontal direction xT and the vertical direction y position, and if the following Equation 4 is satisfied, it is determined that the pointer touches the touch sensor area at the corresponding position.
여기서, T는 특정 값으로 사용자에 의하여 설정되며, 포인터와 터치 센서 영역 사이의 접근거리가 1cm인 경우에는 5화소가 적당하다. 접근한 경우에도 포인터 한 위치보다는 이웃한 여러 개의 깊이 값의 평균값이 사용될 수 있다.Here, T is set by a user as a specific value, and when an approach distance between the pointer and the touch sensor area is 1 cm, five pixels are suitable. The average value of several neighboring depth values can be used rather than one position of the pointer.
또한, 터치 센서 영역의 오른쪽에 영상 촬영모듈이 설치되면 d p (x, y)와 d s (x+T, y)를 비교하여 (x+T, y) 위치에 터치 여부를 판단하고, 위쪽일 때는 d p (x, y)와 d s (x, y-T)를 비교하여 (x, y-T) 위치에 터치 여부를 판단하며, 아래쪽일 때는 d p (x, y)와 d s (x, y+T)를 비교하여 (x, y+T) 위치에 터치 여부를 판단한다.Also, when the imaging module is installed on the right side of the touch sensor area d p (x, y) and d s (x + T, y) for comparison (x + T, y) determines the touch whether or not the position, and the top it indicates, d p (x, y) and d s Compare (x, yT) (x, yT) , and determines the touch whether or not the position, when the bottom of d p (x, y) and d s (x, y + T ), and determines whether or not a touch is made at the position ( x , y + T ).
또한, 도 6에서와 같이, 매 화면마다 포인터의 수평, 수직, 깊이 값을 얻을 수 있다. 즉, 화면의 프레임율을 바탕으로 포인터의 수평방향의 속도 및 방향성, 수직방향의 속도 및 방향성, 촬영 모듈 또는 터치 센서 영역과의 거리를 알 수 있다.In addition, as shown in FIG. 6, the horizontal, vertical, and depth values of the pointer can be obtained for each screen. That is, the velocity and direction of the pointer in the horizontal direction, the velocity and direction in the vertical direction, and the distance from the photographing module or the touch sensor area can be known based on the frame rate of the screen.
이와 같은 포인터의 이동 방향 및 속도 검출을 위한 방법의 하나는 깊이 영상 촬영 모듈로부터 얻어진 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 방법이 사용될 수 있다.One of the methods for detecting the moving direction and velocity of the pointer is to continuously compare the previous frame and the current frame of the depth image obtained from the depth image photographing module to detect the moving direction, moving speed, and moving distance of the pointer .
이와 같은 본 발명에 따른 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법은 가상의 터치 센서를 사용하여 발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝트와 같이 빔이 투영되는 스크린 또는 벽, 그 이외에 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥 등에서 사용 가능하도록 한 것이다.The virtual touch sensor using the depth information and the control method thereof according to the present invention can be applied to a display device in which light is directly displayed through a light emitting element using a virtual touch sensor, Such as a screen or a wall, a flat or curved object in the shape of an arbitrary figure, a floor of a building space, or the like.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents thereof are intended to be embraced therein It should be interpreted.
11. 깊이 영상 촬영 모듈 12. 공간 좌표 보정부
13. 깊이 값 계산부 14. 객체 검출부
15. 포인터 추출부 16. 터치 판단부11.
13. Depth
15.
Claims (20)
상기 터치 센서 영역에 대한 깊이 영상에서 객체를 검출하고 검출된 객체에서 포인터를 추출하는 깊이 영상 분석 처리부;
상기 깊이 영상 분석 처리부에서 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.A depth image photographing module for obtaining a depth image of a touch sensor area;
A depth image analysis processor for detecting an object in the depth image of the touch sensor area and extracting a pointer from the detected object;
And a touch determiner for determining whether the touch sensor area is touched based on the depth value of the pointer position extracted by the depth image analysis processor.
깊이 영상으로부터 객체를 검출하는 객체 검출 수단과,
검출된 객체에서 포인터를 추출하는 포인터 추출 수단 및,
공간좌표 왜곡을 보정하는 공간 좌표 보정 수단을 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.The depth image analyzing apparatus according to claim 1,
Object detecting means for detecting an object from the depth image,
Pointer extracting means for extracting a pointer from the detected object,
And spatial coordinate correction means for correcting the spatial coordinate distortion.
깊이 영상 촬영 모듈로부터 제공되는 깊이 영상에서 포인터를 하나 또는 동시에 복수 개를 추출하고,
복수 개의 포인터들을 추출한 경우에는 추출된 포인터들의 각각이 구분되어 깊이 값이 제공되도록 하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.2. The apparatus according to claim 1,
Extracting one or a plurality of pointers from the depth image provided from the depth image photographing module,
Wherein when the plurality of pointers are extracted, each of the extracted pointers is divided to provide a depth value.
실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나,
특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.5. The apparatus according to claim 4,
It is operated at the beginning of execution and selects the first screen of the provided depth image,
A virtual touch sensor using the depth information is characterized by accumulating a screen corresponding to a specific number and calculating an average value, an intermediate value, or a minimum value and storing the representative value as a representative depth value at each position of the touch sensor.
깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.5. The apparatus according to claim 4,
And when the position or distance of the depth image sensing module and the touch sensor area is changed, the depth value of the touch sensor area is calculated again to calculate the depth value of the touch sensor area.
상기 깊이 영상 촬영 모듈이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;
상기 공간 좌표 보정부에서 보정된 공간좌표를 기준으로 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;
상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;
검출된 객체에서 포인터를 추출하는 포인터 추출부;
추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.A depth image photographing module for photographing a touch sensor area to obtain a depth image;
A spatial coordinate correcting unit for correcting spatial coordinate distortion of an image with respect to the touch sensor area taken by the depth image photographing module;
A depth value calculation unit for calculating a representative depth value of the touch sensor area in the depth image based on the spatial coordinates corrected by the spatial coordinate correcting unit;
An object detection unit for sequentially grouping and labeling pixels of a depth image having a depth value different from the representative depth value of the touch sensor area and storing the depth information in a size value corresponding to the number of objects in order;
A pointer extracting unit for extracting a pointer from the detected object;
And a touch determiner for determining whether the touch sensor area is touched based on a depth value of the extracted pointer position.
상기 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;
상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;
검출된 객체에서 포인터를 추출하는 포인터 추출부;
터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;
추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.A depth image photographing module for photographing a touch sensor area to obtain a depth image;
A depth value calculation unit for calculating a representative depth value of the touch sensor area in the depth image;
An object detection unit for sequentially grouping and labeling pixels of a depth image having a depth value different from the representative depth value of the touch sensor area and storing the depth information in a size value corresponding to the number of objects in order;
A pointer extracting unit for extracting a pointer from the detected object;
A spatial coordinate correcting unit for correcting spatial coordinate distortion of an image with respect to the touch sensor area;
And a touch determiner for determining whether the touch sensor area is touched based on a depth value of the extracted pointer position.
발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝터 기기의 빔이 투영되는 스크린 또는 벽, 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥의 어느 하나인 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.10. The touch sensor device according to claim 8 or 9, wherein the touch sensor area comprises:
A display device in which light is directly displayed through the light emitting element, a screen or a wall on which the beam of the beam projector device is projected, a flat or curved object in the shape of an arbitrary figure, or a bottom of the building space. Virtual touch sensor using information.
실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나,
특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.10. The apparatus according to claim 8 or 9,
It is operated at the beginning of execution and selects the first screen of the provided depth image,
A virtual touch sensor using the depth information is characterized by accumulating a screen corresponding to a specific number and calculating an average value, an intermediate value, or a minimum value and storing the representative value as a representative depth value at each position of the touch sensor.
깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.10. The apparatus according to claim 8 or 9,
And when the position or distance of the depth image sensing module and the touch sensor area is changed, the depth value of the touch sensor area is calculated again to calculate the depth value of the touch sensor area.
깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 단계;
터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 단계;
검출된 객체에서 포인터를 추출하고, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.Capturing a touch sensor area through a depth image capturing module to obtain a depth image of the touch sensor area;
Calculating a representative depth value of the touch sensor region in the depth image;
Grouping and labeling pixels of a depth image having a depth value different from the representative depth value of the touch sensor area, storing the depth information in a size value corresponding to the number of objects in order;
Extracting a pointer from the detected object, and determining whether the touch sensor area is touched based on a depth value of the extracted pointer position.
1차원 선형 변환을 이용한 보정 또는 어파인 변환 또는 호모그래피 변환의 어느 하나의 방법을 선택하여 공간좌표 왜곡을 보정 하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.14. The method of claim 13, wherein in correcting the spatial coordinate distortion of the depth image,
Wherein the spatial coordinate distortion is corrected by selecting one of correction, affine transformation, and homography transformation using one-dimensional linear transformation.
깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치되었을 때 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를,
여기서, x(수평)와 y(수직)는 변환전 좌표이고, X(수평)와 Y(수직)은 변환후 좌표이고, H x (폭), V y 0, V y 1(높이)는 변환전 터치 센서 영역에 해당되고, H X (폭), V Y (높이)는 변환후 터치 센서 영역에 해당되고, x 0(수평), y 0(수직)은 보정 오프셋인 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.16. The method of claim 15, wherein the correction using the one-
When the depth imaging module is installed on the left side of the touch sensor area,
Here, x (horizontal) and y (vertical) is converted before coordinate, X (horizontal) and Y (vertical) is then converted coordinates, H x (width), V y 0, V y 1 ( H) is converted I and corresponds to the touch sensor area, H x (width), V Y (H) is then converted and corresponds to the touch sensor area, x 0 (horizontal), y 0 (vertical) is depth information, characterized in that the correction offset A method of controlling a virtual touch sensor using a touch sensor.
모폴로지 연산, 침식, 팽창, 제거, 채움을 통하여 잡음을 제거하고,
검출한 객체에 대한 라벨링에 생기는 잡음을 제거하기 위하여 라벨링된 객체의 화소수가 설정된 특정 개수 이내이면 라벨링 객체에서 제외시키는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.14. The method of claim 13,
Remove noise through morphology operations, erosion, expansion, removal, and filling,
If the number of pixels of the labeled object is within a predetermined number, removing the labeling object from the labeling object to remove noise caused by labeling of the detected object.
깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 왼쪽에 있는 화소의 위치를 포인터로 사용하며,
영상 촬영모듈이 오른쪽일 때는 가장 오른쪽에 있는 화소로, 위쪽일 때는 가장 위쪽에 있는 화소로, 아래쪽일 때는 가장 아래쪽에 있는 화소를 포인터로 사용하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.14. The method of claim 13, wherein, in the step of extracting the pointer from the detected object,
When the depth imaging module is installed on the left side of the touch sensor area, the position of the leftmost pixel in the object is used as a pointer based on the direction of the depth sensor image,
Wherein the image sensing module is a rightmost pixel when the image sensing module is on the right side and a pixel on the uppermost side when the image sensing module is on the upper side and a lowest pixel on the lower side when the image sensing module is on the right side. Control method.
포인터가 접촉한 경우를 터치한 것으로 판단하는 경우,
포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값, d s (x, y)를 비교하여 두 값의 절대차이가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.14. The method of claim 13, wherein in the step of determining whether the touch sensor area is touched,
If it is determined that the pointer is touched,
When the absolute difference between the two values is less than a specific value, the touch value is compared with the depth value d p ( x , y ) of the pointer position and the depth value d s ( x , y ) And the depth information of the virtual touch sensor is determined to be one of the depth information.
포인터가 접근한 것을 터치한 것으로 판단하는 경우에는,
터치 센서 영역의 왼쪽에 영상 촬영모듈이 설치된 경우에 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정개수 T만큼 떨어진 화소 깊이 값, d s (x-T, y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.14. The method of claim 13, wherein in the step of determining whether the touch sensor area is touched,
If it is determined that the pointer has been accessed,
D p ( x , y ) and the pixel depth value d s ( x , y ) separated by a predetermined number T from the corresponding position in the depth image of the touch sensor area when the image pickup module is installed on the left side of the touch sensor area, ( xT , y ), and determines that the touch is made when the difference between the two values is less than a specific value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130142989A KR101536673B1 (en) | 2013-11-22 | 2013-11-22 | Virtual Touch Sensor Using Depth Information and Method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130142989A KR101536673B1 (en) | 2013-11-22 | 2013-11-22 | Virtual Touch Sensor Using Depth Information and Method for controlling the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150059423A true KR20150059423A (en) | 2015-06-01 |
| KR101536673B1 KR101536673B1 (en) | 2015-07-15 |
Family
ID=53490517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130142989A KR101536673B1 (en) | 2013-11-22 | 2013-11-22 | Virtual Touch Sensor Using Depth Information and Method for controlling the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101536673B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101687150B1 (en) * | 2015-09-25 | 2016-12-15 | 동의대학교 산학협력단 | Aged and Feeble Person Friendly Multimedia System Based on Virtual Touch Sensor |
| KR101869507B1 (en) * | 2016-12-22 | 2018-06-20 | 동의대학교 산학협력단 | Method of Real-time Virtual Touch Recognition system for Embedded Environment and system For Real-time Virtual Touch Recognition Using This Method |
| KR20190063593A (en) * | 2017-11-30 | 2019-06-10 | 주식회사 애니랙티브 | Pan Tilt Active Controlled Mirror Screen Projector |
| CN112188075A (en) * | 2019-07-05 | 2021-01-05 | 杭州海康威视数字技术股份有限公司 | Snapshot, image processing device and image processing method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130005677A (en) * | 2011-07-07 | 2013-01-16 | 한국해양과학기술원 | Wave overflowing observation method using cctv at breakwater |
| KR101330531B1 (en) * | 2011-11-08 | 2013-11-18 | 재단법인대구경북과학기술원 | Method of virtual touch using 3D camera and apparatus thereof |
-
2013
- 2013-11-22 KR KR1020130142989A patent/KR101536673B1/en active IP Right Grant
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101687150B1 (en) * | 2015-09-25 | 2016-12-15 | 동의대학교 산학협력단 | Aged and Feeble Person Friendly Multimedia System Based on Virtual Touch Sensor |
| KR101869507B1 (en) * | 2016-12-22 | 2018-06-20 | 동의대학교 산학협력단 | Method of Real-time Virtual Touch Recognition system for Embedded Environment and system For Real-time Virtual Touch Recognition Using This Method |
| KR20190063593A (en) * | 2017-11-30 | 2019-06-10 | 주식회사 애니랙티브 | Pan Tilt Active Controlled Mirror Screen Projector |
| CN112188075A (en) * | 2019-07-05 | 2021-01-05 | 杭州海康威视数字技术股份有限公司 | Snapshot, image processing device and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101536673B1 (en) | 2015-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9020194B2 (en) | Systems and methods for performing a device action based on a detected gesture | |
| KR102011169B1 (en) | Generation of depth images based upon light falloff | |
| US9025875B2 (en) | People counting device, people counting method and people counting program | |
| US9734392B2 (en) | Image processing device and image processing method | |
| US20150026646A1 (en) | User interface apparatus based on hand gesture and method providing the same | |
| TWI428804B (en) | Optical screen touch system and method thereof | |
| US10366281B2 (en) | Gesture identification with natural images | |
| JPWO2016199244A1 (en) | Object recognition device and object recognition system | |
| US9430039B2 (en) | Apparatus for controlling virtual mouse based on hand motion and method thereof | |
| KR101536673B1 (en) | Virtual Touch Sensor Using Depth Information and Method for controlling the same | |
| JP2016091457A (en) | Input device, fingertip-position detection method, and computer program for fingertip-position detection | |
| JP2015064724A (en) | Information processor | |
| KR101330531B1 (en) | Method of virtual touch using 3D camera and apparatus thereof | |
| EP2672363A2 (en) | Display device and method using a plurality of display panels | |
| US20150294439A1 (en) | Information processing device, image projection device and image processing method | |
| KR101127517B1 (en) | Method of discerning a touch coordinate and touch screen device performing the same | |
| US20140118535A1 (en) | Method and apparatus for gesture recognition using a two dimensional imaging device | |
| KR100968205B1 (en) | Apparatus and Method for Space Touch Sensing and Screen Apparatus sensing Infrared Camera | |
| JP2013149228A (en) | Position detector and position detection program | |
| KR101019255B1 (en) | wireless apparatus and method for space touch sensing and screen apparatus using depth sensor | |
| CN106406507B (en) | Image processing method and electronic device | |
| KR101785781B1 (en) | Virtual Piano Event Control Method using Depth Information | |
| TWI448918B (en) | Optical panel touch system | |
| KR101200009B1 (en) | Presentation system for providing control function using user's hand gesture and method thereof | |
| KR20120044783A (en) | Touch screen and touch position detection method thereof using projector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180706 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190627 Year of fee payment: 5 |