KR101536673B1 - 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법 - Google Patents

깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법 Download PDF

Info

Publication number
KR101536673B1
KR101536673B1 KR1020130142989A KR20130142989A KR101536673B1 KR 101536673 B1 KR101536673 B1 KR 101536673B1 KR 1020130142989 A KR1020130142989 A KR 1020130142989A KR 20130142989 A KR20130142989 A KR 20130142989A KR 101536673 B1 KR101536673 B1 KR 101536673B1
Authority
KR
South Korea
Prior art keywords
touch sensor
depth
sensor area
value
depth image
Prior art date
Application number
KR1020130142989A
Other languages
English (en)
Other versions
KR20150059423A (ko
Inventor
권순각
장원석
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020130142989A priority Critical patent/KR101536673B1/ko
Publication of KR20150059423A publication Critical patent/KR20150059423A/ko
Application granted granted Critical
Publication of KR101536673B1 publication Critical patent/KR101536673B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

본 발명은 터치 센서 영역에 인접하여 깊이 촬영 모듈을 설치하여 구해진 깊이 정보를 이용하여 가상의 터치 센서 동작을 구현할 수 있도록 한 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법에 관한 것으로, 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;상기 터치 센서 영역에 대한 깊이 영상에서 객체를 검출하고 검출된 객체에서 포인터를 추출하는 깊이 영상 분석 처리부;상기 깊이 영상 분석 처리부에서 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것이다.

Description

깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법{Virtual Touch Sensor Using Depth Information and Method for controlling the same}
본 발명은 터치 센서 영역의 터치 제어에 관한 것으로, 구체적으로 터치 센서 영역에 인접하여 깊이 촬영 모듈을 설치하여 구해진 깊이 정보를 이용하여 가상의 터치 센서 동작을 구현할 수 있도록 한 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법에 관한 것이다.
접촉식 터치 센서를 이용한 응용은 스마트폰, PDA 등의 소형 디스플레이 장치에 이용되고 있다.
접촉식 터치 센서는 크게 감압식과 정전식으로 구분되며, 감압식은 누르는 힘에 의해 반응하고, 정전식은 사람 몸에 흐르는 미세전류에 반응한다.
감압식 센서는 디스플레이 바깥층이 눌리면서 아래층과 맞닿아서 인식되는 원리이며, 정전식 센서는 장갑 등이 착용되지 않은 상태에서 사람의 미세전류가 인식되는 원리이다.
이러한 접촉식 터치 센서는 컴퓨터의 마우스 또는 키보드 입력장치에 비하여 편리하므로 스마트폰, PDA 등의 소형 디스플레이 장치에 사용되고 있다.
그러나, 디스플레이 장치의 크기가 커질수록 터치 센서의 소요 비용이 크게 증가하기 때문에 사용되지 않고 있다.
한국공개특허번호 10-2012-0094455호 한국등록특허번호 10-1200009호
본 발명은 이와 같은 종래 기술의 터치 센서의 문제를 해결하기 위한 것으로, 터치 센서 영역에 인접하여 깊이 촬영 모듈을 설치하여 구해진 깊이 정보를 이용하여 가상의 터치 센서 동작을 구현할 수 있도록 한 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법을 제공하는데 그 목적이 있다.
본 발명은 깊이 촬영 모듈로부터 얻은 깊이 정보를 이용하여 가상의 포인터를 생성하고, 생성된 포인터가 터치 센서 영역을 터치한 것으로 판단하여 해당 동작을 실행하여 터치 센서의 제조 비용을 줄이고, 다양한 제품군에 적용할 수 있도록 한 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;상기 터치 센서 영역에 대한 깊이 영상에서 객체를 검출하고 검출된 객체에서 포인터를 추출하는 깊이 영상 분석 처리부;상기 깊이 영상 분석 처리부에서 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 한다.
여기서, 상기 깊이 영상 분석 처리부는, 깊이 영상으로부터 객체를 검출하는 객체 검출 수단과,검출된 객체에서 포인터를 추출하는 포인터 추출 수단 및, 공간좌표 왜곡을 보정하는 공간 좌표 보정 수단을 포함하는 것을 특징으로 한다.
상기 포인터 추출 수단은, 깊이 영상 촬영 모듈로부터 제공되는 깊이 영상에서 포인터를 하나 또는 동시에 복수 개를 추출하고, 복수 개의 포인터들을 추출한 경우에는 추출된 포인터들의 각각이 구분되어 깊이 값이 제공되도록 하는 것을 특징으로 한다.
그리고 터치 센서 영역에 대한 깊이 영상을 이용하여 터치 센서 영역의 깊이 값을 계산하여 깊이 영상 분석 처리부로 제공하는 깊이 값 계산 수단을 더 구비하는 것을 특징으로 한다.
그리고 상기 깊이 값 계산 수단은, 실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나, 특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 한다.
그리고 상기 깊이 값 계산 수단은, 깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 한다.
그리고 깊이 영상 촬영 모듈로부터 얻어진 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 터치 센서 영역을 촬영하여 깊이 영상을 얻는 깊이 영상 촬영 모듈;상기 깊이 영상 촬영 모듈이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;상기 공간 좌표 보정부에서 보정된 공간좌표를 기준으로 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;검출된 객체에서 포인터를 추출하는 포인터 추출부;추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 한다.
또 다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 터치 센서 영역을 촬영하여 깊이 영상을 얻는 깊이 영상 촬영 모듈;상기 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;검출된 객체에서 포인터를 추출하는 포인터 추출부;터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 한다.
여기서, 상기 터치 센서 영역은, 발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝터 기기의 빔이 투영되는 스크린 또는 벽, 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥의 어느 하나인 것을 특징으로 한다.
그리고 상기 깊이 값 계산부는, 실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나, 특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 한다.
그리고 상기 깊이 값 계산부는, 깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서의 제어 방법은 깊이 영상 촬영 모듈을 통하여 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 단계;깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 단계;터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 단계;검출된 객체에서 포인터를 추출하고, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 깊이 영상의 공간좌표 왜곡을 보정 하는 단계를, 객체 검출 이전 또는 포인터 추출 이후에 더 진행하는 것을 특징으로 한다.
그리고 깊이 영상의 공간좌표 왜곡을 보정 하는 단계에서, 1차원 선형 변환을 이용한 보정 또는 어파인 변환 또는 호모그래피 변환의 어느 하나의 방법을 선택하여 공간좌표 왜곡을 보정 하는 것을 특징으로 한다.
그리고 1차원 선형 변환을 이용한 보정은, 깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치되었을 때 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를,
Figure 112013106600865-pat00001
를 이용하여 보정하여 변환 후 절대 좌표를 구하고, 여기서, x(수평)와 y(수직)는 변환전 좌표이고, X(수평)와 Y(수직)은 변환후 좌표이고, H x (폭), V y 0, V y 1(높이)는 변환전 터치 센서 영역에 해당되고, H X (폭), V Y (높이)는 변환후 터치 센서 영역에 해당되고, x 0(수평), y 0(수직)은 보정 오프셋인 것을 특징으로 한다.
그리고 객체를 검출하는 단계에서, 모폴로지 연산, 침식, 팽창, 제거, 채움을 통하여 잡음을 제거하고, 검출한 객체에 대한 라벨링에 생기는 잡음을 제거하기 위하여 라벨링된 객체의 화소수가 설정된 특정 개수 이내이면 라벨링 객체에서 제외시키는 것을 특징으로 한다.
그리고 검출된 객체에서 포인터를 추출하는 과정에서, 깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 왼쪽에 있는 화소의 위치를 포인터로 사용하며, 영상 촬영모듈이 오른쪽일 때는 가장 오른쪽에 있는 화소로, 위쪽일 때는 가장 위쪽에 있는 화소로, 아래쪽일 때는 가장 아래쪽에 있는 화소를 포인터로 사용하는 것을 특징으로 한다.
그리고 터치 센서 영역에 대한 터치 여부를 판단하는 단계에서, 포인터가 접촉한 경우를 터치한 것으로 판단하는 경우, 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값, d s (x, y)를 비교하여 두 값의 절대차이가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 한다.
그리고 터치 센서 영역에 대한 터치 여부를 판단하는 단계에서, 포인터가 접근한 것을 터치한 것으로 판단하는 경우에는, 터치 센서 영역의 왼쪽에 영상 촬영모듈이 설치된 경우에 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정개수 T만큼 떨어진 화소 깊이 값, d s (x-T, y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법은 터치 센서 영역에 인접하여 깊이 촬영 모듈을 설치하여 구해진 깊이 정보를 이용하여 가상의 터치 센서 동작을 구현할 수 있다.
또한, 깊이 촬영 모듈로부터 얻은 깊이 정보를 이용하여 가상의 포인터를 생성하고, 생성된 포인터가 스크린을 터치한 것으로 판단하여 해당 동작을 실행하여 터치 센서의 제조 비용을 줄이고, 다양한 제품군에 적용할 수 있다.
도 1a와 도 1b는 본 발명에 따른 가상 터치 센서의 구성도
도 2는 터치 센서 영역에서 깊이 영상 촬영 모듈의 설치 위치를 나타낸 구성도
도 3은 터치 센서 영역을 나타낸 구성도
도 4는 터치 센서 영역의 공간 좌표 보정을 나타낸 구성도
도 5는 터치 센서 영역에서의 터치 판단을 나타낸 구성도
도 6은 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도
도 7은 본 발명에 따른 가상 터치 센서의 제어 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1a와 도 1b는 본 발명에 따른 가상 터치 센서의 구성도이고, 도 2는 터치 센서 영역에서 깊이 영상 촬영 모듈의 설치 위치를 나타낸 구성도이다.
본 발명은 물리적인 접촉식 터치 센서 대신에 가상의 터치 센서를 사용하여 발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝트와 같이 빔이 투영되는 스크린 또는 벽, 그 이외에 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥 등에서 사용 가능하도록 한 터치 센서에 관한 것이다.
이러한 디스플레이 장치, 스크린, 평평하거나 곡면형태의 물체를 이하의 설명에서는 '터치 센서 영역'으로 정의한다.
도 3은 터치 센서 영역을 나타낸 구성도이다.
가상의 터치 센서는 터치 센서 영역의 터치 지점에 물리적인 센서가 존재할 필요가 없고, 깊이 영상 촬영모듈로 촬영된 깊이 영상의 화소값이 터치 센서로 역할을 수행한다.
깊이 영상은 깊이 영상 촬영모듈로부터 얻어지는 화면의 프레임율(초당 화면수), 화면의 해상도(수평방향 및 수직방향 화소수)에 의해 센서의 정확도가 결정된다.
현재, 깊이 영상 촬영모듈의 방식은 두 종류로 TOF(Time of Flight)방식과 스테레오 정합 방식이 있다.
본 발명은 깊이 영상 촬영의 방식에는 제한이 없으며, 가상의 터치 센서의 구성은 다음과 같다.
본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 크게 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈과, 터치 센서 영역에 대한 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상에서 객체를 검출하고 검출된 객체에서 포인터를 추출하는 깊이 영상 분석 처리부와, 깊이 영상 분석 처리부에서 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부를 포함한다.
여기서, 깊이 영상 분석 처리부는 객체를 검출하고 검출된 객체에서 포인터를 추출하기 위한 객체 검출 수단 및 포인터 추출 수단 그리고 공간좌표 왜곡을 보정하는 공간 좌표 보정 수단을 포함한다.
특히, 포인터 추출 수단은, 깊이 영상 촬영 모듈로부터 제공되는 깊이 영상에서 포인터를 하나 또는 동시에 복수 개를 추출하고, 복수 개의 포인터들을 추출한 경우에는 추출된 포인터들의 각각이 구분되어 깊이 값이 제공되도록 한다.
이와 같이 포인터 추출 수단이 동시에 여러 개의 포인터를 추출할 수 있도록 하는 것은, 터치 센서 영역 내에서의 단순 지시 및 동작 제어가 아니라 좀더 복잡한 단계를 갖는 제어 동작을 단순하게 구현할 수 있도록 하기 위함이다.
즉, 동시에 추출되는 여러 개의 포인터의 각각에 서로 다른 기능을 부가하여 복잡한 단계를 갖는 제어 동작을 단순하게 구현할 수 있도록 하는 것이 가능하다.
그리고 터치 센서 영역에 대한 깊이 영상을 이용하여 터치 센서 영역의 깊이 값을 계산하여 깊이 영상 분석 처리부로 제공하는 깊이 값 계산 수단을 더 구비한다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서의 상세 구성은 다음과 같다.
도 1a에서와 같이, 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11)과, 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부(12)와, 공간 좌표 보정부(12)에서 공간좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13)와, 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14)와, 검출된 객체에서 포인터를 추출하는 포인터 추출부(15)와, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)를 포함한다.
그리고 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서는 도 1b에서와 같이 공간 좌표의 보정 순서를 다르게 할 수 있다.
공간 좌표의 보정을 터치 판단 이전에 하는 경우에는 도 1b에서와 같이, 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(21)과, 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(22)와, 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(23)와, 검출된 객체에서 포인터를 추출하는 포인터 추출부(24)와, 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부(25)와, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(26)를 포함한다.
도 1a와 도 1b에서와 같이, 공간좌표 보정의 순서는 다르게 구성할 수 있다. 또한, 공간 좌표 보정은 절대 공간좌표가 응용될 경우에는 사용되고, 상대 공간좌표가 응용될 경우에는 사용되지 않아도 된다.
도 2에서와 같이, 가상의 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태의 물체 등의 영역에 상,하,좌,우, 좌상, 좌하, 우상, 우하 등의 어느 한 곳에 깊이 영상 촬영모듈 한 개 설치하거나 또는 두 곳 이상에 다수 개가 설치된다.
이와 같은 깊이 영상 촬영 모듈(11)은 행거, 받침대 등의 외부거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 붙이고 떼는 것이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태 등으로 부착이 가능하다.
그리고 터치 센서 영역의 깊이 값 계산부(13)는 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 준다.
그리고 깊이 값 계산부(13)는 실행의 초기에만 작동하는 부분이며, 깊이 영상의 첫 화면을 선택할 수 있다.
또한, 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있다. 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장한다. 평균값 이외에 중간값 또는 최빈치값 등이 사용될 수도 있다.
또한, 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 바뀔 경우에는 깊이 값 계산부가 다시 실행된다.
즉, 터치 센서 영역의 깊이 값은 매 화면마다 얻어지는데, 얻어진 깊이 값과 이전에 저장된 대표 깊이 값과의 절대 차이가 특정치 이상으로 발생하는 위치 수가 많을 경우에는 터치 센서 영역의 깊이 값 계산부(13)가 다시 실행된다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서의 제어 방법을 설명하면 다음과 같다.
도 7은 본 발명에 따른 가상 터치 센서의 제어 방법을 나타낸 플로우 차트이다.
깊이 영상 촬영 모듈(11)을 통하여 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는다.(S701)
이어, 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정한다.(S702)
그리고 깊이 값 계산부(13)에서 공간좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산한다.(S703)
이어, 객체 검출부(14)가 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여(S704) 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다.(S705)
그리고 검출된 객체에서 포인터를 추출하고(S706), 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단한다.(S707)
여기서, 공간 좌표의 보정은 객체 검출 이전에 할 수도 있고, 포인터 추출 이후에 할 수도 있다.
그리고 공간 좌표 보정부(12)는 영상 촬영 모듈이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정해 준다.
즉, 영상 촬영모듈의 설치 위치가 왼쪽일 때, 사각형 형태의 터치 센서 영역이 영상 촬영모듈로 촬영되면 사다리꼴 형태로 왜곡된 화면이 얻어진다.
도 4는 터치 센서 영역의 공간 좌표 보정을 나타낸 구성도이다.
깊이 영상 촬영모듈(11)에 가까운 쪽은 길게, 먼 쪽은 짧은 촬영 영상이 얻어진다. 왜곡된 영상에서의 공간 좌표를 터치 센서 영역의 형태에 맞는 좌표로 변환해 주어야 한다.
깊이 영상의 화면내 4개 이상의 서로 멀리 떨어진 위치에서 수평 및 수직의 공간좌표를 얻고, 각 위치가 실제 터치 센서 영역의 위치에서의 매핑되는 공간좌표를 얻는다.
이러한 4개 이상의 변환전과 변환 후의 매핑된 공간좌표를 바탕으로 왜곡된 영상의 좌표는 수학식 1에서와 같은 1차원 선형 변환을 이용한 보정 또는 어파인 변환 또는 호모그래피 변환과 같은 기하학적 변환이 이용되어 보정될 수 있다.
도 4는 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치되었을 때 4개의 매핑되는 공간좌표를 바탕으로 1차원 선형 변환에 의하여 변환전 좌표가 보정되는 것을 보인다.
Figure 112013106600865-pat00002
수학식 1을 이용하여 보정된 변환 후 절대 좌표를 구할 수 있다.
여기서, x(수평)와 y(수직)는 변환전 좌표이고, X(수평)와 Y(수직)은 변환후 좌표이다. H x (폭), V y 0, V y 1(높이)는 변환전 터치 센서 영역에 해당되고, H X (폭), V Y (높이)는 변환후 터치 센서 영역에 해당된다. x 0(수평), y 0(수직)은 보정 오프셋이다.
객체 검출부(14)는 깊이 영상의 새로운 화면이 들어올 때마다 이전 단계에서 저장해 놓은 터치 센서 영역의 대표 깊이 값과 비교하며, 두 값이 일정범위를 벗어나면 객체가 검출된 것으로 판단한다.
즉, 다음 수학식 2가 만족되면 수평방향 x, 수직방향 y 위치에서 객체가 검출된 것으로 판단하여 새로운 이진영상을 만들고 해당 위치의 화소값을 '255'로 저장한다.
Figure 112013106600865-pat00003
여기서, d는 현재 입력되는 깊이 영상에서의 깊이 값이고, d s 는 터치 센서 영역의 대표 깊이 값이며, T I 는 특정 값으로 사용자에 의하여 설정되며, 일반적으로 밀리미터 단위에서 5가 적당하다.
한 화면에 대해 객체 검출단계가 모두 수행되면 객체 부분에는 '255'로 객체가 아닌 부분에는 '0'으로 화소값을 갖는 이진 영상이 만들어진다. 이진 영상에서 화소 값이 '255'인 화소들을 순차적으로 그룹화하고 라벨링하는 과정을 수행한다.
라벨링된 순서대로 첫 번째 객체에는 '1', 두 번째 객체에는 '2' 등으로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다.
또한, 다양한 모폴로지 연산, 침식, 팽창, 제거, 채움 등을 통하여 잡음을 제거할 수 있다. 검출한 객체에 대한 라벨링에 잡음이 생길 수도 있으므로 잡음을 배제하기 위하여 라벨링된 객체의 화소수가 특정 개수 이내이면 라벨링 객체에서 제외시킬 수 있다.
그리고 포인터 추출부(15)는 검출된 객체에서 포인터를 추출하는데, 포인터는 터치 센서 영역에 가장 가까운 위치를 얻어 포인터로서 사용한다. 추출된 포인터는 사람의 손가락 또는 지시도구 등이 될 수 있다. 터치 센서 영역과의 가까운 위치를 찾는 것은 영상 촬영모듈의 설치 방향에 따라 다르다.
깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 왼쪽에 있는 화소의 위치를 포인터로 사용하며, 영상 촬영모듈이 오른쪽일 때는 가장 오른쪽에 있는 화소로, 위쪽일 때는 가장 위쪽에 있는 화소로, 아래쪽일 때는 가장 아래쪽에 있는 화소를 포인터로 사용한다.
도 5는 터치 센서 영역에서의 터치 판단을 나타낸 구성도이고, 도 6은 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도이다.
터치 판단부(16)는 포인터가 터치 센서를 접근 또는 접촉하는 지를 판단한다.
손 또는 지시도구가 터치 센서 영역을 접촉한 경우에만 터치한 것으로 판단하거나, 일정거리 이내로 접근한 경우에도 터치한 것으로 판단하는 지는 사용자의 편의성에 따라 지정할 수 있다.
터치 판단부(16)에서는 접촉한 경우를 터치한 것으로 고려한다면 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값, d s (x, y)를 비교하여 두 값의 절대차이가 특정 값 미만일 때 터치한 것으로 판단한다.
즉, 다음 수학식 3이 만족되면 수평방향 x, 수직방향 y 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112013106600865-pat00004
여기서, T D 는 특정 값으로 사용자에 의하여 설정되며, 밀리미터 단위에서는 일반적으로 5가 적당하다.
이때, 판단의 오동작을 방지하기 위하여 수평방향 x, 수직방향 y의 한 위치보다는 이웃한 여러 개, 즉 수평방향으로 x-1, x, x+1 세 위치, 수직방향으로 y-1, y, y+1 세 위치 깊이 값의 평균값이 사용될 수 있다. 또는 왼쪽 대각선, 오른쪽 대각선 등에 있는 이웃한 화소값이 사용될 수 있다.
접근한 것을 터치한 것으로 판단하는 경우에는 터치된 위치와 깊이 값이 비교되는 위치가 서로 다르게 된다.
즉, 터치 센서 영역의 왼쪽에 영상 촬영모듈이 설치된 경우에 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정개수 T만큼 떨어진 화소 깊이 값, d s (x-T, y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단한다.
이때 터치한 위치는 수평방향 x-T, 수직방향 y 위치이며 다음 수학식 4가 만족되면 해당 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112013106600865-pat00005
여기서, T는 특정 값으로 사용자에 의하여 설정되며, 포인터와 터치 센서 영역 사이의 접근거리가 1cm인 경우에는 5화소가 적당하다. 접근한 경우에도 포인터 한 위치보다는 이웃한 여러 개의 깊이 값의 평균값이 사용될 수 있다.
또한, 터치 센서 영역의 오른쪽에 영상 촬영모듈이 설치되면 d p (x, y)와 d s (x+T, y)를 비교하여 (x+T, y) 위치에 터치 여부를 판단하고, 위쪽일 때는 d p (x, y)와 d s (x, y-T)를 비교하여 (x, y-T) 위치에 터치 여부를 판단하며, 아래쪽일 때는 d p (x, y)와 d s (x, y+T)를 비교하여 (x, y+T) 위치에 터치 여부를 판단한다.
또한, 도 6에서와 같이, 매 화면마다 포인터의 수평, 수직, 깊이 값을 얻을 수 있다. 즉, 화면의 프레임율을 바탕으로 포인터의 수평방향의 속도 및 방향성, 수직방향의 속도 및 방향성, 촬영 모듈 또는 터치 센서 영역과의 거리를 알 수 있다.
이와 같은 포인터의 이동 방향 및 속도 검출을 위한 방법의 하나는 깊이 영상 촬영 모듈로부터 얻어진 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 방법이 사용될 수 있다.
이와 같은 본 발명에 따른 본 발명에 따른 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법은 가상의 터치 센서를 사용하여 발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝트와 같이 빔이 투영되는 스크린 또는 벽, 그 이외에 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥 등에서 사용 가능하도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
11. 깊이 영상 촬영 모듈 12. 공간 좌표 보정부
13. 깊이 값 계산부 14. 객체 검출부
15. 포인터 추출부 16. 터치 판단부

Claims (20)

  1. 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;
    상기 깊이 영상 쵤영 모듈에서 새로운 깊이 영상이 제공될 때마다 이전 단계에서 저장된 상기 터치 센서 영역에 대한 대표 깊이 값과 비교하여 다른 깊이 값을 갖는 객체를 검출하고, 검출된 객체에서 포인터를 추출하고, 터치 센서 영역에 대한 깊이 영상 촬영 모듈의 위치를 기준으로 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를 보정하여 변환 후 절대 좌표를 구하여 상기 깊이 영상 촬영 모듈이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 깊이 영상 분석 처리부;
    상기 깊이 영상 분석 처리부에서 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  2. 제 1 항에 있어서, 상기 깊이 영상 분석 처리부는,
    깊이 영상으로부터 객체를 검출하는 객체 검출 수단과,
    검출된 객체에서 포인터를 추출하는 포인터 추출 수단 및,
    공간좌표 왜곡을 보정하는 공간 좌표 보정 수단을 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  3. 제 2 항에 있어서, 상기 포인터 추출 수단은,
    깊이 영상 촬영 모듈로부터 제공되는 깊이 영상에서 포인터를 하나 또는 동시에 복수 개를 추출하고,
    복수 개의 포인터들을 추출한 경우에는 추출된 포인터들의 각각이 구분되어 깊이 값이 제공되도록 하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  4. 제 1 항에 있어서, 터치 센서 영역에 대한 깊이 영상을 이용하여 터치 센서 영역의 깊이 값을 계산하여 깊이 영상 분석 처리부로 제공하는 깊이 값 계산 수단을 더 구비하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  5. 제 4 항에 있어서, 상기 깊이 값 계산 수단은,
    실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나,
    특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  6. 제 4 항에 있어서, 상기 깊이 값 계산 수단은,
    깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  7. 제 1 항에 있어서, 깊이 영상 촬영 모듈로부터 얻어진 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  8. 터치 센서 영역을 촬영하여 깊이 영상을 얻는 깊이 영상 촬영 모듈;
    터치 센서 영역에 대한 깊이 영상 촬영 모듈의 위치를 기준으로 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를 보정하여 변환 후 절대 좌표를 구하여 상기 깊이 영상 촬영 모듈이 촬영한 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;
    상기 공간 좌표 보정부에서 보정된 공간좌표를 기준으로 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;
    상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;
    검출된 객체에서 포인터를 추출하는 포인터 추출부;
    추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  9. 터치 센서 영역을 촬영하여 깊이 영상을 얻는 깊이 영상 촬영 모듈;
    상기 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부;
    상기 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부;
    검출된 객체에서 포인터를 추출하는 포인터 추출부;
    터치 센서 영역에 대한 깊이 영상 촬영 모듈의 위치를 기준으로 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를 보정하여 변환 후 절대 좌표를 구하여 터치 센서 영역에 대한 영상의 공간좌표 왜곡을 보정하는 공간 좌표 보정부;
    추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 터치 센서 영역은.
    발광소자를 통해 빛이 직접적으로 표시되는 디스플레이 장치, 빔 프로젝터 기기의 빔이 투영되는 스크린 또는 벽, 임의의 도형 모양의 평평하거나 곡면형태의 물체, 건물 공간의 바닥의 어느 하나인 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  11. 제 8 항 또는 제 9 항에 있어서, 상기 깊이 값 계산부는,
    실행 초기에 작동하여 제공받는 깊이 영상의 첫 화면을 선택하거나,
    특정 개수에 해당되는 화면을 축적하여 평균값 또는 중간값 또는 최빈치값을 계산하여 터치 센서의 각 위치에서 대표 깊이 값으로 저장하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  12. 제 8 항 또는 제 9 항에 있어서, 상기 깊이 값 계산부는,
    깊이 영상 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 변경되는 경우에는 다시 실행되어 터치 센서 영역의 깊이 값을 계산하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서.
  13. 깊이 영상 촬영 모듈을 통하여 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 단계;
    깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 단계;
    터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 단계;
    검출된 객체에서 포인터를 추출하고, 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 단계;를 포함하고,
    터치 센서 영역에 대한 깊이 영상 촬영 모듈의 위치를 기준으로 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를 보정하여 변환 후 절대 좌표를 구하여 깊이 영상의 공간좌표 왜곡을 보정 하는 단계를, 객체 검출 이전 또는 포인터 추출 이후에 더 진행하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.
  14. 삭제
  15. 제 13 항에 있어서, 깊이 영상의 공간좌표 왜곡을 보정 하는 단계에서,
    1차원 선형 변환을 이용한 보정 또는 어파인 변환 또는 호모그래피 변환의 어느 하나의 방법을 선택하여 공간좌표 왜곡을 보정 하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.
  16. 제 15 항에 있어서, 1차원 선형 변환을 이용한 보정은,
    깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치되었을 때 4개의 매핑되는 공간좌표를 바탕으로 변환전 좌표를,
    Figure 112013106600865-pat00006
    를 이용하여 보정하여 변환 후 절대 좌표를 구하고,
    여기서, x(수평)와 y(수직)는 변환전 좌표이고, X(수평)와 Y(수직)은 변환후 좌표이고, H x (폭), V y 0, V y 1(높이)는 변환전 터치 센서 영역에 해당되고, H X (폭), V Y (높이)는 변환후 터치 센서 영역에 해당되고, x 0(수평), y 0(수직)은 보정 오프셋인 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.
  17. 제 13 항에 있어서, 객체를 검출하는 단계에서,
    모폴로지 연산, 침식, 팽창, 제거, 채움을 통하여 잡음을 제거하고,
    검출한 객체에 대한 라벨링에 생기는 잡음을 제거하기 위하여 라벨링된 객체의 화소수가 설정된 특정 개수 이내이면 라벨링 객체에서 제외시키는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.
  18. 제 13 항에 있어서, 검출된 객체에서 포인터를 추출하는 과정에서,
    깊이 영상 촬영모듈이 터치 센서 영역의 왼쪽에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 왼쪽에 있는 화소의 위치를 포인터로 사용하며,
    영상 촬영모듈이 오른쪽일 때는 가장 오른쪽에 있는 화소로, 위쪽일 때는 가장 위쪽에 있는 화소로, 아래쪽일 때는 가장 아래쪽에 있는 화소를 포인터로 사용하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.
  19. 제 13 항에 있어서, 터치 센서 영역에 대한 터치 여부를 판단하는 단계에서,
    포인터가 접촉한 경우를 터치한 것으로 판단하는 경우,
    포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값, d s (x, y)를 비교하여 두 값의 절대차이가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.
  20. 제 13 항에 있어서, 터치 센서 영역에 대한 터치 여부를 판단하는 단계에서,
    포인터가 접근한 것을 터치한 것으로 판단하는 경우에는,
    터치 센서 영역의 왼쪽에 영상 촬영모듈이 설치된 경우에 포인터 위치의 깊이 값, d p (x, y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정개수 T만큼 떨어진 화소 깊이 값, d s (x-T, y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단하는 것을 특징으로 하는 깊이 정보를 이용한 가상의 터치 센서의 제어 방법.
KR1020130142989A 2013-11-22 2013-11-22 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법 KR101536673B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130142989A KR101536673B1 (ko) 2013-11-22 2013-11-22 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130142989A KR101536673B1 (ko) 2013-11-22 2013-11-22 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20150059423A KR20150059423A (ko) 2015-06-01
KR101536673B1 true KR101536673B1 (ko) 2015-07-15

Family

ID=53490517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130142989A KR101536673B1 (ko) 2013-11-22 2013-11-22 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR101536673B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869507B1 (ko) 2016-12-22 2018-06-20 동의대학교 산학협력단 임베디드 환경의 실시간 가상 터치 인식 방법 및 이를 이용한 실시간 가상 터치 인식 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687150B1 (ko) * 2015-09-25 2016-12-15 동의대학교 산학협력단 노약자 친화적인 가상 터치 방식의 병상 멀티미디어 장치 및 그 구현 방법
KR102426484B1 (ko) * 2017-11-30 2022-07-28 주식회사 애니랙티브 팬틸트 능동제어형 미러 스크린 프로젝터
CN112188075B (zh) * 2019-07-05 2023-04-18 杭州海康威视数字技术股份有限公司 抓拍机、图像处理设备及图像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130005677A (ko) * 2011-07-07 2013-01-16 한국해양과학기술원 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법
KR20130050672A (ko) * 2011-11-08 2013-05-16 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130005677A (ko) * 2011-07-07 2013-01-16 한국해양과학기술원 폐회로 텔레비전 카메라를 이용한 실시간 방파제 도파 관측 방법
KR20130050672A (ko) * 2011-11-08 2013-05-16 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
권순각 외 1명. 깊이 카메라를 이용한 움직임 추정 방법. 방송공학회논문지 제17권 제4호, pp.676-683, 2012.07. *
권순각 외 1명. 깊이 카메라를 이용한 움직임 추정 방법. 방송공학회논문지 제17권 제4호, pp.676-683, 2012.07.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869507B1 (ko) 2016-12-22 2018-06-20 동의대학교 산학협력단 임베디드 환경의 실시간 가상 터치 인식 방법 및 이를 이용한 실시간 가상 터치 인식 시스템

Also Published As

Publication number Publication date
KR20150059423A (ko) 2015-06-01

Similar Documents

Publication Publication Date Title
US9020194B2 (en) Systems and methods for performing a device action based on a detected gesture
KR102011169B1 (ko) 광 폴오프에 기초한 깊이 이미지의 생성 기법
US9734392B2 (en) Image processing device and image processing method
US20150026646A1 (en) User interface apparatus based on hand gesture and method providing the same
US20170083741A1 (en) Method and device for generating instruction
TWI428804B (zh) 光學觸控系統及其感測方法
JP5381569B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
KR20070060002A (ko) 인물검출장치, 인물검출방법 및 인물검출프로그램
US10366281B2 (en) Gesture identification with natural images
KR101536673B1 (ko) 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법
JPWO2016199244A1 (ja) 物体認識装置及び物体認識システム
US9430039B2 (en) Apparatus for controlling virtual mouse based on hand motion and method thereof
JP2014202540A (ja) 位置算出システム、位置算出プログラム、および、位置算出方法
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
EP2672363A2 (en) Display device and method using a plurality of display panels
US9025022B2 (en) Method and apparatus for gesture recognition using a two dimensional imaging device
KR101127517B1 (ko) 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치
US20150294439A1 (en) Information processing device, image projection device and image processing method
KR100968205B1 (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
JP2013149228A (ja) 位置検出装置、および位置検出プログラム
CN106406507B (zh) 图像处理方法以及电子设备
KR20100118317A (ko) 휴대단말의 제스처 인식 방법 및 시스템
TWI448918B (zh) 光學觸控系統
KR20120044783A (ko) 프로젝터를 이용한 터치 스크린 장치 및 그 터치 스크린 장치의 터치 위치 검출방법
KR101200009B1 (ko) 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180706

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 5