KR102340281B1

KR102340281B1 - 라이다 센서를 구비한 터치 인식 방법 및 장치

Info

Publication number: KR102340281B1
Application number: KR1020200020301A
Authority: KR
Inventors: 권기환; 구경모; 이상원
Original assignee: 주식회사 픽셀스코프
Priority date: 2020-02-19
Filing date: 2020-02-19
Publication date: 2021-12-17
Also published as: CN115668113A; US20230062630A1; KR20210105618A; WO2021167312A1; US20240111382A1; US11868567B2

Abstract

본 발명은 라이다 센서를 구비한 터치 인식 방법 및 장치로, 라이다 센서를 이용하여 터치를 인식 및 터치의 모션을 판단하는 것을 일 목적으로 한다. 이를 달성하기 위한 본 발명은 라이다 센서를 통해 감지된 적어도 하나 이상의 객체에 대한 센싱 정보를 기반으로, 상기 객체의 좌표를 추출하는 a 단계, 제1 프레임에서 추출된 상기 객체의 좌표에 대한 클러스터링을 수행하여, 상기 제1 프레임의 제1 터치 객체 및 상기 제1 터치 객체의 제1 좌표를 연산하는 b 단계, 상기 제1 터치 객체 및 상기 제1 좌표를 이용하여 상기 제1 터치 객체의 상태를 판단하는 c 단계, 상기 제1 좌표를 실제 좌표로 변환하여, 상기 제1 좌표가 기 설정된 유효 영역에 위치하는 지 판단하는 d 단계, 및 상기 제1 터치 객체가 상기 유효 영역에 위치한다고 판단하면, 상기 실제 좌표에 상기 제1 터치 객체를 디스플레이 하는 e 단계를 포함하는 것을 특징으로 한다.

Description

라이다 센서를 구비한 터치 인식 방법 및 장치{METHOD AHD DEVICE FOR MOTION RECOGNIZING WITH LIDER SENSOR}

본 발명은 라이다 센서를 구비한 터치 인식 방법 및 장치에 관한 것으로, 보다 자세하게는 라이다 센서를 통해 수집된 센싱 정보를 이용하여 터치 객체를 인식하는 방법 및 장치에 관한 것이다.

종래의 터치와 같은 모션을 인식하는 데에는, 압전 센서를 사용하는 방법과 마이크로소프트사의 키넥트, 인텔사의 리얼센스와 같은 장비를 사용하여 3차원 영상 정보를 사용하는 방법을 주로 사용하였다.

압전 센서를 사용하는 방법은, 오락실에서 볼 수 있는 DDR 펌프 기계의 방식과 유사하여, 실제로 터치가 발생하는 위치 아래에 센서가 설치되어야 하기 때문에 센서 주변부의 터치 인식의 어려움과 터치로 인한 센서의 고장이 쉽게 발생한다는 문제가 있다.

한편 3차원 영상 정보를 사용하는 방법은, 터치 순간의 위치, 거리 등의 다양한 정보를 획득할 수 있으나, 영상 정보에서 터치를 인식하기 위해서는 영상에서 사람을 인식하고 이를 추적해야 한다는 기술적 어려움이 있다.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 라이다 센서를 이용하여 터치를 인식하는 것을 일 목적으로 한다.

또한 본 발명은 라이다 센서로부터 획득한 센싱 정보를 이용하여 터치 객체의 상태를 판단하여, 사용자의 움직임을 파악하는 것을 일 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 서버가 객체의 터치를 인식하는 방법에 있어서, 라이다 센서를 통해 감지된 적어도 하나 이상의 객체에 대한 센싱 정보를 기반으로, 상기 객체의 좌표를 추출하는 a 단계, 제1 프레임에서 추출된 상기 객체의 좌표에 대한 클러스터링을 수행하여, 상기 제1 프레임의 제1 터치 객체 및 상기 제1 터치 객체의 제1 좌표를 연산하는 b 단계, 상기 제1 터치 객체 및 상기 제1 좌표를 이용하여 상기 제1 터치 객체의 상태를 판단하는 c 단계, 상기 제1 좌표를 실제 좌표로 변환하여, 상기 제1 좌표가 기 설정된 유효 영역에 위치하는 지 판단하는 d 단계, 및 상기 제1 터치 객체가 상기 유효 영역에 위치한다고 판단하면, 상기 실제 좌표에 상기 제1 터치 객체를 디스플레이 하는 e 단계를 포함하는 것을 일 특징으로 한다.

또한 객체의 터치를 인식하는 장치에 있어서, 라이다 센서를 통해 적어도 하나 이상의 객체를 감지하여 센싱 정보를 생성하는 센서부, 상기 센싱 정보를 기반으로 상기 객체의 좌표를 추출하는 좌표 추출부, 제1 프레임에서 추출된 상기 객체의 좌표에 대한 클러스터링을 수행하여, 상기 제1 프레임의 제1 터치 객체 및 상기 제1 터치 객체의 제1 좌표를 추출하는 데이터 관리부, 상기 제1 터치 객체 및 상기 제1 좌표를 이용하여 상기 제1 터치 객체의 상태를 판단하는 상태 판단부, 상기 제1 좌표를 실제 좌표로 변환하여, 상기 제1 터치 객체가 기 설정된 유효 영역에 위치하는 지를 판단하는 변환부 및 상기 제1 터치 객체가 상기 유효 영역에 위치하면, 상기 실제 좌표에 상기 제1 터치 객체를 디스플레이 하는 디스플레이부를 포함하는 것을 일 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 라이다 센서를 이용하여 터치를 인식할 수 있어, 큰 장비 없이 소형 센서 설치만으로 터치를 인식할 수 있어 공간 구성을 효율적으로 할 수 있다.

또한 본 발명은 라이다 센서로부터 획득한 센싱 정보를 이용하여 터치 객체의 상태를 판단하여, 사용자의 움직임을 파악할 수 있다.

또한 본 발명은 AR, VR 컨텐츠와 같은 신체 동작 인식과 관련된 기술에서 높은 정확도의 터치 인식 기술을 제공함으로써 컨텐츠를 이용하는 사용자에게 실재감을 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 의한 터치 인식 장치의 구성을 나타낸 도면,
도 2는 본 발명의 일 실시 예에 의한 터치 객체를 인식하는 방법을 설명하기 위한 도면,
도 3는 본 발명의 일 실시 예에 의한 터치 객체의 상태를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 의한 터치 인식 방법을 설명하기 위한 도면이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계 들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 의한 터치 인식 장치의 대략적인 구성도이다. 도 1을 참조하면, 터치 인식 장치는 센서부(100), 좌표 추출부(200), 데이터 관리부(300), 상태 판단부(400), 변환부(500), 모션 인식부(600), 그리고 디스플레이부(700)를 포함할 수 있다.

센서부(100)는 라이다 센서를 통해 적어도 하나 이상의 객체를 감지하여, 객체 별 센싱 정보를 생성할 수 있다. 라이다 센서(LiDAR) 센서는 빛을 방출한 후 물체에 반사되어 돌아오는 것을 인식하여 빛이 돌아오는 데 걸리는 시간을 통해 거리를 연산하는 기술이다. 라이다 센서는 차량의 자율주행 분야, 건설 분야, 항공측량 분야 등 다양한 분야에 활용되고 있다. 라이다 센서는 다른 거리 센서와 대비하여 비교적 정확한 거리 정보를 획득할 수 있다.

센서부(100)를 통해 생성된 센싱 정보는 객체 까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 또는 3D 영상 정보 중 적어도 하나를 포함할 수 있다.

센서부(100)는 전방 180도 각도로 약 4.6m의 거리의 바닥을 센싱함으로써, 센싱 가능 영역에서 사용자가 바닥을 터치하는 동작을 인식할 수 있다. 센싱 가능 영역은 사용되는 라이다 센서의 성능에 따라 좌우될 수 있다.

좌표 추출부(200)는 센서부(100)로부터 수신되는 모든 프레임에 대한 센싱 정보를 기반으로 객체의 좌표를 추출할 수 있다. 좌표 추출부(200)는 기 설정된 각도 범위 내에서 인식된 터치 객체에 대해서만 좌표를 추출할 것이다.

좌표 추출부(200)는 센싱 정보에 포함된 거리와 방향을 이용하여 객체의 좌표를 추출할 수 있다. 좌표 추출부(200)에서 추출되는 객체의 좌표는 실제 영역에 대응되는 좌표가 아닌, 센서부(100)가 설치된 위치를 원점으로 하는 2차원 거리맵에 대응되는 좌표를 의미한다.

좌표 추출부(200)는 각 프레임 별 객체를 좌표에 따라 2차원 거리맵인 평면 좌표계에 표시할 수 있다. 좌표 추출부(200)는 제1 프레임에 포함된 객체를 제1 평면 좌표계의 해당 좌표에 표시할 수 있고, 제2 프레임에 포함된 객체를 제2 평면 좌표계의 해당 좌표에 표시할 수 있다. 이와 같이 좌표 추출부(200)는 프레임마다 평면 좌표계를 할당할 것이다.

데이터 관리부(300)는 평면 좌표계에 표시된 적어도 하나 이상의 객체에 대한 클러스터링을 수행하여, 각 프레임에서 터치 객체 및 그 좌표를 추출할 수 있다. 데이터 관리부(300)는 제1 프레임에 속한 객체를 표시한 평면 좌표계를 이용하여 제1 프레임의 제1 터치 객체 및 제1 터치 객체의 제1 좌표를 추출할 수 있다.

데이터 관리부(300)는 제1 프레임에서 추출한 객체의 좌표들 간의 제1 거리를 연산하여, 거리에 따라 군집을 형성하는 클러스터링을 수행할 것이다. 데이터 관리부(300)는 제1 거리와 기 설정된 제1 거리 임계 값을 비교하여 클러스터링을 수행함으로써 생성된 군집을 제1 터치 객체로 설정할 것이다.

도 2를 참조하면, 데이터 관리부(300)는 제1 프레임에서 추출된 객체들 간의 거리가 제1 거리 임계 값 이하인, 군집에 포함되는 적어도 하나 이상의 객체를 제1 터치 객체로 볼 수 있다. 데이터 관리부(300)는 제1 프레임에 군집이 복수 개 있으면, 제1 터치 객체도 복수 개 설정할 수 있다. 데이터 관리부(300)는 제1 프레임에서 센싱 정보에 따른 좌표를 기준으로 적어도 하나 이상의 군집을 형성할 수 있다.

데이터 관리부(300)는 제1 터치 객체를 설정하면, 제1 터치 객체의 제1 좌표를 추출할 것이다. 이 때, 제1 좌표는 한 점일 수도 있고 영역일 수도 있다. 이 때, 터치 객체 리스트는 제1 터치 객체, 제1 터치 객체의 제1 좌표, 제1 터치 객체에 속하는 객체의 수를 포함할 수 있다.

한편 데이터 관리부(300)는 터치 객체 리스트에 포함된 제1 터치 객체에서, 제1 터치 객체에 포함된 객체의 수를 이용하여 노이즈를 판단할 것이다. 데이터 관리부(300)는 제1 터치 객체에 포함된 객체의 수가 일정 수준 미만이면 제1 터치 객체를 노이즈로 판단할 수 있다. 이 때, 일정 수준은 관리자의 설정에 따라 상이할 수 있다. 데이터 관리부(300)는 노이즈라고 판단된 제1 터치 객체를 터치 객체 리스트에서 제거할 것이다.

노이즈라고 판단된 제1 터치 객체를 터치 객체 리스트에서 제거하는 과정은, 제1 터치 객체에 대한 정보를 터치 객체 리스트에 추가하기 이전에 수행될 수도, 이후에 수행될 수도 있다.

상태 판단부(400)는 터치 객체 리스트에 포함된 데이터 관리부(300)로부터 추출된 제1 프레임의 제1 터치 객체 및 제1 좌표를 이용하여, 제1 터치 객체의 상태를 판단할 것이다. 도 4를 참조하면, 상태 판단부(400)는 제1 터치 객체의 상태를 판단하기 위하여, 제1 프레임과 연속하는 이전 프레임인 제2 프레임과 다음 프레임인 제3 프레임을 고려할 수 있다.

상태 판단부(400)는 제2 프레임에 제2 터치 객체가 존재하는 지 확인할 것이다. 도 4의 (1)에 따르면, 상태 판단부(400)는 제2 프레임에 제2 터치 객체가 존재하지 않으면, 제1 터치 객체를 enter 상태로 판단할 수 있다. 이는 이전 프레임에서 센싱 정보가 없다가 새로운 터치 객체가 센싱된 것으로, 새로운 터치 객체가 인식되었음을 의미한다. enter 상태는 마우스 버튼을 누르는 상태와 유사하다.

상태 판단부(400)는 제2 프레임에 제2 터치 객체가 존재하면, 제1 좌표와 제2 프레임에서의 제2 터치 객체의 제2 좌표 사이의 제2 거리를 연산할 수 있다. 도 4의 (2)에 따르면, 상태 판단부(400)는 제2 거리와 기 설정된 제2 거리 임계 값을 비교하여, 제2 거리가 제2 거리 임계 값보다 크면 제1 터치 객체를 enter 상태로 판단할 수 있다. 상태 판단부(400)는 제1 터치 객체가 제2 터치 객체와는 다른 영역에 위치하기 때문에, 새로운 터치 객체가 인식되었다고 판단할 수 있다.

도 4의 (3)에 따르면, 상태 판단부(400)는 제1 좌표와 제2 좌표가 동일하면 제1 터치 객체를 stay 상태로 판단할 수 있다. stay 상태는 이미 센싱 정보가 있는 터치 객체가 계속하여 존재한다는 정보를 제공할 수 있다.

도4의 (4)에 따르면, 상태 판단부(400)는 상태 판단부(400)는 제1 좌표와 제2 좌표가 동일하지 않고, 제2 거리가 제2 거리 임계 값보다 작으면, 제1 터치 객체를 move 상태로 판단할 수 있다.

이는 제2 프레임에 센싱 정보가 존재하나, 제1 프레임에서는 같은 위치가 아닌 다른 위치에서 센싱된 것으로, 터치 객체가 이동하였음을 의미한다. move 상태는 마우스를 드래그하는 상태와 유사하다.

도 4의 (5)에 따르면, 상태 판단부(400)는 제3 프레임에 제3 터치 객체가 존재하지 않으면, 제1 터치 객체를 exit 상태로 판단할 수 있다. 이는 제1 터치 객체가 제3 프레임에는 더 이상 존재하지 않음을 의미하며, exit 상태는 마우스 버튼을 떼는 상태와 유사하다.

도 4에 별도로 도시되지 않았으나, 상태 판단부(400)는 제3 프레임에 제3 터치 객체가 존재하면, 제1 좌표와 제3 프레임에서 제3 터치 객체의 제3 좌표 사이의 제3 거리를 연산할 수 있다. 상태 판단부(400)는 제3 거리와 기 설정된 제2 거리 임계 값을 비교하여, 제3 거리가 제2 거리 임계 값 보다 크면 제1 터치 객체를 exit 상태로 판단할 수 있다. 상태 판단부(400)는 제1 터치 객체와 제3 터치 객체가 다른 영역에 위치하기 때문에, 제1 터치 객체가 사라지고 새로운 제3 터치 객체가 인식되었다고 판단할 수 있다.

상태 판단부(400)는 제3 거리가 제2 거리 임계 값보다 작으면 제1 터치 객체를 stay 상태 또는 move 상태로 판단할 수 있다.

상태 판단부(400)는 제1 터치 객체를 판단함에 있어서, 일 프레임마다 적어도 하나 이상의 터치 객체가 존재함에 따라, 다양한 경우의 수를 고려하여 제1 터치 객체의 상태를 판단할 수 있다.

변환부(500)는 제1 좌표를 실제 좌표로 변환하여 제1 터치 객체가 기 설정된 유효 영역에 위치하는 지를 판단할 수 있다. 유효 영역은 전체 센싱 영역일 수 있고, 전체 센싱 영역을 분할한 영역일 수도 있다. 본 발명의 일 실시 예에 의한 터치 인식 방법은, 유효 영역을 설정함으로써 특정 영역 내에 터치 객체가 진입하거나 특정 위치에서 터치 객체가 인식되는 것을 확인할 수 있다.

모션 인식부(600)는 유효 영역에 위치한 터치 객체의 움직임을 파악할 수 있다. 모션 인식부(600)는 유효 영역에 위치한 터치 객체를 기반으로, 사용자가 뛰는 발걸음의 속도를 측정하거나, 유효 영역에서 인식되는 터치 객체의 정보를 분석하여 영역을 순차적으로 움직이는 동작이나 특정 영역에 머무르는 시간 등을 측정할 수 있다. 모션 인식부(600)는 상술한 터치 객체의 움직임을 파악하기 위해 터치 객체의 실제 좌표와 터치 객체가 인식된 시간을 이용할 것이다.

예를 들어, 유효 영역에서 터치 객체가 12시 24분 31.44초에 처음 인식되고, 12시 25분 41.53초에 마지막으로 인식되면, 모션 인식부(600)는 인식된 터치 객체가 1분 10.09초동안 유효 영역에 머물렀다고 판단할 것이다.

모션 인식부(600)는 유효 영역 내에서 점프와 같은 터치 카운트를 측정할 수 있다. 모션 인식부(600)는 여러 개의 연속되는 프레임에서, 제1 터치 객체가 동일한 제1 좌표에 반복적으로 나타나면 사용자가 점프하고 있다고 판단하여 점프 횟수를 측정할 수 있다.

모션 인식부(600)는 유효 영역에서 처음 인식된 터치 객체와 마지막으로 인식된 터치 객체, 그리고 그 사이에 존재하는 터치 객체를 이용하여 사용자의 동선을 추적할 수 있다. 또한 모션 인식부(600)는 특정 위치에 위치한 물체를 들어서 혹은 끌어서 옮기는 모션에 대한 추적 또한 가능하다.

본 발명의 다른 실시 예에 의하면, 터치 인식 장치는 깊이 카메라 및/또는 3D 카메라를 포함하는 카메라 모듈을 더 구비하여, 센서부(100)와 동일한 영역을 동시에 촬영할 수 있다. 모션 인식부(600)는 터치 객체의 움직임 뿐 아니라 카메라 모듈로부터 촬영된 영상으로 사용자 움직임 전체를 파악할 수 있다. 터치 객체의 움직임은 단순히 바닥을 터치하는 동작만을 파악할 수 있기 때문에, 본 발명은 카메라 모듈을 더 구비함으로써 사용자가 신체를 어떻게 움직이고 있는 지에 대한 정보를 획득 가능하다.

디스플레이부(700)는 유효 영역에 대한 터치 객체를 표시할 수 있다. 이때, 디스플레이부(700)로 터치 객체가 표시된 화면을 실제 좌표와 대응하는 위치, 즉 센서의 유효 영역에 표시되도록 빔 프로젝터를 이용할 수 있다.

디스플레이부(700)는 터치 객체를 표시할 뿐 아니라, 터치 객체가 위치해야 할 타겟 위치를 표시하여 사용자가 타겟 위치를 터치하도록 유도할 수 있다. 이 때, 타겟 위치는 사용자의 신체정보에 따라 상이하게 표시될 것이다.

디스플레이부(700)는 전체 센싱 영역을 특정 개수로 분할하여 사용할 경우, 각 영역에 동일한 유효 영역을 설정하여 멀티 터치하도록 유도할 수도 있다. 또한 디스플레이부(700)는 특정 구간을 왕복으로 터치하도록 유도할 수도 있다.

이와 같이 디스플레이부(700)는 타겟 위치를 표시함으로써, 사용자의 움직임을 유도할 수 있다. 이러한 특성상, 본 발명의 터치 인식 장치는 사용자에게 적절한 운동 자세를 가이드 하는 데에 사용될 수 있다. 사용자는 디스플레이부(700)로부터 표시되는 타겟 위치를 확인하고 타겟 위치를 손 및/또는 발로 터치함으로써 운동 자세를 바로잡을 수 있다.

이하에서는 도 2를 참조하여 터치 인식 방법을 설명한다. 터치 인식 방법의 설명에 있어서, 상술한 터치 인식 장치와 중복되는 세부 실시 예는 생략될 수 있다. 터치 인식 장치는 서버로 구현될 수 있는 바, 이하에서는 서버로 명명한다.

단계 100에서, 서버는 라이다 센서로부터 적어도 하나 이상의 객체를 감지하여, 객체 별 센싱 정보를 생성할 수 있다. 센싱 정보는 센서로부터 객체까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 또는 3D 영상 정보 중 적어도 하나를 포함할 수 있다. 라이다 센서는 바닥을 센싱함으로써, 사용자가 바닥을 터치하는 동작을 인식할 수 있다.

단계 200에서, 서버는 라이다 센서로부터 수집한 모든 센싱 정보를 기반으로 객체의 좌표를 추출할 수 있다. 서버는 기 설정된 각도 범위 내에서 인식된 터치 객체에 대해서만 좌표를 추출할 수 있다. 보다 구체적으로 서버는 센싱 정보에 포함된 거리와 방향을 이용하여 객체의 좌표를 추출할 수 있다. 이 때 객체의 좌표는 센서가 설치된 위치를 원점으로 하는 2차원 거리맵에 대응하는 좌표를 의미한다. 서버는 추출한 객체의 좌표를 평면 좌표계에 표시할 수 있다.

단계 300에서, 서버는 평면 좌표계에 표시된 적어도 하나 이상의 객체에 대한 클러스터링을 수행하여, 제1 프레임의 제1 터치 객체 및 제1 터치 객체의 제1 좌표를 추출할 수 있다. 서버는 제1 프레임에 대한 객체가 표시된 평면 좌표계에서, 각 객체의 좌표들 간의 제1 거리를 연산하여 거리에 따라 군집을 형성하는 클러스터링을 수행할 것이다.

서버는 제1 거리가 제1 거리 임계 값 이하인, 군집에 포함되는 적어도 하나 이상의 객체를 제1 터치 객체로 볼 수 있다. 이 때, 제1 프레임에 군집이 복수 개 형성되면, 제1 터치 객체도 복수 개 형성될 수 있다. 이 때, 제1 터치 객체에 포함되지 않는 객체의 센싱 정보는 삭제될 것이다.

서버는 제1 터치 객체를 설정하면, 제1 터치 객체의 제1 좌표를 추출할 수 있다. 이 때, 제1 좌표는 한 점일 수도 있고 영역일 수도 있다.

단계 400에서, 서버는 제1 터치 객체와 그 제1 좌표를 이용하여 제1 터치 객체의 상태를 판단할 것이다. 서버는 제1 터치 객체의 상태를 판단하기 위해 제1 프레임과 연속하는 이전 프레임(제2 프레임)과 다음 프레임(제3 프레임)을 고려할 수 있다.

서버가 제1 터치 객체의 상태를 판단하는 과정에 있어서,

(1) 서버는 제2 프레임에 제2 터치 객체가 존재하지 않고, 제1 프레임에 제1 터치 객체가 존재하면 제1 터치 객체를 enter 상태로 판단할 수 있다.

(2) 서버는 제2 프레임에 제2 터치 객체가, 제1 프레임에 제1 터치 객체가 존재하면, 제1 좌표와 제2 터치 객체의 제2 좌표 사이의 제2 거리를 연산할 수 있다. 이 때, 제2 거리가 제2 거리 임계 값 보다 크면, 서버는 제1 터치 객체를 enter 상태로 판단할 수 있다.

(3) 제2 거리가 제2 거리 임계 값 보다 작고, 제1 좌표와 제2 좌표가 동일하면 서버는 제1 터치 객체를 stay 상태로, 제1 좌표와 제2 좌표가 동일하지 않으면 제1 터치 객채를 move 상태로 판단할 수 있다.

(4) 서버는 제1 프레임에 제1 터치 객체가 존재하고, 제3 프레임에 제3 터치 객체가 존재하지 않으면, 제1 터치 객체를 exit 상태로 판단할 수 있다.

(5) 서버는 제1 프레임에 제1 터치 객체가, 제3 프레임에 제3 터치 객체가 존재하면, 제1 좌표와 제3 터치 객체의 제3 좌표 사이의 제3 거리를 연산할 수 있다. 이 때, 제3 거리가 제3 거리 임계 값 보다 크면 제1 터치 객체를 exit 상태로 판단하고, 그렇지 않으면 stay 상태 또는 move 상태로 판단할 수 있다.

단계 500에서, 제1 좌표를 실제 좌표로 변환하여, 제1 터치 객체가 기 설정된 유효 영역 내에 존재하는 지 판단할 수 있다. 유효 영역은 전체 센싱 영역일 수도 있고, 전체 센싱 영역을 분할한 영역일 수도 있다.

단계 600에서, 제1 터치 객체가 유효 영역 내에 존재하면, 서버는 제1 터치 객체를 디스플레이부에 표시할 것이다. 디스플레이부는 터치 객체가 표시된 화면을 실제 좌표와 대응하는 위치에 표시되도록, 즉 센싱 영역에 대응되도록 화면을 표시할 수 있는 빔 프로젝터를 이용할 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims

서버가 객체의 터치를 인식하는 방법에 있어서,
라이다 센서를 통해 감지된 적어도 하나 이상의 객체에 대한 센싱 정보를 기반으로, 상기 객체의 좌표를 추출하는 a 단계;
제1 프레임에서 추출된 상기 객체의 좌표에 대한 클러스터링을 수행하여, 상기 제1 프레임의 제1 터치 객체 및 상기 제1 터치 객체의 제1 좌표를 연산하는 b 단계;
상기 제1 프레임의 상기 제1 터치 객체, 상기 제1 좌표, 상기 제1 프레임의 이전 프레임인 제2 프레임 및 다음 프레임인 제3 프레임을 이용하여 상기 제1 터치 객체의 상태(enter, stay, move, exit 상태)를 판단하는 c 단계;
상기 제1 좌표를 실제 좌표로 변환하여, 상기 제1 좌표가 기 설정된 유효 영역에 위치하는 지 판단하는 d 단계;
상기 제1 터치 객체가 상기 유효 영역에 위치한다고 판단하면, 상기 제1 터치 객체의 움직임을 파악하고, 상기 실제 좌표에 상기 제1 터치 객체를 디스플레이 하는 e 단계를 포함하는 터치 인식 방법.
제1항에 있어서,
상기 a 단계는,
상기 객체의 좌표는 2차원 좌표이며,
상기 객체의 좌표를 프레임 별로 평면 좌표계에 표시하는 단계를 포함하는 터치 인식 방법.
제2항에 있어서,
상기 b 단계는,
상기 제1 프레임에 대응하는 평면 좌표계에 표시된 적어도 하나 이상의 상기 객체의 좌표 간의 제1 거리를 연산하는 단계;
상기 제1 거리와 기 설정된 제1 거리 임계 값을 비교하여 클러스터링을 수행하는 단계; 및
클러스터링 하여 생성된 군집을 상기 제1 터치 객체로 설정하는 단계를 더 포함하는 터치 인식 방법.
제3항에 있어서,
상기 제1 터치 객체, 상기 제1 터치 객체의 제1 좌표, 및 상기 제1 터치 객체에 포함된 상기 객체의 수를 이용하여 터치 객체 리스트를 생성하는 단계;
상기 터치 객체 리스트에서, 상기 객체의 수가 기 설정된 개수 이하인 제1 터치 객체가 존재하면, 상기 터치 객체 리스트에서 제거하는 단계를 더 포함하는 터치 인식 방법.
제1항에 있어서,
상기 c 단계는,
상기 제1 프레임과 연속하는 이전 프레임인 제2 프레임에 제2 터치 객체가 존재하는 지 판단하는 단계;
상기 제2 터치 객체가 존재하면, 상기 제1 좌표와 상기 제2 터치 객체의 제2 좌표 사이의 제2 거리를 연산하는 단계;
상기 제2 거리와 기 설정된 제2 임계 값을 비교하여 상기 제1 터치 객체의 상태를 판단하는 단계를 포함하는 터치 인식 방법.
제1항에 있어서,
상기 c 단계는,
상기 제1 프레임과 연속하는 다음 프레임인 제3 프레임에 제3 터치 객체가 존재하는 지 판단하는 단계;
상기 제3 터치 객체가 존재하면 상기 제1 좌표와 상기 제3 터치 객체의 제3 좌표 사이의 제3 거리를 연산하는 단계;
상기 제3 거리와 기 설정된 제2 임계 값을 비교하여 상기 제1 터치 객체의 상태를 판단하는 단계를 포함하는 터치 인식 방법.
객체의 터치를 인식하는 장치에 있어서,
라이다 센서를 통해 적어도 하나 이상의 객체를 감지하여 센싱 정보를 생성하는 센서부;
상기 센싱 정보를 기반으로 상기 객체의 좌표를 추출하는 좌표 추출부;
제1 프레임에서 추출된 상기 객체의 좌표에 대한 클러스터링을 수행하여, 상기 제1 프레임의 제1 터치 객체 및 상기 제1 터치 객체의 제1 좌표를 추출하는 데이터 관리부;
상기 제1 프레임의 상기 제1 터치 객체, 상기 제1 좌표, 상기 제1 프레임의 이전 프레임인 제2 프레임 및 다음 프레임인 제3 프레임을 이용하여 상기 제1 터치 객체의 상태(enter, stay, move, exit 상태)를 판단하는 상태 판단부;
상기 제1 좌표를 실제 좌표로 변환하여, 상기 제1 터치 객체가 기 설정된 유효 영역에 위치하는 지를 판단하는 변환부; 및
상기 제1 터치 객체가 상기 유효 영역에 위치하면, 상기 제1 터치 객체의 움직임을 파악하는 모션 인식부 및 상기 실제 좌표에 상기 제1 터치 객체를 디스플레이 하는 디스플레이부를 포함하는 터치 인식 장치.
제7항에 있어서,
상기 데이터 관리부는,
상기 제1 프레임에 포함된 적어도 하나 이상의 상기 객체의 좌표 간의 제1 거리를 연산하고, 상기 제1 거리와 기 설정된 제1 거리 임계 값을 비교하여 클러스터링을 수행하며, 생성된 군집을 제1 터치 객체로 설정하는 터치 인식 장치.
제7항에 있어서,
상기 상태 판단부는,
상기 제1 프레임과 연속하는 이전 프레임인 제2 프레임에 제2 터치 객체가 존재하는 지 판단하여,
상기 제2 터치 객체가 존재하지 않으면, 상기 제1 터치 객체를 enter 상태로 판단하고,
상기 제2 터치 객체가 존재하면, 상기 제1 좌표와 상기 제2 터치 객체의 제2 좌표 사이의 제2 거리를 연산하여, 상기 제2 거리가 상기 제2 거리 임계 값 이상이면 상기 제1 터치 객체를 enter 상태로 판단하는 터치 인식 장치.
제9항에 있어서,
상기 상태 판단부는,
상기 제1 좌표와 상기 제2 좌표가 동일하면 상기 제1 터치 객체를 stay 상태로 판단하고,
상기 제1 좌표와 상기 제2 좌표가 동일하지 않고, 상기 제2 거리가 기 설정된 제2 거리 임계 값 이하이면 상기 제1 터치 객체를 move 상태로 판단하는 터치 인식 장치.
제10항에 있어서,
상기 상태 판단부는,
상기 제1 프레임과 연속하는 다음 프레임인 제3 프레임에 제3 터치 객체가 존재하는 지 판단하여,
상기 제3 터치 객체가 존재하지 않으면, 상기 제1 터치 객체를 exit 상태로 판단하고,
상기 제3 터치 객체가 존재하면, 상기 제1 좌표와 상기 제3 터치 객체의 제3 좌표 사이의 제3 거리를 연산하여, 상기 제3 거리가 상기 제2 거리 임계 값 이상이면 상기 제1 터치 객체를 exit 상태로 판단하는 터치 인식 장치.