KR102461960B1 - 디스플레이 공정에서 미리 입력된 이용자의 특징에 따라 비접촉 제스처를 인식하는 방법 및 그를 이용한 디스플레이 기기 - Google Patents

Abstract

본 발명은 미리 입력된 이용자의 특징에 따라 비접촉 제스처를 인식하는 방법에 있어서, 복수의 IR 센서를 포함하는 IR 센서 어레이 및 적외선을 조사하는 복수의 적외선 LED가 디스플레이 패널 상부에 위치하는 상태에서, 상기 복수의 IR 센서 중 특정 IR 센서가 제스처용 객체로부터 반사된 적외선 신호를 인식한 경우, 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 획득하는 단계; 및 상기 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 기초로 상기 제스처용 객체의 제스처를 인식하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.

Description

디스플레이 공정에서 미리 입력된 이용자의 특징에 따라 비접촉 제스처를 인식하는 방법 및 그를 이용한 디스플레이 기기{METHOD FOR RECOGNIZING NON-CONTACT GESTURES ACCORDING TO USER'S CHARACTERISTICS INPUT IN ADVANCE IN THE DISPLAY PROCESS AND DISPLAY USING THE SAME}

본 발명은 디스플레이 공정에서 미리 입력된 이용자의 특징에 따라 비접촉 제스처를 인식하는 방법 및 그를 이용한 디스플레이 기기에 관한 것으로서, 더욱 상세하게는 비접촉 제스처를 인식하는 방법에 있어서, 복수의 IR 센서를 포함하는 IR 센서 어레이 및 적외선을 조사하는 복수의 적외선 LED가 디스플레이 패널 상부에 위치하는 상태에서, 상기 복수의 IR 센서 중 특정 IR 센서가 제스처용 객체로부터 반사된 적외선 신호를 인식한 경우, 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 획득하는 단계; 및 상기 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 기초로 상기 제스처용 객체의 제스처를 인식하는 단계를 포함하는 것을 특징으로 하는 방법에 관한 것이다.

최근 다양한 사회적, 경제적 요인의 영향으로 일반 소매점을 비롯하여 은행, 호텔 등에서도 무인 키오스크를 사용하는 비율이 급격하게 늘어나고 있다. 특히, 코로나 감염증의 확대 및 감염 위험성의 인식 등으로 키오스크의 사용 비율은 더 증가할 것으로 예측되고 있다.

그러나, 현재 보급된 키오스크 대부분은 접촉식 터치 방식을 채택하고 있어 키오스크를 통한 바이러스 등의 전염 가능성이 존재한다. 특히, 코로나 바이러스의 경우 유리 표면에서는 약 120시간, 플라스틱에서는 72시간 이상 생존할 수 있기 때문에 반복적 접촉에 의해 바이러스의 전염 가능성이 매우 높을 수 있다.

접촉을 통한 전염을 차단하기 위해 비접촉식으로 키오스크를 제어할 필요가 있었고, 비접촉으로도 키오스크를 제어할 수 있는 방법이 요구되었다. 이에 따라, 본 발명자는 디스플레이 공정에서 비접촉 제스처를 인식하는 방법 및 그를 이용한 디스플레이 기기를 제안하고자 한다.

본 발명은 다음과 같은 목적을 가질 수 있다.

본 발명의 목적은 디스플레이에 직접적인 접촉없이도 원하는 제어 동작을 수행하기 위한 것이다.

또한, 본 발명의 목적은 대면적 디스플레이에서 비접촉 제스처를 정확하게 인식하여 원하는 제어 동작을 수행하기 위한 것이다.

또한, 본 발명의 목적은 동작 패턴을 미리 설정하여 간단한 제스처로도 동작을 수행할 수 있도록 하기 위한 것이다.

본 발명의 일 실시예에 따르면, 비접촉 제스처를 인식하는 방법에 있어서, 복수의 IR 센서를 포함하는 IR 센서 어레이 및 적외선을 조사하는 복수의 적외선 LED가 디스플레이 패널 상부에 위치하는 상태에서, 상기 복수의 IR 센서 중 특정 IR 센서가 제스처용 객체로부터 반사된 적외선 신호를 인식한 경우, 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 획득하는 단계; 및 상기 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 기초로 상기 제스처용 객체의 제스처를 인식하는 단계를 포함하는 것을 특징으로 하는 방법을 포함한다.

또한, 본 발명의 다른 실시예에 따르면, 비접촉 제스처를 인식하는 디스플레이 기기에 있어서, 복수의 IR 센서를 포함하는 IR 센서 어레이 및 적외선을 조사하는 복수의 적외선 LED가 디스플레이 패널 상부에 위치하는 상태에서, 통신부; 데이터베이스; 및 상기 복수의 IR 센서 중 상기 특정 IR 센서가 제스처용 객체로부터 반사된 적외선 신호를 인식한 경우, 상기 특정 IR 센서에 대한 정보를 획득하고, 상기 특정 IR 센서에 대한 정보를 기초로 상기 제스처용 객체의 제스처를 인식하는 프로세서를 포함하는 것을 특징으로 하는 디스플레이 기기를 포함한다.

이와 같이 본 발명에 따르면, 다음과 같은 효과가 있다.

본 발명에 따르면, 디스플레이에 직접적인 접촉없이도(비접촉) 원하는 제어 동작을 수행하는 효과가 있다.

또한, 본 발명에 따르면, 대면적 디스플레이에서 비접촉 제스처를 정확하게 인식하여 원하는 제어 동작을 수행하는 효과가 있다.

또한, 본 발명에 따르면, 동작 패턴을 미리 설정하여 간단한 제스처로도 동작을 수행할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따라 인식 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 제스처를 인식하기까지의 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 디스플레이 패널 및 IR 센서 어레이를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 제1 특정 IR 센서 및 제2 특정 IR 센서의 위치를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 IR 센서 어레이에 나타난 패턴을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 디스플레이 기기와 제스처용 객체 사이의 거리를 나타내는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 발명의 비접촉 제스처 인식 프로세스(인식 시스템)는 디스플레이 공정 플랫폼 중 IR LED, IR 센서 등을 설치 과정에 있어서 이루어질 수 있으며, 구체적으로는 비접촉 제스처 인식이 정확한지 여부를 테스트하는 과정에서 이루어질 수 있다. 경우에 따라서, 본 발명의 비접촉 제스처 인식을 수행하는 인식 시스템(100)은 디스플레이 공정 과정과는 관계없이 제조 완료된 디스플레이 기기에 포함된 플랫폼 등으로 고려될 수도 있을 것이다.

또한, 본 발명의 인식 시스템(100)은 적외선(Infrared rays)을 조사하고 센싱하는 IR 센서, IR LED 등으로부터 정보를 획득하고, 제스처를 인식할 수 있다.

도 1은 본 발명의 일 실시예에 따라 인식 시스템의 개략적인 구성을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 인식 시스템(100)은 통신부(110), 프로세서(120) 및 데이터베이스(130)를 포함하고, 경우에 따라 도 1과는 달리 데이터베이스(130)를 포함하지 않을 수도 있다.

인식 시스템(100)의 통신부(110)는 다양한 통신 기술로 구현될 수 있다. 즉, 와이파이(WIFI), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), HSPA(High Speed Packet Access), 모바일 와이맥스(Mobile WiMAX), 와이브로(WiBro), LTE(Long Term Evolution), 5G, 6G, 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), NFC(Near Field Communication), 지그비(Zigbee), 무선랜 기술 등이 적용될 수 있다. 또한, 인터넷과 연결되어 서비스를 제공하는 경우 인터넷에서 정보전송을 위한 표준 프로토콜인 TCP/IP를 따를 수 있다.

참고로, 인식 시스템(100)으로 구술하였지만, 상기 인식 시스템(100)은 제스처 인식 기능 및 디스플레이 기능을 가진 디스플레이 기기에 해당할 수 있을 것이다.

본 발명의 인식 시스템(100)의 프로세서(120)에서 이루어지는 과정에 대해서는 아래 도 2 및 도 3과 함께 살펴보도록 하겠다.

도 2는 본 발명의 일 실시예에 따라 제스처를 인식하기까지의 과정을 나타내는 도면이다.

도 3은 본 발명의 일 실시예에 따라 디스플레이 패널 및 IR 센서 어레이를 나타내는 도면이다.

도 3에서 볼 수 있듯이, 복수의 IR 센서를 포함하는 IR 센서 어레이는 디스플레이 패널 상부에 위치할 수 있다. 또한, 적외선을 조사하는 복수의 적외선 LED 역시 디스플레이 패널 상부에 위치하여, 디스플레이 패널 정면(도 3에서 화살표 방향)으로 적외선을 조사할 수 있다.

즉, 디스플레이 기기(ex 키오스크 장치 등) 내부에는 IR 센서 어레이, 복수의 적외선 LED, 디스플레이 패널 등이 포함될 수 있고, 해당 디스플레이 기기는 IR 센서 어레이(IR 센서 등), 적외선 LED 등을 통해 비접촉 제스처를 인식할 수 있는 것이다.

참고로, 상기 IR 센서 어레이에는 복수의 IR 센서가 m x n의 구조를 이룰 수 있으며, 상기 m은 행, 상기 n은 열을 나타내므로, m x n 개의 IR 센서가 상기 IR 센서 어레이에 존재할 수 있다.

또한, 디스플레이 패널 정면으로 적외선을 조사하는 복수의 적외선 LED 역시 상기 IR 센서 어레이에 위치할 수 있고, 경우에 따라서는 상기 IR 센서 어레이와 디스플레이 패널 사이에 위치할 수도 있다.

디스플레이 패널 정면에 별도의 객체가 없는 경우, 적외선 LED에서 조사되는 적외선은 반사될 대상이 없으므로, 상기 IR 센서에서도 반사된 (적외선)신호를 인식할 수 없다. 반대로, 디스플레이 패널 정면에 별도의 객체가 존재하는 경우, 적외선 LED에서 조사되는 적외선이 상기 별도의 객체에 부딪혀 반사될 수 있고, 반사된 신호를 상기 IR 센서에서 인식할 수 있을 것이다.

복수의 IR 센서 중 특정 IR 센서가 제스처용 객체로부터 반사된 적외선 신호를 인식하는 경우, 인식 시스템(100)의 프로세서(120)는, 특정 IR 센서에 대한 정보를 획득(S210)할 수 있다.

상기 특정 IR 센서에 대한 정보는 상기 특정 IR 센서의 위치 정보를 포함할 수 있으며, 예를 들어 인식 시스템(100)의 프로세서(120)는, 특정 IR 센서가 위치하는 p행에 대한 정보 및 상기 특정 IR 센서가 위치하는 q열에 대한 정보를 획득할 수 있다.

결국, 인식 시스템(100)의 프로세서(120)는, 상기 특정 IR 센서의 위치 정보를 통해 디스플레이 패널에 대응하는 제스처용 객체의 터치 위치를 인식할 수 있다. 이는 제스처용 객체로부터 반사된 적외선 신호를 복수의 IR 센서 중에서 특정 IR 센서만이 인식할 수 있기 때문이다.

여기서, 제스처용 객체는 사람의 손가락 등 디스플레이의 동작을 제어하기 위한 수단에 해당할 수 있을 것이다.

또한, 인식 시스템(100)의 프로세서(120)는, 특정 IR 센서에 대한 정보(ex 위치 정보 등)를 기초로 제스처용 객체의 제스처를 인식할 수 있다(S220). 상기 제스처는 비접촉으로 제스처용 객체가 나타낼 수 있는 모션으로 터치, 클릭, 이동, 회전 등을 포함할 수 있다. 이하에서는 IR 센서와 각종 제스처의 관계에 대해서 살펴보도록 하겠다.

도 4는 본 발명의 일 실시예에 따라 제1 특정 IR 센서 및 제2 특정 IR 센서의 위치를 나타내는 도면이다.

우선, 설명의 편의상 제스처용 객체로부터 반사된 적외선 신호를 인식하는 특정 IR 센서가 복수 개이고, 복수 개의 특정 IR 센서가 적어도 제1 특정 IR 센서 및 제2 특정 IR 센서를 포함한다고 상정할 수 있다.

또한, 제1 특정 IR 센서에서 적외선 신호(반사)를 인식한 제1 시점이 제2 특정 IR 센서에서 적외선 신호를 인식한 제2 시점보다 선행한다고 상정할 수 있다. 참고로, 상기 제1 시점 및 제2 시점 각각은 적외선 신호를 인식하지 않는 상태(제스처용 객체가 없는 상태)에 있다가 적외선 신호를 인식한 시점에 해당할 것이다.

이때, 인식 시스템(100)의 프로세서(120)는, 제1 특정 IR 센서가 위치하는 p1 행에 대한 정보 및 상기 제1 특정 IR 센서가 위치하는 q1열에 대한 정보를 획득하고, 상기 제2 특정 IR 센서가 위치하는 p2행에 대한 정보 및 상기 제2 특정 IR 센서가 위치하는 q2열에 대한 정보를 획득할 수 있다.

또한, 프로세서(120)는, p1 및 q1에 대응하는 제1 지점으로부터 p2 및 q2에 대응하는 제2 지점으로의 이동 입력에 해당하는 제스처용 객체의 이동 방향 및 이동 거리를 인식할 수 있다.

도 4에서 볼 수 있듯이, 프로세서(120)는 제1 특정 IR 센서가 위치하는 제1 지점(p1, q1)으로부터, 제2 특정 IR 센서가 위치하는 제2 지점(p2, q2)으로의 이동 방향 및 이동 거리를 확인할 수 있는 것이다.

결국, 프로세서(120)는 제스처용 객체(ex 손가락 등)의 직접적 접촉이 없더라도, 디스플레이의 제1 지점(p1, q1)으로부터 제2 지점(p2, q2)으로의 이동 입력(제스처)을 인식할 수 있고, 이에 따른 동작을 디스플레이상에 구현할 수 있다.

다만, 본 발명의 일 실시예에 따라 상기 제1 지점 및 상기 제2 지점 사이의 거리가 기설정된 소정 거리보다 길 수도 있다.

이때, 인식 시스템(100)의 프로세서(120)는 상기 p1 및 상기 q1에 대응하는 상기 제1 지점에 터치가 존재하는 것으로 인식한 후, 상기 p2 및 상기 q2에 대응하는 상기 제2 지점에 터치가 존재하는 것으로 인식할 수 있다. 즉, 이동 입력(제1 지점으로부터 제2 지점)이 아니라 터치 입력이 2번 이루어진 것으로 인식할 수 있는 것이다.

또한, 본 발명의 일 실시예에 따라, 상기 제1 특정 IR 센서에서 적외선 신호(반사)를 인식한 제1 시점이 제2 특정 IR 센서에서 적외선 신호(반사)를 인식한 제2 시점과 동일한 시점에 해당할 수 있다.

이때, 인식 시스템(100)의 프로세서(120)는, 상기 디스플레이 패널에 터치가 존재하지 않는 것으로 판단할 수 있다. 즉, 2개의 입력이 동시에 있는 경우, 터치가 존재하지 않는 것으로 인식할 수 있는 것이다. 경우에 따라서는, 프로세서(120)가, 상기 2개의 터치 입력이 동시에 존재하는 것으로 인식할 수도 있을 것이다.

도 5는 본 발명의 일 실시예에 따라 IR 센서 어레이에 나타난 패턴을 나타내는 도면이다.

데이터베이스(130)에는 기설정된 패턴 및 이에 대응하는 설정 동작이 저장될 수 있다. 여기서, 기설정된 패턴은 복수의 IR 센서에 입력되는 반사 신호들의 시간적, 위치적 패턴을 의미할 수 있다.

특정 IR 센서 및 다른 IR 센서를 기초로 인식한 패턴이 데이터베이스(130)에 저장된 기설정 패턴과 매칭하는 것으로 판단한 경우, 인식 시스템(100)의 프로세서(120)는 저장된 설정 동작을 구동시킬 수 있다.

구체적으로, 도 5에서 볼 수 있듯이, 초기에 하나의 열(q3)을 따라 4개 이상의 행(p1, p2, p3, p4)에 해당하는 IR 센서들에서 반사 신호를 획득하고, 상기 열(q3)의 좌측에 근접하는 다른 2개 이상의 열(q1, q2) 및 동일 행(p1, p2, p3, p4)에서도 순차적으로 반사 신호를 획득하는 특정 패턴이 데이터베이스(130)에 기록될 수 있고, 상기 특정 패턴이 '나가기 입력'이라는 설정 동작과 매칭되어 상기 데이터베이스(130)에 저장될 수 있다.

이와 같은 상태에서, 어느 하나의 열(ex (p1, q3), (p2, q3), (p3, q3), (p4, q3))을 기준으로 좌측으로 다른 2개 이상의 열(ex {(p1, q2), (p2, q2), (p3, q2), (p4, q2)} -> {(p1, q1), (p2, q1), (p3, q1), (p4, q1))})에서 순차적으로 반사 신호를 획득한 경우, 프로세서(120)는 기저장된 특정 패턴과 매칭하는 것으로 판단하고, 상기 설정된 '나가기 입력'을 동작시킬 수 있다.

따라서, 디스플레이 기기(ex 키오스크)의 이용자로서는, 디스플레이에 나타난 나가기 버튼 등을 클릭할 필요없이, 기설정된 패턴에 해당하는 제스처(ex 손바닥으로 입력한 후 왼쪽으로 쓸기)를 통해 특정 화면에서 벗어나는'나가기' 동작을 수행할 수 있다.

*54도 5와 같이, 상기 IR 센서 어레이의 가운데 영역 등에서 상기 특정 패턴이 발생하는 경우에는 문제가 없지만, 외곽 영역에서부터 특정 패턴이 발생하는 경우에는 상기 '나가기 입력'이 동작되지 않을 수도 있다. 이는, IR 센서 어레이의 가운데 영역에 상기 특정 패턴이 발생하는 경우는 보통 이용자의 의도가 포함되어 있다고 확신할 수 있지만, IR 센서 어레이의 외곽 영역에 특정 패턴이 발생하는 경우는 이용자가 손을 움직이면서 실수로 표현할 수도 있기 때문이다.

따라서, 인식 시스템(100)의 프로세서(120)는, 상기 IR 센서 어레이에 포함된 복수의 IR 센서 중에서 좌측끝 열 또는 우측끝 열에서 시작되어 인접한 다른 2개 이상의 열로 진행되는 상기 특정 패턴(ex 인접한 3개 이상의 열 각각에 포함된 4개 이상의 IR 센서(동일한 행 기준)가 반사 신호를 인식)에 대해서는 상기 '나가기 입력'을 동작시키지 않을 수 있다.

결국, IR 센서 어레이에 포함된 IR 센서의 위치에 따라서 기설정된 패턴 및 이에 대응하는 설정 동작의 동작 여부가 결정될 수 있는 것이다.

또한, 본 발명의 일 실시예에 따라, 프로세서(120)는, 이용자별로 기설정한 패턴 및 이에 대응하는 설정 동작을 미리 저장할 수 있다. 즉, 데이터베이스(130)에 이용자 정보(ex 이름, 나이 등) 및 패턴/설정 동작을 매칭하여 미리 기록해 놓을 수 있는 것이다. 이는 단골 이용자 등을 대상으로 이루어질 수 있을 것이다.

예를 들면, 이용자 A는 상기 특정 패턴을 '나가기'로 설정하였고, 이용자 B는 상기 특정 패턴을 '확인'으로 미리 설정할 수 있고, 이에 따라, 프로세서(120)는 동일 특정 패턴을 획득하더라도 상이한 동작을 구동시킬 수 있을 것이다.

또한, 이용자가 별도로 패턴 및 설정 동작을 설정하지 않은 상태에서, 프로세서(120)는 이용자의 연령대별로 패턴/설정 동작을 미리 설정할 수 있다. 예를 들어, 10대를 대상으로는 상기 특정 패턴이 '나가기'로 설정되었고, 30대를 대상으로는 상기 특정 패턴이 '확인'으로 설정될 수 있는 것이다. 결국, 동일한 특정 패턴이라도 연령대별로 상이한 동작이 구동될 수 있을 것이다.

또한, 도면에 도시하지는 않았지만, 다양한 패턴 및 다양한 설정 동작이 데이터베이스(130)에 저장되고, 이를 통해 실제 디스플레이 기기(ex 키오스크 장치)의 화면에서 제어 동작이 수행될 수 있다.

도 6은 본 발명의 일 실시예에 따라 디스플레이 기기와 제스처용 객체 사이의 거리를 나타내는 도면이다.

디스플레이 기기에 포함된 적외선 LED로부터 일정량의 적외선이 디스플레이 기기의 정면으로 지속적으로 조사될 수 있고, 제스처용 객체 등에 부딪힌 반사 신호를 IR 센서가 인식할 수 있다. 이때, 제스처용 객체와 디스플레이 기기 사이의 거리가 길수록 반사되는 신호의 크기도 줄어들 수 있을 것이다.

위와 같은 상황에서, 인식 시스템(100)의 프로세서(120)는, 제스처용 객체로부터 반사된 적외선 신호가 일정 수치 이상인 경우, 특정 IR 센서에 대한 정보를 획득할 수 있다.

도 6과 함께 설명하면, 제스처용 객체가 사람의 손이라고 가정한 상태에서, 디스플레이 기기와 2번째 손가락 사이의 거리(t1)보다 디스플레이 기기와 손목 사이의 거리(t2)가 긴 것을 확인할 수 있다. 즉, 2번째 손가락의 위치와 대응하는 특정 IR 센서(a1)에 입력되는 반사 신호의 양이 손목의 위치와 대응하는 특정 IR 센서(a2)에 입력되는 반사 신호의 양보다 클 수 있다.

제스처용 객체로부터 반사되는 적외선 신호가 일정 수치 이상인 경우에만 상기 특정 IR 센서에 대한 정보를 획득하면서 제스처를 인식하므로, 프로세서(120)는 상기 손목의 위치(특정 IR 센서(a2))에서는 제스처를 인식하지 못하고, 상기 2번째 손가락의 위치(특정 IR 센서(a1))에서만 제스처(ex 터치, 클릭 등)를 인식할 수도 있을 것이다.

대개, 디스플레이 기기로부터 소정 거리(ex 10cm) 이내의 제스처용 객체로부터 반사된 적외선 신호가 IR 센서 등을 통해 인식될 수 있으며, 상기 소정 거리를 벗어난 제스처용 객체에 대해서는 제스처 인식이 어려울 수 있다.

한편, 상기 IR 센서 어레이에는 매트릭스 형태(m x n)로 복수의 IR 센서가 포함될 수 있다. 이때, 제스처용 객체의 크기에 따라 1개의 특정 IR 센서가 아닌 복수 개의 특정 IR 센서가 반사된 적외선 신호를 인식할 수도 있을 것이다.

이를 고려하면, 사람마다 손가락(제스처용 객체) 크기가 상이할 수 있고, 적외선 신호를 인식하는 IR 센서의 개수 역시 상이할 수 있다.

본 발명의 일 실시예에 따라, 인식 시스템(100)의 프로세서(120)는, 미리 이용자의 성별 내지 나이를 획득할 수 있고, 이를 기반으로 손가락의 크기를 예측할 수 있다.

즉, 손가락의 크기에 따라 복수의 그룹으로 구분한 상태에서, 성인 남성의 경우, 손가락의 크기가 가장 큰 제1 그룹에 포함되는 것으로 설정하고, 여자 어린이의 경우, 손가락의 크기가 가장 작은 제2 그룹에 포함되는 것으로 설정할 수 있는 것이다.

이때, 프로세서(120)는, 이용자가 제1 그룹에 해당하는 것으로 판단한 경우에는 적외선 신호를 인식하는 복수의 IR 센서(ex 9개) 중 중심 영역(ex 무게 중심을 기준으로 인접하는 5개의 IR 센서 선택)에 위치하는 일부 IR 센서(ex 5개)를 기초로 제스처용 객체의 제스처를 인식할 수 있다. 이는 넓은 면적의 제스처용 객체(ex 성인 남성)에 의해, 터치 등의 제스처가 겹칠 수 있기 때문이다.

또한, 프로세서(120)는, 이용자가 제2 그룹에 해당하는 것으로 판단한 경우에는 적외선 신호를 인식하는 복수의 IR 센서(ex 3개)를 기준으로 인접하는 다른 IR 센서(ex 2개)를 추가로 고려하여 제스처용 객체의 제스처를 인식할 수 있다. 이는 너무 좁은 면적의 제스처용 객체(ex 여자 어린이)의 경우, 터치 등의 인식이 제대로 이루어지지 않을 수 있기 때문이다.

상기 실시예들은 디스플레이 제작 공정 플랫폼 개발 중에서의 비접촉 제스처를 인식하는 과정(테스트 과정) 또는 개발된 디스플레이 기기에서의 비접촉 제스처를 인식하는 과정을 나타낼 수 있다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100 : 인식 시스템
110 : 통신부
120 : 프로세서
130 : 데이터베이스

Claims (1)

1. 비접촉 제스처를 인식하는 방법에 있어서,
   복수의 IR 센서를 포함하는 IR 센서 어레이 및 적외선을 조사하는 복수의 적외선 LED가 디스플레이 패널 상부에 위치하는 상태에서,
   (a) 상기 복수의 IR 센서 중 특정 IR 센서가 제스처용 객체로부터 반사된 적외선 신호를 인식한 경우, 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 획득하는 단계; 및
   (b) 상기 인식 시스템이, 상기 특정 IR 센서에 대한 정보를 기초로 상기 제스처용 객체의 제스처를 인식하는 단계;
   를 포함하고,
   상기 IR 센서 어레이에 상기 복수의 IR 센서가 m x n의 구조를 이루고 있는 상태에서,
   상기 인식 시스템은, 상기 특정 IR 센서가 위치하는 p행에 대한 정보 및 상기 특정 IR 센서가 위치하는 q열에 대한 정보를 획득하고,
   상기 디스플레이 패널에 대응하는 상기 제스처용 객체의 터치 위치를 인식하며,
   상기 제스처용 객체로부터 반사된 적외선 신호를 인식하는 상기 특정 IR 센서가 복수 개이고, 상기 복수 개의 특정 IR 센서가 적어도 제1 특정 IR 센서 및 제2 특정 IR 센서를 포함하는 상태에서,
   상기 제1 특정 IR 센서에서 적외선 신호를 인식한 제1 시점이 상기 제2 특정 IR 센서에서 적외선 신호를 인식한 제2 시점보다 선행하는 경우,
   상기 인식 시스템은, 상기 제1 특정 IR 센서가 위치하는 p1행에 대한 정보 및 상기 제1 특정 IR 센서가 위치하는 q1열에 대한 정보를 획득하고, 상기 제2 특정 IR 센서가 위치하는 p2행에 대한 정보 및 상기 제2 특정 IR 센서가 위치하는 q2열에 대한 정보를 획득하며,
   상기 p1 및 상기 q1에 대응하는 제1 지점으로부터 상기 p2 및 상기 q2에 대응하는 제2 지점으로의 이동 입력에 해당하는 상기 제스처용 객체의 이동 방향 및 이동 거리를 인식하고,
   상기 제1 지점 및 상기 제2 지점 사이의 거리가 소정 거리보다 긴 경우, 상기 인식 시스템은, 상기 p1 및 상기 q1에 대응하는 상기 제1 지점에 터치가 존재하는 것으로 인식한 후, 상기 p2 및 상기 q2에 대응하는 상기 제2 지점에 터치가 존재하는 것으로 인식하며,
   데이터베이스에 나이를 포함하는 이용자의 정보, 상기 이용자의 기설정된 패턴 및 이에 대응하는 설정 동작이 저장된 상태에서,
   상기 인식 시스템이, 상기 기설정된 패턴에 해당하는 q3열을 따라 p1행, p2행, p3행 및 p4행에 해당하는 IR 센서들로부터 반사 신호를 획득한 후, q2열을 따라 p1행, p2행, p3행 및 p4행에 매칭하는 IR 센서들 및 q1열을 따라 p1행, p2행, p3행 및 p4행에 매칭하는 IR 센서들로부터 순차적으로 반사신호를 획득한 경우, 상기 설정 동작을 동작시키며,
   상기 이용자가 패턴 및 설정 동작을 설정하지 않은 상태에서, 상기 인식 시스템은, 상기 이용자의 나이에 기초하여 상기 기설정된 패턴에 해당하는 설정 동작을 상기 이용자의 연령대에 지정된 설정 동작으로 설정하고,
   미리 획득한 상기 이용자의 성별 및 나이에 기반하여 상기 인식 시스템이 예측한 손가락의 크기에 따라서 이용자들이 제1 그룹 및 제2 그룹으로 설정된 상태에서,
   상기 인식 시스템은, 상기 제스처용 객체로 인식한 상기 이용자의 손가락이 상기 제1 그룹에 해당하는 것으로 판단한 경우, 적외선 신호를 인식한 복수의 IR 센서 중 중심 영역에 위치하는 일부 IR 센서를 기초로 상기 제스처용 객체의 제스처를 인식하고,
   상기 제스처용 객체로 인식한 상기 이용자의 손가락이 상기 제2 그룹에 해당하는 것으로 판단한 경우, 적외선 신호를 인식한 복수의 IR 센서를 기준으로 인접하는 적어도 하나의 다른 IR 센서를 추가로 고려하여 상기 제스처용 객체의 제스처를 인식하는 것을 특징으로 하는 방법.

Images