KR101576567B1 - 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치 - Google Patents

Abstract

사용자의 머리에 착용할 수 있는 안경 형태의 틀과 안경의 양미간 위치에 적외선 카메라와 제어부를 포함하는 안경 형태의 제스처 입력 장치와 사용자의 손가락에 착용할 수 있는 적외선 포인터를 이용하여 공간상의 사용자의 손가락 움직임을 인식한다. 안경 형태의 제스처 입력 장치는 적외선 카메라를 통해 획득된 영상을 처리하는 영상처리부와, 사용자의 머리의 움직임을 감지하는 관성센서와, 신호를 무선으로 전송하는 통신처리부를 포함하는 제어부를 통하여 감지된 적외선 점의 좌표와 사용자의 머리의 움직임을 제스처 인식 장치로 전달한다. 제스처 인식 장치는 적외선 점의 좌표와 사용자의 머리 움직임 변위를 획득하여 머리의 기울기를 구하고, 머리 움직임 변위와 머리 기울기를 바탕으로 적외선 점의 좌표를 보정하여 제스처를 인식한다.

제스처 인식, 3차원 포인팅, 좌표 보정

Description

제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치{gesture input apparatus and gesture recognition method and apparatus using the same}

본 발명은 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 시스템에 관한 것이며, 더 상세하게는 영상을 이용한 포인팅 기술 및 머리 움직임에 따른 좌표 보정 기술을 이용한 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 시스템에 관한 것이다.

본 발명은 지식경제부 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-039-01, 과제명: 인간-로봇 상호작용 매개 기술 개발].

컴퓨터 작업 환경에서 사용되는 대표적인 입력장치인 마우스는 2차원 평면 상에서의 움직임을 이용하여 화면의 커서를 제어하는데, 최근 들어 2차원 평면을 벗어나 공간 즉, 3차원 상에서의 움직임을 포착하여 이를 제어하려는 시도가 늘어나고 있다.

이러한 기술 중 대표적인 것으로는 관성센서(가속도센서, 자이로센서)를 이용한 방법과 초음파 및 카메라를 이용한 방법 등이 있다. 관성센서를 이용한 경우 에는 관성센서의 센서 값을 계산하여 자신의 현재 위치를 파악하게 되는데, 센서 값 오류로 인해, 시간이 지남에 따라 오차가 커지게 되어, 일정 시간 마다 이런 오차를 계속 보정해 주어야 한다. 초음파를 이용한 경우는 고정된 위치에 초음파 수신기들을 설치하고, 초음파 송신기에서 송신된 초음파가 초음파 수신기들에 도착하는 시간차를 이용하여, 송신기의 위치를 측정하게 되는데, 초음파 수신기의 수신 범위를 벗어나게 되면, 위치를 파악할 수 없는 단점이 있다. 카메라를 이용한 경우는, 고정된 위치에 카메라를 설치하고, 피사체의 특징(컬러 또는 광)부분을 추적하게 되는데, 카메라의 시야각 범위를 벗어나거나 피사체와의 거리가 멀어질수록 추적성능이 떨어지게 된다.

IPTV나 모바일 환경에서의 입력 장치는 2차원 형태의 마우스를 벗어나 3차원 포인팅 장치로 발전해나갈 전망이다. 이를 위해 기존 3차원 포인팅 장치에서의 한계를 극복하고, 좀 더 사용자 친화적인 새로운 장치에 대한 필요성이 늘어나고 있다.

본 발명은 상기와 같은 과제를 해결하기 위해 안출한 것으로서, 사용자가 편리하게 이용할 수 있는 제스처 입력 장치와 방법을 제공하고자 한다. 본 발명은 또한, 공간상의 사용자의 움직임을 입력받아 이를 통해 시스템을 제어할 수 있는 제스처 입력 장치와 방법을 제공하고자 하는 것이다.

본 발명의 목적을 달성하기 위한 제스처 입력 장치는, 사용자의 머리에 착용할 수 있는 틀과, 상기 틀에 장착된 적외선 카메라와, 상기 적외선 카메라를 통해 획득된 영상을 처리하는 영상처리부와, 상기 사용자의 머리의 움직임을 감지하는 관성센서와, 상기 영상 처리부와 상기 관성센서의 신호를 무선으로 전송하는 통신처리부와, 사용자의 손가락에 착용할 수 있는 적외선 포인터를 포함하여 구성된다.

여기에서, 상기 틀은 안경 형태로 형성되어 있고, 상기 적외선 카메라는 상기 안경 형태의 틀의 양미간의 위치에 장착되어 있는 것이 바람직하다. 또한, 상기 영상처리부와 상기 관성센서 및 상기 통신처리부는 하나의 보드 상에 형성되어 있으며, 상기 보드는 상기 틀에 장착되어 있는 것이 바람직하다.

본 발명의 과제는 상술한 바와 같은 제스처 입력 장치를 이용하여 제스처를 인식하는 방법에 의해서도 달성할 수 있으며, 본 발명의 제스처 인식 방법은, 상기 적외선 포인터의 위치를 획득하는 단계와, 상기 관성센서를 이용하여 상기 사용자 의 머리 움직임 변위를 획득하여 머리의 기울기를 구하는 단계와, 상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정하는 단계를 포함하여 이루어진다.

여기에서, 상기 보정하는 단계에서는, 상기 머리 기울기가 미리 정한 기준 기울기 이하인 경우에만 상기 적외선 포인터의 위치를 보정하는 것이 바람직하다.

본 발명의 과제는 또한 상술한 바와 같은 제스처 입력 장치로부터 입력받은 신호를 이용하여 제스처를 인식하는 장치에 의하여도 달성할 수 있으며, 본 발명의 제스처 인식 장치는, 상기 제스처 입력 장치로부터 무선으로 신호를 수신하는 통신모듈과, 상기 제스처 입력 장치로부터 수신한 신호를 이용하여 상기 적외선 포인터의 위치를 획득하고 보정하는 적외선 포인터 위치계산모듈과, 상기 적외선 포인터 위치계산모듈에서 계산된 적외선 포인터 위치를 이용하여 제스처를 인식하는 제스처 인식 모듈을 포함하여 이루어진다.

여기에서, 상기 적외선 포인터 위치계산모듈은, 상기 통신모듈로부터 상기 적외선 포인터의 위치와 상기 사용자의 머리 움직임 변위를 획득하고, 상기 사용자의 머리 움직임 변위를 이용하여 머리의 기울기를 구하고, 상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정할 수 있다.

상기 제스처 인식 모듈은, 템플릿 기반 제스처 인식 알고리즘을 이용하여 제스처를 인식하는 바, 상기 적외선 포인터 위치계산모듈로부터 보정된 적외선 점들의 좌표를 입력받아, 미리 정한 일정한 수의 적외선 점들로 재샘플링하고, 재샘플링한 상기 적외선 점들을 미리 정한 기준점과 기준 크기에 맞도록 각각 회전 및 크기 조절을 수행하고, 회전 및 크기 조절된 상기 적외선 점들 사이의 유클리디안 거리의 합을 계산하여, 상기 유클리디안 거리의 합 중 가장 작은 값을 가지는 템플릿의 태그를 인식결과로 선택할 수 있다.

상기한 바와 같이 본 발명은 사용자의 머리에 착용할 수 있는 안경 형태의 제스처 입력장치를 통해, 기존에 카메라 기반 포인팅 장치에서의 문제점들, 즉 카메라의 시야각 범위를 벗어나거나 원거리일 경우 포인팅 대상 피사체를 검출할 수 없는 문제점들을 해결하여 어느 위치에서나 포인팅을 통해 제스처를 입력하여 관련 작업을 수행할 수 있다. 따라서, 제어 시스템과의 거리나 방향에 상관없이 편리하고 직관적인 제스처 입력을 통해 인간과 기계와의 원활한 상호작용을 실현할 수 있게 된다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하에서 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 제스처 입력장치의 전체 구성을 나타내는 도면이고, 도 2와 도 3은 각각 본 발명의 실시예에 따른 제스처 입력장치의 적외선 카메라 제어부와 적외선 포인터의 구성을 상세히 도시한 것이다.

도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 제스처 입력장치는 적외선 카메라(120)를 장착한 안경(100)과 손가락에 끼울 수 있는 적외선 포인터(200)로 구성되어 있다.

안경테(110) 부분은 일반적으로 사용되는 안경테와 동일한 형태를 갖고 있다. 안경테(110)의 양미간 부분에 적외선 카메라(120)가 장착되어 있으며, 안경 다리 부분에는 적외선 카메라(120)를 제어하기 위한 제어부(130)가 설치되어 있다.

도 1에 나타난 본 발명의 실시예에서는 일반적으로 사용되는 안경테와 동일한 형태의 안경테(110)를 사용하였지만, 이미 안경을 착용한 사용자를 위하여 이를 안경 위에 겹쳐쓸 수 있는 안경과 같은 형태로 구현하거나, 이미 착용 중인 안경에 탈착식으로 사용하도록 구현할 수도 있다.

적외선 카메라 제어부(130)는, 도 2에 나타난 바와 같이, 적외선 카메라의 영상에서 적외선 포인터 점을 처리하기 위한 영상처리부(131)와 머리의 움직임을 파악하기 위한 관성센서(133), 신호를 무선으로 전송하기 위한 통신처리부(135)와 배터리(137)로 구성되어 있다.

적외선 포인터(200)는 손가락에 끼운 채로 사용할 수 있는 형태로 구성되어 있는데, 다수의 적외선 LED(213)를 포함하는 포인터부(210)와 고리(220)로 이루어져 있다. 사용자가 적외선 포인터(200)를 손가락에 착용할 때에는 적외선 포인터(210)가 안경 쪽을 향하도록 한다. 도 1과 도 3에 도시한 본 발명의 실시예에서는 적외선 포인터(200)가 손가락에 끼워서 사용할 수 있는 고리의 형태로 구현된 것을 나타내었으나 적외선 포인터(200)가 반드시 고리(200)의 형태를 가질 필요는 없으며 다른 형태로 사용자의 손에 착용할 수 있거나 사용자가 손에 들고 있는 상태로 이용할 수 있는 것도 가능하다.

도 4는 본 발명의 실시예에 따른 제스처 입력장치의 사용상태를 나타내는 도면이다.

도 4에 나타난 바와 같이, 사용자가 적외선 카메라가 장착된 안경(100)을 착용하고 손가락에 적외선 포인터(200)를 끼우면, 사용자의 손짓에 따라 적외선 포인터(200)에서 방출되는 적외선 점을 적외선 카메라(120)에서 검출하여 사용자의 손의 위치를 추적할 수 있게 된다.

도 4는 또한 사용자가 제스처 입력 장치를 착용한 상태에서 적외선 카메라(120)와 적외선 포인터(200)간의 거리 및 상하좌우 이동 가능한 각도를 보여주고 있다. 기존에 PC나 TV에 카메라를 고정하고, 다른 피사체의 특징(컬러 또는 광)을 추적할 경우에는, 피사체가 카메라의 시야각을 벗어나거나 원거리에 있을 경우, 피 사체를 추적할 수 없게 된다. 그러나, 본 발명의 실시예에 따른 제스처 입력장치를 착용한 모습을 보면, 적외선 포인터(200)와 적외선 카메라(120)간의 거리가 1m 이내이고, 상하각 30도, 좌우각 40도 정도 되는 것을 알 수 있는데, 이 정도의 거리나 방향은 일반적인 카메라에서 충분한 수용할 정도의 수치이다. 따라서, 기존의 카메라 기반 포인팅 장치에서 발생할 수 있는 거리 및 시야각 문제는 본 발명의 제스처 입력장치에서는 발생하지 않는다.

본 발명의 실시예에 따른 제스처 입력 장치에서는 적외선 카메라가 사용자의 머리에 장착되므로, 머리의 움직임에 따라 포인팅 좌표가 변화될 수 있다. 이를 보정하기 위하여, 머리의 움직임 정도를 관성센서를 이용하여 측정하여, 머리 움직임의 변위를 적외선 카메라에서 검출되는 적외선 점의 좌표에 반영하여 보정함으로써, 머리 움직임에 불변한 좌표를 얻을 수 있게 된다. 이를 위하여 제어부(130)에 관성센서(133)를 두어 머리의 움직임을 측정한다.

다만, 머리 움직임 정도가 허용 기준 값 이하(예를 들면, 상하좌우 10도)인 경우에 이러한 보정이 의미를 가지게 되므로, 머리의 움직임이 허용 기준 값 이상이면, 보정을 하지 않고 포인팅 작업 자체를 중단하는 것이 바람직하다.

도 5는 본 발명의 실시예에 따른 제스처 입력장치를 이용해 제스처를 인식하는 시스템의 구성을 나타내는 도면이다.

도 5에 나타난 바와 같이, 제스처 인식하여 이를 통해 제어되는 시스템(500)은 제스처 입력 장치(100)와의 통신을 위한 통신모듈(510)과 통신모듈(510)을 통해 획득한 정보를 이용하여 적외선 포인터의 위치를 계산하는 IR 포인터 위치계산모 듈(520), 계산된 IR 포인터의 위치를 이용하여 제스처를 인식하는 제스처 인식모듈(530) 및 인식된 제스처를 통해 시스템을 제어하는 시스템 제어모듈(540)을 포함하여 구성된다.

제스처 입력장치(100)에서 적외선 카메라(120)를 이용하여 적외선 포인터(210)에서 발광되는 적외선을 검출하여 영상처리부(131)에 의해 그 좌표를 획득하고, 관성 센서(133)를 통해 머리 움직임 변위를 측정하면, 이와 같이 얻어진 적외선 포인터의 좌표와 머리 움직임 변위가 통신처리부(135)를 통해 제스처 인식 시스템(500)으로 전달된다.

제스처 인식 시스템(500)의 통신모듈(510)은 이와 같은 정보를 수신하여 IR포인터 위치계산모듈(520)로 전달한다. IR 포인터 위치계산모듈(520)은 통신모듈(510)로부터 적외선 포인터의 위치를 획득하고(522), 통신모듈(510)로부터 수신한 머리 움직임 변위를 통해 머리 기울기를 구하고(524), 머리 움직임 변위와 기울기에 따라 적외선 포인터의 좌표를 보정한다(526).

여기에서, 머리 기울기가 기준 기울기(예를 들면 10도) 이상으로 변하면, 포인팅 작업을 멈추는 것은 앞서 설명한 바와 같다. 즉, 머리 기울기가 기준 기울기 이하로 변화는 경우에만 IR 포인터의 위치를 계산한다.

이와 같이 IR 포인터 좌표계산모듈(520)에 의해 보정된 좌표점들을 이용하여 제스처 인식모듈(530)을 통해 제스처를 인식하고, 이에 따라 시스템 제어모듈(540)을 통해 시스템(500)을 제어하게 된다.

도 6은 본 발명의 실시예에 따른 제스처 인식 방법을 나타내는 흐름도이다. 본 발명의 실시예에 따르면 템플릿 기반 제스처 인식 알고리즘을 사용하는데, 좌표가 보정된 적외선 점들의 궤적을 입력으로 하고(S610), 서로 다른 개수의 점들로 이루어진 궤적을 표준화하기 위해, 일정한 수(예를 들면, 64개)의 점들로 재샘플링한다(S620). 다음, 이와 같이 재샘플링한 점들을 기준점에 맞추도록 회전시키고(S630), 기준 크기에 맞도록 크기를 조절한다(S640). 다음, 기존에 등록된 템플릿들과 비교하기 위해 각 점들간의 유클리디안 거리의 합(S650)을 계산하여, 그 중 가장 작은 값을 가지는 템플릿의 태그를 인식결과로 선택한다(S660).

이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 제스처 인식 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.

도 1은 본 발명의 실시예에 따른 제스처 입력장치의 전체 구성을 나타내는 도면,

도 2는 본 발명의 실시예에 따른 제스처 입력장치의 적외선 카메라 제어부의 구성도,

도 3은 본 발명의 실시예에 따른 제스처 입력장치의 적외선 포인터의 구성도,

도 4는 본 발명의 실시예에 따른 제스처 입력장치의 사용상태를 나타내는 도면,

도 5는 본 발명의 실시예에 따른 제스처 입력장치를 이용해 제스처를 인식하는 시스템의 구성도,

도 6은 본 발명의 실시예에 따른 제스처 인식 방법을 나타내는 흐름도이다.

Claims (10)

1. 사용자의 머리에 착용할 수 있는 틀과,

   상기 틀에 장착된 적외선 카메라와,

   상기 적외선 카메라를 통해 획득된 영상을 처리하는 영상처리부와,

   상기 사용자의 머리의 움직임을 감지하는 관성센서와,

   상기 영상 처리부와 상기 관성센서의 신호를 무선으로 전송하는 통신처리부와,

   사용자의 손가락에 착용할 수 있는 적외선 포인터를 포함하는 제스처 입력 장치.
2. 제1항에 있어서,

   상기 틀은 안경 형태로 형성되어 있는 제스처 입력 장치.
3. 제2항에 있어서,

   상기 적외선 카메라는 상기 안경 형태의 틀의 양미간의 위치에 장착되어 있는 제스처 입력 장치.
4. 제1항에 있어서,

   상기 영상처리부와 상기 관성센서 및 상기 통신처리부는 하나의 보드 상에 형성되어 있으며,

   상기 보드는 상기 틀에 장착되어 있는 제스처 입력 장치.
5. 제1항 내지 제4항 중 어느 한 항의 제스처 입력 장치를 이용하여 제스처를 인식하는 방법에 있어서,

   상기 적외선 포인터의 위치를 획득하는 단계와,

   상기 관성센서를 이용하여 상기 사용자의 머리 움직임 변위를 획득하여 머리의 기울기를 구하는 단계와,

   상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정하는 단계를 포함하는 제스처 인식 방법.
6. 제5항에 있어서, 상기 보정하는 단계에서는,

   상기 머리 기울기가 미리 정한 기준 기울기 이하인 경우에만 상기 적외선 포인터의 위치를 보정하는 제스처 인식 방법.
7. 제1항 내지 제4항 중 어느 한 항의 제스처 입력 장치로부터 입력받은 신호를 이용하여 제스처를 인식하는 장치에 있어서,

   상기 제스처 입력 장치로부터 무선으로 신호를 수신하는 통신모듈과,

   상기 제스처 입력 장치로부터 수신한 신호를 이용하여 상기 적외선 포인터의 위치를 획득하고 보정하는 적외선 포인터 위치계산모듈과,

   상기 적외선 포인터 위치계산모듈에서 계산된 적외선 포인터 위치를 이용하여 제스처를 인식하는 제스처 인식 모듈을 포함하는 제스처 인식 장치.
8. 제7항에 있어서, 상기 적외선 포인터 위치계산모듈은,

   상기 통신모듈로부터 상기 적외선 포인터의 위치와 상기 사용자의 머리 움직임 변위를 획득하고,

   상기 사용자의 머리 움직임 변위를 이용하여 머리의 기울기를 구하고,

   상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정하는 제스처 인식 장치.
9. 제7항에 있어서, 상기 제스처 인식 모듈은,

   템플릿 기반 제스처 인식 알고리즘을 이용하여 제스처를 인식하는 제스처 인식 장치.
10. 제9항에 있어서, 상기 제스처 인식 모듈은,

    상기 적외선 포인터 위치계산모듈로부터 보정된 적외선 점들의 좌표를 입력받아, 미리 정한 일정한 수의 적외선 점들로 재샘플링하고, 재샘플링한 상기 적외선 점들을 미리 정한 기준점과 기준 크기에 맞도록 각각 회전 및 크기 조절을 수행하고, 회전 및 크기 조절된 상기 적외선 점들 사이의 유클리디안 거리의 합을 계산하여, 상기 유클리디안 거리의 합 중 가장 작은 값을 가지는 템플릿의 태그를 인식 결과로 선택하는 제스처 인식 장치.

Images