KR101169583B1 - 가상마우스 구동방법 - Google Patents

Abstract

본 발명은 사람의 피부색에 관계없고 어느 정도의 외란이 있는 일반 환경에서도 구현 가능한 새로운 방식의 가상마우스 구동방법에 관한 것이다. 본 발명에 따른 가상마우스 구동방법은 손의 모양 변화에 기초하여 제어되는 가상마우스를 구동하는 방법에 있어서, 카메라에서 서로 다른 시점에 촬영된 복수의 영상을 입력받는 단계와, 복수의 영상 간의 차 영상을 추출하는 단계와, 추출된 차 영상에 기초하여 가상마우스를 구동하는 단계를 포함한다.

Description

가상마우스 구동방법{Virture mouse driving method}

본 발명은 가상마우스 구동방법에 관한 것으로, 보다 구체적으로는 화상 카메라로부터 획득한 손의 영상 정보를 이용하여 가상 마우스를 구동하는 방법에 관한 발명이다.

디스플레이 디바이스들이 스마트 시스템으로 진화함에 따라 디스플레이 디바이스와의 상호 작용이 중요시되고 있다. 스마트 디스플레이 디바이스들은 컴퓨터와 유사하게 디스플레이 디바이스 화면상의 위치에 따른 명령 입력이 가능해야 한다. 이와 같은 명령 입력이 가능한 수단으로 가장 일반화되어 있는 입력 디바이스는 마우스이다. 또한 최근 각광받고 있는 스마트폰의 경우에는 터치 스크린을 이용하여 화면상의 위치에 따른 명령입력을 할 수 있다.

위치 기반 명령을 내리기 위한 기존의 터치 스크린을 이용한 입력 방식은 디스플레이 디바이스와의 접촉을 통해 명령을 전송하므로 여러 제한이 발생한다. 즉 디스플레이 디바이스가 손으로 접촉 가능한 거리 내에 있을 때만 사용이 가능하다. 또한 마우스의 경우 물리적인 크기와 형태를 지니고 있어 스마트한 입력도구는 아니다.

최근에는 비접촉 방식으로 가상 마우스와 같이 디스플레이 디바이스에 명령을 전달할 수 있는 입력 디바이스들이 출현하고 있다. 특히 게임분야에서 3차원 카메라를 이용하여 동작 인식을 통해 명령을 전달할 수 있는 방법이 개발되고 있다. 3차원 카메라를 이용하는 방법은, 입력 영상에서 제스처를 수행하는 오브젝트 영상과 배경 영상을 분리하기 용이한 장점을 가지고 있으나, 입력디바이스가 복잡하고 고가인 단점이 있다. 또한 해상도가 낮아 큰 동작을 이용하여 명령을 입력해야 하므로 사용자가 사용하는데 있어 큰 불편을 야기한다.

한편, 가상마우스와 관련된 선행 기술로서는 한국공개특허 제2007-0030398호, 한국등록특허 제0687737호, 한국공개특허 제2008-0050218호 등이 있다. 상기 특허들의 경우 카메라로 입력되는 영상으로부터 한손 또는 양손의 제스쳐를 인식하여 가상 마우스의 역할을 구현할 수 있는 방법들을 제안하고 있다. 이때, 인식방법에 있어 기본적으로 손가락의 정지된 모양을 이용하여 특정 명령을 인식하기 때문에, 손가락의 정지된 모양을 인식하기 위해서는 손가락들과 배경영상을 분리하는 과정이 필요하며, 이를 위해서는 손의 컬러 정보를 이용하여 손의 영역을 배경 영상으로부터 분리해 내야 하는 과정이 필수적이다. 이 경우 손의 컬러의 절대값을 이용하여야 하는데 사람마다 손 색깔이 틀리므로 정교한 모델 등록 과정과 인식 작업이 이루어져야 하고, 배경과 손 색깔이 비슷할 경우나 배경의 밝기가 일정하지 않은 경우에는 손을 분리해내기가 힘들어 지는 문제점이 있어 잘 정리된 실험실 환경이 아닌 외란이 있는 일반 환경에서는 구현하기 힘든 문제점이 있다.

따라서, 사람의 피부색에 관계없고 어느 정도의 외란이 있는 일반 환경에서도 구현 가능한 새로운 방식의 가상마우스 구동방법의 개발이 요구된다.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 사람의 피부색에 관계없고 어느 정도의 외란이 있는 일반 환경에서도 구현 가능한 새로운 방식의 가상마우스 구동방법을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따른 가상마우스 구동방법은 손의 모양 변화에 기초하여 제어되는 가상마우스를 구동하는 방법에 있어서, 화상 카메라에서 서로 다른 시점에 촬영된 복수의 영상을 입력받는 단계와, 상기 복수의 영상 간의 차 영상을 추출하는 단계와, 상기 추출된 차 영상에 기초하여 상기 가상마우스를 구동하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상기 차 영상으로부터 사용자의 엄지손가락과 검지손가락이 붙고 떨어지는 움직임 정보를 추출하고, 상기 움직임 정보를 상기 가상마우스의 클릭 신호로 이용하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 복수의 영상들로부터 차 영상을 연속적으로 추출하고, 상기 연속된 차 영상에서 상기 엄지손가락 또는 상기 검지손가락의 위치가 변해가는 것을 분석함으로써 상기 움직임 정보를 추출하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 엄지손가락과 상기 검지손가락이 붙고 떨어지는 횟수를 인식하여 특정 명령신호로 사용하는 것이 바람직하다.

상기한 구성의 본 발명에 따르면, 사람의 피부색에 관계없고 어느 정도의 외란이 있는 일반 환경에서도 정확하게 구동되는 가상마우스 시스템을 구현할 수 있다.

도 1은 본 발명의 일 실시예에 따른 가상마우스 구동방법을 구현하기 위한 장치의 개략적인 구성도이다.
도 2는 도 1에 도시된 손동작 인식부에서의 처리과정을 설명하기 위한 개략적인 흐름도이다.
도 3은 차 영상을 설명하기 위한 도면이다.
도 4 및 도 5는 연속된 영상 및 이에 따른 차 영상을 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 가상마우스 구동방법에 관하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 가상마우스 구동방법을 구현하기 위한 장치의 개략적인 구성도이며, 도 2는 도 1에 도시된 손동작 인식부에서의 처리과정을 설명하기 위한 개략적인 흐름도이다. 그리고, 도 3은 차 영상을 설명하기 위한 도면이며, 도 4 및 도 5는 연속된 영상 및 이에 따른 차 영상을 나타내는 도면이다.

도 1 내지 도 5를 참조하면, 먼저 본 실시예에 따른 가상마우스 구동방법은 가상마우스 시스템에서 구현되는데, 가상마우스 시스템(100)는 카메라(10)와, 영상입력부(20)와, 손동작 인식부(30)와, 명령전달부(40)로 구성된다.

카메라(10)는 렌즈로부터 입력되는 영상을 CCD 또는 CMOS와 같은 촬상 소자를 통해 촬영하여 출력하는 것으로, 예를 들어 디지털 카메라로 구현될 수 있으며, 사용자의 손의 영상을 촬영하여 영상입력부로 전송한다.

영상입력부(20)에서는 카메라에서 촬영된 영상을 실시간으로 입력받는다.

손동작 인식부(30)에서는 영상입력부에 입력된 영상으로부터 차 영상을 추출한다. 차 영상이란, 2차원 영상에서 오브젝트를 분리하기 위한 영상처리 방법 중 하나로, 두 개의 영상을 서로 비교하여 변화가 있는 부분의 영상만을 표시한 영상이다. 즉, 도 3의 (a) 및 (b)의 영상을 비교하면 검지손가락의 위치에만 변화가 있으며, 따라서 도 3의 (a)와 (b)의 차 영상은 도 3의 (c)와 같이 표현된다. 그리고, 이렇게 획득된 차 영상으로부터 사용자의 엄지손가락과 검지손가락이 붙고 떨어지는 움직임 정보를 추출하고, 이 움직임 정보는 명령전달부로 전송된다.

이때, 도 3에서와 같이 두 개 영상으로부터 얻어진 하나의 차 영상만을 이용하는 경우에는, 엄지손가락과 검지손가락이 떨어져 있다가 붙은 것인지, 반대로 붙어 있다가 떨어진 것인지를 파악하기 어렵다. 따라서, 복수의 영상 예를 들어 도 4의 (a)에 도시된 바와 같이 5개의 시점에 촬영된 영상으로부터, 도 4의 (b)와 같이 연속된 4개의 차 영상을 확보하고, 이 차 영상에서 검지손가락의 위치가 변화하는 비교하면, 엄지손가락과 검지손가락이 붙는 것인지 떨어지는 것인지를 확인할 수 있다. 도 4의 (b)를 보면 검지손가락이 아래쪽(엄지손가락쪽)으로 위치가 변화하는 것이 확인되므로, 이 경우에는 엄지손가락과 검지손가락이 떨어진 상태에서 붙는 것이다. 반대로, 도 5의 (b)를 보면 검지손가락이 위쪽으로 위치가 변화하므로, 엄지손가락과 검지손가락이 붙은 상태에서 떨어지는 것이 된다.

이와 같이 연속된 복수의 차 영상을 이용하면 엄지손가락과 검지손가락의 움직임 정보를 더 정확하게 획득할 수 있다. 또한, 다수의 차 영상을 통해 손가락 움직임의 방향성을 확인하기 때문에, 일부 외부의 외란이 있더라도 이를 배제할 수 있고, 정확한 움직임 정보를 획득할 수 있다(외란의 경우 손가락과 같은 방향성이 없기 때문에 배제가능. 또한, 차 영상의 크기와 각도 및 모양 등의 형태 분석을 통해 외란 배제 가능).

한편, 손 동작에 따라서 여러가지 다양한 형태의 차 영상을 확보할 수 있으나, 본 실시예에서는 엄지손가락과 검지손가락이 붙었다 떨어지는 것을 사용하는데, 그 이유는 다음과 같다. 먼저, 엄지와 검지를 붙이는 동작은 일반적인 상태에서 극히 발생하기 힘든 동작이기 때문에 일반적인 타 동작들과 용이하게 구분 가능하며 인식 오류의 가능성이 낮다. 그리고, 확실한 차 영상을 발생시키기 때문에 영상처리하기에도 적당하다. 또한, 동작이 간단하므로 오랫동안 사용자가 반복 동작을 연속적으로 수행해도 힘들거나 피곤하지 않은 장점이 있기 때문이다.

또한, 손동작 인식부(30)에서는 마우스의 이동동작을 구현하기 위해 손의 전체 또는 일부 영상을 계속 추적한다. 이는 영상 추적에 쓰이는 일반적인 방법으로 추적대상 영상(tracking 영역)을 손의 전체 또는 일부 영상으로 설정한 다음, 이동할 수 있는 공간을 설정하고 공간내에서 가장 유사도가 높은 위치를 찾으면 손이 이동한 위치를 계산하며, 이를 연속적으로 행하면 가상마우스의 이동동작을 구현하는 이동신호가 된다. 이와 같은 가상마우스의 이동방식은 이미 잘 알려진 방식이므로, 더 이상의 설명은 생략한다.

명령전달부(40)에서는 손동작 인식부에서 출력된 정보, 즉 손의 움직임(마우스 위치이동) 및 손가락의 움직임 정보(마우스 클릭)에 따라 그에 대응되는 구동신호를 출력하고, 이에 따라 가상마우스가 구동된다. 예를 들어, 손가락이 한번 붙었다 떨어지면 마우스를 클릭하는 클릭신호를 출력한다.

그리고, 손가락이 두 번 붙었다 떨어지면 입력 디바이스의 초기시작시점을 알리는 신호로 사용할 수 있다. 즉, 동작인식을 이용한 입력 디바이스를 구현하는 데 있어 초기 시작 시점을 정의하는데 어려움이 있다. 초기 시작 시점을 알기 위한 기존 방법으로는 미리 화면에 영역표시를 하고, 그 영역 표시 내에 손을 일치시킬 때 초기시작시점으로 인식한다. 하지만, 이와 같은 방식는 사용자가 화면의 영역 내에 손을 위치시키는 정교한 동작이 필요하며, 따라서 시스템을 시작시키기 위한 시간이 많이 필요하다. 그러나, 본 실시예와 같이 엄지손가락과 검지손가락이 붙고 떨어지는 동작을 두 번 수행할 때를 기준으로 하면, 초기시작시점을 빠르게 인식할 수 있다.

또한, 마우스를 클릭한 채 이동하는 드래그 동작과 클릭하지 않고 이동하는 동작을 구분하기 위해, 엄지손가락과 검지손가락이 붙은 채로 이동하는지 떨어진 채로 이동하는지를 인식하고, 이에 따른 구동신호를 출력할 수 있다. 즉, 가상마우스의 버튼을 클릭하고 이동하는 상태를 손가락을 붙이고 이동하는 동작으로 인식하고, 가상마우스의 버튼을 클릭하지 않고 이동하는 상태를 손가락을 떼고 이동하는 동작으로 인식하면 드래그 동작을 수행할 수 있다.

또한, 디스플레이 디바이스를 효과적으로 제어하기 위해서는 마우스의 기본동작 이외의 동작이 필요할 수 있다. 예를 들면 볼륨 조정이라든가 기본 메뉴 화면으로의 복귀 등이 필요할 수 있다. 이 경우 클릭동작(손가락이 붙었다 떨어지는 동작)의 횟수를 인식하여 다양한 명령을 정의할 수 있다. 예를 들면, 클릭을 세번 수행할 경우 기본 메뉴 화면으로 복귀하도록 할 수 있다.

상술한 바와 같이, 본 실시예에 따른 가상마우스 구동방법에서는 기본적으로 차 영상을 이용하여 손의 움직임 정보를 추출한다. 따라서, 피부색에 영향을 받지 않아 이용자에 대한 모델 등록이 필요하지 않고 인종에 따른 인식 오류 문제도 존재하지 않는다. 또한, 주변 환경의 색이나 조명 밝기에도 영향을 받지 않으며, 어느 정도의 외란이 있는 일반 환경에서도 가상마우스 시스템을 효율적으로 구현할 수 있다.

또한, 엄지손가락과 검지손가락의 움직임을 이용하므로, 사용자가 반복 동작을 연속적으로 수행해도 힘들거나 피곤하지 않으며, 일반적인 타 동작들과 용이하게 구분 가능하므로 인식 오류의 가능성이 낮다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100...가상마우스 시스템 10...카메라
20...영상입력부 30...손동작인식부
40...명령전달부

Claims (6)

1. 손의 모양 변화에 기초하여 제어되는 가상마우스를 구동하는 방법에 있어서,
   카메라에서 서로 다른 시점에 촬영된 복수의 영상을 입력받는 단계와,
   상기 복수의 영상간의 차 영상을 추출하는 단계와,
   상기 추출된 차 영상에 기초하여 상기 가상마우스를 구동하는 단계를 포함하며,
   상기 복수의 영상들로부터 연속된 복수의 차 영상을 추출하고, 상기 연속된 차 영상에서 사용자의 검지손가락의 위치가 변해가는 것을 분석함으로써 사용자의 검지손가락의 움직임 정보를 추출하며, 상기 움직임 정보를 상기 가상 마우스의 클릭 신호로 이용하되,
   연속된 3개 이상의 차 영상을 분석하여, 상기 검지손가락의 움직임의 방향이 상방향에서 하방향으로 바뀌거나 또는 상기 검지손가락의 움직임의 방향이 하방향에서 상방향으로 바뀔 때의 움직임 정보를 상기 가상 마우스의 클릭신호로 이용하는 것을 특징으로 하는 가상 마우스의 구동방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   사용자의 손의 위치이동을 계산하여 상기 가상마우스의 이동신호로 이용하되,
   사용자의 엄지손가락과 검지손가락이 붙은 상태로 이동하는 것은 상기 가상마우스의 버튼을 클릭한 채 이동하는 신호로 이용하고,
   상기 엄지손가락과 상기 검지손가락이 떨어진 채 이동하는 것은 상기 가상마우스의 버튼을 클릭하지 않은 채로 이동하는 신호로 이용하는 것을 특징으로 하는 가상마우스의 구동방법.

Images