KR20150028065A - 양손을 이용한 동작인식 입력방법 - Google Patents

Abstract

본 발명은 효율적이고 안정적으로 두 개 이상의 손을 인식할 수 있는 양손을 이용한 동작인식 입력방법에 관한 것이다. 본 발명에 따른 양손을 이용한 동작인식 입력방법은 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상취득단계와, 상기 취득한 영상들로부터 제1의 손을 인식하는 제1 손인식 단계와, 상기 인식된 제1의 손을 추적하는 단계와, 상기 인식된 손으로부터 기설정된 영역 내에 제2의 손이 들어왔는지는 감지하는 제2 손인식 단계와, 상기 제2의 손을 추적하는 단계와, 상기 제1의 손의 움직임 및 상기 제2의 손의 움직임 각각에 대응되는 명령신호를 출력하는 단계를 포함한다.

Description

양손을 이용한 동작인식 입력방법{A gesture recognition input method using two hands}

본 발명은 스마트 디스플레이 디바이스의 조작을 위한 동작인식 입력방법에 관한 것으로, 보다 상세하게는 특정한 손의 형태와 움직임을 인식하여 마우스 입력장치와 같은 기능을 구현하고 두 개 이상의 손을 인식할 수 있는 양손을 이용한 동작인식 입력방법에 관한 것이다.

스마트 디스플레이 디바이스의 가장 큰 특징은 디바이스와 유저와의 상호작용에 있다. 기존의 디스플레이 디바이스들이 일방적으로 유저에게 정보를 제공하였다면 스마트 디스플레이 디바이스들은 유저와의 상호작용에 의해 원하는 정보를 취득할 수 있다. 이는 스마트 디스플레이가 디스플레이의 기능에 개인용 컴퓨터의 기능이 더해짐으로써 다양한 입력장치가 필요해짐을 의미한다.

모바일 스마트 디스플레이 디바이스의 입력장치로는 터치 스크린 방식이 사용되었다. 그렇지만 스마트 TV나 디지털 사이니지와 같은 디스플레이 디바이스의 경우 손을 접촉할 수 없는 위치에 있는 경우가 많아 더 이상 터치스크린 방식의 입력방법이 유효하지 않다. 이와 같은 경우 새로운 방식의 입력 장치가 필요하게 되며, 최근의 스마트 TV의 경우 음성 인식 방법이나 동작 인식 방법이 채택되기 시작하였다.

동작 인식의 경우 카메라를 이용하여 맨손의 동작을 인식하여 명령을 전달하게 된다. 카메라는 특정 형태의 손을 인식하고 손의 움직임을 추적하여 마우스와 같은 기능을 구현할 수 있다. 이와 같은 동작인식 입력방법에 관해서는, 공개특허 10-2012-0047746호(가상마우스 구동방법) 등이 제안된 바 있다. 이러한, 종래의 기술들은 한 개의 손만 인식하도록 구성되어 있기 때문에, 사용자가 한 손만 사용하여 디스플레이 디바이스를 조작하여야만 했다.

하지만, 보다 많은 정보를 디스플레이 디바이스에 전달하기 위해서는 양손의 움직임을 인식할 필요가 있다. 양손을 이용하면 터치 스크린에서 손가락 두개로 하던 동작이 가능해진다. 뿐만 아니라 게임등에 있어서도 하나의 손으로 하는 게임보다는 좀 더 흥미로운 게임이 가능해진다. 그러나, 양손을 인식하기 위해서는 하나의 손을 인식하는 것에 비해 훨씬 많은 데이타 처리가 필요하기 때문에, 구현에 어려움이 있다. 이에, 본 발명에서는 두 개 이상의 손을 인식하여 동작인식 입력장치를 구현함에 있어 효율적인 방법을 제안한다.

대한민국 공개특허 10-2012-0047746(명칭 : 가상마우스 구동방법)

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 효율적이고 안정적으로 두 개 이상의 손을 인식할 수 있는 양손을 이용한 동작인식 입력방법을 제공하는 것이다.

본 발명에 따른 양손을 이용한 동작인식 입력방법은 디스플레이 디바이스에 장착된 2차원 카메라를 이용하여 연속 영상들을 취득하는 영상취득단계와, 상기 취득한 영상들로부터 제1의 손을 인식하는 제1 손인식 단계와, 상기 인식된 제1의 손을 추적하는 단계와, 상기 인식된 손으로부터 기설정된 영역 내에 제2의 손이 들어왔는지는 감지하는 제2 손인식 단계와, 상기 제2의 손을 추적하는 단계와, 상기 제1의 손의 움직임 및 상기 제2의 손의 움직임 각각에 대응되는 명령신호를 출력하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상기 제2 손인식 단계 이후, 기설정된 기준시간 이내에 상기 제2의 손이 기설정된 모양 또는 움직임을 나타낼 때에 상기 제2의 손을 지속적으로 추적하는 것이 바람직하다.

본 발명에 따르면, 상기 기설정된 기준시간 이내에 상기 제2의 손이 상기 제1의 손에 접촉되었다가 떨어지는 움직임이 나타날 때에 상기 제2의 손을 지속적으로 추적하는 것이 바람직하다.

본 발명에 따르면, 상기 제1 손인식 단계 및 상기 제2 손인식 단계에서는, 주먹을 쥔 상태에서 엄지 손가락만을 편 모양의 손을 인식하는 것이 바람직하다.

본 발명에 따르면, 양손을 이용하여 디스플레이 디바이스를 보다 더 효율적으로 조작할 수 있다. 특히, 양손을 인식함에 있어서, 영상처리 과정을 줄일 수 있고, 오작동 또는 인식 오류가 발생하는 것을 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 양손을 이용한 동작인식 입력방법의 흐름도이다.
도 2는 손 모양 사진과 이를 영상 처리한 것의 도면이다.
도 3은 페어링 과정을 찍은 사진이다.
도 4는 드래그 시의 손 모양을 찍은 사진이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 양손을 이용한 동작인식 입력방법에 관하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 양손을 이용한 동작인식 입력방법의 흐름도이며, 도 2는 손 모양 사진과 이를 영상 처리한 것의 도면이며, 도 3은 페어링 과정을 찍은 사진이며, 도 4는 드래그 시의 손 모양을 찍은 사진이다.

도 1 내지 도 4를 참조하면, 본 실시예에 따른 양손을 이용한 동작인식 입력방법(M100)은 영상 취득 단계(S10)와, 제1 손인식 단계(S20)와, 제1 추적 단계(S30)와, 제2 손인식 단계(S40)와, 판단 단계(S50)와, 제2 추적 단계(S60)와, 명령신호 출력단계(S70)를 포함한다.

영상 취득 단계(S10)에서는 디스플레이 디바이스에 장착된 2차원 카메라를 이용하여 연속 영상을 취득한다. 여기서, 디스플레이 디바이스란 스마트 TV, 디지털 사이니지 등이 될 수 있다.

본 발명의 경우, 2차원 카메라를 이용하여 영상을 처리한다. 이때, 2차원 카메라는 3차원 카메라에 비하여 가격이 저렴하다는 장점을 가진다. 다만, 2차원 카메라를 이용하여 손동작을 인식하는 경우 3차원 depth 카메라를 이용하는 방법에 비해 방대한 양의 영상처리를 필요로 한다. 왜냐하면, 3차원 depth 카메라의 경우 가까운 물체가 밝게 나타나기 때문에 손과 배경을 분리하기가 용이한 반면, 2차원 카메라의 경우는 배경과 손을 구분하기 쉽지 않으며 이를 구현하기 위해서는 복잡한 영상처리가 필요하다.

제1 손인식 단계(S20)에서는 취득된 영상을 처리하여 제1의 손을 인식한다. 여기서, 제1의 손이라고 표현한 것은, 취득된 영상에 복수의 손이 포함될 수 있는데, 그 중 1개의 손을 먼저 인식한다는 것을 의미한다. 이때, 복수의 손 중 임의로 하나의 손을 인식할 수도 있으나, 바람직하게는 사전에 정해진 형태의 손모양을 가지는 손을 인식한다.

본 실시예의 경우에는, 도 2에 도시된 바와 같이 주먹을 쥔 상태에서 엄지손가락을 위로 편 형태의 손을 인식한다. 이와 같은 손모양과 관련하여, 기존의 손 인식에서 많이 사용되는 손모양은, 다섯 손가락을 완전히 펼친 경우 또는 검지 손가락을 편 채 정면을 향하는 모양이 사용되었다. 하지만, 이와 같은 손모양은 손목이 자연스러운 동작이 아니라 뒤틀린 형태가 되어 동작이 자연스럽지 못하다. 또한, 손가락을 펼친 경우는 손가락 사이가 배경이 되어 배경의 종류에 따라 손가락의 에지의 값이 틀려진다. 특히, 2차원 카메라를 이용하는 경우, 손과 배경을 분리하기가 용이하지 않고 배경에 따른 영향을 많이 받기 때문에, 손가락을 펼친 경우에는 신뢰성 있는 영상 처리를 하기 힘들다.

하지만, 본 실시예에서와 같이 주먹을 쥐고 엄지 손가락을 위로 향하는 경우 엄지 손가락을 제외한 다른 손가락들 사이가 벌어지지 않기 때문에 손가락들 사이의 에지를 항상 일관성 있게 구할 수 있다. 나아가, 이들 손가락들 사이의 가로 경계성분을 이용하면 원하는 형태의 손인지를 신뢰성 있게 인식할 수 있다는 장점이 있다. 그리고, 이렇게 인식된 손이 정해진 초기 동작을 수행하면 동작인식 명령을 입력하려는 손으로 인식할 수 있다.

그리고, 이와 같이 손이 인식되면 커서를 ON시키고, 영상에서 손을 추적하기 시작한다(제1 추적 단계(S30)). 손을 추적하면서 구한 좌표는 손 동작 인식부로 보내어 커서를 움직이는 등의 동작 명령을 수행한다. 한편, 손의 위치를 추적하는 것은, 연속된 영상을 비교 분석하여 수행될 수 있으며, 이와 같이 손의 위치를 추적하는 기술은 이미 잘 알려져 있으므로, 구체적 설명은 생략한다.

제2 손인식 단계(S40)는 이미 인식된 제1의 손이 아닌 추가적인 제2의 손을 인식하기 위한 단계이다. 제2 손인식 단계에서는 먼저 인식한 제1의 손의 좌우 일정 영역에 추가 손(제2의 손)을 인식하기 위한 탐색 영역을 설정한다. 그리고, 탐색 영역내에 손이 들어오면 추가의 손을 인식한다. 이때, 앞서 제1 손인식 단계에서와 같이 미리 정해진 손모양을 가지는 손을 인식하는 것이 바람직하다.

판단단계(S50)는 제2 손인식 단계에서 인식된 손이, 디스플레이 디바이스를 조작하기 위한 손인지 아닌지 여부를 판단하는 단계이다. 그리고, 이와 같이 판단을 하는 이유는, 디스플레이 디바이스를 조작하기 위한 손이라면, 제2의 손의 위치를 지속적으로 추적하여야 하지만, 그렇지 않은 경우에는 추적을 중단하여야 하기 때문이다. 그리고, 이와 같이 판단을 하는 기준은, 기설정된 기준시간 이내에 제2의 손이 기설정된 모양 또는 움직임을 취하는지 여부이다. 본 실시예의 경우에는, 도 3에 도시된 바와 같이 제1의 손 및 제2의 손 모두 주먹을 쥔 상태에서 엄지손가락만을 편 손모양을 한 상태에서, 제1의 손과 제2의 손이 부딪혔다가 떨어지는 동작을 하는지 여부를 판단한다. 그리고, 판단 결과 기준시간 내에 정해진 동작이 수행되면, 제2의 손을 지속적으로 위치 추적하고(제2 추적 단계(S60)), 아니라면 제2의 손의 위치를 추적하지 않는다.

그리고, 이와 같은 판단단계를 통해, 처리 영상 내에 여러 명이 있어 비슷한 형태의 손이 존재하더라도 오동작하지 않는 효과가 있으며, 디스플레이 디바이스를 동작시키고자 의도하는 손만 동작입력에 참여시킬 수 있는 효과가 있다. 또한, 추가되는 손의 경우 손을 인식하기 위한 초기 동작을 수행하지 않더라도 기존의 인식된 손의 위치를 이용하여, 추가 손을 인증하므로 동작이 단순해진다. 또한, 손을 부딪히는 동작은 만남으로써 복제되는 것과 유사한 동작으로서 유저들이 직관적으로 쉽게 배울 수 있는 동작이라는 장점이 있다.

명령신호 출력단계(S70)에서는 제1의 손과 제2의 손의 위치추적 결과 얻어진 손의 움직임 및 이때의 손모양을 분석하고, 각각에 대응되는 명령신호를 출력한다. 예를 들어, 도 4에 도시된 바와 같이 엄지 손가락을 내린채 이동하는 경우 드래그 동작으로 해석할 수 있다. 또한, 엄지 손가락을 내렸다가 올리는 동작을 클릭동작으로 해석할 수 있다.

상술한 바와 같이, 본 실시예에 따르면 양손의 동작으로 디스플레이 디바이스를 구동하는 것이 가능해진다. 따라서, 특정 동작 인식 게임의 경우 여러 명이 같이 게임을 수행할 수 있으며, 이 경우 먼저 인식된 손에 여러 손을 부딪혀 추가적인 손으로 만들 수 있다. 이는 기존의 동작 인식 게임에 비해 다수의 인원이 게임에 참여함으로써 좀 더 흥미로운 게임을 제작할 수 있다.

그리고, 이와 같이 복수의 손을 인식하는 과정에 있어서, 먼저 제1의 손을 인식한 후, 추가의 손을 인식하기 위하여 다시 전체 영상을 분석하는 경우, 영상 처리에 과부하가 발생될 수 있다. 하지만, 본 발명에서는 한손을 인식한 후 다른 손을 인식하기 위해 양손을 부딪히는 동작을 이용하고, 먼저 인식된 손의 좌우의 일정 영역을 추가 손을 인식하기 위한 영역으로 한정함으로써 전체 영역을 영상 처리할 필요가 없어 효율적이며 잘못 인식되는 오류도 줄일 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

M100...양손을 이용한 동작인식 입력방법
S10...영상 취득 단계
S20...제1 손인식 단계 S30...제1 추적 단계
S40...제2 손인식 단계 S50...판단 단계
S60...제2 추적 단계 S70...명령신호 출력단계

Claims (4)

1. 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상취득단계;
   상기 취득한 영상들로부터 제1의 손을 인식하는 제1 손인식 단계;
   상기 인식된 제1의 손을 추적하는 단계;
   상기 인식된 손으로부터 기설정된 영역 내에 제2의 손이 들어왔는지는 감지하는 제2 손인식 단계;
   상기 제2의 손을 추적하는 단계; 및
   상기 제1의 손의 움직임 및 상기 제2의 손의 움직임 각각에 대응되는 명령신호를 출력하는 단계;를 포함하는 것을 특징으로 하는 양손을 이용한 동작인식 입력방법.
2. 제1항에 있어서,
   상기 제2 손인식 단계 이후,
   기설정된 기준시간 이내에 상기 제2의 손이 기설정된 모양 또는 움직임을 나타낼 때에 상기 제2의 손을 지속적으로 추적하는 것을 특징으로 하는 양손을 이용한 동작인식 입력방법.
3. 제2항에 있어서,
   상기 기설정된 기준시간 이내에 상기 제2의 손이 상기 제1의 손에 접촉되었다가 떨어지는 움직임이 나타날 때에 상기 제2의 손을 지속적으로 추적하는 것을 특징으로 하는 양손을 이용한 동작인식 입력방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 제1 손인식 단계 및 상기 제2 손인식 단계에서는, 주먹을 쥔 상태에서 엄지 손가락만을 편 모양의 손을 인식하는 것을 특징으로 하는 양손을 이용한 동작인식 입력방법.

Images