KR101581954B1 - 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 카메라를 통해 입력된 영상으로 효과적으로 양 손 및 손 모양을 검출하기 위한 방법을 제안한다. 이를 위해 본 발명은 입력된 영상에서 피부색을 이용하여 피부 영역을 검출한 피부 영상과, 스테레오 기반의 거리 영상을 이용한다. 특히 양 손 검출 과정은, 피부 영상과 거리 영상을 결합한 영상으로부터 배경 및 잡음을 제거하고, 손일 가능성이 높은 유효 영상 중에서 실제 양손에 해당하는 영역을 검출하는 과정으로 이루어진다. 한편 손 모양 검출 과정은 피부 영상에서 스테레오 거리 정보를 기반으로 피부가 아닌 영역을 제거하고 남은 부분에서 손 후보 영역을 검출하고 최종적으로 손 모양을 판별하는 과정으로 이루어진다.

손 검출, 피부색, 스테레오

Description

실시간으로 피사체의 손을 검출하기 위한 장치 및 방법{APPARATUS AND METHOD FOR A REAL-TIME EXTRACTION OF TARGET'S MULTIPLE HANDS INFORMATION}

본 발명은 영상처리에 관한 것으로, 특히 영상처리 기술을 이용하여 카메라를 통해 입력된 영상에서 실시간 사용자의 양 손의 정보를 검출하는 장치 및 방법에 관한 것이다.

현재의 키보드나 마우스에 의존하는 컴퓨터나 사용자 사이의 인터페이스를 위해 사용자를 인식하는 알고리즘 즉, 사용자의 얼굴이나 손을 추출하는 방법이 중요시되고 있다.

일반적으로 카메라를 통해 촬영한 영상으로부터 인식하고자 하는 손을 검출하는 방법은 손의 색상, 형태, 크기 등의 고유 특징 정보를 이용하여 손을 검출하는 방법으로 주로 한 손에 대해서만 검출 및 추적이 가능하도록 국한되었다. 양손을 검출하고자 하는 경우 색상, 크기, 모양 등의 특징 정보 자체가 오른손과 왼손이 서로 유사하여 이를 구별하는 것이 어렵고 또한, 손과 유사한 특징 정보를 가진 물체가 겹쳐지는 경우 이를 판단하는 것도 쉽지 않다. 이와 같이 양손을 구분지을 뚜렷한 특징 정보가 충분치 않기 때문에 양손에 대해 동시 검출을 수행하는 데 있 어 많은 어려움이 따른다.

기존에 양손을 구별하는 방법으로는 양손이 겹쳐졌을 때의 모든 유형을 파악하여 분류하거나, 손과 팔꿈치까지의 음영 정보에 거리 변환 함수를 적용하여 손과 팔꿈치까지의 거리를 파악하여 양 손을 구분하는 방법 등이 있다. 이러한 손 검출 방법들은 일단 피부색 정보를 이용하여 손과 얼굴의 위치를 추출하여야 하는데, 컬러 영상만을 가지고서 피부색 감지를 통해 손과 얼굴만의 정확한 위치를 정확히 추출하는 것은 매우 어렵다.

한편, 손동작을 포함한 제스처는 인간의 여러 의사소통 방식 중 하나로서, 이를 이용하여 컴퓨팅 머신과 상호 작용을 하기 위한 많은 연구가 진행 중이다. 만일 손을 검출하는 알고리즘이 강인하게 구현된다면 다양한 멀티미디어 기반산업에 유용하게 이용될 수 있을 것이다. 그 중에서도 손 검출 방법은 손 제스처 인식에 유용하게 사용될 수 있으며, 이는 위와 같은 컴퓨터나 사용자 사이의 인터페이스를 좀더 사용자에게 편리하도록 발전시켜 구현하는 데 매우 유용한 기술이다.

상기한 바와 같이 양손의 겹치는 경우의 유형을 파악하는 방법의 경우 보유하고 있는 유형외의 겹침이 발생하는 경우 양손 검출이 어려우며, 이를 보완하더라도 양손의 위치 검출 위해 요구되는 연산들의 종류가 매우 많고, 복잡하게 된다. 거리변환 함수를 사용한 방법에 있어서도 손 검출을 위해서는 손과 발꿈치까지 온전히 나타난 영상이 필수적이어야 한다. 이런 경우 사용자가 취할 수 있는 동작의 수가 적어져서 실제 사용에 적합하지 않다. 양손의 특징정보를 추출하여 양손 위치 검출을 수행하는 방법에 있어서도 추적 성능을 높이기 위해서 특징 정보를 높이면 연산 시간이 급격히 증가하게 된다. 특히 피부색을 이용하여 손을 검출하고자 하는 경우에는 피부색과 유사한 색을 가지는 물체가 존재하거나 조명의 반사 등의 환경적인 요인으로 인해 심각한 수준의 오검출이 발생할 수도 있다.

한편, 손 모양을 검출하는 데 있어, 사용자의 자유로운 움직임에서도 효과적으로 손의 모양을 추출할 수 있다면 실생활에서의 다양한 응용이 가능할 것이다.

따라서 본 발명은 카메라를 통해 입력된 영상에서 실시간으로 사용자의 양 손의 정보를 검출하기 위한 손 검출 장치 및 방법을 제공한다.

또한 본 발명은 입력된 영상에서 사용자의 동작에 크게 구애받지 않고 효과적으로 손 모양을 검출하기 위한 손 검출 장치 및 방법을 제공한다.

본 발명에 따르면, 피부색만을 이용한 오검출 문제를 해소하면서도 정확한 양손 검출이 가능한 이점이 있다. 또한 본 발명은 사용자의 자유로운 움직임에서도 효과적으로 손 모양을 검출할 수 있다. 게다가 본 발명에서는 손의 거리 정보를 피부 정보와 유기적으로 이용하므로 보다 강인한 손 검출 성능을 얻을 수 있다. 이러한 본 발명에 따르면, 영상 기반의 다양하고 재미있는 인터페이스의 구현이 가능하게 된다.

상기한 바를 달성하기 위한 본 발명은, 실시간으로 피사체의 손을 검출하기 위한 장치에 있어서, 하나의 피사체에 대해 제1측면에서 촬영한 제1영상을 생성하는 제1영상입력부 및 상기 피사체에 대해 제2측면에서 촬영한 제2영상을 생성하는 제2영상입력부와, 상기 제1영상 및 제2영상을 비교한 정보에 의해 3차원 거리정보를 나타내는 거리 영상을 생성하는 스테레오 처리부와, 상기 제1영상 및 제2영상 중 어느 하나의 영상내의 각 화소에 대해 피부 화소 여부를 판단하고, 상기 어느 하나의 영상내의 각 화소가 피부 화소인지의 여부를 나타내는 피부 영상을 출력하는 피부 영역 검출부와, 상기 거리 영상 및 상기 피부 영상을 화소 단위로 융합한 융합 영상을 출력하는 피부/거리 화소 융합부와, 상기 융합 영상으로부터 배경 및 잡음을 제거함으로써 둘 이상의 손 후보 영역을 포함하는 유효 영상을 출력하는 배경 및 잡음 제거부와, 상기 유효 영상내의 손 후보 영역들의 조합 가능한 쌍들 각각에 대한 유효값을 계산하고, 가장 큰 유효값을 가지는 손 후보 영역쌍을 양손 영역으로 결정하는 양손 상관관계 판별부를 포함함을 특징으로 한다.

또한, 본 발명은 실시간으로 피사체의 손을 검출하기 위한 방법에 있어서, 하나의 피사체를 촬영한 각각 좌우 영상에 해당하는 제1영상 및 제2영상 중 어느 하나의 영상내의 모든 화소에 대해 피부 화소 여부를 판단하는 과정과, 상기 어느 하나의 영상내의 각 화소가 피부 화소인지의 여부를 나타내는 피부 영상을 출력하는 과정과, 상기 제1영상 및 제2영상을 비교한 정보에 의해 3차원 거리정보를 나타내는 거리 영상을 출력하는 과정과, 상기 거리 영상 및 상기 피부 영상을 화소 단위로 융합한 융합 영상을 출력하는 과정과, 상기 융합 영상에서 배경 및 잡음을 제거함으로써 둘 이상의 손 후보 영역을 포함하는 유효 영상을 출력하는 과정과, 상기 유효 영상내의 손 후보 영역들의 조합 가능한 쌍들 각각에 대한 유효값을 계산하고, 가장 큰 유효값을 가지는 손 후보 영역쌍을 양손 영역으로 결정하는 과정을 포함함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 발명은 카메라를 통해 입력된 영상으로 효과적으로 양 손 및 손 모양을 검출하기 위한 방법을 제안한다. 이를 위해 본 발명은 입력된 영상에서 피부색을 이용하여 피부영역을 검출한 피부 영상과, 스테레오 기반의 거리 영상을 이용한다. 특히 양 손 검출 과정은, 피부 영상과 거리 영상을 결합한 영상으로부터 배경 및 잡음을 제거하고, 손일 가능성이 높은 유효 영상 중에서 실제 양손에 해당하는 영역을 검출하는 과정으로 이루어진다. 한편 손 모양 검출 과정은 피부 영상에서 스테레오 거리 정보를 기반으로 피부가 아닌 영역을 제거하고 남은 부분에서 손 후보 영역을 검출하고 최종적으로 손 모양을 판별하는 과정으로 이루어진다.

상기한 바와 같은 손 검출 과정을 설명하기에 앞서, 본 발명에서 이용되는 스테레오 영상 처리에 대한 기술을 설명하면 다음과 같다.

피부색만을 이용하는 경우에는 다양한 환경적인 요인으로 인해 피부영역이 정확히 검출되기 어려울 수 있다. 이에 따라 본 발명에서는 두 개의 카메라를 통해 입력된 두 개의 컬러 영상에 대해 스테레오 영상처리를 통해 획득한 거리 영상을 컬러 영상과 조합하는 방식을 제안한다. 컬러 영상과 거리 영상의 조합을 수행하는데 있어, 스테레오 영상처리를 통하여 거리영상을 획득하는데 필요한 연산량이 매우 많다는 점과, 원본의 컬러 영상과 거리영상을 조합하기 위해서 매번 생성된 거리영상에 해당하는 원본 컬러영상을 별도로 저장함으로 인해 추가적인 메모리 사용이 발생하는 점을 고려해야 한다.

스테레오 처리된 거리영상을 획득하기 위해 소요되는 연산시간이 가장 큰 이슈이며, 본 발명의 주요 응용이 되는 분야인 HCI(Human Computer Interface)의 경우 양손 정보의 정확성 뿐 아니라 검출에 의한 반응 속도도 매우 중요한 요소로 작용하는 것에 비추어 볼 때 본 발명의 실질적인 응용을 위해서는 반드시 고려되어야 한다.

이하에서 설명되는 본 발명의 상세한 설명에 기술된 본 발명의 실시 예들을 다음과 같이 분리하여 기술한다. 본 발명의 제1실시예는 양손 검출을 위한 과정에 관한 것으로, 위와 같은 처리 속도 문제를 고려하여 컬러영상과 거리영상의 조합을 통한 양손 검출 처리 전용 하드웨어 구조를 제시한다. 또한 본 발명의 제1실시예에 따라 원본 컬러영상과 이를 스테레오 처리함으로써 얻은 거리영상간의 조합을 위한 하드웨어 장치 구조에 대한 설명과, 두 영상을 조합 후에 실제 양손을 검출하기 위한 방법 및 장치에 대해 설명한다.

한편, 본 발명의 제2실시예에는 손 모양 검출을 위한 과정에 관한 것으로, 입력 영상에서 피부영역을 검출한 후 스테레오 거리정보를 기반으로 피부가 아닌 영역을 제거한 후 남은 부분에서 손 후보 영역을 검출하고, 최종적으로 손 모양을 판별하는 과정으로 이루어진다.

위와 같은 기능이 구현된 손 검출 장치는 도 1에 도시된 바와 같다. 손 검출 장치는 크게 양손 검출 장치(30)와 손모양 검출 장치(40)로 이루어진다.

우선, 양손 검출 장치(30)는 두 대의 카메라(10, 20), 카메라 인터페이스(110), 피부영역 검출부(120), 스테레오 처리부(130), 피부/거리화소 융합부(140), 배경 및 잡음 제거부(150) 및 양손 상관관계 판별부(160)를 포함한다.

두 대의 카메라(10, 20)는 외부의 피사체를 촬영하기 위한 것으로, 하나의 피사체에 대해 좌측 및 우측에서 촬영한 왼쪽 영상, 오른쪽 영상을 생성한다. 이때, 두 대의 카메라(10, 20)는 사용자의 양안의 시차에 따른 거리감을 주기 위해 일정 거리만큼 이격되어 위치한다. 이렇게 생성된 두 컬러 영상은 카메라 인터페이 스부(110)를 통하여 양손 검출 장치(30)로 입력된다. 카메라 인터페이스부(110)를 통해 입력되는 컬러 영상은 피부영역 검출부(120)과 스테레오 처리부(130)에 전달된다. 피부영역 검출부(120)는 두 영상 중 어느 하나의 영상을 이용하며, 스테레오 처리부(130)는 두 영상을 모두 이용한다.

피부영역 검출부(120)에서는 입력받은 어느 하나의 영상에 대해 피부색을 이용한 피부영역 검출을 수행한다. 즉, 어느 하나의 영상내의 모든 화소에 대해 피부 화소 여부를 판단하고, 상기 어느 하나의 영상내의 각 화소가 피부 화소인지의 여부를 나타내는 피부 영상을 출력하는 역할을 한다. 구체적으로, 피부영역 검출부(120)는 입력 영상 내 모든 화소들에 대해 가우시안 혼합 모델을 사용하여 미리 생성된 피부확률 테이블값을 확인함으로써 피부 화소 여부를 판별한다. 이때, 피부 검출 방법은 이에 한정되지 않으며, 피부영역 검출을 위해 다양한 기술이 적용될 수 있음은 물론이다.

도 2에서는 피부영역 검출 결과를 예시하고 있으며, 원 컬러 영상(210)에 대한 피부영역 검출을 수행하면 피부영상(220)이 출력되게 된다. 이러한 피부영역 검출을 통해 이전에 학습된 피부색과 유사한 화소만 남고 나머지는 0으로 제거된 피부영상(220)을 얻을 수 있게 된다. 이에 따라 각 화소의 피부색 여부가 판별된 피부영상(220)이 피부/거리화소 융합부(140)로 입력된다.

반면, 스테레오 처리부(130)에서는 오른편영상과 왼편영상에 대해 스테레오 처리를 통해 거리영상을 생성한다. 구체적으로, 스테레오 처리부(130)는 스테레오 영상처리 기법을 통해 오른편영상과 왼편영상을 비교한 정보에 의해 3차원 거리정 보를 나타내는 거리 영상을 생성한다. 여기서, 3차원 거리 정보는 사람의 양안의 시차에 따른 거리감 인식과 유사하게 양 카메라에서 동일 물체에 대해 촬영한 영상 간의 화각의 차가 발생하는 원리에 의해 얻어진다. 여기서, 스테레오 처리를 통해 거리 영상을 얻을 수 있는 방법이면 모두 스테레오 처리부(130)에서 적용 가능하며, 본 발명의 요지는 스테레오 처리를 통해 얻은 거리 영상 정보와 컬러 정보를 결합하여 손 검출을 하는 방법에 있는 것이므로 스테레오 처리 과정에 대한 구체적인 설명은 생략하기로 한다.

스테레오 영상 처리를 통해 거리 영상은 화소 단위로 구분되어 피부/거리화소 융합부(140)로 입력된다. 거리영상뿐만 아니라 피부영역 검출부(120)로부터의 피부영상도 피부/거리화소 융합부(140)로 입력되어 두 개의 영상은 하나의 피부/거리 융합영상으로 결합된다.

이때, 스테레오 영상처리와 피부검출의 처리시간의 차이에 따라서 출력 화소간의 위치상의 차이가 발생한다. 통상적으로 스테레오 영상처리에 소요되는 시간이 피부영역을 검출하는 데 소요되는 시간이 더 길다. 피부영상(220)과 거리영상(300)간의 파이브라인 처리시간의 차이에 따라 발생하는 양 영상 면에서의 위치차이를 도식화하면 도 3과 같다. 도 3에서 도면부호 310에 의해 지시되는 위치는 현 시점에 출력되는 피부영역 검출부(120)의 출력화소의 피부영상(220)에서의 위치할 경우, 스테레오 처리부(130)에서 출력되는 거리값 화소의 거리영상(300)면에서의 위치는 도면부호 320에서와 같은 위치여야 하나 실제로는 도면부호 330에 의해 지시되는 바에 위치하게 된다. 이와 같이 스테레오 영상처리에 요구되는 클럭이 많다는 것은 같은 시점에 동일한 화소가 입력되었더라도 유효한 결과를 얻기 위해서는 더 많은 클럭수가 요구된다는 것이다.

이러한 처리에 따라 요구되는 클럭 수를 도 4를 참조하여 설명한다. 도 4에서는 설명의 편의상 1클럭 당 하나의 화소(P)가 입력된다고 가정했을 때, 피부영역 검출에는 1클럭이 필요하며 스테레오 영상처리에는 N개의 클럭이 요구된다고 가정하였다. 도 4를 참조하면, 화소가 입력되는 시점을 기준으로 1클럭 후에는 피부검출 결과인 피부화소(S₁)가 출력되고, 이와 마찬가지로 N클럭 후에는 스테레오 영상처리의 결과인 거리화소(D₁)가 출력된다. 따라서 컬러영상과 거리영상을 결합하기 위해서는 이러한 처리에 따른 클럭 차를 보정할 필요가 있다.

이를 위해서 피부/거리화소 융합부(140)에 D 플립-플롭(flip-flop)으로 구성된 (N-1)개의 피부화소 버퍼를 추가한다. 이를 통하여 스테레오 영상처리를 통한 거리화소가 출력되는 N 클럭 이전의 피부화소를 임시로 저장할 수 있다. 이러한 피부화소 버퍼를 이용함으로써 스테레오 영상처리에 따른 지연을 보상할 수 있게 된다.

이와 같이 지연이 보상된 후, 거리영상과 피부영상을 결합하는 과정을 살펴보기 위해 피부/거리화소 융합부(140)의 동작 개념도인 도 5를 참조한다.

도 5를 참조하면, 피부/거리화소 융합부(140)는 피부영상 화소와 거리영상 화소를 결합하는데, 이 피부영상 화소와 거리영상 화소는 원본 화소의 영상 면에서의 위치가 동일하다. 피부영상의 경우 해당 화소의 피부색 유무만을 판별하면 되 므로 1bit만을 가지고 표현할 수 있고, 거리영상은 8bit의 정보를 모두 포함한다. 따라서 1bit의 피부영상화소(510)와 8bit의 거리영상 화소를 비트결합함으로써 생성된 피부/거리영상 화소(530)는 9bit의 데이터 폭을 가진다.

이러한 보상 과정을 통해 피부/거리영상 융합부(140)에서는 위와 같이 피부와 거리정보를 융합한 화소를 출력하고 해당 화소의 영상 면에서의 위치 예컨대, 좌표 정보를 계산하여 배경 및 잡음 제거부(150)로 출력한다.

이어, 배경 및 잡음 제거부(150)에서는 피부 및 거리 정보 기반의 배경 및 잡음 제거를 수행함으로써 손 영역일 가능성이 큰 영역만을 나타내는 유효영상이 생성된다. 도 6에서는 피부영상(220)과 거리영상(300)을 융합한 결과로부터 배경 및 잡음을 제거한 영상(600)을 예시하고 있다. 이 배경 및 잡음을 제거한 영상(600)을 보면, 도 6에 도시된 바와 같이 일정 크기 이상의 피부색 영역들만이 남아있는 것을 볼 수 있다.

구체적으로 배경 및 잡음 제거부(150)에서는 피부/거리 융합 영상으로부터 거리 정보를 사용하여 배경을 제거하고, 피부 정보를 사용하여 잡음을 제거한다. 배경을 제거하는 방법을 도 7을 참조하면, 도 7에서는 정면을 바라보는 사용자를 촬영한 영상을 3차원으로 표현했을 경우의 측면도를 도시하고 있다. 예컨대, 가장 앞쪽에는 일반적으로 손이 위치하고 사용자 뒤로는 배경이 위치하기 때문에 오른쪽으로부터 미리 설정된 기준값(d) 이상의 거리값을 가지는 화소들을 모두 배경(700)으로 인식함으로써 간단하게 제거 가능하다.

잡음의 경우 카메라에서 입력되는 영상은 빛의 반사등의 환경의 영향으로 인 하여 실제 피부가 아님에도 불구하고 피부색으로 오인식 되어 잡음이 혼재되는 경우가 매우 많다. 이러한 잡음은 넓은 영역에 연속적으로 분포하기 보다는 점과 같은 작은 단위로 부분적으로 나타나는 경우가 많다. 상대적으로 손과 얼굴에 해당하는 영역들은 넓은 영역에 분포하게 된다. 따라서 연속적인 영역에 속해있는 화소들을 찾아서 각 영역별로 몇 개의 화소들이 속해있는지를 계수하여 일정 개수 이하의 영역은 잡음으로 판단하여 제거한다. 즉, 피부 영상에서 피부 영역의 크기가 일정 크기 이하일 경우에는 잡음으로 간주한다. 이때 연결성분 검출기술이 사용되며, 이를 통해 화소들 간의 연결성을 파악하는 것이다. 이진 영상은 화소의 값이 '0'과 '1'만을 가지며 두 개의 임의의 화소간의 연결성을 판단할 수가 없으나, 연결성분 검출기술을 사용하면 영상내 모든 두 개의 화소간의 연결성을 파악할 수 있다. 화소가 서로 연결되었다는 것은 하나의 연결성분 즉, 물체 영역에 존재한다는 것이다. 이러한 연결성분 검출기술은 'Michael B Dillencourt'가 1992년 'Journal of ACM'을 통해 발표한 "A general approach to connected-component labeling for arbitrary image representations"를 참조한다면 쉽게 구성이 가능하다.

생성된 유효영상은 최종적으로 양손 상관관계 판별부(160)로 전송되며, 양손 상관관계 판별부(160)는 유효 영상 내의 복수개의 손 후보 영역 중에서 2개씩의 손 후보 영역들 간의 유효값을 계산함으로써 양손 영역을 검출한다. 이때, 2개씩의 손 후보 영역을 선택하며, 선택 가능한 조합수만큼 상기 선택된 손 후보 영역들에 대한 크기순위, 크기차이, 거리순위, 위치차이를 계산하여 합산하고, 합산한 유효값 중 가장 큰 유효값을 가지는 두 개의 손 후보 영역을 양손 영역으로 결정하게 된 다. 양손 상관관계 판별부(160)로 입력되는 유효영상은 도 8에 도시된 바와 같다. 도 8을 참조하면, 유효영상(600) 내에는 배경과 잡음이 제거됨으로써 도면부호 810, 820에 지시되는 바와 같이 일정 크기 이상을 가지는 유효 거리 범위의 피부색 영역들만이 남게 되는데, 본 발명에서는 이를 유효 영역이라고 칭한다. 양손 상관관계 판별부(160)는 여러 개의 유효영역 중에서 실제 양손에 해당하는 영역을 검출하고, 각 손 영역의 크기, 위치, 거리 정보를 출력한다. 이를 위해 도 8에 도시된 바와 같이 유효 영상 내에 여러 개의 유효영역이 존재하는 경우 각 유효영역에 순번을 부여함으로써 각 유효영역을 구분한다. 이때, 순번의 부여는 래스터 스캔 오더(Raster Scan order)에 따른다.

본 발명에서 제안하는 양손 상관관계 판별 방법은 여러 개의 유효영역이 존재하는 상황에서 양손에 해당하는 두 개의 영역을 추출하는 기법이다. 도 7에서와 같이, 일반적으로 사람이 카메라(730)를 향하여 양 손을 내민 상태에서는 위치적으로 양손은 얼굴보다 아래에 위치하고, 양손의 높이는 서로 유사하고, 양손은 수평적으로 얼굴을 기준으로 일정거리 좌우측으로 떨어져 있다. 카메라(730)와의 거리 측면에서는 양손(720)은 얼굴(710)에 비해 카메라에 보다 가까이에 위치하고, 유사한 거리를 지닌다. 상기와 같이 양손의 위치가 전제되므로 양손의 위치가 다소 제한적일 수 있으므로, 시스템 동작 초기에는 일단 상기 방법을 사용하여 정확한 양 손의 정보를 파악하고, 이후로는 사전에 파악된 양 손 정보와 새로이 입력되는 후보 손 영역들의 유사도를 파악함으로써 손 정보의 변화를 추적하는 것이 가능하다.

상기의 가정을 바탕으로 다음과 같은 후보 손 영역들의 크기, 평균 수직위 치, 평균 거리를 파악하고, 본 발명에서 제안하는 유효값 계산식을 통해 각 후보 영역들의 유효값을 계산한다. 이때, 하나의 영역만을 가지고 하는 것이 아니라 다수의 영역 중 두 개의 영역을 선택하여 선택된 두 영역에 대해 각기 양손 영역인지를 판별하기 위한 유효값을 계산한다. 이러한 과정을 모든 영역 상호간에 수행되도록 반복한다. 여기서, 유효값 계산식은 하기에서 후술하기로 한다.

양손 상관관계를 수행하는 데 있어서 도 9에서와 같은 병렬처리 상관관계 판별 하드웨어 구조를 설계하여 다중의 유효영역간의 판별을 동시에 수행한다. 도 8에서의 유효영역 7개에 대해 7개의 영역상관 판별기를 구성한다. 7개의 유효영역에 대해 각각의 크기 순위를 판별(900)하고, 각 유효영역 간의 평균거리에 따른 순위(910)를 판별한다. 그리고 각 유효영역을 기준으로 하는 영역 상관관계 판별기1~7 를 통해 기준영역과, 그 기준영역과 한쌍을 이루는 손 영역일 가능성이 높은 최적 영역, 및 그 기준영역과 최적영역이 한쌍을 이룰 경우의 유효값을 추출한다. 예를 들어, 영역 상관관계 판별기1에서는 7개의 유효영역 중에서 영역1이 기준영역이 되며, 이를 기준으로 크기순위(920), 크기차이(930), 거리순위(940), 위치차이(950)를 구하기 위한 각각의 수학식을 이용함으로써 최적영역 및 유효값(960)을 구하게 된다. 최종적으로 각 영역 상관관계 판별기의 유효값 중 가장 큰 유효값을 찾음으로써 7개의 유효영역 중에서 실제 양손영역이라고 추정되는 최종적인 양손 영역을 결정한다.

상기한 바와 같이 다수의 유효영역 중에서 두 개를 선택하여 유효값을 계산하고, 그 중 유효값이 가장 큰 두 개의 영역을 양손에 해당하는 손 영역으로 결정 한다. 그리고나서 두 영역에서의 오른손과 왼손의 구분은 두 영역의 수평 좌표를 기준으로 결정한다. 이러한 각 유효영역들의 유효값은 하기 수학식 1을 이용하여 계산한다.

상기 수학식 1은 크기순위를 구하기 위한

, 크기차이를 구하기 위한

, 거리순위를 구하기 위한

, 위치차이를 구하기 위한

로 이루어진다. 이러한 수학식1은 두 영역이 선택될 때마다 선택된 두 영역에 대한 유효값을 산출하기 위한 수식이며, 이 유효값은 크기순위, 크기차이, 거리순위 및 위치차이를 모두 합산하여 얻어진 값이다.

먼저,

은 입력된 두 영역이 모두 다른 영역들의 비해 상대적인 크기가 클수록 값이 크다. SI()는 영역을 크기순으로 정렬할 시의 순위를 위미하며 가장 큰 영역의 순위는 0번이다. 이때, 각 영역의 크기는 각 영역에 해당하는 화소값을 계수함으로써 정해진다. 예를 들어,

수식에서 영역 A의 크기순위를 나타내는 SI(A)가 3번째 순위 안에 들면서 영역 B의 크기순위를 나타내는 SI(B)도 3번째 순위안에 들 경우 점수가 높게 매겨진다. 이와 같은 방식으로

수식에서는 크기 순위가 높을수록 점수가 높아지게 된다. 손 영역은 다른 영역들에 비해 가장 앞쪽에 위치하므로 그 크기가 상대적으로 클 가능성이 높으며 양손 영역 역시 모두 상대적인 크기가 클 가능성이 높기 때문에

수식은 이를 고려한 것이다.

는 입력된 두 영역의 크기가 유사할수록 값이 크다. 여기서 S()는 해당 영역의 크기 즉, 해당 영역에 속한 화소수를 의미한다. 양 손의 크기는 서로 유사하기 때문에

수식은 이를 고려한 것이다.

수식에서

는 두 영역의 크기차이의 절대값이다. 예를 들어, 영역A의 크기가 100이고 영역B의 크기가 80일 경우

는 20이 된다.

는 두 영역의 중 큰 영역의 크기를 C로 나눈 값으로 두 영역 중 큰 영역에서 C로 지정한 만큼의 비율의 크기값을 의미한다. 결과적으로,

은 두 영역의 크기 차가 지정한 만큼의 비율 인가를 판별하는 것으로, 이를 통해 두 영역의 크기가 얼마나 유사한지를 알 수 있다.

은 입력된 두 영역의 다른 영역들과의 상대적인 거리값이 작을수록 값이 크다. 이는 사람이 카메라를 향해 양손을 내민 자세를 취하는 경우 카메라로부터 양손까지의 거리가 다른 영역들에 비해 가장 가까워지기 때문이다. DI()는 해당 영역의 속하는 화소의 거리값을 평균을 내고 이를 다시 모든 영역들에 대해 정렬한 것으로 0인 경우 거리가 가장 가까운 영역이고 커질수록 거리가 먼 영역이라는 것을 의미한다.

수식은 카메라와의 거리순위가 높을수록 점수가 높게 매겨지며, 이는 두 영역A, B의 거리가 모두 카메라에서 가까울수록 두 영역이 양손 영역일 가능성이 크다는 점을 고려한 것이다.

는 입력된 두 영역의 수직 위치가 서로 유사할수록 크다. 즉, 두 손의 수직위치 차이가 많이 안날수록 점수가 높게 매겨진다. 여기서, H()는 해당 영역의 모든 화소의 수직 좌표 즉, y 좌표를 더해서 화소수로 나눈 것으로 영역의 평균 수직좌표를 의미한다.

는 영역A와 영역B 각각의 평균 수직좌표의 절대값 차를 의미하는 것으로,

는 이러한 수직좌표의 절대값 차가 일정값 이하일 경우를 판단하기 위한 것이다.

상기한 바와 같이 양손 상관관계 판별부(160)는 여러 개의 유효영역 중 2개 를 선택한 후, 그 선택된 2개의 영역에 대해 네가지 조건을 나타내는 수식들의 합으로 이루어진 수학식1의 연산을 수행한다. 이때, 양손 상관관계 판별부(160)는 2개의 유효영역의 선택 가능한 조합수만큼 반복적으로 수학식1의 연산을 수행한다. 수학식1을 통해 가장 높은 유효값을 가지는 두 개의 영역이 산출되면, 이를 실제 양손 영역이라고 결정하는 것이다. 이에 따라 도 10에서와 같이 유효영상(600)으로부터 양손 상관관계 판별부(160)에서의 양손 검출 동작을 통해 각각의 손 영상(1030, 1040) 또는 양손 영상이 출력되게 된다.

상기한 바와 같은 양손 검출을 위한 과정을 도 11을 참조하여 설명하면, S1102단계에서 양 카메라를 통해 컬러 영상을 획득하면, 그 중 하나의 컬러 영상은 S1104에서 피부 검출을 위해 사용되며, 획득된 두 개의 컬러 영상은 S1103단계에서 스테레오 처리를 통한 거리 영상 정보를 획득하는 데 사용된다. 이를 통해 피부 영상과 거리 영상을 획득하게 되면, 버퍼를 이용하여 동기를 맞춘 후 융합하고, S1105단계에서 융합 영상으로부터 배경 및 잡음을 제거하게 된다. 이어, S1106단계에서 시스템의 동작 초기 여부를 판단한다. 동작초기의 의미는 이전에 이미 손 검출 결과가 있는지의 여부에 따른다. 동작 초기일 경우 S1107 단계로 진행하여 상기 수학식1의 양손 상관관계를 이용하여 손 검출을 수행하고, 동작 초기가 아니라면 S1108단계로 진행하여 이전 프레임의 손 검출 결과와 현재 후보 손 영역들의 유사성을 비교하여 현재 프레임에서의 손 검출을 수행한다. 최종적으로 양손 영역을 검출하게 되면 현재 프레임에 해당하는 손 검출 동작을 종료한다.

본 발명의 제1실시예에서는 양 손의 정보를 동시에 파악함으로써 이를 휴먼- 컴퓨터 인터페이스 분야에 응용이 가능하다. 손 위치 정보를 포인터의 위치 제어에 이용하고, 손 상태 또는 손 모양 정보를 포인터의 클릭과 비-클릭의 제어에 이용하면 버튼이나 터치스크린과는 달리 기계에 대한 직접적인 접촉이 없이도 손의 움직임을 통해 컴퓨터를 제어하는 것이 가능하다.

이러한 예로서, 도 12에 도시된 바와 같이 입력 영상(1210)에서의 양손을 검출하게 되면, 화면(1220) 상에는 사람의 양손에 해당하는 포인터(1230, 1240)를 표시하는 것이 가능하다. 도 13에서는 사람이 방어하는 모습과 공격하는 모습의 영상으로부터 양손을 검출함으로써 권투 게임(1350)에 응용하는 예를 도시하고 있다. 또한 도 14에서와 같이 화상통화 혹은 영상회의시 화면상에 메모를 하는 응용예를 설명한다. 왼손은 메모 기능을 On-Off 하는데 사용하고, 오른손은 실제 필기를 하는데 사용한다. 왼손 주먹을 쥐면 메모 기능이 활성화 평음을 나타내기 위해 화면의 우측상단에 메모 아이콘이 나타난다. 이 상태에서 오른손을 사용하여 필기를 하거나 지우는 것이 가능하다. 손가락을 세우면 펜 모드가 돼서 화면의 어느 지점에나 필기할 수 있고, 손바닥을 펴면 지우개 모드가 되어 필기된 내용을 수정할 수 있다. 상기의 다양한 예와 같이 본 발명의 구성을 따르면 영상 기반의 다양하고 재미있는 인터페이스의 구현이 가능하다.

한편, 본 발명의 제2실시예에 따른 손모양 검출 장치(40)의 구성을 살펴보기로 한다. 이러한 손모양 검출 장치를 살펴보기에 앞서, 기존에는 단일한 손에 대해서만 처리를 수행하거나 단순한 배경에서만 손의 인식이 가능하였다. 또한 손의 절대적인 높이를 주요 정보로서 이용하므로 손의 방향은 항상 카메라의 세로축과 일 치해야 하며, 카메라와의 거리도 일정해야 한다는 가정하에 손 검출이 이루어진다. 이는 손 회전 등의 사용자의 자유로운 동작에 많은 제약을 주므로, 자유스러운 움직임에서도 효과적으로 손의 모양을 추출할 필요성이 요구된다. 이를 고려하여 본 발명의 제2실시예에서는 사용자의 양 손에서의 손 모양을 검출하는 방법을 제안한다.

먼저, 손모양 검출 장치(40)에서의 피부영역 검출부(120)의 동작은 양손 검출 장치(30)에서의 동작과 동일하다. 또한 손모양을 검출하는 데 있어서도, 양손 검출 시와 마찬가지로 스테레오 기반의 거리 영상을 이용한다. 손 모양 검출을 위해 사용되는 거리 영상을 생성하는 스테레오 처리부(130)에서의 동작도 전술한 바와 동일하다.

도 16에서는 원본 컬러 영상 각각으로부터 피부 영역 검출을 수행한 결과인 피부 영상을 예시하고 있는 데, 이하에서는 도 16의 왼쪽 원본 컬러 영상을 기준으로 했을 경우 손 모양을 검출하는 과정에 대해 설명하기로 한다.

도 16을 참조하면, 피부색과 유사하지 않은 모든 픽셀은 피부가 아닌 것으로 판별되며, 컬러 영상에서 피부와 유사한 색을 가지는 픽셀들을 제외한 나머지는 제거된다. 이러한 피부 영역 검출을 위해 가우시안 혼합 모델이 사용될 수 있으며, 이러한 가우시안 혼합 모델을 사용했을 경우의 피부 영상은 도 16에 도시된 바와 같다. 즉, 도 16의 피부 영상은 입력된 컬러 영상에서 가우시안 혼합모델을 기반으로 피부색의 분포를 근사하여, 피부가 아닌 부분은 제외시키고 피부로 간주할 수 있는 부분만을 남겨놓은 결과이다. 이때, 피부 영역 검출을 위한 방법으로 가우시 안 혼합모델을 사용하는 방법에 한정되지 않으며, 다양한 피부 영역 검출 방법이 적용될 수 있다.

한편, 두 개의 컬러 영상을 비교하여 거리를 계산함으로써 얻어진 거리 영상은 도 17에 도시된 바와 같다. 도 17에서는 손가락을 폈을 경우의 거리 영상과 주먹을 쥐었을 경우의 거리 영상을 도시하고 있다. 구체적으로, 손가락을 폈을 경우를 카메라 2개로 촬영한 2개의 컬러 영상을 이용하여 그 손가락을 폈을 경우의 거리 영상을 얻을 수 있으며, 주먹을 쥐었을 경우의 거리 영상도 마찬가지 방식으로 얻을 수 있다.

이 거리 영상은 스테레오 거리 정보의 검출 결과로서, 영상 내에 각 물체를 나타내는 픽셀이 카메라로부터 그 물체까지 거리가 얼마인지를 나타낸다. 이러한 스테레오 거리 정보는 SAD, Census Transfrom, Graph-Cut 등의 다양한 방법을 통해 획득하는 것이 가능하다.

이를 위해 센서 변환 기반의 스테레오 매칭 알고리즘이 사용된다. 만일 거리 정보를 FPGA와 같은 전용 하드웨어에서 처리할 경우에는 별도의 연산 없이 상위 수준의 컴퓨터에서 원본 영상과 동시에 참조하는 것이 가능하므로 보다 빠른 손 정보 검출이 가능하다.

그러면 배경 및 잡음 제거부(150)는 피부 영상으로부터 사용자 손 외의 영역을 제거하며, 이를 위해 전술한 바와 같은 거리 영상을 이용한다. 본 발명의 제1실시예에서와 마찬가지로 배경의 경우 카메라와의 거리가 사용자보다 상대적으로 멀기 때문에, 배경 및 잡음 제거부(150)는 거리 영상을 이용하여 피부 영상에서 미처 제거되지 못한 부분을 제거한다. 잡음의 경우도 전술한 본 발명의 제1실시예에서와 마찬가지 방식으로 제거될 수 있다.

손 후보 영역 검출부(165)는 피부 영상에서 거리 영상을 기반으로 배경 및 잡음이 제거된 손 후보 영역을 포함하는 손 후보 영상을 출력하며, 그 손 후보 영역들 중에서 양 손의 후보 영역을 확정한다. 이를 위해 손 후보 영역 검출부(165)는 각 손까지의 거리 정보와 블랍(BLOB) 정보를 이용하여 거리/크기를 기반으로 양 손의 후보 영역을 확정한다. 블랍 분석을 통해 각 영역의 크기와 중심 위치 등을 얻을 수 있으며, 손 영역의 평균 스테레오 디스패리티 값을 계산하여 손의 거리값을 얻을 수 있다. 사람의 손가락 굵기는 성인의 경우 일정한 편이기 때문에, 다수의 실험을 통해 거리값과 손의 평균 손가락 굵기 값의 관계에 대한 참조표를 만들 수 있다.

도 18에서는 손 후보 영역 검출 결과를 도시하고 있는데, 녹색 점은 오른손 후보 영역의 중심점을 나타내며, 빨간색 점은 왼쪽손 후보 영역의 중심점을 나타낸다. 이때, 중심점은 도 12 내지 도 14에서와 같이 화면 상에서 인터페이스를 위한 두 개의 포인터 역할을 한다. 따라서 포인터의 정밀한 제어를 위해서는 정확한 중심점 검출이 중요하다. 따라서 최종적으로 확정된 손 영역에서 중심점을 검출하는 과정이 필요하다. 이러한 최종적인 손 중심 검출은 손 중심 연산부(175)에서 수행된다.

손 후보 영역을 검출할 때, 픽셀을 대상으로 피부색 검출을 수행하므로 만일 실내 조명등 환경적인 문제로 인해 일반적으로 실제 손 영역에 해당하나 손으로 검 출되지 않는 부분이 생길 수 있다. 이를 방지하기 위해 손 후보 영역 검출부(165)는 공지된 기술인 모폴로지 연산을 통해 이러한 부분을 메워서 단일한 손 영역을 생성한다. 카메라에서 가까운 스테레오 거리 값과 검출된 영역의 크기 등을 기반으로 양 손 후보 영역을 검출한 후, 영상내에서 초기 위치의 치우침 정도를 기반으로 오른쪽/왼쪽 손을 구분하여 향후 이를 추적함으로써, 각 손으로 간주하게 된다.

한편, 전술한 바에서는 피부 영상과 거리 영상을 각각 이용하여 손 후보 영역을 검출하는 경우를 설명하였으나, 본 발명의 제1실시예에 의해 얻어진 도 10에서와 같은 양손 영역에서 손 모양을 검출할 수도 있음은 물론이다. 또한 피부/거리화소 융합부(140)로부터의 융합 영상으로부터 배경 및 잡음을 제거한 영상에서 손 후보 영역을 검출할 수 있도록 손 후보 영역 검출부(165)를 구현할 수도 있다.

침식 영상 생성부(170)는 손 후보 영역 검출 결과를 기반으로 각 손의 거리에 대응되는 침식횟수 만큼 침식 연산을 수행하여 침식 영상을 생성한다.

이때, 침식 영상 생성부(170)는 손의 거리값에 따라 침식 연산 횟수를 정의한 테이블을 참조하여, 상기 손 후보 영상내에서 예상 손가락 굵기의 픽셀을 제거하기 위해 상기 반복 수행할 침식 연산 횟수를 결정한다. 이때, 손의 거리값은 실시간으로 획득한 것이며, 그 손의 거리값과 참조표를 이용한다면 침식 연산 횟수를 알 수 있기 때문에 현재 손의 예상 손가락 굵기를 얻을 수 있으며, 이를 기반으로 침식 연산을 반복 수행한다. 다시 말하면, 손 영역의 평균 거리값에 기인하여 n회 만큼의 침식 연산을 수행하게 되며, 이때 침식 연산의 회수는 손 영역이 영상에서 제거되지 않는 수준에서 결정한다. n 값은 평균 거리값에 의해 결정되기 때문에 이 를 참조 테이블 형식으로 기록해두어 연산 속도를 저하시키지 않는 방법을 고려할 수 있다.

이러한 침식 연산을 반복하게 되면, 검출된 손 대상 영역에서 실제 손부분과 손이 아닌 기타부분으로 나뉘어지는데, 손의 중심점은 영상에서 남은 영역을 기반으로 연산이 가능하며, 이 부분의 위상관계를 이용하여 손의 중심점을 검출할 수 있다.

손 중심 연산부(175)는 침식연산이 적용된 손의 후보 영역에서 손 영역만을 추출하여 실제 손의 위치를 나타내는 손의 중심점을 얻는다. 예를 들어, 손은 물리적으로 손목보다 위에 위치하며 아래로 향하지 않으므로, 화면의 세로축을 기반으로 상위에 있는 부분을 손으로 판단하고, 그 영역의 중심점을 손의 중심으로 간주할 수 있다. 따라서 도 19에서와 같이 손가락을 폈을 경우 영상과 주먹을 쥐었을 경우의 각 원본 영상에서 녹색점 부분이 손 후보 영역의 중심점이지만, 실제로는 침식 연산을 통해 얻은 왼쪽편의 각 침식 영상에서 파란 점 부분이 실제 손 영역의 중심이 된다. 이와 같이 손 영역의 중심점을 얻게 되면, 그 중심점은 손 제스처 인식에 있어 포인터 역할을 하므로, 다양한 인터페이스로서 구현될 수 있다.

팽창 영상 생성부(180)는 동일한 횟수만큼의 팽창 연산을 침식 영상에 적용하여 팽창 영상을 생성한다. 이는 도 19에서 수행한 침식 연산의 횟수만큼 팽창 연산을 수행함으로써 손을 원래의 크기에 가깝게 만드는 것이다. 도 19의 침식 영상을 기반으로 팽창 연산을 침식 연산 횟수만큼 수행하면, 손가락에 해당하는 얇은 영역은 제거되고 손이나 손목과 같은 두꺼운 영역들이 복구된다.

그러면 차감 영상 생성부(185)는 원본영상에서 팽창영상의 차를 계산하여 차감 영상을 생성한다. 도 20은 손 모양 검출 결과를 도시하고 있으며, 첫번째줄의 각 원본 영상에서 두번째줄의 각 팽창 영상을 빼면 세번째줄에서와 같이 손과 손목을 제외한 나머지 영역만 남게 된다.

마지막으로 손 모양 판별부(190)는 이 나머지 영역이 손의 거리 값을 기반으로 판단하여 일정 크기 이상일 경우 손가락으로 판단하고, 그렇지 않으면 잡음 성분으로 판단하여, 최종적으로 손의 모양을 판별하는 것이다. 또한 손 모양 판별부(190)는 차감 영상에서 양 손 영역에서 크기가 가장 큰 영역을 찾아, 해당영역의 거리 대비 크기를 판별하여 손가락인지 아닌지의 여부를 판단, 최종적으로 검지를 편 손의 모양인지 펴지 않은 손의 모양인지를 판별한다. 구체적으로, 손가락을 편 상태에서는 원래 손 영상과, 팽창 영상이 손가락 만큼의 차이를 가지는 데 비해, 손가락을 펴지 않은 상태에서는 원래 손 영상과 팽창 영상이 큰 차이를 가지지 않는다. 따라서 손 후보 영역 연산에서 팽창영상을 빼서 차감 영상을 생성하고, 손의 거리에 대한 정보를 기반으로 차감 영상에 남아있는 성분의 크기를 가늠하면 최종적으로 손가락을 편 상태인지 펴지 않은 상태인지를 알 수 있다.

상기한 바와 같은 손 모양 검출을 위한 과정을 도 15를 참조하여 설명하면, S1500단계에서 스테레오 카메라로부터 컬러 영상 및 거리 영상을 획득하게 되면, S1505단계에서 피부색 기반의 피부 영역을 검출한다. 이어, S1510단계에서 거리 영상을 이용하여 피부 영상으로부터 배경과 잡음 성분을 제거하고, S1515단계에서 배경과 잡음이 제거된 영상로부터 손 후보 영역을 추출하게 된다. 사용자가 움직이지 않는다고 가정했을때, 사용자가 손을 앞뒤로 움직이는 것을 감안하더라도, 그 크기는 크게 다르지 않다고 할 수 있다. 이러한 특성을 이용하여 피부 검출 영상에서 얼굴 등을 제외하고 손이 될 수 있는 후보 영역만을 추출할 수 있다. 손 후보 영역을 검출한 후에는, 공지된 기술인 블랍 분석과 스테레오 디스패리티 값을 통해 각 후보 영역의 특성을 파악하는 것이 필요하다.

이에 따라 실시간으로 획득한 손의 거리값과 참조표를 이용하여, 현재 손의 예상 손가락 굵기를 얻을 수 있으며, S1520단계에서 이를 기반으로 침식 연산을 반복 수행한다. 이때, 손가락의 굵기와 대응되는 만큼의 침식연산이 반복 수행되므로, 손가락 성분이 제거된 영상을 얻을 수 있다. 이를 위해 S1535단계에서 손가락 굵기 참조표를 참조한다. 또한 S1525단계에서 손 중심 영역을 계산하는데, 손의 중심점은 영상에서 남은 영역을 기반으로 연산이 가능하며, 손을 아래로 향하지 않는다고 가정했을때, 화면의 세로축을 기반으로 상위에 있는 부분을 손으로 판단, 해당 영역의 중심점을 손의 중심으로 간주할 수 있다.

이어, 침식 연산 횟수만큼 S1530단계에서 팽창 연산이 반복 수행되며, S1540단계에서 도 20에서와 같이 손 후보 영역의 원본 영상, 팽창 영상 및 원본 영상에서 팽창 영상을 뺀 나머지 차감 영상을 생성하게 된다. 이 경우에도 S1535단계에서 손가락 굵기 참조표를 참조한다. 차감 영상에는 손과 손목을 제외한 나머지 영역만 남게 되는데, S1545단계에서 이 부분이 기 정의된 손가락 영역보다 큰지의 여부를 판단한다. 이 경우에도 S1535단계에서 손가락 굵기 참조표를 참조한다. 만일 더 클 경우 S1550단계에서 검지 손가락을 편 모양이라고 판단하고, 그렇지 않을 경우에는 주먹을 쥔 모양이라고 판단한다. 손의 거리에 대한 정보를 기반으로 차감 영상에 남아있는 성분의 크기를 가늠하면 최종적으로 손가락을 편 상태인지 펴지 않은 상태인지를 알 수 있다. 보다 자세하게 설명하면, 손가락의 크기는 손의 크기에 비례하여 항상 일정 수준의 픽셀을 차지하여야 한다. 손과 손가락의 크기는 사람에 따라 크게 변하지 않으므로, 손의 평균 거리값을 기반으로 실험에 의해 대략적으로 정의가 가능하다. n회의 침식연산에 의해 손가락 영역은 대부분 침식되게 되므로, 이를 원래의 손 검출 영상과 차감 연산을 수행하게 되면 손가락 부분을 얻을 수 있다. 만약 그렇지 않다면 원래 손가락 부분이 없었던 것으로 판단할 수 있다.

상기한 바와 같이 피부색과 스테레오 거리 정보 기반의 손 모양 검출 방법을 이용하면, 사용자의 동작에 크게 구애 받지 않는 유연한 손 모양 검출이 가능해진다. 특히 스테레오 거리 정보와, 이를 기반으로 하는 침식/팽창 연산을 이용하기 때문에, 손의 방향이나 위치, 회전 또는 카메라와의 거리에 크게 영향을 받지 않으며, 손의 거리 정보를 피부 정보와 유기적으로 이용하므로 보다 강인한 검출 성능을 얻을 수 있다.

도 1은 본 발명에 따른 손 검출 장치의 구성도,

도 2는 본 발명의 실시예에 따른 피부영역 검출 결과를 예시한 도면,

도 3은 본 발명의 실시예에 따라 피부영상과 거리영상 면에서의 위치차이를 도식화한 도면,

도 4는 본 발명의 실시예에 따라 스테레오 처리에 따라 요구되는 클럭 수를 도시한 도면,

도 5는 본 발명의 실시예에 따라 피부/거리화소 융합부의 동작 개념도,

도 6은 본 발명의 실시예에 따라 피부영상과 거리영상을 융합한 결과로부터 배경 및 잡음을 제거한 영상의 예시도,

도 7은 본 발명의 실시예에 따라 배경을 제거하는 방법을 도시한 도면,

도 8은 본 발명의 실시예에 따라 양손 상관관계 판별부로 입력되는 유효영상을 나타낸 도면,

도 9는 본 발명의 실시예에 따라 병렬처리 상관관계 판별 하드웨어 구조도,

도 10은 본 발명의 실시예에 따른 양손 출력 영상의 예시도,

도 11은 본 발명의 실시예에 따른 양손 검출을 위한 동작 흐름도,

도 12 내지 도 14는 본 발명의 실시예에 따라 검출된 양손 정보의 응용예,

도 15는 본 발명의 실시예에 따라 손 모양 검출을 위한 동작 흐름도,

도 16 내지 도 20은 본 발명의 실시예에 따라 손 모양 검출 동작에 따른 예시도.

Claims (17)

1. 실시간으로 피사체의 손을 검출하기 위한 장치에 있어서,

   하나의 피사체에 대해 제1측면에서 촬영한 제1영상을 생성하는 제1영상입력부 및 상기 피사체에 대해 제2측면에서 촬영한 제2영상을 생성하는 제2영상입력부와,

   상기 제1영상 및 제2영상을 비교한 정보에 의해 3차원 거리정보를 나타내는 거리 영상을 생성하는 스테레오 처리부와,

   상기 제1영상 및 제2영상 중 어느 하나의 영상내의 각 화소에 대해 피부 화소 여부를 판단하고, 상기 어느 하나의 영상내의 각 화소가 피부 화소인지의 여부를 나타내는 피부 영상을 출력하는 피부 영역 검출부와,

   상기 거리 영상 및 상기 피부 영상을 화소 단위로 융합한 융합 영상을 출력하는 피부/거리 화소 융합부와,

   상기 융합 영상으로부터 배경 및 잡음을 제거함으로써 둘 이상의 손 후보 영역을 포함하는 유효 영상을 출력하는 배경 및 잡음 제거부와,

   상기 유효 영상내의 손 후보 영역들의 조합 가능한 쌍들 각각에 대한 유효값을 계산하고, 가장 큰 유효값을 가지는 손 후보 영역쌍을 양손 영역으로 결정하는 양손 상관관계 판별부와,

   손 후보 영역이 검출된 손 후보 영상을 출력하는 손 후보 영역 검출부와,

   예상 손가락 굵기를 고려한 침식 연산을 상기 손 후보 영상에 대해 반복 수행한 침식 영상을 생성하는 침식 영상 생성부를 포함함을 특징으로 하는 손 검출 장치.
2. 제1항에 있어서, 상기 피부/거리 화소 융합부는,

   상기 피부 영역 검출부와 상기 스테레오 처리부간의 처리 속도 차를 보상하기 위한 피부화소 버퍼를 구비함을 특징으로 하는 손 검출 장치.
3. 제2항에 있어서, 상기 피부/거리 화소 융합부는,

   상기 피부화소 버퍼를 이용하여 원본 화소의 영상 면에서의 위치가 동일한 피부영상 화소와 거리영상 화소를 결합함을 특징으로 하는 손 검출 장치.
4. 제1항에 있어서, 상기 배경 및 잡음 제거부는,

   상기 거리 영상을 근거로 상기 융합 영상에서 배경을 제거하고, 미리 정해진 크기 이하의 피부 영역은 잡음으로 간주하여 제거함을 특징으로 하는 손 검출 장치.
5. 제1항에 있어서, 상기 양손 상관관계 판별부는,

   상기 조합 가능한 쌍들 각각에 대한 크기순위, 크기차이, 거리순위 및 위치차이를 각각 계산하여 합산하고, 상기 합산한 유효값 중 가장 큰 유효값을 가지는 손 후보 영역쌍을 양손 영역으로 결정함을 특징으로 하는 손 검출 장치.
6. 제1항에 있어서,

   상기 침식 영상에서 위상 관계를 이용하여 손 중심을 검출하는 손 중심 연산부와,

   상기 침식 연산이 반복 수행된 횟수만큼 상기 침식 영상에 대해 팽창 연산을 수행한 팽창 영상을 생성하는 팽창 영상 생성부와,

   상기 손 후보 영상에서 상기 팽창 영상을 뺀 차감 영상을 생성하는 차감 영상 생성부와,

   상기 차감 영상에 남아있는 영역의 크기를 이용하여 손모양을 판별하는 손모양 판별부를 더 포함함을 특징으로 하는 손 검출 장치.
7. 제6항에 있어서, 상기 손 후보 영상은,

   상기 피부 영상에서 상기 거리 영상을 기반으로 배경 및 잡음이 제거된 영상임을 특징으로 하는 손 검출 장치.
8. 제6항에 있어서, 상기 침식 영상 생성부는,

   손의 거리값에 따라 침식 연산 횟수를 정의한 테이블을 참조하여, 상기 손 후보 영상내에서 예상 손가락 굵기의 픽셀을 제거하기 위해 상기 반복 수행할 침식 연산 횟수를 결정함을 특징으로 하는 손 검출 장치.
9. 제6항에 있어서, 상기 손모양 판별부는,

   상기 차감 영상에 남아있는 영역의 크기와 미리 정의된 손가락 영역 크기를 비교하고, 상기 비교 결과에 따라 손가락을 펴지 않은 손모양 또는 손가락을 편 손모양 중 어느 하나인 것으로 판별함을 특징으로 하는 손 검출 장치.
10. 실시간으로 피사체의 손을 검출하기 위한 방법에 있어서,

    하나의 피사체를 촬영한 각각 좌우 영상에 해당하는 제1영상 및 제2영상 중 어느 하나의 영상내의 모든 화소에 대해 피부 화소 여부를 판단하는 과정과,

    상기 어느 하나의 영상내의 각 화소가 피부 화소인지의 여부를 나타내는 피부 영상을 출력하는 과정과,

    상기 제1영상 및 제2영상을 비교한 정보에 의해 3차원 거리정보를 나타내는 거리 영상을 출력하는 과정과,

    상기 거리 영상 및 상기 피부 영상을 화소 단위로 융합한 융합 영상을 출력하는 과정과,

    상기 융합 영상에서 배경 및 잡음을 제거함으로써 둘 이상의 손 후보 영역을 포함하는 유효 영상을 출력하는 과정과,

    상기 유효 영상내의 손 후보 영역들의 조합 가능한 쌍들 각각에 대한 유효값을 계산하고, 가장 큰 유효값을 가지는 손 후보 영역쌍을 양손 영역으로 결정하는 과정과,

    손 후보 영역이 검출된 손 후보 영상을 출력하는 과정과,

    예상 손가락 굵기를 고려한 침식 연산을 상기 손 후보 영상에 대해 반복 수행한 침식 영상을 생성하는 과정을 포함함을 특징으로 하는 손 검출 방법.
11. 제10항에 있어서, 상기 융합 영상을 출력하는 과정은,

    상기 거리 영상과 피부 영상의 처리 속도 차를 보상하기 위한 피부화소 버퍼를 이용하여 원본 화소의 영상 면에서의 위치가 동일한 피부영상 화소와 거리영상 화소를 융합하여 상기 융합 영상을 생성하고, 생성된 융합 영상을 출력하는 과정임을 특징으로 하는 손 검출 방법.
12. 제10항에 있어서, 상기 유효 영상을 출력하는 과정은,

    상기 거리 영상을 근거로 상기 융합 영상에서 배경을 제거하고, 미리 정해진 크기 이하의 피부 영역은 잡음으로 간주하여 제거하는 과정을 포함함을 특징으로 하는 손 검출 방법.
13. 제10항에 있어서, 상기 양손 영역으로 결정하는 과정은,

    상기 조합 가능한 쌍들 각각에 대한 크기순위, 크기차이, 거리순위 및 위치차이를 각각 계산하여 합산하는 과정과,

    상기 합산한 유효값 중 가장 큰 유효값을 가지는 손 후보 영역쌍을 양손 영역으로 결정하는 과정을 포함함을 특징으로 하는 손 검출 방법.
14. 제10항에 있어서,

    상기 침식 영상에서 위상 관계를 이용하여 손 중심을 검출하는 과정과,

    상기 침식 연산이 반복 수행된 횟수만큼 상기 침식 영상에 대해 팽창 연산을 수행한 팽창 영상을 생성하는 과정과,

    상기 손 후보 영상에서 상기 팽창 영상을 뺀 차감 영상을 생성하는 과정과,

    상기 차감 영상에 남아있는 영역의 크기를 이용하여 손모양을 판별하는 과정을 더 포함함을 특징으로 하는 손 검출 방법.
15. 제14항에 있어서, 상기 손 후보 영상은,

    상기 피부 영상에서 상기 거리 영상을 기반으로 배경 및 잡음이 제거된 영상임을 특징으로 하는 손 검출 방법.
16. 제14항에 있어서, 상기 침식 영상을 생성하는 과정은,

    손의 거리값에 따라 침식 연산 횟수를 정의한 테이블을 참조하여, 상기 손 후보 영상내에서 예상 손가락 굵기의 픽셀을 제거하기 위해 상기 반복 수행할 침식 연산 횟수를 결정하는 과정을 포함함을 특징으로 하는 손 검출 방법.
17. 제14항에 있어서, 상기 손모양을 판별하는 과정은,

    상기 차감 영상에 남아있는 영역의 크기와 미리 정의된 손가락 영역 크기를 비교하고, 상기 비교 결과에 따라 손가락을 펴지 않은 손모양 또는 손가락을 편 손모양 중 어느 하나인 것으로 판별하는 과정임을 특징으로 하는 손 검출 방법.

Images