KR20160025823A - 깊이영상 기반 손영역 검출 시스템 및 방법 - Google Patents

Abstract

본 발명은 카메라를 통해 획득한 영상에서 손영역을 검출하는 시스템 및 방법에 관한 것으로서, 카메라를 통해 획득한 영상의 깊이값만을 이용하여 손영역을 검출하고 제스처를 인식하는 과정을 수행함으로써 손영역의 주변 물체 및 환경에 의한 영향을 감소시켜 인식률을 높인 깊이영상 기반 손영역 검출 시스템을 제공한다.
또한, 손영역의 후보영역에 대해서만 손영역 인식 과정을 수행하여 종래의 피부색 데이터 및 깊이영상 데이터를 이용한 방식에 비하여 연산량을 감소시킨 깊이영상 기반 손영역 검출 시스템을 제공한다.

Description

깊이영상 기반 손영역 검출 시스템 및 방법 {SYSTEM AND METHOD FOR DETECTING HAND REGION BASED ON DEPTH IMAGE}

본 발명은 카메라를 이용하여 자세, 동작을 인식하는 시스템 및 방법에 관한 것으로서, 구체적으로는, 카메라를 통해 획득한 영상에서 손영역을 획득하고 획득한 손영역의 추적을 통해 제스처를 인식하는 손영역 검출 시스템 및 방법에 관한 것이다.

일반적으로 카메라를 이용한 제스처 인식 기술을 구현할 때 손의 인식을 위해 가장 많이 활용되는 방법은 피부색(Skin Color) 기반의 데이터를 이용하거나 피부색 기반의 데이터 및 깊이영상(Depth Image) 데이터를 함께 이용하여 손을 인식하는 방법이다.

그런데 피부색 기반의 데이터는 환경의 변화(예컨대, 조명, 머리색깔, 옷색깔, 특정 배경색)에 의하여 정확성이 떨어지는 문제점이 존재하고, 이러한 단점을 보완하기 위해 피부색 기반의 데이터와 깊이영상 데이터를 결합하여 사용하는 경우에는 연산량이 많아지는 문제점이 있다.

도 1은 종래의 손영역 검출 방법의 과정을 나타낸 것으로서 피부색 데이터 및 깊이영상 데이터를 이용하여 손영역을 검출하는 방법을 나타낸 것이다.

종래의 손영역 검출 방법은 Depth Camera를 이용해 얻은 깊이정보를 통해 영상에서 전경 영역 영상을 획득하고(S100) RGB Camera를 통해 피부 영역의 영상을 획득한다(S110). 그리고 전경 영역과 피부 영역의 중복 영역을 검출하고(S120) 중복 영역에 있는 객체를 손의 후보로 등록한다(S130).

이러한 방법은 피부색 데이터만을 사용한 방법보다 높은 인식률을 보이지만 연산량이 늘어나게 된다. 또한 피부색 데이터를 통해 접근하는 방법은 RGB 데이터를 YCbCr로 변환하는 방식이 사용되는데 카메라가 위치한 장소의 배경에 의하여 많은 영향을 받는다. 예컨대, 주변에 피부색과 유사한 YCbCr 값을 가지는 물체가 있거나 회의실과 같이 주위는 어둡고 화면이 영사되는 부분만 밝은 경우에는 낮은 인식률을 보인다.

도 2는 종래의 손영역 추적 방법을 나타낸 것으로서 손 후보들 중 손을 인식하고 추적하는 방법을 나타낸 것이다.

도 1을 통해 설명한 바와 같이, 전경 영역과 피부 영역의 중복 영역을 검출한 후에 중복 영역에서 손영역을 검출하고(S200) 손영역에 포함된 객체의 포스처를 인식한다(S210). 인식된 포스처를 시스템에서 미리 정의된 특정 포스처와 비교하고 특정 포스처와 일치하면 해당 객체를 완전히 손이라 판단하고 제스처 인식을 위해 이동하는 궤적을 추적한다(S220). 추적을 하면서 손의 포스처를 미리 정의된 제스처들과 비교하여 손의 제스처를 인식하게 된다(S230).

그러나 이러한 손영역 판단 및 추적 방식은 특정 포스처를 사용자가 취해야만 인식을 시작한다는 문제점이 있다. 따라서 리모컨이나 마우스와 같은 하드웨어 없이 자연스러운 인터페이스 구현을 목표로 하는 제스처 인식에서 특정 포스처의 요구는 사용자에게 자연스러움을 느끼게 하지 못하는 면이 존재한다.

본 발명은 전술한 문제점을 해결하기 위하여, 카메라 주변 환경의 변화에 민감한 영향을 받는 피부색 데이터를 사용하지 않고 오직 깊이영상 데이터만을 활용하여 손영역을 인식함으로써, 주변 환경의 변화에 무관하게 일정한 인식률을 유지하며 낮은 연산량으로 손영역의 인식이 가능한 시스템 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 일면에 따르면, 카메라를 통해 획득한 깊이영상에서 배경을 제거하는 배경제거부; 상기 배경이 제거된 깊이영상에서 정적영역과 동적영역을 구분하고 상기 동적영역 중 손영역의 후보영역을 추출하는 후보영역추출부; 및 상기 추출된 후보영역의 깊이값을 탐색하여 상기 후보영역에 포함된 객체의 윤곽선을 검출하고 검출된 윤곽선을 이용하여 상기 객체가 손인지 여부를 확인하며 손으로 확인된 객체를 포함하는 후보영역을 손영역으로 인식하는 손영역인식부를 포함하는 깊이영상 기반 손영역 검출 시스템을 제공한다.

상기 손영역인식부는, 상기 후보영역의 중심점으로부터 상기 후보영역의 바깥쪽 방향으로 깊이값을 탐색하고 탐색된 깊이값이 기설정된 값 이상으로 변하는 부분을 상기 후보영역에 포함된 객체의 윤곽선으로 검출하며, 상기 검출된 윤곽선 중 손가락 모양의 윤곽선이 존재하는지 여부를 확인하여 상기 객체가 손인지 여부를 확인한다.

상기 후보영역추출부는, 상기 깊이영상에서 깊이값이 일정하게 유지되는 영역을 정적영역으로 구분하고 깊이값이 변화하는 영역을 동적영역으로 구분하며, 상기 동적영역에 포함된 객체의 이동성, 상기 동적영역의 크기에 기초하여 상기 손영역의 후보영역을 추출한다.

본 발명의 다른 일면에 따르면, 카메라를 통해 획득한 깊이영상에서 배경을 제거하는 단계; 상기 배경이 제거된 깊이영상을 정적영역과 동적영역으로 구분하는 단계; 상기 동적영역 중 손영역의 후보영역을 추출하는 단계; 상기 추출된 후보영역의 깊이값을 탐색하여 상기 후보영역에 포함된 객체의 윤곽선을 검출하는 단계; 및 상기 검출된 윤곽선을 이용하여 상기 객체가 손인지 여부를 확인하고 손으로 확인된 객체를 포함하는 후보영역을 손영역으로 인식하는 단계를 포함하는 깊이영상 기반 손영역 검출 방법을 제공한다.

본 발명에 따르면, 카메라를 통해 획득한 영상의 깊이정보만을 이용하여 손영역을 인식하고 추적함으로써 촬영 화면 내에 사람의 피부색과 유사한 색을 가진 물체가 있거나 주변이 너무 어둡거나 밝은 환경에서도 손영역을 정확하게 인식할 수 있도록 한다. 또한, 특정 포스처를 통해 제스처 인식의 시작 신호를 따로 보낼 필요가 없으므로 자연스러운 인터페이스의 구현이 가능하도록 한다.

도 1과 도 2는 종래의 손영역 검출 및 추적 방법의 과정을 나타낸 흐름도.
도 3은 본 발명의 일실시예에 따른 깊이영상 기반 손영역 검출 시스템의 구조를 나타낸 블록도.
도 4는 제스처 인식 환경의 예시를 나타낸 도면.
도 5와 도 6은 본 발명의 일실시예에 따른 깊이영상 기반 손영역 검출 시스템이 손영역의 후보영역을 추출하는 실시예를 나타낸 도면.
도 7은 본 발명의 일실시예에 따른 깊이영상 기반 손영역 검출 방법의 과정을 나타낸 흐름도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 3은 본 발명의 일실시예에 따른 깊이영상 기반 손영역 검출 시스템(300)의 구조를 나타낸 것으로서, 본 발명의 일실시예에 따른 깊이영상 기반 손영역 검출 시스템(300)은 배경처리부(301), 후보영역추출부(302) 및 손영역인식부(303)를 포함한다.

배경처리부(301)는 카메라(310)로부터 전달받은 깊이영상에서 배경을 제거하는 작업을 수행하고, 배경이 제거된 영상을 후보영역추출부(302)로 전달한다.

일반적으로 깊이영상을 제공하는 카메라(310)를 이용하여 제스처를 인식할 경우 카메라(310)와 가장 가까운 물체를 중심으로 손동작이나 몸동작을 인식하게 된다. 이러한 경우 카메라(310)로 입력되는 모든 영상에 대하여 데이터를 처리함으로써 많은 데이터 처리량을 필요로 하게 된다.

또한, 카메라(310)와 움직이는 물체 사이에 다른 물체가 존재할 경우 인식률이 낮아지는 문제점이 존재한다. 특히, 도 4에 도시된 바와 같이 카메라(310)가 위에서 아래로 향하고 있는 경우에는 손보다 머리와 같은 기타 물체들이 카메라(310)와 더 가까이 존재함으로 인하여 인식률이 낮아지게 된다.

본 발명은 이를 해결하기 위해서 초기에 입력되는 카메라(310)의 영상을 배경으로 삭제하고 이후에 변화되어 입력되는 영상만으로 손영역을 인식하는 과정을 수행한다.

후보영역추출부(302)는 배경처리부(301)로부터 전달받은 영상에서 동적영역과 정적영역을 구분하고 동적영역 중 손영역의 후보영역을 추출한다.

배경처리부(301)로부터 전달받은 영상에서 손을 제외한 테이블 또는 테이블 위의 사물과 같은 경우에는 정적인 형태로 유지되기 때문에 깊이값이 일정하게 유지되는 반면, 손이나 팔 등은 움직이므로 동적인 깊이값을 갖게 된다.

후보영역추출부(302)는 이러한 차이점을 이용하여 전달받은 영상에서 정적영역과 동적영역을 구분하며, 정적영역과 동적영역을 '0'과 '1'로 이진화하여 구분할 수 있다. 즉, 카메라(310)를 통해 획득한 영상 중 정적영역은 '0'으로 처리하고 동적영역은 '1'로 처리하여 정적영역과 동적영역을 구분한다.

도 5는 후보영역추출부(302)가 배경처리부(301)로부터 전달받은 영상을 이진화하여 정적영역과 동적영역으로 구분한 실시예를 나타낸 것으로서, 검은색으로 표시된 부분이 동적영역을 나타낸다.

그리고 후보영역추출부(302)는 이진화처리된 영상에서 동적영역으로 구분된 영역에 라벨링을 할 수도 있다.

즉, 도 6에 도시된 바와 같이 이진화 작업을 통해 '1'로 처리된 영역에서 인접한 화소에는 같은 번호를 붙여주고 연결되지 않은 다른 영역에는 다른 번호를 붙여서 각각의 동적영역을 라벨링할 수 있다.

라벨링을 통해서 동적영역으로 확인된 영역에 대해서는 손모양 확인 및 제스처 인식을 위한 과정을 독립적으로 수행하고, 이진화 및 라벨링 작업은 지속적이고 주기적으로 수행한다.

후보영역추출부(302)는 라벨링된 동적영역 중에서 손영역 인식을 위한 후보영역을 추출한다. 라벨링된 동적영역의 이동성을 지속적으로 추적하여 이동성이 없거나 현저히 낮은 객체는 제스처를 취하지 않는 손이거나 손이 아닌 객체이기 때문에 후보영역에서 제외한다. 그리고 동적영역 중 손의 크기에 비하여 너무 크거나 너무 작은 영역도 후보영역에서 제외한다. 이때 이 과정에서 정확도를 높이기 위해서 객체에서 노이즈 성분을 제거하는 잡영 제거 단계로 함께 수행할 수 있다.

후보영역추출부(302)는 전술한 과정을 통해 동적영역으로 구분된 영역 중 손영역에 해당할 수 있는 후보영역을 추출하고 추출된 후보영역에 대한 정보를 손영역인식부(303)로 전달한다.

손영역인식부(303)는 후보영역추출부(302)로부터 전달받은 손영역의 후보영역이 손영역에 해당하는지 여부를 확인하고 제스처 인식 과정을 수행한다. 본 발명은 손모양 확정 및 제스처 인식 과정을 손영역의 후보영역에 한정하여 수행하므로 손영역 검출에 따른 연산량을 획기적으로 줄일 수 있도록 한다.

일실시예에 따르면, 손영역인식부(303)는 손영역의 후보영역의 중심점을 계산하고 계산된 중심점을 기준으로 후보영역의 바깥쪽 8방향으로 깊이값을 탐색한다. 손영역의 후보영역의 중심점으로부터 8방향으로 깊이값을 탐색하여 깊이값이 급격하게 변하는 부분을 검출하고 검출된 부분을 후보영역에 포함된 객체의 윤곽선으로 인식한다.

그리고 찾아낸 윤곽선을 통해 후보영역 내에 손가락 모양의 윤곽선이 존재하는지 여부를 확인하고, 손가락 모양의 윤곽선이 존재하면 해당 후보영역을 손영역으로 확정하고 손영역에 포함된 객체의 움직임을 통해 제스처를 인식한다.

윤곽선을 계산한 후 손가락 모양의 윤곽선을 찾지 못할 경우에는 후보영역에 대한 8방향 깊이값 탐색을 다시 수행한다. 손영역의 후보영역으로 추출된 영역에 대해서는 후보영역 내 객체 전체의 움직임이 사라질 때까지 지속적이고 주기적으로 중심점 획득 및 8방향 탐색을 수행하여 손 및 손가락 모양에 대한 추적을 계속 수행할 수 있도록 한다.

본 발명은 손영역의 후보영역에 한정하여 손영역 검출 과정을 수행하여 시스템의 연산량을 감소시킬 수 있도록 하며, 깊이정보만을 이용하여 손영역을 인식함으로써 주변 환경에 의한 영향을 감소시킬 수 있도록 한다.

도 7은 본 발명의 일실시예에 따른 깊이영상 기반 손영역 검출 방법의 과정을 나타낸 것이다.

깊이영상 기반 손영역 검출 시스템은 카메라를 통해 깊이영상을 획득하고 획득한 깊이영상에서 배경을 제거한다(S700). 그리고 배경이 제거된 영상에서 깊이값 탐색을 통해 정적영역과 동적영역을 구분한다(S710).

깊이영상에서 정적인 객체를 포함하는 영역은 깊이값이 일정하게 유지되는 반면 동적인 객체를 포함하는 영역은 깊이값이 변화하므로, 깊이값이 변화하는 영역을 동적영역으로 구분한다.

동적영역으로 구분된 영역에 대해서는 동적영역 내의 이동성을 지속적으로 확인하고 손모양의 크기와 비교하여 손영역의 후보영역을 추출한다(S720).

이때 정적영역과 동적영역은 이진화처리를 통해 구분할 수 있으며, 동적영역으로 구분된 영역에 대해서는 인접한 화소들을 라벨링하고 라벨링된 영역에 대한 손영역의 후보영역 추출 과정을 독립적으로 수행할 수 있다.

손영역의 후보영역이 검출되면 검출된 후보영역이 손영역을 포함하는지 여부를 검출하는 과정을 수행한다.

일실시예에 따르면, 손영역의 후보영역의 중심점을 획득하고(S730) 획득된 중심점으로부터 후보영역의 8방향으로 깊이값 탐색을 수행한다(S740). 깊이값 탐색을 통해 깊이값이 크게 변하는 부분을 후보영역에 포함된 객체의 윤곽선으로 인식하고, 인식된 윤곽선 중 손가락 모양의 윤곽선이 존재하는지 여부를 확인한다(S750).

손가락 모양의 윤곽선이 존재하면 해당 후보영역을 손영역으로 인식하고(S760) 인식된 영역의 제스처 인식을 수행하며, 손가락 모양의 윤곽선이 존재하지 않으면 8방향 깊이값 탐색을 반복 수행하여 손영역을 인식한다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

300 : 깊이영상 기반 손영역 검출 시스템

Claims (6)

1. 카메라를 통해 획득한 깊이영상에서 배경을 제거하는 배경제거부;
   상기 배경이 제거된 깊이영상에서 정적영역과 동적영역을 구분하고 상기 동적영역 중 손영역의 후보영역을 추출하는 후보영역추출부; 및
   상기 추출된 후보영역의 깊이값을 탐색하여 상기 후보영역에 포함된 객체의 윤곽선을 검출하고 검출된 윤곽선을 이용하여 상기 객체가 손인지 여부를 확인하며 손으로 확인된 객체를 포함하는 후보영역을 손영역으로 인식하는 손영역인식부
   를 포함하는 깊이영상 기반 손영역 검출 시스템.
   
2. 제1항에 있어서, 상기 손영역인식부는
   상기 후보영역의 중심점으로부터 상기 후보영역의 바깥쪽 방향으로 깊이값을 탐색하고 탐색된 깊이값이 기설정된 값 이상으로 변하는 부분을 상기 후보영역에 포함된 객체의 윤곽선으로 검출하는 것
   인 깊이영상 기반 손영역 검출 시스템.
   
3. 제1항에 있어서, 상기 손영역인식부는
   상기 검출된 윤곽선 중 손가락 모양의 윤곽선이 존재하는지 여부를 확인하여 상기 객체가 손인지 여부를 확인하는 것
   인 깊이영상 기반 손영역 검출 시스템.
   
4. 제1항에 있어서, 상기 후보영역추출부는
   상기 깊이영상에서 깊이값이 일정하게 유지되는 영역을 정적영역으로 구분하고, 깊이값이 변화하는 영역을 동적영역으로 구분하는 것
   인 깊이영상 기반 손영역 검출 시스템.
   
5. 제1항에 있어서, 상기 후보영역추출부는
   상기 동적영역에 포함된 객체의 이동성, 상기 동적영역의 크기에 기초하여 상기 손영역의 후보영역을 추출하는 것
   인 깊이영상 기반 손영역 검출 시스템.
   
6. 카메라를 통해 획득한 깊이영상에서 배경을 제거하는 단계;
   상기 배경이 제거된 깊이영상을 정적영역과 동적영역으로 구분하는 단계;
   상기 동적영역 중 손영역의 후보영역을 추출하는 단계;
   상기 추출된 후보영역의 깊이값을 탐색하여 상기 후보영역에 포함된 객체의 윤곽선을 검출하는 단계; 및
   상기 검출된 윤곽선을 이용하여 상기 객체가 손인지 여부를 확인하고 손으로 확인된 객체를 포함하는 후보영역을 손영역으로 인식하는 단계
   를 포함하는 깊이영상 기반 손영역 검출 방법.
   

Images