KR101700817B1 - 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 - Google Patents

Abstract

3차원 영상에서 다수의 팔과 손을 검출하고 추적하는 장치 및 그 방법이 개시된다. 본 발명의 일 면에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치는 객체에 대한 3차원 영상을 획득하는 영상 입력부; 상기 3차원 영상에서 상기 객체에 대한 하나 이상의 컴포넌트(Component) 단위의 후보 영역을 검출하고, 각 후보 영역에서 추출한 팔 검출 특징정보 및 패턴 인식 알고리즘을 이용하여 하나 이상의 팔 영역을 검출하는 팔 검출부; 및 상기 팔 검출부에서 검출된 각 팔 영역에서 손의 위치 및 손목의 위치를 계산하고, 상기 손의 위치 및 손목의 위치를 이용하여 손 영역을 검출하는 손 검출부를 포함한다.

Description

3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법{APPARATUS AND METHOD FOR MULTIPLE ARMAS AND HANDS DETECTION AND TRAKING USING 3D IMAGE}

본 발명은 객체 검출 및 추적 기술에 관한 것으로서, 보다 상세하게는 3차원 영상에서 다수의 팔과 손을 검출하고 추적하는 장치 및 그 방법에 관한 것이다.

최근 이해하기 쉽고 직관적인 상호작용 방법이 게임기, TV, 핸드폰, 웨어러블 컴퓨터 등 다양한 응용 분야에서 증강현실, 가상현실, 제스처 인식등과 결합되어 활용되고 있다. 하지만, 현재 물리적인 터치 패널이나 PUI(Physical user interface)를 이용한 방법이 대부분이라, 실제 버튼을 터치한다거나 특정한 기기들을 실제로 만지거나 쥐고 있어야 한다는 단점이 있다. 이를 극복하기 위해서 많은 연구나 제품들이 공간에서 손과 상호작용을 하는 방법에 관심을 두고 있다. 특히 구글 글래스와 같이 양손을 자유롭게 사용할 수 있는 웨어러블 기기에서 팔/손을 이용한 상호작용 방법이 요구된다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 3차원 영상에서 다수의 사람 손과 팔을 정확하게 검출하고 추적하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치는 객체에 대한 3차원 영상을 획득하는 영상 입력부; 상기 3차원 영상에서 상기 객체에 대한 하나 이상의 컴포넌트(Component) 단위의 후보 영역을 검출하고, 각 후보 영역에서 추출한 팔 검출 특징정보 및 패턴 인식 알고리즘을 이용하여 하나 이상의 팔 영역을 검출하는 팔 검출부; 및 상기 팔 검출부에서 검출된 각 팔 영역에서 손의 위치 및 손목의 위치를 계산하고, 상기 손의 위치 및 손목의 위치를 이용하여 손 영역을 검출하는 손 검출부를 포함한다.

바람직한 실시예에 있어서, 상기 팔 검출부는 캐스케이드(Cascade) 기법을 사용하여, 검출된 후보 영역들 중에서 팔의 특징정보와 상관관계가 적은 특징정보가 추출된 후보 영역들부터 차례대로 제외한다.

바람직한 실시예에 있어서, 상기 팔 검출부는 상기 3차원 영사에서 상기 객체에 대한 하나 이상의 컴포넌트 단위의 후보 영역을 검출하는 객체 검출부와, 상기 각 후보 영역에서 팔 검출 특징정보를 추출하는 팔 특징 추출부와, 캐스케이드(Cascade) 기법을 사용하여, 검출된 후보 영역들 중에서 팔의 특징정보와 상관관계가 적은 특징정보가 추출된 후보 영역들부터 차례대로 제외하여 팔 후보 영역을 판별하는 팔 객체 판별부를 포함한다.

여기서, 상기 특징 정보는 텍스처, 색상, 모양, 길이, 외곽선 및 평행선 중 적어도 하나를 포함할 수 있다.

바람직한 실시예에 있어서, 상기 손 검출부는 상기 손의 위치 및 상기 손목의 위치를 특징정보로 하여 학습된 분류기를 이용하여 손 영역을 판별한다.

바람직한 실시예에 있어서, 상기 손 검출부는 각 팔 영역에서 손 후보 영역을 검출하고, 상기 손 후보 영역에서 팔의 장축 방향을 기준으로 가장 상단에 있는 픽셀을 기준으로 3차원 픽셀 연결 경로 방향으로 기 정의된 손의 체적을 가지는 영역을 설정하고, 설정된 영역에 속하는 픽셀들의 위치좌표 평균 값을 상기 손의 위치로 결정한다.

바람직한 실시예에 있어서, 상기 손 검출부는 상기 손의 위치를 원점으로 하는 극좌표계를 설정하여 각도를 기반으로 하는 로그 검색(Log search) 수행하여, 경로를 순서대로 이동하면서 손목 영역을 검색한다.

바람직한 실시예에 있어서, 상기 손 검출부는 상기 손의 위치를 원점으로 하는 3차원 픽셀 방향의 여러 경로 중에서, 이동 경로를 중심으로 평행한 라인이 존재하는 해당 이동 경로 상에서, 변곡점(inflection point)이 발생하는 지점을 상기 손목의 위치로 결정한다.

본 발명의 다른 실시예에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치는 객체에 대한 실시간 3차원 영상을 획득하는 영상 입력부; 현재 3차원 영상 프레임에서 상기 객체에 대한 하나 이상의 컴포넌트(Component) 단위의 후보 영역을 검출하고, 각 후보 영역에서 추출한 팔 검출 특징정보 및 패턴 인식 알고리즘을 이용하여 하나 이상의 팔 영역을 검출하는 팔 검출부; 및 현재 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역에 대한 제1 팔 추적 특징과, 이전 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역에 대한 제2 팔 추적 특징 사이의 연관관계를 이용하여 팔을 추적하는 팔 추적부를 포함한다.

바람직한 실시예에 있어서, 상기 팔 검출부는 캐스케이드(Cascade) 기법을 사용하여, 검출된 후보 영역들 중에서 팔의 특징정보와 상관관계가 적은 특징정보가 추출된 후보 영역들부터 차례대로 제외한다.

바람직한 실시예에 있어서, 상기 팔 추적부는 현재 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역 각각에 대한 제1 팔 추적 특징과 이전 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역 각각에 대한 제2 팔 추적 특징 사이의 유사도를 평가하여 팔을 추적한다.

한편, 본 발명의 다른 실시예에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치는 상기 팔 추적부에서 추적된 각 팔 영역에서 손의 위치 및 손목의 위치를 계산하고, 상기 손의 위치 및 손목의 위치를 이용하여 손 영역을 검출하는 손 검출부와, 현재 3차원 영상 프레임에서 검출된 하나 이상의 손 영역에 대한 제1 손 추적 특징과, 이전 3차원 영상 프레임에서 검출된 하나 이상의 손 영역에 대한 제2 손 추적 특징 사이의 연관관계를 이용하여 손을 추적하는 손 추적부를 더 포함할 수 있다.

이 때, 상기 손 검출부는 상기 손의 위치 및 상기 손목의 위치를 특징정보로 하여 학습된 분류기를 이용하여 손 영역을 판별한다.

다른 한편으로, 상기 손 검출부는 각 팔 영역에서 손 후보 영역을 검출하고, 상기 손 후보 영역에서 팔의 장축 방향을 기준으로 가장 상단에 있는 픽셀을 기준으로 3차원 픽셀 연결 경로 방향으로 기 정의된 손의 체적을 가지는 영역을 설정하고, 설정된 영역에 속하는 픽셀들의 위치좌표 평균 값을 상기 손의 위치로 결정한다.

다른 한편으로, 상기 손 검출부는 상기 손의 위치를 원점으로 하는 극좌표계를 설정하여 각도를 기반으로 하는 로그 검색(Log search) 수행하여, 경로를 순서대로 이동하면서 손목 영역을 검색한다.

본 발명의 다른 실시예에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치는 상기 제1 및 제2 팔 추적 특징 및 상기 제1 및 제2 손 추적 특징을 저장하는 손/팔 정보 저장부를 더 포함할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 다른 면에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 방법은 객체에 대한 실시간 3차원 영상을 획득하는 단계; 현재 3차원 영상 프레임에서 상기 객체에 대한 하나 이상의 컴포넌트(Component) 단위의 후보 영역을 검출하고, 각 후보 영역에서 추출한 팔 검출 특징정보 및 패턴 인식 알고리즘을 이용하여 하나 이상의 팔 영역을 검출하는 단계; 현재 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역에 대한 제1 팔 추적 특징과, 이전 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역에 대한 제2 팔 추적 특징 사이의 연관관계를 이용하여 팔을 추적하는 단계; 추적된 각 팔 영역에서 손의 위치 및 손목의 위치를 계산하고, 상기 손의 위치 및 손목의 위치를 이용하여 손 영역을 검출하는 단계; 현재 3차원 영상 프레임에서 검출된 하나 이상의 손 영역에 대한 제1 손 추적 특징과, 이전 3차원 영상 프레임에서 검출된 하나 이상의 손 영역에 대한 제2 손 추적 특징 사이의 연관관계를 이용하여 손을 추적하는 단계; 및 상기 제1 팔 추적 특징 및 상기 제1 손 추적 특징을 데이터베이스에 갱신하는 단계를 포함한다.

이상 상술한 바와 같은 본 발명에 따르면, 기존의 2차원 손 영역 검출/추적 방법들과는 정확도면에서 큰 차이를 보이며, 손가락 끝점 및 관절 정보들을 보다 정확하게 검출해 준다. 기존의 손 검출/추적 방법은 사람 검출이나 얼굴 검출 방법을 사용하여 사람이나 얼굴을 검출한 뒤, 그 검출된 영역을 참조로 하여 팔을 검출하지만 이 방법은 사람 전신이나 얼굴이 보이지 않아도 팔을 찾을 수 있는 장점이 있다. 또한 팔과 손을 검출/추적하기 위해 초기화를 할 필요가 없으므로, 시스템적으로 자동화 될 수 있다.

한편, 본 발명에서 추적된 팔/손 정보들은 손가락 및 관절 인식 방법의 사전 정보로 이용될 수 있으며, 웨어러블 컴퓨터(Wearable computer), 증강현실(Augmented reality), 가상현실(Virtual reality), 제스처 인식 (Gesture recognition), HRI (Human-robot interface), HCI (Human-computer interface), 인공지능 분야에 필요한 상호작용의 기반 정보로 사용될 수 있다.

도 1 본 발명의 일 면에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치의 내부 구성을 도시한 도면.
도 2는 도 1에 도시된 팔 검출부의 내부 구성을 도시한 도면.
도 3은 도 1에 도시된 팔 추적부의 내부 구성을 도시한 도면.
도 4는 도 1에 도시된 손 검출부의 내부 구성을 도시한 도면.
도 5는 도 1에 도시된 손 추적부의 내부 구성을 도시한 도면.
도 6은 도 1에 도시된 손/팔 정보 저장부의 내부 구성을 도시한 도면.
도 7은 본 발명의 다른 면에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 방법을 도시한 도면.
도 8은 검출된 손 후보 영역에서 손 및 손목의 위치가 추출된 결과를 도시한 도면.
도 9는 여러 경로들 중에서 손목 영역과 연결되는 경로를 검색하여, 손목 영역을 검출하는 구체적인 예를 도시한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1 본 발명의 일 면에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치의 내부 구성을 도시한 도면이다.

도 1을 참조하면, 본 발명에 따른 3차원 영상을 이용한 다수의 팔 및 손 검출 장치는 3차원 영상 입력부(100), 팔 검출부(200), 팔 추적부(300), 손 검출부(400), 손 추적부(500), 손/팔 정보 저장부(600)를 포함하여 구성된다.

3차원 영상 입력부(100)는 관측 대상(혹은 객체)에 대한 3차원 영상을 획득한다. 3차원 영상 입력부(100)는 2차원 영상을 획득하는 수단, 다양한 3차원 영상 형태를 지원하기 위해 3D 깊이 영상을 획득하는 수단, 다시점의 2차원 영상을 획득하는 수단, 스테레오 영상을 획득하는 수단 등으로부터 관측 대상에 대한 3차원 영상을 실시간으로 획득한다.

예를 들어, 3차원 영상 입력부(100)는 수동 방식의 센서를 사용할 경우, 같은 방식의 두 가지 센서(CCD, IR 등)를 스테레오 구조를 이용하여 사용하고, 능동 방식의 센서를 사용할 경우 키넥트(Kinect)나 TOF(Time Of Flight)를 이용하여 거리 정보를 포함하는 3차원 영상을 생성한다.

3차원 영상 입력부(100)는 2차원 영상을 획득하는 수단의 입력 영상의 경우에는 2차원 영상들로부터 3차원 영상을 생성하는 프로세스를 처리한다. 또한, 3차원 깊이 영상이나 2차원 영상들로부터 생성된 3차원 영상들에는 원천적인 노이즈가 있으므로, 다양한 영상 보정 방법들을 이용하여 영상 보정을 수행한다.

3차원 깊이 영상은 카메라로부터 입력 받은 2차원 영상의 각 화소 단위에 색상정보나 명암정보 대신 깊이 정보를 부여한 영상이다. 이러한 깊이 영상은 크게 2개의 방법을 이용하여 얻을 수 있다. 하나는 스테레오 매칭으로 인간이 두 눈과 뇌에서의 시각피질을 이용하여 입체 공간을 인식할 수 있듯이 이와 유사하게 한 쌍의 카메라로부터 들어오는 영상을 이용하여 관측 공간 상의 거리 및 관측 물체의 삼차원 형태를 감지하는 원리를 사용하는 방법이다. 하지만 이 방법은 연산량이 많아 실시간으로 정확한 깊이 정보를 얻기에 적합하지 않은 단점이 있는데, 실시간 처리를 위해 연산 속도를 올릴 경우 깊이 정보의 정확도가 떨어질 수 있다.

한편, 깊이 영상은 얻는 또 다른 방법은 카메라 전방에 레이저를 방사하고 레이저가 반사하여 돌아오는 속도를 계산하여 깊이 정보를 얻는 방법이다. 이와 같은 방법은 실시간으로 사용이 가능하며, 정확도가 높다는 장점이 있다.

팔 검출부(200)는 3차원 영상 입력부(100)로부터 전달 받은 3차원 영상에서 패턴 인식 기반으로 다수의 팔 후보 영역들을 판별하고, 상기 팔 후보 영역들에서 다양한 분리 기법을 사용하여 팔 영역만을 정확하게 분리(segmentation)한다.

이하, 도 2를 참조하여 본 발명의 실시예에 따른 팔 검출부(200)의 내부 구성을 구체적으로 설명한다. 도 2는 도 1에 도시된 팔 검출부의 내부 구성을 도시한 도면이다.

도 2를 참조하면, 본 발명의 실시예에 따른 팔 검출부(200)는 객체 검출부(210), 팔 특징 추출부(220), 팔 객체 판별부(230), 팔 영역 분리부(240)를 포함한다.

객체 검출부(210)는 3차원 영상에서 객체를 검출한다. 예컨대, 객체 검출부(210)는 하나의 컴포넌트(Component)를 이룰 수 있는 다양한 종류의 객체를 3차원 영상 내에서 검출한다.

예컨대, 입력된 3차원 영상의 모든 부분에서 팔 영역의 패턴과 동일 또는 유사한 특징을 검색하는 경우에는 상당한 시간이 소요되고, 검출의 정확도가 떨어질 수 있다. 본 발명의 실시예와 같이, 먼저 하나의 컴포넌트를 이룰 수 있는 다양한 종류의 객체를 3차원 영상에서 검출하고, 검출된 객체에 대해서만 패턴 인식 알고리즘을 이용하여 팔 영역을 판별하므로 검출 시간을 절약하거나 검출의 정확도를 높일 수 있다.

팔 특징 추출부(220)는 패턴 인식에 사용될 수 있는 다양한 종류의 특징들을(features)를 검출된 객체 영역에서 추출한다.

예컨대, 팔 특징 추출부(220)는 검출된 객체 영역의 영상에서 텍스처, 색상, 모양, 길이, 외곽선 및 평행선 등과 같은 특징들을 추출한다.

팔 객체 판별부(230)는 추출된 여러 특징들을 이용하여 검출된 객체들 중에서 팔 후보 영역을 판별한다. 이 때, 팔 객체 판별부(230)는 캐스케이드(Cascade) 기법을 사용하여 팔이 아닐 만한 특징을 가진 객체들부터 제거해 가는 방법을 사용한다.

한편, 팔 객체 판별부(230)는 전술한 캐스케이드 기법 이외에 다양한 패턴 인식 방법들을 사용하여 검출된 객체들 중에서 팔 후보 영역을 판별한다. 예컨대, 팔 객체 판별부(230)는 캐스케이드 기법을 사용하여 팔이 아닐 만한 특징을 가진 객체들을 제거하고 남은 객체들에서 추출한 특징들을 손/팔 정보 저장부(600)에 기 구축되어 있는 팔 특징 정보 데이터베이스의 특징들과 비교하여 유사도가 기 설정된 임계치 이상인 객체를 팔 후보 영역으로 판별한다. 이 때, 다수의 객체들이 팔 후보 영역으로 판별될 수 있다.

팔 영역 분리부(240)는 팔 후보 영역으로 판별된 객체들에서 다양한 분리 기법을 사용하여 팔 영역만을 정확하게 분리(Segmentation)한다. 영상 분할, 또는 분리 기법으로 공지된 다양한 기술이 사용될 수 있으며, 이에 대한 설명은 본 발명의 요지를 흐릴 수 있으므로 구체적인 설명은 생략한다.

다시, 도 1로 돌아가 팔 추적부(300)에 대해서 설명한다.

팔 추적부(300)는 실시간으로 입력되는 3차원 영상에서 다수의 팔을 가려진 환경 하에서도 추적한다.

예컨대, 팔 추적부(300)는 팔 특징 추출부(220)에서 추출된 팔 검출 특징과, 다수의 팔을 추적하기 위해 새롭게 추출된 팔 추적 특징들을 이용하여 이전 영상 프레임에서 검출된 다수의 팔 후보 영역들에 대해 연관관계(Association) 기반의 추적 프로세스를 진행함으로써, 다른 객체에 의해 팔의 일부가 가려진 환경에서도 탁월한 추적 성능을 보장할 수 있다.

이하, 도 3을 참조하여 본 발명의 실시예에 따른 팔 추적부(300)의 내부 구성을 구체적으로 설명한다. 도 3은 도 1에 도시된 팔 검출부의 추적부의 내부 구성을 도시한 도면이다.

도 3을 참조하면, 본 발명의 실시예에 따른 팔 추적부(300)는 팔 추적 특징 추출부(310), 연관관계 기반 팔 추적부(320)를 포함한다.

팔 추적 특징 추출부(310)는 팔 특징 추출부(220)에서 추출되는 팔 검출 특징들(텍스처, 색상, 모양, 길이, 외곽선 및 평행선 등)에 더하여 팔 추적에 필요한 팔 추적 특징들(위치, 속도, 가속도 및 모션들과 같은 특징들)을 이전 영상 프레임과 현재 영상 프레임에서 검출된 팔 영역들을 비교하여 검출한다.

연관관계 기반 팔 추적부(320)는 이전 영상 프레임의 팔 추적 특징들과 현재 영상 프레임의 팔 추적 특징들 사이의 연관관계를 이용하여 팔 영역들을 추적한다.

예컨대, 팔 영역들의 추적은 현재 영상 프레임의 팔 추적 특징들과 이전 영상 프레임의 팔 추적 특징들 사이의 유사성 정도를 비교 및 분석함으로써 수행될 수 있다. 유사성 정도가 가장 높은 팔일수록 추적 정확도가 높다.

연관관계 기반 추적 프로세스는 검출된 특징들을 비교하여 추적하는 방법이므로 가려진 팔(들)을 잘 추적할 수 있다. 따라서 팔이 아닌 다른 물체에 가려진 상황이나 여러 사람들의 팔(들)이 서로 엇갈리는 상황에서도 팔(들)을 정확하게 추적할 수 있다. 최종적으로 추적된 팔(들)의 정보는 다음 영상 프레임 추적에 사용되어야 하므로 추적된 팔(들)의 위치와 특징 정보들을 팔/손 정보 저장부(600)에 저장하여 다음 프레임에서의 팔(들) 추적에 사용하도록 한다.

다시, 도 1로 돌아가 손 검출부(400)에 대해서 설명한다.

손 검출부(400)는 현재 영상 프레임의 추적된 다수의 팔 영역들에서 다수의 손 영역들을 기계학습이나 패턴인식 방법을 이용하여 검출한다.

이하, 도 4를 참조하여 본 발명의 실시예에 따른 손 검출부(400)의 내부 구성을 구체적으로 설명한다. 도 4는 도 1에 도시된 손 검출부의 내부 구성을 도시한 도면이다.

도 4를 참조하면, 본 발명의 실시예에서 손 검출부(400)는 손 후보 영역 검출부(410), 손목 영역 검출부(420), 손 영역 판별부(430), 손 영역 분리부(440)를 포함한다.

손 후보 영역 검출부(410)는 현재 영상 프레임에서 추적된 다수의 팔 영역들에서 기계학습이나, 패턴인식 방법 등으로 학습된 분류기를 이용하여, 손과 비슷한 모양과 부피를 가지는 손 후보 영역의 위치를 검출한다. 여기서, 분류기는 텍스처, 색상, 모양, 길이, 부피 및 깊이 차 등과 같은 특징을 이용하여 학습될 수 있다.

손은 대략적으로 실린더 형태(cylinder) 형태를 띠고 있다. 따라서 부피와 깊이 정보들에서 손은 다른 객체들과 차이가 있다. 본 발명의 실시예에서는 부피, 깊이 정보 등을 포함하는 수많은 특징들을 기반으로 Adaptive Boosting (AdaBoost) 알고리즘을 이용하여 분류기를 학습한다. 학습된 분류기는 그 학습된 형태와 비슷한 형태를 가지는 위치에서 손 후보 영역을 검출한다.

도 8은 검출된 손 후보 영역에서 손 및 손목의 위치가 추출된 결과를 도시한다.

도 8에서 붉은 색 점은 손의 위치를 의미하고, 다홍색 점은 손목의 위치를 의미한다. 여기서, 손의 위치 및 손목의 위치는 2차원 또는 3차원 좌표 상에서의 좌표 값으로 표시되고, 손 및 손목의 위치에 대한 대표 값을 의미하는 것으로 해석될 수 있다.

한편, 본 명세서에서는 손의 위치는 손 후보 영역 검출부(410)에서 계산되는 것으로, 손목의 위치는 손목 영역 검출부(420)에서 계산되는 것으로 설명되지만, 각 추출 프로세스의 주체가 명세서 기재에 한정되는 것은 아니다. 다만, 설명의 편의를 위해 손의 위치는 손 후보 영역 검출부(410)에서 계산되고, 손목의 위치는 손목 영역 검출부(420)에서 계산되는 것으로 한다.

도 8에 도시된 바와 같이, 손 후보 영역 검출부(410)는 추적된 다수의 팔 영역들에서 손 후보 영역을 검출한다. 여기서, 배경의 검은색을 제외한 나머지 색이 있는 영역이 손 후보 영역을 의미한다.

손의 위치는 손 후보 영역의 끝점, 즉 검출된 손 후보 영역에서 팔의 장축 방향을 기준으로 가장 상단에 있는 픽셀을 기준으로 3차원 픽셀 연결 경로 방향으로(즉, 끝점에서 팔의 장축 방향으로) 대략적인 손의 체적(예컨대, 10cm x 10cm x 10cm)을 가지는 영역(빨간색 원(구))을 설정하고, 설정된 영역에 속하는 픽셀들의 평균적인 2차원 또는 3차원 위치 좌표로 결정된다.

손목 영역 검출부(420)는 손 영역 검출의 정확도를 향상시키기 위해 검출된 손 후보 영역에서 손목 영역을 검출한다.

구체적으로 설명하면, 손목 영역 검출부(420)는 손 후보 영역 검출부(410)에서 결정된 손의 위치(붉은 색 점, 도 8 참조)를 기준으로 3차원 픽셀 연결 경로 방향으로 이동하면서 검출한다.

이 경우, 이동 경로는 1개의 경로가 아닌 대략적으로 수개의 경로가 발생한다. 가능한 경로의 수는 너무 많으므로 발생한 경로 중에서 손목 영역과 연결되는 경로일 가능성이 낮은 경로는 검색에서 제외할 필요가 있다.

이를 위해, 손목 영역 검출부(420)는 손의 위치를 원점으로 하는 극좌표계를 설정하여 각도를 기반으로 하는 로그 검색(Log search) 수행하여, 경로를 순서대로 이동하면서 손목 영역을 검색한다. 이는 비슷한 경로들을 제거함으로써 모든 가능한 경로의 수를 급격하게 줄여주는 역할을 한다.

도 9에는 여러 경로들 중에서 손목 영역과 연결되는 경로를 검색하여, 손목 영역을 검출하는 구체적인 예가 도시된다.

예컨대, 손의 위치를 원점으로 시작되는 3차원 픽셀 방향의 여러 경로 중, 변곡점이 발생하는 지점이 있고, 아닌 지점이 있을 수 있다. 이와 동시에 이동 경로를 중심으로 평행 라인이 존재하는 경우도 있고 없는 경우가 있다.

손목의 위치는 손의 위치를 원점으로 하는 3차원 픽셀 방향의 여러 경로 중에서, 이동 경로를 중심으로 평행한 라인(녹색 실선, 도 9참조)이 존재하는 해당 이동 경로 상에 있고, 그 이동 경로 상에서 변곡점(inflection point)이 발생하는 지점(다홍색 점, 도 9참조)에서 검출된다.

손 영역 판별부(430)는 계산된 손의 위치 및 손목의 위치 및 기계학습이나, 패턴인식 방법 등으로 학습된 분류기를 이용하여 손 영역을 판별한다. 손 영역 판별을 위한 학습 알고리즘은 다양하게 이용될 수 있다.

손 영역 분리부(440)는 손 후보 영역으로 판별된 객체들에서 다양한 분리 기법을 사용하여 손 영역만을 정확하게 분리(Segmentation)한다. 영상 분할, 또는 분리 기법으로 공지된 다양한 기술이 사용될 수 있으며, 이에 대한 설명은 본 발명의 요지를 흐릴 수 있으므로 구체적인 설명은 생략한다.

다시, 도 1로 돌아가 손 추적부(500)에 대해서 설명한다.

손 추적부(500)는 연속적으로 입력되는 실시간 3차원 영상에서 다수의 손을 가려진 환경 하에서도 추적한다.

예컨대, 손 추적부(500)는 손 검출을 위해 추출된 다수의 특징들과, 다수의 손을 추적하기 위해 새롭게 추출된 손 추적 특징들을 이용하여 이전 영상 프레임에서 검출된 다수의 손 영역들에 대해 연관관계(Association) 기반의 추적 프로세스를 진행함으로써, 다른 객체에 의해 손의 일부가 가려진 환경에서도 탁월한 추적 성능을 보장할 수 있다.

이하, 도 5를 참조하여 본 발명의 실시예에 따른 손 추적부(500)의 내부 구성을 구체적으로 설명한다. 도 5는 도 1에 도시된 손 검출부의 내부 구성을 도시한 도면이다.

도 5를 참조하면, 본 발명의 실시예에 따른 손 추적부(500)는 손 추적 특징 추출부(510), 연관관계 기반 팔 추적부(520)를 포함한다.

손 추적 특징 추출부(510)는 손 추적에 필요한 손 추적 특징들(위치, 속도, 가속도 및 모션들과 같은 특징들)을 이전 영상 프레임과 현재 영상 프레임에서 검출된 손 영역들을 비교하여 검출한다.

연관관계 기반 팔 추적부(520)는 이전 영상 프레임의 손 추적 특징들과 현재 영상 프레임의 손 추적 특징들 사이의 연관관계를 이용하여 손 영역들을 추적한다.

예컨대, 손 영역들의 추적은 현재 영상 프레임의 손 추적 특징들과 이전 영상 프레임의 손 추적 특징들 사이의 유사성 정도를 비교 및 분석함으로써 수행될 수 있다. 유사성 정도가 가장 높은 팔일수록 추적 정확도가 높다.

연관관계 기반 추적 프로세스는 검출된 특징들을 비교하여 추적하는 방법이므로 가려진 손(들)을 잘 추적할 수 있다. 따라서 손이 아닌 다른 물체에 가려진 상황이나 여러 사람들의 손(들)이 서로 엇갈리는 상황에서도 손(들)을 정확하게 추적할 수 있다. 최종적으로 추적된 손(들)의 정보는 다음 영상 프레임 추적에 사용되어야 하므로 추적된 손(들)의 위치와 특징 정보들을 팔/손 정보 저장부(600)에 저장하여 다음 프레임에서의 손(들) 추적에 사용하도록 한다.

도 6은 추적된 팔/손 정보 및 특징들을 저장하기 위한 팔/손 정보 저장부 블록도이다.

팔/손 정보를 저장하는 이유는 다음 영상 프레임에 나타날 팔/손(들)을 추적하기 위함이다. 팔 추적과 손 추적에서 팔/손 정보를 저장하거나 가져온다. 팔 정보데이터베이스(600a)와 손 정보 데이터베이스(600b)는 포함관계 있으므로 같은 ID를 갖는 팔과 손의 정보는 서로 연동 되어야 하며, 각 특징들을 서로 공유하고 있어야 한다. 저장되는 정보들은 위치, 속도, 가속도, 모션, 텍스처, 색상, 모양, 길이, 부피, 깊이차, 외곽선 및 평행선 등과 같다. 이들 정보들은 매 영상 프레임마다 팔/손 추적을 위해서도 사용되며, 팔 추적부(300)와 손 추적부(500)으로부터 갱신하기도 한다. 기본적으로 과거 히스토리 정보들도 저장하고 있도록 하여, 연관관계 기반 추적 방법 사용시 이용될 수 있다.

이상에서는, 본 발명의 일 면에 따른 차원 영상을 이용한 다수의 팔 및 손 검출 장치의 구성 및 기능에 대해 살펴보았고, 이하에서는 도 7을 참조하여 전술한 팔 및 손 검출 장치의 동작을 살펴보도록 한다.

S10 단계에서, 3차원 영상 입력부(100)는 객체에 대한 실시간 3차원 영상을 획득한다. 이때, 3차원 영상 입력부(100)는 3차원 영상을 입력 받을 수 있고, 혹은 동일 객체를 촬영한 다양한 시점의 2차원 영상을 입력 받을 수 있다. 입력된 영상이 복수 시점의 2차원 영상인 경우에는, 이들 영상을 이용하여 3차원 영상을 생성하는 프로세스가 수행되어야 한다. 한편, 입력된 3차원 영상 또는 생성된 3차원 영상에는 원천적인 노이즈가 있으므로 다양한 영상 보정 방법들을 사용하여 노이즈가 제거된 영상이 출력된다.

S20 단계에서, 팔 검출부(200)는 입력된 현재 3차원 영상 프레임에서 객체에 대한 하나 이상의 컴포넌트(Component) 단위의 후보 영역을 검출하고, 각 후보 영역에서 추출한 팔 검출 특징정보 및 패턴 인식 알고리즘을 이용하여 하나 이상의 팔 영역을 검출한다.

검출된 후보 영역에서 팔 영역을 검출하기 위해서는 팔과 같은 패턴을 인식할 수 있을만한 특징들을 추출해야 한다. 따라서, 팔 검출부(200)는 텍스처, 색상, 모양, 길이, 외곽선 및 평행선과 같은 특징들을 후보 영역 영상에서 추출한다. 이후, 팔 검출부는 추출된 특징들을 이용하여 검출된 후보 영역들 중에서 팔 영역을 판별한다. 이 때, 검출된 후보 영역들 중에서 팔의 특징정보와 상관관계가 적은 특징정보가 추출된 후보 영역들부터 차례대로 제외하는 캐스케이드(Cascade) 기법이 사용될 수 있다.

S30 단계에서, 팔 추적부(300)는 현재 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역에 대한 제1 팔 추적 특징과, 이전 3차원 영상 프레임에서 검출된 하나 이상의 팔 영역에 대한 제2 팔 추적 특징 사이의 연관관계를 이용하여 팔을 추적한다.

팔을 추적하기 위해서는 먼저 팔 추적에 필요한 팔 추적 특징이 추출되어야 한다. 팔 검출 특징들(텍스처, 색상, 모양, 길이, 외곽선 및 평행선)에 더하여 위치, 속도, 가속도 및 모션들과 같은 특징들을 추출하여, 팔 추적 특징으로 이용 한다.

예컨대, 팔 추적부(300)는 추출된 추적 특징들을 가진 팔(들)과 이전 영상 프레임에서 추적하고 있던 팔(들) 사이의 연관관계(Association)을 이용하여 팔(들)을 추적한다. 여기서, 이전 영상 프레임의 팔(들)의 특징 정보들은 손/팔 정보 저장부(600)에서 가져온다.

연관관계 방법은 현재 영상 프레임의 팔(들)의 추적 특징들과 이전 영상 프레임의 팔(들)의 추적 특징들 사이의 유사성 정도를 비교 및 분석함으로써 이루어진다. 유사성 정도가 가장 높은 팔(들)일수록 추적 정확도가 높다.

한편, 추적된 팔(들)의 정보는 다음 영상 프레임 추적에 사용되어야 하므로 추적된 팔(들)의 위치와 특징 정보들을 팔/손 정보 저장부(600)에 저장하여 다음 프레임에서의 팔(들) 추적에 사용하도록 한다.

S40 단계에서, 손 검출부(400)는 추적된 각 팔 영역에서 손의 위치 및 손목의 위치를 계산하고, 상기 손의 위치 및 손목의 위치를 이용하여 손 영역을 검출한다.

다수의 손(들)을 검출하기 위해서, 손 검출부(400)는 먼저 추적된 팔 영역에서 손 후보 영역을 검출 한다. 손 후보 영역은 텍스처, 색상, 모양, 길이, 부피 및 깊이 차를 특징으로 기계학습이나 패턴 인식 방법으로 학습된 분류기 사용하여 검출된다. 학습된 분류기는 손과 비슷한 모양과 부피를 가지는 손 후보 영역과 위치를 검출한다.

좀 더 정확한 손의 영역을 찾기 위하여, 손 검출부(400)는 손목 영역을 검출 한다. 손목은 손 영역의 중심 위치로부터 3차원 픽셀 연결 경로(Connected path)로 이동하면서 검출한다. 가능한 경로의 수는 너무 많으므로 손 중심 위치를 원점으로 하는 극좌표계를 설정하여 각도를 기반으로 하는 로그 검색(Log search) 이용하여 경로를 순서대로 이동하면서 손목 영역을 검출한다. 로그 검색은 비슷한 경로들을 제거함으로써 모든 가능한 경로의 수를 급격하게 줄여주는 역할을 한다. 손목의 위치는 손 중심 위치와 연결된 경로에 대해 평행한 2개의 라인이 존재하는 경로 상에서 결정된다. 구체적으로, 상기 경로 상에서 변곡점(Inflection point)이 있는 곳에서 손목의 위치는 검출된다.

한편, 손 검출부(400)는 손과 손목의 위치를 이용하여 손 영역을 판별 한다. 손 판별 방법은 손 후보 영역 검출기와 비슷한 방법으로 기계학습이나 패턴인식 방법으로 학습하여 판별 한다. 판별 학습 알고리즘은 다양하게 이용될 수 있다. 최종적으로 손이라고 판별된 손 영역들을 다양한 분리 기법들을 사용하여 손 영역만을 정확하게 분리(Segmentation)한다.

S50 단계에서, 손 추적부(500)는 현재 3차원 영상 프레임에서 검출된 하나 이상의 손 영역에 대한 제1 손 추적 특징과, 이전 3차원 영상 프레임에서 검출된 하나 이상의 손 영역에 대한 제2 손 추적 특징 사이의 연관관계를 이용하여 손을 추적한다.

손 추적부(500)에 의한 손 추적 프로세스는 S30 단계에서 팔 추적부(300)에 의해 수행된 추적 프로세스와 동일하니, 이에 대한 설명은 S30 단계에서의 설명으로 갈음한다.

S60 단계에서, 팔 추적부(300) 및 손 추적부(500)는 상기 제1 팔 추적 특징 및 상기 제1 손 추적 특징을 데이터베이스에 갱신한다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

1. 객체에 대한 3차원 영상을 획득하는 영상 입력부;
   상기 3차원 영상에서 상기 객체에 대한 하나 이상의 컴포넌트(Component) 단위의 후보 영역을 검출하고, 각 후보 영역에서 추출한 팔 검출 특징정보 및 패턴 인식 알고리즘을 이용하여 하나 이상의 팔 영역을 검출하는 팔 검출부; 및
   상기 팔 검출부에서 검출된 각 팔 영역에서 손의 위치 및 손목의 위치를 계산하고, 상기 손의 위치 및 손목의 위치를 이용하여 손 영역을 검출하는 손 검출부를 포함하고,
   상기 손 검출부는, 상기 손의 위치를 원점으로 하는 극좌표계를 설정하여 각도를 기반으로 하는 로그 검색(Log search) 수행하여, 경로를 순서대로 이동하면서 손목 영역을 검색하는 것
   인 3차원 영상을 이용한 다수의 팔 및 손 검출 장치.
   
2. 제1항에 있어서, 상기 팔 검출부는,
   캐스케이드(Cascade) 기법을 사용하여, 검출된 후보 영역들 중에서 팔의 특징정보와 상관관계가 적은 특징정보가 추출된 후보 영역들부터 차례대로 제외하는 것
   인 3차원 영상을 이용한 다수의 팔 및 손 검출 장치.
   
3. 제1항에 있어서, 상기 팔 검출부는,
   상기 3차원 영상에서 상기 객체에 대한 하나 이상의 컴포넌트 단위의 후보 영역을 검출하는 객체 검출부와,
   상기 각 후보 영역에서 팔 검출 특징정보를 추출하는 팔 특징 추출부와,
   캐스케이드(Cascade) 기법을 사용하여, 검출된 후보 영역들 중에서 팔의 특징정보와 상관관계가 적은 특징정보가 추출된 후보 영역들부터 차례대로 제외하여 팔 후보 영역을 판별하는 팔 객체 판별부를 포함하는 것
   인 3차원 영상을 이용한 다수의 팔 및 손 검출 장치.
   
4. 제1항에 있어서, 상기 특징 정보는,
   텍스처, 색상, 모양, 길이, 외곽선 및 평행선 중 적어도 하나를 포함하는 것
   인 3차원 영상을 이용한 다수의 팔 및 손 검출 장치.
   
5. 제1항에 있어서, 상기 손 검출부는,
   상기 손의 위치 및 상기 손목의 위치를 특징정보로 하여 학습된 분류기를 이용하여 손 영역을 판별하는 것
   인 3차원 영상을 이용한 다수의 팔 및 손 검출 장치.
   
6. 제1항에 있어서, 상기 손 검출부는,
   각 팔 영역에서 손 후보 영역을 검출하고, 상기 손 후보 영역에서 팔의 장축 방향을 기준으로 가장 상단에 있는 픽셀을 기준으로 3차원 픽셀 연결 경로 방향으로 기 정의된 손의 체적을 가지는 영역을 설정하고, 설정된 영역에 속하는 픽셀들의 위치좌표 평균 값을 상기 손의 위치로 결정하는 것
   인 3차원 영상을 이용한 다수의 팔 및 손 검출 장치.
   
7. 삭제
8. 제1항에 있어서, 상기 손 검출부는,
   상기 손의 위치를 원점으로 하는 3차원 픽셀 방향의 여러 경로 중에서, 이동 경로를 중심으로 평행한 라인이 존재하는 해당 이동 경로 상에서, 변곡점(inflection point)이 발생하는 지점을 상기 손목의 위치로 결정하는 것
   인 3차원 영상을 이용한 다수의 팔 및 손 검출 장치.
   
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 객체에 대한 실시간 3차원 영상을 획득하는 단계;
    현재 3차원 영상 프레임에서 상기 객체에 대한 하나 이상의 컴포넌트(Component) 단위의 후보 영역을 검출하고, 각 후보 영역에서 추출한 팔 검출 특징정보 및 패턴 인식 알고리즘을 이용하여 하나 이상의 팔 영역을 검출하는 단계; 및
    각 팔 영역에서 손의 위치 및 손목의 위치를 계산하고, 상기 손의 위치 및 손목의 위치를 이용하여 손 영역을 검출하는 단계를 포함하고,
    상기 손 영역을 검출하는 단계는 상기 각 팔 영역에서 손 후보 영역을 검출하고, 상기 손 후보 영역에서 팔의 장축 방향을 기준으로 가장 상단에 있는 픽셀을 기준으로 3차원 픽셀 연결 경로 방향으로 기 정의된 손의 체적을 가지는 영역을 설정하고, 설정된 영역에 속하는 픽셀들의 위치좌표 평균 값을 상기 손의 위치로 결정하는 것
    을 특징으로 하는 3차원 영상을 이용한 다수의 팔 및 손 검출 방법.

Images