KR101283262B1

KR101283262B1 - 영상 처리 방법 및 장치

Info

Publication number: KR101283262B1
Application number: KR1020110108378A
Authority: KR
Inventors: 박정아; 지호진; 김회율; 곽재호; 현종민; 나문수
Original assignee: 한양대학교 산학협력단; 엘지이노텍 주식회사
Priority date: 2011-10-21
Filing date: 2011-10-21
Publication date: 2013-07-11
Also published as: KR20130044099A; EP2584529A2; JP6125188B2; EP2584529B1; US20130101170A1; EP2584529A3; US9031282B2; JP2013089252A; EP2584529B8

Abstract

본 발명은 영상 처리 장치 및 방법에 관한 것으로서, 영상의 깊이 정보를 획득하고, 영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하고, 상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하고, 상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하고, 상기 후보 영역이 목표물에 대응되는 경우 상기 후보 영역을 이용하여 목표 영역을 검출하고, 상기 목표 영역을 이용하여 목표물의 자세를 추정하며, 상기 목표물을 모델링함으로써 깊이 정보만을 이용하여 목표물을 간단하고 정확하게 모델링할 수 있다.

Description

영상 처리 방법 및 장치{METHOD OF IMAGE PROCESSING AND DEVICE THEREOF}

본 발명은 영상 처리 방법 및 장치에 관한 것으로서, 특히, 깊이 정보를 가지는 영상으로부터 사람과 같은 목표물을 검출하여 모델링하기 위한 영상 처리 방법 등에 관한 것이다.

컴퓨터 비전의 중요한 부분인 CCD카메라는 2차원의 이미지만을 읽어 들일 수 있다. 하지만 우리가 살고 있는 공간은 3차원으로 이루어져 있고, 이러한 공간을 인식할 필요가 있는 곳에서는 2차원 이미지를 제공하는 1대의 카메라만으로는 인식이 어렵게 된다.

2차원 정보만을 입력받을 수 있는 카메라 등의 센서를 통해 3차원 정보를 추출하기 위한 시도로서 지금까지 다음과 같은 여러 방법들이 개발되어 왔다.

첫 번째로, 물체의 표면에 레이저를 주사하여 센서에 반사되어 오는 시간을 측정함으로써 거리를 측정하는 방법이 시도되었다. 이 방법은 실내에서 15m 이상 멀리 떨어져 있는 물체의 거리를 측정하는 목적으로 쉽게 사용될 수 있지만, 1㎝ 이하의 해상도를 기대하기 어렵기 때문에 활용범위가 그다지 넓지 못한 방법이다.

두 번째로 깊이 정보를 알고자 하는 물체에 일정한 패턴을 가진 빛을 주사하고 그 결과 물체의 표면에 나타난 패턴의 왜곡 정도를 분석하여 표면의 굴곡과 거리를 계산하는 방법이 시도되었다. 이 방법은 여타 기법들 가운데 가장 간단하게 구현될 수 있지만, 물체와 카메라의 거리가 멀어지면 해상도가 크게 떨어지는 단점을 가지고 있다.

세 번째로, 모이레(Moire) 패턴을 이용하는 기법도 개발되었는데, 이 방법은 한 방향에서 거리를 측정하고자 하는 물체에 회절무늬의 빛을 주사하고, 물체에서 반사되는 무늬를 다른 방향에서 레퍼런스(reference) 패턴과 간섭(interference)을 일으키게 한다. 그리고 그 결과 만들어진 모이레 패턴을 분석하여 물체의 깊이 정보를 추출하는 방법이다. 모이레 패턴을 이용하는 방법은 해상도가 10㎛에 이를 정도로 정교한 결과를 얻을 수 있지만, 데이터 연산량이 막대하다는 단점이 있다.

네 번째로, 여러 종류의 광원을 물체에 주사하고, 광원마다 다른 특성을 보이게 되는 표면의 변화를 감지하여 물체의 모양을 추측해 내는 기법도 시도되었으나 이 방법으로는 일반적인 3차원 깊이 정보를 추출할 수는 없다.

상술한 기법들은 한 대의 카메라를 사용해 3차원 정보를 추출하는 기법들이다.

반면, 최근에는 인간의 시각체계를 모방해 두 대 이상의 카메라를 사용하는 방법이 시도되고 있다.

구체적으로, 두 대 이상의 카메라를 이용하여 사용되는 스테레오 비전은, 일정한 거리를 두고 배치된 2대의 카메라에서 촬영된 좌영상 및 우영상의 기하학적 관계 및 정합을 이용하여 카메라로부터 피사체의 깊이 정보를 획득할 수 있다. 깊이 정보를 획득하는 과정에서는 정확하고 복잡한 연산이 요구되지만, 본 명세서에서는 깊이 정보를 획득하는 과정 이후에 피사체를 검출하고 이를 기반으로 피사체를 모델링하는 방법에 대해 설명한다.

본 발명은 깊이 정보만을 이용하여 피사체를 검출하는데 있어서, 피사체가 존재하는 영역에 대한 관심 영역을 분리하여 이미지를 처리함으로써 연산 처리 속도를 높일 수 있다.

본 발명은 영상의 깊이 정보에 따라 분류된 구간을 기초로 픽셀 집합으로 분해하고, 픽셀 집합 중 목표물일 가능성이 높은 것을 후보 영역을 검출하여 목표물을 검출함으로써, 이미지의 3차원 처리가 가능하도록 한다.

본 발명의 일 실시예에 따른 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법은, 영상의 깊이 정보를 획득하는 단계; 영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 단계; 상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하는 단계; 상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 단계; 기 후보 영역이 목표물에 대응되는 경우 상기 후보 영역을 이용하여 목표 영역을 검출하는 단계; 기 목표 영역을 이용하여 목표물의 자세를 추정하는 단계; 및 기 목표물을 모델링하는 단계를 포함한다.

본 발명의 일 실시예에 따른 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치는, 영상의 깊이 정보를 획득하는 영상 획득부; 영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 관심 영역 분리부; 상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하는 영역 검출부; 및 상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 매칭부를 포함하고, 상기 후보 영역이 목표물에 대응되는 경우 상기 영역 검출부는 상기 후보 영역을 이용하여 목표 영역을 검출하고, 상기 목표 영역을 이용하여 목표물의 자세를 추정하는 자세 추정부 및 상기 목표물을 모델링하는 모델링부를 더 포함한다.

본 발명에 따르면 깊이 정보만을 이용하여 간단하고 정확하게 목표물을 검출할 수 있도록 한다.

본 발명에 따르면 목표물의 파트를 검출 및 추정함으로써 목표물의 모델링을 할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 위한 순서도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법에서 관심 영역을 추출하고 후보 영역을 검출하는 동작에 대한 세부 순서도를 나타낸다.
도 3 내지 도 8은 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역을 검출하는 방법에 의해 처리되는 이미지의 일례를 나타낸다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 영상 처리 방법에서 후보 영역이 목표물에 매칭되는 지를 판단하는 과정에서 처리되는 이미지의 일례를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역을 검출하는 방법에 대한 세부 순서도를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역을 검출하는 과정에서 처리되는 이미지의 일례를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역의 자세를 추정하는 방법에 대한 세부 순서도를 나타낸다.
도 14는 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역의 자세를 추정하는 과정에서 목표물 외곽선을 처리하는 이미지의 일례를 나타낸다.
도 15는 본 발명의 일 실시예에 따른 영상 처리 방법에서 골격을 추출하는 과정에서 처리되는 이미지의 일례를 나타낸다.
도 16 내지 도 19는 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역의 자세를 추정하고 목표물을 모델링하는 과정에서 처리되는 이미지의 일례를 나타낸다.
도 20은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성에 대한 블록도를 나타낸다.

이하, 본 발명의 일 실시예에 대해 설명한다. 본 발명의 목표물에 대해 사람으로 예시하여 본 명세서에서 설명될 것이고, 목표물의 파트는 사람의 몸통, 팔 또는 다리로 예시하여 설명될 것이다. 본 발명은 사람뿐만 아니라, 동물, 로봇, 다른 목표물에 대해서도 적용될 수 있다 .또한, 본 발명에 따른 영상 처리 장치는 카메라, 네트워크 카메라, 컴퓨터, 스마트폰, 네트워크 TV, 스마트 TV, 휴대폰, 게임 플레이어와 같이 촬영된 이미지를 처리할 수 있는 프로세서 및 어플리케이션이 탑재되는 임의의 디바이스에 대해 범용적으로 적용될 수 있다. 또한, 본 명세서에서 설명되는 영상의 깊이 정보는 스테레오 카메라의 좌, 우 카메라로부터 획득된 깊이 정보로 예시될 수 있으나, 레이저 스캐너, 초음파 장치로부터도 깊이정보가 획득될 수 있는 등, 깊이 정보의 획득방법 및 촬영 장치의 종류에는 제한이 없다. 또한, 깊이 정보는 이미지를 촬영하는 카메라 및 물체 사이의 거리일 수 있으며 본 명세서에서는 0 내지 255의 상대적인 크기값으로 예시될 것이다. 도 3의 (a)는 목표물(10)을 사람으로서 촬영한 경우 컬러 데이터로 표현되는 이미지를 나타내고, 도 3의 (b)는 깊이 정보로 표현되는 영상을 나타낸다. 도 3의 (b)를 참조하면, 영상의 명암이 밝을수록 깊이 정보는 큰 값을 가지고 카메라로부터 가까움을 나타내고, 명암이 어두울수록 깊이 정보가 작아지고 카메라로부터 멀리 떨어져 있음을 나타낸다. 도 3의 (b)를 참조하면, 사람(10)은 가장 밝게 나타나는 영상의 주변 물체보다 카메라로부터 멀리 떨어져 있음을 나타낸다. 도 3의 (c)는 깊이 정보를 획득할 수 있는 스테레오 카메라의 형상을 예시한 도면이다. 두개의 카메라(c1, c2)는 기준선 거리(L)를 두고 떨어져 위치하고, 각 카메라(c1, c2)로부터 획득되는 영상을 이용하여 깊이 정보가 획득될 수 있다.

한편, 본 명세서에서 목표물을 검출하는 과정에서는 영상의 깊이 정보(d)를 활용하여 실제 길이(R) 에 해당하는 픽셀 수(p)를 추정할 수 있고, 이하의 식1이 이용된다.

---식1

예컨대, 본 명세서에서는 사람 영역을 검출하기 위하여, 20cm 와 같은 소정 너비의 직사각형을 설정하고, 해당 직사각형보다 작은 영역을 사람 영역이 아닌 것으로 간주하고 있다. 이 경우 실제 길이 20cm 에 대응하는 이미지의 길이를 나타내는 픽셀 수를 산출하기 위하여, 식1이 이용될 수 있다. 식1에 의하여 카메라의 초점거리, 임계값으로 사용되는 실제 길이 또는 깊이 정보가 달라짐을 반영하여 다이나믹하게 활용될 수 있으므로, 적응적 임계값을 이용한 목표물 검출이 보다 용이해질 수 있는 것이다. 이하, 도1 이하를 참조하며 본 발명에 대해 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 위한 순서도를 나타낸다. 도 1은 본 발명의 영상 처리 방법의 대략적인 순서도를 나타낸다.

단계(S11)에서, 영상의 깊이 정보를 획득한다. 획득되는 깊이 정보는 0 내지 255의 값의 범위 내에서 피사체의 촬영 환경 및 카메라 성능에 따라 그 범위의 일부, 예컨대, 50 내지 200의 범위로 분포될 수 있다. 깊이 정보는 영상의 픽셀 별로 할당되어 획득될 수 있다.

단계(S12)에서, 영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리한다. 본 명세서에서는 영상을 가로로 3등분한 가운데 영역이 제1 관심 영역일 수 있다. 한편, 후술하는 제2 관심 영역은 본 명세서에서 영상을 세로 방향으로 3개 영역으로 분리한 후 가운데 영역일 수 있다.

단계(S13)에서, 제1 관심 영역으로부터 후보 영역을 검출한다. 후보 영역의 검출 과정에서 영상을 깊이 정보 별로 복수의 픽셀 집합으로 분할하고 픽셀 객체를 생성하여, 목표물에 판단될 가능성이 있는 복수의 픽셀 객체에 대하여 후보 영역으로서 검출할 수 있다.

단계(S14)에서, 검출된 후보 영역이 목표물에 대응되는 지를 판단한다. 목표물에 대응되는 지를 판단하는 과정에서, 사람인 경우 후보 영역으로부터 정수리점을 추출하고, 이를 기초로 정수리점으로부터 일부 영역에 대해 템플릿 매칭을 수행함으로써 목표물 대응 여부를 판단할 수 있다.

단계(S15)에서, 후보 영역이 목표물에 대응되는 경우 상기 후보 영역을 이용하여 목표 영역을 검출한다. 목표 영역은 검출된 후보 영역의 너비를 이용하여 제2 관심 영역을 분리한 후, 해당 영상을 이진화 처리, 라벨링 처리 및 노이즈 제거 과정을 통해 목표물로 판단될 가능성이 있는 목표 영역을 이진화된 영상으로 명확하게 추출하는 과정이다.

단계(S16)에서, 검출된 목표 영역을 이용하여 목표 영역의 자세를 추정한다. 목표 영역의 외곽선 및 골격을 추출하고, 이를 이용하여 목표 영역의 파트 부분을 추정함으로써 목표 영역의 자세를 추정할 수 있다.

단계(S17)에서, 추정 결과를 이용하여 목표물을 모델링한다.

이상, 본 발명의 일 실시예에 따른 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법에 대해 간략히 설명하였다. 이하에서는 도 1의 동작의 세부적인 처리에 대하여 처리되는 이미지를 예시하며 설명될 것이다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 방법에서 관심 영역을 추출하고 후보 영역을 검출하는 동작에 대한 세부 순서도를 나타낸다. 도 3 내지 도 8은 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역을 검출하는 방법에 의해 처리되는 이미지의 일례를 나타낸다. 도 2의 동작을 도 3 내지 도 8의 이미지 처리 과정과 함께 설명할 것이다.

단계(S121)에서, 영상을 복수의 영역으로 분할하고, 단계(S122)에서, 분할된 복수 영역 중 일부 영역을 제1 관심 영역으로 설정한다.

도 3의 (d) 를 참조하면, 영상을 가로 방향으로 3등분하고, 가운데 영역(ROI)을 제1 관심 영역(ROI, Region Of Interest)으로 추출하고 있다. 구체적으로, 영상을 분할하는 경계선(Lu)의 위 영역을 Au, 경계선(Lb)의 아래 영역을 Ab로 설정하고 경계선(Lu, Lb) 의 가운데 영역을 제1 관심 영역(ROI)으로 설정하고 있다. 도 3의 (c) 에서는 목표물(10)이 제1 관심 영역(ROI)에 존재하고 있다. 본 명세서에서는, 목표물로 검출하고자 하는 사람을 촬영하는 경우 영상의 가운데 부분에 사람 영역이 존재할 가능성이 높다고 전제하고, 이에 따라 가운데 영역을 제1 관심 영역으로 설정하고 있다. 그러나, 제1 관심 영역의 설정은 도 3의 (d) 에서 예시되는 바와 같이 가로 방향으로 3등분한다는 필수적인 한정이 없으므로 다른 분할 방법 또는 영역으로 임의로 설정될 수 있다.

단계(S131)에서, 제1 관심 영역의 영상을 깊이 정보를 기반으로 복수의 픽셀 집합으로 분해한다.

도 4의 (a)는, 도 3에서 나타내는 정면도와 상이하게, 카메라가 촬영하는 공간을 카메라로부터 거리 방향으로 바라보는 측면도를 나타낸다. 도 4의 (a)를 참조하면, 카메라로부터 가장 가까운 프런트 지점(front)이 가장 큰 깊이 정보로 표현될 것이고, 카메라로부터 가장 먼 백 지점(back)이 가장 작은 깊이 정보로 표현될 것이다. 본 발명에서는 가장 큰 깊이 정보로부터 작은 깊이 깊이 정보에 이르는 영상의 깊이 정보의 전체 범위에 대하여, 복수개의 기준 깊이값(pivot1, pivot2,...)을 설정하고, 기 설정된 단위 구간(구간1,구간2, 구간3,... ) 내에 존재하는 복수개의 픽셀 집합을 추출한다. 예컨대, 최대 깊이값이 200, 최소 깊이값이 50인 영상을 획득하는 경우, 깊이 정보 200 내지 170을 구간 1로 설정하고, 깊이 정보 185 내지 155를 구간 2로 설정하며, 깊이 정보 170 내지 140을 구간3으로 설정할 수 있다. 다음에, 해당 구간1,2, 또는 3에 깊이 정보를 가지는 픽셀 집합을 구간별로 추출할 수 있다.

이 때, 도 4의 (b)를 참조하여 기준 깊이값(pivot)을 기준으로 하는 단위 구간의 설정에 대해 설명한다. 기준 깊이값(pivot)을 중심으로 15만큼 깊이값이 증가하는 구간 및 15만큼 깊이값이 감소하는 구간을 하나의 단위 구간으로 설정할 수 있다. 즉, 이 경우 단위 구간의 크기는 깊이값 30이 될 수 있다.

본 명세서에서는 단위 구간의 크기를 30으로 설정하고 있으나, 이에 한정되지 않고, 사람의 실제 두께를 기반으로 식1을 이용하여 적응적으로 계산될 수 있다. 예컨대, 통상적인 사람의 실제 두께가 20 cm 이내인 경우 식 1에 20cm 를 적용하고, 이에 해당하는 깊이 정보를 산출할 수 있다.

한편, 각 구간 내에서 깊이값을 가지는 픽셀 집합은 덩어리로서 추출될 수도 있고 여러 개의 군집이 분산해서 추출될 수도 있다. 또한, 각 구간은 도 4의 (a)에서와 같이 이웃하는 구간이 서로 1/2 단위 구간씩 중첩하여 설정될 수도 있다. 각 구간을 중첩되지 않고 연속적으로 설정하거나, 또는 각 구간 사이에 여백이 생기도록 구간을 설정하는 경우에는, 이에 의해서 누락되는 픽셀이 생길 수 있기 때문이다. 또한, 각 구간의 분해에 의하여 동일한 물체가 분해되어 다른 구간에 흩어져서 픽셀 집합으로 표현될 수 있고, 이 경우에는 목표물을 검출하기가 어려워지기 때문이다.

즉, 복수 개의 기준 깊이값들 사이 간격을 단위 구간 크기보다 작거나 같도록 설정함으로써 목표물이 다른 구간에 분해되는 것을 방지하고, 연산 과정에서 누락되는 픽셀이 생기지 않도록 할 수 있다.

도 5는 복수의 구간별로 분해되는 픽셀 집합을 예시한 이미지를 나타낸다. 도 5의 (a)는 구간1에서 깊이 정보를 가지는 픽셀 집합을 나타내고, 도 5의 (b)는 구간2에서 깊이 정보를 가지는 픽셀 집합을 나타내고, 도 5의 (c)는 구간3에서 깊이 정보를 가지는 픽셀 집합을 나타내고, 도 5의 (d)는 구간4에서 깊이 정보를 가지는 픽셀 집합을 나타내고, 도 5의 (e)는 구간5에서 깊이 정보를 가지는 픽셀 집합을 나타내고, 도 5의 (f)는 구간6에서 깊이 정보를 가지는 픽셀 집합을 나타내며, 도 5의 (g)는 구간7에서 깊이 정보를 가지는 픽셀 집합을 나타낸다. 도 5를 참조하면, 구간2에서 추출되는 픽셀 집합이 목표물이 존재하는 영역에 가까운 것을 알 수 있다.

또한, 영상에 대하여 복수의 픽셀 집합으로 도 5와 같이 분해한 후, 목표물이 존재할 가능성이 높은 픽셀 집합을 제거하는 과정이 필요할 수 있다. 예컨대, 픽셀 집합의 크기가 너무 작게 설정되는 경우이다. 따라서, 하나의 픽셀 집합을 구성하는 픽셀수가 식 2에서와 같이 임계값 미만인 경우에는 이러한 픽셀 집합을 제거하여 연산량을 감소시킬 수 있다.

-----식2

따라서, 도 5에서 획득되는 픽셀 집합에 대해서도 식 2를 적용하여 조건을 만족하는 픽셀 집합을 제거한다.

단계(S132)에서, 분해된 각 픽셀 집합에 대하여 라벨링을 수행하여 적어도 하나의 픽셀 객체를 생성한다. 즉, 각 픽셀 집합의 무게 중심을 추출하여 극소한 픽셀 집합을 큰 픽셀 집합으로 영익시키거나 제거함으로써, 각 픽셀 집합을 픽셀 객체로서 생성한다.

본 명세서에서 설명되는 픽셀 객체는 복수의 픽셀들로 구성되는 픽셀 그룹, 또는 픽셀 덩어리로 규정될 수 있으며, 동일하거나 유사한 깊이 정보를 가지고 있어 동일한 물체로 판단될 가능성이 있는 픽셀의 집합이다.

단계(S133)에서, 픽셀 객체를 분석하여 노이즈로 판단된 픽셀 객체를 제거한다.

이 경우 소정 조건을 만족하는 픽셀 객체에 대하여 노이즈로 판단하여 제거하는 연산이 수행될 수 있다. 이에 대해 후술한다.

조건1로서, 적어도 하나의 픽셀 객체를 구성하는 픽셀 수가 기 설정된 임계값 이하인 경우일 수 있다. 예컨대, 사람을 검출하는 경우 픽셀 객체를 구성하는 픽셀의 수가 일정수 이상이 된다는 가정에 의해서이다. 예컨대, 실제 깊이 20cm 너비를 가지는 정사각형을 구성하는 픽셀 수를 식1을 이용하여 구하고, 픽셀 객체를 구성하는 픽셀 수가 이것보다 작은 경우에는 의미 없는 픽셀 객체로 간주하여 제거할 수 있다. 도 6의 (a)를 참조하면, 픽셀 객체(N1)는 그 크기가 작아서 해당 픽셀 개수가 임계 픽셀 개수 이하이므로 노이즈로 간주되고 있다.

조건2로서, 상기 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형의 너비가 기 설정된 임계값 이하인 경우일 수 있다. 여기서는 사람을 검출하고자 하는 경우 사람의 가로 너비는 특정 길이, 예컨대, 20cm 이상이 되는 것을 예상할 수 있다. 20cm 에 상응하는 픽셀 개수는 식1을 이용하여 연산할 수 있다. 도 6의 (b)를 참조하면, 픽셀 객체(N2)의 가로너비가 실제 길이 20cm 이하이므로 노이즈로 간주되어 제거된다.

조건3으로서, 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형에 포함되는 픽셀수 비율이 기 설정된 임계 범위 외에 존재하는 경우일 수 있다. 도 6의 (c1) 및 (c2)를 참조하면, 픽셀의 최외곽을 둘러싸는 사각형(R3)을 설정할 수 있고, 이 사각형 내에 존재하는 픽셀수 비율이 기 설정된 임계 비율인 지를 판단할 수 있다. 픽셀수 비율은 사각형 내 픽셀 객체를 구성하는 픽셀수 대 사각형을 구성하는 픽셀수일 수 있다. 픽셀수 비율이 기 설정된 임계 범위 외에 존재하는 지를 판단하기 위한 조건은 식 3 로 나타낼 수 있다.

-----식 3

도 6의 (c1) 을 참조하면, 픽셀수 비율이 최소 임계값 이하인 경우를 예시하고, 도 6의 (c2)는 픽셀수 비율이 최대 임계값 이상인 경우를 예시한다. 사람을 목표물로서 검출하는 경우에는 사람의 상반신 형상이 오메가(Ω)에 가까우므로, 픽셀수비율이 최대 임계값 이상으로 높은 경우에는 픽셀의 형상이 사각형에 가깝다는 것을 의미하므로 사람이 아닐 경우가 높다. 또한, 픽셀수비율이 최소 임계값 이하로 낮은 경우에도 사람이 아닐 가능성이 높다. 최소 임계값 및 최대 임계값은, 사각형 및 사람 형상을 기초로 적응적으로 설정될 수 있으므로 식3에서 예시되는 값에 의해 한정되지 않는다.

마지막으로, 조건4로서, 적어도 하나의 픽셀 객체가 상기 복수의 영역으로 분할하는 경계선의 일부와 떨어져 있는 경우일 수 있다. 도 6의 (d1)는 분할 경계선(Lb)에 픽셀 객체(P3)가 만나는 경우를 예시한다. 직립의 사람을 검출하고자 하는 경우에는 사람의 하반신이 분할 경계선(La, Lb) 중 하단의 경계선(Lb)과 만날 가능성이 높다. 따라서, 도 6의 (d1)의 픽셀 객체(P3)는 조건4를 만족하지 아니하는 경우로서 그대로 두고, 픽셀 객체(P4)가 경계선(Lb)과 떨어져 있는 경우에는 사람이 아닌 노이즈로 간주하여 제거될 수 있다. 도 6의 (d2)는 픽셀 객체(P4)가 경계선(Lb)과 떨어져 있는 경우로서 노이즈로 제거될 수 있다.

결론적으로, 단계(S133)에서는, 조건1 내지 조건4 중 어느 하나를 만족하는 픽셀 객체에 대해서는 노이즈로 판단하여 제거될 수 있다.

단계(S134)에서, 적어도 하나의 픽셀 객체에 대하여 목표물에 대응하는 영역에 대한 후보 영역을 생성한다. 이 과정은, 단계(S133)에 노이즈가 제거되는 픽셀 객체에 대해서는 후보 영역으로서 검출되는 동작을 의미한다. 도 7을 참조하면, 깊이 정보에 따라 복수개로 분해된 픽셀 그룹으로부터, 라벨링 처리 및 노이즈 제거 처리가 수행된 후 생성되는 후보 영역을 나타낸다. 도 7에서 나타내는 바와 같이, 도 5에서 분해되어 생성되는 픽셀 그룹의 일부가 제거되거나 변형되어, (a) 내지 (f)에서와 같이 복수개의 후보 영역이 검출될 수 있다.

도 8의 (a)는 본 발명에 따라 영상을 깊이값의 구간별로 분할하여 처리하지 아니한 경우에 검출되는 후보 영역의 이미지를 나타내고 도 8의 (b)는 본 발명에 따른 후보 영역을 나타낸다. 두 영상을 비교해봐도 알 수 있듯이 깊이값의 구간별로 분할하여 처리함으로써, 사람과 유사한 깊이값을 가지는 주변 배경 또는 물체가 명확하게 분리, 제거될 수 있다.

다음에, 픽셀 객체가 후보 영역으로서 검출되면 각 영역에 대하여 목표물인지를 검증하는 단계가 필요하다. 도 9 및 도 10은 본 발명의 일 실시예에 따른 영상 처리 방법에서 후보 영역이 목표물에 매칭되는 지를 판단하는 과정에서 처리되는 이미지의 일례를 나타낸다.

한편, 매칭 과정은 후보 영역이 목표물인 사람의 형상인 오메가 형상에 가까운 지를 판단하는 과정이지만, 후보 영역의 검출에 있어서 목표물 일부가 잘려나간 상태로 검출될 수 있어 목표물의 복원이 필요할 수 있다.

도 9의 (a)를 참조하면, 사람의 두상이 관심 영역(ROI) 내에 존재하는 경우에는 검출된 후보 영역이 오메가 형상을 포함하고 있으므로, 목표물의 복원이 필요 없다.

반면, 도 9의 (b)를 참조하면, 사람이 카메라에 가까이 위치하여 사람의 두상이 관심영역(ROI) 외에 존재하는 경우에는, 도 9의 (c)에서 나타내는 바와 같이 후보 영역의 형상이 목표물의 형상과 매칭되지 아니할 수 있으므로, 목표물의 복원이 필요하다. 이 경우 복원이 필요한 부분은 도 9의 (b)에서 나타내는 일부 부분이므로, Au 영역의 일부 면적(S)에 대해서 복원하면 된다.

목표물의 복원이 필요한지 아닌지는 후보영역의 상단이 경계선(Lu)과 만나는지에 따라 판단될 수 있다.

복원하는 과정에서는 단계(S12) 내지 단계(S13)에서 처리되는 일련의 과정이 필요할 수 있다. 그러나, Au 영역의 일부 면적 및 깊이에 대해서 픽셀 객체를 복원하면 되므로 연산 처리가 간단해질 수 있다. 구체적으로, Au 영역의 일부 면적(S)에 대해서 영상을 복수의 픽셀 객체로 분할한다. 이 경우, 전체 깊이 범위에 대해서 분할하지 않고 일부 깊이 범위에 대해서만 분할할 수 있다. 왜냐하면 후보 영역이 포함되는 구간, 예컨대, 도 5의 구간2만을 픽셀 객체로 분리하여도 되기 때문이다.

이외에도, 분할하는 방법에서, 후보 영역의 깊이값 평균을 기준깊이값(pivot)으로 설정하여 기준 깊이값을 중심으로 단위 구간에 해당하는 픽셀 객체로 분할할 수도 있다. 픽셀 객체를 분할, 후보 영역으로 검출하는 단계(S12) 내지 단계(S13)의 동작을 수행하면 경계선(Lu) 위 부분 Au에 존재하는 목표물 영역의 일부가 복원될 수 있다.

즉, 제1 관심 영역 외에 목표물 일부가 존재하는 지를 판단하여, 목표물 일부가 존재하는 경우 상기 제1 관심 영역 외에 존재하는 목표물 일부를 복원함으로써, 목표물 검출 과정을 정확하게 수행할 수 있다.

다음에 후보 영역에 대하여 목표물이 매칭되는 지를 판단하는 과정에 대해 도 10을 참조하여 설명한다. 매칭과정에서는 후보 영역의 상단 부분이 사람의 상반신 일부라고 가정하고, 기 설정된 상반신 형상에 대하여 템플릿 매칭을 수행함으로써 수행될 수 있다. 이 경우, 사람의 상반신을 추출하여야 하므로 사람의 정수리점을 검출할 필요가 있다.

도 10의 (a)는 후보 영역을 나타낸다. 정수리점을 검출하기 위해서는, 후보 영역에 대하여 도 10의 (b)에서와 같이 후보 영역의 외곽선 픽셀에 대하여 -y축 방향으로 연장시킨다. 픽셀 별 최 상단지점의 y축에 대하여 도 10의 (b)와 같이 -y축 방향으로 연결하여 하나의 선으로 만든다. 여기서, 최상단 지점의 y축은 후보 영역의의 최하단의 위치와 연결될 수 있다.

다음에, 도 10의 (c) 에서, 스무딩처리를 하여 외곽선의 노이즈를 제거한다. 스무딩 처리를 함으로써 불필요한 지점이 지역적 최대점으로 검출되는 것을 방지할 수 있다. 지역적 최대점은 외곽선의 기울기가 양에서 음으로 변화하는 지점으로서, 본 발명에서는 후보 영역의 정수리점을 검출하기 위해 사용된다. 따라서 불필요한 지점이 지역적 최대점으로 검출되는 것을 방지하기 위하여 스무딩 처리를 한다.

다음에, 도 10의 (d)에서, 스무딩 처리된 후보 영역 중 지역적 최대점을 추출하고 이점을 정수리점(C) 으로 검출할 수 있다. 본 명세서에서는 정수리 후보점으로도 설명될 수 있다.

정수리점(C) 이 검출되면 이 점으로부터 하단까지 세로 임계값, 이점의 양 옆 가로 임계값을 이용하여 사람 후보 이미지를 생성한다. 본 명세서에서는 가로 임계값을 실제 길이 15cm 로 설정하고, 세로 임계값을 30cm 로 설정할 수 있고, 이에 대응하는 픽셀수를 식1을 이용하여 산출하고, 후보 영역으로부터 사람 후보 이미지를 검출해낸다(도 10의 (g) 참조). 다음에, 검출된 사람 후보 이미지에 대해 도 10의 (h)에서 예시되는 사람 표본 이미지와 함께 유사도를 비교할 수 있다. 유사도 비교 전에 사람 후보 이미지에 대하여 사람 표본 이미지에 맞도록 리사이즈(resize)될 수 있다.

도 10의 (h)를 참조하면 사람 표본 이미지는 오메가 형상을 가질 수 있고, 사람 후보 이미지와의 유사도 비교를 위하여 식4와 같은 NCC(Normalized Cross Correlation) 방법이 이용될 수 있다.

-----식 4

여기서, n : 사람 표본 이미지를 구성하는 픽셀 개수,

는 템플릿 이미지의 픽셀 화소값의 평균값,

는 사람 후보 이미지의 픽셀 화소값의 평균값,

,

는 각 이미지의 픽셀 화소값의 평균값에 대한 표준표차를 나타낸다.

NCC(I _t , I _q )의 값이 임계값, 예컨대, 0.6 ~ 0.7, 보다 높을 경우 사람 후보 이미지에 대하여 사람으로 판단할 수 있다.

도 11은 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역을 검출하는 방법에 대한 세부 순서도를 나타내고, 도 12는 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역을 검출하는 과정에서 처리되는 이미지의 일례를 나타낸다. 도 11의 과정은 도 12와 함께 설명한다. 목표물 검출 과정은, 후보 영역에 대하여 최종의 목표물 영역을 검출하기 위한 처리일 수 있다.

단계(S151)에서, 검출된 후보 영역을 이용하여 제2 관심 영역을 분리한다. 도 12의 (a)를 참조하면, 사람 모양으로 검출된 후보 영역(C2)의 너비를 이용하여 영상을 세로 방향으로 분할하고 후보 영역(C2)이 포함되는 가운데 영역을 제2 관심 영역으로 분리해낸다.

단계(S152)에서, 제2 관심 영역을 후보 영역(C2)의 평균 깊이 정보를 이용하여 이진화 처리한다. 예컨대, 후보 영역(C2)의 평균 깊이 정보가 175인 경우에는 175보다 15만큼 크고, 15만큼 작은 범위인, 깊이 정보 160 내지 190의 깊이값을 가지는 픽셀 객체를 추출하여 추출된 픽셀 객체에 대하여 최대 깊이값인 255로 처리하고나머지 영역을 최소 깊이값인 0으로 처리할 수 있다. 즉, 후보 영역의 평균 깊이 정보를 기준으로 소정 범위에 존재하는 픽셀 객체에 대하여 이진화 처리를 수행한다. 소정 범위의 값은 임의로 설정되고 제한되지 않는다.

단계(S153)에서, 이진화 처리된 제2 관심 영역에 대하여 라벨링 처리한다. 라벨링 과정에서는 이진화처리된 픽셀 객체 중 가장 큰 객체를 바디 영역으로 규정하고, 이 영역을 중심으로 라벨링 처리를 수행할 수 있다. 즉, 제2 관심 영역 내 노이즈나 다른 객체들은 바디 영역보다 작다는 가정하에서다. 왜냐하면, 사람으로 검증된 후보 영역(C2)을 기준으로 후보 영역의 평균 깊이값을 기초로 이진화 처리를 수행하였으므로, 노이즈 또는 다른 객체가 사람보다 클 가능성은 적기 때문이다. 도 12의 (c) 는 라벨링 처리된 제2 관심 영역을 나타낸다. 도 12의 (c) 를 참조하면 사람의 바디 부분(C3) 및 바닥 부분(C4)가 검출될 수 있다. 여기서 바닥 부분을 제거할 필요가 있다. 도 12의 (d)를 참조하면, 바디 영역(C3)과 그 주위의 바닥 영역(C4)은 깊이 정보가 유사하기 때문이 바닥 영역(C4)이 바디 영역(C3)과 함께 검출될 수 있다. 먼저, 바디 영역(C3)의 탑(top)을 기준으로 아래 방향으로 6/10 지점이 되는 라인을 설정하고, 이 라인으로부터 아래 방향으로 픽셀 비율을 검사할 수 있다. 바닥 영역(C4)은 도 12의 (d)에서 나타내는 바와 같이, 가로축의 픽셀이 차지하는 비율이 아주 높기 때문에, 가로축의 픽셀이 차지 하는 비율이 예컨대, 80% 이상일 경우 바닥이 시작하는 지점으로 판단할 수 있다.

단계(S154)에서, 상기 라벨링 처리된 제2 관심 영역의 노이즈를 제거하면 목표 영역이 생성될 수 있다. 구체적으로 바닥으로 판단되는 영역(C4)을 제거하여 목표 영역을 생성할 수 있다. 도 12의 (e)는 바닥 영역이 제거된 최종 영상을 나타낸다. 즉, 본 발명에서는 제1 관심 영역만을 고려하여 후보 영역으로 검출하고, 검출된 후보 영역을 이용하여 제1 관심 영역 이외의 나머지 영역에 포함되는 목표물 일부를 검출함으로써 목표 영역으로서 생성할 수 있다. 목표 영역은 이진화 처리되는 영상으로서 검출된다.

도 13은 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역의 자세를 추정하는 방법에 대한 세부 순서도를 나타내고, 도 14는 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역의 자세를 추정하는 과정에서 목표물 외곽선을 처리하는 이미지의 일례를 나타낸다. 목표 영역의 자세를 추정하는 과정은 앞서 검출된 목표 영역, 즉 실루엣 영상이 이용될 수 있다. 실루엣 영상은 신체 영역을 최대 깊이값 255, 다른 영역을 최소 깊이값 0으로 구성되는 영상이다.

단계(S161)에서, 목표 영역의 외곽선에 대하여 스무딩 처리한다. 도 14의 (a) 내지 (d)는 목표 영역에 대하여 스무딩 처리가 실행된 예를 나타낸다. 도 14의 (a)는 목표 영역을 나타내고, (b)는 외곽선이 추출된 목표 영역을 나타내고, (c)는 외곽선에 대하여 스무딩 처리가 수행된 이미지를 나타내고 (d)는 스무딩 처리된 외곽선을 실루엣 영상으로 생성한 이미지를 나타낸다.

본 발명에서 목표 영역의 자세(pose)를 추정하기 위해서는 영상의 골격(skeleton)이 이용되는데 골격 추출 과정은 실루엣 영상의 외곽선에 존재하는 노이즈에 민감하므로 스무딩 처리가 필요하다. 스무딩 처리 동작은, 식 5의 Radial sweep 기법이 이용될 수 있다.

-------식 5

여기서

는 각각

번째 외곽선의

,

좌표를 나타낸다.

단계(S162)에서, 스무딩 처리된 목표 영역의 골격을 추출한다. 골격 추출에 있어서, DT 변환(Distance transform) 이 이용될 수 있다.

단계(S163)에서, 목표물을 구성하는 파트를 추정한다. DT 변환은 식 6이 이용될 수 있다.

--------식6

여기서,

는 픽셀

와

사이의 거리를 구하는 함수이고, DT 변환의 결과는 해당 픽셀이 외곽선으로부터 멀리 떨어져 있을 경우 큰 값을 가지게 된다. 거리를 계산 할 때 Euclidean distance가 사용될 수 있다. 도 15의 (a)는 DT 변환한 이미지를 나타내고 외곽선으로부터 멀리 떨어져 있는 골격 부근은 밝게 나타나고, 가까이 있는 부분은 어둡게 나타난다. 도 15의 (b)는 DT 변환 이미지에 대하여 정규화한 이미지를 나타낸다.

여기서 DT 변환식에 식 7을 이용하여 스켈레톤(skeleton) 영상을 생성할 수 있다.

-----식7

과

는 각각 윈도우의 중심 픽셀보다 밝기 값이 작은 픽셀의 수, 밝기 값이 큰 픽셀의 수를 나타낸다. G는 Gain 으로서 N_L 및 N_H 값의 차이를 얼마나 증폭할지를 결정하는 인자이고, 예컨대, 14 로 설정될 수 있다. 임계값 T₀는 180으로 설정될 수 있다. 상술한 식 및 입력값을 통해 생성되는 스켈레톤 영상은 도 15의 (c) 로 나타낼 수 있다. 스켈레톤 영상은 식 7에서 나타내는 바와 같이 255 또는 0 중 하나의 값으로 나타내므로 스켈레톤을 구성하는 골격선(skeleton line)이 불연속적일 수 있다.

도 16 내지 도 19는 본 발명의 일 실시예에 따른 영상 처리 방법에서 목표 영역의 자세를 추정하고 목표물을 모델링하는 과정에서 처리되는 이미지의 일례를 나타낸다.

도 16의 (a)를 참조하면 목표 영역을 이용하여 목표물의 중심 파트, 예컨대, 몸통 부분을 추정하고 있다. 몸통 부분을 추정하는데 있어서, 먼저, 목표 영역인 실루엣 영상의 무게 중심(G)을 추출하고, 무게 중심(G)을 기준으로 실루엣 영상의 내부에 포함되는 직사각형을 설정한다. 무게 중심(G)을 직사각형의 무게중심으로 하는 직사각형으로서 실루엣 영상의 내부에 포함될 수 있는 최대의 직사각형(R3)을 설정할 수 있다. 이 직사각형(R3) 상단 모서리로부터 사람의 상체 비율과 유사하도록 하단 모서리를 포함하는 일부 영역을 제거한 직사각형(R4)을 설정한다. 상체 비율은, 예컨대, 1:1.65일 수 있다.

실루엣 영상으로부터 몸통이 추정되면 이것을 이용하여 도 16의 (b)에서 나타내는 바와 같이 스켈레톤 영상에도 몸통 파트(R4)가 추정될 수 있다.

도 17은 사람의 서브 파트를 추정하기 위한 이미지 처리를 설명하는 도면이다. 서브 파트, 예컨대, 사람의 팔 및 다리는, 몸통 부분의의 좌우에 있다는 가정하에서 방향성 윈도우를 이용하여 추정될 수 있다. 한편, 스켈레톤 영상을 구성하는 데이터는 픽셀에 따라 불연속적이므로 이들을 연속적으로 생성하면서 사람의 각 파트에 적합한 모델링이 요구된다. 본 발명에서는 이를 위해 방향성 윈도우 및 선형최소자승근사법(linear least square approximation)이 이용된다.

도 17의 (a)는 본 발명에서 이용되는 방향성 윈도우를 예시한다. 도 17의 (a)에서 나타내는 바와 같이 방향성 윈도우는 5개의 영역으로 분할될 수 있다. 도 17의 (b)를 참조하면 몸통이 추정된 스켈레톤 영상에서 방향성 윈도우(1,2,3,...)를 이동시켜가면서 팔 파트를 구성하는 스켈레톤 픽셀을 수집할 수 있다. 도 17의 (b)에서는 윈도우1로부터 출발하여 윈도우의 방향을 판단하고, 판단된 방향에 따라 윈도우2,3,.. 으로 이동시키고 있다. 윈도우의 이동 원리에 대해 도 17의 (c)를 참조하여 보면, 시작 픽셀을 먼저 정하고 시작 픽셀로부터 떨어져 있는 다음 픽셀이 윈도우의 5 영역 중 어느 영역 방향인 지를 판단하여 이 방향에 따라 윈도우를 이동시킬 수 있다. 도 17의 (b)의 첫번째는 시작 픽셀이 영역1이고, 윈도우의 방향을 영역 2로 하여 이동시키고 있고, 두번째는 시작 픽셀이 영역1이고, 윈도우의 방향을 영역 3으로 하여 이동시키고 있으며, 세번째에서는 시작 픽셀이 영역1이고, 윈도우의 방향을 영역 4로 하여 이동시키고 있음을 알 수 있다. 여기서, 방향성 윈도우의 이동 방향을 판단하는 데에는, 선형최소자승근사법( Linear Least Square Approximation)이 이용될 수 있다.

선형최소자승근사법은 아래의 식8으로 나타낼 수 있다.

,

-----------------식 8

a1은 직선의 기울기를 나타내고, a0는 y 절편을 의미한다. n은 모델링할 데이터 개수를 나타내고,

는 각각

번째의

좌표 값을 나타낸다. 선형최소자승근사법을 이용해 스켈레톤을 직선 한 개 혹은 두 개로 모델링할 수 있다. 여기서, 윈도우를 이동하는 과정에서 발생하는 표준추정에러 (Standard error of estimate)

의 값이 크면 데이터가 직선 하나로 모델링하기 적합하지 않다는 의미이므로, 직선 두 개로 팔을 모델링할 수 있다. 이로 인해 오차율을 감소시킬 수 있다.

는 식 9와 같이 산출될 수 있다.

,

--------------식 9

도 17의 d는 선형 최소자승근사법 및 방향성 윈도우를 이용하여 서브 파트인 팔을 모델링한 이미지를 예시한다.

한편, 다리 부분에 대해서도 팔과 같이 선형최소자승근사법 및 방향성 윈도우를 이용하여 구해질 수 있다. 다리부분이 팔의 추정과 다른 점은 다리부분의 시작지점이 몸통부분(R4)으로부터 출발하지 않는다는 것이다. 다리의 추정을 위해서는 시작 지점을 검출할 필요가 있다.

도 18의 (a)를 참조하면, 추정된 몸통의 사각형 아래를 관심 영역(ROI)으로 설정하고, 몸통부분의 하단과 만나는 스켈레톤 픽셀(a1)을 시작으로 아래 방향으로 스켈레톤 픽셀의 x 위치에 대한 표준 편차를 계산해나간다. 이 경우, 다리가 시작되는 픽셀(a2)에 다다르면 표준 편차가 급격히 변경되어질 것이다. 이 점을 다리 추정을 위한 시작 지점으로 설정할 수 있다. 도 18의 (b)에서는 시작 지점(a2)을 시작으로 하여 방향성 윈도우를 이동시켜 다리 부분을 추정할 수 있고 도 18의 (c)에서는 선형최소자승근사법 및 방향성 윈도우를 이용하여 추정되는 다리를 모델링한 모습을 나타낸다. 방향성 윈도우 이동 및 선형최소자승근사법에 대해서는 팔의 추정에서 설명한 바 그 설명을 생략한다.

도 19의 (a)는 목 부분을 추정하는 이미지 처리의 일례를 나타낸다. 도 19의 (a)에서 나타내는 바와 같이, 추정된 몸통 사각형의 상단에 목이 있다고 가정하여 몸통 상단 부분을 관심 영역(ROI)으로 설정하고, 관심 영역(ROI) 내에 존재하는 픽셀들에 대하여 선형최소자승근사법을 수행하여 목을 모델링할 수 있다. 여기서 목 스켈레톤의 끝 부분에 머리가 위치한다고 가정하여 머리 위치를 추정할 수 있다.

도 19의 (b)는 다양한 영상에 대하여 선형최소자승근사법을 이용하여 사람을 모델링한 이미지를 예시하고 있다.

도 20은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성에 대한 블록도를 나타낸다. 도 20을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(10)는 영상의 깊이 정보를 획득하는 영상 획득부(11), 영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 관심 영역 분리부(12), 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하는 영역 검출부(13), 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 매칭부(14)를 포함할 수 있다. 여기서 영역 검출부는 세부적으로 후보 영역 검출부 및 목표 영역 검출부를 포함할 수 있다. 후보 영역이 목표물에 대응되는 경우 영역 검출부(13)는 상기 후보 영역을 이용하여 목표 영역을 검출할 수 있다. 또한, 영상 처리 장치(10)는, 목표 영역을 이용하여 목표물의 자세를 추정하는 자세 추정부(15) 및 상기 목표물을 모델링하는 모델링부(16)를 더 포함할 수 있고, 각 영상 처리 과정에서 생성되는 모델링 이미지, 영상의 깊이 정보, 복수픽셀 객체, 후보 영역 및 최종 영역 등과 같은 이미지 또는 데이터를 저장하는 메모리(17)를 더 포함할 수 있다. 메모리는 영상 처리 장치(10)를 구성하는 모든 모듈과 연결되어 이들이 필요로 하는 데이터의 리드/라이트를 위한 메모리를 제공할 수 있다. 메모리는, 예컨대, HDD, Flash memory, RAM, ROM 으로 구성될 수 있다.

영상 획득부(11)는 영상의 깊이 정보를 획득할 수 있다. 영상 획득부(11)는 영상의 깊이 정보를 추출하기 위한 하드웨어, 예컨대, 스테레오 카메라, 레이저 스캐너, 초음파 장치 와 같은 모듈을 구비할 수 있다. 또한, 영상 획득부911)는 입력되는 정보를 이용하여 영상의 깊이 정보를 산출하기 윈한 연산 프로세서를 구비할 수 있다. 예컨대, 스테레오 영상으로부터 깊이 정보를 획득하기 위해서는 좌, 우 카메라의 기준값(카메라 간 거리), 좌우 영상의 시차 등을 이용하여 실제 또는 정보 또는 상대적인 깊이 값으로 산출할 필요가 있으므로, 영상 획득부(11)는 이러한 연산 처리를 수행하기 위한 프로세서를 구비할 수 있다.

관심 영역 분리부(12), 영상을 복수의 영역으로 분할하고, 분할된 복수 영역 중 일부 영역을 제1 관심 영역으로 설정할 수 있다.

영역 검출부(13)는, 제1 관심 영역의 영상을 깊이 정보를 기반으로 복수의 픽셀 집합으로 분해하고, 상기 분해된 각 픽셀 집합에 대하여 라벨링을 수행하여 적어도 하나의 픽셀 객체를 생성하고, 상기 픽셀 객체를 분석하여 노이즈로 판단된 픽셀 객체를 제거하고, 상기 노이즈가 제거된 적어도 하나의 픽셀 객체에 대하여 목표물에 대응하는 영역에 대한 후보 영역을 생성하는 후보 영역 생성부를 포함할 수 있다. 여기서, 후보 영역 검출부는, 복수의 픽셀 집합으로 분해하는 데 있어서, 영상의 깊이 정보의 전체 범위에 대하여, 복수 개의 기준 깊이값을 설정하고, 설정된 기준 깊이값을 기준으로 기 설정된 단위 구간 내에 존재하는 복수개의 픽셀 집합을 추출할 수 있다. 또한, 후보 영역 검출부는, 적어도 하나의 픽셀 객체를 구성하는 픽셀 수가 기 설정된 임계값 이하인 경우(조건1), 상기 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형의 너비가 기 설정된 임계값 이하인 경우(조건), 상기 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형에 포함되는 픽셀수 비율이 기 설정된 임계 범위 외에 존재하는 경우(조건3) 및 상기 적어도 하나의 픽셀 객체가 상기 복수의 영역으로 분할하는 경계선의 일부와 떨어져 있는 경우(조건4) 중 적어도 하나의 조건이 만족되는 경우에 픽셀 객체를 분석하여 노이즈로 판단된 픽셀 객체를 제거할 수 있다.

영역 검출부(13)는 상기 검출된 후보 영역을 이용하여 제2 관심 영역을 분리하고, 상기 제2 관심 영역을 후보 영역의 평균 깊이 정보를 이용하여 이진화 처리하고,

상기 이진화처리된 제2 관심 영역에 대하여 라벨링 처리하고, 상기 라벨링 처리된 제2 관심 영역의 노이즈를 제거하여 상기 목표 영역을 검출할 수 있다.

매칭부(14)는, 제1 관심 영역 외에 목표물 일부가 존재하는 지를 판단하여, 목표물 일부가 존재하는 경우 상기 제1 관심 영역 외에 존재하는 목표물 일부를 복원할 수 있다. 또한, 매칭부(14)는, 후보 영역을 표본 이미지와 비교하여 유사도를 판단하여 상기 검출된 후보 영역이 목표물에 대응되는 지를 판단할 수 있다.

자세 추정부(15)는, 목표 영역의 외곽선에 대하여 스무딩처리하고,상기 목표 영역의 골격을 추출하며,상기 목표물을 구성하는 파트를 추정하여 상기 목표 영역의 자세를 추정할 수 있다. 또한, 자세 추정부(15)는, 목표 영역의 무게 중심을 이용하여 중심 파트를 추정하고, 상기 중심 파트를 이용하여 서브 파트를 추정하여 상기 목표 영역의 자세를 추정할 수 있다.

한편, 도 20에서는 영상 장치를 구성하는 모듈에 대하여 기능별로 독립적으로 도시되어 있지만, 각 모듈들이 하나의 프로세서에 탑재되어 통합될 수 있다.

이상, 본 발명의 일 실시예에 따른 영상 처리 방법 등에 대해 설명하였다. 본 발명의 영상 처리 방법은, 모델링된 목표물의 움직임을 추종하고, 해당 움직임 정보를 입력으로 하는 사용자 인터페이스를 위한 방법에 적용될 수 있고, 컴퓨터에 의해 판독가능한 기록 매체에 전자적 기록 코드로 저장되어 제공될 수 있다.

또한, 본 발명에 따른 영상 처리 장치는 컴퓨터, 네트워크 TV, 게임 플레이어, 스마트 TV, 노트북 등과 같이 사용자 인터페이스 장치로 구현되거나 이에 탑재되어 제공될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

영상의 깊이 정보를 획득하는 단계;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 단계;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하는 단계;
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 단계;
상기 후보 영역이 목표물에 대응되는 경우 상기 후보 영역을 이용하여 목표 영역을 검출하는 단계;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 단계; 및
상기 목표물을 모델링하는 단계를 포함하며,
상기 제1 관심 영역을 분리하는 단계는
상기 영상을 복수의 영역으로 분할하는 단계와,
상기 분할된 복수 영역 중 일부 영역을 제1 관심 영역으로 설정하는 단계를 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
삭제
제1항에 있어서,
상기 후보 영역을 검출하는 단계는,
상기 제1 관심 영역의 영상을 깊이 정보를 기반으로 복수의 픽셀 집합으로 분해하는 단계;
상기 분해된 각 픽셀 집합에 대하여 라벨링을 수행하여 적어도 하나의 픽셀 객체를 생성하는 단계;
상기 픽셀 객체를 분석하여 노이즈로 판단된 픽셀 객체를 제거하는 단계; 및
상기 노이즈가 제거된 적어도 하나의 픽셀 객체에 대하여 목표물에 대응하는 영역에 대한 후보 영역을 생성하는 단계를 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
제3항에 있어서,
복수의 픽셀 집합으로 분해하는 단계는,
상기 영상의 깊이 정보의 전체 범위에 대하여, 복수 개의 기준 깊이값을 설정하고, 설정된 기준 깊이값을 기준으로 기 설정된 단위 구간 내에 존재하는 복수개의 픽셀 집합을 추출하여 상기 영상을 복수의 픽셀 집합으로 분해하는 것을 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
제4항에 있어서,
복수 개의 기준 깊이값들 사이 간격은 상기 단위 구간 크기보다 작거나 같도록 설정된 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
제3항에 있어서,
상기 픽셀 객체를 분석하여 노이즈로 판단된 픽셀 객체를 제거하는 단계는,
상기 적어도 하나의 픽셀 객체를 구성하는 픽셀 수가 기 설정된 임계값 이하인 경우, 상기 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형의 너비가 기 설정된 임계값 이하인 경우, 상기 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형에 포함되는 픽셀수 비율이 기 설정된 임계 범위 외에 존재하는 경우 및 상기 적어도 하나의 픽셀 객체가 상기 복수의 영역으로 분할하는 경계선의 일부와 떨어져 있는 경우 중 적어도 하나를 포함하는 경우에 픽셀 객체를 제거하는 단계를 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
영상의 깊이 정보를 획득하는 단계;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 단계;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하는 단계;
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 단계;
상기 후보 영역이 목표물에 대응되는 경우 상기 후보 영역을 이용하여 목표 영역을 검출하는 단계;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 단계; 및
상기 목표물을 모델링하는 단계를 포함하며,
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 단계는,
상기 제1 관심 영역 외에 목표물 일부가 존재하는 지를 판단하여, 목표물 일부가 존재하는 경우 상기 제1 관심 영역 외에 존재하는 목표물 일부를 복원하는 단계와,
상기 후보 영역을 표본 이미지와 비교하여 유사도를 판단하는 단계를 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
영상의 깊이 정보를 획득하는 단계;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 단계;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하는 단계;
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 단계;
상기 후보 영역이 목표물에 대응되는 경우 상기 후보 영역을 이용하여 목표 영역을 검출하는 단계;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 단계; 및
상기 목표물을 모델링하는 단계를 포함하며,
상기 목표 영역을 검출하는 단계는,
상기 검출된 후보 영역을 이용하여 제2 관심 영역을 분리하는 단계와,
상기 제2 관심 영역을 후보 영역의 평균 깊이 정보를 이용하여 이진화 처리하는 단계와,
상기 이진화 처리된 제2 관심 영역에 대하여 라벨링 처리하는 단계와,
상기 라벨링 처리된 제2 관심 영역의 노이즈를 제거하는 단계를 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
영상의 깊이 정보를 획득하는 단계;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 단계;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하는 단계;
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 단계;
상기 후보 영역이 목표물에 대응되는 경우 상기 후보 영역을 이용하여 목표 영역을 검출하는 단계;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 단계; 및
상기 목표물을 모델링하는 단계를 포함하며,
상기 자세를 추정하는 단계는,
상기 목표 영역의 외곽선에 대하여 스무딩처리하는 단계와,
상기 목표 영역의 골격을 추출하는 단계와,
상기 목표물을 구성하는 파트를 추정하는 단계를 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
제9항에 있어서,
상기 파트를 추정하는 단계는, 상기 목표 영역의 무게 중심을 이용하여 중심 파트를 추정하고, 상기 중심 파트를 이용하여 서브 파트를 추정하는 단계를 더 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 방법.
영상의 깊이 정보를 획득하는 영상 획득부;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 관심 영역 분리부;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하고, 상기 검출된 후보 영역이 목표물에 대응되면, 상기 후보 영역을 이용하여 목표 영역을 검출하는 영역 검출부; 및
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 매칭부;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 자세 추정부; 및
상기 목표물을 모델링하는 모델링부를 포함하며,
상기 관심 영역 분리부는, 영상을 복수의 영역으로 분할하고, 분할된 복수 영역 중 일부 영역을 제1 관심 영역으로 설정하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
삭제
제11항에 있어서,
상기 영역 검출부는, 상기 제1 관심 영역의 영상을 깊이 정보를 기반으로 복수의 픽셀 집합으로 분해하고, 상기 분해된 각 픽셀 집합에 대하여 라벨링을 수행하여 적어도 하나의 픽셀 객체를 생성하고, 상기 픽셀 객체를 분석하여 노이즈로 판단된 픽셀 객체를 제거하고, 상기 노이즈가 제거된 적어도 하나의 픽셀 객체에 대하여 목표물에 대응하는 영역에 대한 후보 영역을 생성하는 후보 영역 생성부를 포함하여 후보 영역을 검출하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
제13항에 있어서,
상기 후보 영역 검출부는 복수의 픽셀 집합으로 분해하는 데 있어서,
상기 영상의 깊이 정보의 전체 범위에 대하여, 복수 개의 기준 깊이값을 설정하고, 설정된 기준 깊이값을 기준으로 기 설정된 단위 구간 내에 존재하는 복수개의 픽셀 집합을 추출하여 상기 영상을 복수의 픽셀 집합으로 분해하는 것을 포함하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
제14항에 있어서,
복수 개의 기준 깊이값들 사이 간격은 상기 단위 구간 크기보다 작거나 같도록 설정된 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
제13항에 있어서,
상기 후보 영역 검출부는,
상기 적어도 하나의 픽셀 객체를 구성하는 픽셀 수가 기 설정된 임계값 이하인 경우, 상기 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형의 너비가 기 설정된 임계값 이하인 경우, 상기 적어도 하나의 픽셀 객체의 외곽을 둘러싸는 사각형에 포함되는 픽셀수 비율이 기 설정된 임계 범위 외에 존재하는 경우 및 상기 적어도 하나의 픽셀 객체가 상기 복수의 영역으로 분할하는 경계선의 일부와 떨어져 있는 경우 중 적어도 하나를 포함하는 경우에 상기 픽셀 객체를 분석하여 노이즈로 판단된 픽셀 객체를 제거하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
영상의 깊이 정보를 획득하는 영상 획득부;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 관심 영역 분리부;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하고, 상기 검출된 후보 영역이 목표물에 대응되면, 상기 후보 영역을 이용하여 목표 영역을 검출하는 영역 검출부; 및
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 매칭부;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 자세 추정부; 및
상기 목표물을 모델링하는 모델링부를 포함하며,
상기 매칭부는 상기 제1 관심 영역 외에 목표물 일부가 존재하는 지를 판단하여, 목표물 일부가 존재하는 경우 상기 제1 관심 영역 외에 존재하는 목표물 일부를 복원하고, 상기 후보 영역을 표본 이미지와 비교하여 유사도를 판단하여 상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
영상의 깊이 정보를 획득하는 영상 획득부;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 관심 영역 분리부;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하고, 상기 검출된 후보 영역이 목표물에 대응되면, 상기 후보 영역을 이용하여 목표 영역을 검출하는 영역 검출부; 및
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 매칭부;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 자세 추정부; 및
상기 목표물을 모델링하는 모델링부를 포함하며,
상기 영역 검출부는 상기 검출된 후보 영역을 이용하여 제2 관심 영역을 분리하고, 상기 제2 관심 영역을 후보 영역의 평균 깊이 정보를 이용하여 이진화 처리하며, 상기 이진화처리된 제2 관심 영역에 대하여 라벨링 처리하고, 상기 라벨링 처리된 제2 관심 영역의 노이즈를 제거하여 상기 목표 영역을 검출하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
영상의 깊이 정보를 획득하는 영상 획득부;
영상에서 목표물이 존재하는 영역에 대한 제1 관심 영역을 분리하는 관심 영역 분리부;
상기 제1 관심 영역으로부터 목표물에 대한 후보 영역을 검출하고, 상기 검출된 후보 영역이 목표물에 대응되면, 상기 후보 영역을 이용하여 목표 영역을 검출하는 영역 검출부; 및
상기 검출된 후보 영역이 목표물에 대응되는 지를 판단하는 매칭부;
상기 목표 영역을 이용하여 목표물의 자세를 추정하는 자세 추정부; 및
상기 목표물을 모델링하는 모델링부를 포함하며,
상기 자세 추정부는, 상기 목표 영역의 외곽선에 대하여 스무딩처리하고,상기 목표 영역의 골격을 추출하며,상기 목표물을 구성하는 파트를 추정하여 상기 목표 영역의 자세를 추정하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.
제19항에 있어서,
상기 자세 추정부는, 상기 목표 영역의 무게 중심을 이용하여 중심 파트를 추정하고, 상기 중심 파트를 이용하여 서브 파트를 추정하여 상기 목표 영역의 자세를 추정하는 영상으로부터 목표물을 검출하여 모델링하기 위한 영상 처리 장치.