KR20150047937A - 비디오 영상에서 사람과 배경을 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명은, 비디오 영상에서 사람과 배경을 분리하기 위한 방법에 있어서, 제1 프레임에서의 사람 영역과 배경 영역을 추정하는 단계; 상기 추정된 사람 영역과 배경 영역 각각에 대한 가우시안 혼합 모델을 생성하는 단계; 상기 사람 영역에 대한 가우시안 혼합 모델과 상기 배경영역에 대한 가우시안 혼합 모델을 합쳐 전체 영상에 대한 가우시안 모델을 생성하고, 제2 프레임의 정보를 이용하여 상기 전체영상에 대한 가우시안 혼합 모델을 갱신하는 제1 갱신단계; 상기 갱신된 전체영상에 대한 가우시안 혼합 모델을 이용하여 에너지 함수 생성하고, 생성된 에너지 함수의 최소화를 통해 상기 제2 프레임의 사람 영역을 분리하는 단계; 를 포함할 수 있다.

Description

비디오 영상에서 사람과 배경을 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체{METHOD, APPARATUS AND COMPUTER-READABLE RECORDING MEDIUM FOR SEPERATING THE HUMAN AND THE BACKGROUND FROM THE VIDEO}

본 발명은 비디오 영상에서 사람과 배경을 분리하기 위한 방법 및 그 장치에 대한 것으로, 보다 상세하게는, 비디오 영상에서 사람과 배경 영역을 각각 가우시안 혼합 모델로 모델링 하고, 모델링을 기초로 에너지를 설계하여, 설계한 에너지의 최소화를 통해 사람 영역을 분리하는 방법 및 장치에 관한 것이다.

영상에서 전경과 배경을 분리하는 방법을 통해 영상을 분석하여 정보를 얻고 이를 이용하여 다른 응용프로그램을 실행할 수 있다. 특히, 최근에는 스마트 폰 보급이 늘어남에 따라 일반 사용자들도 비디오 영상을 이용한 다양한 활동을 수행하는 사례가 늘고 있어, 비디오 영상에서 전경을 분리하는 기술의 완성도와 중요성이 더욱 높아 지고 있다.

그런데, 일반적으로 사용되는 비디오 영상에서 전경을 분리하는 기술은, 주로 카메라를 고정시킨 상황에서 전경을 분리해 낼 수 있었다. 즉, 비디오 영상에서 배경을 나타내는 특징들을 소정의 방법으로 모델링 하고, 이를 현재 영상에 반영하여 배경 모델과 다른 특징을 갖는 부분을 전경으로 취할 수 있었다. 여기서, 배경 모델링에는 영상 화소값 자체를 이용하거나 화소 주변을 잘 표현하는 특정 벡터가 사용될 수 있었고, 또한 옵티컬 플로우 방법 등을 이용한 비디오 영상의 움직임 정보가 사용될 수 있었다.

하지만, 전경과 배경을 분리하는 방법에 있어서, 카메라가 고정이라는 제약조건은 고정된 CCTV로 한곳만을 감시하는 상황에 있어서만 적합할 뿐, PTZ(Pan Tilt Zoom) 카메라를 이용하는 경우와 같이 카메라가 움직일 수 있는 상황에서의 감시나, 일반 사용자들이 사용하는 영상 통화나 화상 회의와 같은 상황에서는 적합하지 않다. 그리고 일정 프레임 이상의 순수 배경만 존재하는 영상을 필요로 하기 때문에 일반적으로 촬영된 동영상에는 적용되기 어려웠다.

한편, 종래에는 카메라가 고정되어 있지 않은 경우에 전경을 분리하기 위해서 사용자가 소정 프레임 마다 배경과 전경을 간단하게 표시하고, 표시된 부분의 픽셀로부터 배경과 전경을 학습하여 전경분리를 할 수 있었다. 하지만, 사용자가 핸드폰을 통해 영상 통화를 수행하면 등의 동작 중에 전경과 배경에 대한 정보를 입력하는 것에는 많은 불편함이 있었다.

본 발명은, 영상 통화나 화상 회의 비디오에서와 같이 사람이 영상의 주요 전경이 되는 상황에서 높은 정확도로 사람 영역을 분리하는 방법 및 장치를 제공하는 것을 특징으로 한다. 특히, 자유로이 움직이는 카메라에서 촬영된 비디오 영상에 대해서도 사용자의 입력 없이 높은 정확도로 사람영역을 분리해 낼 수 있다. 또한, 에러가 누적되어 사람 영역이 잘못 분리된 경우를 자동적으로 인지하여 자동적으로 초기화 작업을 진행할 수도 있다.

본 발명은, 일 실시 예에 따라, 비디오 영상에서 사람과 배경을 분리하기 위한 방법에 있어서, 제1 프레임에서의 사람 영역과 배경 영역을 추정하는 단계;

상기 추정된 사람 영역과 배경 영역 각각에 대한 가우시안 혼합 모델을 생성하는 단계; 상기 사람 영역에 대한 가우시안 혼합 모델과 상기 배경영역에 대한 가우시안 혼합 모델을 합쳐 전체 영상에 대한 가우시안 모델을 생성하고, 제2 프레임의 정보를 이용하여 상기 전체영상에 대한 가우시안 혼합 모델을 갱신하는 제1 갱신단계; 상기 갱신된 전체영상에 대한 가우시안 혼합 모델을 이용하여 에너지 함수 생성하고, 생성된 에너지 함수의 최소화를 통해 상기 제2 프레임의 사람 영역을 분리하는 단계; 상기 분리된 사람 영역을 기초로, 상기 사람 영역에 대한 가우시안 혼합 모델 및 상기 배경 영역에 대한 가우시안 혼합 모델을 갱신하는 제2 갱신단계; 및 상기 제2 프레임에서 상기 분리된 사람 영역에 오류가 있는지 검증하는 단계를 포함할 수 있다.

일 실시 예에 따라, 상기 사람 영역과 배경 영역을 추정하는 단계는 비디오 영상의 중심을 기준으로 소정 크기의 중심 영역을 생성하는 단계 및 상기 중심 영역에서 얼굴검출을 수행하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 상기 얼굴검출을 수행하는 단계는, 검출된 얼굴영역에서 일 부분만을 얼굴영역으로 추정하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 상기 사람 영역과 배경 영역을 추정하는 단계는, 상기 추청된 얼굴영역을 이용하여 사람 영역을 추정하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 상기 사람 영역과 배경 영역을 추정하는 단계는, 상기 추정된 사람영역으로부터 배경 영역을 추정하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 상기 가우시안 혼합 모델을 생성하는 단계는, 상기 사람영역과 상기 배경영역이 각각 정규화된 5차원 벡터 공간의 가우시안 혼합 모델을 생성하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 상기 제1 갱신단계는, 상기 제2 프레임을 샘플로 상기 전체영상에 대한 가우시안 혼합 모델에 EM 알고리즘을 수행하여 상기 전체 영상에 대한 가우시안 혼합 모델을 갱신하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 상기 제2 프레임 대신에 상기 제2 프레임을 리사이즈 한 영상을 샘플로 이용 할 수 있다.

일 실시 예에 따라, 상기 사람영역을 분리하는 단계는, 상기 분리된 사람 영역에 해당하는 화소들의 연결 요소(connected component)를 산출하고, 산출된 상기 연결 요소들 중에서 가장 큰 연결요소만을 사람영역으로 분리하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 제2 갱신 단계는, 상기 분리된 사람 영역을 기초로, 사람 영역에 대한 가우시안 혼합 모델 및 배경 영역에 대한 가우시안 혼합모델 각각에 대해, EM알고리즘을 수행하여 상기 가우시안 혼합 모델을 각각 갱신 하는 단계를 포함 할 수 있다.

일 실시 예에 따라, 상기 검증하는 단계는, 전체 영상크기 대비 상기 분리된 사람영역의 크기가 소정비율 이상 또는 소정비율 이하인지 판단하는 단계를 포함 할 수 있다.

본 발명은, 일 실시예에 따라 비디오 영상에서 사람과 배경을 분리하기 위한 장치에 있어서, 제1 프레임에서의 사람 영역과 배경 영역을 추정하는 영역 추정부; 상기 추정된 사람 영역과 배경 영역 각각에 대한 가우시안 혼합 모델을 생성하는 모델 생성부; 상기 사람 영역에 대한 가우시안 혼합 모델과 상기 배경영역에 대한 가우시안 혼합 모델을 합쳐 전체 영상에 대한 가우시안 모델을 생성하고, 제2 프레임의 정보를 이용하여 상기 전체영상에 대한 가우시안 혼합 모델을 갱신하는 제1 모델 갱신부; 상기 갱신된 전체영상에 대한 가우시안 혼합 모델을 이용하여 에너지 함수 생성하고, 생성된 에너지 함수의 최소화를 통해 상기 제2 프레임의 사람 영역을 분리하는 사람영역 분리부; 상기 분리된 사람 영역을 기초로, 상기 사람 영역에 대한 가우시안 혼합 모델 및 상기 배경 영역에 대한 가우시안 혼합 모델을 갱신하는 제2 모델 갱신부; 및 상기 제2 프레임에서 상기 분리된 사람 영역에 오류가 있는지 검증하는 검증부를 포함 할 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

도 1 은 일 실시예에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 장치의 구조를 설명하기 위한 블록도 이다.
도 2 는 일 실시에에 따라 얼굴 영역을 검출하는 일 예를 나타낸 도면이다.
도 3 은 일 실시예에 따른 영역 추정부가 사람 영역을 추정하는 일 예를 나타낸 도면이다.
도 4 는 일 실시에에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)가 사람과 배경을 분리한 일 예를 나타낸 도면이다.
도 5 는 일 실시예에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 방법을 설명하기 위한 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.

예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.

도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1 은 일 실시예에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)의 구조를 설명하기 위한 블록도 이다.

도 1에 도시된 비디오 영상에서 사람과 배경을 분리하기 위한 장치 (100)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

도 1을 참조하면 일 실시예에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)는 영역 추정부(110), 모델 생성부(120), 제1 모델 갱신부(130), 사람 영역 분리부(140), 제2 모델 갱신부(150) 및 검증부(160)를 포함할 수 있다.

일 실시예에 따른 영역 추정부(110)는 제1 프레임에서의 사람 영역과 배경 영역을 추정할 수 있다. 여기서 제1 프레임은 입력된 비디오 영상의 최초 프레임 또는 최초로 얼굴이 검출된 프레임 일 수 있다.

구체적으로, 영역 추정부(110)는 주어진 입력영상에 대하여 우선 얼굴을 찾음으로써 사람의 위치를 찾을 수 있다. 예를 들어, 영상 통화나 화상 회의 상황에서는 일반적으로 사용자가 영상의 정면을 응시하고 있다. 사람이 관심을 두는 것이 정면 영역이기 때문이다. 또한, 영상 통화나 화상 회의 상황에서, 사람은 몸을 많이 기울이지 않고 대체로 바른 자세로 있고 상반신까지만 영상이 나오는 경우가 대부분이며, 사람 영역이 전체 영상에서 상당 부분을 차지한다. 따라서, 일 실시예에 따라, 상술한 영상통화 상황에 맞도록 후술하는 순서대로 사람과 배경 영역을 추측할 수 있다.

먼저, 영역 추정부(110)는 영상의 첫 프레임에서 얼굴 검출 방법을 사용하여 사람의 얼굴을 검출한다. 예를 들면, 영역 추정부(110)는 비디오 영상의 중심을 기준으로 소정 크기의 중심 영역을 생성하고, 상기 중심 영역에서 얼굴검출을 수행할 수 있다.

즉, 영상의 한 가운데를 중심으로 일정 영역에서만 얼굴 검출기를 수행하여 동작 시간을 줄일 수 있다. 첫 프레임에서 얼굴이 검출되지 않으면 다음 프레임으로 넘어가고 얼굴이 검출될 때까지 이 과정을 반복한다.

예를 들면, 도 2 는 일 실시에에 따라 얼굴 영역(201)을 검출하는 일 예를 나타낸다.

다음으로, 얼굴이 검출되면, 영역 추정부(110)는 검출된 얼굴영역에서 일 부분만을 얼굴영역으로 추정할 수 있다.

예를 들면, 검출된 얼굴 영역의 64% 영역만 얼굴이라고 추측할 수 있다. 이는 추정된 영역에서 배경이 포함될 위험을 제거하여 보다 안정적으로 얼굴만을 검출하기 위함이다.

다음으로, 영역 추정부(110)는 추청된 얼굴영역을 이용하여 사람 영역을 추정할 수 있다.

예를 들면, 얼굴 영역을 추정한 다음, 그 영역에서 위와 아래로 확장하여 사람 영역을 추측한다. 위 방향은 사람의 머리 부분을 추측하는 것이고, 아래 방향은 사람의 상반신 영역을 추측하는 것이다. 머리 부분의 추정은 추측된 사람 얼굴 길이의 30% 정도 확장하고, 상반신 부분 추정도 마찬 가지로 얼굴 길이의 30% 정도 밑에서 얼굴 너비의 2배 정도 좌우로 확장한 길이로 영상의 밑부분까지 모두 상반신으로 추측한다.

다음으로, 영역 추정부(110)는 추정된 사람영역으로부터 배경 영역을 추정할 수 있다. 구체적으로, 추정된 사람 영역을 바탕으로 배경 영역을 추정하는데 이는 간단한 모폴로지 연산을 통하여 행해진다. 즉 추측된 사람 영역을 얼굴 크기에 비례하는 모폴로지 확장 연산을 통하여 확장하고, 전체 배경에서 확장된 영역을 제외한 부분을 배경으로 할 수 있다.

한편, 도 3 은 일 실시예에 따른 영역 추정부(110)가 사람 영역을 추정하는 일 예를 나타낸 도면이다.

도 3을 참조하면, 일 실시예에 따른 영역 추정부(110)가 사람 영역과 배경 영역을 추측하는 일련의 과정을 알 수 있다.

먼저, 검출된 얼굴영역(도2의 201)에서, 검출된 얼굴 영역의 64% 영역만 얼굴(301)이라고 추측할 수 있다. 다음으로 영역에서 위와 아래로 확장하여 사람 영역(302)을 추측한다. 위 방향은 사람의 머리 부분을 추측하는 것이고, 아래 방향은 사람의 상반신 영역을 추측하는 것이다. 머리 부분의 추정은 추측된 사람 얼굴 길이의 30% 정도 확장하고, 상반신 부분 추정도 마찬 가지로 얼굴 길이의 30% 정도 밑에서 얼굴 너비의 2배 정도 좌우로 확장한 길이로 영상의 밑부분까지 모두 상반신으로 추측한다.

다음으로, 추정된 사람 영역(302)을 바탕으로 배경 영역(304)을 추정하는데 이는 간단한 모폴로지 연산을 통하여 행해진다. 즉 추측된 사람 영역을 얼굴 크기에 비례하는 모폴로지 확장 연산을 통하여 영역을 확장(303)하고 전체 배경에서 확장된 영역(303)을 제외한 부분을 배경(304)으로 할 수 있다.

다시 도 1을 참조하면,

일 실시예에 따른 모델 생성부(120)는 영역 추정부(110)에서 사람과 배경 영역을 추정하면 이 영역에서 얻은 정보를 샘플로 하여 각각의 모델을 생성할 수 있다. 여기서, 사람과 배경 영역은 각각 가우시안 혼합 모델(GMM)로 모델링 될 수 있다. 또한, 가우시안 모델은 5차원의 공간 상에서 표현될 수 있다.

가우시안 분포에 이용되는 5차원

벡터 는 영상 화소의 위치에 대한 정보 2개(p,q)와 화소 위치의 컬러 값에 대한 정보 3개(r,g,b)로 구성된 특징 벡터이다. 특징 벡터의 원소간에 크기(scale) 문제를 없애기 위하여 각 원소는 0과 1 사이로 정규화(normalization)하여 사용할 수 있다. 또한, 추정된 사람과 배경 영역에서 특징 벡터들을 얻고 이를 바탕으로 EM (expectation-maximization) 알고리즘을 사용하여 가우시안 혼합 모델링을 수행할 수 있다. 여기서, EM알고리즘은 확률 모델에 관측 불가능한 변수들이 포함되어 있는 경우 최대 우도나 최대 사후확률 우도를 구하는 방법으로, 이미 공지된 기술이므로 그 상세한 설명은 생략한다.

한편, 하기 [수학식1]은 가우시안 혼합 모델을 나타낸다.

[수학식 1]

여기서,

는 가우시안 분포의 가중치,

은 사람과 배경 영역을 나타내는 라벨,

는 가우시안 분포의 파라미터로 평균과 공분산을 나타낸다.

단, 여기서, 위치와 컬러에 대한 정보로 이루어진 특징 벡터를 보면, 위치와 컬러 사이에는 큰 상관 관계가 없으므로 이들 사이의 공분산은 0이 된다. 그러면 공분산 행렬은 다음의 [수학식2]와 같이 컬러와 위치에 대한 2가지 부분으로 나누어지게 된다.

[수학식2]

여기서, 가우시안 분포의 특성상 공분산 행렬이 블록 대각화 되어 있으므로, 하기의 [수학식3]에 나타나듯이 [수학식1]의 가우시안 분포가 2개의 가우시안 분포의 곱으로 표현 가능하게 된다.

[수학식 3]

　

따라서, 후술하는 제1 모델 갱신부(130) 및 제2 모델 갱신부(150)에서 모델을 갱신 할 경우에 단지 위치에 대한 가우시안 파라미터만 갱신할 수 있다. 이것은 영상 사이에서 사람과 배경의 컬러 값 변화가 크지 않은 뿐만 아니라, 사람 영역을 잘못 분리했을 경우에 에러를 누적시키지 않기 위해서이다.

한편, 일 실시예에 따른 제1 모델 갱신부(130)는 사람 영역에 대한 가우시안 혼합 모델과 상기 배경영역에 대한 가우시안 혼합 모델을 합쳐 전체 영상에 대한 가우시안 모델을 생성하고, 제2 프렘임의 정보를 이용하여 전체영상에 대한 가우시안 혼합 모델을 갱신할 수 있다. 여기서 제2 프레임은 현재 사람영역을 분리하는 프레임을 의미할 수 있다.

구체적으로, 제1 모델 갱신부(130)는 기존 모델을 현재 프레임에 맞추어 학습하는 일을 할 수 있다. 먼저, 기존에 갖고 있는 사람과 배경에 대한 모델을 합쳐서 영상 전체에 대한 가우시안 혼합 모델을 구성하고, 이를 현재 영상 전체를 샘플로 하여 전체 영상에 대한 가우시안 혼합 모델을 생성한다. 모델을 합칠 때에는 각 가우시안 분포의 가중치를 조정해줘야 하는데 이는 이전 프레임에서 얻은 사람과 배경 영역의 크기의 비를 기초로 소정의 상수를 곱하여 얻을 수 있다.

따라서, 합쳐진 가우시안 혼합 모델은 하기의 [수학식4]와 같이 나타내어 질 수 있다.

[수학식 4]

여기서,

가 앞에서 상술한 소정의 비율 상수로 을 만족해야 한다. 한편, 생성된 전체 영상에 대한 모델은 EM 알고리즘으로 갱신 될 수 있는데, 이때 현재 프레임의 전체 화소를 샘플로 하면 수행 시간이 너무 오래 걸리게 된다. 따라서 현재 프레임을 가로 세로 0.25 배 한 리사이즈된 프레임을 이용하여 갱신을 진행할 수 있다. 특히, 리사이즈 된 프레임을 이용하게 되면, 가우시안 혼합 모델의 갱신을 위한 파라미터를 거의 정확하게 얻으면서도 수행시간은 매우 빨라질 수 있다.

다음으로, 일 실시예에 따른 사람영역 분리부(140)는 갱신된 전체영상에 대한 가우시안 혼합 모델을 이용하여 에너지 함수 생성하고, 생성된 에너지 함수의 최소화를 통해 제2 프레임의 사람 영역을 분리할 수 있다.

즉, 사람영역 분리부(140)는 갱신된 모델을 이용하여 실제로 현재 프레임에서의 사람 영역을 분리할 수 있다.

일 실시예에 따라, 사람영역 분리부(140)는 에너지함수를 설계하고 이것의 최적화를 통하여 분리 할 수 있다. 여기서, 최적화는 에너지함수가 최소값을 갖는 변수들의 값을 획득하는 것을 의미할 수 있다.

한편, 에너지함수는 다음의 [수학식5]와 같이 설계될 수 있다.

[수학식5]

여기서,

은 화소의 특징 벡터에 대한 라이크리후드에 대한 에너지 값이고,

는 영상의 공간 상에서 화소와 화소 사이의 관계를 나타내는 에너지이며,

는 영상과 영상 사이에서 사람과 배경 영역이 크게 변하지 않는 다는 것에 착안하여 설계한 에너지일 수 있다.

한편, 각 에너지 항목은 다음의 [수학식 6]과 같이 구성될 수 있다.

[수학식 6]

　여기서,

는 화소의 라벨을 나타내고,

는 이전 프레임에서 화소의 라벨을 나타내며,

와

는 각각 현재와 이전 프레임에서 화소의 컬러값이다.

한편, 설계한 에너지 값을 최소화하는 방법은 graph-cut 알고리즘을 사용할 수 있다.

그리고 일 실시예에 따른 사람 영역 분리부(140)는 분리된 사람 영역에 해당하는 화소들의 연결 요소(connected component)를 산출하고, 산출된 상기 연결 요소들 중에서 가장 큰 연결요소만을 사람영역으로 분리할 수 있다. 즉, 작은 에러와 노이즈를 없애기 위하여 연결 요소(connected component)를 분석하여 가장 큰 연결만을 사람 영역으로 최종적으로 구분할 수 있다.

여기서, graph-cut 알고리즘 및 연결 요소 분석방법은 공지된 기술이므로 상세한 설명을 생략한다.

한편, 일 실시예에 따른 제2 모델 갱신부(150)는 최종적으로 분리된 사람 영역을 기초로, 사람 영역에 대한 가우시안 혼합 모델 및 배경 영역에 대한 가우시안 혼합 모델 각각을 갱신할 수 있다. 이것은 다음 프레임에서 사람 영역 분리를 위한 것으로, 이미 사람 영역과 배경영역을 분리해서 알고 있으므로, 사람 영역에 대한 가우시안 혼합 모델 및 배경 영역에 대한 가우시안 혼합모델 각각에 대해, EM알고리즘을 수행하여 상기 가우시안 혼합 모델을 각각 갱신할 수 있다.

마지막으로 일 실시예에 따른 검증부(160)는 현재 프레임에서 분리된 사람 영역에 오류가 있는지 검증할 수 있다. 예를 들면, 검증부(160)는 전체 영상크기 대비 상기 분리된 사람영역의 크기가 소정비율 이상 또는 소정비율 이하인지 판단하여 사람영역이 오류 없이 분리된 것인지 판단할 수 있다.

즉, 검증부(160)는 전체 영상의 크기 대비 사람 영역의 크기가 일정 비율보다 크거나 작은 경우에 잘못 분리되었다고 판단하고, 다시 영역추정부(110)로 들어가서 다시 사람 및 배경 영역을 추정한다. 그렇지 않으면 다음 프레임으로 넘어가 제1 모델 갱신부(130), 사람 영역 분리부(140) 및 제2 모델부(150)의 동작을 반복하여 사람 영역과 배경을 분리하게 된다.

도 4 는 일 실시에에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)가 사람과 배경을 분리한 일 예를 나타낸 도면이다.

도 4(a)에 도시된 바와 같이, 일 실시에에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)는 배경이 변하는 입력된 비디오 영상(400)에서, 높은 정확도로 사람 영역만을 분리해 낼 수 있다.

특히, 도 4(b)에 도시된 바와 같이, 일 실시예에 다른 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)는 배경이 변하는 입력된 비디오 영상(401)에서, 먼저, 최초 프레임(402)에서 사람 영역을 추정하여 분리하고, 분리된 사람 영역과 배경 영역에 대한 가우시안 혼합 모델을 생성할 수 있다. 그리고, 이후 프레임들(403,404,405)에서 에너지 함수의 최소화에 기초하여, 반복적으로 가우시안 혼합 모델을 갱신함으로써 정확도 높게 사람영역을 분리해 낼 수 있다.

도 5 는 일 실시예에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 방법을 설명하기 위한 흐름도이다.

도 5을 참조하면, 비디오 영상에서 사람과 배경을 분리하기 위한 방법은 도 1에 도시된 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1에 도시된 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100) 에 관하여 이상에서 기술된 내용은 도 5에 도시된 방법에도 적용됨을 알 수 있다.

단계 510에서, 일 실시예에 따른 영역 추정부(110)는 제1 프레임에서의 사람 영역과 배경 영역을 추정할 수 있다. 여기서 제1 프레임은 입력된 비디오 영상의 최초 프레임 또는 최초로 얼굴이 검출된 프레임 일 수 있다.

단계 520에서, 일 실시예에 따른 모델 생성부(120)는 추정된 사람 영역과 배경 영역 각각에 대한 가우시안 혼합 모델을 생성할 수 있다. 즉, 상기 사람영역과 상기 배경영역이 각각 정규화된 5차원 벡터 공간의 가우시안 혼합 모델이 생성될 수 있다.

단계 530에서, 일 실시예에 따른 모델 갱신부(120)는 사람 영역에 대한 가우시안 혼합 모델과 상기 배경영역에 대한 가우시안 혼합 모델을 합쳐 전체 영상에 대한 가우시안 모델을 생성하고, 제2 프레임의 정보를 이용하여 전체영상에 대한 가우시안 혼합 모델을 갱신할 수 있다.

단계 540에서, 일 실시예에 따른 사람영역 분리부(140)는 갱신된 전체영상에 대한 가우시안 혼합 모델을 이용하여 에너지 함수 생성하고, 생성된 에너지 함수의 최소화를 통해 제2 프레임의 사람 영역을 분리할 수 있다. 즉, 사람영역 분리부(140)는 갱신된 모델을 이용하여 실제로 현재 프레임에서의 사람 영역을 분리할 수 있다.

단계 550에서, 일 실시예에 따른 제2 모델 갱신부(150)는 최종적으로 분리된 사람 영역을 기초로, 사람 영역에 대한 가우시안 혼합 모델 및 배경 영역에 대한 가우시안 혼합 모델 각각을 갱신할 수 있다. 이것은 다음 프레임에서 사람 영역 분리를 위한 것으로, 이미 사람 영역과 배경영역을 분리해서 알고 있으므로, 사람 영역에 대한 가우시안 혼합 모델 및 배경 영역에 대한 가우시안 혼합모델 각각에 대해, EM알고리즘을 수행하여 상기 가우시안 혼합 모델을 각각 갱신할 수 있다.

단계 560에서, 일 실시예에 따른 검증부(160)는 현재 프레임에서 분리된 사람 영역에 오류가 있는지 검증할 수 있다. 예를 들면, 검증부(160)는 전체 영상크기 대비 상기 분리된 사람영역의 크기가 소정비율 이상 또는 소정비율 이하인지 판단하여 사람영역이 오류 없이 분리된 것인지 판단할 수 있다.

따라서, 단계 560에서, 검증부(160)는 전체 영상의 크기 대비 사람 영역의 크기가 일정 비율보다 크거나 작은 경우에 잘못 분리되었다고 판단되면, 다시 단계 510으로 돌아간다.

만약, 그렇지 않으면 다음 프레임으로 넘어가 모델 갱신을 수행하게 된다. 즉, 다음 프레임에서 부터는, 단계 530 내지 560의 동작을 반복하여 사람 영역과 배경을 분리하게 된다.

상술한 바에 따라서 일 실시예에 따른 비디오 영상에서 사람과 배경을 분리하기 위한 장치(100)는 비디오 영상에서 사람과 배경 영역을 각각 가우시안 혼합 모델로 모델링 하고, 모델링을 기초로 에너지함수를 설계하며, 설계한 에너지함수의 최소화를 통해 사람과 변경을 분리할 수 있다. 즉, 배경이 계속 변하는 비디오 영상에서도 높은 정확도로 사람 영역을 추출해 낼 수 있다.

따라서, 영상 통화나 화상 회의를 이용하는 사용자들이 영상의 배경을 다른 영상으로 교체하거나, 영상통화 중에 배경을 없애 개인 정보를 보호하는 등 다양한 활용이 가능 할 수 있다. 또한, 동영상 계층 분리를 통하여 인코딩 및 디코딩에서 효율적인 동작을 수행하도록 도와줄 수도 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

1. 비디오 영상에서 사람과 배경을 분리하기 위한 방법에 있어서,
   제1 프레임에서의 사람 영역과 배경 영역을 추정하는 단계;
   상기 추정된 사람 영역과 배경 영역 각각에 대한 가우시안 혼합 모델을 생성하는 단계;
   상기 사람 영역에 대한 가우시안 혼합 모델과 상기 배경영역에 대한 가우시안 혼합 모델을 합쳐 전체 영상에 대한 가우시안 모델을 생성하고, 제2 프레임의 정보를 이용하여 상기 전체영상에 대한 가우시안 혼합 모델을 갱신하는 제1 갱신단계;
   상기 갱신된 전체영상에 대한 가우시안 혼합 모델을 이용하여 에너지 함수 생성하고, 생성된 에너지 함수의 최소화를 통해 상기 제2 프레임의 사람 영역을 분리하는 단계;
   상기 분리된 사람 영역을 기초로, 상기 사람 영역에 대한 가우시안 혼합 모델 및 상기 배경 영역에 대한 가우시안 혼합 모델을 갱신하는 제2 갱신단계; 및
   상기 제2 프레임에서 상기 분리된 사람 영역에 오류가 있는지 검증하는 단계를 포함하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
2. 제 1항에 있어서, 상기 사람 영역과 배경 영역을 추정하는 단계는
   비디오 영상의 중심을 기준으로 소정 크기의 중심 영역을 생성하는 단계 및 상기 중심 영역에서 얼굴검출을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
3. 제 2항에 있어서, 상기 얼굴검출을 수행하는 단계는,
   검출된 얼굴영역에서 일 부분만을 얼굴영역으로 추정하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
4. 제 3항에 있어서, 상기 사람 영역과 배경 영역을 추정하는 단계는,
   상기 추청된 얼굴영역을 이용하여 사람 영역을 추정하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
5. 제 4항에 있어서, 상기 사람 영역과 배경 영역을 추정하는 단계는,
   상기 추정된 사람영역으로부터 배경 영역을 추정하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
6. 제 1항에 있어서, 상기 가우시안 혼합 모델을 생성하는 단계는,
   상기 사람영역과 상기 배경영역이 각각 정규화된 5차원 벡터 공간의 가우시안 혼합 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
7. 제 1항에 있어서, 상기 제1 갱신단계는,
   상기 제2 프레임을 샘플로 상기 전체영상에 대한 가우시안 혼합 모델에 EM 알고리즘을 수행하여 상기 전체 영상에 대한 가우시안 혼합 모델을 갱신하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
8. 제 7항에 있어서, 상기 제2 프레임 대신에 상기 제2 프레임을 리사이즈 한 영상을 샘플로 이용하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
9. 제 1항에 있어서, 상기 사람영역을 분리하는 단계는,
   상기 분리된 사람 영역에 해당하는 화소들의 연결 요소(connected component)를 산출하고, 산출된 상기 연결 요소들 중에서 가장 큰 연결요소만을 사람영역으로 분리하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
10. 제 1항에 있어서, 제2 갱신 단계는,
    상기 분리된 사람 영역을 기초로, 사람 영역에 대한 가우시안 혼합 모델 및 배경 영역에 대한 가우시안 혼합모델 각각에 대해, EM알고리즘을 수행하여 상기 가우시안 혼합 모델을 각각 갱신 하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
11. 제 1항에 있어서, 상기 검증하는 단계는,
    전체 영상크기 대비 상기 분리된 사람영역의 크기가 소정비율 이상 또는 소정비율 이하인지 판단하는 단계를 포함하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 방법.
12. 비디오 영상에서 사람과 배경을 분리하기 위한 장치에 있어서,
    제1 프레임에서의 사람 영역과 배경 영역을 추정하는 영역 추정부;
    상기 추정된 사람 영역과 배경 영역 각각에 대한 가우시안 혼합 모델을 생성하는 모델 생성부;
    상기 사람 영역에 대한 가우시안 혼합 모델과 상기 배경영역에 대한 가우시안 혼합 모델을 합쳐 전체 영상에 대한 가우시안 모델을 생성하고, 제2 프레임의 정보를 이용하여 상기 전체영상에 대한 가우시안 혼합 모델을 갱신하는 제1 모델 갱신부;
    상기 갱신된 전체영상에 대한 가우시안 혼합 모델을 이용하여 에너지 함수 생성하고, 생성된 에너지 함수의 최소화를 통해 상기 제2 프레임의 사람 영역을 분리하는 사람영역 분리부;
    상기 분리된 사람 영역을 기초로, 상기 사람 영역에 대한 가우시안 혼합 모델 및 상기 배경 영역에 대한 가우시안 혼합 모델을 갱신하는 제2 모델 갱신부; 및
    상기 제2 프레임에서 상기 분리된 사람 영역에 오류가 있는지 검증하는 검증부를 포함하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
13. 제 12항에 있어서, 상기 영역 추정부는,
    비디오 영상의 중심을 기준으로 소정 크기의 중심 영역을 생성하고, 상기 중심 영역에서 얼굴검출을 수행하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
14. 제 13항에 있어서, 상기 영역 추정부는,
    검출된 얼굴영역에서 일 부분만을 얼굴영역으로 추정하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
15. 제 14항에 있어서, 상기 영역 추정부는,
    상기 추청된 얼굴영역을 이용하여 사람 영역을 추정하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
16. 제 12항에 있어서, 상기 모델 생성부는,
    상기 사람 영역과 상기 배경 영역이 각각 정규화된 5차원 벡터 공간의 가우시안 혼합 모델을 생성하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
17. 제 12항에 있어서, 상기 제1 갱신단계는,
    상기 제2 프레임을 샘플로 상기 전체영상에 대한 가우시안 혼합 모델에 EM 알고리즘을 수행하여 상기 전체 영상에 대한 가우시안 혼합 모델을 갱신하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
18. 제 17항에 있어서, 상기 제2 프레임 대신에 상기 제2 프레임을 리사이즈 한 영상을 샘플로 이용하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
19. 제 12항에 있어서, 상기 검증부는,
    전체 영상크기 대비 상기 분리된 사람영역의 크기가 소정비율 이상 또는 소정비율 이하인지 판단하는 것을 특징으로 하는 비디오영상에서 사람과 배경을 분리하기 위한 장치.
20. 제 1항 내지 제11항 중 어느 한 항의 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images