KR102579994B1 - 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른 전경 생성 방법은, 전경 생성 장치에 의해 수행되는 방법으로서, 센서 디바이스로부터 획득된 영상을 제공받는 단계와 상기 영상에 대하여, 서로 다른 분산 값 범위가 설정된 복수개의 배경 모델을 각각 적용하여 복수개의 전경을 추출하는 단계와 상기 추출된 복수의 전경에 대한 교집합 제어를 수행하여 교집합 전경을 생성하는 단계와 상기 추출된 복수의 전경에 대한 합집합 제어를 수행하여 합집합 전경을 생성하는 단계와 상기 교집합 전경 및 상기 합집합 전경을 기초로, 최종 전경을 생성하는 단계를 포함할 수 있다.

Description

다중 배경 모델을 이용한 전경 생성 방법 및 그 장치 {METHOD FOR GENERATING FOREGROUND USING MULTIPLE BACKGROUND MODEL AND APPARATUS THEREOF}

본 발명은 다중 배경 모델을 이용한 전경 이미지 생성 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 다중 배경 모델을 이용하여 추출된 복수개의 전경 이미지를 기초로, 최종 전경 이미지를 생성하는 방법 및 그 장치에 관한 것이다.

영상 분석 기술에 있어서, 정적인 배경(Background)과 동적인 전경(Foreground)을 구별하기 위한 다양한 방법이 제공되고 있다. 대표적인 방법 중 하나로서, 배경을 자동으로 학습하여 픽셀 단위의 전경을 검출하는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)이 널리 이용되고 있다.

이와 같은 가우시안 혼합 모델은, 처리하고자 하는 영상의 특성을 별도로 고려하지 않고 배경의 특성만을 정의하여 학습하기 때문에 다양한 환경의 영상으로부터 정밀도 높은 전경을 추출하는데 한계를 나타낸다. 예를 들어, 가우시안 혼합 모델은 학습된 배경과 유사한 속성을 가지는 위장(Camouflage) 영역에 대하여, 전경이 과분할 되거나, 전경 영역 중 일부가 소실된 전경 영상을 추출한다. 또한, 가우시안 혼합 모델을 이용하면, 영상 획득 장치가 자동으로 밝기를 조절하는 경우 또는 조명의 변화가 발생하는 경우에 실제 전경 영역이 아닌 영역이 전경 영역으로 추출되는 문제가 발생할 수 있다.

그럼에도, 복수의 서로 다른 분산 값 범위가 각각 적용된 다중 배경 모델을 이용한 전경 추출 방법은 제공되지 않고 있다. 또한, 다중 배경 모델을 통해 추출된 복수의 전경을 하나의 전경으로 통합함으로써, 정밀도 높은 전경을 추출하는 방법은 제공되지 않고 있다.

본 발명이 해결하고자 하는 기술적 과제는, 하나의 영상에 대하여 서로 다른 분산 값 범위가 각각 적용된 다중 배경 모델을 적용함으로써 전경을 추출하는 방법을 제공하는 것이다.

구체적으로 본 발명이 해결하고자 하는 기술적 과제는, 낮은 분산 값 범위가 설정된 배경 모델을 이용하여 배경과 비슷한 화소 값 분포를 가지는 객체를 전경으로 추출함과 동시에, 높은 분산 값 범위가 설정된 배경 모델을 이용하여 외부 환경 변화가 있는 경우에도 배경이 제외된 전경을 추출할 수 있는 방법 및 그 장치를 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 다른 기술적 과제는, 다중 배경 모델을 적용하여 추출된 전경들의 교집합 전경 및 합집합 전경을 기초로, 최종 전경을 생성하는 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 다른 기술적 과제는, 추출된 전경 상의 각 영역별로 신뢰도 검사를 통해, 공간적으로 분리된 객체를 포함하는 최종 전경을 생성하는 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 전경 생성 방법의 일 실시예에 따르면, 전경 생성 장치에 의해 수행되는 방법은, 센서 디바이스로부터 획득된 영상을 제공받는 단계와 상기 영상에 대하여, 서로 다른 분산 값 범위가 설정된 복수개의 배경 모델을 각각 적용하여 복수개의 전경을 추출하는 단계와 상기 추출된 복수의 전경에 대한 교집합 제어를 수행하여 교집합 전경을 생성하는 단계와 상기 추출된 복수의 전경에 대한 합집합 제어를 수행하여 합집합 전경을 생성하는 단계와 상기 교집합 전경 및 상기 합집합 전경을 기초로, 최종 전경을 생성하는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한, 전경 생성 장치의 일 실시예에 따르면, 전경 생성 장치는, 하나 이상의 프로세서, 센서 디바이스로부터 획득된 영상을 수신하는 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리와 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 상기 영상에 대하여, 서로 다른 분산 값 범위가 설정된 복수개의 배경 모델을 각각 적용하여, 복수개의 전경을 추출하는 오퍼레이션과 상기 추출된 복수의 전경에 대한 교집합 제어를 수행하여 교집합 전경을 생성하는 오퍼레이션과 상기 추출된 복수의 전경에 대한 합집합 제어를 수행하여 합집합 전경을 생성하는 오퍼레이션과 상기 교집합 전경 및 상기 합집합 전경을 기초로, 최종 전경을 생성하는 오퍼레이션을 포함할 수 있다.

본 발명에 따르면, 배경과 비슷한 화소 값 분포를 가지는 객체를 전경으로 추출할 수 있는 방법 및 그 장치를 제공받는 효과가 있다.

구체적으로, 본 발명에 따르면, 추출된 전경 상에서 오인 추출된 객체를 제거한 최종 전경을 제공받는 효과가 있다.

또한, 본 발명에 따르면, 외부 환경 변화가 있는 경우에도, 영상의 배경과 전경을 구별할 수 있는 방법 및 그 장치를 제공받는 효과가 있다.

또한, 본 발명에 따르면, 추출된 전경 상의 과분할된 객체를 하나의 객체로 포함하는 최종 전경을 제공받는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른, 전경 생성 시스템의 구성도이다.
도 2는 본 발명의 다른 실시예에서 따른, 전경 생성 장치의 블록도이다.
도 3 및 도 4는 본 발명의 또 다른 실시예에 따른, 전경 생성 방법의 순서도이다.
도 5는 본 발명의 몇몇 실시예에서 참조되는, 서로 다른 분산 값 범위를 가지는 다중 배경 모델을 설명하기 예시도이다.
도 6은 본 발명의 몇몇 실시예에서 참조되는, 다중 배경 모델로부터 추출된 전경의 예시도이다.
도 7은 본 발명의 또 다른 실시예에 따른, 교집합 전경 및 합집합 전경을 이용한 전경 생성 과정을 설명하기 위한 순서도이다.
도 8는 본 발명의 몇몇 실시예에서 참조되는, 교집합 전경, 합집합 전경 및 최종 전경의 예시이다.
도 9 및 도 10은 본 발명의 몇몇 실시예에서 참조되는, 입력되는 각각의 영상에 대한 최종 전경 생성 과정을 설명하기 위한 예시도이다.
도 11은 본 발명의 몇몇 실시예에서 참조되는, 최종 전경의 정확도를 설명하기 위한 예시도이다.
도 12는 본 발명의 또 다른 실시예에 따른, 배경 모델에 적용될 분산 값을 결정하는 방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

도 1은 본 발명의 일 실시예에 따른, 전경 생성 시스템의 구성도이다.

도 1을 참조하면, 전경 생성 시스템은, 센서 디바이스(100), 전경 생성 장치(200) 및 출력 장치(300)를 포함할 수 있다.

센서 디바이스(100)란, 이미지를 입력 받는 장치로서, 예를 들어 동적 객체를 감지하기 위한 방범(survailence)용 CCTV 카메라일 수 있다. 본 발명의 센서 디바이스(100)는 이에 한정되지 않으며, 가시광선, 적외선 및 자외선 중 적어도 하나에 반응하는 센서를 구비한 영상 획득 장치를 포함할 수 있다.

센서 디바이스(100)는 정적인 객체(10)와 동적인 객체(20)가 포함된 영상을 입력 받을 수 있다.

전경 생성 장치(200)는 센서 디바이스(100)로부터 획득된 영상을 제공받을 수 있다. 이를 위해 전경 생성 장치(200)는 센서 디바이스(100)와 유선 또는 무선으로 연결된다.

전경 생성 장치(200)는 제공된 영상으로부터 배경과 전경을 구별할 수 있는 컴퓨팅 장치일 수 있다. 예를 들어, 전경 생성 장치(200)는 영상 분석 서비스 제공 장치일 수 있다.

본 발명의 일 실시예에 따르면, 전경 생성 장치(200)는 센서 디바이스(100)로부터 제공받은 특정 시점의 영상에 대하여, 병렬적으로 다중 배경 모델을 각각 적용하여, 복수개의 전경을 추출할 수 있다.

전경 생성 장치(200)는 추출된 복수개의 전경에 대하여 교집합 제어를 수행하여, 교집합 전경을 생성할 수 있다. 또한, 전경 생성 장치(200)는 추출된 복수개의 전경에 대하여 합집합 제어를 수행하여, 합집합 전경을 생성할 수 있다.

전경 생성 장치(200)는 교집합 제어 및 합집합 제어를 병렬적으로 수행할 수 있다. 즉, 전경 생성 장치(200)에서 교집합 전경 생성 프로세스 및 합집합 전경 생성 프로세스는 동시에 실행될 수 있다.

전경 생성 장치(200)는 교집합 전경 및 합집합 전경을 이용하여, 최종 전경을 생성할 수 있다. 전경 생성 장치(200)는 생성된 최종 전경을 출력 장치(300)에 제공할 수 있다.

전경 생성 장치(200)의 구체적인 구성 및 동작에 대하여는 도 2에 대한 설명 이하에서 상술하도록 한다.

한편, 본 발명의 다른 실시예에서, 전경 생성 장치(200)는 최종 전경을 생성 후, 최종 전경을 추적하는 추적 기능을 포함하는 방범 기능을 수행할 수도 있다. 예를 들어, 전경 생성 장치(200)는 최종 전경을 생성한 후, 센서 디바이스(100)로부터 제공되는 영상에서 생성된 최종 전경에 대응되는 객체를 식별할 수 있다. 또한, 전경 생성 장치(200)는 식별된 객체를 추적할 수도 있다. 이 과정에서 전경 생성 장치(200)는 식별된 객체에 대한 그래픽 처리를 수행할 수도 있다. 예를 들어, 전경 생성 장치(200)는 식별된 객체를 시각적으로 다른 객체 또는 배경과 구별하기 위한 테두리 표시, 강조 표시 등 다양한 그래픽 효과를 식별된 객체에 대하여 적용할 수도 있다.

이 경우, 전경 생성 장치(200)는 식별된 객체를 추적하는 그래픽 효과가 적용된 영상을 출력 장치(300)에 제공할 수도 있다.

전경 생성 장치(200)는 고정식 또는 이동식 단말일 수 있으며, 구체적으로, 서버 장치, 데스크 탑 PC, 랩 탑, IoT(Internet of Things) 플랫폼, 스마트 폰 및 PDA 중 어느 하나일 수 있다.

출력 장치(300)는 추출된 전경을 전경 생성 장치(200)로부터 제공 받고 디스플레이할 수 있는 장치이다. 또한, 출력 장치(300)는 전경 생성 장치(200)로부터 영상 분석 서비스를 제공받을 수도 있다.

이를 위해 출력 장치(300)는 전경 생성 장치(200)와 유선 또는 무선으로 연결될 수 있다.

출력 장치(300)는 예를 들어, 모니터, TV 중 어느 하나의 장치일 수 있다. 또한, 출력 장치(300)가 영상 분석 서비스를 제공받는 경우, 출력 장치(300)는 사용자 단말로서 PC, 태블릿, 스마트 폰과 같은 영상 출력부를 포함하는 단말 장치일 수도 있다.

도 1의 센서 디바이스(100)와 전경 생성 장치(200) 및 출력 장치(300)는 서로 다른 공간에 별도로 위치할 수 있으나, 본 발명의 실시예는 이에 한정되지 않는다. 센서 디바이스(100)와 전경 생성 장치(200) 및 출력 장치(300) 중 2개 이상의 장치가 하나의 장치를 구성할 수도 있다. 예를 들어, 전경 생성 장치(200)와 출력 장치(300)는 하나의 장치에 포함된 일 구성요소일 수도 있다.

도 2는 본 발명의 다른 실시예에서 따른, 전경 생성 장치의 블록도이다.

이하, 도 2를 참조하여, 전경 생성 장치(200)의 구조와 동작에 대하여 자세히 설명한다.

도 2를 참조하면, 전경 생성 장치(200)는 하나 이상의 프로세서(201), 외부 장치와 통신하는 네트워크 인터페이스(202), 프로세서(201)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(203)와, 컴퓨터 프로그램을 저장하는 스토리지(204)를 포함할 수 있다. 본 발명의 실시예에 따르면, 상기 외부 장치는, 도 1에 도시된 센서 디바이스(100), 출력장치(300)뿐만 아니라, 고정식/이동식 컴퓨팅 장치일 수도 있다.

프로세서(201)는 전경 생성 장치(200)의 각 구성의 전반적인 동작을 제어한다. 프로세서(201)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(201)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 전경 생성 장치(200)는 하나 이상의 프로세서를 구비할 수 있다.

네트워크 인터페이스(202)는 전경 생성 장치(200)의 유무선 통신을 지원한다. 또한, 네트워크 인터페이스(202)는 본 발명의 기술 분야에 잘 알려진 다양한 통신 방식을 지원할 수 있다. 이를 위해, 네트워크 인터페이스(202)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 하나 이상 포함하여 구성될 수 있다.

네트워크 인터페이스(202)는 네트워크를 통해 도 1에 도시된 센서 디바이스(100)로부터 영상을 수신할 수 있다. 또한, 네트워크 인터페이스(202)는 전경 영상을 출력장치(300)에 제공할 수도 있다. 네트워크 인터페이스(202)는 하나 이상의 장치와 실시간으로 통신할 수 있다.

본 발명의 다른 실시예에 따르면, 네트워크 인터페이스(202)는 전경 생성 장치(200)가 제공하는 영상 분석 서비스를 이용하기 위한 그래픽 유저 인터페이스 및 서비스 컨텐츠를 외부 장치에 제공할 수도 있다.

메모리(203)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(203)는 본 발명의 실시예들에 따른 서비스 제공 방법을 실행하기 위하여 스토리지(204)로부터 하나 이상의 프로그램(205)을 로드할 수 있다. 도 2에서 메모리(203)의 예시로 RAM이 도시되었다.

스토리지(204)는 상기 하나 이상의 프로그램(205)을 비임시적으로 저장할 수 있다. 도 2에서 상기 하나 이상의 프로그램(205)의 예시로 전경 생성 소프트웨어(205)가 도시되었다.

스토리지(204)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

전경 생성 소프트웨어(205)는 본 발명의 실시예에 따라 전경 생성 장치(200)가 서로 다른 분산 값의 범위가 설정된 다중 배경 모델을 이용하여, 전경을 생성하도록 프로세서(201)에 의해 실행된다.

또는, 본 발명의 다른 실시예에 따르면, 전경 생성 소프트웨어(205)는 생성된 전경을 이용한 영상 분석 서비스를 외부 장치에 제공하도록 프로세서(201)에 의해 실행될 수도 있다.

한편, 도시되지 않았으나, 전경 생성 장치(200)는 본 발명의 실시예에 따른 전경 생성에 필요한 각종 설정을 입력 받기 위한 입력부를 추가로 포함할 수도 있다. 예를 들어, 전경 생성 장치(200)는 입력부를 통해, 배경 모델의 분산 값의 범위를 설정 받을 수 있다.

다른 실시예에서, 전경 생성 장치(200)는 입력부를 통해, 배경 모델의 개수를 설정하는 입력을 수신할 수도 있다. 센서 디바이스(100)로부터 수신된 영상은 배경 모델에 입력되어 전경 영역이 추출되는데, 이때, 전경 생성 장치(200)는 입력된 설정 값에 따라 복수개의 배경 모델을 생성할 수 있다. 복수개의 배경 모델이 생성되면, 하나의 동일한 영상이 복수의 배경 모델에 각각 입력되고, 전경 생성 장치(200)는 복수개의 배경 모델을 이용하여 각각 전경을 추출한다. 이에 따라, 배경 모델의 개수만큼 전경이 추출된다.

또한, 입력부는 입력부를 통해, 복수의 배경 모델에 적용되는 분산 값 범위에 대한 설정을 입력 받을 수도 있다.

도 3 및 도 4는 본 발명의 또 다른 실시예에 따른, 전경 생성 방법의 순서도이다.

이하, 전경 생성 방법이 포함하는 각 단계는 전경 생성 장치(200)가 수행하는 경우를 예로 들어 설명한다. 특히, 전경 생성 방법은, 프로세서(201)가 전경 생성 소프트웨어(205)에 따른 오퍼레이션을 실행시킴에 따라 수행된다.

도 3 및 도 4를 참조하면, 전경 생성 장치(200)는, 센서 디바이스(100)로부터 획득된 영상을 제공받을 수 있다(S10).

전경 생성 장치(200)는 제공받은 영상에 대하여, 서로 다른 분산 값 범위가 설정된 복수개의 배경 모델을 각각 적용하여 복수개의 전경을 추출할 수 있다(S20).

도 4에 도시된 바와 같이, 전경 생성 장치(200)는 영상에 대하여, N개의 배경 모델을 적용하여 N개의 전경을 추출할 수 있다. 배경 모델이 2개인, 이중 배경 모델을 적용하는 경우를 예로 들어 설명한다. 본 발명의 실시예에 따르면, 이중 배경 모델은 각각 서로 다른 분산 값 범위가 설정된 2개의 배경 모델을 의미한다. 또는, 이중 배경 모델은 각각 서로 다른 분산 값이 설정된 2개의 배경 모델을 의미할 수도 있다.

단계(S20)에서, 전경 생성 장치(200)는 영상에 대하여 제1 분산 값 범위가 설정된 제1 배경 모델을 이용하여 제1 전경을 추출하고, 제2 분산 값 범위가 설정된 제2 배경 모델을 이용하여 제2 전경을 추출할 수 있다.

도 4를 참조하면, 복수의 배경 모델은 영상을 각각 제공 받고, 전경 생성 장치(200)는 복수의 배경 모델을 이용하여 복수의 전경을 추출한다. 이때, 복수의 배경 모델 각각은 시점(t)의 영상을 동시에 제공받을 수도 있다.

전경 생성 장치(200)는 복수의 배경 모델을 이용하여, 각 배경 모델마다 병렬적으로 전경을 추출할 수 있다.

다음으로, 단계(S30)에서, 전경 생성 장치(200)는 추출된 복수의 전경에 대한 교집합 제어를 수행하여 교집합 전경을 생성하고(S31), 추출된 복수의 전경에 대한 합집합 제어를 수행하여 합집합 전경을 생성(S32)할 수 있다.

즉, 구체적으로 전경 생성 장치(200)는 AND 연산을 통해, 추출된 복수의 전경에 대한 교집합 전경을 생성하고, OR 연산을 통해, 추출된 복수의 전경에 대한 합집합 전경을 생성할 수 있다(S30).

분산 값 범위가 서로 다른 배경 모델을 통해 추출된 각각의 전경 상에 미리 설정된 개수 이상의 동일한 화소 값을 갖는 화소의 영역이 존재할 수 있다. 전경 생성 장치(200)는 각각의 전경 상의 이 같은 영역 중, 각 전경마다 공통된 영역을 검출할 수 있다. 이와 같은 공통 영역의 검출과정을 교집합 제어라 칭하기로 한다. 교집합 제어에 의해 검출된 영역을 포함하는 전경을 교집합 전경이라 한다. 이에 따라 교집합 전경에는 전경 생성 장치(100)가 각 전경마다 검출한 동일한 화소 값을 갖는 화소 영역 상의 화소들 중 좌표가 공통된 화소들이 포함된다.

또한, 전경 생성 장치(200)는 각각의 전경 상의 동일한 화소 값을 갖는 화소의 영역을 모두 검출할 수 있다. 전경 생성 장치(200)는 검출된 모든 영역을 합산할 수 있다. 이와 같은 각 전경마다 동일한 화소 값을 갖는 화소 영역을 검출하고 이를 합산하는 과정을 합집합 제어라 칭하기로 한다. 합집합 제어에 의해 검출된 영역을 포함하는 전경을 합집합 전경이라 한다.

제1 배경 모델을 통해 제1 전경이 추출되고, 제2 배경 모델을 통해 제2 전경이 추출된 경우를 예로 들어 설명한다.

상기 예에서, 제1 전경 상에는 동일한 화소 값을 갖는 화소들이 공간적으로 연속된 화소 영역인 영역 A 및 영역 B가 포함될 수 있다. 여기에서 화소 값은 이진의 화소 값일 수 있으나, 본 발명의 실시예는 이에 한정되는 것은 아니며, 화소 값은 RGB 값 등 다양한 값일 수 있다.

또한, 제2 전경 상에는 동일한 화소 값을 갖는 화소들이 공간적으로 연속된 화소 영역인 영역 a 및 영역 C가 포함될 수 있다.

전경 생성 장치(200)는 상기 제1 전경 상의 영역 A 및 영역 B를 식별할 수 있다. 또한, 전경 생성 장치(200)는 상기 제2 전경 상의 영역 a 및 영역 C를 식별할 수 있다. 전경 생성 장치(100)는 식별된 영역들에 포함된 각각의 화소들의 좌표를 식별할 수 있다.

영역 a에 포함된 화소들은 모두 영역 A에 포함된다고 가정한다. 전경 생성 장치(200)는 제1 전경 상의 영역 A와 제2 전경 상의 영역 a 중 겹치는 영역을 식별할 수 있다. 즉, 영역 a 상의 화소들의 제2 전경 상의 좌표와, 영역 A 상의 화소들 중 영역 a와 겹치는 영역에 포함된 화소들의 제1 전경 상의 좌표는 동일하다.

이와 같은 경우, 제1 전경 및 제2 전경의 교집합 제어를 통해 전경 생성 장치(200)는 교집합 전경으로 영역 a를 포함한 전경을 생성할 수 있다. 전경 생성 장치(200)는 동일한 좌표를 갖는 화소들을 포함하는 전경을 교집합 전경으로 생성할 수 있다.

한편, 영역 C는 영역 A 및 영역 B와 겹치지 않는 영역이라고 가정한다.

이 경우, 전경 생성 장치(200)는 합집합 제어를 통해 영역 A, 영역 B 및 영역 C에 포함된 화소들을 모두 포함한 전경을 합집합 전경으로 생성할 수 있다.

전경 생성 장치(200)는 교집합 제어 및 합집합 제어를 병렬적으로 수행할 수 있다.

전경 생성 장치(200)는 교집합 전경 및 합집합 전경을 기초로, 최종 전경을 생성할 수 있다(S40).

도 5는 본 발명의 몇몇 실시예에서 참조되는, 서로 다른 분산 값 범위를 가지는 다중 배경 모델을 설명하기 예시도이다.

도 5에서, 영상(501)에 대하여 전경 생성 장치가 이중 배경 모델을 적용하여 2개의 전경을 각각 추출한 경우가 예로써 도시되었다.

영상(501)은 배경과 전경을 포함하며, 특히 전경으로 하단과 상단에 표시된 2인의 사람 영상을 포함하는 경우이다. 상단 표시된 사람 영상과 하단 표시된 사람의 상반신의 경우, 배경과 유사한 화소 값 분포를 갖는다.

이중 배경 모델 중, 제1 배경 모델에는 제1 분산 값 범위가 설정되고, 제2 배경 모델에는 제2 분산 값 범위가 설정된 것으로 가정한다. 또한, 제1 분산 값 범위는 제2 분산 값 범위보다 작은 것으로 가정한다. 예를 들어, 제1 분산 값 범위는, 분산 값 σ, 2≤σ≤7 이고, 제2 분산 값 범위는 9≤σ≤15 일 수 있다. 이때, 예를 들어, 제1 분산 값은 5이고, 제2 분산 값은 10일 수 있다.

영상(501)에 대하여 제1 배경 모델이 적용된 경우, 영상(502)를 참조하면, 전경(A)뿐만 아니라 주변부의 배경 역시 전경으로 검출되었다. 상단부의 사람 영상은 배경과 유사한 화소 값 분포를 가짐에도 비교적 정확히 검출되었다.

또한, 영상(501)에 대하여 제2 배경 모델이 적용된 경우, 영상(503)을 참조하면, 전경(B)에서 영상(501) 상의 전경이 아닌 배경 부분의 노이즈는 제외되었으나, 하단 및 상단의 사람에 대한 영상의 영역이 과분할 되었거나 전 경 영역 상의 화소 일부가 소실되었다.

즉, 설정된 분산 값 범위가 작을수록, 배경 모델은 배경과 유사한 화소 값 분포를 가지는 전경을 검출하는 기능은 안정적인 반면에, 배경 부분의 일부 화소들이 오 검출되어 전경에 포함되는 경우가 발생할 수 있다. 반면, 설정된 분산 값 범위가 클수록, 배경 모델은 조명 변화, 또는 센서 디바이스의 자동 설정 변화에도 전경을 안정적으로 검출하지만, 배경과 비슷한 화소 값 분포를 가지는 전경을 검출하는 경우, 정밀도가 떨어진다.

종래의 전경 검출 방법은, 영상의 특성에 따른 분산 값의 범위를 고려하지 않고 배경을 학습하여 전경을 검출하므로, 상술한 분산 값의 범위에 따라 발생하는 문제점을 가지고 있다.

반면, 본 발명의 실시예에 따르면, 다중 배경 모델을 이용하므로, 분산 값의 범위가 상대적으로 큰 경우와 작은 경우의 전경이 모두 고려된 전경이 추출될 수 있다. 구체적으로, 본 발명의 실시예에 따르면, 전경 생성 장치(200)가 분산 값의 범위에 따른 전경을 다중 배경 모델 별로 별도로 추출해 내고, 다중 배경 모델을 통해 각각 추출된 전경에 대하여 상보적인 전경을 최종적으로 추출해낼 수 있는 장점이 있다.

이하, 제1 분산 값은 미리 설정된 제1 범위(2≤σ≤7)에 속하는 분산 값(σ=5)이고, 상기 제2 분산 값은 미리 설정된 제2 범위(9≤σ≤15)에 속하는 분산 값(σ=10)이되, 상기 제1 범위의 최대 분산 값(σ=7)은 상기 제2 범위의 최소 분산 값(σ=9)보다 작은 것으로 가정한다.

도 6은 본 발명의 몇몇 실시예에서 참조되는, 다중 배경 모델로부터 추출된 전경의 예시도이다.

도 6에서 제1 범위로 분산 값 범위가 설정된 배경 모델을 이용하여 영상(601)이 추출되고, 제2 범위로 분산 값 범위가 설정된 배경 모델을 이용하여 영상(602)가 추출된 경우가 예로써 도시되었다.

영상(601)을 참조하면, 전경은 영역 A, B 및 C를 포함한다. 각 영역은 별도의 객체일 수도 있고, 하나의 객체가 분할된 것일 수도 있다.

영상(602)를 참조하면, 전경은 내부에 소실된 화소 영역 X를 포함한다.

본 발명의 실시예에 따르면, 분산 값의 범위가 서로 다르게 설정된 배경 모델 각각은 학습을 통해, 분산 값을 결정할 수 있다. 전경 생성 장치(200)는 결정된 분산 값을 기초로, 현 시점에 제공된 영상에 대하여 전경을 추출하고, 영상(601) 및 영상(602)와 같이 서로 다른 전경을 추출할 수 있다. 영상(601) 및 영상(602)은 상대적으로 분산 값이 작은 경우와 큰 경우의 배경 모델을 각각 이용한 것으로 신뢰도가 높지 않다.

본 발명의 실시예에 따른 전경 생성 장치(200)는 단계(S30)에서 교집합 전경 및 합집합 전경을 각각 생성하여 최종 전경 생성에 이용함으로써, 전경의 신뢰도를 향상시킬 수 있다.

이하, 단계(S30)에서 교집합 전경 및 합집합 전경을 생성한 후, 최종 전경을 생성하는 단계(S40)에 대하여 구체적으로 설명한다.

도 7은 본 발명의 또 다른 실시예에 따른, 교집합 전경 및 합집합 전경을 이용한 전경 생성 과정을 설명하기 위한 순서도이다.

단계(S40)에서, 전경 생성 장치(200)는 교집합 전경 상의 적어도 하나의 영역을 식별할 수 있다(S401). 교집합 전경은 하나 이상의 영역을 포함할 수 있다. 교집합 전경이 복수의 영역을 포함하는 경우, 전경이 복수의 객체를 포함하는 경우일 수도 있으나, 하나의 객체가 분할됨에 따라 복수의 영역이 추출될 수도 있다. 여기에서 영역이란, 동일한 화소 값을 가지는 공간적으로 연속된 화소 영역을 의미한다. 전경 생성 장치(200)는 미리 설정된 개수 이상의 동일한 화소 값을 갖는 공간적으로 연속된 화소 영역을 하나의 영역으로 식별할 수 있다. 미리 설정된 개수는 객체 또는 객체의 일 영역으로 인식되기 위한 최소한의 단위로서, 전경 생성 장치(100)의 관리자에 의해 결정될 수 있다.

이때, 전경 생성 장치(200)는 예를 들어, 생성된 교집합 전경의 각 화소 값을 식별함으로써 동일한 화소 값을 가지는 영역을 식별할 수 있다. 즉, 교집합 제어를 통해 교집합 전경을 생성한 후, 획득된 영상에서 동일한 화소 값을 갖는 공간적으로 연속된 영역이 복수 개 존재하는 경우, 전경 장치(200)는 이를 식별할 수 있다.

전경 생성 장치(200)는 식별된 적어도 하나의 영역 중, 제1 영역 상의 제1 화소를 선정할 수 있다(S402). 전경 생성 장치(200)는 임의의 화소를 제1 화소로 선정할 수 있으며, 미리 설정된 기준에 따라 제1 화소를 선정할 수도 있다. 이때, 제1 화소는 합집합 전경 상에서 주변 화소에 대한 탐색을 시작하는 시작점에 해당한다. 전경 생성 장치(200)는 선정된 제1 화소의 좌표를 식별할 수 있다.

전경 생성 장치(200)는 합집합 전경 상에서 제1 화소의 주변 화소에 대하여 미리 설정된 방향으로 제1 탐색을 수행할 수 있다(S403). 여기에서 제1 탐색이란, 제1 화소가 기준이 되는 탐색을 의미한다.

이때, 전경 생성 장치(200)의 탐색 방법으로, 예를 들어 플러드 필(Flood Fill) 알고리즘이 이용될 수 있다.

예를 들어, 전경 생성 장치(200)는 제1 화소의 좌표를 기준으로 주변 화소에 대하여 전후 좌우의 방향 중, 미리 설정된 방향 순서대로 제1 화소 값과 동일한 화소 값을 갖는 화소가 존재하는지 제1 탐색을 수행한다.

전경 생성 장치(200)는 탐색의 기준이 되는 기준 화소인 제1 화소와 동일한 화소 값을 갖는 화소가 제1 영역 상에 존재하는지 판단할 수 있다(S404). 이에 따라, 제1 탐색에 의해 상기 제1 화소의 화소 값과 동일한 화소 값을 갖는 제2 화소가 검출되면, 전경 생성 장치(200)는 제1 화소 및 검출된 제2 화소를 상기 제1 영역에서 검출된 화소로 결정할 수 있다. 검출된 화소는 최종 전경의 후보 화소이며, 전경 생성 장치(200)는 검출된 화소를 저장할 수 있다.

전경 생성 장치(200)는 제1 화소와 동일한 화소 값을 갖는 제2 화소가 제1 화소의 인접 영역에 존재하는 경우, 제1 화소 및 제2 화소를 공간적으로 연결된 영역으로 식별할 수 있다.

제1 화소와 동일한 화소 값을 가지는 제2 화소가 탐색됨에 따라, 제1 화소 및 제2 화소를 포함하는 영역이 생성되었으나, 영역을 최종 확정하기 위해서는 제2 화소를 기준으로 추가 탐색이 요구된다. 영역의 형상은 추가 탐색에 의해 결정될 수 있다.

전경 생성 장치(200)는 제2 화소의 주변 화소에 대하여 미리 설정된 방향으로 제2 탐색을 수행할 수 있다. 여기에서 제2 탐색이란, 제2 화소가 기준이 되는 탐색을 의미한다. 전경 생성 장치(200)는 탐색의 기준이 되는 기준 화소인 제2 화소와 동일한 화소 값을 갖는 화소가 제1 영역 상에 존재하는지 판단할 수 있다(S404). 전경 생성 장치(200)는 제2 탐색에 의해 제2 화소의 화소 값과 동일한 화소 값을 갖는 제3 화소가 검출되면, 검출된 제3 화소를 제1 영역에서 검출된 화소로 결정할 수 있다.

이에 따라, 전경 생성 장치(200)는 제1 화소, 제2 화소 및 제3 화소로 구성된 영역을 공간적으로 연결된 영역으로 식별할 수 있다. 전경 생성 장치(200)는 식별된 영역을 제1 영역의 검출 영역으로 결정하고, 결정된 검출 영역을 저장할 수 있다(S405).

한편, 단계(S404) 이후, 교집합 전경에 제1 영역 외에 제2 영역이 존재하는지 판단할 수 있다(S406)., 즉, 단계(S401)에서, 복수의 영역이 식별된 경우이다.

이 경우, 전경 생성 장치(200)는 제2 영역에 대하여 도 7의 단계(S402) 내지 단계(S406)의 과정을 반복할 수 있다(S407). 이에 따라, 전경 생성 장치(200)는 단계(S402)에서 제2 영역 상의 제1 화소를 선정할 수 있다. 여기에서, 제2 영역 상의 제1 화소는 제1 영역 상의 제1 화소와 좌표 값이 다른 화소이다.

전경 생성 장치(200)는 합집합 전경 상에서, 제2 영역 상의 제1 화소의 주변 화소에 대하여 미리 설정된 방향으로 탐색을 수행할 수 있다. 이와 같은 탐색에 의해 제2 영역 상의 제1 화소의 화소 값과 동일한 화소 값을 갖는 화소가 검출되면, 전경 생성 장치(200)는 제2 영역 상의 제1 화소 및 검출된 화소를 제2 영역에서 검출된 화소로 결정할 수 있다.

전경 생성 장치(200)는 제2 영역 상의 제1 화소와 동일한 화소 값을 갖는 화소가 제2 영역 상의 제1 화소의 인접 영역에 존재하는 경우, 제2 영역 상의 제1 화소 및 인접 영역의 상기 화소를 공간적으로 연결된 영역으로 식별할 수 있다. 전경 생성 장치(200)는 식별된 영역을 제2 영역의 검출 영역으로 결정하고, 결정된 검출 영역을 저장할 수 있다(S405).

이에 따라, 전경 생성 장치(200)는 서로 다른 복수의 검출 영역을 최종 전경의 영역으로 저장할 수 있다(S408).

도 8는 본 발명의 몇몇 실시예에서 참조되는, 교집합 전경, 합집합 전경 및 최종 전경의 예시이다.

도 8을 참조하면, 영상(801)은 영상(601) 및 영상(602)의 교집합 전경의 예시이다. 전경 생성 장치(200)가 다중 배경 모델을 이용하는 경우, 단계(S20)에서, 전경 생성 장치(200)는 제1 전경 및 제2 전경을 추출할 수 있다.

단계(S30)에서, 전경 생성 장치(200)는 제1 전경 상의 적어도 하나의 영역과 제2 전경 상의 적어도 하나의 영역 사이의 공통된 영역을 포함하는 전경을 생성할 수 있다.

즉, 영상(601)의 영역 A, B, 및 C와 영상(602)의 소실 영역 X의 공통된 영역은, 영역 A, B 및 소실 영역 X이므로, 전경 생성 장치(200)는 영상(801)과 같은 교집합 전경을 생성할 수 있다.

영상(802)는 영상(601) 및 영상(602)의 합집합 전경의 예시이다.

단계(S40)에서, 전경 생성 장치(200)는 제1 전경 상의 적어도 하나의 영역과 상기 제2 전경 상의 적어도 하나의 영역을 모두 포함하는 전경을 생성할 수 있다. 즉, 영상(802)는 영상(601) 및 영상(602)의 모든 영역으로 구성된다.

영상(803)은 도 7의 방법을 수행하여, 생성된 최종 전경의 예시이다.

영상(803)을 참조하면, 전경 생성 장치(200)는 교집합 전경(801) 상의 영역 A에서 제1 화소(a)를 결정하고, 합집합 전경(802)에서 제1 화소(a)를 기준으로 탐색을 수행할 수 있다. 이에 따라 교집합 전경(801)상의 영역 A와 연결된 합집합 전경(802)상의 모든 화소가 최종 전경 영역으로 저장된다. 이에 따라, 전경 생성 장치(200)는 합집합 전경(802) 상의 영역 C를 제외한 모든 탐색된 영역을 최종 전경 영역으로 저장할 수 있다.

이때, 교집합 전경(801) 상의 소실된 영역 X에 해당하는 화소 역시 최종 전경의 화소로 저장된다. 전경 생성 장치(200)는 합집합 전경(802) 상에서 탐색 화소의 화소 값과 동일한 화소 값을 갖는 화소를 탐색하여 최종 전경의 화소로 저장하기 때문이다. 즉, 합집합 전경(802) 상에서 소실되지 않은 화소라면, 탐색 화소 값과 동일한 화소 값을 가지기 때문에 교집합 전경(801) 상에서의 소실 여부와 상관 없이 최종 전경의 화소로 저장된다.

다음으로, 전경 생성 장치(200)는 교집합 전경(801) 상의 영역 B에서 제1 화소(b)를 결정하고, 합집합 전경(802)에서 영역 B 상의 제1 화소(b)를 기준으로 탐색을 수행할 수 있다. 본 예시에서는 교집합 전경(802)에서 영역 B에 해당하는 화소가 이전의 교집합 전경(802)의 영역 A에 해당하는 화소 탐색에 의해 최종 전경의 화소로 저장되었으므로 최종 전경으로 추가되지 않는다.

마찬가지로 교집합 전경(801) 상의 영역 A와 영역 B 사이의 영역(이하, 분할 영역) 역시, 합집합 전경(802)에서는 영역 A와 영역 B의 분할 없이 모두 동일한 화소 값을 가지기 때문에, 전경 생성 장치(200)는 분할 영역의 화소를 모두 최종 전경의 화소로 저장할 수 있다.

한편, 전경 생성 장치(200)는 영역 C 상의 화소를 기준으로 탐색을 수행하지 않는다. 따라서, 합집합 전경(802) 상의 영역 C의 경우, 탐색 화소가 교집합 전경(801) 상의 영역에서 선정되므로, 합집합 전경(802) 상의 영역 C는 최종 전경으로 검출되지 않는다.

전경 생성 장치(200)는 영역 A, 영역 B 및 분할 영역을 포함한 영상인 최종 전경(803)을 생성할 수 있다.

도 9 및 도 10은 본 발명의 몇몇 실시예에서 참조되는, 입력되는 각각의 영상에 대한 최종 전경 생성 과정을 설명하기 위한 예시도이다.

도 9를 참조하면, 영상(901)의 경우, 하단 영역의 사람 및 배경과 유사한 화소 값 분포를 가지는 상단 영역의 사람을 객체로 포함한다. 도 10을 참조하면, 영상(1001)의 경우, 우측 사람 및 배경과 유사한 화소 값 분포를 가지는 좌측 사람을 객체로 포함한다.

이와 같은 경우, 전경 생성 장치(200)는 분산도가 상대적으로 낮은 배경 모델로부터 추출된 전경(902, 1002)와 분산도가 상대적으로 높은 배경 모델로부터 추출된 전경(903, 1003)의 교집합 전경 및 합집합 전경을 각각 생성하여, 최종 전경(904, 1004)를 생성할 수 있다.

도 9 및 도 10을 참조하면, 배경과 유사한 화소 값 분포를 갖는 객체에 대하여 최종 전경(904, 1004)의 검출 정확도가 전경(902, 1002) 및 전경(903, 1003) 대비 우수한 것을 확인할 수 있다.

도 11은 본 발명의 몇몇 실시예에서 참조되는, 최종 전경의 정확도를 설명하기 위한 예시도이다.

도 11에서, 영상(1101)에 대하여, 상술한 실시예에 따라 생성된 최종 전경(1102)와 종래의 방법에 따른 전경(1103)이 예로써 도시되었다.

영상(1101)을 참조하면, 센서 디바이스(100)를 통해 3명의 사람이 포함된 영상(1101)이 획득될 수 있다. 이때, 영상(1101) 상에서 3명의 사람이 어두운 객체들로 식별되고, 영상(1101)의 많은 부분을 차지하게 되면, 센서 디바이스(100)는 자동 밝기 값 조절 기능을 활성화하여 영상(1101)의 우측 상단 영역과 좌측 상단의 영역 등의 배경 화소 값을 변화시킬 수 있다.

이와 같은 경우에, 본 발명의 실시예에 따르면, 전경 생성 장치(200)는 최종 전경(1102)를 생성할 수 있다. 최종 전경(1102)는 객체를 전경으로 정확히 추출하였으나, 종래의 방법에 따른 전경(1103)은 전경에 배경인 우측 상단과 좌측 상단 영역 및 좌측 하단 영역 등이 함께 포함되었음을 확인할 수 있다.

지금까지 전경 생성 장치(200)의 최종 전경 생성 방법에 대하여 주로 설명하였다. 본 발명의 실시예에 따르면, 다중 배경 모델은 사용자 설정에 따라 생성될 수도 있다. 이하, 도 12를 참조하여 자세히 설명한다.

도 12는 본 발명의 또 다른 실시예에 따른, 배경 모델에 적용될 분산 값을 결정하는 방법의 순서도이다.

전경 생성 장치(200)는 단계(S20)에 앞서, 배경 모델에 대한 2 이상의 설정 개수를 입력 받을 수 있다. 예를 들어, 설정 개수는 전경 생성 장치(200)의 입력부 또는 외부 장치를 통하여 입력될 수 있다.

전경 생성 장치(200)는 설정 개수를 기초로, 복수개의 배경 모델을 생성할 수 있다. 예를 들어, 설정 개수 2가 입력되면, 이중 배경 모델이 생성되고, 설정 개수 3이 입력되면, 배경 모델이 3개 생성될 수 있다.

전경 생성 장치(200)는 생성된 복수개의 배경 모델 각각에 설정될 분산 값의 범위를 결정할 수 있다.

구체적으로, 전경 생성 장치(200)는 설정 개수를 기초로, 생성된 복수개의 배경 모델 각각에 적용될 분산 값의 범위를 결정할 수 있다(S1201).

예를 들어, 설정 개수가 2인 경우, 2개의 배경 모델이 생성되고, 전경 생성 장치(200)는 각각의 배경 모델에 설정될 분산 값 범위로, 2≤σ≤7 및 9≤σ≤15를 결정할 수 있다. 또는 설정 개수가 3인 경우, 3개의 배경 모델이 생성되고, 전경 생성 장치(200)는 각각의 배경 모델에 설정될 분산 값 범위로, 2≤σ≤5, 7≤σ≤10 및 11≤σ≤15를 결정할 수 있다.

다음으로, 전경 생성 장치(200)는 다음 시간의 영상을 수신한다(S1202).

전경 생성 장치(200)는 계속하여 학습을 수행하되, 영상의 각 화소에 대하여, 시점 t에서의 화소 값과 시점 t-1에서의 각 화소 값의 평균 및 분산 값을 이용하여 시점 t에서의 분산 값을 연산할 수 있다(S1203).

전경 생성 장치(200)는 연산된 분산 값이, 생성된 복수개의 배경 모델 중, 어느 하나의 배경 모델에 대하여 결정된 분산 값 범위에 속하는지 판단할 수 있다(S1204). 판단 결과, 연산된 분산 값이 어느 하나의 배경 모델에 대하여 결정된 분산 값 범위에 속하는 경우, 전경 생성 장치(200)는 상기 어느 하나의 배경 모델의 분산 값으로, 상기 연산된 분산 값을 결정할 수 있다.

전경 생성 장치(200)는 어느 하나의 배경 모델에 대하여 상기 결정된 분산 값으로 기존의 분산 값을 대체할 수 있다(S1205). 즉, 전경 생성 장치(200)는, 배경 모델에 적용된 분산도를 업데이트할 수 있다.

전경 생성 장치(200)는 업데이트된 분산도가 적용된 배경 모델을 이용하여 배경을 학습하고, 전경을 추출하되, 학습 결과에 따라 분산도를 조절할 수 있다. 다만, 이 경우, 전경 생성 장치(200)는 단계(S1201)에서 결정된 배경 모델에 대한 분산 값 범위 내에서 상기 분산도를 조절할 수 있다.

예를 들어, 다중 배경 모델 중, 어느 하나의 배경 모델(이하, 배경 모델1)의 분산 값 범위가, 분산 값 σ, 2≤σ≤7 인 경우를 가정한다. 분산 값 σ=5인 경우, 전경 생성 장치(200)가 분산도를 조절함에 따라, 분산 값 σ=7이 될 수 있다.

이때, 전경 생성 장치(200)가 학습에 따라 원하는 전경을 추출하기 위해서는 분산도가 계속 조절되어야 할 수 있다. 즉, 분산 값 σ가 8 이상의 값을 가지는 경우의 배경 모델이 전경 추출을 위해 요구될 수 있다.

본 발명의 실시예에 따르면, 이와 같은 경우, 전경 생성 장치(200)는 다른 배경 모델을 이용하여 해당 분산도에 따른 전경을 추출할 수 있다. 예를 들어, 분산 값 범위가, 분산 값 σ, 8≤σ≤15 로 설정된 다른 배경 모델(이하, 배경 모델2)을 이용하여, 전경 생성 장치(200)는 원하는 전경을 추출할 수 있다.

따라서, 전경 생성 장치(200)는 배경 모델1에 대하여는 더 이상 분산도를 증가시키지 않고, 분산 값이 배경 모델1에 대하여 설정된 범위를 벗어나지 않도록 제어할 수 있다.

전경 생성 장치(200)는 복수의 배경 모델 각각에 대하여 병렬적으로 도 12의 방법을 실행할 수 있다.

지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 PC와 같은 모바일 컴퓨팅 장치를 모두 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (10)

1. 전경 생성 장치가 수행하는 방법에 있어서,
   센서 디바이스로부터 획득된 영상을 제공받는 단계;
   상기 영상에 대하여, 서로 다른 분산 값 범위가 설정된 복수개의 배경 모델을 각각 적용하여 복수개의 전경을 추출하는 단계;
   상기 추출된 복수의 전경에 대한 교집합 제어를 수행하여 교집합 전경을 생성하는 단계;
   상기 추출된 복수의 전경에 대한 합집합 제어를 수행하여 합집합 전경을 생성하는 단계; 및
   상기 교집합 전경에서 선정된 화소를 기초로 상기 합집합 전경을 탐색하여 최종 전경을 생성하는 단계를 포함하는,
   전경 생성 방법.
2. 제 1 항에 있어서,
   상기 복수개의 전경을 추출하는 단계는,
   상기 영상에 대하여, 상기 복수개의 배경 모델을 병렬적으로 각각 적용함에 따라, 상기 복수개 만큼의 전경을 추출하는 단계를 포함하는,
   전경 생성 방법.
3. 제 1 항에 있어서,
   상기 복수개의 배경 모델에 적용된 서로 다른 분산 값 범위는, 제1 분산 값 범위 및 제2 분산 값 범위를 포함하고,
   상기 제1 분산 값 범위에 속하는 최대 분산 값은 상기 제2 분산 값 범위에 속하는 최소 분산 값보다 작은,
   전경 생성 방법.
4. 제 1 항에 있어서,
   상기 복수개의 전경을 추출하는 단계에 앞서, 배경 모델에 대한 2 이상의 설정 개수를 입력 받는 단계;
   상기 설정 개수를 기초로, 상기 복수개의 배경 모델을 생성하는 단계; 및
   상기 생성된 복수개의 배경 모델 각각에 설정될 분산 값 범위를 결정하는 단계를 포함하는,
   전경 생성 방법.
5. 제 4 항에 있어서,
   상기 생성된 복수개의 배경 모델 각각에 설정될 분산 값 범위를 결정하는 단계는,
   상기 설정 개수를 기초로, 상기 생성된 복수개의 배경 모델 각각에 적용될 분산 값의 범위를 결정하는 단계;
   상기 영상의 각 화소에 대하여, 시점 t에서의 화소 값과 시점 t-1에서의 각 화소 값의 평균 및 분산 값을 이용하여 시점 t에서의 분산 값을 연산하는 단계; 및
   상기 연산된 분산 값이, 상기 복수개의 배경 모델 중, 어느 하나의 배경 모델에 대하여 결정된 분산 값 범위에 속하는 경우, 상기 연산된 분산 값을 상기 어느 하나의 배경 모델의 분산 값으로 결정하는 단계를 포함하는,
   전경 생성 방법.
6. 제 1 항에 있어서,
   상기 최종 전경을 생성하는 단계는,
   상기 교집합 전경 상의 적어도 하나의 영역을 식별하는 단계;
   상기 식별된 적어도 하나의 영역 중, 제1 영역 상의 제1 화소를 선정하는 단계;
   상기 합집합 전경 상에서 상기 제1 화소의 주변 화소에 대하여 미리 설정된 방향으로 제1 탐색을 수행하는 단계; 및
   상기 제1 탐색에 의해 상기 제1 화소의 화소 값과 동일한 화소 값을 갖는 제2 화소가 검출되면, 상기 제1 화소 및 상기 검출된 제2 화소를 상기 최종 전경의 화소로 결정하는 단계를 포함하는,
   전경 생성 방법.
7. 제 6 항에 있어서,
   상기 제2 화소의 주변 화소에 대하여 미리 설정된 방향으로 제2 탐색을 수행하는 단계;
   상기 제2 탐색에 의해 상기 제2 화소의 화소 값과 동일한 화소 값을 갖는 제3 화소가 검출되면, 상기 검출된 제3 화소를 상기 최종 전경의 화소로 결정하는 단계를 포함하는,
   전경 생성 방법.
8. 제 6 항에 있어서,
   상기 식별된 적어도 하나의 영역 중, 제2 영역 상의 제1 화소를 선정하는 단계;
   상기 합집합 전경 상에서, 상기 제2 영역 상의 제1 화소의 주변 화소에 대하여 미리 설정된 방향으로 탐색을 수행하는 단계; 및
   상기 탐색에 의해 상기 제2 영역 상의 제1 화소의 화소 값과 동일한 화소 값을 갖는 화소가 검출되면, 상기 제2 영역 상의 제1 화소 및 상기 검출된 화소를 상기 최종 전경의 화소로 결정하는 단계를 포함하는,
   전경 생성 방법.
9. 제 1 항에 있어서,
   상기 복수개의 전경을 추출하는 단계는,
   제1 전경 및 제2 전경을 추출하는 단계를 포함하고,
   상기 교집합 전경을 생성하는 단계는,
   상기 제1 전경 상에서 미리 설정된 개수 이상의 동일한 화소 값을 갖는 공간적으로 연속된 영역을 제1 식별하는 단계;
   상기 제2 전경 상에서 상기 미리 설정된 개수 이상의 동일한 화소 값을 갖는 공간적으로 연속된 영역을 제2 식별하는 단계; 및
   상기 제1 식별된 영역 상의 화소들과 상기 제2 식별된 영역 상의 화소들 중, 공통된 좌표의 화소를 포함하는 전경을 생성하는 단계를 포함하는,
   전경 생성 방법.
10. 제 1 항에 있어서,
    상기 복수개의 전경을 추출하는 단계는,
    제1 전경 및 제2 전경을 추출하는 단계를 포함하고,
    상기 합집합 전경을 생성하는 단계는,
    상기 제1 전경 상에서 미리 설정된 개수 이상의 의 동일한 화소 값을 갖는 공간적으로 연속된 영역을 제1 식별하는 단계;
    상기 제2 전경 상에서 상기 미리 설정된 개수 이상의 동일한 화소 값을 갖는 공간적으로 연속된 영역 제2 식별하는 단계; 및
    상기 제1 식별된 영역 상의 화소들과 상기 제2 식별된 영역 상의 화소들을 모두 포함하는 전경을 생성하는 단계를 포함하는,
    전경 생성 방법.
    
    

Images