KR20180037667A - 지역 하이브리드 패턴의 부호화 방법과 이를 이용한 하이브리드 배경 모델링 방법 및 장치 - Google Patents

Abstract

본 발명은 에지 화소의 부호화 방법과 이를 이용한 배경 모델링 방법 및 장치에 관한 것이다. 본 발명은 영상 프레임을 경계 영역과 내부 영역으로 구분하는 방법에 있어서, 에지 연산자를 적용하여 산출되는 에지 반응 크기(Gradient magnitude)를 이용하여 상기 영상 프레임으로부터 후보 에지 화소를 추출하는 단계, 상기 에지 화소와 인접한 이웃 화소의 에지 반응 크기(Gradient magnitude)와 에지 방위(Gradient direction)를 이용하여, 상기 이웃 화소의 에지점수를 산출하는 단계, 상기 에지점수가 높은 순으로 n개의 이웃 화소를 선정하여, 상기 n개의 이웃 화소의 에지점수가 기 설정된 경계 영역 조건을 만족하는지 판단하는 단계, 상기 판단 결과 모두 상기 경계 영역 조건을 만족하면, 상기 후보 에지 화소를 경계 영역으로 설정하는 단계를 포함하는 것을 일 특징으로 한다. 이러한 본 발명에 의하면, 경계 영역의 에지 화소가 주변 에지와 이루는 형태 정보를 부호화함으로써, 배경과 전경의 구분력을 높일 수 있다.

Description

지역 하이브리드 패턴의 부호화 방법과 이를 이용한 하이브리드 배경 모델링 방법 및 장치{ENCODING METHOD OF LOCAL HYBRID PATTERN, METHOD AND APPARATUS OF HYBRID BACKGROUND MODELING USING THEREOF}

본 발명은 지역 하이브리드 패턴의 부호화 방법과 이를 이용한 하이브리드 배경 모델링 방법 및 장치에 관한 것으로, 보다 자세하게는 영상 프레임의 각 화소가 경계 영역과 내부 영역 중 어느 영역에 속하는지를 구분하여 정확도를 높이고, 구분된 에지 화소와 내부 화소를 부호화하여 배경 모델링에 이용하는 방법 및 장치에 관한 것이다.

CCTV의 보급과 그 성능이 급속히 확대(향상, 성장)되고 있고, 이에 따른 방대한 CCTV 영상을 자동으로 분석하여 범죄와 사고를 탐지하고 예측할 수 있는 기술에 대한 요구도 급증하고 있다. 고정된 CCTV에서의 전경 검출의 성능은 배경과 이동물체를 뚜렷하게 구분할 수 있는 차영상에 따라 결정되는데, 차영상을 구하는데 있어서 영상에서 지속적으로 나타나는 영역을 배경으로 표현하는 배경 모델링 방법이 사용된다.

배경 모델링은 크게 화소 기반 방법(Pixel based method), 에지 기반 방법(Edge based method), 그리고 텍스처 기반 방법(Texture based method)이 있다.

화소 기반 방법(Pixel based method)은 화소를 구성하는 값인 명도 또는 컬러 정보를 기반으로 배경을 표현하는 방법인데, 이러한 방법은 배경의 위치 및 방위 변화에 강건한 장점을 갖지만, 조명변화에 민감하다는 단점이 있다.

에지 기반 방법(Edge based method)은 영상 내 경계를 나타내는 에지를 검출하고, 전체 화소가 아닌 검출된 에지를 기반으로 배경을 표현하는 방법이다. 이때 사용되는 에지 특징에 따라 에지-화소 기반 방법(Edge-pixel based method)과 에지-세그먼트 기반 방법(Edge-segment based method)으로 구분된다. 에지-화소 기반 방법은 검출된 에지를 화소단위로 모델링 하는 방법이다. 이 방법은 화소 기반 모델링에 비해 조명변화에 영향을 적게 받지만 작은 변형이나 배경의 움직임에 민감하게 반응하고, 잡음에 민감한 단점이 있다. 에지-세그먼트 기반 방법은 에지 화소들을 세그먼트 단위로 결합하고 세그먼트가 가지는 형태와 컬러정보를 배경 모델에 포함시킴으로써 에지-화소 기반 방법의 단점을 보완하였다. 또한 배경 에지 세그먼트의 움직임을 통계적으로 모델링하고 이를 배경 에지 구분에 활용함으로써 배경의 움직임으로 인한 단점을 보완하였다. 하지만 이동물체의 에지 일부가 배경으로 구분되는 단점과 전경의 내부 화소의 영역 정보를 확보 할 수 없는 것이 큰 단점이다.

텍스처 기반 방법(Texture based method)은 영상의 각 화소를 대상으로 주변화소와 형성하는 텍스처 패턴을 생성하고 이를 기반으로 배경 모델을 생성한다. 텍스처 패턴은 화소 기반 방법에 비해 조명변화에 덜 민감하여 안정적인 결과를 생성할 수 있지만, 텍스처 정보가 없는 균일한 영역에서는 잡음에 상당한 영향을 받으며 비단조 조명변화에 민감하다는 문제점이 있다.

위와 같은 방법들의 장점을 취하고 단점을 극복하기 위한 방법으로, 영상을 경계 영역과 내부 영역으로 구분하여 각 영역의 특징을 패턴으로 표현하는 이종 영역 기반 배경 모델링 방법이 제안되었다. 이종 영역 기반 배경 모델링은 영상에 포함된 화소를 경계 영역과 내부 영역으로 구분한 뒤, 경계 영역을 LBP(Local Binary Pattern) 또는 LDP(Local Directional Pattern) 등으로 표현하는 방법이다.

이러한 방법은 잡음에 민감한 화소 기반 방법의 단점과 내부 정보를 획득할 수 없는 에지 기반 방법의 문제점을 보완할 수 있다는 것이 장점이나, 유사도 계산이 어려워 배경의 작은 변화에도 민감하게 반응하고, 전경과 배경이 겹쳐진 경계 영역에서 전경을 배경으로 오인식하는 문제가 있다. 따라서, 이러한 문제를 해결하고 안정적으로 경계 영역을 구분할 수 있는 배경 모델링 방법이 요구된다.

본 발명은 전술한 문제를 해결하기 위한 것으로, 경계 영역의 에지 화소가 주변 에지와 이루는 형태 정보를 부호화함으로써, 배경과 전경의 구분력을 높일 수 있는 에지 화소의 부호화 방법을 제공하는 것을 일 목적으로 한다.

또한, 본 발명은 영상 프레임을 구성하는 일 화소가 경계 영역인지 내부 영역인지를 구분함에 있어서, 에지 방위를 이용하여 에지 형태 정보를 확인하고 이를 바탕으로 부호화를 진행함으로써, 영상에 포함된 잡음에 대한 구분력이 뛰어난 경계 영역 구분 방법을 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은 경계 영역의 코드를 비교함에 있어서, 두 코드의 유사성 계산이 어려워 코드를 클러스터링할 수 없었던 문제를 해결할 수 있는 부호화된 정보 간 비유사도(거리) 산출 방법을 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은 전경을 배경으로 오인식하는 문제를 줄이고, 배경의 구분력을 높일 수 있는 배경 모델링 방법 및 장치를 제공하는 것을 또 다른 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 영상 프레임을 경계 영역과 내부 영역으로 구분하는 방법에 있어서, 에지 연산자를 적용하여 산출되는 에지 반응 크기(Gradient magnitude)를 이용하여 상기 영상 프레임으로부터 후보 에지 화소를 추출하는 단계, 상기 후보 에지 화소와 인접한 이웃 화소의 에지 반응 크기(Gradient magnitude)와 에지 방위(Gradient direction)를 이용하여, 상기 이웃 화소의 에지점수를 산출하는 단계, 상기 에지점수가 높은 순으로 n개의 이웃 화소를 선정하여, 상기 n개의 이웃 화소의 에지점수가 기 설정된 경계 영역 조건을 만족하는지 판단하는 단계, 상기 판단 결과 모두 상기 경계 영역 조건을 만족하면, 상기 후보 에지 화소를 경계 영역으로 설정하는 단계를 포함하는 것을 일 특징으로 한다.

또한, 본 발명은 경계 영역으로 구분된 에지 화소를 지역 하이브리드 패턴(Local Hybrid Pattern)으로 부호화하는 방법에 있어서, 상기 에지 화소와 인접한 이웃 화소에 기 설정된 규칙에 따라 인덱스를 부여하는 단계, 상기 이웃 화소 중, 에지 반응 크기와 에지 방위를 이용하여 n개의 이웃 화소를 선정하는 단계, 상기 선정된 n개의 이웃 화소의 인덱스를 이진수로 변환하는 단계, 상기 이진수로 변환된 n개의 인덱스를 연결하여 지역 하이브리드 패턴 코드를 생성하는 단계를 포함하는 것을 일 특징으로 한다.

또한, 본 발명은 배경 모델링 방법에 있어서, 입력 영상 프레임을 경계 영역과 내부 영역으로 구분하여 지역 하이브리드 패턴으로 부호화하는 단계, 하나 이상의 입력 영상 프레임의 지역 하이브리드 패턴을 이용하여 화소별 배경 모델을 생성 및 갱신하는 단계를 포함하며, 상기 화소별 배경 모델 생성 및 갱신 단계는 기 생성된 배경 모델의 제 1 코드와 상기 입력 영상 프레임의 제 2 코드 간 거리를 산출하여 상기 제 1 코드와 상기 제 2 코드가 유사 코드인지 판단하는 단계, 상기 제 1 코드와 상기 제 2 코드가 유사 코드이면, 상기 제 1 코드의 가중치를 증가시키는 단계를 포함하는 것을 일 특징으로 한다.

또한, 본 발명은 배경 모델링을 수행하는 장치에 있어서, 화소의 에지 반응 크기와 에지 방위를 이용하여 입력 영상 프레임을 경계 영역과 내부 영역으로 구분하는 영역 판단부, 구분된 입력 영상 프레임을 지역 하이브리드 패턴으로 부호화하는 부호화부, 하나 이상의 입력 영상 프레임의 지역 하이브리드 패턴을 이용하여 화소별 배경 모델을 생성 및 갱신하는 배경 모델 생성부를 포함하는 것을 일 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 경계 영역의 에지 화소가 주변 에지와 이루는 형태 정보를 부호화함으로써, 배경과 전경의 구분력을 높일 수 있다.

또한, 본 발명은 영상 프레임을 구성하는 일 화소가 경계 영역인지 내부 영역인지를 구분함에 있어서, 에지 반응 크기와 방위를 함께 이용하여 에지 형태 정보를 확인하고, 이를 바탕으로 부호화를 진행함으로써, 영상에 포함된 잡음에 대한 구분력이 뛰어난 에지 화소의 경계 영역 구분 방법을 제공할 수 있다.

또한, 본 발명은 경계 영역의 코드를 비교함에 있어서, 두 코드의 유사성 계산이 어려워 코드를 클러스터링 할 수 없었던 문제를 해결할 수 있다.

또한, 본 발명은 배경 모델링에 있어서, 전경을 배경으로 오인식하는 문제를 줄이고, 배경의 구분력을 높일 수 있다.

도 1은 본 발명의 일 실시 예에 의한 배경 모델링 장치를 설명하기 위한 블록도,
도 2는 본 발명의 일 실시 예에 의한 영역 구분부를 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 의한 부호화부를 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 의한 배경 모델 생성부를 설명하기 위한 블록도,
도 5는 본 발명의 일 실시 예에 의한 에지 방위를 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 의한 영상 프레임의 영역 구분 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시 예에 의한 이웃 화소의 경계 영역 점수 산출 방법을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시 예에 의한 에지 화소의 부호화 방법을 설명하기 위한 순서도,
도 9는 본 발명의 일 실시 예에 의한 이웃 화소 선정 방법을 설명하기 위한 순서도,
도 10은 본 발명의 일 실시 예에 의한 배경 모델링 방법을 설명하기 위한 순서도,
도 11은 본 발명의 일 실시 예에 의한 유사 코드 판단 방법을 설명하기 위한 순서도,
도 12는 본 발명의 일 실시 예에 의한 지역 하이브리드 패턴 코드를 설명하기 위한 도면이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

또한, 본 명세서에서 에지 방위는 에지 마스크로부터 계산된 에지 방위를 의미하며, 에지 방위 값은 에지 방위로부터 양자화를 적용한 방향 값을 의미하는 것으로 구분하여 이해될 수 있다.

이하에서는 도 1 내지 도 4를 참조하여, 본 발명의 일 실시 예에 의한 배경 모델링 장치를 설명한다. 도 1은 본 발명의 일 실시 예에 의한 배경 모델링 장치를 개략적으로 나타낸 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 배경 모델링 장치(10)는 입력 영상 획득부(50), 영역 구분부(100), 부호화부(200), 배경 모델 생성부(300)를 포함할 수 있다.

도 1을 참조하면, 각각의 구성요소(100, 200, 300)는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.

입력 영상 획득부(50)는 입력 영상을 입력받을 수 있다. 입력 영상 획득부(50)는 외부로부터 유무선 네트워크를 통해 입력 영상을 입력받을 수 있고, 또는 저장수단(예컨대, USB 등 메모리 장치) 및 동일 장치 내 다른 구성요소(미도시)로부터 입력 영상을 획득할 수 있다. 입력 영상은 소정 주파수에 따라 분할된 프레임 또는 서브 프레임 단위로 입력될 수 있다.

영역 구분부(100)는 화소의 에지 반응 크기와 에지 방위를 이용하여 입력 영상 프레임을 경계 영역과 내부 영역으로 구분한다. 보다 자세하게, 도 2를 참조하면 영역판단부(100)는 에지 화소 추출부(130), 점수 산출부(150), 영역 설정부(170)를 포함할 수 있다.

에지 화소 추출부(130)는 에지 연산자를 적용하여 산출되는 에지 반응 크기(Gradient magnitude)를 이용하여 영상 프레임으로부터 후보 에지 화소를 추출할 수 있다. 에지 연산자로는 대표적으로 소벨(Sobel), 프리윗(Prewitt), 로버츠(Robert), 컴퍼스(Compass) 마스크 등이 사용될 수 있으며, 에지 화소 추출부(130)가 사용하는 에지 연산자는 위 예시에 제한되지 않고 종류와 무관하게 적용 가능하다.

점수 산출부(150)는 후보 에지 화소와 인접한 이웃 화소의 에지 반응 크기(Gradient magnitude)와 방위(Gradient direction)를 이용하여, 이웃 화소의 에지점수를 산출할 수 있다. 점수 산출부(150)는 이웃 화소의 에지 방위에 대응되는 가중치를 이웃 화소에 부여하는 가중치 부여부(153)와 이웃 화소에 부여된 가중치와 이웃 화소의 에지 반응 크기를 연산하여 이웃 화소의 에지점수를 산출하는 연산부(155)를 포함할 수 있으며, 여기서 가중치는 이웃 화소가 후보 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값으로 이해될 수 있다.

에지 방위 값은 에지 방위가 기 설정된 d개의 방향으로 양자화된 값으로, 에지 방위 값에 대한 설명은 도 5를 참조하여 보다 자세하게 후술하기로 한다.

영역 설정부(170)는 에지점수가 높은 순으로 n개의 이웃 화소를 선정하여, n개의 이웃 화소의 에지점수가 기 설정된 경계 영역 조건을 만족하는지 판단하고, 만족하는 것으로 판단되면, 후보 에지 화소를 경계 영역으로 설정하여 에지 화소로 판단할 수 있다. 그리고 판단 결과 n개의 이웃 화소 중 하나 이상이 경계 영역 조건을 만족하지 않으면, 후보 에지 화소를 내부 영역으로 설정하여 내부 화소로 판단할 수 있다. 영역 설정부(170)의 경계 영역 조건 만족 여부에 대한 판단은 n개의 이웃 화소의 에지점수가 기 설정된 임계 값 이상이면, 경계 영역 조건을 만족하는 것으로 판단하여 수행될 수 있다.

영역 설정부(170)의 또 다른 실시 예로, 영역 설정부(170)는 후보 에지 화소와 인접한 하나 이상의 이웃 화소 중 에지 반응 크기가 가장 큰 n개의 이웃 화소를 선정하고, 선정된 이웃 화소의 에지 방위 값이 선정된 이웃 화소의 위치에서 후보 에지 화소와 에지 형태를 생성할 수 있는지 판단하고, 부호화부가 판단 결과에 따라 후보 에지 화소를 지역 하이브리드 패턴으로 부호화하면, 영상 프레임에 포함된 임의의 화소가 부호화되었는지 판단하여, 부호화 여부 판단 결과에 따라 부호화된 화소를 경계 영역으로 설정하고, 부호화되지 않은 화소를 내부 영역으로 설정할 수 있다.

부호화부(200)는 구분된 입력 영상 프레임을 지역 하이브리드 패턴으로 부호화할 수 있다.

부호화부(200)는 도 3을 참조하면, 경계 영역으로 구분된 에지 화소를 지역 하이브리드 패턴의 경계 코드로 부호화하는 경계 영역 부호화부(230)와 내부 영역으로 구분된 내부 화소를 지역 하이브리드 패턴의 내부 코드로 부호화 하는 내부 영역 부호화부(250)를 포함할 수 있다.

경계 영역 부호화부(230)는 에지 화소와 인접한 이웃 화소에 기 설정된 규칙에 따라 인덱스를 부여하는 인덱싱부(233), 이웃 화소 중 에지 반응 크기와 에지 방위 값을 이용하여 n개의 이웃 화소를 선정하는 이웃 화소 선정부(235), 선정된 n개의 이웃 화소의 인덱스를 이진수로 변환하는 인덱스 변환부(237), 이진수로 변환된 n개의 인덱스를 연결하여 지역 하이브리드 패턴의 경계 코드를 생성하는 코드 생성부(239)를 포함할 수 있다. 경계 코드는 에지 화소의 에지 방향 정보를 나타내는 방향 비트(bit)를 더 포함할 수 있으며, 화소가 경계 영역인지 내부 영역인지를 나타내는 플래그 비트(flag bit)를 더 포함할 수 있다.

인덱싱부(233)는 이웃 화소의 에지점수에 따라 인덱스를 부여하거나, 에지 화소에 대한 이웃 화소의 위치에 따라 인덱스를 부여할 수 있다.

이웃 화소 선정부(235)는 이웃 화소의 에지 방위 값에 대응되는 가중치를 이웃 화소에 부여하고, 이웃 화소에 부여된 가중치와 이웃 화소의 에지 반응 크기를 연산하여 이웃 화소의 에지점수를 산출하고, 에지점수가 높은 순으로 n개의 이웃 화소를 선정할 수 있다. 이때, 가중치는 이웃 화소가 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값을 의미하는 것으로 이해될 수 있다.

도 4를 참조하면, 본 발명의 일 실시 예에 의한 배경 모델 생성부(300)는 하나 이상의 입력 영상 프레임의 지역 하이브리드 패턴을 이용하여 화소별 배경 모델을 생성 및 갱신할 수 있으며, 코드 확인부(310), 유사 코드 판단부(330), 가중치 변환부(350), 추가 교체부(370)를 포함할 수 있다.

코드 확인부(310)는 기 생성된 배경 모델의 제 1 코드와 입력영상 프레임의 제 2 코드 간 동종 코드 여부를 확인할 수 있다. 보다 자세하게, 코드 확인부(310)는 지역 하이브리드 코드에 해당하는 제 1 코드와 제 2 코드가 경계 영역에 대응되는 경계 코드인지 또는 내부 영역에 대응되는 내부 코드인지를 확인할 수 있다. 예를 들어, 코드 확인부(310)는 지역 하이브리드 패턴의 플래그 비트를 파싱(parsing)하여, 경계 코드인지 내부 코드인지를 확인할 수 있다. 유사 코드 판단부(330)는 코드 확인부(310)에서 동종 코드로 판단된 코드끼리 코드 간 거리를 산출할 수 있다. 이는 경계 코드의 부호화 방식과 내부 코드의 부호화 방식이 서로 다를 수 있기 때문이다.

유사 코드 판단부(330)는 기 생성된 배경 모델의 제 1 코드와 입력 영상 프레임의 제 2 코드 간 거리를 산출하여 제 1 코드와 제 2 코드가 유사 코드인지 판단할 수 있다. 보다 자세하게, 유사 코드 판단부(330)는 제 1 코드와 제 2 코드가 경계 영역에 대응되는 경계 코드인 경우 제 1 코드로부터 하나 이상의 제 1 인덱스를 추출하고, 제 2 코드로부터 하나 이상의 제 2 인덱스를 추출하는 인덱스 추출부(333), 제 1 인덱스와 제 2 인덱스의 차이를 연산하는 인덱스 연산부(335), 연산된 값이 기 설정된 임계값 이하이면 유사 코드로 판단하는 판단부(337)를 포함할 수 있다.

판단부(337)는 코드 확인부(310)에서의 확인 결과, 제 1 코드와 제 2 코드가 내부 영역에 대응되는 내부 코드인 경우, 제 1 코드와 제 2 코드의 차이를 이용하여 유사 코드 여부를 판단할 수 있다. 내부 코드의 경우 코드 비트는 명도 또는 컬러 정보에 대응되는 비트값일 수 있으므로, 두 코드의 차이 값은 명도 차 또는 색수 차에 대응되는 값이며, 이는 유사도를 나타내는 것으로 이해될 수 있다.

가중치 변환부(350)는 유사 코드 판단부(330)의 판단 결과, 제 1 코드와 제 2 코드가 유사 코드이면, 제 1 코드의 가중치를 증가시킬 수 있다.

추가 교체부(370)는 유사 코드 판단부(330)의 판단 결과, 제 1 코드와 제 2 코드가 비유사 코드이면 기 생성된 배경 모델에 존재하는 코드의 개수가 기 설정된 기준 개수 미만인지 판단하고, 판단 결과 코드의 개수가 기준 개수 미만이면 제 2 코드를 배경 모델에 추가하고, 코드의 개수가 기준 개수 이상이면 배경 모델에서 가장 낮은 가중치를 갖는 코드를 제 2 코드로 교체할 수 있다.

이하에서는 도 5내지 도 7을 이용하여 본 발명의 일 실시 예에 의한 영상 프레임의 영역 구분 방법을 설명하기로 한다.

먼저, 도 6을 참조하면, 영상 처리 장치(미도시)는 에지 연산자를 적용하여 산출되는 에지 반응 크기(Gradient magnitude)를 이용하여 영상 프레임으로부터 후보 에지 화소를 추출한다(S100). 그리고, 영상 처리 장치는 후보 에지 화소와 인접한 이웃 화소의 에지 방위(Gradient direction)를 이용하여 이웃 화소의 에지점수를 산출한다(S200). 여기서 인접한 이웃 화소는 3 x 3 크기의 영역을 고려한 경우, 후보 에지 화소와 인접한 이웃 화소는 총 8개일 수 있으며, 5 x 5 크기의 영역을 고려한 경우, 후보 에지 화소와 인접한 이웃 화소는 모든 화소를 고려한 경우 총 24개, 가장자리 화소만 고려한 경우 총 16개 일 수 있다.

에지 반응 크기는 주변 화소와의 밝기 변화가 클수록 큰 값을 가질 수 있는데, 실제로 경계를 나타내는 부분뿐만 아니라, 영상 프레임에 포함되는 잡음 역시 큰 에지 반응 크기를 가질 수 있다. 이러한 잡음을 경계 영역으로 구분하여 부호화하게 되면, 배경 모델링 후 전경 검출 단계에서 그 성능을 하락시킬 수 있는 요인이 된다. 본 발명에 의하면, 잡음을 보다 효과적으로 분별할 수 있게 되므로 경계 영역 구분의 신뢰성을 높일 수 있다.

에지 방위(gradient direction)는 경사 방위라고도 하며, 밝기 변화의 방향을 나타내는 값으로, 에지의 진행 방향과 수직으로 계산되는 특징이 있다. 본 발명의 일 실시 예에서는 에지 방위를 설정된 d개의 방향으로 양자화하여 사용할 수 있다. 에지 방위는 0~360의 값을 가질 수 있는데, 부호화를 위해 에지 방위는 도 5에 도시된 바와 같이 정수개로 양자화될 수 있다. 도 5는 에지 방위를 16개로 양자화한 경우의 일 실시 예이다. 양자화는 정수개로 나누어진 0~360도의 각 범위를 미리 설정된 정숫값에 대응시키는 방법으로 이루어질 수 있다. 예를 들어, 도 5에 도시된 실시 예에 의하면, 우측 가로축을 기준으로 시계방향 또는 반시계방향으로 16개로 나누어진 에지 방위의 각 범위가 각각 0~15의 정숫값에 대응되도록 양자화 할 수 있다. 단계 S100에서 에지 연산자를 적용하면, 에지 반응 크기뿐만 아니라 에지 방위를 얻을 수 있는데, 이후 단계(미도시)에서 에지 방위를 기 설정된 d개의 방향으로 양자화하고, 단계 S200 이후에서는 양자화된 에지 방위 값을 이용하여 각 단계를 실행할 수 있다.

단계 S200에서 영상 처리 장치는 이웃 화소의 에지 방위 값에 대응되는 가중치를 이웃 화소에 부여하고(S230), 이웃 화소에 부여된 가중치와 이웃 화소의 에지 반응 크기를 연산하여 이웃 화소의 에지점수를 산출(S250)할 수 있다.

단계 S230에서, 각 이웃 화소에는 그 위치 별로 에지 방위 값에 대응되는 가중치가 미리 설정될 수 있는데, 가중치는 이웃 화소가 후보 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값을 의미하는 것으로 이해될 수 있다.

예를 들어, A와 A는 후보 에지 화소의 우측 상단에 위치한 이웃 화소 (1)이 후보 에지 화소 (P)와 에지 형태를 나타낼 확률이 가장 높은 에지 방위 값을 나타낸다. 이웃 화소 (1)의 에지 방향이 2, 10인 경우, 에지 방위 값이 A, A이면, 이웃 화소 (1)과 후보 에지 화소 (P)는 명확하게 대각선 방향의 에지 형태를 가질 수 있다. 따라서, A, A에 가장 높은 가중치가 부여될 수 있으며, A와 A좌우의 에지 방위 값들은 양자화로 인한 오류를 고려해 고려되는 값으로, 해당 에지 방위 값을 갖는 이웃 화소에는 에지 방위 값이 A, A인 경우 보다는 낮은 가중치가 부여될 수 있다. 도 5에 도시된 바와 같이 각 이웃 화소 (0~7)과 후보 에지 화소 (P)와의 위치 관계에 따라 각 이웃 화소에서 가장 높은 가중치를 갖는 에지 방위 값은 각각 다르게 설정될 수 있다. 또한 A, A좌우의 가중치를 갖는 방향 개수는 각각 다르게 설정될 수 있다. 이때 에지 방위 값은 에지 화소 추출부(130)에서 사용하는 에지 연산자 및 그 구현에 따라서 A 또는 A로 계산될 수 있다.

단계 S230에서 각 이웃 화소의 실제 에지 방위 값에 따라서, 해당 에지 방위 값에 대응되는 가중치를 이웃 화소에 부여하면, 영상 처리장치는 단계 S250에서 이웃 화소에 부여된 가중치와 이웃 화소의 에지 반응 크기를 연산하여 이웃 화소별로 에지점수를 산출한다.

예를 들어, 영상 처리 장치는 단계 S250에서 최종적인 경계 영역의 구분을 위해 부여된 가중치와 에지 반응 크기를 곱할 수 있는데, 전술한 실시 예와 같이 후보 에지 화소 (P)의 이웃 화소 (1)과 이웃 화소 (6)의 에지 방위 값이 가장 어두운 파란색 또는 초록색에 해당하여 최대 가중치인 1을 부여받고, 나머지 이웃 화소 (0, 2, 3, 4, 5, 7)의 에지 방위 값은 흰색에 해당하여 가중치로 0을 부여받았다고 가정하자. 각 이웃 화소 (0~7)의 에지 반응 크기가 모두 똑같다고 가정했을 때, 이웃 화소별로 에지 반응 크기와 가중치를 곱하면, 이웃 화소 (1)과 이웃 화소 (6)만 높은 에지점수를 갖게 되고, 나머지는 낮은 에지점수를 갖게 될 것이다.

다음으로, 영상 처리 장치는 에지점수가 높은 순으로 n개의 이웃 화소를 선정한다(S300). 예를 들어, 영상 처리 장치는 n=2로 설정하여, 에지점수가 높은 상위 2개의 이웃 화소를 선정할 수 있다. 전술한 예에서는, 이웃 화소 (1)과 이웃 화소 (6)이 선정될 것이다. 여기서 선정되는 이웃 화소의 개수는 3 x 3에서 후보 에지 화소가 에지 형태를 갖기 위해 높은 가중치에 대응되는 에지 방위 값을 갖는 이웃 화소의 개수이다. 일반적으로 후보 에지 화소가 이웃 화소와 함께 에지 형태를 갖기 위해서는 n=2로 설정될 수 있으며, 에지가 이루는 정션(junction)을 고려한다면, n2로 설정될 수 있다.

다음으로, 영상 처리 장치는 n개의 이웃 화소의 에지점수가 기 설정된 경계 영역 조건을 만족하는지 판단한다(S400). 단계 S400에서 영상 처리 장치는 선정된 n개의 이웃 화소의 에지점수가 기 설정된 임계 값 이상인지를 판단하여, 기 설정된 임계 값 이상이면 경계 영역 조건을 만족하는 것으로 판단할 수 있다.

단계 S400에서의 판단 결과, n개의 이웃 화소의 에지점수가 모두 경계 영역 조건을 만족하면, 영상 처리 장치는 후보 에지 화소를 경계 영역으로 설정하며(S500), n개의 이웃 화소 중 하나 이상이 경계 영역 조건을 만족하지 않으면, 후보 에지 화소를 내부 영역으로 설정할 수 있다(S550). 예를 들어, 만일 높은 가중치에 대응되는 에지 방위 값을 갖는 이웃 화소가 존재하지 않아 이웃 화소별로 산출된 에지점수가 모두 기 설정된 임계 값 이하로 판단된다면, 해당 후보 에지 화소는 내부 영역으로 구분될 것이다.

영상 프레임의 영역을 구분하는 방법의 다른 실시 예에 있어서, 도 6을 참조하면, 영상 처리 장치는 단계 S100 다음으로, 에지 화소와 인접한 하나 이상의 이웃 화소 중 에지 반응 크기가 가장 큰 n개의 이웃 화소를 선정하고(S600), 선정된 이웃 화소의 에지 방위 값이 선정된 이웃 화소의 위치에서 에지 화소와 에지 형태를 생성할 수 있는 값인지 판단하고(S700), 판단 결과에 따라 에지 화소를 지역 하이브리드 패턴의 경계 코드로 부호화(S800)할 수 있다. 전체적으로 부호화가 완료되면, 영상 프레임에 포함된 임의의 화소들에 대하여 임의의 화소가 부호화되었는지를 판단하여(S900), 부호화 여부 판단 결과에 따라, 부호화된 화소를 경계 영역으로 설정하고(S930), 부호화되지 않은 화소를 내부 영역으로 설정(S950)함으로써 영상 프레임 내 각 화소의 영역을 구분할 수 있다.

이하에서는 도 8 내지 도 9를 참조하여, 본 발명의 일 실시 예에 의한 에지 화소의 부호화 방법을 설명한다.

도 8을 참조하면, 본 발명의 일 실시 예에 의한 부호화 장치(미도시)는 에지 화소와 인접한 이웃 화소에 기 설정된 규칙에 따라 인덱스를 부여하고(S1000), 이웃 화소 중, 에지 반응 크기와 에지 방위 값을 이용하여 n개의 이웃 화소를 선정(S1300)할 수 있다. 전술한 도 5의 실시 예에 의하면, 부호화 장치는 각 이웃 화소에 부여된 1에서 7까지의 번호를 이웃 화소에 부여된 인덱스로 간주할 수 있다. 기 설정된 규칙에 따라 이웃 화소에 인덱스를 부여하는 단계 S1000에서 부호화 장치는 이웃 화소의 에지점수에 따라 인덱스를 부여할 수도 있고, 에지 화소에 대한 이웃 화소의 위치에 따라 인덱스를 부여할 수도 있다. 도 5는 우측에 인접한 이웃 화소를 기준으로 반시계방향으로 위치에 따라 순서대로 인덱스를 부여한 경우의 일 실시 예이다.

단계 S1300에서 부호화 장치는 도 9에 도시된 바와 같이 이웃 화소의 에지 방위 값에 대응되는 가중치를 이웃 화소에 부여하고(S1330), 이웃 화소에 부여된 가중치와 이웃 화소의 에지 반응 크기를 연산하여 이웃 화소의 에지점수를 산출하고(S1350), 에지점수가 높은 순으로 n개의 이웃 화소를 선정할 수 있다(S1370). 여기서 가중치는 이웃 화소가 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값을 의미하는 것으로 이해될 수 있다.

다음으로 부호화 장치는 선정된 n개의 이웃 화소의 인덱스를 이진수로 변환하고(S1500), 이진수로 변환된 n개의 인덱스를 연결하여 지역 하이브리드 패턴의 경계 코드를 생성할 수 있다(S1700). 전술한 도 5의 실시 예에서, 이웃 화소(1)과 이웃 화소(6)가 에지점수 상위 n개로 선정된 경우, 부호화 장치는 단계 S1500에서 1은 001로, 6은 110로 변환할 수 있으며, 단계 S1700에서 둘을 연결하여 001110을 경계 코드로 생성할 수 있다. 001110은 도 12에 도시된 지역 하이브리드 패턴 코드 중에서 에지 화소의 특징을 나타내는 에지 패턴(550)에 삽입될 수 있다.

다른 실시 예로, 지역 하이브리드 패턴의 경계 코드는 에지 화소의 방향 정보를 나타내는 방향 비트(bit)를 더 포함할 수 있으며, 이는 도 12에 도시된 에지 방향 비트(530)에 삽입될 수 있다. 에지 방향은 도 5의 A 및 A와 같은 양방향 중, 적용되는 에지 연산자의 종류에 따라 한 가지 방향으로 표시될 수 있다. 에지 방향은 에지점수가 가장 큰 이웃 화소의 방위 값일 수 있으며, 후보 에지 화소의 방위 값 또는 선택된 n개의 이웃 화소의 방위 값일 수 있다. 이러한 에지 방향 정보를 방향 비트(530)를 지역 하이브리드 패턴의 경계 코드에 삽입하여 나타낼 수 있으며, 방향 비트의 삽입 여부는 설정에 따라 달라질 수 있다.

또 다른 실시 예로, 지역 하이브리드 패턴 코드는 화소가 경계 영역인지 내부 영역인지를 나타내는 플래그 비트(flag bit)를 더 포함할 수 있다. 도 12에 도시된 바와 같이 경계 영역으로 구분된 경계 영역 화소에는 플래그 비트 0을, 내부 영역 화소에는 플래그 비트 1이 삽입될 수 있으며, 이는 이후 지역 하이브리드 패턴 코드를 이용하여 배경 모델링을 수행하고 전경을 검출함에 있어서, 영상 프레임의 일 화소가 경계 영역 화소인지 내부 영역 화소인지를 판단하는 데 사용할 수 있다.

도 12에 도시된 바와 같이 부호화 장치는 경계 영역의 에지 화소는 전술한 방법을 통해 지역 하이브리드 패턴으로 부호화할 수 있으며, 내부 영역 화소는 화소의 명도(Intensity) 또는 컬러 값(RGB, HSV 등)을 기반으로 부호화할 수 있다. 이렇게 경계 영역과 내부 영역을 구분하여 부호화함으로써 경계 영역은 조명변화에 강인한 에지 기반 방법, 내부 영역은 움직임 변화 등에 강인한 화소 기반 방법의 장점을 조합하는 효과를 가질 수 있다.

다음으로, 도 10 내지 도 11을 참조하여, 본 발명의 일 실시 예에 의한 배경 모델링 방법을 설명한다.

도 10을 참조하면, 본 발명의 일 실시 예에 의한 배경 모델링 장치(미도시)는 입력 영상 프레임을 경계 영역과 내부 영역으로 구분하여 지역 하이브리드 패턴으로 부호화하고(S2000), 하나 이상의 입력 영상 프레임의 지역 하이브리드 패턴을 이용하여 화소별 배경 모델을 생성 및 갱신함으로써(S2300) 배경 모델링을 수행할 수 있다. 배경 모델링은 각 화소별로 수행되며, 영역 적응형 배경 모델링 방법이 사용될 수 있다.

예를 들면, 배경 모델링 장치는 각 화소별로 N개의 배경을 나타내는 코드(c1, c2,, cN)을 저장하고, 하나 이상의 입력 영상 프레임에서 발생하는 코드의 발생 빈도에 따라 코드별 가중치(w1, w2,, wN)를 결정할 수 있다. 여기서 배경 모델에 포함되는 코드의 수(N)는 사용자 설정에 따라 달라질 수 있다.

단계 S2300에서 배경 모델링 장치는 부호화된 입력 영상 프레임의 지역 하이브리드 패턴을 이용하여 화소별 배경 모델을 생성하는데, 먼저 지역 하이브리드 패턴의 플래그 비트(flag bit)를 파싱하여 입력 영상 프레임의 일 화소가 경계 영역 화소인지 내부 영역 화소인지 확인한다.

연속 영상 프레임에서 경계 영역 화소가 주를 이루는 배경 모델에는 경계 영역을 나타내는 지역 하이브리드 패턴 코드(이하, 경계 코드라 함)가 주를 이룰 것이고, 내부 영역 화소가 주를 이루는 배경 모델에는 내부 영역을 나타내는 지역 하이브리드 패턴 코드(이하, 내부 코드라 함)가 주를 이룰 것이다. 배경 모델링에서는 연속 영상 프레임마다 발생하는 지역 하이브리드 패턴에서 경계 코드 또는 내부 코드 중 어느 하나가 주로 발생하면, 동종 코드를 하나의 배경 모델로 학습할 수 있으며, 경계 코드 및 내부 코드가 모두 발생하면 이종 코드를 하나의 배경 모델로 학습할 수 있다.

연속 영상 프레임에서 경계 영역과 내부 영역이 발생하면, 배경 모델에는 경계 코드와 내부 코드가 발생 빈도에 따라 포함되며, 특히 각 영영의 경계에 해당하는 화소의 경우에는 배경 모델에 경계 코드와 내부 코드가 그 발생 빈도를 나타내는 가중치와 함께 저장될 수 있다. 배경 모델의 갱신은 새로운 입력 영상을 지역 하이브리드 패턴으로 부호화한 후, 각 화소별로 부호화된 코드를 배경 모델에 추가하는 방식으로 이루어질 수 있다.

배경 모델에 새로운 코드를 추가할 때, 새로운 코드와 유사한 코드가 배경 모델에 존재하는지를 확인하여 유사 코드별로 클러스터링할 수 있는데, 종래에는 경계 코드가 내부 코드와 같이 코드값이 명도나 채도에 대응되는 것이 아니어서 유사 판단이 쉽지 않았다. 본 발명은 하기와 같이 경계 코드 간 거리를 산출함으로써 유사 판단을 가능케 한다.

도 11을 참조하면, 단계 S2500에서 배경 모델링 장치는 경계 코드로 확인된 제 1 코드와 제 2 코드에 대하여, 제 1 코드로부터 하나 이상의 제 1 인덱스를 추출하고, 제 2 코드로부터 하나 이상의 제 2 인덱스를 추출한 후(S2330), 제 1 인덱스와 제 2 인덱스의 차이를 연산하고(S2350), 연산된 값이 기 설정된 임계 값 이하이면 유사 코드로 판단할 수 있다(S2370). 전술한 도 5 내지 도 7의 실시 예에서, 부호화를 위해 선정되는 이웃 화소의 수 n=2 이고, 방향 비트를 사용하지 않고, 선정된 이웃 화소의 인덱스가 (0, 3)인 제 1 코드(0000011)와 선정된 이웃 화소의 인덱스가 (0, 4)인 제 2 코드(0000100)인 경우를 가정하자.

배경 모델링 장치는 제 1 코드와 제 2 코드의 플래그 비트(0)을 파싱하여 두 코드가 경계 코드임을 확인한다. 다음으로 배경 모델링 장치는 제 1 코드의 코드 비트(code bit) 000011로부터 2개의 제 1 인덱스 (0, 3)을 추출하고, 제 2 코드의 코드 비트 000100으로부터 2개의 제 2 인덱스 (0, 4)를 추출한다. 다음으로 배경 모델링 장치는 제 1 인덱스와 제 2 인덱스의 차이를 연산하여 (0, 1)을 얻을 수 있으며, 미리 설정된 규칙에 따라 이를 유사도 1로 판단할 수 있다. 만약 제 1 인덱스와 제 2 인덱스의 차이가 (0, 0)인 경우는 유사도 0으로 완벽히 두 코드가 일치하는 것으로 이해될 수 있다. 이때 계산되는 유사도는 설정에 따라 정수뿐만 아니라 실수로 계산될 수 있다.

도 10의 단계 S2300에서 배경 모델링 장치는 기 생성된 배경 모델의 제 1 코드와 입력 영상 프레임의 제 2 코드 간 거리를 산출하여 제 1 코드와 제 2 코드가 유사 코드인지 판단하고(S2500), 제 1 코드와 제 2 코드가 유사 코드이면, 제 1 코드의 가중치를 증가시키고(S2700), 제 1 코드와 제 2 코드가 비유사 코드인 경우, 기 생성된 배경 모델에 존재하는 코드의 개수가 기 설정된 기준 개수 미만인지를 판단할 수 있다(S2600). 판단 결과, 배경 모델에 존재하는 코드의 개수가 기준 개수 미만이면, 배경 모델링 장치는 제 2 코드를 배경 모델에 추가하고(S2650), 기 생성된 배경 모델에 존재하는 코드의 개수가 기준 개수 이상이면, 배경 모델에서 가장 낮은 가중치를 갖는 코드를 제 2 코드로 교체할 수 있다(S2630).

이러한 배경 모델의 갱신은 영상 프레임 입력 시 매 프레임마다 반복 수행될 수 있으며, 이렇게 생성된 배경 모델은 이후 전경 검출을 위한 확률맵 생성 및 영역별 후보 전경 검출에 사용될 수 있다. 확률맵은 새롭게 입력된 영상 프레임의 지역 하이브리드 패턴과 이전의 연속 영상 프레임을 이용하여 생성된 화소별 배경 모델을 검색하여, 현재 입력된 영상 프레임이 배경일 확률을 계산하여 생성되는 것이다.

즉, 확률맵은 입력 영상 프레임이 배경일 확률을 나타내는 데, 후보 전경은 확률맵의 화소별 확률 값이 배경을 나타내는 임계치보다 작은 경우에 후보 전경인 것으로 판단될 수 있다. 후보 전경은 경계 후보 전경과 내부 후보 전경으로 구분될 수 있다.

전경은 배경과의 차이가 큰 물체의 영역으로 경계 영역과 내부 영역을 동시에 가지는 특징이 있으므로, 경계 영역과 내부 영역을 동시에 갖지 않는 후보 전경은 잡음으로 구분하여 제거될 수 있다.

확률맵에서 후보 전경을 검출하기 위해서는 이종 영역의 후보 전경을 검출해야하는데, 전경 검출기는 생성된 확률맵의 화소별 확률 값과 현재 화소의 지역 하이브리드 패턴의 플래그 비트를 확인하여 경계 영역 후보 전경 및 내부 영역 후보 전경을 검출할 수 있다.

전경 검출기는 각 후보 전경의 서로 다른 후보 전경과의 인접성을 판단하여 최종적으로 전경을 검출할 수 있으며, 이때, 각 후보 전경의 인접성을 판단하기 위해 후보 경계 전경과 후보 내부 전경에 대해 개별적으로 형태학적 닫기(Morphological closing)을 수행할 수 있다. 이때, 후보 경계 전경과 후보 내부 전경에 대한 인접성 판단은 형태학적 닫기 방법으로만 이루어지는 것은 아니다.

전경 검출기는 형태학적 필터링이 수행된 두 후보 영상을 서로 겹쳐 경계 영역과 내부 영역이 동시에 발생하는 화소가 존재하는 경우, 두 영역을 하나의 전경으로 판단할 수 있으며, 이와 같이 하나의 전경으로 판단된 후보 전경들을 최종 전경으로 검출할 수 있다.

이와 같이 전경 검출이 완료되면, 입력 영상 전경 검출 장치는 새롭게 입력된 영상 프레임의 지역 하이브리드 패턴을 기반으로 기 생성된 배경 모델을 갱신할 수 있다. 이때, 배경 모델의 갱신은 전술한 바와 같이, 화소별로 생성된 배경 모델과 입력 영상의 지역 하이브리드 패턴을 비교하여, 매칭된 코드는 가중치를 증가시키고, 매칭되는 코드가 배경 모델에 없으면 최소 가중치를 갖는 코드를 제거하고 새로운 입력 영상의 코드를 삽입하면서 초기 가중치를 부여하고 배경 모델에 존재하는 모든 코드의 가중치를 일반화하는 방식으로 이루어질 수 있다.

본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

10: 배경 모델링 장치
50: 입력 영상 획득부
100: 영역 구분부
200: 부호화부
300: 배경 모델 생성부

Claims (27)

1. 영상 프레임을 경계 영역과 내부 영역으로 구분하는 방법에 있어서,
   에지 연산자를 적용하여 산출되는 에지 반응 크기(Gradient magnitude)를 이용하여 상기 영상 프레임으로부터 후보 에지 화소를 추출하는 단계;
   상기 후보 에지 화소와 인접한 이웃 화소의 에지 반응 크기(Gradient magnitude)와 에지 방위(Gradient direction)를 이용하여, 상기 이웃 화소의 에지점수를 산출하는 단계;
   상기 에지점수가 높은 순으로 n개의 이웃 화소를 선정하여, 상기 선정된 이웃 화소의 에지점수가 기 설정된 경계 영역 조건을 만족하는지 판단하는 단계;
   상기 판단 결과 모두 상기 경계 영역 조건을 만족하면, 상기 후보 에지 화소를 경계 영역으로 설정하는 단계를 포함하는 영상 프레임의 영역 구분 방법.
   
2. 제1항에 있어서,
   상기 판단 결과, 상기 n개의 이웃 화소 중 하나 이상이 상기 경계 영역 조건을 만족하지 않으면, 상기 후보 에지 화소를 내부 영역으로 설정하는 단계를 더 포함하는 영상 프레임의 영역 구분 방법.
   
3. 제1항에 있어서,
   상기 에지점수 산출 단계는
   상기 이웃 화소의 에지 방위 값에 대응되는 가중치를 상기 이웃 화소에 부여하는 단계;
   상기 이웃 화소에 부여된 가중치와 상기 이웃 화소의 에지 반응 크기를 연산하여 상기 이웃 화소의 에지점수를 산출하는 단계를 포함하며,
   상기 가중치는 상기 이웃 화소가 상기 후보 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값인 영상 프레임의 영역 구분 방법.
   
4. 제1항에 있어서,
   상기 경계 영역 조건을 만족하는지 판단하는 단계는,
   상기 선정된 n개의 이웃 화소의 에지점수가 기 설정된 임계 값 이상이면, 상기 경계 영역 조건을 만족하는 것으로 판단하는 단계를 포함하는 영상 프레임의 영역 구분 방법.
   
   
5. 제1항에 있어서,
   상기 후보 에지 화소와 인접한 하나 이상의 이웃 화소 중 에지 반응 크기가 가장 큰 n개의 이웃 화소를 선정하는 단계;
   상기 선정된 이웃 화소의 에지 방위 값이 상기 선정된 이웃 화소의 위치에서 상기 에지 화소와 에지 형태를 생성할 수 있는 값인지 판단하는 단계;
   상기 판단 결과에 따라 상기 에지 화소를 지역 하이브리드 패턴으로 부호화하는 단계;
   상기 영상 프레임에 포함된 임의의 화소가 부호화되었는지 판단하는 단계;
   상기 부호화 여부 판단 결과에 따라, 부호화된 화소를 경계 영역으로 설정하고, 부호화되지 않은 화소를 내부 영역으로 설정하는 단계를 포함하는 영상 프레임의 영역 구분 방법.
   
6. 경계 영역으로 구분된 에지 화소를 지역 하이브리드 패턴으로 부호화하는 방법에 있어서,
   상기 에지 화소와 인접한 이웃 화소에 기 설정된 규칙에 따라 인덱스를 부여하는 단계;
   상기 이웃 화소 중, 에지 반응 크기와 에지 방위 값을 이용하여 n개의 이웃 화소를 선정하는 단계;
   상기 선정된 n개의 이웃 화소의 인덱스를 이진수로 변환하는 단계;
   상기 이진수로 변환된 n개의 인덱스를 연결하여 지역 하이브리드 패턴 코드를 생성하는 단계를 포함하는 부호화 방법.
   
7. 제6항에 있어서,
   상기 n개의 이웃 화소를 선정하는 단계는,
   상기 이웃 화소의 에지 방위 값에 대응되는 가중치를 상기 이웃 화소에 부여하는 단계;
   상기 이웃 화소에 부여된 가중치와 상기 이웃 화소의 에지 반응 크기를 연산하여 상기 이웃 화소의 에지점수를 산출하는 단계;
   상기 에지점수가 높은 순으로 n개의 이웃 화소를 선정하는 단계를 포함하며,
   상기 가중치는 상기 이웃 화소가 상기 후보 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값인 부호화 방법.
   
8. 제6항에 있어서,
   상기 지역 하이브리드 패턴 코드는
   상기 에지 화소의 에지 방향 정보를 나타내는 방향 비트(bit)를 더 포함하는 부호화 방법.
   
9. 제6항에 있어서,
   상기 지역 하이브리드 패턴 코드는
   상기 화소가 경계 영역인지 내부 영역인지를 나타내는 플래그 비트(flag bit)를 더 포함하는 부호화 방법.
   
10. 제6항에 있어서,
    상기 기 설정된 규칙에 따라 인덱스를 부여하는 단계는
    상기 이웃 화소의 에지점수에 따라 인덱스를 부여하는 단계 또는 상기 에지 화소에 대한 상기 이웃 화소의 위치에 따라 인덱스를 부여하는 단계를 포함하는 부호화 방법.
    
11. 배경 모델링 방법에 있어서,
    입력 영상 프레임을 경계 영역과 내부 영역으로 구분하여 지역 하이브리드 패턴으로 부호화하는 단계;
    하나 이상의 입력 영상 프레임의 지역 하이브리드 패턴을 이용하여 화소별 배경 모델을 생성 및 갱신하는 단계를 포함하며,
    상기 화소별 배경 모델 생성 및 갱신 단계는
    기 생성된 배경 모델의 제 1 코드와 상기 입력 영상 프레임의 제 2 코드 간 거리를 산출하여 상기 제 1 코드와 상기 제 2 코드가 유사 코드인지 판단하는 단계;
    상기 제 1 코드와 상기 제 2 코드가 유사 코드이면, 상기 제 1 코드의 가중치를 증가시키는 단계를 포함하는 배경 모델링 방법.
    
12. 제11항에 있어서,
    상기 제 1 코드와 상기 제 2 코드가 경계 영역에 대응되는 경계 코드인 경우 상기 유사 코드 판단 단계는,
    상기 제 1 코드로부터 하나 이상의 제 1 인덱스를 추출하는 단계;
    상기 제 2 코드로부터 하나 이상의 제 2 인덱스를 추출하는 단계;
    상기 제 1 인덱스와 상기 제 2 인덱스의 차이를 연산하는 단계;
    상기 연산된 값이 기 설정된 임계 값 이하이면 유사 코드로 판단하는 단계;
    를 포함하는 배경 모델링 방법.
    
13. 제11항에 있어서,
    상기 제 1 코드와 상기 제 2 코드가 비유사 코드인 경우,
    상기 화소별 배경 모델 생성 및 갱신 단계는
    상기 기 생성된 배경 모델에 존재하는 코드의 개수가 기 설정된 기준 개수 미만이면, 상기 제 2 코드를 상기 배경 모델에 추가하는 단계;
    상기 기 생성된 배경 모델에 존재하는 코드의 개수가 상기 기준 개수 이상이면, 상기 배경 모델에서 가장 낮은 가중치를 갖는 코드를 상기 제 2 코드로 교체하는 단계를 더 포함하는 배경 모델링 방법.
    
14. 배경 모델링을 수행하는 장치에 있어서,
    화소의 에지 반응 크기와 에지 방위를 이용하여 입력 영상 프레임을 경계 영역과 내부 영역으로 구분하는 영역 판단부;
    구분된 입력 영상 프레임을 지역 하이브리드 패턴으로 부호화하는 부호화부;
    하나 이상의 입력 영상 프레임의 지역 하이브리드 패턴을 이용하여 화소별 배경 모델을 생성 및 갱신하는 배경 모델 생성부를 포함하는 배경 모델링 장치.
    
15. 제14항에 있어서,
    상기 영역 판단부는
    에지 연산자를 적용하여 산출되는 에지 반응 크기(Gradient magnitude)를 이용하여 상기 영상 프레임으로부터 후보 에지 화소를 추출하는 에지 화소 추출부;
    상기 후보 에지 화소와 인접한 이웃 화소의 에지 반응 크기(Gradient magnitude)와 에지 방위(Gradient direction)를 이용하여, 상기 이웃 화소의 에지점수를 산출하는 점수 산출부;
    상기 에지점수가 높은 순으로 n개의 이웃 화소를 선정하여, 상기 n개의 이웃 화소의 에지점수가 기 설정된 경계 영역 조건을 만족하는지 판단하고, 만족하는 것으로 판단되면, 상기 에지 화소 및 상기 n개의 이웃 화소를 경계 영역으로 설정하는 영역 설정부를 포함하는 배경 모델링 장치.
    
16. 제15항에 있어서,
    상기 영역 설정부는
    상기 판단 결과 상기 n개의 이웃 화소 중 하나 이상이 상기 경계 영역 조건을 만족하지 않으면, 상기 후보 에지 화소를 내부 영역으로 설정하는 배경 모델링 장치.
    
17. 제15항에 있어서,
    상기 점수 산출부는
    상기 이웃 화소의 에지 방위 값에 대응되는 가중치를 상기 이웃 화소에 부여하는 가중치 부여부;
    상기 이웃 화소에 부여된 가중치와 상기 이웃 화소의 에지 반응 크기를 연산하여 상기 이웃 화소의 에지점수를 산출하는 연산부를 포함하며
    상기 가중치는 상기 이웃 화소가 상기 후보 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값인 배경 모델링 장치.
    
18. 제15항에 있어서,
    상기 영역 설정부는
    상기 n개의 이웃 화소의 에지점수가 기 설정된 임계 값 이상이면, 상기 경계 영역 조건을 만족하는 것으로 판단하는 배경 모델링 장치.
    
    
19. 제15항에 있어서,
    상기 영역 설정부는
    상기 후보 에지 화소와 인접한 하나 이상의 이웃 화소 중 에지 반응 크기가 가장 큰 n개의 이웃 화소를 선정하고, 상기 선정된 이웃 화소의 에지 방위 값이 상기 선정된 이웃 화소의 위치에서 상기 후보 에지 화소와 에지 형태를 생성할 수 있는지 판단하고, 상기 부호화부가 상기 판단 결과에 따라 상기 후보 에지 화소를 지역 하이브리드 패턴으로 부호화하면, 상기 영상 프레임에 포함된 임의의 화소가 부호화되었는지 판단하여, 상기 부호화 여부 판단 결과에 따라 부호화된 화소를 경계 영역으로 설정하고, 부호화되지 않은 화소를 내부 영역으로 설정하는 배경 모델링 장치.
    
20. 제14항에 있어서,
    상기 부호화부는 경계 영역으로 구분된 에지 화소를 지역 하이브리드 패턴으로 부호화하는 경계 영역 부호화부를 포함하며,
    상기 경계 영역 부호화부는
    상기 에지 화소와 인접한 이웃 화소에 기 설정된 규칙에 따라 인덱스를 부여하는 인덱싱부;
    상기 이웃 화소 중, 에지 반응 크기와 에지 방위 값을 이용하여 n개의 이웃 화소를 선정하는 이웃 화소 선정부;
    상기 선정된 n개의 이웃 화소의 인덱스를 이진수로 변환하는 인덱스 변환부;
    상기 이진수로 변환된 n개의 인덱스를 연결하여 지역 하이브리드 패턴 코드를 생성하는 코드 생성부를 포함하는 배경 모델링 장치.
    
21. 제20항에 있어서,
    상기 이웃 화소 선정부는
    상기 이웃 화소의 에지 방위 값에 대응되는 가중치를 상기 이웃 화소에 부여하고, 상기 이웃 화소에 부여된 가중치와 상기 이웃 화소의 에지 반응 크기를 연산하여 상기 이웃 화소의 에지점수를 산출하고, 상기 에지점수가 높은 순으로 n개의 이웃 화소를 선정하며,
    상기 가중치는 상기 이웃 화소가 상기 에지 화소와 에지 형태를 나타낼 확률에 대응되는 값인 배경 모델링 장치.
    
    
22. 제20항에 있어서,
    상기 지역 하이브리드 패턴 코드는
    상기 에지 화소의 에지 방향 정보를 나타내는 방향 비트(bit)를 더 포함하는 배경 모델링 장치.
    
23. 제20항에 있어서,
    상기 지역 하이브리드 패턴 코드는
    상기 에지 화소가 경계 영역인지 내부 영역인지를 나타내는 플래그 비트(flag bit)를 더 포함하는 배경 모델링 장치.
    
    
24. 제20항에 있어서,
    상기 인덱싱부는
    상기 이웃 화소의 에지점수에 따라 인덱스를 부여하거나, 상기 에지 화소에 대한 상기 이웃 화소의 위치에 따라 인덱스를 부여하는 배경 모델링 장치.
    
25. 제14항에 있어서,
    상기 배경 모델 생성부는
    기 생성된 배경 모델의 제 1 코드와 상기 입력 영상 프레임의 제 2 코드 간 거리를 산출하여 상기 제 1 코드와 상기 제 2 코드가 유사 코드인지 판단하는 유사 코드 판단부;
    상기 제 1 코드와 상기 제 2 코드가 유사 코드이면, 상기 제 1 코드의 가중치를 증가시키는 가중치 변환부를 포함하는 배경 모델링 방법.
    
26. 제25항에 있어서,
    상기 유사 코드 판단부는
    상기 제 1 코드와 상기 제 2 코드가 경계 영역에 대응되는 경계 코드인 경우 상기 제 1 코드로부터 하나 이상의 제 1 인덱스를 추출하고, 상기 제 2 코드로부터 하나 이상의 제 2 인덱스를 추출하는 인덱스 추출부;
    상기 제 1 인덱스와 상기 제 2 인덱스의 차이를 연산하는 인덱스 연산부;
    상기 연산된 값이 기 설정된 임계 값 이하이면 유사 코드로 판단하는 판단부;
    를 포함하는 배경 모델링 방법.
    
    
27. 제25항에 있어서,
    상기 배경모델 생성부는
    상기 유사 코드 판단부의 판단 결과, 상기 제 1 코드와 상기 제 2 코드가 비유사 코드이면 상기 기 생성된 배경 모델에 존재하는 코드의 개수가 기 설정된 기준 개수 미만인지 판단하고, 상기 판단 결과 상기 코드의 개수가 상기 기준 개수 미만이면 상기 제 2 코드를 상기 배경 모델에 추가하고, 상기 코드의 개수가 상기 기준 개수 이상이면 상기 배경 모델에서 가장 낮은 가중치를 갖는 코드를 상기 제 2 코드로 교체하는 추가 교체부를 더 포함하는 배경 모델링 방법.
    

Images