KR100845969B1 - 동적객체 영역 추출방법 및 장치 - Google Patents

Abstract

본 발명은 동적객체 추출방법 및 그 시스템에 관한 것으로, 특히 조명의 변화가 심한 연속영상에서 동적 객체를 안정적으로 추출하기 위하여 색상값(H) 기반의 배경모델을 생성하고, 픽셀의 색상값과 색상 기울기값을 이용하여 입력영상 데이터로부터 동적객체의 영역을 안정적으로 추출할 수 있는 동적객체 영역 추출방법 및 장치에 관한 것이다.

본 발명에 따른 동적객체 영역 추출방법은 동적객체의 움직임이 포함되지 않은 배경영상 데이터를 이용하여 색상값(H) 기반의 배경모델을 생성하는 단계와 상기 색상(H)과 색상 기울기값(▽H) 기반의 배경모델과 입력영상 데이터의 색상(H)과 색상 기울기값(▽H)을 이용하여 상기 변환된 입력영상 데이터로부터 동적객체 영역을 추출하는 단계를 포함하여 이루어지는 것을 특징으로 하며,

본 발명에 따른 동적객체 영역 추출장치는 동적객체의 움직임이 포함되지 않은 배경영상 데이터 및 동적객체의 움직임이 포함된 입력영상 데이터를 입력하기 위한 영상데이터 입력부와, 상기 배경영상 데이터를 이용하여 색상(H)과 색상 기울기값(▽H) 기반의 배경모델을 생성하는 배경영상 변환부와, 상기 색상(H)과 색상 기울기값(▽H) 기반의 배경모델과 상기 입력영상 데이터의 색상(H)과 색상 기울기값(▽H)을 이용하여 상기 변환된 입력영상 데이터로부터 동적객체 영역을 추출하는 동적객체 영역 추출부, 영상데이터 등의 각종 데이터를 저장하기 위한 메모리부 및 장치 전반을 제어하기 위한 제어부를 포함하여 이루어지는 것을 특징으로 한다.

동적객체, 영역 인식

Description

동적객체 영역 추출방법 및 장치{The Extraction method of moving object and the apparatus thereof}

도 1a는 RGB 색공간의 개념을 설명하기 위한 개념도이다.

도 1b는 HSI 색공간의 개념을 설명하기 위한 개념도이다.

도 2는 본 발명에 따른 동적객체 영역 추출을 위한 알고리즘을 설명하기 위한 개념도이다.

도 3은 본 발명에 따른 동적객체 영역 추출을 위한 시스템의 블록도이다.

도 4는 급격한 조명 변화가 있는 조건에서 움직이는 손의 영역을 추적하기 위하여 종래의 동적객체 추출방법 및 본 발명의 일 실시예에 따른 동적객체 추출방법을 적용한 비교 실험 결과 사진이다.

도 5는 급격한 조명 변화가 있는 조건에서 움직이는 상체 영역을 추적하기 위하여 본 발명의 일 실시예에 따른 동적객체 추출방법을 적용한 실험결과를 나타내는 사진이다.

본 발명은 일반적인 조명하에서 촬영된 동영상과 같이 조명의 상태변화가 심한 다수개의 프레임으로 구성된 연속영상에서 동적객체 영역을 안정적으로 추출하기 위한 방법 및 장치에 관한 것으로, 보다 상세하게는 HSI 색공간으로 표현된 배경영상 데이터로부터 배경모델을 생성하고, 상기 배경모델과 입력영상의 색상값(H)을 이용하여 입력영상 내의 움직이는 동적객체 영역을 조명상태에 관계없이 안정적으로 추출할 수 있는 동적객체 영역 추출방법 및 그 시스템에 관한 것이다.

정보의 습득과 활용이 최적화되고 다양한 매체간 융합이 이뤄지고 있는 유비쿼터스 환경하에서 매체와 사람의 상호 인터랙션에 대한 중요성이 부각되고 있다. 이에 따라 별도의 착용 장비 없이 일반 영상 카메라와 컴퓨터 비젼 기술을 이용하여 사람의 움직임과 의사를 파악하려는 제스처 인터랙션 기술 연구가 활발히 진행되고 있다. 최근 가상현실 기술의 발전으로 기존 컴퓨터 그래픽스만의 영역으로 여겨지던 가상공간처리 분야에 실제 카메라를 통해 비디오영상을 이용하려는 연구가 진행되고 있다. 또한 초기의 상호작용 미디어 시스템은 일반 데스크톱 환경에서의 2차원 문자, 영상, 소리 등의 미디어의 시각화와 마우스, 펜과 같은 제한된 인터페이스만으로 구성되었으나 근래에는 참여자에게 다양한 의사전달 수단 및 시각화 방법을 제공하고 있기 때문에, 여러 기술 분야로의 활용 가능성은 무궁무진하다. 이에 따라 외부의 장비 조건에 구애 받지 않고 참여자를 추적할 수 있는 인터페이스 방법을 제공하고 사실감 있는 실제영상을 처리 할 수 있는 컴퓨터 비전 기술이 상호작용 미디어시스템 구축 과정에 큰 해결책으로 제시되고 있다.

한편, 종래의 동적객체 인식방법으로 잘 알려진 기술로는 센서를 기반으로 하는 인식방법들을 들 수 있다. 이러한 기술들은 동적객체의 변화량을 측정할 수 있는 부위(예컨대 사람의 신체 중의 관절과 같은 부위)에 물리적인 센서나 마커를 부착함으로써 동적객체의 움직임의 위치와 방향을 판단, 추출하는 것이며, 작동방식에 따라 크게 기계식, 자기식, 광학식으로 분류할 수 있다.

실제 응용에서는 광학식의 경우 별다른 장비 없이 적외선 카메라에 반응하는 마커를 몸에 부착하고, 그 마커의 궤적을 추적함으로서 정확한 모션 데이터를 추출할 수 있기 때문에, 캐릭터 애니메이션이나 컴퓨터 그래픽스 분야에서 최근 많이 사용되고 있는 추세이다. 그러나 광학식 모션 캡쳐 시스템은 다른 마커에 가려서 마커가 보이지 않는 마커들 간의 중첩(occulusion) 문제가 발생하여 3차원 좌표를 얻는 것이 불가능하고, 이 때문에 많은 후처리 과정을 필요로 하게 되며, 그 결과 실시간 처리가 불가능하게 되거나 모션 캡쳐 성능을 떨어뜨리는 요인이 되기도 한다.

상기와 같이 센서 기반의 방법들은 센서에 많은 장비들을 부착해야 한다는 큰 단점을 가지고 있다. 특히 기계식 혹은 자기식 방법의 경우 케이블의 길이에 따른 행동의 제약을 받게된다. 이러한 문제점들을 해결하기 위하여 외부의 장비 조건에 구애 받지 않고 참여자를 추적할 수 있는 인터페이스 방법을 제공하고, 사실감 있는 실제 영상을 처리 할 수 있는 방법이 컴퓨터비전에 기반한 동적객체추적 기술 이다.

영상기반 동적객체 인식기술은 카메라로부터 입력된 영상에서 움직임을 보이는 객체를 인식하고 그 움직임을 추적하여 그 객체의 동작이 어떤 의미와 의도를 가지는지를 파악하는 기술로서, 영상에 기반한 동적객체 인식 인터페이스를 제공한 최초의 시스템은 Myron Krueger에 의해 소개된 Videoplace으로 알려져 있으며, 영상기반 동적 객체 인식 기술을 분류하여 보면 크게 특징기반, 외관기반, 3차원모델기반의 3가지로 나눌 수 있다.

손이나 발, 얼굴의 위치정보, 에지나 윤곽선정보를 파라미터로 추출하는 특징기반 기술은 계산량이 적고, 처리 속도가 빠르기 때문에 실시간 인식 시스템에 적합하지만, 주위 환경의 영향에 민감하고 특징점의 중첩이 발생할 경우 인식이 어렵다는 단점이 있다. 이런 단점을 보완하고자 영상의 기하학적 특징을 이용하지 않고 영상 자체가 가진 실루엣정보를 그대로 이용하는 방법이 외관기반 인식 기법이다. 대표적인 외관기반 인식 방법은 MHI(Motion History Image)다. MHI는 입력 영상 시퀀스에서가장 최근의 움직임 픽셀영역이 더 밝은 값을 나타낸 실루엣 영상으로써, 이 영상을 다시 9개의 윈도우와 12개의 세부영역으로 나누어 각 영역의 히스토그램을 패턴영상과 비교하여 제스처를 인식하는 방법이다.

그러나, 이와 같이 실루엣 영상을 기반으로 하여 동적객체의 영역을 인식하는 종래의 영상기반 동적객체 추출 기술들은 모두 실제 영상의 촬영환경에서 조명상태가 시시각각 변화된다는 점을 충분히 반영하지 못한다는 문제점을 가지고 있었다. 즉, 실제 영상이 촬영되는 장소라 할 수 있는 대부분의 실험실, 스튜디오 등에 서는 매우 전문적인 장비들과 전문인력을 구비하여 장시간의 촬영시간 동안 극히 일정한 조명상태를 충분히 유지할 수 있는 이상적인 경우가 거의 없으며, 충분한 환경을 구성하기 위해서는 많은 비용이 소요될 수밖에 없다. 그러므로 일반적인 촬영 환경에서의 조명은 대부분 시시각각 그 조도 등이 변화될 수밖에 없고, 따라서 실제환경에서의 이와 같은 조명상태의 불안정성은 촬영된 영상데이터의 색상성분에 변화를 일으키게 되어 결과적으로 동적객체 영역 추출의 정확성을 저하시키게 되는 것이다.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 색상(H) 기반의 배경모델을 생성하여, 입력영상 데이터와 비교함으로써 조명상태의 변화에도 불구하고 안정적으로 동적객체의 영역을 정확하게 판단, 추출하는 방법 및 장치를 제공하는 것을 목적으로 하고 있다.

또한 본 발명은 HSI 색공간에서의 색상 및 색상 기울기 값에 대하여 점진적 평균값 및 표준편차 계산 기법을 적용하여 효율적으로 통계정보를 추출하고 이를 이용하여 조명의 상태 변화가 존재하는 환경에서도 동적객체의 영역을 빠르고 정확하게 인식할 수 있도록 하는 방법 및 장치를 제공하는 것을 또 다른 목적으로 하고 있다.

또한 본 발명은 동적객체 영역 여부를 판단하는 기준으로서 색상값과 색상 기울기 값의 평균값과 표준편차를 이용함으로써 급격한 조명변화 조건에서도 동적객체의 영역을 정밀하게 판단하여 인식하는 것을 또 다른 목적으로 하고 있다.

전술한 목적을 달성하기 위해 본 발명의 일 실시예에 따른 연속영상에서의 동적객체 영역 추출방법은 동적객체의 움직임이 포함되지 않은 배경영상 데이터를 이용하여 점진적 평균 및 표준편차 계산 기법을 적용하여 색상값(H) 기반의 배경모델 데이터를 생성하는 (a)단계와 상기 배경모델 데이터와 입력영상 데이터의 색상값을 이용하여 입력영상 데이터로부터 동적객체 영역을 추출하는 (b)단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 또다른 실시예에 따른 연속영상에서의 동적객체 영역 추출방법은 상기 (a)단계는 입력된 배경영상 데이터를 HSI 색공간으로 변환하는 단계를 포함하며, 상기 (b)단계는 입력된 입력영상 데이터를 HSI 색공간으로 변환하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따른 연속영상에서의 동적객체 영역 추출방법은 상기 배경모델은 각 픽셀별 일정 시간 동안의 색상값의 평균으로 이루어진 제1 배경모델과, 각 픽셀별 인접픽셀과의 색상값의 기울기의 평균으로 이루어진 제2 배경모델을 포함하여 이루어진 것을 특징으로 한다.

본 발명의 또다른 실시예에 따른 연속영상에서의 동적객체 영역 추출방법은 상기 (b)단계는 각 픽셀별로 입력영상의 색상값과 상기 제1 배경모델 값의 차가 제1 임계치를 초과하는 경우에 충족하는 제1 조건 및 각 픽셀별로 입력영상의 인접 셀과의 색상 기울기 값과 상기 제2 배경모델 값의 차가 제2 임계치를 초과하는 경우에 충족하는 제2 조건 모두를 만족하는 경우에 해당 픽셀을 동적객체 영역으로 판단하는 것을 특징으로 한다.

본 발명의 또다른 실시예에 따른 연속영상에서의 동적객체 영역 추출방법은 각 픽셀별 상기 제1 임계치는 배경영상의 각 픽셀에 대한 상기 일정 시간 동안의 색상값의 표준편차이며, 배경영상의 각 픽셀별 상기 제2 임계치는 각 픽셀에 대하여 인접픽셀과의 색상값 기울기의 표준편차인 것을 특징으로 한다.

한편, 본 발명의 실시예에 따른 연속영상에서의 동적객체 영역 추출 장치는 동적객체의 움직임이 포함되지 않은 배경영상 데이터 및 동적객체의 움직임이 포함된 입력영상 데이터를 입력하기 위한 영상데이터 입력부와, 상기 배경영상 데이터를 이용하여 색상값(H) 기반의 배경모델을 생성하는 배경영상 변환부와, 상기 색상값(H) 기반의 배경모델과 상기 입력영상 데이터의 색상값을 이용하여 상기 변환된 입력영상 데이터로부터 동적객체 영역을 추출하는 동적객체 영역 추출부와, 영상데이터 및 각종 데이터를 저장하기 위한 메모리부 및 장치 전반을 제어하기 위한 제어부를 포함하는 것을 특징으로 한다.

본 발명의 또다른 실시예에 따른 연속영상에서의 동적객체 영역 추출장치는 상기 배경모델 연산부는 입력된 배경영상 데이터를 HSI 색공간으로 변환하는 제1 색공간 변환부와, 상기 변환된 배경영상 데이터로부터 상기 배경모델을 연산하기 위한 배경모델 연산부를 포함하며, 상기 동적객체 영역 추출부는 입력영상 데이터를 HSI 색공간으로 변환하는 제2 색공간 변환부를 포함하는 것을 특징으로 한다.

본 발명의 또다른 실시예에 따른 연속영상에서의 동적객체 영역 추출장치는 상기 배경모델은 각 픽셀별 일정 시간 동안의 색상값의 평균으로 이루어진 제1 배경모델 과, 각 픽셀별 인접 픽셀과의 색상값의 기울기의 평균으로 이루어진 제2 배경모델을 포함하여 이루어진 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따른 연속영상에서의 동적객체 영역 추출장치는 배경영상 변환부는 배경영상 데이터로부터 적어도 하나 이상의 임계치를 연산하기 위한 임계치 연산부를 더 포함하고, 상기 동적객체 영역 추출부는 각 픽셀별로 입력영상의 색상값과 상기 제1 배경모델 값의 차가 제1 임계치를 초과하는 제1 조건, 및 각 픽셀별로 입력영상의 인접 셀과의 색상 기울기 값과 상기 제2 배경모델 값의 차가 제2 임계치를 초과하는 제2 조건 모두를 만족하는 경우에 해당 픽셀을 동적객체 영역으로 판단하는 것을 특징으로 한다.

본 발명의 또다른 실시예에 따른 연속영상에서의 동적객체 영역 추출장치는각 픽셀별 상기 제1 임계치는 일정 시간 동안의 색상값의 표준편차값이며, 각 픽셀별 상기 제2 임계치는 인접픽셀과의 색상값 기울기의 표준편차값인 것을 특징으로 한다.

영상기반 동적객체 인식기술은 카메라로부터 입력된 영상에서 움직임을 보이는 객체를 인식하고 그 움직임을 추적하여 그 객체의 동작이 어떤 의미와 의도를 가지는지를 파악하는 기술로서, 객체의 움직임에 대한 인식 정확도를 높이기 위해 연속영상으로부터 동적객체의 실루엣 정보를 정확하고 안정적으로 추출하는 것이 중요하다.

즉, 카메라를 통하여 얻은 다수개의 프레임으로 이루어진 연속영상은 일반 환경에서 취득한 것으로서 동적객체의 움직임 인식에 필요없는 많은 오브젝터들이 포함되어 있기 때문에 동적객체의 움직임 정보를 추출하는 과정에서 불필요한 오브젝터들은 반드시 제거되어야 한다. 따라서, 동적객체의 움직임 인식에 필요한 신체영역과 배경영역을 분리하는 작업이 필요하고, 이를 위해서는 동적객체 추출에 있어서 기준이 되는 배경모델을 생성해야 한다.

한편, 임의의 색상에 대한 표현을 표준화하기 위해 사용하는 색공간(Color Space) 혹은 색공간(Color model)은 임의의 색상은 세 가지 기본 요소, 혹은 색상의 조합에 의해 표현될 수 있다는 이론에 기반을 둔 것으로서, 대표적인 색공간으로는 RGB 색공간을 들 수 있다.

도 1a는 RGB 색공간의 개념을 설명하기 위한 개념도이다.

RGB 색공간은 주로 컬러 CRT 모니터와 프로젝션 장비, 촬영장비 등 하드웨어에서 영상을 표현하는 방법으로 널리 사용되는 직각좌표계로 표현될 수 있다. RGB는 빛의 삼원색이며, R, G, B를 가산 혹은 더하기 3원색(additive primaries)이라고 한다. R, G, B를 적당히 첨가하여 원하는 색을 만들어 내기 때문이다. 그러나, RGB 색공간을 디지털 영상처리에 적용할 시, 조명의 상태 변화에 따라 R, G, B의 색상값이 모두 크게 영향을 받는 문제점이 있다. 이러한 문제를 해결하기 위한 방법으로 RGB 색공간과 정규화된 RGB 색공간을 이용하여 밝기성분을 제거한 후 배경모델을 구축하고 이를 기반으로 동적 객체의 실루엣을 추출하는 연구가 수행되기도 하였다.

도 1a의 RGB 색공간을 보면, 각 좌표축은 RGB를 나타낸다. 점(0,0,0)과 점(1,1,1)이 각각 검정색과 흰색을 나타내며, 이를 연결한 대각선이 음영정보를 담 은 그레이레벨, 혹은 회색선으로 삼원색이 같은 비율로 혼합될 경우 이 라인상에 존재하게 된다.

또한 RGB 색공간 이외의 색공간 혹은 색공간으로는 명암(Luminance)과 색상(Hue), 채도(Saturation)를 구성요소로 하는 YIQ 색공간이나, 청록(Cyan), 자홍(Magenta), 노랑(Yellow)을 기본색으로 하는 CMY 색공간, 색상(Hue), 채도(Saturation), 명도(Intensity)를 구성요소로 하는 HSI 색공간을 들 수 있다.

도 1b는 HSI 색공간의 개념을 설명하기 위한 개념도이다.

HSI 색공간은 도 1b에 도시한 바와 같이, 인간의 색인지에 기반을 둔 사용자 지향성의 색공간으로서 색상(Hue), 채도(Saturation), 명도(Intensity)로 이루어진다. 이러한 HSI 색공간의 색상성분 H는 밝기나 채도변화에 관계없이 물체 고유의 색상 값을 나타낸 색상정보로서 색을 구별하기 위해 0~360 사이 축의 범위를 가진 각도 값으로 표현되고, 채도는 0에서 1까지의 범위를 가지는 반지름에 해당하며, 명도는 z축에 해당하는데 0일 때는 검정색을, 1일 때는 흰색을 나타낸다. 이때, 색상의 조절은 각도에 따라 0도에서는 빨강색, 120도에서는 녹색, 240도에서는 파랑색, 그리고 360도에서는 다시 빨강색으로 변한다. I=0일 때 색상은 검정색이 되고 H는 정의되지 않으며, S=0일 때 컬러는 흰색이 되고, 이러한 경우에도 H는 정의되지 않는다.

이와 같은 HSI 색공간의 특징을 이용하면 조명의 영향을 비교적 적게 받으면서 동일한 영역을 분리해낼 수 있는데, 이는 외부 영향에 의해 색상정보가 변경될 시 HSI 색공간에서는 색상값(H)의 각도만 변하기 때문이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 일 실시예에 따른 동적객체 영역 추출방법 및 시스템에 대해서 상세하게 설명한다.

도 2에 도시한 바와 같이, 일 실시예에 따른 동적객체 추출방법은 크게, 색상값 기반의 배경모델 생성과정 및 동적객체의 영역정보 추출과정을 포함하여 이루어진다.

1. 색상값 및 기울기 기반의 배경모델 생성과정

조명에 따라 끊임없이 변화하는 연속입력 영상에서 동적객체의 움직임 인식에 필요한 신체영역과 배경영역을 분리하기 위해서는 동적객체 추출에 있어서 기준이 되는 배경모델을 생성해야 하는바, 본 발명의 일 실시예에 따른 배경모델은 HSI 색공간의 색상성분 H에 대한 색상값 및 기울기 기반의 배경모델이다.

먼저, 배경모델을 작성하기 위하여 동적객체를 포함하지 않은 배경만의 영상을 소정시간 Ti동안 촬영을 한다. 이때 촬영에 사용되는 카메라가 촬영된 영상 데이터를 HSI 이외의 색공간, 예컨대 RGB 색공간을 이용하여 저장하는 경우에는 촬영하여 저장된(저장장치 미도시) 배경영상 데이터는 조명의 상태 변화에 관계없이 안정적인 동적객체 영역을 분리해내기 위하여 아래 수학식 1에 의해 HSI 색공간으로 변환시킨다.

여기서, H는 0~360도의 값을 갖는 색상 성분을 나타내고, S는 0~1의 값을 갖는 채도 성분을 나타내며, I는 0~255의 값을 갖는 휘도 성분을 나타내는바, 수학식 1은 RGB 영상 데이터로부터 색상 H, 채도 S 및 명도 I를 산출하는 식이다. 단, B > G 면 H = 360 - H 이다.

이와 같이 HSI 색공간으로 변환된 배경영상들은 배경영상을 촬영한 기준시간(Ti) 동안의 조명상태 변화에 따라 동일한 위치의 픽셀이라도 프레임별로 그 값을 달리할 수 있고, 동적객체 영역의 인식의 정확성을 높이기 위해서는 조명장치가 안정된 상태에서 충분한 시간 동안 배경영상을 촬영한 후 각 픽셀별로 상기 일정시간 동안의 색상값(H)을 평균함으로써 기준시간 동안의 각 픽셀별 색상값(H)의 평균으로 이루어진 평균 배경영상 데이터를 생성하게 되며, 각 픽셀별 색상값의 평균은 아래 수학식2 및 수학식3에 의해 생성될 수 있다.

Mean Update:

Mean Update:

위의 수학식 2에서 μ_H(0)는 각 픽셀에 대하여 색상성분(H)의 평균값의 초기값을 나타내며, 수학식 3에서 μ_H(t)는 시간 t에서의 해당 픽셀의 색상성분의 평균값을 나타낸다. α는 상수로서 0<α<1 사이의 임의의 수이며, 바람직하게는 0.5일 수 있다. 수학식 3에서 나타난 바와 같이 특정시각 t의 특정 픽셀의 색상값의 평균을 구함에 있어서, 바람직하게는 직전 시각 (t-1)의 해당 픽셀의 색상값의 평균에 시간 t에서의 해당 픽셀의 색상값을 가중 평균함으로써 생성하고, 이와 같이 생성된 픽셀별 색상값의 평균의 집합을 제1 배경모델로써 정의한다.

한편, 이와 같이 생성된 색상값의 평균으로 이루어진 제1 배경모델 데이터는 동적객체의 움직임을 포함하는 입력영상의 색상값과 각 픽셀별로 비교함으로써 동 적객체 영역을 판별하는 기준값으로 이용될 수 있고, 색상값의 평균 이외에도 색상값(H) 기울기의 평균값의 집합으로 정의되는 제2 배경모델 데이터 역시 동적객체 영역을 추출하기 위한 입력영상과의 비교대상으로 이용될 수 있다.

한편, 특정 시간의 특정 픽셀의 색상값(H)에 대한 기울기(∇H)값은 인접하는 픽셀과의 색상값(H)값의 차에 기반하여 계산되며, 바람직하게는 아래 수학식 4에 의해 계산할 수 있다.

위의 수학식 4에서 x, y, x+1, y+1은 각각 평면상에서의 위치를 나타내며, H(x,y), H(x+1,y), H(x,y+1)는 각각 픽셀 (x,y), (x+1,y), (x,y+1)에서의 색상값(H) 값을 의미한다. 이와 같은 방법으로 배경영상의 모든 프레임 영상의 각각의 픽셀에 대하여 색상값의 기울기를 구한 후에 하나의 픽셀에 대하여 평균값을 구함으로써 색상값의 기울기의 평균영상을 생성하고, 이와 같이 생성된 픽셀별 색상값의 기울기의 평균의 집합을 제2 배경모델로써 정의한다..

프레임별 영상데이터의 색상값의 기울기(∇H)의 평균값을 구하는 방법은 전술한 색상값의 평균값을 구하는 방법과 유사하며, 바람직하게는 아래 수학식 5 및 수학식 6에 의해 생성될 수 있다.

Mean Update:

Mean Update:

위의 수학식 5에서 μ_▽H(0)는 각 픽셀에 대하여 색상성분 기울기(∇H)의 평균값의 초기값을 나타내며, 수학식 6에서 μ_▽H(t)는 임의의 시간 t에서의 해당 픽셀의 색상성분기울기(∇H)의 평균값을 나타낸다. α는 상수로서 0<α<1 사이의 임의의 수이며, 바람직하게는 0.5일 수 있다. 식5에서 나타난 바와 같이 특정시각 t의 특정 픽셀의 색상성분 기울기(∇H)의 평균값을 구함에 있어서, 바람직하게는 직전 시각 (t-1)의 해당 픽셀의 색상성분 기울기(∇H)의 평균값에 시간 t에서의 해당 픽셀의 색상값 값을 가중 평균함으로써 생성한다.

2. 동적객체의 영역정보 추출 과정

이전 과정에서 배경모델, 바람직하게는 색상값(H)의 평균으로 이루어진 제1 배경모델 및 색상값 기울기(∇H)의 평균으로 이루어진 제2 배경모델이 연산되면 이를 이용하여 입력영상 내에 존재하는 배경영상과 동적객체를 서로 분리하는 것이 가능하여 진다.

먼저, 배경영상을 촬영한 카메라가 RGB 색공간을 이용한 것이라면 입력영상에 대하여 RGB 색공간을 HSI 색공간으로 변환하는 작업이 필요하다.

이와 같이 배경모델과 HSI 색공간으로 변환된 입력영상데이터가 준비되면, 각각의 프레임별, 픽셀별로 배경모델의 각 픽셀값과, 입력영상데이터의 각 픽셀값을 하나씩 비교하여 해당 픽셀이 동적객체의 영역인지 아닌지를 판별한다.

여기서 배경모델이 제1 배경모델인 경우에는 프레임별 각 픽셀의 제1 배경모델 픽셀값과 입력영상 내에서의 해당 픽셀의 색상값의 차를 연산하여 그 차가 제1 임계치를 초과하는 경우(제1조건)에는 해당 픽셀은 배경영상과는 구별되는 동적객체의 후보 영역으로 판별하고, 그렇지 않은 경우에는 배경영역으로 판별한다.

또한 배경모델이 제2 배경모델인 경우에는 프레임별 각 픽셀의 제2 배경모델 픽셀값과 입력영상의 각 픽셀별 기울기 값의 차를 연산하여 그 차가 제2 임계치를 초과하는 경우(제2조건)에는 해당 픽셀은 배경영상과는 구별되는 동적객체의 후보영역으로 판별하고 그렇지 않은 경우에는 배경영역으로 판별한다.

이와 같이 제1 배경모델과 제2 배경모델을 모두 사용하여 제1 조건과 제2 조건의 만족여부를 검사하여 두 조건이 모두 만족하는 경우에는 해당 픽셀을 동적객체 영역으로 판별하게 된다.

한편, 상기 제1 임계치와 제2 임계치는 바람직하게는 각 픽셀별로 해당 픽셀의 색상값(H)의 표준편차를 계산하여 그 값을 제1 임계치로 결정하고, 색상값 기울기(∇H)의 표준편차를 구하여 그 값을 제2 임계치로 결정할 수 있으며, 해당 표준 편차를 계산하기 위하여 아래와 같은 수학식7 내지 수학식8에 의하여 결정될 수 있다.

Variance Update:

Variance Update:

수학식 7에서 σ² _H(0)는 시간 t=0에서의 색상값(H)의 표준편차의 초기값을 나타내며, 수학식 8에서 σ² _H(t)는 임의의 시간 t에서의 색상값(H)의 표준편차 값이며, α는 0<α<1인 임의의 상수로서 바람직하게는 0.5일 수 있다.

Variance Update:

Variance Update:

한편, 수학식 9에서 σ² _▽H(0)는 시간 t=0에서의 색상값 기울기(∇H)의 표준편차의 초기값을 나타내며, 수학식 10에서 σ² _▽H(t)는 임의의 시간 t에서의 색상값 기울기(∇H)의 표준편차 값이며, α는 0<α<1인 임의의 상수로서 바람직하게는 0.5일 수 있다.

도 2는 본 발명에 따른 동적객체 영역 추출을 위한 알고리즘을 설명하기 위한 개념도로서, 앞서 살펴본 제1 조건 및 제2 조건을 모두 사용하는 경우에 대한 블록도를 표시하고 있으며, 최종적으로 특정 프레임에서 해당 픽셀을 동적객체 영역으로 판단하기 위한 수학식의 예를 살펴보면 아래의 수학식 11과 같다

위의 예의 수학식 11에서, R_i(x)는 동적객체의 영역정보를 추출하기 위한 플 래그 값이며, 특정 픽셀의 R_i(x)값이 1인 경우에는 해당 픽셀은 배경영상과는 구별되는 동적객체 영역으로 판별되며, R_i(x)값이 0인 경우에는 배경영상의 영역으로 판별된다. H_i(x)는 동적객체가 포함된 i번째 프레임에서의 입력영상의 색상값을 의미하고, ∇H_i(x)는 i번째 프레임에서의 입력영상의 색상값 기울기(∇H) 값을 의미한다. 한편, B_h(x) 및 B_∇H(x)는 각각 제1 배경모델 및 제2 배경모델에 따른 색상값 평균 배경영상과 색상값 기울기(∇H) 평균 영상을 의미하고, 임계치 TH_h(x) 및 ∇TH_h(x)는 각각 배경모델의 색상값의 표준편차값과 색상값 기울기(∇H)의 표준편차값을 의미하며, 상수 k는 배경모델에 사용된 프레임의 수를 나타내고, x는 영상프레임의 해당 픽셀의 위치값을 나타낸다.

또한 본 발명의 또다른 실시예에 따르면 연속영상에서의 동적객체의 영역을 추출하기 위한 장치는 전술한 동적객체의 영역을 추출하기 위한 방법을 그대로 구현한 장치로서, 통상의 컴퓨터 시스템에 있어서 연산장치, 메모리 등의 하드웨어 기본구성과 이를 운용하기 위한 소프트웨어적인 구성으로 구성할 수 있다.

보다 상세하게 살펴보면 본 발명에 따른 연속영상에서의 동적객체의 영역을 추출하기 위한 장치의 개념적인 블럭도는 도 3에 도시된 바와 같으며, 영상 데이터 입력부(10)는 바람직하게는 촬영되거나 외부에 저장된 배경영상 데이터 및 동적객체의 움직임이 포함된 입력영상 데이터를 입력받아 제어부(50)의 제어에 따라 데이터를 배경모델 변환부(20)로 전달한다.

배경모델 변환부(20)는 영상 데이터 입력부(10)로부터 전달된 배경영상 데이터를 전달받아 필요에 따라 HSI 색공간으로 변환하기 위한 제1 색공간 변환부(21)와, HSI 색공간으로 변환된 배경영상 데이터로부터 각 픽셀별 일정 시간 동안의 색상값의 평균으로 이루어진 제1 배경모델 및 각 픽셀별 인접픽셀과의 색상값의 기울기의 평균으로 이루어진 제2 배경모델 중 적어도 하나 이상의 배경모델을 연산하기 위한 배경모델 연산부(22), 영상 데이터 입력부(10)로부터 동적객체의 움직임이 포함된 입력영상 데이터를 전달받아 필요에 따라 HSI 색공간으로 변환하기 위한 제2 색공간 변환부(23))를 포함하고, 또한 필요에 따라 상기 배경영상 데이터로부터 앞선 실시예에서 살펴본 바와 같은 제1 임계치 및 제2 임계치를 연산하여 생성하기 위한 임계치 연산부(24)를 포함한다.

한편, 동적객체 영역 추출부(30)는 입력영상과 배경모델을 비교하여 동적객체 영역을 판별하되, 이용하고자 하는 배경모델이 상기 제1 배경모델인 경우에는 프레임별로 각 픽셀의 제1 배경모델 픽셀값과 입력영상 내에서의 해당 픽셀의 색상값의 차를 연산하여 그 차가 제1 임계치를 초과하는지 판단하고(제1조건),

이용하고자 하는배경모델이 제2 배경모델인 경우에는 프레임별로 각 픽셀의 제2 배경모델 픽셀값과 입력영상의 각 픽셀별 주변 픽셀에 대한 기울기 값을 비교하여 그 차가 제2 임계치를 초과하는지 판단한다.(제2조건)

여기서 동적객체영역 추출부(30)는 제1 배경모델과 제2 배경모델을 모두 사용하여 제1 조건과 제2 조건의 만족여부를 검사하여 두 조건이 모두 만족하는 경우에 한하여 해당 픽셀을 동적객체 영역으로 판별하고 두 조건 가운데 어느 한 가지 라도 만족되지 아니하는 경우에는 해당 픽셀을 배경영역으로 판단하게 된다.

메모리부(40)는 입력된 배경영상 데이터 등의 각종 입력데이터와 연산과정에 있어서의 중간 데이터들을 제어부(50)의 제어에 따라 저장, 독출한다.

제어부(50)는 입출력장치와 메모리부를 포함하여 장치의 전반을 제어하여 입력된 영상으로부터 동적객체 영역을 식별하도록 한다.

한편, 상기 제1 임계치와 제2 임계치는 서로 독립하여 여러 가지 방법에 의해 결정될 수 있으며, 바람직하게는 각 픽셀별로 해당 픽셀의 색상값(H)의 표준편차를 계산하여 그 값을 제1 임계치로 결정하고, 색상값 기울기(∇H)의 표준편차를 구하여 그 값을 제2 임계치로 결정하며, 결정된 임계치들은 제어부(50)의 제어에 따라 메모리부(40)에 저장되어 배경영역의 판단 및 추출에 이용된다.

도 4는 종래의 동적 객체 추출 방법 및 본 발명의 일 실시예에 따른 동적객체 추출방법을 적용한 실험결과를 비교한 사진인바, 실험은 초기에 배경모델을 생성할 때와 동일한 조명환경에서 종래의 추출 방법 및 본 발명의 추출 방법을 사용하여 사용자 손의 움직임을 추적하였다.

도 4에 도시한 바와 같이, 먼저, 도 4의 (b)는 RGB 색공간 기반 배경영상과 입력영상의 차를 기반으로 한 이진화 영상으로서 빛의 변화에 가장 민감하게 반응하고 있고, 도 4의 (c)는 정규화된 RGB 색공간을 배경모델로 사용한 결과로서, 초기 조명에 비해 대략적인 실루엣 정보는 유지되지만 실루엣 내부의 노이즈와 그림자로 인한 노이즈가 나타나고 있다. 한편, 도 4의 (d)는 HSI 색공간의 색상성분 H만을 기반으로 한 이진화 영상으로서, RGB 색공간보다 우수한 실루엣 추출을 나타 내지만 조명변화에 따른 그림자 변화에 반응함을 알 수 있다. 그리고, 도 4의 (e)는 본 발명의 추출 방법을 적용한 실험 결과로서 조명변화에도 영역정보가 깨어지지 않고 안정적으로 검출되고 있음을 보여준다.

이와 같이, 좌측의 밝은 조명일 경우와 우측의 어두운 조명일 경우를 비교해 볼 때 본 발명의 동적객체 추출방법을 이용하였을 경우에 동적객체의 실루엣 정보가 가장 유사하게 유지됨을 알 수 있다.

도 5는 본 발명의 일 실시예에 따른 동적객체 추출방법을 적용한 실험결과를 나타내는 사진인바, 서로 다른 조명조건에서 청색 크로마키 단순배경 앞에 위치한 동적객체의 영역정보 추출실험을 수행한 결과이다.

도 5에 도시한 바와 같이, 도 4의 (a)와 같이 색상성분 H만을 고려한 경우에는 급격한 조명변화가 일어나면 동적객체 외부의 배경영역에 어느 정도의 잡음현상을 보이지만, 도 5의 (b) 및 도 5의 (c)와 같이 색상성분 H 뿐만 아니라 H의 기울기를 모두 고려하면 배경의 노이즈 생성을 최소화시키고 동적객체의 영역정보를 보다 안정적으로 검출할 수 있다. 또한, 서로 다른 색상의 옷을 착용하거나 배경의 블루스크린과 유사한 색상계열의 옷을 착용한 객체에 대해서도 조명변화에 큰 변화없이 안정적인 객체영역을 추출할 수 있다.

본 발명의 일 실시예에 따른 동적객체 추출방법 및 그 방법이 수록되어 컴퓨터로 읽을 수 있는 기록매체는 전술한 실시 예에 국한되지 않고 본 발명의 기술사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.

이상에서 설명한 바와 같은 본 발명의 일 실시예에 따른 동적객체 추출방법 에 따르면 조명상태의 변화에도 불구하고 안정적으로 실루엣 영상을 획득하여 동적객체의 영역을 정확하게 판단, 추출할 수 있게 되는 효과가 있는 것이다.

또한 본 발명에 따르면 HSI 색공간에서의 색상값의 평균값 및 색상값 기울기의 평균값을 이용하여 조명의 상태 변화가 존재하는 환경에서도 동적객체의 영역을 빠르고 정확하게 인식할 수 있게 되는 또 다른 효과가 있는 것이다.

또한 본 발명에 따르면 동적객체 영역 여부를 판단하는 기준으로서 색상값의 표준편차 및 색상값 기울기의 표준편차를 이용함으로써 급격한 조명변화 조건에서도 동적객체의 영역을 정밀하게 판단하여 인식할 수 있게 된다는 또 다른 효과가 있는 것이다.

Claims (10)

1. 동적객체의 움직임이 포함되지 않은 배경영상 데이터를 이용하여 색상값(H) 기반의 배경모델 데이터를 생성하는 (a)단계;와

   상기 배경모델 데이터와 입력영상 데이터의 색상값을 이용하여 입력영상 데이터로부터 동적객체 영역을 추출하는 (b)단계;

   를 포함하여 이루어진 연속영상에서의 동적객체 영역 추출 방법.
2. 제 1항에 있어서,

   상기 (a)단계는 입력된 배경영상 데이터를 HSI 색공간으로 변환하는 단계를 포함하며,

   상기 (b)단계는 입력된 입력영상 데이터를 HSI 색공간으로 변환하는 단계를 포함하는 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 방법
3. 제1항 또는 제2항에 있어서,

   상기 배경모델은 각 픽셀별 일정 시간 동안의 색상값의 평균으로 이루어진 제1 배경모델과, 각 픽셀별 인접픽셀과의 색상값의 기울기의 평균으로 이루어진 제2 배경모델을 포함하여 이루어진 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 방법
4. 제3항에 있어서 상기 (b)단계는,

   각 픽셀별로 입력영상의 색상값과 상기 제1 배경모델 값의 차가 제1 임계치를 초과하는 경우에 충족되는 제1 조건 및 각 픽셀별로 입력영상의 인접 셀과의 색상 기울기 값과 상기 제2 배경모델 값의 차가 제2 임계치를 초과하는 경우에 충족되는 제2 조건을 모두 만족하는 경우에 해당 픽셀을 동적객체 영역으로 판단하는 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 방법
5. 제4항에 있어서,

   각 픽셀별 상기 제1 임계치는 배경영상의 각 픽셀에 대한 상기 일정 시간 동안의 색상값의 표준편차이며,

   각 픽셀별 상기 제2 임계치는 배경영상의 각 픽셀에 대하여 인접픽셀과의 색상값 기울기의 표준편차인 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 방법.
6. 동적객체의 움직임이 포함되지 않은 배경영상 데이터 및 동적객체의 움직임이 포함된 입력영상 데이터를 입력하기 위한 영상데이터 입력부;

   상기 배경영상 데이터를 이용하여 점진적 평균 및 표준편차 계산 기법을 적용하여 색상값(H) 기반의 배경모델을 생성하는 배경모델 변환부;

   상기 색상값(H) 기반의 배경모델과 상기 입력영상 데이터의 색상값을 이용하여 상기 입력영상 데이터로부터 동적객체 영역을 추출하는 동적객체 영역 추출부;

   영상데이터 등 각종 데이터를 저장하기 위한 메모리부; 및

   장치 전반을 제어하기 위한 제어부;를 포함하여 이루어진 연속영상에서의 동적객체 영역 추출 장치.
7. 제 6항에 있어서, 상기 배경모델 변환부는

   입력된 배경영상 데이터를 HSI 색공간으로 변환하는 제1 색공간 변환부;

   상기 변환된 배경영상 데이터로부터 상기 배경모델을 연산하기 위한 배경모델 연산부; 및

   입력영상 데이터를 HSI 색공간으로 변환하는 제2 색공간 변환부;를 포함하는 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 장치.
8. 제6항 또는 제7항에 있어서,

   상기 배경모델은 각 픽셀별 일정 시간 동안의 색상값의 평균으로 이루어진 제1 배경모델과, 각 픽셀별 인접픽셀과의 색상값의 기울기의 평균으로 이루어진 제2 배경모델을 포함하여 이루어진 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 장치
9. 제 8항에 있어서,

   상기 배경모델 변환부는

   배경영상 데이터로부터 제1 임계치 및 제2 임계치를 연산하기 위한 임계치 연산부를 더 포함하고,

   상기 동적객체 영역 추출부는

   각 픽셀별로 입력영상의 색상값과 상기 제1 배경모델 값의 차가 제1 임계치를 초과하는 제1 조건 및 각 픽셀별로 입력영상의 인접 셀과의 색상 기울기 값과 상기 제2 배경모델 값의 차가 제2 임계치를 초과하는 제2 조건 모두를 만족하는 경우에 해당 픽셀을 동적객체 영역으로 판단하는 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 장치.
10. 제9항에 있어서,

    각 픽셀별 상기 제1 임계치는 일정 시간 동안의 색상값의 표준편차값이며,

    각 픽셀별 상기 제2 임계치는 인접픽셀과의 색상값 기울기의 표준편차값인 것을 특징으로 하는 연속영상에서의 동적객체 영역 추출 장치.

Images