KR20120129301A

KR20120129301A - 이동 객체 추출 및 추적 방법 및 장치

Info

Publication number: KR20120129301A
Application number: KR1020110047468A
Authority: KR
Inventors: 홍기천; 신나라
Original assignee: 수원대학교산학협력단
Priority date: 2011-05-19
Filing date: 2011-05-19
Publication date: 2012-11-28
Also published as: KR101243294B1

Abstract

본 발명은 단일 이동객체 및 복수의 이동객체의 움직임 정보를 추출하는 방법 및 장치를 제공한다. 인접 영상 간의 차영상을 이용하여 영역 분할을 수행하고 환경에 맞는 조절로 에지 정보와 부스팅 팩터(Boosting factor)를 이용 객체의 윤곽과 손실된 부분을 복원한다. 복원된 객체영역을 이용하여 객체의 넓이, 높이, 크기 정보를 추출하고, 그 정보를 토대로 객체의 크기를 설정하여, 사람인지 사물인지를 판단한다. 정확한 객체의 정보를 얻기 위해 전 과정을 거쳐 생긴 객체의 그림자영역을 분석, 그림자를 제거하여, 최종적으로 객체를 추출한다. 위 과정을 거친 객체의 위치정보를 지속적으로 전달한다. 이와 같은 처리는 영상이 입력됨에 따라 반복적으로 수행될 뿐만 아니라 움직이는 객체의 정확한 정보를 전달함으로써 이동 객체의 정확한 정보를 토대로 이동 객체를 추적하여 이동 객체의 위치 파악 및 정보 습득을 통해 이동 객체를 추적하고 분석할 수 있는 효과가 있다.

Description

이동 객체 추출 및 추적 방법 및 장치{Method and apparatus for extracting and tracking moving objects}

본 발명은 이동 객체 추출 및 추적 방법 및 장치에 관한 것으로, 특히 인접 영상 간의 차영상을 이용하여 객체를 추출하고, 추출된 객체의 위치정보를 지속적으로 전달함으로써 적어도 하나의 이동 객체의 정확한 위치정보를 토대로 이동 객체를 추적하는 이동 객체 추출 및 추적 방법 및 장치에 관한 것이다. 더욱이, 본 발명은 실생활의 복잡한 환경에서 적어도 하나의 이동 객체를 추출하여 이동 객체의 위치 파악 및 위치정보 습득을 통해 이동 객체를 추적하고 분석할 수 있는 이동 객체 추출 및 추적 방법 및 장치에 관한 것이다.

본 발명은 국가연구개발사업의 일환으로, 과제고유번호 : GRRC수원2010-B4, 연구사업명 : 경기도 지역협력연구센터(GRRC) 육성 지원 사업, 연구기간 : 2008년 07월 01일-2011년 06월 30일, 연구과제명 : "지능형 감시를 위한 이벤트 추출시스템 개발"에 관한 것이다.

사람과 컴퓨터의 상호작용의 표현에서 시작된 사람추적은 로봇학습, 객체의 카운팅, 감시 시스템 등의 많은 응용분야에서 사용되고 있으며, 특히 보안 시스템분야에서 카메라를 이용하여 사람을 인식하고 추적하여 위법행위를 자동적으로 찾아낼 수 있는 감시 시스템 개발의 중요성이 나날이 커져 가고 있다.

현재 많이 사용되고 있는 보안시스템으로는 백화점이나 마트 등에서 사용되고 있는 무인 감시 시스템, 신분증명 시스템, 범인검색 시스템 등이 있다. 그 외에 보행자를 감시하여 추적하는 지하철 안전사고 예방 시스템, 위험 예방 관리 시스템 등과 같은 보안시스템은 사람의 동작을 실시간으로 인식하고 그 의미를 처리할 수 있기 때문에 사람동작 추적이 중요하게 된다. 카메라를 이용하여 실내 환경에서 움직이는 사람을 획득하고, 추적하는 방법들이 제안되어 왔다 (참고문헌 [1] N. Ahmed, T. Natarajan, and K. R. Rao, "Discrete cosine transform," IEEE Transactions on Computers 23 (1974):90-93). 하지만 실외의 복잡한 환경에서 객체를 추출하여 객체의 위치를 파악 및 정보 습득을 통해 객체를 추적하고 분석하기에 한계가 있다.

보안시스템으로서 얼굴을 검출하고 인식하는 기술들이 제안되어, 예를 들면, 대우전자(주)의 "사람 얼굴의 화상처리를 이용한 개인인식방법"(공개번호 10-1995-29985), 한국전자통신연구원의 "얼굴 구성요소 검출시스템 및 그 검출방법(공개번호 10-1998-20738), 한국과학기술원의 "얼굴의 컬러모델과 타원체 근사모델을 이용한 실시간 얼굴추적방법 및 그 기록매체"(공개번호 10-2000-60745), 삼성전자(주)의 "가버필터링반응값의 차원공간 변환을 이용한 얼굴 인식 방법 및 그 장치"(공개번호 10-2001-87487) 등 많이 있으나, 이 모두 얼굴 인식률에 있어서 한계에 부딪혀 실용성이 떨어지게 되었다. 이를 개선하기 위하여, 본 발명자는 "얼굴 검출 및 인증 장치 및 그 방법"이란 명칭으로 한국특허출원 04-96171(04. 11. 23)(공개 06-57109(06. 05. 26), 등록 702225(07. 03. 26))을 제시하고 있지만, 이는 모두 얼굴에 대한 정보로서 움직이는 객체의 정확한 정보를 전달하지는 못하고 있다.

1. 대우전자(주)의 "사람 얼굴의 화상처리를 이용한 개인인식방법"(공개번호 10-1995-29985) 2. 한국과학기술원의 "얼굴의 컬러모델과 타원체 근사모델을 이용한 실시간 얼굴추적방법 및 그 기록매체"(공개번호 10-2000-60745) 3. 삼성전자(주)의 "가버필터링반응값의 차원공간 변환을 이용한 얼굴 인식 방법 및 그 장치"(공개번호 10-2001-87487) 4. 홍기천 외 "얼굴 검출 및 인증 장치 및 그 방법"이란 명칭으로 한국특허출원 04-96171(04. 11. 23)(공개 06-57109(06. 05. 26), 등록 702225(07. 03. 26))

N. Ahmed, T. Natarajan, and K. R. Rao, "Discrete cosine transform," IEEE Transactions on Computers 23 (1974):90-93 W. T. Freeman and M. Roth, " Orientation histograms for hand gesture recognition," International Workshop on Automatic Face and Gesture Recognition(pp.296-301), June 1995. [OpenCV] Open Source Computer Vision Library (OpenCV), http://sourceforge.net/projects/opencvlibrary/. M. Hu, "Visual pattern recognition by moment invariants," IRE Transactions onn Information Theory 8 (1962):179-187. J. Philbin, O. Chum, M. Isard, J.Sivic, and A. Zisserman, "Object retrieval with large vocabularies and fast spatial matiching," Proceedings of the IEEE Conference on Computer Vision and pattern Recognition, 2007. [6] J. Canny, "A computational approach to edge detection," IEEE Transactions on Pattern Analysis and Machine Intelligence 8 (1986):679-714. Jianping Fan, David. K. Y. Uai, Ahmed. K. Elmagarmid, and Walid G. Aref, "Automatic Image Segmentation by Intergrating Color-Edge Extraction and Seeded Region Growing," IEEE Transaction On Image Processing, Vol. 10, No. 10, Oct 2001. W. N. Martin, J. K. Aggarwal, "Survey : Dynamic Scene Analysis," Computer Graphics and Image Processing, Vol. 7, pp.356-374, 1978.

본 발명은 상술한 종래의 단점들을 해소하기 위하여, 이동 객체 추출 및 추적 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 인접 영상 간의 차영상을 이용하여 적어도 하나의 이동 객체를 추출하고, 추출된 이동 객체의 위치정보를 지속적으로 전달함으로써 이동 객체의 정확한 정보를 토대로 이동 객체를 추적하는, 이동 객체 추출 및 추적 방법 및 장치를 제공하는 것을 목적으로 한다.

더욱이, 본 발명은 실생활의 복잡한 환경에서 적어도 하나의 이동 객체를 추출하여 이동 객체의 위치 파악 및 위치정보 습득을 통해 이동 객체를 추적하고 분석할 수 있는 이동 객체 추출 및 추적 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 상술한 목적을 달성하기 위하여, 본 발명의 일 양태에 의하면, 차영상 에지 정보를 이용한 이동 객체 추출 및 추적 방법에 있어서,

적어도 하나의 이동 객체의 추적을 위하여 고해상도 영상을 입력하는 고해상도 영상 입력 단계(100);

입력되는 이동 객체의 고해상도 영상의 에지 정보를 검출하는 고해상도 영상 에지 검출 단계(105);

입력받은 이동 객체의 고해상도 영상의 밝기의 분포도를 영상의 환경에 맞게 일정하게 분포시켜 밝기 값으로부터 나오는 오류 또는 노이즈의 발생을 방지하는 히스토그램 균등화 단계(110);

상기 히스토그램 균등화된 영상의 프레임간의 차영상을 이용하여 객체의 움직임을 감지하는 에지 검출 단계(120);

상기 차영상을 통해 얻어진 영상에 상기 객체의 에지 정보를 결합하고, 감지된 객체 영역의 부스팅 팩터(boositing factor)를 이용하여 임의의 부스팅 팩터 값을 통해 객체 영역을 부각하고 부각된 객체와 에지 정보의 융합에 의해 뚜렷한 외곽선 패턴을 추출하는 객체 영역 부각 단계(130);

상기 객체의 위치를 지속적으로 추적하여 움직이는 객체의 위치 정보를 인식하는 객체 추출 단계(150);

상기 위치 정보와 분석한 객체의 히스토그램 정보와 패턴 정보와 같은 고유 특징점을 획득하여 상기 획득된 고유 특징점에 따라 적응적으로 캠시프트 알고리즘을 수행하여 적어도 하나의 이동 객체를 추적하는 적응적 캠시프트 알고리즘을 통한 객체 추적 단계(160); 및

상기 객체 영역에 적어도 하나의 이동 객체가 존재하면 적어도 하나의 이동 객체 추출 단계(180)로 진행하여 적어도 하나의 이동 객체를 추적하고, 존재하지 않으면 부스팅 팩터(boositing factor)를 이용한 객체 영역 부각 단계(130)로 진행하여 상기 단계 130 내지 160을 수행하는 객체 영역의 객체 존재 유무 판단 단계(170)를 포함하는 이동 객체 추출 및 추적 방법을 제공한다.

바람직하기로는 그림자 밝기의 분포도를 분석하여 환경에 맞는 그림자 영역을 제거하는 객체의 그림자 제거 단계(140)를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 태양에 의하면, 본 발명의 차영상 에지 정보를 이용한 이동 객체 추출 및 추적 장치는 고해상도 영상을 촬영하는 카메라; 및 상기 카메라로부터의 고해상도 영상을 받아서, 적어도 하나의 이동 객체를 추출하는 컴퓨터를 포함하고, 상기 컴퓨터(200) 내의 제어부(220)의 제어하에 처리부(230)는 적어도 하나의 이동 객체의 추적을 위하여 고해상도 영상을 입력하는 고해상도 영상 입력 단계(100);

상기 객체 영역에 적어도 하나의 이동 객체가 존재하면 적어도 하나의 이동 객체 추출 단계(180)로 진행하여 적어도 하나의 이동 객체를 추적하고, 존재하지 않으면 부스팅 팩터(boosting factor)를 이용한 객체 영역 부각 단계(130)로 진행하여 상기 단계 130 내지 160을 수행하는 객체 영역의 객체 존재 유무 판단 단계(170)를 수행하는 것을 특징으로 하는 이동 객체 추출 및 추적 장치를 제공한다.

바람직하기로는 상기 컴퓨터 내의 처리부는 그림자 밝기의 분포도를 분석하여 환경에 맞는 그림자 영역을 제거하는 객체의 그림자 제거 단계(140)를 더 수행함을 특징으로 한다.

본 발명은 이동 객체 추출 및 추적 방법 및 장치로서, 인접 영상 간의 차영상을 이용하여 이동 객체를 추출하고, 추출된 이동 객체의 위치정보를 지속적으로 전달함으로써 이동 객체의 정확한 정보를 토대로 이동 객체를 추적하여 이동 객체의 위치 파악 및 정보 습득을 통해 이동 객체를 추적하고 분석할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 의한 차영상 에지 정보를 이용한 다중 객체 추출 및 추적 방법을 설명하기 위한 플로우챠트이다.
도 2는 본 발명의 바람직한 실시예에 의한 차영상 에지 정보를 이용한 다중 객체 추출 및 추적 장치의 개략적인 블록도이다.
도 3은 본 발명에 적용되는 히스토그램 균등화를 설명하기 위한 실험 영상과 그 히스토그램 분포도이다.
도 4는 도 3의 히스토그램 균등화를 거친 후의 영상과 그 히스토그램 분포도이다.
도 5는 본 발명에 적용되는 프레임의 차영상을 통한 객체 추출 결과를 도시한 영상이다.
도 6은 본 발명의 한 실험 영상 및 그로부터 검출된 에지 영상을 도시한다.
도 7은 본 발명의 정상적으로 검출된 객체 영역(좌)과 비정상적으로 추출된 객체 영역(우)을 도시한다.
도 8은 본 발명의 객체 영역의 복원 영상을 도시한다.
도 9는 본 발명의 Boosting factor

에서 i=1(좌)일 때 영상과 i=2(우)일 때 영상을 도시한다.
도 10은 본 발명의 한 실험 영상 및 그에 대한 단순 레이블링 결과를 도시한 영상을 도시한다.
도 11은 본 발명의 한 실험 영상 및 그에 대한 단순 레이블링의 노이즈를 도시한 영상을 도시한다.
도 12는 본 발명의 한 실험 영상 및 그로부터 노이즈 제거 결과를 도시한 영상을 도시한다.
도 13은 본 발명의 실험 영상의 그림자 제거 전(좌)과 제거 후(우)의 영상을 도시한다.
도 14는 본 발명의 실험 영상의 복원된 객체의 크기를 도시한다.
도 15는 본 발명의 영상에 따른 부스팅 팩터의 값

을 도시한 그래프도이다.
도 16은 본 발명의 영상에 따른 노이즈 제거 임계치를 도시한 그래프도이다.
도 17은 본 발명의 영상에 따른 그림자의 분포도를 도시한 그래프도이다.

이하, 본 발명의 바람직한 실시예에 의한 차영상 에지 정보를 이용한 다중 객체 추출 및 추적 방법 및 장치에 대하여 첨부된 도면을 참조하여 보다 상세하게 설명하기로 한다.

일반적으로 객체 (또는 사람) 추적은 비디오나 영상의 기록으로부터 사람을 추출한 후, 추적할 객체의 위치정보, 동작 등의 행동의 패턴을 분석하고 추적하는 방법을 쓴다. 즉, 객체의 위치, 속도, 형태의 크기, 움직이는 방향 등의 특징을 이용하여 연속된 프레임 사이의 프레임구조와의 대응을 만드는 것이다. 따라서 객체 추출 과정은 프레임 사이에서의 움직임의 차이, 동작이나 형태의 크기와 같은 시각적인 정보를 이용하는 매칭을 포함하게 된다.

객체를 추출하기 위해 여러 가지 방법들이 제안되었는데 "모델 기반", "외형 기반", "블랍(blob)의 통계적 특징을 이용한 방법" 등이 대표적으로 이용되는 방법들이다. 본 발명에서는 움직이는 객체의 에지 정보를 융합하고 객체의 본래 크기 추출을 방해하는 그림자의 제거를 통하여 실외에서의 그림자와 같은 잡음에서도 강인한 객체 추출과 보다 정확한 다중 객체 추출을 제공한다.

도 1은 본 발명의 바람직한 실시예에 의한 차영상 에지 정보를 이용한 적어도 하나의 (또는 다중)(이하 편의상 "다중"이라 칭함) 객체 추출 및 추적 방법을 설명하기 위한 플로우챠트이고, 도 2는 본 발명의 바람직한 실시예에 의한 차영상 에지 정보를 이용한 다중 객체 추출 및 추적 장치의 개략적인 블록도이다.

도 1과 도 2에 의하면, 본 발명의 바람직한 실시예에 의한 차영상 에지 정보를 이용한 다중 객체 추출 및 추적 방법 및 장치에 의하면, 고해상도 영상 입력 단계(100)에서 카메라(20)로부터 촬영된 고해상도 영상은 컴퓨터(200)로 입력된다. 도 2의 컴퓨터(200)는 고해상도 영상을 받아 입력부(210)의 조작에 따라 제어부(220)의 제어하에 처리부(230)를 통해 처리하는데, 도 1의 고해상도 영상 에지 검출 단계(105), 히스토그램 균등화 단계(110), 차영상을 이용한 에지 검출 단계(120), 부스팅 팩터(boosting factor)를 이용한 객체 영역 부각 단계(130), 객체의 그림자 제거 단계(140), 객체 추출 단계(150), 적응적 캠시프트 알고리즘을 통한 객체 추적 단계(160), 영역의 객체 존재 유무 판단 단계(170), 및 다중 객체 추적 단계(180)를 수행하여 출력부(240)를 통해 출력한다.

고해상도 영상 입력 단계(100)에서는, 잡음이 많은 외부 환경에서 다중 객체의 정확한 추적을 위해 고해상도 영상을 분석한 객체의 많은 정보량이 필요하기 때문에 입력되는 데이터로 고해상도 영상을 이용한다.

고해상도 영상 에지 검출 단계(105)에서는 입력되는 객체의 고해상도 영상의 에지 정보를 검출한다.

히스토그램 균등화 단계(110)에서는 입력받은 고해상도 영상의 밝기의 분포도를 영상의 환경에 맞게 일정하게 분포시켜 밝기 값으로부터 나오는 오류 또는 노이즈의 발생을 방지한다.

차영상을 이용한 에지 검출 단계(120)에서는 영상의 프레임간의 차이를 이용하여 대략적인 객체의 움직임을 감지한다,

부스팅 팩터(boosting factor)를 이용한 객체 영역 부각 단계(130)에서는 차영상으로 통해 얻어진 영상에 상기 객체의 에지 정보를 결합하고, 감지된 객체 영역의 부스팅 팩터를 이용하여 임의의 부스팅 팩터 값을 통해 객체 영역을 부각하고 부각된 객체와 에지 정보의 융합에 의해 뚜렷한 외곽선 패턴을 추출한다.

객체의 그림자 제거 단계(140)에서는 그림자 밝기의 분포도를 분석하여 환경에 맞는 그림자 영역을 제거한다.

객체 추출 단계(150)에서는 상기와 같은 연산을 통해 얻은 객체의 위치를 지속적으로 추적하여 움직이는 객체를 인식한다.

적응적 캠시프트 알고리즘을 통한 객체 추적 단계(160)에서는 상기 움직이는 객체의 위치 정보와 분석한 객체의 히스토그램 정보와 패턴 정보와 같은 고유 특징점을 획득하여 상기 획득된 고유 특징점에 따라 적응적으로 캠시프트 알고리즘을 수행하여 다중 객체를 추적한다.

객체 영역의 객체 존재 유무 판단 단계(170)에서 상기 객체 영역에 객체가 존재하면 다중 객체 추적 단계(180)로 진행하여 다중 객체를 추적하고, 존재하지 않으면 부스팅 팩터(boosting factor)를 이용한 객체 영역 부각 단계(130)로 진행하여 상기 단계 130 내지 160을 수행한다.

이하, 컴퓨터(200)의 다중 객체 추출 및 추적 방법을 보다 상세히 설명한다.

히스토그램 균등화( Histogram Equalization )

카메라와 영상 센서는 장면의 명암 대비 뿐만 아니라 영상의 노출도 잘 관리해야만 한다. 일반적으로 빛의 밝기 범위는 너무 넓어서 센서가 이를 완벽하게 표현하지 못한다. 일단 카메라가 영상을 입력받게 되면 영상을 변경시키는 것은 불가능하나 영상 픽셀 값의 동적 영역을 변경시키는 일은 여전히 가능하다. 가장 일반적으로 사용되는 기법이 히스토그램 균등화이다 (참고문헌 [2] W. T. Freeman and M. Roth, "Orientation histograms for hand gesture recognition," International Workshop on Automatic Face and Gesture Recognition(pp.296-301), June 1995).

히스토그램 균등화는 특정 분포 함수를 다른 형태의 분포 함수로 변환하는 수학적 기법에 기반을 두고 있다. 이때 입력 영상의 밝기 값 히스토그램이 입력 분포 함수가 되고, 이상적인 균일 분포 함수가 목표 함수가 된다. 즉, 입력 영상의 히스토그램 분포를 가능한 한 골고루 편 상태로 변환하려는 것이다 (참고문헌 [3] [OpenCV] Open Source Computer Vision Library (OpenCV), http://sourceforge.net/projects/opencvlibrary/). 특정 분포를 널리 펼치기 위해서는 누적 분포 함수를 이용해야만 한다. 연속 함수에 이 기법을 적용하면 완전한 균등 분포로 변환이 되지만 이산 영상에서 히스토그램 균등화를 적용하면 다소 균등 분포와는 다른 형태의 분포를 갖게 된다.

도 3은 본 발명에 적용되는 히스토그램 균등화를 설명하기 위한 실험 영상과 그 히스토그램 분포도이다. 도 3의 다중객체 추출을 위한 실험 영상의 히스토그램 분포도에 의하면, 영상의 히스토그램은 밝기의 분포도의 중간에 분포해 있는 것을 볼 수 있다. 밝기의 분포도가 일정하지 않으면 영상처리에 있어서 오류와 해결하기 힘든 문제를 일으킬 수 있으므로 히스토그램의 균등화가 필요하다. 도 4는 도 3의 히스토그램 균등화를 거친 후의 영상과 그 히스토그램 분포도이다.

수학식 1은 실험에 적용한 히스토그램 균등화 공식이다. 영상 내에서 발생 빈도가 높은 즉 cdf의 기울기가 1보다 큰 픽셀 범위들에 대해서 해당 기울기가 급격해지는 것을 이용하고 발생 빈도가 낮은 즉 cdf의 기울기가 1보다 작은 픽셀범위들에 대해서는 반대의 경우를 이용하여 균등화하는 것이다. 분모의 M*N은 영상의 가로*세로, 즉 총 픽셀들의 개수가 되고 cdf(v)는 해당 밝기값에서의 cdf값을 말한다. L은 최대 밝기값 255를 적용하였고 cdf값 중 최소값을 cdfmin에 입력하였다.

객체 추출

히스토그램 균등화를 거친 영상을 배경 영상과 움직이는 객체의 차영상을 통하여 객체의 일부분을 얻게 되고 컬러 영상에서 추출한 에지 정보를 융합해 움직이는 객체의 윤곽을 뚜렷하게 얻어낸다. 부스팅 팩터(Boosting factor)를 통해 움직이는 객체의 영역을 확장하여 객체 영역을 더욱더 강인하게 추출하게 된다.

차영상을 통한 객체 영역 추출

차영상은 두 영상에서 동일한 위치에 해당되는 화소의 명도값 차이를 의미한다. 차영상을 얻는 방법은 수학식 2와 표현될 수 있다.

배경 영상과 객체 영상의 차영상을 나타내는

는 좌표 x,y에 위치한 화소의 명도값 차이를 의미한다 (참고문헌 [4] M. Hu, "Visual pattern recognition by moment invariants," IRE Transactions onn Information Theory 8 (1962):179-187. 및 참고문헌 [5] J. Philbin, O. Chum, M. Isard, J.Sivic, and A. Zisserman, "Object retrieval with large vocabularies and fast spatial matiching," Proceedings of the IEEE Conference on Computer Vision and pattern Recognition, 2007.). 도 5에는 본 발명에 적용되는 프레임의 차영상을 통한 객체 추출 결과를 나타내는 영상이 도시되어 있다.

에지 추출을 통한 객체 윤곽선 향상

본 발명에서는 움직이는 객체의 윤곽선 향상 방법으로 객체의 검출된 에지 정보(105)를 차영상으로 얻어진 영상(120)에 융합하였다. 영상에서 에지란 밝기가 낮은 값에서 높은 값으로 또는 높은 값에서 낮은 값으로 변화하는 경계에 해당되는 부분으로 에지를 검출함으로서 객체의 위치, 모양, 크기 등에 대한 정보를 알 수 있다 (참고문헌 [6] J. Canny, "A computational approach to edge detection," IEEE Transactions on Pattern Analysis and Machine Intelligence 8 (1986):679-714.). 본 발명에서 사용한 에지 검출 방법은 라플라시안 에지 검출을 사용하였다. 라플라시안 연산자는 대표적인 2차 미분 연산자로서 1차 미분을 다시 한 번 미분하는 방법이다. 영상에서 라플라시안은 다음과 같이 2차 미분계수로서 정의한다.

위 수학식 3을 통하여 라플라시안 3x3 마스크를 사용하여 영상의 컨볼루션 작업을 통하면 라플라시안 마스크를 얻을 수 있다. 컨볼루션 수행 결과, 영상에서 에지는 부호가 -에서 +로 혹은 +에서 -로 바뀌는 곳이다. 이러한 부호가 바뀌는 것은 영교차라 한다. 따라서 결과 영상에서 영교차가 발생 되는 곳을 흰색, 나머지 픽셀들을 검은색으로 대체하면 에지 영상이 얻어진다 (참고문헌 [7] Jianping Fan, David. K. Y. Uai, Ahmed. K. Elmagarmid, and Walid G. Aref, "Automatic Image Segmentation by Intergrating Color-Edge Extraction and Seeded Region Growing," IEEE Transaction On Image Processing, Vol. 10, No. 10, Oct 2001.).

도 6은 본 발명의 한 실험 영상 및 그로부터 검출된 에지 영상을 도시하는 것으로, 라플라시안 마스크를 사용하여 영상의 컨볼루션 작업 후 나온 결과 영상을 도시한다. 검출된 에지에서 객체를 확대한 그림을 보면 배경과 객체가 윤곽선을 따라 분리된 것을 확인할 수 있다.

적응적 객체 영역 확장

에지 검출로 객체의 윤곽선을 추출하였다. 차영상을 통한 움직이는 객체의 영역과 검출된 에지 정보만으로도 추출되지 않는 문제가 있어, 부스팅 팩터(Boosting factor)를 사용하여 객체의 영역을 확장하였다. 도 7은 본 발명의 정상적으로 검출된 객체영역(좌)과 비정상적으로 추출된 객체 영역(우)을 도시하며, 정상적으로 추출된 객체의 영역과 주변환경 때문에 분리된 객체의 영역을 나타낸 그림이다.

위가 같은 문제점 때문에 부스팅 팩터(Boosting factor)로 객체 영역에 더 가중치를 두어 일정 임계값을 지정하고, 원하는 객체의 영역이 환경에 따라 적응적으로 추출될 수 있게 부스팅 팩터(Boosting factor)를 영상에 입력하였다.

수학식 4는 부스팅 팩터(Boosting factor)를 이용하여 객체와 배경의 구별이 된다.

도 8은 본 발명의 객체 영역의 복원 영상을 도시하는 것으로, 도 8은 수학식 4의 연산을 통해 나온 영상의 결과이다. 도 7의 영상과 비교해 보면 객체의 추출되지 않는 빈 부분을 객체의 영역이라 여기고 가중치를 주어 추출되게 하였다.

도 9는 본 발명의 Boosting factor

에서 i=1(좌)일 때 영상과 i=2(우)일 때 영상을 도시하는 것으로, 실험 영상의 환경에서는 도 9의 부스팅 팩터 값의 i=2일 때의 영상이 객체의 영역 확장에 용이하여

의 영상을 적용하여 실험하였다.

적응적 레이블링

객체의 위치정보, 객체의 크기, 사람의 움직임인지 자동차의 움직임 구별 등 여러 가지의 기능을 적용할 수 있는 것이 레이블링이다. 인접한 화소에 모두 같은 번호인 라벨을 붙이고 연결되지 않은 다른 성분에는 다른 번호인 라벨을 붙이는 일이다.

레이블링시 영상의 전체 픽셀을 검사를 하게 되는데 해당 픽셀의 이전 방문 여부와 인접해 있는 화소의 픽셀수, 그 블랍의 번호를 붙이고 조사하게 된다.

수학식 5는 인접화소를 찾는 식으로, 입력되는 영상의 전체 픽셀을 검사하면서 두가지 조건을 가지고 인접화소를 결정하게 된다.

는 입력 영상의 높이이고

는 입력 영상의 넓이이다. (0,0)부터 까지의 픽셀을 수학식 5를 이용해 인접화소를 찾는 것이다. 객체의 화소라고 인식이 되면 그다음에 있는 픽셀도 객체의 화소인지 검사하고 객체의 화소가 맞으면 계속 검사를 하게 되고 아니면 영상의

, 즉 다음

줄로 넘어가서 검사를 계속 하게 된다.

도 10은 본 발명의 한 실험 영상 및 그를 단순 레이블링 결과를 도시한 영상을 도시하는 것으로, 도 10은 레이블링된 객체를 영상에 표시할 때 사각형으로 표시한 그림이다. 좌측은 입력 영상이고 우측은 입력영상을 환경에 맞는 임계값으로 이진화한 영상이다.

도 10을 확대한 도 11을 보게 되면 크기가 작은 인접화소들도 객체 인식하게 되어 움직이는 객체의 추출에 노이즈가 되고, 객체의 카운팅에도 문제를 일으킬 수 있다. 적응적 레이블링은 일반적인 레이블링과 다르게 실외 환경에 적용할 수 있게 검출된 객체의 크기, 넓이, 높이, 검출된 픽셀의 수, 영상 내에 레이블된 개수등 많은 정보를 담고 있기 때문에 이 정보들을 바탕으로 도 11의 노이즈를 간단한 알고리즘으로 제거할 수 있다.

수학식 6은 노이즈 제거를 위한 식으로, 레이블링시 검사된 객체 영역의 픽셀의 사이즈를 이용하여 임계값

이하의 픽셀 사이즈는 객체가 아닌 노이즈로 인식하게 하였다. 뿐만 아니라 인식된 객체의 높이와 넓이 정보를 이용하여 사람 이외에 인식된 자동차 및 수레 등은 객체 인식에서 제외시킬 수 있다.

이로써, 단순 레이블링의 노이즈를 포함하는 도 11의 영상은 노이즈 제거 결과를 도시한 도 12의 영상으로 나타난다.

그림자 제거

도 12의 이진 영상을 보면 객체의 그림자 때문에 움직이는 객체의 크기가 변형되는 것을 볼 수 있다. 그림자를 없애고 객체의 본래의 크기를 인식하기 위해 그림자 제거가 필요하다. 그림자 제거 알고리즘은 그림자는 밝고 어두운 정도가 있고, 밝기가 강하면 반대로 생기게 되는 그림자도 어둡게 생기기 마련이다. HSV영역에서 밝기 값을 출력할 수 있는 V인 명도값을 히스토그램 분석하여 그림자 영역의 밝기 분포도를 구하였다. 아래의 수학식들은 RGB 컬러 공간에서 HSV컬러 공간으로 변환하는 식들이다 (참고문헌 [8] W. N. Martin, J. K. Aggarwal, "Survey : Dynamic Scene Analysis," Computer Graphics and Image Processing, Vol. 7, pp.356-374, 1978).

수학식 7에서

는 수학식 8과 같다.

채도 성분은 수학식 9와 같다.

끝으로 밝기 성분은 수학식 10과 같이 구할 수 있다.

움직이는 객체의 그림자이기 때문에 움직이는 객체 영역에서 그림자 영역의 히스토그램을 분석하여 집중적으로 분포되어 있는 부분을 그림자 영역으로 설정하였고 그 영역을 없애는 것으로 그림자를 제거하였다. 실외 환경에서 적용할 수 있게 두 개의 밝기 임계값을 설정하여 최소 밝기 값과 최대 밝기 값을 조절하여 환경에 적응할 수 있게 하였다. 수학식 11은 그림자의 영역을 찾는 식이다.

는 그림자가 제거되기 전 움직이는 객체의 영상이고 영상에서 임계값이상 이하의 값이 밝기 영역에서의 그림자이다. 두 개의 임계값으로 조명에 따른 그림자의 밝기 부분을 찾아낼 수 있다. 도 13은 그림자가 제거되기 전과 제거된 후의 그림이고, 도 14를 보면 움직이는 객체 크기가 복원된 것을 확인할 수 있다.

상술한 바와 같이, 본 발명에서는 차영상 기법을 이용하여 이동하는 객체의 움직임을 추정하고 차영상만으로는 선명하지 못한 객체를 라플라시안 에지 검출과 적응적 부스팅 팩터(Boosting factor)로 영상 내의 객체에 가중치를 두어 원하는 객체 영역을 확장하였고, 레이블링을 통해 객체의 높이, 넓이 정보로 임계치를 두어 움직이는 객체가 임계값(사용자가 지정한)보다 작거나 크면 원하는 사물이 아닌 것으로 배제하여 실외 여러 환경에서 적응할 수 있었다.

본 발명의 그림자 제거 알고리즘 또한 실외 환경에서 적응할 수 있도록 최대, 최소 두 임계값을 설정하여 사용자가 그림자의 밝기 영역을 조절하여 찾을 수 있도록 하였다. 본 발명은 외부에서 촬영한 영상 샘플로 실험을 하였고 외부 환경에서 우수한 다중 객체 추출을 하기 위해선 총 네 개의 임계값을 조절하여 각 영상에 최적화된 설정을 해야만 얻어졌다.

도 15는 본 발명의 영상에 따른 부스팅 팩터의 값

을 도시한 그래프도이고, 도 15의 그래프는 다섯 개의 영상에 맞는 부스팅 팩터(Boosting factor)의 값을 나타낸다. 도 15에서 보듯이

값은 2와 4값을 주었고 실험 영상들에서 객체 영역의 부각이 정확히 되었다. 주로 어두운 영상에서는 값이 높게 나왔고 밝은 영상에서는 값이 낮게 조절되었다. 전체적으로 어두운 영상과 밝은 영상에 대한 부스팅 팩터의 값이 일정한 것으로 보아 영상에 대해 적응적으로 입력한 값의 타당성을 볼 수 있다.

도 16은 본 발명의 영상에 따른 노이즈 제거 임계치를 도시한 그래프도로서, 객체 영역 부각과 에지 정보의 융합으로 나온 결과의 잡음을 제거하는 임계값이 도시되어 있다.

최소 픽셀 사이즈는 영상에 보이는 객체의 크기에 따라 좌우된다. 즉 실험 영상 (Test Image) 3의 영상이 객체가 가장 크게 보이는 영상이고 실험 영상 (Test Image) 4의 영상이 객체가 가장 작게 보이는 영상이다.

도 17은 본 발명의 영상에 따른 그림자의 분포도를 도시한 그래프도로서, 그림자 제거에 사용한 임계값을 나타낸다. 최대값은 밝기 영역인 V값에서 그림자가 존재하는 영역의 최대이고 최소값은 그림자가 존재하는 영역의 최소값이다. 이 사이의 값을 제거해 줌으로써 그림자를 제거할 수 있다.

위와 같이 최대 최소값은 거의 일정하게 유지되고 있으며 그림자만의 고유의 영역이 있다는 것을 확인할 수 있다. 이후 영상을 획득하고 객체를 분석함과 더불어 영상의 파라미터 값에 대한 임계값을 적응적으로 동작시킬 수 있다.

객체 추적

본 발명에서는 상술한 바와 같이 도 1에 도시한 단계 100 내지 140을 통해 얻어지는 객체의 위치를 지속적으로 추적하여 움직이는 객체의 위치 정보를 인식하는 객체 추출 단계(150)를 수행한 후에 적응적 캠시프트 알고리즘을 통한 객체 추적 단계(160)를 수행하는데, 예를 들어 객체의 위치 정보와 분석한 객체의 히스토그램 정보와 패턴 정보와 같은 고유 특징점을 획득하여 상기 획득된 고유 특징점에 따라 적응적으로 캠시프트 알고리즘을 수행하여 적어도 하나의 이동 객체를 추적하였다. 통상의 캠시프트 알고리즘은 객체 확률 분포를 기반으로 객체를 추적하므로 서로 다른 객체의 확률분포가 서로 겹치면 추적이 불가능하나, 본 발명에서는 추출된　다중객체의 다양한 고유 특징점을 통한 자동 지능형 객체 추적 단계를 수행할 수 있어 다중객체를 혼동없이 추적할 수 있다.

또한, 본 발명에서는 도 1에 도시한 바와 같이, 객체 영역의 객체 존재 유무 판단 단계(170)를 수행하는데, 상기 객체 영역에 적어도 하나의 이동 객체가 존재하면 적어도 하나의 이동 객체 추출 단계(180)로 진행하여 적어도 하나의 이동 객체를 추적하고, 존재하지 않으면 부스팅 팩터(boosting factor)를 이용한 객체 영역 부각 단계(130)로 진행하여 상기 단계 130 내지 160을 수행하여, 이동 객체를 추출 및 추적할 수 있다.

본 발명은 이동 객체의 추출 및 추적을 통한 보안 시스템에 이용될 수 있다.

20...카메라 200...컴퓨터
210...입력부 220...제어부
230...처리부 240...출력부

Claims

이동 객체 추출 및 추적 방법에 있어서,
적어도 하나의 이동 객체의 추적을 위하여 고해상도 영상을 입력하는 고해상도 영상 입력 단계(100);
입력되는 이동 객체의 고해상도 영상의 에지 정보를 검출하는 고해상도 영상 에지 검출 단계(105);
입력받은 이동 객체의 고해상도 영상의 밝기의 분포도를 영상의 환경에 맞게 일정하게 분포시켜 밝기 값으로부터 나오는 오류 또는 노이즈의 발생을 방지하는 히스토그램 균등화 단계(110);
상기 히스토그램 균등화된 영상의 프레임간의 차영상을 이용하여 객체의 움직임을 감지하는 에지 검출 단계(120);
상기 차영상을 통해 얻어진 영상에 상기 객체의 에지 정보를 결합하고, 감지된 객체 영역의 부스팅 팩터(boosting factor)를 이용하여 임의의 부스팅 팩터 값을 통해 객체 영역을 부각하고 부각된 객체와 에지 정보의 융합에 의해 뚜렷한 외곽선 패턴을 추출하는 객체 영역 부각 단계(130);
상기 객체의 위치를 지속적으로 추적하여 움직이는 객체의 위치 정보를 인식하는 객체 추출 단계(150);
상기 위치 정보와 분석한 객체의 히스토그램 정보와 패턴 정보와 같은 고유 특징점을 획득하여 상기 획득된 고유 특징점에 따라 적응적으로 캠시프트 알고리즘을 수행하여 적어도 하나의 이동 객체를 추적하는 적응적 캠시프트 알고리즘을 통한 객체 추적 단계(160); 및
상기 객체 영역에 적어도 하나의 이동 객체가 존재하면 적어도 하나의 이동 객체 추적 단계(180)로 진행하여 적어도 하나의 이동 객체를 추적하고, 존재하지 않으면 부스팅 팩터(boosting factor)를 이용한 객체 영역 부각 단계(130)로 진행하여 상기 단계 130 내지 160을 수행하는 객체 영역의 객체 존재 유무 판단 단계(170)를 포함하는 이동 객체 추출 및 추적 방법.
제1항에 있어서, 그림자 밝기의 분포도를 분석하여 환경에 맞는 그림자 영역을 제거하는 객체의 그림자 제거 단계(140)를 더 포함하는 것을 특징으로 하는 이동 객체 추출 및 추적 방법.
이동 객체 추출 및 추적 장치에 있어서,
고해상도 영상을 촬영하는 카메라; 및 상기 카메라로부터의 고해상도 영상을 받아서, 적어도 하나의 이동 객체를 추출하는 컴퓨터를 포함하고,
상기 컴퓨터(200) 내의 제어부(220)의 제어하에 처리부(230)는
적어도 하나의 이동 객체의 추적을 위하여 고해상도 영상을 입력하는 고해상도 영상 입력 단계(100);
입력되는 이동 객체의 고해상도 영상의 에지 정보를 검출하는 고해상도 영상 에지 검출 단계(105);
입력받은 이동 객체의 고해상도 영상의 밝기의 분포도를 영상의 환경에 맞게 일정하게 분포시켜 밝기 값으로부터 나오는 오류 또는 노이즈의 발생을 방지하는 히스토그램 균등화 단계(110);
상기 히스토그램 균등화된 영상의 프레임간의 차영상을 이용하여 객체의 움직임을 감지하는 에지 검출 단계(120);
상기 차영상을 통해 얻어진 영상에 상기 객체의 에지 정보를 결합하고, 감지된 객체 영역의 부스팅 팩터(boosting factor)를 이용하여 임의의 부스팅 팩터 값을 통해 객체 영역을 부각하고 부각된 객체와 에지 정보의 융합에 의해 뚜렷한 외곽선 패턴을 추출하는 객체 영역 부각 단계(130);
상기 객체의 위치를 지속적으로 추적하여 움직이는 객체의 위치 정보를 인식하는 객체 추출 단계(150);
상기 위치 정보와 분석한 객체의 히스토그램 정보와 패턴 정보와 같은 고유 특징점을 획득하여 상기 획득된 고유 특징점에 따라 적응적으로 캠시프트 알고리즘을 수행하여 적어도 하나의 이동 객체를 추적하는 적응적 캠시프트 알고리즘을 통한 객체 추적 단계(160); 및
상기 객체 영역에 적어도 하나의 이동 객체가 존재하면 적어도 하나의 이동 객체 추적 단계(180)로 진행하여 적어도 하나의 이동 객체를 추적하고, 존재하지 않으면 부스팅 팩터(boosting factor)를 이용한 객체 영역 부각 단계(130)로 진행하여 상기 단계 130 내지 160을 수행하는 객체 영역의 객체 존재 유무 판단 단계(170)를 수행하는 것을 특징으로 하는 이동 객체 추출 및 추적 장치.
제3항에 있어서, 상기 컴퓨터내의 처리부는 그림자 밝기의 분포도를 분석하여 환경에 맞는 그림자 영역을 제거하는 객체의 그림자 제거 단계(140)를 더 수행함을 특징으로 하는 이동 객체 추출 및 추적 장치.