KR100967064B1

KR100967064B1 - 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상유사성 판별 방법 및 공동현관 안전시스템

Info

Publication number: KR100967064B1
Application number: KR1020080051391A
Authority: KR
Inventors: 최유주; 남윤영; 조위덕; 민 홍; 주형돈
Original assignee: 아주대학교산학협력단
Priority date: 2007-10-24
Filing date: 2008-06-02
Publication date: 2010-06-29
Also published as: KR20090042135A

Abstract

본 발명은 서로 다른 조명 환경하에서 촬영된 영상에 포함된 의상들 사이의 색상 유사성을 LBG 알고리즘을 이용하여 안정적으로 판별할 수 있도록 한 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법에 관한 것이다. 본 발명의 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법은 HSV 컬러모델로 표현된 2 이상의 의상 영상의 각 픽셀 정보를 HS 2차원 공간 상에 분포시키는 (a) 단계; 상기 (a) 단계에서 분포된 각 픽셀 정보의 분포 특성에 따른 각 의상 영상에서의 색상 클러스터를 LBG 알고리즘을 적용하여 추출하는 (b) 단계; 상기 (b) 단계에서 추출된 각 의상 영상에서의 색상 클러스터 상호 간의 대응 클러스터를 정의하는 (c) 단계; 상기 (c) 단계에서 정의된 대응 클러스터간의 평균 거리를 지정하여 유사도값을 산출하는 (d) 단계 및 상기 (d) 단계에서 산출된 유사도값을 미리 구축된 학습 모델 데이터에 대입하여 두 의상 영상의 유사 여부를 판별하는 (e) 단계를 포함하여 이루어진다. 본 발명의 실시 예에인 공동현관 안전 시스템에서는 현관과 복도 두 영역을 감시하는 각기 독립적인 두 대의 카메라 영상에서 상기 단계의 의상 색상 유사성 판별 방법을 적용하여 승인된 보행자와 미승인 보행자를 판별한다.

의상, 색상, 조명, HSV, 공간 분포, 색상 클러스터, LBG, 비모수

Description

조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법 및 공동현관 안전시스템{A Method for Distinction of Color Similarity for Clothes in Varying Illumination and Security System of Public Entrance Area based on Clothes Similarity}

본 발명은 의상 색상 유사성 판별 방법에 관한 것으로, 특히 서로 다른 조명 환경하에서 촬영된 영상에 포함된 의상들 사이의 색상 유사성을 LBG 알고리즘을 이용하여 안정적으로 판별할 수 있도록 한 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법에 관한 것이다.

또한, 본 발명은 현관과 복도 두 영역을 감시하는 각기 독립적인 두 대의 카메라 영상에서 상기 단계의 의상 색상 유사성 판별 방법을 적용하여 승인된 보행자와 미승인 보행자를 판별하는 공동현관 안전시스템에 관한 것이다.

최근 디지털 카메라, 웹캠 또는 휴대폰 카메라 등의 영상장비가 보편화되면서 다양한 종류의 영상 데이터들이 다량으로 생성되고 있고, 이러한 다량의 영상 데이터들을 효율적으로 검색하기 위한 내용기반 영상 검색 기술(Content-based image retrieval)에 대한 관심이 높아지고 있다. 주석이나 키워드에 의존하는 텍스 트 기반 영상 검색(Text-based image retrieval)에 비해 내용기반 영상 검색은 영상의 색상(Color), 모양(Shape) 및 질감(Texture) 등의 영상 특성을 기반으로 영상 검색을 수행한다.

한편, 일상생활의 보안 카메라나 공용 구역 감시 카메라 등을 통하여 촬영되는 영상에서 의상 영상들은 다양한 조명 효과에 노출되기 때문에 의미 있는 영상간 의상 색상 유사성 판별 결과를 얻기 위해서는 조명 변화에 관계없이 안정적으로 색상의 유사성을 판별할 수 있는 방법이 요구된다. 예를 들어, 어떤 사람이 서로 다른 위치에 설치된 두 카메라, 예를 들어 실내 및 실외에 각각 설치된 카메라에 의해 촬영되는 경우에, 실내에 설치된 카메라는 실내조명에 의해 영향을 받게 되고 실외에 설치된 카메라는 실외조명 또는 태양의 영향을 받게 됨으로써 얻어진 두 영상의 의상 색상에는 많은 차이가 생기게 된다.

본 발명의 실시예가 이루고자 하는 기술적 과제는, 서로 다른 조명 환경하에서 촬영된 영상에 포함된 의상들 사이의 색상 유사성을 LBG 알고리즘을 이용하여 안정적으로 판별할 수 있도록 한 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법을 제공함을 목적으로 한다.

본 발명의 실시예가 이루고자 하는 기술적 과제는, 현관과 복도 두 영역을 감시하는 각기 독립적인 두 대의 카메라 영상에서 상기 단계의 의상 색상 유사성 판별 방법을 적용하여 승인된 보행자와 미승인 보행자를 판별하는 공동현관 안전시 스템을 제공함을 목적으로 한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 의상 색상 유사성 판별 방법은 HSV 컬러모델로 표현된 2 이상의 의상 영상의 각 픽셀 정보를 HS 2차원 공간 상에 분포시키는 (a) 단계; 상기 (a) 단계에서 분포된 각 픽셀 정보의 분포 특성에 따른 각 의상 영상에서의 색상 클러스터를 LBG 알고리즘을 적용하여 추출하는 (b) 단계; 상기 (b) 단계에서 추출된 각 의상 영상에서의 색상 클러스터 상호 간의 대응 클러스터를 정의하는 (c) 단계; 상기 (c) 단계에서 정의된 대응 클러스터간의 평균 거리를 지정하여 유사도값을 산출하는 (d) 단계 및 상기 (d) 단계에서 산출된 유사도값을 미리 구축된 학습 모델 데이터에 대입하여 두 의상 영상의 유사 여부를 판별하는 (e) 단계를 포함하여 이루어진다.

전술한 구성에서, 상기 단계 (a) 이전에 RGB 컬러모델로 표현된 의상 영상을 HSV 컬러모델로 변환하는 단계를 더 구비할 수 있다.

상기 (e) 단계에서의 유사 여부 판별은 우도비 기반하에 수행될 수 있다.

본 발명의 일 실시예에 따른 공동현관 안전시스템은, 제1영역에서 제1CCTV 영상을 촬영하는 제1CCTV; 제2영역에서 제2CCTV 영상을 촬영하는 제2CCTV; 상기 제1 또는 제2CCTV 영상으로부터 출입자의 몸통 영역을 검출하는 몸통 영역 검출기; 상기 제1CCTV 영상으로부터 검출된 몸통 영역에 대하여 제1색상 특징 벡터를 생성하고, 상기 제2CCTV 영상으로부터 검출된 몸통 영역에 대하여 제1색상 특징 벡터를 생성하는 의상 색상 분석기; 상기 제1색상 특징 벡터들을 저장하는 의상 색상 저장 기; 및 상기 제1색상 특징 벡터들과 상기 의상 색상 저장기에 저장되어 있던 상기 제1색상 특징 벡터들을 비교하여, 상기 출입자에 대한 인증 여부를 판별하는 의상 색상 유사성 판별기를 구비한다.

상기 몸통 영역 검출기는, 상기 제1 및 제2CCTV 영상으로부터 제1 및 제2전경 영상을 각각 분리하는 전경영상 분리기; 상기 제1 및 제2CCTV 영상을 제1 및 제2HSV 컬러 영상으로 각각 변환하는 영상포맷 변환기; 및 아다부스트(AdaBoost) 알고리즘을 이용하여, 상기 제1 및 제2전경 영상들로부터 얼굴 영역들과 상기 몸통 영역들을 분리하는 몸통영역 분리기를 구비할 수 있다.

본 발명의 일 실시예에 따른 공동현관 안전시스템은, 상기 출입자의 지문을 입력받아 지문 인증 과정을 수행하는 지문 인식기를 더 구비할 수 있다.

본 발명의 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법에 따르면, 서로 다른 조명환경하에서 촬영된 다중 영상에서 의상들 사이의 색상 유사성을 안정적으로 판별할 수가 있고, 이에 따라 최근에 관심을 모으고 있는 지능형 감시 시스템에서 서로 다른 위치에 설치되어 서로 다른 관찰 각도로 촬영되는 다중 카메라 영상에서의 동일인 식별을 위한 기반 기술로 활용될 수 있다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

색상 히스토그램을 기반으로 한 방법은 QBIC(M. Flickner et al. "Query by Image and Video Content: The QBIC system", IEEE Computer, Vol. 28, No. 9, pp. 23-32, 1995. 9.), Chabot(Virginia Ogle, Michael Stonebraker, "Chabot: Retrieval from a relational database of images", IEEE Computer, Vol. 28, No. 9, pp. 40-48, 1995. 9.), FINDIT(M. Swain, "Interactive indexing into image databases", Proc. SPIE, Vol. 1908, 1993.)과 같은 다양한 영상 검색 시스템(Image retrieval system)에서 적용되고 있다.

위에서 언급한 시스템 중에서 Swain에 의해 제시된 FINDIT는 HVC(Hue-Value-Chroma) 컬러모델을 기본으로 하고 있으며 색상의 분포를 파악하기 위해서 Hue-Chroma 히스토그램을 사용하고 있다. 색상 히스토그램의 비교는 아래의 수학식 1과 같은 히스토그램 인터섹션을 사용하고 있다.

위의 수학식 1에서, I 및 M은 m등급으로 구분된 각각의 색상 히스토그램을 의미하고, j는 히스토그램의 구성 빈(bin)을 의미하는데, 히스토그램 I와 M의 유사 도를 측정하기 위해서 히스토그램 인터섹션 값인 H(I, M)을 구한다. 두 히스토그램의 유사도가 높을수록 H(I, M)의 값은 1에 가까운 값을 가진다.

그러나 이 방법에 따르면, 두 영상의 사이즈가 서로 다른 경우에는 정확한 유사성 판단이 어려운데, 두 영상의 사이즈가 다른 경우에는 히스토그램의 도수분포가 아무리 비슷하더라도 개체수의 차이가 커지기 때문이다. 따라서 이러한 단점을 보완하기 위해서 변형 히스토그램 인터섹션(Modified histogram intersection) 방법이 제안되어 있는바, 이 방법은 두 영상의 사이즈가 서로 틀릴 경우 그 영상들을 아래의 수학식 2와 같이 정규화시킨 후에 비교하는 방법이다.

위의 수학식 2에서, Hquery 및 HROI는 각각 쿼리 영상과 검색 영상의 관심영역(Region Of Interest)에 대한 색상 히스토그램을 의미하고, Squery 및 SROI는 각 영상영역의 크기, 즉 전체 화소수를 의미한다.

도 1은 두 유사 색상 영상을 비교한 색상 히스토그램으로, 히스토그램 인터섹션 알고리즘의 오류가 극대화, 즉 결과치의 차이가 가장 크게 나타나는 색상 히스토그램을 예시하고 있다. 도 1에 도시한 2개의 영상은 조명 조건에 따라 전체적인 색상 특성이 히스토그램 상에서 약간씩 이동되었을 뿐 실질적으로 상당히 유사한 색상의 영상들이다.

도 1과 같이 실질적으로 비슷한 색상 영상의 히스토그램에 대해 히스토그램 인터섹션 알고리즘의 오류가 극대화되는 단점을 보강하기 위해서 누적 히스토그램(Accumulated histogram) 기반 분석 기법이 제안되어 있다.

도 2는 임의의 색상 히스토그램과 누적 히스토그램인바, 좌측이 색상 히스토그램이고 우측은 이에 대한 누적 히스토그램이다. 누적 히스토그램 기반 분석 기법은 도 2의 우측에 도시한 바와 같이, 임의의 색상 영상에 있는 각 픽셀의 색상별 개수를 차례로 누적하여 색상 영상의 유사 여부를 판단하는 방법이다.

마지막으로, 색상 분포 기반 분석(Color distribution)은 RGB의 컬러모델을 HSV의 컬러모델로 변환한 후에 그 데이터를 가지고 아래의 수학식 3 내지 6에서와 같이 H와 S에 관한 분포도를 만들고 그 분포의 정도를 수치화하여 영상의 유사성을 비교하는 방법이다.

위의 수학식 3 내지 6에서 Ei와 Fi는 각 영상의 전체 픽셀에 대한 평균값을 나타내고, δi, μi는 각 영상의 분산값을 나타낸다. Si, σi는 분산값이 제곱에 1/2제곱을 하는 것과는 달리 3제곱에 1/3제곱을 해주는 방식의 값이다. N은 총 픽셀의 개수를 나타낸다.

이하에서 색상을 표현하는 다양한 컬러모델의 특성에 대해 간단하게 설명한다.

색상 유사성 판별을 위한 컬러모델에는 크게 RGB 모델과 HSV 모델이 있다. 먼저 RGB(Red, Green, Blue) 모델은 빨강, 초록 및 파랑의 3가지 색을 3차원 X, Y, Z축에 놓고 가중치에 따라서 색을 정의한다.

도 3은 RGB 컬러모델의 기본 구조도이다. 도 3에 도시한 바와 같이, RGB 모델은 모든 색을 길이 1인 정육면체 내부 좌표로 표시하는데, 이에 따라 RGB는 육면체의 각 모서리에 위치하게 되고, 초록(Green)일 경우 Z축과 X축의 값이 0이고 Y축의 값만 1이므로 (0, 1, 0)이라는 값이 된다. 또한 X, Y, Z축이 모두 같은 값인 경우는 흑백의 색상을 나타내게 된다. 이러한 RGB는 빛의 삼원색을 서로 더하는 것에 의해 또 다른 색을 만들어 내어 색상을 표시하기 때문에 더하기 3원색(Additive primaries)이라고 표현하기도 한다. 하지만 RGB 모델은 RGB의 세가지 컬러요소 모두 조명에 의해 그 값이 크게 차이를 보일 수 있으므로 조명 조건이 변화 가능한 환경에서 색상 분석 성분으로 사용하기에는 부적절하다.

한편, RGB 모델을 보다 단순화시킨 것으로 정규화 RGB(Normalized RGB) 모델이 있는데, 기존의 RGB값에 대한 정규화는 아래의 수학식 7에 의하여 구한다.

위의 수학식 7에서 정규화된 각 값의 합은 항상 1이기 때문에 세 번째 요소인 b는 생략이 가능하고, 이에 따라 그 차원을 축소시킬 수가 있다. 이 경우에 남겨진 요소들은 정규화에 의해서 축소된 RGB 컬러 소스의 밝기값에 대한 r과 g의 의존성으로 인해 순수색으로 불리기도 한다. 주변광을 고려하지 않을 때, 무광택 표면에 대하여 정규화된 표현의 주목할 만한 특징은 광원에 대한 표면의 방향 변화를 최소화시킨다는 것이다.

도 4는 HSV 컬러모델의 기본 구조도이다. 도 4에 도시한 바와 같이, HSV 컬러모델은 색상(Hue), 채도(Saturation) 및 명도(Value)에 의해 색을 지정하는 방법이다. 도 4에서 색상은 유각뿔의 내부좌표로 표현되고, 상하 방향의 명도 축은 V=0인 흑색에서 V=1인 백색으로 진행하는데 이에 따라 회색은 이 축 위에 분포한다. 명도 축 주위를 돌아가면서 색상이 달라지며 따라서 색상은 회전각에 의해 지정된다. 명도의 경우 조명의 변화에 따라 값이 크게 변하는 반면, 색상 성분은 조명의 영향을 받지 않기 때문에 동일색인 경우에는 일관된 색상 정보를 유지한다. 채도는 순색에 첨가된 백색광의 비율을 나타내는바, 도 4에서는 0-1의 범위를 가진 반지름에 해당한다.

앞서 설명한 바와 같이, RGB 컬러모델과 HSV 컬러모델에 대해 간단하게 살펴보았는바, RGB 컬러모델은 HSV 컬러모델에 비하여 빛에 의해 아주 큰 영향을 받는다. 즉, RGB 모델을 구성하는 빨강, 초록, 파랑의 각 요소는 모두 명도의 영향을 직접적으로 받게 되는 형태이므로 그만큼 조명에 민감하게 변화되는 반면, HSV 컬러모델에서는 색상 자체의 정보와 명도 정보가 분리됨으로써 조명 변화에 의한 영향이 명도 요소에만 제한되게 된다.

도 5는 서로 다른 조명 하의 두 동일 의상 영상에 대한 RGB 컬러모델과 HSV 컬러모델의 히스토그램이다. 도 5에 도시한 바와 같이, RGB 컬러모델과 HSV 컬러모델을 기반으로 한 두 히스토그램 모두 서로 다른 조명 하에서 촬영된 동일 의상에 대하여 전반적인 분포 특성은 유사하나 대응 빈에 대한 빈도값은 상이함을 알 수 있다.

도 6은 도 5에 도시한 서로 다른 조명하의 두 동일 의상 영상에 대한 HSV 컬러모델의 누적 히스토그램이다. 도 6에 도시한 바와 같이, 두 히스토그램에서 명도를 나타내는 노란색 그래프는 다른 색상이나 채도와는 달리 많은 차이를 보이는데, 이것은 명도가 조명에 대해서 많은 변화를 나타내기 때문이다. 결과적으로, 명도를 제외시키고 비슷한 특징을 보여주는 있는 색상과 채도에 의한 분포도를 작성하면 3차원을 2차원으로 투영하여 동일 색상의 유사성 판단을 용이하게 할 수 있다.

도 7은 도 5에 도시한 서로 다른 조명하의 두 동일 의상 영상에 대한 H-S 공 간 및 S-V 공간의 색상 분포도이다. 도 7에 도시한 바와 같이, 조명이 달라짐에 따라 색상과 채도, 즉 H-S 공간의 분포는 옷의 주름 및 옷 무늬의 반사 영역에 의해 일부 지역적 분포의 형태가 변화되었으나 전반적인 형태는 유지됨을 알 수 있다. 그러나 채도와 명도, 즉 S-V 공간의 분포에서는 명도 축의 분포에 변화가 나타나서 전체적인 분포 형태에 변화가 발생되었음을 알 수 있다.

도 8은 의상 색상 유사성 판별 방법을 설명하기 위한 흐름도이다. 도 8에 도시한 바와 같이, 먼저 단계 S10에서는 각기 다른 카메라 별로 다양한 조명환경 하에서 동일 및 다른 색상의 의상에 대한 많은 수의 학습 데이터(Train Data)를 수집하고, 다시 단계 S20에서는 이렇게 수집된 학습 데이터에 의해 후술하는 본 발명의 유사도값 산출 방식에 의해 동일 및 다른 의상에 대한 유사도값을 계산하여 평균과 표준편차로 이루어진 학습 모델 데이터를 구축한다. 이 단계 S10 및 S20은 사전 작업에 해당하기 때문에 점선 블록으로 도시하고 있다.

이와 같이 하여 학습 모델 데이터가 구축된 상태에서, 단계 S30에서는 다른 위치에 있는 카메라에 의해 촬영된 2 이상의 RGB 기반의 의상 영상 데이터를 수집하고, 다시 단계 S40에서는 이렇게 수집된 의상 영상의 RGB 데이터를 아래의 수학식 8에 의해 HSV 데이터로 변환한다.

다음으로, 단계 S50에서는 이렇게 변환된 각 의상 영상의 HSV 데이터에서 각 픽셀의 색상과 채도 데이터를 색상(H)을 X축으로 하고 채도(S)를 Y축으로 하여 정의되는 H-S 2차원 공간에 표현한다. 다음으로, 단계 S60에서는 LBG(Linde-Buzo-Gray) 알고리즘을 적용하여 분포 특성, 즉 색상 클러스터를 추출한다.

이를 좀 더 상세하게 설명하면, H-S 2차원 공간에 표현된 (H, S) 좌표점들에 대하여 비모수적(不母數的; non-parametric) 클러스터링을 수행함으로써, H-S 2차원 공간상에서의 분포 특성을 표현한다. 비모수적 클러스터링은 주어진 데이터에 대한 어떠한 가정도 하지 않고 정해진 수의 클러스터들로 데이터를 나누는 방법을 의미하는데, 대표적인 비모수적 클러스터링 방법으로는 k-means 알고리즘을 들 수 있다.

이러한 k-means 알고리즘에서는 임의의 k개의 초기값에서부터 추정(Expectation)-최대화(Maximization) 과정을 수렴할 때까지 반복시키면서 중심 을 찾는다. 즉, 추정 단계에서 중심으로부터 클러스터를 선택하여 결정하고, 최대화 단계에서 거꾸로 클러스터로부터 중심을 결정하는 과정을 반복하는 추정알고리즘이다. k-means 알고리즘은 임의로 주어지는 k개의 초기값에 따라 최종으로 결정되는 클러스터의 결과가 달라질 수 있고, 속도가 느린 단점이 있다.

k-means 알고리즘 외의 또 다른 대표적인 비모수적 클러스터링 기법으로 비균일 이진 분할기법을 들 수 있다. 비균일 이진 분할기법은 계층적 클러스터링 방법으로 순환적으로 데이터 집합을 클러스터와 부클러스터로 나누는 방법으로서 부분 최적화 방법이라고 할 수 있으며 속도면에서는 k-means 보다 훨씬 빠르다.

본 발명에서는 k-means 알고리즘과 이진 분할기법을 결합하여 비모수적 클러스터링의 기능을 개선한 LBG 알고리즘을 적용하여 H-S 2차원 공간상의 색상 분포의 특성을 표현하고 있다. Linde, Y., A Buzo, R. M. Gray 3명의 연구자가 개발한 LBG 알고리즘은 이진 분리와 k-means 알고리즘을 결합함으로써 초기 중심들의 선택에 민감한 k-means 알고리즘의 단점을 극복한다. 즉, k-means 알고리짐의 초기값을 랜덤 데이터 점으로 하는 대신에 이진 분리로 구한 중심을 사용함으로써 일관성 있는 안정적 결과를 얻을 수 있도록 한다.

아래의 표 1에는 H-S 공간 분포를 분석하기 위해 적용한 LBG 알고리즘을 예시하고 있다.

위의 표 1에서 7번째 줄의 initPoints()에서는 k-means 알고리즘의 입력으로 사용할 초기값을 결정한다. 이때, 현재의 데이터 중심점을 기준으로 양분화된 2배 개수의 초기 입력 중심점을 구한다. 특히, initPoints()에서는 이전 단계에서 구해진 클러스터에 포함된 데이터 개수를 체크하여 데이터의 개수가 0인 클러스터는 다음 단계에서는 이진화시키지 않고 null 클러스터로 클러스터의 개수만 증가될 수 있도록 처리한다. 9번째 줄에서 볼 수 있듯이 k-means 알고리즘의 초기값을 initPoints()에 의해 구해진 초기 중심값 배열 x로 사용하고 있다.

도 9는 서로 다른 조명하의 두 동일 의상 영상이 LBG 알고리즘에 의해 비모수적으로 클러스터링 된 H-S 공간 분포도이다. 도 9의 H-S 공간 분포도에서는 4개의 중심점으로 만들어 판단한 클러스터링 결과를 빨강, 초록, 파랑 및 노랑 색상으로 표시하고, 또한 각 클러스터의 중심점을 클러스터의 번호와 함께 표현하고 있다.

다시 도 8로 돌아가서, 단계 S70에서는 대응 클러스터를 정의하고 다시 단계 S80에서는 이렇게 정의된 대응 클러스터간 평균거리를 지정하여 유사도값을 산출하고, 마지막으로 단계 S90에서는 이렇게 산출된 유사도값을 단계 S20에서 사전 구축된 학습 모델 데이터에 대입하여 우도비(Likelihood Ratio) 기반하에서 두 의상 영상간의 유사도 여부를 판별, 즉 두 의상이 동일한지 상이한지를 판별하게 된다.

이를 보다 상세하게 설명하면, 본 발명에서는 두 의상 영상의 유사성을 판단하기 위해 LBG 알고리즘을 적용하여 구한 클러스터들의 중점들끼리의 최소 거리의 합을 누적 계산하여 거리의 합이 적을수록 두 영상의 색상 유사성이 높다고 판단한다.

도 10은 두 의상 영상에 대한 대응 색상 클러스터 및 클러스터간 거리의 의미를 설명하기 위한 도로서, 클러스터 거리는 클러스터 중심간 녹색의 라인으로 표현하고 있다. 도 10에 도시한 바와 같이, 본 발명에서는 색상 유사성 판단을 위해 먼저 기준이 되는 의상 영상에서 구한 하나의 클러스터 중점에 대해서 비교될 다른 의상 영상의 클러스터 중점들 중 가장 가까운 중점을 찾아 그 두 중점 사이의 거리를 구한다. 이러한 계산을, 기준이 되는 의상 영상에서 계산된 모든 클러스터들의 중점들에 대해서 비교될 의상 영상의 클러스터 중점에서 아직 사용되지 않은 클러스터 중점들 중에서 가장 가까운 거리에 존재하는 클러스터의 중점을 찾아 그 거리를 계속 누적한다. 그리고 이렇게 누적된 거리의 값이 작을수록 두 의상 영상의 색상에 대한 유사성이 높다고 판단한다.

이하에서는 본 발명의 방법의 실효성을 검증하기 위한 실험 결과에 대해 상세하게 설명한다.

본 발명의 방법의 실효성 검증을 위한 알고리즘 구현 언어로는 VISUAL C++6.0가 사용되었으며, 하드웨어 환경으로는 Pentium-IV 3.0GHz인 CPU와 1GB 메모리 사양인 WINDOWS XP가 사용되었다. 실험영상 획득을 위한 카메라로는 PC용 카메라인 로지텍 퀵캠쳇이 사용되었는바, 이를 통해 320 x 240의 24 bit RGB 컬러모델 기반의 다양한 의상 영상을 촬영하였다. 본 발명의 방법이 조명 변화에 관계없이 안정적인 판별 결과를 제공하는지 여부를 관찰하기 위하여 보조 스탠드를 이용하여 보조 조명을 추가한 영상과 추가하지 않은 영상으로 구분하여 동일 의상에 대하여 두 번의 촬영을 수행하였다. 그리고 의상 부위에 대한 색상 분포만을 분석하기 위하여 배경 부분은 색상 분포에 포함시키지 않았다.

도 11은 조명 변화가 없는 환경에서 촬영 각도에 다소 차이를 두고 동일 의상을 촬영한 영상에 종래 판별 기법들과 본 발명의 방법을 적용하여 그 결과를 비교한 도표인바, H는 색상에 의한 판별 결과치를, S는 채도에 의한 판별 결과치를, A는 이들의 평균치를 각각 나타낸다. 여기에서, 히스토그램 인터색션 기반 기법들은 1에 가까운 값일수록 색상 유사성이 높은 것을 의미하고, 누적 히스토그램 기반 기법일 경우 각 빈의 차이가 적을수록 유사성이 높기 때문에 0에 가까운 값이 나올수록 색상 유사성이 높은 것으로 해석한다. 1차원 공간 기반 통계적 분석 기법과 본 발명의 방법(제안 기법)은 중심값의 거리가 적을수록 색상이 유사한 것으로 판단한다. 단, 기준으로 하는 공간이 1차원 공간과 2차원 공간으로 차이가 있기 때문에 두 기법에서 나오는 거리값이 동일한 수치라 하여 같은 의미를 갖는 것은 아니다.

도 11에 나타낸 바와 같이, 유사한 조명에서의 두 의상 영상에 대해서는 본 발명의 방법(제안 기법)과 마찬가지로 대부분의 종래의 판별 기법들도 색상에 대한 유사성이 높게 판단되는 좋은 결과를 나타내고 있는바, 이는 조명이 일정하여 색상 특성이 유지되기 때문이다.

도 12 내지 도 14는 보조 조명을 통해 상이한 조명 환경을 임의로 만들어 전체 12 벌의 의상에 대하여 서로 다른 조명 환경에서 두 번씩 촬영하고, 이렇게 촬영한 동일 의상 영상에 대하여 종래 판별 기법과 본 발명의 방법을 적용하여 판별한 결과치를 각 4 벌씩 구분하여 표시한 도표이다. 도 12 내지 도 14에서 알 수 있는 바와 같이, 종래의 판별 기법들에 따르면 조명이 변화됨에 따라 색상의 유사도 결과치에 현저한 변화가 생겨서 상이한 의상을 비교하였을 때와 비슷한 판별 결과치를 보여 주고 있고, 히스토그램 인터섹션 기법의 경우에는 동일 의상임에도 평균 0.5-0.7대의 유사도, 즉 50-70% 정도의 유사성을 보여주었다.

본 발명의 방법(제안 기법)의 경우에는 채도가 0인 무채색의 의상, 즉 흰색에 가까운 의상간 비교시 채도 공간에 대한 값이 제대로 비교되지 않아 높은 거리차이를 보임이 관찰되었으나, 그 외의 유채색 의상의 경우에는 동일 색상 의상의 비교시 판별 결과치가 25 미만의 값들로 계산되었다.

도 15 내지 도 17은 보조 조명을 통해 상이한 조명 환경을 임의로 만들어 전체 12 벌의 의상에 대하여 서로 다른 조명 환경에서 두 번씩 촬영하고, 이렇게 촬영한 상이한 색상의 의상 영상에 대하여 종래 판별 기법과 본 발명의 방법을 적용하여 판별한 결과치를 각 4 벌씩 구분하여 표시한 도표이다. 도 15 내지 도 17에 도시한 바와 같이, 종래 히스토그램 인터색션 기반 기법들은 0.5점 대, 즉 50% 이하의 판별 결과치를 보여 주었고, 20 거리에서 59 거리 때까지 넓은 판별 결과치 분포를 보여 주고 있다. 1차원 공간에서의 통계적 방법의 경우에도 32에서 103까지의 넓은 범위의 판별 결과치를 보여 주었다.

본 발명의 방법(제안 기법)은 32에서 87 범위의 판별 결과치를 보이고 있는바, 상이한 의상 영상 비교시에도 무채색에 의한 판별 오류가 나타남을 관찰할 수 있었다.

도 18은 종래의 판별 기법과 본 발명의 방법을 적용하여 측정된 색상 유사도 판별 결과치 분포를 동일 의상(Identical)간 비교와 상이한 의상(different)간 비교로 1차원으로 표시한 그래프이다. 도 18에 도시한 바와 같이, 종래의 판별 기법들은 색상의 유사, 상이를 비교함에도 정확한 분포가 없이 분포도가 넓게 퍼져 있어 동일한 의상과 상이한 의상 두 그룹으로 구분 짓기 위한 양자화(Quantization)가 어려웠다. 구체적으로 전체적인 분포도가 유사한 경우와 상이한 경우의 구분이 확실하게 관찰된 경우로는 개선된 히스토그램 인터섹션(Modified histigram) 기법과 본 발명의 방법(LGB)을 들 수 있는데, 본 발명의 방법이 개선된 히스토그램 인터섹션 기법의 경우보다 양자화에 의한 클러스터의 응집력(Cohesion)이 높게 나타나고 있다. 즉, 본 발명의 방법이 무채색의 경우 외의 유사 색상과 상이한 색상을 구분하기 위한 선형 분리에 유리함을 알 수 있다.

한편, 종래의 판별 기법 및 본 발명의 방법들로 산출된 유사도 판별 결과치를 동일 의상 그룹과 상이한 의상 그룹에 대하여 각 그룹별로 6개의 영상을 선별하여 아래의 수학식 9와 같은 가우시안 확률 밀도 함수값을 구하고, 입력되는 각 영상에 대하여 아래의 수학식 10과 같은 우도비 테스트를 통하여 동일 의상과 상이한 의상 그룹을 판별하였다. 이때, 각 기법에 대한 실험 결과 및 판별 성공률은 아래의 표 2 및 표 3에 나타낸 바와 같다.

위의 수학식 9와 수학식 10에서 μ는 각 그룹 ω1과 ω2의 평균값을 의미하고, σ는 분산을 의미한다. 그리고, 위의 표 2는 서로 다른 조명에서 동일한 의상과 조명과는 관계없는 상이한 의상에 대해 각 알고리즘의 방법을 적용하여 얻은 결과의 판단 성공 횟수를, 표 3은 성공률을 각각 보여주고 있다. 수학식 9와 수학식 10에 정의된 우도비 테스트에 따라 의상별 24쌍에 대해 실험한 결과, 본 발명의 LBG 기반 방법은 91.6%로 높은 판단 성공 결과를 주었다. 비록 본 발명의 LBG 기반 판별 방법이 동일 의상에 대한 판단에서 2번의 판단 실패를 얻었으나 다른 종래의 판별 기법들 역시 성공률이 떨어지고 상이한 의상에서도 제대로 판단하지 못하는 것에 비해 본 발명의 LGB 기반 판별 방법은 종래의 색상 유사성 판별 기법보다 조명 변화에 대해 안정적으로 수행됨을 알 수 있었다.

도 19는 본 발명의 실시예에 따른 공동현관 안전시스템의 블록도이다.

도 19를 참조하면, 본 발명의 실시예에 따른 공동현관 안전시스템은 제1CCTV(1922), 제2CCTV(1924), 및 영상 분석부(1930)를 구비한다. 영상 분석부(1930)는 몸통 영역 검출기(1950) 및 의상 색상 판별기(1960)를 구비한다. 본 발명의 실시예에 따른 공동현관 안전시스템은 지문 인식기(1910)를 더 구비할 수 있다.

지문 인식기(1910)는 출입자의 지문을 입력받아 지문 인증 과정을 수행할 수 있다. 지문 인증 과정이 통과되면, 영상 분석부(1930)가 활성화될 수 있다.

제1CCTV(1922)는 제2CCTV(1924)보다 먼저 출입자를 촬영할 수 있다. 예를 들어, 제1CCTV(1922) 현관 입구에 설치될 수 있고, 제2CCTV(1924)는 건물 내부 복도에 설치될 수 있다. 제1CCTV(1922)는 지문 인식기(1910)와 같은 영역에 설치될 수 있다.

몸통 영역 검출기(1950)는 제1 또는 제2CCTV 영상으로부터 출입자의 몸통 영역을 검출한다. 의상 색상 판별기(1960)는 제2CCTV 영상으로부터 검출된 몸통 영역의 의상 색상을 분석하고, 제1CCTV 영상으로부터 검출된 몸통 영역의 의상 색상과 비교한다. 비교 결과, 의상 색상이 서로 동일하지 않으면 무단 침입 상황으로 판정한다. 예를 들어, 건물 내부 복도에서 촬영된 출입자의 의상 색상과 현관 입구에서 촬영된 출입자의 의상 색상을 비교하여, 서로 동일하지 않으면 무단 침입 상황으로 판정할 수 있다.

도 19를 참조하면, 몸통 영역 검출기(1950)는 전경영상 분리기(1952), 영상포맷 변환기(1954), 및 몸통 영역 분리기(1956)를 구비할 수 있다.

전경영상 분리기(1952)는 제1 및 제2CCTV 영상으로부터 제1 및 제2전경 영상을 각각 분리한다. 영상포맷 변환기(1954)는 제1 및 제2CCTV 영상을 제1 및 제2HSV 컬러 영상으로 각각 변환한다.

몸통영역 분리기(1956)는 제1 및 제2전경 영상들로부터 얼굴 영역들과 몸통 영역들을 분리한다. 몸통영역 분리기(1956)는 아다부스트(AdaBoost) 알고리즘을 이용할 수 있다.

도 20은 아다부스트 알고리즘을 적용하는 예를 나타내는 도면이다.

도 20을 참조하면, 검출된 피부 블럽(2012, 2014, 2016) 보다 일정 크기 큰 관심영역을 정의하고 해당 관심영역내에 얼굴특성을 가진 부분(2012)이 있는지 아다부스트 알고리즘을 이용하여 체크한다.

좀 더 설명하면, 아다부스트 알고리즘을 적용하여, 블럽 레벨 검출에서 추출한 블럽의 집합(2012, 2014, 2016)에서 관심 객체인 얼굴과 손 영역을 검출한다. 검출 블럽들(2012, 2014, 2016) 중에서 얼굴 특성을 높게 보인 블럽(2012)을 얼굴 블럽(2012)으로 정의하고, 나머지 블럽들(2014, 2016)은 손, 혹은 팔 블럽(2014, 2016)으로 구분한다.

도 21은 출입자의 얼굴, 상체, 전신 객체를 검출한 결과를 나타내는 도면이다.

도 21(a)을 참조하면, 검출된 얼굴영역(2112)의 크기로 피부 블럽의 크기를 조절하고, 얼굴 블럽(2112)을 포함한 영역으로 얼굴 폭의 두 배, 얼굴 높이의 세 배에 해당하는 사각 영역을 정의하고 이를 몸통 영역(2114)으로 정의한다.

아다부스트 알고리즘을 통하여 얼굴 객체(2112)가 검출된 이후에, 얼굴 영역(2112)의 위치 및 크기에 대비한 얼굴을 포함한 상체 영역(2114)과 화소 레벨에서 추출한 전경 격자를 포함하는 전체 ROI 영역을 전신 영역(2116)으로 구분한다.

도 21(b)에는 얼굴 영역(2122), 상체 영역(2124), 및 전신 영역(2126)으로 구분된 다른 예가 도시된다.

다시 도 19를 참조하면, 의상 색상 판별기(1960)는 의상 색상 분석기(1962), 의상 색상 저장기(1964), 및 의상 색상 유사성 판별기(1966)를 구비할 수 있다.

의상 색상 분석기(1962)는 제1CCTV 영상으로부터 검출된 몸통 영역에 대하여 제1색상 특징 벡터를 생성하고, 제2CCTV 영상으로부터 검출된 몸통 영역에 대하여 제2색상 특징 벡터를 생성한다. 히스토그램의 빈은 색상에 대해서는 36 단계로 구분할 수 있고, 채도와 명도에 대해서는 각각 25 단계로 분류할 수 있다.

제1색상 특징 벡터들은 의상 색상 저장기(1964)에 저장될 수 있다. 의상 색상 저장기(1964)는 큐 형태로 구현될 수 있다.

의상 색상 유사성 판별기(1966)는 제2색상 특징 벡터들과 의상 색상 저장기(1964)에 저장되어 있던 제1색상 특징 벡터를 비교한다. 제1색상 특징 벡터와 제2색상 특징 벡터를 비교한 결과, 그 차이가 소정 값보다 작으면 동일한 색상으로 판정하고 그 차이가 소정 값보다 크면 다른 색상으로 판정한다.

저장된 이후에 소정 시간이 경과한 제1색상 특징 벡터는 의상 색상 저장기(1964)에서 삭제될 수 있다. 이 경우, 의상 색상 유사성 판별기(1966)는 제2색상 특징 벡터와 일정 시간 범위에 속하는 제1색상 특징 벡터를 비교할 수 있다.

도 22는 현관에 설치된 CCTV(제1CCTV)에서 촬영된 영상에서 출입자의 얼굴과 몸통 영역을 감지한 모습을 나타낸다.

도 22에는 출입자의 얼굴 영역(2212)과 몸통 영역(2214)이 구분되어 표시된다. 몸통 영역(2214)의 의상 색상을 나타내는 제1색상 특징 벡터는 의상 색상 분석기(1962)에서 추출되고, 제1색상 특징 벡터는 의상 색상 저장기(1964)에 저장된다.

도 23은 내부 복도에 설치된 CCTV(제2CCTV)에서 촬영된 영상에서 출입자의 얼굴과 몸통 영역을 감지하고 무단 출입자와 인증 출입자를 구분한 모습을 나타낸다.

도 23에는 출입자들의 얼굴 영역(2312, 2322, 2332)과 몸통 영역(2314, 2324, 2334)이 구분되어 표시된다. 몸통 영역(2314, 2324, 2334)의 의상 색상을 나타내는 제2색상 특징 벡터는 의상 색상 분석기(1962)에서 추출된다. 의상 색상 유사성 판별기(1966)는 추출된 제2색상 특징 벡터를 의상 색상 저장기(1964)에 저장된 제1색상 특징 벡터와 비교한다. 그 결과, 인증 출입자와 무단 출입자를 구분할 수 있다. 도 23에는 인증 출입자의 몸통 영역(2314)과 얼굴 영역(2312)이 표시되었고, 무단 출입자의 몸통 영역(2324, 2334)과 얼굴 영역(2322, 2332)이 표시되었다.

한편, 의상 색상 유사성 판별기(1966)는 도 1 내지 도 18을 참조하여 설명되었던 본 발명의 실시예에 따른 의상 색상 유사성 판별 방법을 수행할 수 있다. 이에 대해서는, 도 1 내지 도 18을 참조하여 자세히 설명된 바 있으므로, 그에 관한 설명은 생략된다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.

도 1은 두 유사 색상 영상을 비교한 색상 히스토그램,

도 2는 임의의 색상 히스토그램과 이에 대한 누적 히스토그램,

도 3은 RGB 컬러모델의 기본 구조도,

도 4는 HSV 컬러모델의 기본 구조도,

도 5는 서로 다른 조명 하의 두 동일 의상 영상에 대한 RGB 컬러모델과 HSV 컬러모델의 히스토그램,

도 6은 도 5에 도시한 서로 다른 조명하의 두 동일 의상 영상에 대한 HSV 컬러모델의 누적 히스토그램,

도 7은 도 5에 도시한 서로 다른 조명하의 두 동일 의상 영상에 대한 H-S 공간 및 S-V 공간의 색상 분포도,

도 8은 본 발명의 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법을 설명하기 위한 흐름도,

도 9는 서로 다른 조명하의 두 동일 의상 영상이 LBG 알고리즘에 의해 비모수적으로 클러스터링 된 H-S 공간 분포도,

도 10은 두 의상 영상에 대한 대응 색상 클러스터 및 클러스터간 거리의 의미를 설명하기 위한 도,

도 11은 조명 변화가 없는 환경에서 촬영 각도에 다소 차이를 두고 동일 의 상을 촬영한 영상에 기존 색상 판별 기법들과 본 발명의 방법을 적용하여 그 결과를 비교한 도표,

도 12 내지 도 14는 보조 조명을 통해 상이한 조명 환경을 임의로 만들어 전체 12 벌의 의상에 대하여 서로 다른 조명 환경에서 두 번씩 촬영하고, 이렇게 촬영한 동일 의상 영상에 대하여 기존 판별 기법과 본 발명의 방법을 적용하여 판별한 결과치를 각 4 벌씩 구분하여 표시한 도표,

도 15 내지 도 17은 보조 조명을 통해 상이한 조명 환경을 임의로 만들어 전체 12 벌의 의상에 대하여 서로 다른 조명 환경에서 두 번씩 촬영하고, 이렇게 촬영한 상이한 색상의 의상 영상에 대하여 종래 판별 기법과 본 발명의 방법을 적용하여 판별한 결과치를 각 4 벌씩 구분하여 표시한 도표,

도 18은 종래의 판별 기법과 본 발명의 방법을 적용하여 측정된 색상 유사도 판별 결과치 분포를 동일 의상(Identical)간 비교와 상이한 의상(different)간 비교로 1차원으로 표시한 그래프이다.

Claims

HSV 컬러모델로 표현된 2 이상의 의상 영상의 각 픽셀 정보를 HS 2차원 공간 상에 분포시키는 (a) 단계;

상기 (a) 단계에서 분포된 각 픽셀 정보의 분포 특성에 따른 각 의상 영상에서의 색상 클러스터를 LBG 알고리즘을 적용하여 추출하는 (b) 단계;

상기 (b) 단계에서 추출된 각 의상 영상에서의 색상 클러스터 상호 간의 대응 클러스터를 정의하는 (c) 단계;

상기 (c) 단계에서 정의된 대응 클러스터간의 평균 거리를 지정하여 유사도값을 산출하는 (d) 단계; 및

상기 (d) 단계에서 산출된 유사도값을 미리 구축된 학습 모델 데이터에 대입하여 두 의상 영상의 유사 여부를 판별하는 (e) 단계를 포함하여 이루어진 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법.
제1항에 있어서,

상기 단계 (a) 이전에,

RGB 컬러모델로 표현된 의상 영상을 상기 HSV 컬러모델로 변환하는 단계를 더 구비한 것을 특징으로 하는 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법.
제2항에 있어서,

상기 RGB 컬러모델의 상기 HSV 컬러모델로의 변환은,

에 의해 달성되며, S는 채도, V는 명도
는 색상인 것을 특징으로 하는 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법.
제3항에 있어서,

상기 (e) 단계에서의 유사 여부 판별은 우도비 기반하에 수행되는 것을 특징으로 하는 조명변화 환경하에서 촬영된 다중 영상에서 의상 색상 유사성 판별 방법.
제1영역에서 제1CCTV 영상을 촬영하는 제1CCTV;

제2영역에서 제2CCTV 영상을 촬영하는 제2CCTV;

상기 제1 또는 제2CCTV 영상으로부터 출입자의 몸통 영역을 검출하는 몸통 영역 검출기;

상기 제1CCTV 영상으로부터 검출된 몸통 영역에 대하여 제1색상 특징 벡터를 생성하고, 상기 제2CCTV 영상으로부터 검출된 몸통 영역에 대하여 제2색상 특징 벡터를 생성하는 의상 색상 분석기;

상기 제1색상 특징 벡터들을 저장하는 의상 색상 저장기;

상기 제2색상 특징 벡터들과 상기 의상 색상 저장기에 저장되어 있던 상기 제1색상 특징 벡터들을 비교하여, 상기 출입자에 대한 인증 여부를 판별하는 의상 색상 유사성 판별기를 구비하고,

상기 몸통 영역 검출기는,

상기 제1 및 제2CCTV 영상으로부터 제1 및 제2전경 영상을 각각 분리하는 전경영상 분리기;

상기 제1 및 제2CCTV 영상을 제1 및 제2HSV 컬러 영상으로 각각 변환하는 영상포맷 변환기; 및

아다부스트(AdaBoost) 알고리즘을 이용하여, 상기 제1 및 제2전경 영상들로부터 얼굴 영역들과 상기 몸통 영역들을 분리하는 몸통영역 분리기를 구비하는 것을 특징으로 하는 공동현관 안전시스템.
삭제
제5항에 있어서,

상기 출입자의 지문을 입력받아 지문 인증 과정을 수행하는 지문 인식기를 더 구비하는 것을 특징으로 하는 공동현관 안전시스템.
제1영역에서 제1CCTV 영상을 촬영하는 제1CCTV;

제2영역에서 제2CCTV 영상을 촬영하는 제2CCTV;

출입자의 지문을 입력받아 지문 인증 과정을 수행하는 지문 인식기; 및

상기 지문 인식기에서 상기 출입자에 대하여 인증한 경우, HSV 컬러모델로 표현된 제1 및 제2CCTV 의상 영상의 각 픽셀 정보를 HS 2차원 공간 상에 분포시키 고, 상기 각 픽셀 정보의 분포 특성에 따른 각 의상 영상에서의 색상 클러스터를 LBG 알고리즘을 적용하여 추출하고, 상기 추출된 각 의상 영상에서의 색상 클러스터 상호 간의 대응 클러스터를 정의하고, 상기 대응 클러스터간의 평균 거리를 지정하여 유사도 값을 산출하고, 상기 산출된 유사도 값을 미리 구축된 학습 모델 데이터에 대입하여 두 의상 영상의 유사 여부를 판별하는 영상 분석부를 구비하는 것을 특징으로 하는 공동현관 안전시스템.