KR20190105314A - 소비자 객체 분석 시스템 - Google Patents

Abstract

본 발명은 카메라 기반 얼굴 인식을 통한 성별 및 나이 추정 기술을 활용하여 소비자 객체를 분석하도록 구현한 소비자 객체 분석 시스템에 관한 것으로, 카메라를 통해 촬영되는 영상에서 얼굴을 검출하여, 검출된 얼굴정보를 전달하는 얼굴검출장치; 및 얼굴검출장치로부터 전달되는 얼굴정보에 대한 인식을 수행하여 성별 및 나이를 추정하는 얼굴정보인식장치를 포함한다.

Description

소비자 객체 분석 시스템{System for analyzing customer object}

본 발명의 기술 분야는 소비자 객체 분석 시스템에 관한 것으로, 특히 카메라 기반 얼굴 인식을 통한 성별 및 나이 추정 기술을 활용하여 소비자 객체를 분석하도록 구현한 소비자 객체 분석 시스템에 관한 것이다.

다양한 종류의 매장 등에서는 입장하는 다양한 소비자 중 어떠한 소비자가 실제 구매와 직접 연결되고 있는지 여부를 분석하고, 그러한 분석에 기초하여 마케팅을 수립 또는 변경하고자 하는 다양한 시도가 있어 왔다. 이와 같은 소비자 객체 분석 시도는, 카운터의 매장 종업원이 소비자의 구매 물품 계산 시 구매하는 소비자의 연령/성별 정보를 직접 입력하여 구매 소비자를 직접 데이터베이스화하는 방법, 각 선호 품목을 미리 선정하여 해당 품목 구매 시 그 품목에 대응하는 연령/성별 구매로 추정하여 데이터베이스화하는 방법, 종업원 이외에도 별도 인원을 배치하여 구매 소비자의 연령/성별 정보 등을 입력하게 하는 방법, 카드 결제 시 해당 카드 정보와 연동되게 하여 실제 구매 소비자의 정보를 획득하는 방법, 이벤트/경품행사 등을 통하여 구매 소비자가 자신의 개인신상정보를 직접 입력하게 하는 방법 등이 있었다.

한국공개특허 제10-2016-0011804호(2016.02.02 공개)는 입장 고객의 성별 또는 연령별 실제 구매 정보를 분석할 수 있는 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 관하여 개시되어 있다. 개시된 기술에 따르면, 얼굴인식 모듈 및 분석 모듈을 포함하는 마케팅 정보 제공 시스템을 이용하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 있어서, 매장의 입장 지점에 설치된 카메라를 통하여 촬영된 영상물로부터 입장 고객의 얼굴영역을 얼굴인식 모듈에 의해 검출하는 단계; 얼굴인식 모듈이 촬영된 영상물의 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계; 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 분석 모듈에 의해 도출하는 단계; 매장의 계산 지점에 설치된 카메라를 통하여 촬영된 고객을 구매 고객으로 추정하는 상태에서, 계산 지점에 설치된 카메라를 통해 촬영된 영상물로부터 구매 고객의 얼굴영역을 상기 얼굴인식 모듈에 의해 검출하고, 얼굴인식 모듈은 해당 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하며, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계; 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 구매 고객의 성별/연령 정보를 상기 분석 모듈에 의해 도출하는 단계; 및 입장 고객으로부터 도출한 성별/연령 정보와 구매 고객으로부터 도출한 성별/연령 정보를 비교함으로써, 입장 고객의 성별 또는 연령별 실제 구매 정보를, 분석 모듈에 의해 제공하는 단계를 포함하여, 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 것을 특징으로 한다.

한국등록특허 제10-1348142호(2013.12.30 등록)는 얼굴인식기술을 이용하여 분류된 개인 또는 그룹 유형별 맞춤형 콘텐츠 제공 방법 및 그러한 시스템에 관하여 개시되어 있는데, 얼굴인식기술을 이용하여 분류된 개인 또는 그룹 유형별 맞춤형 콘텐츠 제공 방법에 있어서, 디스플레이 장치에 설치된 카메라를 통하여 촬영된 영상물로부터 모든 인물의 얼굴영역을 검출하는 단계; 해당 얼굴영역에서 각각의 인물 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계; 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 촬영된 영상물에 포함된 인물의 성별/연령 정보를 도출하는 단계; 촬영된 영상물에서 검출된 인물이 한명인가 두 명 이상의 복수인가를 분석하여 개인 유형 또는 그룹 유형으로 각각 분류하는 단계로서, 그룹 유형으로 분류되는 경우, 그룹을 이루는 각 개인의 성별/연령 정보에 기초하여 해당 그룹 타입을 지정하는 단계; 및 개인 유형으로 분류된 경우, 해당 성별/연령 정보에 기초하여 그러한 성별/연령에 대응되는 콘텐츠가 디스플레이 장치를 통해 송출되게 하고, 그룹 유형으로 분류된 경우, 해당 그룹의 타입에 기초하여 그러한 그룹의 타입에 대응되는 콘텐츠가 디스플레이 장치를 통해 송출되게 하는 단계를 포함하는 것을 특징으로 한다. 개시된 기술에 따르면, 디스플레이 장치를 응시하는 개인의 성별/연령 또는 개인의 군집으로 이루어진 그룹의 타입에 각각 최적화된 맞춤형 콘텐츠를 개인별 또는 그룹별로 노출 또는 송출하여 정확한 타깃팅 광고 또는 정보 콘텐츠를 제공할 수 있고, 그 결과 기존의 방법과 대비하여 광고 효과를 극대화시켜 우수한 집객 효과를 얻을 수 있다.

상술한 바와 같은 종래의 기술에서는, 얼굴인식기술을 이용하여 얼굴특징점을 좌표값으로 검출하고 검출된 좌표값을 프로메타데이터로 추출한 후에, 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 단순 대비하여 소비자의 성별/연령 정보를 도출하는 방식으로, 비정면 얼굴의 경우나, 카메라를 통해 촬영된 이미지에 잡음이 있거나, 배경 혼잡이 있거나, 외형 기반의 포즈 및 조명에 대한 단조 변화 등의 경우에서 소비자의 성별/연령 정보를 정확하게 도출하지 못하는 단점이 있었다. 또한, 종래 기술에서는, 카메라를 취득되는 이미지가 정면이미지가 아니라 다양한 각도의 이미지가 취득되거나, 촬영범위 외각에 걸쳐 있는 경우 잘린 이미지가 취득되거나, 역광 또는 조명상태가 좋지 않을 경우 어두운 이미지가 취득되는 등의 경우에도 소비자의 성별/연령 정보를 정확하게 도출하지 못하는 단점이 있었다.

한국공개특허 제10-2016-0011804호 한국등록특허 제10-1348142호

본 발명이 해결하고자 하는 과제는, 전술한 바와 같은 단점을 해결하기 위한 것으로, 카메라 기반 얼굴 인식을 통한 성별 및 나이 추정 기술을 활용하여 소비자 객체를 분석하도록 구현한 소비자 객체 분석 시스템을 제공하는 것이다.

상술한 과제를 해결하는 수단으로는, 본 발명의 한 특징에 따르면, 카메라를 통해 촬영되는 영상에서 얼굴을 검출하여, 검출된 얼굴정보를 전달하는 얼굴검출장치; 및 상기 얼굴검출장치로부터 전달되는 얼굴정보에 대한 인식을 수행하여 성별 및 나이를 추정하는 얼굴정보인식장치를 포함하는 소비자 객체 분석 시스템을 제공한다.

일 실시 예에서, 상기 얼굴검출장치는, 카메라를 통해 촬영되는 영상 이미지에서 얼굴 영역을 추출하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴검출장치는, 카메라를 통해 촬영되는 영상에서 얼굴 특징점을 추출하며, 눈 위치를 검출하며, 얼굴을 정렬시켜 주는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴검출장치는, 비정면 얼굴의 소비자 검출 모듈을 이용하여 비정면 얼굴을 검출하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴검출장치는, 비올라-존스 방법을 활용한 비정면 얼굴 검출 모듈을 적용해서, 특징 추출, 부스팅 및 분류기 평가, 부스티드 분류기의 캐스케이드를 수행하여 얼굴정보를 도출하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴검출장치는, ASM을 이용하여 필터링 프로시져 및 피팅을 수행하여 카메라를 통해 촬영되는 영상에서 랜드마크 특징점을 추출하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 상기 얼굴검출장치로부터 전달되는 얼굴정보에 대해서 영상 전처리를 수행하며, 얼굴 특징을 추출하며, 추출된 얼굴 특징을 이용하여 SVM 학습을 수행하며, 추출된 얼굴 특징으로 얼굴정보를 분류하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 상기 얼굴검출장치에서의 얼굴 영역 추출 후에, 상기 얼굴검출장치로부터 전달되는 얼굴정보에 대해서 영상 전처리로 얼굴 정렬을 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 상기 얼굴검출장치로부터 전달되는 얼굴정보에 대한 영상 전처리 시에, 조명 정규화 및 기하학적 정규화를 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 조명 정규화 시에 히스토그램 평준화를 수행하며, 기학적 정규화 시에 눈 위치 검출 및 얼굴 정렬을 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 영상 전처리된 얼굴정보로부터 얼굴 특징을 추출하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 얼굴 특징 추출 시에, 영상 전처리된 얼굴정보로부터 특징 추출 및 특징벡터 생성을 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, PCA를 활용한 데이터 분석 및 SVM 학습을 통해서 추출한 얼굴 특징 정보를 학습하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 비정면 얼굴의 랜드마크 및 얼굴각도를 이용하여 얼굴각도에 대해 보정하는 알고리즘을 적용하고, 비정면 얼굴에 대한 학습 데이터베이스를 보강하고, SVM 알고리즘을 적용하여, 비정면 얼굴 대상으로 소비자 성별/나이를 분석 추정하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 매니폴드 러닝 방법이나 커널-SVM의 적용을 통해 외형 기반의 포즈 및 조명에 강인한 성별/나이 추정을 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 매니폴드 러닝 방법 적용 시에, 영역에 대한 특징 추출 방법을 적용하여 저차원 데이터로 변환하는 차원 축소 방법을 적용해서 성별/나이 추정을 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 커널-SVM 적용 시에, 고차원 매핑을 통해 이미지 특성을 선형화시키고 계산량을 감소시키는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 나이 인식용 얼굴 데이터를 남자와 여자로 구분하여 SVM을 이용해 학습하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, SVM을 이용해 인식된 성별을 기초로 남자로 인식된 경우에, 남자 나이 데이터가 학습된 SVM 분류기를 통해 나이 인식을 수행하며, 여자로 인식된 경우에, 여자 나이 데이터가 학습된 SVM 분류기를 통해 나이 인식을 수행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 얼굴 전부를 이용하는 전역 기반 방법 또는 얼굴의 기하학적 특징들만을 이용하는 기하학적 특징 기반 방법을 이용하여 성별을 식별하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 전역 기반 성별 식별 시에, 아다부스트에 의한 성별 식별 방법, SVM에 의한 성별 식별 방법, EM-EP에 의한 성별 식별 방법 중 적어도 하나 또는 그 이상을 사용하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 아다부스트에 의한 성별 식별 방법의 경우에, 아다부스트 학습데이터베이스 구축 단계, 약분류기 정의 단계, 약분류기 선택 단계, 아다부스트 성별 식별 단계로 진행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 아다부스트 학습데이터베이스 구축 단계의 경우에, 입력된 얼굴 이미지에서 두 눈의 위치와 얼굴 사각형 영역을 추출한 다음에 명암 이미지로 변환시켜 주는 단계, 얼굴 사각형 구역을 20ㅧ20의 크기로 표본화하되, 왼쪽 눈과 오른쪽 눈의 위치를 각각 (5,5), (15,5)에 놓이도록 RIGID 변환을 진행하는 단계, 20ㅧ20 크기의 얼굴 이미지에 대하여 히스토그램 정규화를 진행하되, 색평균은 127로, 표준편차는 64가 되도록 하는 단계, 학습하려는 모든 정면 얼굴 이미지에 대하여 상기 단계들을 진행하고 학습 자료 데이터베이스를 구축하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 약분류기 정의 단계의 경우에,

에 의해 5가지 형태의 약분류기를 정의하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 약분류기 선택 단계의 경우에, Σwt,i = 1.0이 되도록 무게 w1,i를 정규화하는 단계, 매 약분류기 Cj에 대하여 분류 진행 여부를 확인함과 동시에, 무게 wt에 관한 오류를 errort = Σwt,i|Cj(xi)-yi|으로 측정하는 단계, 가장 낮은 오류를 가지는 약분류기를 선택하고 C로 정의하는 단계, 무게 값들을 갱신하되, 표본이 정확히 분류되지 못하였으면 wt+1,i = wt,i로 갱신하고, 정확히 분류되었으면 wt+1,i = wt,iBt로 갱신하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 아다부스트 성별 식별 단계의 경우에, 아다부스트 학습 알고리즘에서 얻어진 Bt 값들을 이용하여

로 강분류기를 계산하며, 강분류기의 계산 결과 값이 1이면 남자, 0이면 여자로 판정하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, SVM에 의한 성별 식별 방법의 경우에, SVM 학습데이터베이스 구축 단계, 학습 단계, SVM 성별 식별 단계로 진행하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, SVM 학습데이터베이스 구축단계의 경우에, 학습하려는 모든 정면 얼굴 이미지에 대하여, 양쪽 두 눈귀와 두 입귀의 위치를 자동 및 수동 추출하고, 추출된 점들에 기초하여 얼굴 이미지를 사각형 구역으로 자르고 명암 이미지로 변환하는 단계, 자른 사각형 구역을 12ㅧ21의 크기로 표본화하되, 왼쪽 눈귀와 오른쪽 눈귀의 위치를 12ㅧ21 크기에 대하여 (1,8), (11,8)에 놓이도록 변환을 진행하는 단계, 12ㅧ21 크기의 이미지에 대하여 히스토그램 정규화를 진행하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 학습 단계의 경우에, 입력된 얼굴 학습 자료에 대한 학습을 진행하고 하이퍼 평면 계산을 위한 SVM 파라미터들을 계산하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, SVM 성별 식별 단계의 경우에, 학습된 SVM 파라미터들에 기초하여 이미지의 성별을 식별하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 인체측정모형방법, 노화패턴 부분 공간 해석방법, 나이회귀 방법 중 적어도 하나 또는 그 이상을 활용하여 이미지 기반으로 나이를 추정하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 인체측정모형방법의 경우에, CF(Cranio-Facial) 개발이론과 얼굴 피부 주름살 해석에 기초하여 나이를 추정하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 노화패턴 부분 공간 해석방법의 경우에, 개별적인 사람의 노화 얼굴 이미지열을 모형화하고, 테스트 얼굴 이미지를 모형화된 노화 패턴 부분 공간에 투영하여 나이를 해석하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 나이회귀 방법의 경우에, 외모 기반 세이프-텍스쳐 모형을 이용하여 얼굴 이미지로부터 얼굴 특징점들을 추출하고, 그 특징정들에 대한 회귀함수 모형을 작성하여 나이를 추정하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 매 얼굴 이미지가 유일한 나이를 가지므로 많은 나이 자료들이 제공될 때에 기초적인 순차패턴들은 중요한 경향성을 나타나게 된다는 원리에 기초하여, 얼굴 이미지로부터 순차적인 패턴들을 추출하여 그에 대한 모형을 작성하여 나이를 추정하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 다양체 학습과 국부적으로 조절된 강인한 회귀기인 LARR를 서로 결합하여 얼굴 이미지의 노화과정을 반영하여 나이를 추정해 주도록 하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 입력 이미지로부터 아다부스트 알고리즘에 의하여 얼굴 영역을 검출하고, 검출된 영역에서 4개의 기본 얼굴 특징점들을 검출하는 단계, 검출된 얼굴 이이미지에 대해 성별 식별을 진행하는 단계, 얼굴 이미지에 대해 조명 보정, 기하학적 정렬을 진행하여 60x60인 이미지 상으로 정규화를 진행하는 단계, 정규화된 얼굴 이미지를 남자와 여자에 대해 따로따로 학습된 나이 다양체 공간으로 투영하는 단계, 다양체 공간으로 투영된 얼굴 이미지에 강인한 회귀를 적용하는 단계, 회귀 결과에 대한 국부적 조절을 진행하여 나이를 추정하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 나이 다양체 학습 시에 얼굴 이미지지로부터 노화 특징량을 추출하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 노화 특징량 추출 시에 m차원의 얼굴벡터를 d << m (d == 150로 m보다 훨씬 작음)인 d차원의 얼굴벡터로 표현하는 투영행렬을 얻는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 강인한 회귀 적용의 경우에, 회귀 함수를 이용하여 다양체 공간에서 얼굴 이미지의 노화 특징량들이 주어질 때에 추출된 노화 특징량과 나이 준위 사이의 관계를 특징하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 강인한 회귀 적용의 경우에, 노화공정에 강인한 회귀 목적을 위해 SVR방법을 적용하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 비선형 SVR를 이용하여 나이를 추정하는 것을 특징으로 한다.

일 실시 예에서, 상기 얼굴정보인식장치는, 얼굴 인식 각도 범위 조정 시에 얼굴 정면 각도 기준 인식 구간을 ㅁ15도 이내로 조정하며, 얼굴 인식 거리 범위 설정 시에 카메라와 사용자 간 최대 1.5미터 이내 수준으로 인식 제한 거리를 설정하고, 원거리 얼굴 분석 대상을 제외하며, 대표자 검출 시에 2명 이상의 다수 얼굴이 인식되는 경우에 카메라로부터 최근접 거리에 있는 얼굴을 검출 분석하며, 얼굴 잘림 이미지 제거 시에 얼굴 추출 영역 정규화를 통해 얼굴 이미지 잘림 있는 경우에 분석 대상을 제외하는 것을 특징으로 한다.

본 발명의 효과로는, 카메라 기반 얼굴 인식을 통한 성별 및 나이 추정 기술을 활용하여 소비자 객체를 분석하도록 구현한 소비자 객체 분석 시스템을 제공함으로써, 비정면 얼굴의 경우나, 카메라를 통해 촬영된 이미지에 잡음이 있거나, 배경 혼잡이 있거나, 외형 기반의 포즈 및 조명에 대한 단조 변화 등의 경우에서도, 소비자의 성별/연령 정보를 정확하게 도출할 수 있다는 것이다.

도 1은 본 발명의 실시 예에 따른 소비자 객체 분석 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 얼굴검출장치에서의 비정면 얼굴 검출을 예로 설명하는 도면이다.
도 3은 도 1에 있는 얼굴검출장치에서의 특징 추출을 예로 설명하는 도면이다.
도 4는 도 1에 있는 얼굴검출장치에서의 부스팅 및 분류기 평가를 예로 설명하는 도면이다.
도 5는 도 1에 있는 얼굴검출장치에서의 부스티드 분류기의 캐스케이드를 예로 설명하는 도면이다.
도 6은 도 1에 있는 얼굴검출장치에서의 필터링 프로시져를 예로 설명하는 도면이다.
도 7은 도 1에 있는 얼굴검출장치에서의 피팅을 예로 설명하는 도면이다.
도 8은 도 1에 있는 얼굴검출장치에서의 SVM 알고리즘을 예로 설명하는 도면이다.
도 9는 도 1에 있는 얼굴검출장치에서의 고차원 매핑을 예로 설명하는 도면이다.
도 10은 도 1에 있는 얼굴검출장치에서의 학습데이터별 나이 인식 테스트 결과를 예로 설명하는 도면이다.
도 11은 도 1에 있는 얼굴검출장치에서의 나이 다양체 시각화를 예로 설명하는 도면이다.
도 12는 도 1에 있는 얼굴검출장치에서의 손실함수를 예로 설명하는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

이제 본 발명의 실시 예에 따른 소비자 객체 분석 시스템에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1 내지 도 12를 참조하면, 소비자 객체 분석 시스템(100)은, 카메라를 기반으로 얼굴을 인식하여 소비자의 성별 및 나이를 추정하도록 하기 위한 얼굴인식 기반 성별/나이 추정 모듈을 활용해서 저차원 특징점을 추출하여 성별/나이별을 추정하도록 하는데, 이때 소비자의 성별/연령 정보를 보다 정확하게 도출할 수 있도록 얼굴검출장치(110), 얼굴정보인식장치(120)를 포함한다.

얼굴검출장치(110)는, 카메라를 통해 촬영되는 영상에서 얼굴을 검출하여, 해당 검출된 얼굴정보를 얼굴정보인식장치(120)에 전달해 준다.

일 실시 예에서, 얼굴검출장치(110)는, 카메라를 통해 촬영되는 영상 이미지(image)에서 얼굴 영역(face region)을 추출해 줄 수 있는데, 이때 얼굴 로케이션(face location) 및 안면 포인트(facial point)를 수행해 줄 수 있다.

일 실시 예에서, 얼굴검출장치(110)는, 카메라를 통해 촬영되는 영상에서 얼굴 특징점을 추출할 수 있으며, 눈 위치를 검출할 수 있으며, 얼굴을 정렬시켜 줄 수 있다.

일 실시 예에서, 얼굴검출장치(110)는, 비정면 얼굴의 소비자 검출 모듈을 이용하여, 도 2에 도시된 바와 같이 소비자 얼굴 검출의 각도가 15도 이상인 경우에서도 비정면 얼굴을 양호한 성능으로 검출해 줄 수 있다.

일 실시 예에서, 얼굴검출장치(110)는, 비올라-존스 방법(Viola-Jones method)을 활용한 비정면 얼굴 검출 모듈을 적용해서, 도 3에 도시된 바와 같은 특징 추출(Feature Extraction), 도 4에 도시된 바와 같은 부스팅 및 분류기 평가(Boosting and classifier evaluation), 도 5에 도시된 바와 같은 부스티드 분류기의 캐스케이드(Cascade of boosted classifiers)를 수행하여, 얼굴정보를 도출해 줄 수 있다.

일 실시 예에서, 얼굴검출장치(110)는, 카메라를 통해 촬영되는 영상에서 ASM(Active shape mode)을 이용한 랜드마크 특징점을 추출해 줄 수 있는데, 이때 도 6에 도시된 바와 같은 필터링 프로시져를 수행할 수 있으며, 도 7에 도시된 예들과 같은 피팅(fitting)을 수행할 수 있다.

얼굴정보인식장치(120)는, 얼굴검출장치(110)로부터 얼굴정보를 전달받아 해당 전달받은 얼굴정보에 대한 인식을 수행하여 성별 및 나이를 추정해 준다.

일 실시 예에서, 얼굴정보인식장치(120)는, 얼굴검출장치(110)로부터 전달되는 얼굴정보에 대해서 영상 전처리를 수행할 수 있으며, 얼굴 특징을 추출할 수 있으며, 이에 추출된 얼굴 특징을 이용하여 SVM(Support Vector Machine) 학습(데이터 분석을 통한 학습)을 수행할 수 있으며, 또한 추출된 얼굴 특징으로 얼굴정보를 분류해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 얼굴검출장치(110)에서의 얼굴 영역 추출 후에, 얼굴검출장치(110)로부터 전달되는 얼굴정보(face information)에 대해서 영상 전처리로 얼굴 정렬(face alignment)을 수행할 수 있다. 이때, 얼굴정보인식장치(120)는, 얼굴검출장치(110)로부터 전달되는 얼굴정보(face information)에 대해서 조명 정규화(illumination normalize) 및 기하학적 정규화(geometric normalize)를 수행해 줄 수 있으며, 또한 조명 정규화 시에 히스토그램 평준화(histogram equalization)를 수행해 줄 수도 있으며, 기학적 정규화 시에 눈 위치 검출 및 얼굴 정렬을 수행해 줄 수도 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 얼굴검출장치(110)로부터 전달되는 얼굴 이미지에서 특징(feature)을 추출해 줄 수 있는데, 즉 상술한 영상 전처리된 얼굴정보로부터 얼굴 특징을 추출할 수 있다. 이때, 얼굴정보인식장치(120)는, 상술한 영상 전처리된 얼굴정보로부터 특징 추출(feature extraction) 및 특징벡터(feature vectors) 생성을 수행할 수 있다. 또한, 특징 추출 시에 HOG 디스크립터(descriptor) 또는 ULBP 디스크립터를 사용할 수 있으며, 특징 벡터 생성 시에 HOG 디스크립터와 ULBP 디스크립터의 연관 히스토그램(concatenate histogram)을 사용할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 인식얼굴정보를 분류해 줄 수 있으며, 해당 분류한 얼굴분류정보에 따른 인식얼굴정보의 인식 결과를 도출해 줄 수도 있다. 이때, 얼굴정보인식장치(120)는, PCA(kernel principal component analysis)를 활용한 데이터 분석(data analysis) 및 SVM 학습(train)을 수행함으로써 상술한 바와 같이 추출한 얼굴 특징 정보를 학습할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 소비자 성별/나이 분석 알고리즘으로서, 비정면 얼굴의 랜드마크 및 얼굴각도를 이용하여 얼굴각도에 대해 보정하는 알고리즘을 적용하고, 비정면 얼굴에 대한 학습 데이터베이스를 보강하고, SVM 알고리즘을 적용하여, 비정면 얼굴 대상으로 소비자 성별/나이를 분석 추정해 줄 수 있다. 여기서, SVM 알고리즘은 도 8에 도시된 예(즉, 학습 샘플에 대해 클래스를 나누는 결정 직선의 예시)와 같이, 학습데이터를 두 개의 클래스로 나누는 가장 적절한 결정 직선을 찾아주는 분류기 알고리즘이다.

일 실시 예에서, 얼굴정보인식장치(120)는, 외형 기반의 포즈 및 조명에 강인한(robust) 성별/나이 추정 알고리즘을 위해서, 매니폴드 러닝(Manifold learning) 방법이나 커널(Kernel)-SVM의 적용을 통해 인식률을 개선해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 매니폴드 러닝 방법 적용의 경우에, 이미지 기반의 영상 분석을 위한 데이터가 고차원 데이터(즉, 이미지 픽셀 수만큼 차원 수를 가는 데이터)이기 때문에, 해당 영역에 대한 특징 추출 방법을 적용해 저차원 데이터로 변환하는 차원 축소(data mining) 방법을 적용해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 커널-SVM 적용의 경우에, 영상 기반의 차원 축소 방법을 적용해 추출된 특징 데이터가 이미지의 특성상 비선형 특성을 가지며, 이를 구별하기 위해 도 9에 도시된 바와 같은 고차원 매핑을 통해 비선형 문제를 선형화시키고 계산량을 줄이는 기법을 적용해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 나이 인식을 위한 분류 방법을 개선하여 인식률을 향상시킬 수 있는데, 이때 나이 인식용 얼굴 데이터를 남자와 여자로 구분하여 SVM을 이용해 학습해 줄 수 있다. 여기서, 얼굴의 나이 차이는 성별, 인종에 따라 크게 차이가 나게 되며, 이와 같은 나이 인식의 특징 때문에 나이 인식의 오류가 많이 나타나게 된다. 성별 인식을 검증해 본 결과 90% 이상의 높은 인식률을 보이며 안정적으로 성별 인식을 수행하는 사실로부터, 나이 인식용 얼굴 데이터를 남자와 여자로 구분해서 학습하도록 한다. 예를 들어, 한국인 데이터베이스를 남자와 여자로 나누고, 남자 데이터베이스만 이용해서 나이 인식을 수행하고, 여자 데이터베이스만 이용해서 나이 인식을 수행했을 때(50장 이미지, 5회 반복 수행 평균), 그 결과를 보면 도 10과 같은 학습데이터별 나이 인식 테스트 결과를 얻을 수 있다. 다시 말해서, 남녀 모두 학습데이터로 사용하고 분류했을 때보다 남자와 여자를 따로 학습해서 분류했을 때 훨씬 더 좋은 성능을 보여줌을 잘 알 수 있다. 이에, 얼굴정보인식장치(120)는, 이 결과를 기반으로 남녀를 구분하여 나이를 인식하도록 할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, SVM을 이용해 인식된 성별을 기초로 남자로 인식되면, 남자 나이 데이터가 학습된 SVM 분류기를 통해 나이 인식을 수행할 수 있으며, 여자로 인식되면, 여자 나이 데이터가 학습된 SVM 분류기를 통해 나이 인식을 수행할 수 있다. 이와 같은 방법은 나이 인식의 결과가 성별 인식에 의존하게 되며, 따라서 성별 인식의 결과가 틀리면 나이 역시 크게 틀려질 가능성이 높아지지만, 성별 인식이 나이 인식보다 훨씬 안정적이고 높은 성능을 보여주기 때문에, 성별이 틀려서 생기는 문제점보다 남, 여 나이를 따로 분류해서 얻는 이득이 훨씬 크므로, 성별 인식에 의존하여 나이 인식을 수행하도록 할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 얼굴 전부를 이용하는 전역 기반 방법과, 얼굴의 기하학적 특징들만을 이용하는 기하학적 특징 기반 방법을 이용하여 성별을 식별할 수 있다. 여기서, 기하학적 특징 기반 방법은 전역 기반 방법에 비하여 속도는 빠르지만 식별성 성능이 떨어지며, 성별 식별의 경우에 계산 속도가 좀 떨어져도 성능이 높은 것을 요구하므로, 전역 기반 방법에 의한 성별 식별(즉, 전역 기반 성별 식별 방법)을 수행하도록 한다. 전역 기반 성별 식별 방법에는, 아다부스트(Adaboost)에 의한 성별 식별 방법, SVM에 의한 성별 식별 방법, EM-EP에 의한 성별 식별 방법 등이 있다. 아다부스트에 의한 성별 식별 방법은, 64ㅧ72 크기의 표본화한 FERET 이미지들에 대하여 RBF(Radial Based Function)와 결정 트리의 혼합체계를 적용하여 96%의 성별 식별 정확도를 얻고 있으며, 해상도 작은 이미지인 24ㅧ24 크기의 이미지들에 대하여 적용되어 79%의 성별 식별 정확도를 보여 주고 있다. SVM에 의한 성별 식별 방법은, FERET 데이터베이스에 적용하여 해상도가 적은 이미지에 대하여 96.6%의 성능을 얻고 있으며, 이 식별 정확도는 FERET 이미지가 매우 깨끗하고 잡음이 없고 대체로 조명이 고정되고, 배경 혼잡이 없으며, 같은 사람의 얼굴들이 학습데이터베이스와 테스트데이터베이스에서 둘 다 나타날 수 있어, 훨씬 더 높은 결과를 나타내고 있다. EM-EP에 의한 성별 식별 방법은, SVM에 의한 성별 식별 방법과 성능이 비슷하나, 학습시간의 복잡도가 O(n3)으로 학습 자료 개수에 따라 학습시간이 대단히 오래 걸리며, 또한 하이퍼 파라미터를 최대화하기 위한 최대가능함수는 복잡한 행렬식과 지수함수들의 결합으로 이루어진 비선형성이 매우 강한 함수이고, 공액경사법(conjugate gradient method)에 의한 함수의 수렴성이 잘 나타나지 않는다.

일 실시 예에서, 얼굴정보인식장치(120)는, 아다부스트에 의한 성별 식별 방법의 경우에, 아다부스트 학습데이터베이스 구축 단계, 약분류기 정의 단계, 약분류기 선택 단계, 아다부스트 성별 식별 단계로 진행할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 아다부스트 학습데이터베이스 구축 단계의 경우에, 첫 번째로 입력된 얼굴 이미지에서 두 눈의 위치와 얼굴 사각형 영역을 추출한 다음에 명암 이미지로 변환시켜 주며, 두 번째로 얼굴 사각형 구역을 20ㅧ20의 크기로 표본화해 주며, 이때 왼쪽 눈과 오른쪽 눈의 위치를 각각 (5,5), (15,5)에 놓이도록 RIGID 변환을 진행해 주며, 세 번째로 20ㅧ20 크기의 얼굴 이미지에 대하여 히스토그램 정규화를 진행해 주며, 이때 색평균은 127로, 표준편차는 64가 되도록 해 주며, 네 번째로 학습하려는 모든 정면 얼굴 이미지에 대하여 첫 번째에서 세 번째의 처리를 진행하고 학습 자료 데이터베이스를 구축해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 약분류기 정의 단계의 경우에, 5개의 약분류기를 정의할 수 있는데, 이때 약분류기 값은 아래의 수학식 1과 같은 화소비교연산결과가 "참"이면 1, "거짓"이면 0으로 해 주며, 정의된 5가지 형태의 약분류기를 아래의 수학식 1과 같이 정의해 줄 수 있다. 여기서, pixeli는 i번째 화소의 명암 세기이며, pixelj는 j번째 화소의 명암 세기이다.

일 실시 예에서, 얼굴정보인식장치(120)는, 약분류기 선택 단계의 경우에, 이용하는 약분류기의 최대수(t = 1 ~ T)에 대해서, 입력 값으로 표본량(

), 학습자료데이터베이스에 구축된 20*20크기로 정규화된 정면 얼굴 이미지(xi), 남자 1, 여자 0(yi)으로 하며, yi = 0, 1에 대하여 각각 무게 값을 w1,i = 0.5/F, 0.5/M으로 초기화(여기서, F: 여자표본수, M: 남자표본수)할 때, 첫 번째로 Σwt,i = 1.0이 되도록 무게 w1,i를 정규화해 주며, 두 번째로 매 약분류기 Cj에 대하여 어느 정도 분류를 잘 진행하는가를 확인함과 동시에, 무게 wt에 관한 오류(error)를 errort = Σwt,i|Cj(xi)-yi|으로 측정해 주며, 세 번째로 가장 낮은 오류를 가지는 약분류기를 선택하고 C로 정의해 주며, 네 번째로 무게 값들을 갱신해 주는데, 이때 만일 표본이 정확히 분류되지 못하였으면 wt+1,i = wt,i로 갱신하고, 정확히 분류되었으면 wt+1,i = wt,iBt로 갱신해 줄 수 있다. 여기서, Bt = errort/(1-errort )이다.

일 실시 예에서, 얼굴정보인식장치(120)는, 아다부스트 성별 식별 단계의 경우에, 아다부스트 학습 알고리즘에서 얻어진 Bt 값들을 이용하여 아래의 수학식 2로 강분류기를 계산해 주며, 강분류기의 계산 결과 값이 1이면 남자, 0이면 여자로 판정해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, SVM에 의한 성별 식별 방법의 경우에, 두 개의 그룹을 가지는 모임에서 두 그룹의 경계선을 도출해 내는 분류 방법으로서 패턴 분류와 회귀를 위한 학습 알고리즘에 의해 성별을 식별해 줄 수 있다. 여기서, SVM들의 기초적인 학습 원리는, 눈에 보이지 않는 시험표본을 위한 예측분류오류가 최소로 되는, 즉 좋은 일반화 성능을 가지는 최고의 선형초평면을 찾는 것이다. 이 원리에 기초하여 선형 SVM에서는 최소의 VC 차수를 가지는 선형함수를 찾는 분류학적인 방법을 사용한다. SVM을 위한 커널 함수로써 GRBF(Gaussian Radial Basis Function)를 이용하고, 실험을 통하여 합리적인 GRBF의 파라미터들을 결정한다.

일 실시 예에서, 얼굴정보인식장치(120)는, SVM에 의한 성별 식별 방법의 경우에, SVM 학습데이터베이스 구축 단계, 학습 단계, SVM 성별 식별 단계로 진행할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, SVM 학습데이터베이스 구축단계의 경우에, 학습하려는 모든 정면 얼굴 이미지에 대하여, 첫 번째로 얼굴 이미지에서 양쪽 두 눈귀와 두 입귀의 위치를 자동 및 수동 추출하고, 추출된 점들에 기초하여 얼굴 이미지를 사각형 구역으로 자르고 명암 이미지로 변환해 주며, 두 번째로 자른 사각형 구역을 12ㅧ21의 크기로 표본화해 주며, 이때 왼쪽 눈귀와 오른쪽 눈귀의 위치를 12ㅧ21 크기에 대하여 (1,8), (11,8)에 놓이도록 변환을 진행해 주며, 세 번째로 12ㅧ21 크기의 이미지에 대하여 히스토그램 정규화를 진행해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, SVM 방법을 이용한 학습 단계의 경우에, 입력된 얼굴 학습 자료에 대한 학습을 진행하고 하이퍼 평면 계산을 위한 SVM 파라미터들을 계산해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, SVM 성별 식별 단계의 경우에, 학습된 SVM 파라미터들에 기초하여 이미지의 성별을 예측해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 인체측정모형(Anthropometric Model)방법, 노화패턴 부분 공간(Aging Pattern Subspace) 해석방법, 나이회귀(Age Regression) 방법 등을 활용하여 이미지 기반으로 나이를 추정할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 인체측정모형방법의 경우에, 얼굴 모양과 문양 패턴들의 성장 관련 변화는 얼굴을 여러 개의 나이 그룹으로 분할 할 수 있다는 것으로, CF(Cranio-Facial) 개발이론과 얼굴 피부 주름살 해석에 기초하여 나이를 추정할 수 있다. 여기서, 이러한 방법들은 정밀하지 않은 나이 추정에 적합하며, 예를 들어 얼굴 이미지를 4개의 그룹(아기, 소년, 중년, 노년)으로 분류하는 경우에 많이 이용될 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 노화패턴 부분 공간 해석방법의 경우에, 개별적인 사람의 노화 얼굴 이미지열을 모형화하고, 테스트 얼굴 이미지를 모형화된 노화 패턴 부분 공간에 투영하여 나이를 해석해 줄 수 있다. 여기서, 이러한 방법은 자료 공간 패턴 자료 수집의 어려움으로 인하여 생기는 매우 불완전한 자료를 보정하기 위해 이용되어 불완전한 나이 자료 데이터베이스들을 이용하는 난점을 극복할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 나이회귀 방법의 경우에, 외모(appearance) 기반 세이프-텍스쳐(shape-texture) 모형(AAM, ASM)을 이용하여 얼굴 이미지로부터 얼굴 특징점들을 추출하고, 그 특징정들에 대한 회귀함수 모형을 작성하여 나이를 추정할 수 있다. 여기서, 이러한 방법은 회귀함수를 이용하여 노화 경향성을 모형화하므로 정밀한 나이 추정에 이용될 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 얼굴 이미지로부터 다른 본질적인 노화 공정 특성, 즉 순차적인 패턴들을 추출하여 그에 대한 모형을 작성하여 나이를 추정할 수도 있다. 이러한 방법은 매 얼굴 이미지가 유일한 나이를 가지므로 많은 나이 자료들이 제공될 때에 기초적인 순차패턴들은 중요한 경향성을 나타나게 된다는 원리에 기초하고 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 정밀한 나이 추정을 위해, 다양체 학습과 국부적으로 조절된 강인한(robust) 회귀기(locally adjusted robust regressor; LARR)를 서로 결합해 줌으로써, 얼굴 이미지의 노화과정을 정확히 반영하여 상술한 다른 방법들보다 성능이 더 좋도록 할 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 첫 번째로 입력 이미지로부터 아다부스트 알고리즘에 의하여 얼굴 영역을 검출하고, 검출된 영역에서 4개의 기본 얼굴 특징점(양쪽 눈귀, 양쪽 입귀)들을 검출해 주며, 두 번째로 검출된 얼굴 이이미지에 대해 성별 식별을 진행해 주며, 세 번째로 얼굴 이미지에 대해 조명 보정(히스토그램 평활화), 기하학적 정렬(이미지 변형)을 진행하여 60x60인 이미지 상으로 정규화를 진행해 주며, 네 번째로 정규화된 얼굴 이미지를 남자와 여자에 대해 따로따로 학습된 나이 다양체 공간으로 투영해 주며, 다섯 번째로 다양체 공간으로 투영된 얼굴 이미지에 강인한 회귀를 적용해 주며, 여섯 번째로 회귀 결과에 대한 국부적 조절을 진행하여 나이를 추정해 줄 수 있다.

일 실시 예에서, 얼굴정보인식장치(120)는, 나이 다양체 학습 시에 얼굴 이미지지로부터 노화 특징량을 추출할 수 있는데, 이때 m(3600)차원의 얼굴벡터를 d << m (d == 150로 m보다 훨씬 작음)인 d차원의 얼굴벡터(노화 특징량)로 표현하는 투영행렬을 얻을 수 있다. 여기서, 나이 다양체 학습 방법에는 PCA, NPP, LPP, OLPP, CEA 등의 알고리즘이 있으며, 해당 방법으로 학습된 나이 다양체는 도 11에 도시된 바와 같은 2차원과 3차원 나이 다양체 시각화로 보여 줄 수 있다. 도 11에서 파란색은 가장 나이 어린 사람을, 붉은색은 가장 나이 많은 사람을 나타낸다.

일 실시 예에서, 얼굴정보인식장치(120)는, 다섯 번째의 강인한 회귀 적용의 경우에, 회귀 함수(즉, L= f(y))를 이용하여 다양체 공간에서 얼굴 이미지의 노화 특징량들이 주어질 때에 추출된 노화 특징량 y와 나이 준위 L 사이의 관계를 특징할 수 있다. 반면에, 종래 기술에서의 나이 추정 방법들에서는 나이 회귀를 위해 2차 모형(QM)을 이용하였는데, 2차 모형에서의 손실함수는 일반적으로 최소두제곱 추정과 일치하므로, 2차 모형 방법에는 일부 부족점들이 있다. 첫째로 노화는 특히 큰 나이 공간(예로, 0-90)에 대한 복잡한 비선형회귀 문제이고, 간단한 2차 함수는 복잡한 노화공정을 정확히 모형화하지 못한다. 둘째로 최소 두제곱 추정은 큰 이미지 자료 데이터베이스 모임에서 부정확한 라벨들로부터 생기는 고립값들에 민감하다. 셋째로 최소 두제곱 추정 기준은 오직 미지의 실례들에서는 잘 생성되지 않는 실험손실들을 최소화한다. 특히 작은 수의 학습 사례들을 이용할 때, 나이 이미지들의 수집에서의 복잡성과 여러 가지 생활 조건들, 화장, 유전자 차이와 얼굴 모양으로 하여 나이 추정에서 전형적인 문제로 제기된다. 결국 나이 추정에서 강인한 회귀 모형을 찾는 것이 필요하다.

일 실시 예에서, 얼굴정보인식장치(120)는, 다섯 번째의 강인한 회귀 적용의 경우에, 노화공정에 강인한 회귀 목적을 위해 지원벡터회귀(support vector regression; SVR)방법을 적용할 수 있다. 여기서, SVR방법은 나이 추정 과제를 쉽게 하기 위해 전형적인 2차 회귀모형의 3가지 제한성에 도전하며, SVR의 기본사상은 학습 자료에 의해 실제로 얻어진 목표로부터 최대한 편차(ε)를 가지는 가능한 평탄한 함수 f(y)를 찾는 것이다. 즉, 편차(ε)보다 더 작은 오류들에 대해 신경 쓰지 않으며, 비교를 위해 전통적인 2차 손실함수를 도 12의 (a)에서 보여주며, SVR의 ε-무감각(insensitive) 손실함수를 도 12의 (b)에서 보여준다. ε-무감각 손실함수는, 2차 손실함수보다 고립점들에 덜 민감한데, 즉 오직 ε 지역 밖의 점들만 회귀함수에 관여한다. 수평축과 수직축은 각각 y와 f(y)이다. 동일한 입력 값이 주어질 때, ε-무감각 손실함수는 고립점 처리에서 2차 손실함수보다 더 강인함을 알 수 있다. 그리고 ε-무감각 손실함수는 아래의 수학식 3과 같다.

일 실시 예에서, 얼굴정보인식장치(120)는, 비선형 SVR를 이용하여 나이를 추정할 수 있다. 여기서, SVR에는 선형 SVR와 비선형 SVR이 있는데, 나이 추정에서는 비선형 SVR를 이용한다. 그 이유는 선형회귀는 복잡한 노화 공정을 모형화할 수 없지만, 비선형 회귀함수는 나이 자료를 충분히 모형화할 수 있기 때문이다. 비선형 SVR는 비선형 지원벡터기계(SVM)와 같이 비선형 커널들을 이용하여 얻을 수 있다. 비선형 커널들에는 다항식(polynomials), 시그모이드(sigmoid) 또는 가우시안(Gaussian) 방사 거저함수가 있는데, 강인한 나이 회귀를 위해서 가우시안 방사 기저함수를 이용한다. 가우시안 방사 기저함수는 아래의 수학식 4와 같은 형식을 가지며, r은 가우시안 함수의 너비를 조절하기 위한 상수이다. 커널 넘기기가 주어지면 비선형 SVR 풀이는 아래의 수학식 5에 의해 얻어진다.

일 실시 예에서, 얼굴정보인식장치(120)는, 성별/나이 추정 엔진 내부 테스트 진행시에 얼굴각도에 따른 인식률 문제점을 해결할 수 있는데, 취득되는 이미지가 정면이미지가 아니라 다양한 각도의 이미지가 취득되어 분석의 정확도를 낮추게 되는 원인이 되고, 촬영범위 외각에 걸쳐 있는 경우 잘린 이미지가 취득되어 정확도를 낮추는 원인이 되고, 역광 또는 조명상태가 좋지 않을 경우 어두운 이미지가 취득되어 정확도를 낮추는 원인이 되므로, 얼굴 인식 각도 범위를 조정(즉, 얼굴 정면 각도 기준 인식 구간을 ㅁ15도 이내로 조정)함으로써, 측면 얼굴 등을 분석 대상에서 제외하여 정확도를 개선할 수 있으며, 얼굴 인식 거리 범위를 설정(즉, 카메라와 사용자 간 최대 1.5미터 이내 수준으로 인식 제한 거리를 설정)함으로써, 원거리 얼굴 분석 대상 제외를 통한 정확도를 개선할 수 있으며, 대표자를 검출(즉, 2명 이상의 다수 얼굴이 인식되는 경우에 카메라로부터 최근접 거리에 있는 얼굴을 검출 분석)함으로써, 복수의 얼굴 인식으로 인한 고객 데이터와 상품 데이터 간 오류 발생 문제점을 수정할 수 있으며, 얼굴 잘림 이미지를 제거(즉, 얼굴 추출 영역 정규화를 통해 얼굴 이미지 잘림 있는 경우에 분석 대상을 제외)해 줌으로써, 얼굴 인식을 위한 특징점 요소를 늘려 원본 얼굴 이미지 데이터를 개선할 수 있고 이를 통해 정확도도 개선할 수 있으며, 조도 측정 알고리즘을 적용(즉, 매장 간 상이한 조도에 따른 영향 평가를 위한 조도 측정을 적용)해 줌으로써, 데이터 정확도 개선을 위한 최저 조도 수준을 분석에 반영하여 정확도를 개선할 수 있다.

상술한 바와 같은 구성을 가진 소비자 객체 분석 시스템(100)은, 얼굴검출장치(110)에서 카메라를 통해 촬영되는 영상에서 얼굴을 검출하고, 얼굴정보인식장치(120)에서 얼굴검출장치(110)의 검출 얼굴정보에 대한 인식을 수행하여 성별 및 나이를 추정해서 소비자 객체를 분석하도록 함으로써, 비정면 얼굴의 경우나, 카메라를 통해 촬영된 이미지에 잡음이 있거나, 배경 혼잡이 있거나, 외형 기반의 포즈 및 조명에 대한 단조 변화 등의 경우에서도, 소비자의 성별/연령 정보를 정확하게 도출할 수 있다.

이상, 본 발명의 실시 예는 상술한 시스템 및/또는 운용방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 소비자 객체 분석 시스템
110: 얼굴검출장치
120: 얼굴정보인식장치

Claims (5)

1. 카메라를 통해 촬영되는 영상에서 얼굴을 검출하여, 검출된 얼굴정보를 전달하는 얼굴검출장치; 및
   상기 얼굴검출장치로부터 전달되는 얼굴정보에 대한 인식을 수행하여 성별 및 나이를 추정하는 얼굴정보인식장치를 포함하는 소비자 객체 분석 시스템.
   
2. 제1항에 있어서, 상기 얼굴검출장치는,
   카메라를 통해 촬영되는 영상 이미지에서 얼굴 영역을 추출하는 것을 특징으로 하는 소비자 객체 분석 시스템.
   
3. 제1항에 있어서, 상기 얼굴검출장치는,
   카메라를 통해 촬영되는 영상에서 얼굴 특징점을 추출하며, 눈 위치를 검출하며, 얼굴을 정렬시켜 주는 것을 특징으로 하는 소비자 객체 분석 시스템.
   
4. 제1항에 있어서, 상기 얼굴정보인식장치는,
   상기 얼굴검출장치로부터 전달되는 얼굴정보에 대해서 영상 전처리를 수행하며, 얼굴 특징을 추출하며, 추출된 얼굴 특징을 이용하여 SVM 학습을 수행하며, 추출된 얼굴 특징으로 얼굴정보를 분류하는 것을 특징으로 하는 소비자 객체 분석 시스템.
   
5. 제1항에 있어서, 상기 얼굴정보인식장치는,
   상기 얼굴검출장치에서의 얼굴 영역 추출 후에, 상기 얼굴검출장치로부터 전달되는 얼굴정보에 대해서 영상 전처리로 얼굴 정렬을 수행하는 것을 특징으로 하는 소비자 객체 분석 시스템.

Images