KR20160011804A - 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 - Google Patents
얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 Download PDFInfo
- Publication number
- KR20160011804A KR20160011804A KR1020140092830A KR20140092830A KR20160011804A KR 20160011804 A KR20160011804 A KR 20160011804A KR 1020140092830 A KR1020140092830 A KR 1020140092830A KR 20140092830 A KR20140092830 A KR 20140092830A KR 20160011804 A KR20160011804 A KR 20160011804A
- Authority
- KR
- South Korea
- Prior art keywords
- customer
- information
- age
- gender
- face
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
Abstract
본 발명은 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 및 그러한 시스템에 관한 것으로서, 보다 상세하게는 매장의 입장 지점과 계산 지점에 각각 설치된 카메라를 통해 촬영된 영상물로부터 얼굴영역을 검출하고, 그 검출된 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하고, 나아가 상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객과 구매 고객의 성별/연령 정보를 각각 도출하고, 상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 선입 선출 방식으로 비교 분석함으로써 입장 고객의 성별 또는 연령별 실제 구매 정보를 분석할 수 있는 방법에 관한 것이다.
Description
본 발명은 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 관한 것으로서, 보다 상세하게는 매장의 입장 지점과 계산 지점에 각각 설치된 카메라를 통해 촬영된 영상물로부터 얼굴영역을 검출하고, 그 검출된 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하고, 나아가 상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객과 구매 고객의 성별/연령 정보를 각각 도출하고, 상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 선입 선출 방식으로 비교 분석함으로써 입장 고객의 성별 또는 연령별 실제 구매 정보를 분석할 수 있는 방법에 관한 것이다.
일반적으로 다양한 종류의 매장 등에서는 입장하는 다양한 고객 중 어떠한 고객이 실제 구매와 직접 연결되고 있는지 여부를 분석하고, 그러한 분석에 기초하여 마케팅을 수립 또는 변경하고자 하는 다양한 시도가 있어 왔다.
즉, 이와 같은 고객분석 시도는 예컨대, (1)실제 카운터의 매장 종업원이 고객의 구매 물품 계산 시 구매하는 고객의 연령/성별 정보를 직접 입력하여 구매 고객을 직접 데이터베이스화하는 방법, (2)각 연령/성별 선호 품목을 미리 선정하여 해당 품목 구매시 그 품목에 대응하는 연령/성별 구매로 추정하여 데이터베이스화하는 방법, (3)종업원 이외 별도 인원을 배치하여 구매 고객의 성별/연령 정보 등을 입력하게 하는 방법, (4)카드 결재시 해당 카드 정보와 연동되게 하여 실제 구매자의 정보를 획득하는 방법, (5)이벤트/경품행사 등을 통하여 구매 고객이 자신의 개인신상 정보를 직접 입력하게 하는 방법 등이 있었다.
그러나, 상기와 같은 종래의 고객정보 수집 방법은 (1)종업원의 마인드, 인간의 집중력 한계성 등에 기인하여 종업원에 의한 정확한 구매 고객의 정보 입력을 기대할 수 없는 한계가 있었고, 또는 (2)품목에 따라 고객정보 기준을 설정함에는 다양한 불확실성과 오차가 발생할 수 없는 한계가 있었고, 또는 (3) 별도 인원 배치로 인해 추가적 인건비가 발생함은 물론, 인간의 집중력 한계성에 기인하여 정확한 정보 입력을 기대할 수 없는 한계가 있었고, 또는 (4)해당 카드 정보를 이용하기 위한 카드 소유자 및/또는 카드 발급사의 사전 동의의 문제 및 실제 카드 사용자와 소유자가 달라 발생할 수 있는 정보 부정확의 문제가 있었고, (5)현실적으로 이벤트/경품행사 등에 참여하는 고객이 일부에 지나지 않음으로 인하여 객관적 고객 정보를 얻을 수 없다는 한계가 있었다.
이에, 본 발명자는 얼굴인식 기반의 분석 툴을 개발함과 동시에, 그러한 얼굴인식 기술에 기초하여 매장 운영 및 마케팅에서 가장 핵심적인, 다양한 입장고객 중 어떠한 성별 또는 연령의 고객이 실제 구매 고객으로 연결되어 매장의 매출 발생에 기여하는지 여부를 분석할 수 있고, 특히 개인의 프라이버시 및 신상 정보의 보안이 강화됨에 따라 실제 구매 고객의 얼굴이나 신상 정보를 전혀 저장하지 않으면서도 각각의 고객별로 추출가능한 프로메타데이터만을 분석하여 해당 고객의 연령과 성별을 도출하고, 그와 같이 도출된 연령과 성별로 구매 정보, 구매 경과 시간, 구매 시간, 구매 물품 정보 등을 데이터베이스화하여 마케팅 수립 또는 변경의 객관적 자료를 제공할 수 있는 방법 및 시스템은 개발하기에 이르른 것이다.
본 발명의 목적은 상기와 같은 종래의 문제점을 해소시키기 위한 것으로서, 얼굴인식기술을 이용하여 입장 고객과 구매 고객 각각의 성별과 연령을 정확히 도출할 수 있고, 나아가 입장 고객으로부터 도출한 성별/연령 정보와 구매 고객으로부터 도출한 성별/연령 정보를 선입 선출 방식으로 비교 분석함으로써 성별 또는 연령별로 입장 고객이 실제 구매로 어떻게 연결되는지에 대한 객관적 구매 고객 정보를 획득할 수 있는 방법 및 시스템을 제공하는 것에 있다.
또한, 본 발명의 목적은 계산지점에서 구매 물품을 계산하는 POS와 연동되도록 구성함으로써 고객 유형별 구매 금액, 구매 물품 등에 대한 구체적 구매 정보를 추가적으로 획득할 수 있고, 나아가 다수의 구역으로 설정된 매장 내부의 각 구역에 추가적인 카메라를 설치함으로써, 성별 또는 연령별 매장내 동선 또는 체류 시간을 분석할 수 있고, 그 결과 고객의 구매 패턴, 구매시간 및/또는 동선을 고려한 세부적 마케팅 전략을 수립할 수 있도록 하는 것에 있다.
상기와 같은 목적을 달성하기 위하여 본 발명은, 매장의 입장 지점에 설치된 카메라를 통하여 촬영된 입장 고객의 얼굴영역을 검출하는 단계;
촬영된 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계;
상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 도출하는 단계;
매장의 계산 지점에 설치된 카메라를 통하여 촬영된 고객을 구매 고객으로 추정하는 상태에서, 상기 계산 지점에 설치된 카메라를 통해 촬영된 구매 고객의 얼굴영역을 검출하고, 해당 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하며, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계;
상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 구매 고객의 성별/연령 정보를 도출하는 단계; 및
상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 비교 분석함으로써 입장 고객의 성별 또는 연령별 구매 정보를 제공하는 단계;를 포함하여, 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 있어서,
상기 얼굴영역을 검출하는 단계는 얼굴영역 인식의 범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A, 상기 A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B, 및 상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C로 이루어지고,
상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 비교 분석함으로써 입장 고객의 성별 또는 연령별 구매 정보를 제공하는 단계는, 적어도 2명 이상의 동일한 성별/연령의 고객이 입장 및 구매를 상이한 시간에 했을 경우, 먼저 입장한 고객이 먼저 구매한 것으로 판정하는 선입 선출 방식으로 이루어짐으로써, 다양한 성별/연령을 가진 입장 고객들 중 어떤 성별/연령대의 고객이 실제로 구매를 했는지 여부 및, 입장한 다음 구매까지 소요된 시간 정보를 정확히 분석하고, 입장 고객의 성별 또는 연령별 구매 정보를 제공하되, 고객의 촬영된 얼굴이나 신상정보를 저장 또는 제공하지 않으면서, 프로메타데이터로부터 추출된 고객의 성별 또는 연령 정보와, 그와 대응되는 구매 정보만을 저장 또는 제공하는 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법을 제공한다.
보다 바람직하게는, 매장 내부를 다수의 구역으로 설정하고, 각각의 구역에 추가적으로 카메라를 설치하고, 각각의 카메라를 통하여 촬영된 고객의 얼굴영역으로부터 프로메타데이터를 추출하여 해당 고객의 성별/연령 정보를 획득하고, 그 결과 성별 또는 연령별 매장내 동선을 분석함으로써, 성별 또는 연령별 매장내 특정 포인트 체류 평균시간 정보를 제공하는 단계를 추가 포함하는 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법을 제공한다.
본 발명에 의하면, 얼굴인식기술을 이용하여 입장 고객과 구매 고객 각각의 성별과 연령을 정확히 도출할 수 있고, 입장 고객으로부터 도출한 성별/연령 정보와 구매 고객으로부터 도출한 성별/연령 정보를 선입 선출 방식으로 비교 분석함으로써 성별 또는 연령별로 입장 고객이 실제 구매로 어떻게 연결되는지에 대한 객관적 구매 고객 정보를 획득할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 계산지점에서 구매 물품을 계산하는 POS와 연동되도록 구성함으로써 고객 유형별 구매 금액, 구매 물품 등에 대한 구체적 구매 정보를 추가적으로 획득할 수 있고, 나아가 다수의 구역으로 설정된 매장 내부의 각 구역에 추가적인 카메라를 설치함으로써, 성별 또는 연령별 매장내 동선 또는 체류 시간을 분석할 수 있고, 그 결과 고객의 구매 패턴, 구매시간 및/또는 동선을 고려한 세부적 마케팅 전략을 수립할 수 있는 효과가 있다. 예컨대, 고객의 구매 시간, 동선 및 체류시간 등을 고려하여 특정 구역에 특정 연령/성별에 적합한 상품을 배치하거나 또는 특정 연령/성별이 오랫동안 체류하는 구역에 그 해당 연령/성별이 선호하는 인테리어로 매장을 꾸미는 방법 등을 채택함으로써, 구매 고객의 구매 활성화를 촉진 내지 극대화할 수 있는 효과가 있다.
도 1은 본 발명에 따른 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 대한 흐름도이다.
도 2는 본 발명에 따른 매장 이용 고객에 대한 마케팅 정보를 제공하는 시스템에 대한 개념 구성도이다.
도 3은 본 발명에 따라 3차원으로 모델링화된 얼굴모델로부터 얼굴의 28개 특징점을 표시한 사진과 그 28개의 얼굴특징점을 3차원 좌표값으로 검출하여 개인 고유의 프로메타데이터를 추출하는 것을 나타내는 화면예시도이다.
도 4는 본 발명에 따라 도 3에서 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 표시하는 화면예시도이다.
도 2는 본 발명에 따른 매장 이용 고객에 대한 마케팅 정보를 제공하는 시스템에 대한 개념 구성도이다.
도 3은 본 발명에 따라 3차원으로 모델링화된 얼굴모델로부터 얼굴의 28개 특징점을 표시한 사진과 그 28개의 얼굴특징점을 3차원 좌표값으로 검출하여 개인 고유의 프로메타데이터를 추출하는 것을 나타내는 화면예시도이다.
도 4는 본 발명에 따라 도 3에서 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 표시하는 화면예시도이다.
이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 보다 상세히 설명한다.
도 1은 본 발명에 따른 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 대한 흐름도이고, 도 2는 본 발명에 따른 매장 이용 고객에 대한 마케팅 정보를 제공하는 시스템에 대한 개념 구성도이다.
본 발명은 도 1에 도시된 바와 같이 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 관한 것으로서, 본 발명의 방법은 매장의 입장 지점에 설치된 카메라를 통하여 촬영된 입장 고객의 얼굴영역을 검출하는 단계(S10), 해당 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계(S20), 상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 도출하는 단계(S30), 매장의 계산 지점에 설치된 카메라를 통하여 촬영된 고객을 구매 고객으로 추정하는 상태에서, 상기 계산 지점에 설치된 카메라를 통해 촬영된 구매 고객의 얼굴영역을 검출하는 단계(S40), 해당 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계(S50), 상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 구매 고객의 성별/연령 정보를 도출하는 단계(S60) 및 상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 선입 선출 방식으로 비교 분석함으로써 입장 고객의 성별 또는 연령별 구매 정보를 제공하는 단계(S70)로 이루어진다.
먼저, 본 발명에 따른 방법은 도 2에 도시된 바와 같이 매장의 입장 지점에 설치된 카메라(C1)에 의해 촬영된 영상물로부터 촬영된 입장 고객의 얼굴영역을 검출한다. 이와 같은 얼굴영역 검출 방법은 얼굴영역 인식의 최소범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A, 상기 A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B, 및 상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C로 이루어진다. 바람직하게는, 상기 A 단계에서 상기 얼굴영역 인식의 최소 범위를 30×30 픽셀 사이즈로 특정하고, 상기 B 단계에서 30×30 픽셀 사이즈에서 얼굴영역이 검출되지 않을 경우, 31×31 픽셀 사이즈, 32×32 픽셀 사이즈로 증가시켜가면서 얼굴 검출 동작을 반복 진행한다.
그 다음, 상기 검출된 해당 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계(S20)를 거치게 되는데, 이 단계(S20)는 도 3에 도시된 바와 같이 촬영된 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 프로메타데이터를 추출하도록 구성된다.
그 다음, 상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 도출하게 되는데(S30), 도 3에 도시된 프로메타데이터 추출 단계를 거쳐서 DB에 이미 누적 저장된 연령 또는 성별 프레메타데이터 패턴과 대비함으로써 도 4에 도시된 바와 같이 해당 고객의 성별/연령을 도출하게 되는 것이다.
그 다음, 매장의 계산 지점에서도 상기 매장의 입장 지점에서와 마찬가지로, 해당 매장의 계산 지점에 설치된 카메라를 통하여 촬영된 고객을 구매 고객으로 추정하는 상태에서 상기 계산 지점에 설치된 카메라를 통해 촬영된 구매 고객의 얼굴영역을 검출하고, 해당 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계 및 상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 구매 고객의 성별/연령 정보를 도출하는 단계를 거치게 된다.
그 결과, 상기 입장 지점에서 도출되는 입장 고객의 성별/연령 정보와 상기 구매 지점에서 도출되는 구매 고객의 성별/연령 정보를 선입 선출 방식으로 비교 분석함으로써 입장 고객의 성별 또는 연령별 구매 정보를 획득할 수 있다. 여기서, 선입 선출 방식이라 함은 적어도 2명 이상의 동일한 성별/연령의 고객이 입장 및 구매를 상이한 시간에 했을 경우 먼저 입장한 고객이 먼저 구매하였음을 의미하는 것이다. 이와 같은 선입 선출 방식으로 비교 분석함으로써 입장 고객의 성별 또는 연령별 구매 정보, 예컨대 다양한 성별/연령을 가진 입장 고객들 중 어떤 성별/연령대의 고객이 실제로 구매를 했는지 여부, 입장한 다음 구매까지 소요된 시간 정보 등을 정확히 분석할 수 있다. 그리고, 이와 같이 분석한 정보에 기초하여 연령별/성별/시간대별 구매 패턴 등에 대한 보고서를 작성 또는 발송되게 할 수 있음은 자명하다.
또한, 이 경우 고객의 촬영된 얼굴이나 신상정보를 저장하지 않으면서, 프로메타데이터로부터 추출된 고객의 성별 또는 연령 정보와, 그와 대응되는 구매 정보만을 저장하기에, 보안 및 개인의 프라이버시를 보호할 수 있는 장점이 있다.
본 발명의 다른 실시예에 의하면, 도 2에 도시된 바와 같이 매장 내부를 다수의 구역(ZONE)으로 설정하고, 각각의 구역에 추가적으로 카메라(C3)를 설치하고, 각각의 카메라를 통하여 촬영된 고객의 얼굴영역으로부터 프로메타데이터를 추출하여 해당 고객의 성별/연령 정보를 획득하고, 그 결과 성별 또는 연령별 매장내 동선을 분석함으로써, 성별 또는 연령별 매장내 특정 포인트 체류 평균시간 정보 등을 추가로 제공할 수 있다. 이 경우, 성별 또는 연령별 매장내 동선 또는 체류 시간 정보에 기초하여 고객의 구매 패턴, 구매시간 및/또는 동선을 고려한 세부적 마케팅 전략을 수립할 수 있는 효과가 있다. 예컨대, 고객의 구매 시간, 동선 및 체류시간 등을 고려하여 특정 구역에 특정 연령/성별에 적합한 상품을 배치하거나 또는 특정 연령/성별이 오랫동안 체류하는 구역에 그 해당 연령/성별이 선호하는 인테리어로 매장을 꾸미는 방법 등을 채택함으로써, 구매 고객의 구매 활성화를 촉진 내지 극대화할 수 있는 효과가 있다.
한편, 보다 바람직하게는 계산 지점에 설치된 매출기기(POS)에 본 발명의 시스템을 연동시킴으로써, 구매 고객의 성별/연령별 구매 물품 정보까지도 획득할 수 있다.
본 발명의 다른 실시예에 의하면, 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 시스템은 매장의 입장 지점에 설치되어 매장으로 입장하는 입장 고객을 촬영하는 제1 카메라, 매장의 계산 지점에 설치되어 실제 구매 고객을 촬영하는 제2 카메라 및 상기 제1 카메라 및 제2 카메라를 통하여 촬영된 입장 고객 및 구매 고객의 얼굴영역을 검출하고, 해당 얼굴영역에서 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하고, 상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객 및 구매 고객의 성별/연령 정보를 각각 도출하고, 상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 선입 선출 방식으로 비교 분석함으로써 입장 고객의 성별 또는 연령별 실제 구매 정보를 제공하는 얼굴인식 및 분석 모듈을 포함하고, 상기 프로메타데이터를 추출하는 과정은, 촬영된 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 프로메타데이터를 추출하도록 구성되고, 상기 입장 고객의 성별 또는 연령별 실제 구매 정보를 제공하는 과정은 고객의 촬영된 얼굴이나 신상정보를 저장 또는 제공하지 않으면서, 프로메타데이터로부터 추출된 고객의 성별 또는 연령 정보와, 그와 대응되는 구매 정보만을 저장 또는 제공하도록 구성될 수 있다.
바람직하게는, 상기 계산 지점에 상기 얼굴인식 및 분석 모듈과 연동되는 매출기기(POS)가 더 설치되고, 계산 지점에서 추출된 구매 고객의 성별/연령 정보와 그와 대응되는 구매물품 정보가 추가적으로 제공되도록 구성되고, 다수의 구역으로 설정된 매장 내부의 각 구역에 추가적으로 카메라가 설치되고, 각각의 카메라를 통하여 촬영된 고객의 얼굴영역으로부터 프로메타데이터를 추출하여 해당 고객의 성별/연령 정보를 획득하고, 그 결과 성별 또는 연령별 매장내 동선을 분석함으로써, 성별 또는 연령별 매장내 특정 포인트 체류 평균시간 정보가 제공되도록 구성될 수도 있다.
이와 같은 시스템은 상술한 본 발명에 따른 방법을 구체적으로 구현한 구성이기에, 여기서 상세한 설명은 생략하기로 한다.
본 발명은 상기에서 도면을 참조하여 특정 실시 예에 관련하여 상세히 설명하였지만 본 발명은 이와 같은 특정 구조에 한정되는 것은 아니다. 당 업계의 통상의 지식을 가진 자라면 이하의 특허청구범위에 기재된 본 발명의 기술 사상 및 권리범위를 벗어나지 않고서도 본 발명을 다양하게 수정 또는 변경시킬 수 있을 것이다. 따라서, 당업자들이 본 발명을 통해서 쉽게 구현할 수 있는 단순한 설계적 변경 내지 수정 또는 프로그램상의 작동 순서 변경 등은 모두 명백하게 본 발명의 권리범위 내에 속하게 됨을 미리 밝혀 두고자 한다.
본 발명에 따른 방법 및 시스템은 다양한 매장에 활용될 수 있는데, 여기서 매장이라 함은 대형/소형 단독점포, 프랜차이즈 가맹점 등은 물론이고, 관람시설 및 이벤트/행사장까지도 포함하는 광의의 개념으로 해석되어야 할 것이다.
예컨대, 단독점포 또는 프랜차이즈의 경우 점포/가맹점 입장 및 구매 고객의 연령/성별에 기초한 구매 정보를 분석하여 마케팅 방향 및 타겟 고객 선정 등에 활용할 수 있고, 관람시설의 경우 관람객 분석을 통한 주요 타겟 선정 및 프로모션 진행 등에 활용할 수 있고, 나아가 이벤트/행사장의 경우 행사장 입장 고객 등의 연령/성별 및 그 분포 등을 분석하여 마케팅 전략 수립 및 보완에 활용할 수 있다.
Claims (1)
- 얼굴인식 모듈 및 분석 모듈을 포함하는 마케팅 정보 제공 시스템을 이용하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 있어서,
매장의 입장 지점에 설치된 카메라를 통하여 촬영된 영상물로부터 입장 고객의 얼굴영역을 상기 얼굴인식 모듈에 의해 검출하는 단계;
상기 얼굴인식 모듈이 상기 촬영된 영상물의 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계;
상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 상기 분석 모듈에 의해 도출하는 단계;
매장의 계산 지점에 설치된 카메라를 통하여 촬영된 고객을 구매 고객으로 추정하는 상태에서, 상기 계산 지점에 설치된 카메라를 통해 촬영된 영상물로부터 구매 고객의 얼굴영역을 상기 얼굴인식 모듈에 의해 검출하고, 상기 얼굴인식 모듈은 해당 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하며, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계;
상기 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 구매 고객의 성별/연령 정보를 상기 분석 모듈에 의해 도출하는 단계; 및
상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 비교함으로써 입장 고객의 성별 또는 연령별 실제 구매 정보를, 상기 분석 모듈에 의해 제공하는 단계;를 포함하여, 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 있어서,
상기 얼굴영역을 검출하는 단계는 얼굴영역 인식의 범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A, 상기 A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B, 및 상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C로 이루어지고,
상기 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 비교 분석함으로써 입장 고객의 성별 또는 연령별 구매 정보를 제공하는 단계는, 적어도 2명 이상의 동일한 성별/연령의 고객이 입장 및 구매를 상이한 시간에 했을 경우, 먼저 입장한 고객이 먼저 구매한 것으로 판정하는 선입 선출 방식으로 이루어짐으로써, 다양한 성별/연령을 가진 입장 고객들 중 어떤 성별/연령대의 고객이 실제로 구매를 했는지 여부 및, 입장한 다음 구매까지 소요된 시간 정보를 분석하고, 입장 고객의 성별 또는 연령별 구매 정보를 제공하되, 고객의 촬영된 얼굴이나 신상정보를 저장 또는 제공하지 않으면서, 프로메타데이터로부터 추출된 고객의 성별 또는 연령 정보와, 그와 대응되는 구매 정보만을 저장 또는 제공하는 것임을 특징으로 하는 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140092830A KR20160011804A (ko) | 2014-07-22 | 2014-07-22 | 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140092830A KR20160011804A (ko) | 2014-07-22 | 2014-07-22 | 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160011804A true KR20160011804A (ko) | 2016-02-02 |
Family
ID=55354330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140092830A KR20160011804A (ko) | 2014-07-22 | 2014-07-22 | 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20160011804A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101716436B1 (ko) * | 2016-05-19 | 2017-03-14 | 최철식 | 판매관리 방법 |
| KR20190105314A (ko) | 2018-03-05 | 2019-09-17 | 주식회사 세중아이에스 | 소비자 객체 분석 시스템 |
| KR20200073519A (ko) | 2018-12-14 | 2020-06-24 | 주식회사 세중아이에스 | 독립형 객층 자동 분석 장치 및 방법 |
| KR20220068339A (ko) * | 2020-11-19 | 2022-05-26 | 주식회사 웨이플러스 | 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 |
| KR20220076760A (ko) * | 2020-12-01 | 2022-06-08 | 동의대학교 산학협력단 | 불특정인물의 얼굴 영역의 식별 정도에 따른 가림스티커 처리 시스템 |
| CN115223286A (zh) * | 2022-06-14 | 2022-10-21 | 潮趴部落(杭州)科技有限公司 | 一种客户特征感知的智能门框 |
-
2014
- 2014-07-22 KR KR1020140092830A patent/KR20160011804A/ko active IP Right Grant
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101716436B1 (ko) * | 2016-05-19 | 2017-03-14 | 최철식 | 판매관리 방법 |
| WO2017200195A1 (ko) * | 2016-05-19 | 2017-11-23 | 최철식 | 판매관리 방법 및 이를 위한 컴퓨터 프로그램 기록매체 |
| KR20190105314A (ko) | 2018-03-05 | 2019-09-17 | 주식회사 세중아이에스 | 소비자 객체 분석 시스템 |
| KR20200073519A (ko) | 2018-12-14 | 2020-06-24 | 주식회사 세중아이에스 | 독립형 객층 자동 분석 장치 및 방법 |
| KR20220068339A (ko) * | 2020-11-19 | 2022-05-26 | 주식회사 웨이플러스 | 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 |
| KR20220076760A (ko) * | 2020-12-01 | 2022-06-08 | 동의대학교 산학협력단 | 불특정인물의 얼굴 영역의 식별 정도에 따른 가림스티커 처리 시스템 |
| CN115223286A (zh) * | 2022-06-14 | 2022-10-21 | 潮趴部落(杭州)科技有限公司 | 一种客户特征感知的智能门框 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10290031B2 (en) | Method and system for automated retail checkout using context recognition | |
| KR20160011804A (ko) | 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법 | |
| US20230394558A1 (en) | Self-checkout system, purchased product management method, and purchased product management program | |
| JP7038543B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
| JP4069932B2 (ja) | 人間検知装置および人間検知方法 | |
| JP4717934B2 (ja) | 関係分析方法、関係分析プログラム、および、関係分析装置 | |
| US20140278742A1 (en) | Store-wide customer behavior analysis system using multiple sensors | |
| TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
| JP5439787B2 (ja) | カメラ装置 | |
| JP2006285409A (ja) | 店舗等における人数及び人流カウント方法並びにこれらを利用したインストアマーチャンダイジングの提言方法。 | |
| JP2011253344A (ja) | 購買行動分析装置、購買行動分析方法、およびプログラム | |
| JP2010002997A (ja) | 人物行動分析装置及び人物行動分析プログラム | |
| CN105608419A (zh) | 一种客流视频侦测分析系统 | |
| JP2004348618A (ja) | 顧客情報収集管理方法及びそのシステム | |
| JP2012088878A (ja) | 顧客優待管理システム | |
| JP6500374B2 (ja) | 画像処理装置及び画像処理プログラム | |
| CN109961472B (zh) | 3d热力图生成的方法、系统、存储介质及电子设备 | |
| JP2005309951A (ja) | 販売促進支援システム | |
| JP2017083980A (ja) | 行動分析装置及びシステム及び方法 | |
| WO2019181364A1 (ja) | 店舗管理装置および店舗管理方法 | |
| CN109074498A (zh) | 用于pos区域的访问者跟踪方法和系统 | |
| JP6593949B1 (ja) | 情報処理装置、及び、マーケティング活動支援装置 | |
| JP2017130061A (ja) | 画像処理システム、画像処理方法およびプログラム | |
| JP2023153148A (ja) | セルフレジシステム、購入商品管理方法および購入商品管理プログラム | |
| JP2014178909A (ja) | 商取引システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |