KR101779094B1 - 지능형 영상분석 기술을 이용한 통합 매장관리시스템 - Google Patents
지능형 영상분석 기술을 이용한 통합 매장관리시스템 Download PDFInfo
- Publication number
- KR101779094B1 KR101779094B1 KR1020160001525A KR20160001525A KR101779094B1 KR 101779094 B1 KR101779094 B1 KR 101779094B1 KR 1020160001525 A KR1020160001525 A KR 1020160001525A KR 20160001525 A KR20160001525 A KR 20160001525A KR 101779094 B1 KR101779094 B1 KR 101779094B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- store
- image
- customer
- unit
- Prior art date
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 76
- 238000005516 engineering process Methods 0.000 title claims abstract description 17
- 230000010354 integration Effects 0.000 title description 2
- 238000007726 management method Methods 0.000 claims description 93
- 238000004891 communication Methods 0.000 claims description 22
- 238000009825 accumulation Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 241000251468 Actinopterygii Species 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000001815 facial effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003749 cleanliness Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
- G06Q30/0226—Incentive systems for frequent usage, e.g. frequent flyer miles programs or point systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
본 발명은 지능형 영상분석 기술을 이용한 통합 매장관리시스템에 관한 것으로, 매장 내 영상을 수집 및 분석하는 지능형 영상분석 시스템을 포스단말기와 연동시켜 매장을 효율적으로 운영하기 위한 것이다.
이를 위하여 본 발명은 광고정보를 수신하여 디스플레이하면서 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버로 전송하는 제1영상 촬영부, 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버로 전송하는 제2영상 촬영부, 각 영상 촬영부에서 촬영된 방문객 영상정보를 실시간 수집 및 분석하여 방문객의 성별 및 연령대를 구분하고 성별 및 연령대에 따른 맞춤 광고를 제1영상 촬영부에 표출하면서 방문객의 시선을 추적하여 매장 내 표출중인 광고 또는 전시중인 상품의 위치에 얼마 동안 머무는지에 대한 수치화정보와 매장 내 시간대별 방문객수와 단골고객수, 및 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 각각 산출하여 단골고객 방문 확인시의 알림정보와 함께 매장 내 포스단말기에 표출하거나 관계자의 기등록된 스마트폰단말기에 전달하는 지능형 영상분석 및 매장 관리서버, 및 데이터베이스를 포함하여, 매장을 효율적으로 통합 운영 및 관리할 수 있게 한다.
이를 위하여 본 발명은 광고정보를 수신하여 디스플레이하면서 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버로 전송하는 제1영상 촬영부, 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버로 전송하는 제2영상 촬영부, 각 영상 촬영부에서 촬영된 방문객 영상정보를 실시간 수집 및 분석하여 방문객의 성별 및 연령대를 구분하고 성별 및 연령대에 따른 맞춤 광고를 제1영상 촬영부에 표출하면서 방문객의 시선을 추적하여 매장 내 표출중인 광고 또는 전시중인 상품의 위치에 얼마 동안 머무는지에 대한 수치화정보와 매장 내 시간대별 방문객수와 단골고객수, 및 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 각각 산출하여 단골고객 방문 확인시의 알림정보와 함께 매장 내 포스단말기에 표출하거나 관계자의 기등록된 스마트폰단말기에 전달하는 지능형 영상분석 및 매장 관리서버, 및 데이터베이스를 포함하여, 매장을 효율적으로 통합 운영 및 관리할 수 있게 한다.
Description
본 발명은 지능형 영상분석 기술을 이용한 통합 매장관리시스템에 관한 것으로, 보다 상세하게는 매장 내에 광고를 표출하는 다수 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 영상을 수집 및 분석할 수 있는 지능형 영상분석 시스템을 전문프렌차이즈 등의 매장 내 포스단말기와 연동시켜 운영함으로써, 매장 내의 방문객 분석정보를 이용하여 매장을 효율적으로 통합 운영 및 관리할 수 있는 지능형 영상분석 기술을 이용한 통합 매장관리시스템에 관한 것이다.
일반적으로 매장에는 POS(Point Of Sales) 단말기가 구비되어 매장의 운영 및 관리에 필요한 카드결제와 매출정산 및 재고관리 등을 위한 매장관리시스템이 구축되며, 이러한 매장 관리를 좀더 효율적으로 수행하기 위하여 많은 매장에서는 회원 등록을 통한 마일리지 누적이나 사은품 증정 등의 홍보전략을 도입하여, 고객카드의 발급과 구매에 따른 마일리지 누적, 그리고 상품의 구매리스트 등을 고객의 개인정보 등을 함께 기록하여 저장하게 된다.
이와 관련하여, 대한민국 공개특허 제10-2009-0000724호(2009.01.08 공개; 이하 '특허문헌1'이라 약칭함)에는, NFC 리더기가 탑재된 이동통신 단말기와 PAN 통신을 이용하여 매장 내에서 고객의 동선을 파악하거나 고객의 상품 구매에 따라 구매 포인트를 부여 및 관리하는 매장 관리 시스템 및 방법에 관한 기술이 공지되어 있다.
특허문헌1에 의하면, 기 구축된 이동통신망을 이용하여 매장의 회원이든 비회원이든 이동통신 단말기의 모든 가입자들에게 맞춤형 서비스를 제공할 수 있고, 고객의 상품 구매에 따라 이동통신망을 통해 구매 포인트를 부여 및 관리함으로써 별도의 포인트 제공 시스템과의 호환성을 제공할 수 있게 하였다.
또한 대한민국 공개특허 제10-2009-0111622호(2009.10.27 공개; 이하 '특허문헌2'이라 약칭함)에는, 매장을 방문하는 고객에게 다양한 종류의 마일리지와 정보를 제공할 수 있는 매장 관리시스템 및 그 구동방법에 관한 기술이 공지되어 있다.
특허문헌2에 의하면, 매장에 방문하는 고객에게 방문 마일리지, 구매 마일리지, 구역 마일리지 등의 다양한 종류의 마일리지를 제공하여 잠재적인 고객확보 및 매출액 향상을 기대할 수 있고, 고객의 특정 상품 및 서비스에 대한 선호도를 분석하여 특성화된 고객관리와 신속하고 효율적인 정보 제공이 가능하게 하였다.
또한, 대한민국 공개특허 제10-2011-0113922호(2011.10.19 공개; 이하 '특허문헌3'이라 약칭함)에는, 오프라인 매장을 이용한 상품 마케팅 관리 방법 및 관리 시스템에 관한 기술이 공지되어 있다.
특허문헌3에 의하면, 소비자의 접근이 용이한 오프라인 매장 내 설치된 광고수단을 이용하여 소비자의 구매의도를 생성하고 실제 광고상품에 대한 판매실적 발생 시 소비자와 오프라인 매장 및 판매점과의 중계역할을 진행하여, 소비자의 구매실적, 판매점의 판매실적 및 오프라인 매장의 매출실적을 함께 증대시킬 수 있게 하였다.
또한, 대한민국 공개특허 제10-2012-0070330호(2012.06.29 공개; 이하 '특허문헌4'이라 약칭함)에는, 관리가 용이하고 비용이 적게 소요되면서 소비자의 성향 및 위치에 따른 쇼핑 정보를 제공할 수 있는 쇼핑 시스템에 관한 기술이 공지되어 있다.
특허문헌4에 의하면, 휴대 단말로부터 RFID 태그 정보를 수신하여 고객의 매장 입장 또는 퇴장을 확인하고, 휴대 단말로부터 쇼핑 물품 리스트가 수신되면 쇼핑 물품 리스트를 위한 추천 쇼핑 동선에 대한 정보 및 매장 지도를 포함하는 쇼핑 정보를 휴대 단말에 제공하여, 소비자의 상품 구입 성향 및 소비 패턴 분석을 통해 효율적인 매장 관리가 가능하게 하였다.
한편, 일부 매장에는 매장 내 영상을 실시간 촬영하는 CCTV 등이 설치되어, CCTV 촬영 영상을 이용하여 매장 내에서 발생할 수 있는 도난, 좌석 유무, 매장 청결도, 또는 테이블 이동 등의 상황을 판단하면서 매장을 관리할 수 있게 하고 있다.
그러나 이와 같은 종래의 매장관리시스템은 POS 단말기와는 별도로 CCTV가 관리되고 운영되며, POS 단말기의 매출자료의 저장은 단순한 매출분석과 평가를 위한 자료의 누적이 대부분이고, CCTV에서 촬영된 영상정보도 POS 단말기의 매출자료와는 관계없이 단지 별도의 영상정보로만 저장하여 추후 분석시 참조되는 자료로만 활용되며, 또한 고객 관련 정보의 저장도 고객의 개인정보와 마일리지의 누적, 고객의 상품 구입 성향 및 패턴 분석만을 고려하여 별도로 저장되기 때문에 POS 단말기의 집계자료와 연계시켜 활용할 수 있는 방법은 구현되지 못하고 있었다.
따라서 본 발명은 상기의 문제점을 해결하기 위해 안출한 것으로, 본 발명은 매장 내 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 영상을 수집 및 분석하는 지능형 영상분석 시스템을 전문프렌차이즈 등의 매장 내 포스단말기와 연동시켜 운영함으로써, 매장 내의 방문객 분석정보를 이용한 포스단말기 매출정보의 비교, 방문객 맞춤광고의 표출, 주문 대기시간의 산출, 및 단골고객 방문 알림을 통해 매장을 효율적으로 통합 운영 및 관리할 수 있도록 한 지능형 영상분석 기술을 이용한 통합 매장관리시스템을 제공하고자 하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시 형태는, 매출정산 및 재고관리를 위한 포스단말기를 구비한 매장관리시스템에 있어서, 지능형 영상분석 및 매장 관리서버에서 광고정보를 수신하여 디스플레이하면서 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버로 전송하며 근거리 무선 통신으로 고객의 스마트폰 단말기에 쿠폰을 발행하거나 마일리지를 누적하는 제1영상 촬영부, 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버로 전송하는 제2영상 촬영부, 각 영상 촬영부에서 촬영된 방문객 영상정보를 실시간 수집 및 분석하여 방문객의 성별 및 연령대를 구분하고 성별 및 연령대에 따른 맞춤 광고를 제1영상 촬영부에 표출하면서 방문객의 시선을 추적하여 방문객의 시선 위치가 매장 내에서 표출중인 광고 또는 전시중인 상품의 위치에 얼마 동안 머무는지에 대한 수치화정보와 매장 내 시간대별 방문객수와 단골고객수, 및 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 각각 산출하여 단골고객 방문 확인시의 알림정보와 함께 매장 내 포스단말기에 표출하거나 관계자의 기등록된 스마트폰단말기에 전달하는 지능형 영상분석 및 매장 관리서버, 고객정보와 광고컨텐츠정보 및 포스단말기의 매출정산에 관련된 고객별 구매정보와 쿠폰정보와 마일리지정보를 저장하는 데이터베이스를 포함하여 구성되는 것을 특징으로 하는 지능형 영상분석 기술을 이용한 통합 매장관리시스템이다.
본 발명에 의하면, 매장 내 다수의 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 영상을 수집 및 분석할 수 있는 지능형 영상분석(얼굴 인식/움직임추적/객체카운팅) 시스템을 전문프렌차이즈 등의 매장 내 포스단말기와 연동시켜 매장 내 실시간 방문객수와 단골고객수를 카운트하고 매장 내 포스단말기의 매출정보와 비교 가능한 시간대별(시간별, 일별, 월별) 분석정보를 포스단말기 또는 관계자의 스마트폰 단말기에 제공할 수 있게 되므로, 매장의 운영 효율성을 향상시킬 수 있는 이점을 제공한다.
또한 본 발명에 의하면, 고객의 매장 내 광고 시청 여부를 정량적으로 파악하여 수치화하여 제공하게 되므로, 직원 또는 관계자로 하여금 매장 내 광고의 적정성 및 효율성을 판단할 수 있도록 하는 이점을 제공한다.
또한 본 발명은 결제 또는 주문을 위한 대기열의 주문 대기시간을 산출하여 제공함으로써 직원의 동선 결정 또는 충원 결정에 반영할 수 있게 하며, 아울러 단골고객 방문시 직원 또는 관계자에게 방문 알림 SMS 또는 SNS를 발송함으로써 새로운 직원이나 아르바이트 직원이 업무 중에도 쿠폰 발급 및 마일리지 적립 등의 단골고객 관련 업무 처리 및 응대를 신속하고 효율적으로 수행할 수 있게 하여, 매장 운영의 효율성을 향상시킬 수 있는 이점을 제공한다.
도 1은 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템의 전체적인 구성을 개략적으로 예시한 블록도이다.
도 2a와 도 2b는 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템에서 수행되는 얼굴 인식 및 시선파악과정을 설명하기 위하여 예시한 동작 흐름도이다.
도 3a와 도 3b는 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템에서 POS 단말기에 표출되는 메뉴화면 예시도이다.
도 4a 내지 도 4d는 본 발명에서 이루어지는 객체의 진행방향과 코의 위치를 이용한 객체 인식 및 시선 추적과정을 좀더 상세히 설명하기 위하여 예시한 참고도이다.
도 2a와 도 2b는 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템에서 수행되는 얼굴 인식 및 시선파악과정을 설명하기 위하여 예시한 동작 흐름도이다.
도 3a와 도 3b는 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템에서 POS 단말기에 표출되는 메뉴화면 예시도이다.
도 4a 내지 도 4d는 본 발명에서 이루어지는 객체의 진행방향과 코의 위치를 이용한 객체 인식 및 시선 추적과정을 좀더 상세히 설명하기 위하여 예시한 참고도이다.
이하, 본 발명에 의한 지능형 영상분석 기술을 이용한 통합 매장관리시스템의 전체적인 구성 및 동작을 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템의 전체적인 구성을 개략적으로 예시한 블록도이고, 도 2a와 도 2b는 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템에서 수행되는 얼굴 인식 및 시선파악과정을 설명하기 위하여 예시한 동작 흐름도이며, 도 3a와 도 3b는 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템에서 POS 단말기에 표출되는 메뉴화면 예시도이고, 도 4a 내지 도 4d는 본 발명에서 이루어지는 객체의 진행방향과 코의 위치를 이용한 객체 인식 및 시선 추적과정을 좀더 상세히 설명하기 위하여 예시한 참고도로서, 도면에 예시된 바와 같이 본 발명의 지능형 영상분석 기술을 이용한 통합 매장관리시스템은, 매장 내에 설치되는 제1영상 촬영부(30)와 제2영상 촬영부(40), 지능형 영상분석 및 매장 관리서버(100), 및 데이터베이스(200)로 구성될 수 있으며, 이러한 구성의 본 발명은 매출정산 및 재고관리 등을 위한 포스단말기(10)를 구비한 매장관리시스템에 적용되어 구현될 수 있다. 이때 포스단말기(10)에는 메뉴화면 상에 시간대별 매장 내 방문객수 및 단골고객수 정보를 간략하게 부가할 수 있는 부가메뉴(도 3a 참조)가 추가될 수 있으며, 이러한 부가메뉴로 표출되는 시간대별 매장 내 방문객수 및 단골고객수 정보는 예를 들면 시간별, 일별, 월별, 분기별, 연별 매장 방문객수 및 단골고객수를 각각 구분하여 구체적으로 표시할 수 있는 상세메뉴화면(상세정보: 도 3b 참조)이 부가메뉴 상의 버튼 입력에 따라 선택적으로 디스플레이되도록 설정될 수 있다.
제1영상 촬영부(30)는 광고 컨텐츠의 표출이 가능하고 유/무선 통신망을 통해 데이터 송수신이 가능한 태블릿 PC 등으로 구현될 수 있고, 화면을 통해 표출되는 광고를 매장 방문객이 용이하게 시청할 수 있는 위치 또는 매장 방문객의 영상을 웹캠으로 용이하게 촬영할 수 있는 위치에 설치되는 것이 바람직하며, 매장 내에 한 개 또는 다수 개가 구비될 수 있다. 이러한 제1영상 촬영부(30)는 영상정보 촬영을 위한 웹캠(31)과, 고객의 스마트폰 단말기(20)와의 비접촉 근거리 통신을 위한 근거리 무선통신부(32), 및 유선 또는 무선 통신망을 통한 지능형 영상분석 및 매장 관리서버(100)와의 데이터 송수신을 위한 유/무선 통신모듈부(33)를 포함하여, 통신망을 통해 지능형 영상분석 및 매장 관리서버(100)와 데이터 송수신 가능하게 연결되어 지능형 영상분석 및 매장 관리서버(100)에서 전달되는 광고 컨텐츠정보를 수신하여 화면으로 디스플레이하고, 매장 방문객의 영상정보를 웹캠(31)으로 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버(100)로 전송한다. 아울러 이러한 제1영상 촬영부(30)는 고객의 스마트폰 단말기(20)와의 근거리 무선통신을 통해 고객정보를 무선 수신하여 지능형 영상분석 및 매장 관리서버(100)로 전송하고 그에 대응하는 고객의 쿠폰정보 또는 마일리지정보를 지능형 영상분석 및 매장 관리서버(100)에서 실시간 수신하여 고객의 스마트폰단말기(20)로 쿠폰을 발행하거나 마일리지를 누적하고 그 결과에 따른 쿠폰 발행정보 또는 마일리지 누적정보를 지능형 영상분석 및 매장 관리서버(100)로 리턴시킨다.
제2영상 촬영부(40)는 매장 방문객의 영상정보를 실시간 촬영할 수 있는 CCTV 카메라로 구현될 수 있고, 매장 방문객의 영상을 용이하게 촬영할 수 있는 위치에 설치되는 것이 바람직하며, 매장 내에 한 개 또는 다수 개가 구비될 수 있다. 이러한 제2영상 촬영부(40)는 유선 또는 무선 통신망을 통한 지능형 영상분석 및 매장 관리서버(100)와의 데이터 송수신을 위한 유/무선 통신모듈을 포함하여, 통신망을 통해 지능형 영상분석 및 매장 관리서버(100)와 통신 가능하게 연결되어 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버(100)로 전송한다.
지능형 영상분석 및 매장 관리서버(100)는 각 영상 촬영부(30,40)에서 촬영된 방문객 영상정보를 실시간 수집 및 분석하여 방문객의 성별 및 연령대를 구분하고 성별 및 연령대에 따른 맞춤 광고를 제1영상 촬영부(30)에 표출하면서 방문객의 시선을 추적하여 방문객의 시선 위치가 매장 내에서 표출중인 광고 또는 전시중인 상품의 위치에 얼마 동안 머무는지에 대한 수치화정보와 매장 내 시간대별 방문객수와 단골고객수, 및 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 각각 산출하여 단골고객 방문 확인시의 알림정보와 함께 매장 내 포스단말기에 표출하거나 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 전달한다.
이를 위하여 지능형 영상분석 및 매장 관리서버(100)는 영상 수집부(110), 영상 분석부(120), 광고 제어부(130), 광고시청량 수치화부(140), 리워드 관리부(150), 대기시간 산출부(160), 단골고객 방문 알림부(170), 포스단말기 메뉴 관리부(180), 및 매니저 관리부(190)를 포함하여 구성될 수 있다.
영상 수집부(110)는 통신망을 통해 각 영상 촬영부(30,40)와 연결되어 각 영상 촬영부(30,40)에서 촬영되는 매장 내 방문객 영상정보를 유선 또는 무선 통신망을 통해 실시간 수집한다.
영상 분석부(120)는 영상 수집부(110)에서 수집된 방문객 영상정보의 실시간 영상 프레임을 획득하여 영상 프레임 간의 차이가 미리 설정된 임계치 이하인 영상 프레임에 대해 영상정보에 포함된 객체의 얼굴영역을 검출하며, 검출된 객체의 얼굴영역에서 얼굴 여부를 인식하여 방문객수를 카운트하고 인식된 얼굴과 데이터베이스의 고객 영상정보와의 얼굴 매칭을 통해 객체를 인식하여 방문객의 성별과 연령대를 구분하고 단골고객 여부 확인과 단골고객수를 카운트하며, 상기 카운트된 방문객수와 단골고객수를 이용하여 시간별/일별/월별/분기별/연별 매장 내 방문객수와 단골고객수를 각각 구분하여 산출하고, 포스단말기에 표출할 단골 고객정보를 확정한다. 여기서 영상 분석부(120)는 도 2a의 동작 흐름도에 예시된 바와 같이, 얼굴 인식을 위한 변수들의 초기화(S121)를 수행한 후 enhanced face detection 기술을 사용하여 다수 개의 각도 테스트(예를 들면 원래의 영상으로부터 5, 10, 15, 20, 25, 30 degree 각각 회전)를 거쳐 다수 개의 영상 프레임을 획득(S122)함으로써, 획득된 얼굴 사진의 각도가 크거나 방해물이 있을 때에도 얼굴 검출이 가능하도록 하고, 이후 영상 프레임간의 차이가 임계치보다 크지 않은 영상 프레임들에 대해 adaboost(Adaptive Boosting) 얼굴 검출 알고리즘을 적용(S123,S124)하여 영상 프레임에서 얼굴 영역이 검출되는지를 확인(S125)한다. 이때 얼굴 영역이 검출되는 영상 프레임에 대해 탬플릿 매칭 알고리즘을 적용하여 얼굴 여부를 인식하고 방문객수 카운트값을 증가(S126)시키며, 이후 데이터베이스의 고객정보를 엑세스(S127)하여 그것을 기준으로 얼굴 매칭 여부를 판단(S128)하여, 얼굴 매칭된 경우 영상 프레임에 포함된 객체를 단골 고객으로 인식하여 단골고객수 카운트값을 증가(S129)시키고, 상기 카운트된 방문객수와 단골고객수를 이용하여 시간별/일별/월별/분기별/연별 등의 시간대별 매장 내 방문객수와 단골고객수를 각각 구분하여 산출하고, 포스단말기에 표출할 단골 고객정보를 확정(S130)한다. 특히 탬플릿 매칭 알고리즘에서는 검출된 얼굴 영역의 영상을 데이터베이스에 기저장되어 있는 고객의 얼굴 영상과 비교하여 가장 유사한 얼굴 영상을 매칭시키는 방법을 사용하게 되며, 얼굴 중에서도 눈과 입 및 코의 위치 및 크기를 정확하게 분석하여 기 저장되어 있는 얼굴 사진과 비교한다.
또한 영상 분석부(120)는 매장 내 방문객의 영상 분석정보로부터 객체의 몸체 움직임을 추적하여 얼굴을 추적하고 머리의 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치를 추적하며 얼굴 영역 내에서 추적된 코의 위치좌표로 매장 내 표출 중인 광고 또는 전시 상품의 위치에 대한 객체의 시선위치를 파악하고 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치(고정)되는지의 여부를 확인하여 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 시간 동안의 시간정보(객체의 시선위치 고정시간정보)를 카운트하여 산출한다. 여기서 매장 내 표출중인 광고 또는 전시 상품의 각 위치정보는 사전에 미리 위치좌표값으로 등록 및 관리되는 값일 수 있다. 여기서 영상 분석부(120)는 도 2b의 동작 흐름도에 예시된 바와 같이, 매장 내 방문객의 영상정보로부터 획득한 실시간 영상 프레임(도 4a 참조)에서 객체의 몸체와 얼굴(도 4c 및 도 4d 참조)을 추적(S141,S142)하고, 추적된 얼굴 영역 내 영상에서의 머리 움직임을 추적(S143) 및 분석(S144)하여 도 4c의 정면 얼굴 좌표(c1)(또는 도 4d의 정면 얼굴 영상(f1))의 코의 위치를 중심으로 각 방향 얼굴(도 4c의 (c2) 내지 (c10), 또는 도 4d의 (f2) 내지 (f10) 참조)에 대한 코의 위치좌표를 추적(S145)하며, 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선이 머무는 위치(객체의 시선위치)를 파악(S146)하여, 매장 내 표출중인 광고 또는 전시 상품의 위치에 대한 객체의 시선위치가 일치(고정)되는지의 여부를 확인(S147)하여 광고 또는 전시 상품의 위치와 일치된 객체의 시선위치가 고정되는 시간정보(객체의 시선위치 고정시간정보)를 카운트하여 산출(S148)한다.
광고 제어부(130)는 영상 분석부(120)에서 파악된 객체의 성별(남/녀 여부)과 연령대 정보에 따라 그에 대응하는 광고 컨텐츠를 데이터베이스(200)의 광고 컨텐츠 정보에서 추출하여 제1영상 촬영부(30)에 전송함으로써, 매장 내 방문객 맞춤형 광고를 표출할 수 있게 한다.
광고시청량 수치화부(140)는 영상 분석부(120)에서 산출된 광고 또는 상품 위치에 대한 객체의 시선위치 고정시간정보를 확인하여, 객체의 시선이 표출중인 광고 또는 전시중인 상품을 얼마 동안 어느 정도 보는지에 따른 객체의 광고 또는 상품 시청량을 정량적으로 수치화한다.
리워드 관리부(150)는 제1영상 촬영부(30)에서 전송되는 고객의 스마트폰 단말기(20) 정보에 대응하는 고객의 쿠폰정보 및 마일리지정보를 데이터베이스(200)의 고객정보에서 검색하여 제1영상 촬영부(30)로 리턴시키고, 아울러 제1영상 촬영부(30)에서 고객의 스마트폰 단말기(20)에 처리된 쿠폰 발행 또는 마일리지 누적에 따른 결과 정보를 수신하여 데이터베이스(200)의 고객별 쿠폰 발행정보 또는 마일리지 누적정보로 갱신 저장한다.
대기시간 산출부(160)는 영상 수집부(110)에서 수집된 방문객 영상정보를 분석하여 매장 내 주문 또는 결제를 위한 대기열에 포함된 객체 수를 카운트하고, 대기중인 객체 수에 미리 설정된 시간정보(예를 들면 매장 내 주문과 결제를 위해 필요한 객체당 평균 소요시간값일 수 있음)를 반영하여 대기열에 대한 실시간 대기시간값을 산출한다.
단골고객 방문 알림부(170)는 영상 분석부(120)에서 파악된 객체의 단골고객 확정정보를 확인하여 해당 고객 관련정보, 예를 들면 단골고객의 방문을 알리는 알림정보, 또는 단골고객의 기존 구매관련정보와 해당 고객의 방문을 알리는 알림정보를 매장 내 포스단말기(10)에 표출하거나 또는 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 SMS 또는 SNS로 전달한다.
포스단말기 메뉴 관리부(180)는 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보를 확인하여 매장 내 포스단말기(10)에 전송하고 포스단말기(10)의 매출정산화면 일측에, 예를 들면 도 3a에 예시된 바와 같이 포스단말기(10)의 실시간 매출정산정보와 함께 간략보기 정보로 시간대별 매장 내 방문객수와 단골고객수 정보를 표출하도록 포스단말기의 메뉴를 관리하며, 아울러 매출정산화면 상에서 포스단말기 담당 직원 또는 관계자에 의한 상세보기 버튼(예를 들면 화면 상의 'GY 시스템' 버튼) 클릭시 도 3b에 예시된 바와 같이 시간대별로 구분된 방문객수 및 단골고객수 정보를 구체적으로 표출하도록 포스 단말기의 메뉴를 관리한다.
매니저 관리부(190)는 포스단말기(10)의 실시간 매출정보를 수집하여 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보 및 대기시간 산출부(160)에서 산출된 대기열의 실시간 대기시간정보와 함께 기등록된 관계자의 스마트폰 단말기(50)에 전송한다.
데이터베이스(200)는 포스단말기(10) 및 지능형 영상분석 및 매장 관리서버(100)를 통해 등록되는 고객정보와 광고 컨텐츠정보, 및 포스단말기(10)에서 처리되는 매출정산에 관련된 고객별 구매정보와 쿠폰정보와 마일리지정보, 제1영상 촬영부(30)에서 처리되고 리턴되는 고객별 쿠폰 발행정보 및 마일리지 누적정보를 저장한다.
이상과 같이 구성되는 본 발명에 따른 지능형 영상분석 기술을 이용한 통합 매장관리시스템의 동작 및 그에 의한 작용 효과를 설명하면 다음과 같다.
먼저, 태블릿 PC로 구성된 제1영상 촬영부(30)는 지능형 영상분석 및 매장 관리서버(100)에서 전달되는 광고 컨텐츠 정보를 수신하여 화면으로 디스플레이하여 매장 방문객이 시청할 수 있게 하면서 웹캠(31)으로 매장 방문객의 영상을 실시간 촬영하여 무선 전송하며, 아울러 CCTV 카메라로 구성된 제2영상 촬영부(40)는 매장 방문객의 영상정보를 실시간 촬영하여 유/무선 통신모듈을 통해 지능형 영상분석 및 매장 관리서버(100)로 전송한다.
따라서 지능형 영상분석 및 매장 관리서버(100)에서는 각 영상 촬영부(30,40)에서 촬영 및 전송되는 매장 내 방문객의 영상정보를 영상 수집부(110)를 통해 실시간 수집하고, 영상 분석부(120)를 통해 방문객 영상정보의 실시간 영상 프레임을 획득(S121,S122)하여 영상정보에 포함된 객체의 얼굴영역을 검출(S123-S125)하며, 검출된 객체의 얼굴영역에서 얼굴 여부를 인식하여 방문객수를 카운트(S126)하고, 인식된 얼굴과 데이터베이스(200)의 고객 영상정보와의 얼굴 매칭을 통해 객체를 인식하여 방문객의 성별과 연령대를 구분하고 단골고객 여부 확인과 단골고객수를 카운트(S127-S129)하며, 상기 카운트 결과로부터 시간별/일별/월별/분기별/연별 매장 내 방문객수와 단골고객수를 각각 구분하여 산출하고 포스단말기(10)에 표출할 단골 고객정보를 확정(S130)한다.
다음으로 지능형 영상분석 및 매장 관리서버(100)에서는 영상 분석부(120)를 통해 획득된 매장 내 방문객의 영상 분석정보로부터 객체의 몸체와 얼굴을 추적(S141,S142)하고, 머리의 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치를 추적(S143-S145)하며, 사전에 미리 등록된 매장 내 표출 중인 광고 또는 전시 상품의 위치좌표에 대한 객체의 시선위치를 얼굴 영역 내에서 추적된 코의 위치좌표로 파악(S146)하고 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치(고정)되는지의 여부를 확인(S147)하여 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 시간 동안의 시간정보(객체의 시선위치 고정시간정보)를 카운트하여 산출(S147,S148)한다.
다음으로 지능형 영상분석 및 매장 관리서버(100)에서는 광고 제어부(130)를 제어하여, 상기 영상 분석부(120)에서 파악된 객체의 성별(남/녀 여부)과 연령대 정보에 따라 그에 대응하는 광고 컨텐츠를 데이터베이스(200)의 광고 컨텐츠 정보에서 추출하고, 제1영상 촬영부(30)에 전송함으로써, 매장 내 방문객 맞춤형 광고를 표출할 수 있게 한다.
아울러 지능형 영상분석 및 매장 관리서버(100)에서는 광고시청량 수치화부(140)를 통해 상기 영상 분석부(120)에서 산출된 광고 또는 상품 위치에 대한 객체의 시선위치 고정시간정보를 확인하고, 객체의 시선이 표출중인 광고 또는 전시중인 상품을 얼마 동안 어느 정도 보는지에 따른 객체의 광고 또는 상품 시청량을 정량적으로 수치화하며, 또한 지능형 영상분석 및 매장 관리서버(100)에서는 대기시간 산출부(160)를 통해 영상 수집부(110)에서 수집된 방문객 영상정보를 분석하여 매장 내 주문 또는 결제를 위한 대기열에 포함된 객체 수를 카운트하고, 대기중인 객체 수에 매장 내 주문과 결제를 위해 필요한 객체당 평균 소요시간값 등을 반영하여 대기열에 대한 실시간 대기시간값을 산출하며, 아울러 지능형 영상분석 및 매장 관리서버(100)에서는 단골고객 방문 알림부(170)를 통해 영상 분석부(120)에서 파악된 객체의 단골고객 확정정보를 확인하여 해당 단골고객의 방문을 알리는 알림정보, 또는 단골고객의 기존 구매관련정보와 해당 고객의 방문을 알리는 알림정보를 매장 내 포스단말기(10)에 표출하거나 또는 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 SMS 또는 SNS로 전달한다.
마지막으로 지능형 영상분석 및 매장 관리서버(100)에서는 포스단말기 메뉴 관리부(180)를 통해, 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보를 확인하여 매장 내 포스단말기(10)에 전송하고, 아울러 포스단말기(10)의 매출정산화면 일측에, 포스단말기(10)의 실시간 매출정산정보와 함께 간략보기 정보로 시간대별 매장 내 방문객수와 단골고객수 정보를 표출하도록 포스단말기의 메뉴를 제어하며, 아울러 매출정산화면 상에서 포스단말기 담당 직원 또는 관계자에 의한 상세보기 버튼(예를 들면 화면 상의 'GY 시스템' 버튼 등) 클릭시 시간대별로 구분된 방문객수 및 단골고객수 정보를 구체적으로 표출하도록 포스 단말기의 메뉴를 제어한다.
또한 지능형 영상분석 및 매장 관리서버(100)에서는 매니저 관리부(190)를 통해 포스단말기(10)의 실시간 매출정보를 수집하여 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보 및 대기시간 산출부(160)에서 산출된 대기열의 실시간 대기시간정보와 함께 기등록된 관계자의 스마트폰 단말기(50)에 전송한다.
한편, 제1영상 촬영부(30)가 고객의 스마트폰 단말기(20)와의 비접촉 근거리 무선통신으로 고객정보를 획득하여 무선 전송하게 되면, 지능형 영상분석 및 매장 관리서버(100)에서는 해당 고객정보를 실시간 수신하여 리워드 관리부(150)를 통해 그에 대응하는 고객의 쿠폰정보 또는 마일리지정보를 데이터베이스(200)에서 조회하여 제1영상 촬영부(30)로 리턴시키게 되며, 지능형 영상분석 및 매장 관리서버(100)에서 해당 고객의 쿠폰정보 또는 마일리지정보를 실시간 리턴받은 제1영상 촬영부(30)는 고객의 스마트폰단말기(20)로 해당 쿠폰을 발행하거나 마일리지를 누적하고, 그 결과에 따른 쿠폰 발행정보 또는 마일리지 누적정보를 지능형 영상분석 및 매장 관리서버(100)로 리턴시킨다. 이후 지능형 영상분석 및 매장 관리서버(100)는 리워드 관리부(150)를 통해 제1영상 촬영부(30)에서 고객의 스마트폰 단말기(20)에 처리된 쿠폰 발행 또는 마일리지 누적에 따른 결과 정보를 수신하여 데이터베이스(200)의 고객별 쿠폰 발행정보 또는 마일리지 누적정보로 갱신 저장한다.
이로써 본 발명의 통합 매장관리시스템에서는 각 영상 촬영부(30,40)에서 촬영된 영상정보를 지능형 영상분석 및 매장 관리서버(100)가 실시간 수집 및 분석하여 객체의 안면 인식과 움직임 추적 및 카운팅을 통해 영상정보에 포함된 객체의 남/녀 구분 및 연령대를 파악하고 그에 따라 매장 내 제1영상 촬영부(30)에 맞춤광고를 표출할 수 있게 되며, 아울러 객체의 안면과 몸체를 추적하고 머리 움직임의 추적 및 분석을 통해 객체의 눈을 식별하여 객체의 시선위치를 파악하여 표출중인 광고 또는 전시중인 상품에 대한 객체의 시선 고정여부 및 시선 고정시간에 따른 광고 또는 상품 시청량을 수치화할 수 있게 된다.
또한 본 발명의 통합 매장관리시스템에서는 지능형 영상분석 및 매장 관리서버(100)가 제1영상 촬영부(30)에서 전송되는 고객의 스마트폰 단말기(20)의 정보에 대응하는 고객의 쿠폰정보 및 마일리지정보를 고객 데이터베이스(200)에서 검색하여 리턴시키고, 객체 카운팅을 통해 매장 내 방문객수와 단골고객수를 시간대별(시간별/일별/월별/분기별/연별)로 각각 구분하여 카운트하며, 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 산출하여 제공할 수 있게 된다. 이로써 매장 내 관계자는 포스단말기에서 제공하는 매출정산정보와 매장 내 방문객수 및 단골고객수를손쉽게 비교할 수 있게 되므로, 매장을 효율적으로 관리할 수 있게 한다.
또한 본 발명의 통합 매장관리시스템에서는 지능형 영상분석 및 매장 관리서버(100)가 데이터베이스(200)에 기저장된 고객정보를 기초로 단골고객 방문여부를 판단하여 단골고객 방문 확인시 단골고객의 방문을 알리는 알림정보, 또는 단골고객의 구매관련정보와 해당 고객의 방문을 알리는 알림정보를 매장 내 포스단말기(10)에 표출하거나 또는 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 SMS 또는 SNS로 전달하며, 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보를 매장 내 포스단말기(10)에 전송하여 표출하고, 포스단말기(10)의 매출정보를 수집하여 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보 및 대기열의 실시간 대기시간정보와 함께 기등록된 관계자의 스마트폰 단말기(50)에 전송할 수 있게 된다.
이상과 같은 본 발명은, 매장 내 다수의 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 영상을 수집 및 분석할 수 있는 지능형 영상분석(얼굴 인식/움직임추적/객체카운팅) 시스템을 전문프렌차이즈 등의 매장 내 포스단말기와 연동시켜 매장 내 실시간 방문객수와 단골고객수를 카운트하고 매장 내 포스단말기의 매출정보와 비교 가능한 시간대별(시간별, 일별, 월별, 연별) 분석정보를 포스단말기 또는 관계자의 스마트폰 단말기에 제공할 수 있게 되므로, 직원 또는 매장 관리자로 하여금 매장 운영에 따른 장점 및 단점, 또는 매출 부진의 원인파악이나 분석, 고객의 응대 또는 관리의 효율성 등을 보다 효율적으로 비교하고 판단할 수 있게 하는 이점이 있다.
또한 본 발명에 의하면, 고객의 매장 내 광고 시청 여부를 정량적으로 파악하여 수치화하여 제공하게 되므로, 직원 또는 관계자로 하여금 매장 내 광고 컨텐츠의 적정성이나 정량적인 효과 등을 용이하게 판단할 수 있게 하는 이점이 있다.
또한 본 발명은 결제 또는 주문을 위한 대기열의 주문 대기시간을 산출하여 제공함으로써 직원의 동선 결정 또는 충원 결정에 반영할 수 있게 하는 이점이 있으며, 아울러 단골고객 방문시 직원 또는 관계자에게 방문 알림 SMS 또는 SNS를 발송함으로써 새로운 직원이나 아르바이트 직원이 업무 중에도 쿠폰 발급 및 마일리지 적립 등의 단골고객 관련 업무 처리 및 응대를 신속하고 효율적으로 수행할 수 있게 하여, 매장 운영의 효율성을 향상시킬 수 있는 이점이 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 포스 단말기 20 : 고객 스마트폰 단말기
30 : 제1영상 촬영부 31 : 웹캠
32 : 근거리 무선통신부 33 : 유선 또는 무선 통신 모듈부
40 : 제2영상 촬영부 50 : 관계자 스마트폰단말기
100 : 지능형 영상분석 및 매장 관리서버
110 : 영상 수집부 120 : 영상 분석부
130 : 광고 제어부 140 : 광고시청량 수치화부
150 : 리워드 관리부 160 : 대기시간 산출부
170 : 단골고객 방문 알림부 180 : 포스단말기 메뉴 관리부
190 : 매니저 관리부 200 : 데이터베이스
30 : 제1영상 촬영부 31 : 웹캠
32 : 근거리 무선통신부 33 : 유선 또는 무선 통신 모듈부
40 : 제2영상 촬영부 50 : 관계자 스마트폰단말기
100 : 지능형 영상분석 및 매장 관리서버
110 : 영상 수집부 120 : 영상 분석부
130 : 광고 제어부 140 : 광고시청량 수치화부
150 : 리워드 관리부 160 : 대기시간 산출부
170 : 단골고객 방문 알림부 180 : 포스단말기 메뉴 관리부
190 : 매니저 관리부 200 : 데이터베이스
Claims (7)
- 매출정산 및 재고관리 등을 위한 포스단말기(10)를 구비한 매장관리시스템에 있어서,
영상정보를 촬영하기 위해 매장 내에 다수 개가 구비되는 웹캠(31)과, 스마트폰 단말기(20)와의 비접촉 근거리 통신을 위한 근거리 무선통신부(32), 및 유선 또는 무선 통신망을 통해 지능형 영상분석 및 매장 관리서버(100)와 데이터 송수신을 수행하는 유/무선 통신모듈부(33)를 포함하여, 유/무선 통신모듈부(33)를 통해 지능형 영상분석 및 매장 관리서버에서 광고정보를 수신하여 디스플레이하면서 웹캠(31)으로 실시간 촬영되는 매장 방문객의 영상정보를 수집하여 지능형 영상분석 및 매장 관리서버로 전송하며, 근거리 무선통신부(32)를 통해 고객의 근접 스마트폰단말기(20)의 고객정보를 무선 수신하여 지능형 영상분석 및 매장 관리서버(100)로 전송하고 그에 대응하는 고객의 쿠폰정보 또는 마일리지정보를 지능형 영상분석 및 매장 관리서버(100)에서 수신하여 해당 고객의 스마트폰 단말기(20)에 쿠폰을 발행하거나 마일리지를 누적하면서 그 결과에 따른 쿠폰 발행정보 또는 마일리지 누적정보를 지능형 영상분석 및 매장 관리서버(100)로 리턴시키는 태블릿 피시로 구성되는 제1영상 촬영부(30);
매장 내에 다수 개가 구비되며 유선 또는 무선 통신망을 통해 지능형 영상분석 및 매장 관리서버(100)와 통신 가능하게 연결되어 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버로 전송하는 CCTV 카메라로 구성되는 제2영상 촬영부(40);
상기 각 영상 촬영부에서 촬영된 방문객 영상정보를 실시간 수집 및 분석하여 방문객의 성별 및 연령대를 구분하고 성별 및 연령대에 따른 맞춤 광고를 제1영상 촬영부에 표출하면서 방문객의 시선을 추적하여 방문객의 시선 위치가 매장 내에서 표출중인 광고 또는 전시중인 상품의 위치에 얼마 동안 머무는지에 대한 수치화정보와 매장 내 시간대별 방문객수와 단골고객수, 및 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 각각 산출하여 단 골고객 방문 확인시의 알림정보와 함께 매장 내 포스단말기(10)에 표출하거나 관계자의 기등록된 스마트폰단말기(50)에 전달하는 지능형 영상분석 및 매장 관리서버(100); 및,
고객정보와 광고컨텐츠정보 및 포스단말기의 매출정산에 관련된 고객별 구매정보와 쿠폰정보와 마일리지정보 및 제1영상 촬영부(30)에서 처리후 리턴되는 고객별 쿠폰 발행정보 및 마일리지 누적정보를 저장하는 데이터베이스(200);를 포함하여 구성되며,
상기 지능형 영상분석 및 매장 관리서버(100)는,
유선 또는 무선 통신망을 통해 상기 각 영상 촬영부(30,40)로부터 방문객 영상정보를 실시간 수집하는 영상 수집부(110);
상기 영상 수집부(110)에서 수집된 방문객 영상정보를 분석하여 영상정보에 포함된 객체의 얼굴을 검출하고, 검출된 객체의 얼굴 인식과 움직임 추적 및 객체 수의 카운팅을 통해 객체의 성별과 연령대 및 단골고객 여부를 파악하여 매장 내 방문객수와 단골고객수를 시간대별로 각각 구분하여 카운트하는 영상 분석부(120);
상기 영상 분석부(120)에 의해 파악된 객체의 성별 및 연령대에 따라 그에 대응하는 광고 컨텐츠를 데이터베이스(200)에서 추출하여 상기 제1영상 촬영부(30)에 전송하여, 제1영상 촬영부(30)에 매장 내 방문객 맞춤형 광고를 표출할 수 있게 제어하는 광고 제어부(130);
상기 영상 분석부(120)에서 산출된 광고 또는 상품 위치에 대한 객체의 시선위치 고정시간정보를 확인하여, 객체의 시선이 표출중인 광고 또는 전시중인 상품을 얼마 동안 어느 정도 보는지에 따른 객체의 광고 또는 상품 시청량을 정량적으로 수치화하는 광고시청량 수치화부(140);
상기 제1영상 촬영부(30)에서 전송되는 고객의 스마트폰 단말기 정보에 대응하는 고객의 쿠폰정보 및 마일리지정보를 데이터베이스(200)의 고객정보에서 검색하여 리턴시키고, 상기 제1영상 촬영부(30)에서 고객의 스마트폰 단말기(20)에 처리된 쿠폰 발행 또는 마일리지 누적에 따른 결과 정보를 수신하여 데이터베이스(200)에 갱신 저장하는 리워드 관리부(150);
영상 수집부(110)에서 수집된 방문객 영상정보를 분석하여 매장 내 주문과 결제를 위한 대기열에 포함된 객체 수를 카운트하고, 대기중인 객체 수에 미리 설정된 시간정보를 반영하여 실시간 대기시간값을 산출하는 대기시간 산출부(160);
상기 영상 분석부(120)에서 파악된 객체의 단골고객 여부를 확인하여 단골고객의 방문을 알리는 알림정보, 또는 단골고객의 기존 구매관련정보와 해당 고객의 방문을 알리는 알림정보를 매장 내 포스단말기(10)에 표출하거나 또는 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 SMS 또는 SNS로 전달하는 단골고객 방문 알림부(170);
상기 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보를 매장 내 포스단말기(10)에 전송하여 포스단말기(10)의 메뉴 화면으로 실시간 매출정산정보와 함께 표출하는 포스단말기 메뉴 관리부(180); 및
상기 포스단말기(10)의 실시간 매출정보를 수집하여 상기 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보 및 상기 대기시간 산출부(160)에서 산출된 대기열의 실시간 대기시간정보와 함께 기등록된 관계자의 스마트폰 단말기(50)에 전송하는 매니저 관리부(190);를 포함하여 구성되고,
상기 영상 분석부(120)는,
수집된 영상에 대해 enhanced face detection 기술을 우선 적용하여 다수 개의 각도 테스트를 거쳐 얼굴 사진의 각도가 크거나 방해물이 있을 때에도 얼굴 검출이 가능한 다수 개의 영상 프레임을 획득하고,
상기 획득된 영상 프레임간의 차이가 임계치보다 작은 영상 프레임들에 대해 adaboost(Adaptive Boosting) 얼굴 검출 알고리즘을 적용하여 영상 프레임에서 얼굴 영역이 검출되는지를 확인하되, 상기 얼굴 영역이 검출되는 영상 프레임에 대해 탬플릿 매칭 알고리즘을 적용하여 얼굴 여부 인식 및 방문객수를 카운트하고, 데이터베이스의 고객정보를 기준으로 얼굴 매칭 여부를 판단하여 방문객의 성별 및 연령대의 구분과 단골 고객 확인 및 단골 고객수를 카운트하며, 상기 방문객수 및 단골 고객수의 카운트 결과로부터 시간별/일별/월별/분기별/연별 매장 내 방문객수와 단골고객수를 각각 구분하여 산출하고 포스단말기에 표출할 단골고객정보를 확정하는 것을 특징으로 하는 지능형 영상분석 기술을 이용한 통합 매장관리시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160001525A KR101779094B1 (ko) | 2016-01-06 | 2016-01-06 | 지능형 영상분석 기술을 이용한 통합 매장관리시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160001525A KR101779094B1 (ko) | 2016-01-06 | 2016-01-06 | 지능형 영상분석 기술을 이용한 통합 매장관리시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170082294A KR20170082294A (ko) | 2017-07-14 |
| KR101779094B1 true KR101779094B1 (ko) | 2017-09-18 |
Family
ID=59358637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160001525A KR101779094B1 (ko) | 2016-01-06 | 2016-01-06 | 지능형 영상분석 기술을 이용한 통합 매장관리시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101779094B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102151880B1 (ko) | 2019-07-15 | 2020-09-03 | 방석찬 | 골프장 전동 카트를 이용한 광고 시스템 및 이에 적합한 광고 방법 |
| KR20200106795A (ko) | 2019-03-05 | 2020-09-15 | 롯데정보통신 주식회사 | 매장 관리 시스템 및 방법 |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102300176B1 (ko) * | 2017-08-16 | 2021-09-08 | 트라이큐빅스 인크. | 구매행위 인식 시스템 및 그 방법 |
| KR101988639B1 (ko) * | 2017-09-20 | 2019-09-30 | 주식회사 엘토브 | 음식점 예약 시스템 및 방법 |
| KR102077630B1 (ko) * | 2017-11-17 | 2020-04-02 | 주식회사 아이티빌리지 | Pos 및 영상 기반의 상권 분석 시스템 및 방법 |
| KR101888922B1 (ko) * | 2017-12-18 | 2018-08-16 | 주식회사 디너의여왕 | 매장용 고객 관리 및 고객 행동 분석 시스템 |
| KR102117824B1 (ko) * | 2018-04-25 | 2020-06-03 | (주)우퍼디자인 | 안면인식 로봇을 이용한 고객관리 시스템 |
| KR101962363B1 (ko) * | 2018-07-05 | 2019-03-26 | 주식회사딜루션 | 사용자들의 행동 패턴을 기반으로 하는 마케팅 정보를 제공하는 어플리케이션을 운용하는 장치 및 그 방법 |
| KR102157536B1 (ko) * | 2018-08-21 | 2020-09-18 | 유한회사 하존솔루션 | 안면 인식을 사용한 샵앤샵 고객 관리 시스템 및 방법 |
| KR102165868B1 (ko) * | 2018-11-20 | 2020-10-15 | 동국대학교 산학협력단 | 소비자의 물품을 자동으로 분류해주는 시스템 및 방법 |
| KR102077805B1 (ko) * | 2018-11-26 | 2020-02-14 | (주)에이텐시스템 | 다중 센서를 이용한 구매 행동 패턴 분석 장치 및 이의 동작방법 |
| US11282102B2 (en) | 2019-03-08 | 2022-03-22 | Sang Hyun Shin | Method for providing rewards based on consumption of contents and apparatus thereof |
| KR102374861B1 (ko) * | 2019-05-07 | 2022-03-17 | 주식회사 엘토브 | O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법 |
| KR102312499B1 (ko) * | 2019-07-30 | 2021-10-14 | (주)트라이큐빅스코리아 | 오프라인 가상 제품 진열 매장에서 가상 제품 쇼핑 방법 및 그 시스템 |
| KR102299080B1 (ko) * | 2019-12-24 | 2021-09-07 | 유한회사 하존솔루션 | 고객 이미지 인식 기반 샵앤샵 통합 운영 시스템 |
| KR102250504B1 (ko) * | 2020-03-19 | 2021-05-11 | (주)엑스엠디 | 다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템 |
| KR102381484B1 (ko) * | 2020-04-23 | 2022-03-31 | 인제대학교 산학협력단 | 주문 중계 사업자의 주문 및 배달 제어를 위한 방법과 시스템 |
| KR102381483B1 (ko) * | 2020-04-23 | 2022-03-31 | 인제대학교 산학협력단 | 매장 내 고객 정보 수집 및 분석을 위한 방법과 시스템 |
| TR202007771A2 (tr) * | 2020-05-18 | 2021-11-22 | V Count Teknoloji Anonim Sirketi | Müşteri̇ ve çalişan hareketleri̇ni̇n taki̇p edi̇lmesi̇ni̇ sağlayan bi̇r elektroni̇k ci̇haz |
| KR102390103B1 (ko) * | 2020-07-01 | 2022-04-25 | 배강태 | 광고 시청시간 산출시스템 및 이의 운용방법 |
| WO2022054983A1 (ko) * | 2020-09-09 | 2022-03-17 | 엘지전자 주식회사 | 연합 학습 기반의 오프라인 매장에서의 제품 추천 방법 및 장치 |
| KR102486222B1 (ko) * | 2020-10-23 | 2023-01-10 | 스페이스뱅크 주식회사 | 소비자 행동 데이터 기반의 비대면 체험형 마케팅 플랫폼 시스템 |
| KR102333143B1 (ko) * | 2021-03-15 | 2021-12-02 | 다인스 주식회사 | 무인 계수 서비스 제공 시스템 |
| KR102403053B1 (ko) * | 2022-02-11 | 2022-05-30 | 송지을 | Cctv 영상 내 아바타 생성 시스템 |
| KR102671855B1 (ko) * | 2023-01-20 | 2024-06-03 | (주)커넥 | 장정맥 인증 프로세스 기반의 서비스를 제공하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 |
| CN118365423A (zh) * | 2024-05-15 | 2024-07-19 | 天天向上(北京)网络科技有限公司 | 一种智慧电商业务数据中台管理系统 |
| CN118629137A (zh) * | 2024-08-08 | 2024-09-10 | 江苏蓝盾智能科技有限公司 | 一种面向人工智能的门禁监控系统 |
-
2016
- 2016-01-06 KR KR1020160001525A patent/KR101779094B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200106795A (ko) | 2019-03-05 | 2020-09-15 | 롯데정보통신 주식회사 | 매장 관리 시스템 및 방법 |
| KR102151880B1 (ko) | 2019-07-15 | 2020-09-03 | 방석찬 | 골프장 전동 카트를 이용한 광고 시스템 및 이에 적합한 광고 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170082294A (ko) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101779094B1 (ko) | 지능형 영상분석 기술을 이용한 통합 매장관리시스템 | |
| KR101779096B1 (ko) | 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 | |
| CN107291732B (zh) | 一种信息推送方法及装置 | |
| CN109726759B (zh) | 无人售货方法、装置、系统、电子设备及计算机可读介质 | |
| JP7038543B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
| US20110199486A1 (en) | Customer behavior recording device, customer behavior recording method, and recording medium | |
| JP5866559B2 (ja) | コンピュータシステムおよび店内通路を管理する方法 | |
| US11810067B2 (en) | Digitally managed shelf space marketplace | |
| US20130030875A1 (en) | System and method for site abnormality recording and notification | |
| US20190147228A1 (en) | System and method for human emotion and identity detection | |
| TW201833844A (zh) | 訂單資訊確定方法和裝置 | |
| JP7357244B2 (ja) | 店舗利用情報配信装置及びこれを備えた店舗利用情報配信システム並びに店舗利用情報配信方法 | |
| US20130328765A1 (en) | Signage system and display method by the same | |
| US20220092597A1 (en) | Frictionless and unassisted return processing | |
| JP7490988B2 (ja) | クーポン発行装置、方法、及び、プログラム | |
| US12033190B2 (en) | System and method for content recognition and data categorization | |
| AU2017231602A1 (en) | Method and system for visitor tracking at a POS area | |
| US11854068B2 (en) | Frictionless inquiry processing | |
| KR102077630B1 (ko) | Pos 및 영상 기반의 상권 분석 시스템 및 방법 | |
| CN115760298A (zh) | 基于人脸识别和rfid技术的服装智慧门店系统及操作方法 | |
| WO2022023831A1 (en) | Smart display application with potential to exhibit collected outdoor information content using iot and ai platforms | |
| KR102612284B1 (ko) | 카트레일을 이용한 자동결제 서비스 제공 방법 및 시스템 | |
| KR20230053269A (ko) | 고객의 이동 및 행동을 추적하고 예측하는 결제 시스템 | |
| US20170236151A1 (en) | Systems, devices, and methods of providing targeted advertising | |
| TWM488698U (zh) | 智慧型影像式顧客分析系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |