KR20240044162A - 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템 - Google Patents
자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템 Download PDFInfo
- Publication number
- KR20240044162A KR20240044162A KR1020220123602A KR20220123602A KR20240044162A KR 20240044162 A KR20240044162 A KR 20240044162A KR 1020220123602 A KR1020220123602 A KR 1020220123602A KR 20220123602 A KR20220123602 A KR 20220123602A KR 20240044162 A KR20240044162 A KR 20240044162A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- intelligent
- customer
- image
- unmanned store
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 82
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 30
- 238000001931 thermography Methods 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 31
- 238000001514 detection method Methods 0.000 description 25
- 230000033001 locomotion Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000007613 environmental effect Effects 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000032443 Masked facies Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000014214 soft drink Nutrition 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템에 관한 것이다. 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 무인매장에 촬영된 카메라 영상을 분석하여 사람 객체, 사람 객체 관련 이벤트 및 고객 성향 관련 이벤트를 검출하고, 이를 메타 데이터로 변환하며, 검출된 사람 객체를 식별하여 식별된 고객에게 개인화된 정보를 제공하는 지능형 엣지 및 통신망을 통해 상기 지능형 엣지로부터 수신한 상기 메타 데이터 및 상기 보안 카메라 영상, 상기 열화상 카메라 영상 및 상기 내장 카메라 영상 중 하나의 영상 클립 또는 스냅샷을 이용하여 고객 성향을 분석하며 상기 지능형 엣지에서 사람 객체 관련 이벤트 및 고객 성향 관련 이벤트를 검출하는 인공지능 모델을 학습시키는 클라우드 플랫폼을 포함할 수 있다.
Description
본 발명은 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템에 관한 것이다.
2017년 미국의 오프라인 기반 대형 유통기업들이 대거 폐점하고 파산보호를 신청하는 사태가 지속되면서 가시화된 '리테일 아포칼립스'는 2020년 코로나19 팬데믹으로 인한 사회적 거리두기 등 비대면 거래 요구가 증가함에 따라 가속화되고 있다. 스마트폰과 비대면 문화에 익숙한 'MZ세대'와 온라인 거래에 비교적 익숙하지 않고 사용 빈도도 높지 않았던 고령층 소비자들도 온라인 거래로 확대됨에 따라 유통 경로뿐 아니라 소비 품목에서도 거대한 변화가 시작되는 뉴노말 시대로 전환중이다.
국내의 경우 국토가 넓지 않은 지리적 이점으로 인한 배송 및 물류 인프라 기술발달로 온라인 쇼핑이 빠르게 발전 중이다. 특히, 최근 오프라인 유통 시장의 연평균 성장률이 둔화하는 추세로 국내 대형 유통기업을 중심으로 무인화 및 비대면 서비스 등이 현실화되고 있다. 2025년까지 4천개 이상 설치예정인 스마트슈퍼는 낮에는 유인, 심야에는 무인 운영되는 하이브리드 무인매장이다. 무인매장은 무인 출입장비, 무인 계산대, 보안시스템 등 스마트 기술·장비도입과 디지털 경영을 기반으로 운영되고 있다.
수많은 유통기업이 유통업계 내 구조적인 변화에 직면해 힘든 시간을 보내고 있지만 이런 변화를 빠르게 포착하고 적극적으로 대응해 생존한 유통기업도 있으며, 빠르게 디지털 인프라를 도입하고 소비 트렌드 분석을 통해 온·오프라인 소비자의 고객 경험을 강화한 유통기업들은 생존을 넘어 빠르게 성장 중이다.
본 발명은 영상 데이터를 통해 인공지능 딥러닝을 활용하여 위치별, 상황별 정확도 높은 모니터링 시스템을 제공하고 위험예측정보를 제공하고자 한다.
노동집약적 육안점검에 의한 관리방법에서 각종 시스템 중심의 과학적 관리체계로 전환하기 위하여, 다양한 관제 환경에서 인공지능을 기반으로 디지털트윈, 감시카메라, 환경센서 등 타 시스템과 연계하여 통합 관리할 수 있는 플랫폼 구축한다.
본 발명의 일측면에 따르면, 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템이 제공된다. 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 무인매장에 촬영된 카메라 영상을 분석하여 사람 객체, 사람 객체 관련 이벤트 및 고객 성향 관련 이벤트를 검출하고, 이를 메타 데이터로 변환하며, 검출된 사람 객체를 식별하여 식별된 고객에게 개인화된 정보를 제공하는 지능형 엣지 및 통신망을 통해 상기 지능형 엣지로부터 수신한 상기 메타 데이터 및 상기 보안 카메라 영상, 상기 열화상 카메라 영상 및 상기 내장 카메라 영상 중 하나의 영상 클립 또는 스냅샷을 이용하여 고객 성향을 분석하며 상기 지능형 엣지에서 사람 객체 관련 이벤트 및 고객 성향 관련 이벤트를 검출하는 인공지능 모델을 학습시키는 클라우드 플랫폼을 포함할 수 있다.
일 실시예로, 상기 클라우드 플랫폼은 상기 지능형 엣지를 관리하고, 상기 지능형 엣지로부터 수신한 메타 데이터, 영상 클립 및 스냅샷 중 하나 또는 이들의 조합을 분류하는 지능형 영상분석 플랫폼, 상기 지능형 영상분석 플랫폼이 제공한 상기 고객 성향 관련 이벤트에 대한 상기 메타 데이터, 상기 영상 클립 및 상기 스냅샷 중 하나 또는 이들의 조합을 분석하여 고객 성향을 생성하는 고객 성향 분석 플랫폼 및 상기 지능형 영상분석 플랫폼이 제공한 상기 영상 클립 및 상기 스냅샷 중 하나 또는 이들의 조합을 이용하여 상기 인공지능 모델을 학습시키는 데이터 파이프라인을 포함할 수 있다.
일 실시예로, 상기 지능형 영상분석 플랫폼은 카테고리별로 상기 영상 클립 또는 상기 스냅샷에 스코어를 부여하여, 상기 카테고리별로 설정된 기준 스코어 이하의 상기 영상 클립 또는 상기 스냅샷을 학습 데이터로 선택하며, 상기 데이터 파이프라인은 상기 학습 데이터에서 검출된 사람 객체의 얼굴을 블러 처리한 후 상기 인공지능 모델을 학습시킬 수 있다.
일 실시예로, 상기 카메라 영상은 상기 무인매장을 촬영하는 보안 카메라 및 열화상 카메라, 및 상품 진열 공간에 설치되어 상기 고객의 시선을 추적하는 내장 카메라를 포함할 수 있다.
일 실시예로, 상기 보안 카메라와 상기 열화상 카메라를 동일한 영역을 촬영하여 상기 보안 카메라 영상 및 상기 열화상 영상을 각각 출력하며, 상기 지능형 엣지는 상기 상기 보안 카메라 영상 및 상기 열화상 영상을 호모그래피 기법으로 융합하여 객체를 검출할 수 있다.
일 실시예로, 상기 카메라 영상은 이동하면서 상품 진열 공간을 촬영하는 이동 카메라가 출력한 이동 카메라 영상을 더 포함할 수 있다.
일 실시예로, 상기 개인화된 정보는 상기 무인매장에 설치된 시각 표시 장치를 통해 상기 식별된 고객에게 전달될 수 있다.
일 실시예로, 상기 개인화된 정보는 상품의 진열 위치까지의 경로일 수 있다.
본 발명의 실시예에 따르면, 영상 데이터를 통해 인공지능 딥러닝을 활용하여 위치별, 상황별 정확도 높은 모니터링 시스템을 제공하고 위험예측정보를 제공할 수 있다.
또한, 노동집약적 육안점검에 의한 관리방법에서 각종 시스템 중심의 과학적 관리체계로 전환하기 위하여, 다양한 관제 환경에서 인공지능을 기반으로 디지털트윈, 감시카메라, 환경센서 등 타 시스템과 연계하여 통합 관리할 수 있다.
이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템을 예시적으로 설명하기 위한 도면이다.
도 2는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템의 지능형 엣지를 기능적으로 도시한 도면이다.
도 3은 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템의 클라우드 플랫폼을 기능적으로 도시한 도면이다.
도 4는 클라우드 플랫폼의 데이터 파이프라인을 기능적으로 도시한 도면이다.
도 5는 보안 카메라 영상과 열화상 카메라 영상을 융합하는 과정을 예시적으로 도시한 도면이다.
도 6은 무인매장 내에서 고객 성향 정보를 획득하는 과정을 예시적을 도시한 도면이다.
도 7은 무인매장 내에서 개인화된 정보를 고객에게 제공하는 과정을 예시적으로 도시한 도면이다.
도 1은 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템을 예시적으로 설명하기 위한 도면이다.
도 2는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템의 지능형 엣지를 기능적으로 도시한 도면이다.
도 3은 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템의 클라우드 플랫폼을 기능적으로 도시한 도면이다.
도 4는 클라우드 플랫폼의 데이터 파이프라인을 기능적으로 도시한 도면이다.
도 5는 보안 카메라 영상과 열화상 카메라 영상을 융합하는 과정을 예시적으로 도시한 도면이다.
도 6은 무인매장 내에서 고객 성향 정보를 획득하는 과정을 예시적을 도시한 도면이다.
도 7은 무인매장 내에서 개인화된 정보를 고객에게 제공하는 과정을 예시적으로 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다. 한편, 첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다.
도 1은 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템을 예시적으로 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 무인매장 및 하이브리드 무인매장에서 발생하는 화재, 침입, 도난, 장기 체류 등 사고를 인공지능 기반 영상분석을 통해 실시간으로 관제하고, 조기 대응 시스템을 제공함으로써, 효율적인 무인매장 관리를 가능하게 한다. 상세하게, 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 비정형 데이터인 영상 및/또는 센서데이터를 인공지능 딥러닝으로 분석하여 위치별, 환경정보별 정확도 높은 모니터링 시스템을 제공하고 위험예측정보를 제공할 수 있다. 그리고, 노동집약적 육안점검에 의한 관리방법에서 각종 시스템 중심의 과학적 관리체계로 전환하기 위하여, 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 다양한 관제 환경에서 인공지능을 기반으로 디지털트윈, 감시카메라, 환경센서 등 타 시스템과 연계하여 통합 관리할 수 있다. 특히, 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 인공지능 위험예측서비스와 연계하여 위험예측정보를 위험상황에 따라 분류하고 상황별 재난사고 조기대응 및 관리를 위한 조기대응서비스 제공할 수 있다.
한편, 본 발명의 일 실시예에 따른 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 오프라인 매장을 소비자 데이터 수집 공간으로 기능 확장시킬 수 있다. 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 방문객 비율, 쇼핑 동선, 판매기 체류시간, 구매 전환율 등 센싱을 통한 정확한 소비자 분석 데이터 획득할 수 있다. 이로부터 고객 패턴 및 성향 예측 및 개인화된 상품, 서비스 제공이 가능해질 수 있다.
본 발명의 일 실시예에 따른 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 무인매장 내부에서 발생한 사람 객체 및 사람 객체 관련 이벤트를 검출하는 지능형 엣지(100) 및 클라우드에 구축되며 지능형 엣지(100)가 검출한 이벤트를 분석하는 클라우드 플랫폼(200)으로 구성될 수 있다. 보안 카메라(10)가 촬영한 영상을 클라우드 플랫폼(200)으로 전송하는 대신에, 지능형 엣지(100)는 인공지능 모델에 따라 검출한 사람 객체 및 사람 객체 관련 이벤트 중 어느 하나 또는 모두를 메타 데이터로 변환하여 클라우드 플랫폼(200)으로 전송한다. 이를 통해 데이터 트래픽이 크게 감소할 수 있다. 추가적으로 지능형 엣지(100)는 화재 이벤트 및 고객의 시선 이벤트를 메타 데이터로 변환하여 클라우드 플랫폼(200)으로 전송한다.
클라우드 플랫폼(200)과 동일한 기능을 갖는 서버를 무인매장에 설치하는 경우(이하 구축형 서버)와 비교할 때, 클라우드 플랫폼(200)은 상대적으로 적은 비용으로 이용이 가능하다. 카메라(10)와 지속적으로 연동하며, 분석을 위해 영상을 저장하여야 하므로, 구축형 서버는 상대적으로 많은 초기 비용을 필요로 하지만 월 사용료를 지불할 필요는 없다. 그러나 설치 후 유지 보수가 지속적으로 필요하여 이는 많은 비용을 필요로 한다. 이에 반해, 클라우드 플랫폼(200)의 경우, 초기 비용이 상대적으로 적다. 구축형 서버에 비해 월사용료를 지불하여야 하지만, 구축형 서버의 초기 비용과 유지 보수 비용을 고려할 때 상대적으로 저렴하다. 데이터 트래픽량에 따라 과금하는 클라우드의 과금 정책을 감안할 때, 메타 데이터는 영상, 객체 또는 이벤트에 연관된 정보를 포함하면서도 영상에 비해 거의 무시할 수 있는 수준의 트래픽을 유발하기 때문이다. 특히 클라우드 플랫폼(200)은 사용자 측면에서 유지 보수할 필요가 없는 장점을 가지고 있다.
도 1을 참조하면, 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템이 적용된 무인매장 또는 하이브리드 무인매장이 예시되어 있다.
보안 카메라(10)는 안전 또는 보안 목적으로 특정 영역(이하 감시 영역)을 촬영하여 보안 카메라 영상을 출력하고, 내장 카메라(11)는 고객을 촬영하여 내장 카메라 영상을 출력하며, 열화상 카메라(12)는 화재 발생을 감지하는 열화상 카메라 영상을 출력한다. 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템은 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 통해 실시간 안전 관리, 고객 식별, 고객 성향 분석을 수행할 수 있다.
실시간 안전 관리에 관련해서, 지능형 엣지(100)는 보안 카메라 영상 및/또는 내장 카메라 영상에서 사람 객체(16, 17)를 검출하도록 학습된다. 한편, 지능형 엣지(100)는 내장 카메라 영상에서 사람의 시선을 추적할 수 있다. 추가적으로 지능형 엣지(100)는 사람 객체(16, 17)를 추적하여 쇼핑 동선을 파악할 수 있으며, 특히, 사람 객체 관련 이벤트 발생을 검출하도록 학습될 수 있다. 예를 들어, 매장 바닥에 누워있는 사람(17)이 검출되면, 지능형 엣지(100)는 이상 행위로 판단하여 필요한 조치(예를 들어, 119 신고)를 취할 수 있다. 지능형 엣지(100)가 학습을 통해 검출할 수 있는 사람 객체 관련 이벤트는 다음 표에 예시되어 있다.
| 이벤트 분류 | 설명 |
| 피플카운팅 및 혼잡도 | 특정 구역을 출입하는 인원에 대한 카운팅 및 일정 인원 이상 출입에 의한 혼잡도 검출 |
| 침입 | 무단침입, 불법 침입 또는 출입 금지 구역에 비인가자가 출입하는 순간 검출 |
| 체류 | 검출된 객체가 일정 시간 같은 자리에서 계속 검출될 때 체류 상황으로 판단 |
| 배회 | 사람 객체 검출 후 특정 이벤트 없이 일정 시간 이상 배회, 서성거림 등 의심스러운 행동 검출 |
| 유기 | 검출된 사람 객체로부터 분리된 새로운 객체 검출 |
| 쓰러짐 | 걷다가 또는 서 있다가 바닥으로 쓰러지는 행동으로 머리가 바닥에 닿았을 때 쓰러짐으로 검출 |
| 얼굴인식 및 검출 | 카메라 영상에서 사람의 얼굴을 인식하고 얼굴 특징점(FFV)을 추출하는 기능 |
| 유사도 분석 | 카메라 영상에서 검출된 얼굴의 특징점과 DB에 저장된 얼굴DB와 유사도를 비교하여 인가/비인가자를 검출 |
추가적으로, 지능형 엣지(100)는 보안 카메라 영상 및/또는 열화상 카메라 영상을 분석하여 영상 안전에 관련된 이벤트 발생을 검출하도록 학습될 수 있다. 지능형 엣지(100)가 학습하여 검출할 수 있는 안전 관련 이벤트는 다음 표에 예시되어 있다.
| 이벤트 분류 | 설명 |
| 파손 | 카메라 영상에서 건물 일부의 형태가 변형된 상태를 검출 |
| 화재 | 카메라 영상에서 불꽃이나 연기가 검지됐을 때 검출 |
추가적으로 또는 선택적으로, 지능형 엣지(100)는 실내 환경에 영향을 미치는 환경 변수를 측정하는 센서로부터 측정 데이터를 수신하며 이를 클라우드 플랫폼(200)으로 전송할 수 있다. 측정 데이터는 환경 센서의 측정 값 및 측정한 환경 변수를 식별할 수 있는 정보를 포함할 수 있다. 환경 변수는, 예를 들어, 온도, 습도, 조도, 가스 농도, 미세먼지 농도 등 일 수 있다. 환경 변수는 공간별로 측정될 수 있으며, 클라우드 플랫폼(200)은 측정 데이터에 따라 건물 설비를 제어할 수 있다. 사람 객체 및 사람 객체 이벤트 검출과 달리, 지능형 엣지(100)는 측정 데이터를 분석 없이 그대로 클라우드 플랫폼(200)으로 전송할 수도 있다. 지능형 엣지(100)는 클라우드 플랫폼(200)으로부터의 제어 명령을 실내 환경을 조절하는 건물 설비로 전달하는 라우터 역할을 할 수 있다.고객 식별 및 고객 성향 분석에 관련해서, 지능형 엣지(100)는 보안 카메라 영상 및/또는 내장 카메라 영상을 통해 고객을 인식 또는 재인식하며, 고객 성향 관련 이벤트를 검출할 수 있다. 지능형 엣지(100)는 보안 카메라 영상 및/또는 내장 카메라 영상에서 얼굴을 인식하며, 인식된 얼굴에서 특징점을 추출한다. 얼굴 인식된 고객은 쇼핑 동선 및/또는 시선을 추적할 수 있으며, 그 결과로 생성된 시선 이벤트는 단독으로 또는 구매 상품에 관한 정보와 결합하여 고객 성향을 분석하는데 이용될 수 있다. 예를 들어, 무인매장 출입구에 설치된 출입 통제 장치(13)는 매장에 입장하고자 하는 고객의 얼굴을 촬영하여, 최초 고객과 재방문 고객을 식별할 수 있도록 한다. 최초 고객이 인증 또는 결제 수단(신분증, 신용카드, 스마트폰으로 전송된 1회용 QR코드 등)과 함께 얼굴을 등록하면, 이후 재방문시 인증/결제 수단을 제시하지 않아도 입장할 수 있다.
| 이벤트 분류 | 설명 |
| 얼굴인식 및 검출 | 제1 내지 제2 영상에서 사람의 얼굴을 인식하고 얼굴 특징점(FFV)을 추출 |
| 유사도 분석 | 제1 내지 제2 영상에서 검출된 얼굴의 특징점과 DB에 저장된 얼굴DB와 유사도를 비교하여 인가/비인가자를 검출 |
| 나이/성별 추정 | 제1 내지 제2 영상에서 검출된 얼굴의 특정부분(눈, 입, 코, 주름 등)의 특징을 사용하여 성별과 나이를 추정 |
| 얼굴 마스킹 | 제1 내지 제2 영상에서 검출된 얼굴 영역에 대하여 Image Blurring |
| 마스크 미착용자 검출 | 제1 내지 제2 영상에서 마스크 쓴 얼굴과 일반 얼굴을 검출 |
한편, 재방문 고객에 대해서, 지능형 엣지(100)는 개인화된 정보를 제공할 수 있다. 무인매장에 설치된 키오스크(14), POS(15)는 식별된 고객에게 맞춤형 상품을 추천하거나 주로 구입하는 상품의 위치를 제공할 수 있다. 예를 들어, 지능형 엣지(100)는 구매 빈도가 상대적으로 높은 상품의 진열 위치 또는 고객 성향에 근거할 때 구매 가능성이 높은 상품에 관한 정보를 키오스크(14), POS(15) 등에 표시할 수 있다.
도 2는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템의 지능형 엣지를 기능적으로 도시한 도면이다.
보안 카메라(10)는 2차원 영상 또는 3차원 영상을 생성하는 CCTV, IP 카메라 등을 포함하며, 고정식 카메라, PTZ(Pan-Tlit-Zoom) 카메라 및 다중 카메라 중 어느 하나 또는 이들의 조합일 수 있다. 여기서, 다중 카메라는 독립적인 감시 영역을 갖는 복수의 고정식 카메라로 구성된다. 따라서 다중 카메라의 감시 영역은 복수의 고정 카메라의 감시 영역들을 포함한다. 구분을 위해서, 다중 카메라의 감시 영역을 확장 감시 영역으로, 그리고 다중 카메라가 출력한 영상을 다중 카메라 영상이라고 한다. 보안 카메라(10)는 무인매장 내부뿐 아니라, 주변 공간(예를 들어, 출입구, 복도, 계단, 엘리베이터, 주차장 등)에 설치되어 공간을 촬영할 수 있다. 다중 카메라를 이용하여 감시 영역을 확장하는 기술의 일 예는 한국 등록특허공보 제10-2347026호에 개시되어 있다.
추가적으로 또는 선택적으로, 보안 카메라(10) 및/또는 열화상 카메라(12)는 로봇 또는 드론에 설치될 수 있다. 로봇 또는 드론의 이동에 의해, 보안 카메라(10) 및/또는 열화상 카메라(12)가 촬영할 수 있는 공간은 변경될 수 있으며, 따라서 무인매장 내 사각 영역이 제거될 수 있다. 로봇 또는 드론에 의해 이동하면서 촬영할 수 있는 보안 카메라(10) 및/또는 열화상 카메라(12)를 이동 카메라라고 지칭한다. 한편, 이동 카메라는 진열된 상품을 촬영하여 상품 위치 파악, 진열 상태 점검 등의 작업에 활용될 수도 있다.
내장 카메라(11)는 고객 성향 관련 이벤트를 검출하기 위하여 상품 진열 공간에 설치되어 고객의 얼굴 및/또는 행위를 주로 촬영다. 진열대, 냉장고, 자동 판매기와 같은 상품 진열 공간에 설치된 내장 카메라(11)는 고객의 시선을 추적하기 위한 내장 카메라 영상을 출력한다. 고객 성향을 분석하기 위해서, 내장 카메라(11)가 설치된 공간에 진열된 상품의 종류와 위치에 관한 정보는 미리 확보될 수 있다.
열화상 카메라(12)는 화재 발생을 검출하기 위한 열화상 카메라 영상을 출력한다. 일반적으로 열화상 카메라(12)는 적외선(IR) 카메라를 지칭한다. 한편, 열화상 카메라(12)는 가시광 대역에서 촬영한 일반 영상을 출력하며, 지능형 엣지(100)에서 구동하는 이벤트 검출 모듈이 일반 영상에서 화염이나 연기를 검출하는 방식이 적용될 수도 있다. 일반 영상에서 화재를 검출하는 기술의 일예는 한국 등록특허공보 제10-2352477호에 개시되어 있다.
지능형 엣지(100)는 카메라(10, 11, 12)가 설치된 현장에 배치되어, 카메라(10, 11, 12)에 의해 생성된 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 1차 영상 분석하여 메타 데이터를 생성할 수 있다. 메타 데이터는 카메라 영상에서 검출된 사람 객체, 사람 객체 관련 이벤트, 화재 이벤트 및 시선 이벤트 중 어느 하나 또는 이들의 조합에 대한 정보를 포함할 수 있다.
추가적으로 또는 선택적으로, 지능형 엣지(100)는 카메라(10, 11, 12)가 설치된 위치 및 현장 상황에 적합하게 학습하여 사각 영역을 파악하고, 이동 카메라의 경로를 설정하여 사각 영역을 제거 또는 최소화하며, 이를 통해 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 분석할 수 있다. 특히, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상간 공간적 관계를 학습함으로써, 지능형 엣지(100)는 다중 카메라 영상을 확장 감시 영역을 촬영한 단일 영상으로 취급할 수 있다.
지능형 엣지(100)는, 예를 들어, 다양한 종류의 객체마다 설정된 이벤트를 검출하도록 학습될 수 있다. 생성된 메타 데이터는 클라우드 플랫폼(200)에 의해 영상 분석 모듈(120)을 갱신하는데 이용될 수 있다. 지능형 엣지(100)는 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 분석하여 학습된 이벤트를 검출할 수 있다. 클라우드 플랫폼(200)은 지능형 엣지(100)가 학습하지 않은 이벤트를 검출할 수 있도록 인공지능 모델을 갱신하거나, 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상과 이동 카메라 영상간 관계를 고려하여 이벤트를 검출할 수 있다.
도 2를 참조하면, 보안 카메라(10), 내장 카메라(11) 및 열화상 카메라(12)로부터 수신한 보안 카메라 영상, 내장 카메라 영상 및 열화상 카메라 영상을 분석하는 지능형 엣지(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 데이터 전송 모듈(130)을 포함할 수 있다. 영상 데이터 처리 모듈(110)은 하나 이상의 카메라(10, 11, 12)로부터 보안 카메라 영상, 내장 카메라 영상 및 열화상 카메라 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(120)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다.
영상 데이터 처리 모듈(110)과 영상 분석 모듈(120)은 모듈 형태의 소프트웨어일 수 있다. 지능형 엣지(100)는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함한다. 영상 데이터 처리 모듈(110)과 영상 분석 모듈(120), 및 각 모듈에 포함된 서브 모듈들은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다.
영상 데이터 처리 모듈(110)은 RTSP 클라이언트, 디코더 및 영상 전처리부를 포함할 수 있다. RTSP 클라이언트는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 카메라(10, 11, 12) 및/또는 이동 카메라로부터 영상 데이터를 수신한다. 디코더는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리부는 영상 분석에 적합하도록, 복원된 확장 영상 및 개별 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로 또는 선택적으로, 영상 전처리부는 복수의 고정 카메라 영상을 스티칭된 단일 영상으로 변환할 수 있다. 디코더 및 영상 전처리부는 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다.
영상 분석 모듈(120)은 객체 검출부(121), 객체 추적부(122), 이동 제어부(123) 및 이벤트 검출부(124)를 포함할 수 있다. 객체 검출, 객체 식별 및 객체 추적은 분리할 수 없는 일련의 과정으로도 수행될 수 있음을 이해하여야 한다. 지능형 엣지(100)에 둘 이상의 영상 분석 방식을 적용하기 위해서, 객체의 검출 및 추적은 독립적으로 수행될 수 있다. 이를 통해, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있다.
객체 검출부(121)는 전처리된 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 여기서 객체는 사람뿐 아니라 시선 추적을 위한 사람의 눈 또는 동공을 포함하며, 추가적으로 진열 공간에 진열된 상품을 더 포함할 수 있다. 추가적으로 또는 선택적으로, 객체 검출부(121)는 전처리된 이동 카메라 영상에서 하나 이상의 객체를 검출할 수 있다. 객체 검출부(121)는 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출부(121)는 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출부(121)는 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다.
복수의 개별 감시 영역을 통해 확장 감시 영역을 효율적으로 감시하기 위해서는, 확장 감시 영역을 한 대의 카메라에 의해 촬영된 단일 영역으로 취급하는 방식이 적용될 수 있다. 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우, 확장 감시 영역을 단일 영역처럼 처리하기 위해서, 동일 객체를 복수의 고정 카메라 영상에서 식별하며 추적할 수 있어야 한다. 객체가 개별 감시 영역 내에서 움직이는 동안에는 공지의 객체 추적 방식, 예를 들어, 객체의 움직임 예측을 통한 추적 방식, 객체의 속성 비교를 통한 추적 방식 등이 적용될 수 있다. 한편, 객체가 연속한 개별 감시 영역 중 하나로부터 이탈하기 시작하면, 하나의 확장 감시 영역을 구성하는 복수의 개별 감시 영역들 사이의 공간적 관계를 이용하여 객체를 식별 및 추적할 수 있다. 이를 통해, 연속된 두 카메라 영상에 표출된 객체의 동일 여부가 신속하게 결정될 수 있도록 한다.
객체 추적부(122)는 검출된 객체의 움직임을 추적한다. 객체 추적부(122)는 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 제1 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 제2 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.
객체 추적부(122)는 보안 카메라 영상, 내장 카메라 영상 및/또는 이동 카메라 영상에서 동일 객체를 검출할 수 있다. 하나 이상의 보안 카메라(10), 하나 이상의 내장 카메라(11) 및/또는 하나 이상의 이동 카메라에 의해 감시되는 공간에서, 동일 객체는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상 중 일부에, 또는 다중 카메라 영상, 내장 카메라 영상 및 이동 카메라 영상에 동시에 표출될 수 있다. 일 실시예로, 객체 검출부(122)는 개별 감시 영역간 공간적 관계를 참고하여 둘 이상의 고정 카메라 영상에 표출된 동일 객체를 검출할 수 있다. 다른 실시예로, 객체 검출부(122)는, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 추출한 객체의 속성을 비교하여, 두 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 두 객체가 서로 일치할 확률(이하 유사도)이 표출되거나, 제1 영상의 분석 결과로 부여되었던 객체 식별자가 제2 영상에서 검출된 객체에 다시 부여될 수 있다.
객체 추적부(122)는 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 이용할 수 있다. 사람 객체의 경우, 객체 추적부(122)는 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 사람 객체를 재인식할 수 있다. 시각적 특징으로는, 사람 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다.
영상 분석 모듈(120)은 이벤트 조건에 부합하는 이벤트를 검출하는 이벤트 검출부(124)를 포함할 수 있다. 이벤트 검출부(124)는 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 이벤트 검출부(124)는 둘 이상의 상이한 영상 분석 방식으로 구동할 수 있다. 예를 들어, 딥러닝 기반 이벤트 검출부는 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단하며, 룰 기반 이벤트 검출부는 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 이 경우, 이벤트 검출부(124)는 하나 이상의 학습된 인공지능 모델이다. 한편, 딥러닝 분석에 의해 제1 이벤트 조건에 부합하는 객체는 룰 기반 분석에 전달되어, 제2 이벤트 조건에 부합하는지 판단될 수 있다. 딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 기반 이벤트 검출부도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출부도 복수개일 수 있다.
데이터 전송 모듈(130)은 영상분석모듈(120)이 생성한 메타 데이터를 통신망(40)을 통해 클라우드 플랫폼(200)으로 전송한다. 추가적으로, 데이터 전송 모듈(130)은 보안 카메라 영상, 내장 카메라 영상 및/또는 이동 카메라 영상 자체, 영상 클립 또는 스냅샷을 클라우드 플랫폼(200)으로 전송할 수 있다.
통신망(40)은 메타 데이터의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE, 와이브로 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.
클라우드 플랫폼(200)은 지능형 엣지(100)에서 전송한 메타 데이터를 수집하여 분석하고, 인공지능 모델을 학습시키며, 고객 성향을 분석한다. 한편, 지능형 에지 장치(100)는 영상 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 클라우드 플랫폼(200)으로 전송하여 분석을 요청할 수도 있다.
도 3은 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템의 클라우드 플랫폼을 기능적으로 도시한 도면이다.
도 3을 참조하면, 클라우드 플랫폼(200)은 지능형 엣지(100)에서 전송한 메타 데이터를 심층 분석하여 이벤트를 검출하고, 고객 성향 관련 이벤트를 이용하여 고객 성향을 분석할 수 있다. 한편, 클라우드 플랫폼(200)은 메타 데이터 및/또는 영상을 통해 인공지능 모델을 갱신할 수 있다. 이를 위해 클라우드 플랫폼(200)은 지능형 영상분석 플랫폼(210), 고객 성향 분석 플랫폼(220) 및 데이터 파이프라인(230)을 포함한다.
지능형 영상분석 플랫폼(210)은 지능형 엣지(100)를 관리하고, 지능형 엣지(100)로부터 수신한 메타 데이터를 관리하며, 메타 데이터를 분석하여 이벤트를 검출할 수 있다. 특정 무인매장에서 생성된 영상만 분석하는 지능형 엣지(100)와 비교할 때, 지능형 영상분석 플랫폼(210)은 복수의 지능형 엣지(100)로부터 메타 데이터 및/또는 영상을 수신하여 분석할 수 있어서, 다양한 유형과 수준의 영상 분석을 수행할 수 있다. 예를 들어, 지능형 영상 분석(210)은 지능형 엣지(100)의 인공지능 모델이 분석할 수 없거나 검증이 필요한 이벤트를 분석할 수 있다. 또한, 지능형 영상 분석(210)은 특정 매장에 방문한 고객의 얼굴에서 추출한 특징점에 대한 메타 데이터를 관리하며, 다른 매장에서 추출된 특징점과 비교하여 동일 고객여부를 판단할 수도 있다. 추가적으로 또는 선택적으로, 지능형 영상분석 플랫폼(210)은 고객 성향 관련 이벤트에 연관된 메타 데이터 및/또는 영상을 추출하여 고객 성향 분석 플랫폼(220)에 전달할 수도 있다.
고객 성향 분석 플랫폼(220)은 고객 성향 관련 이벤트에 대한 메타 데이터 및/또는 영상을 분석하여 고객 성향을 식별된 고객별 성향(개인화된 고객 성향)을 생성하거나 고객 성향에 대한 통계 데이터(통계화된 고객 성향)를 생성할 수 있다. 고객 성향 관련 이벤트 중에서, 고객의 나이, 성별은 통계화된 고객 성향 분석에 주로 사용되는 메타 데이터이며, 시선, 체류 시간, 쇼핑 동선은 개인화된 고객 성향 분석에 주로 사용되는 메타 데이터이다. 한편, 상품 진열 공간에 진열된 상품의 위치 및 고객이 구입한 상품의 종류를 나타내는 메타 데이터도 고객 성향 분석에 이용될 수 있다.
데이터 파이프라인(230)은 수집된 영상을 이용하여 인공지능 모델을 학습시키며, 학습된 인공지능 모델을 지능형 엣지(100) 및/또는 지능형 영상분석 플랫폼(210)에 배포한다. 학습 데이터로 사용될 영상 및/또는 메타 데이터는 지능형 영상분석 플랫폼(210)으로부터 수신한다. 데이터 파이프라인 동작은 이하에서 도 4를 참조하여 상세히 설명한다.
지능형 영상분석 기반 하이브리드 무인매장 관리 시스템의 전체 동작을 개략적으로 설명한다.
S10에서, 카메라(10, 11, 12)는 무인매장을 촬영하여 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 생성한다. 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상은 지능형 엣지(100)로 전송된다.
S11에서, 지능형 엣지(100)는 학습된 인공지능 모델을 이용하여 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 분석하여 메타 데이터를 생성하며, 이벤트 발생을 검출한다. 먼저, 지능형 엣지(100)는 보안 카메라 영상을 분석하여 사람 객체 및 사람 객체 관련 이벤트를 검출한다. 보안 카메라 영상 분석을 통해 안전 및 보안에 위협이 될 수 있는 이상 행위의 발생을 파악하여 적절한 대응 조치(예를 들어, 119 신고)가 이루어질 수 있다. 한편, 지능형 엣지(100)는 보안 카메라 영상 및 내장 카메라 영상 중 어느 하나 또는 모두를 분석하여 사람 객체의 쇼핑 동선 추적, 체류 시간 산출 및 시선 추적 중 어느 하나 또는 모두를 수행할 수 있다. 또한, 지능형 엣지(100)는 보안 카메라 영상과 열화상 카메라 영상을 분석하여 화재를 검출할 수 있다.
지능형 엣지(100)는 메타 데이터를 통신망을 통해 클라우드 플랫폼(200)으로 전송한다.
S12에서, 지능형 영상분석 플랫폼(210)은 고객 성향 관련 이벤트에 대한 메타 데이터 및/또는 영상을 고객 성향 분석 플랫폼(220)으로 전송한다. 영상은 녹화된 전체 영상일 수도 있으나, 분석에 필요한 부분만 발췌한 클립 또는 영상을 캡쳐한 스냅샷일 수도 있다. 고객 성향 분석 플랫폼(220)은 수신한 메타 데이터 및/또는 영상을 분석하여 개인화된 고객 성향 및/또는 통계화된 고객 성향을 생성할 수 있다.
한편, 지능형 영상분석 플랫폼(210)은 식별된 고객에 대한 정보(메타 데이터 또는 고유 식별자)를 고객 성향 분석 플랫폼(220)에 전송할 수 있다. S14에서, 고객 성향 분석 플랫폼(220)은 식별된 고객에 대한 개인화된 고객 성향을 지능형 엣지(100)로 전송할 수 있다. 개인화된 고객 성향을 이용하면, 지능형 엣지(100)는 개인화된 정보를 식별된 고객에게 제공할 수 있다.
S15에서, 지능형 영상분석 플랫폼(210)은 학습 데이터로 사용될 영상을 데이터 파이프라인(230)으로 전송한다. S14에서, 데이터 파이프라인(230)은 인공지능 모델을 학습시켜 새로운 이벤트를 검출할 수 있도록 하며, 갱신된 인공지능 모델을 지능형 엣지(100) 및 지능형 영상분석 플랫폼(210)에 배포한다.
S16에서, 클라우드 플랫폼(200)은 무인매장에 대한 정보를 매장 관리자 단말에 제공할 수 있다. 무인매장에 대한 정보는 매장 관리자 단말에 표시된 대시보드를 통해 제공될 수 있다.
도 4는 클라우드 플랫폼의 데이터 파이프라인을 기능적으로 도시한 도면이다.
데이터 파이프라인은 이벤트 검출에 이용되는 인공지능 모델을 지속적으로 고도화하기 위한 것이다. 지능형 엣지(100) 및 지능형 영상분석 플랫폼(210)에 초기 탑재된 인공지능 모델은 기보유한 영상을 학습 데이터로 활용하여 사전 학습된다. 따라서 무인매장에서 실제로 발생하는 새로운 유형의 이벤트 검출에 취약할 수 있다. 이를 해결하기 위해, 수집된 영상을 학습 데이터로 활용하여 인공지능 모델을 갱신할 수 있다.
S20에서, 카메라(10, 11, 12)가 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 출력한다. 추가적으로 또는 선택적으로, 환경 센서가 센싱 데이터를 출력한다. 환경 센서는 온도, 가스, 미세 먼지, 조도, 습도 중 어느 하나 또는 이들의 조합을 감지한다. 센싱 데이터는 이벤트의 유형 및/또는 발생 여부 판단에 이용될 수 있다.
S21에서, 지능형 영상분석 플랫폼(210)이 보안 카메라 영상, 내장 카메라 영상 및/또는 열화상 카메라 영상을 분석하여 분류한다. 여기서, 분석 및 분류되는 영상은 클립 또는 스냅샷일 수 있다. 지능형 영상분석 플랫폼(210)은 영상에서 검출된 객체에 스코어를 부여하며, 스코어가 기준 이하인 영상을 카테고리별로 분류한다. 예를 들어, 폭행/싸움 이벤트가 검출된 영상의 기준 스코어는 60이고, 화재 이벤트가 검출된 영상의 기준 스코어는 50으로 설정될 수 있다.
추가적으로, 지능형 영상분석 플랫폼(210)은 센싱 데이터를 영상에 연관시켜서 분류할 수 있다. 예를 들어, 기준 스코어보다 낮은 스코어를 갖는 화재 이벤트가 검출된 영상은 해당 공간에서 생성된 센싱 데이터에 연관될 수 있다.
S22에서, 기준 스코어 미만의 스코어가 부여된 영상은 이벤트 유형별로 분류되어 저장된다.
S23에서, 학습 데이터로 활용하기 위해서 분류된 영상을 전처리한다. 전처리 과정에서, 사람 객체의 얼굴이 분류된 영상에서 검출되면, 얼굴 영역은 해당 영상에서 블러 처리될 수 있다. 추가적으로 또는 선택적으로, 전처리 과정에서, 학습 데이터로 활용할 영역이 영상에서 검출되어 크기 조절될 수 있다. 한편, 전처리 과정에서, 영상이 라벨링될 수 있다.
S24에서, 전처리된 영상을 학습 데이터로 이용하여 인공지능 모델을 학습시킨다. 학습 데이터는 카테고리 단위로 제공되어 강화 학습 또는 비지도학습으로 인공지능 모델을 학습시킬 수 있다. 한편, 레이블링된 학습 데이터가 제공되는 경우, 지도 학습으로 인공지능 모델을 학습시킬 수도 있다.
S25에서, 학습된 인공지능 모델을 테스트하여 적절하게 학습되었는지 검증한다. 검증 결과, 적절하게 학습되었다고 판단되면, S26에서, 검증된 인공지능 모델을 지능형 엣지(100) 및 지능형 영상분석 플랫폼(210)에 전송한다.
도 5는 보안 카메라 영상과 열화상 카메라 영상을 융합하는 과정을 예시적으로 도시한 도면이다.
동일한 영역을 촬영한 둘 이상의 영상을 개별적으로 분석하는 대신에, 두 영상을 융합하여 생성한 하나의 영상을 분석할 수 있다. 즉, 각 영상들을 개별적으로 분석할 때 얻을 수 있는 장점들은 유지되므로, 오감지 확률은 현저히 감소하며, 영상 분석에 필요한 시간 및 자원은 절약된다.
도 5를 참조하면, S30 및 S31에서, 보안 카메라(10)와 열화상 카메라(12)는 각각 보안 카메라 영상과 열화상 카메라 영상을 출력한다. 보안 카메라(10)와 열화상 카메라(12)는 실질적으로 동일한 감시 영역을 서로 다른 각도에서 촬영할 수 있다. 보안 카메라(10)와 열화상 카메라(12)은 캘리브레이션을 통해 싱크가 맞춰진 상태이다.
보안 카메라 영상과 열화상 카메라 영상간 좌표를 맞추기 위해서, 감시 영역 내 복수의 지점이 보안 카메라 영상과 열화상 카메라 영상에서 ROI로 설정된다. 예시된 도면에서, 4개의 ROI가 보안 카메라 영상과 열화상 카메라 영상에 각각 설정되어 있다.
S32에서, 보안 카메라 영상과 열화상 카메라 영상을 호모그래피 기법으로 융합한다.
S33에서, 융합된 영상에서 객체를 검출 및 분류한다.
도 6은 무인매장 내에서 고객 성향 정보를 획득하는 과정을 예시적을 도시한 도면이다.
고객 성향 정보는 보안 카메라(10)가 출력한 보안 카메라 영상 및/또는 내장 카메라(11)가 출력한 내장 카메라 영상을 분석하여 생성된 고객 성향 관련 이벤트로부터 획득할 수 있다. 보안 카메라 영상은 쇼핑 동선(20)의 추적 및 체류 시간(21)의 산출에 이용될 수 있으며, 내장 카메라 영상은 체류 시간(21)의 산출 및 시선(22)의 추적에 이용될 수 있다.
객체 추적은 다양한 방식으로 동일 영상 내에서 그리고 여러 영상간에서 수행될 수 있다. 예를 들어, 지능형 엣지(100)는 보안 카메라 영상 및/또는 내장 카메라 영상에서 얼굴 영역을 식별하여 특징점을 추출한다. 추출한 특징점을 이용하여 고객을 동일 영상 내 또는 복수의 영상에서 식별함으로써, 지능형 엣지(100)는 고객의 쇼핑 동선(20)을 추적하며 체류 시간(21)을 산출할 수 있다.
내장 카메라(11)는 고객을 향하도록 상품 진열 공간에 설치되어 고객의 얼굴, 특히, 눈을 촬영하기 용이하다. 내장 카메라(11)는 성인의 평균 키 높이에 설치된 고정식 카메라일 수 있다. 한편, 내장 카메라(11)는 눈을 추적할 수 있는 PTZ 카메라일 수 있다.
쇼핑 동선(20), 체류 시간(21) 및/또는 시선(22)은 고객이 어떤 종류의 상품에 관심을 갖는지, 선호하는 상품이 무엇인지 등을 파악하는데 활용될 수 있다. 쇼핑 동선(20) 및 체류 시간(21)을 이용하는 실시예에서, 보안 카메라(10) 및/또는 내장 카메라(11)의 설치 위치에 따라 각 카메라 영상에 하나 이상의 ROI가 정의될 수 있다. ROI는 촬영된 감시 공간에 진열된 상품의 공통 유형, 예를 들어, 과자류, 라면류, 청량음료류 등에 연관될 수 있다. 한편, 고객의 시선(22)을 이용하는 실시예에서, 지능형 엣지(100)는 상품이 진열된 위치에 관한 정보를 수집할 수 있다. 보안 카메라(10) 또는 이동 카메라(13)는 상품 진열 공간을 촬영한 영상에서 상품의 종류와 위치를 식별한다. 고객의 시선(22)은 진열된 상품에 매칭될 수 있다.
한편, 고객의 행위도 고객 성향 관련 이벤트일 수 있다. 예를 들어, 지능형 엣지(100)는 고객이 구매하기 위해 상품을 손으로 잡는 행위, 상품 포장에 기재된 영양성분표시를 읽는 행위 등을 검출할 수 있다. 추가적으로, 지능형 엣지(100)는 고객이 집어 든 상품을 식별할 수도 있다.
추가적으로, 고객이 실제로 구매한 상품에 관한 정보도 고객 성향 정보로 활용될 수 있다. 상품 정보는 POS를 통해 획득할 수 있다.
도 7은 무인매장 내에서 개인화된 정보를 고객에게 제공하는 과정을 예시적으로 도시한 도면이다.
입구 또는 매장 내에 설치된 카메라(1, 11)는 무인매장에 입장한 고객의 얼굴을 식별한다. 식별 결과, 고객 성향 정보가 등록된 고객이면, 지능형 엣지(100)는 개인화된 정보를 시각적으로 제공할 수 있다. 개인화된 정보는, 예를 들어, 고객이 자주 구매하는 상품의 위치, 할인 정보, 신상 정보 등일 수 있다. 지능형 엣지(100)는 영상 분석을 통해 및/또는 사용자로부터의 입력을 통해 무인매장내 상품의 진열 위치에 관한 정보를 획득할 수 있다. 또한 지능형 엣지(100)는 POS로부터 상품 재고 수량을 제공받을 수 있다. 지능형 엣지(100)는 식별된 고객의 구매 이력, 선호하는 상품 정보 등과 같은 고객 성향 정보에 부합하는 상품을 검색하여, 개인화된 정보를 제공할 수 있다.
개인화된 정보는 시각 표시 장치를 통해 시각적으로 고객에게 전달될 수 있다. 여기서, 시각 표시 장치는, 상술한 키오스크, POS뿐 아니라 프로젝터, 표시등 중 어느 하나일 수 있다. 일 실시예로, 지능형 엣지(100)는 무인매장에 설치된 프로젝터(30a, 30b, 30c)를 통해 고객에게 추천한 상품의 진열 위치까지의 경로(31)를 표시할 수 있다. 경로(31)는 고객에게 추천한 상품명과 함께 표시될 수 있다. 다른 실시예로, 지능형 엣지(100)는 진열대마다 설치된 표시등(32)을 제어하여, 식별된 고객이 진열대에 접근하면 추천한 상품의 진열 위치에 설치된 표시등(32)을 턴온시킬 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (8)
- 무인매장에 촬영된 카메라 영상을 분석하여 사람 객체, 사람 객체 관련 이벤트 및 고객 성향 관련 이벤트를 검출하고, 이를 메타 데이터로 변환하며, 검출된 사람 객체를 식별하여 식별된 고객에게 개인화된 정보를 제공하는 지능형 엣지; 및
통신망을 통해 상기 지능형 엣지로부터 수신한 상기 메타 데이터 및 상기 보안 카메라 영상, 상기 열화상 카메라 영상 및 상기 내장 카메라 영상 중 하나의 영상 클립 또는 스냅샷을 이용하여 고객 성향을 분석하며 상기 지능형 엣지에서 사람 객체 관련 이벤트 및 고객 성향 관련 이벤트를 검출하는 인공지능 모델을 학습시키는 클라우드 플랫폼을 포함하는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템. - 청구항 1에 있어서, 상기 클라우드 플랫폼은,
상기 지능형 엣지를 관리하고, 상기 지능형 엣지로부터 수신한 메타 데이터, 영상 클립 및 스냅샷 중 하나 또는 이들의 조합을 분류하는 지능형 영상분석 플랫폼;
상기 지능형 영상분석 플랫폼이 제공한 상기 고객 성향 관련 이벤트에 대한 상기 메타 데이터, 상기 영상 클립 및 상기 스냅샷 중 하나 또는 이들의 조합을 분석하여 고객 성향을 생성하는 고객 성향 분석 플랫폼; 및
상기 지능형 영상분석 플랫폼이 제공한 상기 영상 클립 및 상기 스냅샷 중 하나 또는 이들의 조합을 이용하여 상기 인공지능 모델을 학습시키는 데이터 파이프라인을 포함하는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템. - 청구항 2에 있어서, 상기 지능형 영상분석 플랫폼은 카테고리별로 상기 영상 클립 또는 상기 스냅샷에 스코어를 부여하여, 상기 카테고리별 설정된 기준 스코어 이하의 상기 영상 클립 또는 상기 스냅샷을 학습 데이터로 선택하며,
상기 데이터 파이프라인은 상기 학습 데이터에서 검출된 사람 객체의 얼굴을 블러 처리한 후 상기 인공지능 모델을 학습시키는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템. - 청구항 1에 있어서, 상기 카메라 영상은 상기 무인매장을 촬영하는 보안 카메라 및 열화상 카메라, 및 상품 진열 공간에 설치되어 상기 고객의 시선을 추적하는 내장 카메라를 포함하는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템.
- 청구항 4에 있어서, 상기 보안 카메라와 상기 열화상 카메라를 동일한 영역을 촬영하여 상기 보안 카메라 영상 및 상기 열화상 영상을 각각 출력하며,
상기 지능형 엣지는 상기 상기 보안 카메라 영상 및 상기 열화상 영상을 호모그래피 기법으로 융합하여 객체를 검출하는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템. - 청구항 4에 있어서, 상기 카메라 영상은 이동하면서 상품 진열 공간을 촬영하는 이동 카메라가 출력한 이동 카메라 영상을 더 포함하는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템.
- 청구항 1에 있어서, 상기 개인화된 정보는 상기 무인매장에 설치된 시각 표시 장치를 통해 상기 식별된 고객에게 전달되는 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템.
- 청구항 7에 있어서, 상기 개인화된 정보는 상품의 진열 위치까지의 경로인 지능형 영상분석 기반 하이브리드 무인매장 관리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220123602A KR20240044162A (ko) | 2022-09-28 | 2022-09-28 | 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220123602A KR20240044162A (ko) | 2022-09-28 | 2022-09-28 | 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240044162A true KR20240044162A (ko) | 2024-04-04 |
Family
ID=90637911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220123602A KR20240044162A (ko) | 2022-09-28 | 2022-09-28 | 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240044162A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118629137A (zh) * | 2024-08-08 | 2024-09-10 | 江苏蓝盾智能科技有限公司 | 一种面向人工智能的门禁监控系统 |
-
2022
- 2022-09-28 KR KR1020220123602A patent/KR20240044162A/ko unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118629137A (zh) * | 2024-08-08 | 2024-09-10 | 江苏蓝盾智能科技有限公司 | 一种面向人工智能的门禁监控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11704936B2 (en) | Object tracking and best shot detection system | |
| CN107832680B (zh) | 用于视频分析的计算机化的方法、系统和存储介质 | |
| JP6905850B2 (ja) | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 | |
| US11295139B2 (en) | Human presence detection in edge devices | |
| US20120321138A1 (en) | Suspicious behavior detection system and method | |
| US20190122082A1 (en) | Intelligent content displays | |
| US20170169297A1 (en) | Computer-vision-based group identification | |
| Snidaro et al. | Video security for ambient intelligence | |
| JP2018093283A (ja) | 監視情報収集システム | |
| JP2007334623A (ja) | 顔認証装置、顔認証方法、および入退場管理装置 | |
| US12039803B2 (en) | Techniques for automatically identifying secondary objects in a stereo-optical counting system | |
| JP7201072B2 (ja) | 監視装置、不審オブジェクト検出方法、およびプログラム | |
| JP2018067755A (ja) | 検出データ管理装置 | |
| KR20240044162A (ko) | 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템 | |
| Patino et al. | Abnormal behaviour detection on queue analysis from stereo cameras | |
| WO2017135310A1 (ja) | 通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体 | |
| KR102428319B1 (ko) | 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램 | |
| KR20220031258A (ko) | 상담 이벤트에 대응되는 학습 데이터 기반 능동형 보안관제 서비스 제공 방법 | |
| JP2011227677A (ja) | 通報装置 | |
| WO2019156599A1 (en) | System and method of people's movement control | |
| US20230290173A1 (en) | Circuitry and method | |
| KR20220031327A (ko) | 능동형 보안 관제 상담 대응 학습 데이터를 구축 프로그램 기록매체 | |
| KR20220031318A (ko) | 능동형 보안 관제 상담 대응 학습 데이터를 구축 프로그램 | |
| KR20220031270A (ko) | 능동형 보안 관제 상담 서비스 제공 방법 | |
| KR20220031259A (ko) | 능동형 보안 관제 서비스 제공을 위한 능동형 보안 관제 상담 대응 학습 데이터를 구축 방법 |