KR102365370B1 - 매대 정보 산출 시스템 - Google Patents

매대 정보 산출 시스템 Download PDF

Info

Publication number
KR102365370B1
KR102365370B1 KR1020210063538A KR20210063538A KR102365370B1 KR 102365370 B1 KR102365370 B1 KR 102365370B1 KR 1020210063538 A KR1020210063538 A KR 1020210063538A KR 20210063538 A KR20210063538 A KR 20210063538A KR 102365370 B1 KR102365370 B1 KR 102365370B1
Authority
KR
South Korea
Prior art keywords
image
shelf
product
unit
information
Prior art date
Application number
KR1020210063538A
Other languages
English (en)
Inventor
신상열
심윤구
진부배
Original Assignee
주식회사농심
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사농심 filed Critical 주식회사농심
Priority to KR1020210063538A priority Critical patent/KR102365370B1/ko
Application granted granted Critical
Publication of KR102365370B1 publication Critical patent/KR102365370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 사진 촬영 이미지로 매대 및 행사 정보를 빠르고 정확하게 분석할 수 있는 매대 정보 산출 시스템을 개시한다.
본 발명의 매대 정보 산출 시스템은 현장에서 매대를 촬영하여 이미지를 생성하고 이를 전송하여 현장 데이터처리부, 상기 현장 데이터처리부로부터 수신된 이미지 원본을 분석하여 제품 종류, 페이싱수를 추론하고 점유율을 산출하는 ML서버 및 상기 현장 데이터처리부로부터 이미지 원본을 수신하여 저장하고 상기 ML서버로부터 분석결과를 수신하여 저장하는 NAS를 포함하며, 상기 현장 데이터처리부는 상기 ML서버로부터 분석 결과를 실시간으로 수신하여 출력하는 기능을 제공한다.

Description

매대 정보 산출 시스템 {System for estimating display stand information}
본 발명은 사진 촬영 이미지로 매대 및 행사 정보를 빠르고 정확하게 분석할 수 있는 매대 정보 산출 시스템에 관한 것이다.
시장 경쟁의 격화로 인해 영업 및 판촉 정책에 있어서의 경쟁력을 확보하기 위한 필요성이 과거에 비해 증대하고 있다. 또한 온라인 유통 시장의 신장과 코로나19 팬데믹 등 여러가지 요인들에 의해 시장의 상황이 급격하게 변하고 있어, 오프라인 매장에 있어서 변화하는 정보를 적시에 수집하고 이를 빠르게 분석하여 반영해야 할 필요성이 점점 커지고 있다.
그러나 기존에는 정보를 수집하고 취합하는 데 있어 인력, 시스템, 기술, 시간 등을 포함한 인프라의 한계로 인하여 당사 중심의 정보를 수집할 수 밖에 없었으며, 경쟁사의 정보는 매장 직원들이 정보를 수기로 작성하여 본사에 보고하는 등 전통적인 틀에서 벗어나지 못하고 있었다. 또한 그렇게 확보된 정보조차도 이를 분석하는 데 많은 시간과 자원이 소요됨으로써 정작 분석 결과를 바탕으로 한 매대 개선 활동과 판촉 계획을 현장에 적용하려고 할 때에는 이미 시기에 늦거나 적절하지 않은 경우가 적지 않게 발생하고 있었다.
이에 경쟁사를 포함한 매대 및 행사 정보의 신속하고 정확한 데이터를 확보하고, 확보된 현장 데이터를 빠르고 정확하게 분석할 수 있는 기술의 도입이 필요한 실정이다.
따라서, 본 발명은 상기한 문제점을 해결하기 위하여 제안된 것으로써, 본 발명의 목적은 매장에서 사진을 촬영하여 전송하면 실시간으로 분석된 진열 페이싱수, 진열 면적, 매대 진열단 위치, 매대 유형, 매대 개수 등 영업 매장 내의 매대점유율 관련 정보를 빠르고 정확하게 분석하고 파악할 수 있는 매대 정보 산출 시스템에 관한 것이다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명은 현장에서 매대를 촬영하여 이미지를 생성하고 이를 전송하는 현장 데이터처리부; 상기 현장 데이터처리부로부터 수신된 이미지 원본을 분석하여 제품 종류, 진열 페이싱수, 진열 면적을 추론하고 매대 점유율을 산출하는 ML서버; 및 상기 현장 데이터처리부로부터 이미지 원본을 수신하여 저장하고 상기 ML서버로부터 분석결과를 수신하여 저장하는 NAS;를 포함하며, 상기 현장 데이터처리부는 상기 ML서버로부터 분석 결과를 실시간으로 수신하여 출력하는 기능을 제공하는 매대 정보 산출 시스템을 개시한다.
또한, 상기 현장 데이터처리부는, 촬영으로 이미지를 생성하는 기능, 상기 생성된 이미지에 좌표 기준선을 설정하는 기능, 상기 생성된 이미지를 편집하는 기능을 제공하는 현장 이미지부; 상기 현장 이미지부의 정보를 저장하는 현장 데이터저장부; 상기 ML서버 또는 상기 NAS와 정보를 송신, 수신하는 현장 송수신부; 및 상기 ML서버로부터 수신된 정보를 바탕으로 매대 점유율 정보를 포함하는 분석 결과로 출력하는 분석결과 출력부;를 포함할 수 있다.
또한, 상기 현장 이미지부는, 신규 제품이 포함된 이미지를 촬영, 편집, 임시저장, 및 상기 NAS에 전송하는 기능을 추가로 제공할 수 있다.
또한, 상기 현장 이미지부는, 제품의 이미지 정확도 및 인식률을 판단하고, 상기 판단된 정확도 또는 인식률이 기준 이하인 제품에 대한 정보를 선별적으로 상기 NAS로 송신할 수 있다.
또한, 상기 ML서버는, 매대 유형별로 등록된 이미지를 이용하여 일측의 매대 이미지와 타측의 매대 이미지를 매대 유형별로 저장하며, 일측의 매대 사이에 일련의 순서를 추론하여 일측의 매대 이미지 전체를 확정하는 이미지 인식부; 합성곱신경망을 이용하여 제품 단위 간의 경계를 확정하여 박스화하고, 최적의 매개변수 값을 정규화하며, 상기 정규화된 매개변수 값으로부터 제품을 예측 및 분류하는 이미지 분류부; 상기 이미지 분류부의 정보를 토대로 머신러닝을 적용하여 제조사별, 제품별, 매대 유형별, 진열단별 페이싱수 및 면적 정보를 획득하고 매대 점유율을 산출하는 점유율 산출부; 및 상기 ML서버에서 처리된 결과를 상기 현장 데이터처리부 및 상기 NAS(300)로 송신하는 결과 전송부;를 포함할 수 있다.
또한, 상기 ML서버는, 상기 점유율 산출부의 매대 점유율에 프로모션 정보, 실판매 데이터를 포함하는 요인들을 반영하는 머신러닝을 적용하여 예상 매출액을 추론하는 매출액 예측부;를 더 포함할 수 있다.
또한, 상기 ML서버는, 상기 ML서버의 머신러닝 정확도를 모니터링하여 피드백하고, 상기 현장 데이터처리부로부터의 신규 제품 정보를 머신러닝에 반영하는 학습부;를 더 포함할 수 있다.
또한, 상기 ML서버는, 진열대에 빈 공간이 있는 매대 이미지가 촬영된 경우, 빈 공간을 기준으로 상측 또는 하측의 제품과 우측 또는 좌측의 제품이 동일하다면 머신러닝 알고리즘에 의해 그와 동일한 상품이 진열된다고 추론하고, 빈 공간을 기준으로 좌우측 제품이 동일하다면 그와 동일한 제품이 진열된다고 추론할 수 있다.
또한, 상기 빈 공간에 대한 제품의 페이싱수는, 머신러닝 알고리즘에 의해 진열된 제품을 기준으로 하나의 제품의 페이싱수 대비 제품이 차지하는 면적을 판단하고, 이를 빈 공간에 적용하여 추론할 수 있다.
또한, 상기 제품의 페이싱수 대비 제품의 차지하는 면적은, 각 진열단에서 가장 밑에 진열되는 제품의 좌표기준선의 좌표값 정보에 의해 판단할 수 있다.
이와 같은 본 발명의 실시예는 매장에서 사진을 촬영하여 전송하면 실시간으로 분석된 매대 점유율 결과를 짧은 시간 내에 확인할 수 있다.
또한 매장에서 촬영된 사진을 전송하면 사전 학습된 이미지 분석 모델과 이미지 인식기술의 한계를 극복하고자 개발한 본 시스템의 좌표 기준선 설정, 이미지편집(이미지 자르기, 마스킹), 빈공간 추론 등을 통해서 제조사별 제품별 특징을 비교 인식하여 산출된 결과를 페이싱수나 면적 기준 등에 의한 제조사별 제품별 매대 점유율 결과를 확인할 수 있다.
도 1은 본 발명의 실시예를 설명하기 위해 매대 정보 산출 시스템의 구성을 대략적으로 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 매대 정보 산출 시스템에 있어서 현장 데이터처리부를 대략적으로 도시하는 블록도이다.
도 3은 본 발명의 실시예의 현장 이미지부의 매대 점유율 산출 범위 구간 설정 및 진열단 구분을 위한 좌표 기준선 설정 기능을 설명하기 위해 매대를 촬영하여 편집하는 과정을 예시적으로 도시한 도면이다.
도 4는 본 발명의 실시예의 현장 이미지부의 편집 기능을 설명하기 위해 매대를 촬영하여 편집하는 과정을 일 예시로 도시한 도면이다.
도 5는 본 발명의 실시예의 현장 이미지부의 편집 기능을 설명하기 위해 매대를 촬영하여 편집하는 과정을 다른 예시로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 매대 정보 산출 시스템에 있어서 ML서버를 대략적으로 나타내는 블록도이다.
도 7은 본 발명의 실시예의 이미지 인식부의 기능을 설명하기 위해 분석 대상이 되는 이미지 중 일부가 중복되어 있는 것을 예시적으로 나타내는 도면이다.
도 8은 이미지 분류부(530)에서 제품 단위 간의 경계를 확정하여 박스화하는 것을 예시적으로 나타내는 도면이다.
도 9는 원본 이미지로부터 합성곱 신경망을 이용하여 제품을 예측하고 분류하여 제조사별 제품별 페이싱수 및 면적 등의 매대 정보를 산출하여 점유율을 산출하는 과정을 대략적으로 표현하는 도면이다.
도 10은 머신러닝에 의해 점유율을 산출하는 일 예시를 설명하기 위해 매대의 일부에 빈 공간이 있는 경우를 나타내는 도면이다.
도 11은 본 발명의 실시예의 ML서버로부터 처리 결과를 송신하여 현장 데이터처리부에서 출력한 화면의 일 예시를 나타내는 도면이다.
도 12는 본 발명의 실시예의 ML서버로부터 처리 결과를 송신하여 현장 데이터처리부에서 출력한 화면의 다른 예시를 나타내는 도면이다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 명세서에서 사용되는 "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어”와 같은 표현에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 매대 정보 산출 시스템의 구성을 대략적으로 나타내는 블록도이다.
본 발명의 일 실시예에 따른 매대 정보 산출 시스템은 현장에서 매대 등 분석 대상을 촬영하여 전송하고 결과를 확인할 수 있는 현장 데이터처리부(100), 현장 데이터처리부(100)로부터 수신된 원본 이미지 정보와 분석 결과를 저장할 수 있는 NAS(300), 현장 데이터처리부(100)로부터 수신된 이미지를 토대로 분석 결과를 산출하는 ML서버(500)를 포함한다.
도 2는 본 발명의 일 실시예에 따른 매대 정보 산출 시스템에 있어서 현장 데이터처리부(100)를 대략적으로 도시하는 블록도이다.
현장 데이터처리부(100)는 현장에서 매대 등 분석 대상을 촬영하여 이미지를 생성하고, 촬영된 이미지를 편집하고 저장하며 이를 송신하는 기능을 제공한다. 현장 데이터처리부(100)는 현장 이미지부(110), 현장 데이터저장부(130), 현장 송수신부(150), 분석결과 출력부(170)를 포함한다.
현장 이미지부(110)는 매장 등 현장에서 매대 등 대상을 촬영하여 이미지를 생성하는 기능을 제공한다. 현장 이미지부(110)는 촬영된 이미지를 임시 저장할 수 있다. 이미지의 임시 저장은 이미지가 현장 데이터저장부(130)로 이송될 때까지 지속되는 것이 바람직하다.
현장 이미지부(110)는 촬영된 이미지, 임시 저장된 이미지를 정렬할 수 있다. 임의로 촬영된 이미지는 현장 이미지부(110)에서 재배치되어 순서에 맞게 정렬될 수 있다. 현장 이미지부(110)에서 정렬을 위해 현장 데이터저장부(130)에 저장된 이미지가 호출될 수 있다.
현장 이미지부(110)는 촬영된 이미지 및 임시 저장된 이미지를 편집할 수 있다. 현장 이미지부(110)는 현장 데이터저장부(130)에 저장된 이미지를 호출하여 편집할 수 있다. 현장 이미지부(110)에서의 이미지 편집은 좌표기준선 설정, 자르기, 그리고 마스킹을 포함한다.
도 3은 현장 이미지부(110)의 좌표기준선 설정 기능을 설명하기 위해 매대를 촬영하여 편집하는 과정을 대략적으로 도시한 도면이다.
현장 이미지부(110)는 이미지상의 제조사별 제품별 진열 페이싱수 및 면적 기반의 점유율 산출 판단의 기준이 되는 좌표기준선을 설정하는 기능을 제공할 수 있다. 사용자가 어플리케이션 등을 통해 일측 진열단에 좌표기준선을 등록함으로써 해당 진열단에 좌표기준선이 설정될 수 있다. 좌표기준선은 좌표기준점을 표시함으로써 자동 생성되도록 제공될 수 있다. 즉, 사용자가 진열단의 일측(예를 들어 좌측)에 좌표기준점을 표시하면 타측(우측)에 다른 좌표기준점이 자동 생성되어 양 좌표기준점이 자동으로 연결됨으로써 좌표기준선이 생성되도록 제공될 수 있다.
현재의 이미지 인식기술로는 매대 곤도라와 곤도라 간에 좌우 끝쪽의 제품이 중복되어 촬영된 경우 해당 제품의 점유율이 중복으로 산출되거나, 제품이 진열되는 진열단의 인식이 제대로 되지 않는 등 중복되는 제품으로 인해 정확한 점유율 산출과 진열단의 인식이 어려울 수 있다. 좌표 기준선을 설정하는 기능으로 이러한 이미지 인식기술의 한계를 보완하여 진열단을 제대로 인식할 수 있게 하고 제품의 점유율을 보다 정확하게 산출할 수 있다.
설정된 좌표기준선은 이동되거나 삭제될 수 있다.
도 4 및 도 5는 현장 이미지부(110)의 편집 기능을 설명하기 위해 매대를 촬영하여 편집하는 과정을 예시적으로 도시한 도면이다.
현장 이미지부(110)는 편집 기능을 제공한다. 편집 기능은 이미지 자르기 기능을 포함한다. 촬영된 이미지에서 원하는 부분을 자르거나, 원하는 부분을 자르고 사이즈를 조정할 수 있다.
현장 이미지부(110)가 제공하는 편집 기능은 마스킹 기능을 포함한다. 촬영된 이미지에서 불필요한 부분의 제거를 희망하는 지점에 마스킹을 등록하여 저장함으로써 이미지 인식기술을 보완하여 상품 인식 기능을 향상시킬 수 있다. 마스킹 사이즈는 터치, 드래그 등의 조작으로 조절될 수 있다.
현장 이미지부(110)는 기존 학습모델에 반영되지 않은 신규 제품이 포함된 매대 이미지가 포함되어 촬영된 경우 해당 제품의 이미지 학습을 별도로 하기 위하여 이미지를 촬영, 편집, 임시저장, NAS(300)로 전송 할 수 있는 기능을 별도로 제공할 수 있다. 신규 제품 정보는 신제품에 대한 이미지 등의 정보, 패키지 변경 제품의 이미지 등에 대한 정보를 포함할 수 있다. 새로운 제품 정보에 대한 이미지 입력은 별도의 기능으로 제공되는 것이 바람직하다.
현장 이미지부(110)는 매장에서 제품이 진열된 매대를 사진 촬영 시 신규 제품 또는 패키지변경 제품이 포함되는 경우 해당 제품에 대해서는 이미지 학습이 되지 않았으므로 해당 제품과 유사한 제품으로 추론하거나 이미지 인식 자체를 하지 못할 수 있는데, 이러한 제품이 포함된 이미지에 대해서 별도의 이미지 학습 및 머신러닝으로의 신속한 반영을 위하여 촬영으로 이미지를 생성하는 기능, 생성된 이미지를 편집하는 기능을 제공하는 편집하는 기능 외에, 임시저장, NAS(300)에 전송하는 기능을 추가로 제공하여 이미지 학습과 점유율 산출을 할 수 있는 프로세스를 갖출 수 있다.
현장 이미지부(110)는 제품의 이미지 정확도 및 인식률을 판단할 수 있다. 현장 이미지부(110)는 정확도 또는 인식률이 기준 이하의 제품에 대한 정보를 선별적으로 NAS(300)에 송신할 수 있다. 매장에서 제품이 진열된 매대를 촬영하고 전송하여 ML서버(500)에서 매대 점유율 산출 시 해당 이미지 내에 기존에 학습이 된 제품일지라도 이미지 학습에 필요한 데이터량이 부족하여 정확도 및 인식율이 저조한 제품이 존재할 경우 이에 대해서 NAS(300)에 송신하여 선별적으로 이미지 학습을 할 수 있는 프로세스를 갖출 수 있다.
현장 데이터저장부(130)는 촬영된 이미지를 저장한다. 현장 데이터저장부(130)는 촬영된 이미지가 별도의 처리에 의해 삭제될 때까지 저장되는 것이 바람직하다. 현장 데이터저장부(130)에 이미지가 편집 작업 후 저장되면 현장 이미지부(110)에 임시로 저장되어 있던 해당 이미지는 자동으로 삭제되도록 제공되는 것이 바람직하다. 현장 데이터저장부(130)에는 현장 이미지부(110)에서 편집되기 전의 이미지와 편집된 후의 이미지가 모두 저장되도록 제공될 수 있다. 현장 데이터저장부(130)는 촬영 순서 등 일정한 기준에 의해 이미지가 정렬되는 기능을 제공할 수 있다. 현장 데이터저장부(130)는 저장된 이미지를 편집하는 기능을 제공할 수 있다.
현장 이미지부(110)에서 촬영, 편집된 이미지 정보는 현장 데이터저장부(130)에 별도로 저장되는 것이 바람직하다.
현장 송수신부(150)는 NAS(300), ML서버(500)와 저장된 이미지 등의 정보를 송신, 수신할 수 있다.
현장 송수신부(150)에서 ML서버(500)에서 전송된 이미지 등 정보는 ML서버(500)에서 처리되어 그 결과가 수신된다.
분석결과 출력부(170)는 수신된 결과를 출력한다. 분석결과 출력부(170)는 수신된 결과에 제조사별, 제품별, 매대유형별, 거래처유형별, 영업지점 조직별 등의 기준을 적용하여 도출된 세부적인 매대점유율 분석 결과를 월 또는 주간 단위로 시각적 분석틀을 이용하여 표현할 수 있다(도 12 참조).
NAS(300)는 현장 데이터처리부(100)로부터 이미지를 수신한다. NAS(300)는 현장 데이터처리부(100)로부터 수신된 이미지 원본을 저장한다. 이미지 원본은 처리요청에 의해 ML서버(500)로 송신될 수 있다. NAS(300)는 ML서버(500)에서 처리된 분석결과 이미지를 포함하여 정보를 수신하여 저장할 수 있다.
도 6은 본 발명의 일 실시예에 따른 매대 정보 산출 시스템에 있어서 ML서버(500)를 대략적으로 나타내는 블록도이다.
ML서버(500)는 현장 데이터처리부(100), NAS(300)로부터 이미지를 포함하여 여러 정보를 수신할 수 있다. ML서버(500)는 분할되어 입력되는 이미지를 분석하여 전체 매대 등의 객체 이미지를 확정하고, 확정된 이미지로부터 제품 종류, 페이싱수 등 매장 정보를 추론한다. ML서버(500)는 이미지 인식부(510), 이미지 분류부(530), 점유율 산출부(550), 결과 전송부(590)를 포함한다.
도 7은 본 발명의 실시예의 이미지 인식부의 기능을 설명하기 위해 분석 대상이 되는 이미지 중 일부가 중복되어 있는 것을 예시적으로 나타내는 도면이다.
도 7에서 네모 박스 안은 하나의 이미지 영역을 나타내는데, 이미지 일부가 중복되어 있는 것을 확인할 수 있다. 이미지 인식부(510)는 분할되어 전송된 이미지를 분석하여 매대 전체 이미지를 확정한다. 수신된 이미지 원본은 이어지는 이미지들 간에 연속성을 확보하기 위해서 또는 매대 현장의 물리적인 촬영 각도, 거리 등의 요인에 의해서 등 여러 원인에 의해 이미지의 일부가 중복으로 촬영될 수 있다. 이들 연속 이미지들 사이에는 연속된 이미지를 나타내는 별도의 표시 없이 입력되고 전송될 수 있다.
이미지 인식부(510)는 매대 유형별로 입력된 이미지를 이용하여 일측의 매대 이미지와 타측의 매대 이미지를 매대 유형별로 구분하며, 일측의 매대 사이에 일련의 순서를 추론하여 일측의 매대 이미지 전체, 나아가 매장의 매대 전체 이미지를 확정할 수 있다.
도 8은 이미지 분류부(530)에서 제품 단위 간의 경계를 확정하여 박스화하는 것을 예시적으로 나타내고, 도 9는 원본 이미지로부터 합성곱 신경망을 이용하여 제품을 예측 및 분류하는 과정을 나타내는 도면이다. 도 8에서 실선, 파선, 일점쇄선 등으로 구분되어 있는 박스는 실제 이미지상에서는 색상 등을 이용하여 제품별로 인식된 결과가 보다 명확하도록 표시될 수 있다.
이미지 분류부(530)는 합성곱신경망을 이용하여 제품 단위 간의 경계를 확정하여 박스화하고, 최적의 매개변수 값을 정규화한다. 같은 제품이라도 진열된 형태, 촬영 각도 등 여러 변수들에 의하여 제품들의 이미지 크기나 이미지 형태, 배치된 각도 등의 차이가 발생할 수 있다. 이미지 분류부(530)는 이미지 사이즈, 반복 횟수, 경계박스 크기 등 다양한 매개변수를 조정하거나 반복하여 최적의 매개변수의 값을 정규화할 수 있다.
이미지 분류부(530)는 정규화된 매개변수 값으로부터 제품을 예측 및 분류한다. 사전 데이터에 의해 만들어진 머신러닝 학습모델이 이용될 수 있다.
이미지 분류부(530)에 의하여 경계 확정, 정규화, 예측 및 분류됨으로써 정확하고 빠르게 제품의 진열 페이싱수 및 면적 등의 매대 점유율이 추정될 수 있다.
점유율 산출부(550)는 이미지 분류부(530)의 정보를 토대로 진열 페이싱수 및 면적 정보를 획득하고, 매대 점유율을 산출한다. 점유율 산출부(550)는 제조사별, 제품별, 매대 유형별, 진열단별로 페이싱수 및 면적 정보를 획득하고 매대 점유율을 산출할 수 있다. 점유율 산출부(550)가 진열 페이싱수 및 면적 정보를 획득하고 매대 점유율을 산출하기 위해 머신러닝이 적용될 수 있다. 이미지로부터 정확하게 진열단을 구분하거나 진열 페이싱수 및 면적 등의 매대 점유율 정보를 정확하게 산출하기 위하여, 하나의 진열단에서 상하로 진열된 제품은 동일할 가능성이 높고 각 진열단에서 가장 밑에 진열되는 제품이 마지막까지 남아 있으므로 가장 밑에 진열되는 제품을 기준으로 제품별 페이싱수 및/또는 면적을 획득한다거나, 하나의 진열단에서 첫번째 세로열과 마지막 세로열의 이미지 정보가 동일한 상품을 나타내는 경우 그 사이의 제품을 모두 동일한 제품으로 추정하거나 하나의 진열단에서 첫번째 세로열과 다음의 진열단의 첫번째 세로열의 제품이 다른 경우 그 사이의 빈공간은 모두 동일한 제품으로 추정하는 등 여러가지 학습 정보를 획득한 머신러닝을 이용하여 작업속도와 신뢰성을 동시에 담보할 수 있다.
도 10은 머신러닝에 의해 점유율을 산출하는 일 예시를 설명하기 위해 매대의 일부에 빈 공간이 있는 경우 매대 점유율을 산출하는 방법을 설명하기 위한 도면이다.
제품이 판매된 후 진열대에 아직 제품이 채워지기 전이어서 진열대에 빈 공간이 그대로 촬영된 경우, 빈 공간을 기준으로 상측 또는 하측의 제품과 우측 또는 좌측의 제품이 동일하다면 머신러닝 알고리즘에 의해 그와 동일한 상품이 진열된다고 추론이 가능하고, 빈 공간을 기준으로 좌우측 제품이 동일하다면 그와 동일한 제품이 진열되는 것으로 추론할 수 있다. 또한, 상기 빈 공간에 채워지는 제품의 페이싱수는 진열된 제품을 기준으로 하나의 제품의 페이싱수 대비 제품이 차지하는 면적을 판단하고, 이를 빈 공간에 적용하여 빈 공간의 면적으로부터 빈 공간에 채워지는 제품의 페이싱수가 추론되는 방식으로 계산될 수 있다. 또한, 제품의 페이싱수 대비 제품의 차지하는 면적은 각 진열단에서 가장 밑에 진열되는 제품의 좌표기준선의 좌표값 정보에 의해 판단될 수 있다.
그 외 다양한 상황에서 머신러닝을 적용하여 점유율을 산출할 수 있어, 현장 상황에 관계 없이 사진을 촬영하여 정보를 전송할 수 있다. 또한 상황에 대한 고려없이 이미지 학습이 신규 또는 추가적으로 필요한 제품의 경우 해당 제품이 포함된 이미지 정보를 수시로 전송할 수 있으므로 보다 많은 정보가 축적될 수 있어 머신러닝의 효율성을 향상시킬 수 있다.
ML서버(500)는 매출액 예측부(570)를 포함할 수 있다. 매출액 예측부(570)는 산출된 점유율로부터 예상 매출액을 산출할 수도 있다.
매출액 예측부(570)는 매대 점유율에 프로모션 정보(품목, 방법, 할인률 등), 실판매 데이터 등 여러 요인들을 반영하는 머신러닝을 적용하여 예상 매출액을 산출할 수도 있다. 매출액 예측부(570)가 반영하는 요인에는 프로모션 정보(품목, 방법, 할인률 등), 실판매 데이터 외에 인구통계학적 요인, 위치적 요인, 계절적 요인 등을 포함할 수 있다.
결과 전송부(590)는 점유율 산출부(550) 또는 매출액 예측부(570)의 결과 등 ML서버(500)의 처리 결과를 현장 데이터처리부(100) 및 NAS(300)로 송신한다.
도 11 및 도 12는 ML서버(500)로부터 처리 결과를 송신하여 현장 데이터처리부(100)에서 출력한 화면의 일 예시를 나타내는 도면이다.
결과 전송부(590)로부터 송신된 데이터는 현장 데이터처리부(100)에서 출력될 수 있다. 현장 데이터처리부(100)에서 이미지를 촬영, 생성하여 전송한 이후 ML서버(500)에서 이를 분석하고 분석된 자료를 다시 현장 데이터처리부(100)로 전송하여 매대 점유율 등 결과가 출력되는 것이 실시간으로 이루어진다.
ML서버(500)는 학습부(610)를 포함할 수 있다. 학습부(610)는 ML서버(500)의 머신러닝 정확도를 모니터링하여 피드백 할 수 있다. 학습부(610)는 현장 데이터처리부(100)로부터의 신규 제품 정보를 머신러닝에 반영할 수 있다.
이와 같은 본 발명의 실시예에 따르면, 매장에서 사진을 촬영하여 전송함으로써 실시간으로 분석된 매대 점유율 결과를 짧은 시간 내에 확인할 수 있어 매대 개선 활동이나 판촉 효과 분석 등 다양한 시장 환경에 대하여 신속하게 대응을 할 수 있다.
또한 매장에서 촬영된 이미지를 전송하는 것만으로 머신러닝으로 분석된 신속하고 정확한 제조사별, 제품별 페이싱수 및 면적 등의 점유율 결과를 즉시 확인할 수 있고, 진열 페이싱수나 면적 기준 등 일정한 기준의 매대 점유율 결과와 같은 체계적으로 분석된 정보를 현장에서 바로 확인하여 반영할 수 있다.
또한 매장에서 촬영된 이미지를 전송하는 것만으로 매대 점유율에 프로모션 정보(품목, 방법, 할인률 등), 실판매 데이터 또는 인구통계학적 정보, 시기 정보 등 여러 최신 정보들이 반영되어 예상 매출액까지 추론할 수 있다.
또한 신제품 정보나 포장 변경 등 최신의 정보를 머신러닝에 짧은 시간에 반영할 수 있어 최신 정보를 가장 최단 기간에 분석에 활용할 수 있다.
이상을 통해 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
100. 현장 데이터처리부
110. 현장 이미지부
130. 현장 데이터저장부
150. 현장 송수신부
170. 분석결과 출력부
300. NAS
500. ML서버
510. 이미지 인식부
530. 이미지 분류부
550. 점유율 산출부
570. 매출액 예측부
590. 결과 전송부
610. 학습부

Claims (10)

  1. 현장에서 매대를 촬영하여 이미지를 생성하고 이를 전송하는 현장 데이터처리부;
    상기 현장 데이터처리부로부터 수신된 이미지 원본을 분석하여 제품 종류, 진열 페이싱수, 진열 면적을 추론하고 매대 점유율을 산출하는 ML서버; 및
    상기 현장 데이터처리부로부터 이미지 원본을 수신하여 저장하고 상기 ML서버로부터 분석결과를 수신하여 저장하는 NAS;를 포함하며,
    상기 현장 데이터처리부는
    상기 ML서버로부터 분석 결과를 실시간으로 수신하여 출력하는 기능을 제공하고, 촬영으로 이미지를 생성하는 기능, 상기 생성된 이미지에 하나의 곤도라의 하나의 진열단을 기준으로 좌표 기준선을 설정하는 기능, 상기 생성된 이미지를 편집하는 기능을 제공하는 현장 이미지부를 포함하며,
    상기 ML서버는
    진열단에 빈 공간이 있는 매대 이미지가 촬영된 경우, 빈 공간을 기준으로 상측 또는 하측의 제품과 우측 또는 좌측의 제품이 서로 동일하다면 빈 공간에는 그와 동일한 제품이 진열된다고 추론하거나, 빈 공간을 기준으로 좌우측 제품이 서로 동일하다면 빈 공간에는 그와 동일한 제품이 진열된다고 추론하며,
    하나의 진열단에서 가장 밑에 진열되는 제품과 동일한 제품이 그 위에 진열된다고 추론하고,
    상기 현장 이미지부는
    사용자에 의해 하나의 곤도라의 진열단 일측의 좌표기준점이 표시되면 타측의 좌표기준점을 자동 생성하고 양 좌표기준점을 자동으로 연결함으로써 좌표기준선을 생성하는
    매대 정보 산출 시스템.
  2. 청구항 1에 있어서,
    상기 현장 데이터처리부는
    상기 현장 이미지부의 정보를 저장하는 현장 데이터저장부;
    상기 ML서버 또는 상기 NAS와 정보를 송신, 수신하는 현장 송수신부; 및
    상기 ML서버로부터 수신된 정보를 바탕으로 매대 점유율 정보를 포함하는 분석 결과를 출력하는 분석결과 출력부;
    를 더 포함하는 매대 정보 산출 시스템.
  3. 청구항 2에 있어서,
    상기 현장 이미지부는
    신규 제품이 포함된 이미지를 촬영, 편집, 임시저장, 및 상기 NAS에 전송하는 기능을 추가로 제공하는 매대 정보 산출 시스템.
  4. 청구항 2에 있어서,
    상기 현장 이미지부는
    제품의 이미지 정확도 및 인식률을 판단하고, 상기 판단된 정확도 또는 인식률이 기준 이하인 제품에 대한 정보를 선별적으로 상기 NAS로 송신하는 매대 정보 산출 시스템.
  5. 청구항 1에 있어서,
    상기 ML서버는
    매대 유형별로 등록된 이미지를 이용하여 일측의 매대 이미지와 타측의 매대 이미지를 매대 유형별로 저장하며, 일측의 매대 사이에 일련의 순서를 추론하여 일측의 매대 이미지 전체를 확정하는 이미지 인식부;
    합성곱신경망을 이용하여 제품 단위 간의 경계를 확정하여 박스화하고, 매개변수 값을 정규화하며, 상기 정규화된 매개변수 값으로부터 제품을 예측 및 분류하는 이미지 분류부;
    상기 이미지 분류부의 정보를 토대로 머신러닝을 적용하여 제조사별, 제품별, 매대 유형별, 진열단별 페이싱수 및 면적 정보를 획득하고 매대 점유율을 산출하는 점유율 산출부; 및
    상기 ML서버에서 처리된 결과를 상기 현장 데이터처리부 및 상기 NAS로 송신하는 결과 전송부;
    를 포함하는 매대 정보 산출 시스템.
  6. 청구항 5에 있어서,
    상기 ML서버는
    상기 점유율 산출부의 매대 점유율에 프로모션 정보, 실판매 데이터를 포함하는 요인들을 반영하는 머신러닝을 적용하여 예상 매출액을 추론하는 매출액 예측부;를 더 포함하는 매대 정보 산출 시스템.
  7. 청구항 5에 있어서,
    상기 ML서버는
    상기 ML서버의 머신러닝 정확도를 모니터링하여 피드백하고, 상기 현장 데이터처리부로부터의 신규 제품 정보를 머신러닝에 반영하는 학습부;를 더 포함하는 매대 정보 산출 시스템.
  8. 삭제
  9. 청구항 1에 있어서,
    상기 빈 공간에 대한 제품의 페이싱수는 머신러닝 알고리즘에 의해 진열된 제품을 기준으로 하나의 제품의 페이싱수 대비 제품이 차지하는 면적을 판단하고, 이를 빈 공간에 적용하여 추론하는 매대 정보 산출 시스템.
  10. 청구항 1에 있어서,
    상기 제품의 페이싱수 대비 제품의 차지하는 면적은 각 진열단에서 가장 밑에 진열되는 제품의 좌표기준선의 좌표값 정보에 의해 판단하는 매대 정보 산출 시스템.
KR1020210063538A 2021-05-17 2021-05-17 매대 정보 산출 시스템 KR102365370B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210063538A KR102365370B1 (ko) 2021-05-17 2021-05-17 매대 정보 산출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210063538A KR102365370B1 (ko) 2021-05-17 2021-05-17 매대 정보 산출 시스템

Publications (1)

Publication Number Publication Date
KR102365370B1 true KR102365370B1 (ko) 2022-02-23

Family

ID=80495454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210063538A KR102365370B1 (ko) 2021-05-17 2021-05-17 매대 정보 산출 시스템

Country Status (1)

Country Link
KR (1) KR102365370B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482533A (zh) * 2022-09-19 2022-12-16 北京百度网讯科技有限公司 陈列柜的拆分方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110000789A (ko) * 2009-06-29 2011-01-06 (주)쓰리디미디어솔루션코리아 이미지 인식 기술을 이용하여 매장 진열 상품을 자동으로 정량화 하는 방법과 시스템
KR101520338B1 (ko) * 2014-09-11 2015-05-15 (주) 한국아이지에이 온라인을 통한 실시간 시각화 매장 통합 관리 시스템에서의 매장 통합 관리 프로그램
KR102002024B1 (ko) * 2018-12-06 2019-07-22 주식회사 아임클라우드 객체 라벨링 처리 방법 및 객체 관리 서버
KR20210044073A (ko) * 2019-10-14 2021-04-22 엘지전자 주식회사 영상의 상품 인식에 기반하여 매장 내 위치를 추정하기 위한 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110000789A (ko) * 2009-06-29 2011-01-06 (주)쓰리디미디어솔루션코리아 이미지 인식 기술을 이용하여 매장 진열 상품을 자동으로 정량화 하는 방법과 시스템
KR101520338B1 (ko) * 2014-09-11 2015-05-15 (주) 한국아이지에이 온라인을 통한 실시간 시각화 매장 통합 관리 시스템에서의 매장 통합 관리 프로그램
KR102002024B1 (ko) * 2018-12-06 2019-07-22 주식회사 아임클라우드 객체 라벨링 처리 방법 및 객체 관리 서버
KR20210044073A (ko) * 2019-10-14 2021-04-22 엘지전자 주식회사 영상의 상품 인식에 기반하여 매장 내 위치를 추정하기 위한 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482533A (zh) * 2022-09-19 2022-12-16 北京百度网讯科技有限公司 陈列柜的拆分方法、装置、电子设备及存储介质
CN115482533B (zh) * 2022-09-19 2023-06-16 北京百度网讯科技有限公司 陈列柜的拆分方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN104949617B (zh) 用于对象包装的对象三维尺寸估测系统及方法
EP3550479A1 (en) Augmented-reality-based offline interaction method and apparatus
KR101883083B1 (ko) 트레일러 로딩 평가와 트레이닝
CN107179324B (zh) 检测产品包装的方法、装置和系统
US11863869B1 (en) Event detection using motion extracted image comparison
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
CN109117824B (zh) 商品的管理方法、装置、电子设备及储存介质
CN107066978A (zh) 一种人群信息采集分析方法和系统
US20210049542A1 (en) Systems, devices, and methods for estimating stock level with depth sensor
CN109146976A (zh) 用于定位无人车的方法和装置
JP6756473B2 (ja) 行動分析装置及びシステム及び方法
CN110415295B (zh) 图像数据处理方法和图像数据处理设备
KR102365370B1 (ko) 매대 정보 산출 시스템
CN110263748A (zh) 用于发送信息的方法和装置
US20190114596A1 (en) System for Analyzing and Improving Device Location as a Function of Time
KR20190106347A (ko) 다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템
CN110264497B (zh) 跟踪时长的确定方法及装置、存储介质、电子装置
US11176505B2 (en) Multi-channel tracking and control system
CN109715528A (zh) 信息处理装置、信息处理方法、程序、以及记录介质
US20230130735A1 (en) Real-time risk tracking
US11107234B2 (en) Validation systems and methods for human or object detection
WO2023275870A1 (en) Using slam 3d information to optimize training and use of deep neural networks for recognition and tracking of 3d object
CN114422583A (zh) 一种巡检机器人与智能终端间的交互系统
KR102142948B1 (ko) 송장을 이용한 물품 포장 시스템 및 방법
CN111126322A (zh) 应用于无人售货装置的物品识别方法、装置及设备

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)