KR102593108B1 - 영상 분석 기반 상품 관리 시스템 및 방법 - Google Patents

영상 분석 기반 상품 관리 시스템 및 방법 Download PDF

Info

Publication number
KR102593108B1
KR102593108B1 KR1020180126918A KR20180126918A KR102593108B1 KR 102593108 B1 KR102593108 B1 KR 102593108B1 KR 1020180126918 A KR1020180126918 A KR 1020180126918A KR 20180126918 A KR20180126918 A KR 20180126918A KR 102593108 B1 KR102593108 B1 KR 102593108B1
Authority
KR
South Korea
Prior art keywords
product
information
unit
image
image analysis
Prior art date
Application number
KR1020180126918A
Other languages
English (en)
Other versions
KR20200045862A (ko
Inventor
김수웅
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020180126918A priority Critical patent/KR102593108B1/ko
Publication of KR20200045862A publication Critical patent/KR20200045862A/ko
Application granted granted Critical
Publication of KR102593108B1 publication Critical patent/KR102593108B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따르면, 상품 진열 영역을 촬영한 영상에 기반하여, 결품 발생 및 오진열된 상품을 실시간으로 감지할 수 있는 상품 관리 시스템을 제공할 수 있다. 본 발명의 일 실시예에 따른 상품 관리 시스템은, 각 상품의 상품 정보가 저장된 데이터베이스; 상기 상품 진열 영역을 촬영하여 영상을 획득하는 촬영부; 상기 촬영부에 의해 획득된 영상을 분석하여, 영상 내에 존재하는 상품의 상품 정보를 획득하는 영상 분석부; 및 상기 영상 분석부에서 획득된 상품 정보를 상기 데이터베이스에 저장된 상품 정보와 비교하여, 결품된 상품이 있는지 여부 및 오진열된 상품이 있는지 여부 중 적어도 하나를 판단하는 판단부를 포함하며, 상기 상품 정보는, 상품의 모양에 기초한 대분류 정보 및 상기 상품 진열 영역 내에서 상품의 위치를 나타내는 위치 정보를 포함하고, 상기 데이터베이스에 저장된 각 상품의 상품 정보는, 동일한 대분류 정보를 가진 상품끼리 동일한 대분류 그룹으로 1차 분류되어 저장될 수 있다.

Description

영상 분석 기반 상품 관리 시스템 및 방법{PRODUCT MANAGEMENT SYSTEM AND METHOD BASED ON IMAGE ANALYSIS}
본 발명은 상품 진열 영역을 촬영한 영상에 기반하여, 진열된 상품을 관리하는 시스템 및 방법에 관한 것으로, 더욱 상세하게는 계층적 영상 데이터 분석 및 관리에 기반한 상품 관리 시스템 및 방법에 관한 것이다.
편의점 등과 같이 매대에 상품을 진열하고 판매하는 상품 판매장에서, 매장 근무자가 진열된 상품을 직접 눈으로 확인하고 관리하는 것이 일반적이다. 그러나, 이러한 방법은 결품이 생길 때 빠르게 확인하기가 어렵다. 또한, 최근 편의점과 같은 경우는 1인 근무자가 늘어나, 근무자가 매장 청소, 고객 응대 등을 수행하면서 모든 매대에 진열된 상품의 재고 관리까지 수행하는 것이 사실상 불가능하게 되었다. 따라서, 매대에 결품된 상품이 매장 내에 재고가 존재함에도, 즉각적으로 매대에 보충 진열되지 못하여 고객이 구입하지 못하는 경우가 발생하게 되었다.
특히, 최근 편의점에서는 신선 식품의 매출이 늘고 있으며, 신선 식품은 재고를 구비하지 않는 것이 일반적이어서 결품이 발생할 경우 빠른 인지와 물품 발주가 필요하다.
또한, 프랜차이즈 매장 등의 경우 매출 증대를 위한 전략적인 상품 진열 지침을 가맹점에 제공한다. 그러나, 근무자가 부족한 경우 지침 대로 상품을 진열해 놓는 것이 어렵다. 고객이 특정 상품의 위치를 근무자에게 문의했을 경우에도, 근무자가 모든 상품의 위치를 파악하기 어려워 고객에게 바로 정보를 제공하기 어려운 문제가 존재한다.
한국특허공개공보 제10-2014-0136089호
본 발명은 전술한 문제점을 해결하기 위한 것으로, 상품 진열 영역을 촬영한 영상에 기반하여, 결품 발생 및 오진열된 상품을 실시간으로 감지할 수 있는 상품 관리 시스템 및 방법을 제공하는 것을 일 목적으로 한다.
또한, 본 발명은 상품 진열 영역을 촬영한 영상을 분석하고 영상 데이터를 저장함에 있어서, 계층적 분석 방법을 사용함으로써 보다 빠른 분석을 가능하게 하는 것을 일 목적로 한다.
또한, 본 발명은 계층적 분석 방법을 사용함으로써, 상품 관리 시스템에 신규 상품 정보를 등록할 때의 소요 시간을 단축시키는 것을 일 목적으로 한다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 한정되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 상품 관리 시스템은, 상품 진열 영역을 촬영한 영상에 기반하여 상품을 관리하는 시스템으로서, 각 상품의 상품 정보가 저장된 데이터베이스; 상기 상품 진열 영역을 촬영하여 영상을 획득하는 촬영부; 상기 촬영부에 의해 획득된 영상을 분석하여, 영상 내에 존재하는 상품의 상품 정보를 획득하는 영상 분석부; 및 상기 영상 분석부에서 획득된 상품 정보를 상기 데이터베이스에 저장된 상품 정보와 비교하여, 결품된 상품이 있는지 여부 및 오진열된 상품이 있는지 여부 중 적어도 하나를 판단하는 판단부를 포함한다.
상기 상품 정보는, 상품의 모양에 기초한 대분류 정보 및 상기 상품 진열 영역 내에서 상품의 위치를 나타내는 위치 정보를 포함하고, 상기 데이터베이스에 저장된 각 상품의 상품 정보는, 동일한 대분류 정보를 가진 상품끼리 동일한 대분류 그룹으로 1차 분류되어 저장된다.
상기 상품 정보는, 상품명, 상품 코드 및 형태 정보 중 적어도 하나를 포함하는 소분류 정보를 더 포함할 수 있다.
상기 데이터베이스에 저장된 각 상품의 상품 정보는, 상기 대분류 정보에 기초하여 분류된 그룹 내에서, 상기 소분류 정보에 기초하여 2차 분류되어 저장될 수 있다.
상기 영상 분석부는, 상기 촬영부에 의해 획득된 영상을 분석하여 상기 대분류 정보 및 상기 위치 정보를 획득하는 제 1 영상 분석부; 및 상기 제 1 영상 분석부에서 획득된 상기 대분류 정보 및 상기 위치 정보에 기초하여, 상기 영상에서 상품이 존재하는 각 영역을 분리하는 전처리를 수행하는 전처리부를 포함할 수 있다.
상기 영상 분석부는, 상기 1차 분류된 대분류 그룹 각각에 대응하는 하나 이상의 제 2 영상 분석부를 포함하며, 상기 제 2 영상 분석부는, 전처리가 수행되어 분리된 각 영역의 영상을 분석하여 상기 소분류 정보를 획득할 수 있다.
상기 촬영부는, 주기적으로 상기 상품 진열 영역을 촬영하여 영상을 획득하고, 상기 영상 분석부는, 주기적으로 획득되는 상기 영상에 기초하여 주기적으로 상품 정보를 획득하여 해당 상품 정보가 획득된 시간 정보와 함께 상기 데이터베이스에 저장할 수 있다.
상기 판단부는, 상기 영상 분석부에서 주기적으로 획득되는 상품 정보를, 해당 상품 정보보다 이전 시간에 상기 데이터베이스에 저장된 상품 정보와 비교하여 결품된 상품이 있는지 여부를 판단할 수 있다.
상기 데이터베이스에는 각 상품의 기준 위치 정보가 저장되고, 상기 판단부는, 상기 영상 분석부에서 획득된 상품 정보에 포함되는 위치 정보와 상기 기준 위치 정보를 비교하여 오진열된 상품이 있는지 여부를 판단할 수 있다.
상기 영상 분석부에서 획득된 상품 정보에 기초하여 각 상품의 위치 정보를 표시하는 표시부를 더 포함할 수 있다.
상기 데이터베이스에 신규 상품의 상품 정보를 등록하는 신규 상품 등록부를 더 포함하며, 상기 신규 상품 등록부는, 상기 신규 상품의 대분류 정보를 입력받는 입력부; 상기 신규 상품을 촬영하여 영상을 획득하는 신규 상품 촬영부; 상기 신규 상품 촬영부에서 획득된 영상을 분석하여 상기 신규 상품의 소분류 정보를 획득하는 신규 상품 영상 분석부; 및 상기 입력부를 통해 입력된 대분류 정보에 기초하여 상기 데이터베이스에서 해당 대분류의 그룹을 선택하고, 선택된 그룹의 데이터에 상기 신규 상품 영상 분석부에서 획득된 소분류 정보를 추가하는 갱신부를 포함할 수 있다.
상기 갱신부는, 상기 1차 분류된 대분류 그룹 각각에 대응하는 하나 이상의 제 2 영상 분석부 중에서, 상기 신규 상품의 대분류 정보에 대응하는 제 2 영상 분석부를 갱신할 수 있다.
상기 전처리부는, 분리된 각 영역의 영상에 리사이징 및 컬러 정규화(color regularization) 중 적어도 하나를 더 수행할 수 있다.
상기 판단부가 결품된 상품이 있거나 오진열된 상품이 있다고 판단한 경우, 알림을 표시하는 알림 표시부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 상품 관리 방법은, 각 상품의 상품 정보가 저장된 데이터베이스, 및 상품 진열 영역을 촬영하여 영상을 획득하는 촬영부를 포함하는 장치를 이용하여 상품을 관리하는 방법으로, 상기 상품 정보는, 상품의 모양에 기초한 대분류 정보 및 상기 상품 진열 영역 내에서 상품의 위치를 나타내는 위치 정보를 포함하고, 상기 데이터베이스에 저장된 각 상품의 상품 정보는, 동일한 대분류 정보를 가진 상품끼리 동일한 대분류 그룹으로 1차 분류되어 저장되며, 상기 방법은, 상기 촬영부에 의해, 상기 상품 진열 영역을 촬영하여 영상을 획득하는 단계; 상기 촬영부에 의해 획득된 영상을 분석하여, 영상 내에 존재하는 상품의 상품 정보를 획득하는 단계; 및 상기 영상 내에 존재하는 상품의 상품 정보를 상기 데이터베이스에 저장된 상품 정보와 비교하여, 결품된 상품이 있는지 여부 및 오진열된 상품이 있는지 여부 중 적어도 하나를 판단하는 단계를 포함한다.
상기 상품 정보는, 상품명, 상품 코드 및 형태 정보 중 적어도 하나를 포함하는 소분류 정보를 더 포함할 수 있고, 상기 데이터베이스에 저장된 각 상품의 상품 정보는, 상기 대분류 정보에 기초하여 분류된 그룹 내에서, 상기 소분류 정보에 기초하여 2차 분류되어 저장되며, 상기 영상 내에 존재하는 상품의 상품 정보를 획득하는 단계는, 상기 촬영부에 의해 획득된 영상을 분석하여 상기 대분류 정보 및 상기 위치 정보를 획득하는 단계; 및 획득된 상기 대분류 정보 및 상기 위치 정보에 기초하여, 상기 영상에서 상품이 존재하는 각 영역을 분리하는 전처리를 수행하는 단계를 포함할 수 있다.
상기 영상 내에 존재하는 상품의 상품 정보를 획득하는 단계는, 전처리가 수행되어 분리된 각 영역의 영상을 분석하여 상기 소분류 정보를 획득하는 단계를 더 포함할 수 있다.
상기 방법은, 신규 상품의 대분류 정보를 입력받는 단계; 상기 신규 상품을 촬영하여 영상을 획득하는 단계; 획득된 영상을 분석하여 상기 신규 상품의 소분류 정보를 획득하는 단계; 및 상기 입력부를 통해 입력된 대분류 정보에 기초하여 상기 데이터베이스에서 해당 대분류의 그룹을 선택하고, 선택된 그룹의 데이터에 상기 신규 상품 영상 분석부에서 획득된 소분류 정보를 추가하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 상기 방법은, 상기 방법을 제어 장치가 수행하도록 하는 일련의 명령어가 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다.
본 발명의 일 실시예에 따르면, 상품 진열 영역을 촬영한 영상에 기반하여, 결품 발생 및 오진열된 상품을 실시간으로 감지할 수 있는 상품 관리 시스템을 제공할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 상품 진열 영역을 촬영한 영상을 분석하고 영상 데이터를 저장함에 있어서, 계층적 분석 방법을 사용함으로써 보다 빠른 분석을 가능하게 할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 상품 관리 시스템에 신규 상품 정보를 등록할 때의 소요 시간을 단축시킬 수 있다.
본 발명의 효과가 상술한 효과들로 한정되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 상품 관리 시스템의 구성을 설명하기 위한 예시적인 블록도이다.
도 2는 도 1의 데이터베이스에 상품 정보가 계층적으로 저장된 것을 설명하기 위한 예시적인 도면이다.
도 3은 도 1의 영상 분석부의 구성을 설명하기 위한 예시적인 블록도이다.
도 4는 도 3의 전처리부가 수행하는 전처리 과정의 예시적인 흐름도이다.
도 5는 도 1의 신규 상품 등록부의 구성을 설명하기 위한 예시적인 블록도이다.
도 6은 본 발명의 일 실시예에 따라 상품의 위치 정보를 획득하기 위해, 상품 진열 영역의 레이아웃을 분석하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 상품 관리 시스템의 촬영부를 예시적으로 설명하기 위한 도면이다.
도 8 내지 12는 본 발명의 일 실시예에 따른 상품 관리 시스템에 의해 영상을 분석하는 방법을 설명하기 위한 도면이다.
도 13은 도 1의 표시부 및 알림표시부 등을 예시적으로 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 신규 상품 등록부의 신규 상품 촬영부를 예시적으로 나타내는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
본 발명은 편의점 등의 매장에서 매대 등의 상품 진열 영역에 상품을 진열하고 관리할 때 적용할 수 있는, 상품 진열 영역을 촬영한 영상에 기반한 상품 관리 시스템에 관한 것이다. 본 발명의 일 실시예에 따르면, 영상 데이터를 계층적으로 분석하고 저장하여, 처리 속도를 향상시킬 수 있다. 따라서, 본 발명의 일 실시예에 따르면 영상을 분석하여 상품을 인식할 때 또는 상품 관리 시스템에 신규 상품을 등록할 때 소요 시간을 단축시킬 수 있다.
이하, 첨부되는 도면들을 참조하여 본 발명의 실시예들을 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 상품 관리 시스템(100)의 구성을 설명하기 위한 예시적인 블록도이다. 상기 상품 관리 시스템(100)은 상품 진열 영역을 촬영한 영상에 기반하여 상품을 관리하는 시스템이다.
도 1을 참조하면, 상기 상품 관리 시스템(100)은 데이터베이스(110), 촬영부(120), 영상 분석부(130) 및 판단부(140)를 포함한다.
데이터베이스(110)에는 상품 진열 영역에 진열될 수 있는 각 상품의 상품 정보가 저장된다. 본 발명의 일 실시예에 있어서, 상품 정보란 상품의 모양에 기초한 대분류 정보 및 상품 진열 영역 내에서 상품의 위치를 나타내는 위치 정보를 포함한다.
대분류 정보에 대해서 예시적으로 설명하기 위해, 진열될 수 있는 상품으로 사이다 병음료, 콜라 병음료, 주스 캔음료, 커피 캔음료가 존재한다고 가정한다. 사이다 병음료와 콜라 병음료는 서로 다른 상품이지만 외관은 유사한 병 모양을 가질 것이다. 따라서, 사이다 병음료와 콜라 병음료는 동일한 대분류 정보인, 예를 들면 "병음료"라는 대분류 정보를 가질 수 있다. 마찬가지로, 주스 캔음료와 커피 캔음료도 서로 다른 상품이지만 외관은 유사한 캔 모양을 가질 것이다. 따라서, 주스 캔음료와 커피 캔음료도 동일한 대분류 정보인, 예를 들면 "캔음료"라는 대분류 정보를 가질 수 있다.
상품의 위치 정보는 상품 진열 영역 내에서 해당 상품의 위치를 나타낸다. 예를 들어, 해당 상품이 상품 진열 영역에 배치된 매대에서 몇번째 단의 왼쪽에서부터 몇번째 자리에 존재하는지에 따라, 해당 상품의 위치 정보를 "○단 ○번" 등으로 나타낼 수 있다. "○단 ○번"과 같은 위치 정보의 표시 방식은 예시적인 것이며, 상품 진열 영역 내에서 각 상품의 위치를 상대적으로 표시 가능한 어떠한 방식으로도 변경하여 사용될 수 있다.
본 발명의 일 실시예에 따라, 데이터베이스(110)에는 각 상품의 상품 정보, 즉 대분류 정보와 위치 정보가 저장된다. 데이터베이스(110)에 저장된 각 상품의 상품 정보는, 동일한 대분류 정보를 가진 상품끼리 동일한 대분류 그룹으로 1차 분류되어 저장된다. 예를 들어, 전술한 예시에서, 사이다 병음료와 콜라 병음료는 동일한 "병음료" 그룹에 저장될 수 있다.
일 실시예에 따르면, 상품 정보는 대분류 그룹 내에서 다시 상품 정보를 분류하기 위한 소분류 정보를 더 포함할 수 있다. 대분류 정보가 상품의 대략적인 외관에 기초한 것이라면, 소분류 정보는 상품명, 상품 코드 및 형태 정보와 같이 서로 다른 상품을 구별할 수 있는 정보이다. 상품 코드는 상품에 부착된 바코드 등으로 인식되는 정보일 수 있다. 또한, 본 발명에 있어서 형태 정보란, 대분류 정보를 인식할 때의 상품 모양의 인식보다 더 정밀한 상품 외관의 분석을 통해 획득한 정보를 뜻한다.
예를 들어, 사이다 병음료와 콜라 병음료는 대분류 정보는 서로 같지만, 상품명, 상품 코드 및 형태 정보는 서로 상이하다. 따라서, 데이터베이스(110)에 사이다 병음료와 콜라 병음료의 상품 정보는 같은 "병음료" 대분류 그룹에 저장되지만, 해당 대분류 그룹 내에서 소분류 정보에 기초하여 2차 분류되어 "사이다 병음료" 및 "콜라 병음료" 그룹에 각각 저장될 수 있다.
도 2는 도 1의 데이터베이스에 상품 정보가 계층적으로 저장된 것을 설명하기 위한 예시적인 도면이다.
도 2의 예시에서는, 상품 진열 영역에 진열될 수 있는 상품으로 Z 병음료, K 캔음료, A 컵라면, F 컵라면이 존재한다. 도 2에 도시된 바와 같이, 각 상품의 상품 정보는 "병음료", "캔음료", "컵라면"의 대분류 그룹으로 분류되어 저장될 수 있다. 또한, 동일 "컵라면" 대분류 그룹 내에서도, A 컵라면과 F 컵라면 각각의 소분류 정보에 의해 서로 다른 상품으로 구분되어 저장된다.
다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)은 상품 진열 영역을 촬영하여 영상을 획득하는 촬영부(120)를 포함한다. 일 실시예에 따라, 촬영부(120)는 하나 이상의 카메라를 포함할 수 있다. 촬영부(120)에 포함되는 카메라로는 상품 진열 영역 내의 상품의 상품명, 상품 코드 및 형태를 인식할 수 있는 어떠한 종류의 카메라도 사용될 수 있다. 카메라는 매장 내에서 상품 진열 영역을 촬영할 수 있는 위치에 배치될 수 있다. 예를 들면, 도 7에서와 같이 마주보는 형태의 매대가 존재하는 경우, 매대의 각 단마다 카메라를 부착하는 형태로 촬영부(120)를 구성할 수 있다. 각 단에 부착된 카메라는 서로 마주보는 매대에 진열된 상품을 촬영할 수 있다. 일 실시예에 따라, 도 7에 도시된 바와 같이 매대에는 각 상품의 가격 태그가 부착될 수 있으며, 카메라는 상품과 가격 태그를 함께 촬영할 수도 있다.
다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)은 촬영부(120)에 의해 획득된 영상을 분석하여, 영상 내에 존재하는 상품의 상품 정보를 획득하는 영상 분석부(130)를 포함한다.
도 3은 도 1의 영상 분석부(130)의 구성을 설명하기 위한 예시적인 블록도이다. 일 실시예에 따르면, 영상 분석부(130)는 제 1 영상 분석부(131), 전처리부(132), 및 하나 이상의 제 2 영상 분석부(133-1,,, n)를 포함할 수 있다.
제 1 영상 분석부(131)는 촬영부(120)에 의해 획득된 영상을 수신하고, 분석할 수 있다. 일 실시예에 따르면, 제 1 영상 분석부(131)는 영상 내에 존재하는 상품의 대분류 정보 및 위치 정보를 획득할 수 있다. 전술한 바와 같이, 대분류 정보는 상품의 모양에 기초한 것으로, 제 1 영상 분석부(131)는 예를 들면 컵음료와 병음료를 구분하는 분석 작업을 수행할 수 있다. 대분류 정보의 획득은 상품의 대략적인 모양만 파악하면 가능하기 때문에, 본 발명의 일 실시예에 따른 제 1 영상 분석부(131)는 비교적 간단한 분석으로 대분류 정보를 획득할 수 있다.
또한, 제 1 영상 분석부(131)는 각 상품의 위치 정보를 획득할 수 있다. 따라서, 본 발명의 일 실시예에 따른 제 1 영상 분석부(131)는 각 상품의 대분류 정보와 그에 대응하는 위치 정보를 획득할 수 있다.
도 3을 참조하면, 영상 분석부(130)는 제 1 영상 분석부(131)에서 획득된 대분류 정보 및 위치 정보에 기초하여, 영상에서 상품이 존재하는 각 영역을 분리하는 전처리를 수행하는 전처리부(132)를 포함할 수 있다. 즉, 일 실시예에 따른 전처리부(132)는 촬영부(120)가 획득한 영상에서, 제 1 영상 분석부(131)의 분석 결과에 기초하여 관심 영역을 분리하는 작업을 수행할 수 있다. 이러한 전처리 과정을 통해, 영상 분석에 있어서 처리 효율을 향상시킬 수 있다.
일 실시예에 따르면, 전처리부(132)는 관심 영역 분리 작업 이외에도 영상 처리 효율을 향상시키기 위한 다른 전처리 작업도 수행할 수 있다. 예를 들면, 전처리부(132)는 리사이징 및 컬러 정규화(color regularization) 작업 중 적어도 하나를 더 수행할 수 있다. 일 실시예에 따라, 전처리부(132)는 도 4에 도시된 바와 같이 관심 영역 분리, 리사이징, 컬러 정규화의 전처리 작업을 순차적으로 수행할 수 있다.
다시 도 3을 참조하면, 영상 분석부(130)는 하나 이상의 제 2 영상 분석부(133-1 내지 133-n)를 포함할 수 있다. 하나 이상의 제 2 영상 분석부(133-1 내지 133-n)는 대분류 그룹 각각에 대응할 수 있다. 예를 들면, "병음료" 대분류 및 "캔음료" 대분류가 존재할 경우, 각 대분류에 대응하는 "병음료-제 2 영상 분석부" 및 "캔음료-제 2 영상 분석부"가 별도로 제공될 수 있다.
제 2 영상 분석부(133-1 내지 133-n)는 전처리부(132)에 의해 전처리가 수행되어 분리된 각 영역의 영상을 분석하여 각 상품의 소분류 정보를 획득할 수 있다. 일 실시예에 따르면, 제 2 영상 분석부(133-1 내지 133-n)는 제 1 영상 분석부(131)의 분석 처리보다 정밀한 분석 처리를 수행한다. 따라서, 제 2 영상 분석부(133-1 내지 133-n)는 영상에 나타는 상품의 상품명, 상품 코드 및 형태 정보 중 적어도 하나를 인식하여, 소분류 정보를 획득할 수 있다. 전술한 바와 같이, 본 발명에 있어서 형태 정보란, 대분류 정보를 획득하기 위한 상품의 모양 정보보다 정밀하게 상품의 외관을 분석한 정보를 뜻한다.
예를 들면, 서로 다른 상품인 "A컵라면"과 "F컵라면"은 제 1 영상 분석부(131)에서는 동일한 "컵라면" 대분류로 인식된다. 그러나, "컵라면" 대분류에 대응하는 제 2 영상 분석부(133-n)의 정밀 영상 분석에 의해, 상품명, 상품 코드 또는 형태 정보가 인식되어 "A컵라면"과 "F컵라면"에 해당하는 소분류 정보가 각각 획득될 수 있다.
다시 도 1을 참조하면, 영상 분석부(130)는 촬영부(120)로부터 상품 진열 영역을 촬영한 영상을 수신하여 분석한다. 일 실시예에 따라, 촬영부(120)는 기설정된 주기마다 상품 진열 영역을 촬영하여 영상을 획득할 수 있다. 이에 따라, 영상 분석부(130)는 주기적으로 실시간 영상을 수신할 수 있다. 영상 분석부(130)는 주기적으로 획득되는 영상에 기초하여 주기적으로 실시간 상품 정보를 획득할 수 있다. 또한, 영상 분석부(130)는 획득된 상품 정보를 해당 상품 정보가 획득된 시간 정보와 함께 데이터베이스(110)에 저장할 수 있다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)은 영상 분석부(130)에서 획득된 상품 정보를 데이터베이스(110)에 저장된 상품 정보와 비교하여, 결품된 상품이 있는지 여부 및 오진열된 상품이 있는지 여부 중 적어도 하나를 판단하는 판단부(140)를 더 포함한다.
일 실시예에 따르면, 판단부(140)는 영상 분석부(130)에서 주기적으로 획득되는 실시간 상품 정보를, 해당 상품 정보보다 이전 시간에 데이터베이스(110)에 저장된 상품 정보와 비교함으로써, 결품된 상품이 있는지 여부를 판단할 수 있다. 따라서, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)을 사용함으로써, 매장 내 상품 진열 영역의 결품된 상품이 있는지 여부를 일일이 직접 확인하지 않아도 되며, 결품이 발생했을 경우 빠르게 확인할 수 있다.
또한, 일 실시예에 따르면 데이터베이스(110)에는 각 상품의 기준 위치 정보가 저장될 수 있다. 예를 들면, 프랜차이즈 편의점 등에서는 매출 증대를 위한 전략적인 상품 진열 지침을 가맹점에 제공한다. 가맹점의 관리자는 이러한 상품 진열 지침에 따라, 상품 관리 시스템(100)에 각 상품의 기준 위치 정보를 입력할 수 있다. 관리자에 의해 입력된 기준 위치 정보는 데이터베이스(110)에 저장될 수 있다.
판단부(140)는 영상 분석부(130)에서 주기적으로 획득되는 상품 정보에 포함되는 위치 정보와, 데이터베이스(110)에 저장된 기준 위치 정보를 비교하여, 오진열된 상품이 있는지 여부를 판단할 수 있다. 따라서, 매장의 근무자가 직접 상품 오진열 여부를 확인하지 않아도, 기준 위치 정보에서 벗어난 오진열 상품이 발생한 경우 빠르게 확인할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)은, 영상 분석부(130)에서 획득된 상품 정보에 기초하여, 각 상품의 위치 정보를 표시하는 표시부(150)를 더 포함할 수 있다. 예를 들면, 표시부(150)는 도 13에 도시된 바와 같이 매장의 한 쪽 벽면에 디스플레이로 제공될 수 있다. 매장에 방문한 고객은 표시부(150)에 나타난 각 상품의 위치 정보를 통해, 빠르고 편리하게 상품을 찾아 구매할 수 있다.
또한, 도 1을 참조하면, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)은 신규 상품 등록부(160)를 더 포함할 수 있다. 신규 상품 등록부(160)는 데이터베이스(110)에 신규 상품의 상품 정보를 등록할 수 있다. 또한, 신규 상품 등록부(160)는, 하나 이상의 제 2 영상 분석부(133-1 내지 133-n) 중에서, 해당 신규 상품이 해당하는 대분류 그룹에 대응하는 제 2 영상 분석부를 선택적으로 갱신할 수 있다.
도 5는 도 1의 신규 상품 등록부(160)의 구성을 설명하기 위한 예시적인 블록도이다. 도 5를 참조하면, 일 실시예에 따른 신규 상품 등록부(160)는 입력부(161), 신규 상품 촬영부(162), 신규 상품 영상 분석부(163) 및 갱신부(164)를 포함할 수 있다.
입력부(161)는 신규 상품의 대분류 정보를 입력받을 수 있다. 즉, 관리자는 신규 상품이 입점되면, 해당 신규 상품의 대분류 정보를 파악하고, 입력부(161)에 입력한다.
신규 상품 촬영부(162)는 신규 상품을 촬영하여, 영상을 획득한다. 예를 들면, 신규 상품 촬영부(162)는 도 14에 도시된 바와 같은 형태로 제공될 수 있다. 도 14를 참조하면, 소형촬영부스가 제공되고, 신규 상품을 올려놓을 수 있는 턴테이블이 제공되며, 다수의 조명 및 카메라가 제공될 수 있다. 따라서, 일 실시예에 따른 신규 상품 촬영부(162)는 다각도에서 신규 상품을 촬영하고, 신규 상품에 대한 다각도의 영상을 획득할 수 있다.
신규 상품 영상 분석부(163)는 신규 상품 촬영부(162)에서 획득된 영상을 분석하여 신규 상품의 소분류 정보를 획득할 수 있다. 전술한 바와 같이, 일 실시예에 따른 신규 상품 촬영부(162)는 신규 상품에 대해 다각도에서 정밀한 영상을 획득할 수 있기 때문에, 신규 상품 영상 분석부(163)는 해당 영상을 분석하여 신규 상품의 상품명, 상품 코드 및 형태 정보 중 적어도 하나를 포함하는 소분류 정보를 획득할 수 있다.
갱신부(164)는 입력부(161)를 통해 입력된 대분류 정보에 기초하여 데이터베이스(110)에서 해당 대분류의 그룹을 선택하고, 선택된 대분류 그룹의 데이터에 신규 상품 영상 분석부(163)에서 획득된 소분류 정보를 추가할 수 있다. 또한, 갱신부(164)는 하나 이상의 제 2 영상 분석부(133-1 내지 133-n) 중에서, 신규 상품의 대분류 정보에 대응하는 제 2 영상 분석부를 갱신할 수 있다. 예를 들어, 신규 상품 촬영부(162)에 의해 획득된 영상에 근거하여, 제 2 영상 분석부를 학습시켜 갱신할 수 있다.
본 발명의 일 실시예에 따르면, 신규 상품 등록부(160)에 의해 신규 상품의 상품 정보가 상품 관리 시스템(100)에 등록될 때, 대분류 정보 및 소분류 정보에 기반한 계층적 데이터 관리에 의해, 시스템 갱신에 소요되는 시간을 단축시킬 수 있다. 즉, 갱신부(164)는 전체 영상 분석부(130)를 갱신할 필요없이, 신규 상품의 대분류 정보에 대응하는 제 2 영상 분석부(133-n)만을 학습시켜 갱신하면 되기 때문에, 시스템 갱신을 효율적으로 진행할 수 있다.
다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)은, 판단부(140)가 결품된 상품이 있거나 오진열된 상품이 있다고 판단한 경우, 알림을 표시하는 알림 표시부(170)를 더 포함할 수 있다. 예를 들면, 알림 표시부(170)는 도 13에 도시된 바와 같이 각 매대에 부착된 표시등의 형태로 제공될 수 있다.
도 6은 본 발명의 일 실시예에 따라 상품의 위치 정보를 획득하기 위해, 상품 진열 영역의 레이아웃을 분석하는 방법을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, 매대의 매 단마다 양쪽 끝에 2차원 데이터 매트릭스를 부착하고, 하나 이상의 카메라를 이용하여 매대의 전면에서 상품 진열 영역을 촬영할 수 있다. 2차원 데이터 매트릭스는 QR 코드일 수 있다. 2차원 데이터 매트릭스를 부착한 매대를 촬영함으로써, 영상에서 매대의 각 단의 위치, 즉 상품이 진열될 위치 정보를 파악할 수 있다.
이하에서는, 도 8 내지 12를 참조하여, 본 발명의 일 실시예에 따른 상품 관리 시스템(100)에 의해 상품 진열 영역을 촬영한 영상이 분석되는 과정을 상세하게 설명한다.
예를 들어, 도 8에 도시된 바와 같은 상품 진열 영역와 상품이 존재한다고 가정한다. 촬영부(120)에 의해, 도 8에 도시된 바와 같은 영상을 획득할 수 있다. 제 1 영상 분석부(131)는 도 8의 영상을 수신하여, 도 9에 도시된 바와 같이, 각 상품의 대분류 정보와 위치 정보를 인식할 수 있다. 예를 들어, 상단의 가장 왼쪽 상품에 대해 "병음료" 대분류 정보와 "1단1번" 위치 정보를 획득할 수 있다. 제 1 영상 분석부(131)는 도 8의 영상에 나타난 각 상품들을 "병음료", "캔음료", "컵라면"의 3개의 대분류로 구분할 수 있다.
전처리부(132)는, 제 1 영상 분석부(131)의 분석 결과에 기초하여, 도 10에 도시된 바와 같이 관심 영역을 분리하는 전처리 작업을 수행할 수 있다.
전처리부(132)에 의해 전처리가 수행된 각 영상에 대해, 대분류에 따라 서로 다른 제 2 영상 분석부(133-1 내지 133-n)가 적용될 수 있다. 예를 들여, "병음료" 대분류 정보를 갖는 상품의 영상에는 "병음료-제 2 영상 분석부"가 적용될 수 있다. 마찬가지로, "캔음료" 대분류 정보를 갖는 상품의 영상에는 "캔음료-제 2 영상 분석부"가 적용되고, "컵라면" 대분류 정보를 갖는 상품의 영상에는 "컵라면-제 2 영상 분석부"가 적용될 수 있다.
각각의 제 2 영상 분석부(133-1 내지 133-n)는 각 상품의 영상을 분석하여 소분류 정보를 인식할 수 있다. 예를 들어, "컵라면-제 2 영상 분석부"는 "컵라면" 대분류 정보를 갖는 4개의 상품을 정밀하게 분석하여 상품명, 상품 코드 및 형태 정보 중 적어도 하나를 인식할 수 있다. 그 결과, 그 중 2개는 "A컵라면"이고, 2개는 "F컵라면"임을 인식할 수 있다.
상술한 바와 같은 제 1 영상 분석부(131), 전처리부(132) 및 제 2 영상 분석부(133-1 내지 133-n)의 처리에 따라 분석된 결과는 도 12에 도시된 표와 같다. 일 실시예에 따라, 영상 분석부(130)는 도 12의 예시와 같은 결과 데이터를 주기적으로 획득하여, 이전 결과 데이터에서는 존재하지만 현재 결과 데이터에서는 존재하지 않는 상품을 탐지함으로써 결품 상품을 빠르게 인식할 수 있다.
도 12를 참조하면, 결과 데이터 테이블에는 각 상품의 영상을 분석한 제 1 영상 분석부(131) 및 제 2 영상 분석부(133-n)의 신뢰도에 기초한 인식신뢰도가 함께 표시될 수 있다. 매장 관리자는 도 12의 테이블과 같은 형태로 결과 데이터를 제공받아, 각 데이터의 인식신뢰도도 함께 제공받을 수 있다.
도 13은 도 1의 표시부(150) 및 알림 표시부(170) 등을 예시적으로 설명하기 위한 도면이다. 표시부(150) 및 알림 표시부(170)는 전술한 바와 같이 도 13에 도시된 디스플레이나, 표시등으로 제공될 수 있다. 다만, 이에 한정되지 않으며, 예를 들어 알림 표시부(170)는 매장 관리자가 쉽게 볼수 있는 포스단말기의 디스플레이로 구현될 수도 있다.
본 발명의 일 실시예에 따른 상품 관리 시스템(100)의 각 구성 요소들은 무선 또는 유선 네트워크로 통신하며 서로 간에 데이터를 전송할 수 있다. 일 실시예에 따르면, 상품 관리 시스템(100)의 각 구성 요소들은 블루투스(Bluetooth) 등의 근거리 무선 통신 기술에 의해 서로 간에 데이터를 전송할 수 있다.
이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속할 수 있음을 이해하여야 한다. 예를 들어, 본 발명의 실시예에 도시된 각 구성 요소는 분산되어 실시될 수도 있으며, 반대로 여러 개로 분산된 구성 요소들은 결합되어 실시될 수 있다. 따라서, 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.
100: 상품 관리 시스템
110: 데이터베이스
120: 촬영부
130: 영상 분석부
131: 제 1 영상 분석부
132: 전처리부
133-1 내지 133-n: 제 2 영상 분석부
140: 판단부
150: 표시부
160: 신규 상품 등록부
161: 입력부
162: 신규 상품 촬영부
163: 신규 상품 영상 분석부
164: 갱신부
170: 알림 표시부

Claims (17)

  1. 상품 진열 영역을 촬영한 영상에 기반하여 상품을 관리하는 시스템으로서,
    각 상품의 상품 정보가 저장된 데이터베이스;
    상기 상품 진열 영역을 촬영하여 영상을 획득하는 촬영부;
    상기 촬영부에 의해 획득된 영상을 분석하여, 영상 내에 존재하는 상품의 상품 정보를 획득하는 영상 분석부;
    상기 영상 분석부에서 획득된 상품 정보를 상기 데이터베이스에 저장된 상품 정보와 비교하여, 결품된 상품이 있는지 여부 및 오진열된 상품이 있는지 여부 중 적어도 하나를 판단하는 판단부; 및
    상기 데이터베이스에 신규 상품의 상품 정보를 등록하는 신규 상품 등록부를 포함하며,
    상기 상품 정보는, 상품의 모양에 기초한 대분류 정보와, 품명, 상품 코드 및 형태 정보 중 적어도 하나를 포함하는 소분류 정보와, 상기 상품 진열 영역 내에서 상품의 위치를 나타내는 위치 정보를 포함하고,
    상기 데이터베이스에 저장된 각 상품의 상품 정보는, 동일한 대분류 정보를 가진 상품끼리 동일한 대분류 그룹으로 1차 분류되어 저장되고, 상기 대분류 정보에 기초하여 분류된 그룹 내에서, 상기 소분류 정보에 기초하여 2차 분류되어 저장되고,
    상기 영상 분석부는,
    상기 촬영부에 의해 획득된 영상을 분석하여 상기 대분류 정보를 획득하는 제 1 영상 분석부; 및
    상기 1차 분류된 대분류 그룹 각각에 대응하는상기 영상을 분석하여 상기 소분류 정보를 획득하는 하나 이상의 제 2 영상 분석부를 포함하고,
    상기 신규 상품 등록부는,
    상기 신규 상품의 대분류 정보 및 소분류 정보를 획득하고,상기 1차 분류된 대분류 그룹 각각에 대응하는 하나 이상의 제 2 영상 분석부 중에서, 상기 신규 상품의 대분류 정보에 대응하는 제 2 영상 분석부를 선택적으로 갱신하는 갱신부를 포함하는, 상품 관리 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 1 영상 분석부는, 상기 촬영부에 의해 획득된 영상을 분석하여 상기 위치 정보를 획득하고,
    상기 영상 분석부는, 상기 제 1 영상 분석부에서 획득된 상기 대분류 정보 및 상기 위치 정보에 기초하여, 상기 영상에서 상품이 존재하는 각 영역을 분리하는 전처리를 수행하는 전처리부를 더 포함하는, 상품 관리 시스템.
  4. 제 3 항에 있어서,
    상기 제 2 영상 분석부는, 상기 전처리부에 의해 전처리가 수행되어 분리된 각 영역의 영상을 분석하여 상기 소분류 정보를 획득하는, 상품 관리 시스템.
  5. 제 1 항에 있어서,
    상기 촬영부는, 주기적으로 상기 상품 진열 영역을 촬영하여 영상을 획득하고,
    상기 영상 분석부는, 주기적으로 획득되는 상기 영상에 기초하여 주기적으로 상품 정보를 획득하여 해당 상품 정보가 획득된 시간 정보와 함께 상기 데이터베이스에 저장하는, 상품 관리 시스템.
  6. 제 5 항에 있어서,
    상기 판단부는, 상기 영상 분석부에서 주기적으로 획득되는 상품 정보를, 해당 상품 정보보다 이전 시간에 상기 데이터베이스에 저장된 상품 정보와 비교하여 결품된 상품이 있는지 여부를 판단하는, 상품 관리 시스템.
  7. 제 1 항에 있어서,
    상기 데이터베이스에는 각 상품의 기준 위치 정보가 저장되고,
    상기 판단부는, 상기 영상 분석부에서 획득된 상품 정보에 포함되는 위치 정보와 상기 기준 위치 정보를 비교하여 오진열된 상품이 있는지 여부를 판단하는, 상품 관리 시스템.
  8. 제 1 항에 있어서,
    상기 영상 분석부에서 획득된 상품 정보에 기초하여 각 상품의 위치 정보를 표시하는 표시부를 더 포함하는, 상품 관리 시스템.
  9. 제 4 항에 있어서,
    상기 신규 상품 등록부는,
    상기 신규 상품의 대분류 정보를 입력받는 입력부;
    상기 신규 상품을 촬영하여 영상을 획득하는 신규 상품 촬영부; 및
    상기 신규 상품 촬영부에서 획득된 영상을 분석하여 상기 신규 상품의 소분류 정보를 획득하는 신규 상품 영상 분석부를 더 포함하며,
    상기 갱신부는, 상기 입력부를 통해 입력된 대분류 정보에 기초하여 상기 데이터베이스에서 해당 대분류의 그룹을 선택하고, 선택된 그룹의 데이터에 상기 신규 상품 영상 분석부에서 획득된 소분류 정보를 추가하는, 상품 관리 시스템.
  10. 삭제
  11. 제 3 항에 있어서,
    상기 전처리부는, 분리된 각 영역의 영상에 리사이징 및 컬러 정규화(color regularization) 중 적어도 하나를 더 수행하는, 상품 관리 시스템.
  12. 제 1 항에 있어서,
    상기 판단부가 결품된 상품이 있거나 오진열된 상품이 있다고 판단한 경우, 알림을 표시하는 알림 표시부를 더 포함하는, 상품 관리 시스템.
  13. 각 상품의 상품 정보가 저장된 데이터베이스, 및 상품 진열 영역을 촬영하여 영상을 획득하는 촬영부를 포함하는 장치를 이용하여 상품을 관리하는 방법으로,
    상기 상품 정보는, 상품의 모양에 기초한 대분류 정보와, 상품명, 상품 코드 및 형태 정보 중 적어도 하나를 포함하는 소분류 정보와, 상기 상품 진열 영역 내에서 상품의 위치를 나타내는 위치 정보를 포함하고, 상기 데이터베이스에 저장된 각 상품의 상품 정보는, 동일한 대분류 정보를 가진 상품끼리 동일한 대분류 그룹으로 1차 분류되어 저장되고, 상기 대분류 정보에 기초하여 분류된 그룹 내에서, 상기 소분류 정보에 기초하여 2차 분류되어 저장되며,
    상기 방법은,
    상기 촬영부에 의해, 상기 상품 진열 영역을 촬영하여 영상을 획득하는 단계;
    상기 촬영부에 의해 획득된 영상을 분석하여, 영상 내에 존재하는 상품의 상품 정보를 획득하는 단계; 및
    상기 영상 내에 존재하는 상품의 상품 정보를 상기 데이터베이스에 저장된 상품 정보와 비교하여, 결품된 상품이 있는지 여부 및 오진열된 상품이 있는지 여부 중 적어도 하나를 판단하는 단계를 포함하고,
    상기 영상 내에 존재하는 상품의 상품 정보를 획득하는 단계는,
    상기 촬영부에 의해 획득된 영상을 분석하여 상기 대분류 정보를 획득하는 단계;및
    상기 1차 분류된 대분류 그룹 각각에 대응하는 영상을 분석하여 상기 소분류 정보를 획득하는 단계를 포함하고,
    상기 방법은,
    신규 상품의 대분류 정보 및 소분류 정보를 획득하고, 상기 장치를 갱신하는 단계를 더 포함하고,
    상기 장치는 상기 촬영부에 의해 획득된 영상을 분석하여 상기 대분류 정보를 획득하는 제 1 영상 분석부 및 상기 1차 분류된 대분류 그룹 각각에 대응하는 각 영역의 영상을 분석하여 상기 소분류 정보를 획득하는 제 2 영상 분석부를 더 포함하고,
    상기 갱신하는 단계는, 상기 1차 분류된 대분류 그룹 각각에 대응하는 하나 이상의 제 2 영상 분석부 중에서, 상기 신규 상품의 대분류 정보에 대응하는 제 2 영상 분석부를 선택적으로 갱신하는, 상품 관리 방법.
  14. 제 13 항에 있어서,
    상기 영상 내에 존재하는 상품의 상품 정보를 획득하는 단계는,
    상기 촬영부에 의해 획득된 영상을 분석하여 상기 위치 정보를 획득하는 단계; 및
    획득된 상기 대분류 정보 및 상기 위치 정보에 기초하여, 상기 영상에서 상품이 존재하는 각 영역을 분리하는 전처리를 수행하는 단계를 더 포함하는, 상품 관리 방법.
  15. 제 14 항에 있어서,
    상기 소분류 정보를 획득하는 단계는, 상기 전처리가 수행되어 분리된 각 영역의 영상을 분석하여 상기 소분류 정보를 획득하는, 상품 관리 방법.
  16. 제 15 항에 있어서,
    상기 갱신하는 단계는,
    상기 신규 상품의 대분류 정보를 입력받는 단계;
    상기 신규 상품을 촬영하여 영상을 획득하는 단계;
    획득된 영상을 분석하여 상기 신규 상품의 소분류 정보를 획득하는 단계; 및
    입력된 상기 신규 상품의 대분류 정보에 기초하여 상기 데이터베이스에서 해당 대분류의 그룹을 선택하고, 선택된 그룹의 데이터에 획득된 상기 신규 상품의 소분류 정보를 추가하는 단계를 더 포함하는, 상품 관리 방법.
  17. 각 상품의 상품 정보가 저장된 데이터베이스, 및 상품 진열 영역을 촬영하여 영상을 획득하는 촬영부를 포함하는 장치를 이용하여 상품을 관리하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독 가능 매체로서,
    상기 상품 정보는, 상품의 모양에 기초한 대분류 정보와, 상품명, 상품 코드 및 형태 정보 중 적어도 하나를 포함하는 소분류 정보와, 상기 상품 진열 영역 내에서 상품의 위치를 나타내는 위치 정보를 포함하고, 상기 데이터베이스에 저장된 각 상품의 상품 정보는, 동일한 대분류 정보를 가진 상품끼리 동일한 대분류 그룹으로 1차 분류되어 저장되고, 상기 대분류 정보에 기초하여 분류된 그룹 내에서, 상기 소분류 정보에 기초하여 2차 분류되어 저장되며,
    컴퓨팅 장치에 의해 실행될 때 상기 컴퓨팅 장치가,
    상기 촬영부에 의해, 상기 상품 진열 영역을 촬영하여 영상을 획득하고,
    상기 촬영부에 의해 획득된 영상을 분석하여, 영상 내에 존재하는 상품의 상품 정보를 획득하고,
    상기 영상 내에 존재하는 상품의 상품 정보를 상기 데이터베이스에 저장된 상품 정보와 비교하여, 결품된 상품이 있는지 여부 및 오진열된 상품이 있는지 여부 중 적어도 하나를 판단하도록 하고,
    상기 영상 내에 존재하는 상품의 상품 정보를 획득함에 있어서,
    상기 촬영부에 의해 획득된 영상을 분석하여 상기 대분류 정보를 획득하고,
    상기 1차 분류된 대분류 그룹 각각에 대응하는 영상을 분석하여 상기 소분류 정보를 획득하도록 하고,
    또한 상기 컴퓨팅 장치가,
    신규 상품의 대분류 정보 및 소분류 정보를 획득하고, 상기 장치를 갱신하도록 하고,
    상기 장치는 상기 촬영부에 의해 획득된 영상을 분석하여 상기 대분류 정보를 획득하는 제 1 영상 분석부 및 상기 1차 분류된 대분류 그룹 각각에 대응하는 각 영역의 영상을 분석하여 상기 소분류 정보를 획득하는 제 2 영상 분석부를 더 포함하고,
    상기 갱신에 있어서, 상기 1차 분류된 대분류 그룹 각각에 대응하는 하나 이상의 제 2 영상 분석부 중에서, 상기 신규 상품의 대분류 정보에 대응하는 제 2 영상 분석부를 선택적으로 갱신하도록 하는 명령어의 시퀀스들을 포함하는 컴퓨터 판독 가능 매체.
KR1020180126918A 2018-10-23 2018-10-23 영상 분석 기반 상품 관리 시스템 및 방법 KR102593108B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180126918A KR102593108B1 (ko) 2018-10-23 2018-10-23 영상 분석 기반 상품 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180126918A KR102593108B1 (ko) 2018-10-23 2018-10-23 영상 분석 기반 상품 관리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200045862A KR20200045862A (ko) 2020-05-06
KR102593108B1 true KR102593108B1 (ko) 2023-10-24

Family

ID=70737594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180126918A KR102593108B1 (ko) 2018-10-23 2018-10-23 영상 분석 기반 상품 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102593108B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240033899A (ko) 2022-09-06 2024-03-13 롯데정보통신 주식회사 비지도 학습 기반 결품 인식 장치 및 결품 인식 방법
KR102597960B1 (ko) * 2022-10-25 2023-11-06 최우진 무인매장의 상품진열위치 추천방법
CN115965797B (zh) * 2022-12-27 2023-12-08 北京国电光宇机电设备有限公司 一种智能装配零部件自动识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012174154A (ja) * 2011-02-24 2012-09-10 Fujitsu Frontech Ltd 在庫状況管理方法および在庫状況管理装置
JP2015210651A (ja) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 商品識別システム
KR101887685B1 (ko) * 2018-01-08 2018-09-10 정진혁 운영 시스템을 포함하는 무인 자판기

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136089A (ko) 2013-05-16 2014-11-28 (주)에스모바일텍 진열 상품 재고 관리 솔루션을 구비한 전자 선반 라벨 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012174154A (ja) * 2011-02-24 2012-09-10 Fujitsu Frontech Ltd 在庫状況管理方法および在庫状況管理装置
JP2015210651A (ja) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 商品識別システム
KR101887685B1 (ko) * 2018-01-08 2018-09-10 정진혁 운영 시스템을 포함하는 무인 자판기

Also Published As

Publication number Publication date
KR20200045862A (ko) 2020-05-06

Similar Documents

Publication Publication Date Title
US9524486B2 (en) System and method for retail store promotional price tag detection and maintenance via heuristic classifiers
US10417696B2 (en) Suggestion generation based on planogram matching
KR102593108B1 (ko) 영상 분석 기반 상품 관리 시스템 및 방법
US20180101813A1 (en) Method and System for Product Data Review
JP6992874B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
US10503961B2 (en) Object recognition for bottom of basket detection using neural network
KR102380255B1 (ko) 영상 기반 선반 상품 재고 모니터링 시스템 및 방법
US10628695B2 (en) Fast item identification for checkout counter
Marder et al. Using image analytics to monitor retail store shelves
De Beugher et al. Automatic analysis of in-the-wild mobile eye-tracking experiments using object, face and person detection
US8320633B2 (en) System and method for identifying produce
JP2005259173A (ja) 人間検知装置および人間検知方法ならびにプログラム
JP2018139062A (ja) 商品情報取得システム
US11443503B2 (en) Product analysis system, product analysis method, and product analysis program
CN113256917A (zh) 用于标识从物品库存中选择的物品的方法和设备
US20170358135A1 (en) Augmenting the Half-Mirror to Display Additional Information in Retail Environments
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
KR20110000789A (ko) 이미지 인식 기술을 이용하여 매장 진열 상품을 자동으로 정량화 하는 방법과 시스템
CN109074498A (zh) 用于pos区域的访问者跟踪方法和系统
WO2019171572A1 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US20150106212A1 (en) Computerized exchange network
CN106203225A (zh) 基于深度的图像元素删除
EP4066197A1 (en) System and method for interactive perception and content presentation
KR102259451B1 (ko) 지도 정보 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant