KR102297908B1 - 영상 분석에 기반한 상품 수량 관리 시스템 및 방법 - Google Patents

영상 분석에 기반한 상품 수량 관리 시스템 및 방법 Download PDF

Info

Publication number
KR102297908B1
KR102297908B1 KR1020200025452A KR20200025452A KR102297908B1 KR 102297908 B1 KR102297908 B1 KR 102297908B1 KR 1020200025452 A KR1020200025452 A KR 1020200025452A KR 20200025452 A KR20200025452 A KR 20200025452A KR 102297908 B1 KR102297908 B1 KR 102297908B1
Authority
KR
South Korea
Prior art keywords
image
interest
product
product quantity
processing unit
Prior art date
Application number
KR1020200025452A
Other languages
English (en)
Inventor
신동화
Original Assignee
(주)트리플렛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)트리플렛 filed Critical (주)트리플렛
Priority to KR1020200025452A priority Critical patent/KR102297908B1/ko
Application granted granted Critical
Publication of KR102297908B1 publication Critical patent/KR102297908B1/ko

Links

Images

Classifications

    • G06K9/00624—
    • G06K9/3233—
    • G06K9/38—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

영상 분석에 기반한 상품 수량 관리 시스템 및 방법이 개시된다. 본 발명의 실시 예에 따른 상품 수량 관리 시스템은 상품이 진열된 선반을 촬영하는 카메라 및 상기 카메라를 통해 획득한 촬영 영상을 분석하여 상기 상품의 수량을 판단하는 상품 수량 인식 장치를 포함하며, 상기 상품 수량 인식 장치는 상기 촬영 영상 중에서 관심 영역에 대응하는 관심 영상을 추출하는 영상 추출부, 상기 관심 영상을 이진화하여 배경과 적어도 하나의 객체로 구분되는 이진화 영상을 생성하는 영상 처리부 및 상기 관심 영상에서 상기 적어도 하나의 객체가 차지하는 면적 비율에 따라 상기 상품의 수량을 판단하는 상품 수량 판단부를 포함한다.

Description

영상 분석에 기반한 상품 수량 관리 시스템 및 방법{SYSTEM AND METHOD FOR MANAGING QUANTITY OF GOODS DISPLAYED BASED ON IMAGE ANALYSIS}
본 발명은 상품 수량 관리 시스템 및 방법에 관한 것으로, 특히, 선반을 촬영하는 카메라를 이용해 획득한 영상을 분석하여 선반에 진열된 상품의 수량을 판단할 수 있는 영상 분석 기반 상품 수량 관리 시스템 및 방법에 관한 것이다.
임금의 상승과 무인 점포의 도입에 따라 상품의 재고 파악을 인간이 직접 수행하지 않고 자동으로 수행되는 기술 수요가 증가하고 있다.
이를 위해 다양한 방법이 연구되고 있는데, 그 중 하나는 카메라를 이용해 선반에 진열된 상품의 수량을 파악하는 것이다.
그러나 영상 분석을 통해 상품의 수량을 정확하게 파악하는 것은 쉽지 않고 이와 같은 한계점을 극복하기 위해 다양한 방법이 연구되고 있다.
예를 들어, TOF(time-of-flight) 카메라를 사용하거나 복수의 카메라들을 사용하여 취득한 원근감 정보를 이용해 상품의 수량을 정확하게 파악하는 기술이 공개된 바 있으며(일본공개공보 2001-88912), 감지가능한 패턴을 매장에 구비하고 이를 이용해 이미지의 척도를 정확하게 파악하여 상품의 수량을 정확하게 파악하는 기술이 공개된 바 있다(미국등록공보 8,630,924).
그러나 이와 같은 종래 기술들은 특수 기능이 있는 카메라 또는 복수의 카메라들을 사용하거나 부가적인 설비를 요구하기 때문에 그 실시에 추가 비용이 발생하거나 실사용환경에 적용하지 못하는 한계가 있다.
따라서, 어떠한 부가 구성 없이 단일 카메라로 취득되는 영상을 분석하여 상품의 수량을 정확하게 파악하는 기술이 요구된다.
본 발명이 이루고자 하는 기술적인 과제는 선반을 촬영하는 카메라를 이용해 획득한 영상을 분석하여 선반에 진열된 상품의 수량을 판단할 수 있는 영상 분석 기반 상품 수량 관리 시스템 및 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 상품 수량 관리 시스템은 상품이 진열된 선반을 촬영하는 카메라 및 상기 카메라를 통해 획득한 촬영 영상을 분석하여 상기 상품의 수량을 판단하는 상품 수량 인식 장치를 포함하며, 상기 상품 수량 인식 장치는 상기 촬영 영상 중에서 관심 영역에 대응하는 관심 영상을 추출하는 영상 추출부, 상기 관심 영상을 이진화하여 배경과 적어도 하나의 객체로 구분되는 이진화 영상을 생성하는 영상 처리부 및 상기 관심 영상에서 상기 적어도 하나의 객체가 차지하는 면적 비율에 따라 상기 상품의 수량을 판단하는 상품 수량 판단부를 포함한다.
실시 예에 따라, 상기 영상 처리부는 상기 촬영 영상을 그레이 스케일로 변환하는 그레이 스케일 변환 모듈 및 소정의 기준 값에 따라 상기 그레이 스케일 변환된 영상을 이진화하는 이진화 모듈을 포함할 수 있다.
실시 예에 따라, 상기 소정의 기준 값은 상기 상품에 따라 결정될 수 있다.
실시 예에 따라, 상기 상품 수량 관리 시스템은 상기 적어도 하나의 객체를 병합하여 병합 객체를 생성하는 객체 처리부를 더 포함하며, 상기 상품 수량 판단부는 상기 관심 영상에서 상기 병합 객체가 차지하는 면적 비율에 따라 상기 상품의 수량을 판단할 수 있다.
실시 예에 따라, 상기 객체 처리부는 상기 관심 영상에서 상기 적어도 하나의 객체를 추출하는 객체 추출 모듈, 상기 적어도 하나의 객체 각각에 외접하는 적어도 하나의 바운딩 박스를 생성하는 객체 변형 모듈 및 상기 관심 영역과 상기 적어도 하나의 바운딩 박스 각각을 교집합 연산하고 적어도 하나의 교집합 연산 결과를 합집합 연산함으로써 병합 객체를 생성하는 객체 병합 모듈을 포함할 수 있다.
본 발명의 실시 예에 따른 상품 수량 관리 방법은 카메라를 통해 획득한 촬영 영상 중에서 관심 영역에 대응하는 관심 영상을 추출하는 단계, 상기 관심 영상을 배경과 적어도 하나의 객체로 구분되는 이진화 영상으로 변환하는 단계 및 상기 관심 영상에서 상기 적어도 하나의 객체가 차지하는 면적 비율에 따라 상품의 수량을 판단하는 단계를 포함한다.
실시 예에 따라, 상기 이진화 영상은 상기 촬영 영상을 그레이 스케일로 변환하고 상기 변환된 촬영 영상을 소정의 기준 값에 따라 이진화하여 생성될 수 있다.
실시 예에 따라, 상기 소정의 기준 값은 상기 상품에 따라 결정될 수 있다.
실시 예에 따라, 상기 상품 수량 관리 방법은 상기 적어도 하나의 객체를 병합하여 병합 객체를 생성하는 단계를 더 포함하며, 상기 상품의 상기 수량은 상기 관심 영상에서 상기 병합 객체가 차지하는 면적 비율에 따라 판단될 수 있다.
실시 예에 따라, 상기 병합 객체를 생성하는 단계는 상기 적어도 하나의 객체 각각에 외접하는 적어도 하나의 바운딩 박스를 생성하는 단계, 상기 관심 영역과 상기 적어도 하나의 바운딩 박스 각각을 교집합 연산하는 단계 및 적어도 하나의 교집합 연산 결과를 합집합 연산하여 병합 객체를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 영상 분석 기반 상품 수량 관리 시스템 및 방법은부가 구성 없이 선반을 촬영하는 하나의 카메라를 이용해 획득한 영상을 분석하여 선반에 진열된 상품의 수량을 판단할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예를 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 상품 수량 관리 시스템을 나타내는 블록도이다.
도 3은 도 2에 도시된 상품 수량 관리 시스템에서 수행되는 상품 수량 관리 방법의 일 실시 예을 설명하기 위한 플로우 차트(flow chart)이다.
도 4는 도 1에 도시된 선반을 소정의 규칙에 따라 구역화한 개념도이다.
도 5는 도 2에 도시된 상품 수량 관리 시스템에서 수행되는 상품 수량 관리 방법의 다른 실시 예을 설명하기 위한 플로우 차트이다.
도 6은 도 5에 도시된 병합 객체를 생성하는 단계를 보다 구체적으로 설명하기 위한 플로우 차트이다.
도 7은 이진화 영상에서 추출된 객체들에 외접하는 바운딩 박스들을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 관심 영역과 바운딩 박스들 각각에 대하여 교집합 연산을 수행하는 과정을 설명하기 위한 도면이다.
도 9는 교집합 연산 결과들을 합집합 연산하여 병합 객체를 생성하기 위한 도면이다.
도 10은 도 2에 도시된 상품 수량 인식 장치의 일 실시 예를 보다 상세하게 나타내는 블록도이다.
도 11은 도 10에 도시된 영상 처리부를 보다 상세하게 나타내는 블로도이다.
도 12는 도 2에 도시된 상품 수량 인식 장치의 다른 실시 예를 보다 상세하게 나타내는 블록도이다.
도 13은 도 12에 도시된 객체 처리부를 보다 상세하게 나타내는 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예를 설명하기 위한 개념도이고, 도 2는 본 발명의 실시 예에 따른 상품 수량 관리 시스템을 나타내는 블록도이며, 도 3은 도 2에 도시된 상품 수량 관리 시스템에서 수행되는 상품 수량 관리 방법을 설명하기 위한 플로우 차트(flow chart)이다.
도 1 내지 도 3을 참조하면, 상품 수량 관리 시스템(10)은 상품 수량 인식 장치(100)와 카메라(200)를 포함한다.
카메라(200)는 진열장, 매대 등과 같이 상품이 전시될 수 있는 선반을 촬영한다. 본 발명의 실시 예에 따른 상품 수량 관리 시스템(10)에서는 카메라(200)가 선반의 전면에 위치할 필요 없이 선반을 촬영할 수 있는 방향으로 설치되는 것으로 충분하다.
카메라(200)는 선반을 포함한 매장 전경을 촬영하고 촬영 영상(IMG)을 상품 수량 인식 장치(100)로 전송한다.
상품 수량 인식 장치(100)는 카메라(200)를 통해 획득한 촬영 영상(IMG)을 분석하여 상품의 수량을 판단한다.
상품 수량 인식 장치(100)는 촬영 영상(IMG)에서 관심 영상(CI)을 추출한다(S100).
본 명세서에서 관심 영상(CI)이란 촬영 영상(IMG) 중에서 수량을 파악하고자 하는 상품이 진열되어 있는 영역(이하, 관심 영역)에 대응하는 부분을 의미한다.
상품 수량 인식 장치(100)가 촬영 영상(IMG)에서 관심 영상(CI)을 추출하는 과정은 도 4를 참조하여 보다 상세하게 설명한다.
도 4는 도 1에 도시된 선반을 소정의 규칙에 따라 구역화한 개념도이다.
도 4를 참조하면, 선반은 소정의 규칙, 예를 들어, 상품의 종류, 잔존 유통기한 등 사용자가 정한 규칙에 따라 구역화될 수 있다.
실시 예에 따라, 사용자가 직접 선반을 복수의 구역들로 구분하여 상품 수량 인식 장치(100)에 입력할 수 있다.
다른 실시 예에 따라, 상품 수량 인식 장치(100)가 사용자가 정해놓은 규칙에 따라 영상 분석을 통해 선반을 복수의 구역들로 구분할 수 있다.
상품 수량 인식 장치(100)는 현재 진열되어 있는 개수를 파악하고자 하는 상품에 대응하는 구역을 선택하고, 촬영 영상(IMG)에서 선택된 구역에 대응하는 부분을 관심 영상(CI)으로 추출한다.
즉, 상품 수량 인식 장치(100)는 촬영 영상(IMG)에서 상품들 각각에 대응하는 영역에 대한 데이터를 저장하고, 상기 상품들 중에서 진열되어 있는 개수를 파악하고자 하는 상품에 대응하는 영역을 추출하여 관심 영상(CI)으로 정의한다.
다시 도 3을 참조하면, 상품 수량 인식 장치(100)는 관심 영상(CI)을 이진화하여 이진화 영상(BI)을 생성한다(S110).
상품 수량 인식 장치(100)는 촬영 영상(IMG)을 그레이 스케일로 변환하고 그레이 스케일 변환된 영상(GI)을 소정의 기준 값에 따라 이진화한다.
예를 들어, 상품 수량 인식 장치(100)는 그레이 스케일 변환된 영상(GI)의 각 픽셀이 0 내지 255의 값을 가질 때, 소정의 기준 값에 따라 0 내지 125의 값을 갖는 픽셀들은 '0'의 값으로 치환되고 126 내지 255의 값을 갖는 픽셀들은 '1'의 값으로 치환될 수 있다.
여기서, 소정의 기준 값은 대응하는 상품의 종류나 주변 환경에 따라 결정 및/또는 조절될 수 있다.
예를 들어, 상품의 포장의 밝기에 따라 상기 소정의 기준 값이 조절될 수 있다.
다른 예를 들어, 주변 환경에 따라 촬영 영상(IMG) 및/또는 관심 영상(CI)의 평균 밝기 또는 휘도가 변경될 경우 상품 수량 인식 장치(100)는 상기 소정의 기준 값을 조절할 수 있다. 다시 말해, 상품 수량 인식 장치(100)는 촬영 영상(IMG) 및/또는 관심 영상(CI)의 특성에 따라 기준 값을 조절하고 조절된 기준 값에 따라 관심 영상(CI)의 이진화를 수행할 수 있다.
상품 수량 인식 장치(100)는 이진화 영상(BI)에서 적어도 하나의 객체를 추출한다(S120). 상품 수량 인식 장치(100)는 이진화 영상(BI)에서 배경과 적어도 하나의 객체를 분리하고 분리된 적어도 하나의 객체를 추출한다.
상품 수량 인식 장치(100)는 관심 영상(CI)에서 상기 적어도 하나의 객체가 차지하는 면적 비율에 따라 상품의 수량을 판단한다(S130).
예를 들어, 상품 수량 인식 장치(100)는 관심 영상(CI)의 전체 면적 대비 상기 적어도 하나의 객체가 차지하는 면적의 비율을 계산하고, 계산된 면적 비율에 기초하여 상품의 수량을 결정한다.
이때, 상품 수량 인식 장치(100)는 면적 비율과 상품 수량의 관계를 정의하고 있는 룩-업 테이블(look-up table)을 이용해 계산된 면적 비율에 대응하는 상품의 수량을 결정할 수 있다.
상품 수량이 판단되면, 상품 수량 인식 장치(100)는 상품 수량 판단 결과에 따라 다양한 제어 신호 또는 알람을 생성할 수 있다.
예를 들어, 상품 수량 인식 장치(100)는 현재 진열되어 있는 상품의 개수가 기준 개수 미만일 때 상품 추가 알람을 화면에 디스플레이하거나 관계자의 모바일 단말로 전송할 수 있다..
도 5는 도 2에 도시된 상품 수량 관리 시스템에서 수행되는 상품 수량 관리 방법의 다른 실시 예을 설명하기 위한 플로우 차트이다.
도 5에 도시된 상품 수량 관리 방법과 도 3에 도시된 상품 수량 관리 방법은 S100 내지 S120 단계까지는 동일하므로 해당 단계들을 포함하여 중복되는 설명은 생략한다.
도 5 및 도 6을 참조하면, 상품 수량 인식 장치(100)는, 촬영 영상(IMG)에서 관심 영상(CI)을 추출하고 추출된 관심 영상(CI)을 이진화한 후, 이진화 영상(BI)에서 적어도 하나의 객체를 추출한다(S100 내지 S120).
이때 상품의 포장에 변화가 많은 경우, 예를 들어, 많은 문자 또는 그림이 기재되어 있는 경우에는 추출되는 객체들의 개수가 많아진다. 추출되는 객체의 개수가 많아지면 연산 부하가 높아지는 것은 물론 객체들이 차지하는 면적이 줄어들기 때문에 상품 수량이 적게 판단되는 문제가 있다. 이를 해결하기 위해, 상품 수량 인식 장치(100)는 객체들을 병합하여 병합 객체를 생성한다(S125).
상품 수량 인식 장치(100)가 병합 객체를 생성하는 과정은 도 6 내지 도 9를 통해 보다 상세하게 설명한다.
도 6은 도 5에 도시된 병합 객체를 생성하는 단계를 보다 구체적으로 설명하기 위한 플로우 차트이고, 도 7은 이진화 영상에서 추출된 객체들에 외접하는 바운딩 박스들을 생성하는 과정을 설명하기 위한 도면이고, 도 8은 관심 영역과 바운딩 박스들 각각에 대하여 교집합 연산을 수행하는 과정을 설명하기 위한 도면이며, 도 9는 교집합 연산 결과들을 합집합 연산하여 병합 객체를 생성하기 위한 도면이다.
도 6 내지 도 9를 참조하면, 상품 수량 인식 장치(100)는 추출된 복수의 객체들(OBJ1 내지 OBJ3) 각각에 외접하는 바운딩 박스들(BB1 내지 BB2)을 생성한다(S126).
이때, 바운딩 박스들(BB1 내지 BB3)은 객체들(OBJ1 내지 OBJ3)의 최소 외접 사각형으로 생성될 수 있다.
예를 들어, 도 7에 도시된 바와 같이, 상품 수량 인식 장치(100)는 제1 객체(OBJ1)에 외접하는 최소의 사각형으로 제1 바운딩 박스(BB1)를 생성할 수 있다.
상품 수량 인식 장치(100)는, 제2 객체(OBJ2)와 같이 외곽선이 관심 영역(IA)의 경계선과 만나는 경우에는 만나는 선과 제2 객체(OBJ2)에 외접하는 최소의 사각형으로 제2 바운딩 박스(BB2)를 생성할 수 있다.
상품 수량 인식 장치(100)는 관심 영역(IA)과 바운딩 박스들(BB1 내지 BB3) 각각을 교집합 연산하여 수정 객체들(POBJ1 내지 POBJ3)을 생성한다(S127).
다시 말해, 상품 수량 인식 장치(100)는 바운딩 박스들(BB1 내지 BB3)을 수정 객체들(POBJ1 내지 POBJ3)로 변환한다.
상품 수량 인식 장치(100)는 교집합 연산 결과, 즉, 수정 객체들(POBJ1 내지 POBJ3)을 합집합 연산하여 병합 객체(PBI)를 생성한다(S128).
이후, 상품 수량 인식 장치(100)는 관심 영역(IA)에서 병합 객체(PBI)가 차지하는 면적 비율에 따라 상품의 수량을 판단한다(S130').
도 10은 도 2에 도시된 상품 수량 인식 장치의 일 실시 예를 보다 상세하게 나타내는 블록도이다.
도 10을 참조하면, 상품 수량 인식 장치(100)는 영상 추출부(110), 영상 처리부(130) 및 상품 수량 판단부(150)를 포함한다.
영상 추출부(110)는 카메라(200)로부터 수신된 촬영 영상(IMG)에서 수량을 파악하고자 하는 상품이 진열된 관심 영역을 추출하여 관심 영상(CI)을 생성하고 생성된 관심 영상(CI)을 영상 처리부(130)로 출력한다.
다시 말해, 영상 추출부(110)는 현재 진열되어 있는 개수를 파악하고자 하는 상품에 대응하는 구역을 선택하고 촬영 영상(IMG)에서 선택된 구역에 대응하는 부분을 관심 영상(CI)으로 추출한다.
영상 처리부(130)는 영상 추출부(110)로부터 수신된 관심 영상(CI)을 배경과 적어도 하나의 객체로 구분되는 이진화 영상(BI)으로 변환하고 변환된 이진화 영상(BI)을 상품 수량 판단부(150)로 출력한다.
영상 처리부(130)는 촬영 영상(IMG)을 그레이 스케일로 변환하고 그레이 스케일 변환된 영상(GI)을 소정의 기준 값에 따라 이진화한다.
영상 처리부(130)의 구체적인 구조 및 기능은 도 11을 참조하여 보다 상세하게 설명될 것이다.
상품 수량 판단부(150)는 관심 영역(AI)의 전체 면적 대비 이진화 영상(BI) 중에서 상기 적어도 하나의 객체가 차지하는 면적의 비율에 따라 상품의 수량을 판단한다.
예를 들어, 상품 수량 판단부(150)는 관심 영상(CI)의 전체 면적 대비 상기 적어도 하나의 객체가 차지하는 면적의 비율을 계산하고, 계산된 면적 비율에 기초하여 상품의 수량을 결정한다.
도 11은 도 10에 도시된 영상 처리부를 보다 상세하게 나타내는 블로도이다.
도 11을 참조하면, 영상 처리부(130)는 그레이 스케일 변환 모듈(131)과 이진화 모듈(133)을 포함할 수 있다.
본 명세서에서 모듈(module)이라 함은 본 발명의 실시 예에 따른 인증 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다. 따라서 상기 모듈은 프로그램 코드와 상기 프로그램 코드를 수행할 수 있는 하드웨어 리소스(resource)의 논리적 단위 또는 집합을 의미할 수 있다.
그레이 스케일 변환 모듈(131)은 영상 추출부(110)로부터 수신되는 관심 영상(CI)을 그레이 스케일로 변환하고 그레이 스케일 변환된 영상(GI)을 이진화 모듈(133)로 출력한다.
이진화 모듈(133)은 그레이 스케일 변환 모듈(131)로부터 수신된 그레이 스케일 변환 영상(GI)을 이진화 영상(BI)으로 변환하여 상품 수량 판단부(150)로 출력한다.
이진화 모듈(133)은 그레이 스케일 변환 영상(GI)의 픽셀값들을 소정의 기준 값과 비교하고 비교 결과에 따라 이진화한다.
실시 예에 따라, 소정의 기준 값은 대응하는 상품의 종류나 주변 환경에 따라 결정 및/또는 조절될 수 있다.
도 12는 도 2에 도시된 상품 수량 인식 장치의 다른 실시 예를 보다 상세하게 나타내는 블록도이며, 도 13은 도 12에 도시된 객체 처리부를 보다 상세하게 나타내는 블록도이다..
도 10에 도시된 상품 수량 인식 장치(100)와 도 12에 도시된 상품 수량 인식 장치(100')는 객체 처리부(140)와 상품 수량 판단부(150')를 제외하고 동일하므로 중복되는 설명은 생략한다.
도 12 및 도 13을 참조하면, 수량 관리 장치(100')는 영상 추출부(110), 영상 처리부(130), 객체 처리부(140) 및 상품 수량 판단부(150')를 포함한다.
객체 처리부(140)는 영상 처리부(130)로부터 이진화 영상(BI)을 수신하고 이진화 영상(BI)에서 객체들을 추출하며 추출된 객체들을 병합하여 병합 객체(PBI)를 생성한다.
객체 처리부(140)는 객체 추출 모듈(141), 객체 변형 모듈(143) 및 객체 병합 모듈(145)을 포함한다.
객체 추출 모듈(141)은 영상 처리부(130)로부터 수신된 이진화 영상(BI)에서 적어도 하나의 객체(OBJ)를 추출하고 추출된 적어도 하나의 객체(OBJ)를 객체 변형 모듈(143)로 전달한다.
객체 변형 모듈(143)은 객체 처리 모듈(141)로부터 수신된 적어도 하나의 객체(OBJ)을 변형하여 생성된 수정 객체(POBJ)를 객체 병합 모듈(145)로 출력한다.
객체 변형 모듈(143)은 적어도 하나의 객체(OBJ) 각각에 외접하는 바운딩 박스들을 생성하고 생성된 바운딩 박스들을 수정 객체들(POBJ)로서 객체 병합 모듈(145)로 출력한다.
객체 병합 모듈(145)은 객체 변형 모듈(143)로부터 수신된 수정 객체들(POBJ)을 합집합 연산하여 병합 객체(PBI)를 생성한다.
상품 수량 판단부(150')는 관심 영역(IA)에서 병합 객체(PBI)가 차지하는 면적 비율에 따라 상품의 수량을 판단한다.
이에 따라, 추출되는 객체들의 개수가 많아져도 연산 부하의 상승을 방지할 수 있고 상품 수량을 정확하게 판단할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 상품 수량 관리 시스템
100, 100'; 상품 수량 인식 장치
110; 영상 추출부
130; 영상 처리부
140; 객체 처리부
150, 150'; 상품 수량 판단부
IMG; 촬영 영상
CI; 관심 영상
GI: 그레이 스케일 영상
BI; 이진화 영상

Claims (10)

  1. 선반을 촬영하는 카메라; 및
    상기 카메라를 통해 획득한 촬영 영상을 분석하는 상품 수량 인식 장치를 포함하며,
    상기 상품 수량 인식 장치는,
    상기 촬영 영상 중에서 관심 영역에 대응하는 관심 영상을 추출하는 영상 추출부;
    상기 관심 영상을 이진화하여 배경과 적어도 하나의 객체로 구분되는 이진화 영상을 생성하는 영상 처리부; 및
    상기 관심 영상에서 상기 적어도 하나의 객체가 차지하는 면적 비율에 따라 상기 상품의 수량을 판단하는 상품 수량 판단부를 포함하되,
    상기 상품 수량 인식 장치는,
    상기 적어도 하나의 객체를 병합하여 병합 객체를 생성하는 객체 처리부를 더 포함하며,
    상기 상품 수량 판단부는 상기 관심 영상에서 상기 병합 객체가 차지하는 면적 비율에 따라 상기 상품의 수량을 판단하며,
    상기 객체 처리부는,
    상기 관심 영상에서 상기 적어도 하나의 객체를 추출하는 객체 추출 모듈;
    상기 적어도 하나의 객체 각각의 최소 외접 사각형으로서 적어도 하나의 바운딩 박스를 생성하는 객체 변형 모듈; 및
    상기 관심 영역과 상기 적어도 하나의 바운딩 박스 각각을 교집합 연산하고 적어도 하나의 교집합 연산 결과를 합집합 연산함으로써 병합 객체를 생성하는 객체 병합 모듈을 포함하는 상품 수량 관리 시스템.
  2. 제1항에 있어서,
    상기 영상 처리부는,
    상기 촬영 영상을 그레이 스케일로 변환하는 그레이 스케일 변환 모듈; 및
    소정의 기준 값에 따라 상기 그레이 스케일 변환된 영상을 이진화하는 이진화 모듈을 포함하는 상품 수량 관리 시스템.
  3. 제2항에 있어서,
    상기 소정의 기준 값은 상기 상품에 따라 결정되는 상품 수량 관리 시스템.
  4. 삭제
  5. 삭제
  6. 카메라를 통해 획득한 촬영 영상 중에서 관심 영역에 대응하는 관심 영상을 추출하는 단계;
    상기 관심 영상을 배경과 적어도 하나의 객체로 구분되는 이진화 영상으로 변환하는 단계; 및
    상기 관심 영상에서 상기 적어도 하나의 객체가 차지하는 면적 비율에 따라 상품의 수량을 판단하는 단계를 포함하되,
    상기 적어도 하나의 객체를 병합하여 병합 객체를 생성하는 단계를 더 포함하며,
    상기 상품의 상기 수량은 상기 관심 영상에서 상기 병합 객체가 차지하는 면적 비율에 따라 판단되며,
    상기 병합 객체를 생성하는 단계는,
    상기 적어도 하나의 객체 각각의 최소 외접 사각형으로서 적어도 하나의 바운딩 박스를 생성하는 단계;
    상기 관심 영역과 상기 적어도 하나의 바운딩 박스 각각을 교집합 연산하는 단계; 및
    적어도 하나의 교집합 연산 결과를 합집합 연산하여 병합 객체를 생성하는 단계를 포함하는 상품 수량 관리 방법.
  7. 제6항에 있어서,
    상기 이진화 영상은 상기 촬영 영상을 그레이 스케일로 변환하고 상기 변환된 촬영 영상을 소정의 기준 값에 따라 이진화하여 생성되는 상품 수량 관리 방법.
  8. 제7항에 있어서,
    상기 소정의 기준 값은 상기 상품에 따라 결정되는 상품 수량 관리 방법.
  9. 삭제
  10. 삭제
KR1020200025452A 2020-02-28 2020-02-28 영상 분석에 기반한 상품 수량 관리 시스템 및 방법 KR102297908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200025452A KR102297908B1 (ko) 2020-02-28 2020-02-28 영상 분석에 기반한 상품 수량 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200025452A KR102297908B1 (ko) 2020-02-28 2020-02-28 영상 분석에 기반한 상품 수량 관리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102297908B1 true KR102297908B1 (ko) 2021-09-06

Family

ID=77782210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025452A KR102297908B1 (ko) 2020-02-28 2020-02-28 영상 분석에 기반한 상품 수량 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102297908B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228854A (zh) * 2022-12-29 2023-06-06 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110889A (ja) * 1993-10-14 1995-04-25 Tec Corp 商品販売登録データ処理装置
KR20190118451A (ko) * 2018-04-10 2019-10-18 (주)오엔에스커뮤니케이션 영상 인식을 이용한 의류 생산 모니터링 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110889A (ja) * 1993-10-14 1995-04-25 Tec Corp 商品販売登録データ処理装置
KR20190118451A (ko) * 2018-04-10 2019-10-18 (주)오엔에스커뮤니케이션 영상 인식을 이용한 의류 생산 모니터링 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228854A (zh) * 2022-12-29 2023-06-06 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116228854B (zh) * 2022-12-29 2023-09-08 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法

Similar Documents

Publication Publication Date Title
US9547800B2 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-D images
US10438361B2 (en) Image processing apparatus and image processing method for finding background regions in an image
Martel-Brisson et al. Learning and removing cast shadows through a multidistribution approach
US8134596B2 (en) Classifying an object in a video frame
US5745190A (en) Method and apparatus for supplying data
JP6911915B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10949984B2 (en) Object tracking system and method thereof
WO2010131435A1 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
US11475673B2 (en) Image recognition device for detecting a change of an object, image recognition method for detecting a change of an object, and image recognition system for detecting a change of an object
US20220036108A1 (en) Automatically detecting and isolating objects in images
US11443503B2 (en) Product analysis system, product analysis method, and product analysis program
KR20050114817A (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
CN114627561B (zh) 动态手势识别方法、装置、可读存储介质及电子设备
JP6791362B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102297908B1 (ko) 영상 분석에 기반한 상품 수량 관리 시스템 및 방법
CN112990140B (zh) 手势轮廓提取方法、装置、可读存储介质及电子设备
US11132778B2 (en) Image analysis apparatus, image analysis method, and recording medium
US11263759B2 (en) Image processing apparatus, image processing method, and storage medium
KR101230567B1 (ko) 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템
JP2003303346A (ja) 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体
JP3625442B2 (ja) 物体検出方法及び物体検出装置並びに物体検出プログラム
JP2018109824A (ja) 電子制御装置、電子制御システムおよび電子制御方法
US7372994B2 (en) Image processing device for recognizing outline of moving target and method therefor
US20230410467A1 (en) Image processing device and image processing method
JPH08315149A (ja) 侵入物体認識装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant