KR102597692B1 - 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 - Google Patents

영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102597692B1
KR102597692B1 KR1020200173501A KR20200173501A KR102597692B1 KR 102597692 B1 KR102597692 B1 KR 102597692B1 KR 1020200173501 A KR1020200173501 A KR 1020200173501A KR 20200173501 A KR20200173501 A KR 20200173501A KR 102597692 B1 KR102597692 B1 KR 102597692B1
Authority
KR
South Korea
Prior art keywords
volume
standard container
tag
container
input image
Prior art date
Application number
KR1020200173501A
Other languages
English (en)
Other versions
KR20220083347A (ko
Inventor
김영호
이동엽
류지훈
Original Assignee
주식회사 제로클래스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제로클래스랩 filed Critical 주식회사 제로클래스랩
Priority to KR1020200173501A priority Critical patent/KR102597692B1/ko
Priority to PCT/KR2021/017807 priority patent/WO2022124673A1/ko
Publication of KR20220083347A publication Critical patent/KR20220083347A/ko
Application granted granted Critical
Publication of KR102597692B1 publication Critical patent/KR102597692B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 개시의 일 실시예의 일 측면에 따르면, 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계; 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및 상기 부피 레벨 값을 출력하는 단계를 포함하는, 물건 부피 측정 방법이 제공된다.

Description

영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 {Method, apparatus, and computer program for measuring volume of objects by using image}
본 개시의 실시예들은, 입력 영상으로부터 물건 부피를 측정하는 방법, 장치, 및 컴퓨터 프로그램에 관한 것이다.
물류 시스템, 공장 등은 다수의 물건을 취급하기 때문에, 정확한 재고의 측정을 위해 많은 리소스를 투입하고 있다. 기존의 방식에 의하면, 재고를 파악하기 위하여, 물건의 입고 및 출고를 파악하여 재고를 측정한다. 그런데 물건의 입고 및 출고를 파악하기 위해 많은 인력과 비용이 투입되어, 다량의 물건의 재고를 빠르게 파악하는데 어려움이 있다. 상용에 보급된 재고파악기술은 RFID, 무게센서등을 이용하는데, 이때 각 물건에 RFID 태그를 부착하거나, 각선반에 무게센서를 장착하는 작업과 비용이 추가적으로 발생하여, 보급화에는 어려움이 있다.
본 개시의 실시예들은, 영상 데이터를 이용하여, 물건 부피를 측정하는 방법, 장치, 및 컴퓨터 프로그램을 제공하기 위한 것이다.
또한, 본 개시의 실시예들은, 비주얼 태그 또는 기계학습 모델 등의 방법을 이용하여 물건 부피를 정확하게 측정하여 물건의 개수, 무게등을 파악하는 방법, 장치, 및 컴퓨터 프로그램을 제공하기 위한 것이다.
본 개시의 일 실시예의 일 측면에 따르면, 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계; 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및 상기 부피 레벨 값을 출력하는 단계를 포함하는, 물건 부피 측정 방법이 제공된다.
또한, 본 개시의 일 실시예에 따르면, 상기 물건 부피 측정 방법은, 상기 입력 영상으로부터, 서로 다른 식별 정보를 갖는 미리 정의된 복수의 비주얼 태그 중 적어도 하나의 비주얼 태그를 검출하는 단계; 및 상기 검출된 적어도 하나의 비주얼 태그에 기초하여, 물건 부피 값을 산출하는 단계를 더 포함하고, 상기 부피 레벨 값을 결정하는 단계는, 상기 물건 부피 값을 이용하여, 상기 부피 레벨 값을 결정하고, 상기 복수의 비주얼 태그는 상기 규격 용기의 미리 정의된 각 위치에 배치되고, 각 위치의 비주얼 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 가질 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 규격 용기 영역을 검출하는 단계는, 상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하는 단계; 및 상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출하는 단계를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 물건 부피 측정 방법은, 상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하는 단계; 및 상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득하는 단계를 더 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 기계학습 모델은 Semantic segmentation 모델일 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 규격 용기 영역을 검출하는 단계는, YOLO(You Only Look Once의 약자로, 오브젝트 검출에 특화된 오픈소스) 검출 모델을 이용하여 상기 규격 용기 영역을 검출할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 입력 영상은 복수의 프레임을 포함하는 동영상이고, 상기 물건 부피 측정 방법은, 상기 규격 용기 영역이 검출된 프레임을 추출하는 단계를 더 포함하고, 상기 부피 레벨 값을 결정하는 단계는, 상기 추출된 프레임을 상기 입력 영상으로 이용할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면, 입력 영상을 수신하는 입력 인터페이스; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하고, 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 적어도 하나의 프로세서; 및 상기 부피 레벨 값을 출력하는 출력 인터페이스를 포함하는 물건 부피 측정 장치가 제공된다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 입력 영상으로부터, 서로 다른 식별 정보를 갖는 미리 정의된 복수의 비주얼 태그 중 적어도 하나의 비주얼 태그를 검출하고, 상기 검출된 적어도 하나의 비주얼 태그에 기초하여, 물건 부피 값을 산출하고, 상기 물건 부피 값을 이용하여, 상기 부피 레벨 값을 결정하고, 상기 복수의 비주얼 태그는 상기 규격 용기의 미리 정의된 각 위치에 배치되고, 각 위치의 비주얼 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 가질 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하고, 상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하고, 상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 기계학습 모델은 Semantic segmentation 모델일 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, YOLO(You only Look Once) 검출 모델을 이용하여 상기 규격 용기 영역을 검출할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 입력 영상은 복수의 프레임을 포함하는 동영상이고, 상기 적어도 하나의 프로세서는, 상기 규격 용기 영역이 검출된 프레임을 추출하고, 상기 추출된 프레임을 상기 입력 영상으로 이용하여 상기 부피 레벨 값을 결정할 수 있다.
본 개시의 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 실행되었을 때 물건 부피 측정 방법을 수행하고, 기록매체에 기록된 컴퓨터 프로그램에 있어서, 상기 물건 부피 측정 방법은, 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계; 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및 상기 부피 레벨 값을 출력하는 단계를 포함하는, 기록매체에 기록된 컴퓨터 프로그램이 제공된다.
본 개시의 실시예들에 따르면, 영상 데이터를 이용하여, 물건 부피를 측정하는 방법, 장치, 및 컴퓨터 프로그램을 제공할 수 있는 효과가 있다.
또한, 본 개시의 실시예들에 따르면, 비주얼 태그 또는 기계학습 모델 등의 방법을 이용하여 물건 부피를 정확하게 측정하는 방법, 장치, 및 컴퓨터 프로그램을 제공할 수 있는 효과가 있다.
도 1은 본 개시의 일 실시예에 따른 물건 부피 측정 시스템을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 물건 부피 측정 장치의 구조를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른 물건 부피 측정 방법을 나타낸 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 규격 용기를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따라 규격 용기 영역을 검출하고, 부피 레벨 값을 결정하는 과정을 나타낸 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 비주얼 태그를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따라 비주얼 태그가 배치된 도면이다.
도 8은 본 개시의 일 실시예에 따라 규격 용기 영역을 검출한 결과를 나타낸 도면이다.
도 9는 본 개시의 다른 실시예에 따라 규격 용기 영역을 검출하고 부피 레벨 값을 획득하는 과정을 나타낸 흐름도이다.
도 10은 본 개시의 다른 실시예에 따른 프로세서(220a)의 구조를 나타낸 도면이다.
도 11은 본 개시의 일 실시예에 따른 CNN 모델의 구조를 나타낸 도면이다.
도 12는 본 개시의 일 실시예에 따른 규격 용기 영역의 영상 데이터 및 제1 출력 영상을 나타낸 도면이다.
본 명세서는 본 개시의 청구항의 권리범위를 명확히 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 실시 예들을 실시할 수 있도록, 본 개시의 실시 예들의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시 예들이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시 예들, 및 실시 예들의 작용 원리에 대해 설명한다.
도 1은 본 개시의 일 실시예에 따른 물건 부피 측정 시스템을 나타낸 도면이다.
본 개시의 일 실시예에 따른 물건 부피 측정 시스템(10)은 카메라(120)를 이용하고 규격 용기(110)에 담겨진 물건(112)을 촬영하고, 촬영된 입력 영상(110)으로부터 물건 부피 측정 장치(100)에서 물건 부피를 측정한다. 본 개시의 실시예들에 따른 물건 부피 측정 시스템(10)은 물류 창고, 공장 등에서 이용될 수 있다. 예를 들면, 규격 용기(110)에 담겨진 물건(112)은 창고의 선반에 배치되고, 물건 부피 측정 시스템(10)은 카메라(120)를 이동시키면서 배치된 규격 용기(110)들을 촬영하여, 촬영된 입력 영상으로부터 각 규격 용기(110)에 담겨진 물건(112)의 부피를 측정할 수 있다. 카메라(120)는 소정의 이동 수단에 탑재되고, 예를 들면, 카메라(120) 및 물건 부피 측정 장치(100)가 이동 가능한 로봇의 형태로 구현되고, 로봇이 창고 내에서 소정의 경로로 이동하면서 각 규격 용기(110) 내의 물건의 부피를 측정할 수 있다.
물건(112)은 미리 정해진 규격 용기(110)에 담겨진다. 규격 용기(110)는 미리 정의된 형태, 사이즈, 및 색상을 갖는 용기이다. 규격 용기(110)는 하나 이상의 종류로 정의될 수 있다. 물건(112)은 부피 측정의 대상이 되는 객체이다. 물건 부피는 하나의 규격 용기(110)에 담겨진 물건(112)이 차지하는 부피를 의미한다.
카메라(120)는 규격 용기(110)에 담겨진 물건(112)을 촬영한다. 카메라(120)는 렌즈, 셔터, 및 촬상 소자를 포함한다. 카메라(120)는 영상을 촬영하여, 촬영된 입력 영상을 물건 부피 측정 장치(100)로 출력한다.
물건 부피 측정 장치(100)는 프로세서 및 메모리를 포함하는 전자 장치의 형태로 구현될 수 있으며, 예를 들면, 스마트폰, 태블릿 PC, 노트북, 또는 웨어러블 장치 등의 형태로 구현될 수 있다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 클라우드 서버의 형태로 구현될 수 있다.
일 실시예에 따르면, 물건 부피 측정 장치(100)가 카메라(120)를 포함하여 하나의 장치로 구현될 수 있다.
다른 실시예에 따르면, 물건 부피 측정 장치(100)는 외부의 카메라(120)로부터 입력 영상을 수신할 수 있다. 물건 부피 측정 장치(100)는 통신부 또는 소정의 입력 인터페이스를 통해 입력 영상을 수신할 수 있다. 일 실시예에 따르면, 카메라(120)는 CCTV(closed circuit television) 카메라에 대응될 수 있다.
도 2는 본 개시의 일 실시예에 따른 물건 부피 측정 장치의 구조를 나타낸 도면이다.
물건 부피 측정 장치(100)는 입력 인터페이스(210), 프로세서(220), 및 출력 인터페이스(230)를 포함한다.
입력 인터페이스(210)는 규격 용기를 촬영하는 적어도 하나의 카메라로부터 촬영된 입력 영상을 수신한다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 물건 부피 측정 장치(100) 내에 카메라를 구비할 수 있다. 이러한 경우, 입력 인터페이스(210)는 물건 부피 측정 장치(100)에 내장된 카메라로부터 입력 영상을 수신한다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 물건 부피 측정 장치(100) 외부에 배치된 카메라와 연결되어, 입력 인터페이스(210)를 통해 입력 영상을 수신할 수 있다. 이러한 경우, 카메라는 규격 용기를 촬영하여, 촬영된 영상 데이터를 물건 부피 측정 장치(100)로 전송한다. 카메라는 규격 용기를 촬영하도록 FOV(Field of View)가 설정되어 배치된다. 일 실시예에 따르면, 카메라는 기존의 CCTV 카메라에 대응될 수 있다.
입력 인터페이스(210)는 카메라로부터 영상 데이터를 수신하기 위한 소정 규격의 입력 장치, 또는 통신부에 대응될 수 있다. 입력 인터페이스(210)는 입력된 영상 데이터를 프로세서(220)로 전달한다. 입력된 영상 데이터는 입력 영상에 대응된다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 비디오 버퍼를 더 포함하고, 비디오 버퍼에 입력 인터페이스(210)를 통해 입력된 입력 영상을 저장할 수 있다. 프로세서(220)는 비디오 버퍼에 저장된 입력 영상을 읽어 들일 수 있다.
프로세서(220)는 물건 부피 측정 장치(100) 전반의 동작을 제어한다. 프로세서(220)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 프로세서(220)는 메모리에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다.
프로세서(220)는 입력 영상으로부터 규격 용기에 대응하는 규격 용기 영역을 검출한다. 프로세서(220)는 비주얼 태그를 검출하는 방식, 또는 YOLO(You only Look Once) 등의 객체 검출 알고리즘을 이용하는 방식을 이용하여 입력 영상으로부터 규격 용기에 대응하는 규격 용기 영역을 검출할 수 있다.
일 실시예에 따르면, 프로세서(220)는 검출된 규격 용기에 대응하는 용기 식별자를 획득한다. 일 실시예에 따르면, 용기 식별자는 비주얼 태그를 이용하여 획득될 수 있다. 다른 실시예에 따르면, 용기 식별자는 규격 용기에 기재된 용기 식별자를 문자 인식 알고리즘 또는 패턴 인식 알고리즘 등을 이용하여 인식하여 획득될 수 있다.
또한, 프로세서(220)는 용기 식별자에 기초하여 규격 용기에 담겨진 물건에 대한 정보인 물건 정보를 획득할 수 있다. 프로세서(220)는 메모리를 더 포함하고, 메모리에 각 용기 식별자에 대응하는 물건 정보를 저장할 수 있다. 물건 정보는 제품명, 제품 카테고리, 제조업자, 판매원, 제조번호, 사용기한, 유효성분, 또는 저장 방법 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 프로세서(220)는 획득된 용기 식별자 및 메모리에 저장된 물건 정보에 기초하여, 획득된 용기 식별자에 대응하는 물건 정보를 획득할 수 있다. 다른 예로서, 프로세서(220)는 클라우드 서버 등 외부의 데이터베이스를 이용하여, 용기 식별자에 대응하는 물건 정보를 획득할 수 있다.
다음으로, 프로세서(220)는 규격 용기에 담겨진 물건의 물건 부피 값에 대응하는 부피 레벨 값을 결정한다. 부피 레벨 값은 미리 정의된 복수의 레벨 값을 포함할 수 있다. 예를 들면 부피 레벨 값은 High(재고 많음), Mid(재고 충분), Low(재고 부족)의 세가지 레벨로 정의될 수 있다.
일 실시예에 따르면, 프로세서(220)는 규격 용기에 담겨진 물건의 물건 부피 값을 산출하고, 산출된 물건 부피 값에 기초하여 부피 레벨 값을 결정할 수 있다. 이러한 경우, 산출된 물건 부피 값에 따라 부피 레벨 값이 High, Mid, Low 중 하나로 정의될 수 있다. 다른 실시예에 따르면, 프로세서(220)는 규격 용기 영역의 영상 데이터로부터, 기계학습 모델을 이용하여 부피 레벨 값을 결정할 수 있다. 기계학습 모델은 규격 용기 영역의 영상을 입력받고, 부피 레벨 값을 출력하는 모델이다. 기계학습 모델은 규격 용기 영역의 영상 및 부피 레벨 값의 다수의 세트를 트레이닝 데이터로하여 학습된 모델이다.
출력 인터페이스(230)는 프로세서(220)에서 생성된 부피 레벨 값을 출력한다. 출력 인터페이스(230)는 예를 들면, 디스플레이, 오디오 스피커, 또는 통신부 등에 대응될 수 있다.
일 실시예에 따르면, 출력 인터페이스(230)는 용기 식별자와 부피 레벨 값을 함께 출력한다. 다른 실시예에 따르면, 출력 인터페이스(230)는 용기 식별자, 물건 정보, 및 부피 레벨 값을 함께 출력한다.
일 실시예에 따르면, 물건 부피 측정 장치(100)은 비주얼 태그를 이용하는 방식과 기계학습 모델을 이용하는 방식을 함께 이용할 수 있다. 예를 들면, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 용기 식별자를 획득하고, 기계학습 모델을 이용하여 부피 레벨 값을 획득할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 용기 식별자를 획득하고, 비주얼 태그를 이용하여 물건 부피 값 및 부피 레벨 값을 획득하고, 기계학습 모델을 이용하여 부피 레벨 값을 획득할 수 있다. 이러한 경우, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 획득된 부피 레벨 값과 기계학습 모델을 이용하여 획득된 부피 레벨 값의 차이를 비교하여, 신뢰도를 판단하고, 신뢰도가 소정 기준 값 이하인 규격 용기에 대해 부피 레벨 값을 재산출할 수 있다. 재산출 과정은 다른 알고리즘을 이용하거나, 사용자에게 알림을 제공하여 수동으로 부피 레벨 값을 입력할 수 있다.
도 3은 본 개시의 일 실시예에 따른 물건 부피 측정 방법을 나타낸 흐름도이다.
본 개시의 일 실시예에 다른 물건 부피 측정 방법의 각 단계들은 프로세서를 구비하는 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 개시는 본 개시의 실시예들에 따른 물건 부피 측정 장치(100)가 물건 부피 측정 방법을 수행하는 띄어쓰기 두 번이 적용 되었습니다.
실시예를 중심으로 설명한다. 따라서 물건 부피 측정 장치(100)에 대해 설명된 실시예들은 물건 부피 측정 방법에 대한 실시예들에 적용 가능하고, 반대로 물건 부피 측정 방법에 대해 설명된 실시예들은 물건 부피 측정 장치(100)에 대한 실시예들에 적용 가능하다. 개시된 실시예들에 따른 물건 부피 측정 방법은 본 개시에 개시된 물건 부피 측정 장치(100)에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.
물건 부피 측정 장치(100)는 카메라에 의해 촬영된 입력 영상을 수신한다(S302).
다음으로 물건 부피 측정 장치(100)는 입력 영상으로부터 규격 용기 영역을 검출한다(S304). 일 실시예에 따르면, 물건 부피 측정 장치(100)는 입력 영상으로부터 비주얼 태그를 검출하고, 검출된 비주얼 태그에 기초하여 규격 용기 영역을 검출할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 기계학습 모델을 이용하여 입력 영상으로부터 규격 용기 영역을 검출할 수 있다.
다음으로 물건 부피 측정 장치(100)는 규격 용기 영역의 영상 데이터로부터 부피 레벨 값을 결정한다(S306). 일 실시예에 따르면, 물건 부피 측정 장치(100)는 영상 데이터로부터 물건 부피 값을 결정하고, 물건 부피 값에 기초하여 부피 레벨 값을 결정한다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 기계학습 모델을 이용하여 규격 용기 영역의 영상 데이터로부터 부피 레벨 값을 결정한다.
다음으로 물건 부피 측정 장치(100)는 부피 레벨 값을 출력한다(S308). 일 실시예에 따르면, 물건 부피 측정 장치(100)는 부피 레벨 값과 함께 용기 식별자 또는 물건 정보 중 적어도 하나를 출력할 수 있다.
도 4는 본 개시의 일 실시예에 따른 규격 용기를 나타낸 도면이다.
본 개시의 일 실시예에 따른 규격 용기(410, 420, 430)는 하나 또는 복수의 종류를 포함한다. 각 종류의 규격 용기(410, 420, 430)는 모양, 사이즈, 색깔 등이 다를 수 있다. 규격 용기(410, 420, 430)는 카메라에 의해 촬영되었을 때, 담겨진 물건이 보이도록 상면 및 전면 일부가 개방된 형태를 가질 수 있다. 또한, 규격 용기(410, 420, 430)는 서로 다른 사이즈의 복수의 종류를 갖고, 폭, 깊이, 및 높이에 의해 사이즈가 정의될 수 있다.
규격 용기(410, 420, 430)는 카메라에 의해 촬영되는 전면의 소정의 영역에 용기 식별자를 나타내는 정보를 나타내는 식별자 영역(440a, 440b, 440c)을 가질 수 있다. 식별자 영역(440a, 440b, 440c)은 비주얼 정보로 용기 식별자 정보를 나타내는 영역이다. 일 실시예에 따르면, 식별자 영역(440a, 440b, 440c)에 비주얼 태그가 배치된다. 비주얼 태그는 예를 들면 ARUCO Marker, QR(Quick Response) 코드, 바코드 등을 포함할 수 있다. 비주얼 태그는 해당 규격 용기에 대응되는 용기 식별자 정보, 물건 정보 등을 포함할 수 있다. 다른 실시예에 따르면, 식별자 영역(440a, 440b, 440c)은 문자, 패턴, 기호 등으로 표현될 수 있다. 문자, 패턴, 기호 등은 해당 규격 용기에 대응되는 용기 식별자 정보, 물건 정보 등을 나타낼 수 있다.
도 5는 본 개시의 일 실시예에 따라 규격 용기 영역을 검출하고, 부피 레벨 값을 결정하는 과정을 나타낸 흐름도이다.
본 개시의 일 실시예에 따르면, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 규격 용기 영역을 검출하고, 물건의 물건 부피 값을 측정한다. 비주얼 태그는 용기 식별자 정보를 나타내는 용기 식별 태그, 및 규격 용기 내의 미리 정의된 위치에 배치되는 부피 태그를 포함한다. 도 6 및 도 7을 참고하여 비주얼 태그의 형태 및 배치에 대해 설명한다.
도 6은 본 개시의 일 실시예에 따른 비주얼 태그를 나타내는 도면이다.
본 개시의 일 실시예에 따르면, 비주얼 태그(610a, 610b)는 도 6에 도시된 바와 같은 ARUCO 마커로 구현될 수 있다. ARUCO 마커는 2차원 비주얼 마커의 일종으로, n*n 크기의 2차원 비트 패턴과, 이를 둘러싸고 있는 검은색 테두리 영역으로 구성된다. 검은색 테두리 영역은 마커의 인식률을 향상시킨다. 내부의 2차원 비트 패턴은 흰색 셀과 검정색 셀의 조합으로 구성되고, 소정의 정보를 나타낸다. 본 개시의 일 실시예에 따르면, 용기 식별 태그 및 부피 태그는 도 6과 같은 ARUCO 마커의 형태로 구현되고, 각 비주얼 태그에 대응되는 정보를 표현하도록 2차원 비트 패턴이 변경되어 각 위치에 비주얼 태그가 배치될 수 있다.
도 7은 본 개시의 일 실시예에 따라 비주얼 태그가 배치된 도면이다.
본 개시의 일 실시예에 따르면, 규격 용기(710)의 전면의 식별자 영역에 용기 식별 태그(720)가 배치되고, 규격 용기(710) 내부의 미리 정의된 위치에 복수의 부피 태그(730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, 730i)가 배치된다. 이하에서는 각 부피 태그(730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, 730i)를 통칭하여 730으로 지칭한다. 각 부피 태그(730)는 규격 용기 내의 미리 정의된 위치에 배치된다. 예를 들면, 부피 태그(730)는 우측면, 좌측면, 후면 각각에 대해 하부에 2개, 상부에 2개씩 배치된다. 하나의 규격 용기(710) 내의 각 위치의 부피 태그(730)는 서로 다른 식별 정보를 갖는다. 즉, 부피 태그 730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, 730i 각각은 서로 다른 식별 정보를 갖는다. 다수의 규격 용기(710)에 부피 태그(730)가 배치될 때, 동일 규격의 규격 용기(710)의 동일한 위치에는 동일한 부피 태그(730)가 배치될 수 있다. 예를 들면, 제1 규격의 제1 규격 용기의 우측면 상부의 부피 태그 730a는 제1 규격의 제2 규격 용기의 우측면 상부의 동일 위치에 동일하게 배치될 수 있다.
다시 도 5를 참고하여, 비주얼 태그를 이용하여 규격 용기 영역을 검출하고, 부피 레벨 값을 산출하는 과정을 설명한다. 도 5에서 S502, S504는 앞서 설명된 도 3의 규격 용기 영역 검출 단계 S304에 대응되고, S506, S508, 및 S510은 도 3의 부피 레벨 값 결정 단계 S306에 대응된다.
물건 부피 측정 장치(100)는 입력 영상으로부터 용기 식별 태그를 검출한다(S502). 물건 부피 측정 장치(100)는 소정의 비주얼 코드 검출 알고리즘을 이용하여 입력 영상으로부터 용기 식별 태그를 검출할 수 있다.
물건 부피 측정 장치(100)는 검출된 용기 식별 태그에 기초하여 규격 용기 영역을 검출한다(S504). 도 8을 참고하여 규격 용기 영역을 검출하는 동작을 설명한다.
도 8은 본 개시의 일 실시예에 따라 규격 용기 영역을 검출한 결과를 나타낸 도면이다.
물건 부피 측정 장치(100)는 용기 식별 태그(720a, 720b, 720c, 720d)를 검출하면, 용기 식별 태그(720a, 720b, 720c, 720d)가 검출된 용기 식별 태그 영역 및 용기 식별 태그 영역 주변의 영역을 규격 용기 영역(810a, 810b, 810c, 810d)으로 결정한다. 예를 들면, 물건 부피 측정 장치(100)는 용기 식별 태그(720a, 720b, 720c, 720d) 영역의 주변에서 규격 용기의 형태를 객체 검출 알고리즘을 이용하여 검출하여, 규격 용기에 해당하는 규격 용기 영역(810a, 810b, 810c, 810d)을 검출할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 용기 식별 태그 영역 주변에서 부피 태그를 검출하여, 용기 식별 태그 영역과 부피 태그 검출 영역을 포함하는 소정의 영역을 규격 용기 영역(810a, 810b, 810c, 810d)으로 결정할 수 있다.
하나의 입력 영상(800)에서 복수의 용기 식별 태그(720a, 720b, 720c, 720d)가 검출된 경우, 물건 부피 측정 장치(100)는 각 용기 식별 태그(720a, 720b, 720c, 720d) 각각에 대응하는 복수의 규격 용기 영역(810a, 810b, 810c, 810d)을 정의한다.
입력 영상(800)이 동영상인 경우, 물건 부피 측정 장치(100)는 프레임으로부터 새로운 용기 식별 태그가 검출되면, 새로운 규격 용기 영역을 정의한다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 새로운 용기 식별 태그가 검출된 것에 기초하여, S506, S508, S510 단계의 동작을 수행할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 새로운 규격 용기 영역이 검출된 것에 기초하여, S506, S508, S510 단계의 동작을 수행할 수 있다. 이러한 실시예들에 의해, 물건 부피 측정 시스템(10)은 카메라를 이동시키면서 창고 내의 규격 용기들을 순차적으로 촬영하면서, 창고 내의 재고를 전체적으로 파악할 수 있다.
일 실시예에 따르면, 물건 부피 측정 장치(100)는 동영상에 대응되는 입력 영상으로부터 비주얼 태그를 검출하고 저장한다. 예를 들면, 물건 부피 측정 장치(100)는 1초당 60프레임을 캡쳐하고, 캡쳐된 영상에서 식별된 비주얼 태그의 식별 번호를 저장할 수 있다. 다음으로, 물건 부피 측정 장치(100)는 저장된 비주얼 태그들 중 중복되지 않은 식별 번호를 새로운 프레임에서 검출한 경우, 검출된 새로운 식별 번호를 저장한다. 물건 부피 측정 장치(100)는 입력 영상에서 새로운 규격 용기를 검출하면, 이전 규격 용기에 대한 인식을 멈추고, 지금까지 저장된 비주얼 태그의 개수를 이용하여 물건 부피 값 및 부피 레벨 값을 산출한다. 물건 부피 측정 장치(100)는 입력 영상에 대해 상기 과정들을 반복하면서 각 규격 용기의 부피 레벨 값을 획득한다.
다음으로, 물건 부피 측정 장치(100)는 입력 영상으로부터 부피 태그를 검출한다(S506). 물건 부피 측정 장치(100)는 용기 식별 태그와 부피 태그를 포함하는 비주얼 태그를 검출하고, 검출된 비주얼 태그에 기록된 정보를 식별하여 해당 비주얼 태그가 용기 식별 태그인지 부피 태그인지 판단할 수 있다. 따라서 물건 부피 측정 장치(100)는 입력 영상으로부터 비주얼 태그를 전체적으로 검출하고, 검출된 비주얼 태그 중 용기 식별 태그를 검출하고(S502), 부피 태그를 검출(S506)할 수 있다.
다음으로 물건 부피 측정 장치(100)는 검출된 부피 태그에 기초하여 물건 부피 값을 산출한다(S508). 도 7을 참고하여 부피 태그를 이용하여 물건 부피 값을 산출하는 과정을 설명한다.
규격 용기(710)에 물건(740)이 담기면, 그 부피에 따라 복수의 부피 태그(730) 중 일부를 가리게 된다. 예를 들면, 규격 용기에 물건(740)이 반 정도 담기면, 복수의 부피 태그(730) 중 규격 용기(720)의 하부에 배치된 부피 태그(730)를 가리게 된다. 또한, 물건(740)이 규격 용기(710)에 적재될 때, 물건(740)이 담긴 면이 평평하지 않고, 물건(740)이 한쪽 방향으로 쏠려서 물건(740)의 상단 면이 기울어질 수 있다. 만약 물건(740)의 상단 면이 우측이 높고 좌측이 낮은 경우, 규격 용기(710)의 우측면의 부피 태그(730)는 물건(740)에 의해 거의 가려지고, 규격 용기(910)의 좌측면의 부피 태그(730)는 하부의 부피 태그(730)까지 보일 수 있다. 이러한 원리로, 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수를 이용하여 물건 부피 값을 산출한다. 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수를 물건 부피 값으로 결정할 수 있다.
다시 도 5를 참고하여 나머지 과정을 설명한다. 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수에 의해 결정된 물건 부피 값에 기초하여, 부피 레벨 값을 결정한다(S510). 일 실시예에 따르면, 하나의 규격 용기(710)에 배치된 부피 태그(730)가 총 12개인 경우, 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수가 1개 이상 4개 이하인 경우, 부피 레벨 값을 High로 결정하고, 검출된 부피 태그(730)의 개수가 5개 이상 8개 이하인 경우 부피 레벨 값을 Mid로 결정하고, 검출된 부피 태그(730)의 개수가 9개 이상 12개 이하인 경우 부피 레벨 값을 Low로 결정한다. 부피 레벨 값을 결정하는 기준은 하나의 규격 용기(710)에 배치된 총 부피 태그(730)의 수에 따라 달라질 수 있다. 또한, 실시예에 따라 부피 레벨이 더 세분화되어 더 많은 수의 레벨로 정의될 수 있고, 각 부피 레벨에 해당하는 부피 태그(730)의 수의 기준이 달라질 수 있다.
일 실시예에 따르면, 부피 레벨의 기준 값은, 사용자 입력에 의해 변경될 수 있다. 예를 들면, 부피 레벨의 기준 값은 창고 관리인, 공장주 등의 사용자에 의해 입력된 사용자 입력에 기초하여 변경될 수 있다. 물건 부피 측정 장치(100)의 입력 인터페이스(210)를 통해 사용자 입력을 수신하고, 프로세서(220)는 입력 인터페이스(210)를 통해 입력된 사용자 입력에 기초하여 부피 레벨의 기준 값을 변경할 수 있다. 프로세서(220)는 입력 인터페이스(210) 및 출력 인터페이스(230)를 통해 부피 레벨의 기준 값을 변경할 수 있는 UI(user interface)를 제공할 수 있다.
본 개시의 일 실시예에 따르면, 비주얼 태그(720, 730)가 인식된 결과 영상이 도 7에 도시된 바와 같이 출력될 수 있다. 출력 영상은 입력 영상에서 검출된 비주얼 태그(720, 730)들을 소정의 인디케이터(예를 들면, 비주얼 태그(720, 730)의 외곽에 대응되고 소정의 컬러 및 선 종류로 표시된 박스)로 표시할 수 있다. 또한, 일 실시예에 따르면, 출력 영상은 각 비주얼 태그(720, 730)에 대응되는 식별 번호 정보를 각 비주얼 태그(720, 730)에 인접하게 표시할 수 있다(722, 732a). 이러한 출력 영상에 의해, 사용자는 비주얼 태그(720, 730)가 적절하게 검출되었는지 확인할 수 있고, 각 비주얼 태그(720, 730)에 대응하는 식별 번호 정보를 획득할 수 있다. 프로세서(220)는 도 7과 같은 출력 영상을 생성하여 출력 인터페이스(230)를 통해 출력할 수 있다.
도 9는 본 개시의 다른 실시예에 따라 규격 용기 영역을 검출하고 부피 레벨 값을 획득하는 과정을 나타낸 흐름도이다. 도 10은 본 개시의 다른 실시예에 따른 프로세서(220a)의 구조를 나타낸 도면이다. 도 9 및 도 10을 참조하여 본 개시의 다른 실시예를 설명한다.
프로세서(220a)는 흑백 변환부(1010), 규격 용기 영역 검출부(1020), 제1 기계학습 모델(1030), 및 제2 기계학습 모델(1040)을 포함한다. 프로세서(220a) 내의 각 블록은 소프트웨어 모듈 또는 하드웨어 모듈에 대응되거나, 소프트웨어 모듈과 하드웨어 모듈의 조합에 대응된다. 따라서 프로세서(220a) 내의 각 블록의 구조에 의해 본 개시의 실시예가 제한되지 않으며, 프로세서(220a) 내의 각 블록은 서로 합쳐지거나, 하나의 블록이 복수의 블록으로 분리되는 것도 가능하다.
본 개시의 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 기계학습 모델을 이용하여 입력 영상(1050)으로부터 부피 레벨 값을 획득한다. 프로세서(220a)는 제1 기계학습 모델(1030) 및 제2 기계학습 모델(1040)을 실행하여, 입력 영상으로부터 부피 레벨 값을 획득한다.
우선 흑백 변환부(1010)는 입력 영상(1040)을 흑백 스케일로 변환하여 흑백 입력 영상을 생성한다(S902). 기계학습 모델을 이용하여 영상을 처리하는 경우, 처리량이 많기 때문에, 처리량을 감소시키기 위해 입력 영상(1050)을 흑백 스케일로 변환하여 기계학습 모델에 입력한다. 프로세서(220)는 흑백 입력 영상을 이용함에 의해, 기존에 R, G, B 3개의 채널로 입력 영상을 처리하던 것을 하나의 채널로 입력 영상을 처리할 수 있어 처리량을 감소시킬 수 있다.
다음으로, 규격 용기 영역 검출부(1020)는 흑백 입력 영상으로부터 규격 용기 영역을 검출한다(S904). 일 실시예에 따르면, 프로세서(220)는 YOLO 알고리즘을 이용하여 규격 용기 영역을 검출한다. YOLO는 단일 단계 방식의 객체 탐지 알고리즘이다. YOLO 알고리즘은 원본 이미지를 동일한 크기의 그리드로 나누고, 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 경계 박스의 개수를 예측하고 이를 기반으로 신뢰도를 계산한다. 신뢰도는 이미지에 객체가 포함되어 있는지, 또는 배경만 단독으로 있는지 여부에 대한 정보를 포함한다. 또한, YOLO 알고리즘은 높은 객체 신뢰도를 가진 위치를 선택하여 객체 카테고리를 파악한다. 규격 용기 영역 검출부(1020)는 규격 용기 영역에 대응하는 영상 데이터(1042)를 생성하여 제1 기계학습 모델(1030)로 출력한다.
다음으로, 제1 기계학습 모델(1030)은 규격 용기 영역의 영상 데이터로부터 규격 용기 영역, 물건 영역, 및 배경 영역을 검출하여 분리한다. 일 실시예에 따르면, 제1 기계학습 모델(1030)은 Semantic Segmentation 모델을 이용한다. Semantic Segmentation은 영상 데이터로부터 객체의 종류를 분류하는 것을 의미한다. Computer vision 기술의 하나인 Semantic Segmentation 모델은 인식된 물체들을 분류(Classify)하여 분류된 각 물체에 소정의 픽셀 값을 부여하여, 프로세서가 더욱 쉽게 물체를 인식하도록 한다. 예를 들면, 제1 기계학습 모델(1030)은 규격 용기 영역의 영상 데이터를 입력 받아, 규격 용기 영역, 물건 영역, 및 배경 영역에 각각 서로 다른 색 또는 패턴을 배치하여, 제1 출력 영상(1044)을 생성한다.
Semantic Segmentation을 성공적으로 사용하기 위해, Tensorflow API를 사용하여 제1 기계학습 모델(1030)을 학습시킬 수 있다. 예를 들면, 제1 기계학습 모델(1030)은 규격 용기 영역의 영상 데이터를 입력 데이터로하고, 물체가 인식되어 분류된 영상 데이터를 출력 데이터로하는 트레이닝 데이터를 이용하여 학습된다. 입력 데이터와 출력 데이터는 소정의 사이즈를 가질 수 있고, 예를 들면, 250*250, 128*128 등으로 사이즈가 정의될 수 있다. 트레이닝 데이터를 생성하기 위해, 소정의 엔진 또는 data augmentation 알고리즘이 이용될 수 있다.
제2 기계학습 모델(1040)은 제1 출력 영상을 입력 받아, 부피 레벨 값을 획득한다. 제2 기계학습 모델(1040)은 물체들이 분류된 제1 출력 영상을 입력 데이터로 받고, 부피 레벨 값을 출력한다. 일 실시예에 따르면, 제2 기계학습 모델(1040)은 출력 값으로 부피 레벨 값과 함께, 정확도 값(Accuracy)을 출력할 수 있다. 정확도 값(Accuracy)은 제2 기계학습 모델(1040)에 의해 판단된 부피 레벨 값에 대한 신뢰도를 나타낸다. 제2 기계학습 모델(1040)은 CNN(Convolutional Neural Network) 구조의 인공 신경망 모델을 이용할 수 있다. 제2 기계학습 모델(1040)은 제1 출력 영상의 규격 용기 영역의 크기와 물건 영역의 크기를 feature로서 학습될 수 있다. 제2 기계학습 모델은 물체 분류가 완료된 제1 출력 영상을 입력 데이터로하고, 부피 레벨 값 및 정확도 값을 출력 데이터로하는 트레이닝 데이터를 이용하여 학습된다.
도 11은 본 개시의 일 실시예에 따른 CNN 모델의 구조를 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 제1 기계학습 모델(1030) 및 제2 기계학습 모델(1040)은 CNN 구조의 인공 심층 신경망을 포함한다. CNN 구조는 합성 곱 계층과 Fully connected 계층을 포함한다. 합성 곱 계층은 특성 추출의 동작을 수행한다. 합성 곱 계층은 컨벌루션(convolution) 레이어, 액티베이션 레이어, 및 풀링(pooling) 레이어를 포함한다. 합성 곱 계층에 의해 입력 벡터로부터 입력 벡터의 Feature가 추출된다. 합성 곱 계층 다음으로 Fully connected 계층이 배치된다. Fully Connected 계층은 합성 곱 계층에서 추출된 feature로부터 출력 벡터를 생성한다. Fully Connected 계층은 레이어 사이의 모든 노드가 연결되어 연산된다.
제1 기계학습 모델(1030)과 제2 기계학습 모델(1040)은 CNN 구조를 포함하는 모델을 기반으로 트레이닝 데이터에 의해 학습될 수 있다.
도 12는 본 개시의 일 실시예에 따른 규격 용기 영역의 영상 데이터 및 제1 출력 영상을 나타낸 도면이다.
규격 용기 영역의 영상 데이터(1210)는 규격 용기가 중앙에 배치되도록 생성될 수 있다. 일 실시예에 따르면, 규격 용기 영역의 영상 데이터(1210)는 규격 용기의 변(1212)을 인식하여 영상에 표시할 수 있다.
제1 출력 영상(1220)은 물체 종류를 분류하여, 각 물체 종류에 대응하는 영역을 동일한 픽셀 값 또는 패턴으로 나타낸다.
한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10 물건 부피 측정 시스템
100 물건 부피 측정 장치
120 카메라
210 입력 인터페이스
220 프로세서
230 출력 인터페이스

Claims (15)

  1. 입력 영상을 수신하는 단계;
    상기 입력 영상으로부터 용기 식별자 정보를 포함하는 비주얼 태그를 인식하는 단계;
    상기 입력 영상으로부터 상기 비주얼 태그를 인식한 것에 기초하여, 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계;
    상기 비주얼 태그에 기초하여, 상기 규격 용기의 용기 식별자 정보 및 상기 규격 용기의 사이즈 정보를 획득하는 단계;
    상기 입력 영상으로부터 상기 규격 용기의 벽면에 배치된 적어도 하나의 부피 태그를 검출하는 단계;
    상기 검출된 부피 태그의 개수에 기초하여, 상기 규격 용기에 적재된 물건의 부피 값을 결정하는 단계;
    상기 결정된 물건 부피 값에 기초하여, 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및
    상기 부피 레벨 값을 출력하는 단계를 포함하는, 물건 부피 측정 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 부피 태그는, 상기 규격 용기의 복수의 내벽 각각에 배치된 복수의 부피 태그 중 상기 적재된 물건에 의해 가려지지 않은 부피 태그이고,
    상기 규격 용기의 각각의 내벽에, 상기 복수의 부피 태그가 서로 다른 높이에 배치되고,
    각 위치의 부피 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 갖는, 물건 부피 측정 방법.
  3. 제2항에 있어서,
    상기 규격 용기 영역을 검출하는 단계는,
    상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하는 단계; 및
    상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출하는 단계를 포함하는, 물건 부피 측정 방법.
  4. 제1항에 있어서,
    상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하는 단계; 및
    상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득하는 단계를 더 포함하는, 물건 부피 측정 방법.
  5. 제4항에 있어서,
    상기 제1 기계학습 모델은 Semantic segmentation 모델인 물건 부피 측정 방법.
  6. 제1항에 있어서,
    상기 규격 용기 영역을 검출하는 단계는, YOLO(You only Look Once) 검출 모델을 이용하여 상기 규격 용기 영역을 검출하는, 물건 부피 측정 방법.
  7. 제1항에 있어서,
    상기 입력 영상은 복수의 프레임을 포함하는 동영상이고,
    상기 물건 부피 측정 방법은, 상기 규격 용기 영역이 검출된 프레임을 추출하는 단계를 더 포함하고,
    상기 부피 레벨 값을 결정하는 단계는, 상기 추출된 프레임을 상기 입력 영상으로 이용하는, 물건 부피 측정 방법.
  8. 입력 영상을 수신하는 입력 인터페이스;
    상기 입력 영상으로부터 용기 식별자 정보를 포함하는 비주얼 태그를 인식하고, 상기 입력 영상으로부터 상기 비주얼 태그를 인식한 것에 기초하여, 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하고, 상기 비주얼 태그에 기초하여, 상기 규격 용기의 용기 식별자 정보 및 상기 규격 용기의 사이즈 정보를 획득하고, 상기 입력 영상으로부터 상기 규격 용기의 벽면에 배치된 적어도 하나의 부피 태그를 검출하고, 상기 검출된 부피 태그의 개수에 기초하여, 상기 규격 용기에 적재된 물건의 부피 값을 결정하고, 상기 결정된 물건 부피 값에 기초하여, 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하고, 상기 결정된 물건 부피 값에 기초하여, 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 적어도 하나의 프로세서; 및
    상기 부피 레벨 값을 출력하는 출력 인터페이스를 포함하는 물건 부피 측정 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 부피 태그는, 상기 규격 용기의 복수의 내벽 각각에 배치된 복수의 부피 태그 중 상기 적재된 물건에 의해 가려지지 않은 부피 태그이고,
    상기 규격 용기의 각각의 내벽에, 상기 복수의 부피 태그가 서로 다른 높이에 배치되고,
    각 위치의 부피 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 갖는, 물건 부피 측정 장치.
  10. 제9항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하고, 상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출하는, 물건 부피 측정 장치.
  11. 제8항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하고, 상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득하는, 물건 부피 측정 장치.
  12. 제11항에 있어서,
    상기 제1 기계학습 모델은 Semantic segmentation 모델인, 물건 부피 측정 장치.
  13. 제8항에 있어서,
    상기 적어도 하나의 프로세서는, YOLO(You only Look Once) 검출 모델을 이용하여 상기 규격 용기 영역을 검출하는, 물건 부피 측정 장치.
  14. 제8항에 있어서,
    상기 입력 영상은 복수의 프레임을 포함하는 동영상이고,
    상기 적어도 하나의 프로세서는, 상기 규격 용기 영역이 검출된 프레임을 추출하고, 상기 추출된 프레임을 상기 입력 영상으로 이용하여 상기 부피 레벨 값을 결정하는, 물건 부피 측정 장치.
  15. 프로세서에 의해 실행되었을 때 물건 부피 측정 방법을 수행하고, 기록매체에 기록된 컴퓨터 프로그램에 있어서, 상기 물건 부피 측정 방법은,
    입력 영상을 수신하는 단계;
    상기 입력 영상으로부터 용기 식별자 정보를 포함하는 비주얼 태그를 인식하는 단계;
    상기 입력 영상으로부터 상기 비주얼 태그를 인식한 것에 기초하여, 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계;
    상기 비주얼 태그에 기초하여, 상기 규격 용기의 용기 식별자 정보 및 상기 규격 용기의 사이즈 정보를 획득하는 단계;
    상기 입력 영상으로부터 상기 규격 용기의 벽면에 배치된 적어도 하나의 부피 태그를 검출하는 단계;
    상기 검출된 부피 태그의 개수에 기초하여, 상기 규격 용기에 적재된 물건의 부피 값을 결정하는 단계;
    상기 결정된 물건 부피 값에 기초하여, 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및
    상기 부피 레벨 값을 출력하는 단계를 포함하는, 기록매체에 기록된 컴퓨터 프로그램.
KR1020200173501A 2020-12-11 2020-12-11 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 KR102597692B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200173501A KR102597692B1 (ko) 2020-12-11 2020-12-11 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
PCT/KR2021/017807 WO2022124673A1 (ko) 2020-12-11 2021-11-30 기계학습 모델을 이용해 촬영 영상에 기반하여 용기 내의 물건 부피를 측정하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200173501A KR102597692B1 (ko) 2020-12-11 2020-12-11 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20220083347A KR20220083347A (ko) 2022-06-20
KR102597692B1 true KR102597692B1 (ko) 2023-11-03

Family

ID=81973779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173501A KR102597692B1 (ko) 2020-12-11 2020-12-11 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램

Country Status (2)

Country Link
KR (1) KR102597692B1 (ko)
WO (1) WO2022124673A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078103B (zh) * 2023-08-29 2024-02-13 南京图灵信息技术有限公司 商品品质监控数据处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375018B1 (ko) * 2012-11-22 2014-03-17 경일대학교산학협력단 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998885B1 (ko) * 2009-11-19 2010-12-08 한국건설기술연구원 영상의 시간적 픽셀의 농도 분포 변화를 이용한 액체 경계면 인식방법 및 이를 이용하여 액체높이를 인식하는 액체높이인식장치
KR20150103995A (ko) * 2014-03-04 2015-09-14 주식회사 영국전자 탱크 내벽 검사 방법
KR101893098B1 (ko) * 2014-08-18 2018-08-29 안상요 음식물 쓰레기 수거용기 및 이를 이용한 음식물쓰레기 수거시스템
CN109073517A (zh) * 2016-04-27 2018-12-21 文塔纳医疗系统公司 用于实时体积控制的系统和方法
KR101873124B1 (ko) * 2016-12-30 2018-06-29 부산대학교 산학협력단 액체 저장 탱크의 수위 계측 방법 및 액체 저장 탱크의 수위 계측 시스템
JP2020024108A (ja) * 2018-08-06 2020-02-13 地方独立行政法人 岩手県工業技術センター 貯蔵タンクの貯蔵量推定装置
KR20200125131A (ko) * 2019-04-26 2020-11-04 (주)제이엘케이 인공지능 기반 영상 두께 측정 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375018B1 (ko) * 2012-11-22 2014-03-17 경일대학교산학협력단 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Also Published As

Publication number Publication date
WO2022124673A1 (ko) 2022-06-16
KR20220083347A (ko) 2022-06-20

Similar Documents

Publication Publication Date Title
US11823429B2 (en) Method, system and device for difference automatic calibration in cross modal target detection
US9767604B2 (en) Image analysis method by analyzing point cloud using hierarchical search tree
CN106156778B (zh) 用于识别机器视觉系统的视野中的已知对象的方法
AU2022202588B2 (en) Item identification and tracking system
KR20190031431A (ko) 물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템
CN110069972A (zh) 自动探测真实世界物体
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
CN111507253B (zh) 基于人工智能的陈列物品审核方法、装置
US10515459B2 (en) Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
EP3376433B1 (en) Image processing apparatus, image processing method, and image processing program
JP5262705B2 (ja) 運動推定装置及びプログラム
US11145397B1 (en) System and method for augmented reality detection of loose pharmacy items
CN105426901A (zh) 用于对摄像头视野中的已知物体进行分类的方法
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
EP4071684A1 (en) Warehouse monitoring system
KR102597692B1 (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
JPWO2019171574A1 (ja) 商品分析システム、商品分析方法および商品分析プログラム
Li et al. Using Kinect for monitoring warehouse order picking operations
JPWO2018179360A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN117975368A (zh) 一种路径追踪方法及其仓库信息记录的方法
Morar et al. Real time indoor 3d pipeline for an advanced sensory substitution device
US11983242B2 (en) Learning data generation device, learning data generation method, and learning data generation program
US9158956B2 (en) Reader, reading method and computer program product
Baca et al. Automated data annotation for 6-dof ai-based navigation algorithm development

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant