KR20220083347A - Method, apparatus, and computer program for measuring volume of objects by using image - Google Patents

Method, apparatus, and computer program for measuring volume of objects by using image Download PDF

Info

Publication number
KR20220083347A
KR20220083347A KR1020200173501A KR20200173501A KR20220083347A KR 20220083347 A KR20220083347 A KR 20220083347A KR 1020200173501 A KR1020200173501 A KR 1020200173501A KR 20200173501 A KR20200173501 A KR 20200173501A KR 20220083347 A KR20220083347 A KR 20220083347A
Authority
KR
South Korea
Prior art keywords
standard container
volume
input image
level value
volume level
Prior art date
Application number
KR1020200173501A
Other languages
Korean (ko)
Other versions
KR102597692B1 (en
Inventor
김영호
이동엽
류지훈
Original Assignee
주식회사 제로클래스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제로클래스랩 filed Critical 주식회사 제로클래스랩
Priority to KR1020200173501A priority Critical patent/KR102597692B1/en
Priority to PCT/KR2021/017807 priority patent/WO2022124673A1/en
Publication of KR20220083347A publication Critical patent/KR20220083347A/en
Application granted granted Critical
Publication of KR102597692B1 publication Critical patent/KR102597692B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

본 개시의 일 실시예의 일 측면에 따르면, 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계; 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및 상기 부피 레벨 값을 출력하는 단계를 포함하는, 물건 부피 측정 방법이 제공된다.According to an aspect of an embodiment of the present disclosure, receiving an input image; detecting a standard container area corresponding to a predefined standard container from the input image; determining a volume level value as one of a plurality of predetermined levels from the input image; and outputting the volume level value, the object volume measurement method is provided.

Figure P1020200173501
Figure P1020200173501

Description

영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 {Method, apparatus, and computer program for measuring volume of objects by using image}Apparatus, method, and computer program for measuring the volume of an object using an image {Method, apparatus, and computer program for measuring volume of objects by using image}

본 개시의 실시예들은, 입력 영상으로부터 물건 부피를 측정하는 방법, 장치, 및 컴퓨터 프로그램에 관한 것이다.Embodiments of the present disclosure relate to a method, an apparatus, and a computer program for measuring the volume of an object from an input image.

물류 시스템, 공장 등은 다수의 물건을 취급하기 때문에, 정확한 재고의 측정을 위해 많은 리소스를 투입하고 있다. 기존의 방식에 의하면, 재고를 파악하기 위하여, 물건의 입고 및 출고를 파악하여 재고를 측정한다. 그런데 물건의 입고 및 출고를 파악하기 위해 많은 인력과 비용이 투입되어, 다량의 물건의 재고를 빠르게 파악하는데 어려움이 있다. 상용에 보급된 재고파악기술은 RFID, 무게센서등을 이용하는데, 이때 각 물건에 RFID 태그를 부착하거나, 각선반에 무게센서를 장착하는 작업과 비용이 추가적으로 발생하여, 보급화에는 어려움이 있다.Logistics systems, factories, etc. deal with a large number of goods, so a lot of resources are put into accurate inventory measurement. According to the conventional method, in order to grasp the inventory, the stock is measured by grasping the goods in and out. However, a lot of manpower and money are invested in order to check the stocking and release of goods, so it is difficult to quickly grasp the inventory of a large amount of goods. Commercially available inventory tracking technology uses RFID, weight sensors, etc. At this time, it is difficult to spread because RFID tags are attached to each item or weight sensors are installed on each shelf and additional costs are incurred.

본 개시의 실시예들은, 영상 데이터를 이용하여, 물건 부피를 측정하는 방법, 장치, 및 컴퓨터 프로그램을 제공하기 위한 것이다.SUMMARY Embodiments of the present disclosure provide a method, an apparatus, and a computer program for measuring the volume of an object using image data.

또한, 본 개시의 실시예들은, 비주얼 태그 또는 기계학습 모델 등의 방법을 이용하여 물건 부피를 정확하게 측정하여 물건의 개수, 무게등을 파악하는 방법, 장치, 및 컴퓨터 프로그램을 제공하기 위한 것이다.Also, embodiments of the present disclosure provide a method, apparatus, and computer program for accurately measuring the volume of an object by using a method such as a visual tag or a machine learning model to determine the number, weight, etc. of the object.

본 개시의 일 실시예의 일 측면에 따르면, 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계; 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및 상기 부피 레벨 값을 출력하는 단계를 포함하는, 물건 부피 측정 방법이 제공된다.According to an aspect of an embodiment of the present disclosure, receiving an input image; detecting a standard container area corresponding to a predefined standard container from the input image; determining a volume level value as one of a plurality of predetermined levels from the input image; and outputting the volume level value, the object volume measurement method is provided.

또한, 본 개시의 일 실시예에 따르면, 상기 물건 부피 측정 방법은, 상기 입력 영상으로부터, 서로 다른 식별 정보를 갖는 미리 정의된 복수의 비주얼 태그 중 적어도 하나의 비주얼 태그를 검출하는 단계; 및 상기 검출된 적어도 하나의 비주얼 태그에 기초하여, 물건 부피 값을 산출하는 단계를 더 포함하고, 상기 부피 레벨 값을 결정하는 단계는, 상기 물건 부피 값을 이용하여, 상기 부피 레벨 값을 결정하고, 상기 복수의 비주얼 태그는 상기 규격 용기의 미리 정의된 각 위치에 배치되고, 각 위치의 비주얼 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 가질 수 있다.Also, according to an embodiment of the present disclosure, the method for measuring the volume of an object may include: detecting, from the input image, at least one visual tag among a plurality of predefined visual tags having different identification information; and calculating an object volume value based on the detected at least one visual tag, wherein the determining of the volume level value includes: determining the volume level value using the object volume value; , the plurality of visual tags are arranged at each predefined position of the standard container, and the visual tag of each position may have predefined identification information corresponding to the position.

또한, 본 개시의 일 실시예에 따르면, 상기 규격 용기 영역을 검출하는 단계는, 상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하는 단계; 및 상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출하는 단계를 포함할 수 있다.In addition, according to an embodiment of the present disclosure, the detecting of the standard container area includes: detecting a container identification tag disposed at a predetermined position of the standard container; and detecting the standard container area based on the detected container identification tag.

또한, 본 개시의 일 실시예에 따르면, 상기 물건 부피 측정 방법은, 상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하는 단계; 및 상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득하는 단계를 더 포함할 수 있다.In addition, according to an embodiment of the present disclosure, in the method for measuring the volume of an object, the image data of the standard container region is input to a first machine learning model, and the object, the standard container, and obtaining a first output image in which a background is classified; and inputting the first output image to a second machine learning model, and obtaining the volume level value from the second machine learning model.

또한, 본 개시의 일 실시예에 따르면, 상기 제1 기계학습 모델은 Semantic segmentation 모델일 수 있다.Also, according to an embodiment of the present disclosure, the first machine learning model may be a semantic segmentation model.

또한, 본 개시의 일 실시예에 따르면, 상기 규격 용기 영역을 검출하는 단계는, YOLO(You Only Look Once의 약자로, 오브젝트 검출에 특화된 오픈소스) 검출 모델을 이용하여 상기 규격 용기 영역을 검출할 수 있다.In addition, according to an embodiment of the present disclosure, the detecting of the standard container area may include detecting the standard container area using a YOLO (You Only Look Once, an open source specialized object detection) detection model. can

또한, 본 개시의 일 실시예에 따르면, 상기 입력 영상은 복수의 프레임을 포함하는 동영상이고, 상기 물건 부피 측정 방법은, 상기 규격 용기 영역이 검출된 프레임을 추출하는 단계를 더 포함하고, 상기 부피 레벨 값을 결정하는 단계는, 상기 추출된 프레임을 상기 입력 영상으로 이용할 수 있다.In addition, according to an embodiment of the present disclosure, the input image is a moving picture including a plurality of frames, and the method for measuring the volume of an object further includes extracting a frame in which the standard container area is detected, the volume The determining of the level value may include using the extracted frame as the input image.

본 개시의 일 실시예의 다른 측면에 따르면, 입력 영상을 수신하는 입력 인터페이스; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하고, 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 적어도 하나의 프로세서; 및 상기 부피 레벨 값을 출력하는 출력 인터페이스를 포함하는 물건 부피 측정 장치가 제공된다.According to another aspect of an embodiment of the present disclosure, an input interface for receiving an input image; at least one processor for detecting a standard container region corresponding to a predefined standard container from the input image, and determining a volume level value as one of a plurality of predetermined levels from the input image; and an output interface for outputting the volume level value.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 입력 영상으로부터, 서로 다른 식별 정보를 갖는 미리 정의된 복수의 비주얼 태그 중 적어도 하나의 비주얼 태그를 검출하고, 상기 검출된 적어도 하나의 비주얼 태그에 기초하여, 물건 부피 값을 산출하고, 상기 물건 부피 값을 이용하여, 상기 부피 레벨 값을 결정하고, 상기 복수의 비주얼 태그는 상기 규격 용기의 미리 정의된 각 위치에 배치되고, 각 위치의 비주얼 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 가질 수 있다.Also, according to an embodiment of the present disclosure, the at least one processor detects, from the input image, at least one visual tag among a plurality of predefined visual tags having different identification information, and the detected at least one Calculate an object volume value based on one visual tag, and use the object volume value to determine the volume level value, wherein the plurality of visual tags are disposed at each predefined position of the standard container; The visual tag of each location may have predefined identification information corresponding to the location.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하고, 상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출할 수 있다.Further, according to an embodiment of the present disclosure, the at least one processor detects a container identification tag disposed at a predetermined position of the standard container, and detects the standard container area based on the detected container identification tag. can do.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하고, 상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득할 수 있다.Further, according to an embodiment of the present disclosure, the at least one processor inputs the image data of the standard container region into a first machine learning model, and receives the object, the standard container, and A first output image in which a background is classified may be obtained, the first output image may be input to a second machine learning model, and the volume level value may be obtained from the second machine learning model.

또한, 본 개시의 일 실시예에 따르면, 상기 제1 기계학습 모델은 Semantic segmentation 모델일 수 있다.Also, according to an embodiment of the present disclosure, the first machine learning model may be a semantic segmentation model.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, YOLO(You only Look Once) 검출 모델을 이용하여 상기 규격 용기 영역을 검출할 수 있다.Also, according to an embodiment of the present disclosure, the at least one processor may detect the standard container area using a You Only Look Once (YOLO) detection model.

또한, 본 개시의 일 실시예에 따르면, 상기 입력 영상은 복수의 프레임을 포함하는 동영상이고, 상기 적어도 하나의 프로세서는, 상기 규격 용기 영역이 검출된 프레임을 추출하고, 상기 추출된 프레임을 상기 입력 영상으로 이용하여 상기 부피 레벨 값을 결정할 수 있다.In addition, according to an embodiment of the present disclosure, the input image is a moving picture including a plurality of frames, and the at least one processor extracts a frame in which the standard container area is detected, and receives the extracted frame as the input. The volume level value may be determined by using the image.

본 개시의 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 실행되었을 때 물건 부피 측정 방법을 수행하고, 기록매체에 기록된 컴퓨터 프로그램에 있어서, 상기 물건 부피 측정 방법은, 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계; 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및 상기 부피 레벨 값을 출력하는 단계를 포함하는, 기록매체에 기록된 컴퓨터 프로그램이 제공된다.According to another aspect of an embodiment of the present disclosure, there is provided a computer program for performing an object volume measurement method when executed by a processor, and recorded on a recording medium, the method comprising: receiving an input image; detecting a standard container area corresponding to a predefined standard container from the input image; determining a volume level value as one of a plurality of predetermined levels from the input image; and outputting the volume level value, the computer program recorded on the recording medium is provided.

본 개시의 실시예들에 따르면, 영상 데이터를 이용하여, 물건 부피를 측정하는 방법, 장치, 및 컴퓨터 프로그램을 제공할 수 있는 효과가 있다.According to embodiments of the present disclosure, it is possible to provide a method, an apparatus, and a computer program for measuring the volume of an object by using image data.

또한, 본 개시의 실시예들에 따르면, 비주얼 태그 또는 기계학습 모델 등의 방법을 이용하여 물건 부피를 정확하게 측정하는 방법, 장치, 및 컴퓨터 프로그램을 제공할 수 있는 효과가 있다.In addition, according to embodiments of the present disclosure, there is an effect that it is possible to provide a method, an apparatus, and a computer program for accurately measuring the volume of an object using a method such as a visual tag or a machine learning model.

도 1은 본 개시의 일 실시예에 따른 물건 부피 측정 시스템을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 물건 부피 측정 장치의 구조를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른 물건 부피 측정 방법을 나타낸 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 규격 용기를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따라 규격 용기 영역을 검출하고, 부피 레벨 값을 결정하는 과정을 나타낸 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 비주얼 태그를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따라 비주얼 태그가 배치된 도면이다.
도 8은 본 개시의 일 실시예에 따라 규격 용기 영역을 검출한 결과를 나타낸 도면이다.
도 9는 본 개시의 다른 실시예에 따라 규격 용기 영역을 검출하고 부피 레벨 값을 획득하는 과정을 나타낸 흐름도이다.
도 10은 본 개시의 다른 실시예에 따른 프로세서(220a)의 구조를 나타낸 도면이다.
도 11은 본 개시의 일 실시예에 따른 CNN 모델의 구조를 나타낸 도면이다.
도 12는 본 개시의 일 실시예에 따른 규격 용기 영역의 영상 데이터 및 제1 출력 영상을 나타낸 도면이다. 1 is a diagram illustrating a system for measuring object volume according to an embodiment of the present disclosure.
2 is a view showing the structure of an object volume measurement apparatus according to an embodiment of the present disclosure.
3 is a flowchart illustrating a method for measuring the volume of an object according to an embodiment of the present disclosure.
4 is a view showing a standard container according to an embodiment of the present disclosure.
5 is a flowchart illustrating a process of detecting a standard container area and determining a volume level value according to an embodiment of the present disclosure.
6 is a diagram illustrating a visual tag according to an embodiment of the present disclosure.
7 is a diagram in which a visual tag is disposed according to an embodiment of the present disclosure.
8 is a view showing a result of detecting a standard container area according to an embodiment of the present disclosure.
9 is a flowchart illustrating a process of detecting a standard container area and obtaining a volume level value according to another embodiment of the present disclosure.
10 is a diagram illustrating a structure of a processor 220a according to another embodiment of the present disclosure.
11 is a diagram illustrating the structure of a CNN model according to an embodiment of the present disclosure.
12 is a view illustrating image data and a first output image of a standard container area according to an embodiment of the present disclosure.

본 명세서는 본 개시의 청구항의 권리범위를 명확히 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 실시 예들을 실시할 수 있도록, 본 개시의 실시 예들의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.This specification clarifies the scope of the claims of the present disclosure, and describes the principles of the embodiments of the present disclosure so that those of ordinary skill in the art to which the embodiments of the present disclosure pertain can practice the embodiments of the present disclosure and discloses embodiments. The disclosed embodiments may be implemented in various forms.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시 예들이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시 예들, 및 실시 예들의 작용 원리에 대해 설명한다.Like reference numerals refer to like elements throughout. This specification does not describe all elements of the embodiments, and general content in the technical field to which the embodiments of the present disclosure pertain or overlapping between the embodiments will be omitted. As used herein, the term 'part' (part, portion) may be implemented in software or hardware, and according to embodiments, a plurality of 'parts' may be implemented as one element (unit, element), or one 'part' It is also possible that ' includes a plurality of elements. Hereinafter, with reference to the accompanying drawings, embodiments of the present disclosure, and the principle of operation of the embodiments will be described.

도 1은 본 개시의 일 실시예에 따른 물건 부피 측정 시스템을 나타낸 도면이다.1 is a diagram illustrating a system for measuring object volume according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따른 물건 부피 측정 시스템(10)은 카메라(120)를 이용하고 규격 용기(110)에 담겨진 물건(112)을 촬영하고, 촬영된 입력 영상(110)으로부터 물건 부피 측정 장치(100)에서 물건 부피를 측정한다. 본 개시의 실시예들에 따른 물건 부피 측정 시스템(10)은 물류 창고, 공장 등에서 이용될 수 있다. 예를 들면, 규격 용기(110)에 담겨진 물건(112)은 창고의 선반에 배치되고, 물건 부피 측정 시스템(10)은 카메라(120)를 이동시키면서 배치된 규격 용기(110)들을 촬영하여, 촬영된 입력 영상으로부터 각 규격 용기(110)에 담겨진 물건(112)의 부피를 측정할 수 있다. 카메라(120)는 소정의 이동 수단에 탑재되고, 예를 들면, 카메라(120) 및 물건 부피 측정 장치(100)가 이동 가능한 로봇의 형태로 구현되고, 로봇이 창고 내에서 소정의 경로로 이동하면서 각 규격 용기(110) 내의 물건의 부피를 측정할 수 있다.The object volume measurement system 10 according to an embodiment of the present disclosure uses the camera 120 to photograph the object 112 contained in the standard container 110 , and from the captured input image 110 , the object volume measurement device Measure the object volume at (100). The object volume measurement system 10 according to embodiments of the present disclosure may be used in a distribution warehouse, a factory, and the like. For example, the object 112 contained in the standard container 110 is placed on a shelf of the warehouse, and the object volume measurement system 10 takes the standard containers 110 placed while moving the camera 120, It is possible to measure the volume of the object 112 contained in each standard container 110 from the input image. The camera 120 is mounted on a predetermined moving means, for example, the camera 120 and the object volume measuring device 100 are implemented in the form of a movable robot, and while the robot moves in a predetermined path in the warehouse It is possible to measure the volume of the object in each standard container (110).

물건(112)은 미리 정해진 규격 용기(110)에 담겨진다. 규격 용기(110)는 미리 정의된 형태, 사이즈, 및 색상을 갖는 용기이다. 규격 용기(110)는 하나 이상의 종류로 정의될 수 있다. 물건(112)은 부피 측정의 대상이 되는 객체이다. 물건 부피는 하나의 규격 용기(110)에 담겨진 물건(112)이 차지하는 부피를 의미한다. The object 112 is contained in a predetermined standard container 110 . The standard container 110 is a container having a predefined shape, size, and color. The standard container 110 may be defined as one or more types. The object 112 is an object subject to volume measurement. The object volume means the volume occupied by the object 112 contained in one standard container 110 .

카메라(120)는 규격 용기(110)에 담겨진 물건(112)을 촬영한다. 카메라(120)는 렌즈, 셔터, 및 촬상 소자를 포함한다. 카메라(120)는 영상을 촬영하여, 촬영된 입력 영상을 물건 부피 측정 장치(100)로 출력한다. The camera 120 photographs the object 112 contained in the standard container 110 . The camera 120 includes a lens, a shutter, and an image pickup device. The camera 120 captures an image, and outputs the captured input image to the object volume measurement apparatus 100 .

물건 부피 측정 장치(100)는 프로세서 및 메모리를 포함하는 전자 장치의 형태로 구현될 수 있으며, 예를 들면, 스마트폰, 태블릿 PC, 노트북, 또는 웨어러블 장치 등의 형태로 구현될 수 있다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 클라우드 서버의 형태로 구현될 수 있다.The object volume measuring apparatus 100 may be implemented in the form of an electronic device including a processor and a memory, for example, in the form of a smart phone, a tablet PC, a notebook computer, or a wearable device. According to one embodiment, the object volume measuring apparatus 100 may be implemented in the form of a cloud server.

일 실시예에 따르면, 물건 부피 측정 장치(100)가 카메라(120)를 포함하여 하나의 장치로 구현될 수 있다. According to one embodiment, the object volume measuring apparatus 100 may be implemented as one device including the camera 120 .

다른 실시예에 따르면, 물건 부피 측정 장치(100)는 외부의 카메라(120)로부터 입력 영상을 수신할 수 있다. 물건 부피 측정 장치(100)는 통신부 또는 소정의 입력 인터페이스를 통해 입력 영상을 수신할 수 있다. 일 실시예에 따르면, 카메라(120)는 CCTV(closed circuit television) 카메라에 대응될 수 있다.According to another embodiment, the object volume measuring apparatus 100 may receive an input image from the external camera 120 . The object volume measuring apparatus 100 may receive an input image through a communication unit or a predetermined input interface. According to an embodiment, the camera 120 may correspond to a closed circuit television (CCTV) camera.

도 2는 본 개시의 일 실시예에 따른 물건 부피 측정 장치의 구조를 나타낸 도면이다.2 is a view showing the structure of an object volume measurement apparatus according to an embodiment of the present disclosure.

물건 부피 측정 장치(100)는 입력 인터페이스(210), 프로세서(220), 및 출력 인터페이스(230)를 포함한다. The object volume measurement apparatus 100 includes an input interface 210 , a processor 220 , and an output interface 230 .

입력 인터페이스(210)는 규격 용기를 촬영하는 적어도 하나의 카메라로부터 촬영된 입력 영상을 수신한다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 물건 부피 측정 장치(100) 내에 카메라를 구비할 수 있다. 이러한 경우, 입력 인터페이스(210)는 물건 부피 측정 장치(100)에 내장된 카메라로부터 입력 영상을 수신한다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 물건 부피 측정 장치(100) 외부에 배치된 카메라와 연결되어, 입력 인터페이스(210)를 통해 입력 영상을 수신할 수 있다. 이러한 경우, 카메라는 규격 용기를 촬영하여, 촬영된 영상 데이터를 물건 부피 측정 장치(100)로 전송한다. 카메라는 규격 용기를 촬영하도록 FOV(Field of View)가 설정되어 배치된다. 일 실시예에 따르면, 카메라는 기존의 CCTV 카메라에 대응될 수 있다. The input interface 210 receives an input image photographed from at least one camera for photographing a standard container. According to an embodiment, the object volume measuring apparatus 100 may include a camera in the object volume measuring apparatus 100 . In this case, the input interface 210 receives an input image from a camera built in the object volume measurement apparatus 100 . According to another embodiment, the object volume measurement apparatus 100 may be connected to a camera disposed outside the object volume measurement apparatus 100 to receive an input image through the input interface 210 . In this case, the camera photographs the standard container and transmits the photographed image data to the object volume measurement apparatus 100 . The camera is placed with a Field of View (FOV) set to photograph the standard container. According to an embodiment, the camera may correspond to an existing CCTV camera.

입력 인터페이스(210)는 카메라로부터 영상 데이터를 수신하기 위한 소정 규격의 입력 장치, 또는 통신부에 대응될 수 있다. 입력 인터페이스(210)는 입력된 영상 데이터를 프로세서(220)로 전달한다. 입력된 영상 데이터는 입력 영상에 대응된다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 비디오 버퍼를 더 포함하고, 비디오 버퍼에 입력 인터페이스(210)를 통해 입력된 입력 영상을 저장할 수 있다. 프로세서(220)는 비디오 버퍼에 저장된 입력 영상을 읽어 들일 수 있다.The input interface 210 may correspond to an input device of a predetermined standard for receiving image data from a camera or a communication unit. The input interface 210 transmits the input image data to the processor 220 . The input image data corresponds to the input image. According to an embodiment, the object volume measuring apparatus 100 may further include a video buffer, and store an input image input through the input interface 210 in the video buffer. The processor 220 may read the input image stored in the video buffer.

프로세서(220)는 물건 부피 측정 장치(100) 전반의 동작을 제어한다. 프로세서(220)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 프로세서(220)는 메모리에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다. The processor 220 controls the overall operation of the object volume measuring apparatus 100 . The processor 220 may be implemented with one or more processors. The processor 220 may execute an instruction or a command stored in the memory to perform a predetermined operation.

프로세서(220)는 입력 영상으로부터 규격 용기에 대응하는 규격 용기 영역을 검출한다. 프로세서(220)는 비주얼 태그를 검출하는 방식, 또는 YOLO(You only Look Once) 등의 객체 검출 알고리즘을 이용하는 방식을 이용하여 입력 영상으로부터 규격 용기에 대응하는 규격 용기 영역을 검출할 수 있다.The processor 220 detects the standard container area corresponding to the standard container from the input image. The processor 220 may detect the standard container area corresponding to the standard container from the input image using a method of detecting a visual tag or a method using an object detection algorithm such as You Only Look Once (YOLO).

일 실시예에 따르면, 프로세서(220)는 검출된 규격 용기에 대응하는 용기 식별자를 획득한다. 일 실시예에 따르면, 용기 식별자는 비주얼 태그를 이용하여 획득될 수 있다. 다른 실시예에 따르면, 용기 식별자는 규격 용기에 기재된 용기 식별자를 문자 인식 알고리즘 또는 패턴 인식 알고리즘 등을 이용하여 인식하여 획득될 수 있다. According to an embodiment, the processor 220 obtains a container identifier corresponding to the detected standard container. According to one embodiment, the container identifier may be obtained using a visual tag. According to another embodiment, the container identifier may be obtained by recognizing the container identifier described in the standard container using a character recognition algorithm or a pattern recognition algorithm.

또한, 프로세서(220)는 용기 식별자에 기초하여 규격 용기에 담겨진 물건에 대한 정보인 물건 정보를 획득할 수 있다. 프로세서(220)는 메모리를 더 포함하고, 메모리에 각 용기 식별자에 대응하는 물건 정보를 저장할 수 있다. 물건 정보는 제품명, 제품 카테고리, 제조업자, 판매원, 제조번호, 사용기한, 유효성분, 또는 저장 방법 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 프로세서(220)는 획득된 용기 식별자 및 메모리에 저장된 물건 정보에 기초하여, 획득된 용기 식별자에 대응하는 물건 정보를 획득할 수 있다. 다른 예로서, 프로세서(220)는 클라우드 서버 등 외부의 데이터베이스를 이용하여, 용기 식별자에 대응하는 물건 정보를 획득할 수 있다. In addition, the processor 220 may acquire object information, which is information about an object contained in a standard container, based on the container identifier. The processor 220 may further include a memory, and store object information corresponding to each container identifier in the memory. The product information may include at least one of a product name, a product category, a manufacturer, a salesperson, a serial number, an expiration date, an active ingredient, and a storage method, or a combination thereof. The processor 220 may acquire object information corresponding to the obtained container identifier based on the obtained container identifier and the object information stored in the memory. As another example, the processor 220 may acquire object information corresponding to the container identifier by using an external database such as a cloud server.

다음으로, 프로세서(220)는 규격 용기에 담겨진 물건의 물건 부피 값에 대응하는 부피 레벨 값을 결정한다. 부피 레벨 값은 미리 정의된 복수의 레벨 값을 포함할 수 있다. 예를 들면 부피 레벨 값은 High(재고 많음), Mid(재고 충분), Low(재고 부족)의 세가지 레벨로 정의될 수 있다.Next, the processor 220 determines a volume level value corresponding to the object volume value of the object contained in the standard container. The volume level value may include a plurality of predefined level values. For example, the volume level value can be defined as three levels: High (in stock), Mid (in stock), and Low (out of stock).

일 실시예에 따르면, 프로세서(220)는 규격 용기에 담겨진 물건의 물건 부피 값을 산출하고, 산출된 물건 부피 값에 기초하여 부피 레벨 값을 결정할 수 있다. 이러한 경우, 산출된 물건 부피 값에 따라 부피 레벨 값이 High, Mid, Low 중 하나로 정의될 수 있다. 다른 실시예에 따르면, 프로세서(220)는 규격 용기 영역의 영상 데이터로부터, 기계학습 모델을 이용하여 부피 레벨 값을 결정할 수 있다. 기계학습 모델은 규격 용기 영역의 영상을 입력받고, 부피 레벨 값을 출력하는 모델이다. 기계학습 모델은 규격 용기 영역의 영상 및 부피 레벨 값의 다수의 세트를 트레이닝 데이터로하여 학습된 모델이다.According to an embodiment, the processor 220 may calculate an object volume value of an object contained in a standard container, and determine a volume level value based on the calculated object volume value. In this case, the volume level value may be defined as one of High, Mid, and Low according to the calculated object volume value. According to another embodiment, the processor 220 may determine the volume level value from the image data of the standard container area by using a machine learning model. The machine learning model is a model that receives an image of a standard container region and outputs a volume level value. The machine learning model is a model trained by using multiple sets of image and volume level values of the standard container region as training data.

출력 인터페이스(230)는 프로세서(220)에서 생성된 부피 레벨 값을 출력한다. 출력 인터페이스(230)는 예를 들면, 디스플레이, 오디오 스피커, 또는 통신부 등에 대응될 수 있다. The output interface 230 outputs the volume level value generated by the processor 220 . The output interface 230 may correspond to, for example, a display, an audio speaker, or a communication unit.

일 실시예에 따르면, 출력 인터페이스(230)는 용기 식별자와 부피 레벨 값을 함께 출력한다. 다른 실시예에 따르면, 출력 인터페이스(230)는 용기 식별자, 물건 정보, 및 부피 레벨 값을 함께 출력한다. According to an embodiment, the output interface 230 outputs the container identifier and the volume level value together. According to another embodiment, the output interface 230 outputs the container identifier, the object information, and the volume level value together.

일 실시예에 따르면, 물건 부피 측정 장치(100)은 비주얼 태그를 이용하는 방식과 기계학습 모델을 이용하는 방식을 함께 이용할 수 있다. 예를 들면, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 용기 식별자를 획득하고, 기계학습 모델을 이용하여 부피 레벨 값을 획득할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 용기 식별자를 획득하고, 비주얼 태그를 이용하여 물건 부피 값 및 부피 레벨 값을 획득하고, 기계학습 모델을 이용하여 부피 레벨 값을 획득할 수 있다. 이러한 경우, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 획득된 부피 레벨 값과 기계학습 모델을 이용하여 획득된 부피 레벨 값의 차이를 비교하여, 신뢰도를 판단하고, 신뢰도가 소정 기준 값 이하인 규격 용기에 대해 부피 레벨 값을 재산출할 수 있다. 재산출 과정은 다른 알고리즘을 이용하거나, 사용자에게 알림을 제공하여 수동으로 부피 레벨 값을 입력할 수 있다.According to an embodiment, the object volume measuring apparatus 100 may use a method using a visual tag and a method using a machine learning model together. For example, the object volume measuring apparatus 100 may obtain a container identifier using a visual tag and obtain a volume level value using a machine learning model. According to another embodiment, the object volume measuring apparatus 100 obtains a container identifier using a visual tag, obtains an object volume value and a volume level value using the visual tag, and uses a machine learning model to obtain a volume level value can be obtained. In this case, the object volume measuring apparatus 100 compares the difference between the volume level value obtained using the visual tag and the volume level value obtained using the machine learning model to determine the reliability, and the reliability is less than or equal to a predetermined reference value. Volume level values can be recalculated for standard containers. The recalculation process may use a different algorithm or manually enter a volume level value by providing a notification to the user.

도 3은 본 개시의 일 실시예에 따른 물건 부피 측정 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating a method for measuring the volume of an object according to an embodiment of the present disclosure.

본 개시의 일 실시예에 다른 물건 부피 측정 방법의 각 단계들은 프로세서를 구비하는 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 개시는 본 개시의 실시예들에 따른 물건 부피 측정 장치(100)가 물건 부피 측정 방법을 수행하는 띄어쓰기 두 번이 적용 되었습니다. Each step of the method for measuring the volume of an object according to an embodiment of the present disclosure may be performed by various types of electronic devices including a processor. In the present disclosure, two spaces are applied in which the object volume measurement apparatus 100 according to embodiments of the present disclosure performs the object volume measurement method.

실시예를 중심으로 설명한다. 따라서 물건 부피 측정 장치(100)에 대해 설명된 실시예들은 물건 부피 측정 방법에 대한 실시예들에 적용 가능하고, 반대로 물건 부피 측정 방법에 대해 설명된 실시예들은 물건 부피 측정 장치(100)에 대한 실시예들에 적용 가능하다. 개시된 실시예들에 따른 물건 부피 측정 방법은 본 개시에 개시된 물건 부피 측정 장치(100)에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.Examples will be mainly described. Therefore, the embodiments described with respect to the object volume measuring apparatus 100 are applicable to the embodiments of the object volume measuring method, and on the contrary, the embodiments described for the object volume measuring method are for the object volume measuring apparatus 100 . Applicable to the embodiments. The object volume measurement method according to the disclosed embodiments is not limited to being performed by the object volume measurement apparatus 100 disclosed in the present disclosure, and may be performed by various types of electronic devices.

물건 부피 측정 장치(100)는 카메라에 의해 촬영된 입력 영상을 수신한다(S302).The object volume measuring apparatus 100 receives an input image photographed by a camera (S302).

다음으로 물건 부피 측정 장치(100)는 입력 영상으로부터 규격 용기 영역을 검출한다(S304). 일 실시예에 따르면, 물건 부피 측정 장치(100)는 입력 영상으로부터 비주얼 태그를 검출하고, 검출된 비주얼 태그에 기초하여 규격 용기 영역을 검출할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 기계학습 모델을 이용하여 입력 영상으로부터 규격 용기 영역을 검출할 수 있다.Next, the object volume measuring apparatus 100 detects a standard container area from the input image (S304). According to an embodiment, the object volume measuring apparatus 100 may detect a visual tag from an input image, and detect a standard container area based on the detected visual tag. According to another embodiment, the object volume measuring apparatus 100 may detect a standard container region from an input image using a machine learning model.

다음으로 물건 부피 측정 장치(100)는 규격 용기 영역의 영상 데이터로부터 부피 레벨 값을 결정한다(S306). 일 실시예에 따르면, 물건 부피 측정 장치(100)는 영상 데이터로부터 물건 부피 값을 결정하고, 물건 부피 값에 기초하여 부피 레벨 값을 결정한다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 기계학습 모델을 이용하여 규격 용기 영역의 영상 데이터로부터 부피 레벨 값을 결정한다.Next, the object volume measuring apparatus 100 determines a volume level value from the image data of the standard container area (S306). According to an embodiment, the object volume measuring apparatus 100 determines an object volume value from image data, and determines a volume level value based on the object volume value. According to another embodiment, the object volume measuring apparatus 100 determines a volume level value from image data of a standard container area using a machine learning model.

다음으로 물건 부피 측정 장치(100)는 부피 레벨 값을 출력한다(S308). 일 실시예에 따르면, 물건 부피 측정 장치(100)는 부피 레벨 값과 함께 용기 식별자 또는 물건 정보 중 적어도 하나를 출력할 수 있다.Next, the object volume measuring apparatus 100 outputs a volume level value (S308). According to an embodiment, the object volume measuring apparatus 100 may output at least one of a container identifier and object information together with a volume level value.

도 4는 본 개시의 일 실시예에 따른 규격 용기를 나타낸 도면이다.4 is a view showing a standard container according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따른 규격 용기(410, 420, 430)는 하나 또는 복수의 종류를 포함한다. 각 종류의 규격 용기(410, 420, 430)는 모양, 사이즈, 색깔 등이 다를 수 있다. 규격 용기(410, 420, 430)는 카메라에 의해 촬영되었을 때, 담겨진 물건이 보이도록 상면 및 전면 일부가 개방된 형태를 가질 수 있다. 또한, 규격 용기(410, 420, 430)는 서로 다른 사이즈의 복수의 종류를 갖고, 폭, 깊이, 및 높이에 의해 사이즈가 정의될 수 있다. Standard containers (410, 420, 430) according to an embodiment of the present disclosure include one or a plurality of types. Each type of standard container (410, 420, 430) may have a different shape, size, color, and the like. When the standard containers (410, 420, 430) are photographed by a camera, the upper surface and the front part may have an open shape so that the contained object is visible. In addition, the standard containers (410, 420, 430) have a plurality of types of different sizes, the size may be defined by the width, depth, and height.

규격 용기(410, 420, 430)는 카메라에 의해 촬영되는 전면의 소정의 영역에 용기 식별자를 나타내는 정보를 나타내는 식별자 영역(440a, 440b, 440c)을 가질 수 있다. 식별자 영역(440a, 440b, 440c)은 비주얼 정보로 용기 식별자 정보를 나타내는 영역이다. 일 실시예에 따르면, 식별자 영역(440a, 440b, 440c)에 비주얼 태그가 배치된다. 비주얼 태그는 예를 들면 ARUCO Marker, QR(Quick Response) 코드, 바코드 등을 포함할 수 있다. 비주얼 태그는 해당 규격 용기에 대응되는 용기 식별자 정보, 물건 정보 등을 포함할 수 있다. 다른 실시예에 따르면, 식별자 영역(440a, 440b, 440c)은 문자, 패턴, 기호 등으로 표현될 수 있다. 문자, 패턴, 기호 등은 해당 규격 용기에 대응되는 용기 식별자 정보, 물건 정보 등을 나타낼 수 있다.The standard containers 410 , 420 , and 430 may have identifier regions 440a , 440b , and 440c indicating information indicating the container identifier in a predetermined region of the front surface photographed by the camera. The identifier areas 440a, 440b, and 440c are areas representing container identifier information as visual information. According to an embodiment, a visual tag is disposed in the identifier areas 440a, 440b, and 440c. The visual tag may include, for example, an ARUCO Marker, a Quick Response (QR) code, a barcode, and the like. The visual tag may include container identifier information corresponding to a corresponding standard container, object information, and the like. According to another embodiment, the identifier regions 440a, 440b, and 440c may be expressed as characters, patterns, symbols, or the like. Characters, patterns, symbols, etc. may represent container identifier information, object information, etc. corresponding to the corresponding standard container.

도 5는 본 개시의 일 실시예에 따라 규격 용기 영역을 검출하고, 부피 레벨 값을 결정하는 과정을 나타낸 흐름도이다.5 is a flowchart illustrating a process of detecting a standard container area and determining a volume level value according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 물건 부피 측정 장치(100)는 비주얼 태그를 이용하여 규격 용기 영역을 검출하고, 물건의 물건 부피 값을 측정한다. 비주얼 태그는 용기 식별자 정보를 나타내는 용기 식별 태그, 및 규격 용기 내의 미리 정의된 위치에 배치되는 부피 태그를 포함한다. 도 6 및 도 7을 참고하여 비주얼 태그의 형태 및 배치에 대해 설명한다. According to an embodiment of the present disclosure, the object volume measuring apparatus 100 detects a standard container area using a visual tag and measures the object volume value of the object. The visual tag includes a container identification tag indicating container identifier information, and a volume tag disposed at a predefined location within the standard container. The shape and arrangement of the visual tag will be described with reference to FIGS. 6 and 7 .

도 6은 본 개시의 일 실시예에 따른 비주얼 태그를 나타내는 도면이다.6 is a diagram illustrating a visual tag according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 비주얼 태그(610a, 610b)는 도 6에 도시된 바와 같은 ARUCO 마커로 구현될 수 있다. ARUCO 마커는 2차원 비주얼 마커의 일종으로, n*n 크기의 2차원 비트 패턴과, 이를 둘러싸고 있는 검은색 테두리 영역으로 구성된다. 검은색 테두리 영역은 마커의 인식률을 향상시킨다. 내부의 2차원 비트 패턴은 흰색 셀과 검정색 셀의 조합으로 구성되고, 소정의 정보를 나타낸다. 본 개시의 일 실시예에 따르면, 용기 식별 태그 및 부피 태그는 도 6과 같은 ARUCO 마커의 형태로 구현되고, 각 비주얼 태그에 대응되는 정보를 표현하도록 2차원 비트 패턴이 변경되어 각 위치에 비주얼 태그가 배치될 수 있다.According to an embodiment of the present disclosure, the visual tags 610a and 610b may be implemented as ARUCO markers as shown in FIG. 6 . ARUCO marker is a type of two-dimensional visual marker, and consists of a two-dimensional bit pattern of n*n size and a black border area surrounding it. The black border area improves the recognition rate of the marker. The two-dimensional bit pattern inside is composed of a combination of white cells and black cells, and represents predetermined information. According to an embodiment of the present disclosure, the container identification tag and the volume tag are implemented in the form of an ARUCO marker as shown in FIG. 6, and a two-dimensional bit pattern is changed to express information corresponding to each visual tag, so that a visual tag is placed at each position can be placed.

도 7은 본 개시의 일 실시예에 따라 비주얼 태그가 배치된 도면이다.7 is a diagram in which a visual tag is disposed according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 규격 용기(710)의 전면의 식별자 영역에 용기 식별 태그(720)가 배치되고, 규격 용기(710) 내부의 미리 정의된 위치에 복수의 부피 태그(730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, 730i)가 배치된다. 이하에서는 각 부피 태그(730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, 730i)를 통칭하여 730으로 지칭한다. 각 부피 태그(730)는 규격 용기 내의 미리 정의된 위치에 배치된다. 예를 들면, 부피 태그(730)는 우측면, 좌측면, 후면 각각에 대해 하부에 2개, 상부에 2개씩 배치된다. 하나의 규격 용기(710) 내의 각 위치의 부피 태그(730)는 서로 다른 식별 정보를 갖는다. 즉, 부피 태그 730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, 730i 각각은 서로 다른 식별 정보를 갖는다. 다수의 규격 용기(710)에 부피 태그(730)가 배치될 때, 동일 규격의 규격 용기(710)의 동일한 위치에는 동일한 부피 태그(730)가 배치될 수 있다. 예를 들면, 제1 규격의 제1 규격 용기의 우측면 상부의 부피 태그 730a는 제1 규격의 제2 규격 용기의 우측면 상부의 동일 위치에 동일하게 배치될 수 있다. According to an embodiment of the present disclosure, the container identification tag 720 is disposed in the identifier region of the front surface of the standard container 710 , and a plurality of volume tags 730a and 730b at predefined positions inside the standard container 710 . , 730c, 730d, 730e, 730f, 730g, 730h, 730i) are placed. Hereinafter, the volume tags 730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, and 730i are collectively referred to as 730. Each volume tag 730 is placed at a predefined location within the standard container. For example, the volume tags 730 are disposed on the right side, the left side, and the back side, respectively, two at the bottom and two at the top. The volume tag 730 at each location in one standard container 710 has different identification information. That is, each of the volume tags 730a, 730b, 730c, 730d, 730e, 730f, 730g, 730h, and 730i has different identification information. When the volume tag 730 is disposed in a plurality of standard containers 710 , the same volume tag 730 may be disposed at the same position in the standard container 710 of the same standard. For example, the volume tag 730a on the upper right side of the container of the first standard of the first standard may be equally disposed at the same position on the upper right side of the container of the second standard of the first standard.

다시 도 5를 참고하여, 비주얼 태그를 이용하여 규격 용기 영역을 검출하고, 부피 레벨 값을 산출하는 과정을 설명한다. 도 5에서 S502, S504는 앞서 설명된 도 3의 규격 용기 영역 검출 단계 S304에 대응되고, S506, S508, 및 S510은 도 3의 부피 레벨 값 결정 단계 S306에 대응된다. Referring again to FIG. 5 , a process of detecting a standard container area using a visual tag and calculating a volume level value will be described. 5, S502 and S504 correspond to the standard container region detection step S304 of FIG. 3 described above, and S506, S508, and S510 correspond to the volume level value determination step S306 of FIG.

물건 부피 측정 장치(100)는 입력 영상으로부터 용기 식별 태그를 검출한다(S502). 물건 부피 측정 장치(100)는 소정의 비주얼 코드 검출 알고리즘을 이용하여 입력 영상으로부터 용기 식별 태그를 검출할 수 있다. The object volume measurement apparatus 100 detects a container identification tag from the input image (S502). The object volume measuring apparatus 100 may detect the container identification tag from the input image by using a predetermined visual code detection algorithm.

물건 부피 측정 장치(100)는 검출된 용기 식별 태그에 기초하여 규격 용기 영역을 검출한다(S504). 도 8을 참고하여 규격 용기 영역을 검출하는 동작을 설명한다.The object volume measuring apparatus 100 detects a standard container area based on the detected container identification tag (S504). An operation of detecting the standard container area will be described with reference to FIG. 8 .

도 8은 본 개시의 일 실시예에 따라 규격 용기 영역을 검출한 결과를 나타낸 도면이다.8 is a diagram illustrating a result of detecting a standard container area according to an embodiment of the present disclosure.

물건 부피 측정 장치(100)는 용기 식별 태그(720a, 720b, 720c, 720d)를 검출하면, 용기 식별 태그(720a, 720b, 720c, 720d)가 검출된 용기 식별 태그 영역 및 용기 식별 태그 영역 주변의 영역을 규격 용기 영역(810a, 810b, 810c, 810d)으로 결정한다. 예를 들면, 물건 부피 측정 장치(100)는 용기 식별 태그(720a, 720b, 720c, 720d) 영역의 주변에서 규격 용기의 형태를 객체 검출 알고리즘을 이용하여 검출하여, 규격 용기에 해당하는 규격 용기 영역(810a, 810b, 810c, 810d)을 검출할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 용기 식별 태그 영역 주변에서 부피 태그를 검출하여, 용기 식별 태그 영역과 부피 태그 검출 영역을 포함하는 소정의 영역을 규격 용기 영역(810a, 810b, 810c, 810d)으로 결정할 수 있다.When the object volume measurement device 100 detects the container identification tags 720a, 720b, 720c, and 720d, the container identification tag area where the container identification tags 720a, 720b, 720c, 720d are detected and the container identification tag area around Regions are determined as standard container regions 810a, 810b, 810c, and 810d. For example, the object volume measurement apparatus 100 detects the shape of a standard container in the vicinity of the container identification tag 720a, 720b, 720c, 720d area using an object detection algorithm, and the standard container area corresponding to the standard container (810a, 810b, 810c, 810d) may be detected. According to another embodiment, the object volume measurement apparatus 100 detects a volume tag in the vicinity of the container identification tag area, and divides a predetermined area including the container identification tag area and the volume tag detection area into the standard container areas 810a, 810b, 810c, 810d) can be determined.

하나의 입력 영상(800)에서 복수의 용기 식별 태그(720a, 720b, 720c, 720d)가 검출된 경우, 물건 부피 측정 장치(100)는 각 용기 식별 태그(720a, 720b, 720c, 720d) 각각에 대응하는 복수의 규격 용기 영역(810a, 810b, 810c, 810d)을 정의한다. When a plurality of container identification tags 720a, 720b, 720c, and 720d are detected in one input image 800, the object volume measuring apparatus 100 is applied to each container identification tag 720a, 720b, 720c, 720d. A corresponding plurality of standard container regions 810a, 810b, 810c, 810d are defined.

입력 영상(800)이 동영상인 경우, 물건 부피 측정 장치(100)는 프레임으로부터 새로운 용기 식별 태그가 검출되면, 새로운 규격 용기 영역을 정의한다. 일 실시예에 따르면, 물건 부피 측정 장치(100)는 새로운 용기 식별 태그가 검출된 것에 기초하여, S506, S508, S510 단계의 동작을 수행할 수 있다. 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 새로운 규격 용기 영역이 검출된 것에 기초하여, S506, S508, S510 단계의 동작을 수행할 수 있다. 이러한 실시예들에 의해, 물건 부피 측정 시스템(10)은 카메라를 이동시키면서 창고 내의 규격 용기들을 순차적으로 촬영하면서, 창고 내의 재고를 전체적으로 파악할 수 있다.When the input image 800 is a moving picture, when a new container identification tag is detected from the frame, the object volume measurement apparatus 100 defines a new standard container area. According to an embodiment, the object volume measurement apparatus 100 may perform operations S506, S508, and S510 based on the detection of a new container identification tag. According to another embodiment, the object volume measuring apparatus 100 may perform operations S506, S508, and S510 based on the detection of the new standard container area. According to these embodiments, the object volume measurement system 10 can grasp the stock in the warehouse as a whole while sequentially photographing the standard containers in the warehouse while moving the camera.

일 실시예에 따르면, 물건 부피 측정 장치(100)는 동영상에 대응되는 입력 영상으로부터 비주얼 태그를 검출하고 저장한다. 예를 들면, 물건 부피 측정 장치(100)는 1초당 60프레임을 캡쳐하고, 캡쳐된 영상에서 식별된 비주얼 태그의 식별 번호를 저장할 수 있다. 다음으로, 물건 부피 측정 장치(100)는 저장된 비주얼 태그들 중 중복되지 않은 식별 번호를 새로운 프레임에서 검출한 경우, 검출된 새로운 식별 번호를 저장한다. 물건 부피 측정 장치(100)는 입력 영상에서 새로운 규격 용기를 검출하면, 이전 규격 용기에 대한 인식을 멈추고, 지금까지 저장된 비주얼 태그의 개수를 이용하여 물건 부피 값 및 부피 레벨 값을 산출한다. 물건 부피 측정 장치(100)는 입력 영상에 대해 상기 과정들을 반복하면서 각 규격 용기의 부피 레벨 값을 획득한다.According to an embodiment, the object volume measuring apparatus 100 detects and stores a visual tag from an input image corresponding to a moving picture. For example, the object volume measuring apparatus 100 may capture 60 frames per second and store the identification number of the visual tag identified in the captured image. Next, when a non-overlapping identification number among the stored visual tags is detected in a new frame, the object volume measurement apparatus 100 stores the detected new identification number. When the object volume measuring apparatus 100 detects a new standard container in the input image, it stops recognizing the previous standard container, and calculates an object volume value and a volume level value using the number of stored visual tags. The object volume measuring apparatus 100 acquires the volume level value of each standard container while repeating the above processes with respect to the input image.

다음으로, 물건 부피 측정 장치(100)는 입력 영상으로부터 부피 태그를 검출한다(S506). 물건 부피 측정 장치(100)는 용기 식별 태그와 부피 태그를 포함하는 비주얼 태그를 검출하고, 검출된 비주얼 태그에 기록된 정보를 식별하여 해당 비주얼 태그가 용기 식별 태그인지 부피 태그인지 판단할 수 있다. 따라서 물건 부피 측정 장치(100)는 입력 영상으로부터 비주얼 태그를 전체적으로 검출하고, 검출된 비주얼 태그 중 용기 식별 태그를 검출하고(S502), 부피 태그를 검출(S506)할 수 있다.Next, the object volume measurement apparatus 100 detects a volume tag from the input image (S506). The object volume measurement apparatus 100 may detect a visual tag including a container identification tag and a volume tag, and identify information recorded in the detected visual tag to determine whether the corresponding visual tag is a container identification tag or a volume tag. Accordingly, the object volume measuring apparatus 100 may detect the visual tag as a whole from the input image, detect the container identification tag among the detected visual tags (S502), and detect the volume tag (S506).

다음으로 물건 부피 측정 장치(100)는 검출된 부피 태그에 기초하여 물건 부피 값을 산출한다(S508). 도 7을 참고하여 부피 태그를 이용하여 물건 부피 값을 산출하는 과정을 설명한다. Next, the object volume measurement apparatus 100 calculates an object volume value based on the detected volume tag (S508). A process of calculating the object volume value using the volume tag will be described with reference to FIG. 7 .

규격 용기(710)에 물건(740)이 담기면, 그 부피에 따라 복수의 부피 태그(730) 중 일부를 가리게 된다. 예를 들면, 규격 용기에 물건(740)이 반 정도 담기면, 복수의 부피 태그(730) 중 규격 용기(720)의 하부에 배치된 부피 태그(730)를 가리게 된다. 또한, 물건(740)이 규격 용기(710)에 적재될 때, 물건(740)이 담긴 면이 평평하지 않고, 물건(740)이 한쪽 방향으로 쏠려서 물건(740)의 상단 면이 기울어질 수 있다. 만약 물건(740)의 상단 면이 우측이 높고 좌측이 낮은 경우, 규격 용기(710)의 우측면의 부피 태그(730)는 물건(740)에 의해 거의 가려지고, 규격 용기(910)의 좌측면의 부피 태그(730)는 하부의 부피 태그(730)까지 보일 수 있다. 이러한 원리로, 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수를 이용하여 물건 부피 값을 산출한다. 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수를 물건 부피 값으로 결정할 수 있다.When the object 740 is put in the standard container 710, some of the plurality of volume tags 730 are covered according to the volume. For example, when the object 740 is half filled in the standard container, the volume tag 730 disposed under the standard container 720 among the plurality of volume tags 730 is covered. In addition, when the object 740 is loaded in the standard container 710, the surface containing the object 740 is not flat, and the object 740 is tilted in one direction, so the top surface of the object 740 may be inclined. . If the top side of the object 740 is high on the right and low on the left, the volume tag 730 on the right side of the standard container 710 is almost obscured by the object 740 and Volume tag 730 is visible up to volume tag 730 below. In this principle, the object volume measuring apparatus 100 calculates the object volume value by using the number of detected volume tags 730 . The object volume measuring apparatus 100 may determine the number of detected volume tags 730 as the object volume value.

다시 도 5를 참고하여 나머지 과정을 설명한다. 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수에 의해 결정된 물건 부피 값에 기초하여, 부피 레벨 값을 결정한다(S510). 일 실시예에 따르면, 하나의 규격 용기(710)에 배치된 부피 태그(730)가 총 12개인 경우, 물건 부피 측정 장치(100)는 검출된 부피 태그(730)의 개수가 1개 이상 4개 이하인 경우, 부피 레벨 값을 High로 결정하고, 검출된 부피 태그(730)의 개수가 5개 이상 8개 이하인 경우 부피 레벨 값을 Mid로 결정하고, 검출된 부피 태그(730)의 개수가 9개 이상 12개 이하인 경우 부피 레벨 값을 Low로 결정한다. 부피 레벨 값을 결정하는 기준은 하나의 규격 용기(710)에 배치된 총 부피 태그(730)의 수에 따라 달라질 수 있다. 또한, 실시예에 따라 부피 레벨이 더 세분화되어 더 많은 수의 레벨로 정의될 수 있고, 각 부피 레벨에 해당하는 부피 태그(730)의 수의 기준이 달라질 수 있다. The rest of the process will be described with reference to FIG. 5 again. The object volume measuring apparatus 100 determines a volume level value based on the object volume value determined by the number of detected volume tags 730 ( S510 ). According to an embodiment, when a total of 12 volume tags 730 are disposed in one standard container 710 , the object volume measurement apparatus 100 determines that the number of detected volume tags 730 is 1 or more and 4 or more. or less, the volume level value is determined as High, and when the number of detected volume tags 730 is 5 or more and 8 or less, the volume level value is determined as Mid, and the number of detected volume tags 730 is 9 If there are more than 12 or less, the volume level value is determined as Low. The criterion for determining the volume level value may vary according to the total number of volume tags 730 disposed in one standard container 710 . In addition, according to an embodiment, the volume level may be further subdivided and defined as a larger number of levels, and the criterion for the number of volume tags 730 corresponding to each volume level may vary.

일 실시예에 따르면, 부피 레벨의 기준 값은, 사용자 입력에 의해 변경될 수 있다. 예를 들면, 부피 레벨의 기준 값은 창고 관리인, 공장주 등의 사용자에 의해 입력된 사용자 입력에 기초하여 변경될 수 있다. 물건 부피 측정 장치(100)의 입력 인터페이스(210)를 통해 사용자 입력을 수신하고, 프로세서(220)는 입력 인터페이스(210)를 통해 입력된 사용자 입력에 기초하여 부피 레벨의 기준 값을 변경할 수 있다. 프로세서(220)는 입력 인터페이스(210) 및 출력 인터페이스(230)를 통해 부피 레벨의 기준 값을 변경할 수 있는 UI(user interface)를 제공할 수 있다. According to an embodiment, the reference value of the volume level may be changed by a user input. For example, the reference value of the volume level may be changed based on a user input input by a user such as a warehouse manager or a factory owner. A user input may be received through the input interface 210 of the object volume measurement apparatus 100 , and the processor 220 may change the reference value of the volume level based on the user input input through the input interface 210 . The processor 220 may provide a user interface (UI) capable of changing the reference value of the volume level through the input interface 210 and the output interface 230 .

본 개시의 일 실시예에 따르면, 비주얼 태그(720, 730)가 인식된 결과 영상이 도 7에 도시된 바와 같이 출력될 수 있다. 출력 영상은 입력 영상에서 검출된 비주얼 태그(720, 730)들을 소정의 인디케이터(예를 들면, 비주얼 태그(720, 730)의 외곽에 대응되고 소정의 컬러 및 선 종류로 표시된 박스)로 표시할 수 있다. 또한, 일 실시예에 따르면, 출력 영상은 각 비주얼 태그(720, 730)에 대응되는 식별 번호 정보를 각 비주얼 태그(720, 730)에 인접하게 표시할 수 있다(722, 732a). 이러한 출력 영상에 의해, 사용자는 비주얼 태그(720, 730)가 적절하게 검출되었는지 확인할 수 있고, 각 비주얼 태그(720, 730)에 대응하는 식별 번호 정보를 획득할 수 있다. 프로세서(220)는 도 7과 같은 출력 영상을 생성하여 출력 인터페이스(230)를 통해 출력할 수 있다.According to an embodiment of the present disclosure, an image as a result of recognizing the visual tags 720 and 730 may be output as shown in FIG. 7 . The output image can display the visual tags 720 and 730 detected in the input image with a predetermined indicator (for example, a box corresponding to the outside of the visual tags 720 and 730 and displayed with a predetermined color and line type). have. Also, according to an embodiment, in the output image, identification number information corresponding to each of the visual tags 720 and 730 may be displayed adjacent to each of the visual tags 720 and 730 (722, 732a). Based on the output image, the user may check whether the visual tags 720 and 730 are properly detected, and may obtain identification number information corresponding to each of the visual tags 720 and 730 . The processor 220 may generate an output image as shown in FIG. 7 and output it through the output interface 230 .

도 9는 본 개시의 다른 실시예에 따라 규격 용기 영역을 검출하고 부피 레벨 값을 획득하는 과정을 나타낸 흐름도이다. 도 10은 본 개시의 다른 실시예에 따른 프로세서(220a)의 구조를 나타낸 도면이다. 도 9 및 도 10을 참조하여 본 개시의 다른 실시예를 설명한다.9 is a flowchart illustrating a process of detecting a standard container area and obtaining a volume level value according to another embodiment of the present disclosure. 10 is a diagram illustrating a structure of a processor 220a according to another embodiment of the present disclosure. Another embodiment of the present disclosure will be described with reference to FIGS. 9 and 10 .

프로세서(220a)는 흑백 변환부(1010), 규격 용기 영역 검출부(1020), 제1 기계학습 모델(1030), 및 제2 기계학습 모델(1040)을 포함한다. 프로세서(220a) 내의 각 블록은 소프트웨어 모듈 또는 하드웨어 모듈에 대응되거나, 소프트웨어 모듈과 하드웨어 모듈의 조합에 대응된다. 따라서 프로세서(220a) 내의 각 블록의 구조에 의해 본 개시의 실시예가 제한되지 않으며, 프로세서(220a) 내의 각 블록은 서로 합쳐지거나, 하나의 블록이 복수의 블록으로 분리되는 것도 가능하다.The processor 220a includes a monochrome conversion unit 1010 , a standard container region detection unit 1020 , a first machine learning model 1030 , and a second machine learning model 1040 . Each block in the processor 220a corresponds to a software module, a hardware module, or a combination of a software module and a hardware module. Therefore, the embodiment of the present disclosure is not limited by the structure of each block in the processor 220a, and each block in the processor 220a may be combined with each other, or one block may be divided into a plurality of blocks.

본 개시의 다른 실시예에 따르면, 물건 부피 측정 장치(100)는 기계학습 모델을 이용하여 입력 영상(1050)으로부터 부피 레벨 값을 획득한다. 프로세서(220a)는 제1 기계학습 모델(1030) 및 제2 기계학습 모델(1040)을 실행하여, 입력 영상으로부터 부피 레벨 값을 획득한다. According to another embodiment of the present disclosure, the object volume measuring apparatus 100 obtains a volume level value from the input image 1050 using a machine learning model. The processor 220a executes the first machine learning model 1030 and the second machine learning model 1040 to obtain a volume level value from the input image.

우선 흑백 변환부(1010)는 입력 영상(1040)을 흑백 스케일로 변환하여 흑백 입력 영상을 생성한다(S902). 기계학습 모델을 이용하여 영상을 처리하는 경우, 처리량이 많기 때문에, 처리량을 감소시키기 위해 입력 영상(1050)을 흑백 스케일로 변환하여 기계학습 모델에 입력한다. 프로세서(220)는 흑백 입력 영상을 이용함에 의해, 기존에 R, G, B 3개의 채널로 입력 영상을 처리하던 것을 하나의 채널로 입력 영상을 처리할 수 있어 처리량을 감소시킬 수 있다.First, the black-and-white converter 1010 converts the input image 1040 to a black-and-white scale to generate a black-and-white input image (S902). When an image is processed using a machine learning model, since the amount of processing is large, the input image 1050 is converted to a black-and-white scale to reduce the amount of processing and input to the machine learning model. By using the black-and-white input image, the processor 220 can process the input image with one channel instead of processing the input image with three channels of R, G, and B, thereby reducing the throughput.

다음으로, 규격 용기 영역 검출부(1020)는 흑백 입력 영상으로부터 규격 용기 영역을 검출한다(S904). 일 실시예에 따르면, 프로세서(220)는 YOLO 알고리즘을 이용하여 규격 용기 영역을 검출한다. YOLO는 단일 단계 방식의 객체 탐지 알고리즘이다. YOLO 알고리즘은 원본 이미지를 동일한 크기의 그리드로 나누고, 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 경계 박스의 개수를 예측하고 이를 기반으로 신뢰도를 계산한다. 신뢰도는 이미지에 객체가 포함되어 있는지, 또는 배경만 단독으로 있는지 여부에 대한 정보를 포함한다. 또한, YOLO 알고리즘은 높은 객체 신뢰도를 가진 위치를 선택하여 객체 카테고리를 파악한다. 규격 용기 영역 검출부(1020)는 규격 용기 영역에 대응하는 영상 데이터(1042)를 생성하여 제1 기계학습 모델(1030)로 출력한다.Next, the standard container area detection unit 1020 detects the standard container area from the black-and-white input image ( S904 ). According to one embodiment, the processor 220 detects the standard container area using the YOLO algorithm. YOLO is a single-step object detection algorithm. The YOLO algorithm divides the original image into grids of the same size, predicts the number of bounding boxes designated in a predefined shape centered on the center of the grid for each grid, and calculates reliability based on this. Confidence includes information about whether the image contains an object, or whether the background is alone. In addition, the YOLO algorithm identifies object categories by selecting locations with high object reliability. The standard container area detection unit 1020 generates image data 1042 corresponding to the standard container area and outputs it to the first machine learning model 1030 .

다음으로, 제1 기계학습 모델(1030)은 규격 용기 영역의 영상 데이터로부터 규격 용기 영역, 물건 영역, 및 배경 영역을 검출하여 분리한다. 일 실시예에 따르면, 제1 기계학습 모델(1030)은 Semantic Segmentation 모델을 이용한다. Semantic Segmentation은 영상 데이터로부터 객체의 종류를 분류하는 것을 의미한다. Computer vision 기술의 하나인 Semantic Segmentation 모델은 인식된 물체들을 분류(Classify)하여 분류된 각 물체에 소정의 픽셀 값을 부여하여, 프로세서가 더욱 쉽게 물체를 인식하도록 한다. 예를 들면, 제1 기계학습 모델(1030)은 규격 용기 영역의 영상 데이터를 입력 받아, 규격 용기 영역, 물건 영역, 및 배경 영역에 각각 서로 다른 색 또는 패턴을 배치하여, 제1 출력 영상(1044)을 생성한다. Next, the first machine learning model 1030 detects and separates the standard container area, the object area, and the background area from the image data of the standard container area. According to an embodiment, the first machine learning model 1030 uses a semantic segmentation model. Semantic segmentation refers to classifying object types from image data. The Semantic Segmentation model, which is one of computer vision technologies, classifies recognized objects and assigns a predetermined pixel value to each classified object, so that the processor can more easily recognize the object. For example, the first machine learning model 1030 receives the image data of the standard container area, arranges different colors or patterns in the standard container area, the object area, and the background area, respectively, to obtain the first output image 1044 . ) is created.

Semantic Segmentation을 성공적으로 사용하기 위해, Tensorflow API를 사용하여 제1 기계학습 모델(1030)을 학습시킬 수 있다. 예를 들면, 제1 기계학습 모델(1030)은 규격 용기 영역의 영상 데이터를 입력 데이터로하고, 물체가 인식되어 분류된 영상 데이터를 출력 데이터로하는 트레이닝 데이터를 이용하여 학습된다. 입력 데이터와 출력 데이터는 소정의 사이즈를 가질 수 있고, 예를 들면, 250*250, 128*128 등으로 사이즈가 정의될 수 있다. 트레이닝 데이터를 생성하기 위해, 소정의 엔진 또는 data augmentation 알고리즘이 이용될 수 있다.In order to successfully use semantic segmentation, the first machine learning model 1030 may be trained using the Tensorflow API. For example, the first machine learning model 1030 is learned using training data using image data of a standard container region as input data and image data classified by object recognition as output data. The input data and the output data may have a predetermined size, and the size may be defined as, for example, 250*250, 128*128, or the like. To generate the training data, any engine or data augmentation algorithm may be used.

제2 기계학습 모델(1040)은 제1 출력 영상을 입력 받아, 부피 레벨 값을 획득한다. 제2 기계학습 모델(1040)은 물체들이 분류된 제1 출력 영상을 입력 데이터로 받고, 부피 레벨 값을 출력한다. 일 실시예에 따르면, 제2 기계학습 모델(1040)은 출력 값으로 부피 레벨 값과 함께, 정확도 값(Accuracy)을 출력할 수 있다. 정확도 값(Accuracy)은 제2 기계학습 모델(1040)에 의해 판단된 부피 레벨 값에 대한 신뢰도를 나타낸다. 제2 기계학습 모델(1040)은 CNN(Convolutional Neural Network) 구조의 인공 신경망 모델을 이용할 수 있다. 제2 기계학습 모델(1040)은 제1 출력 영상의 규격 용기 영역의 크기와 물건 영역의 크기를 feature로서 학습될 수 있다. 제2 기계학습 모델은 물체 분류가 완료된 제1 출력 영상을 입력 데이터로하고, 부피 레벨 값 및 정확도 값을 출력 데이터로하는 트레이닝 데이터를 이용하여 학습된다.The second machine learning model 1040 receives the first output image and obtains a volume level value. The second machine learning model 1040 receives the first output image in which objects are classified as input data, and outputs a volume level value. According to an embodiment, the second machine learning model 1040 may output an accuracy value (Accuracy) together with a volume level value as an output value. The accuracy value (Accuracy) represents the reliability of the volume level value determined by the second machine learning model (1040). The second machine learning model 1040 may use an artificial neural network model of a convolutional neural network (CNN) structure. The second machine learning model 1040 may be learned using the size of the standard container area and the size of the object area of the first output image as features. The second machine learning model is learned using training data using the first output image on which object classification is completed as input data and volume level values and accuracy values as output data.

도 11은 본 개시의 일 실시예에 따른 CNN 모델의 구조를 나타낸 도면이다.11 is a diagram illustrating the structure of a CNN model according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 제1 기계학습 모델(1030) 및 제2 기계학습 모델(1040)은 CNN 구조의 인공 심층 신경망을 포함한다. CNN 구조는 합성 곱 계층과 Fully connected 계층을 포함한다. 합성 곱 계층은 특성 추출의 동작을 수행한다. 합성 곱 계층은 컨벌루션(convolution) 레이어, 액티베이션 레이어, 및 풀링(pooling) 레이어를 포함한다. 합성 곱 계층에 의해 입력 벡터로부터 입력 벡터의 Feature가 추출된다. 합성 곱 계층 다음으로 Fully connected 계층이 배치된다. Fully Connected 계층은 합성 곱 계층에서 추출된 feature로부터 출력 벡터를 생성한다. Fully Connected 계층은 레이어 사이의 모든 노드가 연결되어 연산된다. According to an embodiment of the present disclosure, the first machine learning model 1030 and the second machine learning model 1040 include an artificial deep neural network of a CNN structure. The CNN structure includes a convolutional product layer and a fully connected layer. The convolutional product layer performs the operation of feature extraction. The synthetic product layer includes a convolution layer, an activation layer, and a pooling layer. The feature of the input vector is extracted from the input vector by the convolutional product layer. After the convolutional product layer, a fully connected layer is placed. The fully connected layer generates an output vector from features extracted from the convolutional product layer. The Fully Connected layer is calculated by connecting all nodes between layers.

제1 기계학습 모델(1030)과 제2 기계학습 모델(1040)은 CNN 구조를 포함하는 모델을 기반으로 트레이닝 데이터에 의해 학습될 수 있다.The first machine learning model 1030 and the second machine learning model 1040 may be learned by training data based on a model including a CNN structure.

도 12는 본 개시의 일 실시예에 따른 규격 용기 영역의 영상 데이터 및 제1 출력 영상을 나타낸 도면이다. 12 is a view illustrating image data and a first output image of a standard container area according to an embodiment of the present disclosure.

규격 용기 영역의 영상 데이터(1210)는 규격 용기가 중앙에 배치되도록 생성될 수 있다. 일 실시예에 따르면, 규격 용기 영역의 영상 데이터(1210)는 규격 용기의 변(1212)을 인식하여 영상에 표시할 수 있다.The image data 1210 of the standard container area may be generated such that the standard container is disposed in the center. According to an embodiment, the image data 1210 of the standard container area may recognize the side 1212 of the standard container and display it on the image.

제1 출력 영상(1220)은 물체 종류를 분류하여, 각 물체 종류에 대응하는 영역을 동일한 픽셀 값 또는 패턴으로 나타낸다. The first output image 1220 classifies object types and indicates regions corresponding to each object type with the same pixel value or pattern.

한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다. Meanwhile, the disclosed embodiments may be implemented in the form of a computer-readable recording medium storing instructions and data executable by a computer. The instructions may be stored in the form of program code, and when executed by the processor, a predetermined program module may be generated to perform a predetermined operation. Further, the instruction, when executed by a processor, may perform certain operations of the disclosed embodiments.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the accompanying drawings. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be practiced in other forms than the disclosed embodiments without changing the technical spirit or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.

10 물건 부피 측정 시스템
100 물건 부피 측정 장치
120 카메라
210 입력 인터페이스
220 프로세서
230 출력 인터페이스10 Object volume measurement system
100 object volumetric device
120 cameras
210 input interface
220 processors
230 output interface

Claims (15)

입력 영상을 수신하는 단계;
상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계;
상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및
상기 부피 레벨 값을 출력하는 단계를 포함하는, 물건 부피 측정 방법.receiving an input image;
detecting a standard container area corresponding to a predefined standard container from the input image;
determining a volume level value as one of a plurality of predetermined levels from the input image; and
and outputting the volume level value. 제1항에 있어서,
상기 입력 영상으로부터, 서로 다른 식별 정보를 갖는 미리 정의된 복수의 비주얼 태그 중 적어도 하나의 비주얼 태그를 검출하는 단계; 및
상기 검출된 적어도 하나의 비주얼 태그에 기초하여, 물건 부피 값을 산출하는 단계를 더 포함하고,
상기 부피 레벨 값을 결정하는 단계는, 상기 물건 부피 값을 이용하여, 상기 부피 레벨 값을 결정하고,
상기 복수의 비주얼 태그는 상기 규격 용기의 미리 정의된 각 위치에 배치되고, 각 위치의 비주얼 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 갖는, 물건 부피 측정 방법.According to claim 1,
detecting at least one visual tag among a plurality of predefined visual tags having different identification information from the input image; and
Based on the detected at least one visual tag, further comprising the step of calculating an object volume value,
The determining of the volume level value includes determining the volume level value by using the object volume value,
wherein the plurality of visual tags are disposed at each predefined position of the standard container, and the visual tag of each position has predefined identification information corresponding to the position. 제2항에 있어서,
상기 규격 용기 영역을 검출하는 단계는,
상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하는 단계; 및
상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출하는 단계를 포함하는, 물건 부피 측정 방법.3. The method of claim 2,
The step of detecting the standard container area,
detecting a container identification tag disposed at a predetermined position of the standard container; and
and detecting the standard container area based on the detected container identification tag. 제1항에 있어서,
상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하는 단계; 및
상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득하는 단계를 더 포함하는, 물건 부피 측정 방법.According to claim 1,
inputting the image data of the standard container region into a first machine learning model, and obtaining a first output image in which the object, the standard container, and the background are classified from the first machine learning model; and
The method further comprising inputting the first output image to a second machine learning model, and obtaining the volume level value from the second machine learning model. 제4항에 있어서,
상기 제1 기계학습 모델은 Semantic segmentation 모델인 물건 부피 측정 방법.5. The method of claim 4,
The first machine learning model is a semantic segmentation model, the object volume measurement method. 제1항에 있어서,
상기 규격 용기 영역을 검출하는 단계는, YOLO(You only Look Once) 검출 모델을 이용하여 상기 규격 용기 영역을 검출하는, 물건 부피 측정 방법.According to claim 1,
The detecting of the standard container area includes detecting the standard container area using a You Only Look Once (YOLO) detection model. 제1항에 있어서,
상기 입력 영상은 복수의 프레임을 포함하는 동영상이고,
상기 물건 부피 측정 방법은, 상기 규격 용기 영역이 검출된 프레임을 추출하는 단계를 더 포함하고,
상기 부피 레벨 값을 결정하는 단계는, 상기 추출된 프레임을 상기 입력 영상으로 이용하는, 물건 부피 측정 방법.According to claim 1,
The input image is a video including a plurality of frames,
The object volume measurement method further comprises extracting a frame in which the standard container area is detected,
The determining of the volume level value includes using the extracted frame as the input image. 입력 영상을 수신하는 입력 인터페이스;
상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하고, 상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 적어도 하나의 프로세서; 및
상기 부피 레벨 값을 출력하는 출력 인터페이스를 포함하는 물건 부피 측정 장치.an input interface for receiving an input image;
at least one processor for detecting a standard container region corresponding to a predefined standard container from the input image and determining a volume level value as one of a plurality of predetermined levels from the input image; and
and an output interface for outputting the volume level value. 제8항에 있어서,
상기 적어도 하나의 프로세서는, 상기 입력 영상으로부터, 서로 다른 식별 정보를 갖는 미리 정의된 복수의 비주얼 태그 중 적어도 하나의 비주얼 태그를 검출하고, 상기 검출된 적어도 하나의 비주얼 태그에 기초하여, 물건 부피 값을 산출하고, 상기 물건 부피 값을 이용하여, 상기 부피 레벨 값을 결정하고,
상기 복수의 비주얼 태그는 상기 규격 용기의 미리 정의된 각 위치에 배치되고, 각 위치의 비주얼 태그는 해당 위치에 대응하는 미리 정의된 식별 정보를 갖는, 물건 부피 측정 장치.9. The method of claim 8,
The at least one processor detects, from the input image, at least one visual tag among a plurality of predefined visual tags having different identification information, and based on the detected at least one visual tag, an object volume value , and using the object volume value to determine the volume level value,
The plurality of visual tags are disposed at each predefined position of the standard container, and the visual tag of each position has predefined identification information corresponding to the position. 제9항에 있어서,
상기 적어도 하나의 프로세서는, 상기 규격 용기의 소정의 위치에 배치된 용기 식별 태그를 검출하고, 상기 검출된 용기 식별 태그에 기초하여 상기 규격 용기 영역을 검출하는, 물건 부피 측정 장치.10. The method of claim 9,
The at least one processor detects a container identification tag disposed at a predetermined position of the standard container, and detects the standard container area based on the detected container identification tag. 제8항에 있어서,
상기 적어도 하나의 프로세서는, 상기 규격 용기 영역의 영상 데이터를 제1 기계학습 모델에 입력하고, 상기 제1 기계학습 모델로부터 상기 물건, 상기 규격 용기, 및 배경이 분류된 제1 출력 영상을 획득하고, 상기 제1 출력 영상을 제2 기계학습 모델에 입력하고, 상기 제2 기계학습 모델로부터 상기 부피 레벨 값을 획득하는, 물건 부피 측정 장치.9. The method of claim 8,
The at least one processor inputs the image data of the standard container region to a first machine learning model, and obtains a first output image in which the object, the standard container, and the background are classified from the first machine learning model, , inputting the first output image to a second machine learning model, and obtaining the volume level value from the second machine learning model. 제11항에 있어서,
상기 제1 기계학습 모델은 Semantic segmentation 모델인, 물건 부피 측정 장치.12. The method of claim 11,
The first machine learning model is a semantic segmentation model, object volume measurement device. 제8항에 있어서,
상기 적어도 하나의 프로세서는, YOLO(You only Look Once) 검출 모델을 이용하여 상기 규격 용기 영역을 검출하는, 물건 부피 측정 장치.9. The method of claim 8,
The at least one processor is configured to detect the standard container area using a You Only Look Once (YOLO) detection model. 제8항에 있어서,
상기 입력 영상은 복수의 프레임을 포함하는 동영상이고,
상기 적어도 하나의 프로세서는, 상기 규격 용기 영역이 검출된 프레임을 추출하고, 상기 추출된 프레임을 상기 입력 영상으로 이용하여 상기 부피 레벨 값을 결정하는, 물건 부피 측정 장치.9. The method of claim 8,
The input image is a video including a plurality of frames,
The at least one processor extracts a frame in which the standard container area is detected, and determines the volume level value by using the extracted frame as the input image. 프로세서에 의해 실행되었을 때 물건 부피 측정 방법을 수행하고, 기록매체에 기록된 컴퓨터 프로그램에 있어서, 상기 물건 부피 측정 방법은,
입력 영상을 수신하는 단계;
상기 입력 영상으로부터 미리 정의된 규격 용기에 대응하는 규격 용기 영역을 검출하는 단계;
상기 입력 영상으로부터 미리 결정된 복수의 레벨 중 하나로 부피 레벨 값을 결정하는 단계; 및
상기 부피 레벨 값을 출력하는 단계를 포함하는, 기록매체에 기록된 컴퓨터 프로그램.
A computer program recorded on a recording medium for performing an object volume measurement method when executed by a processor, wherein the object volume measurement method comprises:
receiving an input image;
detecting a standard container area corresponding to a predefined standard container from the input image;
determining a volume level value as one of a plurality of predetermined levels from the input image; and
A computer program recorded on a recording medium comprising the step of outputting the volume level value.
KR1020200173501A 2020-12-11 2020-12-11 Method, apparatus, and computer program for measuring volume of objects by using image KR102597692B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200173501A KR102597692B1 (en) 2020-12-11 2020-12-11 Method, apparatus, and computer program for measuring volume of objects by using image
PCT/KR2021/017807 WO2022124673A1 (en) 2020-12-11 2021-11-30 Device and method for measuring volume of object in receptacle on basis of camera image using machine learning model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200173501A KR102597692B1 (en) 2020-12-11 2020-12-11 Method, apparatus, and computer program for measuring volume of objects by using image

Publications (2)

Publication Number Publication Date
KR20220083347A true KR20220083347A (en) 2022-06-20
KR102597692B1 KR102597692B1 (en) 2023-11-03

Family

ID=81973779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173501A KR102597692B1 (en) 2020-12-11 2020-12-11 Method, apparatus, and computer program for measuring volume of objects by using image

Country Status (2)

Country Link
KR (1) KR102597692B1 (en)
WO (1) WO2022124673A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078103B (en) * 2023-08-29 2024-02-13 南京图灵信息技术有限公司 Commodity quality monitoring data processing method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375018B1 (en) * 2012-11-22 2014-03-17 경일대학교산학협력단 Apparatus and method for presenting information of food using image acquisition
KR20160021581A (en) * 2014-08-18 2016-02-26 안상요 Food dustbin and System using this apparatus
KR20200125131A (en) * 2019-04-26 2020-11-04 (주)제이엘케이 Methdo and system for measuring image thickness based on artificial intelligence

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998885B1 (en) * 2009-11-19 2010-12-08 한국건설기술연구원 Apparatus and method for measuring liquid level using change of temporal pixel distribution on image
KR20150103995A (en) * 2014-03-04 2015-09-14 주식회사 영국전자 Method for Inspecting Inner Wall of Closed Reservoir
EP3449234B1 (en) * 2016-04-27 2020-09-02 Ventana Medical Systems, Inc. System and method for real-time volume control on microscope slides
KR101873124B1 (en) * 2016-12-30 2018-06-29 부산대학교 산학협력단 Method and system for measuring watar level of liquid storage tanks
JP2020024108A (en) * 2018-08-06 2020-02-13 地方独立行政法人 岩手県工業技術センター Storage volume estimation device for storage tank

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375018B1 (en) * 2012-11-22 2014-03-17 경일대학교산학협력단 Apparatus and method for presenting information of food using image acquisition
KR20160021581A (en) * 2014-08-18 2016-02-26 안상요 Food dustbin and System using this apparatus
KR20200125131A (en) * 2019-04-26 2020-11-04 (주)제이엘케이 Methdo and system for measuring image thickness based on artificial intelligence

Also Published As

Publication number Publication date
KR102597692B1 (en) 2023-11-03
WO2022124673A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US11823429B2 (en) Method, system and device for difference automatic calibration in cross modal target detection
US9767604B2 (en) Image analysis method by analyzing point cloud using hierarchical search tree
CN107358149B (en) Human body posture detection method and device
KR101932009B1 (en) Image processing apparatus and method for multiple object detection
CN109727275B (en) Object detection method, device, system and computer readable storage medium
CN113498530A (en) Object size marking system and method based on local visual information
JP6549558B2 (en) Sales registration device, program and sales registration method
US20190188451A1 (en) Lightweight 3D Vision Camera with Intelligent Segmentation Engine for Machine Vision and Auto Identification
CN104919794A (en) Method and system for metadata extraction from master-slave cameras tracking system
CN114667540A (en) Article identification and tracking system
US10713530B2 (en) Image processing apparatus, image processing method, and image processing program
US10515459B2 (en) Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
WO2010101227A1 (en) Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program
US20170076428A1 (en) Information processing apparatus
US11776673B2 (en) System and method for augmented reality detection of loose pharmacy items
CN111881849A (en) Image scene detection method and device, electronic equipment and storage medium
CN111382637A (en) Pedestrian detection tracking method, device, terminal equipment and medium
KR102597692B1 (en) Method, apparatus, and computer program for measuring volume of objects by using image
CN111160450A (en) Fruit and vegetable weighing method based on neural network, storage medium and device
CN117218633A (en) Article detection method, device, equipment and storage medium
Morar et al. Real time indoor 3d pipeline for an advanced sensory substitution device
US9158956B2 (en) Reader, reading method and computer program product
JP2019066909A (en) Object distribution estimation apparatus
WO2015136716A1 (en) Image processing device, image sensor, and image processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant