KR102368031B1 - Method and apparatus for recognizing the length of a slab using an artificial neural network - Google Patents

Method and apparatus for recognizing the length of a slab using an artificial neural network Download PDF

Info

Publication number
KR102368031B1
KR102368031B1 KR1020200094797A KR20200094797A KR102368031B1 KR 102368031 B1 KR102368031 B1 KR 102368031B1 KR 1020200094797 A KR1020200094797 A KR 1020200094797A KR 20200094797 A KR20200094797 A KR 20200094797A KR 102368031 B1 KR102368031 B1 KR 102368031B1
Authority
KR
South Korea
Prior art keywords
length
slab
image
slavic
target
Prior art date
Application number
KR1020200094797A
Other languages
Korean (ko)
Other versions
KR20220014762A (en
Inventor
이다운
박은진
박성재
이재승
박찬일
이상봉
Original Assignee
싸이엔스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 싸이엔스 주식회사 filed Critical 싸이엔스 주식회사
Priority to KR1020200094797A priority Critical patent/KR102368031B1/en
Publication of KR20220014762A publication Critical patent/KR20220014762A/en
Application granted granted Critical
Publication of KR102368031B1 publication Critical patent/KR102368031B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/043—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Abstract

슬라브 길이 인식 방법 및 그 장치가 제공 된다. 본 발명의 일 실시예에 따른 슬라브 길이 인식 방법은 대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 제2 각도에서 촬영한 제2 슬라브 이미지를 획득하는 단계, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 분할(segmentation)하여 관심 영역을 추출하는 단계, 상기 제1 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 길이 기준선을 획득하고, 상기 제1 각도를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하는 단계, 상기 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 연산하는 단계, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 CNN(Convolutional Neural Network)구조의 인공신경망에 입력하여 상기 대상 슬라브의 제2 길이를 추정하는 단계, 상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출하는 단계를 포함할 수 있다.A slab length recognition method and apparatus are provided. Slab length recognition method according to an embodiment of the present invention is to obtain a first slab image taken from a first angle and a second slab image taken from a second angle of the target slab, the first Slavic image and the first 2 extracting a region of interest by segmenting the Slavic image in pixels obtaining a length per pixel for , calculating a first length of the target slab using the length per pixel with respect to the length reference line, and converting the first Slavic image and the second Slavic image to CNN ) estimating the second length of the target slab by input to the artificial neural network of the structure, and calculating the final length of the target slab by giving specified weights to the first length and the second length. .

Description

인공신경망을 이용한 슬라브 길이 인식 방법 및 그 장치{ METHOD AND APPARATUS FOR RECOGNIZING THE LENGTH OF A SLAB USING AN ARTIFICIAL NEURAL NETWORK }Slab length recognition method and device using artificial neural network

본 발명은 물체의 슬라브 길이 인식 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 슬라브를 다각도에서 촬영한 이미지를 인공신경망에 입력하여 슬라브의 길이를 획득하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for recognizing the length of a slab of an object. In more detail, it relates to a method and apparatus for obtaining the length of a slab by inputting images taken from multiple angles into an artificial neural network.

슬라브(Slab)는 고철을 원재료로 하여 열연, 후판 등의 제품을 생산하기 위한 중단 단계의 제품이다. 슬라브는 용선(쇳물)의 불순물을 제거하고 성분 조정을 위해 강종에 적합한 용강을 만들어 생산한다. 슬라브의 무게 측정을 위해서는 두께, 폭, 및 길이에 비중을 곱하여 산출한다. 하지만 슬라브는 고온 다습한 환경에서 생성되므로 센서 장비 또는 단순 이미지 처리만으로는 그 길이를 정확하게 측정할 수 없다. A slab is a product in the discontinued stage for producing products such as hot rolled and thick plates using scrap iron as a raw material. Slabs are produced by removing impurities from molten iron (molten iron) and making molten steel suitable for the type of steel to adjust the composition. To measure the weight of the slab, it is calculated by multiplying the thickness, width, and length by the specific gravity. However, since the slab is created in a high-temperature and high-humidity environment, the length cannot be accurately measured with sensor equipment or simple image processing alone.

슬라브 길이를 측정하기 위해 바운딩 박스를 이용한 객체 인식을 이용할 수도 있나, 슬라브 생산 공정상 슬라브가 계속 이동한다는 문제와 고온 다습한 환경에서의 불명확한 이미지 획득으로 인해 오차가 매우 크다는 한계가 존재한다.Is it possible to use object recognition using a bounding box to measure the length of the slab? However, there are limitations in that the error is very large due to the problem that the slab continues to move during the slab production process and the acquisition of an unclear image in a high-temperature and high-humidity environment.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-mentioned background art is technical information that the inventor possessed for the derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be a known technique disclosed to the general public prior to the filing of the present invention.

본 발명의 실시예들은 슬라브 생성 공정 중단 없이 슬라브 이미지만을 이용하여 정확한 슬라브 길이 측정을 수행하는 방법 및 그 장치를 제공한다.Embodiments of the present invention provide a method and apparatus for performing accurate slab length measurement using only the slab image without stopping the slab production process.

본 발명의 일 실시예에 따르는 슬라브 길이 인식 방법은 대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 제2 각도에서 촬영한 제2 슬라브 이미지를 획득하는 단계, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 분할(segmentation)하여 관심 영역을 추출하는 단계, 상기 제1 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 길이 기준선을 획득하고, 상기 제1 각도 정보를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하는 단계, 상기 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 연산하는 단계, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 CNN(Convolutional Neural Network)구조의 인공신경망에 입력하여 상기 대상 슬라브의 제2 길이를 추정하는 단계 및 상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출하는 단계를 포함할 수 있다.Slab length recognition method according to an embodiment of the present invention includes the steps of obtaining a first Slavic image and a second Slavic image taken at a second angle of the target slab at a first angle, the first Slavic image and the second 2 extracting a region of interest by segmenting the Slavic image in pixel units, obtaining a length reference line of the target slab based on the region of interest of the first Slavic image, and the length based on the first angle information obtaining a length per pixel with respect to a reference line, calculating a first length of the target slab using the length per pixel with respect to the length reference line, converting the first Slavic image and the second Slavic image to CNN Network) estimating the second length of the target slab by inputting it into an artificial neural network of the structure, and calculating the final length of the target slab by giving specified weights to the first length and the second length. there is.

일 실시예에서 상기 관심 영역을 추출하는 단계는, 상기 추출된 관심 영역에 대한 신뢰도를 측정하는 단계 및 상기 측정된 신뢰도를 기초로 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 재분할하여 상기 관심 영역을 추출하는 단계를 포함할 수 있다.In an embodiment, the extracting of the region of interest includes measuring the reliability of the extracted region of interest and re-segmenting the first Slavic image and the second Slavic image into pixel units based on the measured reliability. It may include extracting the region of interest.

일 실시예에서 상기 신뢰도를 측정하는 단계는, 상기 관심 영역을 복수의 단위 영역으로 분할하고, 상기 복수의 단위 영역별 슬라브 검출 확률을 연산하는 단계를 포함할 수 있다.In an embodiment, measuring the reliability may include dividing the region of interest into a plurality of unit regions, and calculating a slab detection probability for each of the plurality of unit regions.

일 실시예에서 상기 대상 슬라브의 길이 기준선을 검출하는 단계는, 상기 제1 슬라브 이미지와 상기 제1 각도 정보를 포함하는 제1 입력 데이터, 상기 제2 슬라브 이미지와 상기 제2 각도 정보를 포함하는 제2 입력 데이터를 상기 인공신경망에 입력하여 상기 대상 슬라브의 길이를 추정하는 단계를 포함할 수 있다.In one embodiment, the step of detecting the length reference line of the target slab includes first input data including the first slab image and the first angle information, the second slab image and the second angle information 2 It may include inputting the input data into the artificial neural network to estimate the length of the target slab.

일 실시예에서 상기 대상 슬라브의 제2 길이를 추정하는 단계는, 상기 제1 길이가 라벨링 된 상기 제1 슬라브 이미지를 이용하여 상기 인공신경망을 학습시키는 단계 및 상기 학습된 인공신경망에 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 입력하여 상기 대상 슬라브의 제2 길이를 추정하는 단계를 포함할 수 있다.In one embodiment, the step of estimating the second length of the target slab includes learning the artificial neural network using the first slab image labeled with the first length and the first slab in the learned artificial neural network. It may include the step of estimating the second length of the target slab by inputting an image and the second slab image.

일 실시예에서 상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출하는 단계는, 상기 학습된 인공신경망으로부터 획득한 상기 제2 길이의 가중치를 상기 제1 길이의 가중치보다 높게 부여하여 상기 대상 슬라브의 최종 길이를 산출하는 단계를 포함할 수 있다.In an embodiment, calculating the final length of the target slab by giving a specified weight to the first length and the second length includes adding the weight of the second length obtained from the learned artificial neural network to the first length It may include calculating the final length of the target slab by giving it higher than the weight of.

일 실시예에서 상기 제1 각도 정보를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하는 단계는, 상기 제2 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 다른 길이 기준선을 획득하고, 상기 제2 각도 정보를 기초로 상기 다른 길이 기준선에 대한 픽셀당 길이를 획득하는 단계를 포함하고, 상기 대상 슬라브의 제1 길이를 연산하는 단계는, 상기 길이 기준선에 대한 픽셀당 길이 및 상기 다른 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 연산하는 단계를 포함할 수 있다.In one embodiment, the step of obtaining the length per pixel for the length reference line based on the first angle information includes obtaining a different length reference line of the target slab based on the region of interest of the second slab image, and the second and obtaining a length per pixel for the different length reference line based on 2 angle information, wherein calculating the first length of the target slab comprises: a length per pixel with respect to the length reference line and a length per pixel with respect to the other length reference line It may include calculating the first length of the target slab by using the length per pixel.

본 발명의 다른 실시예에 따른 슬라브 길이 인식 장치는 프로세서를 포함하고, 상기 프로세서는, 대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 제2 각도에서 촬영한 제2 슬라브 이미지를 획득하고, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 분할(segmentation)하여 관심 영역을 추출하고, 상기 제1 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 길이 기준선을 획득하고, 상기 제1 각도 정보를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하며, 상기 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 계산하고, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 CNN(Convolutional Neural Network)구조의 인공신경망에 입력하여 상기 대상 슬라브의 제2 길이를 추정하며, 상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출할 수 있다.Slab length recognition apparatus according to another embodiment of the present invention includes a processor, wherein the processor obtains a first slab image taken from a first angle and a second slab image taken from a second angle of the target slab, The first Slavic image and the second Slavic image are segmented into pixel units to extract a region of interest, and based on the region of interest of the first Slavic image, the length reference line of the target slab is obtained, and the first obtaining a length per pixel with respect to the length reference line based on the angle information, calculating a first length of the target slab using the length per pixel with respect to the length reference line, the first Slavic image and the second Slavic image is input into an artificial neural network of a Convolutional Neural Network (CNN) structure to estimate the second length of the target slab, and by giving specified weights to the first length and the second length, the final length of the target slab can be calculated there is.

일 실시예에서 상기 프로세서는, 상기 추출된 관심 영역에 대한 신뢰도를 측정하고, 상기 측정된 신뢰도를 기초로 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 재분할하여 상기 관심 영역을 재 추출할 수 있다.In an embodiment, the processor measures the reliability of the extracted region of interest, and re-segments the first Slavic image and the second Slavic image in pixel units based on the measured reliability to re-extract the ROI can do.

일 실시예에서 상기 프로세서는, 상기 관심 영역을 복수의 단위 영역으로 분할하고, 상기 복수의 단위 영역별 슬라브 검출 확률을 연산할 수 있다.In an embodiment, the processor may divide the ROI into a plurality of unit regions and calculate a slab detection probability for each of the plurality of unit regions.

일 실시예에서 상기 프로세서는, 상기 제1 슬라브 이미지와 상기 제1 각도 정보를 포함하는 제1 입력 데이터, 상기 제2 슬라브 이미지와 상기 제2 각도 정보를 포함하는 제2 입력 데이터를 상기 인공신경망에 입력하여 상기 대상 슬라브의 길이를 추정할 수 있다.In an embodiment, the processor transmits first input data including the first slab image and the first angle information, and second input data including the second slab image and the second angle information to the artificial neural network. It is possible to estimate the length of the target slab by input.

일 실시예에서 상기 프로세서는, 상기 제1 길이가 라벨링 된 상기 제1 슬라브 이미지를 이용하여 상기 인공신경망을 학습시키고, 상기 학습된 인공신경망에 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 입력하여 상기 대상 슬라브의 제2 길이를 추정할 수 있다.In one embodiment, the processor trains the artificial neural network using the first Slavic image labeled with the first length, and inputs the first Slavic image and the second Slavic image to the learned artificial neural network. The second length of the target slab can be estimated.

일 실시예에서 상기 프로세서는, 상기 학습된 인공신경망으로부터 획득한 상기 제2 길이의 가중치를 상기 제1 길이의 가중치보다 높게 부여하여 상기 대상 슬라브의 최종 길이를 산출할 수 있다.In an embodiment, the processor may calculate the final length of the target slab by giving the weight of the second length obtained from the learned artificial neural network higher than the weight of the first length.

일 실시예에서 상기 프로세서는, 상기 제2 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 다른 길이 기준선을 획득하고, 상기 제2 각도 정보를 기초로 상기 다른 길이 기준선에 대한 픽셀당 길이를 획득하고, 상기 길이 기준선에 대한 픽셀당 길이 및 상기 다른 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 연산할 수 있다.In an embodiment, the processor obtains a different length reference line of the target slab based on the region of interest of the second slab image, and obtains a length per pixel for the different length reference line based on the second angle information, , it is possible to calculate the first length of the target slab by using the length per pixel for the length reference line and the length per pixel for the other length reference line.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

도 1은 본 발명의 일 실시예에 따른 슬라브 길이 인식 장치의 동작을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 슬라브 길이 인식 방법을 수행하는 슬라브 길이 인식 장치의 하드웨어 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 슬라브 길이 인식 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따라 슬라브 이미지를 픽셀 단위로 분할하여 관심 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 슬라브의 길이 기준선을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 인공신경망을 이용하여 슬라브 길이를 추정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 노이즈가 제거된 슬라브 이미지를 이용하여 슬라브 객체를 탐지하는 방법을 설명하기 위한 도면이다.
도 8은 도 7의 노이즈 제거부의 동작 방법을 상세히 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 슬라브 이미지의 노이즈를 제거하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 객체 인식 방법을 설명하기 위한 도면이다.1 is a block diagram for explaining the operation of the slab length recognition apparatus according to an embodiment of the present invention.
2 is a view for explaining the hardware configuration of the slab length recognition apparatus for performing the slab length recognition method according to an embodiment of the present invention.
3 is a flowchart of a method for recognizing a slab length according to an embodiment of the present invention.
4 is a diagram for explaining a method of extracting a region of interest by dividing a Slavic image in pixel units according to an embodiment of the present invention.
5 is a view for explaining the length of the reference line of the slab according to an embodiment of the present invention.
6 is a diagram for explaining a method of estimating a slab length using an artificial neural network according to an embodiment of the present invention.
7 is a view for explaining a method of detecting a Slavic object using a Slavic image from which noise is removed according to an embodiment of the present invention.
FIG. 8 is a view for explaining in detail an operation method of the noise removing unit of FIG. 7 .
9 is a view for explaining a method of removing noise of a Slavic image according to an embodiment of the present invention.
10 is a diagram for explaining an object recognition method according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the present invention. In addition, it should be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be taken as encompassing the scope of the claims and all equivalents thereto. In the drawings, like reference numerals refer to the same or similar elements throughout the various aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.

도 1은 본 발명의 일 실시예에 따른 슬라브 길이 인식 장치의 동작을 설명하기 위한 블록도이다.1 is a block diagram for explaining the operation of the slab length recognition apparatus according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 슬라브 길이 인식 장치(100)는 슬라브 이미지 획득부(110), 슬라브 영역 검출부(120), 슬라브 길이 기준선 획득부(130), 슬라브 길이 연산부(140), 인공신경망부(150) 및 최종 슬라브 길이 산출부(160)를 포함할 수 있다.Slab length recognition apparatus 100 according to an embodiment of the present invention is a slab image acquisition unit 110, a slab region detection unit 120, a slab length reference line acquisition unit 130, a slab length calculation unit 140, an artificial neural network unit It may include 150 and the final slab length calculation unit 160 .

일 실시예에서 슬라브 이미지 획득부(110)는 별도로 구비된 카메라 모듈 또는 네트워크를 통해 외부 서버로부터 복수의 슬라브 이미지를 획득할 수 있다. 상술한 복수의 슬라브 이미지는 대상 슬라브를 여러 각도에서 촬영하여 획득된 이미지일 수 있다. 따라서, 본 실시예에 따른 슬라브 이미지 획득부(110)는 대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 상술한 대상 슬라브를 제2 각도에서 촬영한 제2 슬라브 이미지를 포함하는 복수의 슬라브 이미지를 획득할 수 있다.In an embodiment, the Slavic image acquisition unit 110 may acquire a plurality of Slavic images from an external server through a separately provided camera module or network. The plurality of Slavic images described above may be images obtained by photographing the target slab from various angles. Therefore, the slab image acquisition unit 110 according to this embodiment is a plurality of slabs including a first slab image taken from a first angle of the target slab and a second slab image taken from a second angle of the above-described target slab. image can be obtained.

일 실시예에서 슬라브 영역 검출부(120)는 슬라브 이미지 각각에 포함된 대상 슬라브 영역을 관심 영역(ROI, Region of Interest)으로 검출할 수 있다. In an embodiment, the slab region detection unit 120 may detect a target slab region included in each slab image as a region of interest (ROI).

슬라브 길이 기준선 획득부(130)는 검출된 관심 영역을 이용하여 슬라브의 길이에 대응되는 대상 슬라브의 길이 기준선을 획득할 수 있다. 일 실시예에서 슬라브 길이 기준선 획득부(130)는 슬라브 이미지에 슬라브의 길이 기준선을 표시할 수 있다. 이후 슬라브 길이 기준선 획득부(130)는 슬라브 길이 연산부(140)로 슬라브 길이 기준선 정보를 전달할 수 있고, 슬라브 길이 연산부(140)는 슬라브 이미지를 촬영한 카메라의 각도, 슬라브의 배치, 슬라브와 카메라간 거리 등을 기초로 대상 슬라브의 길이를 연산할 수 있다.The slab length reference line acquisition unit 130 may acquire a length reference line of the target slab corresponding to the length of the slab by using the detected region of interest. In an embodiment, the slab length reference line acquisition unit 130 may display the length reference line of the slab in the slab image. Afterwards, the slab length reference line acquisition unit 130 may transmit the slab length reference line information to the slab length calculation unit 140, and the slab length calculation unit 140 is the angle of the camera photographing the slab image, the arrangement of the slab, and between the slab and the camera. It is possible to calculate the length of the target slab based on the distance, etc.

한편, 본 발명의 몇몇 실시예에 따른 인공신경망부(150)는 학습부 및 추론부를 포함할 수 있다. 인공신경망 추론부는 슬라브 이미지 획득부(110)에서 수신한 복수의 슬라브 이미지를 이용하여 대상 슬라브의 길이를 추정할 수 있다. 또한, 초기 인공신경망 학습부는 슬라브의 길이 기준선을 이용하여 추정한 슬라브의 길이 및 해당 슬라브 이미지를 학습 데이터로 이용할 수 있다. 이 경우 후술되는 최종 슬라브 길이 산출부(160)는 초기 인공신경망부 추론부에서 추정한 슬라브의 길이보다 슬라브 길이 연산부(140)에서 연산한 슬라브의 길이에 더 큰 가중치를 부여하여 최종 슬라브 길이를 산출할 수 있다.Meanwhile, the artificial neural network unit 150 according to some embodiments of the present invention may include a learning unit and an inference unit. The artificial neural network inference unit may estimate the length of the target slab by using the plurality of Slavic images received from the Slavic image acquisition unit 110 . In addition, the initial artificial neural network learning unit may use the length of the slab estimated by using the reference line of the length of the slab and the corresponding slab image as training data. In this case, the final slab length calculating unit 160 to be described later calculates the final slab length by giving a greater weight to the length of the slab calculated by the slab length calculating unit 140 than the length of the slab estimated by the initial artificial neural network inference unit. can do.

최종 슬라브 길이 산출부(160)는 슬라브 길이 연산부(140)에서 수신한 슬라브 길이 및 인공신경망부(150)에서 수신한 슬라브 길이에 각각 지정된 가중치를 부여하여 최종 슬라브 길이를 산출할 수 있다.The final slab length calculation unit 160 may calculate the final slab length by giving each specified weight to the slab length received from the slab length calculation unit 140 and the slab length received from the artificial neural network unit 150 .

도 2는 본 발명의 일 실시예에 따른 슬라브 길이 인식 방법을 수행하는 슬라브 길이 인식 장치의 하드웨어 구성을 설명하기 위한 도면이다.2 is a view for explaining the hardware configuration of the slab length recognition apparatus for performing the slab length recognition method according to an embodiment of the present invention.

일 실시예에서 슬라브 길이 인식 장치(100)는 메모리(101), 프로세서(102), 통신 모듈(103) 및 입출력 인터페이스(104)를 포함할 수 있다. 메모리(101)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(101)에는 슬라브 길이 인식 장치(100)를 제어하기 위한 프로그램 코드 및 설정, 카메라 영상, 그리고 물체의 포즈 데이터가 일시적 또는 영구적으로 저장될 수 있다.In one embodiment, the slab length recognition apparatus 100 may include a memory 101 , a processor 102 , a communication module 103 , and an input/output interface 104 . The memory 101 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive. In addition, the memory 101 may temporarily or permanently store program codes and settings for controlling the slab length recognition apparatus 100 , a camera image, and pose data of an object.

프로세서(102)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(101) 또는 통신 모듈(103)에 의해 프로세서(102)로 제공될 수 있다. 예를 들어 프로세서(102)는 메모리(101)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 본 발명의 일 실시예에 따른 프로세서(102)는 대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 제2 각도에서 촬영한 제2 슬라브 이미지를 획득하고, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 분할(segmentation)하여 관심 영역을 추출하고, 상기 제1 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 길이 기준선을 획득하고, 상기 제1 각도 정보를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하며, 상기 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 계산하고, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 CNN(Convolutional Neural Network)구조의 인공신경망에 입력하여 상기 대상 슬라브의 제2 길이를 추정하며, 상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출할 수 있다.The processor 102 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. The instructions may be provided to the processor 102 by the memory 101 or the communication module 103 . For example, the processor 102 may be configured to execute received instructions according to program code stored in a recording device, such as the memory 101 . The processor 102 according to an embodiment of the present invention obtains a first Slavic image taken from a first angle and a second Slavic image taken from a second angle of the target slab, and the first Slavic image and the second The Slavic image is segmented into pixels to extract the region of interest, the length reference line of the target slab is obtained based on the region of interest of the first Slavic image, and the length reference line is based on the first angle information. to obtain a length per pixel for, calculate the first length of the target slab using the length per pixel with respect to the length reference line, and combine the first Slavic image and the second Slavic image with a CNN (Convolutional Neural Network) structure It is possible to estimate the second length of the target slab by input to the artificial neural network, and to calculate the final length of the target slab by giving specified weights to the first length and the second length.

통신 모듈(103)은 네트워크를 통해 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 슬라브 길이 인식 장치(100)의 프로세서(102)가 메모리(101)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(103)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈을 통해 슬라브 길이 인식 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(103)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(102)나 메모리(101)로 전달될 수 있고, 컨텐츠나 파일 등은 슬라브 길이 인식 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.The communication module 103 may provide a function for communicating with an external server through a network. For example, a request generated by the processor 102 of the slab length recognition device 100 according to a program code stored in a recording device such as the memory 101 is transmitted to an external server through a network under the control of the communication module 103 can be Conversely, a control signal, command, content, file, etc. provided according to the control of the processor of the external server may be received by the slab length recognizing apparatus 100 through the communication module through the network. For example, a control signal or command of an external server received through the communication module 103 may be transmitted to the processor 102 or the memory 101, and the content or file, etc., the slab length recognition device 100 is further It may be stored in a storage medium that may include.

또한, 통신 모듈(103)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다. Also, the communication module 103 may communicate with an external server through a network. Although the communication method is not limited, the network may be a local area wireless network. For example, the network may be a Bluetooth (Bluetooth), BLE (Bluetooth Low Energy), or Wifi communication network.

입출력 인터페이스(104)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(104)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 슬라브 길이 인식 장치(100)의 프로세서(102)는 메모리(101)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 외부 서버가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스를 디스플레이에 표시하도록 할 수 있다.The input/output interface 104 may be a means for interfacing with an input/output device. For example, the input device may include a device such as a keyboard or mouse, and the output device may include a device such as a display for displaying a communication session of an application. As another example, the input/output interface 104 may be a means for an interface with a device in which functions for input and output are integrated into one, such as a touch screen. As a more specific example, the processor 102 of the slab length recognizing device 100 processes the command of the computer program loaded in the memory 101, and a service screen or content configured using data provided by an external server is an input/output interface can be displayed on the display.

또한, 다른 실시예들에서 슬라브 길이 인식 장치(100)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 슬라브 길이 인식 장치(100)는 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.In addition, in other embodiments, the slab length recognition apparatus 100 may include more components than those of FIG. 2 . However, there is no need to clearly show most of the prior art components. For example, the slab length recognition device 100 may include a battery and a charging device for supplying power to internal components, and is implemented to include at least some of the above-described input/output devices or a transceiver, GPS (Global Positioning System) may further include other components such as a module, various sensors, and a database.

또한, 비록 도 2에는 도시되지 않았지만 슬라브 길이 인식 장치(100)는 복수의 카메라 모듈을 더 포함할 수 있다. 본 발명의 일 실시예에 따르면, 슬라브 길이 인식 장치(100)는 다양한 각도에서 슬라브를 촬영할 수 있도록 설치된 카메라를 이용하여 하나의 대상 슬라브에 대한 복수의 슬라브 이미지를 획득할 수 있다.In addition, although not shown in FIG. 2 , the slab length recognition apparatus 100 may further include a plurality of camera modules. According to an embodiment of the present invention, the slab length recognition apparatus 100 may acquire a plurality of slab images for one target slab using a camera installed to photograph the slab from various angles.

도 3은 본 발명의 일 실시예에 따른 슬라브 길이 인식 방법의 순서도이다.3 is a flowchart of a method for recognizing a slab length according to an embodiment of the present invention.

단계 S110에서 슬라브 길이 인식 장치는 대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 제2 각도에서 촬영한 제2 슬라브 이미지를 획득할 수 있다. 일 실시예에서 슬라브 길이 인식 장치가 하나의 대상 슬라브에 대하여 획득하는 복수의 슬라브 이미지의 개수는 한정되지 않으나, 상술한 복수의 슬라브 이미지는 각각 상이한 각도 또는 상이한 시점에서 대상 슬라브를 촬영함으로써 획득된 이미지일 수 있다. 예를 들어 슬라브 길이 인식 장치는 6개 내지 10개의 상이한 장소에서 대상 슬라브를 촬영한 복수의 슬라브 이미지를 획득할 수 있다. 또한 다른 실시예에서 슬라브 길이 인식 장치는 슬라브 주변 시설물 객체에 대한 이미지도 획득할 수 있다. 슬라브 길이 인식 장치는 상술한 시설물 객체의 크기 및 위치를 기초로 후술되는 단계 S120 및 단계 S125에서 슬라브를 더욱 정확하게 인식할 수 있다.In step S110, the device for recognizing the slab length may obtain a first slab image taken from a first angle and a second slab image taken from a second angle of the target slab. In one embodiment, the number of the plurality of Slavic images obtained by the slab length recognition device for one target slab is not limited, but the above-described plurality of Slavic images are respectively different angles or images obtained by photographing the target slab at different viewpoints. can be For example, the slab length recognition device may acquire a plurality of Slavic images of the target slab in 6 to 10 different places. Also, in another embodiment, the device for recognizing the length of the slab may acquire an image of the object of the facility around the slab. The slab length recognizing device may more accurately recognize the slab in steps S120 and S125 to be described later based on the size and location of the above-described facility object.

단계 S120에서 슬라브 길이 인식 장치는 제1 슬라브 이미지 및 제2 슬라브 이미지를 픽셀 단위로 분할(segmentation)할 수 있다. 일 실시예에 따른 슬라브 길이 인식 장치는 이미지 세그멘테이션 기술을 이용하여 상술한 복수의 슬라브 이미지 각각에 포함된 슬라브 객체를 검출할 수 있다. 보다 구체적으로 슬라브 길이 인식 장치는 픽셀 단위로 슬라브 이미지를 분할하여, 대상 슬라브의 경계를 검출할 수 있다. 다른 실시예에서 슬라브 길이 인식 장치는 하나의 슬라브 이미지에 포함된 복수의 슬라브를 검출할 수도 있다. In step S120, the device for recognizing the slab length may segment the first slab image and the second slab image in units of pixels. The apparatus for recognizing a Slavic length according to an embodiment may detect a Slavic object included in each of the plurality of Slavic images described above by using an image segmentation technique. More specifically, the device for recognizing the slab length may divide the slab image in units of pixels to detect the boundary of the target slab. In another embodiment, the slab length recognition device may detect a plurality of slabs included in one slab image.

그리고, 단계 S125에서 슬라브 길이 인식 장치는 관심 영역 추출할 수 있다. 즉, 슬라브 길이 인식 장치는 슬라브 이미지 각각에 포함된 대상 슬라브 영역을 관심 영역(ROI, Region of Interest)으로 검출할 수 있다. 본 실시예에서 슬라브 길이 인식 장치는 상기 관심 영역을 복수의 단위 영역으로 분할하고, 상기 복수의 단위 영역별 슬라브 검출 확률을 연산할 수 있다. And, in step S125, the slab length recognition apparatus may extract a region of interest. That is, the slab length recognizing apparatus may detect the target slab region included in each slab image as a region of interest (ROI). In the present embodiment, the apparatus for recognizing the slab length may divide the ROI into a plurality of unit regions and calculate a slab detection probability for each of the plurality of unit regions.

다른 실시예에서 슬라브 길이 인식 장치는 검출된 영역의 픽셀 별로 대상 슬라브가 존재하는지 여부를 확인함으로써 슬라브 경계를 검출하는 기술의 성능을 측정 및 향상시킬 수 있다. 일 실시예에 따른 슬라브 길이 인식 장치는 추출된 관심 영역에 대한 신뢰도를 측정할 수 있다. 이후, 슬라브 길이 인식 장치는 측정된 신뢰도를 기초로 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 재분할하여 상기 관심 영역을 추출할 수 있다. In another embodiment, the apparatus for recognizing the slab length may measure and improve the performance of a technology for detecting a slab boundary by checking whether a target slab exists for each pixel of the detected area. The apparatus for recognizing a slab length according to an embodiment may measure the reliability of the extracted ROI. Thereafter, the apparatus for recognizing the slab length may extract the region of interest by re-segmenting the first slab image and the second slab image in units of pixels based on the measured reliability.

또 다른 실시예에서 슬라브 길이 인식 장치가 단계 S120에서 복수의 슬라브를 검출하는 경우, 단계 S125에서 슬라브 길이 인식 장치는 복수의 관심 영역을 추출하거나, 지정된 대상 슬라브와 관련된 관심 영역만을 추출할 수 있다.In another embodiment, when the slab length recognizing apparatus detects a plurality of slabs in step S120, the slab length recognizing apparatus in step S125 extracts a plurality of regions of interest or may extract only a region of interest related to a specified target slab.

단계 S130에서 슬라브 길이 인식 장치는 제1 슬라브 이미지의 관심 영역을 기초로 대상 슬라브의 길이 기준선을 획득할 수 있다. 슬라브의 길이 기준선은 슬라브의 직선 길이에 대응될 수 있다.In step S130, the device for recognizing the length of the slab may acquire the reference line of the length of the target slab based on the region of interest of the first slab image. The length reference line of the slab may correspond to the straight length of the slab.

이후, 단계 S135에서 슬라브 길이 인식 장치는 제1 각도 정보를 기초로 길이 기준선에 대한 픽셀당 길이를 획득할 수 있다. 그리고 단계 S140에서 슬라브 길이 인식 장치는 길이 기준선에 대한 픽셀당 길이를 이용하여 대상 슬라브의 제1 길이를 연산할 수 있다. 즉, 슬라브 길이 인식 장치는 슬라브 이미지를 촬영한 카메라의 각도, 이미지 내 슬라브의 배치, 슬라브와 카메라간 거리 등을 기초로 대상 슬라브의 길이를 연산할 수 있다. Thereafter, in step S135, the apparatus for recognizing the slab length may acquire the length per pixel with respect to the length reference line based on the first angle information. And in step S140, the slab length recognizing apparatus may calculate the first length of the target slab by using the length per pixel with respect to the length reference line. That is, the slab length recognizing device can calculate the length of the target slab based on the angle of the camera that took the slab image, the arrangement of the slab in the image, the distance between the slab and the camera, and the like.

한편, 본 발명의 몇몇 실시예에 따라 하나의 대상 슬라브에 대하여 복수의 슬라브 이미지를 획득한 슬라브 길이 인식 장치는 각각의 슬라브 이미지로부터 복수의 슬라브 길이 기준선을 획득할 수 있다. 이 경우 슬라브 길이 인식 장치는 제1 슬라브 이미지의 관심 영역을 기초로 대상 슬라브의 제1 길이 기준선을 획득하고, 제2 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 제2 길이 기준선을 획득할 수 있다. 이후, 슬라브 길이 인식 장치는 제1 슬라브 이미지를 촬영한 카메라의 제1 각도 정보를 기초로 제1 길이 기준선에 대한 픽셀당 길이를 획득하고, 제2 슬라브 이미지를 촬영한 카메라의 제2 각도 정보를 기초로 상기 다른 길이 기준선에 대한 픽셀당 길이를 획득할 수 있다. On the other hand, according to some embodiments of the present invention, the slab length recognition apparatus for obtaining a plurality of slab images for one target slab may obtain a plurality of slab length reference lines from each slab image. In this case, the slab length recognition device obtains the first length reference line of the target slab based on the region of interest of the first Slavic image, and the second length reference line of the target slab based on the region of interest of the second Slavic image can be obtained there is. Thereafter, the slab length recognition device acquires the length per pixel for the first length reference line based on the first angle information of the camera that photographed the first Slavic image, and the second angle information of the camera that photographed the second Slavic image A length per pixel for the other length reference line may be obtained based on the reference line.

이 경우 슬라브 길이 인식 장치는 상술한 제1 길이 기준선에 대한 픽셀당 길이 및 상기 제2 길이 기준선에 대한 픽셀당 길이를 이용하여 슬라브의 길이를 추정할 수 있다. 몇몇 실시예에서 슬라브 길이 인식 장치는 상술한 제1 길이 기준선을 기초로 획득한 슬라브의 길이와 상술한 제2 길이 기준선을 기초로 획득한 슬라브에 지정된 가중치를 부여하여 슬라브 길이를 연산할 수 있다. 예를 들어 슬라브 길이 인식 장치는 복수의 길이 기준선을 기초로 획득한 복수의 슬라브 길이의 중간 값을 이용하여 슬라브 길이를 연산할 수도 있다.In this case, the apparatus for recognizing the length of the slab may estimate the length of the slab by using the length per pixel for the above-described first length reference line and the length per pixel for the second length reference line. In some embodiments, the slab length recognizing apparatus may calculate the slab length by giving a specified weight to the slab obtained based on the length of the slab obtained based on the above-described first length reference line and the above-described second length reference line. For example, the slab length recognizing apparatus may calculate the slab length using an intermediate value of a plurality of slab lengths obtained based on a plurality of length reference lines.

한편, 단계 S150에서 슬라브 길이 인식 장치는 제1 슬라브 이미지 및 제2 슬라브 이미지를 CNN(Convolutional Neural Network)구조의 인공신경망에 입력하여 대상 슬라브의 제2 길이를 추정할 수 있다. 일 실시예에서 슬라브 길이 인식 장치는 상기 제1 슬라브 이미지와 상기 제1 각도 정보를 포함하는 제1 입력 데이터, 상기 제2 슬라브 이미지와 상기 제2 각도 정보를 포함하는 제2 입력 데이터를 상기 인공신경망에 입력하여 상기 대상 슬라브의 길이를 추정할 수 있다. On the other hand, in step S150, the slab length recognizing apparatus can estimate the second length of the target slab by inputting the first Slavic image and the second Slavic image to an artificial neural network of a CNN (Convolutional Neural Network) structure. In an embodiment, the apparatus for recognizing the slab length receives the first input data including the first slab image and the first angle information, the second input data including the second slab image and the second angle information to the artificial neural network It is possible to estimate the length of the target slab by inputting to.

몇몇 실시예에 따라 슬라브 길이 인식 장치에서 동작하는 인공신경망은 지도 학습이 수행될 수 있다. 이 경우 인공신경망은 제1 길이가 라벨링 된 상기 제1 슬라브 이미지를 이용하여 상기 인공신경망을 학습시키고, 상기 학습된 인공신경망에 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 입력하여 상기 대상 슬라브의 제2 길이를 추정할 수 있다. 즉 인공신경망의 학습 데이터 확보를 위해 슬라브 길이가 레이블링 된 데이터를 수집할 수 있다. 또한 전술한 단계 S110 내지 S140에서 연산한 슬라브 길이를 이용하여 상술한 인공신경망의 학습 데이터로 이용할 수 있다. 이 경우 인공신경망에 입력되는 입력 데이터는 관심 영역이 표시된 슬라브 이미지일 수 있다. 이를 통해 인공신경망은 이미지 세그멘테이션과 관련된 오류 정보를 학습 데이터로 이용할 수 있다. 이를 통해 해당 인공신경망은 추후 발생되는 이미지 세그멘테이션 오류에 대처 가능할 수 있다.According to some embodiments, supervised learning may be performed on the artificial neural network operating in the device for recognizing the length of the slab. In this case, the artificial neural network trains the artificial neural network using the first Slavic image labeled with a first length, and inputs the first Slavic image and the second Slavic image to the learned artificial neural network to determine the target slab. The second length may be estimated. In other words, it is possible to collect data labeled with the length of the slab in order to secure the training data of the artificial neural network. In addition, the slab length calculated in the above-described steps S110 to S140 may be used as training data of the above-described artificial neural network. In this case, the input data input to the artificial neural network may be a Slavic image in which a region of interest is displayed. Through this, the artificial neural network can use error information related to image segmentation as training data. Through this, the corresponding artificial neural network may be able to cope with image segmentation errors that occur later.

단계 S160에서 슬라브 길이 인식 장치는 제1 길이 및 제2 길이에 지정된 가중치를 부여하여 대상 슬라브의 최종 길이를 산출할 수 있다. 제1 길이는 전술한 단계 S140을 통해 슬라브 길이 인식 장치가 슬라브 길이 기준선을 이용하여 획득한 슬라브 길이이고, 제2 길이는 전술한 단계 S150에서 슬라브 길이 인식 장치가 인공신경망을 이용하여 추론한 슬라브 길이이다. 예를 들어 슬라브 길이 인식 장치는 제1 길이와 제2 길이에 동일한 가중치를 부여하여 중간 값을 갖는 대상 슬라브의 최종 길이를 산출할 수 있다.In step S160, the apparatus for recognizing the slab length may calculate the final length of the target slab by giving specified weights to the first length and the second length. The first length is the slab length obtained by the slab length recognition apparatus using the slab length reference line through the above-described step S140, and the second length is the slab length inferred by the slab length recognition apparatus using the artificial neural network in the above-described step S150. am. For example, the slab length recognition apparatus may calculate the final length of the target slab having an intermediate value by giving the same weight to the first length and the second length.

또는 다른 실시예에서 슬라브 길이인식 장치는 상술한 제1 길이 또는 제2 길이 중 어느 하나에 더 높은 가중치를 부여하여 대상 슬라브의 최종 길이를 산출할 수도 있다. 예를 들어 학습 데이터 부족으로 인공신경망의 학습이 충분히 수행되지 않은 경우, 슬라브 길이 인식 장치는 제1 길이의 가중치를 제2 길이의 가중치보다 높게 부여하여 대상 슬라브의 최종 길이를 산출할 수 있다. 이후, 인공신경망의 학습이 충분히 수행되어 지정된 기준치 이상의 신뢰도를 갖는 추론을 수행하는 경우, 슬라브 길이 인식 장치는 제2 길이의 가중치를 상기 제1 길이의 가중치보다 높게 부여하여 상기 대상 슬라브의 최종 길이를 산출할 수 있다.Alternatively, in another embodiment, the slab length recognition device may calculate the final length of the target slab by giving a higher weight to any one of the above-described first length or second length. For example, when the training of the artificial neural network is not sufficiently performed due to lack of training data, the slab length recognition apparatus may calculate the final length of the target slab by giving a weight of the first length higher than the weight of the second length. After that, when the learning of the artificial neural network is sufficiently performed to perform inference with a reliability greater than or equal to the specified reference value, the slab length recognition apparatus gives the weight of the second length higher than the weight of the first length to determine the final length of the target slab can be calculated.

도 4는 본 발명의 일 실시예에 따라 슬라브 이미지를 픽셀 단위로 분할하여 관심 영역을 추출하는 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a method of extracting a region of interest by dividing a Slavic image in pixel units according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 슬라브 길이 인식 장치는 이미지 세그멘테이션 기술을 이용하여 복수의 슬라브 이미지에 포함된 슬라브 객체를 검출할 수 있다. 보다 구체적으로 슬라브 길이 인식 장치는 픽셀 단위로 슬라브 이미지를 분할하여, 대상 슬라브의 경계를 검출할 수 있다. 다른 실시예에서 슬라브 길이 인식 장치는 하나의 슬라브 이미지에 포함된 복수의 슬라브를 검출할 수도 있다. The apparatus for recognizing a Slavic length according to an embodiment of the present invention may detect a Slavic object included in a plurality of Slavic images by using an image segmentation technique. More specifically, the device for recognizing the slab length may divide the slab image in units of pixels to detect the boundary of the target slab. In another embodiment, the slab length recognition device may detect a plurality of slabs included in one slab image.

도시된 바를 참조하면 슬라브 길이 인식 장치는 하나의 슬라브 이미지에 대한 이미지 세그멘테이션 기술을 이용하여 3개의 슬라브를 검출한 경우가 도시되어 있다. 일 실시예에서 슬라브 길이 인식 장치는 슬라브 이미지로부터 검출한 제1 슬라브(201), 제2 슬라브(202) 및 제3 슬라브(203)에 대한 정보를 각각 데이터베이스에 저장 및 관리할 수 있다. 이 경우 슬라브 길이 인식 장치는 상술한 제1 슬라브(201), 제2 슬라브(202) 및 제3 슬라브(203) 각각의 관심 영역을 검출할 수 있다. 이하 도 5는 특정 대상 슬라브에 대한 관심 영역의 일 예시임을 가정하고 설명한다.Referring to the figure, the slab length recognition apparatus detects three slabs using the image segmentation technique for one slab image is shown. In an embodiment, the device for recognizing the slab length may store and manage information on the first slab 201, the second slab 202, and the third slab 203 detected from the slab image in the database, respectively. In this case, the slab length recognition apparatus may detect the region of interest of each of the first slab 201 , the second slab 202 and the third slab 203 described above. Hereinafter, it is assumed that FIG. 5 is an example of a region of interest for a specific target slab.

도 5는 본 발명의 일 실시예에 따라 슬라브의 길이 기준선을 설명하기 위한 도면이다.5 is a view for explaining the length of the reference line of the slab according to an embodiment of the present invention.

도 4에 도시된 바와 같이 슬라브 이미지를 통해 슬라브 각각의 관심 영역을 추정한 이후, 일 실시예에 따른 슬라브 길이 인식 장치는 슬라브 각각의 길이 기준선을 획득할 수 있다. 또는 다른 실시예에서 슬라브 길이 인식 장치는 도 6에 도시된 바와 같이 인공신경망에 상술한 관심 영역에 대응되는 슬라브 이미지를 입력할 수도 있다.After estimating the region of interest of each slab through the slab image as shown in FIG. 4 , the slab length recognition apparatus according to an embodiment may obtain a length reference line of each slab. Alternatively, in another embodiment, the apparatus for recognizing the slab length may input the slab image corresponding to the above-described region of interest to the artificial neural network as shown in FIG. 6 .

도 5에 도시된 바를 참조하면 슬라브 길이 인식 장치는 슬라브 이미지에서 대상 슬라브(204)가 포함된 관심 영역을 선정할 수 있다. 그리고 픽셀 단위로 분할하여 관심 영역에 포함된 대상 슬라브(204)를 정확하게 검출해낼 수 있으며, 대상 슬라브(204)의 길이에 대응되는 길이 기준선(211)을 생성할 수 있다. 이 경우 전술한 바, 슬라브 길이 인식 장치는 해당 슬라브 이미지를 촬영한 카메라의 각도 정보를 기초로 대상 슬라브의 길이 기준선에 대한 픽셀당 길이를 획득할 수 있고, 픽셀당 길이를 기초로 대상 슬라브의 길이를 추정할 수 있다.Referring to FIG. 5 , the apparatus for recognizing the length of the slab may select a region of interest including the target slab 204 from the slab image. And it is possible to accurately detect the target slab 204 included in the region of interest by dividing the pixel unit, and it is possible to generate a length reference line 211 corresponding to the length of the target slab 204 . In this case, as described above, the device for recognizing the slab length may acquire the length per pixel with respect to the length reference line of the target slab based on the angle information of the camera that took the corresponding slab image, and the length of the target slab based on the length per pixel can be estimated.

도시되지는 않았으나, 하나의 대상 슬라브에 대하여 복수의 슬라브 이미지를 획득한 슬라브 길이 인식 장치는 각각의 슬라브 이미지로부터 복수의 슬라브 길이 기준선을 획득할 수 있다. 이 경우 슬라브 길이 인식 장치는 제1 슬라브 이미지의 관심 영역을 기초로 대상 슬라브의 제1 길이 기준선을 획득하고, 제2 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 제2 길이 기준선을 획득할 수 있다. 이후, 슬라브 길이 인식 장치는 제1 슬라브 이미지를 촬영한 카메라의 제1 각도 정보를 기초로 제1 길이 기준선에 대한 픽셀당 길이를 획득하고, 제2 슬라브 이미지를 촬영한 카메라의 제2 각도 정보를 기초로 상기 다른 길이 기준선에 대한 픽셀당 길이를 획득할 수 있다. Although not shown, the apparatus for recognizing a slab length for obtaining a plurality of Slav images for one target slab may obtain a plurality of slab length reference lines from each Slav image. In this case, the slab length recognition device obtains the first length reference line of the target slab based on the region of interest of the first Slavic image, and the second length reference line of the target slab based on the region of interest of the second Slavic image can be obtained there is. Thereafter, the slab length recognition device acquires the length per pixel for the first length reference line based on the first angle information of the camera that photographed the first Slavic image, and the second angle information of the camera that photographed the second Slavic image A length per pixel for the other length reference line may be obtained based on the reference line.

이 경우 슬라브 길이 인식 장치는 상술한 제1 길이 기준선에 대한 픽셀당 길이 및 상기 제2 길이 기준선에 대한 픽셀당 길이를 이용하여 슬라브의 길이를 추정할 수 있다. 몇몇 실시예에서 슬라브 길이 인식 장치는 상술한 제1 길이 기준선을 기초로 획득한 슬라브의 길이와 상술한 제2 길이 기준선을 기초로 획득한 슬라브에 지정된 가중치를 부여하여 슬라브 길이를 연산할 수 있다. 예를 들어 슬라브 길이 인식 장치는 복수의 길이 기준선을 기초로 획득한 복수의 슬라브 길이의 중간 값을 이용하여 슬라브 길이를 연산할 수도 있다.In this case, the apparatus for recognizing the length of the slab may estimate the length of the slab by using the length per pixel for the above-described first length reference line and the length per pixel for the second length reference line. In some embodiments, the slab length recognizing apparatus may calculate the slab length by giving a specified weight to the slab obtained based on the length of the slab obtained based on the above-described first length reference line and the above-described second length reference line. For example, the slab length recognizing apparatus may calculate the slab length using an intermediate value of a plurality of slab lengths obtained based on a plurality of length reference lines.

도 6은 본 발명의 일 실시예에 따라 인공신경망을 이용하여 슬라브 길이를 추정하는 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a method of estimating a slab length using an artificial neural network according to an embodiment of the present invention.

일 실시예에서 인공신경망(310)의 구조는 한정되지 않으며, 예를 들어 CNN 기반의 인공신경망일 수 있다. 일 실시예에서 슬라브 길이를 추정하는 인공신경망(310)은 대상 슬라브를 촬영한 슬라브 이미지(301)만을 입력 데이터로 이용할 수 있다. 다른 실시예에서 슬라브 길이를 추정하는 인공신경망(310)은 이미지 세그멘테이션 수행 후, 대상 슬라브가 표시된 슬라브 이미지(302)를 입력 데이터로 이용할 수 있다. 또 다른 실시예에서 슬라브 길이를 추정하는 인공신경망(310)은 슬라브 길이 기준선을 이용하여 추정된 슬라브 길이 정보가 레이블링 된 슬라브 이미지를 입력 데이터로 이용할 수도 있다.In an embodiment, the structure of the artificial neural network 310 is not limited, and may be, for example, a CNN-based artificial neural network. In one embodiment, the artificial neural network 310 for estimating the slab length may use only the slab image 301 of the target slab as input data. In another embodiment, the artificial neural network 310 for estimating the slab length may use the slab image 302 in which the target slab is displayed as input data after image segmentation is performed. In another embodiment, the artificial neural network 310 for estimating the slab length may use a slab image labeled with the slab length information estimated using the slab length reference line as input data.

이후, 슬라브 길이 인식 장치는 인공신경망(310)이 추론한 슬라브 길이(320)를 기초로 최종 슬라브 길이를 추정할 수 있다. 제1 길이(320)는 전술한 슬라브 길이 인식 장치가 슬라브 길이 기준선을 이용하여 획득한 슬라브 길이이고, 제2 길이는 슬라브 길이 인식 장치가 인공신경망을 이용하여 추론한 슬라브 길이임을 가정하자. 예를 들어 슬라브 길이 인식 장치는 제1 길이와 제2 길이에 동일한 가중치를 부여하여 중간 값을 갖는 대상 슬라브의 최종 길이를 산출할 수 있다. 또는 다른 실시예에서 슬라브 길이 인식 장치는 상술한 제1 길이 또는 제2 길이 중 어느 하나에 더 높은 가중치를 부여하여 대상 슬라브의 최종 길이를 산출할 수도 있다. 예를 들어 학습 데이터 부족으로 인공신경망의 학습이 충분히 수행되지 않은 경우, 슬라브 길이 인식 장치는 제1 길이의 가중치를 제2 길이의 가중치보다 높게 부여하여 대상 슬라브의 최종 길이를 산출할 수 있다. 이후, 인공신경망의 학습이 충분히 수행되어 지정된 기준치 이상의 신뢰도를 갖는 추론을 수행하는 경우, 슬라브 길이 인식 장치는 제2 길이의 가중치를 상기 제1 길이의 가중치보다 높게 부여하여 상기 대상 슬라브의 최종 길이를 산출할 수 있다.Thereafter, the slab length recognition device may estimate the final slab length based on the slab length 320 inferred by the artificial neural network 310 . Assume that the first length 320 is the slab length obtained by the slab length recognition apparatus described above using the slab length reference line, and the second length is the slab length inferred by the slab length recognition apparatus using an artificial neural network. For example, the slab length recognition apparatus may calculate the final length of the target slab having an intermediate value by giving the same weight to the first length and the second length. Alternatively, in another embodiment, the slab length recognition device may calculate the final length of the target slab by giving a higher weight to any one of the above-described first length or second length. For example, when the training of the artificial neural network is not sufficiently performed due to lack of training data, the slab length recognition apparatus may calculate the final length of the target slab by giving a weight of the first length higher than the weight of the second length. After that, when the learning of the artificial neural network is sufficiently performed to perform inference with a reliability greater than or equal to the specified reference value, the slab length recognition apparatus gives the weight of the second length higher than the weight of the first length to determine the final length of the target slab can be calculated.

도 7은 본 발명의 일 실시예에 따라 노이즈가 제거된 슬라브 이미지를 이용하여 슬라브 객체를 탐지하는 방법을 설명하기 위한 도면이다.7 is a view for explaining a method of detecting a Slavic object using a Slavic image from which noise has been removed according to an embodiment of the present invention.

본 발명의 일 실시예에 따라 획득된 슬라브 이미지는 슬라브 공정 현장의 특성에 따라 다양한 노이즈가 포함될 수 있다. 따라서 본 발명의 몇몇 실시예에 따른 슬라브 길이 인식 방법은 획득한 슬라브 이미지의 노이즈를 제거하는 단계를 더 수행할 수 있다.The slab image obtained according to an embodiment of the present invention may include various noises according to the characteristics of the slab process site. Therefore, the slab length recognition method according to some embodiments of the present invention may further perform the step of removing the noise of the acquired slab image.

본 실시예에 따른 슬라브 길이 인식 방법을 수행하는 장치는 입력된 슬라브 이미지(401)를 이미지 특징 추출부(402) 및 노이즈 제거부(403)로 전달할 수 있다.The apparatus for performing the slab length recognition method according to the present embodiment may transmit the input slab image 401 to the image feature extraction unit 402 and the noise removal unit 403 .

이후, 슬라브 길이 인식 장치는 노이즈 제거부(403)에서 획득한 노이즈 제거 이미지(404)를 객체 탐지부(405)로 전달할 수 있다. 또한, 이미지 특징 추출부(402)에서 추출한 특징 데이터도 객체 탐지부(405)로 전달될 수 있다. 이 경우 이미지 특징 추출부(402)및 노이브 제거부(403)로부터 데이터를 획득한 객체 탐지부(405)는 상술한 노이즈 제거 이미지(404) 및 특징 데이터를 이용하여 슬라브 객체를 탐지할 수 있다.Thereafter, the apparatus for recognizing the slab length may transmit the noise removal image 404 obtained by the noise removal unit 403 to the object detection unit 405 . Also, the feature data extracted by the image feature extraction unit 402 may be transmitted to the object detection unit 405 . In this case, the object detection unit 405 that has obtained data from the image feature extraction unit 402 and the noise removal unit 403 may detect a Slavic object using the noise removal image 404 and the characteristic data. .

본 발명의 몇몇 실시예에 따른 슬라브 길이 인식 장치는 노이즈 제거부(403)와 별도로 이미지 특징 추출부(402)를 구비함으로써, 노이즈 제거에 따라 발생하는 데이터 손실을 최소화 할 수 있다. 즉, 이 경우 노이즈 제거부(403)에 의해 손실된 데이터는 이미지 특징 추출부(402)에 의해 보정될 수 있다. The apparatus for recognizing the slab length according to some embodiments of the present invention includes the image feature extraction unit 402 separately from the noise removal unit 403, thereby minimizing data loss caused by noise removal. That is, in this case, the data lost by the noise removing unit 403 may be corrected by the image feature extracting unit 402 .

일 실시예에서 이미지 특징 추출부(402)에 이용되는 이미지 인식 모델의 구조 및 형태는 한정되지 않는다. 예를 들어 이미지 특징 추출부(402)는 VGG 16 구조의 이미지 인식 모델을 포함할 수 있다.In an embodiment, the structure and shape of the image recognition model used in the image feature extraction unit 402 is not limited. For example, the image feature extraction unit 402 may include an image recognition model having a VGG 16 structure.

도 8은 도 7의 노이즈 제거부의 동작 방법을 상세히 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining in detail an operation method of the noise removing unit of FIG. 7 .

본 발명의 일 실시예에 따른 노이즈 제거부는 인공신경망을 이용할 수 있으나, 인공신경망의 구조 및 형태는 한정되지 않는다. 일 실시예에 따른 노이즈 제거부는 GAN(generative adversarial network ) 구조의 인공신경망을 이용하여 노이즈가 제거된 이미지를 생성할 수 있다. 이 경우 노이즈 제거부에 포함된 인공신경망의 생성기(422)는 수신한 노이즈 이미지(421)를 기초로 노이즈가 제거된 이미지(423)를 생성할 수 있으며, 해당 인공신경망의 분류기(412)는 노이즈가 제거된 이미지(423) 및 노이즈가 존재하지 않는 이미지(411)를 기초로 이미지의 노이즈 유무를 예측한 결과 데이터(413)를 출력할 수 있다.The noise removing unit according to an embodiment of the present invention may use an artificial neural network, but the structure and form of the artificial neural network are not limited. The noise removal unit according to an embodiment may generate an image from which noise is removed by using an artificial neural network having a generative adversarial network (GAN) structure. In this case, the generator 422 of the artificial neural network included in the noise removal unit may generate an image 423 from which noise has been removed based on the received noise image 421, and the classifier 412 of the artificial neural network generates noise. Data 413 as a result of predicting the presence or absence of noise in the image based on the image 423 from which is removed and the image 411 in which noise does not exist may be output.

도 9는 본 발명의 일 실시예에 따라 슬라브 이미지의 노이즈를 제거하는 방법을 설명하기 위한 도면이다.9 is a view for explaining a method of removing noise of a Slavic image according to an embodiment of the present invention.

도 9의 (a)는 슬라브 공정 현장의 습기에 따라 노이즈가 포함된 슬라브 이미지의 일 예시가 도시되어 있다. 본 발명의 일 실시예에 따른 노이즈 제거부는 도시된 도 9의 (a)와 같은 이미지를 기초로 (b)와 같이 노이즈가 제거된 이미지를 생성할 수 있다. 도시된 바와 같이 노이즈가 제거된 이미지를 이용하는 경우 슬라브 객체 탐지의 정확도가 향상될 수 있음은 물론이다.Figure 9 (a) is an example of a slab image containing noise according to the moisture of the slab process site is shown. The noise removing unit according to an embodiment of the present invention may generate an image from which noise is removed as shown in (b) based on the image shown in FIG. 9 (a). It goes without saying that the accuracy of Slavic object detection can be improved when an image from which noise is removed as shown is used.

도 10의 (a)는 노이즈가 제거되지 않은 이미지를 기초로 객체를 탐지한 경우, 도 10의 (b)는 노이즈가 제거된 이미지를 기초로 객체를 탐지한 경우를 도시하고 있다.10A illustrates a case in which an object is detected based on an image from which noise is not removed, and FIG. 10B illustrates a case in which an object is detected based on an image from which noise is removed.

도시된 바를 참조하면 노이즈를 제거하지 않은 이미지를 이용한 도 10의 (a)의 경우보다, 노이즈를 제거한 이미지를 이용한 도 10의 (b)의 경우 객체 탐지의 정확도가 더 향상된 것을 알 수 있다.Referring to the drawings, it can be seen that the accuracy of object detection is more improved in the case of FIG. 10 (b) using the noise-removed image than in the case of FIG. 10(a) using the non-noise-removed image.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (15)

컴퓨팅 장치에 의해 수행되는 슬라브 길이 인식 방법에 있어서,
대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 제2 각도에서 촬영한 제2 슬라브 이미지를 획득하는 단계;
상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 분할(segmentation)하여 관심 영역을 추출하는 단계;
상기 제1 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 길이 기준선을 획득하고, 상기 제1 각도를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하는 단계;
상기 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 연산하는 단계;
상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 CNN(Convolutional Neural Network)구조의 인공신경망에 입력하여 상기 대상 슬라브의 제2 길이를 추정하는 단계; 및
상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출하는 단계;를 포함하는,
를 포함하는 슬라브 길이 인식 방법.
In the slab length recognition method performed by a computing device,
obtaining a first Slavic image taken from a first angle and a second Slavic image taken from a second angle of the target Slav;
extracting a region of interest by segmenting the first Slavic image and the second Slavic image in units of pixels;
obtaining a length reference line of the target slab based on the region of interest of the first Slavic image, and obtaining a length per pixel for the length reference line based on the first angle;
calculating a first length of the target slab using the length per pixel with respect to the length reference line;
estimating a second length of the target Slav by inputting the first Slavic image and the second Slavic image to an artificial neural network of a CNN (Convolutional Neural Network) structure; and
Calculating the final length of the target slab by giving a specified weight to the first length and the second length; including,
Slab length recognition method comprising a.
 제1 항에 있어서,
상기 관심 영역을 추출하는 단계는,
상기 추출된 관심 영역에 대한 신뢰도를 측정하는 단계; 및
상기 측정된 신뢰도를 기초로 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 재분할하여 상기 관심 영역을 추출하는 단계를 포함하는,
슬라브 길이 인식 방법.
According to claim 1,
Extracting the region of interest comprises:
measuring the reliability of the extracted ROI; and
Re-segmenting the first Slavic image and the second Slavic image in units of pixels based on the measured reliability to extract the region of interest,
Slab length recognition method.
 제2 항에 있어서,
상기 신뢰도를 측정하는 단계는,
상기 관심 영역을 복수의 단위 영역으로 분할하고, 복수의 단위 영역별 슬라브 검출 확률을 연산하는 단계를 포함하는,
슬라브 길이 인식 방법.
3. The method of claim 2,
The step of measuring the reliability is
dividing the region of interest into a plurality of unit regions and calculating a slab detection probability for each of the plurality of unit regions;
Slab length recognition method.
 제1 항에 있어서,
상기 대상 슬라브의 길이 기준선을 검출하는 단계는,
상기 제1 슬라브 이미지와 상기 제1 각도를 포함하는 제1 입력 데이터, 상기 제2 슬라브 이미지와 상기 제2 각도를 포함하는 제2 입력 데이터를 상기 인공신경망에 입력하여 상기 대상 슬라브의 길이를 추정하는 단계;를 포함하는,
슬라브 길이 인식 방법.
According to claim 1,
The step of detecting the length reference line of the target slab,
To estimate the length of the target slab by inputting the first input data including the first Slavic image and the first angle, the second input data including the second Slavic image and the second angle to the artificial neural network comprising;
Slab length recognition method.
 제1 항에 있어서,
상기 대상 슬라브의 제2 길이를 추정하는 단계는,
상기 제1 길이가 라벨링 된 상기 제1 슬라브 이미지를 이용하여 상기 인공신경망을 학습시키는 단계; 및
상기 학습된 인공신경망에 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 입력하여 상기 대상 슬라브의 제2 길이를 추정하는 단계를 포함하는,
슬라브 길이 인식 방법.
According to claim 1,
The step of estimating the second length of the target slab,
learning the artificial neural network using the first Slavic image labeled with the first length; and
Including the step of estimating the second length of the target slab by inputting the first Slavic image and the second Slavic image to the learned artificial neural network,
Slab length recognition method.
 제5 항에 있어서,
상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출하는 단계는,
상기 학습된 인공신경망으로부터 획득한 상기 제2 길이의 가중치를 상기 제1 길이의 가중치보다 높게 부여하여 상기 대상 슬라브의 최종 길이를 산출하는 단계를 포함하는,
슬라브 길이 인식 방법.
6. The method of claim 5,
The step of calculating the final length of the target slab by giving a specified weight to the first length and the second length,
Comprising the step of calculating the final length of the target slab by giving a weight of the second length obtained from the learned artificial neural network higher than the weight of the first length,
Slab length recognition method.
 제1 항에 있어서,
상기 제1 각도를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하는 단계는,
상기 제2 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 다른 길이 기준선을 획득하고, 상기 제2 각도를 기초로 상기 다른 길이 기준선에 대한 픽셀당 길이를 획득하는 단계;를 포함하고,
상기 대상 슬라브의 제1 길이를 연산하는 단계는,
상기 길이 기준선에 대한 픽셀당 길이 및 상기 다른 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 연산하는 단계;를 포함하는,
슬라브 길이 인식 방법.
According to claim 1,
Acquiring the length per pixel with respect to the length reference line based on the first angle comprises:
Obtaining a different length reference line of the target slab based on the region of interest of the second Slavic image, and obtaining a length per pixel for the different length reference line based on the second angle; includes,
The step of calculating the first length of the target slab,
calculating the first length of the target slab using the length per pixel for the length reference line and the length per pixel for the other length reference line;
Slab length recognition method.
 프로세서;를 포함하고,
상기 프로세서는,
대상 슬라브를 제1 각도에서 촬영한 제1 슬라브 이미지 및 제2 각도에서 촬영한 제2 슬라브 이미지를 획득하고, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 분할(segmentation)하여 관심 영역을 추출하고, 상기 제1 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 길이 기준선을 획득하고, 상기 제1 각도를 기초로 상기 길이 기준선에 대한 픽셀당 길이를 획득하며, 상기 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 계산하고, 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 CNN(Convolutional Neural Network)구조의 인공신경망에 입력하여 상기 대상 슬라브의 제2 길이를 추정하며, 상기 제1 길이 및 상기 제2 길이에 지정된 가중치를 부여하여 상기 대상 슬라브의 최종 길이를 산출하는,
를 포함하는 슬라브 길이 인식 장치.
processor; including;
The processor is
A first Slavic image taken from a first angle and a second Slavic image taken from a second angle of the target Slav are obtained, and the first Slavic image and the second Slavic image are divided into pixel units by segmentation to a region of interest extracting, obtaining a length reference line of the target slab based on the region of interest of the first Slavic image, obtaining a length per pixel for the length reference line based on the first angle, and pixels for the length reference line Calculate the first length of the target slab using the length of the target, and input the first Slavic image and the second Slavic image to an artificial neural network of a CNN (Convolutional Neural Network) structure to estimate the second length of the target slab and calculating the final length of the target slab by giving a specified weight to the first length and the second length,
Slab length recognition device comprising a.
 제8 항에 있어서,
상기 프로세서는,
상기 추출된 관심 영역에 대한 신뢰도를 측정하고, 상기 측정된 신뢰도를 기초로 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 픽셀 단위로 재분할하여 상기 관심 영역을 재 추출하는,
슬라브 길이 인식 장치.
9. The method of claim 8,
The processor is
Measuring the reliability of the extracted ROI, and re-extracting the ROI by re-segmenting the first Slavic image and the second Slavic image in pixel units based on the measured reliability,
Slab length recognition device.
 제9 항에 있어서,
상기 프로세서는,
상기 관심 영역을 복수의 단위 영역으로 분할하고, 복수의 단위 영역별 슬라브 검출 확률을 연산하는,
슬라브 길이 인식 장치.
10. The method of claim 9,
The processor is
dividing the region of interest into a plurality of unit regions and calculating a slab detection probability for each of the plurality of unit regions,
Slab length recognition device.
 제8 항에 있어서,
상기 프로세서는
상기 제1 슬라브 이미지와 상기 제1 각도를 포함하는 제1 입력 데이터, 상기 제2 슬라브 이미지와 상기 제2 각도를 포함하는 제2 입력 데이터를 상기 인공신경망에 입력하여 상기 대상 슬라브의 길이를 추정하는,
슬라브 길이 인식 장치.
9. The method of claim 8,
the processor is
To estimate the length of the target slab by inputting the first input data including the first Slavic image and the first angle, the second input data including the second Slavic image and the second angle to the artificial neural network ,
Slab length recognition device.
 제8 항에 있어서,
상기 프로세서는,
상기 제1 길이가 라벨링 된 상기 제1 슬라브 이미지를 이용하여 상기 인공신경망을 학습시키고, 상기 학습된 인공신경망에 상기 제1 슬라브 이미지 및 상기 제2 슬라브 이미지를 입력하여 상기 대상 슬라브의 제2 길이를 추정하는,
슬라브 길이 인식 장치.
9. The method of claim 8,
The processor is
Learning the artificial neural network using the first Slavic image labeled with the first length, and inputting the first Slavic image and the second Slavic image to the learned artificial neural network, the second length of the target slab estimated,
Slab length recognition device.
 제12 항에 있어서,
상기 프로세서는,
상기 학습된 인공신경망으로부터 획득한 상기 제2 길이의 가중치를 상기 제1 길이의 가중치보다 높게 부여하여 상기 대상 슬라브의 최종 길이를 산출하는,
슬라브 길이 인식 장치.
13. The method of claim 12,
The processor is
Calculating the final length of the target slab by giving the weight of the second length obtained from the learned artificial neural network higher than the weight of the first length,
Slab length recognition device.
 제8 항에 있어서,
상기 프로세서는,
상기 제2 슬라브 이미지의 관심 영역을 기초로 상기 대상 슬라브의 다른 길이 기준선을 획득하고, 상기 제2 각도를 기초로 상기 다른 길이 기준선에 대한 픽셀당 길이를 획득하고, 상기 길이 기준선에 대한 픽셀당 길이 및 상기 다른 길이 기준선에 대한 픽셀당 길이를 이용하여 상기 대상 슬라브의 제1 길이를 연산하는,
슬라브 길이 인식 장치.
9. The method of claim 8,
The processor is
obtaining a different length reference line of the target slab based on the region of interest of the second Slavic image, obtaining a length per pixel for the different length reference line based on the second angle, and obtaining a length per pixel for the length reference line and calculating the first length of the target slab using the length per pixel with respect to the other length reference line,
Slab length recognition device.
 컴퓨터를 이용하여 제1항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a recording medium for executing the method of any one of claims 1 to 7 using a computer.
KR1020200094797A 2020-07-29 2020-07-29 Method and apparatus for recognizing the length of a slab using an artificial neural network KR102368031B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200094797A KR102368031B1 (en) 2020-07-29 2020-07-29 Method and apparatus for recognizing the length of a slab using an artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094797A KR102368031B1 (en) 2020-07-29 2020-07-29 Method and apparatus for recognizing the length of a slab using an artificial neural network

Publications (2)

Publication Number Publication Date
KR20220014762A KR20220014762A (en) 2022-02-07
KR102368031B1 true KR102368031B1 (en) 2022-03-02

Family

ID=80253497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094797A KR102368031B1 (en) 2020-07-29 2020-07-29 Method and apparatus for recognizing the length of a slab using an artificial neural network

Country Status (1)

Country Link
KR (1) KR102368031B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100268217B1 (en) 1998-09-15 2001-01-15 김광호 Slab Size Measurement System
CN102616656A (en) 2011-01-30 2012-08-01 宝山钢铁股份有限公司 Slab information detection method for clamping slabs in crane automatic control mode
KR101981031B1 (en) 2018-05-18 2019-05-23 제이에이치데이터시스템 주식회사 Platform for scrapping metal based on artificial intelligence

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101126372B1 (en) * 2009-04-27 2012-03-28 한화테크엠주식회사 Apparatus for measuring dimension of object
KR101225799B1 (en) * 2010-09-29 2013-01-23 현대제철 주식회사 Method for measuring size of slab

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100268217B1 (en) 1998-09-15 2001-01-15 김광호 Slab Size Measurement System
CN102616656A (en) 2011-01-30 2012-08-01 宝山钢铁股份有限公司 Slab information detection method for clamping slabs in crane automatic control mode
KR101981031B1 (en) 2018-05-18 2019-05-23 제이에이치데이터시스템 주식회사 Platform for scrapping metal based on artificial intelligence

Also Published As

Publication number Publication date
KR20220014762A (en) 2022-02-07

Similar Documents

Publication Publication Date Title
CN108875766B (en) Image processing method, device, system and computer storage medium
CN108256431B (en) Hand position identification method and device
JP6455113B2 (en) Object tracking method and apparatus
KR102459853B1 (en) Method and device to estimate disparity
US8755562B2 (en) Estimation apparatus, control method thereof, and program
CN108875534B (en) Face recognition method, device, system and computer storage medium
CN109934847B (en) Method and device for estimating posture of weak texture three-dimensional object
US8971573B2 (en) Video-tracking for video-based speed enforcement
KR102476016B1 (en) Apparatus and method for determining position of eyes
CN108182695B (en) Target tracking model training method and device, electronic equipment and storage medium
US10255673B2 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
US20160133007A1 (en) Crack data collection apparatus and server apparatus to collect crack data
KR102198920B1 (en) Method and system for object tracking using online learning
WO2022095514A1 (en) Image detection method and apparatus, electronic device, and storage medium
EP3633606A1 (en) Information processing device, information processing method, and program
JP2019124539A5 (en)
US10643338B2 (en) Object detection device and object detection method
CN110751040B (en) Three-dimensional object detection method and device, electronic equipment and storage medium
JP5704909B2 (en) Attention area detection method, attention area detection apparatus, and program
KR102368031B1 (en) Method and apparatus for recognizing the length of a slab using an artificial neural network
CN109829401A (en) Traffic sign recognition method and device based on double capture apparatus
CN106406507B (en) Image processing method and electronic device
JP2010146522A (en) Face image tracking device, face image tracking method, and program
CN110570680A (en) Method and system for determining position of object using map information
KR102247057B1 (en) Method and apparatus for calculating the length of slabs using artificial neural networks

Legal Events

Date Code Title Description
GRNT Written decision to grant