KR102667656B1 - 딥러닝을 이용한 래들 트래킹 시스템 - Google Patents

딥러닝을 이용한 래들 트래킹 시스템 Download PDF

Info

Publication number
KR102667656B1
KR102667656B1 KR1020210095482A KR20210095482A KR102667656B1 KR 102667656 B1 KR102667656 B1 KR 102667656B1 KR 1020210095482 A KR1020210095482 A KR 1020210095482A KR 20210095482 A KR20210095482 A KR 20210095482A KR 102667656 B1 KR102667656 B1 KR 102667656B1
Authority
KR
South Korea
Prior art keywords
ladle
state
recognition
unit
recognition accuracy
Prior art date
Application number
KR1020210095482A
Other languages
English (en)
Other versions
KR20230014296A (ko
Inventor
이강원
권경락
손병종
최형근
Original Assignee
현대제철 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대제철 주식회사 filed Critical 현대제철 주식회사
Priority to KR1020210095482A priority Critical patent/KR102667656B1/ko
Publication of KR20230014296A publication Critical patent/KR20230014296A/ko
Application granted granted Critical
Publication of KR102667656B1 publication Critical patent/KR102667656B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 제강 공정 내의 여러 개소를 이동하며 용강을 운반하는 래들 들의 상태 및 식별 번호를 영상인식 기반의 딥러닝 기술로 각 개소별로 인식할 수 있는 딥러닝을 이용한 래들 트래킹 시스템에 관한 것으로서, 제강 공정 내 소정 개소에 설치되어, 용강을 담아 운반하는 래들(Ladle)의 이미지를 획득하는 카메라부와, CNN(Convolutional Neural Network) 모델을 기반으로 상기 제강 공정의 각 개소에 설치된 상기 카메라부로부터 전송된 상기 이미지를 분석하여, 각 개소에서의 상기 래들의 상태 및 상기 래들의 식별 번호를 인식하고, 그 인식 결과를 인식 정확도와 함께 출력하는 래들 트래킹부 및 상기 래들 트래킹부로부터 출력되는 상기 제강 공정의 각 개소의 상기 래들의 상기 인식 결과와 상기 인식 정확도를 바탕으로 출력된 최종 결과를 데이터 베이스 서버로 전송하는 데이터 모니터링부를 포함할 수 있다.

Description

딥러닝을 이용한 래들 트래킹 시스템{Ladle tracking system using deep learning}
본 발명은 딥러닝을 이용한 래들 트래킹 시스템에 관한 것으로서, 더 상세하게는 제강 공정 내의 여러 개소를 이동하며 용강을 운반하는 래들 들의 상태 및 식별 번호를 영상인식 기반의 딥러닝 기술로 각 개소별로 인식할 수 있는 딥러닝을 이용한 래들 트래킹 시스템에 관한 것이다.
용선은 용광로에서 나와 녹아 있는 상태의 선철을 의미한다. 용선은 전로에 담기고 순수한 산소를 불어 넣게 되면 선철 내의 불순물인 규소, 망가니즈 및 인 등이 산화되어 발열하고 이로써 탄소도 산화하여 제거되는 취련 과정을 거친다. 이렇게 불순물이 제거된 깨끗한 쇳물을 용강이라 한다. 전로에서 취련이 완료된 용강을 담아 주조공정의 주형으로 주입하기 위한 그릇을 래들(ladle)이라 한다. 래들은 용선이나 용강을 받는 용기로서 그 사용 목적과 용도에 따라 용선 래들, 장입 래들 및 주조 래들 등으로 구분된다. 일반적으로, 제철소에서 래들은 크레인에 연결되어 그 동작이 자동으로 제어된다. 그리고 이러한 래들에는 고유의 식별 번호가 주어져 있어서 철강 생산 공정 등에서 래들을 인식하는 인식표로 이용된다.
제강 공정 내에서 공정 사이클에 투입되어 용강을 운반하는 래들, 공정 투입을 위해 대기하는 래들, 수리를 위해 대기하는 래들 등 다양한 경로 및 대기 시간, 작업 소요시간을 가지는 래들의 운용을 최적화하기 위해, 래들의 상태 및 식별 번호와 같은 래들의 고유 정보를 인식하여 래들을 효과적으로 추적 및 관리할 수 있는 래들 트래킹 시스템이 필수적으로 사용될 수 있다.
이러한, 래들의 정보를 획득하기 위한 방법으로, 일반적으로, 작업자의 수동 입력, 반도체 칩이 내장된 태그(RFID, Radio Frequency Identification)를 이용한 래들 트래킹, 컴퓨터 비전을 이용한 래들 트래킹 시스템이 제안되고 있다.
등록특허공보 제10-2093852호(공고일자 2020년03월26일)
그러나, 이러한 종래의 래들 트래킹 시스템은, 작업자의 수동 입력의 경우, 정보를 획득하고자 하는 개소 마다 작업자를 투입해야 하며, 휴면 에러와 같은 데이터의 신뢰도 저하가 발생하는 문제점이 있었다.
그리고, 반도체 칩이 내장된 태그를 이용한 래들 트래킹 시스템의 경우, 각 래들에 RFID 태그를 부착하고 공정별 각 개소에 안테나를 설치하여 해당 위치 도착 래들의 정보를 획득할 수 있으나, RFID 태그는 열에 취약하여 고온 환경(용강 최대 온도 1,600℃)에서 설비관리의 문제(고온의 용강으로 인한 신호 노이즈 발생, 고온에 의한 RFID 태그 손상)가 있으며, 이를 해결하기 위해 RFID 태그 보호장치나 냉각 장치 등의 추가 설비가 필요한 문제점이 있었다. 또한, RFID 태그에 등록된 정보만 인식 가능하다는 제한이 존재하는 문제점이 있었다.
그리고, 컴퓨터 비전을 이용한 래들 트래킹 시스템의 경우, 카메라를 통해 촬영된 이미지 데이터를 이용해 영상처리 기법을 거쳐 이미지 내 래들의 번호를 취득하는 방법이나, RFID 방식을 대체하기 위해서는 높은 인식 정확도를 확보해야 하며, 제강 공정은 비산먼지, 고온 용강의 빛, 크레인이나 작업자의 가림으로 인해 래들의 식별 번호 인식이 용이하지 않은 문제점이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 영상 이미지에서 특징 맵(Feature Map)을 자동으로 추출하고, 이들의 분포 및 관계를 학습하여 영상인식에서 높은 성능을 보이는 합성 곱 신경망(CNN, Convolutional Neural Network)구조의 딥러닝 알고리즘을 래들의 상태 인식과 래들의 식별 번호 인식 두 단계로 구성하여 제강 공정 내 각 개소에서 래들의 트래킹을 정확하게 수행할 수 있는 딥러닝을 이용한 래들 트래킹 시스템을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 딥러닝을 이용한 래들 트래킹 시스템이 제공된다. 상기 딥러닝을 이용한 래들 트래킹 시스템은, 제강 공정 내 소정 개소에 설치되어, 용강을 담아 운반하는 래들(Ladle)의 이미지를 획득하는 카메라부; CNN(Convolutional Neural Network) 모델을 기반으로 상기 제강 공정의 각 개소에 설치된 상기 카메라부로부터 전송된 상기 이미지를 분석하여, 각 개소에서의 상기 래들의 상태 및 상기 래들의 식별 번호를 인식하고, 그 인식 결과를 인식 정확도와 함께 출력하는 래들 트래킹부; 및 상기 래들 트래킹부로부터 출력되는 상기 제강 공정의 각 개소의 상기 래들의 상기 인식 결과와 상기 인식 정확도를 바탕으로 출력된 최종 결과를 데이터 베이스 서버로 전송하는 데이터 모니터링부;를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 래들 트래킹부은, 상기 이미지의 원본인 원본 이미지에서 CNN 모델을 기반으로 특정 좌표에 위치한 상기 래들을 탐지하여 상기 래들의 상태를 인식하고 상기 상태 인식 정확도와 함께 출력하는 래들 상태 인식 모듈; 상기 원본 이미지에서 상기 래들 부분을 크롭(Crop)한 크롭 이미지에서 CNN 모델을 기반으로 상기 래들의 식별 번호를 인식하고 상기 번호 인식 정확도와 함께 출력하는 래들 번호 인식 모듈; 및 상기 래들 상태 인식 모듈로부터 출력된 상기 래들의 상태와 상기 상태 인식 정확도 및 상기 래들 번호 인식 모듈로부터 출력된 상기 래들의 식별 번호와 상기 번호 인식 정확도를 사용하여 상기 래들의 상기 인식 결과를 상기 인식 정확도와 함께 출력하는 후처리 모듈;을 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 래들 상태 인식 모듈은, 상기 원본 이미지 원본의 폭과 높이를 소정의 비율로 축소시켜 리사이징 이미지를 출력하는 리사이즈부; CNN 모델을 기반으로 상기 리사이징 이미지로부터 상기 래들의 상태를 인식할 수 있도록, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합 중 어느 하나 이상을 포함하여 상기 리사이징 이미지로부터 상태 특징맵을 추출하는 래들 상태 특징 추출부; 및 상기 상태 특징맵으로부터 상기 래들의 상태 및 상기 상태 인식 정확도를 출력하는 상태 출력부;를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 래들 번호 인식 모듈은, 상기 상태 출력부에서 인식된 상기 원본 이미지 상에서의 상기 래들의 인식 좌표를 기반으로, 상기 원본 이미지에서 상기 래들 부분을 크롭한 상기 크롭 이미지를 출력하는 크롭부; CNN 모델을 기반으로 상기 크롭 이미지로부터 상기 래들의 식별 번호를 인식할 수 있도록, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합 중 어느 하나 이상을 포함하여 상기 크롭 이미지로부터 번호 특징맵을 추출하는 래들 번호 특징 추출부; 및 상기 번호 특징맵으로부터 상기 래들의 식별 번호 및 상기 번호 인식 정확도를 출력하는 번호 출력부;를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 상태 출력부는, 상기 상태 특징맵에서 상기 래들이 검출될 경우, 상기 원본 이미지로부터 리사이징된 상기 리사이징 이미지의 축소 비율을 고려하여, 상기 리사이징 이미지 상에서의 상기 래들의 인식 좌표를 상기 원본 이미지 상에서 상기 래들이 위치하는 좌표로 변환하여 상기 크롭부로 출력할 수 있다.
본 발명의 일 실시예에 의하면, 상기 후처리 모듈은, 상기 래들 상태 인식 모듈의 상기 상태 출력부로부터 출력된 상기 래들의 상태 및 상기 상태 인식 정확도를 판단하여, 상기 상태 인식 정확도가 소정 수치 이상일 경우 상기 래들의 상태를 래들 상태 메모리에 입력하고, 상기 상태 인식 정확도가 상기 소정 수치 이하일 경우 해당 인식 모델의 추가 학습을 위해 상기 상태 출력부로 전송하는 래들 상태 입력 판단부; 상기 래들 번호 인식 모듈의 상기 번호 출력부로부터 출력된 상기 래들의 식별 번호 및 상기 번호 인식 정확도를 판단하여, 상기 번호 인식 정확도가 상기 소정 수치 이상일 경우 상기 래들의 식별 번호를 래들 번호 메모리에 입력하고, 상기 번호 인식 정확도가 상기 소정 수치 이하일 경우 해당 인식 모델의 추가 학습을 위해 상기 번호 출력부로 전송하는 래들 번호 입력 판단부; 및 상기 래들 상태 메모리의 최빈값 및 상기 래들 번호 메모리의 최빈값을 출력하여, 상기 래들의 상태 및 상기 래들의 식별 번호를 포함하는 상기 인식 결과를 상기 인식 정확도와 함께 출력하는 결과 출력부;를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 래들 상태 메모리 및 상기 래들 번호 메모리는, 상기 래들의 상태 및 식별 번호를 시간의 변화에 따라 기억할 수 있는 메모리일 수 있다.
본 발명의 일 실시예에 의하면, 상기 결과 출력부는, 래들있음, 작업중, 대기중 및 래들없음 중 적어도 어느 하나 이상으로 시간 순서대로 상기 래들 상태 메모리에 입력된 상기 래들의 상태와, 상기 래들의 각각의 상태가 입력된 시간과 매치되는 시간에 상기 래들 번호 메모리에 입력된 상기 래들의 식별 번호를 매치하여 상기 인식 결과로 상기 인식 정확도와 함께 출력할 수 있다.
본 발명의 일 실시예에 의하면, 상기 결과 출력부는, 상기 래들 상태 메모리에 입력된 상기 래들의 상태 중 어느 한 상태와, 상기 어느 한 상태가 입력된 시간과 매치되는 시간에 상기 래들 번호 메모리에 입력된 상기 래들의 식별 번호가 없을 경우, 상기 어느 한 상태의 이전 상태가 입력된 시간과 매치되는 시간에 상기 래들 번호 메모리에 입력된 상기 래들의 식별 번호를 상기 어느 한 상태에서의 식별 번호로 매치하여 상기 인식 결과로 상기 인식 정확도와 함께 출력할 수 있다.
본 발명의 일 실시예에 의하면, 상기 데이터 모니터링부는, 상기 래들의 상기 인식 결과와 상기 인식 정확도를 지속적으로 상기 데이터 베이스 서버에 누적시키고, 상기 인식 정확도가 모델 재학습이 필요한 소정 수치 이하가 될 경우 모델 재학습 필요 알람을 발생시킬 수 있다.
상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 영상 이미지에서 특징 맵(Feature Map)을 자동으로 추출하고, 이들의 분포 및 관계를 학습하여 영상인식에서 높은 성능을 보이는 합성 곱 신경망(CNN, Convolutional Neural Network)구조의 딥러닝 알고리즘을 래들의 상태 인식과 래들의 식별 번호 인식 두 단계로 구성하여, 래들의 트래킹을 정확하고 안정적으로 수행할 수 있다.
또한, 래들의 상태 및 래들의 식별 번호를 시간별 정보로 저장할 수 있는 메모리 구조 및 상기 메모리에 저장된 정보로부터 래들의 상태 판단 및 래들의 식별 번호 판단의 알고리즘을 포함하는 후처리 프로세스를 포함함으로써, 래들의 높은 인식 성능을 확보할 수 있는 딥러닝을 이용한 래들 트래킹 시스템을 구현할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 래들 트래킹 시스템을 개략적으로 나타내는 블록도이다.
도 2는 도 1의 딥러닝을 이용한 래들 트래킹 시스템의 래들 트래킹부 및 데이터 모니터링부를 더욱 상세하게 나타내는 블록도이다.
도 3은 도 2의 후처리 모듈의 래들 상태 메모리 및 래들 번호 메모리에 시간의 변화에 따라 저장된 래들의 상태 및 식별 번호를 나타내는 그래프이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 실시예들을 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 래들 트래킹 시스템(1000)을 개략적으로 나타내는 블록도이고, 도 2는 도 1의 딥러닝을 이용한 래들 트래킹 시스템(1000)의 래들 트래킹부(200) 및 데이터 모니터링부(300)를 더욱 상세하게 나타내는 블록도이며, 도 3은 도 2의 후처리 모듈(230)의 래들 상태 메모리(234) 및 래들 번호 메모리(235)에 시간의 변화에 따라 저장된 래들의 상태 및 식별 번호를 나타내는 그래프이다.
먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 딥러닝을 이용한 래들 트래킹 시스템(1000)은, 크게, 카메라부(100)와, 래들 트래킹부(200)와, 데이터 모니터링부(300) 및 데이터 베이스 서버(400)를 포함할 수 있다.
도 1에 도시된 바와 같이, 카메라부(100)는, 제강 공정 내 소정 개소에 설치되어, 용강을 담아 운반하는 래들(Ladle)의 이미지를 획득할 수 있다. 이러한, 카메라부(100)는, 제강 공정 내 상기 래들의 트래킹이 필요한 개소 마다 복수개가 설치될 수 있으며, 후술될 소프트웨어 적으로 모듈화된 래들 트래킹부(200) 또한 각 개소에 설치된 카메라부(100)마다 대응되도록 복수개 구성하여, 후술될 데이터 모니터링부(300)에서 통합적으로 트래킹 정보를 취합 및 관리함으로써, 간소화된 하드웨어로 카메라부(100)의 추가 만으로 상기 래들의 트래킹이 필요한 개소에서 상기 래들의 상태 및 상기 래들의 식별 번호 인식의 수행이 가능할 수 있다.
또한, 도 1에 도시된 바와 같이, 래들 트래킹부(200)는, CNN(Convolutional Neural Network) 모델을 기반으로 상기 제강 공정의 각 개소에 설치된 카메라부(100)로부터 전송된 상기 이미지를 분석하여, 각 개소에서의 상기 래들의 상태 및 상기 래들의 식별 번호를 인식하고, 그 인식 결과를 인식 정확도와 함께 출력하고, 데이터 모니터링부(300)는, 래들 트래킹부(200)로부터 출력되는 상기 제강 공정의 각 개소의 상기 래들의 상기 인식 결과와 상기 인식 정확도를 바탕으로 출력된 최종 결과를 데이터 베이스 서버(400)로 전송할 수 있다.
이러한, 딥러닝을 이용한 래들 트래킹 시스템(1000)의 래들 트래킹부(200) 및 데이터 모니터링부(300)에 대한 구성을 상세히 설명하면, 먼저, 도 2에 도시된 바와 같이, 래들 트래킹부(200)는, 상기 이미지의 원본인 원본 이미지에서 CNN 모델을 기반으로 특정 좌표에 위치한 상기 래들을 탐지하여 상기 래들의 상태를 인식하고 상기 상태 인식 정확도와 함께 출력하는 래들 상태 인식 모듈(210)과, 상기 원본 이미지에서 상기 래들 부분을 크롭(Crop)한 크롭 이미지에서 CNN 모델을 기반으로 상기 래들의 식별 번호를 인식하고 상기 번호 인식 정확도와 함께 출력하는 래들 번호 인식 모듈(220) 및 래들 상태 인식 모듈(210)로부터 출력된 상기 래들의 상태와 상기 상태 인식 정확도 및 래들 번호 인식 모듈(220)로부터 출력된 상기 래들의 식별 번호와 상기 번호 인식 정확도를 사용하여 상기 래들의 상기 인식 결과를 상기 인식 정확도와 함께 출력하는 후처리 모듈(230)을 포함할 수 있다.
더욱 구체적으로, 도 2에 도시된 바와 같이, 래들 상태 인식 모듈(210)은, 상기 원본 이미지 원본의 폭과 높이를 소정의 비율로 축소시켜 리사이징 이미지를 출력하는 리사이즈부(211)와, CNN 모델을 기반으로 상기 리사이징 이미지로부터 상기 래들의 상태를 인식할 수 있도록, 적어도 컨볼루션 레이어(Convolution layer), 풀링 레이어(Pooling layer), 활성화 함수(Activation function) 및 이들의 조합 중 어느 하나 이상을 포함하여 상기 리사이징 이미지로부터 상태 특징맵을 추출하는 래들 상태 특징 추출부(212) 및 상기 상태 특징맵으로부터 상기 래들의 상태 및 상기 상태 인식 정확도를 출력하는 상태 출력부(213)를 포함할 수 있다.
예컨대, 래들 상태 인식 모듈(210)는, 카메라부(100)로부터 받은 상기 원본 이미지 전체에서 상기 래들을 탐지하여 상기 래들의 상태를 인식할 수 있다. 이때, 인식 모델은, 객체(래들)의 좌표와, 인식 정확도인 스코어(Score)나 컨피던스(Confidence)를 출력하는 형태의 CNN 구조라면 어떠한 알고리즘이어도 무방할 수 있다.
또한, 상기 래들은, 직경이 약 5미터 이상인 원통형 구조로서 그 크기가 매우 크기 때문에, 래들 상태 인식 모듈(210)의 리사이즈부(211)를 통해서, 상기 원본 이미지의 폭과 높이를 1/2로 리사이즈 하여 상기 리사이징 이미지를 출력함으로써, 학습 및 검출 속도를 높일 수 있다.
이어서, 래들 상태 특징 추출부(212)는, 상기 컨볼루션 레이어를 통해 리사이즈부(211)에서 리사이징된 상기 리사이징 이미지의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 상기 상태 특징맵(Feature Map)을 추출할 수 있다. 예컨대, 상기 컨볼루션 레이어 필터 커널은 상기 리사이징 이미지의 사이즈보다 작은 크기의 행렬일 수 있다.
이에 따라, 상기 컨볼루션 레이어는, 상기 컨볼루션 필터 커널을 이동시켜 가면서 상기 리사이징 이미지에 곱하여 상기 상태 특징맵을 추출할 수 있다. 이때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수, 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어를 통과할 수 있다. 이 경우, 상기 풀링 레이어는, 상기 상태 특징맵에서 풀링 커널(예를 들어 n X m) 크기 만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 래들 상태 특징 추출부(212)의 CNN 모델은, 복수의 상기 컨볼루션 레이어 및 상기 풀링 레이어를 반복적으로 통과시켜 연산을 수행하여 상기 상태 특징맵을 추출하고, 상태 출력부(213)는, 상기 상태 특징맵으로부터 상기 래들의 상태를 래들있음, 작업중, 대기중 및 래들없음과 같은 4가지 상태로 출력할 수 있으며, 이때, 상기 상태 인식 정확도도 함께 출력할 수 있다. 또한, 상기 래들의 상태는 반드시 상술한 4가지에 국한되지 않고, 기계학습 모델의 특성상 원하는 상태를 추가하여 학습시킬 수 있다.
또한, 상태 출력부(213)는, 상기 상태 특징맵에서 상기 래들이 검출될 경우, 상기 원본 이미지로부터 리사이징된 상기 리사이징 이미지의 축소 비율을 고려하여, 상기 리사이징 이미지 상에서의 상기 래들의 인식 좌표를 상기 원본 이미지 상에서 상기 래들이 위치하는 좌표로 변환하여, 후술될 상기 크롭부(221)로 출력함으로써, 크롭부(221)가 상기 원본 이미지에서 상기 래들 부분을 크롭하도록 할 수 있다.
또한, 도 2에 도시된 바와 같이, 상기 래들 번호 인식 모듈(220)은, 상태 출력부(213)에서 인식된 상기 원본 이미지 상에서의 상기 래들의 인식 좌표를 기반으로, 상기 원본 이미지에서 상기 래들 부분을 크롭한 상기 크롭 이미지를 출력하는 크롭부(221)와, CNN 모델을 기반으로 상기 크롭 이미지로부터 상기 래들의 식별 번호를 인식할 수 있도록, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합 중 어느 하나 이상을 포함하여 상기 크롭 이미지로부터 번호 특징맵을 추출하는 래들 번호 특징 추출부(222) 및 상기 번호 특징맵으로부터 상기 래들의 식별 번호 및 상기 번호 인식 정확도를 출력하는 번호 출력부(223)를 포함할 수 있다.
예컨대, 상기 래들의 식별 번호는, 상기 래들에 부착되거나 각인된 형태로 카메라부(100)에서 촬영한 상기 원본 이미지 대비 매우 작은 크기를 가지고 있기 때문에 리사이즈된 상기 리사이징 이미지에서 검출하게 되면 검출 성능이 매우 떨어질 수 있다. 이에 따라, 래들 번호 인식 모듈(220)은, 크롭부(221)를 통해 카메라부(100)로부터 받은 상기 원본 이미지에서 상기 래들 부분만 크롭한 상기 크롭 이미지에서 상기 래들의 식별 번호에 대한 인식을 수행할 수 있다.
또한, 상기 래들의 작업 공정 중 상기 래들의 식별 번호 이외에도 공장에 존재하는 다양한 번호가 인식될 수 있는 상황에서도, 래들 번호 인식 모듈(220)이 상술한 바와 같이, 상기 원본 이미지에서 상기 래들 부분만 크롭한 상기 크롭 이미지에서 상기 래들의 식별 번호에 대한 인식을 수행함으로써, 공장에 존재하는 다른 번호를 상기 래들의 식별 번호로 오인하여 인식하지 않고 상기 래들의 식별 번호 인식에 대한 정확도를 높일 수 있다.
이어서, 래들 번호 특징 추출부(222)는, 상기 컨볼루션 레이어를 통해 크롭부(221)에서 크롭된 상기 크롭 이미지의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 상기 번호 특징맵을 추출할 수 있다. 예컨대, 상기 컨볼루션 레이어 필터 커널은 상기 리사이징 이미지의 사이즈보다 작은 크기의 행렬일 수 있다.
이에 따라, 상기 컨볼루션 레이어는, 상기 컨볼루션 필터 커널을 이동시켜 가면서 상기 크롭 이미지에 곱하여 상기 번호 특징맵을 추출할 수 있다. 이때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수, 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어를 통과할 수 있다. 이 경우, 상기 풀링 레이어는, 상기 번호 특징맵에서 풀링 커널(예를 들어 n X m) 크기 만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 래들 번호 특징 추출부(222)의 CNN 모델은, 복수의 상기 컨볼루션 레이어 및 상기 풀링 레이어를 반복적으로 통과시켜 연산을 수행하여 상기 번호 특징맵을 추출하고, 번호 출력부(223)는, 상기 번호 특징맵으로부터 상기 래들의 식별 번호를 인식하여 출력할 수 있으며, 이때, 상기 번호 인식 정확도도 함께 출력할 수 있다.
또한, 도 2에 도시된 바와 같이, 후처리 모듈(230)은, 래들 상태 인식 모듈(210)의 상태 출력부(213)로부터 출력된 상기 래들의 상태 및 상기 상태 인식 정확도를 판단하여, 상기 상태 인식 정확도가 소정 수치 이상일 경우 상기 래들의 상태를 래들 상태 메모리(234)에 입력하고, 상기 상태 인식 정확도가 상기 소정 수치 이하일 경우 해당 인식 모델의 추가 학습을 위해 상태 출력부(213)로 전송하는 래들 상태 입력 판단부(231)와, 래들 번호 인식 모듈(220)의 번호 출력부(223)로부터 출력된 상기 래들의 식별 번호 및 상기 번호 인식 정확도를 판단하여, 상기 번호 인식 정확도가 상기 소정 수치 이상일 경우 상기 래들의 식별 번호를 래들 번호 메모리(235)에 입력하고, 상기 번호 인식 정확도가 상기 소정 수치 이하일 경우 해당 인식 모델의 추가 학습을 위해 번호 출력부(223)로 전송하는 래들 번호 입력 판단부(232) 및 래들 상태 메모리(234)의 최빈값 및 래들 번호 메모리(235)의 최빈값을 출력하여, 상기 래들의 상태 및 상기 래들의 식별 번호를 포함하는 상기 인식 결과를 상기 인식 정확도와 함께 출력하는 결과 출력부(233)를 포함할 수 있다.
예컨대, 후처리 모듈(230)은, 래들 상태 인식 모듈(210)에서 출력된 상기 래들의 상태 및 상기 상태 인식 정확도 및 래들 번호 인식 모듈(220)에서 출력된 상기 래들의 식별 번호 및 상기 번호 인식 정확도를 사용하여 상기 인식 결과를 상기 인식 정확도와 함께 출력하는 시스템일 수 있다.
상기 래들이 작업중일 경우, 상기 래들의 회전, 고온 용강의 빛, 크레인의 이동, 작업자의 가림 등으로 인해 상기 래들의 식별 번호 영역이 가려지게 될 수 있으며, 이러한 상황에서 영상을 기반으로 하는 인식 시스템은 해당 영역에서 인식하고자 하는 대상을 찾지 못할 수 있다.
이러한, 경우를 방지하여 안정적으로 높은 인식 성능을 출력하기 위해서 상기 후처리 모듈(230)은, 상기 래들의 상태 및 식별 번호를 래들 상태 메모리(234) 및 래들 번호 메모리(235)에 입력할지 여부를 판단하기 위한 알고리즘을 가지는 래들 상태 입력 판단부(231) 및 래들 번호 입력 판단부(232)와, 도 3에 도시된 바와 같이, 입력된 상기 래들의 상태를 시간의 변화에 따라 기억할 수 있는 래들 상태 메모리(234) 및 입력된 상기 래들의 식별 번호를 시간의 변화에 따라 기억할 수 있는 래들 번호 메모리(235)를 포함할 수 있다.
이에 따라, 후처리 모듈(230)의 결과 출력부(233)는, 래들있음, 작업중, 대기중 및 래들없음 중 적어도 어느 하나 이상의 상태로 시간 순서대로 래들 상태 메모리(234)에 입력된 상기 래들의 상태와, 상기 래들의 각각의 상태가 입력된 시간과 매치되는 시간에 래들 번호 메모리(235)에 입력된 상기 래들의 식별 번호를 매치하여 상기 인식 결과로 상기 인식 정확도와 함께 출력할 수 있다.
이때, 결과 출력부(233)는, 래들 상태 메모리(234)에 입력된 상기 래들의 상태 중 어느 한 상태와, 상기 어느 한 상태가 입력된 시간과 매치되는 시간에 래들 번호 메모리(235)에 입력된 상기 래들의 식별 번호가 없을 경우, 상기 어느 한 상태의 이전 상태가 입력된 시간과 매치되는 시간에 래들 번호 메모리(235)에 입력된 상기 래들의 식별 번호를 상기 어느 한 상태에서의 식별 번호로 매치하여 상기 인식 결과로 상기 인식 정확도와 함께 출력할 수 있다.
예컨대, 제 1 시간에 래들 상태 입력 판단부(231)에 래들있음으로 입력된 상기 래들의 상태와 함께 입력된 상기 상태 인식 정확도가 상기 소정 수치 이상일 경우, 래들 상태 메모리(234)에 래들있음 상태를 상기 제 1 시간의 상태로 입력하고, 래들있음 상태와 동일한 상기 제 1 시간에 래들 번호 입력 판단부(232)로 입력된 상기 래들의 식별 번호가 상기 소정 수치 이상일 경우, 래들 번호 메모리(235)에 역시 해당 식별 번호를 상기 제 1 시간의 식별 번호로 입력할 수 있다.
이어서, 상기 제 1 시간 보다 뒤인 제 2 시간에 래들 상태 입력 판단부(231)에 작업중으로 입력된 상기 래들의 상태와 함께 입력된 상기 상태 인식 정확도가 상기 소정 수치 이상일 경우, 래들 상태 메모리(234)에 래들있음 상태를 상기 제 2 시간의 상태로 입력하고, 작업중 상태와 동일한 상기 제 2 시간에 래들 번호 입력 판단부(232)로 입력된 상기 래들의 식별 번호가 상기 소정 수치 이하이거나 미입력 상태일 경우, 앞선 상기 제 1 시간의 래들있음 상태일 때의 식별 번호를 래들 번호 메모리(235)에 상기 제 2 시간의 식별 번호로 입력할 수 있다.
이와 같은, 알고리즘으로, 후처리 모듈(230)은, 상기 래들의 작업중으로 상기 래들의 기울어짐 등으로 인해서 식별 번호가 인식되지 않는 상황이나, 상기 래들의 작업중 크레인으로 인해 식별 번호 영역이 가려지는 상황이나, 상기 래들의 식별 번호 이외에도 공장에 존재하는 다양한 번호가 인식되는 상황에서도, 앞선 상태의 인식 결과를 바탕으로 상기 래들의 식별 번호를 안정적으로 출력할 수 있다.
또한, 도 2에 도시된 바와 같이, 데이터 모니터링부(300)는, 상기 래들의 상기 인식 결과와 상기 인식 정확도를 지속적으로 데이터 베이스 서버(400)에 누적시키고, 상기 인식 정확도가 모델 재학습이 필요한 소정 수치 이하가 될 경우 모델 재학습 필요 알람을 발생시킬 수 있다.
더욱 구체적으로, 데이터 모니터링부(300)는, 트래킹 결과 전송부(320)를 통해, 각 개소별 작동하는 래들 트래킹부(200)에서 상기 래들의 상태 및 식별 번호 별 인식 정확도를 바탕으로 출력된 최종 결과를 데이터 베이스 서버(400)로 전송할 수 있으며, 재학습 판단부(310)를 통해, 상기 래들의 상태 및 식별 번호의 인식 정확도를 지속적으로 누적하여 래들 트래킹 로그를 생성하고, 정확도에 대한 래들 트래킹 로그가 특정 수치(모델 재학습 필요 판단 수치) 이하가 될 경우 모델 재학습이 필요하다는 알람을 발생시킴으로써, 딥러닝을 이용한 래들 트래킹 시스템(1000)의 정확도가 저하되는 것을 방지할 수 있다.
따라서, 본 발명의 일 실시예에 따른 딥러닝을 이용한 래들 트래킹 시스템(1000)에 따르면, 제강 공정 내 여러 개소에 설치된 카메라부(100)와, 해당 카메라부(100)에서 얻어진 이미지에 대해 상술한 래들 트래킹부(200)의 모듈들(210, 220, 230)이 작동하여 최종적으로 여러 위치에서 이동중인 상기 래들들을 개별적으로 인식하고, 상기 래들들의 위치 및 상태를 안정적으로 출력할 수 있다. 또한, 래들 트래킹부(200)에서 출력하는 각 카메라부(100) 설치 개소의 인식 정확도, 식별 번호의 인식 정확도를 바탕으로 특정 개소에 설치된 카메라부(100)에 먼지 부착 등의 이상인지, 상기 래들에 부착된 식별 번호의 오염인지 등을 파악할 수 있다. 또한, 기계학습 모델의 실 적용 시 발생하는 인식 정확도의 저하 문제를 방지하여 안정적으로 시스템의 성능을 유지할 수 있다.
그러므로, 본 발명의 일 실시예에 따른 딥러닝을 이용한 래들 트래킹 시스템(1000)에 따르면, 영상 이미지에서 특징 맵(Feature Map)을 자동으로 추출하고, 이들의 분포 및 관계를 학습하여 영상인식에서 높은 성능을 보이는 합성 곱 신경망(CNN, Convolutional Neural Network)구조의 딥러닝 알고리즘을 상기 래들의 상태 인식과 상기 래들의 식별 번호 인식 두 단계로 구성하여, 상기 래들의 트래킹을 정확하고 안정적으로 수행할 수 있다.
또한, 상기 래들의 상태 및 상기 래들의 식별 번호를 시간별 정보로 저장할 수 있는 메모리 구조 및 상기 메모리에 저장된 정보로부터 래들의 상태 판단 및 래들의 식별 번호 판단의 알고리즘을 포함하는 후처리 프로세스를 포함함으로써, 래들의 높은 인식 성능을 확보하는 효과를 가질 수 있다.
또한, 최종적으로 데이터 베이스 서버(400)에 누적된 래들 트래킹 데이터를 기반으로 제공 공정 내에서 상기 래들 운용 일정의 최적화, 작업 소요 시간 분석을 통해 상기 래들의 물류 효율성을 향상시킬 수 있으며, 누적된 래들 트래킹 데이터를 이용한 상기 래들의 종점 온도 예측 정확도 향상을 통한 품질 편차 저감 및 상기 래들의 승온 비용을 절감하는 효과를 가질 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 카메라부
200: 래들 트래킹부
210: 래들 상태 인식 모듈
211: 리사이즈부
212: 래들 상태 특징 추출부
213: 상태 출력부
220: 래들 번호 인식 모듈
221: 크롭부
222: 래들 번호 특징 추출부
223: 번호 출력부
230: 후처리 모듈
231: 래들 상태 입력 판단부
232: 래들 번호 입력 판단부
233: 결과 출력부
234: 래들 상태 메모리
235: 래들 번호 메모리
300: 데이터 모니터링부
310: 재학습 판단부
320: 트래킹 결과 전송부
400: 데이터 베이스 서버
1000: 딥러닝을 이용한 래들 트래킹 시스템

Claims (10)

  1. 제강 공정 내 소정 개소에 설치되어, 용강을 담아 운반하는 래들(Ladle)의 이미지를 획득하는 카메라부;
    CNN(Convolutional Neural Network) 모델을 기반으로 상기 제강 공정의 각 개소에 설치된 상기 카메라부로부터 전송된 상기 이미지를 분석하여, 각 개소에서의 상기 래들의 상태 및 상기 래들의 식별 번호를 인식하고, 그 인식 결과를 인식 정확도와 함께 출력하는 래들 트래킹부; 및
    상기 래들 트래킹부로부터 출력되는 상기 제강 공정의 각 개소의 상기 래들의 상기 인식 결과와 상기 인식 정확도를 바탕으로 출력된 최종 결과를 데이터 베이스 서버로 전송하는 데이터 모니터링부;를 포함하고,
    상기 래들 트래킹부는,
    상기 이미지의 원본인 원본 이미지에서 CNN 모델을 기반으로 특정 좌표에 위치한 상기 래들을 탐지하여 상기 래들의 상태를 인식하고 상기 상태 인식 정확도와 함께 출력하는 래들 상태 인식 모듈;
    상기 원본 이미지에서 상기 래들 부분을 크롭(Crop)한 크롭 이미지에서 CNN 모델을 기반으로 상기 래들의 식별 번호를 인식하고 상기 번호 인식 정확도와 함께 출력하는 래들 번호 인식 모듈; 및
    상기 래들 상태 인식 모듈로부터 출력된 상기 래들의 상태와 상기 상태 인식 정확도 및 상기 래들 번호 인식 모듈로부터 출력된 상기 래들의 식별 번호와 상기 번호 인식 정확도를 사용하여 상기 래들의 상기 인식 결과를 상기 인식 정확도와 함께 출력하는 후처리 모듈;을 포함하고,
    상기 후처리 모듈은,
    상기 래들 상태 인식 모듈로부터 출력된 상기 래들의 상태 및 상기 상태 인식 정확도를 판단하여, 상기 상태 인식 정확도가 소정 수치 이상일 경우 상기 래들의 상태를 래들 상태 메모리에 입력하고, 상기 상태 인식 정확도가 상기 소정 수치 이하일 경우 해당 인식 모델의 추가 학습을 위해 상기 래들 상태 인식 모듈로 전송하는 래들 상태 입력 판단부;
    상기 래들 번호 인식 모듈로부터 출력된 상기 래들의 식별 번호 및 상기 번호 인식 정확도를 판단하여, 상기 번호 인식 정확도가 상기 소정 수치 이상일 경우 상기 래들의 식별 번호를 래들 번호 메모리에 입력하고, 상기 번호 인식 정확도가 상기 소정 수치 이하일 경우 해당 인식 모델의 추가 학습을 위해 상기 래들 번호 인식 모듈로 전송하는 래들 번호 입력 판단부; 및
    상기 래들 상태 메모리의 최빈값 및 상기 래들 번호 메모리의 최빈값을 출력하여, 상기 래들의 상태 및 상기 래들의 식별 번호를 포함하는 상기 인식 결과를 상기 인식 정확도와 함께 출력하는 결과 출력부;
    를 포함하는, 딥러닝을 이용한 래들 트래킹 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 래들 상태 인식 모듈은,
    상기 원본 이미지 원본의 폭과 높이를 소정의 비율로 축소시켜 리사이징 이미지를 출력하는 리사이즈부;
    CNN 모델을 기반으로 상기 리사이징 이미지로부터 상기 래들의 상태를 인식할 수 있도록, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합 중 어느 하나 이상을 포함하여 상기 리사이징 이미지로부터 상태 특징맵을 추출하는 래들 상태 특징 추출부; 및
    상기 상태 특징맵으로부터 상기 래들의 상태 및 상기 상태 인식 정확도를 출력하는 상태 출력부;
    를 포함하는, 딥러닝을 이용한 래들 트래킹 시스템.
  4. 제 3 항에 있어서,
    상기 래들 번호 인식 모듈은,
    상기 상태 출력부에서 인식된 상기 원본 이미지 상에서의 상기 래들의 인식 좌표를 기반으로, 상기 원본 이미지에서 상기 래들 부분을 크롭한 상기 크롭 이미지를 출력하는 크롭부;
    CNN 모델을 기반으로 상기 크롭 이미지로부터 상기 래들의 식별 번호를 인식할 수 있도록, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합 중 어느 하나 이상을 포함하여 상기 크롭 이미지로부터 번호 특징맵을 추출하는 래들 번호 특징 추출부; 및
    상기 번호 특징맵으로부터 상기 래들의 식별 번호 및 상기 번호 인식 정확도를 출력하는 번호 출력부;
    를 포함하는, 딥러닝을 이용한 래들 트래킹 시스템.
  5. 제 4 항에 있어서,
    상기 상태 출력부는,
    상기 상태 특징맵에서 상기 래들이 검출될 경우, 상기 원본 이미지로부터 리사이징된 상기 리사이징 이미지의 축소 비율을 고려하여, 상기 리사이징 이미지 상에서의 상기 래들의 인식 좌표를 상기 원본 이미지 상에서 상기 래들이 위치하는 좌표로 변환하여 상기 크롭부로 출력하는, 딥러닝을 이용한 래들 트래킹 시스템.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 래들 상태 메모리 및 상기 래들 번호 메모리는,
    상기 래들의 상태 및 식별 번호를 시간의 변화에 따라 기억할 수 있는 메모리인, 딥러닝을 이용한 래들 트래킹 시스템.
  8. 제 7 항에 있어서,
    상기 결과 출력부는,
    래들있음, 작업중, 대기중 및 래들없음 중 적어도 어느 하나 이상으로 시간 순서대로 상기 래들 상태 메모리에 입력된 상기 래들의 상태와, 상기 래들의 각각의 상태가 입력된 시간과 매치되는 시간에 상기 래들 번호 메모리에 입력된 상기 래들의 식별 번호를 매치하여 상기 인식 결과로 상기 인식 정확도와 함께 출력하는, 딥러닝을 이용한 래들 트래킹 시스템.
  9. 제 8 항에 있어서,
    상기 결과 출력부는,
    상기 래들 상태 메모리에 입력된 상기 래들의 상태 중 어느 한 상태와, 상기 어느 한 상태가 입력된 시간과 매치되는 시간에 상기 래들 번호 메모리에 입력된 상기 래들의 식별 번호가 없을 경우, 상기 어느 한 상태의 이전 상태가 입력된 시간과 매치되는 시간에 상기 래들 번호 메모리에 입력된 상기 래들의 식별 번호를 상기 어느 한 상태에서의 식별 번호로 매치하여 상기 인식 결과로 상기 인식 정확도와 함께 출력하는, 딥러닝을 이용한 래들 트래킹 시스템.
  10. 제 1 항에 있어서,
    상기 데이터 모니터링부는,
    상기 래들의 상기 인식 결과와 상기 인식 정확도를 지속적으로 상기 데이터 베이스 서버에 누적시키고, 상기 인식 정확도가 모델 재학습이 필요한 소정 수치 이하가 될 경우 모델 재학습 필요 알람을 발생시키는, 딥러닝을 이용한 래들 트래킹 시스템.
KR1020210095482A 2021-07-21 2021-07-21 딥러닝을 이용한 래들 트래킹 시스템 KR102667656B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210095482A KR102667656B1 (ko) 2021-07-21 2021-07-21 딥러닝을 이용한 래들 트래킹 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210095482A KR102667656B1 (ko) 2021-07-21 2021-07-21 딥러닝을 이용한 래들 트래킹 시스템

Publications (2)

Publication Number Publication Date
KR20230014296A KR20230014296A (ko) 2023-01-30
KR102667656B1 true KR102667656B1 (ko) 2024-05-22

Family

ID=85106187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210095482A KR102667656B1 (ko) 2021-07-21 2021-07-21 딥러닝을 이용한 래들 트래킹 시스템

Country Status (1)

Country Link
KR (1) KR102667656B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030628B1 (ko) * 2019-04-04 2019-10-10 (주)아이엠시티 Cnn 기반 차량 번호판 인식 방법 및 시스템
KR102093852B1 (ko) * 2018-12-27 2020-03-26 엑셀로 주식회사 래들 정보 획득 시스템 및 래들 정보 획득방법
CN112818980A (zh) * 2021-01-15 2021-05-18 湖南千盟物联信息技术有限公司 一种基于Yolov3算法的钢包号检测识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093852B1 (ko) * 2018-12-27 2020-03-26 엑셀로 주식회사 래들 정보 획득 시스템 및 래들 정보 획득방법
KR102030628B1 (ko) * 2019-04-04 2019-10-10 (주)아이엠시티 Cnn 기반 차량 번호판 인식 방법 및 시스템
CN112818980A (zh) * 2021-01-15 2021-05-18 湖南千盟物联信息技术有限公司 一种基于Yolov3算法的钢包号检测识别方法

Also Published As

Publication number Publication date
KR20230014296A (ko) 2023-01-30

Similar Documents

Publication Publication Date Title
Mi et al. A fast automated vision system for container corner casting recognition
US10510157B2 (en) Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems
CN110245663B (zh) 一种用于钢卷信息识别的方法
CN106341661B (zh) 巡逻机器人
US20210056497A1 (en) Cargo detection and tracking
KR20180067523A (ko) 시공간 객체 인벤토리를 발생하도록 이동 로봇들의 객체 관측들을 이용하고, 이동 로봇들에 대한 모니터링 파라미터들을 결정하도록 인벤토리를 이용
CN111738240A (zh) 区域监测方法、装置、设备及存储介质
CN113283344A (zh) 一种基于语义分割网络的矿用输送带跑偏检测方法
CN106934817A (zh) 基于多属性的多目标跟踪方法及装置
CN103996239A (zh) 一种基于多线索融合的票据定位识别方法及系统
CN113344967B (zh) 一种复杂背景下的动态目标识别追踪方法
JP2016081355A (ja) 異常検知方法、異常検知装置、及びプログラム
KR102667656B1 (ko) 딥러닝을 이용한 래들 트래킹 시스템
CN115588121A (zh) 基于传感数据和图像序列的塔吊吊物类别检测方法及系统
JP5111795B2 (ja) 監視装置
US20130088591A1 (en) Method and arrangement for positioning of an object in a warehouse
CN112580778A (zh) 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法
JPH10265163A (ja) エスカレータ制御装置
JP2009093558A (ja) 入退域管理システム
JPH08228338A (ja) 状態監視装置及び状態監視方法
JP2019015681A (ja) 位置推定システム及び位置推定方法
KR102626346B1 (ko) 공작 기계의 공구 마모 및 파손 상태 여부를 감지하는 방법 및 장치
CN113998595A (zh) 无人化起重机自动化防碰撞控制系统
TW201805853A (zh) 智慧型物件偵測輔助系統與方法
Zhang et al. An effective method for automated railcar number detection and recognition based on deep learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right