KR102331078B1 - 딥러닝 기반의 철강제품 이미지 인식 시스템 및 인식 방법 - Google Patents

Abstract

이송롤을 통해 이동되는 철강 제품의 이미지를 이미지 처리 방법을 통해 회전시킬 수 있는 본 발명의 일 측면에 따른 딥러닝 기반의 철강 제품 이미지 인식 시스템은, 이송롤에 안착된 철강 제품을 촬영하여 제1 이미지를 획득하는 이미지 획득부; 상기 철강 제품의 안착상태에 따라 결정되는 상기 제1 이미지의 경사각도를 기초로 상기 제1 이미지를 회전시켜 제2 이미지를 획득하는 전처리부; 및 딥러닝 기반의 신경망 모델에 상기 제2 이미지를 입력하고, 상기 신경망 모델로부터 상기 제2 이미지에 포함된 마킹정보를 획득하는 마킹정보 획득부를 포함하는 것을 특징으로 한다.

Description

딥러닝 기반의 철강제품 이미지 인식 시스템 및 인식 방법{System and Method for Recognizing Image of Steel Product Based on Deep Learning}

본 발명은 철강공정에 관한 것으로서, 보다 구체적으로 철강제품 이미지의 인식에 관한 것이다.

일반적으로 연속 주조 조업은 액체상태의 철이 고체가 되는 공정으로, 액체 상태인 용강은 몰드(Mold)에 주입되고, 연속 주조기를 통과하면서 냉각 응고되어 연속적으로 슬라브(Slab), 블룸(Bloom), 빌렛(Billet) 등의 철강제품으로 만들어진다. 즉, 래들과 턴디쉬에서 출강된 용강은 몰드에서 소정의 폭과 두께를 가지는 슬라브, 블룸, 빌렛 등의 철강제품으로 형성되며, 철강제품은 몰드 내에서 1차 냉각된 후 냉각수가 분사되는 냉각대를 따라 이동하면서 2차 냉각되어 고상으로 응고된다.

연속 주조 조업을 통해 얻어진 빌렛은 다수 개의 압연기를 통과하면서 각종 단면을 가지는 형강(Section Shape Steel)으로 제작된다.

이러한 빌렛 또는 브룸을 포함하는 철강 제품의 단면에는 소재정보가 마킹(Marking)되어 있는데, 빌렛의 단면에 마킹되어 있는 소재정보(이하, '마킹정보'라 함)를 인식하기 위해 OCR(Optical Character Reader) 또는 OCV(Optical Character Verification) 등과 같은 화상인식 시스템이 제안된 바 있다. 카메라를 이용하여 빌렛의 마킹정보를 검출하는 기술의 예가 일본 공개특허공보(특개평11-120286, 공개일: 1999.04.30)에 개시되어 있다.

하지만, 철강제품은 이송롤 상에서 이동하게 되므로, 일반적인 화상인식 시스템에서는 이송롤 상에서 이동하는 철강제품의 마킹정보를 정확하게 인식할 수 없다는 문제점이 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 이송롤을 통해 이동되는 철강제품의 이미지를 이미지 처리 방법을 통해 회전시킬 수 있는 딥러닝 기반의 철강제품 이미지 인식 시스템 및 인식 방법을 제공하는 것을 그 기술적 과제로 한다.

또한, 본 발명은 이송롤에 정상적으로 안착되지 않은 철강제품의 이미지를 정확하게 인식할 수 있는 딥러닝 기반의 철강제품 이미지 인식 시스템 및 인식 방법을 제공하는 것을 다른 기술적 과제로 한다.

또한, 본 발명은 딥러닝 기반의 알고리즘을 이용하여 철강제품의 이미지로부터 마킹정보를 정확하게 획득할 수 있는 딥러닝 기반의 철강제품 이미지 인식 시스템 및 인식 방법을 제공하는 것을 또 다른 기술적 과제로 한다.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 딥러닝 기반의 철강제품 이미지 인식 시스템은, 이송롤에 안착된 철강제품을 촬영하여 제1 이미지를 획득하는 이미지 획득부; 상기 철강제품의 안착상태에 따라 결정되는 상기 제1 이미지의 경사각도를 기초로 상기 제1 이미지를 회전시켜 제2 이미지를 획득하는 전처리부; 및 딥러닝 기반의 신경망 모델에 상기 제2 이미지를 입력하고, 상기 신경망 모델로부터 상기 제2 이미지에 포함된 마킹정보를 획득하는 마킹정보 획득부를 포함하는 것을 특징으로 한다.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 딥러닝 기반의 철강제품 이미지 인식 방법은, 이송롤에 안착된 철강제품을 촬영하여 획득된 제1 이미지를 이진화 처리하는 단계; 이진화된 제1 이미지 내에서 마킹정보가 포함된 마킹영역을 검출하는 단계; 상기 철강제품의 안착상태에 따라 결정되는 상기 마킹영역의 경사각도를 기초로 상기 제1 이미지를 회전시켜 제2 이미지를 획득하는 단계; 및 딥러닝 기반의 신경망 모델에 상기 제2 이미지를 입력하여 상기 제2 이미지로부터 상기 마킹정보를 획득하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 이송롤을 통해 이동되는 철강제품의 이미지를 이미지 처리 방법만으로 회전시킬 수 있어 철강제품의 이미지를 회전시키기 위한 별도의 하드웨어적인 장치가 요구되지 않아 시스템 구성을 간소화시킬 수 있고, 시스템 구축 및 유지비용을 절감시킬 수 있다는 효과가 있다.

또한, 본 발명에 따르면 이송롤 상에 철강제품이 정상적으로 안착되지 않은 경우에도, 철강제품의 이미지를 이미지 처리 방법을 통해 정상적으로 회전시킬 수 있기 때문에 시스템 부하 증가를 최소화하면서도 마킹정보를 정확하게 획득할 수 있다는 효과가 있다.

또한, 본 발명에 따르면 철강제품의 이미지 회전이 소프트웨어적인 이미지 처리 방법을 통해 수행되기 때문에, 철강제품 이미지 인식을 미리 시뮬레이션할 수 있어 즉각적인 결과 도출은 물론, 분석 및 성능판단을 짧은 시간 안에 완료할 수 있다는 효과가 있다.

또한, 본 발명에 따르면 딥러닝 기반의 알고리즘을 이용하여 철강제품 이미지로부터 마킹정보를 정확하게 획득할 수 있기 때문에, 조업 트랙킹(Tracking) 정확성을 확보할 수 있고, 이에 따라 마킹정보의 오인식으로 인한 압연조건 변화를 방지함과 동시에 설비 고장 및 제품 품질 저하를 방지할 수 있다는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 철강제품 이미지 인식 시스템의 구성을 개략적으로 보여주는 블록도이다.
도 2는 브이 형상의 이송롤에 정상적으로 안착된 빌렛의 예를 보여주는 도면이다.
도 3은 브이 형상의 이송롤에 정상적으로 안착되지 않은 빌렛의 예를 보여주는 도면이다.
도 4는 도 3에 도시된 전처리부의 구성을 개략적으로 보여주는 블록도이다.
도 5a는 이미지 획득부에 의해 획득된 제1 이미지의 예를 보여주는 도면이다.
도 5b는 이진화 처리부에 의해 이진화된 제1 이미지의 예를 보여주는 도면이다.
도 5c는 마킹영역 검출부에 의해 결정된 후보영역들을 보여주는 도면이다.
도 6a는 2줄 라인의 마킹정보가 포함된 제1 이미지를 제2 이미지로 회전시키는 예를 보여주는 도면이다.
도 6b는 3줄 라인의 마킹정보가 포함된 제1 이미지를 제2 이미지로 회전시키는 예를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 기반의 철강제품 이미지 인식 방법을 보여주는 플로우차트이다.

명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명의 핵심 구성과 관련이 없는 경우 및 본 발명의 기술분야에 공지된 구성과 기능에 대한 상세한 설명은 생략될 수 있다. 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 명세서에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.

시간 관계에 대한 설명일 경우, 예를 들어, '~후에', '~에 이어서', '~다음에', '~전에' 등으로 시간적 선후 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.

제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.

"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미할 수 있다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 철강제품 이미지 인식 시스템의 구성을 개략적으로 보여주는 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 딥러닝 기반의 철강제품 이미지 인식 시스템(100)은 이송장치(110), 이미지 획득부(120), 전처리부(130), 마킹정보 획득부(140), 및 마킹정보 추출모델(150)을 포함한다.

이송장치(110)는 철강제품을 이송시킨다. 일 실시예에 있어서, 이송장치(110)에 의해 이송되는 철강제품은 슬라브(Slab), 블룸(Bloom), 또는 빌렛(Billet) 등과 같은 철강 반제품일 수 있다. 여기서, 빌렛은 액체 상태인 용강이 연속 주조기를 통과하면서 냉각 응고되어 생성된 반제품을 의미하는 것으로서, 연속주조조업을 통해 얻어진 빌렛은 다수 개의 압연기(미도시)를 통과하면서 각종 단면을 가지는 형강(Section Shape Steel)으로 제작된다.

이하에서는 설명의 편의를 위해 철강제품이 빌렛인 것으로 가정하여 설명하지만, 후술하는 본 발명의 특징은 슬라브나 블룸 등과 같은 타 철강제품에도 유사하게 적용될 수 있을 것이다.

빌렛의 단면에는 소재정보가 마킹(Marking)되어 있다. 일 실시예에 있어서, 소재정보는 텍스트(Text) 형식의 문자 또는 숫자로 구성된 빌렛 번호(Billet No.)로 표현될 수 있다. 일 예로, 빌렛번호는 9자리로 구성될 수 있다. 이때 빌렛 번호는 2줄 형태로 구성되거나, 3줄 형태로 구성될 수 있다. 이하, 설명의 편의를 위해, 빌렛의 단면에 마킹되어 있는 소재정보를 마킹정보로 기재하기로 한다.

일 실시예에 있어서, 이송장치는 그 단면이 브이 형상(V-Shaped)인 이송롤을 이용하여 빌렛을 이송시킬 수 있다. 이러한 실시예에 따르는 경우, 빌렛은 정사각형 모양 또는 직사각형 모양의 단면을 갖기 때문에, 빌렛이 브이 형상의 이송롤에 안착되면 빌렛의 각 모서리가 상측, 하측, 좌측, 및 우측을 향하도록 배치되므로, 전체적으로 빌렛의 단면 모양이 마름모 형상이 된다.

본 발명에서, 빌렛을 브이 형상의 이송롤에 그 단면이 마름모 모양이 되는 상태로 안착시켜 이송하는 이유는, 강편 정정 설비에서 빌렛의 경우 빌렛의 네모난 모서리가 그라인더(Grinder)에 의해 다듬어 져야 하기 때문이다.

이미지 획득부(120)는 브이 형상의 이송롤 상에 안착된 상태로 이송되는 빌렛의 이미지를 촬영하여 이미지를 획득한다. 일 실시예에 있어서, 이미지 획득부(120)는 카메라로 구현될 수 있다. 이하, 설명의 편의를 위해 이미지 획득부(120)에 의해 획득된 빌렛의 이미지를 제1 이미지로 기재하기로 한다.

전처리부(130)는 빌렛의 안착상태에 따라 소프트웨어적인 이미지 처리 방법을 이용하여 제1 이미지를 회전시켜 제2 이미지를 획득한다. 본 발명에서 전처리부(130)를 통해 제1 이미지를 회전시켜 제2 이미지를 획득하는 이유는 제2 이미지의 정확한 인식을 통해 제2 이미지로부터 보다 정확한 마킹정보를 획득하기 위함이다.

이는, 일반적인 철강공정에서는 소재 별로 정해진 압연 조건이 있는데 소재정보를 잘못 인식하게 되면 압연 조건이 변경될 수 있고(믹싱: Mixing), 이로 인해 설비 고장이 발생되거나 제품 품질이 저하될 수 있기 때문에 정확한 소재정보의 획득을 위해서는 정확한 이미지의 인식이 선행되어야 하기 때문이다.

특히, 본 발명의 경우, 상술한 바와 같이 빌렛은 브이 형상의 이송롤에 그 단면이 마름모 형상이 되도록 안착된 상태에서 촬영되므로, 제1 이미지 내에 포함된 빌렛의 형상은 정사각형 또는 직사각형 모양의 단면을 기준으로 일정한 각도(예컨대, 45도)로 회전된 모양일 수 밖에 없어, 마킹정보 획득부(140)에 의해 정상적인 마킹정보의 인식이 어려울 수 있기 때문에 전처리부(130)가 제1 이미지를 회전시켜 제2 이미지를 획득하게 된다.

일 예로, 도 2a에 도시된 바와 같이, 브이 형상의 이송롤(200) 상에 빌렛(210)이 정상적으로 안착된 경우, 빌렛(210)의 단면은 정사각형 모양 또는 직사각형 모양의 단면을 기준으로 빌렛(210)의 꼭지점이(210a, 210b, 210c, 210d) 각각 상하 및 좌우 방향으로 향하도록 일정한 각도로 회전한 마름모 모양이 된다. 이러한 경우, 도 2b에 도시된 바와 같이, 제1 이미지 또한 일정한 각도로 회전된 이미지가 획득됨을 알 수 있다.

도 2에서는 브이 형상의 이송롤에 빌렛이 정상적으로 안착되는 경우를 도시하였지만, 도 3a에 도시된 바와 같이 현장 설비의 특성상 빌렛(210)이 브이 형상의 이송롤(200) 상에 정상적으로 안착되지 않은 상태로 이송될 수도 있다. 이러한 경우 도 3b에 도시된 바와 같이, 제1 이미지는 일정하지 않은 각도로 회전된 이미지가 획득됨을 알 수 있다.

이와 같이, 전처리부(130)는 빌렛(210)이 브이 형상의 이송롤에 정상적으로 안착된 경우뿐만 아니라 정상적으로 안착되지 않은 경우에도, 제1 이미지를 회전시켜 제2 이미지를 획득할 수 있기 때문에, 빌렛을 촬영한 이미지의 인식 정확도를 향상시킬 수 있게 된다. 더욱이, 본 발명에 따른 전처리부(130)는 별도의 하드웨어적인 장치 없이 소프트웨어적인 이미지 처리방법만으로 제1 이미지를 회전시킬 수 있기 때문에, 시스템 구성을 간소화시킬 수 있고, 시스템 구축 및 유지비용을 절감시킬 수 있으며, 시스템 부하 증가를 최소화할 수 있게 된다.

이하, 본 발명에 따른 전처리부(130)의 구성을 도 4를 참조하여 보다 구체적으로 설명한다.

도 4는 본 발명의 일 실시예에 따른 전처리부의 구성을 개략적으로 보여주는 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전처리부(130)는 이미지 수신부(410), 이진화 처리부(420), 마킹영역 검출부(430), 회전각도 결정부(440), 및 이미지 회전부(450)를 포함한다.

이미지 수신부(410)는 이미지 획득부(120)로부터 제1 이미지를 획득한다.

이진화 처리부(420)는 이미지 수신부(410)를 통해 수신된 제1 이미지를 이진화 처리한다. 예컨대, 이진화 처리부(420)는 이미지 수신부(410)로부터 도 5a에 도시된 바와 같은 제1 이미지가 수신되면, 제1 이미지를 도 5b에 도시된 바와 같이 이진화한다.

구체적으로, 이진화 처리부(420)는 제1 이미지를 구성하는 픽셀들의 픽셀값을 1 또는 0의 값으로 이진화함으로써, 제1 이미지를 흑색 또는 백색으로 표현한다. 이를 위해, 본 발명에 따른 이진화 처리부(420)는 도 4에 도시된 바와 같이, 제1 내지 제3 이진화 처리모듈(422, 424, 426) 중 적어도 하나를 포함할 수 있다.

먼저, 제1 이진화 처리 모듈(422)은 제1 이미지의 픽셀 전체에 대해 고정 문턱값(Threshold)을 적용하여 제1 이미지를 1차 이진화 처리한다. 즉, 제1 이진화 처리 모듈(422)은 제1 이미지 전체에 대해 하나의 고정 문턱값을 적용하여 제1 이미지를 1차적으로 이진화한다. 일 예로, 제1 이진화 처리 모듈(422)은 각 픽셀들 중 픽셀값이 고정 문턱값을 초과하는 픽셀들은 픽셀값을 백색으로 설정하고, 각 픽셀들 중 픽셀값이 고정 문턱값을 초과하지 않는 픽셀들은 픽셀값을 흑색으로 설정한다.

이후, 제1 이진화 처리 모듈(422)은 1차 이진화 처리된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들로 구성된 픽셀영역들의 픽셀 평균값을 기초로 가변 문턱값을 결정하고, 결정된 가변 문턱값을 이용하여 제1 이미지를 2차적으로 이진화한다. 즉, 제1 이진화 처리모듈(422)은 각 픽셀별로 결정된 가변 문턱값을 각 픽셀 별로 적용함으로써 제1 이미지를 2차적으로 이진화한다. 일 예로, 제1 이진화 처리 모듈(422)은 각 픽셀의 픽셀값이 각 픽셀 별로 설정된 가변 문턱값을 초과하면 해당 픽셀의 픽셀값은 백색으로 설정하고, 각 픽셀의 픽셀값이 각 픽셀 별로 설정된 가변 문턱값을 초과하지 않으면 해당 픽셀들의 픽셀값은 흑색으로 설정한다.

제1 이진화 처리 모듈(422)이 고정 문턱값을 이용하여 제1 이미지를 1차적으로 이진화한 이후에 가변 문턱값을 이용하여 제1 이미지를 2차적으로 이진화하는 이유는, 제1 이미지 전체에 대해 고정 문턱값만으로 이진화를 진행하는 경우 제1 이미지의 일부 영역에서 모든 픽셀이 백색 또는 흑색으로 보여지는 오류가 발생할 수 있기 때문이다.

제2 이진화 처리 모듈(424)은 미리 정해진 크기의 필터를 이용하여 제1 이미지를 필터링한다. 일 실시예에 있어서, 미리 정해진 크기의 필터는 3*3 또는 5*5크기를 갖는 필터일 수 있다. 일 실시예에 있어서, 제2 이진화 처리 모듈(424)이 제1 이미지에 적용하는 필터는 제1 이미지로부터 배경과 같은 저주파 영역은 제거하고, 경계선과 같은 고주파 영역만이 남도록 하는 필터로 설정될 수 있다. 이러한 필터의 적용을 통해 제1 이미지로부터 원하는 영역을 명확하게 구분할 수 있게 된다.

필터링이 완료되면, 제2 이진화 처리 모듈(424)은 필터링된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들로 구성된 픽셀영역들의 픽셀 평균값을 기초로 가변 문턱값을 결정하고, 결정된 가변 문턱값을 이용하여 제1 이미지를 1차적으로 이진화한다. 즉, 제2 이진화 처리모듈(424)은 각 픽셀별로 결정된 가변 문턱값을 각 픽셀 별로 적용함으로써 제1 이미지를 1차적으로 이진화한다. 일 예로, 제2 이진화 처리 모듈(424)은 각 픽셀의 픽셀값이 각 픽셀 별로 설정된 가변 문턱값을 초과하면 해당 픽셀의 픽셀값은 백색으로 설정하고, 각 픽셀의 픽셀값이 각 픽셀 별로 설정된 가변 문턱값을 초과하지 않으면 해당 픽셀들의 픽셀값은 흑색으로 설정한다.

1차 이진화 처리가 완료되면, 제2 이진화 처리 모듈(424)은 1차 이진화 처리된 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 제1 이미지를 2차 이진화 처리한다. 즉, 제2 이진화 처리 모듈(424)은 1차 이진화 처리된 제1 이미지 전체에 대해 하나의 고정 문턱값을 적용하여 제1 이미지를 2차적으로 이진화한다. 일 예로, 제2 이진화 처리 모듈(424)은 각 픽셀들 중 픽셀값이 고정 문턱값을 초과하는 픽셀들은 픽셀값을 백색으로 설정하고, 각 픽셀들 중 픽셀값이 고정 문턱값을 초과하지 않는 픽셀들은 픽셀값을 흑색으로 설정한다.

제3 이진화 처리 모듈(426)은 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 제1 이미지를 이진화 처리한다. 즉, 제3 이진화 처리 모듈(426)은 제1 이미지 전체에 대해 하나의 고정 문턱값을 적용하여 제1 이미지를 이진화한다. 일 예로, 제3 이진화 처리 모듈(426)은 각 픽셀들 중 픽셀값이 고정 문턱값을 초과하는 픽셀들은 픽셀값을 백색으로 설정하고, 각 픽셀들 중 픽셀값이 고정 문턱값을 초과하지 않는 픽셀들은 픽셀값을 흑색으로 설정한다.

이후, 제3 이진화 처리 모듈(426)은 이진화 처리된 제1 이미지에 대해 오프닝(Opening) 함수 및 캐니(Canny) 함수를 적용하여 이진화된 제1 이미지로부터 노이즈를 제거한다. 이때, 오프닝 함수는 이진화 처리된 제1 이미지로부터 관심 영역 이외의 영역을 제거하거나, 경계를 부드럽게 하거나, 관심영역의 공백을 채워주는 기능을 수행한다. 또한, 캐니 함수는 오프닝 함수가 적용된 제1 이미지에 포함된 각 영역의 경계선을 명확하게 하는 기능을 수행한다.

일 실시예에 있어서, 이진화 처리부(420)는 제1 내지 제3 이진화 처리 모듈(426) 중 어느 하나를 선택적으로 이용하여 제1 이미지를 이진화할 수 있다.

다른 실시예에 있어서, 이진화 처리부(420)는 먼저, 제1 이미지를 제1 이진화 처리 모듈(422)을 이용하여 이진화하고, 이진화에 실패한 것으로 판단되면 제2 이진화 처리 모듈(424)를 이용하여 제1 이미지를 이진화할 수 있다. 이때, 제2 이진화 처리 모듈(424)은 3*3크기의 필터를 이용하여 제1 이미지를 필터링한 이후에 1차 및 2차 이진화를 수행하고, 이진화에 실패한 것으로 판단되면 5*5 크기의 필터를 이용하여 제1 이미지를 필터링한 이후에 다시 1차 및 2차 이진화를 수행할 수 있다. 한편, 이진화 처리부(420)는 제2 이진화 처리 모듈(424)를 이용한 이진화에 실패한 것으로 판단되면, 제3 이진화 처리 모듈(426)을 이용하여 제1 이미지를 이진화할 수 있다.

마킹영역 검출부(430)는 이진화 처리부(420)에 의해 이진화된 제1 이미지 내에서 마킹정보가 포함된 마킹영역을 검출한다. 구체적으로, 마킹영역 검출부(430)는 이진화된 제1 이미지 내에서 동일한 픽셀값을 갖는 픽셀들의 경계선을 연결한 컨투어(Contour) 라인을 이용하여 후보영역을 결정한다. 마킹영역 검출부(430)는 결정된 후보영역들 중 면적이 미리 정해진 범위 이내에 속하는 후보영역을 마킹영역으로 검출한다.

예컨대, 마킹영역 검출부(430)는 도 5c에 도시된 바와 같이 이진화된 제1 이미지 내에서 동일한 픽셀값을 갖는 픽셀들의 경계선을 연결한 컨투어 라인을 이용하여 3개의 후보영역(C1, C2, C3)을 결정하고, 3개의 후보영역들 중 면적이 미리 정해진 범위 이내에 속하는 후보영역(C1)을 마킹영역으로 결정한다.

일 실시예에 있어서, 미리 정해진 면적 범위의 최소값은 32,000으로 설정되고, 면적 범위의 최대값은 78,000으로 설정될 수 있다.

다시 도 4를 참조하면, 회전각도 결정부(440)는 마킹영역 검출부(430)에 의해 검출된 마킹영역을 구성하는 4개의 경계라인들 중에서 결정된 하나의 기준 경계라인이 수직축 또는 수평축과 이루는 경사각도를 이용하여 제1 이미지를 회전시키기 위한 회전각도를 산출한다.

구체적으로, 회전각도 결정부(440)는 마킹영역 검출부(430)에 의해 검출된 마킹영역을 구성하는 4개의 경계라인들 중 길이가 가장 긴 하나의 경계라인을 기준 경계라인으로 결정한다. 일 예로, 도 6a에 도시된 예에서 꼭지점 1과 꼭지점 2간의 제1 경계라인(610, 제1 경계라인은 꼭지점 3과 꼭지점 4 간의 제3 경계라인과 길이가 동일함)은 꼭지점 2와 꼭지점 3간의 제2 경계라인(620, 제2 경계라인은 꼭지점 1과 꼭지점 4 간의 제4 경계라인과 길이라 동일함)보다 길이가 길기 때문에, 회전각도 결정부(440)는 제1 경계라인을 기준 경계라인으로 결정한다.

다른 예로, 도 6b에 도시된 예에서 꼭지점 2와 꼭지점 3간의 제2 경계라인(630, 제2 경계라인은 꼭지점 1과 꼭지점 4 간의 제4 경계라인과 길이라 동일함)은 꼭지점 1과 꼭지점 2간의 제1 경계라인(640, 제1 경계라인은 꼭지점 3과 꼭지점 4 간의 제3 경계라인과 길이가 동일함)보다 길이가 길기 때문에, 회전각도 결정부(440)는 제2 경계라인을 기준 경계라인으로 결정한다.

이후, 회전각도 결정부(440)는 결정된 기준 경계라인과 수직축 또는 수평축이 이루는 각도를 경사각도로 산출한다. 일 예로, 도 6a에 도시된 바와 같이, 2줄 라인의 마킹정보가 포함된 제1 이미지에서, 회전각도 결정부(440)는 제1 경계라인(610)과 수평축(650)이 이루는 각도(-α1)를 경사각도로 산출한다. 다른 예로, 도 6b에 도시된 바와 같이, 3줄 라인의 마킹정보가 포함된 제1 이미지에서, 회전각도 결정부(440)는 제2 경계라인(630)과 수평축(660)이 이루는 각도 (+α1)를 경사각도로 산출한다. 이때, 회전각도 결정부(440)는 수평축 또는 수직축 중 기준 경계라인과 이루는 각도가 가장 작은 축을 기준으로 경사각도를 산출하게 된다.

이후, 회전각도 결정부(440)는 산출된 경사각도를 기준각도(예컨대, 0도)로 보정시키기 위해 필요한 값을 회전각도로 결정한다. 예컨대, 도 6a에 도시된 예에서, 회전각도 결정부(440)는 경사각도인 -α1을 기준각도인 0도로 회전시키기 위해, +α1을 회전각도로 산출한다. 또한, 도 6b에 도시된 예에서, 회전각도 결정부(440)는 경사각도인 +α2를 기준각도인 0도로 회전시키기 위해, -α2를 회전각도로 산출한다.

다시 도 4를 참조하면, 이미지 회전부(450)는 회전각도 결정부(440)에 의해 결정된 회전각도만큼 제1 이미지를 회전시킴으로써 제2 이미지를 획득한다. 예컨대, 이미지 회전부(450)는 도 6a에 도시된 바와 같이 제1 이미지를 회전각도인 +α1만큼 회전시킴으로써 제2 이미지를 획득하고, 도 6b에 도시된 바와 같이 제1 이미지를 회전각도인 -α2만큼 회전시킴으로써 제2 이미지를 획득한다.

이와 같이, 본 발명에 따르면 이미지 회전부(450)가 빌렛의 이미지 내에서 빌렛의 형상이 정사각형 또는 직사각형 모양의 단면이 되도록 제1 이미지를 제2 이미지로 회전시킬 수 있기 때문에, 빌렛이 브이 형상의 이송롤에 정상적으로 안착되는 경우는 물론, 정상적으로 안착되지 않는 경우에도 정상적으로 빌렛의 이미지를 인식할 수 있고, 빌렛에 마킹정보가 2줄로 기재되는 경우뿐만 아니라 3줄로 기재되어 있는 경우에도 빌렛의 이미지를 정확하게 인식할 수 있다.

다시 도 2를 참조하면, 마킹정보 획득부(140)는 마킹정보 추출모델(150)에 제2 이미지를 입력함으로써 마킹정보 추출모델(150)로부터 제2 이미지에 포함된 마킹정보를 획득한다. 일 실시예에 있어서, 마킹정보 획득부(140)는 획득된 마킹정보를 번호형태로 재구성하고, 재구성된 번호형태의 마킹정보를 기초로 해당 빌렛 이미지의 인식 성공 또는 실패를 판별할 수 있다.

마킹정보 추출모델(150)은 마킹정보 획득부(140)로부터 제2 이미지가 입력되면, 제2 이미지로부터 마킹정보를 추출하여 마킹정보 획득부(140)로 제공한다. 일 실시예에 있어서, 마킹정보 추출모델(150)은 딥러닝 기반의 신경망(Neural Network) 모델로 구현될 수 있다.

예컨대, 마킹정보 추출모델(150)은 CNN(Convolution Neural Network)으로 구현될 수 있다. 이러한 경우, 마킹정보 추출모델(150)은 제2 이미지를 필터(Filter)가 순회하며 합성곱(Convolution)을 계산하고, 그 계산 결과를 이용하여 특징벡터 또는 피쳐맵(Feature Map)을 추출하는 복수개의 컨벌루션 레이어(미도시)들을 포함할 수 있다. 이때, 각 컨벌루션 레이어들은 필터크기, 스트라이드(Stride), 패딩(Padding) 적용 여부, 맥스풀링(Max Pooling) 크기에 따라서 출력 데이터 형태가 변경될 수 있다. 한편, 마킹정보 추출모델(150)은 컨벌루션 레이어의 출력 데이터를 입력으로 받아, 특정 데이터를 강조하거나 크기를 줄이는 풀링 레이어(미도시)를 추가적으로 더 포함할 수도 있다.

이와 같이, 본 발명에 따르면 딥러닝 기반으로 설계된 마킹정보 추출모델(150)을 이용하여 제2 이미지로부터 마킹정보를 획득할 수 있어 정확한 마킹정보를 획득할 수 있을 뿐만 아니라, 마킹정보를 보다 빠르게 획득할 수 있다.

이하, 본 발명에 따른 딥러닝 기반의 철강 제품 이미지 인식 방법에 대해 설명한다. 도 7은 본 발명의 일 실시예에 따른 딥러닝 기반의 철강 제품 이미지 인식 방법을 보여주는 플로우차트이다. 도 7에 도시된 딥러닝 기반의 철강 제품 이미지 인식 방법(이하, '이미지 인식 방법'이라 함)은 도 1에 도시된 딥러닝 기반의 철강 제품 이미지 인식 시스템에 의해 수행될 수 있다.

도 7에서는 본 발명에 따른 이미지 인식 방법이 철강 제품 중 빌렛에 적용되는 것으로 가정하여 설명하지만, 본 발명에 따른 이미지 인식 방법은 블룸이나 슬라브와 같은 다른 철강 제품에도 유사하게 적용될 수 있다.

먼저, 딥러닝 기반의 철강 제품 이미지 인식 시스템(이하, '인식 시스템'이라 함)은 이송장치에 포함된 이송롤을 통해 이송되는 빌렛의 이미지를 촬영하여 제1 이미지를 획득한다(S700).

일 실시예에 있어서, 이송롤은 그 단면이 브이 형상(V-Shaped)일 수 있다. 이러한 경우, 빌렛은 정사각형 모양 또는 직사각형 모양의 단면을 갖기 때문에, 빌렛이 브이 형상의 이송롤에 안착되면 빌렛의 각 모서리가 상측, 하측, 좌측, 및 우측을 향하도록 배치되므로, 전체적으로 빌렛의 단면 모양이 마름모 형상이 된다.

본 발명에서, 빌렛을 브이 형상의 이송롤에 그 단면이 마름모 모양이 되는 상태로 안착시켜 이송하는 이유는, 강편 정정 설비에서 빌렛의 경우 빌렛의 네모난 모서리가 그라인더(Grinder)에 의해 다듬어 져야 하기 때문이다.

이후, 인식 시스템은 제1 이미지를 이진화 처리한다(S710). 일 실시예 있어서, 인식 시스템은 후술하는 4가지 이진화 방법 중 어느 하나의 방법을 이용하여 제1 이미지를 이진화할 수 있다.

제1 이진화 방법으로, 인식 시스템은 제1 이미지의 픽셀 전체에 대해 고정 문턱값(Threshold)을 적용하여 제1 이미지를 1차 이진화 처리한 후, 1차 이진화 처리된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들로 구성된 픽셀영역들의 픽셀 평균값을 기초로 결정된 가변 문턱값을 이용하여 제1 이미지를 2차적으로 이진화 처리할 수 있다.

본 발명에서, 인식 시스템인 고정 문턱값을 이용하여 제1 이미지를 1차적으로 이진화한 이후에 가변 문턱값을 이용하여 제1 이미지를 2차적으로 이진화하는 이유는, 제1 이미지 전체에 대해 고정 문턱값만으로 이진화를 진행하는 경우 제1 이미지의 일부 영역에서 모든 픽셀이 백색 또는 흑색으로 보여지는 오류가 발생할 수 있기 때문이다.

제2 이진화 방법으로, 인식 시스템은 제1 필터를 이용하여 제1 이미지를 필터링한 후, 필터링된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들로 구성된 픽셀영역들의 픽셀 평균값을 기초로 결정된 가변 문턱값을 이용하여 제1 이미지를 1차적으로 이진화하고, 1차 이진화 처리된 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 제1 이미지를 2차 이진화 처리할 수 있다.

제3 이진화 방법으로, 인식 시스템은 제2 필터를 이용하여 제1 이미지를 필터링한 후, 필터링된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들로 구성된 픽셀영역들의 픽셀 평균값을 기초로 결정된 가변 문턱값을 이용하여 제1 이미지를 1차적으로 이진화하고, 1차 이진화 처리된 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 제1 이미지를 2차 이진화 처리할 수 있다.

이때, 제1 필터는 3*3 크기의 필터일 수 있고, 제2 필터는 5*5크기의 필터일 수 있고, 이때, 제1 이미지에 적용되는 제1 및 제2 필터는 제1 이미지로부터 배경과 같은 저주파 영역은 제거하고, 경계선과 같은 고주파 영역만이 남도록 하는 필터로 설정될 수 있다. 이러한 제1 및 제2 필터의 적용을 통해 제1 이미지로부터 원하는 영역을 명확하게 구분할 수 있게 된다.

제4 이진화 방법으로 인식 시스템은, 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 제1 이미지를 이진화 처리한 후, 이진화 처리된 제1 이미지에 대해 오프닝(Opening) 함수 및 캐니(Canny) 함수를 적용하여 이진화된 제1 이미지로부터 노이즈를 제거한다. 이때, 오프닝 함수는 이진화 처리된 제1 이미지로부터 관심 영역 이외의 영역을 제거하거나, 경계를 부드럽게 하거나, 관심영역의 공백을 채워주는 기능을 수행한다. 또한, 캐니 함수는 오프닝 함수가 적용된 제1 이미지에 포함된 각 영역의 경계선을 명확하게 하는 기능을 수행한다.

상술한 실시예에 있어서는, 인식 시스템이 제1 내지 제4 이진화 방법 중 어느 하나를 선택적으로 이용하여 제1 이미지를 이진화하는 것으로 설명하였지만, 변형된 실시예에 있어서, 인식 시스템은 먼저, 제1 이진화 방법을 이용하여 제1 이미지를 이진화하고, 이진화에 실패한 것으로 판단되면 제2 이진화 방법을 이용하여 제1 이미지를 이진화할 수 있다. 이후, 제2 이진화 방법을 이용한 이진화가 실패한 것으로 판단되면, 제3 이진화 방법을 이용하여 제1 이미지를 다시 이진화 하고, 제3 이진화 방법을 이용한 이진화가 실패한 것으로 판단되면, 제4 이진화 방법을 이용하여 제1 이미지를 이진화할 수 있다.

S710에서의 이진화가 완료되면, 인식 시스템은 이진화된 제1 이미지 내에서 마킹정보가 포함된 마킹영역을 검출한다(S720). 인식 시스템은 이진화된 제1 이미지 내에서 동일한 픽셀값을 갖는 픽셀들의 경계선을 연결한 컨투어(Contour) 라인을 이용하여 후보영역을 결정하고, 후보영역들 중 면적이 미리 정해진 범위 이내에 속하는 후보영역을 마킹영역으로 검출할 수 있다. 일 실시예에 있어서, 미리 정해진 면적 범위의 최소값은 32,000으로 설정되고, 면적 범위의 최대값은 78,000으로 설정될 수 있다.

이후, 인식 시스템은 S720에서 검출된 마킹영역을 구성하는 4개의 경계라인들 중에서 결정된 하나의 기준 경계라인이 수직축 또는 수평축과 이루는 경사각도를 이용하여 제1 이미지를 회전시키기 위한 회전각도를 산출한다(S730).

구체적으로, 인식 시스템은 마킹영역을 구성하는 4개의 경계라인들 중 길이가 가장 긴 하나의 경계라인을 기준 경계라인으로 결정하고, 결정된 기준 경계라인과 수직축 또는 수평축이 이루는 각도를 경사각도로 산출한다. 이후, 인식 시스템은 산출된 경사각도를 기준각도(예컨대, 0도)로 보정시키기 위해 필요한 값을 회전각도로 산출한다.

이후, 인식 시스템은 S730에서 산출된 회전각도만큼 제1 이미지를 회전시킴으로써 제2 이미지를 획득한다(S740).

이와 같이, 본 발명에 따르면 인식 시스템이 빌렛의 이미지 내에서 빌렛의 형상이 정사각형 또는 직사각형 모양의 단면이 되도록 제1 이미지를 제2 이미지로 회전시킬 수 있기 때문에, 빌렛이 브이 형상의 이송롤에 정상적으로 안착되는 경우는 물론, 정상적으로 안착되지 않는 경우에도 정상적으로 빌렛의 이미지를 인식할 수 있고, 빌렛에 마킹정보가 2줄로 기재되는 경우뿐만 아니라 3줄로 기재되어 있는 경우에도 빌렛의 이미지를 정확하게 인식할 수 있다.

이후, 인식 시스템은 마킹정보 추출모델에 제2 이미지를 입력함으로써 마킹정보 추출모델로부터 제2 이미지에 포함된 마킹정보를 획득한다(S750). 일 실시예에 있어서, 마킹정보 획득부(140)는 획득된 마킹정보를 번호형태로 재구성하고, 재구성된 번호형태의 마킹정보를 기초로 해당 빌렛 이미지의 인식 성공 또는 실패를 판별할 수 있다.

일 실시예에 있어서, 마킹정보 추출모델은 딥러닝 기반의 신경망 모델로 구현될 수 있다. 예컨대, 마킹정보 추출모델은 CNN으로 구현될 수 있다. 이러한 경우, 마킹정보 추출모델은 제2 이미지를 필터가 순회하며 합성곱을 계산하고, 그 계산 결과를 이용하여 특징벡터 또는 피쳐맵을 추출하는 복수개의 컨벌루션 레이어들을 포함할 수 있다. 이때, 각 컨벌루션 레이어들은 필터크기, 스트라이드, 패딩 적용 여부, 맥스풀링 크기에 따라서 출력 데이터 형태가 변경될 수 있다. 한편, 마킹정보 추출모델은 컨벌루션 레이어의 출력 데이터를 입력으로 받아, 특정 데이터를 강조하거나 크기를 줄이는 풀링 레이어를 추가적으로 더 포함할 수도 있다.

이와 같이, 본 발명에 따르면 딥러닝 기반으로 설계된 마킹정보 추출모델을 이용하여 제2 이미지로부터 마킹정보를 획득할 수 있어 정확한 마킹정보를 획득할 수 있을 뿐만 아니라, 마킹정보를 보다 빠르게 획득할 수 있다.

본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

예컨대, 상술한 실시예에 있어서는, 본 발명이 빌렛(Billet) 이미지에 대해 적용되는 것으로 설명하였지만, 본 발명은 이에 한정되지 않고 빌렛 뿐만 아니라 유사 공정의 블룸(Bloom) 인식에도 확대 적용될 수 있다.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 철강 제품 이미지 인식 시스템 110: 이송장치
120: 이미지 획득부 130: 전처리부
140: 마킹정보 획득부 150: 마킹정보 추출모델

Claims (18)

1. 이송롤에 안착된 철강 제품을 촬영하여 제1 이미지를 획득하는 이미지 획득부;
   상기 철강 제품의 안착상태에 따라 결정되는 상기 제1 이미지의 경사각도를 기초로 상기 제1 이미지를 회전시켜 제2 이미지를 획득하는 전처리부; 및
   딥러닝 기반의 신경망 모델에 상기 제2 이미지를 입력하고, 상기 신경망 모델로부터 상기 제2 이미지에 포함된 마킹정보를 획득하는 마킹정보 획득부를 포함하고,
   상기 전처리부는,
   상기 제1 이미지를 이진화 처리하는 이진화 처리부; 및
   상기 이진화된 제1 이미지 내에서 동일한 픽셀값을 갖는 픽셀들의 경계선을 연결한 컨투어(Contour) 라인을 이용하여 후보영역을 결정하고, 후보영역들 중 면적이 미리 정해진 범위 이내에 속하는 후보영역을 마킹영역으로 검출하는 마킹영역 검출부를 포함하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
2. 제1항에 있어서,
   상기 전처리부는 상기 제1 이미지에 포함된 상기 철강 제품의 단면모양이 정사각형 모양 또는 직사각형 모양이 되도록 상기 제1 이미지를 회전시키는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
3. 제1항에 있어서,
   상기 전처리부는,
   상기 검출된 마킹영역이 수직축 또는 수평축을 기준으로 기울어진 상기 경사각도를 기초로 상기 제1 이미지의 회전각도를 결정하는 회전각도 결정부; 및
   상기 결정된 회전각도만큼 상기 제1 이미지를 회전시켜 상기 제2 이미지를 획득하는 이미지 회전부를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
4. 제3항에 있어서,
   상기 이진화 처리부는,
   상기 제1 이미지의 픽셀 전체에 대해 고정 문턱값(Threshold)을 적용하여 상기 제1 이미지를 1차 이진화 처리하고, 1차 이진화 처리된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들의 픽셀값을 기초로 결정된 가변 문턱값을 적용하여 상기 1차 이진화 처리된 제1 이미지를 2차 이진화 처리하는 제1 이진화 처리모듈을 포함하고,
   상기 가변 문턱값은 상기 1차 이진화 처리된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃한 복수개의 픽셀들의 평균값으로 결정되는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
5. 제3항에 있어서,
   상기 이진화 처리부는,
   미리 정해진 크기의 필터를 이용하여 상기 제1 이미지를 필터링하고, 필터링된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들의 픽셀값을 기초로 결정된 가변 문턱값을 적용하여 상기 필터링된 제1 이미지를 1차 이진화하며, 상기 1차 이진화된 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 상기 제1 이미지를 2차 이진화 처리하는 제2 이진화 처리모듈을 포함하고,
   상기 가변 문턱값은 상기 1차 이진화된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃한 복수개의 픽셀들의 평균값으로 결정되는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
6. 제5항에 있어서,
   상기 필터는 3*3 또는 5*5크기를 갖는 필터인 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
7. 제3항에 있어서,
   상기 이진화 처리부는,
   상기 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 상기 제1 이미지를 이진화 처리하고, 상기 이진화된 제1 이미지에 오프닝(Opening) 함수 및 캐니(Canny) 함수를 적용하여 상기 이진화된 제1 이미지로부터 노이즈를 제거하는 제3 이진화 모듈을 포함하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
8. 삭제
9. 제3항에 있어서,
   상기 회전각도 결정부는,
   상기 마킹영역을 구성하는 4개의 경계라인들 중에서 결정된 기준 경계라인이 상기 수직축 또는 상기 수평축과 이루는 각도를 상기 경사각도로 산출하고, 상기 경사각도를 기준각도로 보정시키기 위해 필요한 값을 상기 회전각도로 결정하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
10. 제9항에 있어서,
    상기 회전각도 결정부는,
    상기 4개의 경계라인들 중 길이가 가장 긴 경계라인을 상기 기준 경계라인으로 결정하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
11. 제1항에 있어서,
    상기 철강 제품은 빌렛(Billet) 또는 브룸(Broom)이고, 상기 이송롤은 브이형상의 이송롤이며, 상기 철강 제품은 상기 브이 형상의 이송롤 상에 마름모 형상으로 안착되는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 시스템.
12. 이송롤에 안착된 철강 제품을 촬영하여 획득된 제1 이미지를 이진화 처리하는 단계;
    이진화된 제1 이미지 내에서 마킹정보가 포함된 마킹영역을 검출하는 단계;
    상기 철강 제품의 안착상태에 따라 결정되는 상기 마킹영역의 경사각도를 기초로 상기 제1 이미지를 회전시켜 제2 이미지를 획득하는 단계; 및
    딥러닝 기반의 신경망 모델에 상기 제2 이미지를 입력하여 상기 제2 이미지로부터 상기 마킹정보를 획득하는 단계를 포함하고,
    상기 마킹영역을 검출하는 단계는, 상기 이진화된 제1 이미지 내에서 동일한 픽셀값을 갖는 픽셀들의 경계선을 연결한 컨투어 라인을 이용하여 후보영역을 결정하고, 후보영역들 중 면적이 미리 정해진 범위 이내에 속하는 후보영역을 상기 마킹영역으로 검출하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 방법.
13. 제12항에 있어서,
    상기 이진화 처리하는 단계는,
    상기 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 상기 제1 이미지를 1차 이진화 처리하는 단계; 및
    상기 1차 이진화 처리된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들의 픽셀값을 기초로 결정된 가변 문턱값을 적용하여 상기 1차 이진화 처리된 제1 이미지를 2차 이진화 처리하는 단계를 포함하고,
    상기 가변 문턱값은 상기 1차 이진화 처리된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃한 복수개의 픽셀들의 평균값으로 결정되는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 방법.
14. 제12항에 있어서,
    상기 이진화 처리하는 단계는,
    미리 정해진 크기의 필터를 이용하여 상기 제1 이미지를 필터링하는 단계;
    상기 필터링된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃하는 픽셀들의 픽셀값을 기초로 결정된 가변 문턱값을 적용하여 상기 필터링된 제1 이미지를 1차 이진화하는 단계; 및
    상기 1차 이진화된 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 상기 제1 이미지를 2차 이진화 처리하는 단계를 포함하고,
    상기 가변 문턱값은 상기 1차 이진화된 제1 이미지의 각 픽셀 별로 해당 픽셀에 이웃한 복수개의 픽셀들의 평균값으로 결정되는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 방법.
15. 제14항에 있어서,
    상기 필터는 3*3 또는 5*5크기를 갖는 필터인 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 방법.
16. 제12항에 있어서,
    상기 이진화 처리하는 단계는,
    상기 제1 이미지의 픽셀 전체에 대해 고정 문턱값을 적용하여 상기 제1 이미지를 이진화 처리하는 단계; 및
    상기 이진화된 제1 이미지에 오프닝 함수 및 캐니 함수를 적용하여 상기 이진화된 제1 이미지로부터 노이즈를 제거하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 방법.
17. 삭제
18. 제12항에 있어서,
    상기 제2 이미지를 획득하는 단계는,
    상기 마킹영역을 구성하는 4개의 경계라인들 중에서 길이가 가장 긴 경계라인을 기준 경계라인으로 결정하는 단계;
    상기 기준 경계라인이 수직축 또는 수평축과 이루는 각도를 상기 경사각도로 산출하는 단계; 및
    상기 경사각도를 기준각도로 보정시키기 위해 필요한 값을 회전각도로 결정하여 상기 제1 이미지를 상기 회전각도만큼 회전시켜 상기 제2 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 철강 제품 이미지 인식 방법.

Images