KR20220089968A - 철강제품용 태그 부착 시스템 및 방법 - Google Patents

철강제품용 태그 부착 시스템 및 방법 Download PDF

Info

Publication number
KR20220089968A
KR20220089968A KR1020200180672A KR20200180672A KR20220089968A KR 20220089968 A KR20220089968 A KR 20220089968A KR 1020200180672 A KR1020200180672 A KR 1020200180672A KR 20200180672 A KR20200180672 A KR 20200180672A KR 20220089968 A KR20220089968 A KR 20220089968A
Authority
KR
South Korea
Prior art keywords
tag
target
image
pixel
steel product
Prior art date
Application number
KR1020200180672A
Other languages
English (en)
Other versions
KR102599855B1 (ko
Inventor
김한욱
이영희
허웅
Original Assignee
주식회사 포스코아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티 filed Critical 주식회사 포스코아이씨티
Priority to KR1020200180672A priority Critical patent/KR102599855B1/ko
Publication of KR20220089968A publication Critical patent/KR20220089968A/ko
Application granted granted Critical
Publication of KR102599855B1 publication Critical patent/KR102599855B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/26—Devices for applying labels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C3/00—Labelling other than flat surfaces
    • B65C3/06—Affixing labels to short rigid containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/40—Controls; Safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/40—Controls; Safety devices
    • B65C2009/408—Controls; Safety devices reading information before printing and applying a label

Abstract

철강제품용 태그를 로봇을 이용하여 자동으로 철강제품에 부착할 수 있는 본 발명의 일 측면에 따른 철강제품용 태그 부착 시스템은, 복수개의 철강제품으로 구성된 제품그룹을 촬영하여 획득된 상기 철강제품의 뎁스(Depth) 값을 기초로 뎁스 이미지를 생성하는 영상 촬영부; 상기 뎁스 이미지를 기초로 생성된 타겟 이미지 내에서 상기 제품그룹의 태그 부착을 위한 타겟영역을 결정하고, 상기 타겟 이미지 내에서 상기 타겟영역의 위치정보를 기초로 태그부착위치를 결정하는 태그부착위치 결정부; 및 상기 태그부착위치로 이동하여 상기 태그부착위치에 대응되는 타겟 철강제품에 상기 태그를 부착하는 태그부착 로봇을 포함하는 것을 특징으로 한다.

Description

철강제품용 태그 부착 시스템 및 방법{Apparatus and Method for Attaching Tag For Steel Product}
본 발명은 태그 부착 시스템에 관한 것으로서, 보다 구체적으로 철강제품용 태그를 자동으로 부착할 수 있는 시스템에 관한 것이다.
일반적으로 강편이나 선재 공정 등의 작업을 통해 생성된 제품(이하, '철강제품'이라 함)에는 철강제품의 구분을 위해 해당 철강제품의 식별정보가 포함된 태그(Tag)가 부착된다.
일 예로, 강편이나 선재 공정 등의 작업을 통해 생성된 철근(Bebar)에는 철근의 이송이나 보관 등의 과정에서 철근의 트랙킹(Tracking)을 위한 태그가 부착된다.
종래에는 이러한 태그를 작업자가 수동으로 철강제품에 직접 부착하였기 때문에, 작업자의 실수로 인해 태그가 오부착되는 문제가 발생될 수 있다.
또한, 작업자가 태그를 철강제품에 부착하는 과정에서 협착, 화상, 분진, 소음, 또는 낙하 등의 발생으로 인해 작업자의 안전에 위협이 발생할 수 있다는 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 철강제품용 태그를 로봇을 이용하여 자동으로 철강제품에 부착할 수 있는 철강제품용 태그 부착 시스템 및 방법을 제공하는 것을 그 기술적 과제로 한다.
또한, 본 발명은 3차원 카메라 기반의 영상처리기법을 이용하여 태그부착 위치를 정확하게 결정할 수 있는 철강제품용 태그 부착 시스템 및 방법을 제공하는 것을 다른 기술적 과제로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 철강제품용 태그 부착 시스템은, 복수개의 철강제품으로 구성된 제품그룹을 촬영하여 획득된 상기 철강제품의 뎁스(Depth) 값을 기초로 뎁스 이미지를 생성하는 영상 촬영부; 상기 뎁스 이미지를 기초로 생성된 타겟 이미지 내에서 상기 제품그룹의 태그 부착을 위한 타겟영역을 결정하고, 상기 타겟 이미지 내에서 상기 타겟영역의 위치정보를 기초로 태그부착위치를 결정하는 태그부착위치 결정부; 및 상기 태그부착위치로 이동하여 상기 태그부착위치에 대응되는 타겟 철강제품에 상기 태그를 부착하는 태그부착 로봇을 포함하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 철강제품용 태그 부착 방법은, 복수개의 철강제품으로 구성된 제품그룹이 영상인식영역에 도착하면 상기 제품그룹을 촬영하여 획득한 상기 철강제품의 뎁스(Depth) 값을 기초로 뎁스 이미지를 생성하는 단계; 상기 뎁스 이미지를 이진화하여 타겟 이미지를 생성하는 단계; 상기 타겟 이미지 내에서 상기 제품그룹의 태그 부착을 위한 타겟영역을 결정하는 단계; 상기 타겟 이미지 내에서 상기 타겟영역의 위치정보를 기초로 태그부착위치를 결정하는 단계; 및 태그부착 로봇을 상기 태그부착위치로 이동시켜 상기 태그부착위치에 대응되는 타겟 철강제품에 상기 태그를 부착하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 로봇을 이용하여 철강제품에 태그를 자동으로 부착할 수 있기 때문에 태그 부착과정에서 발생될 수 있는 협착, 화상, 소음, 분진, 또는 낙하 등을 미연에 방지할 수 있어 작업자의 안전을 확보할 수 있고, 태그부착을 위해 요구되는 인력자원을 최소화시킬 수 있어 철강제품의 생산원가를 절감할 수 있다는 효과가 있다.
또한, 본 발명에 따르면 3차원 카메라 기반의 영상처리기법을 이용하여 태그부착 위치를 정확하게 결정할 수 있기 때문에, 작업자의 실수로 인해 태그가 오부착되는 것을 미연에 방지할 수 있고 조업상황에 맞는 최적의 부착지점에 태그를 부착할 수 있다는 효과가 있다.
또한, 본 발명에 따르면 3차원 카메라 기반의 영상처리기법을 이용하여 태그부착 위치를 정확하게 결정하기 때문에 철강제품 이외의 다양한 제품의 태그 부착 시스템에 적용할 수 있어 시스템 확장성이 극대화된다는 효과가 있다.
또한, 본 발명에 따르면 태그부착과정에서 획득한 측정정보의 저장 및 작업사항 이력관리를 통해 오류 원인 분석 기능을 제공할 수 있어 태그부착 조업을 개선할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 철강제품용 태그 부착 시스템이 적용되는 환경을 보여주는 도면이다.
도 2는 영상 촬영부가 철강제품의 뎁스를 촬영하는 방법을 개념적으로 예시적으로 보여주는 도면이다.
도 3(a)는 2차원 카메라를 이용하여 철강제품을 촬영한 이미지를 보여주는 도면이고, 도 3(b)는 3차원 카메라를 이용하여 철강제품을 촬영한 이미지를 보여주는 도면이다.
도 4(a) 내지 도 4(d)는 2차원 카메라를 이용하여 철강제품을 촬영한 이미지와 3차원 카메라를 이용하여 철강제품을 촬영한 이미지를 각각 비교하여 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 태그부착위치 결정부의 구성을 보여주는 블록도이다.
도 6(a)는 이진화 수행 이전의 뎁스 이미지를 보여주는 도면이고, 도 6(b)는 이진화 이후의 뎁스 이미지를 보여주는 도면이다.
도 7(a)는 경계선 보강 이전의 타겟 이미지를 보여주는 도면이고, 도 7(b)는 경계선 보강 이후의 타겟 이미지를 보여주는 도면이다.
도 8(a)는 경계선 보강 이전의 타겟 이미지에서 경계선을 보강하는 방법을 예시적으로 보여주는 도면이다.
도 8(b)는 도 8(a)에 도시된 타겟 이미지 내에 경계선이 보강된 것을 보여주는 도면이다.
도 9(a)는 필터링 과정 수행 이전의 타겟 이미지를 보여주는 도면이고, 도 9(b)는 필터링 과정 수행으로 타겟 이미지 내에서 경계선이 제거된 것을 보여주는 도면이다.
도 10(a)는 타겟 이미지로부터 거리 변환 이미지를 획득하는 것을 보여주는 도면이고, 도 10(b)는 거리 변환 이미지를 이진화하는 것을 보여주는 도면이며, 도 10(c)는 타겟 이미지 내에서 추출된 복수개의 후보영역들을 보여주는 도면이다.
도 11은 복수개의 후보영역들 중 타겟영역을 결정하는 방법을 보여주는 도면이다.
도 12(a) 내지 도 12(c)는 태그 정상부착 여부를 판단하는 방법을 예시적으로 보여주는 도면이다.
도 13은 본 발명의 일 실시예에 따라 태그부착 로봇이 스터더 핀을 이용하여 태그를 타겟 철강제품에 부착한 예를 보여주는 도면이다.
도 14는 본 발명의 일 실시예에 따른 철강제품용 태그 부착 방법을 보여주는 플로우차트이다.
명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명의 핵심 구성과 관련이 없는 경우 및 본 발명의 기술분야에 공지된 구성과 기능에 대한 상세한 설명은 생략될 수 있다. 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
시간 관계에 대한 설명일 경우, 예를 들어, '~후에', '~에 이어서', '~다음에', '~전에' 등으로 시간적 선후 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미할 수 있다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 철강제품용 태그 부착 시스템이 적용되는 환경을 보여주는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 철강제품용 태그 부착 시스템(100)은 라인 제어기(110)의 제어에 따라 이송라인(120)을 통해 이송되는 철강제품 그룹(이하, '제품그룹'이라 함, 130)에 해당 제품그룹의 식별을 위한 태그(Tag)를 부착한다.
일 실시예에 있어서, 제품그룹(130)은 복수개의 철강제품(132)들이 그룹핑된 것을 의미하는 것으로서, 철강제품(132)은 강편 또는 선재 공정을 통해 생성된 철근(Bebar)을 포함할 수 있다. 철근은 철근 표면에 마디와 리브가 없는 원형 철근과 철근 표면에 마디와 리브가 있는 이형 철근으로 구성된다.
상술한 실시예에 있어서, 철강제품(132)은 철근인 것으로 설명하였지만, 본 발명에 따른 철강제품(132)은 철근에 한정되지 않고, 철강제품(132)의 식별을 위해 태그와 같은 식별장치가 부착될 수 있는 것이라면 그 종류에 제한이 없다.
본 발명에 따른 철강제품(132)은 복수개의 철강제품(132)들이 하나의 제품그룹(130)으로 그룹핑된 후 이송라인(120)을 통해 이송되며, 이송라인(120) 상에서 제품그룹(130)의 이송은 라인 제어기(110)의 제어에 따라 수행된다.
본 발명에 따른 철강제품용 태그 부착 시스템(100)은 제품그룹(130)에 태그를 부착하기 위해, 도 1에 도시된 바와 같이 영상 촬영부(140), 태그 부착위치 결정부(150), 태그부착 로봇(160), 및 로봇 제어부(170)를 포함한다. 또한, 본 발명에 따른 철강제품용 태그 부착 시스템(100)은 태그 프린터(180), 피더(190), 및 핀 공급부(195)를 더 포함할 수 있다.
먼저, 영상 촬영부(140)는 복수개의 철강제품(132)으로 구성된 제품그룹(130)을 촬영하여 획득한 철강제품(132)의 뎁스(Depth) 값을 기초로 뎁스 이미지를 생성한다.
일 실시예에 있어서, 영상 촬영부(140)는 3차원 카메라를 이용하여 제품그룹(130)을 촬영함으로써 해당 제품그룹(130)에 포함된 철강제품(132)들의 뎁스 값을 획득하고, 획?姆? 뎁스 값을 기초로 해당 제품그룹(130)에 대한 뎁스 이미지를 생성할 수 있다.
이러한 실시예에 따르는 경우, 도 2에 도시된 바와 같이 영상 촬영부(140)는 미리 정해진 영상인식영역에서 철강제품(132)의 길이방향(Z)을 기준으로 철강제품(132)의 전면(132a)을 촬영하도록 배치되고, 제품그룹(132)이 영상인식영역에 도착했다는 정보가 태그부착위치 결정부(150)를 통해 라인 제어기(110)로부터 수신되면, 3차원 카메라의 촬영을 개시하여 3차원 카메라로 철강제품(132)들의 뎁스 값을 포함하는 뎁스 이미지를 획득하게 된다.
본 발명에 따른 영상 촬영부(140)가 3차원 카메라를 이용하여 제품그룹(130)의 뎁스 이미지를 획득하는 이유는, 도 3(a)에 도시된 바와 같이 영상 촬영부(140)가 2차원 카메라를 이용하여 제품그룹(130)을 촬영하는 경우 철강제품(132)의 전면(132a)의 굴곡 및 색상에 따라 부분적으로 미인식되는 영역이 발생하여 다수의 형상측정 불량이 발생할 수 있기 때문이다. 이에 반해, 상술한 바와 같이 영상 촬영부(140)가 3차원 카메라를 이용하여 제품그룹(130)을 촬영하는 경우 철강제품(132)들의 전면(132a) 형상을 정확하게 획득할 수 있음을 알 수 있다.
또한, 영상 촬영부(140)가 2차원 카메라를 사용하는 경우 도 4(a)의 좌측에 도시된 바와 같이 배경(410)을 철강제품으로부터 분리하는 것이 불가능함에 반해, 영상 촬영부(140)가 3차원 카메라를 이용하여 제품그룹(130)을 촬영하는 경우 도 4(a)의 우측에 도시된 바와 같이 배경(420)을 철강제품으로부터 안정적으로 분리할 수 있게 된다는 장점이 있다.
또한, 영상 촬영부(140)가 2차원 카메라를 사용하는 경우 도 4(b)의 좌측에 도시된 바와 같이 외부광원으로 영향으로 인해 철강제품(132)의 전면(132a)이 정확하게 인식될 수 없는 영역(430)이 존재함에 반해, 영상 촬영부(140)가 3차원 카메라를 이용하여 제품그룹(130)을 촬영하는 경우 도 4(b)의 우측에 도시된 바와 같이 외부광원의 영향이 존재하더라도 도 4(a)에 도시된 영역(430)에 대응되는 영역(440) 내에서 철강제품(132)의 전면(132a)이 정확하게 인식된다는 장점이 있다.
또한, 영상 촬영부(140)가 2차원 카메라를 사용하는 경우 도 4(c)의 좌측에 도시된 바와 같이 영상 촬영부(140)로부터 철강제품(132)의 전면(132a) 까지의 거리값(또는 뎁스 값)을 알 수 없기 때문에 태그 부착시 태그부착수단과 철강제품(132)간의 충돌이 발생할 수 있음에 반해, 촬영부(140)가 3차원 카메라를 이용하여 제품그룹(130)을 촬영하는 경우 도 4(c)의 우측에 도시된 바와 같이 영상 촬영부(140)로부터 철강제품(132)의 전면(132a) 까지의 거리값(또는 뎁스 값)을 알 수 있기 때문에 태그부착수단과 철강제품(132)이 충돌하지 않는 최적위 위치에 태그를 부착할 수 있다는 장점이 있다.
또한, 영상 촬영부(140)가 2차원 카메라를 사용하는 경우 도 4(d)의 좌측에 도시된 바와 같이 철강제품(132)의 전면(132a) 색상(450)에 따라 이미지 처리시 데이터 손실이 발생하여, 인식되지 않는 영역(460)이 발생할 수 있다. 이에 반해, 촬영부(140)가 3차원 카메라를 이용하여 제품그룹(130)을 촬영하는 경우 도 4(d)의 우측에 도시된 바와 같이 철강제품(132)의 전면(132a) 색상에 관계 없이, 해당 영역(470) 내에서 뎁스 값을 기초로 철강제품(132)의 전면(132a)을 인식할 수 있어 해당 영역(480) 내에서 이미지 처리시 데이터 손실 발생이 방지되므로 미인식 영역이 발생되지 않는다는 장점이 있다.
다시 도 1을 참조하면, 태그 부착위치 결정부(150)는 영상 촬영부(140)에 의해 획득된 뎁스 이미지를 기초로 타겟 이미지를 생성하고, 타겟 이미지 내에서 제품그룹(130)의 태그 부착을 위한 타겟영역을 결정한다. 태그 부착위치 결정부(150)는 타겟 이미지 내에서 타겟영역의 위치정보를 기초로 태그 부착위치를 결정한다.
또한, 태그부착 위치 결정부(150)는 태그부착 로봇(160)에 의해 태그부착이 완료되면, 태그가 정상적으로 부착되었는지 여부를 판단하고, 판단결과를 로봇 제어부(170)로 전송한다. 이를 위해, 태그부착 위치 결정부(150)는 태그부착 로봇(160)에 의해 태그부착이 완료되면 태그가 부착된 철강제품(132)을 영상 촬영부(140)가 촬영하도록 하고, 영상 촬영부(140)에 의해 촬영된 영상을 기초로 태그가 태그부착 위치에 정상적으로 부착되었는지 여부를 판단할 수 있다.
이하, 도 5를 참조하여 본 발명에 따른 태그 부착위치 결정부(150)의 구성을 보다 구체적으로 설명한다. 도 5는 본 발명의 일 실시예에 따른 태그 부착위치 결정부(150)의 구성을 보여주는 블록도이다. 도 5에 도시된 바와 같이, 태그 부착위치 결정부(150)는 제1 이미지 이진화부(510), 경계선 보강부(520), 후보영역 라벨링부(530), 타겟영역 결정부(540), 좌표 산출부(550)를 포함한다. 또한, 본 발명에 따른 태그 부착위치 결정부(150)는 태그 정상부착 판단부(560)를 추가로 포함할 수 있다.
먼저, 제1 이미지 이진화부(510)는 뎁스 이미지에 포함된 각 픽셀들의 픽셀값이 미리 정해진 기준값 이상일 경우 해당 픽셀의 픽셀값을 최대 계조값으로 변경하고, 각 픽셀들의 픽셀값이 기준값 보다 작은 경우 해당 픽셀의 픽셀값을 최소 계조값으로 변경함으로써 뎁스 이미지를 이진화여 타겟 이미지를 생성한다.
구체적으로, 제1 이미지 이진화부(510)는 뎁스 이미지에 포함된 각 픽셀들의 그레이스케일 값이 기준값 이상일 경우 패당 픽셀의 픽셀값을 최대 계조값인 255로 변경하고, 각 픽셀들의 픽셀값이 기준값 보다 작은 경우 해당 픽셀의 픽셀값을 최소 계조값인 0으로 변경할 수 있다.
이와 같이, 본 발명에 따르면 제1 이미지 이진화부(510)가 뎁스 이미지를 이진화하여 타겟 이미지를 생성하기 때문에 뎁스 이미지 내에서 에지(Edge)점을 명확하게 할 수 있게 된다.
예컨대, 제1 이미지 이진화부(510)는 도 6(a)에 도시된 바와 같은 뎁스 이미지를 이진화함으로써 도 6(b)에 도시된 바와 같은 이진화 이미지를 획득할 수 있다.
다시 도 5를 참조하면, 경계선 보강부(510)는 제1 이미지 이진화부(510)에 의해 생성된 타겟 이미지 내에 경계선을 보강함으로써 철강제품(132)들 간의 경계를 명확하게 한다. 예컨대, 경계선 보강부(510)는 도 7(a)에 도시된 바와 같은 타겟 이미지 내에서 경계선이 존재하지 않았던 영역(710) 내에 경계선을 보강함으로써, 도 7(b)에 도시된 바와 같이 타겟 이미지의 해당 영역(720) 내에서 철강제품들의 경계선이 명확해 지도록 할 수 있다.
본 발명에서 경계선 보강부(510)를 통해 타겟 이미지 내에 경계선을 보강하는 이유는, 철강제품(132)들이 서로 붙어 있고, Y방향으로의 높이 차가 작은 경우(예컨대, 2~3mm 이하), 뎁스 값을 기초로 뎁스 이미지를 생성할 때 2개의 철강제품(132)이 붙어서 표현되어 그 경계가 불명확해지는 경우가 발생될 수 있기 때문이다.
일 실시예에 있어서, 본 발명에 따른 경계선 보강부(510)는 각 픽셀들의 뎁스 값을 기초로 타겟 이미지 내에 경계선을 보강함으로써 타겟 이미지 내에서 각 철강제품(132)들간의 경계가 명확해지도록 할 수 있다. 구체적으로, 경계선 보강부(510)는 타겟 이미지 내에서 타겟픽셀의 뎁스 값과 타겟픽셀에 인접한 인접픽셀의 뎁스 값의 차이가 미리 정해진 기준값보다 큰 경우 인접픽셀을 철강제품의 경계로 결정하여 인접픽셀의 픽셀값을 최소 계조값(예컨대, 0)으로 변경한다. 이때, 인접픽셀은 타겟픽셀의 우측방향에 인접한 픽셀 또는 타겟픽셀의 하측방향에 인접한 픽셀 중 적어도 하나를 포함할 수 있다.
예컨대, 도 8a에 도시된 바와 같이, 타겟 이미지 내에서 1번 픽셀의 뎁스 값과 1번 픽셀을 기준으로 1번 픽셀의 우측에 인접한 2번 픽셀의 뎁스 값간의 차이가 기준값보다 큰 경우 2번 픽셀이 경계인 것으로 판단하여 2번 픽셀의 픽셀값을 최저 계조값인 0으로 변경한다. 또한, 타겟 이미지 내에서 1번 픽셀의 뎁스 값과 1번 픽셀을 기준으로 1번 픽셀의 하측에 인접한 4번 픽셀의 뎁스 값간의 차이가 기준값보다 큰 경우 4번 픽셀이 경계인 것으로 판단하여 4번 픽셀의 픽셀값을 최저 계조값인 0으로 변경한다.
이때, 경계선 보강부(510)는 타겟 이미지의 동일 행 내에서는 좌측에서 우측 방향으로 타겟픽셀을 변경해가면서 경계선 보강여부를 결정하고, 타겟 이미지의 동일 열 내에서는 상측에서 하측 방향으로 타겟 픽셀을 변경해가면서 경계선 보강여부를 결정한다. 도 8a에 도시된 예를 기준으로, 경계선 보강부(510)는 타겟픽셀을 1번픽셀, 2번픽셀, 3번픽셀, 4번 픽셀, 5번픽셀, 및 6번 픽셀 순서로 변경해 가면서 경계선 보강여부를 결정한다.
경계선 보강부(510)는 도 8(a)에 도시된 타겟 이미지에 경계선을 보강함으로써 도 8(b)에 도시된 바와 같이 경계선이 보강된 타겟 이미지를 획득할 수 있게 된다.
한편, 경계선 보강부(510)는 경계선 보강이 완료된 후 경계선 보강이 완료된 타겟 이미지 내에서 불필요한 잡영을 제거하는 필터링 과정을 추가로 수행할 수 있다. 하지만, 경계선 보강부(510)는 도 9(a)에 도시된 바와 같은 타겟 이미지에 필터링 과정을 수행함으로써 도 9(b)에 도시된 바와 같이 경계선이 없어진 타겟 이미지가 획득되는 경우, 필터링 과정을 생략할 수 있다.
다시 도 5를 참조하면, 후보영역 라벨링부(530)는 경계선이 보강된 타겟 이미지로부터 철강제품(132)의 전면(132a)에 해당하는 영역들을 라벨링함으로써 복수개의 후보영역을 추출한다. 이를 위해, 본 발명에 따른 후보영역 라벨링부(530)는 거리 변환 수행부(532), 제2 이진화부(534), 및 후보영역 추출부(536)를 포함한다.
먼저, 거리 변환 수행부(532)는 타겟 이미지 내에서 최대 계조값을 갖는 서로 연속된 픽셀들로 구성된 복수개의 서브영역들에 대해 워터쉐드(Watershed) 알고리즘에 따라 거리변환(Distance Transform) 및 정규화(Normalization)를 수행함으로써, 거리 변환 이미지를 생성한다.
구체적으로, 거리 변환 수행부(532)는 타겟 이미지 내에서 각 서브영역의 외곽에서 중심 방향으로 향할수록 각 픽셀들의 밝기 값이 증가되도록 각 서브 영역에 포함된 픽셀들의 밝기 값을 조절함으로써 거리변환 이미지를 생성한다. 예컨대, 거리 변환 수행부(532)는 도 10(a)의 좌측에 도시된 바와 같은 타겟 이미지에 대해 워터쉐드(Watershed) 알고리즘에 따라 거리변환(Distance Transform) 및 정규화(Normalization)를 수행함으로써 도 10(a)의 우측에 도시된 바와 같이 각 서브영역의 외곽에서 중심 방향으로 향할수록 각 픽셀들의 밝기 값이 증가되는 거리 변환 이미지를 생성한다.
제2 이미지 이진화부(534)는 거리 변환 이미지 내에서 각 서브영역의 중심픽셀로부터 소정 거리 이내에 위치하는 관심픽셀들의 픽셀값은 최대 계조값(예컨대, 255)으로 변경하고 관심픽셀을 제외한 나머지 픽셀들의 픽셀값은 최소 계조값(예컨대, 0)으로 변경함으로써 거리 변환 이미지를 이진화한다.
예컨대, 제2 이미지 이진화부(534)는 도 10(b)의 좌측에 도시된 바와 같은 거리 변환 이미지에 대해 이진화를 수행함으로써 도 10(b)의 우측에 도시된 바와 같이 이진화된 타겟 이미지를 생성한다.
후보영역 추출부(536)는 이진화된 타겟 이미지 내에서 최대 계조값을 갖는 인접픽셀들을 사각형상의 윈도우 영역으로 그룹핑하고, 각 윈도우 영역들 중 윈도우 영역의 평균크기를 기준으로 크기가 임계범위 이내이고, 가로와 세로의 비율이 기준치 이하인 윈도우 영역들을 라벨링함으로써 후보영역으로 추출할 수 있다.
예컨대, 후보영역 추출부(536)는 도 10(c)에 도시된 같이 타겟 이미지 내에서 최대 계조값을 갖는 인접픽셀들을 사각형상의 윈도우 영역(1000, 1010, 1020)으로 그룹핑하고, 각 윈도우 영역(1000, 1010, 1020)들 중 윈도우 영역의 평균크기를 기준으로 크기가 임계범위 이내이면서 가로와 세로의 비율이 기준치 이하인 윈도우 영역(1000)들을 후보영역으로 추출할 수 있다. 이때, 임계범위는 각 윈도우 영역의 평균크기 대비 200% 이상 또는 30% 미만의 크기로 결정될 수 있다. 이는 각 윈도우 영역의 평균크기 대비 200% 이상 또는 30% 미만의 크기를 갖는 윈도우 영역은 잡영이거나 이미지가 뭉쳐져 있는 것일 가능성이 높이 때문이다.
이에 따라, 전체 윈도우 영역(1000, 1010, 1020)들 중 크기가 임계범위를 벗어나는 윈도우 영역(1010)이나 가로와 세로의 비율이 기준치를 초과하는 윈도우 영역(1020)들은 후보영역에서 배제된다.
타겟영역 결정부(540)는 후보영역 라벨링부(530)에 의해 추출된 복수개의 후보영역들 중 철강제품(132)의 길이 방향(Z)으로 전면(132a)이 가장 돌출되어 배치된 철강제품(132)에 대응되는 후보영역을 타겟영역으로 결정한다.
본 발명에서 타겟영역 결정부(540)가 복수개의 후보영역들 중 철강제품(132)의 길이 방향(Z)으로 전면(132a)이 가장 돌출되어 배치된 철강제품(132)에 대응되는 후보영역을 타겟영역으로 결정하는 이유는, 길이 방향(Z)으로 전면(132a)이 가장 돌출되어 배치된 철강제품(이하, '제1 철강제품'이라 함)이 아닌 다른 철강제품(이하, '제2 철강제품'이라 함)에 대응되는 후보영역이 타겟영역으로 결정되는 경우, 태그부착 로봇(160)이 제2 철강제품에 태그 부착을 위한 용접 시도시 제1 철강제품과 충돌하게 되어 태그부착 로봇(160)에 고장이 발생하거나 사고가 발생될 수 있기 때문이다.
일 실시예에 있어서, 타겟영역 결정부(540)는 뎁스 이미지로부터 각 후보영역의 뎁스 값을 획득하고, 뎁스 값이 가장 큰 후보영역을 전면(132a)이 가장 돌출되어 배치된 철강제품(132)에 대응되는 후보영역인 것으로 결정할 수 있다.
이를 위해, 타겟영역 결정부(540)는 먼저 각 후보영역의 뎁스 값의 크기 순서에 따라 각 후보영역들을 정렬한다. 타겟영역 결정부(540)는 정렬순서에 따라 순차적으로 각 후보영역들이 가장 돌출되어 배치된 철강제품에 대응되는 후보영역인지 여부를 검출한다. 구체적으로, 타겟영역 결정부(540)는 도 11에 도시된 바와 같이 후보영역들 중 뎁스 값이 가장 큰 후보영역(1100)을 기준으로 해당 후보영역(1100)에 대한 검출범위(1110)를 설정하고, 설정된 검출범위 내에서 해당 후보영역(1100)을 제외한 다른 후보영역들(1120~1160) 중 뎁스 값이 해당 후보영역(1120)의 뎁스 값 보다 큰 후보영역이 존재하는지 여부를 판단한다. 이때, 검출범위(1110)는 태그의 크기를 기초로 설정될 수 있다. 즉, 태그의 크기에 대응되는 가상의 선을 표시함으로써 후보영역(1100)에 대한 검출범위(1110)를 설정할 수 있다.
판단결과, 해당 후보영역(1120)의 뎁스 값보다 큰 뎁스 값을 갖는 후보영역이 존재하지 않으면, 타겟영역 결정부(540)는 해당 후보영역(1120)을 타겟영역으로 결정한다.
하지만, 해당 후보영역(1120)의 뎁스 값보다 큰 뎁스 값을 갖는 후보영역이 존재하면, 타겟영역 결정부(540)는 정렬순서에 따라 뎁스 값이 2번째로 큰 후보영역을 기준으로 해당 후보영역에 대한 검출범위를 재설정함으로써 위의 과정을 반복하여 수행한다.
좌표 산출부(550)는 타겟 이미지 내에서 타겟영역의 위치에 대응되는 X좌표 및 Y좌표와 타겟영역의 뎁스 값에 해당하는 Z좌표를 태그 부착위치로 결정한다. 좌표 산출부(550)는 결정된 X좌표, Y좌표, 및 Z좌표를 로봇 제어기(170)로 전송한다.
구체적으로, 좌표 산출부(550)는 타겟 이미지 내에서 타겟영역의 x좌표 및 y좌표를 산출하면, 영상 촬영부(140)가 설치된 위치정보 및 영상 촬영부(140)의 해상도 정보 등을 기초로 타겟영역의 x좌표에 대응되는 실제 X좌표와 타겟영역의 y좌표에 대응되는 실제 Y좌표를 산출할 수 있게 된다. 또한, 좌표 산출부(550)는 뎁스 이미지로부터 타게영역의 뎁스 값을 획득하여 획득된 뎁스 값을 Z좌표로 산출한다.
한편, 본 발명에 따른 태그부착 위치 결정부(150)는 태그가 정상적으로 부착되었는지 여부를 판단하기 위해 태그 정상부착 판단부(560)를 추가로 포함할 수 있다. 태그 정상부착 판단부(560)는 태그부착 로봇(160)에 의해 태그부착이 완료되면, 태그가 정상적으로 부착되었는지 여부를 판단하고, 판단결과를 태그가 정상적으로 부착되지 않은 것으로 판단되면 태그 재부착 명령을 생성하여 로봇 제어부(170)로 전송한다.
구체적으로, 태그 정상부착 판단부(560)는 태그부착 로봇(160)에 의해 태그부착이 완료되면 태그부착 촬영영상을 획득명령을 영상 촬영부(140)로 전달하여 영상 촬영부(140)가 태그가 부착된 철강제품(132)을 촬영하도록 한다. 태그 정상부착 판단부(560)는 영상 촬영부(140)로부터 태극부착 촬영영상이 수신되면 해당 영상을 제1 이미지 이진화부(510)로 입력하여 제1 이미지 이진화부(510)가 해당영상을 이진화하도록 한다. 제1 이미지 이진화부(510)에 의해 이진화된 태그부착 촬영영상의 예가 도 12(a)에 도시되어 있다.
태그 정상부착 판단부(560)는 제1 이미지 이진화부(510)로부터 이진화된 태극부착 촬영영상을 수신하고, 미리 정해진 외곽선 추출 알고리즘을 이진화된 태그부착 촬영영상에 적용함으로써 이진화된 태극부착 촬영영상으로부터 외곽선을 추출한다. 이진호된 태그부착 촬영영상으로터 획득된 외곽선 이미지의 예가 도 12(b)에 도시되어 있다.
태그 정상부착 판단부(560)는 외곽선 이미지에 포함된 외곽선들 중 미리 정해진 길이 이상의 직선이 검출되면, 태그가 정상적으로 부착된 것으로 판단하고, 미리 정해진 길이 이상의 직선이 검출되지 않으면 태그가 정상적으로 부착되지 않은 것으로 판단한다. 도 12(c)에 외곽선 이미지로부터 미리 정해진 길이 이상의 직선(1200)이 검출된 예가 도시되어 있다.
태그 정상부착 판단부(560)는 외곽선 이미지로부터 미리 정해진 길이 이상의 직선이 검출되지 않으면 태그 재부착 명령을 생성하여 태그부착 로봇(160)으로 전송함으로써 태그부착 로봇(160)이 태그를 해당 태그부착위치에 재부착할 수 있도록 한다.
다시 도 1을 참조하면, 태그부착 로봇(160)은 태그부착위치로 이동하여 태그 부착위치에 대응되는 타겟 철강제품(132)에 태그를 부착한다. 이를 위해, 태그부착 로봇(160)은 피더(190)로부터 태그를 픽업하여 대기하고, 로봇 제어부(170)로부터 이동명령이 수신되면 이동명령에 따라 태그 부착위치에 대응되는 타겟 철강제품(132)으로 이동하여 해당 타겟 철강제품(132)의 전면(132a)에 태그를 부착한다.
일 실시예에 있어서, 태그부착 로봇(160)은 스터드 핀(Stud Pin)을 이용하여 타겟 철강제품(132)의 전면(132a)에 용접을 통해 태그를 부착시킬 수 있다. 이를 위해, 태그부착 로봇(160)은 용접건(미도시)를 더 포함할 수 있다. 이러한 실시예에 따르는 경우 태그부착 로봇(160)은 로봇 제어부(170)로부터 용접건 구동명령이 수신되면, 해당 명령에 따라 스터더 핀의 일단을 용접건을 이용하여 타겟 철강제품(132)의 전면(132a)에 용접하고, 스터더 핀을 태그에 형성된 홀에 삽입함으로써 태그를 타겟 철강제품(132)에 부착하게 된다.
태그부착 로봇(160)가 스터더 핀을 이용하여 태그를 타겟 철강제품(132)에 부착한 예가 도 13에 도시되어 있다. 도 13에 도시된 바와 같이, 태그부착 로봇(160)은 철강제품들 중 그 전면이 가장 돌출되어 있는 철강제품에 태그를 부착하게 됨을 알 수 있다.
로봇 제어부(170)는 타겟 철강제품(132)까지 태그부착 로봇(160)을 이동시키기 위한 이동명령을 생성하고, 생성된 이동명령을 태그부착 로봇(160)으로 전송한다. 또한, 로봇 제어부(170)는 태그부착 로봇(160)이 타겟 철강제품(132)까지 이동하면 용접건의 구동명령을 생성하여 태그부착 로봇(160)에 전송함으로써 태그부착 로봇(160)이 용접건으로 스터더 핀을 타겟 철강제품(132)에 용접하여 태그를 타겟 철강제품(132)에 부착할 수 있도록 한다.
한편, 로봇 제어부(170)는 태그부착위치 결정부(150)에 의해 태그가 정상적으로 부착되지 않은 것으로 판단되면 태그 재부착 명령을 생성하여 태그부착 로봇(160)으로 전송한다. 이에 따라, 태그부착 로봇(160)은 태그부착 위치로 이동하여 태그를 해당 태그부착위치에 재부착한다. 이를 위해, 태그부착 로봇(160)은 새로운 태그 및 스터디 핀을 공급받을 수 있다.
태그 프린터(180)는 태그부착위치 결정부(150)를 통해 라인 제어기(110)로부터 제품그룹(132)이 준비 영역에 도착했다는 정보가 수신되면, 상위 시스템(미도시)으로부터 제품그룹의 식별정보를 수신하여 태그를 생성하고, 생성된 태그를 출력한다.
일 실시예에 있어서, 태그에 포함되는 제품그룹의 식별정보는, 해당 제품그룹(130)의 식별번호, 철강제품(132)의 종류, 제품그룹(130)에 포함된 철강제품(132)의 개수, 해당 철강제품(132)을 생성한 래들(Ladle)의 식별번호, 해당 철강제품(132)의 제조년원일, 해당 철강제품(132)의 길이, 및 해당 철강제품(132)의 중량 중 적어도 하나가 포함될 수 있다.
피더(190)는 태그 프린터(180)로부터 태그가 출력되면, 태그를 태그 부착용 로봇(160)이 픽업할 수 있는 위치까지 이동시킨다.
핀 공급부(195)는 스터더 핀을 태그 부착용 로봇(160)이 픽업할 수 있는 위치까지 이송시킨다. 핀 공급부(195)는 태그부착위치 결정부(150)를 통해 라인 제어기(110)로부터 제품그룹(132)이 준비 영역에 도착했다는 정보가 수신되면, 스터더 핀을 태그 부착용 로봇(160)이 픽업할 수 있는 위치까지 이송시킬 수 있다. 일 실시예에 있어서, 핀 공급부(195)는 보울 피더(Bowl Feeder), 리니어 피더(Linear Feeder), 및 슬라이드 피더(Slider Feeder)로 구성될 수 있다.
한편, 도 1에 도시하지는 않았지만, 본 발명에 따른 철강제품용 태그 부착 시스템(100)은 CCTV를 더 포함할 수 있다. CCTV는 태그부착 로봇(160)에 의해 태그가 부착되는 작업영상을 촬영하고, 촬영된 작업영상을 데이터 저장부(미도시)에 저장하거나, HMI(Human Machine Interface)를 통해 작업자에게 실시간으로 제공한다. 이를 통해, 작업자는 태그부착 로봇(160)에 의해 태그가 부착되는 작업을 실시간으로 모니터링 할 수 있다.
또한, 본 발명에 따르면 태그부착과정에서 획득된 태그부착위치 등과 같은 측정정보를 데이터 저장부에 추가로 저장함으로써 오류 발생시 작업사항 이력관리를 통해 작업자가 오류원인을 분석하도록 함으로써 태그부착 조업이 개선되도록 할 수 있다.
이하, 본 발명에 따른 철강제품용 태그 부착 방법에 대해 설명한다. 도 14는 본 발명의 일 실시예에 따른 철강제품용 태그 부착 방법을 보여주는 플로우차트이다. 도 14에 도시된 철강제품용 태그 부착 방법은 도 1에 도시된 철강제품용 태그 부착 시스템(100)에 의해 수행될 수 있다.
먼저, 철강제품용 태그 부착 시스템(100)은 복수개의 철강제품(132)으로 구성된 제품그룹(130)이 영상인식영역에 도착하면 제품그룹(130)을 촬영함으로써 획득한 철강제품(132)의 뎁스(Depth) 값을 기초로 뎁스 이미지를 생성한다(S1200).
일 실시예에 있어서, 철강제품용 태그 부착 시스템(100)은 3차원 카메라를 이용하여 제품그룹(130)을 촬영함으로써 해당 제품그룹(130)에 포함된 철강제품(132)들의 뎁스 값을 획득하고, 획?姆? 뎁스 값을 기초로 해당 제품그룹(130)에 대한 뎁스 이미지를 생성할 수 있다.
이후, 철강제품용 태그 부착 시스템(100)은 S1200에서 획득된 뎁스 이미지를 이진화하여 타겟 이미지를 생성한다(S1210). 구체적으로, 철강제품용 태그 부착 시스템(100)은 뎁스 이미지에 포함된 각 픽셀들의 그레이스케일 값이 기준값 이상일 경우 패당 픽셀의 픽셀값을 최대 계조값인 255로 변경하고, 각 픽셀들의 픽셀값이 기준값 보다 작은 경우 해당 픽셀의 픽셀값을 최소 계조값인 0으로 변경함으로써 뎁스 이미지를 이진화할 수 있다.
이와 같이, 본 발명에 따르면 철강제품용 태그 부착 시스템(100)이 뎁스 이미지를 이진화하여 타겟 이미지를 생성하기 때문에 뎁스 이미지 내에서 에지(Edge)점을 명확하게 할 수 있게 된다.
이후, 철강제품용 태그 부착 시스템(100)은 S1210에서 생성된 타겟 이미지 내에 경계선을 보강함으로써 철강제품(132)들 간의 경계를 명확하게 한다(S1220). 본 발명에서 철강제품용 태그 부착 시스템(100)이 타겟 이미지 내에 경계선을 보강하는 이유는, 철강제품(132)들이 서로 붙어 있고, Y방향으로의 높이 차가 작은 경우(예컨대, 2~3mm 이하), 뎁스 값을 기초로 뎁스 이미지를 생성할 때 2개의 철강제품(132)이 붙어서 표현되어 그 경계가 불명확해지는 경우가 발생될 수 있기 때문이다.
일 실시예에 있어서, 철강제품용 태그 부착 시스템(100)은 타겟 이미지 내에서 타겟픽셀의 뎁스 값과 타겟픽셀에 인접한 인접픽셀의 뎁스 값의 차이가 미리 정해진 기준값보다 큰 경우 인접픽셀을 철강제품의 경계로 결정하여 인접픽셀의 픽셀값을 최소 계조값(예컨대, 0)으로 변경함으로써 타겟 이미지 내에 경계선을 보강할 수 있다. 이때, 인접픽셀은 타겟픽셀의 우측방향에 인접한 픽셀 또는 타겟픽셀의 하측방향에 인접한 픽셀 중 적어도 하나를 포함할 수 있다.
일 실시예에 있어서, 철강제품용 태그 부착 시스템(100)은 타겟 이미지의 동일 행 내에서는 좌측에서 우측 방향으로 타겟픽셀을 변경해가면서 경계선 보강여부를 결정하고, 타겟 이미지의 동일 열 내에서는 상측에서 하측 방향으로 타겟 픽셀을 변경해가면서 경계선 보강여부를 결정할 수 있다.
한편, 도 12에 도시하지는 않았지만 철강제품용 태그 부착 시스템(100)은 경계선 보강이 완료된 후 경계선 보강이 완료된 타겟 이미지 내에서 불필요한 잡영을 제거하는 필터링 과정을 추가로 수행할 수 있다. 하지만, 철강제품용 태그 부착 시스템(100)은 타겟 이미지에 필터링 과정을 수행함으로써 타겟 이미지 내에서 경계선이 없어지는 경우 필터링 과정을 생략할 수 있다.
이후, 철강제품용 태그 부착 시스템(100)은 경계선이 보강된 타겟 이미지로부터 철강제품(132)의 전면(132a)에 해당하는 복수개의 후보영역을 추출한다(S1230). 일 실시예에 있어서, 철강제품용 태그 부착 시스템(100)은 먼저 타겟 이미지 내에서 최대 계조값을 갖는 서로 연속된 픽셀들로 구성된 복수개의 서브영역들에 대해 워터쉐드(Watershed) 알고리즘에 따라 거리변환(Distance Transform) 및 정규화(Normalization)를 수행하여 거리 변환 이미지를 생성한다.
이후, 철강제품용 태그 부착 시스템(100)은 거리 변환 이미지 내에서 각 서브영역의 중심픽셀로부터 소정 거리 이내에 위치하는 관심픽셀들의 픽셀값은 최대 계조값(예컨대, 255)으로 변경하고 관심픽셀을 제외한 나머지 픽셀들의 픽셀값은 최소 계조값(예컨대, 0)으로 변경함으로써 거리 변환 이미지를 이진화한다.
이후, 철강제품용 태그 부착 시스템(100)은 이진화된 타겟 이미지 내에서 최대 계조값을 갖는 인접픽셀들을 사각형상의 윈도우 영역으로 그룹핑하고, 각 윈도우 영역들 중 윈도우 영역의 평균크기를 기준으로 크기가 임계범위 이내이고, 가로와 세로의 비율이 기준치 이하인 윈도우 영역들을 후보영역으로 추출한다.
철강제품용 태그 부착 시스템(100)이 타겟 이미지로부터 후보영역을 추출하는 과정은 후보영역 라벨링부(530)에 대한 설명에서 구체적으로 기재하였기 때문에, 구체적인 설명은 생략하기로 한다.
이후, 철강제품용 태그 부착 시스템(100)은 S1230에서 추출된 복수개의 후보영역들 중 철강제품(132)의 길이 방향(Z)으로 전면(132a)이 가장 돌출되어 배치된 철강제품(132)에 대응되는 후보영역을 타겟영역으로 결정한다(S1240).
본 발명에서 철강제품용 태그 부착 시스템(100)이 복수개의 후보영역들 중 철강제품(132)의 길이 방향(Z)으로 전면(132a)이 가장 돌출되어 배치된 철강제품(132)에 대응되는 후보영역을 타겟영역으로 결정하는 이유는, 길이 방향(Z)으로 전면(132a)이 가장 돌출되어 배치된 철강제품(이하, '제1 철강제품'이라 함)이 아닌 다른 철강제품(이하, '제2 철강제품'이라 함)에 대응되는 후보영역이 타겟영역으로 결정되는 경우, 태그부착 로봇(160)이 제2 철강제품에 태그 부착을 위한 용접 시도시 제1 철강제품과 충돌하게 되어 태그부착 로봇(160)에 고장이 발생하거나 사고가 발생될 수 있기 때문이다.
일 실시예에 있어서, 철강제품용 태그 부착 시스템(100)은 뎁스 이미지로부터 각 후보영역의 뎁스 값을 획득하고, 뎁스 값이 가장 큰 후보영역을 전면(132a)이 가장 돌출되어 배치된 철강제품(132)에 대응되는 후보영역인 것으로 결정할 수 있다.
철강제품용 태그 부착 시스템(100)이 복수개의 후보영역들 중 타겟영역을 결정하는 방법은 상술한 타겟영역 결정부(540)에 대한 설명에서 구체적으로 기재하였기 때문에 구체적인 설명은 생략하기로 한다.
이후, 철강제품용 태그 부착 시스템(100)은 타겟 이미지 내에서 타겟영역의 위치에 대응되는 X좌표 및 Y좌표와 타겟영역의 뎁스 값에 해당하는 Z좌표를 태그 부착위치로 결정한다(S1250).
이후, 철강제품용 태그 부착 시스템(100)은 태그부착 로봇(160)을 태그 부착위치로 이동시켜 태그부착 로봇(160)이 태그 부착위치에 대응되는 타겟 철강제품(132)에 태그를 부착하도록 한다(S1260).
일 실시예에 있어서, 태그부착 로봇(160)은 스터드 핀(Stud Pin)을 이용하여 타겟 철강제품(132)의 전면(132a)에 용접을 통해 태그를 부착시킬 수 있다.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
또한, 본 명세서에 설명되어 있는 방법들은 적어도 부분적으로, 하나 이상의 컴퓨터 프로그램 또는 구성요소를 사용하여 구현될 수 있다.　 이 구성요소는 휘발성 및 비휘발성 메모리를 포함하는 컴퓨터로 판독 가능한 매체 또는 기계 판독 가능한 매체를 통해 일련의 컴퓨터 지시어들로서 제공될 수 있다. 상기 지시어들은 소프트웨어 또는 펌웨어로서 제공될 수 있으며, 전체적 또는 부분적으로, ASICs, FPGAs, DSPs, 또는 그 밖의 다른 유사 소자와 같은 하드웨어 구성에 구현될 수도 있다. 상기 지시어들은 하나 이상의 프로세서 또는 다른 하드웨어 구성에 의해 실행되도록 구성될 수 있는데, 상기 프로세서 또는 다른 하드웨어 구성은 상기 일련의 컴퓨터 지시어들을 실행할 때 본 명세서에 개시된 방법들 및 절차들의 모두 또는 일부를 수행하거나 수행할 수 있도록 한다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 철강제품용 태그 부착 시스템 110: 라인 제어기
120: 이송라인 130: 제품그룹
132: 철강제품 140: 영상 촬영부
150: 태그부착위치 결정부 160: 태그부착 로봇
170: 로봇 제어부 180: 태그 프린터
190: 피더 195: 핀 공급부

Claims (17)

  1. 복수개의 철강제품으로 구성된 제품그룹을 촬영하여 획득된 상기 철강제품의 뎁스(Depth) 값을 기초로 뎁스 이미지를 생성하는 영상 촬영부;
    상기 뎁스 이미지를 기초로 생성된 타겟 이미지 내에서 상기 제품그룹의 태그 부착을 위한 타겟영역을 결정하고, 상기 타겟 이미지 내에서 상기 타겟영역의 위치정보를 기초로 태그부착위치를 결정하는 태그부착위치 결정부; 및
    상기 태그부착위치로 이동하여 상기 태그부착위치에 대응되는 타겟 철강제품에 상기 태그를 부착하는 태그부착 로봇을 포함하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  2. 제1항에 있어서,
    상기 태그부착위치 결정부는,
    상기 뎁스 이미지에 포함된 각 픽셀들의 픽셀값이 미리 정해진 기준값 이상일 경우 해당 픽셀의 픽셀값을 최대 계조값으로 변경하고, 각 픽셀들의 픽셀값이 상기 기준값 보다 작은 경우 해당 픽셀의 픽셀값을 최소 계조값으로 변경하여 상기 타겟 이미지를 생성하는 제1 이미지 이진화부를 포함하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  3. 제2항에 있어서,
    상기 태그부착위치 결정부는,
    상기 뎁스 이미지로부터 상기 타겟 이미지에 포함된 각 픽셀들의 뎁스 값을 획득하고, 상기 각 픽셀들의 뎁스 값을 기초로 상기 타겟 이미지 내에 상기 철강제품의 경계선을 보강하는 경계선 보강부를 더 포함하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  4. 제3항에 있어서,
    상기 경계선 보강부는,
    상기 타겟 이미지 내에서 타겟픽셀의 뎁스 값과 상기 타겟픽셀에 인접한 인접픽셀의 뎁스 값의 차이가 미리 정해진 기준값보다 큰 경우 상기 인접픽셀을 상기 철강제품의 경계로 결정하여 상기 인접픽셀의 픽셀값을 최소 계조값으로 변경하고,
    상기 인접픽셀은 상기 타겟픽셀의 우측방향에 인접한 픽셀 또는 상기 타겟픽셀의 하측방향에 인접한 픽셀 중 적어도 하나를 포함하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  5. 제1항에 있어서,
    상기 태그부착위치 결정부는,
    상기 타겟 이미지로부터 상기 철강제품의 전면(前面)에 해당하는 복수개의 후보영역을 추출하는 후보영역 라벨링부;
    상기 복수개의 후보영역들 중 상기 철강제품의 길이 방향으로 상기 전면이 가장 돌출되어 배치된 철강제품에 대응되는 후보영역을 상기 타겟영역으로 결정하는 타겟영역 결정부; 및
    상기 타겟 이미지 내에서 상기 타겟영역의 위치에 대응되는 X좌표 및 Y좌표와 상기 타겟영역의 뎁스 값에 해당하는 Z좌표를 상기 태그부착위치로 결정하는 좌표 산출부를 포함하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  6. 제5항에 있어서,
    상기 후보영역 라벨링부는 상기 타겟 이미지에 대해 워터쉐드(Watershed) 알고리즘을 적용하여 상기 타겟 이미지로부터 상기 철강제품의 전면(前面)에 대응되는 복수개의 윈도우 영역을 추출하고, 추출된 윈도우 영역들의 평균크기를 기준으로 크기가 임계범위 이내이고 가로와 세로의 비율이 기준치 이하인 윈도우 영역들을 상기 후보영역으로 추출하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  7. 제5항에 있어서,
    타겟영역 결정부는,
    상기 뎁스 이미지로부터 상기 후보영역의 뎁스 값을 획득하고, 뎁스 값과 상기 태그의 크기에 기초하여 상기 전면이 가장 돌출되어 배치된 철강제품에 대응되는 후보영역을 상기 타겟영역으로 결정하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  8. 제5항에 있어서,
    상기 타겟영역 결정부는,
    각 후보영역의 뎁스 값의 크기 순서에 따라 상기 각 후보영역들을 정렬하고, 정렬순서에 따라 각 후보영역들이 가장 돌출되어 배치된 철강제품에 대응되는 후보영역인지 여부를 순차적으로 검출하고,
    상기 타겟 이미지 내에서 검출대상이 되는 특정 후보영역을 기준으로 설정되는 검출범위 내에서 상기 특정 후보영역을 제외한 다른 후보영역들 중 뎁스 값이 상기 특정 후보영역의 뎁스 값 보다 큰 후보영역이 존재하지 않으면 상기 특정 후보영역을 상기 타겟영역으로 결정하고, 다른 후보영역이 존재하면 상기 정렬순서에 따라 다른 후보영역에 대해 검출을 재수행하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  9. 제1항에 있어서,
    이송라인 상에서 상기 제품그룹의 이송을 제어하는 라인 제어기; 및
    상기 라인 제어기로부터 상기 제품그룹의 제1 영역 도착정보가 수신되면, 상위 시스템으로부터 상기 제품그룹의 식별정보를 수신하여 상기 태그를 출력하는 태그 프린터를 더 포함하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  10. 제1항에 있어서,
    상기 태그부착 로봇은 상기 태그를 스터드 핀(Stud Pin)을 이용하여 상기 타겟 철강제품에 용접을 통해 부착시키는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  11. 제1항에 있어서,
    이송라인 상에서 상기 제품그룹의 이송을 제어하는 라인 제어기를 더 포함하고,
    상기 영상 촬영부는 상기 라인 제어기로부터 상기 제품그룹의 제2 영역 도착정보가 수신되면, 상기 철강제품의 길이방향을 기준으로 상기 철강제품의 전면에 배치된 3차원 카메라를 이용하여 상기 철강제품의 전면의 뎁스 촬영을 개시하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  12. 제1항에 있어서,
    상기 타겟 철강제품까지 상기 태그부착 로봇을 이동시키기 위한 이동명령을 생성하여 상기 태그부착 로봇을 이동시키고, 상기 태그부착 로봇에 부착된 용접건의 구동명령을 생성하여 상기 태그부착 로봇이 상기 태그를 상기 태그부착위치에 용접시키게 하는 것을 특징으로 하는 철강제품용 태그 부착 시스템.
  13. 복수개의 철강제품으로 구성된 제품그룹이 영상인식영역에 도착하면 상기 제품그룹을 촬영하여 획득한 상기 철강제품의 뎁스(Depth) 값을 기초로 뎁스 이미지를 생성하는 단계;
    상기 뎁스 이미지를 이진화하여 타겟 이미지를 생성하는 단계;
    상기 타겟 이미지 내에서 상기 제품그룹의 태그 부착을 위한 타겟영역을 결정하는 단계;
    상기 타겟 이미지 내에서 상기 타겟영역의 위치정보를 기초로 태그부착위치를 결정하는 단계; 및
    태그부착 로봇을 상기 태그부착위치로 이동시켜 상기 태그부착위치에 대응되는 타겟 철강제품에 상기 태그를 부착하는 단계를 포함하는 것을 특징으로 하는 철강제품용 태그 부착 방법.
  14. 제13항에 있어서,
    상기 타겟 이미지를 생성하는 단계 이후에
    상기 뎁스 이미지로부터 상기 타겟 이미지에 포함된 각 픽셀들의 뎁스 값을 획득하고, 타겟픽셀의 뎁스 값과 상기 타겟픽셀에 인접한 인접픽셀의 뎁스 값의 차이를 기초로 상기 인접픽셀의 픽셀 값을 최소 계조값으로 변경하여 상기 타겟 이미지 내에 상기 철강제품의 경계선을 보강하는 단계를 더 포함하는 것을 특징으로 하는 철강제품용 태그 부착 방법.
  15. 제13항에 있어서,
    상기 타겟영역을 결정하는 단계는,
    상기 타겟 이미지로부터 상기 철강제품의 전면(前面)에 해당하는 복수개의 후보영역을 추출하는 단계;
    상기 복수개의 후보영역들 중 상기 철강제품의 길이 방향으로 상기 전면이 가장 돌출되어 배치된 철강제품에 대응되는 후보영역을 상기 타겟영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 철강제품용 태그 부착 방법.
  16. 제15항에 있어서,
    상기 후보영역을 추출하는 단계에서, 상기 타겟 이미지에 대해 워터쉐드(Watershed) 알고리즘을 적용하여 상기 타겟 이미지로부터 상기 철강제품의 전면(前面)에 대응되는 복수개의 윈도우 영역을 추출하고, 추출된 윈도우 영역들의 평균크기를 기준으로 크기가 임계범위 이내이고 가로와 세로의 비율이 기준치 이하인 윈도우 영역들을 상기 후보영역으로 추출하는 것을 특징으로 하는 철강제품용 태그 부착 방법.
  17. 제13항에 있어서,
    상기 태그를 부착하는 단계에서, 상기 태그부착 로봇은 상기 태그를 스터드 핀(Stud Pin)을 이용하여 상기 타겟 철강제품에 용접을 통해 부착시키는 것을 특징으로 하는 철강제품용 태그 부착 방법.
KR1020200180672A 2020-12-22 2020-12-22 철강제품용 태그 부착 시스템 및 방법 KR102599855B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200180672A KR102599855B1 (ko) 2020-12-22 2020-12-22 철강제품용 태그 부착 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200180672A KR102599855B1 (ko) 2020-12-22 2020-12-22 철강제품용 태그 부착 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220089968A true KR20220089968A (ko) 2022-06-29
KR102599855B1 KR102599855B1 (ko) 2023-11-07

Family

ID=82269951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200180672A KR102599855B1 (ko) 2020-12-22 2020-12-22 철강제품용 태그 부착 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102599855B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1035631A (ja) * 1996-05-24 1998-02-10 Kobe Steel Ltd タグの取付方法、タグの取付装置及び条材群の中から特定条材を判別する方法
JP2016537274A (ja) * 2013-11-15 2016-12-01 アルベニス エティケタヘ インドゥストリアル，エセ．エレ． ラベル貼付機
KR20160148577A (ko) * 2015-05-11 2016-12-26 보에 테크놀로지 그룹 컴퍼니 리미티드 깊이 이미지를 프로세싱하기 위한 방법 및 장치
KR20200039149A (ko) * 2018-10-05 2020-04-16 동의대학교 산학협력단 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
CN211969992U (zh) * 2020-03-30 2020-11-20 北京伟景智能科技有限公司 一种基于立体数据采集系统的钢筋打标装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1035631A (ja) * 1996-05-24 1998-02-10 Kobe Steel Ltd タグの取付方法、タグの取付装置及び条材群の中から特定条材を判別する方法
JP2016537274A (ja) * 2013-11-15 2016-12-01 アルベニス エティケタヘ インドゥストリアル，エセ．エレ． ラベル貼付機
KR20160148577A (ko) * 2015-05-11 2016-12-26 보에 테크놀로지 그룹 컴퍼니 리미티드 깊이 이미지를 프로세싱하기 위한 방법 및 장치
KR20200039149A (ko) * 2018-10-05 2020-04-16 동의대학교 산학협력단 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
CN211969992U (zh) * 2020-03-30 2020-11-20 北京伟景智能科技有限公司 一种基于立体数据采集系统的钢筋打标装置

Also Published As

Publication number Publication date
KR102599855B1 (ko) 2023-11-07

Similar Documents

Publication Publication Date Title
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
EP2608536B1 (en) Method for counting objects and apparatus using a plurality of sensors
US8184859B2 (en) Road marking recognition apparatus and method
JP4309439B2 (ja) 対象物取出装置
US10512941B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP5822255B2 (ja) 対象物識別装置及びプログラム
KR100823549B1 (ko) 조선소 소조립 용접부재 위치 인식 방법
JP2013010155A (ja) 対象物把持装置、対象物把持装置の制御方法、およびプログラム
JP6369131B2 (ja) 物体認識装置及び物体認識方法
US20170151943A1 (en) Method, apparatus, and computer program product for obtaining object
US10675659B2 (en) Instruction projecting device, package sorting system and instruction projecting method
US20190042847A1 (en) Instruction projecting device, package sorting system and instruction projecting method
EP3910593A1 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
US10471474B2 (en) Projection indicator, cargo assortment system, and projection indicating method
KR20230010246A (ko) 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체
JP5760220B2 (ja) 距離画像カメラおよびこれを用いた対象物の面形状認識方法
JP2005157731A (ja) 車線認識装置および車線認識方法
JP2010039617A (ja) 対象物追跡装置及びプログラム
JP7448035B2 (ja) 情報処理装置、３次元位置推定方法、及びプログラム
KR20220089968A (ko) 철강제품용 태그 부착 시스템 및 방법
US20190358819A1 (en) Image processing apparatus, robot and robot system
US20200234453A1 (en) Projection instruction device, parcel sorting system, and projection instruction method
US20210350496A1 (en) System and method for three-dimensional scan of moving objects longer than the field of view
JP2010091525A (ja) 電子部品のパターンマッチング方法
CN114332073A (zh) 目标工件的检测方法及装置、智能分拣系统和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant