KR102075217B1 - 용접부 검출 장치 및 방법 - Google Patents

용접부 검출 장치 및 방법 Download PDF

Info

Publication number
KR102075217B1
KR102075217B1 KR1020170179013A KR20170179013A KR102075217B1 KR 102075217 B1 KR102075217 B1 KR 102075217B1 KR 1020170179013 A KR1020170179013 A KR 1020170179013A KR 20170179013 A KR20170179013 A KR 20170179013A KR 102075217 B1 KR102075217 B1 KR 102075217B1
Authority
KR
South Korea
Prior art keywords
neural network
sensor array
reflected light
steel sheet
detection signal
Prior art date
Application number
KR1020170179013A
Other languages
English (en)
Other versions
KR20190088085A (ko
Inventor
임충수
허형준
Original Assignee
주식회사 포스코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코 filed Critical 주식회사 포스코
Priority to KR1020170179013A priority Critical patent/KR102075217B1/ko
Publication of KR20190088085A publication Critical patent/KR20190088085A/ko
Application granted granted Critical
Publication of KR102075217B1 publication Critical patent/KR102075217B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Laser Beam Processing (AREA)

Abstract

본 발명의 실시예에 따르면, 용접부 검출 장치 및 방법이 공개된다. 본 발명의 실시예에 따른 본 발명의 일실시예에 따른 용접부 검출 장치는 강판의 폭 방향으로 형성되는 직선형 레이저를 조사하고, 상기 직선형 레이저가 반사된 반사광에 따라 검출 신호를 출력하는 레이저 라인 검출부, 상기 검출 신호에 기초하여 2차원 이미지를 합성하고, 상기 2차원 이미지를 학습된 신경망에 입력시켜 상기 강판의 폭 방향으로 형성된 용접부를 검출하는 판단부를 포함할 수 있다.

Description

용접부 검출 장치 및 방법{Apparatus and method for detecting a welding part}
본 출원은 연속 작업이 이루어지는 철강 생산 설비에서 용접부를 검출하는 장치 및 방법에 관한 것이다.
철강 생산 설비에서 연속 작업을 수행하기 위해서는 선행 코일과 후행 코일 간 용접을 수행하게 된다. 이후, 선행 코일과 후행 코일이 용접된 부분인 용접부를 기준으로 수행되는 후행 공정이 많다. 예를 들어 냉연 공정의 경우, 판재의 연속 압연 작업을 위해 압연 시작 단계에서 단위 코일들을 용접하여 압연 작업을 수행한 후, 끝 단계에서 용접부를 절단하여 단위 코일들로 분리하고, 분리된 단위 코일들을 후속 공정에 이송하거나 출하한다. 따라서, 연속 작업이 이루어지는 철강 생산 설비에서 용접부를 검출하는 것은 필수적이다.
대한민국 공개특허공보 제2009-0071141호
본 발명의 일실시예에 따르면, 연속 작업이 이루어지는 철강 생산 설비에서 용접부를 검출하는 용접부 검출 장치가 제공된다.
본 발명의 일실시예에 따르면, 연속 작업이 이루어지는 철강 생산 설비에서 용접부를 검출하는 용접부 검출 방법이 제공된다.
본 발명의 일실시예에 따른 용접부 검출 장치는 강판의 폭 방향으로 형성되는 직선형 레이저를 조사하고, 상기 직선형 레이저가 반사된 반사광에 따라 검출 신호를 출력하는 레이저 라인 검출부, 상기 검출 신호에 기초하여 2차원 이미지를 합성하고, 상기 2차원 이미지를 학습된 신경망에 입력시켜 상기 강판의 폭 방향으로 형성된 용접부를 검출하는 판단부를 포함할 수 있다.
본 발명의 일실시예에 따른 용접부 검출 장치의 상기 레이저 라인 검출부는 상기 직선형 레이저를 상기 강판의 표면에 조사하는 레이저 조사기, 제1 방향에서 상기 직선형 레이저가 반사된 제1 반사광을 입사하고, 상기 제1 반사광에 따라 제1 검출 신호를 출력하는 제1 센서 어레이, 상기 제1 방향과 상이한 제2 방향에서 상기 직선형 레이저가 반사된 제2 반사광을 입사하고, 상기 제2 반사광에 따라 제2 검출 신호를 출력하는 제2 센서 어레이, 상기 제1 반사광을 집속하여 상기 제1 센서 어레이로 입사시키는 제1 렌즈, 및 상기 제2 반사광을 집속하여 상기 제2 센서 어레이로 입사시키는 제2 렌즈를 포함할 수 있다. 이 경우, 상기 제1 센서 어레이와 상기 제1 렌즈 사이의 거리가 D이고, 제1 렌즈의 초점 거리가 F이고, 강판의 표면에 형성된 직선형 레이저로부터 상기 제1 렌즈까지의 거리가 L일 때, 상기 제1 센서 어레이와 상기 제1 렌즈는 수학식
Figure 112017128693708-pat00001
이 만족하도록 배치될 수 있다.
본 발명의 일실시예에 따른 용접부 검출 장치의 상기 제1 센서 어레이 및 상기 제2 센서 어레이 각각은 일렬로 배치된 복수개의 광 센서들을 포함할 수 있다.
본 발명의 일실시예에 따른 용접부 검출 장치의 상기 판단부는 제1 신경망을 포함하며, 다수의 용접부의 이미지 데이터와 다수의 용접부 이외의 강판 표면의 이미지 데이터를 이용하여 학습되는 학습 모듈, 및 제2 신경망을 포함하며, 상기 2차원 이미지를 입력하여 용접부를 검출하는 판정 모듈을 포함하고, 상기 제2 신경망의 파라미터들은 상기 학습 모듈에 의해 업데이트될 수 있다.
본 발명의 일실시예에 따른 용접부 검출 장치의 상기 판단부의 상기 제1 신경망 및 상기 제2 신경망 각각은 컨벌루션 신경망일 수 있다.
본 발명의 일실시예에 따른 용접부 검출 방법은 강판 표면에 조사된 직선형 레이저가 반사된 반사광에 따른 검출 신호를 입력하는 단계, 상기 검출 신호에 기초하여 2차원 이미지를 합성하는 단계, 및 상기 2차원 이미지를 학습된 신경망에 입력시켜 상기 강판의 표면에 형성된 용접부를 검출하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 용접부 검출 방법은 상기 2차원 이미지를 이용하여 상기 신경망을 학습시키는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 용접부 검출 방법의 상기 학습시키는 단계는 상기 2차원 이미지를 이용하여 제1 신경망을 학습시키는 단계, 및 상기 제1 신경망의 학습 결과에 따라 제2 신경망의 파라미터를 업데이트하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 용접부 검출 방법의 상기 검출하는 단계는 상기 2차원 이미지를 상기 제2 신경망에 입력시켜 상기 용접부를 검출할 수 있다.
따라서, 본 발명의 일실시예에 따른 용접부 검출 장치 및 방법에 따르면, 용접부를 보다 정확하게 검출할 수 있다. 특히, 본 발명의 일실시예에 따르면, 다양한 강종이 생산되는 강판 생산 설비에서, 용접부의 형상이 변경되더라도 미검출이나 오검출과 같은 검출 에러 없이 용접부를 정확하게 검출할 수 있다.
도 1은 본 발명의 일실시예에 따른 용접부 검출 장치의 구성을 개략적으로 나타낸 블록도이다.
도 2는 도 1에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 레이저 라인 검출부의 실시예의 구성을 개략적으로 나타낸 도면이다.
도 3은 도 2에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 레이저 라인 검출부의 센서 어레이와 렌즈의 배치를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 용접부 검출 장치의 레이저 라인 검출부를 통해 획득한 용접부의 영상을 나타낸 도면이다.
도 5는 도 1에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 판단부의 실시예의 구성을 개략적으로 나타낸 도면이다.
도 6은 도 1에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 판단부의 컨벌루션 신경망의 실시예의 구성을 개략적으로 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 용접부 검출 방법을 설명하기 위한 동작 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
도 1은 본 발명의 일실시예에 따른 용접부 검출 장치의 구성을 개략적으로 나타낸 블록도로서, 본 발명의 일실시예에 따른 용접부 검출 장치는 레이저 라인 검출부(10) 및 판단부(20)를 포함할 수 있다. 도 1에서 S는 강판을 나타낸다.
레이저 라인 검출부(10)는 강판의 폭 방향으로 형성되는 직선형 레이저를 조사하고, 직선형 레이저가 반사된 반사광에 따라 검출 신호를 출력할 수 있다. 즉, 레이저 라인 검출부(10)는 강판에 라인형 레이저 빔를 조사하고, 용접부 통과 시 발생하는 레이저 빔의 반사각 변화를 두 개의 광 센서를 이용하여 검출할 수 있다. 예를 들면, 레이저 라인 검출부(10)는 강판에 라인형 레이저 빔을 조사하고, 상기 라인형 레이저 빔이 반사된 광을 서로 다른 방향에서 검출하며, 검출된 광에 대응하는 검출 신호를 출력할 수 있다. 라인형 레이저 빔의 개수는 하나일 수 있다.
판단부(20)는 학습된 콘볼루션 신경망을 포함하며, 레이저 라인 검출부(10)로부터 검출 신호를 수신하고, 검출 신호를 이용하여 현재 라인형 레이저 빔이 조사되는 부분이 용접부인지 여부를 판단하고, 판단 결과를 출력할 수 있다.
도시하지는 않았지만, 판단부(20)는 적어도 하나의 프로세싱 유닛 및 메모리를 포함할 수 있다. 여기서, 프로세싱 유닛은 예를 들어 중앙처리장치 (CPU), 그래픽처리장치 (GPU), 마이크로프로세서, 주문형 반도체 (Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays (FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.
또한, 판단부(20)는 추가적인 스토리지를 포함할 수 있다. 스토리지는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지에는 본 발명의 일실시예에 따른 용접부 판단 방법을 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛에 의해 실행되기 위해 메모리에 로딩될 수 있다.
또한, 판단부(20)는 다른 장치와 통신할 수 있게 하는 통신접속(들) 을 포함할 수 있다. 여기서, 통신 접속(들)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 다른 인터페이스를 포함할 수 있다.
도 2는 도 1에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 레이저 라인 검출부의 실시예의 구성을 개략적으로 나타낸 도면으로서, 본 발명의 일실시예에 따른 용접부 검출 장치의 레이저 라인 검출부(10)는 레이저 조사기(110), 제1 센서 어레이(120), 제2 센서 어레이(130), 제1 렌즈(140), 및 제2 렌즈(150)를 포함할 수 있다. 도 2에서 식별기호 S는 강판을, LL은 레이저 조사기(110)에 의해 조사된 레이저빔을, WL은 용접부를 각각 나타낸다.
레이저 조사기(110)는 강판(S)의 표면에 직선형 레이저를 조사할 수 있다. 여기서, 직선형 레이저는 강판의 폭 방향(즉, 강판의 이송 방향과 직각을 이루는 방향)으로 일정한 길이를 가지는 레이저를 말한다. 레이저 조사기(110)는 직선형 레이저의 길이와 폭을 조절하여 강판의 표면에 조사할 수 있다.
제1 센서 어레이(120) 및 제2 센서 어레이(130) 각각은 일렬로 배치된 복수개의 광센서들을 포함할 수 있다. 제1 센서 어레이(120)는 제1 방향에서 상기 직선형 레이저가 반사된 제1 반사광을 입사하고, 입사된 제1 반사광에 따라 제1 검출 신호를 출력할 수 있다. 제2 센서 어레이(130)는 제1 방향과 상이한 제2 방향에서 상기 직선형 레이저가 반사된 제2 반사광을 입사하고, 입사된 제2 반사광에 제2 검출 신호를 출력할 수 있다.
제1 렌즈(140)는 제1 반사광을 포집하여 제1 반사광이 제1 센서 어레이(120)로 입사되도록 할 수 있다. 제2 렌즈(150)는 제2 반사광을 포집하여 제2 반사광이 제2 센서 어레이(130)로 입사되도록 할 수 있다.
도 3은 도 2에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 레이저 라인 검출부의 센서 어레이와 렌즈의 배치를 설명하기 위한 도면이다. 도 3에서 D는 제1 센서 어레이(120)와 제1 렌즈(140) 사이의 거리를, F는 제1 렌즈(140)의 초점 거리를, L은 강판의 표면, 구체적으로 강판의 표면에 형성된 직선형 레이저로부터 제1 렌즈(140)까지의 거리를 각각 나타낸다.
강판에 조사된 직선형 레이저에 의한 이미지가 제1 센서 어레이(120)에 정확히 형성되기 위해서는 도 3에 나타낸 각 거리들은 다음과 같은 수학식 1을 만족하여야 한다.
Figure 112017128693708-pat00002
도시하지는 않았지만, 제2 센서 어레이(130)와 제2 렌즈(150)도 상기 수학식 1이 만족하도록 배치될 수 있다.
제1 센서 어레이(120), 제2 센서 어레이(130), 제1 렌즈(140), 및 제2 렌즈(150)가 이와 같이 배치됨으로써, 강판에 조사된 직선형 레이저의 특정 부분의 반사각 변화에 의한 포집 광량 변화를 센서 어레이의 특정 광센서를 통해 측정할 수 있다. 따라서, 센서 어레이를 구성하는 광센서들의 출력을 개별적으로 분석하여 레이저 라인의 반사각 변화를 보다 세밀하게 측정할 수 있다.
도 4는 본 발명의 일실시예에 따른 용접부 검출 장치의 레이저 라인 검출부가 출력한 검출 신호에 기초하여 용접부를 포함하는 강판의 표면 영상(즉, 2차원 이미지)을 합성하는 방법을 설명하기 위한 도면으로서, 도 4의 (a)는 센서 어레이의 각 센서들이 출력하는 신호를 나타내는 것이고, 도 4의 (b)는 각 센서들이 출력하는 신호를 입체적으로 나타낸 도면이고, 도 4의 (c)는 각 센서들이 출력하는 신호에 기초하여 합성한 2차원 이미지를 각각 나타낸 것이다.
판단부(도 1의 20)는 도 4 (a)에 나타낸 것과 같은 센서들 각각이 출력한 신호에 기초하여 도 4 (c)에 나타낸 것과 같은 2차원 이미지를 합성할 수 있다.
이를 위해, 판단부(도 1의 20)는 먼저, 도 4(a)에 나타낸 것과 같은 센서들 각각이 출력한 신호들에 기초하여 직선형 레이저의 반사각 변화 분포를 도 4 (b)에 나타낸 것과 같은 3차원 그래프로 변환할 수 있다. 도 4(b)에서, 길이 방향(x축)은 강판의 길이 방향(강판의 진행 방향)을 의미하는 것이다. 광 센서들 각각은 시간의 경과에 따라 강판의 길이 방향에서의 반사광의 세기에 대응하는 신호를 출력한다. 또한, 도 4(b)에서 폭 방향은 강판의 폭 방향(y축)을 의미하는 것이다. 복수개의 광 센서들 각각은 강판의 폭 방향에서 각각 대응하는 위치에서의 반사광의 세기를 출력한다. 즉, 복수개의 광 센서들 각각이 출력하는 신호를 시간 및 광 센서의 위치에 따라 메트릭스 형태로 결정하고, z축으로 광 센서들의 출력값을 표현함으로써, 도 4(b)에 나타낸 것과 같은 3차원 그래프를 얻을 수 있다.
다음으로, 판단부(도 1의 20)는 도 4(b)의 3차원 그래프의 z축 값을 밝기 수준 또는 색도 변화 등으로 변환함으로써, 도 4(c)에 나타낸 것과 같은 강판 표면의 2차원 이미지를 합성할 수 있다.
판단부(도 1의 20)는 제1 센서 어레이(120)가 출력하는 제1 검출 신호를 기초로 제1 2차원 이미지를 합성하고, 제2 센서 어레이(140)가 출력하는 제2 검출 신호를 기초로 제2 2차원 이미지를 합성할 수 있다.
즉, 본 발명의 일실시예에 따르면, 레이저 반사각 변화에 매우 민감한 광센서의 출력을 이용하여 2차원 이미지를 형성함으로써, 일반 카메라를 이용하여 촬상된 용접부 영상에 비해 용접부에 의한 반사각 변화를 보다 정확하게 감지할 수 있다. 따라서, 보다 용이하게 용접부를 판단할 수 있다.
도 5는 도 1에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 판단부의 실시예의 구성을 개략적으로 나타낸 도면으로서, 판정 모듈(210) 및 학습 모듈(220)을 포함할 수 있다.
판정 모듈(210) 및 학습 모듈(220) 각각은 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티일 수 있다. 예를 들어, 판정 모듈(210) 및 학습 모듈(220) 각각은 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 또한, 판정 모듈(210) 및 학습 모듈(220) 각각은 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다. 예를 들면, 학습 모듈(220)은 서버에 존재할 수 있고, 판정 모듈(210)은 서버와 별개로 철강 생산 설비가 설치된 현장에 존재하는 컴퓨팅 디바이스(예를 들면, 디지털 시그널 프로세서(DSP)를 포함하는 컴퓨팅 디바이스)에 존재할 수 있다.
판정 모듈(210) 및 학습 모듈(220)은 모두 컨벌루션 신경망(CNN : convolutional neural networks)을 포함할 수 있다.
학습 모듈(220)은 다수의 용접부의 이미지 데이터와 다수의 용접부 이외의 강판 표면의 이미지 데이터를 이용하여 학습될 수 있다. 여기서, 다수의 용접부의 이미지 데이터와 다수의 용접부 이외의 강판 표면의 이미지 데이터는 레이저 라인 검출부(10)가 출력한 검출 신호를 기초로 합성된 2차원 이미지 데이터들일 수 있다. 학습 모듈(220)은 학습된 결과에 따라 판정 모듈(210)의 컨벌루션 신경망의 파라미터를 업데이트시킬 수 있다.
판정 모듈(210)은 레이저 라인 검출부(10)로부터 수신한 신호(즉, 제1 검출 신호 및 제2 검출 신호)를 입력하고, 수신한 신호를 분석하고, 상기 컨벌루션 신경망에 입력시키고, 상기 컨벌루션 신경망의 출력 신호에 따라 용접부를 검출할 수 있다.
도 6은 도 1에 나타낸 본 발명의 일실시예에 따른 용접부 검출 장치의 판단부의 컨벌루션 신경망의 실시예의 구성을 개략적으로 나타낸 도면이다.
도 5에서 설명한 바와 같이, 본 발명의 일실시예에 따른 용접부 검출 장치의 판단부는 학습된 컨벌루션 신경망을 포함할 수 있다. 도 6에 나타낸 바와 같이, 상기 컨벌루션 신경망은 적어도 하나의 컨벌루션 계층(2311, 2313)과 적어도 하나의 풀링 계층(2312, 2314)을 포함하는 특징 추출 신경망(231)과, 풀리 커넥티드 신경망(232)을 포함할 수 있다. 컨벌루션 계층(2311, 2313)은 컨벌루션 필터를 통해서 입력 이미지에서 특징이 부각된 이미지를 만들고, 풀링 계층(2312, 2314)은 이미지의 크기를 줄일 수 있다. 풀리 커넥티드 신경망(232)은 특징 추출 신경망의 출력신호를 출력값과 직접 맵핑시키며, 특징 추출 신경망의 출력신호에 따른 출력값을 출력할 수 있다.
도 7은 본 발명의 일실시예에 따른 용접부 검출 방법을 설명하기 위한 동작 흐름도이다.
도 7에 나타낸 각 단계는 도 1에 나타낸 판단부에 의해 수행될 수 있다.
먼저, 판단부는 레이저 라인 검출부로부터 검출 신호를 입력할 수 있다(S110 단계). 여기서, 검출 신호는 강판 표면에 조사된 직선형 레이저가 반사된 반사광에 따라 생성된 신호일 수 있다. 또한, 검출 신호는 상기 직선형 레이저가 반사된 반사광을 제1 방향에서 입사하여 생성된 제1 검출 신호와, 상기 직선형 레이저가 반사된 반사광을 제1 방향과 상이한 제2 방향에서 입사하여 생성된 제2 검출 신호를 포함할 수 있다.
다음으로, 판단부는 검출 신호에 기초하여 2차원 이미지를 합성할 수 있다(S120 단계).
다음으로, 판단부는 S120 단계에서 합성된 2차원 이미지를 학습된 신경망에 입력시켜 용접부를 검출할 수 있다(S130 단계).
다음으로, 판단부는 2차원 이미지를 이용하여 신경망을 포함하는 학습 모듈을 학습시킬 수 있다(S140 단계).
다음으로, 판단부는 판단 결과에 따라 신경망의 파라미터를 업데이트할 수 있다(S150 단계).
본 발명의 일실시예에 따르면, S140 단계에서, 용접부를 검출하기 위해 사용하는 신경망과 별도의 학습용 신경망을 학습시킬 수 있다. 이후, 학습 결과에 따라, S130 단계에서 사용하는 신경망인 판정용 신경망의 파라미터들을 업데이트할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게는 자명할 것이다.
10 : 레이저 라인 검출부 20 : 판단부
110 : 레이저 조사기 120 : 제1 센서 어레이
130 : 제2 센서 어레이 140 : 제1 렌즈
150 : 제2 렌즈 210 : 판정 모듈
220 : 학습 모듈

Claims (10)

  1. 강판의 폭 방향으로 형성되는 직선형 레이저를 조사하고, 상기 직선형 레이저가 반사된 반사광에 따라 검출 신호를 출력하는 레이저 라인 검출부;
    상기 검출 신호에 기초하여 2차원 이미지를 합성하고, 상기 2차원 이미지를 학습된 신경망에 입력시켜 상기 강판의 폭 방향으로 형성된 용접부를 검출하는 판단부를 포함하고,
    상기 판단부는
    제1 신경망을 포함하며, 다수의 용접부의 이미지 데이터와 다수의 용접부 이외의 강판 표면의 이미지 데이터를 이용하여 학습되는 학습 모듈; 및
    제2 신경망을 포함하며, 상기 2차원 이미지를 입력하여 용접부를 검출하는 판정 모듈을 포함하고,
    상기 제2 신경망의 파라미터들은 상기 학습 모듈의 상기 제1 신경망에 의해 업데이트되는 용접부 검출 장치.
  2. 제1항에 있어서, 상기 레이저 라인 검출부는
    상기 직선형 레이저를 상기 강판의 표면에 조사하는 레이저 조사기;
    제1 방향에서 상기 직선형 레이저가 반사된 제1 반사광을 입사하고, 상기 제1 반사광에 따라 제1 검출 신호를 출력하는 제1 센서 어레이;
    상기 제1 방향과 상이한 제2 방향에서 상기 직선형 레이저가 반사된 제2 반사광을 입사하고, 상기 제2 반사광에 따라 제2 검출 신호를 출력하는 제2 센서 어레이;
    상기 제1 반사광을 집속하여 상기 제1 센서 어레이로 입사시키는 제1 렌즈; 및
    상기 제2 반사광을 집속하여 상기 제2 센서 어레이로 입사시키는 제2 렌즈를 포함하는 용접부 검출 장치.
  3. 제2항에 있어서,
    상기 제1 센서 어레이와 상기 제1 렌즈 사이의 거리가 D이고, 제1 렌즈의 초점 거리가 F이고, 강판의 표면에 형성된 직선형 레이저로부터 상기 제1 렌즈까지의 거리가 L일 때, 상기 제1 센서 어레이와 상기 제1 렌즈는 수학식
    Figure 112017128693708-pat00003
    이 만족하도록 배치되는 용접부 검출 장치.
  4. 제2항에 있어서, 상기 제1 센서 어레이 및 상기 제2 센서 어레이 각각은
    일렬로 배치된 복수개의 광 센서들을 포함하는 용접부 검출 장치.
  5. 삭제
  6. 제1항에 있어서, 상기 제1 신경망 및 상기 제2 신경망 각각은
    컨벌루션 신경망인 용접부 검출 장치.
  7. 강판 표면에 조사된 직선형 레이저가 반사된 반사광에 따른 검출 신호를 입력하는 단계;
    상기 검출 신호에 기초하여 2차원 이미지를 합성하는 단계;
    상기 2차원 이미지를 학습된 신경망에 입력시켜 상기 강판의 표면에 형성된 용접부를 검출하는 단계; 및
    상기 2차원 이미지를 이용하여 상기 신경망을 학습시키는 단계를 포함하고,
    상기 학습시키는 단계는
    상기 2차원 이미지를 이용하여 제1 신경망을 학습시키는 단계; 및
    상기 제1 신경망의 학습 결과에 따라 제2 신경망의 파라미터를 업데이트하는 단계를 포함하고,
    상기 검출하는 단계는 상기 2차원 이미지를 상기 제2 신경망에 입력시켜 상기 용접부를 검출하는 용접부 검출 방법.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020170179013A 2017-12-26 2017-12-26 용접부 검출 장치 및 방법 KR102075217B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170179013A KR102075217B1 (ko) 2017-12-26 2017-12-26 용접부 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170179013A KR102075217B1 (ko) 2017-12-26 2017-12-26 용접부 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190088085A KR20190088085A (ko) 2019-07-26
KR102075217B1 true KR102075217B1 (ko) 2020-02-07

Family

ID=67469797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170179013A KR102075217B1 (ko) 2017-12-26 2017-12-26 용접부 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102075217B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102377160B1 (ko) * 2020-05-21 2022-03-22 주식회사 포스코 실시간 용접부 검출 기능을 갖는 용접 장치 및 실시간 용접부 검출 방법
KR102376688B1 (ko) * 2020-11-04 2022-03-22 한국생산기술연구원 경면반사 영상 노이즈 처리 방법
CN116309556B (zh) * 2023-05-15 2023-07-21 安徽数智建造研究院有限公司 一种基于机器视觉技术的钢构件成品质量管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513111B1 (ko) * 1996-10-10 2005-10-25 엘파트로닉 아게 용접이음선의광학검사를위한방법및장치
KR101688458B1 (ko) 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법
KR101780049B1 (ko) * 2013-07-01 2017-09-19 한국전자통신연구원 레이저 용접 비드 검사 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080058918A (ko) * 2006-12-22 2008-06-26 주식회사 포스코 강판의 용접부 온라인 검출장치 및 방법
KR101417042B1 (ko) 2007-12-27 2014-07-08 주식회사 포스코 레이저 빔을 이용한 용접부위 검출 장치 및 방법
KR20160075985A (ko) * 2014-12-19 2016-06-30 주식회사 포스코 강판 형상 판단 장치, 냉연공정 제어 장치 및 강판 형상 판단 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513111B1 (ko) * 1996-10-10 2005-10-25 엘파트로닉 아게 용접이음선의광학검사를위한방법및장치
KR101780049B1 (ko) * 2013-07-01 2017-09-19 한국전자통신연구원 레이저 용접 비드 검사 장치 및 방법
KR101688458B1 (ko) 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법

Also Published As

Publication number Publication date
KR20190088085A (ko) 2019-07-26

Similar Documents

Publication Publication Date Title
JP6945785B2 (ja) ３ｄポイントクラウドの処理方法
KR102611342B1 (ko) 심층 합성곱 신경망을 이용한 레이저 가공 공정 모니터링 시스템 및 방법
KR102075217B1 (ko) 용접부 검출 장치 및 방법
KR102468234B1 (ko) 심층 합성곱 신경망을 이용한 레이저 가공 시스템의 가공오류 검출 시스템 및 방법
Chen et al. Welding penetration prediction with passive vision system
US11583951B2 (en) Method for collision avoidance and laser machining tool
KR20150003607A (ko) 레이저 용접 비드 검사 장치 및 방법
KR20180046081A (ko) 장애물 감지장치 및 감지방법
JP5438475B2 (ja) 隙間段差計測装置、隙間段差計測方法、及びそのプログラム
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Gunatilake et al. Real-time 3D profiling with RGB-D mapping in pipelines using stereo camera vision and structured IR laser ring
JP6621351B2 (ja) レーザー加工用の画像処理装置及び画像処理方法
WO2022060472A2 (en) In-situ process monitoring for powder bed fusion additive manufacturing (pbf am) processes using multi-modal sensor fusion machine learning
KR102089510B1 (ko) 다-파장 분광장치를 이용한 객체인식 장치 및 그 방법
JP2006323693A (ja) 処理装置、画像処理方法および画像処理プログラム
JP7193464B2 (ja) 認識センサ、自動車、車両用灯具
JP2007278869A (ja) 測距装置、車両の周辺監視装置、測距方法、および測距用プログラム
EP3252513A1 (en) Focusing state measuring apparatus
JP2007141167A (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
CN103909348B (zh) 一种在线识别入射激光偏离状态的方法
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
Chen Visual Sensing and Defect Detection of Gas Tungsten Arc Welding
US10698111B2 (en) Adaptive point cloud window selection
KR20210149524A (ko) 검사대상물의 3차원 이미지 가공장치 및 이를 이용한 불량품 선별 장치
JP6780533B2 (ja) 形状測定システム及び形状測定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant