KR20230058904A - 라이다 기반의 공정검사장치 및 공정검사방법 - Google Patents

라이다 기반의 공정검사장치 및 공정검사방법 Download PDF

Info

Publication number
KR20230058904A
KR20230058904A KR1020210142700A KR20210142700A KR20230058904A KR 20230058904 A KR20230058904 A KR 20230058904A KR 1020210142700 A KR1020210142700 A KR 1020210142700A KR 20210142700 A KR20210142700 A KR 20210142700A KR 20230058904 A KR20230058904 A KR 20230058904A
Authority
KR
South Korea
Prior art keywords
learning
target object
image
unit
lidar
Prior art date
Application number
KR1020210142700A
Other languages
English (en)
Inventor
이재경
김홍주
송영훈
이혁진
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020210142700A priority Critical patent/KR20230058904A/ko
Publication of KR20230058904A publication Critical patent/KR20230058904A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Abstract

본 발명은 라이다 기반의 공정검사장치 및 공정검사방법에 관한 것으로, 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치는, 대상객체의 위치 또는 자세를 조절하여, 상기 대상객체를 순차적으로 측정영역 내로 이송하는 기구부; 상기 측정영역 내에 레이저를 조사하여, 상기 측정영역 내 위치하는 상기 대상객체까지의 거리정보를 포함하는 각각의 2차원 이미지를 생성하는 라이다부; 상기 2차원 이미지들을 결합하여 상기 대상객체에 대한 3차원 이미지를 생성하는 영상처리부; 및 상기 3차원 이미지를 검사모델에 입력하여, 상기 대상객체의 종류를 분류하거나, 상기 대상객체에 발생한 손상 또는 변형 유무를 검사하는 검사부를 포함할 수 있다.

Description

라이다 기반의 공정검사장치 및 공정검사방법 {Appratus and method for inspecting products by using Lidar}
본 발명은 라이다 기반의 공정검사장치 및 공정검사방법에 관한 것으로, 2차원 라이다를 이용하여 3차원 객체에 대한 공정검사를 수행할 수 있는 라이다 기반의 공정검사장치 및 공정검사방법에 관한 것이다.
공정검사에 주로 사용되는 카메라 장비의 경우 주변 환경에 민감하여 환경 구성 및 유지에 추가적인 비용이 발생하는 문제가 있다. 특히, 카메라 영상의 품질은 조도의 영향을 많이 받기 때문에 항상 일정한 조도를 유지하는 환경을 구성하고 이를 유지하기 위한 장치들을 추가로 필요로 하는 경우가 빈번히 발생한다. 이와 대조적으로 라이다(LiDAR)의 경우 주변 환경의 영향을 적게 받을 뿐 아니라 일반 카메라 영상에서 얻을 수 없는 깊이(Depth) 정보를 얻을 수 있기에 공정검사에 활용될 때 유의미한 장점을 가질 수 있다.
또한, 종래의 스캐닝 라이다의 경우 3D 데이터를 얻기 위해 반사판을 회전하는 기구부를 필요로 하는데 이는 목표로 하는 측정 범위에 따라 장치의 구성 및 규격에 있어 상당한 제약을 준다.
한편, 종래 심층학습에 기반한 공정검사 시스템들의 경우 학습을 위한 데이터를 취득하기 위해 수동적인 기법들을 활용하기 때문에 데이터 수집을 위해 많은 시간 및 비용을 투자하여야만 하였으며 학습된 데이터를 공정검사에 시스템을 활용하기까지 전문 인력이 투입되어야 하는 문제도 가지고 있었다.
공개특허공보 10-2015-0066845 (2015.06.17)
본 발명은, 라이다장치를 이용하여 거리정보를 획득하고, 측정된 거리정보에 기반한 객체의 형상정보를 생성함으로써, 기존의 RGB 이미지 데이터에서 벗어나 깊이 이미지 데이터를 활용한 공정검사를 수행할 수 있는 라이다 기반의 공정검사장치 및 공정검사방법을 제공하고자 한다.
본 발명은, 2차원의 라이다장치를 이용하여 생성한 2차원 이미지들을 적층한 3차원 이미지를 활용하여 3차원의 객체들에 대한 공정검사를 수행할 수 있는 라이다 기반의 공정검사장치 및 공정검사벙법을 제공하고자 한다.
본 발명은, 다축 선반과 학습데이터 수집 알고리즘을 활용하여, 학습하고자 하는 3차원 이미지의 수집을 자동화할 수 있는 라이다 기반의 공정검사장치 및 공정검사방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치는, 대상객체의 위치 또는 자세를 조절하여, 상기 대상객체를 순차적으로 측정영역 내로 이송하는 기구부; 상기 측정영역 내에 레이저를 조사하여, 상기 측정영역 내 위치하는 상기 대상객체까지의 거리정보를 포함하는 각각의 2차원 이미지를 생성하는 라이다부; 상기 2차원 이미지들을 결합하여 상기 대상객체에 대한 3차원 이미지를 생성하는 영상처리부; 및 상기 3차원 이미지를 검사모델에 입력하여, 상기 대상객체의 종류를 분류하거나, 상기 대상객체에 발생한 손상 또는 변형 유무를 검사하는 검사부를 포함할 수 있다.
여기서 상기 기구부는, 미리 설정된 이송속도로 상기 대상객체를 이송하여, 상기 대상객체가 라인(line) 형상으로 설정되는 상기 측정영역을 순차적으로 통과하도록 할 수 있다.
여기서 상기 라이다부는, 측정주기에 따라 상기 레이저를 상기 측정영역 내에 조사하며, 상기 측정주기는 미리 설정된 상기 3차원 이미지의 해상도에 따라 결정될 수 있다.
여기서 상기 라이다부는 상기 측정영역의 폭을 x축, 상기 대상객체까지의 거리를 z축으로 하는 2차원 이미지를 생성할 수 있다.
여기서 상기 영상처리부는, 상기 대상객체의 이송속도와, 상기 2차원 이미지들의 생성순서에 따라 상기 2차원 이미지들을 적층하여, 상기 대상객체의 높이를 y축으로 하는 상기 3차원 이미지를 생성할 수 있다.
여기서, 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치는, 복수의 학습객체들에 대한 3차원 학습 이미지를 생성하고, 상기 3 차원 학습 이미지로 기계학습을 수행하여 상기 검사모델을 생성하는 학습장치를 더 포함할 수 있다.
여기서 상기 학습장치는, 학습객체의 위치 또는 자세를 조절하여, 상기 학습객체를 순차적으로 측정영역 내로 이송하는 학습기구부; 상기 측정영역 내에 레이저를 조사하여, 상기 측정영역 내 위치하는 상기 학습객체까지의 거리정보를 포함하는 각각의 2차원 학습 이미지를 생성하는 학습라이다부; 상기 2차원 학습 이미지들을 결합하여 상기 학습객체에 대한 3차원 학습 이미지를 생성하는 학습영상처리부; 및 상기 3차원 학습 이미지를 학습데이터로 활용하여, 각각의 대상객체의 종류를 분류하거나, 상기 대상객체에 발생한 손상 또는 변형 유무를 검사하는 검사모델을 생성하는 모델학습부를 포함할 수 있다.
여기서, 본 발명의 일 실시예에 의한 학습장치는, 설정된 학습데이터의 개수에 따라, 상기 학습객체가 상이한 자세를 가지도록 상기 학습기구부를 제어하고, 각각의 자세에 대해 생성된 3차원 학습 이미지들을 수집하는 학습영상수집부를 더 포함할 수 있다.
본 발명의 일 실시예에 의한 라이다 기반의 공정검사방법은, 대상객체의 위치 또는 자세를 조절하여, 상기 대상객체를 순차적으로 측정영역 내로 이송하는 단계; 상기 측정영역 내에 레이저를 조사하여, 상기 측정영역 내 위치하는 상기 대상객체까지의 거리정보를 포함하는 각각의 2차원 이미지를 생성하는 단계; 상기 2차원 이미지들을 결합하여 상기 대상객체에 대한 3차원 이미지를 생성하는 단계; 및 상기 3차원 이미지를 검사모델에 입력하여, 상기 대상객체의 종류를 분류하거나, 상기 대상객체에 발생한 손상 또는 변형 유무를 검사하는 단계를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치 및 공정검사방법은, 카메라 이미지를 사용하지 않으므로, 조도 등 주변 환경에 강인한 공정검사를 수행하는 것이 가능하다. 또한, 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치 및 공정검사방법은, 2차원 라이다를 이용하여 생성한 2차원 이미지들을 적층하여 3차원 이미지를 생성하므로, 기존의 3차원 라이다가 가지고 있던 구조적 문제들을 해결할 수 있으며, 비용 효율적인 효과도 얻을 수 있다.
본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치 및 공정검사방법에 의하면, 학습 데이터 획득을 자동화하는 것이 가능하므로, 불필요한 인력 및 시간 낭비를 방지할 수 있다. 또한, 높은 수준의 전문가가 아니라도 쉽게 학습 데이터들을 확보하는 것이 가능하다.
본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치 및 공정검사방법에 의하면, 깊이 이미지 데이터에 기반하여 공정검사를 수행하므로, 종래 카메라 이미지에서 얻을 수 없었던 객체의 거리정보를 얻는 것이 가능하다. 이에 따라, 객체 내 포함된 크랙(crack)이나 변형 등 객체의 형상 오류 등을 용이하게 검출할 수 있다.
도1은 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치를 나타내는 개략도이다.
도2는 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치를 이용한 대상객체에 대한 3차원 이미지 생성을 나타내는 개략도이다.
도3은 본 발명의 일 실시예에 의한 학습장치를 나타내는 개략도이다.
도4는 본 발명의 일 실시예에 의한 영상랜더링 알고리즘을 나타내는 순서도이다.
도5는 본 발명의 일 실시예에 의한 영상수집 알고리즘을 나타내는 순서도이다.
도6은 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치를 이용한 대상객체 분류 또는 대상객체에 발생한 손상 또는 변형 유무 검사를 나타내는 개략도이다.
도7은 본 발명의 일 실시예에 의한 라이다 기반의 공정검사방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도1은 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치를 나타내는 개략도이다.
도1을 참조하면 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치(100)는 기구부(110), 라이다부(120) 및 공정검사부(130)를 포함할 수 있다.
이하 도1을 참조하여 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치(100)를 설명한다.
기구부(110)는 대상객체(A)의 위치 또는 자세(pose)를 조절하여, 대상객체(A)를 순차적으로 측정영역(T) 내로 이송할 수 있다. 여기서, 기구부(110)는 이동형 선반 기구 등일 수 있으며, 선반 내 대상객체(A)를 위치시킨 후, 선반을 이동시켜 대상객체(A)를 미리 설정된 측정영역(T)으로 이송시킬 수 있다. 이때, 선반을 회전시키는 등 대상객체(A)의 자세를 조절하는 것도 가능하다.
기구부(110)는 미리 설정된 이송속도로 대상객체(A)를 이송할 수 있으며, 기구부(110)에 의하여 대상객체(A)는 라인(line) 형상으로 설정되는 측정영역(T)을 순차적으로 통과할 수 있다.
실시예에 따라서는 기구부(110) 내에 센서부, 구동부 및 제어부가 포함될 수 있다. 구동부는 모터 등을 포함하여 선반을 이동 또는 회전시키고, 센서부는 선반의 위치, 이송속도 등을 측정할 수 있다. 제어부는 구동부 및 센서부의 동작을 제어하는 기능을 수행할 수 있다.
라이다부(120)는 측정영역(T) 내에 레이저를 조사하여, 측정영역(T) 내 위치하는 대상객체(A)까지의 거리정보를 포함하는 2차원 이미지를 생성할 수 있다. 여기서, 라이다부(120)는 일정한 측정영역(T) 내에 레이저를 조사하도록 고정되어 있을 수 있으며, 대상객체(A)가 기구부(110)에 의해 측정영역(T) 내로 이동할 수 있다.
라이다부(120)는 측정주기에 따라 레이저를 측정영역(T) 내에 조사할 수 있으며, 라이다부(120)의 측정주기와 기구부(110)의 이송속도에 따라 하나의 대상객체(A)에 대해 생성하는 2차원 이미지의 개수가 결정될 수 있다. 즉, 라이다부(120)의 측정주기와 기구부(110)의 이송속도에 따라 3차원 이미지의 해상도가 결정될 수 있다. 실시예에 따라서는, 해상도를 높이기 위하여, 이송속도는 고정하고, 레이저의 측정주기를 짧게 설정하여 하나의 대상객체(A)에 대해 보다 많은 양의 2차원 이미지를 생성하도록 할 수 있다. 다만, 이 경우 2차원 이미지를 결합한 3차원 이미지 생성을 위한 연산량이 증가하게 되므로, 연산량을 고려하여 적절한 해상도를 선택할 수 있다.
라이다부(120)는 측정영역(T)의 폭을 x축, 대상객체(A)까지의 거리를 z축으로 하는 2차원 이미지를 생성할 수 있다. 즉, 도2에 도시한 바와 같이, 대상객체(A)에 대해, 각각의 라인에 대한 복수의 2차원 이미지(pi)를 생성할 수 있다. 여기서, 2차원 이미지(pi) 내 각각의 1차원 이미지(aij)에는 해당지점까지의 거리정보(zij)가 포함된다. 따라서, 2차원 이미지(pi)를 이용하여 특정높이(yi)에서의 대상객체(A)의 단면에 대한 형상을 얻을 수 있으며, 복수의 2차원 이미지들을 결합하면, 대상객체(A) 전체에 대한 3차원 이미지를 생성하는 것이 가능하다.
공정검사부(130)는 2차원 이미지들을 결합하여 3차원 이미지를 생성할 수 있으며, 생성한 3차원 이미지를 이용하여, 대상객체(A)에 대한 검사를 수행할 수 있다. 구체적으로, 공정검사부(130)는 영상처리부(131) 및 검사부(132)를 포함할 수 있다.
영상처리부(131)는 2차원 이미지들을 결합하여 대상객체(A)에 대한 3차원 이미지를 생성할 수 있다. 영상처리부(130)는 대상객체(A)의 이송속도와, 2차원 이미지들의 생성순서에 따라 복수의 2차원 이미지들을 차례대로 적층할 수 있으며, 대상객체의 높이를 y축으로 하는 3차원 이미지를 생성할 수 있다.
검사부(132)는 3차원 이미지를 검사모델에 입력하여, 대상객체(A)의 종류를 분류하거나, 대상객체(A)에 발생한 손상 또는 변형 유무를 검사할 수 있다. 여기서, 검사모델은 딥러닝 등 기계학습을 통하여 형성된 것일 수 있다. 구체적으로, 도6에 도시한 바와 같이, 대상객체(A)에 대한 2차원 이미지들을 적?하여 3차원 이미지를 생성한 후, 3차원 이미지에 심층학습알고리즘을 적용하여 생성한 검사모델을 적용할 수 있다. 여기서, 검사모델은 도6(a)와 같이 각각의 대상객체(A)의 종류를 분류하거나, 도6(b)와 같이 3차원 이미지로부터 대상객체(A) 내에 발생한 손상이나 형상의 변형 유무 등을 검사하여, 정상 또는 결함을 판별할 수 있다.
한편, 본 발명의 일 실시예에 의한 라이다 기반의 공정검사장치(100)는, 검사모델을 생성하기 위해, 도3에 도시한 바와 같이, 별도로 학습장치(200)를 더 포함할 수 있다.
도3을 참조하면, 학습장치(200)는 학습기구부(210), 학습라이다부(220) 및 학습처리부(230)를 포함할 수 있다.
학습기구부(210)는 학습객체(B)의 위치 또는 자세를 조절하여, 학습객체(B)를 순차적으로 측정영역(T) 내로 이송시킬 수 있다. 여기서, 학습기구부(210)는 다축 선반 기구 등일 수 있으며, 선반 내 학습객체(B)를 위치시킨 후, 학습객체(B)를 미리 설정된 측정영역(T)으로 이송시킬 수 있다. 즉, 기구부(110)에 비하여 학습객체(B)의 위치나 자세 등을 보다 다양하게 변형하는 것이 가능하며, 이를 통하여 다양한 종류의 학습데이터를 생성하도록 할 수 있다. 학습기구(210)에 포함된 축이 증가할수록 자유도가 증가할 수 있으며, 자유도가 증가할수록 다양한 학습데이터를 생성하는 것이 가능하다.
학습기구부(210)는 미리 설정된 이송속도로 학습객체(B)를 이송할 수 있으며, 학습기구부(210)에 의해 학습객체(B)는 라인 형상으로 설정되는 측정영역(T)을 순차적으로 통과할 수 있다.
실시예에 따라서는, 학습기구부(210) 내에 센서부, 구동부 및 제어부가 포함될 수 있다. 구동부는 모터 등을 포함하여 선반을 이동 또는 회전시키고, 센서부는 선반의 위치, 이송속도 등을 측정할 수 있다. 제어부는 구동부 및 센서부의 동작을 제어하는 기능을 수행할 수 있다.
학습라이다부(220)는 측정영역(T) 내에 레이저를 조사하여, 측정영역(T) 내 위치하는 학습객체(B)까지의 거리정보를 포함하는 각각의 2차원 학습 이미지를 생성할 수 있다. 여기서, 학습라이다부(220)는 일정한 측정영역(T) 내에 레이저를 조사하도록 고정되어 있을 수 있으며, 학습객체(B)가 학습기구부(120)에 의해 측정영역(T) 내로 이동할 수 있다.
학습라이다부(220)는 측정주기에 따라 레이저를 측정영역(T) 내에 조사할 수 있으며, 학습라이다부(220)의 측정주기와 학습기구부(210)의 이송속도에 따라 하나의 학습객체(B)에 대해 생성하는 2차원 학습 이미지의 개수가 결정될 수 있다. 즉, 학습라이다부(220)의 측정주기와 학습기구부(210)의 이송속도에 따라 3차원 학습 이미지의 해상도가 결정될 수 있다. 학습라이다부(220)는 측정영역(T)의 폭을 x축, 학습객체(B)까지의 거리를 z축으로 하는 2차원 학습이미지를 생성할 수 있다.
학습처리부(230)는 2차원 학습 이미지들을 결합하여 3차원 학습 이미지들을 생성할 수 있으며, 생성한 3차원 학습 이미지들을 이용하여 검사모델을 생성할 수 있다. 구체적으로, 학습처리부(230)는 도3에 도시한 바와 같이, 학습영상처리부(231), 학습영상수집부(232) 및 모델학습부(233)를 포함할 수 있다.
학습영상처리부(231)는 2차원 학습 이미지들을 결합하여 학습객체(B)에 대한 3차원 학습 이미지를 생성할 수 있다. 여기서 학습영상처리부(231)는 학습기구부(110)로부터 수신한 학습객체(B)의 포즈 정보에 기반하여 2차원 학습 이미지들을 결합할 수 있다. 구체적으로, 학습영상처리부(231)는 학습객체(B)의 위치, 자세 및 이송속도와, 2차원 학습 이미지들의 생성순서에 따라 복수의 2차원 학습 이미지들을 차례대로 적층할 수 있으며, 학습객체(B)의 높이를 y축으로 하는 3차원 이미지를 생성할 수 있다.
도4를 참조하면, 전체 N개의 2차원 학습 이미지들 중에서 i번째 2차원 학습 이미지(pi)를 수집한 경우(S11), 2차원 학습 이미지(pi) 내에는 복수의 1차원 학습 이미지(ai1, ... , aik)들이 포함될 수 있으며, 각각의 1차원 학습 이미지(aij)의 xi, yi, zij에는 x축, y축 및 z축값이 설정될 수 있다. 여기서, xi, yi는 각각 2차원 학습 이미지 내 x축, y축값에 해당하고, zij는 거리 측정값에 해당한다(S12). 이후, i번째 2차원 학습 이미지까지의 2차원 이미지 집합 P = {p1, ... , pi}를 생성하고, i = N이면(S14) 2차원 학습 이미지들을 적층하여 3차원 학습이미지를 생성할 수 있다(S18). 반면에, i = N이 아니면, 추가적인 2차원 학습 이미지 생성을 수행할 수 있다. 이를 위하여, 학습 객체(B)의 포즈(pose)를 결정하고, xi+1 또는 yi+1을 결정할 수 있다(S15). 즉, 학습 객체(B)를 수평방향 또는 수직방향으로 이동시켜 2차원 학습 이미지를 추가할 수 있으며, 각각의 경우에 따라 xi+1 또는 yi+1를 추가시킬 수 있다. 이후, 학습기구부(210)의 다축선반의 구동부를 제어하여 학습객체(B)를 이송시키며 그에 따른 2차원 학습 이미지의 측정을 학습라이다부(220)에 요청할 수 있다(S16). 2차원 학습 이미지의 측정이 완료되면 i를 증가시키고(S17), 다시 i번째 2차원 학습 이미지에 대한 처리를 수행할 수 있다(S12).
학습영상수집부(232)는 설정된 학습데이터의 개수에 따라, 학습객체(B)가 상이한 자세를 가지도록 학습기구부(210)를 제어하고, 각각의 자세에 대해 생성된 3차원 학습 이미지들을 수집할 수 있다. 즉, 학습영상수집부(232)는 학습객체(B)의 자세나 위치를 조절하여, 사용자 등이 미리 설정한 개수의 학습데이터를 자동으로 생성할 수 있다. 실시예에 따라서는, 검사모델 생성을 위한 학습데이터의 개수가 부족한 경우, 학습영상수집부(232)가 학습 데이터를 추가적으로 더 생성을 요청하도록 하는 것도 가능하다.
구체적으로, 도5에 도시한 바와 같이, 사용자가 학습데이터의 개수를 N개로 설정하고, 현재 k개 학습데이터를 생성한 경우(S21), k번째 3차원 학습 이미지를 수집하여(S22), 3차원 학습 이미지들의 집합 Q = {q1, ... , qk}를 생성할 수 있다(S23). 여기서, k = N이 아니면(S24), 학습영상수집부(232)는 학습처리부(230)로 추가적인 3차원 학습 이미지 생성을 요청할 수 있다(S25). 이 경우, 학습기구부(210)는 학습객체(B)의 위치나 자세 등을 변경할 수 있으며, 변경된 학습객체(B)에 대한 3차원 학습 이미지가 추가로 생성될 수 있다. 반면에, k = N이면(S24) 모델학습부(233)로 전송하여 검사모델을 생성하도록 할 수 있다(S27).
모델학습부(233)는 3차원 학습 이미지를 학습데이터로 활용하여, 각각의 대상객체(A)의 종류를 분류하거나, 대상객체(A)에 발생한 손상 또는 변형 유무를 검사하는 검사모델을 생성할 수 있다. 모델학습부(2330)는 학습데이터를 심층학습 등 다양한 기계학습 기법으로 학습하여 검사모델을 생성할 수 있다. 모델학습부(233)에서 생성된 검사모델은 공정검사장치(100)의 검사부(132)로 제공될 수 있다.
도7은 본 발명의 일 실시예에 의한 라이다 기반의 공정검사방법을 나타내는 순서도이다.
도7을 참조하면, 라이다 기반의 공정검사장치는 대상객체의 위치 또는 자세를 조절하여, 상기 대상객체를 순차적으로 측정영역 내로 이송할 수 있다(S110). 여기서, 공정검사장치는 이동형 선반 기구를 포함할 수 있으며, 선반 내 대상객체를 위치시킨 후, 선반을 이동시켜 대상객체를 미리 설정된 측정영역으로 이송시킬 수 있다. 공정검사장치는 미리 설정된 이송속도로 대상객체를 이송할 수 있으며, 대상객체는 라인(line) 형상으로 설정되는 측정영역을 순차적으로 통과할 수 있다.
공정검사장치는 측정영역 내에 레이저를 조사하여, 측정영역 내 위치하는 대상객체까지의 거리정보를 포함하는 각각의 2차원 이미지를 생성할 수 있다(S120). 공정검사장치는 2차원 라이다를 포함할 수 있으며, 미리 설정된 측정영역 내에 레이저를 조사하도록 2차원 라이다를 고정시킬 수 있다. 이후, 대상객체가 측정영역 내로 이동하면, 측정주기에 따라 레이저를 측정영역 내에 조사할 수 있다. 따라서, 측정주기와 이송속도에 따라 하나의 대상객체에 대해 생성하는 2차원 이미지의 개수가 결정될 수 있으며, 이에 의해 3차원 이미지의 해상도가 결정될 수 있다. 공정검사장치는 측정영역의 폭을 x축, 대상객체까지의 거리를 z축으로 하는 2차원 이미지를 생성할 수 있다.
공정검사장치는 2차원 이미지들을 결합하여 대상객체에 대한 3차원 이미지를 생성할 수 있다(S130). 즉, 대상객체의 이송속도와, 2차원 이미지들의 생성순서에 따라 복수의 2차원 이미지들을 차례대로 적층할 수 있으며, 대상객체의 높이를 y축으로 하는 3차원 이미지를 생성할 수 있다.
이후, 공정검사장치는 3차원 이미지를 검사모델에 입력하여, 대상객체의 종류를 분류하거나, 대상객체에 발생한 손상 또는 변형 유무를 검사할 수 있다(S140). 여기서, 검사모델은 딥러닝 등 기계학습을 통하여 형성된 것일 수 있다.
한편, 검사모델은 별도의 학습장치에 의하여 생성된 것일 수 있다.
학습장치는 학습객체의 위치 또는 자세를 조절하여, 학습객체를 순차적으로 측정영역 내로 이송시킬 수 있다. 여기서, 학습장치는 다축 선반 기구를 포함할 수 있으며, 선반 내 학습객체를 위치시킨 후, 학습객체를 미리 설정된 측정영역으로 이송시킬 수 있다. 학습장치는 공정검사장치에 비하여 학습객체의 위치나 자세 등을 보다 다양하게 변형하는 것이 가능하며, 이를 통하여 다양한 종류의 학습데이터를 생성하도록 할 수 있다. 학습장치는 미리 설정된 이송속도로 학습객체를 이송할 수 있으며, 학습객체는 라인 형상으로 설정되는 측정영역을 순차적으로 통과할 수 있다.
학습장치는 2차원라이다를 포함할 수 있으며, 측정영역 내에 레이저를 조사하여, 측정영역 내 위치하는 학습객체까지의 거리정보를 포함하는 각각의 2차원 학습 이미지를 생성할 수 있다. 여기서, 학습장치는 일정한 측정영역 내에 레이저를 조사하도록 고정되어 있을 수 있다.
학습장치는 측정주기에 따라 레이저를 측정영역 내에 조사할 수 있으며, 측정주기와 이송속도에 따라 하나의 학습객체에 대해 생성하는 2차원 학습 이미지의 개수가 결정될 수 있다. 학습장치는 측정영역의 폭을 x축, 학습객체까지의 거리를 z축으로 하는 2차원 학습이미지를 생성할 수 있다.
학습장치는 2차원 학습 이미지들을 결합하여 학습객체에 대한 3차원 학습 이미지를 생성할 수 있다. 여기서 학습장치는 다축선반기구로부터 수신한 학습객체의 포즈 정보에 기반하여 2차원 학습 이미지들을 결합할 수 있다. 구체적으로, 학습객체의 위치, 자세 및 이송속도와, 2차원 학습 이미지들의 생성순서에 따라 복수의 2차원 학습 이미지들을 차례대로 적층할 수 있으며, 학습객체의 높이를 y축으로 하는 3차원 이미지를 생성할 수 있다.
한편, 학습장치는 설정된 학습데이터의 개수에 따라, 학습객체가 상이한 자세를 가지도록 다축선반기구를 제어하고, 각각의 자세에 대해 생성된 3차원 학습 이미지들을 수집할 수 있다. 즉, 학습장치는 학습객체의 자세나 위치를 조절하여, 사용자 등이 미리 설정한 개수의 학습데이터를 자동으로 생성할 수 있다. 실시예에 따라서는, 검사모델 생성을 위한 학습데이터의 개수가 부족한 경우, 학습장치가 학습 데이터를 추가적으로 더 생성을 요청하도록 하는 것도 가능하다.
이후, 학습장치는 3차원 학습 이미지를 학습데이터로 활용하여, 각각의 대상객체의 종류를 분류하거나, 대상객체에 발생한 손상 또는 변형 유무를 검사하는 검사모델을 생성할 수 있다. 학습장치는 학습데이터를 심층학습 등 다양한 기계학습 기법으로 학습하여 검사모델을 생성할 수 있다. 학습장치에서 생성된 검사모델은 공정검사장치로 제공될 수 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 공정검사장치 110: 기구부
120: 라이다부 130: 공정검사부
131: 영상처리부 132: 검사부
200: 학습장치 210: 학습기구부
220: 학습라이다부 230: 학습처리부
231: 학습영상처리부 232: 학습영상수집부
233: 모델학습부
A: 대상객체 B: 학습객체
T: 측정영역

Claims (9)

  1. 대상객체의 위치 또는 자세를 조절하여, 상기 대상객체를 순차적으로 측정영역 내로 이송하는 기구부;
    상기 측정영역 내에 레이저를 조사하여, 상기 측정영역 내 위치하는 상기 대상객체까지의 거리정보를 포함하는 각각의 2차원 이미지를 생성하는 라이다부;
    상기 2차원 이미지들을 결합하여 상기 대상객체에 대한 3차원 이미지를 생성하는 영상처리부; 및
    상기 3차원 이미지를 검사모델에 입력하여, 상기 대상객체의 종류를 분류하거나, 상기 대상객체에 발생한 손상 또는 변형 유무를 검사하는 검사부를 포함하는 라이다 기반의 공정검사장치.
  2. 제1항에 있어서, 상기 기구부는
    미리 설정된 이송속도로 상기 대상객체를 이송하여, 상기 대상객체가 라인(line) 형상으로 설정되는 상기 측정영역을 순차적으로 통과하도록 하는 것을 특징으로 하는 라이다 기반의 공정검사장치.
  3. 제2항에 있어서, 상기 라이다부는
    측정주기에 따라 상기 레이저를 상기 측정영역 내에 조사하며, 상기 측정주기는 미리 설정된 상기 3차원 이미지의 해상도에 따라 결정되는 것을 특징으로 하는 라이다 기반의 공정검사장치.
  4. 제3항에 있어서, 상기 라이다부는
    상기 측정영역의 폭을 x축, 상기 대상객체까지의 거리를 z축으로 하는 2차원 이미지를 생성하는 것을 특징으로 하는 라이다 기반의 공정검사장치.
  5. 제4항에 있어서, 상기 영상처리부는
    상기 대상객체의 이송속도와, 상기 2차원 이미지들의 생성순서에 따라 상기 2차원 이미지들을 적층하여, 상기 대상객체의 높이를 y축으로 하는 상기 3차원 이미지를 생성하는 것을 특징으로 하는 라이다 기반의 공정검사장치.
  6. 제1항에 있어서,
    복수의 학습객체들에 대한 3차원 학습 이미지를 생성하고, 상기 3 차원 학습 이미지로 기계학습을 수행하여 상기 검사모델을 생성하는 학습장치를 더 포함하는 라이다 기반의 공정검사장치.
  7. 제6항에 있어서, 상기 학습장치는
    학습객체의 위치 또는 자세를 조절하여, 상기 학습객체를 순차적으로 측정영역 내로 이송하는 학습기구부;
    상기 측정영역 내에 레이저를 조사하여, 상기 측정영역 내 위치하는 상기 학습객체까지의 거리정보를 포함하는 각각의 2차원 학습 이미지를 생성하는 학습라이다부;
    상기 2차원 학습 이미지들을 결합하여 상기 학습객체에 대한 3차원 학습 이미지를 생성하는 학습영상처리부; 및
    상기 3차원 학습 이미지를 학습데이터로 활용하여, 각각의 대상객체의 종류를 분류하거나, 상기 대상객체에 발생한 손상 또는 변형 유무를 검사하는 검사모델을 생성하는 모델학습부를 포함하는 라이다 기반의 공정검사장치.
  8. 제7항에 있어서,
    설정된 학습데이터의 개수에 따라, 상기 학습객체가 상이한 자세를 가지도록 상기 학습기구부를 제어하고, 각각의 자세에 대해 생성된 3차원 학습 이미지들을 수집하는 학습영상수집부를 더 포함하는 것을 특징으로 하는 라이다 기반의 공정검사장치.
  9. 대상객체의 위치 또는 자세를 조절하여, 상기 대상객체를 순차적으로 측정영역 내로 이송하는 단계;
    상기 측정영역 내에 레이저를 조사하여, 상기 측정영역 내 위치하는 상기 대상객체까지의 거리정보를 포함하는 각각의 2차원 이미지를 생성하는 단계;
    상기 2차원 이미지들을 결합하여 상기 대상객체에 대한 3차원 이미지를 생성하는 단계; 및
    상기 3차원 이미지를 검사모델에 입력하여, 상기 대상객체의 종류를 분류하거나, 상기 대상객체에 발생한 손상 또는 변형 유무를 검사하는 단계를 포함하는 라이다 기반의 공정검사방법.
KR1020210142700A 2021-10-25 2021-10-25 라이다 기반의 공정검사장치 및 공정검사방법 KR20230058904A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142700A KR20230058904A (ko) 2021-10-25 2021-10-25 라이다 기반의 공정검사장치 및 공정검사방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142700A KR20230058904A (ko) 2021-10-25 2021-10-25 라이다 기반의 공정검사장치 및 공정검사방법

Publications (1)

Publication Number Publication Date
KR20230058904A true KR20230058904A (ko) 2023-05-03

Family

ID=86381135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142700A KR20230058904A (ko) 2021-10-25 2021-10-25 라이다 기반의 공정검사장치 및 공정검사방법

Country Status (1)

Country Link
KR (1) KR20230058904A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150066845A (ko) 2013-12-09 2015-06-17 계명대학교 산학협력단 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150066845A (ko) 2013-12-09 2015-06-17 계명대학교 산학협력단 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템

Similar Documents

Publication Publication Date Title
US20080301072A1 (en) Robot simulation apparatus
US8638984B2 (en) Display of results of a measurement of workpieces as a function of the detection of the gesture of a user
CN102781631B (zh) 信息处理装置及控制该装置的方法
US20170249729A1 (en) Automated optical metrology computer aided inspection station and method of operation
US20200200531A1 (en) Distance determination of a sample plane in a microscope system
JP7174074B2 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
CN106573381A (zh) 卡车卸载机可视化
JP2008021092A (ja) ロボットシステムのシミュレーション装置
KR20210090264A (ko) 심층 합성곱 신경망을 이용한 레이저 가공 시스템의 가공오류 검출 시스템 및 방법
US20210023718A1 (en) Three-dimensional data generation device and robot control system
CN111816020A (zh) 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练
JP2019100917A (ja) 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
JP2010276447A (ja) 位置計測装置、位置計測方法およびロボットシステム
CN113601501B (zh) 机器人柔性作业方法、装置及机器人
CN102331430A (zh) 不规则形状肉异物检测系统
CN114092411A (zh) 一种高效快速的双目3d点云焊点缺陷检测方法
CN206832700U (zh) 一种基于红外线测距传感器的缺陷检测装置
CN106018415A (zh) 基于显微视觉的微小零件质量检测系统
KR20230058904A (ko) 라이다 기반의 공정검사장치 및 공정검사방법
CN109632815A (zh) 表面缺陷在线检测系统及方法
JP2020134221A (ja) 走査経路生成装置、走査経路生成プログラム、走査経路生成方法、及び外観検査システム
JP7440975B2 (ja) 撮像装置と識別方法
CN112775961A (zh) 控制装置、控制装置的控制方法以及控制系统
CN206470219U (zh) 托盘ic检测装置
KR102494890B1 (ko) 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템