KR20180041552A - 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법 - Google Patents

단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법 Download PDF

Info

Publication number
KR20180041552A
KR20180041552A KR1020170033896A KR20170033896A KR20180041552A KR 20180041552 A KR20180041552 A KR 20180041552A KR 1020170033896 A KR1020170033896 A KR 1020170033896A KR 20170033896 A KR20170033896 A KR 20170033896A KR 20180041552 A KR20180041552 A KR 20180041552A
Authority
KR
South Korea
Prior art keywords
laser
camera
laser sensor
coordinate system
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020170033896A
Other languages
English (en)
Other versions
KR101889497B1 (ko
Inventor
하철근
티 창 찬
류항기
우경행
Original Assignee
울산대학교 산학협력단
주식회사 에이티엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 주식회사 에이티엠 filed Critical 울산대학교 산학협력단
Publication of KR20180041552A publication Critical patent/KR20180041552A/ko
Application granted granted Critical
Publication of KR101889497B1 publication Critical patent/KR101889497B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02034—Interferometers characterised by particularly shaped beams or wavefronts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02041—Interferometers characterised by particular imaging or detection techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02055—Reduction or prevention of errors; Testing; Calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/225—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법에 대한 것이다.
본 발명에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치는 카메라를 이용하여 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 이미지 획득부와, 획득한 이미지를 분석하여 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 광선 추출부 및 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 두 물체간 간격과 높이차를 추정하는 추정부를 포함한다.
이와 같이 본 발명에 따르면, 고정된 CMOS 카메라와 멀티 라인 레이저 센서를 이용하여 물체들에 접촉하지 않고 두 물체간 간격과 높이차를 정확하게 측정할 수 있어 접촉에 의해 표면이 쉽게 손상되는 민감한 물체에 효과적으로 적용할 수 있고 정교함을 요구하는 제조 공정 과정에서 유용하게 활용될 수 있다.

Description

단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법{NON-CONTACT GAP MEASUREMENT APPARATUS USING MONOCULAR MULTI-LINE LASER SENSOR AND METHOD THEREOF}
본 발명은 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 CMOS 카메라와 멀티 라인 레이저를 이용하여 비접촉 방식으로 두 물체간 간격과 높낮이차를 측정하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법에 관한 것이다.
자동차 제조 공장에서 로봇을 이용하여 차량 바디에 유리를 끼우고 패널을 조립하는 것과 같은 정교한 작업 공정을 위해서는 부품 간 간격 및 높낮이차를 정교하고 정확하게 측정하여 보정해야 한다.
부품 간 간격 및 높낮이차를 측정할 때 민감한 부품의 경우 접촉 방식으로 측정하면 변형 및 손상이 생길 수도 있기 때문에 이를 방지하기 위한 비접촉성 측정 방법이 널리 연구되고 있다.
비접촉성 측정 방법 중 대표적인 방법으로는 레이저 반사와 초음파 또는 빛 반사를 이용한 방법이 있다. 레이저 반사를 이용한 방법은 레이저 이미터와 수신기를 필요로 한다. 레이저 반사와 초음파 또는 빛 반사를 이용한 방법은 속도의 이점을 갖지만 반사율이 나쁜 객체의 경우에는 시스템이 제대로 작동하지 않는다는 단점이 있다. 그 외 이미지 기반의 측정 방법은 노이즈와 조명의 변화에 민감한 단점이 있다.
따라서, 반사율에 무관하고 고속의 정확한 측정 성능을 갖춘 비접촉성 측정 장치의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2016-0079024호(2016. 07. 05. 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 CMOS 카메라와 멀티 라인 레이저를 이용하여 비접촉 방식으로 두 물체간 간격과 높낮이차를 측정하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치는, 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 이미지 획득부; 상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 광선 추출부; 및 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 추정부를 포함한다.
상기 광선 추출부는 상기 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연이은 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출할 수 있다.
상기 추정부는 레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(
Figure pat00001
)을 다음의 수학식과 같이 단일 행렬 내에서 결합하여 나타낼 수 있다.
Figure pat00002
여기서,
Figure pat00003
과
Figure pat00004
는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.
상기 추정부는 상기 레이저 센서의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식과 같이 계산할 수 있다.
Figure pat00005
Figure pat00006
Figure pat00007
여기서,
Figure pat00008
는 카메라 필름상에서 검출된 실제 광선의 좌표,
Figure pat00009
는 카메라 좌표계의 고유 행렬이다.
상기 추정부는 상기 레이저 센서 좌표계(LaserXp, LaserYp, LaserZp)를 이용하여 다음의 수학식과 같이 상기 추출된 광선의 수평 거리와 수직거리를 계산하여 상기 간격과 높이차를 추정할 수 있다.
Figure pat00010
여기서 Gap는 두 물체간 간격, Flush는 두 물체간 높이차, LaserZM과 LaserXM은 각각 두 물체중 왼쪽에 위치한 물체 위로 출력된 광선의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체중 오른쪽에 위치한 물체 위로 출력된 광선의 시작점에 대한 Z축과 X축 좌표이다.
상기 카메라는 상기 설정 위치에서 45도 각도로 기울어져 고정될 수 있다.
또한, 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법은, 간격 측정 장치가 상기 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 단계; 상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 단계; 및 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고, 상기 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 고정된 CMOS 카메라와 멀티 라인 레이저 센서를 이용하여 물체들에 접촉하지 않고 두 물체간 간격과 높낮이차를 정확하게 측정할 수 있어 접촉에 의해 표면이 쉽게 손상되는 민감한 물체에 효과적으로 적용할 수 있고 정교함을 요구하는 제조 공정 과정에서 유용하게 활용될 수 있다.
또한 본 발명에 따르면, 촬영된 영상을 분석하여 영상 속 다수개의 광선 중 강도가 가장 큰 5개의 광선을 연속적으로 추출하여 두 물체간 간격과 높낮이차를 측정하므로 측정 결과의 오차율을 저감할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법의 동작 흐름을 도시한 순서도이다.
도 3은 본 발명의 실시예에 따른 이미지를 획득하기 위한 촬영 예이다.
도 4는 본 발명의 실시예에 따른 일반 물체 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것이다.
도 5는 간격과 높낮이차가 없는 경우와 있는 경우의 실제 이미지를 나타낸 것이다.
도 6은 본 발명의 실시예에 따른 유리 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것이다.
도 7은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 없는 경우를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 있는 경우를 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 사용자 인터페이스 예이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 1을 통해 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치(100)는, 이미지 획득부(110), 광선 추출부(120) 및 추정부(130)를 포함한다.
먼저, 이미지 획득부(110)는 카메라(200)를 이용하여, 레이저 센서(300)에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득한다.
이때, 카메라(200) 및 레이저 센서(300)는 설정 위치에 고정되되, 카메라(200)는 설정 위치에서 45도 각도로 기울어져 고정되고, 레이저 센서(300)는 복수개의 광선을 출력하는 구조화된 멀티 라인 레이저 센서(300)이며, 카메라(200)는 레이저 센서(300)에서 출력되는 광선이 포함된 영상을 촬영하기 위한 CCD 카메라가 적용될 수 있다.
그리고, 광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지를 분석하여 획득한 이미지에 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출한다.
자세히는, 광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연속되는 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출한다.
즉, n=5 일때 검출 정확성이 가장 높으므로 연속되는 광선을 5개 추출하는 것이 가장 바람직하다.
다시 말해 촬영된 영상을 분석하여 영상 속 다수개의 광선 중 강도가 센 5개의 광선을 연속적으로 추출하여 측정하므로 측정 결과의 오차율을 저감할 수 있다.
마지막으로 추정부(130)는 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 광선 추출부(120)에서 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 두 물체간 간격과 높이차를 추정한다.
이와 같이 본 발명의 실시예에 따른 비접촉성 간격 측정 장치(100)는 자동차 제조 공장 등에서 로봇을 이용하여 차량 바디에 유리를 끼우고 패널을 조립하는 것과 같은 정교한 작업 공정을 수행하는 과정에서 불량 발생 유무를 검사하기 위해 부품 간 간격과 높이차를 검사하는 용도로써 사용될 수 있다.
이하에서는 도 2를 통해 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에 대하여 설명한다.
도 2는 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따르면, 먼저 이미지 획득부(110)는 카메라(200)를 이용하여, 레이저 센서(300)에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득한다(S210).
도 3은 본 발명의 실시예에 따른 이미지를 획득하기 위한 촬영 예이다.
도 3에서와 같이 카메라(200) 및 레이저 센서(300)는 설정 위치에 고정되되, 카메라(200)는 설정 위치에서 45도 각도로 기울어져 고정되고, 레이저 센서(300)는 복수개의 광선(L)을 출력하는 멀티 라인 레이저 센서(300)이며, 카메라(200)는 레이저 센서(300)에서 출력되는 광선(L)이 포함된 영상을 촬영하기 위한 CCD 카메라가 적용될 수 있다.
그리고, 광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지를 분석하여 획득한 이미지에 복수의 광선(L) 중에서 강도가 가장 센 광선(L)을 포함하는 n(n은 2 이상의 자연수)개의 광선(L)을 추출한다(S220).
도 4는 본 발명의 실시예에 따른 일반 물체 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것으로, 도 4의 (A)는 이미지 획득부(110)에서 획득한 실제 이미지이고, (B)는 광선 추출부(120)에 의해 추출된 이미지이다.
도 4에서와 같이 광선 추출부(120)는 도 4의 (A)와 같이 이미지 획득부(110)에서 획득한 이미지를 분석하여 임계 조건이 충족되는 경우 광선(L)으로 인식하고, 연속되는 5개의 광선을 추출하되 도 4의 (B)에서와 같이 강도가 가장 센 광선(L)이 가운데 위치하도록 추출한다.
즉, n=5일 때 검출 정확성이 가장 높으므로 연속되는 광선(L)을 5개 추출하는 것이 가장 바람직하다
다시 말해 촬영된 영상을 분석하여 영상 속 다수개의 광선(L) 중 강도가 센 5개의 광선을 연속적으로 추출하여 측정하므로 측정 결과의 오차율을 저감할 수 있다.
또한, 광선 추출부(120)는 레이저 센서(300) 발생기 구조, 노이즈 및 이미지 번짐 등을 고려하여 이미지 획득부(110)에서 획득된 이미지에 포함된 복수의 점들 중 임계 조건을 충족시키는 점들만 광선(L)인 것으로 인식하는 것이 바람직하다.
도 5는 간격과 높낮이차가 없는 경우와 있는 경우의 실제 이미지를 나타낸 것이다.
도 5의 (A)는 간격과 높낮이차가 없는 경우의 실제 이미지이고, 도 5의 (B)는 간격과 높낮이차가 있는 경우의 실제 이미지이다.
광선 추출부(120)는 이미지 획득부(110)에서 획득한 이미지가 도 5의 (A)인 경우에는, 강도가 가장 센 광선(L)이 가운데 위치하도록 연속되는 5개의 광선을 추출하지만, 도 5의 (B)와 같이 두 물체간에 간격(틈)이 있거나 높이가 상이한 경우에는 이미지에 출력된 광선(L)이 일직선이 아니므로 광선 추출부(120)는 이미지 분석 시 레이저 라인 생성기에 의해 생성된 라인 수와 동일한 세트로 묶고, 오름차순으로 스캔하여 광선(L)을 인식한다.
도 8은 본 발명의 실시예에 따른 유리 표면에 출력되는 광선을 촬영한 이미지를 나타낸 것이다.
도 8의 (A)는 이미지 획득부(110)에서 획득한 실제 이미지이고, (B)는 광선 추출부(120)에 의해 추출된 이미지이다.
광선 추출부(120)는 측정하고자 하는 물체가 광선이 잘 반사되지 않는 유리와 같은 물체여서 도 8의 (A)와 같이 이미지가 획득된 경우에는 이미지 분석시 색상 보정을 먼저 수행한 후 물체의 수에 따라 다른 영역으로 분리하여 각 영역에 적합한 임계 값을 예측함으로써 도8의 (B)와 같이 광선(L)을 인식할 수도 있다.
마지막으로 추정부(130)는 기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 광선 추출부(120)에서 추출된 복수의 광선(L)의 일그러짐 정도를 분석하고 분석 결과에 따라 두 물체(400a, 400b)간 간격과 높이차를 추정한다(S230).
먼저 본 발명의 실시예에 따른 카메라 필름상 이미지 좌표계(IPX, IPY, 1)와 카메라 좌표계(camX, camY, camZ) 사이의 관계는 아래의 수학식 1과 같이 표현된다.
Figure pat00011
여기서, S는 카메라 필름상 이미지 좌표계(IPX, IPY, 1)에서의 위치벡터이고, w는 카메라 필름 상에 대한 스케일 파라미터이다.
이때, 카메라 좌표계(camX, camY, camZ) 내에서의 한점은 다음의 수학식 2와 같이 나타낼 수 있다.
Figure pat00012
추정부(130)는 레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(
Figure pat00013
)을 다음의 수학식 3과 같이 단일 행렬 내에서 결합하여 나타낸다.
Figure pat00014
여기서,
Figure pat00015
과
Figure pat00016
는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.
또한 추정부(130)는 레이저 센서(300)의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식 4와 같이 계산한다.
Figure pat00017
Figure pat00018
Figure pat00019
여기서,
Figure pat00020
는 카메라 필름상에서 검출된 실제 광선의 좌표,
Figure pat00021
는 카메라 좌표계의 고유 행렬이다.
도 7은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 없는 경우를 나타낸 도면이고, 도 8은 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 방법에서 두 물체간 갭과 높이차가 있는 경우를 나타낸 도면이다.
즉, 추정부(130)의 추정 결과 두 물체 간(400a, 400b)간 간격과 높이차가 없는 경우에는 도 7과 같은 광선(L)이 출력되고, 높이차가 없는 경우에는 도 8과 같은 광선(L)이 출력된다.
도 8의 경우 추정부(130)는 레이저 센서 좌표계(LaserXp, LaserYp, LaserZp)를 이용하여 다음의 수학식 5와 같이 추출된 광선(L)의 수평 거리와 수직거리를 계산하여 두 물체 간(400a, 400b) 간격과 높이차를 추정한다.
Figure pat00022
여기서 Gap는 두 물체(400a, 400b)간 간격, Flush는 두 물체(400a, 400b)간 높이차, LaserZM과 LaserXM은 각각 두 물체(400a, 400b)중 왼쪽에 위치한 물체(400a) 위로 출력된 광선(L)의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체(400a, 400b)중 오른쪽에 위치한 물체(400b) 위로 출력된 광선(L)의 시작점에 대한 Z축과 X축 좌표이다.
도 9는 본 발명의 실시예에 따른 사용자 인터페이스 예이다.
간격 측정 장치(100)는 추정부(130)의 추정 결과 두 물체 간(400a, 400b) 간격과 높이차가 존재하는 경우에는 도 9에서와 같은 사용자 인터페이스를 통해 수학식 5에 의해 계산된 두 물체(400a, 400b)간 간격과 높이차만큼 보정이 이루어지도록 한다.
상술한 바와 같이, 본 발명의 실시예에 따른 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법은, 고정된 CMOS 카메라와 멀티 라인 레이저 센서를 이용하여 물체들에 접촉하지 않고 두 물체간 간격과 높낮이차를 정확하게 측정할 수 있어 접촉에 의해 표면이 쉽게 손상되는 민감한 물체에 효과적으로 적용할 수 있고 정교함을 요구하는 제조 공정 과정에서 유용하게 활용될 수 있다.
또한 본 발명의 실시예에 따르면, 촬영된 영상을 분석하여 영상 속 다수개의 광선 중 강도가 가장 큰 5개의 광선을 연속적으로 추출하여 두 물체간 간격과 높낮이차를 측정하므로 측정 결과의 오차율을 저감할 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 간격 측정 장치 110 : 이미지 획득부
120 : 광선 추출부 130 : 추정부
200 : 카메라 300 : 레이저 센서
400 : 물체

Claims (12)

  1. 설정 위치에 고정된 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치에 있어서,
    상기 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 이미지 획득부;
    상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 광선 추출부; 및
    기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 추정부를 포함하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치.
  2. 제1항에 있어서,
    상기 광선 추출부는,
    상기 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연이은 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치.
  3. 제1항에 있어서,
    상기 추정부는,
    레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(
    Figure pat00023
    )을 다음의 수학식과 같이 단일 행렬 내에서 결합하여 나타내는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치:
    Figure pat00024

    여기서,
    Figure pat00025
    과
    Figure pat00026
    는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.
  4. 제3항에 있어서,
    상기 추정부는,
    상기 레이저 센서의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식과 같이 계산하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치:
    Figure pat00027

    Figure pat00028

    Figure pat00029

    여기서,
    Figure pat00030
    는 카메라 필름상에서 검출된 실제 광선의 좌표,
    Figure pat00031
    는 카메라 좌표계의 고유 행렬이다.
  5. 제4항에 있어서,
    상기 추정부는,
    상기 레이저 센서 좌표계(LaserXp, LaserYp, LaserZp)를 이용하여 다음의 수학식과 같이 상기 추출된 광선의 수평 거리와 수직거리를 계산하여 상기 간격과 높이차를 추정하는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치:
    Figure pat00032

    여기서 Gap는 두 물체간 간격, Flush는 두 물체간 높이차, LaserZM과 LaserXM은 각각 두 물체중 왼쪽에 위치한 물체 위로 출력된 광선의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체중 오른쪽에 위치한 물체 위로 출력된 광선의 시작점에 대한 Z축과 X축 좌표이다.
  6. 제1항에 있어서,
    상기 카메라는 상기 설정 위치에서 45도 각도로 기울어져 고정되는 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치.
  7. 설정 위치에 고정된 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치에 의해 수행되는 비접촉성 간격 측정 방법에 있어서,
    상기 간격 측정 장치가 상기 카메라를 이용하여 상기 레이저 센서에서 출력되는 복수의 광선이 두 물체를 향해 출력되는 상태가 촬영된 이미지를 획득하는 단계;
    상기 획득한 이미지를 분석하여 상기 이미지에 포함된 복수의 광선 중에서 강도가 가장 센 광선을 포함하는 n(n은 2 이상의 자연수)개의 광선을 추출하는 단계; 및
    기 정의된 카메라 좌표계, 카메라 필름상 이미지 좌표계 및 레이저 센서 좌표계를 이용하여 상기 추출된 복수의 광선의 일그러짐 정도를 분석하고, 상기 분석 결과에 따라 상기 두 물체간 간격과 높이차를 추정하는 단계를 포함하는 비접촉성 간격 측정 방법.
  8. 제7항에 있어서,
    상기 광선을 추출하는 단계는,
    상기 이미지를 분석하여 임계 조건이 충족되는 경우 광선으로 인식하고, 연이은 5개의 광선을 추출하되 강도가 가장 센 광선이 가운데 위치하도록 추출하는 비접촉성 간격 측정 방법.
  9. 제7항에 있어서,
    상기 두 물체간 간격과 높이차를 추정하는 단계는,
    레이저 센서 좌표계와 카메라 좌표계 간 물리적 변환(
    Figure pat00033
    )을 다음의 수학식과 같이 단일 행렬 내에서 결합하여 나타내는 비접촉성 간격 측정 방법:
    Figure pat00034

    여기서,
    Figure pat00035
    과
    Figure pat00036
    는 각각 레이저 센서 좌표계(LaserX, LaserY, LaserZ)와 카메라 좌표계(camX, camY, camZ) 사이의 물리적 회전과 물리적 변환이고, r은 좌표 간 회전행렬의 개별 칼럼 벡터이고, T는 전치행렬을 만드는 기호이다.
  10. 제9항에 있어서,
    상기 두 물체간 간격과 높이차를 추정하는 단계는,
    상기 레이저 센서의 X,Y,Z축 좌표(LaserXp, LaserYp, LaserZp)를 각각 다음의 수학식과 같이 계산하는 비접촉성 간격 측정 방법:
    Figure pat00037

    Figure pat00038

    Figure pat00039

    여기서,
    Figure pat00040
    는 카메라 필름상에서 검출된 실제 광선의 좌표,
    Figure pat00041
    는 카메라 좌표계의 고유 행렬이다.
  11. 제10항에 있어서,
    상기 두 물체간 간격과 높이차를 추정하는 단계는,
    상기 레이저 센서 좌표계(LaserXp, LaserYp, LaserZp)를 이용하여 다음의 수학식과 같이 상기 추출된 광선의 수평 거리와 수직거리를 계산하여 상기 간격과 높이차를 추정하는 비접촉성 간격 측정 방법:
    Figure pat00042

    여기서 Gap는 두 물체간 간격, Flush는 두 물체간 높이차, LaserZM과 LaserXM은 각각 두 물체중 왼쪽에 위치한 물체 위로 출력된 광선의 종점에 대한 Z축과 X축 좌표, LaserZN과 LaserXN은 각각 두 물체중 오른쪽에 위치한 물체 위로 출력된 광선의 시작점에 대한 Z축과 X축 좌표이다.
  12. 제7항에 있어서,
    상기 카메라는 상기 설정 위치에서 45도 각도로 기울어져 고정되는 비접촉성 간격 측정 방법.
KR1020170033896A 2016-10-14 2017-03-17 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법 Active KR101889497B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160133404 2016-10-14
KR20160133404 2016-10-14

Publications (2)

Publication Number Publication Date
KR20180041552A true KR20180041552A (ko) 2018-04-24
KR101889497B1 KR101889497B1 (ko) 2018-08-17

Family

ID=62085058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170033896A Active KR101889497B1 (ko) 2016-10-14 2017-03-17 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101889497B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239634A (zh) * 2022-06-26 2022-10-25 太原科技大学 一种基于线结构光的管棒材捆丝识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026999A (ko) * 2013-09-03 2015-03-11 쿨리케 앤드 소파 인더스트리즈, 인코포레이티드 구조광을 이용하여 반도체 장치 요소들의 물리적인 특성들을 측정하기 위한 시스템들 및 방법들
JP2015527096A (ja) * 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ 表面波の伝播速度の決定
JP2015224949A (ja) * 2014-05-27 2015-12-14 株式会社アイティーティー 対象物計測装置及び対象物計測方法
JP2016080545A (ja) * 2014-10-17 2016-05-16 株式会社リコー 測定装置、投影パターン

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527096A (ja) * 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ 表面波の伝播速度の決定
KR20150026999A (ko) * 2013-09-03 2015-03-11 쿨리케 앤드 소파 인더스트리즈, 인코포레이티드 구조광을 이용하여 반도체 장치 요소들의 물리적인 특성들을 측정하기 위한 시스템들 및 방법들
JP2015224949A (ja) * 2014-05-27 2015-12-14 株式会社アイティーティー 対象物計測装置及び対象物計測方法
JP2016080545A (ja) * 2014-10-17 2016-05-16 株式会社リコー 測定装置、投影パターン

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239634A (zh) * 2022-06-26 2022-10-25 太原科技大学 一种基于线结构光的管棒材捆丝识别方法

Also Published As

Publication number Publication date
KR101889497B1 (ko) 2018-08-17

Similar Documents

Publication Publication Date Title
CN110148180B (zh) 一种激光雷达与相机融合装置与标定方法
CN109612390B (zh) 基于机器视觉的大尺寸工件自动测量系统
Fuchs et al. Extrinsic and depth calibration of ToF-cameras
RU2529594C1 (ru) Устройство калибровки, система измерения расстояния, способ калибровки и программа калибровки
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
WO2012066769A1 (en) Information processing apparatus and information processing method
US8290245B2 (en) Measuring apparatus and method for range inspection
JP6138861B2 (ja) 距離算出装置
CN108513121B (zh) 用于场景的景深图评估的方法和设备
Tran et al. Non-contact gap and flush measurement using monocular structured multi-line light vision for vehicle assembly
KR102015706B1 (ko) 콘크리트 표면 균열 측정 장치 및 방법
US12309521B2 (en) Image registration apparatus, image generation system, image registration method, and image registration program product
CN109986172B (zh) 一种焊缝定位方法、设备及系统
CN112313541A (zh) 设备和方法
CN112740065B (zh) 成像装置、用于成像的方法和用于深度映射的方法
KR101238748B1 (ko) 주사구동 적외선센서장치를 이용한 표적거리 측정시스템
KR101090082B1 (ko) 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
US9341470B2 (en) Light section sensor
US10466039B2 (en) Surface shape measuring method and surface shape measuring device
KR101889497B1 (ko) 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법
CN114485433B (zh) 基于伪随机散斑的三维测量系统、方法及装置
WO2022239355A1 (ja) 位置測定システム
Xiao et al. A new three-dimensional laser scanner design and its performance analysis
US20020005956A1 (en) Method and device for measuring three-dimensional position
CN114264243B (zh) 一种检测压接焊点以及测量压接焊点之间线弧高度的方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170317

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180126

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180720

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180810

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180813

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210910

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220810

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240110

Start annual number: 6

End annual number: 6