KR102160340B1 - 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치 - Google Patents

이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR102160340B1
KR102160340B1 KR1020180128404A KR20180128404A KR102160340B1 KR 102160340 B1 KR102160340 B1 KR 102160340B1 KR 1020180128404 A KR1020180128404 A KR 1020180128404A KR 20180128404 A KR20180128404 A KR 20180128404A KR 102160340 B1 KR102160340 B1 KR 102160340B1
Authority
KR
South Korea
Prior art keywords
pattern
images
image
boundary
patterns
Prior art date
Application number
KR1020180128404A
Other languages
English (en)
Other versions
KR20200046789A (ko
Inventor
나소영
뷔광람
Original Assignee
(주)에스아이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에스아이에스 filed Critical (주)에스아이에스
Priority to KR1020180128404A priority Critical patent/KR102160340B1/ko
Publication of KR20200046789A publication Critical patent/KR20200046789A/ko
Application granted granted Critical
Publication of KR102160340B1 publication Critical patent/KR102160340B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Abstract

본 개시는 머신비전 시스템에 관한 것으로서, 보다 구체적으로는 머신비전 시스템을 이용한 3차원 데이터 생성 방법에 관한 것이다. 본 발명에 따른 머신 비전 시스템을 이용한 3차원 데이터 생성방법은, 관측시야에서 이동하는 물체를 검사하기 위하여 두 대의 디지털 카메라 및 하나의 광 프로젝터를 포함하는 머신 비전 시스템을 이용한 3차원 데이터 생성방법으로서, 복수의 디지털 패턴을 상기 관측시야로 순차적으로 투영하는 단계; 상기 디지털 카메라로 복수의 이미지를 캡쳐하는 단계로서, 상기 복수의 이미지 중 각 이미지는 순차적으로 투영된 패턴 중 어느 하나와 연관되는 것; 상기 복수의 이미지 중 각 이미지에 모션 파라미터를 보상하는 단계; 캡쳐된 이미지로부터 합성된 제1 및 제2 패턴 이미지를 생성하는 단계; 제7 및 제8 패턴으로부터 경계를 탐지하는 단계; 제1 내지 제7 패턴 이미지에 의해 경계를 디코딩하는 단계; 합성 패턴 및 캡쳐된 패턴의 코드를 매칭하는 단계; 및 상기 두 개의 디지털 카메라의 대응 쌍에 기초하여 3차원 데이터를 생성하는 단계;를 포함한다.

Description

이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING 3-DIMENSIONAL DATA OF MOVING OBJECT}
본 개시는 3차원 데이터를 생성하는 방법 및 장치에 관한 것으로서, 보다 구체적으로는, 이동하는 물체의 3차원 데이터 생성 방법에 관한 것이다.
이미징 시스템(Imaging system)은 제조 환경에서 움직이는 부품을 자동으로 검사하기 위해 사용된다. 이미징 시스템은, 자동화 생산, 품질 검사, 역설계(reverse engineering), 로봇 공학 및 유사한 시스템 분야에서 관측시야(field of view, FOV)에 있는 물체에 대한 3차원 정보를 결정하기 위하여 활용되고 있다. 이러한 시스템들은 스테레오 이미징 시스템의 일 부분으로서 구조광을 사용하여 관측시야에 빛을 투영하고, 관측시야 내 물체의 디지털 이미지를 캡쳐하며, 기하학적 방법론 및 디코딩 기술을 사용하여 물체의 형상과 깊이를 계산한다. 투영 패턴은 빠른 속도를 위해 적은 수의 패턴으로 설계되고, 디코딩 알고리즘은 에러와 노이즈의 제거 및 재구성된 3차원 포인트 클라우드의 정확성 향상을 위해 모션을 보정한다.
3차원 정보를 획득하는 스캐닝 방식으로는 백색광 스캐닝 및 라인 레이저 스캐닝 방식이 있다. 백색광 스캐닝(white light scanning)은 특정 패턴을 물체에 투영하고 그 패턴의 변형 형태를 파악함으로써 3차원 정보를 얻는 방식이고, 라인 레이저 스캐닝(line laser scanning)은 삼각법(triangulation method)를 사용하여 카메라의 관측시야에 있는 레이저 평면 상 점들(points)의 3차원 위치를 계산한다. 3차원 포인트 클라우드를 획득하기 위하여, 레이저 평면은 직선 스테이지(linear stage)를 사용하여 물체를 전면적으로 스캐닝해야 한다. 전자는 작은 피사체를 빠르게 스캔하는데 적합하고, 추가적인 하드웨어를 요구하지 않아 비용이 저렴하다는 장점이 있다. 반면, 후자는 큰 피사체를 정밀하게 스캔하는데 적합하고 정밀한 스캔을 위해서는 리니어 스테이지와 같은 추가적인 하드웨어가 요구된다.
등록특허공보 제10-1757240호 (등록일자: 2017.07.06)
스캐닝 속력 및 정확성이 모두 확보될 수 있는 3차원 데이터 생성 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자(이하 '통상의 기술자')에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징은 다음과 같다.
본 발명에 따른 3차원 데이터 생성방법은, 관측시야에서 이동하는 물체를 검사하기 위하여 두 대의 디지털 카메라 및 하나의 광 프로젝터를 포함하는 머신 비전 시스템을 이용한 3차원 데이터 생성방법으로서, 복수의 디지털 패턴을 상기 관측시야로 순차적으로 투영하는 단계와, 순차적으로 투영된 패턴 중 어느 하나와 연관되는 복수의 이미지를 디지탈 카메라로 캡쳐하여 패턴 이미지를 획득하는 단계와, 상기 복수의 이미지 중 각 이미지에 모션 파라미터를 보상하는 단계와, 관측시야의 컨베이어 상에 평행하게 그리고 스캐너의 방향에 대해서는 수직하게 평평한 면을 배치하고, 평평한 면을 스캔하여 캡쳐된 이미지로부터 합성된 제1패턴 이미지와, 제2패턴 이미지를 획득하는 단계와, 제7 및 제8 패턴으로부터 경계를 탐지하는 단계와, 상기 캡쳐된 패턴 이미지와, 캡쳐된 이미지로부터 합성된 상기 제1 및 제2 패턴 이미지에 의해 경계를 디코딩하는 단계 및 합성 패턴 및 캡쳐된 패턴의 코드를 매칭하는 단계; 를 포함하고, 상기 복수의 디지털 패턴은 제3 비트 내지 제9 비트 및 제9 비트의 역수로부터 획득되는 이진코드 패턴; 인 것을 특징으로 하는 3차원 데이터 생성 방법을 제공할 수 있다.
삭제
본 발명의 일 실시예에 있어서, 상기 복수의 이미지는 복수의 2차원 이미지이고, 상기 복수의 2차원 이미지 중 각 이미지는 순차적으로 투영된 패턴 중 어느 하나와 연관된다.
본 발명의 일 실시예에 있어서, 상기 복수의 이미지는 복수의 2차원 이미지이고, 상기 복수의 2차원 이미지 각각에 모션 파라미터를 보상하고, 각 픽셀은 기준 이미지에 대해 x- 또는 y-축으로 이동된다.
본 발명의 일 실시예에 있어서, 상기 기준 이미지는 캡쳐된 이미지 중 어느 하나로 설정가능하다.
본 발명의 일 실시예에 있어서, 합성된 제1 및 제2 패턴 이미지는 제3 비트의 이진코드의 줄무늬 신호에 기초하여 획득된다.
본 발명의 일 실시예에 있어서, 상기 경계는 제7 및 제8 패턴 이미지를 교차함으로써 탐지된다.
본 발명의 일 실시예에 있어서, 상기 제1 내지 7 패턴 이미지는 각각 제3 내지 제9 비트의 이진코드에 해당한다.
본 발명의 일 실시예에 있어서, 상기 디코딩하는 단계는 코드값 0을 갖는 경계를 디코딩하고 순차적으로 코드값 1을 갖는 경계의 디코딩 값을 입력한다.
스캐닝 속력 및 정확성이 모두 확보될 수 있는, 이동하는 물체의 3차원 데이터 생성 방법 및 장치가 제공된다.
본 발명의 효과는 전술한 것으로 제한되지 않으며, 언급되지 않은 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 인식될 수 있을 것이다.
도 1은 본 발명에 따른 머신 비전 시스템의 구성도를 도시하고,
도 2는 본 발명에 따른 머신 비전 시스템을 이용한 3차원 데이터 생성 방법의 개괄적인 순서도를 도시하고,
도 3은 본 발명에 따른 3차원 데이터 생성 방법의 데이터 획득 단계를 도시하고,
도 4는 본 발명에 따른 3차원 데이터 생성 방법을 위한 코드화된 패턴의 구조를 도시하고,
도 5는 본 발명에 따른 3차원 데이터 생성 방법을 위한 각 시간 프레임별 투영 패턴 이미지를 도시하고,
도 6은 본 발명에 따른 3차원 데이터 생성 방법의 패턴 디코딩 단계를 도시하고,
도 7은 본 발명의 일 실시예에 따른 모션 교정 절차를 도시하고,
도 8은 본 발명의 일 실시예에 따른 모션 보정 단계를 도시하고,
도 9는 본 발명의 일 실시예에 따른 합성 패턴 이미지를 생성하는 단계를 도시하고,
도 10은 제7 및 제8 패턴 이미지의 신호 쌍에 기초하여 경계가 탐지되는 것을 도시하고,
도 11은 본 발명에 따른 디코딩 과정을 도시하고,
도 12는 합성 패턴 및 캡쳐된 패턴의 디코딩 값을 도시하고,
도 13은 캡쳐된 패턴 레이어 및 합성 패턴 레이어의 경계 위치를 도시하고,
도 14는 디코딩 과정의 의사코드를 도시하고,
도 15는 두 대의 카메라에 의한 디코딩 맵으로부터의 3차원 재구성 과정을 도시하며,
도 16은 본 발명에 따른 3차원 데이터 생성방법에 따라 재구성된 3차원 데이터와 종래 방식에 의하 재구성된 3차원 데이터를 도시한다.
발명의 실시예에서 제시되는 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있다. 또한 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 되며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소들과 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않는 범위 내에서, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떠한 구성요소가 다른 구성요소에 "연결되어"있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 또는 "직접 접촉되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하기 위한 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 인접하는"과 "~에 직접 인접하는"등의 표현도 마찬가지로 해석되어야 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하에서는 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1에 도시된 바와 같이, 본 발명에 따른 머신 비전 시스템(1, machine vision system)은 둘 이상의 카메라(10) 및 제어가능한 광 프로젝터(20)를 포함한다. 둘 이상의 카메라(10) 및 광 프로젝터(20)는 카메라/프로젝터 제어기(30) 및 분석 제어기(40)에 신호에 의해 연결된다. 분석 제어기(40)는 PC일 수 있다. 트리거 생성부(50)는 카메라(10), 광 프로젝터(20) 및 카메라/광 프로젝터 제어기(30)를 신호에 의해 연결한다.
카메라(10)는 디지털 이미지를 촬영하는 장치일 수 있다. 바람직하게, 카메라(10)는 관측시야(FOV, field of view)의 2차원 이미지를 캡쳐할 수 있고, 트리거 생성부(50)에 의해 생성되는 트리거 신호에 응답하여 관측시야의 2차원 이미지를 캡쳐할 수 있다. 본 발명의 일 실시예에 따르면, 광 프로젝터(20)의 수명이 카메라(10)의 수명보다 훨씬 짧기 때문에 스테레오 카메라가 사용되고, 따라서, 프로젝터를 교체하더라도 복잡한 과정을 거쳐야 하는 스테레오 교정(stereo calibration)은 요구되지 않는다.
이미지란 관측시야(FOV)를 도시하고 시각적으로 인지가능한 표현물을 망라하는 개념이다. 이미지는 가시광 스펙트럼에서 관측시야에 반사광 일부 또는 전부를 포함할 수 있고, 이는 색상 반사, 흑백 반사, 회색조 반사 또는 다른 적절한 또는 요구되는 반사를 포함한다. 이미지는 캡쳐되어 비일시적 저장매체에 저장되고, 비일시적 저장매체는 비일시적 디지털 데이터 저장매체 또는 사진 필름일 수 있다.
일 례에서, 카메라(10)에 의해 캡쳐되는 이미지는 관측시야(FOV)를 도시하는 2차원 이미지로서, 8 비트 회색조 이미지 형태의 비트맵 이미지 파일일 수 있다. 다른 예에서, 상기 2차원 이미지는 2차원의 컬러 이미지일 수도 있고, 다른 형태를 취할 수도 있다. 카메라(10) 및 광 프로젝터(20)는 미리 설정된 해상도에서 관측시야(FOV)의 비트맵 이미지 파일을 생성한다.
본 발명의 일 실시예에 따르면, 둘 이상의 카메라(10)는 두 대의 카메라일 수 있다. 두 대의 카메라(10)는 동일 평면상에 놓여 설치되고, 두 대의 카메라(10) 중 각 카메라는 각도가 기울여져 관측시야(FOV)에 있는 물체(70)가 두 대의 카메라(10)의 중앙에 올 수 있도록 형성된다. 광 프로젝터(20)는 두 대의 카메라(10)와 동일한 평면상에 설치되고, 두 대의 카메라(10) 사이에 배치된다.
이와 같이 배치되는 두 대의 카메라(10) 및 광 프로젝터(20)는 관측시야(FOV)에 대해 임의의 위치 및 배향으로 배치될 수 있다. 관측시야(FOV)는 카메라(10) 및 광 프로젝터(20)로부터 미리 설정된 거리에 배치되는 임의의 속력으로 이동가능한 면상에 배향되는 물체(70)를 포함한다. 물체(70)는 구조적인 개체로서, 예를 들어, 공간상 치수, 재료 및 반사율을 나타내는 표면 마감 등의 특징을 가지는 구조적인 개체일 수 있다. 예를 들어, 물체(70)는 부품 또는 공장에 있는 임의의 객체의 부분일 수 있다.
예를 들어, 이동가능한 면은 컨베이어(C)일 수 있다. 즉, 물체(70)는 특정 속력(v)으로 선형 경로를 이동하는 컨베이어(C) 상에 배치될 수 있다. 이 경우, 카메라(10) 및 광 프로젝터(20)는 컨베이어(C)로부터 일정한 거리(H)에 이격되어 장착될 수 있다.
광 프로젝터(20)는 DLP(Digital Light Processing) 또는 LCD(Liquid Crystal Display) 프로젝터일 수 있다. 광 프로젝터(20)는 디지털 입력 신호에 응답하여 특정 투영 해상도로 광학 이미지를 생성하도록 구성된다. 일 례에 따르면, 광 프로젝터(20)는 912Х1,140 픽셀의 투영 해상도를 가질 수 있다.
트리거 생성부(50)에 의한 트리거 신호는 광 프로젝터(20)에 구비되는 프로젝터 트리거 출력 포트로부터 생성될 수 있다. 또는, 트리거 신호는 VGA 포트의 V-Sync 신호로부터 출력될 수 있다. 카메라(10)는 범용 IO(General Purpose IO, GPIO) 포트를 구비하고, 프로젝터 트리거 출력 포트에 연결되어 광 프로젝터(20)와 카메라(10)간의 타이밍을 동기화한다.
카메라/프로젝터 제어기(30)는 디지털 광 패턴을 생성하고, 생성된 광 패턴은 광 프로젝터(20)에 전달된다. 광 프로젝터(20)는 광 패턴을 관측시야(FOV)에 광학적으로 투영한다.
도 2에는 본 발명에 따른 머신 비전 시스템을 이용한 3차원 데이터 생성방법의 개괄적인 순서도가 도시되어 있다. 본 발명에 따른 3차원 데이터 생성방법은, 데이터 획득단계(S10), 패턴 디코딩단계(S30) 및 3차원 데이터 생성단계(S50)를 포함한다. 데이터 획득단계(S10)에서는 디지털 광 패턴이 투영된 관측시야(FOV)를 두 대의 카메라(10)로 촬영하여 패턴 이미지를 획득한다. 패턴 디코딩 단계(S30)에서는 데이터 획득단계(S10)에서 획득된 패턴 이미지를 디코딩하여 디코딩 데이터를 얻는다. 3차원 데이터 생성단계(S50)에서는 패턴 디코딩 단계(S30)에서 얻은 디코딩 데이터를 이용하여 3차원 이미지를 재구성한다.
도 3을 참조하면, 데이터 획득단계(S10)는 개시 단계(S110), 패턴 투영 단계(S210) 및 캡쳐 단계(S310)를 포함한다. 개시 단계(S110)는 특정 속력으로 이동하는 컨베이어(C) 상에 물체(70)가 관측시야(FOV) 내에 도착하는 등 개시 상황이 제공됨으로써 개시되고, 카메라/프로젝터 제어기(30)는 복수의 디지털 광 패턴(80)을 생성하여 광 프로젝터(20)에 전달한다. 다음, 패턴 투영 단계(S210)에서 광 프로젝터(20)는 복수의 디지털 광 패턴(80)을 관측시야(FOV)에 광학적으로 투영한다. 캡쳐 단계(S310)에서는, 트리거 생성부(50)에 의해 생성된 트리거 신호에 의해 카메라(10)는 관측시야(FOV)의 비트맵 이미지 파일을 캡쳐하고, 물체(70)를 포함하는 관측시야(FOV)에 광 패턴(80)이 투영된 상태를 캡쳐한다. 본 발명의 일 실시예에 있어서, 투영되는 광 패턴(80)은 8개의 패턴일 수 있고, 투영된 8개의 패턴이 순차적으로 캡쳐된다. 즉, 카메라/프로젝터 제어기(30)는 순차적으로 8개의 디지털 광 패턴(80)을 생성하고, 8개의 디지털 광 패턴(80) 중 모든 패턴이 관측시야(FOV)에 투영되고 이에 대응하는 비트맵 이미지 파일이 캡쳐될 때까지 상기 과정은 반복된다.
도 4에는 광 프로젝터(20)에 의해 관측시야(FOV)에 투영되는 광 패턴(80)이 도시되어 있다. 광 패턴(80)은 제3 비트 내지 제9 비트의 절삭된(truncated) 9 비트 이진코드로 코딩된다. 제3 비트 내지 제9 비트의 절삭된 9 비트 이진코드는, 각각, 제1 내지 제7 패턴으로 설정된다. 제1 및 제2 비트는 누락되고, 제8 패턴은 제7 패턴의 역수를 취함으로써 획득된다. 투영 단계(S210)에서는, 제1 내지 제8 패턴이 순차적으로 또는 연속적으로 투영된다.
도 5를 참조하면, 각 레이어 또는 각 이진 코드의 비트 신호는, 투영 이미지로 사용될 수 있게 프로젝터 이미지 사이즈에 맞도록 수직방향으로 확장된다. 예를 들어, 전술한 바와 같이 프로젝터 해상도가 912Х1,140 픽셀인 경우 상기 사이즈에 맞도록 확장된다. 관측시야(FOV)에 여덟개의 패턴(80)이 노출되고 캡쳐되는 데이터 획득단계(S10)의 수행에는 대략 56ms이 소요된다.
패턴 디코딩 단계(S30)는 데이터 획득단계(S10)에서 획득된 패턴 이미지를 디코딩하여 디코딩 데이터를 얻는 단계이다. 즉, 패턴 디코딩 단계(S30)는 캡쳐된 패턴 이미지의 코드값을 기초로 하여 각 광 프로파일(light profile) 위치 고유의 십진수 값을 획득하는 단계에 해당한다. 도 6에 도시된 바와 같이, 패턴 디코딩 단계(S30)는 모션 보정 단계(S130), 합성 패턴 이미지 생성단계(S230) 및 디코딩 단계(S330)을 포함한다.
캡쳐된 패턴 이미지는 상이한 프레임 사이의 패턴 위치 에러를 감소시키기 위하여 모션 보정 단계가 먼저 수행된다(S130).
도 7을 참조하면, 동 단계의 수행을 위하여 특정 속력(v)으로 이동하는 컨베이어(C) 상에 그리고 관측시야(FOV) 내에 교정 플레이트(CP)가 배치된다. 교정 플레이트(CP)는 모서리가 고유하게 식별되도록 하나 이상의 모서리를 형성하도록 배치되는 흑색 및 백색 정사각형을 구비하는 체커 보드이다. 광 프로젝터(20)는 백색 패턴을 투영하고 카메라(10)는 관측시야(FOV)의 이미지를 캡쳐한다. 광 프로젝터(20)는 백색 패턴을 투영하는데 이는 모서리 탐지를 위해 캡쳐된 이미지가 충분히 밝아야 하기 때문이다.
모션 보정 단계(S130)를 위하여 교정 플레이트(CP)는 연속적으로 둘 이상의 교정 플레이트 프레임이 캡쳐되어야 한다. 도 7에는 각 프레임이 제1 및 제2 프레임으로 표시되어 있다. 연속적으로 캡쳐된 둘 이상의 프레임으로부터 각 프레임의 교정 플레이트(CP) 모서리를 검출한다. 다음, 2차원 이미지의 x 및 y 방향에서 두 프레임 사이의 모서리 위치의 차이를 계산하여 모션 보정에 사용하게 된다. 즉, 픽셀 값으로 두 프레임 간 모서리 위치의 차이값을 계산하고, x 및 y 방향으로, 각각, 모션 파라미터인 dx 및 dy값이 산출된다. 이 차이값이 패턴 디코딩 단계(S30)에서 모션 보정을 위하여 사용되는 것이다.
즉, 캡쳐된 패턴 이미지는 모션 파라미터(dx, dy)를 통해 보상이 이루어짐으로써 상이한 프레임 사이의 패턴 위치 에러를 감소시킨다. 도 8을 참조하면, 모션 보정 단계(S130)는, 패턴 이미지 중 어느 하나의 패턴 이미지가 기준 이미지로 설정된다. 예를 들어, 제7 패턴이 기준 이미지로 설정될 수 있다. 다른 패턴 이미지는 모션 파라미터(dx, dy) 만큼 x- 및 y-축으로 이동되고, 각 패턴의 연관된 타임 프레임도 함께 이동된다.
다음, 도 9를 참조하면, 합성 패턴 이미지 생성 단계(S230)가 수행된다. 상기한 바와 같이, 코딩된 패턴은 제1 및 제2 비트의 이진코드가 누락되어 있으므로 코드 문자열의 완성을 위해 복구되어야 한다. 누락된 제1 및 제2 비트에 대해 합성 패턴 이미지를 생성하는 절차는 다음과 같다.
먼저, 동일한 시스템 설정 하에서 컨베이어(C)의 작동을 중지시키고, 관측시야(FOV)의 컨베이어(C) 상에 평행하게 그리고 스캐너의 방향에 대해서는 수직하게 평평한 면을 배치하고, 평평한 면을 스캔한다(S1230).
상기 과정에 의해 하나의 캡쳐 이미지가 획득되고, 상기 캡쳐 이미지는 이진코드의 제3 비트에 해당한다(S2230). 도 9에 도시된 바와 같이, 이미지의 중앙에 형성된 선을 따라 패턴에 형성되는 줄무늬의 에지를 탐지한다(S3230). 이 단계는 자동으로 또는 수동으로 행해질 수 있으며 특정 오차가 허용될 수 있고, 바람직하게, ±3 픽셀의 오차가 허용될 수 있다.
마지막으로 픽셀 카운팅은 좌측에서부터 우측으로 행해진다. 이진코드의 제2 비트는 두 개의 흑색 줄무늬(코드 0) 및 두 개의 백색 줄무늬(코드 0)을 포함한다. 이미지의 좌측에서부터 첫번째 경계까지의 픽셀에는 코드 0을 부여한다. 첫번째 경계부터 두번째 경계까지의 픽셀에는 코드 1을 부여한다. 두번째 경계부터 세번째 경계의 픽셀에는 코드 0을 부여한다. 세번째 경계부터 이미지의 우측 끝까지의 픽셀하는 코드 0을 부여한다. 이로 인하여 제2 비트에 대한 합성 패턴 이미지가 획득된다(도 9의 (A), S4230).
이진코드의 제1 비트는 하나의 흑색 줄무늬(코드 0) 및 하나의 백색 줄무늬(코드 1)를 포함한다. 이미지의 좌측부터 두번째 경계까지의 픽셀에는 코드 0을 부여하고, 두번째 경계부터 이미지의 우측 끝까지의 픽셀에는 코드 1을 부여한다. 이로 인해 제1 비트에 대한 합성 패턴 이미지가 획득된다(도 9의 (B), S4230).
모든 패턴 이미지가 획득된 바, 디코딩 단계(S330)가 수행된다.
광 프로파일 내지는 경계, 즉, 경계도를 획득하기 위하여, 제7 및 제8 패턴의 신호가 교차된다. 각 경계 위치에서, 디코딩 값은 캡쳐된 패턴 및 합성 패턴으로부터 수집되는 이진코드 문자열에 기초하여 계산된다. 디코딩 단계(S330)에서는 하기 단계 (a) 내지 (c)가 수행된다.
단계 (a): 제7 패턴 및 제8 패턴의 신호를 교차시킴으로써 경계맵을 획득한다. 이미지의 각 행을 따라 상-하(up-down) 신호 쌍에는 코드 값 0을 부여하고, 하-상(down-up) 신호 쌍에는 코드 값 1을 부여한다. 상-하 신호 쌍과 하-상 신호 쌍은 도 10에 도시되어 있다.
단계 (b): 캡쳐된 패턴 이미지를 디코딩한다. 도 11을 참조하면, 코드값 1을 갖는 각 경계 위치에 대해서는 상위 레이어를 추적하고, 십진수로 변환하기 위해서는 이진코드 규칙을 사용한다. 한편, 코드값 0을 갖는 각 경계에 대해서는, 해당 경계의 좌측 및 우측의 이웃하는 경계를 확인한다. 만일 디코딩된 십진수 값이 좌측부터 우측까지 2씩 증가한다면 해당 경계의 디코딩 값은 평균이 된다.
단계 (c): 두 개의 합성 패턴 이미지를 디코딩한다. 이들은 2 비트의 이진코드이고, 따라서, 4개의 십진수 값을 갖는다. 9 비트 코딩과의 매칭을 위하여 디코딩 값은 {0, 128, 256, 384}로 스케일된다. 합성 패턴 및 캡쳐된 패턴들의 디코딩 값은, 따라서, 도 12에 도시된 바와 같이, 시뮬레이션된다.
단계 (d): 각 행마다 캡쳐된 패턴의 디코딩 값을 합성된 패턴의 디코딩 값으로 도 13 및 14의 알고리듬에 따라 업데이트한다. 도 13을 참조하면, 캡쳐된 패턴의 디코드맵의 디코딩값 D와 연관된 각 경계 위치 B에 대하여, 시작영역위치(Si) 및 종료영역위치(Ei)를 갖는 포함영역(ith) 및 합성 패턴의 디코드맵의 디코딩값(Dsi)이 표시되어 있다. 예시적인 의사코드(pseudo code)는 도 14에 제시되어 있다.
다음, 도 15에 도시된 바와 같이, 3차원 데이터 생성단계(S50)가 수행된다. 3차원 데이터 생성단계(S50)에서는 두 대의 카메라(10)에서 디코딩 맵을 얻은 뒤, 에피폴라(epipolar)선을 따라서 양 카메라의 대응 쌍이 검색된다. 에피폴라선은 에피폴라 기하학과 연관되어 있는 것으로서, 위치 대응 관련 기하학에 해당한다. 3차원 데이터는 광학 삼각법(optical triangulation method)에 의해 계산된다. 두 대의 카메라에 대응 쌍을 모두 찾을 때까지 반복하여 관측시야의 완전한 3차원 데이터가 재구성된다.
도 16에는 본 발명에 따른 3차원 데이터 생성 방법에 따라 생성한 40mm/s의 속력으로 이동하는 신발의 미드솔(하측)과 종래 3차원 데이터 생성 방법에 따라 생성한 40mm/s의 속력으로 이동하는 신발의 미드솔(상측)을 비교하는 도면이 제공되어 있다. 도면에서 관찰할 수 있는 바와 같이, 본 발명에 따른 방법을 사용하여 재구성된 미드솔은 종래 방식과 비교했을 때 노이즈도 훨씬 적으며 미드솔을 상세하게 나타내는 것을 알 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다.
1: 머신비전 시스템 10: 카메라
20: 광 프로젝터 30: 카메라/프로젝터 제어기
40: 분석 제어기 50: 트리거 생성부
70: 물체 FOV: 관측시야
C: 컨베이어

Claims (9)

  1. 관측시야에서 이동하는 물체를 검사하기 위하여 두 대의 디지털 카메라 및 하나의 광 프로젝터를 포함하는 머신 비전 시스템을 이용한 3차원 데이터 생성방법으로서,
    복수의 디지털 패턴을 상기 관측시야로 순차적으로 투영하는 단계;
    순차적으로 투영된 패턴 중 어느 하나와 연관되는 복수의 이미지를 디지탈 카메라로 캡쳐하여 패턴 이미지를 획득하는 단계;
    상기 복수의 이미지 중 각 이미지에 모션 파라미터를 보상하는 단계;
    관측시야의 컨베이어 상에 평행하게 그리고 스캐너의 방향에 대해서는 수직하게 평평한 면을 배치하고, 평평한 면을 스캔하여 캡쳐된 이미지로부터 합성된 제1패턴 이미지와, 제2패턴 이미지를 획득하는 단계;
    제7 및 제8 패턴으로부터 경계를 탐지하는 단계;
    상기 캡쳐된 패턴 이미지와, 캡쳐된 이미지로부터 합성된 상기 제1 및 제2 패턴 이미지에 의해 경계를 디코딩하는 단계; 및
    합성 패턴 및 캡쳐된 패턴의 코드를 매칭하는 단계; 를 포함하고
    상기 복수의 디지털 패턴은 제3 비트 내지 제9 비트 및 제9 비트의 역수로부터 획득되는 이진코드 패턴; 인 것을 특징으로 하는 3차원 데이터 생성 방법.
  2. 삭제
  3. 청구항 1에 있어서, 상기 복수의 이미지는 복수의 2차원 이미지이고, 상기 복수의 2차원 이미지 중 각 이미지는 순차적으로 투영된 패턴 중 어느 하나와 연관되는 것인 3차원 데이터 생성 방법.
  4. 청구항 1에 있어서, 상기 복수의 이미지는 복수의 2차원 이미지이고, 상기 복수의 2차원 이미지 각각에 모션 파라미터를 보상하고, 각 픽셀은 기준 이미지에 대해 x- 또는 y-축으로 이동되는 것인 3차원 데이터 생성 방법.
  5. 청구항 4에 있어서, 상기 기준 이미지는 캡쳐된 이미지 중 어느 하나로 설정가능한 것인 3차원 데이터 생성 방법.
  6. 청구항 1에 있어서, 합성된 제1 및 제2 패턴 이미지는 제3 비트의 이진코드의 줄무늬 신호에 기초하여 획득되는 것인 3차원 데이터 생성 방법.
  7. 청구항 1에 있어서, 상기 경계는 제7 및 제8 패턴 이미지를 교차함으로써 탐지되는 것인 3차원 데이터 생성 방법.
  8. 청구항 1에 있어서, 상기 제1 내지 7 패턴 이미지는 각각 제3 내지 제9 비트의 이진코드에 해당하는 것인 3차원 데이터 생성 방법.
  9. 청구항 8에 있어서, 상기 디코딩하는 단계는 코드값 0을 갖는 경계를 디코딩하고 순차적으로 코드값 1을 갖는 경계의 디코딩 값을 입력하는 것인 3차원 데이터 생성 방법.

KR1020180128404A 2018-10-25 2018-10-25 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치 KR102160340B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180128404A KR102160340B1 (ko) 2018-10-25 2018-10-25 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180128404A KR102160340B1 (ko) 2018-10-25 2018-10-25 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200046789A KR20200046789A (ko) 2020-05-07
KR102160340B1 true KR102160340B1 (ko) 2020-09-25

Family

ID=70734182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128404A KR102160340B1 (ko) 2018-10-25 2018-10-25 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102160340B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230141103A (ko) 2022-03-31 2023-10-10 주식회사 비솔 Ai 학습을 위한 배경 데이터의 실사 기반 오브젝트 생성 시스템
KR20230146272A (ko) 2022-04-12 2023-10-19 주식회사 비솔 AI 학습을 위한 배경 데이터의 3d 그래픽 기반 캐릭터 생성 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102362615B1 (ko) * 2020-11-27 2022-02-15 (주)리눅스아이티 Ａｉ 기반의 비전 검사를 지원하는 ｐｌｃ 시스템 및 그 제어방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170102224A1 (en) * 2010-01-20 2017-04-13 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2d camera and method of obtaining 3d representations

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757240B1 (ko) 2015-09-02 2017-07-13 주식회사 미르기술 3차원 형상 측정 장치에서의 기준 패턴 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170102224A1 (en) * 2010-01-20 2017-04-13 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2d camera and method of obtaining 3d representations

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lam Quang Bu, "Boundary Inheritance Codec for high-accuracy structured light three-dimensional reconstruction with comparative performance evaluation", OSA Publishing, Applied Optics (2013.07.23.)*
한양대학교 컴퓨터비전 개론 강의자료 (2018.09.20.)*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230141103A (ko) 2022-03-31 2023-10-10 주식회사 비솔 Ai 학습을 위한 배경 데이터의 실사 기반 오브젝트 생성 시스템
KR20230146272A (ko) 2022-04-12 2023-10-19 주식회사 비솔 AI 학습을 위한 배경 데이터의 3d 그래픽 기반 캐릭터 생성 시스템

Also Published As

Publication number Publication date
KR20200046789A (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
US10319111B2 (en) Image projection device for 3D measurement and calibration method for calibration of camera and projector
KR102073205B1 (ko) 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너
US11592732B2 (en) Camera-assisted arbitrary surface characterization and correction
US8836766B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
US9122946B2 (en) Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image
US20180356213A1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
US7139424B2 (en) Stereoscopic image characteristics examination system
KR102160340B1 (ko) 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
US20140307085A1 (en) Distance measuring apparatus and method
CN111971525B (zh) 用立体镜测量物体的方法和系统
JP2015184056A (ja) 計測装置、方法及びプログラム
JP2013174547A (ja) ステレオ３次元計測装置
CN115876124A (zh) 基于偏振结构光相机的高反光表面三维重建方法及装置
CN113748313A (zh) 三维测量系统及三维测量方法
KR100332995B1 (ko) 비접촉식 3차원 스캐너 장치
JP2011075336A (ja) ３次元形状計測装置、３次元形状計測方法
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
Garcia et al. Geometric calibration for a multi-camera-projector system
Gu et al. 3dunderworld-sls: an open-source structured-light scanning system for rapid geometry acquisition
KR20080079969A (ko) 기하학 조건을 이용한 구조 광 기반의 거리 영상 측정 방법및 시스템
JP2020182127A (ja) キャリブレーション装置、キャリブレーションシステム、および表示装置のキャリブレーション方法
KR20190103833A (ko) 실시간 3차원 데이터 측정 방법
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
KR101165340B1 (ko) 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant