KR102273836B1 - 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상 - Google Patents

두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상 Download PDF

Info

Publication number
KR102273836B1
KR102273836B1 KR1020190179257A KR20190179257A KR102273836B1 KR 102273836 B1 KR102273836 B1 KR 102273836B1 KR 1020190179257 A KR1020190179257 A KR 1020190179257A KR 20190179257 A KR20190179257 A KR 20190179257A KR 102273836 B1 KR102273836 B1 KR 102273836B1
Authority
KR
South Korea
Prior art keywords
cameras
camera
stereo vision
positions
information
Prior art date
Application number
KR1020190179257A
Other languages
English (en)
Inventor
조경래
황광일
Original Assignee
한국해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양대학교 산학협력단 filed Critical 한국해양대학교 산학협력단
Priority to KR1020190179257A priority Critical patent/KR102273836B1/ko
Application granted granted Critical
Publication of KR102273836B1 publication Critical patent/KR102273836B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

다양한 실시예들에 따른 전자 장치 및 그의 동작 방법은, 제 1 카메라와 제 2 카메라로 이루어지는 제 1 스테레오 비전 시스템 및 제 2 카메라와 제3 카메라로 이루어지는 제 2 스테레오 비전 시스템을 구성하고, 제 1 스테레오 비전 시스템 및 제 2 스테레오 비전 시스템을 이용하여, 객체에 대한 3차원 형상 정보를 획득하도록 구성될 수 있다. 다양한 실시예들에 따르면, 스테레오 비전 시스템들 중 어느 하나의 카메라에 대해, 스테레오 비전 시스템들 중 다른 하나의 카메라들을 이용하여 보정할 수 있다.

Description

두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상{ENHANCEMENTS OF MEASUREMENT ACCURACY OF 3-DIMENSIONAL SHAPES OF OBJECTS BASED ON TWO SETS OF STEREOSCOPIC VISION}
다양한 실시예들은 산업에 사용되는 부품의 형상을 3차원으로 계측하는 방법 및 장치에 관한 것으로, 레이저와 다수의 카메라를 이용하여 객체의 3차원 형상을 측정에 관한 것이다.
일반적으로 3차원 레이저 측정기술은 객체의 3차원 형상을 계측하고, 이로부터 제품의 품질을 판단하거나, 기존의 제품을 역설계하는 분야에 많이 적용되고 있다.
레이저-카메라 또는 카메라-카메라로 측정되는 3차원 계측 결과는 카메라 또는 레이저의 사각지대부분에서 계측이 불가 하거나 오차가 매우 크다.
3차원 계측 결과는 카메라 영상의 픽셀 해상도에 영향을 받는다. 따라서, 고정밀의 넓은 영역을 계측하기 위해서는 같은 해상도에 카메라의 개수를 증가시킬 필요가 있다.
다양한 실시예들은, 카메라의 사각지대를 줄이거나, 계측영역을 확장하기 위하여 카메라의 개수를 증가시키고, 각각의 카메라로부터 얻어지는 결과를 정합하기 위하여 일 카메라를 기준으로 하고, 다른 각각의 카메라를 보정하는 교정작업과 이를 바탕으로 데이터를 정합하여 향상된 3차원 계측 결과를 제공함에 있다.
다양한 실시예들에 따른 전자 장치의 동작 방법은, 전자 장치의 동작 방법은, 복수 개의 카메라들로 두 개의 스테레오 비전 시스템들을 구성하는 동작 - 상기 스테레오 비전 시스템들은 상기 카메라들 중 적어도 어느 두 개로 각각 이루어짐 -, 상기 스테레오 비전 시스템들 중 어느 하나의 카메라들 중 어느 하나에 대해, 상기 스테레오 비전 시스템들 중 다른 하나의 카메라들을 이용하여 보정하는 동작, 및 상기 스테레오 비전 시스템들을 이용하여, 객체에 대한 3차원 형상 정보를 획득하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치는, 복수 개의 카메라들, 및 상기 카메라들과 연결되며, 상기 카메라들을 이용하여, 객체에 대한 3차원 형상 정보를 획득하도록 구성되는 프로세서를 포함하고, 상기 프로세서는, 복수 개의 카메라들로 두 개의 스테레오 비전 시스템들을 구성하고 - 상기 스테레오 비전 시스템들은 상기 카메라들 중 적어도 어느 두 개로 각각 이루어짐 -, 상기 스테레오 비전 시스템들 중 어느 하나의 카메라들 중 어느 하나에 대해, 상기 스테레오 비전 시스템들 중 다른 하나의 카메라들을 이용하여 보정하고, 상기 스테레오 비전 시스템들을 이용하여, 객체에 대한 3차원 형상 정보를 획득하도록 구성될 수 있다.
다양한 실시예들에 따르면, 전자 장치가 적어도 세 개의 카메라들을 이용하여, 객체에 대한 3차원 영상을 획득할 수 있다. 이 때 전자 장치는 카메라들로부터 두 개의 스테레오 비전 시스템들을 구현하고, 스테레오 비전 시스템들을 통해 객체에 대한 3차원 영상을 획득할 수 있다. 이를 위해, 전자 장치는 카메라들 중 어느 하나에 대해, 카메라들 중 나머지를 이용하여, 보정할 수 있다. 이러한 방식으로, 전자 장치는 카메라들을 모두 교정할 수 있다. 이를 통해, 전자 장치에서 획득되는 3차원 영상의 정확도가 향상될 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2는 일 실시예에 따른 전자 장치를 도시하는 도면이다.
도 3은 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 전자 장치(100)를 도시하는 도면이다. 도 2는 일 실시예에 따른 전자 장치(100)를 도시하는 도면이다. 도 3은 일 실시예에 따른 전자 장치(100)를 설명하기 위한 도면이다.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 빔 조사부(110), 복수 개, 예컨대 적어도 세 개의 카메라(121, 123, 125)들 및 프로세서(130)를 포함할 수 있다. 일 실시예에 따르면, 빔 조사부(110)와 세 개의 카메라(121, 123, 125)들은, 도 2에 도시된 바와 같이 배치될 수 있다.
빔 조사부(110)는 객체(Object; O)에 대해, 빔을 조사할 수 있다. 이 때 객체(O)는 일정한 속도로 이동할 수 있다. 그리고, 빔 조사부(110)는 이동하는 객체(O)에 대해, 빔을 조사할 수 있다. 여기서, 빔 조사부(110)는 객체(O)에 대해, 선형 레이저 빔을 조사할 수 있다. 예를 들면, 객체(O)는, 도 2에 도시된 바와 같이 시트(200) 상에서 이동할 수 있으며, 빔 조사부(110)가 시트(200) 상에 선형 레이저 빔을 조사할 수 있다. 이를 통해, 객체(O)에서, 빔 조사부(110)로부터 조사되는 빔이 반사될 수 있다. 일 실시예에 따르면, 빔 조사부(110)로부터 조사되는 빔이 직접적으로 도달하지 않는 사각 지대를 위해, 적어도 하나의 거울이 이용될 수 있다. 예를 들면, 거울은 빔 조사부(110)로부터 조사되는 빔을 사각 지대로 반사시키고, 이를 통해, 객체(O)의 적어도 일부가 사각 지대에 존재하더라도, 객체(O)에서, 빔 조사부(110)로부터 조사되는 빔이 반사될 수 있다.
카메라(121, 123, 125)들은 객체(O)에 대한 영상들을 촬영할 수 있다. 이 때 카메라(121, 123, 125)들은 객체(O)에서 반사되는 빔을 기반으로, 객체(O)에 대한 영상들을 촬영할 수 있다. 일 실시예에 따르면, 카메라(121, 123, 125)들은 제 1 카메라(121), 제 2 카메라(123) 및 제 3 카메라(125)를 포함할 수 있다.
프로세서(130)는 카메라(121, 123, 125)들을 통해 획득되는 영상들을 기반으로, 객체(O)에 대한 3차원 형상 정보를 획득할 수 있다. 이 때 프로세서(130)는 카메라(121, 123, 125)들을 기반으로, 두 개의 스테레오 비전 시스템들을 구현하고, 두 개의 스테레오 비전 시스템들을 이용하여, 객체(O)에 대한 3차원 형상 정보를 획득할 수 있다. 일 실시예에 따르면, 프로세서(130)는 제 1 카메라(121)와 제 2 카메라(123)로 이루어지는 제 1 스테레오 비전 시스템 및 제 2 카메라(123)와 제 3 카메라(125)로 이루어지는 제 2 스테레오 비전 시스템을 구현할 수 있다.
이를 위해, 프로세서(130)는 카메라(121, 123, 125)들을 교정할 수 있다. 이 때 프로세서(130)는 카메라(121, 123, 125)들을 각각 일차적으로 교정하고, 일차적으로 교정된 카메라(121, 123, 125)들을 통합하여 이차적으로 교정할 수 있다. 여기서, 프로세서(130)는 카메라(121, 123, 125)들 중 어느 하나에 대해, 카메라(121, 123, 125)들 중 나머지를 이용하여 교정할 수 있다. 이러한 방식으로, 프로세서(130)는 카메라(121, 123, 125)들을 모두 교정할 수 있다. 이 때 각 카메라(121, 123, 125)가 순차적으로 선택되어, 교정될 수 있으며, 선택된 카메라(121, 123, 125)가 중심 카메라라는 용어로 지칭될 수 있다. 그리고, 프로세서(130)는 교정된 카메라(121, 123, 125)들을 통해 획득되는 영상들을 기반으로, 객체(O)에 대한 3차원 형상 정보를 획득할 수 있다.
예를 들면, 카메라(121, 123, 125)들을 교정하는 데 있어서, 도 3에 도시된 바와 같은 교정판(300)이 이용될 수 있다. 교정판(300)을 기반으로, 각 카메라(121, 123, 125)에 대한 카메라 정보가 획득될 수 있다. 교정판(300)은 10 cm × 10 cm 크기를 갖고, 흰색 바탕에 0.5 mm로 일정한 간격의 검정색 선들이 직교하는 격자 형태로 배열될 수 있다. 교정판(300)의 검정색 선들을 기반으로 x축 정보와 y축 정보가 획득되고, 교정판(300)을 수직으로 3 내지 7 번 이동시켜 z축 정보가 획득될 수 있다. 이를 통해, 프로세서(130)는 교정판(300)에 대한 영상으로 + 형태의 마스크 영상을 만들고, 상호 상관을 통해 제일 유사한 점을 구하여 영상 정보로 사용하고, 이에 따라 카메라 정보를 구할 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치(100)의 동작 방법을 도시하는 도면이다.
도 4를 참조하면, 전자 장치(100)는 410 동작에서 카메라(121, 123, 125)들을 각각 교정할 수 있다. 이 때 프로세서(130)는 각 카메라(121, 123, 125)에 대한 카메라 정보를 획득할 수 있다. 카메라 정보는 하기 [수학식 1]과 같은 핀홀 모델의 관측 방정식으로 정의될 수 있다.
Figure 112019136063126-pat00001
여기서, (x, y)는 각 카메라(121, 123, 125)에 대한 영상 좌표계를 나타내고, (X, Y, Z)은 객체 좌표계를 나타내고, cx 및 cy는 영상 좌표계와 객체 좌표계의 비율을 나타내고, dis는 각 카메라(121, 123, 125)의 카메라 중심과 객체 좌표계의 0 점 사이의 거리를 나타내고, mx 및 my는 중심축의 어긋난 양을 나타내고, 첨자 m은 회전을 나타내고, 즉 (Xm, Ym, Zm)은 (X, Y, Z)의 3차원 회전된 값을 나타내며, Δx, Δy는 2차항까지 고려한 영상의 굴절량을 나타낼 수 있다.
전자 장치(100)는 420 동작에서 카메라(121, 123, 125)들을 통합하여 교정할 수 있다. 프로세서(130)는 카메라(121, 123, 125)들 중 어느 하나에 대해, 카메라(121, 123, 125)들 중 나머지를 이용하여 교정할 수 있다. 이러한 방식으로, 프로세서(130)는 카메라(121, 123, 125)들을 모두 교정할 수 있다. 이 때 각 카메라(121, 123, 125)가 순차적으로 선택되어, 교정될 수 있으며, 선택된 카메라(121, 123, 125)가 중심 카메라라는 용어로 지칭될 수 있다.
예를 들면, 제 1 카메라(121)를 교정하기 위해, 프로세서(130)는 제 2 카메라(123)와 제 3 카메라(125)를 이용할 수 있다. 프로세서(130)는 제 2 카메라(123)와 제 3 카메라(125)의 결합으로 3차원 위치들을 결정할 수 있다. 그리고, 프로세서(130)는 제 1 카메라(121)의 카메라 정보를 이용하여, 3차원 위치들을 영상 좌표계의 제 1 좌표들로 변환할 수 있다. 아울러, 프로세서(130)는 제 2 카메라(123)의 카메라 정보를 이용하여, 3차원 위치들을 영상 좌표계의 제 2 좌표들로 변환할 수 있다. 한편, 프로세서(130)는 제 3 카메라(123)의 카메라 정보를 이용하여, 3차원 위치들을 영상 좌표계의 제 3 좌표들로 변환할 수 있다. 이 후, 프로세서(130)는 제 1 좌표들을 제 2 좌표들 또는 제 3 좌표들 중 적어도 어느 하나와 비교하여, 제 2 좌표들 또는 제 3 좌표들 중 적어도 어느 하나에 대한 각 제 1 좌표의 오차를 계산할 수 있다. 또한, 프로세서(130)는 오차가 설정된 임계값을 초과하거나, 최대 오차를 갖는 적어도 하나의 제 1 좌표를 검출하고, 검출된 제 1 좌표를 대응하는 제 2 좌표 또는 제 3 좌표 중 적어도 어느 하나로 20 % 만큼 보정할 수 있다. 이를 통해, 프로세서(130)는 제 1 카메라(121)의 카메라 정보를 갱신할 수 있다. 프로세서(130)는 제 2 카메라(123) 및 제 3 카메라(125)에 대해서도, 상기와 같은 절차를 수행하여, 제 2 카메라(123) 또는 제 3 카메라(125) 중 적어도 어느 하나의 카메라 정보를 갱신할 수 있다. 여기서, 프로세서(130)는 수렴될 때까지, 예컨대 오차가 설정된 임계값을 초과하지 않을 때까지, 상기와 같은 절차를 반복할 수 있다.
전자 장치(100)는 430 동작에서 카메라(121, 123, 125)들을 통해 영상들을 획득할 수 있다. 이 때 객체(O)는 일정한 속도로 이동할 수 있다. 그리고, 프로세서(130)는 빔 조사부(110)를 통해 이동하는 객체(O)에 대해, 빔을 조사할 수 있다. 여기서, 빔 조사부(110)는 객체(O)에 대해, 선형 레이저 빔을 조사할 수 있다. 예를 들면, 객체(O)는, 도 2에 도시된 바와 같이 시트(200) 상에서 이동할 수 있으며, 빔 조사부(110)가 시트(200) 상에 선형 레이저 빔을 조사할 수 있다. 이를 통해, 객체(O)에서, 빔 조사부(110)로부터 조사되는 빔이 반사될 수 있다. 일 실시예에 따르면, 빔 조사부(110)로부터 조사되는 빔이 직접적으로 도달하지 않는 사각 지대를 위해, 적어도 하나의 거울이 이용될 수 있다. 예를 들면, 거울은 빔 조사부(110)로부터 조사되는 빔을 사각 지대로 반사시키고, 이를 통해, 객체(O)의 적어도 일부가 사각 지대에 존재하더라도, 객체(O)에서, 빔 조사부(110)로부터 조사되는 빔이 반사될 수 있다. 프로세서(130)는 카메라(121, 123, 125)들을 통해, 객체(O)에 대한 영상들을 촬영할 수 있다. 이 때 카메라(121, 123, 125)들은 객체(O)에서 반사되는 빔을 기반으로, 객체(O)에 대한 영상들을 촬영할 수 있다.
전자 장치(100)는 440 동작에서 영상들 내에서 객체(O)와 관련된 3차원 위치들을 결정할 수 있다. 프로세서(130)는 영상들 내에서 빔들의 위치를 결정하고, 빔들의 위치를 기반으로, 3차원 위치들을 결정할 수 있다. 이를 위해, 프로세서(130)는 필터, 예컨대 중간값 필터 또는 저주파 필터 중 적어도 어느 하나를 이용하여, 영상들로부터 잡음을 제거할 수 있다. 그리고, 프로세서(130)는 선형 패턴 매칭을 통해, 영상 위에서 정확한 선형 레이저 빔들의 위치들을 결정하고, 하기 [수학식 2]와 같은 레이저 매핑 함수를 통해, 선형 레이저 빔들의 위치(x, y)들로부터 3차원 위치(X, Y, Z)들을 결정할 수 있다.
Figure 112019136063126-pat00002
전자 장치(100)는 450 동작에서 객체(O)의 3차원 형상을 계측할 수 있다. 프로세서(130)는 3차원 위치들을 이용하여, 객체(O)의 3차원 형상을 계측할 수 있다. 이 때 프로세서(130)는 3차원 위치들로부터 주위의 위치 값들을 이용하여, 오차를 제거할 수 있다. 전자 장치(100)는 460 동작에서 객체(O)의 3차원 형상을 복원할 수 있다. 프로세서(130)는 3차원 형상에 대한 객체 정보를 획득할 수 있다. 이 때 프로세서(130)는 평면의 방정식을 이용하여, 배경을 제거하고, 객체 정보를 획득할 수 있다.
다양한 실시예들에 따른 전자 장치(100)의 동작 방법은, 복수 개의 카메라(121, 123, 125)들로 두 개의 스테레오 비전 시스템들을 구성하는 동작 - 스테레오 비전 시스템들은 카메라(121, 123, 125)들 중 적어도 어느 두 개로 각각 이루어짐 -, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나에 대해, 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들을 이용하여 보정하는 동작, 및 스테레오 비전 시스템들을 이용하여, 객체(O)에 대한 3차원 형상 정보를 획득하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 카메라(121, 123, 125)들은 제 1 카메라(121, 123, 125), 제 2 카메라(121, 123, 125) 및 제 3 카메라(121, 123, 125)를 포함할 수 있다.
다양한 실시예들에 따르면, 스테레오 비전 시스템들은, 제 1 카메라(121, 123, 125)와 제 2 카메라(121, 123, 125)로 이루어지는 제 1 스테레오 비전 시스템, 및 제 2 카메라(121, 123, 125)와 제 3 카메라(121, 123, 125)로 이루어지는 제 2 스테레오 비전 시스템을 포함할 수 있다.
다양한 실시예들에 따르면, 보정하는 동작은, 카메라(121, 123, 125)들에 대해, 각각의 카메라(121, 123, 125) 정보를 획득하는 동작, 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들을 이용하여 3차원 위치들을 결정하는 동작, 3차원 위치들을 기반으로, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나와 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들 사이의 오차를 계산하는 동작, 및 오차를 기반으로, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나의 카메라(121, 123, 125) 정보를 갱신하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 보정하는 동작은, 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들 중 적어도 어느 하나의 카메라(121, 123, 125) 정보를 이용하여, 3차원 위치들을 영상 좌표계의 좌표들로 변환하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 카메라(121, 123, 125) 정보를 갱신하는 동작은, 좌표들을 기반으로, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나의 카메라(121, 123, 125) 정보를 갱신하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 3차원 형상 정보를 획득하는 동작은, 카메라(121, 123, 125)들을 통해, 객체(O)에 대한 영상들을 획득하는 동작, 및 영상들을 기반으로, 3차원 형상 정보를 획득하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 영상들을 획득하는 동작은, 객체(O)에 빔을 조사하는 동작, 및 객체(O)로부터 반사되는 빔을 기반으로, 영상들을 획득하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 3차원 형상 정보를 획득하는 동작은, 영상들 내에서 반사되는 빔의 위치들을 결정하는 동작, 상기 [수학식 2]와 같이 빔의 위치들로부터 3차원 위치들을 결정하는 동작, 및 3차원 위치들로부터 3차원 형상 정보를 계측하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치(100)는, 복수 개의 카메라(121, 123, 125)들, 및 카메라(121, 123, 125)들과 연결되며, 카메라(121, 123, 125)들을 이용하여, 객체(O)에 대한 3차원 형상 정보를 획득하도록 구성되는 프로세서(130)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(130)는, 복수 개의 카메라(121, 123, 125)들로 두 개의 스테레오 비전 시스템들을 구성하고 - 스테레오 비전 시스템들은 카메라(121, 123, 125)들 중 적어도 어느 두 개로 각각 이루어짐 -, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나에 대해, 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들을 이용하여 보정하고, 스테레오 비전 시스템들을 이용하여, 객체(O)에 대한 3차원 형상 정보를 획득하도록 구성될 수 있다.
다양한 실시예들에 따르면, 카메라(121, 123, 125)들은 제 1 카메라(121, 123, 125), 제 2 카메라(121, 123, 125) 및 제 3 카메라(121, 123, 125)를 포함할 수 있다.
다양한 실시예들에 따르면, 스테레오 비전 시스템들은, 제 1 카메라(121, 123, 125)와 제 2 카메라(121, 123, 125)로 이루어지는 제 1 스테레오 비전 시스템, 및 제 2 카메라(121, 123, 125)와 제 3 카메라(121, 123, 125)로 이루어지는 제 2 스테레오 비전 시스템을 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(130)는, 카메라(121, 123, 125)들에 대해, 각각의 카메라(121, 123, 125) 정보를 획득하고, 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들을 이용하여 3차원 위치들을 결정하고, 3차원 위치들을 기반으로, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나와 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들 사이의 오차를 계산하고, 오차를 기반으로, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나의 카메라(121, 123, 125) 정보를 갱신하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(130)는, 스테레오 비전 시스템들 중 다른 하나의 카메라(121, 123, 125)들 중 적어도 어느 하나의 카메라(121, 123, 125) 정보를 이용하여, 3차원 위치들을 영상 좌표계의 좌표들로 변환하도록 구성되고, 좌표들을 기반으로, 스테레오 비전 시스템들 중 어느 하나의 카메라(121, 123, 125)들 중 어느 하나의 카메라(121, 123, 125) 정보를 갱신하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(130)는, 카메라(121, 123, 125)들을 통해, 객체(O)에 대한 영상들을 획득하고, 영상들을 기반으로, 3차원 형상 정보를 획득하도록 구성될 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)는, 빔을 조사하도록 구성되는 빔 조사부(110)를 더 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(130)는, 빔 조사부(110)를 통해, 객체(O)에 빔을 조사하고, 객체(O)로부터 반사되는 빔을 기반으로, 영상들을 획득하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(130)는, 영상들 내에서 반사되는 빔의 위치들을 결정하고, 상기 [수학식 2]와 같이 빔의 위치들로부터 3차원 위치들을 결정하고, 3차원 위치들로부터 3차원 형상 정보를 계측하도록 구성될 수 있다.
다양한 실시예들에 따르면, 객체(O)는 이동 중일 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)가 적어도 세 개의 카메라(121, 123, 125)들을 이용하여, 객체(O)에 대한 3차원 영상을 획득할 수 있다. 이 때 전자 장치(100)는 카메라(121, 123, 125)들로부터 두 개의 스테레오 비전 시스템들을 구현하고, 스테레오 비전 시스템들을 통해 객체(O)에 대한 3차원 영상을 획득할 수 있다. 이를 위해, 전자 장치(100)는 카메라(121, 123, 125)들 중 어느 하나에 대해, 카메라들 중 나머지를 이용하여, 보정할 수 있다. 이러한 방식으로, 전자 장치(100)는 카메라(121, 123, 125)들을 모두 교정할 수 있다. 이를 통해, 전자 장치(100)에서 획득되는 3차원 영상의 정확도가 향상될 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 복수의 카메라들을 포함하는 전자 장치의 동작 방법에 있어서,
    상기 카메라들의 각각에 대해 보정하는 동작 - 상기 카메라들 중 어느 하나에 해당하는 중심 카메라에 대해, 상기 카메라들 중 나머지를 이용하여 보정함 -;
    상기 카메라들로 두 개의 스테레오 비전 시스템들을 구성하는 동작 - 상기 스테레오 비전 시스템들은 상기 카메라들 중 적어도 어느 두 개로 각각 이루어지고, 상기 카메라들 중 적어도 어느 하나가 상기 스테레오 비전 시스템들 둘 다에 속함 -; 및
    상기 스테레오 비전 시스템들을 이용하여, 다항식 매핑 함수를 통해, 객체에 대한 3차원 형상 정보를 획득하는 동작을 포함하고,
    상기 카메라들은 제 1 카메라, 제 2 카메라 및 제 3 카메라를 포함하고,
    상기 스테레오 비전 시스템들은,
    상기 제 1 카메라와 상기 제 2 카메라로 이루어지는 상기 제 1 스테레오 비전 시스템, 및
    상기 제 2 카메라와 상기 제 3 카메라로 이루어지는 상기 제 2 스테레오 비전 시스템을 포함하는 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 보정하는 동작은,
    상기 카메라들에 대해, 각각의 카메라 정보를 획득하는 동작;
    상기 카메라들 중 나머지를 이용하여 3차원 위치들을 결정하는 동작;
    상기 3차원 위치들을 기반으로, 상기 중심 카메라와 상기 카메라들 중 나머지 사이의 오차를 계산하는 동작; 및
    상기 오차를 기반으로, 상기 중심 카메라의 카메라 정보를 갱신하는 동작을 포함하는 방법.
  4. 제 3 항에 있어서, 상기 보정하는 동작은,
    상기 카메라들 중 나머지의 카메라 정보를 이용하여, 상기 3차원 위치들을 영상 좌표계의 좌표들로 변환하는 동작을 더 포함하고,
    상기 카메라 정보를 갱신하는 동작은,
    상기 좌표들을 기반으로, 상기 중심 카메라의 카메라 정보를 갱신하는 동작을 포함하는 방법.
  5. 제 1 항에 있어서, 상기 3차원 형상 정보를 획득하는 동작은,
    상기 카메라들을 통해, 상기 객체에 대한 영상들을 획득하는 동작; 및
    상기 영상들을 기반으로, 상기 3차원 형상 정보를 획득하는 동작을 포함하는 방법.
  6. 제 5 항에 있어서, 상기 영상들을 획득하는 동작은,
    상기 객체에 빔을 조사하는 동작; 및
    상기 객체로부터 반사되는 빔을 기반으로, 상기 영상들을 획득하는 동작을 포함하는 방법.
  7. 제 6 항에 있어서, 상기 3차원 형상 정보를 획득하는 동작은,
    상기 영상들 내에서 상기 반사되는 빔의 위치들을 결정하는 동작;
    하기 수학식과 같은 상기 다항식 매핑 함수를 통해, 상기 빔의 위치들로부터 3차원 위치들을 결정하는 동작; 및
    상기 3차원 위치들로부터 상기 3차원 형상 정보를 계측하는 동작을 포함하는 방법.
    Figure 112021019038525-pat00003

    여기서, (X, Y, Z)는 상기 3차원 위치들을 나타내고, (x, y)는 상기 빔의 위치들을 나타냄.
  8. 전자 장치에 있어서,
    복수 개의 카메라들; 및
    상기 카메라들과 연결되며, 상기 카메라들을 이용하여, 객체에 대한 3차원 형상 정보를 획득하도록 구성되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 카메라들의 각각에 대해 보정하고 - 상기 카메라들 중 어느 하나에 해당하는 중심 카메라에 대해, 상기 카메라들 중 나머지를 이용하여 보정함 -,
    상기 카메라들로 두 개의 스테레오 비전 시스템들을 구성하고 - 상기 스테레오 비전 시스템들은 상기 카메라들 중 적어도 어느 두 개로 각각 이루어지고, 상기 카메라들 중 적어도 하나가 상기 스테레오 비전 시스템들 둘 다에 속함 -,
    상기 스테레오 비전 시스템들을 이용하여, 다항식 매핑 함수를 통해, 객체에 대한 3차원 형상 정보를 획득하도록 구성되고,
    상기 카메라들은 제 1 카메라, 제 2 카메라 및 제 3 카메라를 포함하고,
    상기 스테레오 비전 시스템들은,
    상기 제 1 카메라와 상기 제 2 카메라로 이루어지는 상기 제 1 스테레오 비전 시스템, 및
    상기 제 2 카메라와 상기 제 3 카메라로 이루어지는 상기 제 2 스테레오 비전 시스템을 포함하는 장치.
  9. 삭제
  10. 제 8 항에 있어서, 상기 프로세서는,
    상기 카메라들에 대해, 각각의 카메라 정보를 획득하고,
    상기 카메라들 중 나머지를 이용하여 3차원 위치들을 결정하고,
    상기 3차원 위치들을 기반으로, 상기 중심 카메라와 상기 카메라들 중 나머지 사이의 오차를 계산하고,
    상기 오차를 기반으로, 상기 중심 카메라의 카메라 정보를 갱신하도록 구성되는 장치.
  11. 제 10 항에 있어서, 상기 프로세서는,
    상기 카메라들 중 나머지의 카메라 정보를 이용하여, 상기 3차원 위치들을 영상 좌표계의 좌표들로 변환하도록 구성되고,
    상기 좌표들을 기반으로, 상기 중심 카메라의 카메라 정보를 갱신하도록 구성되는 장치.
  12. 제 8 항에 있어서, 상기 프로세서는,
    상기 카메라들을 통해, 상기 객체에 대한 영상들을 획득하고,
    상기 영상들을 기반으로, 상기 3차원 형상 정보를 획득하도록 구성되는 장치.
  13. 제 12 항에 있어서,
    빔을 조사하도록 구성되는 빔 조사부를 더 포함하고,
    상기 프로세서는,
    상기 빔 조사부를 통해, 상기 객체에 빔을 조사하고,
    상기 객체로부터 반사되는 빔을 기반으로, 상기 영상들을 획득하도록 구성되는 장치.
  14. 제 13 항에 있어서, 상기 프로세서는,
    상기 영상들 내에서 상기 반사되는 빔의 위치들을 결정하고,
    하기 수학식과 같은 상기 다항식 매핑 함수를 통해, 상기 빔의 위치들로부터 3차원 위치들을 결정하고,
    상기 3차원 위치들로부터 상기 3차원 형상 정보를 계측하도록 구성되는 장치.
    Figure 112021019038525-pat00004

    여기서, (X, Y, Z)는 상기 3차원 위치들을 나타내고, (x, y)는 상기 빔의 위치들을 나타냄.
  15. 제 13 항에 있어서,
    상기 객체는 이동 중인 장치.
KR1020190179257A 2019-12-31 2019-12-31 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상 KR102273836B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179257A KR102273836B1 (ko) 2019-12-31 2019-12-31 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179257A KR102273836B1 (ko) 2019-12-31 2019-12-31 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상

Publications (1)

Publication Number Publication Date
KR102273836B1 true KR102273836B1 (ko) 2021-07-05

Family

ID=76899419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179257A KR102273836B1 (ko) 2019-12-31 2019-12-31 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상

Country Status (1)

Country Link
KR (1) KR102273836B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214735A (ja) * 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
KR20070009899A (ko) * 2005-07-14 2007-01-19 학교법인연세대학교 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR20080001095A (ko) * 2006-06-29 2008-01-03 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법
JP2009103559A (ja) * 2007-10-23 2009-05-14 National Institute Of Advanced Industrial & Technology ステレオカメラの校正方法および校正システム
KR20090072523A (ko) * 2007-12-28 2009-07-02 재단법인대구경북과학기술원 거리 추정 장치 및 추정 방법
KR20110078655A (ko) * 2009-12-31 2011-07-07 성균관대학교산학협력단 다중 카메라를 이용한 촬영 방법 및 시스템
KR101376780B1 (ko) * 2012-09-12 2014-03-20 경북대학교 산학협력단 거리 측정의 정밀도 제어 장치 및 방법
US20160156899A1 (en) * 2014-12-01 2016-06-02 Canon Kabushiki Kaisha Three-dimensional measurement apparatus and control method for the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214735A (ja) * 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
KR20070009899A (ko) * 2005-07-14 2007-01-19 학교법인연세대학교 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR20080001095A (ko) * 2006-06-29 2008-01-03 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법
JP2009103559A (ja) * 2007-10-23 2009-05-14 National Institute Of Advanced Industrial & Technology ステレオカメラの校正方法および校正システム
KR20090072523A (ko) * 2007-12-28 2009-07-02 재단법인대구경북과학기술원 거리 추정 장치 및 추정 방법
KR20110078655A (ko) * 2009-12-31 2011-07-07 성균관대학교산학협력단 다중 카메라를 이용한 촬영 방법 및 시스템
KR101376780B1 (ko) * 2012-09-12 2014-03-20 경북대학교 산학협력단 거리 측정의 정밀도 제어 장치 및 방법
US20160156899A1 (en) * 2014-12-01 2016-06-02 Canon Kabushiki Kaisha Three-dimensional measurement apparatus and control method for the same

Similar Documents

Publication Publication Date Title
US10764487B2 (en) Distance image acquisition apparatus and application thereof
JP5244786B2 (ja) 差分較正
JP5029618B2 (ja) パターン投影法による３次元形状計測装置、方法およびプログラム
CN110084854B (zh) 用于相机校准误差的运行时测定的系统和方法
JP6041513B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20150279016A1 (en) Image processing method and apparatus for calibrating depth of depth sensor
CN110868582B (zh) 具有校正功能的图像获取系统
CN105699982B (zh) 双激光标定的高精度摄像头芯片多点测距装置及方法
US10242438B2 (en) Information processing apparatus, control method of information processing apparatus, and storage medium for image recognition of the assembly of an object
CN113538589A (zh) 利用远心线扫描相机对对象进行高效3d重建的系统和方法
CN110415286B (zh) 一种多飞行时间深度相机系统的外参标定方法
CN109697736B (zh) 测量系统的标定方法、装置、电子设备及可读存储介质
JP2002202122A (ja) ２次元距離画像センサのキャリブレーション方法
Cain et al. Laser based rangefinder for underwater applications
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
WO2022068818A1 (en) Apparatus and method for calibrating three-dimensional scanner and refining point cloud data
KR102273836B1 (ko) 두 개의 스테레오 비전 방식에 의한 물체의 3 차원 형상 측정 정도 향상
Cardillo et al. 3-D position sensing using a passive monocular vision system
Kregar et al. High precision target center determination from a point cloud
US20200088508A1 (en) Three-dimensional information generating device and method capable of self-calibration
JP2007183181A (ja) ３次元形状測定装置
JP2012177596A (ja) 校正用治具および光切断式形状計測装置の校正方法
JPH09280818A (ja) 物体表面計測方法及び装置
JP2014190800A (ja) ３次元計測方法および３次元計測装置
JP6560159B2 (ja) 位置計測装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant