KR20150119770A - 카메라를 사용한 3차원 좌표 측정 장치 및 방법 - Google Patents

카메라를 사용한 3차원 좌표 측정 장치 및 방법 Download PDF

Info

Publication number
KR20150119770A
KR20150119770A KR1020140045623A KR20140045623A KR20150119770A KR 20150119770 A KR20150119770 A KR 20150119770A KR 1020140045623 A KR1020140045623 A KR 1020140045623A KR 20140045623 A KR20140045623 A KR 20140045623A KR 20150119770 A KR20150119770 A KR 20150119770A
Authority
KR
South Korea
Prior art keywords
dimensional
mirror
image
images
observation points
Prior art date
Application number
KR1020140045623A
Other languages
English (en)
Inventor
장원일
심재철
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140045623A priority Critical patent/KR20150119770A/ko
Publication of KR20150119770A publication Critical patent/KR20150119770A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 카메라를 사용한 3차원 좌표 측정장치로, 거울을 통해 반사된 관측 대상 사물의 영상들을 획득하는 영상 획득부와, 상기 사물의 영상들에서 관측점들의 대응관계를 찾아 상기 사물의 영상에서의 상기 관측점들의 위치를 측정하는 영상 해석부 및 상기 영상 해석부로부터 얻어진 상기 관측점들의 영상좌표를 토대로 상기 관측점들의 상기 영상좌표간의 상관관계 집합인 상대적 3차원 공간정보를 복원하는 3차원 모양 복원부를 포함한다.
또한, 두 관측점 사이의 직선거리, 한 관측점과 거울 평면과의 직선거리, 한 관측점과 카메라 중심의 직선거리, 한 관측점과 거울 반사를 통해 비친 카메라와의 거리중 어느 하나의 값을 측정하는 거리 측정부로부터 상기 3차원 모양 복원부에서 복원된 상기 3차원 공간정보와 상기 거리 측정부에서 전송된 거리 정보를 조합하여 크기 정보를 포함한 절대적 3차원 좌표를 복원하는 크기 보정부를 포함 할 수 있다.

Description

카메라를 사용한 3차원 좌표 측정 장치 및 방법{METHOD FOR MEASURING 3-DIMENSIONAL CORDINATES WITH A CAMERA AND APPARATUS THEREOF}
본 발명은 사물 또는 다수의 광원에 대한 3차원 공간정보를 측정하는 장치 및 방법에 관한 것이다.
현재 디지털 기술을 이용한 3차원 영상 정보 기술에 대한 요구가 산업 전반에서 이루어지고 있으며, 이는 시각 문화 산업 전반에도 영향을 끼치고 있는 상황이다. 최근 휴대폰, TV 등과 같은 전자기기 디스플레이 기술의 발달로 인해 3차원 영상 서비스에 대한 요구는 더욱 촉진되고 있다.
3차원 영상을 생성하기 위해, 촬영 대상의 3차원 좌표를 획득할 필요가 있다.
광학 기반의 3차원 좌표 측정 방법 중 여러 위치에서 두 대 이상의 카메라를 통해 다수의 영상을 획득하고, 이 영상들을 적절히 조합하여 3차원 정보를 복원하는 방법이 일반적으로 쓰이고 있다. 그러나, 이러한 방법은 두 대 이상의 카메라를 구비해야 하기 때문에 부피 및 비용이 증가 되는 문제점이 있다.
본 발명은 카메라를 사용한 3차원 좌표 측정에 있어, 인위적인 관측 정보의 추가를 최소로 하는 3차원 좌표 측정 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 카메라를 사용한 3차원 좌표 측정에 있어, 카메라 하나만을 이용한 3차원 좌표 측정 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 카메라를 사용한 3차원 좌표 측정에 있어, 오차 보정을 통해 최적의 3차원 모양을 복원하는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 카메라를 사용한 3차원 좌표 측정에 있어, 크기 정보가 추가로 제공될 경우 완전한 3차원 좌표 복원이 가능한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 실시예에 따른 3차원 좌표 측정장치는, 거울을 통해 반사된 관측 대상 사물의 영상들을 획득하는 영상 획득부와, 상기 영상들에서 관측점들 간의 대응 관계를 찾아 상기 영상들에서 상기 관측점들의 영상 좌표를 측정하는 영상 해석부 및 상기 관측점들의 영상 좌표를 토대로, 상기 관측점들의 영상 좌표들 간 상관 관계를 포함하는 상대적 3차원 공간 정보를 복원하는 3차원 모양 복원부를 포함 할 수 있다.
다른 실시예로서, 두 관측점 사이의 직선 거리; 한 관측점과 거울의 평면 사이의 직선 거리; 한 관측점과 카메라 중심 사이의 직선 거리; 한 관측점과 거울 반사를 통해 비친 카메라 사이의 거리 중 어느 하나의 값을 측정하는 거리 측정부; 및 상기 3차원 모양 복원부에서 복원된 상기 상대적 3차원 공간정보와 상기 거리 측정부에서 전송된 거리 정보를 조합하여 절대적 3차원 좌표를 복원하는 크기 보정부를 포함 할 수 있다.
이때, 상기 영상 획득부는 이동 가능한 거울을 포함하며, 상기 영상 획득부는 상기 거울을 통해 하나 이상의 영상을 획득하는 것을 포함 할 수 있다.
이때, 상기 3차원 모양 복원부는 상기 관측점들의 영상 좌표를 이용하여, 카메라로부터 획득 된 관측 대상의 영상에 해당하는 거울의 평면들과 상기 관측점들의 3차원 모양 정보를 추정하는 모양 추정부 및 단일 거울을 이동시켜 생성한 거울의 평면들, 상기 관측점들의 3차원 모양 정보 및 상기 거울의 평면에 반사된 상기 관측 대상의 영상을 활용하여 3차원 모양을 복원하는 오차 보정부를 포함 할 수 있다.
이때, 상기 오차 보정부는 비용 함수(cost function)
Figure pat00001
를 토대로
Figure pat00002
가 최소가 되도록 si와 cm를 최적화하여 오차를 보정 할 수 있다.
본 발명의 또 다른 실시예에 따르면, 거울을 통해 반사된 관측 대상 사물의 영상들을 획득하는 영상 획득단계와, 상기 영상들에서 관측점들 간의 대응 관계를 찾아 상기 영상들에서 상기 관측점들의 영상 좌표를 측정하는 영상 해석단계 및 상기 관측점들의 영상 좌표를 토대로, 상기 상기 관측점들의 영상 좌표들 간 상관 관계를 포함하는 상대적 3차원 공간 정보를 복원하는 3차원 모양 복원단계를 포함할 수 있다.
본 발명의 또 다른 실시예로서, 두 관측점 사이의 직선 거리; 한 관측점과 거울의 평면 사이의 직선 거리; 한 관측점과 카메라 중심 사이의 직선 거리; 한 관측점과 거울 반사를 통해 비친 카메라 사이의 거리 중 어느 하나의 값을 측정하는 거리 측정단계; 및 상기 상대적 3차원 모양 복원단계에서 복원된 상기 3차원 공간정보와 상기 거리 측정단계에서 전송된 거리 정보를 조합하여 크기 정보를 포함한 절대적 3차원 좌표를 복원하는 크기 보정단계를 더 포함 할 수 있다.
이때, 상기 영상 획득단계는 이동 가능한 거울을 포함하며, 상기 영상 획득단계는 상기 거울을 통해 하나 이상의 영상을 획득하는 것을 포함 할 수 있다.
이때, 상기 3차원 모양 복원단계는 상기 관측점들의 영상 좌표를 이용하여, 카메라로부터 획득 된 관측 대상의 영상에 해당하는 거울의 평면들과 상기 관측점들의 3차원 모양 정보를 추정하는 모양 추정단계 및 단일 거울을 이동시켜 생성한 거울의 평면들, 상기 관측점들의 3차원 모양 정보 및 상기 거울의 평면에 반사된 상기 관측 대상의 영상을 활용하여 3차원 모양을 복원하는 오차 보정단계를 포함 할 수 있다.
이때, 상기 오차 보정단계는 비용 함수(cost function)
Figure pat00003
를 토대로
Figure pat00004
가 최소가 되도록 si와 cm를 최적화하여 오차를 보정 할 수 있다.
본 발명에 의하면, 고정된 카메라로 거울을 통해 반사된 관측대상 사물의 영상을 촬영할 경우, 거울의 상에 형성된 좌우 반전된 가상의 카메라에서 상기 관측대상 사물을 촬영하는 것과 동일한 효과를 얻을 수 있다.
본 발명에 의하면, 고정된 카메라로 관측대상 사물의 다양한 위치 및/또는 방향의 영상을 획득 할 수 있다. 이와 같은 기술을 적용할 경우, 무거운 물체에 부착되거나 고정된 카메라가 있는 시스템에서도 별도의 하드웨어 추가 없이 주변의 3차원 정보 획득이 가능하다.
본 발명에 의하면, 거리정보를 제외한 3차원 좌표를 복원하여, 3차원 좌표간의 상관관계를 통한 사물의 형상에 대해 획득이 가능하다. 또한, 거리정보를 제외한 3차원 좌표를 확대 또는 축소할 수 있다. 이로써, 오차보정을 통해 정밀도가 높은 3차원 좌표의 획득이 가능하다.
본 발명에 의하면, 거리측정 데이터를 포함할 경우, 관측대상 사물의 형상뿐만이 아닌 실제 사물의 형상 및 크기에 대한 3차원 위치정보를 얻을 수 있다.
도 1은 3차원 좌표 측정 장치의 일 실시예를 개략적으로 설명하는 도면이다.
도 2는 3차원 좌표 측정 장치의 다른 실시예를 개략적으로 설명하는 도면이다.
도 3은 본 발명에 따른 3차원 좌표 측정 장치의 일 실시예를 개략적으로 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 카메라를 사용한 3차원 좌표 측정 장치를 나타내는 블록도이다.
도 5는 오차보정부(445)에서 사용되는 3차원 공간 상의 점들에 대한 개념도이다.
도 6은 본 발명에 따라서 카메라를 사용한 3차원 좌표 측정 방법의 일 실시예를 나타낸다.
도 7은 본 발명에 따라서 카메라를 사용한 3차원 좌표 측정 방법의 다른 실시예를 나타낸다.
도 8은 본 발명에 따라서 카메라를 사용한 3차원 좌표 측정 방법의 또 다른 실시예를 나타낸다.
도 9는 본 발명에 따라서 카메라를 사용한 3차원 좌표 측정 방법의 또 다른 실시예를 나타낸다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에 는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함 될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위 에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명의 일 실시예에 따른 3차원 좌표 측정 장치다.
도 1을 참조하면, 3차원 좌표 측정 장치는, 거울(100), 마커(110), 카메라(120), 관측 대상 사물(130)을 포함한다.
정확한 3차원 좌표 복원을 위해서는 거울(100)의 위치 정보가 필요하다. 이때 거울(100)에 반사된 관측 대상 사물(130)들의 영상만으로는 거울(100)에 대한 정보를 알 수 없기 때문에 거울(100) 표면에 마커(110)를 삽입하고, 영상에서의 마커(110)를 카메라(120)로 촬영한다. 이 때, 마커의 관측 결과를 활용하여 거울의 위치 및 방향 정보를 추정한다.
도 2는 다른 실시예에 따른 3차원 좌표 측정 장치다.
도 2를 참조하면, 3차원 좌표 측정 장치는, 거울(200), 카메라(210), 관측 대상 사물(220), 기준 패턴(230)을 포함한다.
정확한 3차원 좌표 복원을 위해서는 거울(200)의 위치 정보가 필요하다. 이때 거울(200)에 반사된 관측 대상 사물(220)들의 영상만으로는 거울(200)에 대한 정보를 알 수 없기 때문에, 관측 대상 사물(220)의 주변에 기준 패턴(230)을 삽입하고, 관측 대상 사물(220)과, 기준 패턴(230)을 카메라(210)로 촬영한다. 이 때, 기준 패턴의 관측 결과를 활용하여 거울의 위치 및 방향 정보를 추정한다.
거울의 평면에 마커(110) 또는 관측 대상 사물과 기준 패턴(230)을 같이 찍는 경우 3차원 좌표 측정에 있어 번거로움이 있을 수 있다.
도 3은 또 다른 실시예에 따른 3차원 좌표 측정 장치다.
도 3을 참조하면, 3차원 좌표 측정 장치는, 이동 가능한 거울(300), 카메라(310), 관측 대상 사물(330), 3차원 복원기(350)를 포함한다.
정확한 3차원 좌표 복원을 위해서는 이동 가능한 거울(300)의 위치 정보가 필요하다. 이때 이동 가능한 거울(300)에 반사된 관측 대상 사물(330)들의 영상만으로는 거울(300)에 대한 정보를 알 수 없기 때문에, 관측 대상 사물(330)을 카메라(310)로 촬영한다. 촬영된 관측 사물의 영상은 3차원 복원기(350)에 입력된다. 3차원 복원기(350)는 입력된 관측 사물의 영상(320)를 통해 3차원 좌표를 측정하고, 관측 대상 사물의 3차원 상대 좌표를 복원한다. 이때, 3차원 복원기(350)는 거리 측정 정보를 참조하여 3차원 절대 좌표를 복원할 수도 있다.
거리 정보는 두 관측점 사이의 직선거리, 한 관측점과 거울 평면과의 직선거리, 한 관측점과 카메라 중심의 직선거리, 한 관측점과 거울 반사를 통해 비친 카메라와의 거리 중 어느 하나의 거리 값이다. 또는 거리 값은 두 관측점 사이의 직선 거리, 한 관측점과 거울 평면과의 직선 거리, 한 관측점과 카메라 중심의 직선 거리, 한 관측점과 거울 반사를 통해 비친 카메라와의 거리 중 두 개 이상의 거리 값이다. 도 4는 본 발명의 일 실시예에 따른 카메라를 사용한 3차원 좌표 측정 장치를 개략적으로 나타내는 블록도이다.
도 4를 참조하면, 카메라를 사용한 3차원 좌표 측정 장치는 영상 획득부(410), 영상 해석부(420), 3차원 모양 복원부(435), 모양 추정부(440), 오차 보정부(445), 거리 측정부(400) 및 크기 보정부(455)를 포함한다.
카메라를 사용한 3차원 좌표 측정 장치에서 영상 획득부(410)는 거울을 통해 반사된 관측 대상 사물의 다수의 거울 영상을 획득한다. 다만, 이는 발명의 일 실시예에 불과하며, 영상 획득부(410)는 카메라를 통해 획득한 관측 사물의 영상뿐만이 아니라, 외부에서 입력된 데이터를 통해 관측 대상 사물의 다수의 거울 영상을 획득 할 수도 있다.
영상 해석부(420)는 영상 획득부(410)로부터 획득된 다수의 거울 영상에서 관측 대상 사물의 모서리, 특이 지점 등 다수의 관측점들을 추출하고, 관측 대상 사물의 영상 간 관측점 대응 관계를 찾는다. 영상 해석부(420)는 영상의 관측점들의 위치를 측정하여 이에 대한 영상 좌표를 전송한다.
3차원 모양 복원부(435)는 상기 영상 해석부(420)로부터 얻은 상기 관측점들의 영상 좌표를 토대로 상기 관측점들의 상기 영상 좌표 간의 상관 관계 집합인 상대적 3차원 공간 정보를 복원한다. 3차원 모양 복원부에서 복원된 상대적 3차원 공간 정보는 3차원 상대좌표(450)를 의미한다. 즉, 관측 대상 사물의 모양 정보를 획득할 수 있다.
영상 획득부(410)는 이동 가능한 거울을 통해 다수의 거울 영상, 즉 하나 이상의 영상을 획득한다. 이때, 한 개의 거울을 이동시키면서 순차적으로 촬영하는 것이 바람직하나, 다수의 거울을 서로 겹치지 않게 배열한 뒤 한번에 촬영할 수도 있다.
영상 해석부(420)는 3차원 복원 대상이 되는 관측 대상 사물의 관측점들에 대한 영상 좌표를 측정하고, 다수 영상에서의 관측점들 간 대응 관계를 찾는다. 이때, 영상 해석부(420)는 특징점 추출 기법 및 영상 국지 영역 서술 기법을 활용하여 다수 영상에서의 관측점들 간 대응 관계를 결정할 수 있다. 관측 대상 사물은 다수의 3차원 공간상의 점으로 구성되어 있다.
영상 해석부(420)에서는 원본 영상으로부터 모서리 등과 같은 특이점을 추출하여 다수의 영상 좌표를 획득한다. 이후, 영상 해석부(420)는 추출된 특이점에 대해 주변 영역의 특성을 나타내는 변별력 높은 영상 특징 벡터를 추출한 다음, 다수의 영상에서 유사한 특징 벡터를 갖는 특이점들을 찾는다.
영상 해석부(420)는 영상 해석의 결과에 의해 서로 대응되는 점들에 대한 각 영상에서의 2차원 좌표 값을 3차원 모양 복원부(435)로 전송된다.
3차원 모양 복원부(435)는 영상 획득부에서 산출한 영상 데이터를 토대로 거울 평면의 위치와 방향, 그리고 관측 대상 사물의 관측점들의 3차원 공간 정보를 복원한다. 3차원 공간 정보는 카메라의 좌표계를 기준으로 복원된다. 이 때, 카메라 중심이 원점이고, 카메라 정면 방향이 z축이 된다.
상기 3차원 공간 정보 만으로는 복원하는 관측 대상 사물에 대한 절대적 크기 정보를 알 수 없다. 이는 스테레오 비전 시스템에서 두 카메라 사이의 거리가 주어지지 않을 경우 관측된 영상의 절대적 거리를 알 수 없는 것과 유사한 원리다. 따라서 모양 복원부는 관측 대상 사물의 절대적인 3차원 좌표가 아닌, 각 관측점의 방향 및 관측점 사이의 상대적 거리, 즉 ‘모양 정보’를 얻는다.
3차원 모양 복원부(435)는 모양 추정부(440) 및 오차 보정부(445)를 포함한다. 모양 추정부(440)는 거울을 통해 측정된 사물의 영상에 대한 관측점들의 영상 좌표로부터 카메라를 기준으로 한 단일 거울의 이동으로 형성 된 평면들 및 관측점들의 3차원 모양 정보를 추정한다. 오차 보정부(445)는 거울의 평면에 반사된 사물의 영상을 활용하여 3차원 모양을 복원한다.
모양 추정부(440)는 영상 해석부(420)에서 산출한 영상 데이터 (관측점들의 영상 좌표들)로부터 각 영상에 해당하는 거울의 위치와 방향을 추정한다. 거울 평면에 의해 가상 카메라의 거울 평면을 3차원 공간상의 하나의 점으로 표현 가능하며, 거울 평면을 찾는 문제를 가상 카메라의 위치를 찾는 문제와 동일시 할 수 있다.
거울 영상 두 개 사이에, 다섯 개 이상의 대응되는 점이 있을 때, 두 가상 카메라 간의 상대적 위치 및 방향 관계, 즉 상대적 거리 정보를 복원 할 수 있다. 복원된 상대적 거리 정보를 종합하여 모든 거울 평면에 대한 가상 카메라들의 상대적 위치 및 방향 정보를 복원 할 수 있다.
가상 카메라들의 위치 및 방향 정보와 영상 해석부(420)의 다수의 거울 영상 데이터에 부합하는 관측 대상 사물의 위치를 최소 제곱법(min square error, MSE)으로 추정한다. 다수의 카메라 영상으로부터 관측 대상 및 카메라 자세 정보를 한꺼번에 복원하는 번들 조정 기법을 활용하면, 가상 카메라들과 관측 대상 사물 간의 정밀한 3차원 위치 관계 복원이 가능하다. 거울 반사로 생성되는 가장(pseudo) 관측점들 간의 직교조건을 활용하여 실제 카메라의 방향과 위치를 찾을 수 있으며, 이로써 전체 시스템을 가상 카메라가 아닌 실제 카메라를 기준으로 한 3차원 좌표로 변환 가능하다.
오차 보정부(445)는 관측 대상 사물, 거울 위치 및 방향 정보를 거울 반사 영상의 기하학적 특성에 부합하게 적응시켜 오차 보정을 한다.
카메라를 사용한 3차원 좌표 측정 장치에서 크기 정보를 포함한 3차원 좌표, 즉 3차원 절대 좌표를 복원하기 위해서는 거리 측정(400)부 및 크기 보정부(455)를 더 포함한다.
거리 측정부(400)는 두 관측점 사이의 직선거리, 한 관측점과 거울 평면과의 직선거리, 한 관측점과 카메라 중심의 직선거리, 한 관측점과 거울 반사를 통해 비친 카메라와의 거리 중 어느 하나의 거리 값을 측정한다. 또는 거리 측정부(400)는 두 관측점 사이의 직선 거리, 한 관측점과 거울 평면과의 직선 거리, 한 관측점과 카메라 중심의 직선 거리, 한 관측점과 거울 반사를 통해 비친 카메라와의 거리 중 두 개 이상의 거리 값을 측정한다.
크기 보정부(455)는 상기 거리 측정부(400)에서 측정한 거리 측정값 또는 미리 정해져 있는 거리값을 입력한다. 상기 3차원 모양 복원부(435)에서 복원된 관측점들의 영상 좌표의 집합인 상대적 3차원 공간 정보를 각 영상 좌표 간의 거리가 실측 거리와 같아지도록 한다. 영상 좌표 간의 거리가 실측 거리와 같아지도록 하기 위해서 모든 3차원 좌표값들을 같은 배율로 확대 또는 축소함으로써 실제 3차원 좌표를 복원한다.
도 5는 오차 보정부(445)에서 사용되는 3차원 공간 상의 점들에 대한 개념도이다.
관측 대상 사물로부터 L개의 3차원 공간 상의 점
Figure pat00005
을 M개의 거울 영상으로 관측한다고 할 때, m번째 거울(540)의 평면을 cm(520)이라는 3차원 벡터로 표현한다. 여기에서 cm(520)은 원점과 m 번째 거울(540)의 평면에 의한 가상 카메라의 위치의 중간 지점으로 정의된다. 객체의 i번째 관측 지점 si(510)와 m번째 거울(540)의 평면 cm(520)에 대한 거울 반사에 의한 가상 지점 tmi(500)는
Figure pat00006
로 정의된다.
m번째 거울(540)의 영상에서의 i번째 관측 지점의 3차원 투영 벡터를 umi(530)라고 정의 할 때 tmi(500)와 umi(530)는 서로 평행해야 한다. 이에 대한 비용 함수(cost function)는
Figure pat00007
로 정의된다.
모든 객체 관측점
Figure pat00008
과 모든 거울 평면
Figure pat00009
에 대한 통합 비용 함수는
Figure pat00010
로 정의된다. 이때, 통합 비용함수 F가 최소화 되도록 si(510)와 cm(520)들을 경사 하강법(gradient descent)으로 최적화 함으로써 오차를 보정한다.
도 6은 카메라를 사용한 3차원 좌표 측정 방법의 일 실시예를 개략적으로 설명하는 순서도이다.
3차원 좌표 측정 장치는 거울을 통해 반사된 관측 대상 사물의 영상들을 획득한다(S10). 3차원 좌표 측정 장치는 상기 사물의 영상들에서 관측점들의 대응 관계를 찾아 상기 사물의 영상에서의 상기 대응 관계로부터 관측점들의 위치를 측정하여 영상을 해석한다(S12). 3차원 좌표 측정 장치는 상기 관측점들의 영상 좌표를 상기 영상 해석 단계로부터 얻는다. 관측점들의 영상 좌표로부터 상기 관측점들의 상기 영상 좌표 간의 상관 관계 집합인 상대적 3차원 공간 정보를 복원한다(S14).
구체적으로, 단계 S10에서 3차원 좌표 측정 장치는 이동 가능한 거울을 통해 다수의 거울 영상, 즉 하나 이상의 영상을 획득한다. 이때, 한 개의 거울을 이동시키면서 순차적으로 촬영하는 것이 바람직하나, 다수의 거울을 서로 겹치지 않게 배열한 뒤 한번에 촬영할 수도 있다.
단계 S12에서 3차원 좌표 측정 장치는 3차원 복원 대상이 되는 관측 대상 사물의 관측점들에 대한 영상 좌표를 측정하고, 다수 영상에서의 관측점들 간의 대응 관계를 찾는다. 이때, 컴퓨터 비전 분야의 특징점 추출 기법 및 영상 국지 영역 서술 기법을 활용할 수 있다.
앞서 설명한 바와 같이, 관측 대상 사물은 다수의 3차원 공간상의 점으로 구성되어 있다. 단계 S12에서 3차원 좌표 측정 장치는 원본 영상으로부터 모서리 등과 같은 특이점들을 추출하여 특이점들에 대한 다수의 영상 좌표를 기록한다. 이후, 추출된 특이점에 대해 주변 영역의 특성을 나타내는 변별력 높은 영상 특징 벡터를 추출한 다음, 다수의 영상에서 유사한 특징벡터를 갖는 특이점들을 찾는다.
S12 단계에서 대응된 점들의 각 영상에서의 2차원 좌표 값을 기반으로 단계 S14가 수행된다.
예컨대, 단계 S14에서는 단계 S12에서 산출한 영상 데이터를 토대로 거울 평면의 위치와 방향, 그리고 관측점들의 3차원 공간 정보를 복원한다. 3차원 공간 정보는 카메라의 좌표계를 기준으로 복원된다. 이 때, 카메라 중심이 원점이고, 카메라 정면 방향이 z축으로 구성 된다.
상기 기재한 바와 같이3차원 공간 정보 만으로는 복원하는 관측 대상 사물에 대한 절대적 크기 정보를 알 수 없다. 따라서, 3차원 좌표 측정 장치는 단계 14의 수행 결과 관측 대상 사물의 3차원 상대좌표를 획득한다.
도 7은 카메라를 사용한 3차원 좌표 측정 방법의 일 실시예를 개략적으로 설명하는 순서도이다.
3차원 좌표 측정 장치는 는 거울을 통해 반사된 관측 대상 사물의 영상들을 획득한다(S20). 3차원 좌표 측정 장치는 는 상기 사물의 영상들에서 관측점들의 대응 관계를 찾아 상기 사물의 영상에서의 상기 관측점들의 위치를 측정하여 영상을 해석한다(S22). 3차원 좌표 측정 장치는 는 상기 해석된 영상을 기반으로 관측 대상 사물의 3차원 모양 정보를 추정한다(S24). 3차원 좌표 측정 장치는 는 추정된 3차원 모양 정보의 오차를 보정한다(S26).
상대적 3차원 공간정보를 복원하는 단계(S14)는 3차원 모양 정보를 측정하는 단계(S24)와, 모양 정보의 오차를 보정하는 단계(S26)를 포함한다.
앞서 설명한 바와 같이 3차원 모양 정보를 측정(S24)하는 단계는 영상데이터로부터 각 영상에 해당하는 거울의 위치 및 방향을 추정한다.
3차원 좌표 측정 장치는 3차원 모양 정보를 측정한 정보의 결과만으로는 오차에 취약하다. 따라서, 3차원 좌표 측정 장치는 S24에서 얻어진 정보를 기초로 모양 정보의 오차를 보정한다(S24). 오차를 보정하는 상세한 방법은 앞서 설명한 바와 같다. 다만, 상기 설명한 오차 보정 방법은 본 발명의 일 실시예에 불과하며, 다른 오차 보정 방법을 본 발명의 권리범위에서 제외 하는 것은 아니다.
도 8은 카메라를 사용한 3차원 좌표 측정 방법의 일 실시예를 나타낸다.
3차원 좌표 측정 장치는 거울을 통해 반사된 관측 대상 사물의 영상들을 획득한다(S30). 3차원 좌표 측정 장치는 상기 사물의 영상들에서 관측점들의 대응관계를 찾아 상기 사물의 영상에서의 상기 관측점들의 위치를 측정하여 영상을 해석한다(S31). 3차원 좌표 측정 장치는 상기 영상 해석단계로부터 얻어진 상기 관측점들의 영상좌표를 토대로 상기 관측점들의 상기 영상좌표간의 상관관계 집합인 상대적 3차원 공간정보를 복원한다(S31). 3차원 좌표 측정 장치는 거리 정보를 측정하며(S33), 3차원 좌표 측정 장치는 단계 S33에서 얻어진 거리정보를 토대로 크기정보를 포함한 3차원 좌표를 복원한다(S34).
거리 정보를 측정하는 단계(S33)는 3차원 좌표 측정 장치의 크기 정보를 포함한 3차원 좌표를 복원하기 위한 선행단계다. 거리 정보를 측정하는 방법은 앞서 설명한 바와 같다. 다만, 본 발명은 앞서 설명한 방법 이외의 방법을 권리범위에서 제외 하는 것은 아니다.
3차원 좌표 측정 장치는 S33에서 측정된 거리정보 또는 3차원 좌표 측정 장치에 저장된 거리정보를 이용하여 크기 정보를 포함한 3차원 좌표를 복원한다(S34). 구체적인 실시 방법은 앞서 설명한 바와 같다.
도 9는 카메라를 사용한 3차원 좌표 측정 방법의 일 실시예를 나타낸다.
3차원 좌표 측정 장치는 거울을 통해 반사된 관측 대상 사물의 영상들을 획득한다(S40). 3차원 좌표 측정 장치는 상기 사물의 영상들에서 관측점들의 대응관계를 찾아 상기 사물의 영상에서의 상기 관측점들의 위치를 측정하여 영상을 해석한다(S41). 3차원 좌표 측정 장치는 3차원 모양정보를 추정한다(S42). 3차원 좌표 측정 장치는 추정된 모양정보의 오차를 보정한다(S43). 3차원 좌표 측정 장치는 거리 정보를 측정하며(S44), 측정된 거리정보를 토대로 크기정보를 포함한 3차원 좌표를 복원한다(S45).

Claims (16)

  1. 거울을 통해 반사된 관측 대상의 영상들을 획득하는 영상 획득부;
    상기 영상들에서 관측점들 간의 대응 관계를 찾아 상기 영상들에서 상기 관측점들의 영상 좌표를 측정하는 영상 해석부; 및
    상기 관측점들의 영상 좌표를 토대로, 상기 관측점들의 영상 좌표들 간 상관 관계를 포함하는 상대적 3차원 공간 정보를 복원하는 3차원 모양 복원부
    를 포함하는 3차원 좌표 측정 장치.
  2. 제1항에 있어서,
    상기 영상 획득부는 이동 가능한 거울을 포함하며,
    상기 영상 획득부는 상기 거울을 통해 하나 이상의 영상을 획득하는 것을 특징으로 하는 3차원 좌표 측정 장치.
  3. 제1항에 있어서,
    상기 3차원 모양 복원부는,
    상기 관측점들의 영상 좌표를 이용하여, 카메라로부터 획득 된 관측 대상의 영상들에 해당하는 거울의 평면들과 상기 관측점들의 3차원 모양 정보를 추정하는 모양 추정부; 및
    단일 거울을 이동시켜 생성한 거울의 평면들, 상기 관측점들의 3차원 모양 정보 및 상기 거울의 평면들에 반사된 상기 관측 대상의 영상들을 활용하여 3차원 모양을 복원하는 오차 보정부
    를 더 포함하는 것을 특징으로 하는 3차원 좌표 측정 장치.
  4. 제3항에 있어서,
    상기 오차 보정부는 비용 함수(cost function)
    Figure pat00011
    를 토대로
    Figure pat00012
    가 최소가 되도록 si와 cm를 최적화하여 오차를 보정하는 것을 특징으로 하는 3차원 좌표 측정 장치.
  5. 제1항에 있어서,
    두 관측점 사이의 직선 거리; 한 관측점과 거울의 평면 사이의 직선 거리; 한 관측점과 카메라 중심 사이의 직선 거리; 한 관측점과 거울 반사를 통해 비친 카메라 사이의 거리 중 어느 하나의 값을 측정하는 거리 측정부; 및
    상기 3차원 모양 복원부에서 복원된 상기 상대적 3차원 공간정보와 상기 거리 측정부에서 전송된 거리 정보를 조합하여 절대적 3차원 좌표를 복원하는 크기 보정부
    를 더 포함하는 것을 특징으로 하는 3차원 좌표 측정 장치.
  6. 제5항에 있어서,
    상기 영상 획득부는 이동 가능한 거울을 포함하고,
    상기 영상 획득부는 상기 거울을 통해 하나 이상의 영상을 획득하는 것을 특징으로 하는 3차원 좌표 측정 장치.
  7. 제5항에 있어서,
    상기 3차원 모양 복원부는,
    상기 관측점들의 영상 좌표를 이용하여, 카메라로부터 획득 된 관측 대상의 영상들에 해당하는 거울의 평면들과 상기 관측점들의 3차원 모양 정보를 추정하는 모양 추정부; 및
    단일 거울을 이동시켜 생성한 거울의 평면들, 상기 관측점들의 3차원 모양 정보 및 상기 거울의 평면에 반사된 상기 관측 대상의 영상들을 활용하여 3차원 모양을 복원하는 오차 보정부
    를 더 포함하는 것을 특징으로 하는 3차원 좌표 측정 장치.
  8. 제7항에 있어서,
    상기 오차 보정부는 비용 함수(cost function)
    Figure pat00013
    를 토대로
    Figure pat00014
    가 최소가 되도록 si와 cm를 최적화하여 오차를 보정하는 것을 특징으로 하는 3차원 좌표 측정 장치.
  9. 거울을 통해 반사된 관측 대상 사물의 영상들을 획득하는 영상 획득단계;
    상기 영상들에서 관측점들 간의 대응 관계를 찾아 상기 영상들에서 상기 관측점들의 영상 좌표를 측정하는 영상 해석단계; 및
    상기 관측점들의 영상 좌표를 토대로, 상기 관측점들의 영상 좌표들 간 상관 관계를 포함하는 상대적 3차원 공간 정보를 복원하는 3차원 모양 복원단계
    를 포함하는 3차원 좌표 측정 방법.
  10. 제9항에 있어서,
    상기 영상 획득단계는 이동 가능한 거울을 포함하며, 상기 영상 획득단계는 상기 거울을 통해 하나 이상의 영상을 획득하는 것을 특징으로 하는 3차원 좌표 측정 방법.
  11. 제9항에 있어서,
    상기 3차원 모양 복원단계는,
    상기 관측점들의 영상 좌표를 이용하여, 카메라로부터 획득 된 관측 대상의 영상들에 해당하는 거울의 평면들과 상기 관측점들의 3차원 모양 정보를 추정하는 모양 추정단계; 및
    단일 거울을 이동시켜 생성한 거울의 평면들, 상기 관측점들의 3차원 모양 정보 및 상기 거울의 평면들에 반사된 상기 관측 대상의 영상을 활용하여 3차원 모양을 복원하는 오차 보정단계
    를 더 포함하는 것을 특징으로 하는 3차원 좌표 측정 방법.
  12. 제11항에 있어서,
    상기 오차 보정단계는 비용 함수(cost function)
    Figure pat00015
    를 토대로
    Figure pat00016
    가 최소가 되도록 si와 cm를 최적화하여 오차를 보정하는 것을 특징으로 하는 3차원 좌표 측정 방법.
  13. 제9항에 있어서,
    두 관측점 사이의 직선 거리; 한 관측점과 거울의 평면 사이의 직선 거리; 한 관측점과 카메라 중심 사이의 직선 거리; 한 관측점과 거울 반사를 통해 비친 카메라 사이의 거리 중 어느 하나의 값을 측정하는 거리 측정단계; 및
    상기 3차원 모양 복원단계에서 복원된 상기 상대적 3차원 공간정보와 상기 거리 측정단계에서 전송된 거리 정보를 조합하여 크기 정보를 포함한 절대적 3차원 좌표를 복원하는 크기 보정단계
    를 더 포함하는 것을 특징으로 하는 3차원 좌표 측정 방법.
  14. 제13항에 있어서,
    상기 영상 획득단계는 이동 가능한 거울을 포함하며,
    상기 영상 획득단계는 상기 거울을 통해 하나 이상의 영상을 획득하는 것을 특징으로 하는 3차원 좌표 측정 방법.
  15. 제13항에 있어서,
    상기 3차원 모양 복원단계는,
    상기 관측점들의 영상 좌표를 이용하여, 카메라로부터 획득 된 관측 대상의 영상에 해당하는 거울의 평면들과 상기 관측점들의 3차원 모양 정보를 추정하는 모양 추정단계; 및
    단일 거울을 이동시켜 생성한 거울의 평면들, 상기 관측점들의 3차원 모양 정보 및 상기 거울의 평면에 반사된 상기 관측 대상의 영상들을 활용하여 3차원 모양을 복원하는 오차 보정단계
    를 더 포함하는 것을 특징으로 하는 3차원 좌표 측정 방법.
  16. 제15항에 있어서,
    상기 오차 보정단계는 비용 함수(cost function)
    Figure pat00017
    를 토대로
    Figure pat00018
    가 최소가 되도록 si와 cm를 최적화하여 오차를 보정하는 것을 특징으로 하는 3차원 좌표 측정 방법.
KR1020140045623A 2014-04-16 2014-04-16 카메라를 사용한 3차원 좌표 측정 장치 및 방법 KR20150119770A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140045623A KR20150119770A (ko) 2014-04-16 2014-04-16 카메라를 사용한 3차원 좌표 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140045623A KR20150119770A (ko) 2014-04-16 2014-04-16 카메라를 사용한 3차원 좌표 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150119770A true KR20150119770A (ko) 2015-10-26

Family

ID=54428114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140045623A KR20150119770A (ko) 2014-04-16 2014-04-16 카메라를 사용한 3차원 좌표 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20150119770A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210002821A (ko) * 2019-07-01 2021-01-11 전남대학교산학협력단 구조광 패턴 반사기술을 이용한 대형 반사판 3차원 표면형상 측정 방법
EP3855111A1 (de) * 2020-01-24 2021-07-28 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Optische messvorrichtung
WO2022186428A1 (ko) * 2021-03-05 2022-09-09 한국표준과학연구원 측정정확도 향상을 위한 편향측정법의 보정방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210002821A (ko) * 2019-07-01 2021-01-11 전남대학교산학협력단 구조광 패턴 반사기술을 이용한 대형 반사판 3차원 표면형상 측정 방법
EP3855111A1 (de) * 2020-01-24 2021-07-28 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Optische messvorrichtung
WO2022186428A1 (ko) * 2021-03-05 2022-09-09 한국표준과학연구원 측정정확도 향상을 위한 편향측정법의 보정방법

Similar Documents

Publication Publication Date Title
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
US10462447B1 (en) Electronic system including image processing unit for reconstructing 3D surfaces and iterative triangulation method
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
CN101563709B (zh) 校准照相机系统
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US20120162220A1 (en) Three-dimensional model creation system
EP3447730A1 (en) Three-dimensional reconstruction method
WO2015068470A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
US20120162387A1 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
CN107038753B (zh) 立体视觉三维重建系统及方法
EP3998582A1 (en) Three-dimensional model generation method and three-dimensional model generation device
KR20100007506A (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
Detchev et al. Calibration of multi-camera photogrammetric systems
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
Brooks et al. Towards robust metric reconstruction via a dynamic uncalibrated stereo head
JP7170230B2 (ja) 三次元再構成方法及び三次元再構成装置
Yuan et al. A generalized registration method for augmented reality systems
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR101666932B1 (ko) 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치
WO2019058487A1 (ja) ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
JP2019032660A (ja) 撮像システム、撮像方法
CN109087338B (zh) 一种图像稀疏光流的提取方法和装置
JP5409451B2 (ja) ３次元変化検出装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination