KR20230092801A

KR20230092801A - 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치

Info

Publication number: KR20230092801A
Application number: KR1020220176452A
Authority: KR
Inventors: 이민영; 차무현; 박찬석; 이한민; 이근호
Original assignee: 한국기계연구원
Priority date: 2021-12-17
Filing date: 2022-12-16
Publication date: 2023-06-26

Abstract

본 발명은 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치에 관한 것이다. 본 발명의 목적은 단일 카메라를 이용하되 카메라의 렌즈가 미리 알고 있는 값으로 회전 또는 이동하면서 광학식 시차를 생성하도록 하고, 이러한 광학식 시차가 적용된 이미지를 이용하여 대상물체의 거리정보를 산출함으로써 3차원 형상을 측정하는, 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치를 제공함에 있다. 본 발명의 다른 목적은, 상술한 바와 같이 단일 카메라라 하더라도 렌즈를 움직임으로써 광학식 시차를 생성하여 이미지를 획득함에 따라, 단일 카메라가 단일 대상물체로 직진이동하는 경우나 또는 정지상태인 경우라 하더라도 정확하게 거리정보를 산출할 수 있도록 하는, 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치를 제공함에 있다.

Description

광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치 {3D shape measuring method and apparatus for single camera stereo vision using optical parallax generator}

본 발명은 기존 스테레오 비전과는 달리 하나의 카메라만을 활용하여 렌즈의 위치를 시간에 대해 변화시켜 대상물체의 거리정보 또는 3차원 형상을 취득할 수 있게 하는, 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치에 관한 것이다.

스테레오 비전이란 하나의 오브젝트에 대하여 두 개의 카메라로 찍은 이미지를 가지고 거리(깊이)정보를 도출하는 것을 말한다. 이는 인간 등 대부분의 동물이 일정 거리 이격되어 배치된 두 개의 안구를 통해 약간의 각도 차이가 있는 2개의 시각정보를 얻고 이를 통해 원근감을 찾는 원리를 이용한 것이다. 일반적인 스테레오 카메라의 경우, 실제 동물이 일정 거리 이격되어 배치된 두 개의 안구를 가지고 있는 것을 그대로 모사하여, 두 개 이상의 카메라에서 획득한 영상에서 짝(Pair)형상을 찾아 두 개 카메라의 설치위치정보를 활용하여 거리정보를 측정한다. 도 1은 스테레오 기하 방정식 및 원리를 간략하게 도시한 것으로, 도시된 바와 같이 3차원 공간에서 어느 한 지점의 깊이는 그 지점에 대한 좌우 카메라 간의 이격거리에 반비례한다. 이러한 기존 스테레오 비전은 좌우 카메라 간의 이격거리가 미리 알고 있는 상수값으로 고정되어 있으므로 거리정보 산출 시 상대적으로 계산부하가 적다.

기존 스테레오 비전의 경우, 좌우 카메라 간의 이격거리가 클수록 더욱 먼 물체에 대한 깊이 해상도를 높일 수 있다. 그런데 좌우 카메라 간의 이격거리가 크면 아무리 단단한 기구부를 설계한다 하여도 뒤틀림이 존재하게 되며, 이는 거리정보의 해상도 및 정확도를 저하시키는 문제가 있다. 이에 따라 현재 상용화된 스테레오 비전 카메라의 경우 카메라 간 이격거리가 가깝게 설계되고 있으며, 이로 인해 먼 거리에 대한 거리정보의 해상도가 낮아지는 문제가 꾸준히 지적되고 있다.

한편 단일 카메라로도 이러한 스테레오 비전을 구현할 수 있다. 즉 간단히 생각하면 단일 카메라를 가지고 위치를 이동시켜서 각도를 달리한 이미지들을 얻고, 이러한 이미지들로부터 거리정보를 산출하는 것이다. 이 때 카메라의 이동경로나 이동거리를 정확하게 미리 알고 있다면 기본적인 스테레오 비전 방식을 그대로 사용하여 거리정보를 산출할 수 있을 것이나, 실질적으로 카메라의 이동경로를 항상 다 알 수 있는 것은 아니다. 이러한 스테레오 비전이 사용되는 분야 중 하나가 로봇청소기 등과 같이 시각센서를 이용하여 획득한 이미지들을 이용하여 스스로 동선을 만들어서 움직이는 로봇이다. 이러한 로봇의 움직임에는 스스로의 움직임 뿐 아니라 환경에 따라 미끄러지거나 살짝 낙하하는 등과 같은 예상치 못한 움직임도 포함되며, 이러한 예상치 못한 움직임은 예측하거나 측정할 수 없는 것으로 이동거리, 회전각도 등을 정확하게 파악할 수 없게 하는 원인이 된다. 즉 궁극적으로는 획득된 이미지만을 가지고 대상물체의 거리정보 및 카메라의 이동정보를 모두 산출할 수 있어야 한다.

이러한 과제를 해결하고자, 종래에 단일 카메라로 획득된 수십 장 이상의 이미지를 분석 및 최적화하여 거리정보 등을 구하는 기술이 사용되어 왔다. 이러한 기술의 대표적인 알고리즘으로 SLAM(Simultaneous Localization and Mapping), SFM(Structure From Motion) 등이 있다. SLAM은 일반적으로 자율주행 차량 등에 사용되어 주행과 동시에 위치를 추정하고 주변 환경에 대한 지도를 작성하는 기술이다. 보다 상세히 설명하자면, SLAM에서는 지도(map)가 주어져 있지 않고 지도상에서의 로봇 자신의 위치도 알 수 없을 때 로봇이 주변 환경을 센서로 감지해 가면서 지도를 만들고 그 지도 안에서 자신의 위치까지 추정한다. 일본특허등록 제6977093호("이동 로봇의 제어 방법", 2020.03.27.)에는 블록 기반의 특징점 추출 및 매칭을 이용하여 저조도 환경에서도 우수한 SLAM을 구현하는 이동 로봇의 제어 기술이 개시된다. SFM도 이와 유사한 알고리즘의 하나로, 2차원으로 촬영한 이미지의 모션정보를 이용해 촬용된 이미지의 카메라 위치와 방향을 역추적한 후, 이미지들과 카메라들의 관계를 구조화하는 알고리즘이다. 일본특허공개 제2022-510237호("카메라 자기 교정 네트워크", 2022.01.26.)에는, SFM 기술에서 실제의 미교정 화상을 기반으로, 카메라 자기 교정 네트워크를 이용하여 복수의 예측 카메라 파라미터를 추정하고 이를 이용하여 교정 화상을 결정하는 기술이 개시된다.

그런데 이와 같은 종래의 알고리즘의 경우, 단일 개의 카메라가 단일 개의 대상물체를 향해 직진으로 가고 있을 경우에는 아무리 많은 이미지를 취득해도 거리를 산출하는 것이 불가능하다. 도 2는 이러한 경우를 개략적으로 도시한 것으로, 도시된 바와 같이 단일 카메라가 단일 대상물체를 향해 ① 위치에서 ② 위치로 직진이동 시, 카메라에서 취득되는 대상물체의 형상 이미지는 ① 위치 시야(View at ①) 및 ② 위치 시야(View at ②)에서 확인되는 바와 같이 위치변동 없이 크기만 커지게 나타난다. 다수 개의 이미지들로부터 크기변화 및 각도변화를 모두 감지할 수 있을 경우 거리정보의 산출이 가능하지만, 이처럼 단지 크기변화만 있는 경우 대상물체 및 카메라 간의 거리변화로 이미지 상의 크기변화가 생기는 것인지, 대상물체 자체가 실제로 커지는 것인지를 구분할 수 없으며 따라서 올바른 거리정보의 산출이 불가능해진다. 즉 단일 카메라가 단일 대상물체를 향해 직진이동하는 경우, 획득되는 이미지 개수가 아무리 많아도 거리정보 산출이 불가능하게 되는 것이다.

종래에도 이처럼 이미지만으로는 거리정보 산출이 어려운 문제를 해소하기 위하여 다양한 연구가 이루어져 왔다. 한국특허등록 제2347239호("라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템", 2021.12.30.)에서는, 카메라와 라이다 센서를 통해 지도 작성을 위한 이미지와 라이다 스캔 데이터를 얻고, 이들을 함께 이용하여 이미지에서 추출된 특징점의 깊이정보를 획득함으로써, 이미지 특징점의 깊이정보의 정확도를 향상시킨다. 그러나 이와 같은 방식의 경우 별도의 장치를 더 필요로 한다는 문제, 거리정보 산출을 위한 별도의 계산 알고리즘이 필요하다는 문제, 그에 따라 계산부하가 증가한다는 문제 등 여러 문제가 있다.

뿐만 아니라 상술한 SLAM, SFM 등과 같은 기술의 경우 다음과 같은 문제점도 있다. 이러한 기술들은 모두 기본적으로 자율주행차량, 로봇청소기 등과 같이 자체적으로 이동 구동이 가능한 장치에 적용되는 것을 전제하고 있다. 따라서 이러한 장치가 정지해 있는 상태인 경우에는 거리정보를 측정하는 것이 당연히 불가능하다. 그런데 최근 사용자 안면인식 등과 같이 상대적으로 가까운 거리에 있는 대상물체의 3차원 형상을 측정해야 하는 작업이 요구되는 경우가 다양하게 발생하고 있는데, 이러한 경우 대개 스마트폰 등과 같은 휴대용 기기를 사용하게 된다. 이러한 휴대용 기기들은 자율주행차량, 로봇청소기 등과는 달리 자체적인 이동 구동도 불가능하고, 사람이 들고 움직인다 해도 이동범위 등이 상당히 한정적이다. 따라서 상술한 종래기술들을 이러한 휴대용 기기에 적용하여 상대적으로 작은 대상물체의 3차원 형상을 얻어내는 것은 그다지 용이하지 않고, 충분히 좋은 성능을 기대하기 어렵다.

따라서 보다 컴팩트한 장치만으로 정지상태에서도 충분히 만족스러운 정확도로 거리정보를 산출할 수 있게 해 주는 단일 카메라 스테레오 비전 기술에 대한 필요성이 꾸준히 제기되고 있는 실정이다.

일본특허등록 제6977093호("이동 로봇의 제어 방법", 2020.03.27.) 일본특허공개 제2022-510237호("카메라 자기 교정 네트워크", 2022.01.26.) 한국특허등록 제2347239호("라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템", 2021.12.30.)

따라서, 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 단일 카메라를 이용하되 카메라의 렌즈가 미리 알고 있는 값으로 회전 또는 이동하면서 광학식 시차를 생성하도록 하고, 이러한 광학식 시차가 적용된 이미지를 이용하여 대상물체의 거리정보를 산출함으로써 3차원 형상을 측정하는, 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치를 제공함에 있다. 본 발명의 다른 목적은, 상술한 바와 같이 단일 카메라라 하더라도 렌즈를 움직임으로써 광학식 시차를 생성하여 이미지를 획득함에 따라, 단일 카메라가 단일 대상물체로 직진이동하는 경우나 또는 정지상태인 경우라 하더라도 정확하게 거리정보를 산출할 수 있도록 하는, 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치를 제공함에 있다.

상기한 바와 같은 목적을 달성하기 위한 렌즈(10) 및 이미지센서(20)를 포함하는 단일 카메라를 사용하여 대상물체(50)의 3차원 형상을 측정하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법에 있어서, 상기 렌즈(10)를 통해 상기 이미지센서(20)로 상기 대상물체(50)의 이미지가 획득되는 단일이미지획득단계; 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대위치가 미리 알려진 궤적을 따라 이동되는 렌즈상대이동단계; 상기 이미지획득단계 및 상기 렌즈상대이동단계가 반복 수행됨에 따라 서로 광학적 시차를 가지는 복수 개의 이미지가 획득되는 시차이미지획득단계; 각각의 상기 렌즈(10)의 위치 및 해당 위치에서 획득된 상기 대상물체(50)의 이미지를 이용하여 상기 대상물체(50)의 거리정보가 산출되는 거리정보산출단계; 를 포함할 수 있다.

이 때 상기 렌즈상대이동단계는, 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 상기 대상물체(50)의 거리방향에 수직한 평면상의 원운동이 되도록 형성될 수 있다.

또한 상기 거리정보산출단계는, 하기의 식을 이용하여 상기 대상물체(50)의 거리정보를 산출할 수 있다.

(여기에서, Z : 대상물체의 거리정보, f : 렌즈의 초점거리, M : 렌즈 원운동궤적의 반경, m : 이미지센서 상에서의 대상물체의 투영이미지 원운동궤적의 반경)

또한 상기 거리정보산출단계는, 상기 이미지센서(20) 상에서의 상기 대상물체(50)의 투영이미지 원운동궤적의 반경(m) 값을 구할 때, 상기 시차이미지획득단계에서 획득된 서로 광학적 시차를 가지는 복수 개의 이미지를 이용하여 산출된 원운동궤적에서, 서로 방향을 달리하는 복수 개의 반경(m) 값을 획득하는 복수반경획득단계, 획득된 상기 복수 개의 반경(m) 값을 취합하여 최종적으로 반경(m) 값을 결정하는 최종반경결정단계를 포함할 수 있다.

이 때 상기 최종반경결정단계는, 획득된 상기 복수 개의 반경(m) 값의 평균값으로 반경(m) 값을 결정하거나, 획득된 상기 복수 개의 반경(m) 값들 중 기결정된 기준에 따른 피크값을 제외한 값들의 평균값으로 반경(m) 값을 결정하거나, 획득된 상기 복수 개의 반경(m) 값들 중 기결정된 기준의 오차범위 내의 값들의 평균값으로 반경(m) 값을 결정할 수 있다.

또한 상기 렌즈상대이동단계는, 상기 이미지센서(20)가 고정된 상태에서 상기 렌즈(10)가 이동하거나, 상기 렌즈(10)가 고정된 상태에서 상기 이미지센서(20)가 이동하도록 형성될 수 있다.

또한 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 방법은, 상기 카메라가 정지해 있는 상태에서 상기 대상물체(50)의 거리정보가 측정될 수 있다.

또한 본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 렌즈(10); 상기 렌즈(10)와 거리방향으로 이격 배치되는 이미지센서(20); 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대위치가 미리 알려진 궤적을 따라 이동되도록 상기 렌즈(10) 또는 상기 이미지센서(20)를 구동하는 액추에이터(30); 상기 액추에이터(30)의 구동 및 상기 이미지센서(20)의 상기 대상물체(50)의 이미지 획득을 연계하여 제어하며, 서로 광학적 시차를 가지는 복수 개의 이미지를 이용하여 상기 대상물체(50)의 거리정보를 산출하는 제어분석부(40); 를 포함할 수 있다.

이 때 상기 액추에이터(30)는, 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 상기 대상물체(50)의 거리방향에 수직한 평면상의 원운동이 되도록 상기 렌즈(10) 또는 상기 이미지센서(20)를 구동할 수 있다.

또한 상기 제어분석부(40)는, 하기의 식을 이용하여 상기 대상물체(50)의 거리정보를 산출할 수 있다.

또한 상기 액추에이터(30)는, 상기 이미지센서(20)가 고정된 상태에서 상기 렌즈(10)가 이동하는 렌즈구동방식으로 형성되거나, 상기 렌즈(10)가 고정된 상태에서 상기 이미지센서(20)가 이동하는 센서쉬프트방식으로 형성될 수 있다.

또한 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 상기 카메라 및 기계식 손떨림방지장치를 포함하는 휴대용 스마트기기로 구현되되, 상기 손떨림방지장치가 상기 액추에이터(30)로서 동작하고, 상기 휴대용 스마트기기의 연산부가 상기 제어분석부(40)로서 동작하도록 형성될 수 있다.

이 때 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 상기 액추에이터(30)의 원운동 구동제어 및 상기 제어분석부(40)의 거리정보 산축연산 알고리즘이 앱 형태로 구현되어 상기 휴대용 스마트기기에 설치됨으로써 구현될 수 있다.

또는 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 시각정보를 이용하여 스스로 동선을 결정하는 자율주행로봇에 구비되되, 상기 자율주행로봇이 상기 대상물체(50)를 향해 직진이동 시 동작하도록 형성될 수 있다.

보다 구체적으로, 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 상기 자율주행로봇이 상기 대상물체(50)를 향해 직진이동 시 상기 대상물체(50)의 거리정보가 올바르게 산출되지 못할 때, 상기 자율주행로봇을 정지시킨 상태에서 동작하여 상기 대상물체(50)의 거리정보를 산출하는 것이 바람직하다.

본 발명에 의하면, 단일 카메라를 이용하되 카메라의 렌즈가 미리 알고 있는 값으로 회전 또는 이동하면서 광학식 시차를 생성하도록 하고, 이러한 광학식 시차가 적용된 이미지를 이용하여 대상물체의 거리정보를 산출함으로써 3차원 형상을 측정하기 때문에, 단일 카메라로도 매우 높은 정확도로 대상물체의 거리정보를 얻어낼 수 있게 되는 큰 효과가 있다. 보다 구체적으로는, 본 발명에 의하면 단일 카메라라 하더라도 렌즈를 움직임으로써 광학식 시차를 생성하여 이미지를 획득함에 따라, 단일 카메라가 단일 대상물체로 직진이동하는 경우나 또는 정지상태인 경우라 하더라도 정확하게 거리정보를 산출할 수 있다.

특히 본 발명에 의하면, 종래에 단일 카메라로 산출하는 거리정보의 정확도를 향상하기 위해 라이다 등과 같은 다른 원리의 거리측정용 장치를 더 구비하였던 것과는 달리, 별도의 거리측정용 장치의 구비가 불필요하게 되어 장치 구성이 훨씬 간소화되는 효과가 있으며, 물론 이에 따라 장치 구성에 필요한 비용도 줄어드는 경제적 효과도 있다. 더불어 이러한 경우 카메라로 획득한 이미지와 별도의 거리측정용 장치로 획득한 데이터를 취합하여 또다른 계산을 수행하여야 하기 때문에 계산 알고리즘이 난해해지고 계산부하가 상승하는 문제가 있었으나, 본 발명에 의하면 이러한 문제가 원천적으로 배제되는 효과가 있다.

이처럼 본 발명에 의하면 단일 카메라 렌즈에 광학식 시차 생성을 부여함으로써 정확한 거리정보를 산출하는 원리로 동작하므로, 예를 들어 카메라에 손떨림 방지 기능이 탑재된 스마트폰 등과 같은 장치에 매우 쉽게 적용 가능하다. 즉 본 발명의 방법을 적용한 앱을 스마트폰, 노트북 등의 기기에 설치하기만 하면 기기에 원래 구비되어 있는 카메라 및 손떨림 방지용 장치를 제어하기만 해도 대상물체의 거리정보, 나아가 3차원 형상을 측정해낼 수 있게 되는 것이다. 이에 따라 라이다 센서 등과 같은 별도의 장치 없이도 사용자의 안면형상 등과 같은 3차원 형상의 측정이 용이하게 가능하게 되는 효과를 얻을 수 있다.

도 1은 스테레오 비전의 원리.
도 2는 단일 카메라가 단일 대상물체를 향해 직진이동 시의 문제점 개략도.
도 3은 렌즈의 위치변화에 따른 이미지센서 시차.
도 4 및 도 5는 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 원리.
도 6은 동일한 시차 발생 시 렌즈 이동거리 및 대상물체 이동거리 비교.
도 7은 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.

이하, 상기한 바와 같은 구성을 가지는 본 발명에 의한 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치를 첨부된 도면을 참고하여 상세하게 설명한다.

[1] 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 원리

앞서 설명한 바와 같이, 전통적인 스테레오 비전은 미리 알고 있는 거리만큼 이격배치된 2개의 카메라를 이용하여 대상물체에 대해 시차가 있는 2개의 이미지를 얻고, 이를 이용하여 거리정보를 산출한다. 이 때 카메라는 기본적으로 렌즈 및 이미지센서를 가지고 있으며, 렌즈를 통해 이미지센서로 대상물체의 상, 즉 이미지가 맺힘으로써 대상물체의 이미지가 획득되게 된다.

본 발명은 기본적으로 렌즈 및 이미지센서를 포함하는 카메라를 단일 개만 사용하는 단일 카메라 스테레오 비전에 관한 것이다. 이 때 본 발명에서는, 이미지 획득 시 렌즈를 미리 알려진 궤적을 따라 움직여줌으로써 의도적으로 이미지들에 광학적 시차를 부여하고, 이를 사용하여 거리정보를 산출한다. 도 3은 렌즈의 위치변화에 따른 이미지센서 시차의 예시를 도시한 것으로, 대상물체(50) 및 이미지센서(20)는 움직이지 않고 정지해 있더라도, 렌즈(10)의 위치가 변동됨에 따라 상기 이미지센서(20) 상에 형성되는 상기 대상물체(50)의 이미지 위치도 함께 변동되는 것을 직관적으로 확인할 수 있다.

종래의 SLAM, SFM 등의 알고리즘을 적용한 단일 카메라 스테레오 비전에서도 물론 시차가 있는 이미지들이 획득되며 이를 사용하여 거리정보를 산출하였다. 그러나 앞서도 설명한 바와 같이 종래의 경우 카메라를 장착한 로봇 자체의 움직임에 의해 시차를 발생시켰으며, 이 때 로봇 자체의 움직임을 정확하게 알아낼 수가 없기 때문에 경우에 따라서는 거리정보를 산출할 수 없는 문제가 있었다. 한 예시로서 도 2로 설명한 바와 같이, 로봇이 대상물체를 향해 직진이동하는 경우에는 이미지의 변화가 거리변동에 의한 것인지 대상물체의 실제적 변화에 의한 것인지를 구분할 수 없어 거리정보를 올바르게 산출할 수 없었다. 또한 종래의 경우 로봇의 이동이 반드시 전제되기 때문에, 자체적인 이동 구동장치가 구비되지 않은 장치에 적용하는 것이 어려운 문제가 있었다.

그러나 본 발명에서는, 카메라 내에서 미리 알고 있는 궤적으로 렌즈를 움직여주기 때문에, 어떤 이미지들 간의 광학적 시차가 얼마만큼의 렌즈의 위치변동에 의해 발생한 것인지를 정확히 알 수 있다. 따라서 본 발명에서는 이미지들 간의 광학적 시차 및 렌즈 위치변동 간의 관계를 이용하여 대상물체의 거리정보를 정확하게 산출할 수 있게 되는 것이다. 이 때 카메라 내지는 카메라가 장착된 장치 자체가 움직일 필요가 없기 때문에, 본 발명의 장치는 움직이는 로봇에 장착되어도 되고 또한 정지해 있는 장치에 장착되어도 훌륭하게 작동할 수 있다.

이러한 본 발명의 3차원 형상 측정 방법의 원리에 대하여 보다 상세히 설명하면 다음과 같다. 도 4는 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 기본원리를 설명하기 위한 도면이다. 기본원리의 이해가 보다 쉽도록 하기 위하여 Z, X 2개의 좌표축으로 된 2차원으로 먼저 설명한다.

도 4에서 ZX좌표계는 렌즈에 대한 것으로, 렌즈의 최초위치가 ZX좌표계의 원점이 되며, M_max 및 M_min은 렌즈 변위의 최대값 및 최소값을 나타낸다. 한편 zx좌표계는 이미지센서에 대한 것으로, 즉 x축 상에 xy방향으로 펼쳐진 이미지센서 면이 배치된다고 생각하면 된다. 대상물체를 하나의 점으로 나타낸 것이 P이고, P점이 최초위치에서의 렌즈를 통해 이미지센서 상에 투영된 점이 p이다. 또한 최대위치 즉 M_max에서의 렌즈를 통해 P점이 투영된 위치는 m_max로, 최소위치 즉 M_min에서의 렌즈를 통해 P점이 투영된 위치는 m_min으로 나타내었다.

렌즈가 최초위치 즉 원점에 있을 때 대상물체 P점의 Z, X값 및 투영이미지 p점의 x값 사이에는 기하학적 원리에 따라 하기 식(1)의 관계가 성립한다. 식(1)에서 f는 초점거리이다. 한편 도 4에서는 이해를 쉽게 하기 위하여, 렌즈가 최초위치 즉 원점에 있을 때 대상물체 P점의 Z, X값이 모두 양수가 되게 하였다. 이 때 대상물체 P점의 X값이 양수이면 투영이미지 p점의 x값은 반드시 음수가 된다. 이러한 점을 고려할 때, 식(1)은 식(2)와 같이 나타낼 수 있다.

… (1)

… (2)

위와 같은 원리를 적용하면, 렌즈가 최대위치 M_max에 있을 때 투영이미지 p점의 m_max값, 렌즈가 최소위치 M_min에 있을 때 투영이미지 p점의 m_min값도 각각 X, Z, f 등을 이용하여 하기 식(3)과 같이 나타낼 수 있으며, 식(3)의 아랫식에서 윗식을 빼서 정리하면 하기 식(4)를 얻을 수 있다.

… (3)

… (4)

여기에서, Mmax 및 Mmin의 크기가 M으로 동일하다고 할 때, 식(4)는 하기의 식(5)와 같이 간단하게 정리할 수 있다. 이에 따라 대상물체 P점의 Z값, 즉 거리정보는 식(6)과 같이 구할 수 있다. 여기에서 M, f값은 미리 알고 있는 상수값이며, m_max 및 m_min 값은 이미지센서에서 획득한 이미지로부터 단순 측정으로 쉽게 구할 수 있는 값이다. 즉 식(6)을 이용하여 복잡한 계산을 요하지 않고 매우 쉽고 빠르게 대상물체의 거리정보 Z 값을 산출할 수 있는 것이다.

… (5)

… (6)

도 4는 이해를 쉽게 하기 위하여 2차원으로 설명한 것으로, 이제 이를 3차원으로 확장하면 도 5와 같이 나타낼 수 있다. 도 4에서는 렌즈의 운동이 M_max 및 M_min 사이에서 오가는 형태로 형성되었다면, 도 5에서는 렌즈의 운동이 M을 반경으로 하는 원주를 따라 회전하는 형태로 형성된다. 구체적으로 설명하자면, 먼저 도 4의 예시에서와 마찬가지로 M_max 및 M_min은 동일한 절대값 M이 되게 하였다. 그러면 X축 상에서의 최대위치 값은 도 4의 예시에서와 마찬가지로 M_max 즉 +M이 되고 이 때 Y값은 0이 된다. 마찬가지로 X축 상에서의 최소위치 값은 M_min 즉 -M되고 역시 이 때 Y값은 0이 된다. 도면의 지나친 복잡화를 피하기 위하여 도 5 상에 따로 표시하지는 않았으나, 렌즈가 Y축 상에서의 최대/최소 위치에 있을 때 각각의 Y값은 +M/-M이 되며, 둘 다에서 X값은 0이 된다.

도 5에 잘 나타나 있는 바와 같이, 렌즈가 원형으로 움직이면 대상물체 P점의 투영이미지도 원형으로 움직이게 된다. 도 4에서와 유사하게, 대상물체 P점 투영이미지가 그리는 원의 x축 최대값은 m_max, 최소값은 m_min이 되며, m_max 및 m_min의 차는 투영이미지가 그리는 원의 직경이 된다. M과 마찬가지로 투영이미지가 그리는 원의 반경을 m이라 하면, 직경 즉 m_max 및 m_min의 차가 2m이 된다. 그러면 대상물체 P점의 거리정보 Z 값에 대한 상기 식(6)은 하기 식(7)과 같이 더욱 간단하게 정리할 수 있다.

… (7)

렌즈의 초점거리 f값 및 렌즈 원운동궤적의 반경 M값은 미리 결정되어 알고 있는 상수값이다. 또한 이미지센서 상에서의 대상물체의 투영이미지 원운동궤적의 반경 m은 렌즈의 한 주기 운동이 끝나면 단순 측정으로 쉽게 구할 수 있다. 따라서 대상물체의 거리정보 Z값이 매우 단순 측정 및 계산만으로도, 즉 매우 적은 계산부하 및 빠른 계산속도로 용이하게 산출될 수 있게 된다.

여기에서 특히, 본 발명에서는 렌즈를 직선운동시키는 대신 원운동시킴으로써 보다 정확도를 높일 수 있다. 이에 대하여 보다 상세히 설명하면 다음과 같다.

앞서 도 4의 2차원 예시에서도 사실 식(7)과 같은 관계를 구할 수 있으며, 투영이미지 p점의 직선운동 거리를 측정할 수 있다. 그런데, 대상물체가 점이라면 가장 이상적이겠지만 실제로는 대상물체는 점이 아닌 형상을 가지고 있으며, 따라서 투영이미지도 점이 아닌 어떤 면적을 가지는 평면도형으로 나타나게 된다. 대상물체를 대표하는 특징점을 잡아서 측정한다 하더라도 이상적인 경우가 아니므로 이러한 문제는 불가피하게 발생한다. 이 경우 점-점 사이의 거리가 아닌 평면도형-평면도형 사이의 거리를 구해야 하는데, 평면도형을 점으로 간주하기 위해 대표점을 선택하는 과정에서 당연히 오차가 발생할 수 있다. 이 때 도 4의 2차원 예시의 경우, 렌즈가 직선운동을 하기 때문에 한 주기의 운동에서 m값을 하나밖에 구할 수 없으며, 따라서 오차가 얼마나 발생하였는지 알 수 없어 부정확도가 높아질 우려가 있다.

한편 도 5의 3차원 예시에서처럼 렌즈를 원운동시키면, 한 주기의 운동에서 이상적으로는 수없이 많은 m값을 구할 수 있다. 따라서 적절한 개수의 m값을 선택하여 그대로 평균값을 구하거나, 또는 미리 설정한 기준에 따라 피크값은 제거하고 나머지 값의 평균값을 구하는 등의 방식을 통해, 도 4의 2차원 예시에서와는 달리 오차를 최대한 보정하여 정확도를 높인 m값을 구할 수 있게 되는 것이다.

도 6은 동일한 시차 발생 시 렌즈 이동거리 및 대상물체 이동거리를 비교한 것이다. 도 4에서와 동일하게, 렌즈의 최초위치는 원점이고 대상물체는 P점에 있다고 할 때, 렌즈를 M_min로 이동시키면 투영이미지 p점의 위치는 m_min으로 이동한다. 이 때 만일 렌즈가 움직이지 않고 고정되어 있다고 할 때, 투영이미지 위치가 m_min에 형성되게 하고자 하려면 대상물체가 P'점까지 ΔX만큼을 이동해야 하며, 대상물체가 고정되어 있다고 할 때 카메라가 장착된 로봇이 ΔX만큼을 이동해야 한다. 카메라에 들어있는 렌즈 및 이미지센서 간 거리는 일반적으로 렌즈 및 대상물체 간 거리보다 훨씬 짧다는 것은 잘 알려진 사실이다. 즉 실제로는 투영이미지 위치를 m_min만큼 이동시키기 위해서, 렌즈는 M_min만큼의 아주 조금만 이동하면 되는 반면 카메라가 장착된 로봇은 ΔX만큼의 매우 긴 거리를 이동해야 한다. 즉 동일한 시차가 있는 이미지를 얻기 위해 카메라가 장착된 로봇이 상대적으로 훨씬 먼 거리를 이동해야 하는 것과는 달리, 본 발명에서는 렌즈를 이동시킴으로써 훨씬 짧은 거리만을 이동해도 되는 것이다. 더구나 로봇의 이동거리는 정확하게 측정하기 어려운 반면, 렌즈의 경우 카메라 내부에 안정적으로 구성되어 있는 장치에 의하여 미리 알고 있는 궤적을 따라 이동하기 때문에 렌즈의 이동거리는 언제나 정확하게 알 수 있는 값이므로 더욱 정확도높은 결과를 얻을 수 있게 된다.

[2] 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법

[1]에서 설명한 바와 같은 원리를 이용한 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법을 보다 상세히 설명하면 다음과 같다.

본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 방법은, 기본적으로 렌즈(10) 및 이미지센서(20)를 포함하는 단일 카메라를 사용하여 대상물체(50)의 3차원 형상을 측정한다. 이 때 상기 대상물체(50)의 2차원 형상, 즉 상기 카메라 및 상기 대상물체(50) 간의 거리방향에 대하여 수직한 평면상의 2차원 형상은 상기 카메라로 획득한 이미지로 그대로 측정이 가능하다. 그러나 단일 이미지만으로는 상기 대상물체(50)의 거리정보를 알 수 없기 때문에 3차원 형상의 측정은 불가능하게 된다. 본 발명에서는, 앞서 [1]에서 설명한 바와 같은 원리를 이용하여 상기 대상물체(50)의 거리정보를 획득함으로써, 궁극적으로는 상기 대상물체(50)의 3차원 형상을 측정해 낼 수 있게 한다.

본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 방법은, 기본적으로 단일이미지획득단계, 렌즈상대이동단계, 시차이미지획득단계, 거리정보산출단계를 포함한다.

상기 단일이미지획득단계에서는, 상기 렌즈(10)를 통해 상기 이미지센서(20)로 상기 대상물체(50)의 이미지가 획득된다. 앞서 설명한 바와 같이, 이렇게 획득된 단일 이미지만으로도 상기 카메라 및 상기 대상물체(50) 간의 거리방향에 대하여 수직한 평면상의 2차원 형상의 측정은 가능하다. 다만 거리정보가 없기 때문에 3차원 형상의 측정이 불가능한 바, 이하 설명하는 단계들이 이루어짐으로써 거리정보를 산출하게 된다.

상기 렌즈상대이동단계에서는, 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대위치가 미리 알려진 궤적을 따라 이동된다. 이 때 상기 이미지센서(20)가 고정된 상태에서 상기 렌즈(10)가 이동하거나, 상기 렌즈(10)가 고정된 상태에서 상기 이미지센서(20)가 이동하도록 형성될 수 있다.

상기 시차이미지획득단계에서는, 상기 이미지획득단계 및 상기 렌즈상대이동단계가 반복 수행됨에 따라 서로 광학적 시차를 가지는 복수 개의 이미지가 획득된다. 이 때 [1]에서 설명한 바와 같이, 종래의 경우 상기 카메라가 장착된 로봇이 이동하면서 시차이미지들을 얻는 과정에서 로봇 이동거리를 정확히 알 수 없지만, 본 발명에서는 상기 카메라 내의 부품들(렌즈, 이미지센서)을 이동시키면서 시차이미지들을 얻기 때문에 이동궤적 자체를 미리 정확히 알 수 있다.

상기 거리정보산출단계에서는, 각각의 상기 렌즈(10)의 위치 및 해당 위치에서 획득된 상기 대상물체(50)의 이미지를 이용하여 상기 대상물체(50)의 거리정보가 산출된다. 상술한 바와 같이 이동궤적 자체를 미리 정확히 알 수 있으므로, 시간정보를 기준으로 하여 어떤 시각에서의 상기 렌즈(10)의 위치 및 그 시각에 획득된 상기 대상물체(50)의 이미지를 매칭함으로써 위치 및 시차의 정확한 매칭이 가능하게 된다.

이 때 상기 렌즈상대이동단계에서, 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 상기 대상물체(50)의 거리방향에 수직하게 좌우로 이동되게 하여도 물론 거리정보를 산출할 수 있다. 그러나 이와 같이 하는 경우, 앞서 설명한 바와 같이 시차이미지 상에서의 이동거리를 구함에 있어서 오차가 발생하였을 때 이를 보정하거나 정확도를 올리기가 어렵다. 따라서 상기 렌즈상대이동단계는, 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 상기 대상물체(50)의 거리방향에 수직한 평면상의 원운동이 되도록 형성되도록 하는 것이 바람직하다. 이와 같이 할 경우 상기 거리정보산출단계는, 하기의 식을 이용하여 상기 대상물체(50)의 거리정보를 산출할 수 있다.

이 과정에서 상기 카메라 자체가 이동하게 될 경우 이미지 상의 광학적 시차가 카메라의 이동에 의해 발생한 것인지 상기 렌즈(10) 및 상기 이미지센서(20) 간의 상대이동에 의해 발생한 것인지 구분하기 어려울 수 있다. 따라서 본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 방법은, 상기 카메라가 정지해 있는 상태에서 상기 대상물체(50)의 거리정보가 측정되도록 하는 것이 바람직하다.

상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 원운동으로 형성될 경우, 상기 이미지센서(20) 상에서의 상기 대상물체(50)의 투영이미지 원운동궤적의 반경(m) 값은 이론적으로는 모든 방향에서 무수히 구할 수 있다. 이를 이용하여 반경(m) 값의 정확도를 향상시킬 수 있는데, 이 경우 상기 거리정보산출단계는, 복수반경획득단계 및 최종반경결정단계를 포함할 수 있다.

상기 복수반경획득단계에서는, 상기 시차이미지획득단계에서 획득된 서로 광학적 시차를 가지는 복수 개의 이미지를 이용하여 산출된 원운동궤적에서, 서로 방향을 달리하는 복수 개의 반경(m) 값을 획득한다. 상술한 바와 같이 원 상에서의 반경 값은 이론적으로는 모든 방향에서 무수히 구할 수 있으므로, 적절하게 필요에 따라 적절하게 선택하면 된다.

상기 최종반경결정단계에서는, 획득된 상기 복수 개의 반경(m) 값을 취합하여 최종적으로 반경(m) 값을 결정한다. 이 때 반경(m) 값에 포함되는 오차를 최대한 줄이기 위해 여러 방식을 사용할 수 있는데, 예를 들어 획득된 상기 복수 개의 반경(m) 값의 평균값으로 반경(m) 값을 결정하거나, 획득된 상기 복수 개의 반경(m) 값들 중 기결정된 기준에 따른 피크값을 제외한 값들의 평균값으로 반경(m) 값을 결정하거나, 획득된 상기 복수 개의 반경(m) 값들 중 기결정된 기준의 오차범위 내의 값들의 평균값으로 반경(m) 값을 결정할 수 있는 등, 사용자의 필요나 목적에 따라 적절하게 결정되면 된다.

이처럼 본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 방법은, 미리 정확하게 알고 있는 렌즈의 초점거리(f), 렌즈의 원운동궤적 반경(M), 이로부터 얻어진 시차이미지들의 원운동궤적 반경(m)을 이용하여 대상물체의 거리정보(Z)를 쉽고도 정확하게 산출할 수 있다. 여기에서의 대상물체는 하나의 오브젝트라기보다는 어떠한 특징점이라고 보는 것이 바람직한데, 이처럼 단순 계산을 통해 특징점의 거리정보를 산출할 수 있으므로 다수의 특징점에 대한 거리정보 산출에도 큰 계산부하가 걸리지 않게 된다. 따라서 본 발명의 방법을 이용하면, 다수의 특징점에 대한 거리정보를 빠르게 산출함으로서, 다수의 특징점들로 이루어지는 실제 대상물체의 3차원 형상을 원활하게 측정해 낼 수 있게 되는 것이다.

[3] 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 장치

[1], [2]에서 설명한 바와 같은 원리 및 방법을 이용한 본 발명의 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 기본적으로 상기 렌즈(10), 상기 렌즈(10)와 거리방향으로 이격 배치되는 상기 이미지센서(20), 액추에이터(30), 제어분석부(40)를 포함하여 이루어진다.

상기 액추에이터(30)는 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대위치가 미리 알려진 궤적을 따라 이동되도록 상기 렌즈(10) 또는 상기 이미지센서(20)를 구동하는 역할을 한다. 이 때 상기 액추에이터(30)는, [2]에서 설명한 바와 같이, 상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 상기 대상물체(50)의 거리방향에 수직한 평면상의 원운동이 되도록 상기 렌즈(10) 또는 상기 이미지센서(20)를 구동하는 것이 바람직하다. 또한 이 때, 상기 액추에이터(30)는, 상기 이미지센서(20)가 고정된 상태에서 상기 렌즈(10)가 이동하는 렌즈구동방식으로 형성되거나, 상기 렌즈(10)가 고정된 상태에서 상기 이미지센서(20)가 이동하는 센서쉬프트방식으로 형성될 수 있다.

상기 제어분석부(40)는 상기 액추에이터(30)의 구동 및 상기 이미지센서(20)의 상기 대상물체(50)의 이미지 획득을 연계하여 제어하며, 서로 광학적 시차를 가지는 복수 개의 이미지를 이용하여 상기 대상물체(50)의 거리정보를 산출하는 역할을 한다. 이 때 상기 제어분석부(40)는, 역시 [2]에서 설명한 바와 같이, 하기의 식을 이용하여 상기 대상물체(50)의 거리정보를 산출하는 것이 바람직하다.

이 때 본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 물론 전용의 별도 장치로서 구성될 수도 있지만, 기존의 휴대용 스마트기기로서 용이하게 구현될 수 있다. 일반적으로 핸드폰, 태블릿 등과 같은 휴대용 스마트기기에는 카메라가 구비되며, 촬영이미지의 질을 높이기 위해 손떨림방지 기능이 구비된다. 손떨림방지 기능이란 카메라를 들고 있는 사람의 손이 미세하게 흔들림에 의하여 영상 또는 사진이 흔들리는 것을 방지하기 위한 것으로, 기계식 및 전자식으로 나뉜다. 기계식 손떨림방지 기능은 지자기센서 등을 이용하여 흔들림을 감지하고 그 반대방향으로 렌즈 또는 이미지센서를 움직여줌으로써 기계적으로 보정하는 식으로 이루어지며, 전자식 손떨림방지 기능은 흔들리는 중에 촬영된 복수 개의 이미지 중에 겹치는 부분만을 남기고 나머지 부분은 잘라냄으로써 전자적으로 보정하는 식으로 이루어진다. 즉 기계식 손떨림방지장치가 구비된 휴대용 스마트기기의 카메라에는, 렌즈 및 이미지센서 간의 상대운동이 가능하게 하는 장치가 이미 구비되어 있는 것이다. 이러한 기계식 손떨림방지 기능은 상용화된 제품으로서 다양하게 개시되어 있으며, 예를 들어 렌즈구동방식으로서 삼성전자의 OIS(Optical Image Stabilization), 캐논의 IS(Image Stabilizer), 니콘의 VR(Vibration Reduction) 등이 있고, 센서쉬프트방식으로서 미놀타의 AS(Anti Shake), 소니의 SSS(Super Steady Shot) 등이 있다.

따라서 본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는, 상기 카메라 및 기계식 손떨림방지장치를 포함하는 휴대용 스마트기기로 구현되되, 상기 손떨림방지장치가 상기 액추에이터(30)로서 동작하고, 상기 휴대용 스마트기기의 연산부가 상기 제어분석부(40)로서 동작하도록 형성될 수 있다. 이 때 상술한 바와 같이 기존의 기계식 손떨림방지장치는 렌즈 또는 이미지센서를 능동적으로 움직여주는 기능을 가지고는 있지만, 지자기센서 등으로 인식한 사용자의 손떨림(즉 카메라 전체의 진동)을 보정하는 방식으로만 움직일 뿐이다. 따라서 이러한 기존의 기계식 손떨림방지장치를 상기 액추에이터(30)로서 동작하게 하기 위해서는 별도의 제어가 추가적으로 이루어져야 한다. 즉 이 경우, 상기 액추에이터(30)의 원운동 구동제어 및 상기 제어분석부(40)의 거리정보 산축연산 알고리즘이 앱 형태로 구현되어 상기 휴대용 스마트기기에 설치됨으로써, 상기 휴대용 스마트기기가 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치로 구현될 수 있다.

이와 같이 휴대용 스마트기기가 본 발명의 단일 카메라 스테레오 비전의 3차원 형상 측정 장치로서 구현되면, 사용자의 안면인식 등과 같이 상대적으로 작은 물체의 3차원 형상 측정이 필요한 경우 휴대용 스마트기기를 이용하여 매우 쉽고 편리하게 측정을 수행할 수 있다. 앞서 도 6으로 설명한 바와 같이, 종래의 SLAM 등과 같은 거리측정방법의 경우 거리정보 측정을 위한 광학적 시차를 만들기 위해 카메라를 상당히 크게 움직여야만 하기 때문에 안면인식 등에 적용하기에는 어려움이 있다. 그러나 본 발명의 장치는 카메라 내부적으로 렌즈 및 이미지센서 간의 상당히 작은 상대운동으로 거리정보 측정이 가능하며 이 때 카메라 자체는 정지한 상태로 두면 되기 때문에, 휴대용 스마트기기로 구현하기에 최적이다.

물론 본 발명의 기술이 휴대용 스마트기기에만 국한되어 적용되는 것은 아니며, 시각정보를 이용하여 스스로 동선을 결정하는 자율주행로봇에 구비될 수도 있다. 앞서 도 2로 설명한 바와 같이, 이러한 자율주행로봇 및 종래의 거리측정기술의 경우, 상기 자율주행로봇이 상기 대상물체(50)를 향해 직진이동 시 거리가 변동되는 것인지 대상물체 자체의 크기가 변하는 것인지 구분하기 어려워 거리정보를 올바로 산출할 수 없는 경우가 있다. 이러한 경우가 발생하였을 때 본 발명의 장치가 동작함으로써 올바르고 정확한 거리정보 산출이 가능하게 된다. 즉 구체적으로는, 상기 자율주행로봇이 상기 대상물체(50)를 향해 직진이동 시 상기 대상물체(50)의 거리정보가 올바르게 산출되지 못할 때, 상기 자율주행로봇을 정지시킨 상태에서 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치가 동작하여 상기 대상물체(50)의 거리정보를 산출함으로써 정확한 거리정보를 얻는 것이다. 이렇게 얻은 정확한 거리정보를 지도작성 또는 다음 동선의 결정에 활용하면 더욱 정확한 결과를 얻을 수 있게 된다.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이다.

Claims

렌즈(10) 및 이미지센서(20)를 포함하는 단일 카메라를 사용하여 대상물체(50)의 3차원 형상을 측정하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법에 있어서,
상기 렌즈(10)를 통해 상기 이미지센서(20)로 상기 대상물체(50)의 이미지가 획득되는 단일이미지획득단계;
상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대위치가 미리 알려진 궤적을 따라 이동되는 렌즈상대이동단계;
상기 이미지획득단계 및 상기 렌즈상대이동단계가 반복 수행됨에 따라 서로 광학적 시차를 가지는 복수 개의 이미지가 획득되는 시차이미지획득단계;
각각의 상기 렌즈(10)의 위치 및 해당 위치에서 획득된 상기 대상물체(50)의 이미지를 이용하여 상기 대상물체(50)의 거리정보가 산출되는 거리정보산출단계;
를 포함하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법.
제 1항에 있어서, 상기 렌즈상대이동단계는,
상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 상기 대상물체(50)의 거리방향에 수직한 평면상의 원운동이 되도록 형성되는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법.
제 2항에 있어서, 상기 거리정보산출단계는,
하기의 식을 이용하여 상기 대상물체(50)의 거리정보를 산출하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법.

(여기에서, Z : 대상물체의 거리정보, f : 렌즈의 초점거리, M : 렌즈 원운동궤적의 반경, m : 이미지센서 상에서의 대상물체의 투영이미지 원운동궤적의 반경)
제 3항에 있어서, 상기 거리정보산출단계는,
상기 이미지센서(20) 상에서의 상기 대상물체(50)의 투영이미지 원운동궤적의 반경(m) 값을 구할 때,
상기 시차이미지획득단계에서 획득된 서로 광학적 시차를 가지는 복수 개의 이미지를 이용하여 산출된 원운동궤적에서, 서로 방향을 달리하는 복수 개의 반경(m) 값을 획득하는 복수반경획득단계,
획득된 상기 복수 개의 반경(m) 값을 취합하여 최종적으로 반경(m) 값을 결정하는 최종반경결정단계를 포함하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법.
제 4항에 있어서, 상기 최종반경결정단계는,
획득된 상기 복수 개의 반경(m) 값의 평균값으로 반경(m) 값을 결정하거나,
획득된 상기 복수 개의 반경(m) 값들 중 기결정된 기준에 따른 피크값을 제외한 값들의 평균값으로 반경(m) 값을 결정하거나,
획득된 상기 복수 개의 반경(m) 값들 중 기결정된 기준의 오차범위 내의 값들의 평균값으로 반경(m) 값을 결정하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법.
제 1항에 있어서, 상기 렌즈상대이동단계는,
상기 이미지센서(20)가 고정된 상태에서 상기 렌즈(10)가 이동하거나,
상기 렌즈(10)가 고정된 상태에서 상기 이미지센서(20)가 이동하도록 형성되는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법.
제 1항에 있어서, 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 방법은,
상기 카메라가 정지해 있는 상태에서 상기 대상물체(50)의 거리정보가 측정되는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 방법.
렌즈(10);
상기 렌즈(10)와 거리방향으로 이격 배치되는 이미지센서(20);
상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대위치가 미리 알려진 궤적을 따라 이동되도록 상기 렌즈(10) 또는 상기 이미지센서(20)를 구동하는 액추에이터(30);
상기 액추에이터(30)의 구동 및 상기 이미지센서(20)의 상기 대상물체(50)의 이미지 획득을 연계하여 제어하며, 서로 광학적 시차를 가지는 복수 개의 이미지를 이용하여 상기 대상물체(50)의 거리정보를 산출하는 제어분석부(40);
를 포함하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.
제 8항에 있어서, 상기 액추에이터(30)는,
상기 이미지센서(20)에 대한 상기 렌즈(10)의 상대운동이 상기 대상물체(50)의 거리방향에 수직한 평면상의 원운동이 되도록 상기 렌즈(10) 또는 상기 이미지센서(20)를 구동하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.
제 9항에 있어서, 상기 제어분석부(40)는,
하기의 식을 이용하여 상기 대상물체(50)의 거리정보를 산출하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.

(여기에서, Z : 대상물체의 거리정보, f : 렌즈의 초점거리, M : 렌즈 원운동궤적의 반경, m : 이미지센서 상에서의 대상물체의 투영이미지 원운동궤적의 반경)
제 8항에 있어서, 상기 액추에이터(30)는,
상기 이미지센서(20)가 고정된 상태에서 상기 렌즈(10)가 이동하는 렌즈구동방식으로 형성되거나,
상기 렌즈(10)가 고정된 상태에서 상기 이미지센서(20)가 이동하는 센서쉬프트방식으로 형성되는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.
제 8항에 있어서, 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는,
상기 카메라 및 기계식 손떨림방지장치를 포함하는 휴대용 스마트기기로 구현되되,
상기 손떨림방지장치가 상기 액추에이터(30)로서 동작하고,
상기 휴대용 스마트기기의 연산부가 상기 제어분석부(40)로서 동작하도록 형성되는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.
제 12항에 있어서, 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는,
상기 액추에이터(30)의 원운동 구동제어 및 상기 제어분석부(40)의 거리정보 산축연산 알고리즘이 앱 형태로 구현되어 상기 휴대용 스마트기기에 설치됨으로써 구현되는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.
제 8항에 있어서, 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는,
시각정보를 이용하여 스스로 동선을 결정하는 자율주행로봇에 구비되되,
상기 자율주행로봇이 상기 대상물체(50)를 향해 직진이동 시 동작하도록 형성되는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.
제 14항에 있어서, 상기 단일 카메라 스테레오 비전의 3차원 형상 측정 장치는,
상기 자율주행로봇이 상기 대상물체(50)를 향해 직진이동 시 상기 대상물체(50)의 거리정보가 올바르게 산출되지 못할 때,
상기 자율주행로봇을 정지시킨 상태에서 동작하여 상기 대상물체(50)의 거리정보를 산출하는 것을 특징으로 하는 단일 카메라 스테레오 비전의 3차원 형상 측정 장치.