KR100903786B1 - 자율 이동체용 스테레오 센싱 장치, 스테레오 센싱 가능한 자율 이동체 및 스테레오 센싱 장치의 이미지 처리 방법 - Google Patents

Abstract

본 발명은 자율 이동체에 하나의 환경 요인에 대하여 서로 다른 특성을 갖는 적어도 두 쌍의 촬영 유닛들 각 쌍이 스테레오 형태로 동작하면서 획득한 이미지들 중 선택된 상대적으로 우수한 한 쌍의 이미지들이 스테레오 매칭을 통하여 처리되도록 하는 자율 이동체용 스테레오 센싱 장치, 스테레오 센싱 가능한 자율 이동체 및 스테레오 센싱 장치의 이미지 처리 방법을 제공한다.

Description

자율 이동체용 스테레오 센싱 장치, 스테레오 센싱 가능한 자율 이동체 및 스테레오 센싱 장치의 이미지 처리 방법{STEREO SENSING DEVICE FOR AUTO-MOBILE APPARATUS, AUTO-MOBILE APPARATUS HAVING STEREO SENSING FUNCTION, AND IMAGE PROCESSING METHOD OF STEREO SENSING DEVICE}

본 발명은 자율 이동체가 위치한 장소에 관련한 이미지를 획득함에 있어서 가변적인 환경 요인에 적응할 수 있도록 스테레오 센싱 장치를 구성하고 제어하는 방법에 관한 것이다.

일반적으로 자율 이동체(무인차량, 로봇 등)가 자율주행을 하기 위해서는 임무 기반의 경로 설정을 하게 된다. 이러한 경로 설정을 위해서는 자율 이동체가 위치한 장소의 주변 여건을 실제와 같이 묘사하는 기법이 필요하게 된다. 이를 위하여 자율 이동체는 센서를 이용하여 주변 여건에 관한 정보 및 그에 따른 경로를 3차원 환경 모델링 기법을 통하여 획득 또는 생성하게 된다.

주변 여건(환경)을 파악하기 위해서는, 촬영 유닛을 스테레오 방식으로 사용하여 주변의 물체 등에 대한 거리 정보를 구한다. 구해진 거리 정보가 지면 기준으로 투영되면서 3차원 지형 고도 정보가 생성된다.

그러나, 위와 같은 촬영 유닛은 그 자신의 고유한 특성이 있어서, 가변적인 환경에 따라서는 주변 환경 파악이 어려울 수 있다. 예를 들어, CCD 센서만을 이용한 스테레오 촬영 유닛은 광원의 영향이 매우 크기 때문에 낮이나 조명이 있는 지역으로 응용환경이 제한된다.

전방 일정영역 감시 및 일정영역의 공간 모델링을 위해서는 주·야간 모두 스테레오 영상 획득이 가능해야 하며, 가변적인 환경조건에도 운용할 수 있어야 한다.

또한, CCD 촬영 유닛으로 획득한 영상만으로 매칭을 수행하게 되면 비 매칭 및 오차가 발생하였을 때 보완을 해 줄 수 방안이 필요하게 된다.

본 발명의 일 목적은 종래와 다른 구성으로 가변 환경에 적응적인 스테레오 센서 장치 및 그를 구비한 자율 이동체, 그리고 그의 이미지 처리 방법을 제공하는 것이다.

본 발명의 다른 일 목적은 환경 요인에 따르는 촬영 유닛들의 고유 특성이 상호 보완되도록 하는 것이다.

본 발명의 또 다른 일 목적은 단일 촬영 유닛이 갖는 매칭의 한계 극복되도록 하는 것이다.

상기한 과제를 실현하기 위한 본 발명의 일 실시예와 관련된 자율 이동체용 스테레오 센싱 장치는 하우징과, 적어도 두 쌍의 촬영 유닛들과, 이미지 처리부를 포함한다. 상기 하우징은 자율 이동체에 제1 축을 중심으로 회전되며, 상기 제1 축과 교차하는 제2축을 중심으로 틸팅 가능하게 장착된다. 상기 촬영 유닛들은 하나의 환경 요인에 대하여 서로 다른 특성을 갖고서 동작하며, 스테레오 형태로 동작하도록 상기 하우징에 배치된다. 상기 이미지 처리부는 상기 촬영 유닛들 각 쌍으로부터 획득된 이미지들을 각각 스테레오 매칭하여 처리하기 위하여 상기 촬영 유닛들과 연결된다. 상기 이미지 처리부는 상기 촬영 유닛들 각 쌍으로부터의 이미지들 중 상기 환경 요인을 고려하여 상대적으로 우수한 어느 한 쌍으로부터의 이미지들을 채택하여 매칭 하도록 구성된다. 상기 촬영 유닛들 각 쌍은 서로 동일한 이격 거리를 갖는 채로 상기 제1 축을 따라 2열을 이루도록 배치된다.

본 발명의 일 측면에 따르면, 상기 하우징을 상기 자율 이동체에 장착하기 위한 마운트가 추가로 구비된다. 상기 마운트는, 상기 자율 이동체에 결합되는 고정부와, 상기 하우징이 결합되며 상기 고정부에 대하여 상기 회전 및 틸팅이 가능하게 장착되는 이동부를 포함한다.

본 발명의 다른 일 측면에 따르면, 상기 촬영 유닛들은, 조도에 대해 다른 특성을 갖는 CCD 센서, 초 저조도 센서, 및 적외선 센서들 중 적어도 2개를 각각 쌍으로 포함한다.

본 발명의 또 다른 일 측면에 따르면, 상기 이미지 처리부는 상기 촬영 유닛들 각 쌍이 동시에 트리거링 되도록 제어한다.

본 발명의 다른 실시예에 따른 스테레오 센싱 가능한 자율 이동체는 몸체와, 하우징과, 적어도 두 쌍의 촬영 유닛들과, 이미지 처리부를 포함한다. 상기 몸체는 자율 이동 가능하도록 구동된다. 상기 하우징은 상기 이동 중에 상기 몸체에 대하여 제1 축을 중심으로 회전되며, 상기 제1 축과 교차하는 제2 축을 중심으로 틸팅 가능하도록 상기 몸체에 설치된다. 상기 촬영 유닛들은 상기 하우징에 스테레오 형태로 동작하도록 배치되며, 하나의 환경 요인에 대하여 서로 다른 특성을 갖고서 동작하도록 구성된다. 상기 촬영 유닛들의 각 쌍은 서로 동일한 이격 거리를 갖는 채로 상기 제1 축을 따라 2열을 이루도록 배치된다. 상기 이미지 처리부는 상기 촬영 유닛들과 연결되어, 상기 촬영 유닛들 각 쌍으로부터 획득된 이미지들을 각각 스테레오 매칭하여 처리 가능하게 구성된다. 상기 이미지 처리부는 상기 촬영 유닛들 각 쌍으로부터의 이미지들 중에서 상기 환경 요인을 고려하여 상대적으로 우수한 어느 한 쌍으로부터의 이미지들을 채택하여 매칭 하도록 구성된다. 상기 몸체는 상기 처리된 이미지에 근거한 주행 경로를 따라 이동하도록 구동된다.

본 발명의 일 측면에 따르면, 상기 촬영 유닛들은, 조도에 대해 다른 특성을 갖는 CCD 센서, 초 저조도 센서, 및 적외선 센서들 중 적어도 2개를 각각 쌍으로 포함한다.

본 발명의 또 다른 실시예에 따른 스테레오 센싱 장치의 이미지 처리 방법은 (a) 하나의 환경 요인에 대하여 서로 다른 특성을 갖고서 동작하는 적어도 두 쌍의 촬영 유닛들의 보정 변수를 설정하는 단계와, (b) 상기 촬영 유닛들을 트리거링하여 자율 이동 중인 플랫폼이 위치한 장소에 관한 이미지를 획득하는 단계와, (c) 상기 적어도 두 쌍의 촬영 유닛들로부터 획득된 이미지들 중 상대적으로 우수한 어느 한 쌍의 센서들로부터 획득된 이미지들을 선택하는 단계와, (d) 상기 선택된 이미지들을 스테레오 매칭하여 상기 자율 이동체의 주행 경로 설정을 위한 3차원의 거리 데이터를 생성하는 단계를 포함한다. 상기 (b) 단계에서는 상기 촬영 유닛들이 장착된 하우징은 상기 이동체에 대하여 제1 축을 중심으로 회전되고 상기 제1 축과 교차하는 제2 축을 중심으로 틸팅되면서 상기 이미지를 획득하며, 상기 촬영 유닛들 각 쌍은 서로 동일한 이격 거리를 가진 채로 상기 제1 축을 따라 2열을 이루도록 배치된다.

본 발명의 일 측면에 따르면, 상기 (a) 단계는, 환경 요인에 대응하여 기 설정된 변수 값을 상기 촬영 유닛들에 적용하는 단계와, 상기 (d) 단계에서 스테레오 매칭에 의한 값이 기준 값보다 낮을 경우 상기 촬영 유닛들의 변수 값을 조정하는 단계를 포함한다.

본 발명의 다른 일 측면에 따르면, 상기 센서들은 조도에 대해 다른 특성을 갖는 CCD 센서, 초 저조도 센서, 및 적외선 센서들을 포함한다.

본 발명의 또 다른 일 측면에 따르면, 상기 (c) 단계는, 상기 촬영 유닛들의 입력신호의 매칭 비용함수 m(x)의 최대값인 max{m(CCD 센서), m(초 저조도 센서), m(적외선 센서)}로부터 결정된다.

상기와 같이 구성되는 본 발명에 관련된 스테레오 센서 장치 및 그를 구비한 자율 이동체, 그리고 그의 이미지 처리 방법은 하나의 환경 요인에 대하여 서로 다른 특성을 가지며 스테레오 형태로 동작하는 복수 쌍의 촬영 유닛으로 획득된 이미지를 스테레오 매칭을 하도록 구성됨에 따라, 환경 요인에 따르는 촬영 유닛들의 고유 특성이 상호 보완되어 더욱 정확한 이미지 획득이 가능하게 한다. 나아가, 단일 촬영 유닛이 갖는 매칭의 한계 또한 위와 같은 보완을 통해 극복될 수 있게 한다.

이하, 본 발명의 바람직한 실시예에 따른 스테레오 센서 장치 및 그를 구비한 자율 이동체, 그리고 그의 이미지 처리 방법에 대하여 첨부한 도면을 참조하여 상세히 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 스테레오 센서 장치(100)를 보인 사시도이다.

본 도면을 참조하면, 상기 스테레오 센서 장치(100)는 이미지 획득부(10)와, 이미지 처리부(20, 도 4 참조)를 포함한다.

상기 이미지 획득부(10)는 하우징(11)에 장착되는 복수 쌍의 촬영 유닛 들(16,17,18)을 포함한다.

하우징(11)은 자율 이동체(200)의 몸체(210, 이상 도 3a 참조)에 장착된다. 이러한 장착은 몸체(210)와 하우징(11)을 연결하도록 배치되는 마운트(30)에 의해 이루어진다. 마운트(30)는 몸체(210)에 결합되는 고정부(31)와, 고정부(31)에 상대 이동 가능하게 연결되는 이동부(32)를 포함한다. 고정부(31)가 몸체(210)에 고정된다면, 이동부(32)는 수직축(V)을 중심으로 몸체(210)에 대하여 회전 이동하도록 구성될 수 있다. 이동부(32)는 수평축(H)를 중심으로 회전 이동{또는 틸팅(tilting)}하도록 구성될 수도 있다. 이와 달리, 하우징(11) 자체가 이동부(32)에 대하여 틸팅되도록 구성될 수도 있다.

하우징(11)에 수용되는 촬영 유닛들(16,17,18)은 하우징(11)의 일 면을 통해 외부에서 접근 가능하도록 배치된다. 또한, 촬영 유닛들(16,17,18) 각 쌍의 두 개의 촬영 유닛들은 동일한 이격 거리를 가진 채로 배치되며, 전체적으로 2개의 열을 이루도록 배치된다.

촬영 유닛들(16,17,18)은 각각 하나의 환경 요인에 대하여 다른 특성을 갖는 이미지 획득을 위한 센서를 포함할 수 있다. 예를 들어, 환경 요인의 하나로서 조도에 대해 다른 특성을 갖는 CCD 센서, 초 저조도 센서, 적외선 센서를 포함할 수 있다. 초저저도 센서는 일반 센서보다 낮은 조도에서도 이미지 획득이 가능한 센서로서, 예를 들어 일반적인 CCD 센서 중 낮은 조도에서 동작 가능한 센서를 지칭할 수 있다.

CCD 센서를 갖는 촬영 유닛(16)은 가시광대역의 전방환경에 대한 이미지를 획득할 수 있고 다른 종류의 촬영 유닛보다 높은 매칭률 및 해상도를 가진다. 그러나 광량이 적은 어두운 지역이나 야간에는 성능이 떨어지는 단점이 있다. 이러한 단점은 미광에도 반응하는 초 저조도 센서를 갖는 촬영 유닛(17)과 광원으로 발광 수단, 예를 들어 적외선램프(230, 도 3b)를 사용하여 보완할 수 있다. 또한, 물체의 온도차에 따라 발생하는 적외선을 감지하는 적외선 센서를 갖는 촬영 유닛(18)은 주·야간의 광원에 상관없는 환경 센싱을 가능하게 하여, 필요에 따라 앞선 촬영 유닛들(16 및 17)을 보완할 수 있다.

도 2는 도 1의 촬영 유닛들(16,17,18) 각 쌍이 스테레오 방식으로 동작하여 3차원 거리를 추정하는 방법을 설명하기 위한 개념도이다.

본 도면을 참조하면, 촬영 유닛들(16,17,18) 각 쌍에 의해 구현되는 스테레오 시스템은 인간의 두 눈과 같이 촬영 유닛을 쌍으로 평행하게 배치하여 제작된다.

스테레오 촬영 유닛으로부터 획득한 두 장의 영상(이미지)은 물체와의 변이(disparity) 추정 및 삼각법을 통하여 물체의 3차원 거리를 추정하는데 활용되고 있다.

구체적으로 살펴보면, 좌우 영상의 화소 간 변이(disparity, d)와 촬영 유닛 파라미터{초점거리(f), 촬영 유닛 간 거리(T)}를 이용하여 촬영 유닛으로부터 물체까지의 거리를 예측할 수 있게 된다.

삼각법을 이용해 물체(P)의 3차원 거리(Z)를 구하는 식은 아래와 같다.

(T + x_left - x_right) / (Z-f) = T / Z (1)

식(1)에서 물체(P)가 좌 영상에 매칭되는 지점(X_left)과 우 영상에 매칭되는 지점(Xright)의 화소간 거리를 변이(d)를 아래와 같이 두고

d = x_right - x_left (2)

식(2)를 대입하여 식(1)을 정리하면 다음과 같다.

Z = f * (T / d) (3)

식(3)을 고려하면, 좌우 영상의 화소 간 변이(d)와 촬영 유닛 파라미터{초점거리(f), 촬영 유닛 간 거리(T)}를 알면, 물체(P)의 3차원 거리(Z)를 추정할 수 있게 됨을 알 수 있다.

도 3a는 도 1의 스테레오 센서 장치(100)가 장착된 자율 이동체(200)의 측면도이고, 도 3b는 도 3a의 정면도이다.

이 도면들을 참조하면, 자율 이동체(200)는 이미지 획득부(10) 등이 구비된 몸체(210)를 포함한다. 몸체(210)에는 그의 이동을 가능하기 위한 수단, 예를 들어 바퀴(220)가 설치된다. 바퀴(220)는 몸체(210)에 장착된 동력원에 의해 구동된다.

몸체(210)는 이미지 획득부(10)에서 획득되고 이미지 처리부(20)에 의한 처리에 의해 생성된 전방 환경 모델링 정보와 그에 설정된 주행 경로를 따라 이동하게 된다.

이미지 처리부(20)의 모델링 정보 및 주행 경로는 몸체(210)에 탑승한 인원이 볼 수 있도록 디스플레이를 통해 출력될 수 있다. 이와 달리, 이미지 처리 부(20)의 모델링 정보 및 주행 경로는 통신을 통해 원격 제어 등을 위한 기기에 전송될 수도 있다.

본 실시예에서는 자율 이동체(200)로서 차량을 예시하고 있으나, 본 발명의 그에 제한되지 않는다. 예를 들어, 로봇, 선박, 항공기 등도 본 발명의 자율 이동체(200)로서 구현될 수 있을 것이다.

도 4는 도 3a 및 3b의 이미지 획득부(10) 및 이미지 처리부(20)의 작동 관계를 보인 블록도이다.

본 도면을 참조하면, 이미지 획득부(10)에 연결된 이미지 처리부(20)는 촬영 유닛들(16,17,18)의 센서들(16',17',18')을 제어하게 된다. 센서들(16',17',18')은 일차적으로 디에스피 모듈(DSP 모듈, 12)과 연결되다. 디에스피 모듈(12)은 전원모듈(13)에 의해 전력을 공급받아 동작하게 된다. 디에스피 모듈(12)은 이미지 처리부(20)와 통신하게 된다. 이미지 처리부(20)는 센서들(16',17',18')로부터 획득된 이미지들을 동일 종류의 센서들로부터의 이미지들 끼리 스테레오 매칭하여 처리한다. 이러한 매칭을 통해 3차원 환경 모델링을 위한 거리 값들이 생성된다.

이미지 처리부(20)는 센서들(16',17',18')로부터의 이미지들 중 환경 요인을 고려하여 한 쌍의 센서에 의해 감지된 최적의 감도의 값을 채택하여 매칭을 수행하게 된다. 그 결과로, 하나의 센서에 의존하는 경우보다 다양한 환경 여건에 대해 보다 최적화된 값들을 얻을 수 있게 된다.

도 5는 본 발명의 또 다른 실시예에 따른 자율 이동체(200)의 이미지 처리 방법을 설명하기 위한 순서도이다.

상기 이미지 처리 방법은 (a) 촬영 유닛의 보정 변수 설정 단계와, (b) 이미지 획득 단계와, (c) 이미지 선택 단계, 그리고 (d) 매칭 수행 단계를 포함한다.

상기 (a) 단계에서는 하나의 환경 요인(예를 들어, 계절, 시간, 온도, 습도)에 대하여 서로 다른 특성을 갖는 적어도 두 쌍의 촬영 유닛들의 보정 변수를 설정한다. 보정 변수 설정은 위 환경 요인에 대한 정보에 근거하여 기 획득된 최적의 변수 값을 적용함에 의해 이루어진다. 위 적용된 변수 값은 위 (d) 단계에서 스테레오 매칭에 의한 값이 기준 값보다 낮을 경우 다시 조정될 수 있다.

구체적으로 예를 들어 설명하면, 각각의 센서들(16',17',18')은 이미지 처리부(20)와의 통신을 통해서 고유 파라미터를 변경할 수 있기 때문에 자율 이동체(200)의 주행환경정보에 따라 유연한 센서 파라미터 설정이 가능하다. CCD/초 저조도 촬영 유닛(16/17)은 광량에 민감하므로 현재 자율 이동체(200)가 주행하고 있는 시간, 계절 등으로 현재 광원의 정도를 미리 예측하고, 조도, 온도, 습도 등의 환경센서로부터 측정된 값들을 이용하여 광원의 정도와 같은 환경정보를 예측하여 최적 화질을 보장하는 파라미터 설정을 수행한다.

다시 말해서, 광량이 작을 때는 셔터 스피드(shutter speed)를 낮추어 광원에 노출 시간을 높이고 촬영 유닛의 게인(Gain) 값을 높여 작은 빛의 차이에도 영상 정보의 신호대 잡음비를 높여 줌으로써 자율 이동체(200)의 운용환경에 적합한 설정을 수행한다.

적외선 촬영 유닛(18)도 마찬가지로 현재 자율 이동체(200)의 주변 온도 같은 환경정보를 이용하여 적외선 센서(18')의 파라미터를 설정해 준다. 적외선 센 서(18')는 모든 화소마다 셀의 특성이 다르기 때문에 특히 스테레오의 경우 좌우 카메라 셀의 특성까지 동일하게 맞추어야 하므로 주변 환경정보에 따른 offset 보정과 같은 파라미터 설정을 수행하도록 한다. 이 과정은 NUC(Non-Uniformity Calibration, 14, 도 4 참조) 컨트롤러를 통해 수행된다. 이 모든 환경에 대한 센서 파라미터 값들은 다양한 실험값들을 테이블화 해두어 스테레오 센서 장치(100)에 저장해 둠으로써 자동화가 가능해 진다.

그 다음으로 환경에 따라 미리 저장된 테이블을 참조한 센서파라미터 값들을 적용한 후에도 매칭률이 기준 값보다 낮게 되면 세부적인 파라미터 조절을 수행하게 된다. 즉, 만족할 만한 매칭률이 나올 때까지 자율 이동체(200)를 정지시켜놓고 안정된 상태에서 센서를 미세 보정하고 매칭 성능이 개선될 때까지 파라미터 조정을 하게 된다.

상기 (b) 단계에서는 상기 촬영 유닛들을 트리거링하여 자율 이동 중인 이동체가 위치한 장소에 관한 이미지를 획득하게 된다. 이미지 처리부(20)는 센서들(16',17',18') 각 쌍을 통한 이미지의 동시 획득 및 처리를 위한 신호 동기화 방법을 포함한다. 이의 한 방법으로서, 이미지 처리부(20)는 센서들(16',17',18') 각 쌍이 동시에 트리거링(triggering)되도록 제어한다.

상기 (c) 단계에서는 상기 적어도 두 쌍의 촬영 유닛들로부터 획득된 복수 쌍의 이미지들 중 어느 한 쌍의 센서들로부터 획득된 한 쌍의 이미지들을 선택하게 된다. 위 선택은 상기 촬영 유닛들(16,17,18)의 입력신호의 매칭 비용함수(스테레오 이미지의 매칭률) m(x)에 대한 최대값, 즉 max{m(CCD 센서(16)), m(초 저조도 센서(17)), m(적외선 센서(18))}로부터 결정될 수 있다.

상기 (d) 단계에서는 상기 선택된 이미지들을 스테레오 매칭하여 상기 자율 이동체의 주행 경로 설정을 위한 3차원의 거리 데이터를 생성하는 단계를 포함한다.

상기와 같은 스테레오 센서 장치 및 그를 구비한 자율 이동체, 그리고 그의 이미지 처리 방법은 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수도 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 스테레오 센서 장치를 보인 사시도.

도 2는 도 1의 촬영 유닛들 각 쌍이 스테레오 방식으로 동작하여 3차원 거리를 추정하는 방법을 설명하기 위한 개념도.

도 3a는 도 1의 스테레오 센서 장치가 장착된 자율 이동체의 측면도이고, 도 3b는 도 3a의 정면도.

도 4는 도 3a 및 3b의 이미지 획득부 및 이미지 처리부의 작동 관계를 보인 블록도.

도 5는 본 발명의 또 다른 실시예에 따른 자율 이동체의 이미지 처리 방법을 설명하기 위한 순서도.

Claims (13)

1. 자율 이동체에 대하여 제1 축을 중심으로 회전되며, 상기 제1 축과 교차하는 제2축을 중심으로 틸팅 가능하게 장착되는 하우징;

   상기 하우징에 스테레오 형태로 동작하도록 배치되며, 하나의 환경 요인에 대하여 서로 다른 특성을 갖고서 동작하는 적어도 두 쌍의 촬영 유닛들; 및

   상기 촬영 유닛들과 연결되어, 상기 촬영 유닛들 각 쌍으로부터 획득된 이미지들을 각각 스테레오 매칭하여 처리 가능한 이미지 처리부를 포함하고,

   상기 이미지 처리부는 상기 촬영 유닛들 각 쌍으로부터의 이미지들 중 상기 환경 요인을 고려하여 어느 한 쌍으로부터의 상대적으로 우수한 이미지들을 채택하여 매칭 하도록 구성되며,

   상기 촬영 유닛들 각 쌍은 서로 동일한 이격 거리를 갖는 채로 상기 제1 축을 따라 2열을 이루도록 배치되는 것을 특징으로 하는 자율 이동체용 스테레오 센싱 장치.
2. 제1항에 있어서,

   상기 하우징을 상기 자율 이동체에 장착하기 위한 마운트를 더 포함하고,

   상기 마운트는,

   상기 자율 이동체에 결합되는 고정부; 및

   상기 하우징이 결합되며, 상기 고정부에 대하여 상기 회전 및 틸팅이 가능하게 장착되는 이동부를 포함하는 것을 특징으로 하는 자율 이동체용 스테레오 센싱 장치.
3. 삭제
4. 제1항에 있어서,

   상기 촬영 유닛들은,

   조도에 대해 다른 특성을 갖는 CCD 센서, 초 저조도 센서, 및 적외선 센서들 중 적어도 2개를 각각 쌍으로 포함하는 것을 특징으로 하는 자율 이동체용 스테레오 센싱 장치.
5. 삭제
6. 제1항에 있어서,

   상기 이미지 처리부는 상기 촬영 유닛들 각 쌍이 동시에 트리거링 되도록 제어하는 것을 특징으로 하는 자율 이동체용 스테레오 센싱 장치.
7. 자율 이동 가능하도록 구동되는 몸체;

   상기 이동 중에 상기 몸체에 대하여 제1 축을 중심으로 회전되며, 상기 제1 축과 교차하는 제2 축을 중심으로 틸팅 가능하도록 상기 몸체에 설치되는 하우징;

   상기 하우징에 스테레오 형태로 동작하도록 배치되며, 하나의 환경 요인에 대하여 서로 다른 특성을 갖고서 동작하고, 각 쌍은 서로 동일한 이격 거리를 갖는 채로 상기 제1 축을 따라 2열을 이루도록 배치되는 적어도 두 쌍의 촬영 유닛들;

   상기 촬영 유닛들과 연결되어, 상기 촬영 유닛들 각 쌍으로부터 획득된 이미지들을 각각 스테레오 매칭하여 처리 가능한 이미지 처리부를 포함하고,

   상기 이미지 처리부는 상기 촬영 유닛들 각 쌍으로부터의 이미지들 중에서 상기 환경 요인을 고려하여 어느 한 쌍으로부터의 상대적으로 우수한 이미지들을 채택하여 매칭 하도록 구성되며,

   상기 몸체는 상기 처리된 이미지에 근거한 주행 경로를 따라 이동하도록 구동되는 것을 특징으로 하는 스테레오 센싱 가능한 자율 이동체.
8. 제7항에 있어서,

   상기 촬영 유닛들은,

   조도에 대해 다른 특성을 갖는 CCD 센서, 초 저조도 센서, 및 적외선 센서들 중 적어도 2개를 각각 쌍으로 포함하는 것을 특징으로 하는 스테레오 센싱 가능한 자율 이동체.
9. 삭제
10. (a) 하나의 환경 요인에 대하여 서로 다른 특성을 갖고서 동작하는 적어도 두 쌍의 촬영 유닛들의 보정 변수를 설정하는 단계;

    (b) 상기 촬영 유닛들을 트리거링하여 자율 이동 중인 이동체가 위치한 장소에 관한 이미지를 획득하는 단계;

    (c) 상기 적어도 두 쌍의 촬영 유닛들로부터 획득된 이미지들 중 어느 한 쌍의 촬영 유닛들로부터 획득된 상대적으로 우수한 이미지들을 선택하는 단계; 및

    (d) 상기 선택된 이미지들을 스테레오 매칭하여 상기 자율 이동체의 주행 경로 설정을 위한 3차원의 거리 데이터를 생성하는 단계를 포함하고,

    상기 (b) 단계에서는 상기 촬영 유닛들이 장착된 하우징은 상기 이동체에 대하여 제1 축을 중심으로 회전되고 상기 제1 축과 교차하는 제2 축을 중심으로 틸팅되면서 상기 이미지를 획득하며, 상기 촬영 유닛들 각 쌍은 서로 동일한 이격 거를 가진 채로 상기 제1 축을 따라 2열을 이루도록 배치되는 것을 특징으로 하는 스테레오 센싱 장치의 이미지 처리 방법.
11. 제10항에 있어서,

    상기 (a) 단계는,

    환경 요인에 대응하여 기 설정된 변수 값을 상기 촬영 유닛들에 적용하는 단계; 및

    상기 (d) 단계에서 스테레오 매칭에 의한 값이 기준 값보다 낮을 경우 상기 촬영 유닛들의 변수 값을 조정하는 단계를 포함하는 것을 특징으로 하는 스테레오 센싱 장치의 이미지 처리 방법.
12. 제10항에 있어서,

    상기 촬영 유닛들은 조도에 대해 다른 특성을 갖는 CCD 센서, 초 저조도 센서, 및 적외선 센서들을 포함하는 것을 특징으로 하는 스테레오 센싱 장치의 이미지 처리 방법.
13. 제12항에 있어서,

    상기 (c) 단계에서,

    상기 이미지의 선택은 다음식:

    max{m(CCD 센서), m(초 저조도 센서), m(적외선 센서)}{m(x)는 매칭 비용 함수, max(x)는 최대값을 선택하는 함수}에 의해 결정되는 것을 특징으로 하는 스테레오 센싱 장치의 이미지 처리 방법.

Images