KR20190087079A - 물체의 절대 포인트 클라우드 생성 장치 및 방법 - Google Patents

Abstract

물체의 절대 포인트 클라우드 생성 방법에 관한 것이며, 물체의 절대 포인트 클라우드 생성 방법은, (a) GPS 원시 측정 데이터를 이용하여 산출된 스테레오 카메라의 GPS 기반 위치 및 관성항법장치로부터 획득되는 INS 원시 측정 데이터에 기초하여 상기 스테레오 카메라의 절대 위치와 절대 자세를 추정하는 단계; (b) 상기 스테레오 카메라로부터 획득되는 물체에 대한 스테레오 영상을 이용하여 추정된 상기 스테레오 카메라로부터 상기 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성하는 단계; 및 (c) 추정된 상기 스테레오 카메라의 절대 위치와 절대 자세 및 상기 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려하여 상기 상대 포인트 클라우드를 절대 좌표화한 절대 포인트 클라우드를 생성하는 단계를 포함할 수 있다.

Description

물체의 절대 포인트 클라우드 생성 장치 및 방법 {APPARATUS AND METHOD FOR GENERATING ABSOLUTE POINT CLOUD OF THE OBJECT}

본원은 물체의 절대 포인트 클라우드 생성 장치 및 방법에 관한 것이며, 특히, RTK GPS, INS 및 단일 스테레오 카메라를 이용하여 물체의 정확한 절대 포인트 클라우드를 생성하는 장치 및 방법에 관한 것이다.

최근 자율 주행에 관한 연구가 활발히 진행되면서 정밀 지도 필요성이 증대되고 있으며, 이와 관련하여 MMS(Mobile Mapping System)에 관한 연구가 활발히 이루어지고 있다. 그런데, 종래에 공지된 정밀 지도 생성 기술들은, 매우 높은 수준의 정밀도를 갖는 GPS와 INS 센서 그리고 LiDAR(Light Detection And Ranging)를 필요로 하기 때문에, MMS 장비를 구성하는데 높은 비용이 요구되는 단점이 있다.

또한, 3차원 지도를 생성하기 위해 무인 항공기, 차량 등으로 획득한 영상을 활용하는 연구가 활발히 이루어지고 있으며, 이와 관련된 연구기법들은 대부분 2차원 영상을 이용해 3차원 지도를 생성하기 위해, 획득한 시점의 위치 정보가 필수적으로 요구된다. 이러한 3차원 지도 생성을 위해 일반적으로는 이동체를 활용하여 획득한 영상 내 주요 지형 지물의 좌표값을 Global Positioning System (GPS)를 활용하여 획득한 후, 주요 지형 지물의 각 픽셀에 절대 좌표를 수작업으로 할당하는 방식이 이용되며, 이러한 절대 좌표의 수작업 할당 방식은 3차원 지도 생성에 있어서 비효율적인 측면이 있다.

또한, 기존의 영상 분야에서 카메라 이미지를 이용해 획득한 포인트 클라우드는 일반적으로 카메라 렌즈 중심이 원점인 좌표계가 기준이 되기 때문에, 이는 현실세계와 동일한 스케일과 위치에 해당하는 3차원 공간 정보로서 활용하는데 어려움이 있다.

본원의 배경이 되는 기술은 한국등록특허공보 제10-1392804호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 기존의 절대 포인트 클라우드 생성 방식에서 사용되는 고가의 항법 장비에 의존하지 않고 비교적 저가의 GPS/INS 센서와 RTK 소프트웨어를 활용해 정확한 절대 포인트 클라우드를 생성할 수 있는 물체의 절대 포인트 클라우드 생성 장치 및 방법을 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, RTK GPS와 INS 및 단일 스테레오 카메라를 이용함으로써 기존의 카메라 렌즈 중심이 원점인 좌표계의 상대 포인트 클라우드를 절대 좌표계인 지구 중심 좌표계를 기준으로 획득할 수 있는 물체의 절대 포인트 클라우드 생성 장치 및 방법을 제공하려는 을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제1 측면에 따른 물체의 절대 포인트 클라우드 생성 방법은, (a) GPS 원시 측정 데이터를 이용하여 산출된 스테레오 카메라의 GPS 기반 위치 및 관성항법장치로부터 획득되는 INS 원시 측정 데이터에 기초하여 상기 스테레오 카메라의 절대 위치와 절대 자세를 추정하는 단계; (b) 상기 스테레오 카메라로부터 획득되는 물체에 대한 스테레오 영상을 이용하여 추정된 상기 스테레오 카메라로부터 상기 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성하는 단계; 및 (c) 추정된 상기 스테레오 카메라의 절대 위치와 절대 자세 및 상기 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려하여 상기 상대 포인트 클라우드를 절대 좌표화한 절대 포인트 클라우드를 생성하는 단계를 포함할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제2 측면에 따른 물체의 절대 포인트 클라우드 생성 장치는, GPS 원시 측정 데이터를 이용하여 산출된 스테레오 카메라의 GPS 기반 위치 및 관성항법장치로부터 획득되는 INS 원시 측정 데이터에 기초하여 상기 스테레오 카메라의 절대 위치와 절대 자세를 추정하는 추정부; 상기 스테레오 카메라로부터 획득되는 물체에 대한 스테레오 영상을 이용하여 추정된 상기 스테레오 카메라로부터 상기 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성하는 상대 포인트 클라우드 생성부; 및 추정된 상기 스테레오 카메라의 절대 위치와 절대 자세 및 상기 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려하여 상기 상대 포인트 클라우드를 절대 좌표화한 절대 포인트 클라우드를 생성하는 절대 포인트 클라우드 생성부를 포함할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제3 측면에 따른 컴퓨터 프로그램은, 본원의 제1 측면에 따른 물체의 절대 포인트 클라우드 생성 방법을 실행시키기 위하여 기록매체에 저장되는 것일 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 저가의 GPS/INS 센서와 스테레오 카메라를 이용하여 물체의 정확한 절대 포인트 클라우드를 생성할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 추정된 스테레오 카메라의 절대 위치와 절대 자세 및 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려함으로써 매 시점 생성된 상대 포인트 클라우드를 절대 좌표계상에 표현할 수 있다.

또한, 본원은 카메라 렌즈 중심이 원점인 좌표계를 기준으로 생성되는 기존의 상대 포인트 클라우드와는 달리 절대 좌표계인 지구 중심 좌표계 기반으로 하는 절대 포인트 클라우드를 생성함으로써, 현실세계와 동일한 스케일과 위치에 해당하는 3차원 공간 정보로서 활용할 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 장치(이하 '본 장치'라 함)를 개략적으로 나타낸 도면이다.
도 2는 본 장치의 개락적인 구성을 나타낸 블록도이다.
도 3은 본 장치의 세부 구성을 나타낸 블록도이다.
도 4 및 도 5는 본 장치에서 추정부의 세부 구성을 나타낸 도면이다.
도 6은 본 장치에서 상대 포인트 클라우드 생성부의 세부 구성을 나타낸 도면이다.
도 7은 본 장치에서 절대 포인트 클라우드 생성부의 세부 구성을 나타낸 도면이다.
도 8은 본 장치에서의 상대 포인트 클라우드 및 센서 위치 간 기하학적 모형을 개략적으로 나타낸 도면이다.
도 9는 본 장치에서 절대 포인트 클라우드의 기하학적 모형을 개략적으로 나타낸 도면이다.
도 10은 본 장치에서 상대 좌표를 절대 좌표화하는 방법을 개략적으로 나타낸 도면이다.
도 11은 본원의 일 실험예에 따라 본 장치에 의하여 생성된 상대 포인트 클라우드를 각 축으로 나누어 나타낸 도면이다.
도 12는 본원의 일 실험예에 따라 절대 좌표화된 포인트 클라우드를 ECEF(Earth-Centered Earth-Fixed) 좌표계(a)로 나타낸 도면 및 포인트 클라우드와 GPS 항법 해를 NED(North-East-Down) 좌표계(b)로 변환한 도면을 나타낸다.
도 13은 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 방법에 대한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 장치를 개략적으로 나타낸 도면이고, 도 2는 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 장치의 개락적인 구성을 나타낸 블록도이고, 도 3은 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 장치의 세부 구성을 나타낸 블록도이다.

이하에서는 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 장치(100)를 설명의 편의상 '본 장치(100)'라 하기로 한다.

도 1을 참조하면, 본 장치(100)는 스테레오 카메라(1), 관성항법장치(2), GPS 센서(3) 및 하우징(5)을 포함할 수 있다.

스테레오 카메라(1)는 제1 시점 영상을 획득하는 제1 시점 영상 획득부(1a) 및 제2 시점 영상을 획득하는 제2 시점 영상 획득부(1b)를 포함할 수 있다. 제1 시점 영상 획득부(a)와 제2 시점 영상 획득부(1b)는 하우징(5)의 일면에 소정의 간격을 두고 이격되어 배치될 수 있다. 일예로, 제1 시점 영상 획득부(a)와 제2 시점 영상 획득부(1b)는 도 1의 도면을 기준으로 하우징(5)의 전면에 수평방향을 따라 간격을 두고 배치될 수 있으며, 다만 이에만 한정되는 것은 아니다. 또한, 스테레오 카메라(1)는 스테레오 카메라 센서라 달리 지칭될 수 있다.

본 장치(100)는 스테레오 카메라(1)로부터 스테레오 영상(스테레오 영상 데이터)을 획득할 수 있다. 구체적으로, 본 장치(100)는 스테레오 카메라(1)로부터 물체에 대한 스테레오 영상(스테레오 영상 데이터)으로서 물체에 대한 제1 시점 영상과 제2 시점 영상을 획득할 수 있다. 본 장치(100)는 스테레오 카메라(1)로부터 획득되는 물체에 대한 스테레오 영상인 제1 시점 영상과 제2 시점 영상을 이용하여 스테레오 카메라(1)로부터 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성할 수 있으며, 보다 구체적인 설명은 후술하여 설명하기로 한다.

관성항법장치(2)(Inertial navigation System, INS)는 INS 원시 측정 데이터로서 본 장치(100)의 자세 정보를 획득할 수 있다. 관성항법장치(2)는 관성항법장치(INS) 내에 포함된 관성측정장치(Inertial Measurement Unit, IMU)를 통해 INS 원시 측정 데이터를 획득할 수 있다. 관성항법장치(2)로부터 획득되는 INS 원시 측정 데이터는 후술할 스테레오 카메라(1)의 절대 자세 추정시 이용될 수 있다.

일예로, 관성항법장치(2)는 도 1의 도면을 기준으로 하우징(5)의 상면에 배치될 수 있으며, 다만 이에만 한정되는 것은 아니다. 또한, 관성항법장치(2)는 INS 센서라 달리 지칭될 수 있다.

GPS 센서(3)는 본 장치(100)의 위치 정보로서 GPS 측정 데이터를 획득할 수 있다. 이때, 본 장치(100)는 GPS 센서(3)를 통해 획득된 GPS 측정 데이터와 기준국 데이터를 포함하는 GPS 원시 측정 데이터를 이용하여 스테레오 카메라(1)의 GPS 기반 위치를 산출할 수 있으며, 보다 구체적인 설명은 후술하여 설명하기로 한다.

GPS 센서(3)는 일예로 하우징(5)의 후면에 구비될 수 있으나, 이에만 한정되는 것은 아니다. 다른 일예로, GPS 센서(3)는 하우징(5) 내에 구비될 수 있다. 또한, GPS 센서(3)는 GPS 수신기로 달리 지칭될 수 있다.

일예로, 하우징(5)은 스테레오 카메라(1)의 하우징일 수 있다.

한편, 도 4 및 도 5는 본 장치(100)에서 추정부(10)의 세부 구성을 나타낸 도면이고, 도 6은 본 장치(100)에서 상대 포인트 클라우드 생성부의 세부 구성을 나타낸 도면이고, 도 7은 본 장치(100)에서 절대 포인트 클라우드 생성부의 세부 구성을 나타낸 도면이다.

이들 도 2 내지 도 7을 참조하면, 본 장치(100)는 스테레오 카메라(1)로부터 획득된 물체에 대한 스테레오 영상(스테레오 영상 데이터)(21), 관성항법장치(2)로부터 획득되는 INS 원시 측정 데이터(14) 및 GPS 센서(3)로부터 측정되는 GPS 측정 데이터를 포함하는 GPS 원시 측정 데이터(11)를 이용하여 물체에 대한 절대 포인트 클라우드(32)를 생성할 수 있다. 구체적인 설명은 다음과 같다.

본 장치(100)는 추정부(10), 상대 포인트 클라우드 생성부(20) 및 절대 포인트 클라우드 생성부(30)를 포함할 수 있다.

도 4를 참조하면, 추정부(10)는 GPS 원시 측정 데이터(11)를 이용하여 산출된 스테레오 카메라(1)의 GPS 기반 위치(13) 및 관성항법장치(Inertial navigation System, INS)(2)로부터 획득되는 INS 원시 측정 데이터(14)에 기초하여 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 추정할 수 있다. 추정부(10)는 움직이는(이동하는) 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 추정할 수 있다.

여기서, INS 원시 측정 데이터(14)는 관성항법장치(2) 내에 포함된 관성측정장치(Inertial Measurement Unit, IMU)를 통해 획득될 수 있다.

또한, GPS 원시 측정 데이터(11)를 이용하여 산출된 스테레오 카메라(1)의 GPS 기반 위치(13)는, GPS 원시 측정 데이터(11)로서 기준국 데이터(11a)와 GPS 센서(3)로부터 측정되는 GPS 측정 데이터(11b)를 RTK(Real-Time Kinematic) 소프트웨어(GAFAS)(12)에 적용함에 따라 GPS 측정 데이터(11b)에 포함된 거리의존오차가 보상된 위치일 수 있다. 여기서 기준국(Reference Station)은 GPS 측량에서 정확히 좌표가 결정되어 있는 점을 의미한다.

달리 말해, 추정부(10)는, GPS 원시 측정 데이터(11)로서 기준국 데이터(11a)와 GPS 센서(3)로부터 측정되는 GPS 측정 데이터(11b)를 RTK(Real-Time Kinematic) 소프트웨어(12)에 적용함으로써 GPS 측정 데이터(11b)에 포함된 거리의존오차가 보상된 위치로서 GPS 기반 위치(13)를 산출할 수 있다.

본 장치(100)는 움직이는(이동하는) 스테레오 카메라(1)의 위치를 산출함에 있어서, 단순히 일반적인 GPS 센서로부터 획득되는 정보(GPS 측정 데이터)를 이용하는 것이 아니라, 기준국 데이터를 이용해 RTK GPS(Real Time Kinematic-Global Positioning System) 기법을 적용함으로써 GPS 측정 데이터에 포함된 거리의존오차를 정확하게 보상하여 수 cm의 정확도를 갖는 스테레오 카메라(1)의 위치(즉, 스테레오 카메라의 GPS 기반 위치)를 산출할 수 있다.

즉, 추정부(10)는 기준국 데이터(11a)와 GPS 측정 데이터(11b)를 포함하는 GPS 원시 측정 데이터(11)를 RTK(Real-Time Kinematic) 소프트웨어(12)에 적용함으로써 GPS 측정 데이터(11b)에 포함된 거리의존오차가 정확하게 보상된 수 cm의 정확도를 갖는 스테레오 카메라(1)의 위치 좌표로서 GPS 기반 위치(13)를 산출할 수 있다. 달리 말해, 추정부(10)는 GPS 기반 위치(13)로서 정확한 cm 급 스테레오 카메라(1)의 절대 위치를 산출할 수 있다.

또한, 추정부(10)는 산출된 GPS 기반 위치(13)와 INS 원시 측정 데이터(14)에 대하여 칼만 필터를 적용하여 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 추정할 수 있다. 여기서, 칼만 필터는 일예로 GPS/INS 약결합(Loosely Coupled, LC) 칼만 필터일 수 있다. 달리 표현하여, 추정부(10)는 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 추정하기 위해, GPS/INS 약결합 칼만 필터를 이용하는 GPS/INS 통합 항법 알고리즘을 적용할 수 있다.

다시 말해, 도 5를 참조하면, 추정부(10)는 수 cm의 정확도를 갖는 GPS 기반 위치(13)와 INS 원시 측정 데이터(14)를 입력으로 하여 GPS/INS 약결합 칼만 필터(15)를 적용함으로써 움직이는(이동하는) 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 추정할 수 있다. 이때, 본 장치(100)에서는 일예로 카메라(1)의 절대 위치와 절대 자세(16)의 추정시 약결합 칼만 필터(15)가 적용되는 것으로 예시하였으나, 이에만 한정되는 것은 아니고, 다른 일예로 강결합(Tightly Coupled, TC) 칼만 필터가 적용될 수도 있다.

한편, 관성항법장치(2)는 스테레오 카메라(1)의 이동과 연동하도록 설치될 수 있다. 즉, 관성항법장치(20)는 스테레오 카메라(1)에 접촉되도록 설치될 수 있으며, 일예로 관성항법장치(20)는 스테레오 카메라(1)의 하우징(5)의 상면에 설치될 수 있다.

이러한 경우, 추정부(10)는 GPS 기반 위치(13) 및 INS 원시 측정 데이터(14)에 기초하여 추정된 관성항법장치(2)의 절대 위치와 절대 자세에 대하여, 관성항법장치(2)에서 스테레오 카메라(1)로의 상대 위치 벡터를 고려함으로써 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 추정할 수 있다.

여기서, 스테레오 카메라(1)는 제1 시점 영상 획득부(1a) 및 제2 시점 영상 획득부(1b)를 포함할 수 있다. 또한, 스테레오 카메라(1)의 절대 위치와 절대 자세(16) 추정시 고려되는 스테레오 카메라(1)로의 상대 위치 벡터는 관성항법장치(2)에서 제1 시점 영상 획득부(1a)로의 상대 위치 벡터 또는 관성항법장치(2)에서 제2 시점 영상 획득부(1b)로의 상대 위치 벡터를 의미할 수 있다. 달리 표현하여, 스테레오 카메라(1)의 절대 위치와 절대 자세(16) 추정시 고려되는 스테레오 카메라(1)로의 상대 위치 벡터는 관성항법장치(2)에서 제1 시점 영상 획득부(1a)의 렌즈 중심으로의 상대 위치 벡터 또는 관성항법장치(2)에서 제2 시점 영상 획득부(1b)의 렌즈 중심으로의 상대 위치 벡터를 의미할 수 있다.

이에 따르면, 추정부(10)는 스테레오 카메라(1)의 GPS 기반 위치(13) 및 INS 원시 측정 데이터(14)에 기초하여 관성항법장치(2)의 절대 위치와 절대 자세를 추정하고, 추정된 관성항법장치(2)의 절대 위치와 절대 자세에 대하여 관성항법장치(2)에서 스테레오 카메라(1)로의 상대 위치 벡터를 고려함으로써 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 추정할 수 있다.

상대 포인트 클라우드 생성부(20)는 스테레오 카메라(1)로부터 획득되는 물체에 대한 스테레오 영상을 이용하여 추정된 스테레오 카메라(1)로부터 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성할 수 있다. 상대 포인트 클라우드 생성부(20)는 움직이는(이동하는) 스테레오 카메라(1)의 매 시점마다 그에 대응하는 상대 포인트 클라우드를 생성할 수 있다. 즉, 상대 포인트 클라우드는 움직이는(이동하는) 스테레오 카메라(1)의 매 시점마다 생성될 수 있다. 후술할 절대 포인트 클라우드 생성부(30)는 추정된 스테레오 카메라(1)의 절대 위치와 절대 자세(16)를 기반으로 하여, 매 시점 획득된 상대 포인트 클라우드에 절대 좌표를 부여할 수 있다. 보다 자세한 설명은 도 6을 참조하여 보다 쉽게 이해될 수 있다.

도 6을 참조하면, 상대 포인트 클라우드 생성부(20)는 스테레오 카메라(1)로부터 획득되는 스테레오 영상(21, 스테레오 영상 데이터)에 대응하는 제1 시점 영상(21a) 및 제2 시점 영상(21b) 각각에 대하여 추출된 각 영상의 특징점 간의 비교를 통해 상호 매칭되는 동일 특징점을 획득하고, 획득된 동일 특징점의 픽셀값에 대하여 최소자승법을 적용함으로써 스테레오 카메라(1)로부터 물체까지의 상대 좌표를 추정할 수 있다. 여기서, 특징점이 추출된 제1 시점 영상과 제2 시점 영상은 왜곡이 제거된 보정된 이미지일 수 있다.

본 장치(100)는 스테레오 카메라(1)의 제1 시점 영상 획득부(11a)로부터 제1 시점 영상(21a)을 획득하고, 스테레오 카메라(1)의 제2 시점 영상 획득부(11b)로부터 제2 시점 영상(21b)을 획득할 수 있다. 여기서, 도 1의 도면을 기준으로 일예로, 제1 시점 영상(21a)은 스테레오 카메라에서 왼쪽 카메라로부터 획득된 영상(이미지)을 의미하고, 제2 시점 영상(21b)은 스테레오 카메라에서 오른쪽 카메라로부터 획득된 영상(이미지)을 의미할 수 있다. 이는 본원의 이해를 돕기 위한 하나의 예시일 뿐, 이에만 한정되는 것은 아니며, 다른 일예로 제1 시점 영상이 오른쪽 카메라의 영상(이미지)이고, 제2 시점 영상이 왼쪽 카메라의 영상(이미지)일 수 있다.

스테레오 카메라(1)는 제1 시점 영상 획득부(11a)와 제2 시점 영상 획득부(11b)가 수평 방향을 따라 미리 설정된 간격(일정 간격)을 두고 배치될 수 있다. 이러한 스테레오 카메라(1)의 특성을 이용하면, 스테레오 카메라(1)에 의해 촬영된 물체를 3차원(3D) 공간에 재현할 수 있다.

이를 위해, 상대 포인트 클라우드 생성부(20)는 제1 시점 영상(21a)과 제2 시점 영상(21b) 각각에 대하여 각 영상에 포함된 왜곡을 제거하는 이미지 보정(22, 영상 보정)을 수행할 수 있다. 이때, 영상 내 왜곡 제거 기법으로는 이미 알려져있는 기법이나 향후 개발될 기법 등이 다양하게 적용될 수 있다.

상대 포인트 클라우드 생성부(20)는 보정된 제1 시점 영상(21a)과 보정된 제2 시점 영상(21b) 각각에 특징점 추출 알고리즘(23)을 적용함으로써 보정된 제1 시점 영상(21a)과 보정된 제2 시점 영상(21b) 각각에서 특징이 되는 점(즉, 특징점)을 추출할 수 있다. 이때, 특징점 추출 알고리즘(23)은 일예로 SURF(Speeded Up Robust Feature) 알고리즘이 적용될 수 있으며, 이에만 한정되는 것은 아니고, 다른 특징점 추출 알고리즘이 적용될 수 있다.

상대 포인트 클라우드 생성부(20)는 보정된 제1 시점 영상(21a)에서 추출된 특징점과 보정된 제2 시점 영상(21b)에서 추출된 특징점을 서로 비교함으로써 제1 시점 영상(21a)과 제2 시점 영상(21b)에 대하여 상호 매칭되는 동일 특징점을 획득(24)할 수 있다.

이후, 상대 포인트 클라우드 생성부(20)는 획득된 동일 특징점(24)의 픽셀값에 대하여 최소자승법을 적용함으로써 스테레오 카메라(1)로부터 촬영된 물체에 대한 상대 좌표를 추정(획득)할 수 있으며, 추정(획득)된 상대 좌표에 기반하여 물체에 대한 상대 포인트 클라우드(25)를 생성할 수 있다.

이때, 상대 좌표는 스테레오 카메라(1)의 1 시점 영상 획득부(1a) 및 제2 시점 영상 획득부(1b) 중 어느 하나를 시점 영상 획득부의 카메라 렌즈를 기준으로 물체 상의 한 3D 포인트까지의 상대 벡터에 대응하는 좌표를 의미할 수 있으며, 물체에 대한 상대 포인트 클라우드는 상대 좌표들에 대응하는 물체 상의 3D 포인트들을 적어도 하나 이상 누적시킴으로써 생성된 상대 벡터들의 집합(3D 포인트들의 집합)을 의미할 수 있다.

종래의 상대 포인트 클라우드 생성 방법은 정렬된 스테레오 영상을 입력으로 특징점 추출 알고리즘을 통해 좌/우 동일한 특징점 추출한 후, 두 개의 특징점의 픽셀값 차이를 활용해 픽셀 단위의 입체 영상을 획득하고 추가 처리 과정을 통해 물체의 3D 포인트를 획득함에 따라, 상대 포인트 클라우드의 생성에 오랜 시간이 소요되는 단점이 있었다. 이에 반해, 본 장치(100)의 상대 포인트 클라우드 생성부(20)는 특징점의 픽셀값 차이가 아닌 픽셀값 자체와 좌우 카메라의 상대 위치 및 자세 정보를 입력으로 하여 정렬된 좌우 카메라인 스테레오 카메라 이외에도 서로 다른 자세로 위치하는 좌우 카메라에서도 간단한 최소자승법 기법을 통해 물체에 대응하는 3D 포인트를 바로 획득할 수 있다.

구체적으로, 스테레오 카메라의 경우, 고정된 두 개의 카메라(좌우 카메라)의 특성을 활용하여 보정된 두 이미지에 대해 좌우 수평방향의 픽셀 값 차이로 쉽게 상대 포인트 클라우드를 생성할 수 있다. 그런데, 두 개의 카메라가 서로 다른 위치 및 자세인 경우에는 좌우 픽셀값 차이로 인해 계산이 불가능함에 따라, 별도로 복잡한 영상 알고리즘을 통해 좌우 카메라의 상대 위치 및 자세를 먼저 구한 후 이를 적용하여 스테레오 카메라와 같이 좌우 카메라를 정렬한 후, 픽셀 값 차이로 상대 포인트 클라우드를 생성할 수 있다.

이를 고려하여, 본 장치(100)에 적용되는 알고리즘은 복잡한 영상 알고리즘 대신 GPS/INS 결과(즉, 절대 위치 및 절대 자세)를 이용하기 위해, 픽셀 값 이외에 두 개의 카메라(좌우 카메라)의 상대 위치 및 자세 정보를 추가적인 입력 값으로 하여 간단한 최소자승법으로 상대 포인트 클라우드를 생성할 수 있다.

이러한 본 장치(100)에 적용되는 알고리즘은 종래의 상대 포인트 클라우드 방식 대비 입력 값(즉, 픽셀 값으로서, 두 카메라 간의 상대 위치 및 자세 정보)을 필요로 하는 한편, GPS/INS를 이용해 포인트 클라우드를 생성하는 본 장치(100)를 제공함에 있어서 이들 결과값(즉, GPS/INS 결과)을 이용함으로써 두 개의 카메라가 고정된 스테레오 카메라 뿐만 아니라 서로 다른 위치/자세에 있는 두 카메라에 대해서도 상대 포인트 클라우드를 용이하게 생성할 수 있다. 즉, 본 장치(100)에서 제안하는 알고리즘은 좌우 카메라의 상대 위치 및 자세 정보가 존재하는 경우, 스테레오 카메라가 아닌 단일 카메라로도 적용 가능하다.

달리 말해, 동일 특징점을 획득(24)한 이후 상대 포인트 클라우드 생성부(20)는 픽셀값으로 나타나는 동일한 특징점을 입력으로 하여 물체의 특징점 상대 위치 추정 알고리즘을 통해 물체의 3D 포인트를 추정할 수 있으며, 추정된 3D 포인트에 대한 상대 좌표에 기반하여 물체에 대한 상대 포인트 클라우드(25)를 생성할 수 있다.

한편, 도 7을 참조하면, 절대 포인트 클라우드 생성부(30)는 추정부(10)에서 추정된 스테레오 카메라(1)의 절대 위치와 절대 자세(16) 및 상대 포인트 클라우드 생성부(20)에 의하여 스테레오 영상(21)을 이용하여 생성된 상대 포인트 클라우드(25) 간의 기하학적 관계 정보를 고려하여 상대 포인트 클라우드(25)를 절대 좌표화(31)한 절대 포인트 클라우드(32)를 생성할 수 있다. 달리 말해, 절대 포인트 클라우드 생성부(30)는 상대 포인트 클라우드에 절대 좌표를 부여한 절대 포인트 클라우드를 생성할 수 있다.

이때, 절대 포인트 클라우드 생성부(30)는 기하학적 관계 정보의 고려시 각 센서 간의 상대 위치와 자세를 고려할 수 있다. 여기서, 각 센서라 함은 스테레오 카메라(1), 관성항법장치(2) 및 GPS 센서(3) 중 적어도 하나를 의미할 수 있다.

절대 포인트 클라우드 생성부(30)에서 고려하는 기하학적 관계 정보는 하기 수학식 1을 만족할 수 있다. 달리 말해, 수학식 1은 관성항법장치(2)인 INS 센서의 절대 위치와 절대 자세 정보와 스테레오 카메라 좌표계에 기반한 상대 포인트 클라우드와 각 센서간 상대 위치와 자세에 대한 기하학적인 관계를 나타낸다.

[수학식 1]

여기서,

은 스테레오 카메라(1)의 제1 시점 영상 획득부(1a) 및 제2 시점 영상 획득부(1b) 중 어느 하나를 기준으로 한 시점 좌표계, e는 지구 중심 좌표계,

는 상기 시점 좌표계에서 지구 중심 좌표계로의 좌표변환행렬,

는 지구 중심 좌표계 기반 지구 중심에서 상기 시점 좌표계에 대응하는 시점 영상 획득부의 중심으로의 위치 벡터,

는 절대 좌표화된 절대 포인트 클라우드,

은 상기 시점 좌표계에 대응하는 시점 영상 획득부의 카메라 렌즈 중심로부터 물체까지의 상대 벡터들의 집합인 상대 포인트 클라우드를 나타낸다.

일예로,

은 제1 시점 영상 획득부(1a)에 대응하는 왼쪽 카메라 좌표계일 수 있으며, 이러한 경우,

는 왼쪽 카메라 좌표계에서 지구 중심 좌표계로의 좌표변환행렬,

는 지구 중심 좌표계 기반 지구 중심에서 왼쪽 카메라 중심으로의 위치 벡터, 왼쪽 카메라 렌즈의 중심로부터 물체까지의 상대 벡터들의 집합인 상대 포인트 클라우드를 의미할 수 있다.

절대 포인트 클라우드 생성부(30)는 상기 수학식 1의 기하학적 관계 정보를 고려하여 상대 포인트 클라우드를 절대 좌표화한 절대 포인트 클라우드를 생성할 수 있다.

절대 포인트 클라우드 생성부(30)는 추정된 움직이는(이동하는) 스테레오 카메라(1)의 절대 위치(절대 위치 좌표)와 절대 자세 정보를 이용하여 스테레오 카메라(1)의 렌즈 중심을 기준으로 표현된 상대 포인트 클라우드의 모든 3D 포인트에 절대 좌표를 부여할 수 있다.

이러한 본 장치(100)는 GPS와 관성항법장치인 INS 센서 및 단일 스테레오 카메라 센서로 측정한 원시 데이터(11, 14, 21)를 기반으로 하여, 스테레오 카메라(1)를 통해 촬영(스캔)한 물체의 상대 포인트 클라우드에 절대 좌표를 부여할 수 있으며, 이를 통해 물체에 대한 절대 포인트 클라우드를 생성할 수 있다.

본 장치(100)는 움직이는 스테레오 카메라(1)에 대하여 추정된 스테레오 카메라(1)의 절대 위치와 절대 자세(16) 정보를 기반으로 하여, 매 시점 획득되는 상대 포인트 클라우드에 절대 좌표를 부여할 수 있다.

도 8은 본 장치에서의 상대 포인트 클라우드 및 센서 위치 간 기하학적 모형을 개략적으로 나타낸 도면이다. 달리 말해, 도 8은 본 장치에서 시점마다 생성되는 물체의 상대 포인트 클라우드, 각 센서 간의 상대 위치와 자세, 및 관성항법장치(2)인 INS 센서의 절대 위치를 개략적으로 나타낸 도면이다.

도 8을 참조하면, A는 이미지의 k시점에서 스테레오 카메라(1)의 제1 시점 영상 획득부(1a)인 왼쪽 카메라의 렌즈를 기준으로 물체 상의 한 3D 포인트까지의 상대 벡터를 나타내고, B는 이미지의 k+1시점에서 스테레오 카메라(1)의 제1 시점 영상 획득부(1a)인 왼쪽 카메라의 렌즈를 기준으로 물체 상의 한 3D 포인트까지의 상대 벡터를 나타낸다. 여기서, k 시점과 k+1시점은 시간 흐름 상에서의 시점으로서, 달리 표현하여 t 시간에서의 시점과 t+1 시간에서의 시점을 의미할 수 있다. 이러한 3D 포인트를 누적한 것(즉, 3D 포인트들의 누적)을 상대 포인트 클라우드라 할 수 있다. 달리 표현하여, 한 시점(예를 들어, k 시점)에서 물체 상의 모든 3D 포인트까지의 상대 벡터들의 집합을 한 시점에 대응하는 상대 포인트 클라우드라 할 수 있으며, 이러한 상대 포인트 클라우드는 매 시점마다 생성될 수 있다.

이때, 상대 포인트 클라우드 생성부(20)는 상대 포인트 클라우드 생성시, 스테레오 영상에 대응하는 제1 시점 영상 및 제2 시점 영상 각각에 대하여 추출된 각 영상의 특징점 간의 비교를 통해 상호 매칭되는 특징점(즉, 동일 특징점)을 획득하고, 획득된 동일 특징점의 픽셀값에 대하여 최소자승법을 적용함으로써 3D 포인트에 대한 상대 좌표를 추정할 수 있다.

또한, C는 이미지 k 시점에서, GPS 기반 위치와 INS 원시 측정 데이터에 기초하여 추정된 관성항법장치(2)인 INS 센서의 절대 위치와 절대 자세를 나타내고, D는 이미지 k+1 시점에서, GPS 기반 위치와 INS 원시 측정 데이터에 기초하여 추정된 관성항법장치(2)인 INS 센서의 절대 위치와 절대 자세를 나타낸다. 이때, 추정부(10)는 C와 D에 대하여(즉, INS 센서의 절대 위치와 절대 자세에 대하여), 관성항법장치(2)인 INS 센서에서 스테레오 카메라로의 상대 위치 벡터를 고려함으로써 스테레오 카메라(1)의 절대 위치와 절대 자세를 추정할 수 있다.

이러한 본 장치(100)는 추정된 스테레오 카메라(1)의 절대 위치와 절대 자세, 각 센서간의 상대 위치와 자세, 및 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려하여, 매 시점 획득된 상대 포인트 클라우드에 대하여 절대 좌표를 부여할 수 있다.

도 9는 본 장치에서 절대 포인트 클라우드의 기하학적 모형을 개략적으로 나타낸 도면이다. 달리 말해, 도 9는 본 장치에서 서로 다른 시점에서 동일한 한 포인트에 대해 절대 좌표화된 결과를 개략적으로 나타낸 도면이다. 다시 말해, 도 9는 본 장치에서 서로 다른 시점에서의 물체 상의 한 3D 포인트가 절대 좌표화된 예를 나타낸 도면이다.

도 9를 참조하면, 본 장치(100)를 통해 상대 포인트 클라우드가 절대 좌표화되는 경우 동일한 물체의 3D 포인트를 가리키게 되므로, 본 장치(100)는 서로 다른 시점에서 물체를 촬영한다 하더라도 서로 다른 시점에서 촬영된 물체의 한 3D 포인트에 대한 절대 좌표의 값은 동일한 값으로 추정할 수 있다. 즉, 상대 포인트 클라우드가 절대 좌표화된 경우, 절대 포인트 클라우드 생성부(30)는 이미지 k 시점에서 촬영된 물체의 한 3D 포인트에 대한 절대 좌표 E와 이미지 k+1시점에서 촬영된 물체의 한 3D 포인트에 대한 절대 좌표 F에 대하여 동일한 값을 부여할 수 있다.

한편, 본 장치(100)는 동기화부(미도시)를 포함할 수 있다. 동기화부(미도시)는 추정부(10)를 통한 추정 이전에, GPS 원시 측정 데이터로부터 확인되는 GPS 시간을 기준으로 관성항법장치(2)로부터 획득되는 INS 원시 측정 데이터와 스테레오 카메라(1)로부터 획득되는 스테레오 영상 간의 동기화를 수행할 수 있다. 여기서, GPS 시간 및 INS 원시 측정 데이터는, 이와 동기화된 스테레오 영상의 제1 시점 영상 또는 제2 시점 영상에 포함되는 정보로서 저장될 수 있다.

구체적으로, 본 장치(100)에서는 절대 포인트 클라우드의 생성을 위해 GPS 센서, 관성항법장치(2)인 INS 센서 및 스테레오 카메라(1)인 스테레오 카메라 센서와 같은 복수 종류의 센서가 이용되므로, 이들 복수 종류의 센서들 간의 동기화는 필수적으로 진행되어야 할 필요가 있다.

이에 따라, 동기화부(미도시)는, GPS 수신기에서 제공되는 Pulse Per Signal 신호를 기준으로 관성항법장치(2)의 관성측정장치(IMU)를 통해 획득되는 INS 원시 측정 데이터(달리 표현하여, IMU 측정치)와 스테레오 카메라로부터 획득한 스테레오 영상 간의 동기화를 수행할 수 있다. 여기서 GPS 수신기는 본 장치(100)에 구비(배치)되는 GPS 센서(3)를 의미할 수 있다. 또한, 여기서, GPS 수신기 및 관성항법장치(또는 관성항법장치 내 관성측정장치)는 임베디드 보드(Embedded board)에 연결되어 있을 수 있다.

일예로, 동기화부(미도시)는 동기화된 INS 원시 측정 데이터(달리 표현하여, IMU 측정치)와 GPS 시간을 기준으로 스테레오 카메라(1)를 통해 획득되는 스테레오 영상과 동기화를 수행할 수 있다. 이때, 실시간으로 수신된 INS 원시 측정 데이터(IMU 측정치)와 GPS 시간은 후처리 정보로 사용하기 위해, 일예로 스테레오 영상 중 어느 하나의 영상(예를 들어, 왼쪽 카메라의 영상인 왼쪽 영상)의 픽셀에 저장될 수 있다. 또한, 본 장치(100)는 INS 원시 측정 데이터(IMU 측정치)와 GPS 시간이 저장된 스테레오 영상을 저장하는 스테레오 영상 저장부(미도시)를 포함할 수 있다. 스테레오 영상 저장부(미도시)에 저장되는 스테레오 영상에는 스테레오 영상 획득시의 INS 원시 측정 데이터와 GPS 시간이 연계되어 저장되어 있을 수 있다.

한편, 앞선 본원의 일 실시예에서는, 본 장치(100)에 구비된 스테레오 카메라(1), 관성항법장치(2) 및 GPS 센서(3)로부터 획득되는 데이터를 이용하여 스테레오 카메라의 절대 위치와 절대 자세를 추정하고, 상대 포인트 클라우드 및 절대 포인트 클라우드를 생성하는 과정이 하나의 장치(100)에서 수행되는 것으로만 예시하였으나, 이에만 한정되는 것은 아니다.

다른 일예로, 본원의 다른 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 장치는 스테레오 카메라, 관성항법장치 및 GPS 센서를 포함하는 데이터 획득 장치 및 데이터 획득 장치에 의해 획득된 데이터를 데이터 획득 장치로부터 수신하고, 수신된 데이터에 기초하여 스테레오 카메라의 절대 위치와 절대 자세를 추정하고, 상대 포인트 클라우드 및 절대 포인트 클라우드를 생성하는 절대 포인트 클라우드 생성 장치를 포함할 수 있다. 즉, 본원의 다른 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 장치는 일예로 도 1과 같은 데이터 획득 장치 및 일예로 도 2와 도 3과 같은 절대 포인트 클라우드 생성 장치를 포함할 수 있다.

이와 같이, 데이터 획득 장치가 절대 포인트 클라우드 생성 장치와는 별도의 장치로 구비되는 경우, 절대 포인트 클라우드 생성 장치는 데이터 획득 장치에 의해 획득된 데이터를 수신하기 위한 데이터 수신부(미도시)를 포함할 수 있다.

여기서, 데이터 획득 장치는 일예로 무인 비행체(달리 말해, 드론, 무인 항공기 등), 차량 등에 장착(설치)될 수 있다.

또한, 본원의 다른 일 실시예에 따르면, 데이터 획득 장치는 동기화된 INS 원시 측정 데이터(달리 표현하여, IMU 측정치)와 GPS 시간을 네트워크 통신을 통해 절대 포인트 클라우드 생성 장치로 전송할 수 있다. 여기서, 네트워크 통신은 TCP/IP 네트워크 통신, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으며, 이에 한정된 것은 아니다.

절대 포인트 클라우드 생성 장치는 데이터 획득 장치로부터 수신된 데이터의 GPS 시간을 기준으로 스테레오 카메라의 프레임과 동기화할 수 있다. 즉, 절대 포인트 클라우드 생성 장치는 데이터 획득 장치로부터 수신된 데이터의GPS 시간을 기준으로 스테레오 카메라(1)로부터 획득되는 스테레오 영상을 동기화할 수 있다. 이를 위해, 절대 포인트 클라우드 생성 장치는 데이터 획득 장치로부터 스테레오 영상을 획득할 수 있다. 또한, 절대 포인트 클라우드 생성 장치는 실시간으로 수신된 IMU 측정치와 GPS 시간을 후처리 정보로 사용하기 위해, 수신된 IMU 측정치와 GPS 시간을 스테레오 영상 중 어느 하나의 영상의 픽셀에 저장한 후 해당 스테레오 영상을 스테레오 영상 저장부(미도시)에 저장할 수 있다.

본 장치는 동기화부(미도시)에 의하여 실시간 센서 간 동기화 수행 및 데이터 처리를 수행할 수 있다.

본 장치(100)는 GPS(Global Positioning System), INS(Inertial Navigation System) 및 단일 스테레오 카메라를 이용함으로써, 스테레오 카메라를 통해 촬영(스캔)한 물체의 형상을 절대 좌표계 상의 포인트 클라우드(즉, 절대 포인트 클라우드)로 획득할 수 있다. 본 장치(100)는 카메라 렌즈 중심이 원점인 좌표계를 기준으로 생성된 기존의 상대 포인트 클라우드를 절대 좌표계인 지구 중심 좌표계 기반으로 표현할 수 있다.

특히, 본 장치(100)는 스테레오 카메라의 절대 위치와 절대 자세를 획득함에 있어서, RTK(Real-Time Kinematic) 소프트웨어와 GPS/INS 통합 항법 알고리즘을 이용할 수 있다. 본 장치(100)는 매 시점 획득된 스테레오 영상으로부터 추출된 특징점을 이용하여 생성된 상대 포인트 클라우드 및 추정된 스테레오 카메라의 절대 위치와 절대 자세 정보 사이의 기하학적인 관계를 고려하여, 상대 포인트 클라우드에 대응하는 모든 3D 포인트에 대하여 절대 좌표를 부여할 수 있다.

본 장치(100)는 RTK GPS(Real-Time Kinematic GPS)를 이용함으로써 스테레오 카메라의 정확한 절대 위치를 추정할 수 있다. 또한, 본 장치(100)는 RTK(Real-Time Kinematic) 소프트웨어를 이용하여 추정된 스테레오 카메라의 절대 위치와 INS 원시 측정 데이터를 입력으로 하는 GPS/INS 약결합 칼만 필터를 적용함으로써 스테레오 카메라의 위치와 절대 자세를 추정할 수 있다. 또한, 본 장치(100)는 추정된 스테레오 카메라의 절대 위치와 절대 자세, 상대 포인트 클라우드 및 각 센서들 간의 상대적인 위치와 자세 간의 기하학적인 관계를 고려하여, 사대 포인트 클라우드에 절대 좌표를 부여할 수 있다.

본 장치(100)는 기존의 절대 포인트 클라우드 생성 방식에서 사용되는 고가의 항법 장비에 의존하지 않고 비교적 저가의 GPS/INS 센서와 RTK 소프트웨어를 활용해 정확한 절대 포인트 클라우드를 생성할 수 있다. 또한, 본 장치(100)는 이동하는 스테레오 카메라의 위치 좌표 추정뿐만 아니라 자세도 함께 추정함으로써, 매 시점 생성된 상대 포인트 클라우드를 절대 좌표계상으로 표현할 수 있다. 이러한 본 장치(100)는 기존의 영상처리 분야에서 카메라 중심이 원점인 좌표계상의 상대 포인트 클라우드를 절대 좌표계인 지구 중심 좌표계로 획득할 수 있다.

최근 자율 주행에 관한 연구가 활발히 진행되면서 정밀 지도 필요성이 증대되고 있다. 관련 연구로 MMS(Mobile Mapping System)가 있으며 각국에서 연구가 활발히 진행되고 있다. 하지만 매우 높은 수준의 정밀도를 갖는 GPS와 INS 센서 그리고 LiDAR (Light Detection And Ranging)를 필요로 하기 때문에 MMS 장비를 구성하는데 높은 비용이 요구된다. 본 장치(100)는 보다 저렴한 GPS와 INS 센서, 기존 RTK 소프트웨어 그리고 스테레오 카메라를 활용하여 물체의 포인트 클라우드에 정확한 절대 좌표를 부여할 수 있다. 또한 최근에 각광받고 있는 AR (Augmented Reality), VR (Virtual Reality) 분야에 적용하여 재현된 물체의 절대 포인트 클라우드를 3D 공간에 투사하여 공간 정보로서의 활용성을 증가시킬 수 있으며, 기존의 존재하는 다양한 상대 포인트 클라우드 생성 방법론에 적용되어 절대 좌표를 부여할 수 있다.

또한, 본 장치(100)는 종래 대비 보다 저렴한 GPS와 INS 센서, RTK 소프트웨어 및 스테레오 카메라를 이용하여 물체의 포인트 클라우드(상대 포인트 클라우드)에 정확한 절대 좌표를 부여할 수 있다. 또한, 본 장치(100)는 최근 각광받고 있는 AR(Augmented Reality), VR(Virtual Reality) 분야에 적용하여 재현된 물체의 절대 포인트 클라우드를 3D 공간에 투사하여 공간 정보로서의 활용성을 증가시킬 수 있다. 또한, 본 장치(100)는 기존의 존재하는 다양한 상대 포인트 클라우드 생성 방법론에 적용되어 절대 좌표를 부여할 수 있다.

다시 말해, 기존의 영상 분야에서 카메라 이미지를 활용하여 획득한 포인트 클라우드(상대 포인트 클라우드)는 일반적으로 카메라 렌즈 중심이 원점인 좌표계가 기준이 된다. 따라서 종래의 상대 포인트 클라우드는 현실세계와 동일한 스케일과 위치에 해당하는 3차원 공간 정보로서의 활용이 불가능한 문제가 있었다. 이에, 본 장치(100)는 RTK GPS와 INS 그리고 단일 스테레오 카메라를 이용함으로써 기존의 카메라 렌즈 중심이 원점인 좌표계의 상대 포인트 클라우드를 절대 좌표계인 지구 중심 좌표계를 기준으로 획득할 수 있다.

또한, 본 장치(100)는 기존 고가의 장비들로 구성된 MMS(Mobile Mapping System)와는 달리 RTK GPS와 INS를 통합하여 스테레오 카메라의 정확한 절대 위치 및 절대 자세를 추정할 수 있다. 또한, 본 장치(100)는 추정된 스테레오 카메라의 절대 위치와 절대 자세 정보, 각 센서간의 위치, 및 생성된 상대 포인트 클라우드 사이의 기하학적인 관계로부터 물체에 대한 모든 포인트들에 대하여 절대 좌표를 부여할 수 있다.

본 장치(100)는 일반적인 GPS가 아닌 RTK GPS를 적용함으로써 정확한 스테레오 카메라의 위치 좌표를 획득할 수 있으며, 이를 통해 정확한 절대 포인트 클라우드를 생성할 수 있다. 또한, 본 장치(100)는 스테레오 카메라의 위치 좌표를 획득함에 있어서, 위성/관성항법장치(GPS/INS)에서 가공되어 제공되는 위치 좌표를 바로 이용하지 않고, 항법장치들에서 측정되는 가공되지 않은 원시정보로 직접 위치 좌표를 추정할 수 있다. 또한, 본 장치(100)는 스테레오 카메라의 위치 좌표뿐만 아니라 자세 정보를 획득함으로써 매 시점 생성된 상대 포인트 클라우드를 절대 좌표계상에 표현할 수 있다. 또한, 본 장치(100)는 종래에 픽셀 단위로 지리 좌표 간격을 계산하여 이를 전체 픽셀에 적용하여 절대 포인트 클라우드를 얻는 종래의 방식과는 달리, 실제 거리 단위인 3D 포인트를 추정하여 상대 포인트 클라우드를 생성하고 움직이는 스테레오 카메라의 절대 위치와 절대 자세를 적용하여 절대 포인트 클라우드를 획득할 수 있다. 또한, 본 장치(100)는 복수개의 스테레오 카메라를 활용하는 것이 아닌 단일 스테레오 카메라를 활용하여 절대 포인트 클라우드를 획득할 수 있다.

본 장치(100)는 RTK GPS 소프트웨어와 위성/관성항법시스템을 통해 고가의 통합 위성/관성항법시스템의 필요 없이, 비교적 저가의 위성/관성센서로 정확한 스테레오 카메라의 위치 좌표를 산출하여 정확한 절대 포인트 클라우드를 생성할 수 있다. 또한, 본 장치(100)는 픽셀 단위의 입체 영상을 활용하는 것이 아닌 실제 거리 단위인 3D 포인트에 절대 좌표를 부여할 수 있음에 따라, 기존의 존재하는 다양한 상대 포인트 클라우드 생성 방법론에 적용될 수 있다.

본 장치(100)는 고가의 라이다 장비가 아닌 단일 스테레오 카메라를 이용하여 포인트 클라우드를 생성할 수 있다. 즉, 본 장치(100)는 라이다로 생성된 포인트 클라우드가 아닌 이미지 기반 특징점 추출 기법을 이용하여 포인트 클라우드(상대 포인트 클라우드)를 생성할 수 있으며, GPS와 INS 통합 항법을 이용하여 스테레오 카메라의 절대 위치 및 절대 자세 기반의 절대 포인트 클라우드를 생성할 수 있다. 또한, 본 장치(100)는 카메라 좌표계 기반의 포인트 클라우드가 아닌 절대 좌표가 부여된 포인트 클라우드(절대 포인트 클라우드)를 생성할 수 있다.

본 장치(100)는 RTK 소프트웨어를 이용하여 수 cm급 정확한 스테레오 카메라의 위치 좌표를 획득함으로써 정확한 절대 포인트 클라우드를 획득할 수 있다. 또한, 본 장치(100)는 물체의 상대 위치 추정 알고리즘을 통해 상대 포인트 클라우드를 생성할 수 있다.

다시 말해, 본 장치(100)는 Global Positioning System(GPS), Inertial Measurement Unit(IMU)(이는 관성항법장치 내의 IMU를 의미함) 및 스테레오 카메라를 이용하여 이미지 기반 상대 포인트 클라우드를 절대 좌표화하는 방법을 제공할 수 있다. 본 장치(100)에서 GPS와 IMU는 움직이는 스테레오 카메라의 절대 위치와 절대 자세를 추정하기 위해 이용되며, 스테레오 카메라는 물체의 상대 포인트 클라우드를 생성하기 위해 이용될 수 있다.

본 장치(100)는 추정된 스테레오 카메라의 절대 위치와 자세 정보를 이용하여 스테레오 카메라를 기준으로 생성된 상대 포인트 클라우드를 절대 좌표화할 수 있다. 달리 말해, 본 장치(100)는 상대 포인트 클라우드에 절대 좌표를 부여한 절대 포인트 클라우드를 생성할 수 있다. 따라서, 기존의 포인트 클라우드 획득 방법들은 지역 좌표계에 기반한 상대 좌표값들을 획득하는 반면, 본 장치(100)는 Real-Time Kinematic(RTK) 기법을 이용함으로써 상대 포인트 클라우드에 대한 절대 좌표값들을 획득할 수 있다. 후술할 설명에서는 본 장치(100)에 의한 물체의 절대 포인트 클라우드 생성 방법에 대한 성능 평가 결과에 대하여 설명하기로 한다.

본 장치(100)는 스테레오 영상의 특징점 매칭을 통해 스테레오 영상 기반 상대 포인트 클라우드를 획득(생성)할 수 있다. 또한, 본 장치(100)는 스테레오 영상으로부터 특징점을 추출하기 위해 일예로 Speeded-Up Robust Feature(SURF) 알고리즘을 이용할 수 있다. 본 장치(100)는 스테레오 카메라를 통해 획득할 수 있는 거리 및 자세 정보를 이용하여 스테레오 카메라에서 기준이 되는 카메라(기준 카메라, 즉, 기준이 되는 시점 영상 획득부)에 대한 물체의 상대 포인트 클라우드를 추정할 수 있다.

또한, 본 장치(100)는 일예로, 내부적으로 개발하여 공개된 Real-Time Kinematic(RTK) 소프트웨어(GAFAS)를 이용하여 산출된 스테레오 카메라의 정밀 위치(즉, GPS 기반 위치)와 IMU를 결합하여, 움직이는 스테레오 카메라의 절대 위치와 절대 자세를 높은 시간 해상도로 추정할 수 있다. 또한, 본 장치(100)는 산출된 항법해와 기준 카메라에 대한 물체의 상대 위치와 자세 정보를 결합하여 추출된 상대 포인트 클라우드에 절대 좌표를 부여할 수 있다. 기존의 포인트 클라우드 획득 방법들이 지역 좌표계에 기반한 상대적인 변화량을 표현하는 반면, 이러한 본 장치(100)는 GPS/IMU와 스테레오 카메라를 결합하여 포인트 클라우드에 대한 절대 좌표값들을 획득할 수 있다.

이하에서는 앞서 설명된 내용에 기초하여 상대 포인트 클라우드를 절대 좌표화하는 방법에 대하여 간단히 설명한 다음, 본원에서 제안하는 방법의 성능 평가를 위해 대상 물체를 다양한 방향에서 연속적으로 촬영(스캔)한 후 획득한 데이터로부터 절대 좌표를 추정한 결과의 분석 결과에 대하여 설명하기로 한다.

상대 포인트 클라우드를 절대 좌표화하기 이전에, 본 장치(100)는 각 센서들 간의 동기화를 수행할 수 있으며, 동기화에 대한 자세한 설명은 앞서 설명했으므로, 이하 중복되는 설명은 생략하기로 한다.

일예로, 본 장치(100)에서 이미지 특징점을 이용하여 추정된 물체까지의 상대 좌표의 기준은 스테레오 카메라 렌즈의 중심으로 설정할 수 있다. 따라서, 움직이는 스테레오 카메라의 경우, 각 시점마다 생성된 포인트 클라우드와 절대적인 관계를 추정하기 위하여 스테레오 카메라의 위치와 자세가 필수적으로 요구된다고 할 수 있다.

이에 본 장치(100)는 이미지(영상) 기반으로 추정된 물체까지의 상대 좌표를 절대 좌표화하기 위해, GPS와 IMU를 결합하여 스테레오 카메라의 절대 위치와 절대 자세를 추정할 수 있다. 구체적으로, 본 장치(100)는 일예로, 자체 개발된 RTK 소프트웨어 패키지(GAFAS)를 이용하여 스테레오 카메라의 절대 좌표(달리 말해, GPS 기반 위치로서, 정밀 위치라 할 수 있음)를 추출할 수 있으며, 이를 기반으로 GPS와 IMU를 약결합하여 스테레오 카메라의 절대 위치와 절대 자세를 추정할 수 있다.

또한, 본 장치(100)에서는 상대 포인트 클라우드를 생성하기 위해, 일예로 SURF 알고리즘을 통해 특징점을 추출하고, 스테레오 영상의 제1 시점 영상과 제2 시점 영상의 특징점의 기술자를 비교하여 스테레오 영상에서 동일 특징점을 획득할 수 있다. 이후, 본 장치(100)는 스테레오 카메라의 제1 시점 영상 획득부와 제2 시점 영상 획득부의 상대 위치와 자세를 고려하여 최소자승법으로 스테레오 카메라로부터 물체까지의 상대 좌표를 추정할 수 있다. 이후, 본 장치(100)는 추정된 스테레오 카메라의 절대 위치와 절대 자세를 이용하여 여러 시점에 대하여 생성된 상대 포인트 클라우드를 절대 좌표화할 수 있다.

도 10은 본 장치에서 상대 좌표를 절대 좌표화하는 방법을 개략적으로 나타낸 도면이다.

도 10을 참조하면, 본 장치(100)는 스테레오 카메라(1), 관성항법장치(2)인 INS 센서(2) 또는 관성항법장치(2)에 포함된 IMU 센서를 포함할 수 있다. 도 10을 참조한 설명에서는 일예로, 스테레오 카메라 중 왼쪽 카메라를 기준으로 물체의 상대 좌표를 추정하는 예에 대하여 설명하기로 하며, 다만, 이에만 한정되는 것은 아니고, 상대 좌표는 스테레오 카메라 중 오른쪽 카메라를 기준으로 추정될 수도 있다.

도 10에서, 일예로, l은 스테레오 카메라(1)의 제1 시점 영상 획득부에 대응하는 왼쪽 카메라 좌표계, e는 지구 중심 좌표계, b는 INS 센서(2) 좌표계, n은 항법 좌표계를 의미할 수 있다. 또한, X는 스테레오 카메라 좌표계(특히, 왼쪽 카메라 좌표계)에서의 특징점 상대 벡터,

는 a에서 b로의 벡터,

는 b 좌표계에서 e 좌표계로의 좌표변환행렬을 의미할 수 있다.

이에 따라, 본 장치(100)는 지구 중심 좌표계에서 관성항법장치(2)의 위치 벡터

, 절대 자세를 나타내는 좌표변환행렬

, 관성항법장치(2)에서 스테레오 카메라(특히, 왼쪽 카메라)로의 상대 위치 벡터

, 및 특징점 상대 벡터 X 간의 기하학적 관계로부터, 상대 포인트 클라우드를 절대 좌표화할 수 있다. 여기서, I,J,K는 각 좌표계의 X,Y,Z축을 의미할 수 있다.

한편, 본 장치(100)에 대한 성능 실험 결과는 다음과 같다.

본원의 일 실험예에서는 본 장치(100)의 성능을 평가하기 위해 물체를 다양한 방향에서 촬영(스캔)하였다. 또한, 관성항법장치(2)에 포함되는 IMU 센서는 일예로 MPU 6050를 이용하고, 스테레오 카메라는 일예로 BumblebeeXB3를 이용하고, GPS 수신기는 일예로 2개를 이용하였다. 다만, GPS 수신기의 수는 이에만 한정되는 것은 아니고, 다양하게 구현 가능하며, 다른 일예로 GPS 수신기는 1개가 이용될 수 있다. 또한, 정밀한 스테레오 카메라의 위치 획득을 위해 일예로 NovAtel ProPak6를 이용하고, 각 센서들 간의 시간 동기화를 위해 일예로 Ublox AEK-4T를 이용하였다. 또한, 본원의 일 실험예에서는 실험 대상 물체로서 규격이 500 x 480 x 400 mm인 박스를 이용하였다.

도 11은 본원의 일 실험예에 따라 본 장치에 의하여 생성된 상대 포인트 클라우드를 각 축으로 나누어 나타낸 도면이다. 도 11에서, X는 물체까지의 깊이 방향을 나타내고, Y는 우측 방향을 나타내고, Z는 아래 방향을 나타낸다. 본원의 일 실험예에서는 물체 주변으로 원을 그리면서 위에서 아래로 내려다보는 방향으로 물체에 대한 촬영(스캔)을 수행하였다. 또한, 본원의 일 실험예에서는 실제 스테레오 카메라와 물체인 상자까지의 거리가 약 1.5 m로 설정되어 있을 수 있다.

도 12는 본원의 일 실험예에 따라 절대 좌표화된 포인트 클라우드를 ECEF(Earth-Centered Earth-Fixed) 좌표계(a)로 나타낸 도면 및 포인트 클라우드와 GPS 항법 해를 NED(North-East-Down) 좌표계(b)로 변환한 도면을 나타낸다. 즉, 도 12(a)는 ECEF 좌표계상 포인트 클라우드 결과를 나타내고, 도 12(b)는 NED 좌표계상 포인트 클라우드 결과를 나타낸다. 도 12에서, 원점은 GPS 위치 해의 평균값으로 중앙 별 모양으로 나타냈다.

도 12를 참조하면, 추정(획득)된 실험 대상 물체인 박스의 절대 포인트 클라우드는 4 개의 면으로 분류될 수 있으며, 각 면의 길이는 약 1 m로 포인트가 산개되어 있다. 이는 박스(상자)의 가로 및 세로의 길이가 약 0.5 m임을 고려할 때, 절대 좌표로 산출된 박스(상자)의 면 길이의 오차가 약 0.5 m 됨을 확인할 수 있다.

이러한 본 장치(100)는 자체 개발된 RTK 소프트웨어와 높은 해상도의 항법해를 제공하는 INS 결합하여 스테레오 카메라의 절대 위치 및 자세를 추정할 수 있다. 또한, 이를 기반으로 본 장치(100)는 물체의 상대 포인트 클라우드를 절대 포인트 클라우드로 변환할 수 있다. 상기와 같은 본원의 일 실험예에 따르면 본 장치(100)가 대상 물체의 대략적인 형상을 절대좌표계에서 재 형상화 할 수 있음을 확인할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 13은 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 방법에 대한 동작 흐름도이다.

도 13에 도시된 물체의 절대 포인트 클라우드 생성 방법은 앞서 설명된 본 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(100)에 대하여 설명된 내용은 물체의 절대 포인트 클라우드 생성 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 13을 참조하면, 단계S11에서는 GPS 원시 측정 데이터를 이용하여 산출된 스테레오 카메라의 GPS 기반 위치 및 관성항법장치로부터 획득되는 INS 원시 측정 데이터에 기초하여 움직이는 스테레오 카메라의 절대 위치와 절대 자세를 추정할 수 있다.

이때, 단계S11에서, GPS 기반 위치는, GPS 원시 측정 데이터로서 기준국 데이터와 GPS 센서로부터 측정되는 GPS 측정 데이터를 RTK(Real-Time Kinematic) 소프트웨어에 적용함에 따라 GPS 측정 데이터에 포함된 거리의존오차가 보상된 위치일 수 있다.

또한, 단계S11에서는, GPS 기반 위치와 INS 원시 측정 데이터에 대하여 칼만 필터를 적용하여 절대 위치와 절대 자세를 추정할 수 있다. 여기서, 칼만 필터는 GPS/INS 약결합 칼만 필터일 수 있다.

또한, 관성항법장치는 스테레오 카메라의 이동과 연동하도록 설치되고, 단계S11에서, 스테레오 카메라의 절대 위치와 절대 자세는, GPS 기반 위치 및 INS 원시 측정 데이터에 기초하여 추정된 관성항법장치의 절대 위치와 절대 자세에 대하여, 관성항법장치에서 스테레오 카메라로의 상대 위치 벡터를 고려하여 추정될 수 있다.

여기서, 스테레오 카메라는 제1 시점 영상 획득부 및 제2 시점 영상 획득부를 포함하고, 상대 위치 벡터는 관성항법장치에서 제1 시점 영상 획득부로(특히, 제1 시점 영상 획득부의 렌즈 중심으로)의 상대 위치 벡터 또는 관성항법장치에서 제2 시점 영상 획득부로(특히, 제2 시점 영상 획득부의 렌즈 중심으로)의 상대 위치 벡터일 수 있다.

다음으로, 단계S12에서는 스테레오 카메라로부터 획득되는 물체에 대한 스테레오 영상을 이용하여 추정된 스테레오 카메라로부터 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성할 수 있다.

이때, 단계S12에서는 스테레오 영상에 대응하는 제1 시점 영상 및 제2 시점 영상 각각에 대하여 추출된 각 영상의 특징점 간의 비교를 통해 상호 매칭되는 동일 특징점을 획득하고, 획득된 동일 특징점의 픽셀값에 대하여 최소자승법을 적용함으로써 상대 좌표를 추정할 수 있다.

다음으로, 단계S13에서는 단계S11에서 추정된 스테레오 카메라의 절대 위치와 절대 자세 및 단계 S12에서 생성된 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려하여 상대 포인트 클라우드를 절대 좌표화한 절대 포인트 클라우드를 생성할 수 있다.

단계S13에서, 기하학적 관계 정보는 상기의 수학식 1을 만족할 수 있으며, 이에 대한 설명은 앞서 자세히 설명했으므로, 이하 중복되는 설명은 생략하기로 한다.

한편, 도면에 도시하지는 않았으나, 본원의 일 실시예에 따른 물체의 절대 포인트 클라우드 생성 방법은, 단계S11이전에, GPS 원시 측정 데이터로부터 확인되는 GPS 시간을 기준으로 관성항법장치로부터 획득되는 INS 원시 측정 데이터와 스테레오 카메라로부터 획득되는 스테레오 영상 간의 동기화를 수행하는 단계를 포함할 수 있다.

여기서, GPS 시간 및 INS 원시 측정 데이터는, 이와 동기화된 스테레오 영상의 제1 시점 영상 또는 제2 시점 영상에 포함되는 정보로서 저장될 수 있다.

상술한 설명에서, 단계 S11 내지 S13은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 물체의 절대 포인트 클라우드 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 물체의 절대 포인트 클라우드 생성 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: 물체의 절대 포인트 클라우드 생성 장치
10: 추정부
20: 상대 포인트 클라우드 생성부
30: 절대 포인트 클라우드 생성부
1: 스테레오 카메라
2: 관성항법장치
3: GPS 센서

Claims (21)

1. 물체의 절대 포인트 클라우드 생성 방법에 있어서,
   (a) GPS 원시 측정 데이터를 이용하여 산출된 스테레오 카메라의 GPS 기반 위치 및 관성항법장치로부터 획득되는 INS 원시 측정 데이터에 기초하여 상기 스테레오 카메라의 절대 위치와 절대 자세를 추정하는 단계;
   (b) 상기 스테레오 카메라로부터 획득되는 물체에 대한 스테레오 영상을 이용하여 추정된 상기 스테레오 카메라로부터 상기 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성하는 단계; 및
   (c) 추정된 상기 스테레오 카메라의 절대 위치와 절대 자세 및 상기 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려하여 상기 상대 포인트 클라우드를 절대 좌표화한 절대 포인트 클라우드를 생성하는 단계,
   를 포함하는 절대 포인트 클라우드 생성 방법.
2. 제1항에 있어서,
   상기 (a) 단계에서, 상기 GPS 기반 위치는, 상기 GPS 원시 측정 데이터로서 기준국 데이터와 GPS 센서로부터 측정되는 GPS 측정 데이터를 RTK(Real-Time Kinematic) 소프트웨어에 적용함에 따라 상기 GPS 측정 데이터에 포함된 거리의존오차가 보상된 위치인 것인, 절대 포인트 클라우드 생성 방법.
3. 제1항에 있어서,
   상기 (a) 단계는,
   상기 GPS 기반 위치와 상기 INS 원시 측정 데이터에 대하여 칼만 필터를 적용하여 상기 절대 위치와 절대 자세를 추정하는 것인, 절대 포인트 클라우드 생성 방법.
4. 제3항에 있어서,
   상기 칼만 필터는 GPS/INS 약결합 칼만 필터인 것인, 절대 포인트 클라우드 생성 방법.
5. 제1항에 있어서,
   상기 관성항법장치는 상기 스테레오 카메라의 이동과 연동하도록 설치되고,
   상기 (a) 단계에서, 상기 스테레오 카메라의 절대 위치와 절대 자세는, 상기 GPS 기반 위치 및 상기 INS 원시 측정 데이터에 기초하여 추정된 상기 관성항법장치의 절대 위치와 절대 자세에 대하여, 상기 관성항법장치에서 상기 스테레오 카메라로의 상대 위치 벡터를 고려하여 추정되는 것인, 절대 포인트 클라우드 생성 방법.
6. 제5항에 있어서,
   상기 스테레오 카메라는 제1 시점 영상 획득부 및 제2 시점 영상 획득부를 포함하고,
   상기 상대 위치 벡터는 상기 관성항법장치에서 상기 제1 시점 영상 획득부로의 상대 위치 벡터 또는 상기 관성항법장치에서 상기 제2 시점 영상 획득부로의 상대 위치 벡터인 것인, 절대 포인트 클라우드 생성 방법.
7. 제1항에 있어서,
   상기 (b) 단계는,
   상기 스테레오 영상에 대응하는 제1 시점 영상 및 제2 시점 영상 각각에 대하여 추출된 각 영상의 특징점 간의 비교를 통해 상호 매칭되는 동일 특징점을 획득하고, 획득된 동일 특징점의 픽셀값에 대하여 최소자승법을 적용함으로써 상기 상대 좌표를 추정하는 것인, 절대 포인트 클라우드 생성 방법.
8. 제1항에 있어서,
   상기 (c) 단계에서 상기 기하학적 관계 정보는 하기 수학식 1을 만족하는 것인, 절대 포인트 클라우드 생성 방법;
   [수학식 1]
   

   

   
   여기서,

   

   은 스테레오 카메라의 제1 시점 영상 획득부 및 제2 시점 영상 획득부 중 어느 하나를 기준으로 한 시점 좌표계, e는 지구 중심 좌표계,

   

   는 상기 시점 좌표계에서 지구 중심 좌표계로의 좌표변환행렬,

   

   는 지구 중심 좌표계 기반 지구 중심에서 상기 시점 좌표계에 대응하는 시점 영상 획득부의 중심으로의 위치 벡터,

   

   는 절대 좌표화된 절대 포인트 클라우드,

   

   은 상기 시점 좌표계에 대응하는 시점 영상 획득부의 카메라 렌즈 중심로부터 물체까지의 상대 벡터들의 집합인 상대 포인트 클라우드를 나타냄.
9. 제1항에 있어서,
   상기 (a) 단계 이전에, 상기 GPS 원시 측정 데이터로부터 확인되는 GPS 시간을 기준으로 상기 관성항법장치로부터 획득되는 INS 원시 측정 데이터와 상기 스테레오 카메라로부터 획득되는 스테레오 영상 간의 동기화를 수행하는 단계,
   를 더 포함하는 절대 포인트 클라우드 생성 방법.
10. 제9항에 있어서,
    상기 GPS 시간 및 상기 INS 원시 측정 데이터는, 이와 동기화된 스테레오 영상의 제1 시점 영상 또는 제2 시점 영상에 포함되는 정보로서 저장되는 것인, 절대 포인트 클라우드 생성 방법.
11. 물체의 절대 포인트 클라우드 생성 장치에 있어서,
    GPS 원시 측정 데이터를 이용하여 산출된 스테레오 카메라의 GPS 기반 위치 및 관성항법장치로부터 획득되는 INS 원시 측정 데이터에 기초하여 상기 스테레오 카메라의 절대 위치와 절대 자세를 추정하는 추정부;
    상기 스테레오 카메라로부터 획득되는 물체에 대한 스테레오 영상을 이용하여 추정된 상기 스테레오 카메라로부터 상기 물체까지의 상대 좌표에 기반한 상대 포인트 클라우드를 생성하는 상대 포인트 클라우드 생성부; 및
    추정된 상기 스테레오 카메라의 절대 위치와 절대 자세 및 상기 상대 포인트 클라우드 간의 기하학적 관계 정보를 고려하여 상기 상대 포인트 클라우드를 절대 좌표화한 절대 포인트 클라우드를 생성하는 절대 포인트 클라우드 생성부,
    를 포함하는 절대 포인트 클라우드 생성 장치.
12. 제11항에 있어서,
    상기 추정부는, 상기 GPS 원시 측정 데이터로서 기준국 데이터와 GPS 센서로부터 측정되는 GPS 측정 데이터를 RTK(Real-Time Kinematic) 소프트웨어에 적용함으로써 상기 GPS 측정 데이터에 포함된 거리의존오차가 보상된 위치로서 상기 GPS 기반 위치를 산출하는 것인, 절대 포인트 클라우드 생성 장치.
13. 제11항에 있어서,
    상기 추정부는,
    상기 GPS 기반 위치와 상기 INS 원시 측정 데이터에 대하여 칼만 필터를 적용하여 상기 절대 위치와 절대 자세를 추정하는 것인, 절대 포인트 클라우드 생성 장치.
14. 제13항에 있어서,
    상기 칼만 필터는 GPS/INS 약결합 칼만 필터인 것인, 절대 포인트 클라우드 생성 장치.
15. 제11항에 있어서,
    상기 관성항법장치는 상기 스테레오 카메라의 이동과 연동하도록 설치되고,
    상기 추정부는, 상기 GPS 기반 위치 및 상기 INS 원시 측정 데이터에 기초하여 추정된 상기 관성항법장치의 절대 위치와 절대 자세에 대하여, 상기 관성항법장치에서 상기 스테레오 카메라로의 상대 위치 벡터를 고려함으로써 상기 스테레오 카메라의 절대 위치와 절대 자세를 추정하는 것인, 절대 포인트 클라우드 생성 장치.
16. 제15항에 있어서,
    상기 스테레오 카메라는 제1 시점 영상 획득부 및 제2 시점 영상 획득부를 포함하고,
    상기 상대 위치 벡터는 상기 관성항법장치에서 상기 제1 시점 영상 획득부로의 상대 위치 벡터 또는 상기 관성항법장치에서 상기 제2 시점 영상 획득부로의 상대 위치 벡터인 것인, 절대 포인트 클라우드 생성 장치.
17. 제11항에 있어서,
    상기 상대 포인트 클라우드 생성부는,
    상기 스테레오 영상에 대응하는 제1 시점 영상 및 제2 시점 영상 각각에 대하여 추출된 각 영상의 특징점 간의 비교를 통해 상호 매칭되는 동일 특징점을 획득하고, 획득된 동일 특징점의 픽셀값에 대하여 최소자승법을 적용함으로써 상기 상대 좌표를 추정하는 것인, 절대 포인트 클라우드 생성 장치.
18. 제11항에 있어서,
    상기 절대 포인트 클라우드 생성부에서 고려하는 상기 기하학적 관계 정보는 하기 수학식 2를 만족하는 것인, 절대 포인트 클라우드 생성 장치;
    [수학식 2]
    

    

    
    여기서,

    

    은 스테레오 카메라의 제1 시점 영상 획득부 및 제2 시점 영상 획득부 중 어느 하나를 기준으로 한 시점 좌표계, e는 지구 중심 좌표계,

    

    는 상기 시점 좌표계에서 지구 중심 좌표계로의 좌표변환행렬,

    

    는 지구 중심 좌표계 기반 지구 중심에서 상기 시점 좌표계에 대응하는 시점 영상 획득부의 중심으로의 위치 벡터,

    

    는 절대 좌표화된 절대 포인트 클라우드,

    

    은 상기 시점 좌표계에 대응하는 시점 영상 획득부의 카메라 렌즈 중심로부터 물체까지의 상대 벡터들의 집합인 상대 포인트 클라우드를 나타냄.
19. 제11항에 있어서,
    상기 추정부를 통한 추정 이전에, 상기 GPS 원시 측정 데이터로부터 확인되는 GPS 시간을 기준으로 상기 관성항법장치로부터 획득되는 INS 원시 측정 데이터와 상기 스테레오 카메라로부터 획득되는 스테레오 영상 간의 동기화를 수행하는 동기화부,
    를 더 포함하는 절대 포인트 클라우드 생성 장치.
20. 제19항에 있어서,
    상기 GPS 시간 및 상기 INS 원시 측정 데이터는, 이와 동기화된 스테레오 영상의 제1 시점 영상 또는 제2 시점 영상에 포함되는 정보로서 저장되는 것인, 절대 포인트 클라우드 생성 장치.
21. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.

Images