KR101532320B1

KR101532320B1 - 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법

Info

Publication number: KR101532320B1
Application number: KR1020140046501A
Authority: KR
Inventors: 민지홍; 곽기호; 안성용; 김정호
Original assignee: 국방과학연구소
Priority date: 2014-04-18
Filing date: 2014-04-18
Publication date: 2015-07-22

Abstract

본 발명은 자율주행 무인차량에 서로 이격되게 설치된 카메라를 이용하여, 전방의 동적물체를 감지하도록 한 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법에 관한 것이다.
본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법은, 주행중인 자율주행 무인차량의 전방에 위치한 동적물체를 탐지하는 방법에 있어서, 주행중인 자율주행 무인차량의 주행정보와, 상기 자율주행 무인차량에 탑재된 쌍안 카메라에서 촬영한 이미지가 입력되는 데이터 입력단계(S110)와, 상기 쌍안 카메라로부터 동시에 촬영된 한 쌍의 이미지로부터 스테레오 정합을 실시하여 특징점 추출하는 스테레오 정합단계(S120)와, 상기 이미지에서 정해진 구간의 값을 갖는 영역이 하나의 수퍼픽셀(super pixel)이 되도록 상기 이미지를 복수의 수퍼픽셀로 분할하는 수퍼픽셀 변환단계(S130)와, 상기 복수의 수퍼픽셀마다 고차원 마르코프 랜덤필드를 계산하여 동적물체가 존재하는 수퍼픽셀을 검출하는 고차원 마르코프 랜덤필드 계산단계(S140)와, 상기 고차원 마르코프 랜덤필드 계산단계(S140)에 동적물체가 있는 수퍼픽셀에 동적물체가 있는 것으로 판단하는 최적정보선택단계(S150)를 포함한다.

Description

자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법{METHOD FOR DETECTING A MOVING OBJECT USING STEREO CAMERA INSTALLED IN AUTONOMOUS VEHICLE}

본 발명은 무인 자율주행 차량의 전방의 경로상에 나타나는 동적물체를 검출하는 방법에 관한 것으로서, 더욱 상세하게는 자율주행 무인차량에 서로 이격되게 설치된 카메라를 이용하여, 전방의 동적물체를 감지하도록 한 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법에 관한 것이다.

군사용으로 사용되거나, 위험지역에 사람대신 투입되어 해당지역에서 이동하는 장비인 자율주행 무인차량은 주행을 위하여 주행경로상에 나타나는 장애물을 피하여 목적지에 도달하여야 한다.

상기 자율주행 무인차량은 정지된 물체를 회피하여 주행하는 것도 중요하지만, 주행중에 주행경로상으로 나타나는 동적물체를 탐지하고, 상기 동적물체의 움직임을 추정한 후, 상기 자율주행 무인차량의 경로를 재설정하거나, 동적물체를 회피한 상태로 주행할 수 있어야 한다.

이를 위해, 종래에는 레이더, 레이저, 카메라 센서 등을 이용하여 주행 중 주행경로상에 나타는 동적물체를 탐지하는 방법이 많이 사용되고 있다.

예컨대, 단안 카메라를 사용하여 동적물체를 탐지하는 방법은, 정지된 상태의 단안 카메라로 촬영한 이미지에서 이미지 전체의 밝기 값, 색상 값의 차이로 동적물체를 탐지한다. 그러나, 이러한 방식은 자율주행 무인차량과 같이, 이동중인 상태에서 촬영한 이미지에서는 이미지 전체의 밝기, 색상이 변하므로, 이미지 전체를 동적물체로 오인하게 되는 문제점이 있다.

한편, 상기 단안 카메라가 이동되는 상태에서 동적물체를 탐지하는 방법도 있으나, 많은 가정을 필요로 하는 문제점이 있었다. 즉, 상기 단안 카메라가 이동하는 방향, 속력 등과 조건을 고려해야 하므로, 짧은 시간에 정밀하게 동적물체를 탐지해야 하는 자율주행 무인차량에서는 적용하는데 문제가 있었다.

이러한 문제점을 개선하고자 쌍안 카메라를 사용하여 동적물체를 탐지하는 방법이 제시되기도 하였다. 쌍안 카메라의 좌우측에서 동시에 촬영된 이미지를 이용하여 물체와 카메라의 거리를 측정하여, 이미지의 밝기값, 색상값을 이용하여 차량 전방의 동적물체를 감지하고 있다.

하지만, 쌍안 카메라를 사용하는 경우에도 물체와 카메라 간의 거리가 계속해서 변동되기 때문에 차량 전방의 동적물체를 감지하기가 어려운 경우가 많았다.

하기의 선행기술문헌은 '움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법'에 관한 기술이 개시되어 있다.

KR 10-2010-0063646A

본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 자율주행 무인차량에 탑재된 쌍안경으로 동시에 2개의 이미지를 획득하여, 상기 이미지의 영상특징과 기하학적 정보를 융합하여 자율주행 무인차량의 전방에 위치한 동적물체를 감지할 수 있는 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법을 제공하는데 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법은,

주행중인 자율주행 무인차량의 전방에 위치한 동적물체를 탐지하는 방법에 있어서, 주행중인 자율주행 무인차량의 주행정보와, 상기 자율주행 무인차량에 탑재된 쌍안 카메라에서 촬영한 이미지가 입력되는 데이터 입력단계와, 상기 쌍안 카메라로부터 동시에 촬영된 한 쌍의 이미지로부터 스테레오 정합을 실시하여 특징점 추출하는 스테레오 정합단계와, 상기 이미지에서 정해진 구간의 값을 갖는 영역이 하나의 수퍼픽셀(super pixel)이 되도록 상기 이미지를 복수의 수퍼픽셀로 분할하는 수퍼픽셀 변환단계와, 상기 복수의 수퍼픽셀마다 고차원 마르코프 랜덤필드를 계산하여 동적물체가 존재하는 수퍼픽셀을 검출하는 고차원 마르코프 랜덤필드 계산단계와, 상기 고차원 마르코프 랜덤필드 계산단계에 동적물체가 있는 수퍼픽셀에 동적물체가 있는 것으로 판단하는 최적정보선택단계를 포함하는 것을 특징으로 한다.

상기 데이터 입력단계에서는, 직전에 검출결과가 함께 입력되는 것을 특징으로 한다.

상기 수퍼픽셀 변환단계에서는, 정해진 구간의 밝기 값 또는 색상 값을 갖는 영역을 하나의 수퍼픽셀로 정하는 것을 특징으로 한다.

상기 고차원 마르코프 랜덤필드 계산단계에서는, 하기의 고차원 마르코프 랜덤필드 계산식으로 마르코프 랜덤필드를 구성하는 것을 특징으로 한다.

Ψ(x) = Ψ_u(x) + Ψ_h(x) + Ψ_s(x) + Ψ_t(x)

(단, x : 각 수퍼픽셀, Ψ_u(x) : 단항, Ψ_h(x) : 고차원 우도항, Ψ_s(x) : 공간 일관성항, Ψ_t(x) : 시간 일관성항)

상기 고차원 마르코프 랜덤필드 계산단계에서는, 상기 고차원 마르코프 랜덤필드 계산식이 설정된 값 이상이면, 해당 수퍼픽셀에 동적물체가 있는 것으로 판단하는 것을 특징으로 한다.

상기 데이터 입력단계 내지 상기 고차원 마르코프 랜덤필드 계산단계는 상기 쌍안 카메라로부터 입력되는 이미지마다 수행되는 것을 특징으로 한다.

상기와 같은 구성을 갖는 본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법에 따르면, 쌍안 카메라의 영상만을 이용하여 이동 중에 동적물체를 검출할 수 있다.

이때, 동적물체를 수퍼픽셀을 단위로 하여 물체를 추출하기 때문에 동적물체의 탐지에 필요한 계산량을 줄일 수 있다.

또한, 연속된 이미지를 활용하기 때문에 확실하게 동적물체를 탐지할 수 있다.

아울러, 상기와 같이, 동적물체의 탐지성능이 향상됨으로써, 이를 적용한 자율주행 무인차량의 주행안정성도 향상된다.

도 1 및 도 2는 자율주행 무인차량에 쌍안카메라가 탑재된 상태를 도시한 측면도 및 평면도,
도 3은 본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법을 도시한 순서도,
도 4는 본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법에서 쌍안카메라로부터 특징점까지의 거리를 구하는 과정을 도시한 블록도,
도 5a는 카메라를 이용한 촬영한 이미지이고, 도 5b는 상기 이미지를 본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법에 따라 수퍼픽셀로 변환한 예시이다.

이하 첨부된 도면을 참조로 하여 본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법에 대하여 자세히 설명하기로 한다.

본 발명에 따른 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법은 도 1 및 도 2에 도시된 바와 같이, 자율주행 무인차량(11)에 서로 간격을 두고 같은 방향을 촬영하도록 설치된 쌍안 카메라로부터 획득한 이미지를 확용하여 상기 자율주행 무인차량(11)의 전방에 나타나는 동적물체를 감지하도록 한다.

이때, 상기 쌍안 카메라(12)는 서로 간격을 두고 배치되되, 도 2에 도시된 바와 같이, 서로 중첩되는 영역이 많도록 하는 것이 바람직하다.

데이터 입력단계(S110)는 자율주행 무인차량(11)의 주행정보, 상기 자율주행 무인차량(11)에 탑재된 쌍안 카메라(12)에서 촬영한 이미지가 입력된다. 본 발명은 상기 자율주행 무인차량(11)이 주행중이 상태에서 동적물체를 검출하기 위한 것이므로, 주행중인 자율주행 무인차량(11)의 GPS상의 위치, 현재 자세 정보가 입력된다. 또한, 상기 쌍안 카메라로부터 촬영된 이미지도 함께 입력된다. 쌍안 카메라로부터 입력되는 이미지는 동시에 촬영된 상기 쌍안 카메라(12)의 좌우측 이미지 이다.

특히, 상기 데이터 입력단계(S110)에서는 직전 스테레오 특징점 정합결과도 함께 입력되도록 하는 것이 바람직하다.

스테레오 정합단계(S120)는 상기 쌍안 카메라로부터 입력된 좌우측 이미지로부터 특징점을 추출하여 스테레오 정합을 수행함으로써, 쌍안 카메라로부터 특징점까지의 거리를 구한다.

여기서, 상기 쌍안카메라로부터 특징점까지의 거리(D)는 다음과 같이 구할 수 있다.

좌우측의 각 이미지에서 모서리점과 유사한 특성을 갖는 점, 즉 특징점(point feature)을 Kanade-Lucas-Tomasi (KLT) 특징 추적기를 이용하여 추출하고 좌우 이미지에 존재하는 모든 특징점을 정합한다.

쌍안 카메라의 교정 정보(초점거리 등), 2개의 카메라간의 이격거리(직선 L₃의 길이)를 이용하면, 카메라 중심으로부터 대상물체를 촬영한 이미지내에 존재하는 특징점(PF_L, PF_R)을 연결하는 직선(L₁, L₂)의 방정식을 구할 수 있다(도 4참조). 이때, 상기 좌우측의 이미지의 특징점(PF_L, PF_R)은 각 카메라에서 대상물체를 촬영하였을 때의 임의의 위치의 이미지에서 대상물체가 투영된 상태로 볼 수 있다.

이때, 도 4에 도시된 바와 같이, 좌우 정합된 특징점(PF_L,PF_R)을 이용하여 계산된 두 직선(L₁, L₂)과 두 카메라의 중심을 이은 직선(D)으로 삼각형을 만들 수 있고, 상기 삼각형에서 삼각법을 이용하여 카메라 중심으로부터 물체까지의 거리(D)를 구할 수 있다.

수퍼픽셀 변환단계(S130)는 상기 쌍안 카메라(12)로부터 촬영된 이미지에서, 정해진 구간의 값을 갖는 영역을 하나의 수퍼픽셀(super pixel)로 변환한다. 예컨대, 밝기 값 또는 색상 값이 일정한 범위, 즉 비슷한 범위를 갖는 영역을 하나의 영역인 수퍼픽셀로 할 수 있다.

도 5a와 같은 이미지를 수퍼픽셀로 변환하면 도 5b와 같은 형태가 된다.

고차원 마르코프 랜덤필드 계산단계(S140)는 수퍼픽셀내에 존재하는 특징점의 재투영 오차, 인접 수퍼픽셀 간의 공간, 시간적 일관성을 이용하여 상기 수퍼픽셀 중에서 움직임이 있는 수퍼픽셀을 수학적으로 추출하는 과정이다.

상기 고차원 마르코프 랜덤필드 계산단계(S140)에서 활용되는 수학식은 다음과 같다.

Ψ(x) = Ψ_u(x) + Ψ_h(x) + Ψ_s(x) + Ψ_t(x)

여기서, x는 각 수퍼픽셀, Ψ_u(x)는 단항(unary term), Ψ_h(x)는 고차원 우도항(high-order likelihood term), Ψ_s(x)는 공간 일관성항(spatial coherence term), Ψ_t(x)는 시간 일관성항(temporal coherence term)을 표현한다.

상기 Ψ_u(x)는 하나의 superpixel안에서 연속적으로 추적된 특징점의 공간상의 위치를 항법 정보를 통해 계산한 후 영상에 투영시켜 투영된 위치와 추적된 영상의 위치를 계산하여 오차가 큰 특징점과 작은 특징점의 개수의 비율로 표현한다. 이는 이미 알고 있는 쌍안카메라로부터 특징점까지의 거리를 항법정보를 통해 보정하는 함으로써, 정적(靜的)물체의 경우 영상에 재투영시키면 투영오차가 작으나, 동적(動的)물체의 경우 투영오차가 커지는 현상을 Ψ_u(x)으로 표현한다.

상기 Ψ_h(x)는 특징점의 잘못된 정합, 영상의 노이즈등으로 인해 하나의 수퍼픽셀이 동적물체로 나타나는 문제를 막기 위해 만든 항으로 동적물체는 일반적으로 재투영오차가 큰 특징점이 많이 발생하기 때문에 재투영오차가 큰 특징점들의 집합이 많을수록 가중치를 더 가지도록 표현한다.

Ψ_s(x)는 인접한 수퍼픽셀간 색상의 변화, 밝기값의 변화가 비슷한 것끼리 집합이 되도록 표현한다.

Ψ_t(x)는, 차량이 전진하는 동안 동적물체도 같은 속도로 움직이면 재투영 오차가 작게 나오는 문제가 발생하기 때문에 카메라와 물체간의 상대적인 변화가 같으면 이전 결과도 유지되도록 표현한다.

상기 고차원 마르코프 랜덤필드 계산단계(S140)를 이용하여, 상기 Ψ(x)이 설정된 값보다 높으면, 해당 수퍼픽셀에 동적물체가 있음을 간주하고, Ψ(x)이 설정된 값보다 높지 않으면, 해당 수퍼픽셀에 동적물체가 없음으로 간주한다.

상기 고차원 마르코프 랜덤필드 계산단계(S140)를 각 수퍼픽셀마다 실시된다.

최적정보선택단계(S150)는 상기 고차원 마르코프 랜덤 필드 계산단계(S140)에서 획득한 각 수퍼픽셀에 대한 동적물체 존재 여부를 이용하여, 최적의 정보를 선택함으로써, 최종적으로 동적물체를 탐지하게 된다.

한편, 앞서 살펴본 상기의 과정, 즉 상기 데이터 입력단계(S110) 내지 상기 고차원 마르코프 랜덤필드 계산단계(S140)는, 시간간격을 두고 상기 쌍안 카메라(12)로부터 획득되는 이미지마다 실행되는 것이 바람직하다.

11 : 자율주행 무인차량
12 : 쌍안 카메라
S110 : 데이터 입력단계
S120 : 스테레오 정합단계
S130 : 수퍼픽셀 변환단계
S140 : 고차원 마르코프 랜덤필드 계산단계
S150 : 최적 정보 선택 단계

Claims

주행중인 자율주행 무인차량의 전방에 위치한 동적물체를 탐지하는 방법에 있어서,
주행중인 자율주행 무인차량의 주행정보와, 상기 자율주행 무인차량에 탑재된 쌍안 카메라에서 촬영한 이미지가 입력되는 데이터 입력단계와,
상기 쌍안 카메라로부터 동시에 촬영된 한 쌍의 이미지로부터 스테레오 정합을 실시하여 특징점 추출하는 스테레오 정합단계와,
상기 이미지에서 정해진 구간의 값을 갖는 영역이 하나의 수퍼픽셀(super pixel)이 되도록 상기 이미지를 복수의 수퍼픽셀로 분할하는 수퍼픽셀 변환단계와,
상기 복수의 수퍼픽셀마다 상기 수퍼픽셀내에 존재하는 상기 특징점의 재투영오차, 인접 수퍼픽셀간의 공간적, 시간적 일관성을 고려한 고차원 마르코프 랜덤필드를 계산하여 동적물체가 존재하는 수퍼픽셀을 검출하는 고차원 마르코프 랜덤필드 계산단계와,
상기 고차원 마르코프 랜덤필드 계산단계 이후 전체 수퍼픽셀간의 공간, 시간일관성을 고려하여 동적물체가 있는 수퍼픽셀에 동적물체가 있는 것으로 판단하는 최적정보선택단계를 포함하는 것을 특징으로 하는 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법.
제1항에 있어서,
상기 데이터 입력단계에서는,
직전에 검출결과가 함께 입력되는 것을 특징으로 하는 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법.
제1항에 있어서,
상기 수퍼픽셀 변환단계에서는,
정해진 구간의 밝기 값 또는 색상 값을 갖는 영역을 하나의 수퍼픽셀로 정하는 것을 특징으로 하는 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법.
제1항에 있어서,
상기 고차원 마르코프 랜덤필드 계산단계에서는,
하기의 고차원 마르코프 랜덤필드 계산식으로 마르코프 랜덤필드를 구성하는 것을 특징으로 하는 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법.
Ψ(x) = Ψ_u(x) + Ψ_h(x) + Ψ_s(x) + Ψ_t(x)
(단, x : 각 수퍼픽셀, Ψ_u(x) : 단항, Ψ_h(x) : 고차원 우도항, Ψ_s(x) : 공간 일관성항, Ψ_t(x) : 시간 일관성항)
제4항에 있어서,
상기 고차원 마르코프 랜덤필드 계산단계에서는,
상기 고차원 마르코프 랜덤필드 계산식이 설정된 값 이상이면, 해당 수퍼픽셀에 동적물체가 있는 것으로 판단하는 것을 특징으로 하는 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 데이터 입력단계 내지 상기 고차원 마르코프 랜덤필드 계산단계는 상기 쌍안 카메라로부터 입력되는 이미지마다 수행되는 것을 특징으로 하는 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법.