KR101316387B1 - 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법 - Google Patents

Abstract

본 발명은 오브젝트(예; 차량 접근 장애물)을 인식하는 방법에 관한 것으로, 더욱 상세하게는 영상 변환 기법(Homography 기법)을 바탕으로 왜곡이 많은 영상 데이터를 기준으로 하여 거리측정 데이터를 영상 데이터에 맞게 변환해 영상 데이터[비전 센싱 결과]와 거리측정 데이터[거리측정 센싱 결과]을 융합해 오브젝트를 인식하는, 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법을 제공하고자 한다.
이를 위하여, 본 발명은, 오브젝트를 인식하는 방법에 있어서, 오브젝트에 관한 거리측정 데이터와 영상 데이터를 획득하는 단계; 상기 획득한 영상 데이터를 기준으로 하여 상기 획득한 거리측정 데이터를 융합하는 단계; 및 상기 영상 데이터와, 상기 영상 데이터 상에 변환된 상기 거리측정 데이터로부터 상기 오브젝트를 인식하는 단계를 포함하는 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법을 제공한다.

Description

비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법{Method of object recognition using vision sensing and distance sensing}

본 발명은 오브젝트(예; 차량 접근 장애물)을 인식하는 방법에 관한 것으로, 더욱 상세하게는 영상 변환 기법(Homography 기법)을 바탕으로 왜곡이 많은 영상 데이터를 기준으로 하여 거리측정 데이터를 영상 데이터에 맞게 변환해 영상 데이터[비전 센싱 결과]와 거리측정 데이터[거리측정 센싱 결과]을 융합해 오브젝트를 인식하는, 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법에 관한 것이다.

차량 접근 장애물 인식 기술은 차량 주행 시 능동적으로 불안 요소를 미리 예측하고 탐지함으로써 주행 중 차량 사고의 위험성을 감소시키는데 필요하다.

현재까지 연구된 차량 접근 장애물 인식 기술은 크게 카메라 이용 기술, LIDAR 또는 레이다 이용 기술, 센서 융합 기술과 같이 세가지로 분류할 수 있다. 이러한 종래기술들은 다음과 같은 문제점을 가지고 있다.

카메라 이용 기술은 조도 변화에 민감하며, 정확한 거리를 측정하지 못하는 단점이 있다. 이를 극복하기 위해 스테레오 비전을 사용하기도 하나 Disparity Map 기반 거리정보의 정확도가 매우 낮다는 문제점이 있다.

횡 방향 해상도를 갖는 LIDAR 또는 레이다 이용 기술은 인접한 거리 데이터를 시간적으로 추적하여 클러스터를 인식함으로써 후보를 생성한다. 그러나, 획득된 거리 정보는 정확하나, 종 방향 해상도를 갖지 않기 때문에 추가 후보 검증 시스템이 필요하다는 단점이 있다.

센서 융합 기술은 거리 센서와 카메라를 조합시켜 차량 접근 장애물을 인식하는데, 카메라 이용 기술, LIDAR 또는 레이다 이용 기술에 비해 높은 신뢰성을 보여주고 있으나, 거리 센서를 이용하여 후보를 생성하고 영상 기반으로 검증하는 알고리즘 특성 상 강인한 인식 결과를 얻을 수 없는 문제점이 있다.

따라서, 비전 센싱과 거리측정 센싱을 융합하여 오브젝트를 인식하는데 있어 높은 신뢰성, 강인한 인식 결과(정확성)를 보장할 수 있는 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법의 개발이 절실히 요구되고 있다.

이에, 본 발명은 상기와 같은 문제점을 해결하고 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 영상 변환 기법(Homography 기법)을 바탕으로 왜곡이 많은 영상 데이터를 기준으로 하여 거리측정 데이터를 영상 데이터에 맞게 변환해 영상 데이터[비전 센싱 결과]와 거리측정 데이터[거리측정 센싱 결과]을 융합해 오브젝트를 인식하는, 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기의 목적을 달성하기 위한 본 발명은, 오브젝트를 인식하는 방법에 있어서, 오브젝트에 관한 거리측정 데이터와 영상 데이터를 획득하는 단계; 상기 획득한 영상 데이터를 기준으로 하여 상기 획득한 거리측정 데이터를 융합하는 단계; 및 상기 영상 데이터와, 상기 영상 데이터 상에 변환된 상기 거리측정 데이터로부터 상기 오브젝트를 인식하는 단계를 포함하는 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법을 제공한다.

상기와 같은 본 발명은 비전 센싱과 거리측정 센싱을 융합하여 높은 신뢰성, 강인한 인식 결과(정확성)를 보장하여 오브젝트를 인식할 수 있는 효과가 있다.

또한, 본 발명은 영상 데이터와 거리측정 데이터의 융합 결과가 이질감 없이 자연스러우며 정보가 없는 부분은 영상 데이터로 채워지기에 알고리즘의 높은 신뢰성, 강인한 인식 결과(정확성)를 보장할 수 있는 효과가 있다.

또한, 본 발명은 서로 다른 특성과 표현 방식을 갖는 영상 데이터와 거리측정 데이터 간을 융합할 수 있는 효과가 있다.

도 1은 레이저 스캐너에 의한 거리측정 데이터의 지리학적 특성을 보여주는 설명도.
도 2는 카메라에 의한 영상 데이터의 지리학적 특성을 보여주는 설명도.
도 3은 본 발명에서 제시하는 영상 데이터와 거리측정 데이터의 융합을 보여주는 설명도.
도 4는 영상 데이터와 거리측정 데이터를 보여주는 설명도.
도 5는 본 발명에서 제시하는 영상 변환 기법(Homography 기법)을 보여주는 설명도.
도 6은 본 발명에 따른 영상 데이터와 거리측정 데이터 융합 결과를 보여주는 설명도.
도 7은 종래기술 대비 본 발명이 적용된 제1 사례를 보여주는 설명도.
도 8은 종래기술 대비 본 발명이 적용된 제2 사례를 보여주는 설명도.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면들을 함께 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

본 발명에서는 비전 센싱과 거리측정 센싱을 융합하여 오브젝트를 인식하는 방법을 제시하며, 차량 주행 시 사고 요인이 될 수 있는 차량 접근 장애물(예; 사람, 다른 차량 등)을 오브젝트의 하나의 예시로서 설명하기로 하며, 이에 본 발명의 기술이 한정되는 것은 아님을 밝혀 둔다.

비전 센싱 기술과 거리측정 센싱 기술을 설명하면 다음과 같다.

비전 센싱 기술(영상 데이터 처리 기술)은 위치가 서로 다른 2개 이상의 카메라를 통해 획득한 영상 데이터와 위치 정보를 활용하여 특징점들 간의 대응관계로부터 거리 정보를 획득하는 기술로서 Stereo vision이라고도 한다. 획득된 거리 정보는 disparity map으로 표현된다. 본 발명에서는 영상 데이터를 획득하는 수단으로서 카메라를 하나의 예시로서 설명하기로 한다.

거리측정 센싱 기술(거리측정 데이터 처리 기술)은 레이다 또는 레이저 스캐너와 같은 거리측정 데이터를 표현 방식에 따라 변환하는 기술이다. 예로서 Polar coordinate, Cartesian coordinate 등이 있다. 본 발명에서는 거리측정 데이터를 획득하는 수단으로서 레이저 스캐너를 하나의 예시로서 설명하기로 한다.

도 1은 레이저 스캐너에 의한 거리측정 데이터의 지리학적 특성을 보여주는 설명도이다.

레이저 스캐너(10)와 관찰 오브젝트의 지리학적 관계는 수평선에 있으나, 레이저 스캐너(10)를 통해 획득한 거리측정 데이터는 레이저 스캐너(10)의 실제 위치로부터 오브젝트와의 거리를 표현하고 있기에, 도 1에 도시된 바와 같이 가상의 레이저 스캐너(15)가 위에서 오브젝트를 바라보는 형태(Bird view)가 된다.

도 2는 카메라에 의한 영상 데이터의 지리학적 특성을 보여주는 설명도이다.

만약에 카메라(20)가 레이저 스캐너(10)와 동일한 지리학적 관계를 가진다면, 카메라(20) 또한 관찰 오브젝트와 수평선에 위치하게 된다. 하지만 거리측정 데이터와 다른 점은 3차원 데이터가 2차원 평면으로 투영되므로 이미지 상의 오브젝트는 Warping된다는 점이다. 즉, 동일한 크기의 오브젝트라 할지라도 이미지 내부에 투영된 오브젝트 크기는 거리에 따라 변하는 것이다.

따라서, 본 발명에서는 다음과 같이 카메라(20)를 통해 획득한 영상 데이터와 레이저 스캐너(10)를 통해 획득한 거리측정 데이터의 융합 방법을 제시한다.

거리측정 데이터와 영상 데이터 중에서 어느 센싱 데이터를 기준으로 잡을 지 결정할 필요가 있다. 본 발명에서는 영상 변환 기법을 적용했을 때 왜곡이 많은 영상 데이터를 기준으로 한다.

영상 데이터는 거리가 멀어질수록 영상 내부에 투영된 오브젝트의 크기는 작아진다. 이러한 특징을 거리측정 데이터에 적용하여 적절히 Warping을 해 주어야 데이터 융합 시 이질감이 적어지는 것이다. 이때, Warping을 위해 영상 변환 기법으로서 Homography 기법(Homography transformation)을 사용한다.

도 3은 본 발명에서 제시하는 영상 데이터와 거리측정 데이터의 융합을 보여주는 설명도이다.

도 3은 육면체 오브젝트를 관찰하는 레이저 스캐너(10)와 카메라(20) 간의 위치 관계를 표현한다. 즉, 카메라(20)를 통해 획득한 영상 데이터와 레이저 스캐너(10)를 통해 획득한 거리측정 데이터에 대해 Homography 기법을 적용했을 때 지리학적 특성을 보여주고 있다.

도 3에서, 카메라(20)는 3차원 영상을 평면에 투영하는 형태이므로 가까운 오브젝트는 크게, 먼 오브젝트는 작아지는 형태로 영상 데이터가 표현된다. 하지만 레이저 스캐너(10)를 통해 획득한 일직선 거리측정 데이터의 경우 3차원 거리측정 데이터가 투영되지 않고 절대적인 거리와 각도로 표현된다. 즉, 실제 레이저 스캐너(10)와 관찰 오브젝트와의 거리가, 가상 레이저 스캐너(15)가 위에서 관찰하는 것처럼 거리측정 데이터가 표현된다.

위와 같이 서로 표현 방식이 다른 영상 데이터와 거리측정 데이터 간을 효과적으로 융합하기 위해서는 각각의 데이터 특성과 표현 방식을 이해하고 다른 한쪽으로의 표현 방식으로 변환 및 표현을 해야 한다.

도 4는 영상 데이터와 거리측정 데이터를 보여주는 설명도이다.

도 4의 좌측 (a)는 카메라(20)에서 바라본 오브젝트의 모습니다. 육면체의 하단 부분은 카메라(20)와 가깝기 때문에 크게 표현되고 상단 부분은 작게 표현된다.

도 4의 우측 (b)는 레이저 스캐너(10)로부터 관찰 오브젝트의 매질이 출력된 후 오브젝트로부터 반사되어 오는 시간을 측정한 데이터이다.

이하, 본 발명의 영상 데이터와 거리측정 데이터를 융합하는 알고리즘에 대해 구체적으로 설명하기로 한다.

도 5는 본 발명에서 제시하는 영상 변환 기법(Homography 기법)을 보여주는 설명도이다.

도 5는 우측 (b)의 입력 이미지(input image)[데이터]에 대해 좌측 (a)와 같은 Backward mapping을 하는 과정을 나타낸다. Backward mapping의 장점은 변형된 이미지의 plane 정보가 많은 쪽에서 적은 쪽으로 변화하기 때문에 결과 이미지는 어색함 없이 모두 채워진다. 하지만 변형된 plane이 아닌 부분은 채워야 할 정보가 없으므로 정보가 없이 비워진다.

본 발명에서는 영상 데이터가 아닌 거리측정 데이터를 Backward mapping하며, 그에 따라 영상 데이터와 거리측정 데이터의 융합 결과가 이질감 없이 자연스러우며 정보가 없는 부분은 영상 데이터로 채워지기에 알고리즘의 높은 신뢰성, 강인한 인식 결과(정확성)를 보장할 수 있는 것이다.

그럼, 본 발명에서 제시하는 Homography Transform 유도 과정을 다음의 수학식들을 통해 설명하기로 한다.

여기서, 'X'는 world plane coordinates의 벡터이고, 'x'는 image plane coordinates의 벡터이고, 'H'는 Homography matrix를 나타낸다.

수학식 1 내지 3과 같은 유도식은 8 DOF(Degree of freedom)가 필요한데, 이 때 8 DOF는 서로 대응되는 4쌍의 점을 통해 구할 수 있다. 단, 이 4쌍의 점들 중에서 동일 선상에 최소 3개의 점이 있으면 안된다는 전제조건이 존재한다.

Homography matrix인 'H'는 서로 대응되는 4쌍의 점들과 Least squares psedoinverse를 이용해서 다음의 수학식 4 및 5로 해결할 수 있다.

도 6은 본 발명에 따른 영상 데이터와 거리측정 데이터 융합 결과를 보여주는 설명도이다.

레이저 스캐너(10)를 통해 거리측정 데이터를 획득하고, 카메라(20)를 통해 영상 데이터를 획득한 후에, Homography 기법을 사용하여 거리측정 데이터를 Backward mapping한다. 여기서, 도 6의 상단 좌측 (a)는 레이저 스캐너(10)를 통해 획득한 전방에 있는 오브젝트의 거리측정 데이터이고, 도 6의 상단 우측 (b)는 카메라(20)를 통해 획득한 영상 데이터이다.

본 발명과 같이 거리측정 데이터를 Backward mapping하게 되면, 도 6과 같이 레이저 스캐너(10)를 통해 획득한 거리측정 데이터가 카메라(20)를 통해 획득한 영상 데이터의 투사면(Projection plane)에 맞도록 설정된 후, 영상 데이터와 거리측정 데이터가 융합되어 도 6의 하단 (c)와 같이 잘 표현이 된 것을 확인할 수 있다. 이와 같이 본 발명에서 제시하는 방법을 사용하게 되면 서로 다른 특성과 표현 방식을 갖는 영상 데이터와 거리측정 데이터 간을 융합할 수 있는 것이다. 즉, 상기 영상 데이터와, 이 영상 데이터 상에 변환된 거리측정 데이터로부터 오브젝트를 인식한다.

위와 같이 영상 데이터는 아무런 처리를 하지 않은 상황이며, 거리측정 데이터를 영상 데이터의 기하학적인 특성에 맞게 변환하여 영상에서 보이는 오브젝트와 거리측정 데이터의 오브젝트 영역이 자연스럽게 융합되었다. 이러한 본 발명은 서로 다른 이종 센서가 갖는 고유의 단점을 극복할 수 있을 뿐만 아니라, 이종 센서 융합을 통해 더 강인한 오브젝트 인식 결과를 이끌어낼 수 있다.

도 7은 종래기술 대비 본 발명이 적용된 제1 사례를 보여주는 설명도이다.

도 7의 좌측 (a)는 조도가 없는 어두운 차량 주행 환경에서 비전 센서만을 사용해 오브젝트를 인식한 결과를 보여주고 있는데, 차량 전방에 위험한 오브젝트가 나타났을 때 사람의 눈으로 인식이 어려운 경우가 많다. 즉, 비전 센서를 사용하더라도 조도의 영향을 많이 받기에 어두운 환경에서는 충분한 사물 인식이 힘들다.

도 7의 우측 (b)는 조도가 없는 어두운 차량 주행 환경에서 본 발명으로 오브젝트를 인식한 결과를 보여주고 있다.

일반적으로, 어두운 환경에서 갑작스럽게 전방 장애물이 나타나더라도 조도에 영향을 받지 않는 거리측정 데이터로 올바른 오브젝트 인식을 할 수 있다. 그러나, 거리측정 데이터가 영상 데이터와 융합되지 않은 경우에 정확한 지점을 알려주기 힘들다. 이에 소리나 디스플레이로 경고를 주기도 하나 운전자는 정확한 장애물 위치를 알기 힘들다.

이에 반해, 도 7의 우측 (b)와 같이 본 발명은 영상 데이터와 거리측정 데이터를 융합하여 운전자가 정확한 장애물 위치를 인식할 수 있게 할 수 있다.

도 8은 종래기술 대비 본 발명이 적용된 제2 사례를 보여주는 설명도이다.

도 8의 좌측 (a)는 사각지대에서 장애물(차량)이 나타날 경우에 비전 센서만을 사용해 오브젝트를 인식한 결과를 보여주고 있는데, 카메라(20)의 시야 범위에서 차량 전방의 새로운 장애물을 인식하더라도 다수의 오브젝트들 중에서 어떤 것이 위험 요소인지 구분해 주기 힘들다. 따라서, 종래기술은 장애물이 출현할 경우에 단순 소리나 메시지로만 경고를 하게 된다.

도 8의 우측 (b)는 사각지대에서 장애물(차량)이 나타날 경우에 본 발명으로 오브젝트를 인식한 결과를 보여주고 있다.

본 발명과 같이 레이저 스캐너(10)의 거리측정 데이터로 차량 전방의 새로운 장애물을 인식한 경우에 이미 카메라(20)와 레이저 스캐너(10)는 위치 정보가 공유되기 때문에 지속적으로 위험 요소에 대해 정확한 위치 정보를 나타내 줄 수 있다. 이는 운전자로 하여금 직관적인 위험 요소 인지를 가능하게 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

10 : 레이저 스캐너
20 : 카메라

Claims (4)

1. 오브젝트에 관한 서로 표현 방식이 다른 거리측정 데이터와 영상 데이터를 획득하는 단계;
   상기 획득한 거리측정 데이터를 상기 획득한 영상 데이터에 맞게 변환하는 단계; 및
   상기 영상 데이터와, 상기 영상 데이터 상에 변환된 거리측정 데이터로부터 상기 오브젝트를 인식하는 단계
   를 포함하는 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법.
   
2. 제 1 항에 있어서,
   상기 변환하는 단계는,
   영상변환(Homography) 기법을 바탕으로 상기 거리측정 데이터를 상기 영상 데이터에 맞게 변환하는 것을 특징으로 하는 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법.
   
3. 제 2 항에 있어서,
   상기 변환하는 단계는,
   상기 획득한 거리측정 데이터를 백워드매핑(Backward mapping)하여 상기 영상 데이터 상에 상기 거리측정 데이터를 상기 영상 데이터에 맞게 변환하는 것을 특징으로 하는 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법.
   
4. 제 2 항 또는 제 3 항에 있어서,
   상기 영상 데이터에 맞게 변환하는 과정은,
   상기 획득한 거리측정 데이터를 상기 획득한 영상 데이터의 투사면(Projection plane)에 맞도록 설정하여 상기 영상 데이터 상에 상기 거리측정 데이터를 융합하는 것을 특징으로 하는 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법.

Images