KR102132527B1 - Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법 - Google Patents

Abstract

차량 주변 환경에 대한 3차원 정보의 획득을 지원할 수 있는 AVM 시스템 및 3차원 정보 획득을 위해, AVM 시스템에서 획득한 영상 사이의 매칭점을 검출하는 방법이 개시된다. 개시된 AVM 시스템에서, 영상 사이의 매칭점 검출 방법은 제1광각 카메라로부터 획득한 제1영상 및 제2광각 카메라로부터 획득한 제2영상을 보정하여, 제1 및 제2보정 영상을 생성하는 단계; 상기 제1 및 제2보정 영상 사이에서, 서로 오버랩되는 영역을 결정하는 단계; 상기 제1보정 영상의 제1오버랩 영역과, 상기 제2보정 영상의 제2오버랩 영역을 복수의 블록으로 나눠, 매칭 블록을 결정하는 단계; 및 상기 매칭 블록 각각에 대해 매칭점을 검출하는 단계를 포함한다.

Description

AVM 시스템 및 AVM 시스템에서, 영상 사이의 매칭점 검출 방법{AVM SYSTEM AND METHOD FOR DETECTING MATCHED POINT BETWEEN IMAGES IN AVM SYSTEM}

본 발명은 AVM 시스템 및 AVM 시스템에서, 영상 사이의 매칭점 검출 방법에 관한 것으로서, 더욱 상세하게는 차량 주변 환경에 대한 3차원 정보를 획득할 수 있는 AVM 시스템 및 AVM 시스템에서, 영상 사이의 매칭점 검출 방법에 관한 것이다.

최근, IT 기술의 발전과 더불어 이를 차량에 접목시키고자 하는 시도가 증가하고 있다. 예컨대, 차량에 카메라를 장착하여 운전 상태나 주변 상황을 녹화하는 블랙 박스 장치나 차량의 후방에 카메라를 설치하여 후진시 후방 영상을 촬영하여 차량 내부의 디스플레이 장치에 출력하도록 하는 주차 보조 시스템 등이 사용되고 있으며 이러한 추세는 점차 증가하고 있는 것으로 보고되고 있다.

이러한 기술 중에서 최근에는 차량의 전후방, 좌우측면에 광각 카메라를 설치하고 이들 카메라들로부터 촬영되는 영상을 차량의 바로 위 즉, 상방향에서 내려다보는 형태의 영상으로 재구성하여 차량의 디스플레이 장치에 출력함으로써 운전자의 편의를 도모하도록 하는 시스템도 제안되고 있다. 이러한 시스템은 마치 새가 하늘에서 내려다 보는 듯한 영상을 제공한다는 점에서 버드아이뷰(Bird eye vie) 시스템이라고 하거나 AVM(around view monitoring) 시스템 등으로 불리우고 있다.

이러한 기술은 보다 넓은 시야각을 확보하기 위하여 어안(fish eye) 렌즈를 구비하는 광각 카메라를 사용하는데, 이러한 광각 카메라를 사용하게 되면 왜곡된 영상을 최초 영상 신호로서 획득하게 되므로 이러한 왜곡 영상을 왜곡이 없는 영상으로 보정하기 위한 과정을 필요로 하게 된다.

한편, 최근에는 AVM 시스템 등 차량에 장착된 카메라로부터 획득한 영상을 이용해, 차량의 움직임을 감지하는 연구도 진행되고 있다.

관련된 선행문헌으로, 대한민국 공개특허 제2013-0064169호, 대한민국 공개특허 제2013-0067395호 및 대한민국 공개특허 제2015-0062880호가 있다.

본 발명은 차량 주변 환경에 대한 3차원 정보의 획득을 지원할 수 있는 AVM 시스템 및 3차원 정보 획득을 위해, AVM 시스템에서 획득한 영상 사이의 매칭점을 검출하는 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 제1광각 카메라로부터 획득한 제1영상 및 제2광각 카메라로부터 획득한 제2영상을 보정하여, 제1 및 제2보정 영상을 생성하는 단계; 상기 제1 및 제2보정 영상 사이에서, 서로 오버랩되는 영역을 결정하는 단계; 상기 제1보정 영상의 제1오버랩 영역과, 상기 제2보정 영상의 제2오버랩 영역을 복수의 블록으로 나눠, 매칭 블록을 결정하는 단계; 및 상기 매칭 블록 각각에 대해 매칭점을 검출하는 단계를 포함하는 AVM 시스템에서, 영상 사이의 매칭점 검출 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 제1광각 카메라로부터 제1영상을 획득하고, 제2광각 카메라로부터 제2영상을 획득하는 단계; 상기 제1 및 제2광각 카메라 사이의 자세 벡터를 이용하여, 제1광각 카메라의 시점으로 제2영상의 시점을 조절하는 단계; 상기 제1영상 및 시점이 조절된 제2영상의 왜곡을 보정하여, 상기 제1 및 제2보정 영상을 생성하는 단계; 상기 제1 및 제2보정 영상 사이에서, 서로 오버랩되는 영역을 결정하는 단계; 및 상기 제1 및 제2보정 영상의 오버랩된 영역 사이에서 매칭점을 검출하는 단계를 포함하는 AVM 시스템에서, 영상 사이의 매칭점 검출 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 차량에 설치된 복수의 광각 카메라; 및 제1광각 카메라로부터 획득한 제1영상 및 제2광각 카메라로부터 획득한 제2영상의 시점을 일치시키고 상기 제1 및 제2영상의 왜곡을 보정하는 영상 처리부; 및 보정된 영상 사이의 오버랩 영역에 대한 매칭점을 검출하는 매칭점 검출부를 포함하며, 상기 매칭점 검출부는 블록 단위로 나눠진 상기 오버랩 영역에 대한 매칭점 기반으로 1차적으로 매칭 블록을 결정하고, 상기 매칭 블록 각각에 대한 매칭점을 2차적으로 검출하는 AVM 시스템이 제공된다.

본 발명에 따르면, 광각 카메라의 특성상 발생하는 영상의 왜곡을 보정하고, 시점을 일치시켜 오버랩 영역에 대한 매칭점을 검출함으로써, 보다 정확한 매칭점 검출 성능을 제공할 수 있다.

또한 본 발명에 따르면, 매칭되는 블록 단위로 매칭점을 검출함으로써, 보다 정확한 매칭점 검출 성능을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 AVM 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 따른 광각 카메라의 위치를 나타내는 도면이다.
도 3은 도 2의 카메라 위치에 따른 좌측 방향 영상 및 전방 영상을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 영상의 시점 조절을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 두 영상의 오버랩 영역을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 매칭점 검출 결과를 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따른 AVM 시스템에서, 영상 사이의 매칭점 검출 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 AVM 시스템에서, 영상 사이의 매칭점 검출 방법을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

본 발명은 차량 주변 환경에 대한 3차원 정보의 획득을 지원할 수 있는 AVM 시스템 및 3차원 정보 획득을 위해, AVM 시스템에서 획득한 영상 사이의 매칭점을 검출하는 방법을 제안한다.

AVM 시스템에 이용되는 광각 카메라는 일반적으로 차량의 사이드 미러에 장착되고 차량의 전방 및 후방을 촬영할 수 있도록 장착되는데, 이웃한 광각 카메라로부터 얻어진 영상 사이에는 오버랩되는 영역이 존재한다. 본 발명은 이러한 오버랩되는 영역에서 특징점을 추출하고, 추출된 특징점으로부터 매칭되는 매칭점을 검출한다.

매칭점은 차량 주변 환경에 대한 영상으로부터 얻어질 뿐만 아니라 서로 다른 두개의 영상으로부터 얻어지기 때문에, 마치 좌안 및 우안 영상으로부터 3차원 영상을 생성할 수 있는 스테레오 정합과 유사한 원리에 의해 매칭점으로부터 차량 주변 환경에 대한 3차원 위치 정보가 획득될 수 있다.

차량의 움직임에 따라서 매칭점의 3차원 위치 정보가 변하게 되므로, 매칭점의 3차원 위치 정보를 획득함으로써, 차량의 움직임을 역으로 추정할 수 있다. 즉, 본 발명에 의해 검출된 매칭점으로부터, 차량의 움직임이 추정될 수 있다.

본 발명은 3차원 정보 획득에 이용되는 매칭점을 보다 정확하게 검출할 수 있는 방법 및 AVM 시스템을 제안한다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 AVM 시스템을 설명하기 위한 블록도이다.

본 발명에 따른 AVM 시스템은 복수의 광각 카메라(110), 영상 처리부(120) 및 매칭점 검출부(130)를 포함한다.

광각 카메라(110)는, 차량 주변 환경에 대한 영상을 생성하며, 어안 렌즈를 포함할 수 있다. 예컨대 4개의 광각 카메라가 이용될 수 있으며 이 경우, 제1광각 카메라는 차량의 앞부분에 설치되어 차량의 전방을 촬영하고, 제2광각 카메라는 차량의 좌측 사이드 미러에 설치되어 차량의 왼쪽 방향을 촬영한다. 그리고 제3광각 카메라는 차량의 뒷부분에 설치되어 차량의 후방을 촬영하며, 제4광각 카메라는 차량의 우측 사이드 미러에 설치되어, 차량의 오른쪽 방향을 촬영한다. 실시예에 따라서 광각 카메라의 위치 및 개수는 달라질 수 있다.

영상 처리부(120)는 광각 카메라(110)로부터 획득한 영상의 시점을 일치시키고 영상의 왜곡을 보정한다. 일예로서, 서로 이웃한 위치에 설치된 광각 카메라로부터 획득한 영상이 동일 시점에 대한 영상이 되도록 영상의 시점을 조절하고, 영상의 왜곡을 보정한다. 예컨대, 영상 처리부(120)는 제1광각 카메라로부터 획득한 제1영상의 시점을 기준으로, 제2광각 카메라로부터 획득한 제2영상의 시점을 회전하여 제1 및 제2영상의 시점을 일치시킬 수 있다. 이 때, 영상 처리부(120)는 제1 및 제2광각 카메라의 외부 파라미터를 이용하여 두 영상의 시점을 일치시킬 수 있다.

영상 처리부(120)의 영상 처리 이후 보정된 영상 사이의 오버랩 영역이 결정될 수 있다. 광각 카메라에 이용되는 어안 렌즈는 180도 이상의 시야각을 제공하기 때문에, 이웃한 광각 카메라로부터 획득한 영상 사이에서 오버랩 영역이 발생한다. 광각 카메라의 위치는 고정되어 있으며 시야각도 일정하기 때문에, 광각 카메라의 시야 범위에서 오버랩되는 영역은 일정하다. 영상 처리부(120)는 광각 카메라의 시야 범위 중 미리 설정된 범위의 영역을 두 영상 사이의 오버랩 영역으로 결정할 수 있다.

매칭점 검출부(130)는 영상 처리부(120)에 의해 보정된 영상 사이의 오버랩 영역에 대한 매칭점을 검출한다. 매칭점 검출부(130)는 오버랩 영역에 대한 특징점(feature point)을 추출하고, 특징점으로부터 매칭점을 검출하는데, 1차적으로 블록 단위로 나워진 오버랩 영역에 대한 매칭점 기반으로 매칭 블록을 결정한다. 그리고 매칭 블록 별로 다시 특징점을 추출한 후, 2차적으로 매칭점을 검출한다.

매칭점은 모든 이웃한 광각 카메라의 영상에 대해 검출될 수 있다. 예컨대, 제1 및 제2광각 카메라의 영상 사이의 오버랩 영역에 대해 매칭점이 검출될 수 있고, 제2 및 제3광각 카메라의 영상 사이의 오버랩 영역에 대해 매칭점이 검출될 수 있다. 또한 제3 및 제4광각 카메라의 영상 사이의 오버랩 영역에 대해 매칭점이 검출될 수 있고, 제4 및 제1광각 카메라의 영상 사이의 오버랩 영역에 대한 매칭점이 검출될 수 있다.

본 발명에 따르면, 광각 카메라의 특성상 발생하는 영상의 왜곡을 보정하고, 시점을 일치시켜 오버랩 영역에 대한 매칭점을 검출함으로써, 보다 정확한 매칭점 검출 성능을 제공할 수 있다.

또한 본 발명에 따르면, 매칭되는 블록 단위로 매칭점을 검출함으로써, 보다 정확한 매칭점 검출 성능을 제공할 수 있다.

도 2는 본 발명의 일실시예에 따른 광각 카메라의 위치를 나타내며, 도 3은 도 2의 카메라 위치에 따른 좌측 방향 영상 및 전방 영상을 나타내는 도면이다. 그리고 도 4는 본 발명의 일실시예에 따른 영상의 시점 조절을 설명하기 위한 도면이며, 도 5는 본 발명의 일실시예에 따른 두 영상의 오버랩 영역을 설명하기 위한 도면이다.

도 2를 참조하면, 제1광각 카메라(111)는 전방, 제2광각 카메라(112)는 좌측 방향, 제3광각 카메라(113)는 후방, 제4광각 카메라(114)는 우측 방향을 촬영한다. 이 때, 제1 및 제2광각 카메라(111, 112)에 의해 획득되는 제1 및 제2영상(310, 320)은 도 3에 도시된 바와 같다.

도 3에 도시된 바와 같이, 광각 카메라에 의해 촬영된 제1 및 제2영상(310, 320)은 왜곡되어 있으며, 이웃한 제1 및 제2광각 카메라(111, 112)의 시점(210, 220)이 다르기 때문에, 제1 및 제2영상(310, 320)에 포함된 객체도 동일하지 않다. 하지만, 제1 및 제2영상(310, 320)은 광각 카메라에 의해 촬영된 영상이기 때문에, 일부 객체(330, 건물)가 동시에 포함되어 있음을 알 수 있다.

영상 처리부(120)는 제2영상(320)의 시점(220)을 기준으로 제1영상(310)의 시점(210)을 회전시켜, 제2영상(320)의 시점(220)과 동일한 시점(410)으로 제1영상(310)의 시점을 조절한다. 기준 시점 영상은 실시예에 따라서 달라질 수 있다.

영상 처리부(120)는 도 4에 도시된 바와 같이, 제2광각 카메라(112)의 시점(220)과 동일한 시점(220, 410)에서 제1광각 카메라(111)가 획득한 영상이 되도록, 제1영상(310)을 보정한다. 다시 말해, 제1광각 카메라(111)의 촬영 방향이 물리적으로 변경되는 것이 아니라, 영상 처리부(120)는 이미 촬영된 제1영상(310)의 시점이 제2영상(320)의 시점에 대응되도록 제1영상(310)을 보정한다.

이 때, 영상 처리부(120)는 제1 및 제2광각 카메라(111, 112) 사이의 외부 파라미터, 즉 자세 벡터(pose vector)를 이용하여 제1영상(310)의 시점을 제2영상(320)의 시점으로 조절할 수 있다. 특히, AVM 시스템에서는 각 광각 카메라가 서로 90도 각도만큼씩 회전하여 위치하는 패턴을 나타내기 때문에, 영상 처리부(120)는 자세 벡터 중 회전 이동 벡터(rotation vector)를 이용하여 제1영상(310)의 시점을 제2영상(320)의 시점으로 회전할 수 있다.

그리고 영상 처리부(120)는 제1 및 제2영상(310, 320)의 왜곡을 보정한다.

도 5는 영상 처리부(120)에 의해 시점이 보정되고(rectified), 왜곡이 보정된 (undistorted) 제1 및 제2영상의 오버랩 영역(510, 520)을 나타내는 도면이다. 제1오버랩 영역(510)은 보정된 제1영상에서의 오버랩 영역을 나타내며, 제2오버랩 영역(520)은 보정된 제2영상에서의 오버랩 영역을 나타낸다.

도 3에 도시된 영상과 달리 왜곡이 보정되어 있으며, 동일한 객체가 포함되어 있음을 알 수 있다. 다만, 제1 및 제2영상은 서로 다른 방향을 촬영한 서로 다른 AVM 카메라에 의해 생성된 영상이기 때문에, 왜곡 보정 과정에서 제1 및 제2영상 사이에 차이가 있을 수 있다. 도 5의 제2오버랩 영역(520)에는 제1오버랩 영역(510)과 정확히 대응되도록 보정되지 못한 부분이 검은색으로 표시되어 있다.

도 6은 본 발명의 일실시예에 따른 매칭점 검출 결과를 도시하는 도면이다.

도 6에서 좌측 영상(620)과 우측 영상(610)은 이웃한 광각 카메라에서 획득한 서로 다른 두 영상에서의 오버랩 영역을 나타낸다.

매칭점 검출부(130)는 오버랩 영역을 복수의 블록으로 나눠 매칭 블록을 결정한 후, 매칭 블록 각각에 대해 매칭점을 검출한다. 격자(grid)에 의해 오버랩 영역은 복수의 블록으로 나눠질 수 있다. 블록의 크기나 개수는 실시예에 따라서 다양하게 결정될 수 있다.

매칭점 검출부(130)는 먼저 오버랩 영역의 특징점을 추출한다. 그리고 특징점에 대한 매칭점을 검출하고, 검출된 매칭점 개수에 따라서 매칭 블록을 결정한다. 매칭점 검출부(130)는 일실시예로서, 검출된 매칭점 개수가 최대인 블록을 매칭 블록으로 결정할 수 있다.

도 6에서 서로 동일한 색상의 원으로 표시된 블록 쌍이 매칭 블록을 나타내는데, 이러한 매칭 블록은 여러 블록 중에서 매칭점의 개수가 최대인 블록 쌍에 대응된다. 예컨대, 좌측 영상(620)에서의 제2-1블록(621)의 특징점과 가장 많이 매칭된 특징점을 포함하는 우측 영상(610)에서의 제1-1블록(611)과 제2-1블록(621)이 매칭 블록이 된다. 그리고 좌측 영상(620)에서의 제2-2블록(622)의 특징점과 가장 많이 매칭된 특징점을 포함하는 우측 영상(610)에서의 제1-2블록(612)과 제2-2블록(622)이 매칭 블록이 된다.

매칭점 검출부(130)는 1차적으로 매칭 블록이 결정되면, 매칭 블록 별로 특징점을 추출하여 매칭점을 검출한다. 예컨대, 제1-1블록(611)과 제2-1블록(621)에서 특징점을 추출하여 매칭점을 검출하고, 이와 별개로 제1-2블록(612)과 제2-2블록(622)에서 특징점을 추출하여 매칭점을 검출한다.

매칭점 검출을 위해서는 SIFT(Scalar Invariant Feature Transform) 알고리즘이나 SURF(Speeded Up Robust Features) 알고리즘, ORB(Oriented FAST and Rotated BRIEF) 알고리즘 등 다양한 매칭점 검출 알고리즘이 이용될 수 있다.

도 7은 본 발명의 일실시예에 따른 AVM 시스템에서, 영상 사이의 매칭점 검출 방법을 설명하기 위한 도면이다.

본 발명에 따른 매칭점 검출 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이하에서는 전술된 AVM 시스템의 매칭점 검출 방법이 일실시예로서 설명된다.

본 발명에 따른 AVM 시스템은 제1광각 카메라로부터 획득한 제1영상 및 제2광각 카메라로부터 획득한 제2영상을 보정하여, 제1 및 제2보정 영상을 생성(S710)하며, 제1 및 제2보정 영상 사이에서, 서로 오버랩되는 영역을 결정(S720)한다.

이 때 단계 S710에서 AVM 시스템은 제1 및 제2광각 카메라 사이의 자세 벡터를 이용하여, 제2영상의 시점을 제1영상의 시점으로 조절하고, 제1영상 및 시점이 조절된 제2영상의 왜곡을 보정하여, 제1 및 제2보정 영상을 생성한다. 일실시예로서, 자세 벡터 중 회전 이동 벡터가 이용될 수 있으며, 제1 및 제2광각 카메라는 서로 이웃한 위치에 설치된 카메라일 수 있다.

이후, AVM 시스템은 제1보정 영상의 제1오버랩 영역과, 제2보정 영상의 제2오버랩 영역을 복수의 블록으로 나눠, 매칭 블록을 결정(S730)한다. 보다 구체적으로 AVM 시스템은 제1 및 제2오버랩 영역의 특징점을 추출하여, 추출된 특징점에 대한 매칭점을 검출하고, 검출된 매칭점 개수에 따라서 매칭 블록을 결정할 수 있다. 이 때, AVM 시스템은 검출된 매칭점 개수가 최대인 제1오버랩 영역의 블록과, 제2오버랩 영역의 블록을 매칭 블록으로 결정할 수 있다.

매칭 블록이 결정되면, AVM 시스템은 매칭 블록 각각에 대해 다시 특징점을 추출하여 매칭점을 검출(S740)한다.

도 8은 본 발명의 다른 실시예에 따른 AVM 시스템에서, 영상 사이의 매칭점 검출 방법을 설명하기 위한 도면이다.

본 발명에 따른 AVM 시스템은 제1광각 카메라로부터 제1영상을 획득하고, 제2광각 카메라로부터 제2영상을 획득(S810)한다. 그리고 제1 및 제2광각 카메라 사이의 자세 벡터를 이용하여, 제1광각 카메라의 시점으로 제2영상의 시점을 조절(S820)한다.

AVM 시스템은 제1영상 및 시점이 조절된 제2영상의 왜곡을 보정하여, 제1 및 제2보정 영상을 생성(S830)하고, 제1 및 제2보정 영상 사이에서, 서로 오버랩되는 영역을 결정(S840)한다. 그리고 제1 및 제2보정 영상의 오버랩된 영역 사이에서 매칭점을 검출(S850)한다.

단계 S850에서 AVM 시스템은 제1보정 영상의 제1오버랩 영역과, 제2보정 영상의 제2오버랩 영역에서 특징점을 추출하고, 제1 및 제2오버랩 영역을 복수의 블록으로 나눠, 특징점에 대한 블록별 매칭점의 개수에 따라서 매칭 블록을 결정할 수 있다. 그리고 매칭 블록 각각에 대해 매칭점을 검출한다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

1. 차량의 전방을 촬영하는 제1광각 카메라로부터 제1영상을 획득하고, 상기 차량의 왼쪽 방향을 촬영하는 제2광각 카메라로부터 제2영상을 획득하는 단계;
   서로 이웃한 위치에 설치된 상기 제1 및 제2광각 카메라 사이의 자세 벡터를 이용하여, 제1광각 카메라의 시점으로 제2영상의 시점을 조절하는 단계;
   상기 제1영상 및 시점이 조절된 제2영상의 왜곡을 보정하여, 상기 제1 및 제2보정 영상을 생성하는 단계;
   상기 제1 및 제2보정 영상 사이에서, 서로 오버랩되는 영역을 결정하는 단계;
   상기 제1보정 영상의 제1오버랩 영역과, 상기 제2보정 영상의 제2오버랩 영역을 복수의 블록으로 나눠, 매칭 블록을 결정하는 단계; 및
   상기 매칭 블록 각각에 대해 매칭점을 검출하는 단계를 포함하며,
   상기 매칭 블록을 결정하는 단계는
   상기 제1 및 제2오버랩 영역의 특징점을 추출하는 단계; 및
   상기 특징점에 대한 매칭점을 검출하고, 상기 검출된 매칭점 개수가 최대인 상기 제1오버랩 영역의 블록과, 상기 제2오버랩 영역의 블록을 상기 매칭 블록으로 결정하는 단계
   를 포함하는 AVM 시스템에서, 영상 사이의 매칭점 검출 방법.
   
2. 삭제
3. 제 1항에 있어서,
   상기 제2영상의 시점을 제1영상의 시점으로 조절하는 단계는
   회전 이동 벡터를 이용하여, 상기 제2영상의 시점을 상기 제1영상의 시점으로 회전하는
   AVM 시스템에서, 영상 사이의 매칭점 검출 방법.
   
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images