KR102535136B1

KR102535136B1 - 영상정합장치 및 방법

Info

Publication number: KR102535136B1
Application number: KR1020210102897A
Authority: KR
Inventors: 윤여민
Original assignee: 현대모비스 주식회사
Priority date: 2021-08-05
Filing date: 2021-08-05
Publication date: 2023-05-26
Also published as: US20230038125A1; CN115908511A; US11847787B2; EP4131164A1; KR20230021259A

Abstract

일 실시예에 따르면, 적어도 하나의 프로세서를 포함하는 영상정합장치는 제1 카메라에서 획득한 영상을 기초로 생성한 제1 영상을 제1 모델에 투영하여 제1 중간영상을 생성하고, 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 생성하고, 제2 카메라에서 획득한 영상을 기초로 생성한 제2 영상을 제2 모델에 투영하여 제2 중간영상을 생성하고, 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 생성하고, 제1 출력영상과 제2 출력영상의 일치도를 결정하고, 결정한 일치도와 미리 설정된 정합성 기준을 기초로 제1 모델 및 제2 모델 중 적어도 어느 하나의 모델을 변형한다.

Description

영상정합장치 및 방법{Method And Apparatus for Image Registration}

본 개시는 영상정합장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 개시에 대한 배경정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

차량의 주변 환경을 촬영하여 표시함으로써 운전자가 차량의 주변 환경을 육안으로 편리하게 확인할 수 있는 기능으로서 차량주변 영상표시 시스템(Surround View Monitoring, SVM)이 있다.

차량주변 영상표시 시스템은 자동차의 전방, 후방, 좌측 및 우측 등에 각각 설치된 카메라를 이용하여 주변 환경을 촬영하고, 촬영된 영상을 정합(registration)하여 차량 내부의 출력화면에 실시간으로 제공하되, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(top view) 이미지 형식으로 제공한다. 이에 따라 운전자는 주변 영상에 표시된 주변 환경 정보들을 이용하여 차량의 주변 상황을 정확하게 판단하는 데 도움을 받을 수 있고, 사이드미러 또는 룸미러를 보지 않고도 편리하게 주차를 할 수 있다.

최근에는 차량의 주변 상황을 3차원으로 표시할 수 있는 3차원 차량주변 영상표시 시스템이 적용되고 있다.

차량주변 영상을 3차원으로 제공하기 위해서는 복수의 카메라에 의해 촬영된 복수의 영상을 3차원 모델에 매핑(mapping)하여 출력한다. 미리 정해진 카메라 시점의 위치, 방향 및 초점 거리에 따라 복수의 3차원 출력영상을 결합하여 차량주변의 3차원 영상을 생성할 수 있다.

복수의 영상을 결합하여 얻어진 3차원 영상은 이웃하는 영상 간에 서로 잘 정합되어 결합되어야 한다. 그러나 각 영상은 서로 다른 각도와 위치에서 각기 다른 카메라에 의해 촬영된 영상이므로 이웃하는 영상의 경계 영역에서 부정합이 발생할 수 있다. 이러한 부정합은 차량주변 영상 화질의 이질감을 증가시키고 영상에 대한 시인성을 저하시켜, 차량의 운전자가 차량주변의 상황을 정확하게 인식하는 데 방해가 되는 문제점이 있었다.

일 실시예에 따른 영상정합장치 및 방법은 복수의 영상을 결합한 3차원 영상에서 발생하는 부정합을 제거할 수 있다.

일 실시예에 따른 영상정합장치 및 방법은 복수의 영상을 결합한 3차원 영상 화질의 이질감을 줄이고 영상에 대한 시인성을 향상시킬 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

일 실시예에 따르면, 적어도 하나의 프로세서를 포함하는 영상정합장치는 제1 카메라에서 획득한 영상을 기초로 생성한 제1 영상을 제1 모델에 투영하여 제1 중간영상을 생성하고, 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 생성하고, 제2 카메라에서 획득한 영상을 기초로 생성한 제2 영상을 제2 모델에 투영하여 제2 중간영상을 생성하고, 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 생성하고, 제1 출력영상과 제2 출력영상의 일치도를 결정하고, 일치도와 미리 설정된 정합성 기준을 기초로 제1 모델 및 제2 모델 중 적어도 어느 하나의 모델을 변형한다.

다른 실시예에 따르면, 영상정합방법은 제1 카메라에서 획득한 영상을 기초로 생성한 제1 영상을 제1 모델에 투영하여 제1 중간영상을 생성하는 과정, 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 생성하는 과정, 제2 카메라에서 획득한 영상을 기초로 생성한 제2 영상을 제2 모델에 투영하여 제2 중간영상을 생성하는 과정, 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 생성하는 과정 및 제1 출력영상과 제2 출력영상의 일치도를 결정하고, 일치도와 미리 설정된 정합성 기준을 기초로 제1 모델 및 제2 모델 중 적어도 어느 하나의 모델을 변형하는 과정을 포함한다.

본 개시의 일 실시예에 의하면, 영상정합장치 및 방법은 복수의 영상을 결합한 3차원 영상에서 발생하는 부정합을 제거할 수 있는 효과가 있다.

본 개시의 일 실시예에 의하면, 영상정합장치 및 방법은 복수의 영상을 결합한 3차원 영상의 수직정합성을 향상시킴으로써 화질의 이질감을 줄이고 영상에 대한 시인성을 향상시킬 수 있는 효과가 있다.

도 1은 일 실시예에 따른 영상정합장치의 구성을 나타내는 도면이다.
도 2는 일 실시예에 따라 카메라가 배치되는 모습을 나타내는 도면이다.
도 3은 일 실시예에 따라 영상정합장치가 구현한 출력모델을 나타내는 도면이다.
도 4는 일 실시예에 따라 영상정합장치가 적어도 하나의 카메라에서 획득한 적어도 하나의 영상을 출력모델에 매핑(mapping)하는 과정을 나타내는 도면이다.
도 5는 일 실시예에 따라 영상정합장치가 제1 파라미터를 조절하여 생성한 새로운 텍스처 좌표를 기초로 중간영상을 출력모델에 매핑하는 과정을 나타내는 도면이다.
도 6은 일 실시예에 따라 영상정합장치가 제2 파라미터를 조절하여 생성한 새로운 텍스처 좌표를 기초로 중간영상을 출력모델에 매핑하는 과정을 나타내는 도면이다.
도 7은 일 실시예에 따라 영상정합장치가 제3 파라미터를 조절하여 생성한 새로운 텍스처 좌표를 기초로 중간영상을 출력모델에 매핑하는 과정을 나타내는 도면이다.
도 8은 다른 실시예에 따른 영상정합장치의 구성을 나타내는 도면이다.
도 9는 일 실시예에 따른 영상정합방법을 나타내는 순서도이다.
도 10은 다른 실시예에 따른 영상정합방법을 나타내는 순서도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 '……부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

첨부된 도면과 함께 이하에 개시될 발명의 설명은 본 발명의 예시적인 실시 형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시 형태를 나타내고자 하는 것이 아니다.

도 1은 일 실시예에 따른 영상정합장치의 구성을 나타내는 도면이다.

도 1을 참조하면, 일 실시예에 따른 영상정합장치(apparatus for image registration, 100)는 프로세서(processor, 110), 입출력 인터페이스 모듈(input and output interface module, 120) 및 메모리(memory, 130)를 포함한다.

영상정합장치(100)에 포함된 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)는 상호간에 데이터를 전송하는 것이 가능하다.

입출력 인터페이스 모듈(120)은 제1 카메라가 촬영한 영상을 제1 카메라(미도시)로부터 획득하여 프로세서(110)에 제공한다. 프로세서(110)는 제1 카메라가 촬영한 영상에 대하여 렌즈 보정(correction), 회전(rotation), 수평 이동(horizontal translation) 또는 수직 이동(vertical translation) 등의 작업을 수행하여 제1 영상(first image)을 생성한다.

프로세서(110)는 제1 영상을 제1 모델(first model)에 투영(projection)하여 제1 중간영상(first intermediate image)을 획득한다. 여기서, 제1 모델의 초기 형태는 제1 출력모델과 동일할 수 있다. 제1 모델의 형태는 미리 설정된 파라미터(예컨대, 제1 파라미터, 제2 파라미터, 제3 파라미터 등)를 기초로 변형(deformation)될 수 있다.

제1 중간영상은 제1 영상을 구성하는 각각의 프레임에 해당하는 각각의 이미지를 제1 모델에 투영하여 획득한 제1 중간이미지를 포함한다. 제1 중간영상은 제1 영상을 구성하는 각각의 프레임과 각기 대응되는 제1 중간이미지를 시간 순서대로 결합한 영상일 수 있다.

프로세서(110)는 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 획득한다. 여기서, 매핑은 텍스처 매핑(texture mapping)일 수 있다. 제1 출력모델은 미리 설정된 3차원 모델의 전부 또는 일부분에 해당한다. 여기서, 미리 설정된 3차원 모델의 형태는 반구형(hemisphere) 형태 및 보울(bowl) 형태 중 어느 한 형태일 수 있으나, 이에 한정되는 것은 아니다.

입출력 인터페이스 모듈(120)은 제2 카메라가 촬영한 영상을 획득하여 프로세서(110)에 제공한다. 프로세서(110)는 제2 카메라가 촬영한 영상에 대하여 렌즈 보정, 회전, 수평 이동 또는 수직 이동 등의 작업을 수행하여 제2 영상을 생성한다.

프로세서(110)는 제2 영상을 제2 모델에 투영하여 제2 중간영상을 획득한다. 여기서, 제2 모델의 초기 형태는 제2 출력모델과 동일할 수 있다. 제2 모델의 형태는 미리 설정된 파라미터를 기초로 변형될 수 있다.

제2 중간영상은, 제2 영상을 구성하는 각각의 프레임에 해당하는 각각의 이미지를 프로세서(110)가 제2 모델에 투영하여 획득한 제2 중간이미지를 포함한다. 제2 중간영상은 제2 영상을 구성하는 각각의 프레임과 대응되는 제2 중간이미지를 시간 순서대로 결합한 영상일 수 있다.

프로세서(110)는 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 획득한다. 제2 출력영상은 프로세서(110)가 제2 중간영상을 제2 출력모델에 텍스처 매핑(texture mapping)하여 획득한 영상이다. 제2 출력모델은 미리 설정된 3차원 모델의 전부 또는 일부분에 해당한다. 여기서, 미리 설정된 3차원 모델의 형태는 반구형(hemisphere) 형태 및 보울(bowl) 형태 중 어느 한 형태일 수 있으나, 3차원 모델의 형태가 이에 한정되는 것은 아니다.

제1 출력영상은 미리 설정된 3차원 모델에서 제1 출력모델에 해당하는 위치에 배치된다. 제2 출력영상은 미리 설정된 3차원 모델에서 제2 출력모델에 해당하는 위치에 배치된다. 제1 출력모델과 제2 출력모델은 제1 출력모델의 일측과 제2 출력모델의 일측이 경계선을 이루며 인접하도록 배치될 수 있다. 이와 달리, 제1 출력모델과 제2 출력모델은 각각의 출력모델의 일부 영역이 서로 겹쳐(overlap)지도록 배치될 수 있다.

프로세서(110)는 3차원 모델에 배치된 제1 출력영상 및 제2 출력영상을 기초로 제1 출력영상과 제2 출력영상의 일치도(degree of matching)를 결정한다. 프로세서(110)는 미리 설정된 시간 주기에 해당하는 제1 출력영상의 프레임과 제2 출력영상의 프레임의 일치도를 결정할 수 있다. 여기서, 미리 설정된 시간 주기는 1/30 초일 수 있으나, 이에 한정되는 것은 아니다. 제1 출력영상과 제2 출력영상의 일치도는 수직일치도(degree of vertical matching), 곡률일치도(degree of curvature matching) 및 비율일치도(degree of proportion matching) 중 적어도 어느 하나의 일치도일 수 있다.

프로세서(110)는 제1 결과영상을 획득하고, 제1 결과영상으로부터 2차원 이미지인 제1 비교이미지를 획득한다. 제1 결과영상은 제1 출력영상이 입출력 인터페이스 모듈(120)에 포함된 디스플레이 상에 출력된 영상이다. 제1 비교이미지는 제1 결과영상의 미리 설정된 시점에 해당하는 프레임 이미지일 수 있다. 여기서, 미리 설정된 시점은 제1 출력영상과 제2 출력영상의 수직일치도 결정시점, 곡률일치도 결정시점 및 비율일치도 결정시점 중 어느 한 시점일 수 있다.

프로세서(110)는 제2 결과영상을 획득하고, 제2 결과영상으로부터 2차원 이미지인 제2 비교이미지를 획득한다. 제2 결과영상은 제2 출력영상이 입출력 인터페이스 모듈(120)에 포함된 디스플레이 상에 출력된 영상이다. 제2 비교이미지는 제2 결과영상의 미리 설정된 시점에 해당하는 프레임 이미지일 수 있다. 여기서, 미리 설정된 시점은 제1 출력영상과 제2 출력영상의 수직일치도 결정시점, 곡률일치도 결정시점 및 비율일치도 결정시점 중 어느 한 시점일 수 있다.

일 실시예에 따라, 프로세서(110)는 제1 출력영상과 제2 출력영상 간의 특징점 비교를 기초로 제1 출력영상과 제2 출력영상의 일치도를 결정한다. 프로세서(110)는 제1 비교이미지에서 제1 관심영역(Region of Interest, ROI, 이하 "관심영역")을 설정하고, 제2 비교이미지에서 제2 관심영역을 설정한다. 여기서, 제1 관심영역 및 제2 관심영역은 제1 비교이미지와 제2 비교이미지가 겹치는 영역으로 설정될 수 있다.

프로세서(110)는 미리 설정된 알고리즘을 이용하여 제1 관심영역에서 제1 특징점, 제2 관심영역에서 제2 특징점을 추출한다. 여기서, 미리 설정된 알고리즘은 SIFT(Scale Invariant Feature Transform) 알고리즘, SURF(Speeded Up Robust Feature)알고리즘, HARRIS 코너(Corners) 알고리즘, SUSAN 알고리즘 등일 수 있다.

프로세서(110)는 제1 특징점과 제2 특징점을 비교하여 제1 출력영상과 제2 출력영상의 일치도를 결정한다. 여기서, 제1 특징점과 제2 특징점은 제1 관심영역과 제2 관심영역의 공통된 지점과 대응될 수 있다. 제1 출력영상과 제2 출력영상의 일치도는 제1 특징점과 제2 특징점의 위치 간 차이를 기초로 결정될 수 있다.

다른 실시예에 따라, 프로세서(110)는 제1 출력영상과 제2 출력영상의 차영상(difference image)을 기초로 제1 출력영상과 제2 출력영상의 일치도를 결정한다. 프로세서(110)는 제1 비교이미지에서 제3 관심영역을 설정하고, 제2 비교이미지에서 제4 관심영역을 설정한다. 여기서, 제3 관심영역 및 제4 관심영역은 제1 비교이미지와 제2 비교이미지가 겹치는 영역으로 설정될 수 있다.

프로세서(110)는 차영상을 획득한다. 차영상은, 제3 관심영역과 제4 관심영역 사이의 불일치도(degree of mismatching)를 표시하는 영상이다. 프로세서(110)는 차영상에 포함된 픽셀들의 분포를 기초로 제1 출력영상과 제2 출력영상의 일치도를 결정한다. 여기서, 제1 출력영상과 제2 출력영상의 일치도는 차영상에 포함된 픽셀들의 수(number of pixel)를 기초로 결정될 수 있다.

제1 출력영상과 제2 출력영상의 일치도가 미리 설정된 정합성 기준(reference degree of matching) 이상인 경우, 프로세서(110)는 제1 출력영상과 제2 출력영상이 정합되었다고 판단하고 제1 모델과 제2 모델을 기초로 제1 출력영상과 제2 출력영상을 생성한다.

제1 출력영상과 제2 출력영상의 일치도가 미리 설정된 정합성 기준 미만인 경우, 프로세서(110)는 제1 출력영상 및 제2 출력영상 중 적어도 어느 하나의 출력영상의 보정이 필요하다고 판단한다. 이후 프로세서(110)는 미리 설정된 파라미터를 이용하여 제1 모델 및 제2 모델 중 어느 하나의 모델 좌표(model coordinate)의 수직성분 값을 변경하여 제1 모델 및 제2 모델 중 적어도 어느 하나의 모델의 형태를 변형한다. 여기서, 모델 좌표는 제1 모델 및 제2 모델 중 어느 하나의 모델을 표현하는 모델 좌표일 수 있다.

프로세서(110)가 제1 영상 및 제2 영상 중 어느 한 영상을 제1 모델 및 제2 모델 중 어느 한 모델에 투영하는 방향(direction)은 모델의 수직 방향으로 설정될 수 있다. 여기서, 모델의 수직 방향은 제1 모델 및 제2 모델 중 어느 하나의 모델이 표현된 직교좌표계의 Z 축 방향이 될 수 있다.

모델의 수직 방향을 직교좌표계의 Z 축으로 설정한 경우, 프로세서(110)는 미리 설정된 파라미터를 이용하여 제1 모델 및 제2 모델 중 어느 한 모델을 표현하는 모델 좌표들의 Z축 성분 값을 변경하여 제1 모델 및 제2 모델 중 어느 한 모델의 형태를 변형할 수 있다. 프로세서(110)는 제1 모델 및 제2 모델 중 어느 한 모델을 표현하는 모델 좌표들의 Z축 성분 값에 미리 설정된 파라미터인 C값을 각각 곱하여 모델의 형태를 변형(deformation)한다.

수학식 1에서 나타낸 바와 같이, 프로세서(110)는 미리 설정된 파라미터인 C값을 이용하여 제1 모델 및 제2 모델 중 어느 하나의 모델을 변형하고, 이를 이용하여 새로운 텍스처 좌표를 갖는 제1 중간영상 및 제2 중간영상을 획득할 수 있다.

여기서, X, Y, Z는 제1 모델 및 제2 모델을 표현한 직교좌표계의 좌표 값이다. q는 변형된 제1 모델 및 제2 모델 중 어느 하나의 모델을 기초로 획득한 새로운 텍스처 좌표에 관한 값이다. r은 카메라에서 획득한 영상을 기초로 제1 영상 또는 제2 영상을 생성하는 과정에서 영상의 회전과 관련된 값이다. t는 카메라에서 획득한 영상을 기초로 제1 영상 또는 제2 영상을 생성하는 과정에서 영상의 수평 이동 또는 수직 이동과 관련된 값이다.

는 카메라와 관련된 값이다.

제1 모델 및 제2 모델 중 어느 하나의 모델을 표현하는 모델 좌표들의 Z 성분의 값에 C 값을 곱하면 Z 성분의 값이 변경된다. 제1 모델 및 제2 모델 중 어느 하나의 모델은 변경된 Z 성분의 값을 기초로 변형된 형태를 갖게 된다. 프로세서(110)는 변형된 제1 모델 및 제2 모델 중 어느 하나의 모델에 제1 영상 및 제2 영상 중 어느 하나의 영상을 투영시켜 새로운 텍스처 좌표를 갖는 제1 중간영상 또는 제2 중간영상을 획득할 수 있다.

프로세서(110)는 제1 출력영상과 제2 출력영상의 일치도가 미리 설정된 정합성 기준 이상이 되도록 C 값을 조절하여 제1 모델 및 제2 모델 중 어느 하나의 모델을 다양한 방법으로 변형할 수 있다. 여기서, 제1 출력영상과 제2 출력영상의 일치도는 수직일치도, 곡률일치도 및 비율일치도 중 적어도 하나의 일치도일 수 있다.

프로세서(110)는 제1 출력영상과 제2 출력영상의 수직일치도가 미리 설정된 수직정합성 기준 이상이 되도록 제1 파라미터를 조절하여 제1 모델 또는 제2 모델의 형태를 변형한다. 여기서, 제1 파라미터인 C 값은 수학식 2를 기초로 생성할 수 있다.

여기서,

은 0 에서 1 사이의 실수인 값을 가질 수 있다.

는 모델 좌표상의 위치에 따라 0도와 90도 사이의 값을 가질 수 있다. 그러나, 각 변수가 가질 수 있는 값은 이에 한정되는 것은 아니다.

프로세서(110)는 제1 파라미터를 조절하여 제1 모델 및 제2 모델 중 어느 한 모델을 구성하는 벽면(side wall)의 기울기가 새로운 기울기를 갖도록 모델의 형태를 변형한다. 여기서, 제1 모델의 초기 형태는 제1 출력모델과 동일할 수 있고, 제2 모델의 초기 형태는 제2 출력모델과 동일할 수 있다. 또한, 제1 모델 및 제2 모델 중 어느 한 모델의 초기 형태는 반구형 형태, 보울 형태, 반구형 형태의 일부 또는 보울 형태의 일부일 수 있다.

프로세서(110)는 제1 출력영상과 제2 출력영상의 곡률일치도가 미리 설정된 곡률정합성 기준 이상이 되도록 제2 파라미터를 조절하여 제1 모델 또는 제2 모델의 형태를 변형한다. 여기서, 제2 파라미터인 C 값은 수학식 3을 기초로 생성할 수 있다.

여기서,

는 모델 좌표의 위치에 따라 0도와 90도 사이의 값을 가질 수 있으나, 이에 한정되는 것은 아니다.

는 수학식 4를 기초로 생성한 값이다.

여기서,

는 모델 상에서 변형하고자 하는 모델 좌표를 포함하는 단면과 모델의 좌우 대칭면이 이루는 각도에 관한 값이다.

값을 이용하여 모델의 좌측 또는 우측 부분의 형태를 독립적으로 변형할 수 있다. 모델의 좌우 대칭면을 기준(0 도)으로 하여, 모델의 왼쪽 가장자리 끝 방향을 -90도로 설정하고 오른쪽 가장자리 끝 방향을 90도로 설정한다. 이 경우,

값은 -90도와 90도 사이의 값을 가질 수 있다. 모델의 왼쪽 가장자리 부분을 변형할 경우

값은 -90도가 되며, 모델의 오른쪽 가장자리 부분을 변형할 경우

값은 90도가 된다.

값은 모델에서 변형하고자 부분의 형태가 변형되는 정도를 결정하는 값이다.

값은 0에서 1사이의 실수 값을 가질 수 있으나, 이에 한정되는 것은 아니다.

프로세서(110)는 제2 파라미터를 조절하여 제1 모델 및 제2 모델 중 어느 한 모델을 구성하는 벽면의 우측 또는 좌측 부분이 새로운 곡률을 갖도록 모델의 형태를 변형한다. 여기서, 제1 모델의 초기 형태는 제1 출력모델과 동일할 수 있고, 제2 모델의 초기 형태는 제2 출력모델과 동일할 수 있다. 또한, 제1 모델 및 제2 모델 중 어느 한 모델의 초기 형태는 반구형 형태, 보울 형태, 반구형 형태의 일부 또는 보울 형태의 일부일 수 있다.

프로세서(110)는 제1 출력영상과 제2 출력영상의 비율일치도가 미리 설정된 비율정합성 기준 이상이 되도록 제3 파라미터를 조절하여 제1 모델 또는 제2 모델의 형태를 변형한다. 여기서, 제3 파라미터인 C 값은 수학식 5를 기초로 생성할 수 있다.

여기서,

는 수학식 6을 기초로 생성한 값이다.

여기서,

는 모델 변형의 형태 및 비율과 관련된 값이다.

는 모델 좌표가 Z축으로부터 멀어지는 정도와 관련된 값이다.

는 Z축과 이루는 각도 값으로서, 0도와 90도 사이의 값을 가질 수 있으나, 이에 한정되는 것은 아니다.

프로세서(110)는 제3 파라미터를 조절하여 제1 모델 및 제2 모델 중 어느 한 모델을 구성하는 벽면의 높이에 따라 각기 다른 비율로 모델의 상하 길이가 증감하도록 모델의 형태를 변형한다. 예컨대, 제1 모델 및 제2 모델 중 어느 한 모델의 형태는 모델의 벽면 하단에서 상단으로 갈수록 점진적으로 상하의 길이가 증가된 형태로 변형될 수 있다. 여기서, 제1 모델의 초기 형태는 제1 출력모델과 동일할 수 있고, 제2 모델의 초기 형태는 제2 출력모델과 동일할 수 있다. 또한, 제1 모델 및 제2 모델 중 어느 한 모델의 초기 형태는 반구형 형태, 보울 형태, 반구형 형태의 일부 또는 보울 형태의 일부일 수 있다.

제1 모델이 변형된 경우, 프로세서(110)는 변형된 제1 모델에 제1 영상을 투영하여 제1 중간영상을 획득한다. 제1 중간영상은 변형된 제1 모델의 새로운 텍스처 좌표를 갖는다. 프로세서(110)는 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 획득한다.

제2 모델이 변형된 경우, 프로세서(110)는 변형된 제2 모델에 제2 영상을 투영하여 제2 중간영상을 획득한다. 제2 중간영상은 변형된 제2 모델을 기초로 새로운 텍스처 좌표를 갖는다. 프로세서(110)는 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 획득한다.

프로세서(110)는 제1 출력영상과 제2 출력영상의 일치도가 미리 설정된 정합성 기준 이상이 될 때까지 반복하여 미리 설정된 파라미터를 조절할 수 있다. 여기서, 제1 출력영상과 제2 출력영상의 일치도는 수직일치도, 곡률일치도 및 비율일치도 중 어느 하나가 될 수 있다. 미리 설정된 파라미터는 제1 파라미터, 제2 파라미터 및 제3 파라미터 중 어느 하나의 파라미터일 수 있다.

이상에서, 프로세서(110)는 제1 영상과 제2 영상을 기초로 최종 결과영상을 생성하는 것으로 기재하였다. 그러나, 다른 실시예에 따라, 프로세서(110)는 제1 영상 내지 제3 영상을 기초로 최종 결과 영상을 생성할 수 있다. 또 다른 실시예에 따라, 프로세서(110)는 제1 영상 내지 제4 영상을 기초로 최종 결과 영상을 생성할 수 있다.

프로세서(110)는 제1 모델을 변형하여 제2 모델과의 일치도를 변경하는 과정을 개시하였으나 이에 한정되는 것이 아니며, 제2 모델만을 변형하거나 제1 모델 및 제2 모델 모두를 동시에 각기 다른 형태를 갖는 모델로 변형할 수 있다.

영상정합장치(100)는 입출력 인터페이스 모듈(120)을 포함한다. 입출력 인터페이스 모듈(120)은 제1 카메라 및 제2 카메라로부터 영상데이터를 획득하고 프로세서(110)가 생성한 영상을 출력한다. 입출력 인터페이스 모듈(120)은 유무선 통신 네트워크(미도시)를 이용하여 제1 카메라 또는 제2 카메라와 연결된다.

입출력 인터페이스 모듈(120)은 영상정합장치(100)와 일체형으로 제공될 수 있다. 이와 달리, 입출력 인터페이스 모듈(120)은 영상정합장치(100)에서 분리되어 제공되거나, 영상정합장치(100)와 연결된 별도의 장치로 제공될 수 있다. 입출력 인터페이스 모듈(120)은 외부 장치와 연결되기 위한 포트(예컨대, USB 포트)를 포함할 수 있다.

입출력 인터페이스 모듈(120)은 모니터, 터치스크린, 마이크로폰, 키보드, 카메라, 이미지센서, 이어폰, 헤드폰 또는 터치패드를 포함할 수 있다.

영상정합장치(100)는 프로세서(110)의 처리(process) 또는 제어(control)를 위한 프로그램 및 영상정합장치(100)의 동작을 위한 다양한 데이터를 저장할 수 있는 메모리(130)를 포함한다. 메모리(130)는 프로세서(110)가 생성한 제1 영상, 제2 영상, 제1 중간영상, 제2 중간영상, 제1 출력영상, 제2 출력영상, 제1 결과영상, 제2 결과영상 및 최종 결과 영상 중 적어도 하나 이상의 영상을 저장할 수 있다.

도 2는 일 실시예에 따라 카메라가 배치되는 모습을 나타내는 도면이다.

도 2를 참조하면, 적어도 하나의 카메라(210, 220, 230, 240)가 영상정합장치(100)에 연결된다.

카메라(210, 220, 230, 240)는 차량(200)의 미리 설정된 위치에 각각 배치된다. 카메라의 배치 위치는 촬영 목적, 카메라(210, 220, 230, 240)의 수, 차량의 길이나 외형 같은 디자인 등의 요인에 따라 변경될 수 있다.

카메라(210, 220, 230, 240)는 차량(200)의 전방, 후방, 좌측 및 우측 등에 배치된다. 여기서, 전방에 배치된 카메라(210)는 차량(200)의 라디에이터 그릴 중심에 배치되고, 좌측 및 우측에 배치된 카메라 (220, 240)는 각각 차량(200)의 양 사이드미러의 가장 자리 또는 양 사이드미러의 아래 쪽에 배치될 수 있다. 또한 후방에 배치된 카메라(230)는 후방 범퍼 위쪽의 중앙에 배치될 수 있다.

카메라(210, 220, 230, 240) 중 어느 두 개의 카메라는 두 카메라의 광축이 미리 설정된 각을 이루도록 배치된다. 미리 설정된 각도는 90 도 일 수 있으나, 각도가 이에 한정되는 것은 아니다.

카메라(210, 220, 230, 240)의 렌즈는 광각 렌즈(wide angle lens), 어안 렌즈(fisheye lens) 등과 같이 화각이 큰 렌즈일 수 있다.

카메라(210, 220, 230, 240)는 차량주변의 영상을 촬영한다. 적어도 둘 이상의 카메라(210, 220, 230, 240)가 동시에 차량주변의 영상을 촬영할 수 있다.

카메라(210, 220, 230, 240)는 촬영한 영상을 영상정합장치(100)에 전송한다. 전송을 위하여 카메라(210, 220, 230, 240)는 와이파이(Wi-Fi) 모듈, 블루투스 모듈, 지그비 모듈, UWB 모듈 등 근거리 무선 통신 모듈을 탑재할 수 있다. 카메라(210, 220, 230, 240)는 영상정합장치(100)와 일체형으로 제공될 수 있으나, 영상정합장치(100)와 분리되어 제공될 수 있다.

도 3은 일 실시예에 따라 영상정합장치가 구현한 출력모델을 나타내는 도면이다.

도 3의 (a)는 영상정합장치가 구현한 출력모델인 보울모델의 바닥면을 나타내는 도면이다. 도 3의 (b)는 영상정합장치(100)가 구현한 출력모델인 보울모델을 구성하는 벽면을 나타내는 도면이다.

영상정합장치(100)는 제1 중간영상을 제1 출력모델(310)에, 제2 중간영상을 제2 출력모델(320)에, 제3 중간영상을 제3 출력모델(330)에, 제4 중간영상을 제4 출력모델(340)에 각각 매핑한다.

도 3의 (a)를 참조하면, 영상정합장치(100)는 복수의 출력모델(310, 320, 330, 340)을 결합하여 출력모델인 보울모델을 생성한다.

복수의 출력모델(310, 320, 330, 340)은 제1 출력모델(310), 제2 출력모델(320), 제3 출력모델(330) 및 제4 출력모델(340) 중 어느 한 출력모델의 일측이 다른 한 출력모델의 일측과 인접하도록 배치된다.

복수의 출력모델(310, 320, 330, 340)은 제1 출력모델(310), 제2 출력모델(320), 제3 출력모델(330), 제4 출력모델(340) 중 어느 한 출력모델의 일부분이 다른 한 출력모델의 일부분과 겹쳐지도록 배치된다.

영상정합장치는 보울모델에 배치한 출력모델(310, 320, 330, 340)의 일부에 해당하는 보울모델의 면의 기울기가 '0'인 면이 보울모델의 바닥 면(300)으로 결정될 수 있다.

영상정합장치는 보울모델의 바닥면(300)에 배치한 출력모델(310, 320, 330, 340) 각각에 매핑한 영상을 이용하여 주변 지면이 표현된 바닥면 영상을 생성할 수 있다.

도 3의 (b)를 참조하면, 영상정합장치는 보울모델을 구성하는 면 중 기울기가 '0'이 아닌 면(즉, 바닥면이 아닌 면)을 보울모델의 벽면(350)으로 결정할 수 있다. 여기서, 보울모델의 벽면(350)은 제1 출력모델의 나머지(360), 제2 출력모델의 나머지(370), 제3 출력모델의 나머지(380) 및 제4 출력모델의 나머지(390)를 포함할 수 있다. 또한, 제1 출력모델의 나머지(360)와 제2 출력모델의 나머지(370)는 일부분이 겹쳐질 수 있다(352). 또한, 제2 출력모델의 나머지(370)와 제3 출력모델의 나머지(380)는 일부분이 겹쳐질 수 있다(353). 제3 출력모델의 나머지(380)와 제4 출력모델의 나머지(390)는 일부분이 겹쳐질 수 있다(354). 제4 출력모델의 나머지(390)와 제1 출력모델의 나머지(360)는 일부분이 겹쳐질 수 있다(351).

영상정합장치는 보울모델의 벽면(350)에 배치한 출력모델들의 나머지(360, 370, 380, 390) 각각에 매핑한 영상을 이용하여 주변 환경이 표현된 벽면 영상을 생성한다. 영상정합장치는 보울모델의 바닥면(300)을 기초로 생성한 바닥면 영상과 보울모델의 벽면(350)을 기초로 생성한 벽면 영상을 결합하여 최종 결과 영상을 생성한다.

도 4는 영상정합장치가 적어도 하나의 카메라에서 획득한 적어도 하나의 영상을 출력모델에 매핑하는 과정을 나타내는 도면이다.

도 4를 참조하면, 영상정합장치는 카메라로부터 획득한 영상을 기초로 영상(400)을 생성한다. 영상정합장치는 카메라로부터 획득한 영상을 렌즈 보정, 회전, 수평 이동 또는 수직 이동시켜 영상(400)을 생성한다.

영상정합장치는 영상(400)을 모델(411)에 투영하여 중간영상(412)을 생성한다(410). 여기서, 모델(411)의 초기 형태는 출력모델(421)과 동일할 수 있다. 모델(411)의 형태는 미리 설정된 파라미터를 기초로 변형될 수 있다.

영상정합장치는 중간영상(412)을 출력모델(421)에 매핑하여 출력영상을 생성한다(420). 여기서, 출력모델은 미리 설정된 3차원 모델의 전부 또는 일부분에 해당할 수 있다. 미리 설정된 3차원 모델의 형태는 반구형 형태 및 보울 형태 중 어느 한 형태일 수 있다. 출력영상은 영상정합장치가 중간영상(412)을 출력모델(421)에 텍스처 매핑하여 생성한 영상일 수 있다.

영상정합장치는 출력영상(432), 다른 출력영상(431), 또 다른 출력영상(433) 및 또 다른 출력영상(미도시)을 3차원 모델에서 각각의 출력모델에 해당하는 위치에 배치한다(430). 여기서, 3차원 모델의 형태는 반구형 형태 및 보울 형태 중 어느 한 형태일 수 있다.

영상정합장치는 출력영상(432)과 다른 출력영상(431)의 일치도를 결정한다. 여기서, 일치도는 출력영상(432)과 다른 출력영상(431)의 수직일치도, 출력영상(432)과 다른 출력영상(431)의 곡률일치도 및 출력영상(432)과 다른 출력영상(431)의 비율일치도 중 적어도 어느 하나일 수 있다.

영상정합장치는 출력영상(432)과 다른 출력영상(431) 간의 일치도와 미리 설정된 정합성 기준을 비교한 결과를 기초로, 파라미터를 조절하여 모델(411)의 형태를 변형한다. 영상정합장치는 변형된 형태의 모델에 영상(400)을 투영하여 새로운 텍스처 좌표를 갖는 새로운 중간영상을 얻을 수 있다. 영상정합장치는 새로운 중간영상을 출력모델(421)에 텍스처 매핑하여 새로운 출력영상을 생성한다. 새로운 출력영상과 다른 출력영상(431)은 모델(411)의 형태 변형 전보다 더 향상된 정합성을 갖는다.

도 5는 일 실시예에 따라 영상정합장치가 제1 파라미터를 조절하여 생성한 새로운 텍스처 좌표를 기초로 중간영상을 출력모델에 매핑하는 과정을 나타내는 도면이다.

도 5의 (a)는 영상정합장치가 영상을 변형 전의 모델(500)에 투영시켜 중간영상을 생성하고, 생성한 중간영상을 출력모델(510)에 매핑하는 방법을 나타내는 도면이다. 도 5의 (b)는 영상정합장치가 영상을 제1 파라미터를 기초로 변형한 모델(520)에 투영시켜 중간영상을 생성하고, 생성한 중간영상을 출력모델(530)에 매핑하는 방법을 나타내는 도면이다.

도 5의 (a)를 참조하면, 영상정합장치는 영상을 변형 전의 모델(500)에 투영하여 중간영상을 생성한다. 영상정합장치는 모델(500)을 표현하는 모델 좌표에 각각 대응하는 중간영상의 텍스처 좌표를 획득하고, 획득한 텍스처 좌표를 기초로 중간영상을 출력모델(510)에 매핑하여 출력영상을 생성한다.

도 5의 (a) 및 (b)를 참조하면, 영상정합장치는 제1 파라미터를 기초로 모델 좌표들의 수직 성분 값을 조절하여 모델(500)을 새로운 모델(520)로 변형할 수 있다. 여기서, 새로운 모델(520)은 새로운 모델 좌표들의 수직 성분 값을 기초로, 변경된 벽면의 기울기 값을 가질 수 있다.

다시 도 5의 (b)를 참조하면, 영상정합장치는 영상을 변형된 모델(520)에 투영하여 중간영상을 생성한다. 영상정합장치는 변형된 모델(520)을 표현하는 모델 좌표에 각각 대응하는 새로운 텍스처 좌표를 획득한다. 영상정합장치는 획득한 텍스처 좌표를 기초로 중간영상을 출력모델(530)에 매핑하여 새로운 출력영상을 생성한다.

영상정합장치가 변형된 모델(520)을 기초로 생성된 새로운 텍스처 좌표는 변형 전의 모델(500)을 기초로 생성된 텍스처 좌표를 수직방향으로 이동시킨 좌표와 동일할 수 있다.

영상정합장치가 새로운 텍스처 좌표를 기초로 중간영상을 출력모델(530)에 매핑하여 생성한 새로운 출력영상은, 변형 전 모델(500)의 텍스처 좌표를 기초로 중간영상을 출력모델(510)에 매핑하여 생성한 출력영상을 수직방향으로 이동시킨 것과 같은 효과가 있다.

도 6은 일 실시예에 따라 영상정합장치가 제2 파라미터를 조절하여 생성한 새로운 텍스처 좌표를 기초로 중간영상을 출력모델에 매핑하는 과정을 나타내는 도면이다.

도 6의 (a)는 영상정합장치가 영상을 모델(600)에 투영시켜 중간영상을 생성하고, 생성한 중간영상을 출력모델(610)에 매핑하는 방법을 나타내는 도면이다. 도 6의 (b)는 영상정합장치가 영상을 제2 파라미터를 기초로 변형한 새로운 모델(620)에 투영시켜 중간영상을 생성하고, 생성한 중간영상을 출력모델(630)에 매핑하는 방법을 나타내는 도면이다.

도 6의 (a)를 참조하면, 영상정합장치는 영상을 변형 전의 모델(600)에 투영하여 중간영상을 생성한다. 영상정합장치는 모델(600)을 표현하는 모델 좌표에 각각 대응하는 중간영상의 텍스처 좌표를 획득하고, 획득한 텍스처 좌표를 기초로 중간영상을 출력모델(610)에 매핑하여 출력영상을 생성한다.

도 6의 (a) 및 (b)를 참조하면, 영상정합장치는 제2 파라미터를 기초로 모델 좌표들의 수직 성분 값을 조절하여 모델(600)을 변형하여 새로운 모델(620)을 생성한다. 제2 파라미터 값에 따라서 모델의 좌측부분 또는 우측부분의 형태가 독립적으로 변형될 수 있다. 제2 파라미터를 기초로 변형된 새로운 모델(620)은, 변경된 모델 좌표별 수직 성분 값을 기초로, 모델의 좌측 부분은 변화가 없고, 우측 부분으로 갈수록 모델 벽면의 곡률이 작아지는 형태가 된다. 파라미터를 기초로 변형한 모델(620)의 형태는 우측 부분으로 갈수록 모델의 벽면을 이루는 모델 좌표들간의 거리가 점점 멀어짐에 따라 모델 벽면의 곡률은 점점 작아지는 형태가 된다.

영상정합장치는 영상을 새로운 모델(620)에 투영하여 새로운 중간영상을 생성한다. 여기서, 영상이 새로운 모델(620)에 투영되는 방향은 새로운 모델(620)의 수직 방향으로 설정된다. 영상정합장치는 새로운 모델(620)을 표현하는 모델 좌표에 각각 대응하는 새로운 중간영상의 텍스처 좌표를 획득한다. 여기서, 새로운 모델(620)에 투영된 새로운 중간영상은 우측으로 갈수록 더 넓은 영역의 텍스처를 포함한다.

다시 도 6의 (b)를 참조하면, 영상정합장치는 영상을 새로운 모델(620)에 투영하여 중간영상을 생성한다. 영상정합장치는 새로운 모델(620)을 표현하는 모델 좌표에 각각 대응하는 텍스처 좌표를 획득한다. 영상정합장치는 획득한 텍스처 좌표를 기초로 중간영상을 출력모델(630)에 매핑하여 출력영상을 생성한다.

중간영상의 텍스처가 출력모델(630)에 매핑되면 출력모델의 우측으로 갈수록 모델 변형 전 중간영상의 텍스처로부터 수직 방향으로 더 멀리 이동한 위치의 텍스처가 매핑된다. 따라서, 우측으로 갈수록 출력영상 내 곡선의 곡률은 증가되어 출력영상에 나타나게 되고, 모델 변형 전의 출력영상에서의 선(line, 612)에 비하여 모델 변형 후의 출력영상에서의 선(632)이 더 휘어진 형태로 보이는 효과가 있다.

도 7은 일 실시예에 따라 영상정합장치가 제3 파라미터를 조절하여 생성한 새로운 텍스처 좌표를 기초로 중간영상을 출력모델에 매핑하는 과정을 나타내는 도면이다.

도 7의 (a)는 영상정합장치가 영상을 변형 전의 모델(700)에 투영시켜 중간영상을 생성하고, 생성한 중간영상을 출력모델(710)에 매핑하는 과정을 나타내는 도면이다. 도 7의 (b)는 영상정합장치가 영상을 제3 파라미터를 기초로 변형한 새로운 모델(720)에 투영시켜 중간영상을 생성하고, 생성한 중간영상을 출력모델(730)에 매핑하는 과정을 나타내는 도면이다.

도 7의 (a)를 참조하면, 영상정합장치는 영상을 변형 전의 모델(700)에 투영하여 중간영상을 생성한다. 영상정합장치는 모델(700)을 표현하는 모델 좌표에 각각 대응하는 중간영상의 텍스처 좌표를 획득하고, 획득한 텍스처 좌표를 기초로 중간영상을 출력모델(710)에 매핑하여 출력영상을 생성한다.

도 7의 (a) 및 (b)를 참조하면, 영상정합장치는 제3 파라미터를 기초로 모델 좌표들의 수직 성분 값을 변경하여 모델(700)을 새로운 모델(720)로 변형할 수 있다. 새로운 모델(720)은 모델의 벽면상에서 위로 갈수록 상하의 길이가 늘어난 형태를 갖는다. 새로운 모델(720)의 벽면 상에서 위로 갈수록 상하의 길이는 일정한 비율로 늘어난다. 여기서, 상하의 길이가 늘어나는 일정한 비율은 제3 파라미터의 값에 따라 달라질 수 있다.

다시 도 7의 (b)를 참조하면, 영상정합장치는 영상을 새로운 모델(720)에 투영하여 중간영상을 생성한다. 영상정합장치는 새로운 모델(720)을 표현하는 모델 좌표에 각각 대응하는 텍스처 좌표를 획득한다. 영상정합장치는 획득한 텍스처 좌표를 기초로 중간영상을 출력모델(730)에 매핑하여 출력영상을 생성한다.

출력영상은 변형 전의 모델(700)을 기초로 출력모델에 매핑한 출력영상에 비하여 영상의 하단으로 갈수록 수직이동이 상대적으로 크게 나타난다. 새로운 모델(720)을 이용하여 생성한 텍스처 좌표를 기초로 중간영상을 출력모델에 매핑하면 새로운 모델(720)의 하단으로 갈수록 상하 간격이 좁은 영역의 텍스처가 상대적으로 더 큰 상하간격을 갖는 출력모델에 매핑된다. 따라서, 중간영상의 하단으로 갈수록 출력모델에는 상하로 더 늘어난 형태로 매핑된다.

새로운 출력영상(732)은 변형 전 출력영상(712)을 수직 위치에 따라 서로 다른 길이만큼 수직이동시킨 영상이 된다. 여기서, 수직 위치에 따라 서로 다른 길이만큼 수직이동시킨 영상은 수직 위치에 따라 일정한 비율로 가중된 길이만큼 수직이동시킨 영상이다.

도 8은 다른 실시예에 따른 영상정합장치를 나타내는 도면이다.

도 8을 참조하면, 영상정합장치(800)는 마이크로 컨트롤러 유닛(Micro Controller Unit, MCU, 830), 직병렬 변환기(Deserializer, 840), 영상 처리 유닛(Video Processing Unit, VPU, 850) 및 직렬 변환기(Serializer, 860)를 포함한다.

마이크로 컨트롤러 유닛(830)은 영상정합장치(800)의 동작을 제어한다. 외부로부터 신호가 입력되면, 마이크로 컨트롤러 유닛(830)은 수신한 신호를 기초로 제어신호를 영상처리 유닛(850)에 전송한다.

영상정합장치(800)의 외부로부터 입력되는 신호는 기어신호(813) 및 스위치신호(816) 중 어느 하나일 수 있다. 기어신호(813)는 차량의 기어가 특정 단수의 기어에 진입하였다는 정보이다. 스위치신호(816)는 영상정합장치(800)의 동작을 제어할 수 있는 신호이다.

기어신호(813) 또는 스위치신호(816)가 마이크로 컨트롤러 유닛(830)에 입력되면, 마이크로 컨트롤러 유닛(830)은 영상정합을 수행하도록 하는 제어 신호를 영상처리 유닛(850)에 전송한다.

차량의 기어가 후진기어에서 후진기어 외의 기어에 진입하였다는 정보를 포함한 기어신호(813) 또는 영상정합장치(800)의 동작을 종료하는 스위치신호(816)가 마이크로 컨트롤러 유닛(830)에 입력되면, 마이크로 컨트롤러 유닛(830)은 영상정합을 종료하도록 하는 제어신호를 영상처리 유닛(850)에 전송한다.

영상정합장치(800)는 카메라(822, 824, 826, 828)가 촬영한 영상을 수신하여 영상처리 유닛(850)에 전송하는 직병렬 변환기(840)를 포함한다.

제1 카메라(822), 제2 카메라(824), 제3 카메라(826) 및 제4 카메라(828)는 서로 다른 방향의 차량 주변 영상을 촬영하여 각각 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 생성하여 직병렬 변환기(840)에 전송한다. 여기서, 제1 영상, 제2 영상, 제3 영상 및 제4 영상은 차량의 전방, 차량의 후방, 차량의 좌측방 및 차량의 우측방 주변을 촬영한 영상일 수 있다.

직병렬 변환기(840)는 병렬 입력된 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 동기화한다. 직병렬 변환기(840)는 동기화한 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 영상처리 유닛(850)에 직렬 전송한다.

영상처리 유닛(850)은 영상 정합을 수행한다. 마이크로 컨트롤러 유닛(830)으로부터 영상정합을 수행하도록 하는 제어신호를 수신하면, 영상처리 유닛(850)은 직병렬 변환기(840)가 전송한 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 기초로 영상 정합을 수행한다.

영상처리 유닛(850)은 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 제1 모델, 제2 모델, 제3 모델 및 제4 모델 중 대응하는 어느 하나의 모델에 각각 투영하여 제1 중간영상, 제2 중간영상, 제3 중간영상 및 제4 중간영상을 생성한다. 여기서, 제1 중간영상, 제2 중간영상, 제3 중간영상 및 제4 중간영상은 각각 투영된 영상의 텍스처 좌표를 포함한다. 제1 모델, 제2 모델, 제3 모델 및 제4 모델은 반구형 형태 및 보울 형태 중 어느 한 형태를 갖는 3차원 모델의 전부 또는 일부분에 해당할 수 있다.

영상처리 유닛(850)은 제1 중간영상, 제2 중간영상, 제3 중간영상 및 제4 중간영상을 제1 출력모델, 제2 출력모델, 제3 출력모델 및 제4 출력모델 중 대응하는 어느 하나의 출력모델에 각각 텍스처 매핑하여 제1 출력영상, 제2 출력영상, 제3 출력영상 및 제4 출력영상을 생성한다. 여기서, 제1 출력모델, 제2 출력모델, 제3 출력모델 및 제4 출력모델은 3차원 모델의 전부 또는 일부분에 해당할 수 있다.

영상처리 유닛(850)은 제1 출력영상, 제2 출력영상, 제3 출력영상 및 제4 출력영상을 3차원 모델 상의 제1 출력모델, 제2 출력모델, 제3 출력모델 및 제4 출력모델의 위치에 각각 배치하여 영상 정합을 수행한다.

영상처리 유닛(850)은 정합된 제1 출력영상, 제2 출력영상, 제3 출력영상 및 제4 출력영상을 기초로 출력영상의 일치도를 결정한다. 여기서, 출력영상의 일치도는 수직일치도, 곡률일치도 및 비율일치도 중 적어도 어느 하나의 일치도가 될 수 있다. 출력영상의 일치도는 제1 출력영상, 제2 출력영상, 제3 출력영상 및 제4 출력영상 중 인접한 두 영상 간의 특징점을 비교하거나 차영상을 이용하여 결정할 수 있다.

영상 처리 유닛(850)은 제1 출력영상, 제2 출력영상, 제3 출력영상 및 제4 출력영상 중 인접한 두 영상 간의 일치도가 미리 설정된 정합성 기준 미만인 경우 미리 설정된 파라미터를 기초로 인접한 두 영상 중 어느 하나의 영상과 관련된 모델의 형태를 변형한다.

영상처리 유닛(850)은 변형된 형태의 모델에 영상을 투영하여 새로운 텍스처 좌표를 갖는 중간영상을 생성하고, 새로운 텍스처 좌표를 기초로 중간영상을 출력모델에 텍스처 매핑하여 새로운 출력영상을 획득한다. 여기서, 새로운 출력영상은 인접한 다른 출력영상과의 일치도가 미리 설정된 정합성 기준 이상이 되도록 조절된 출력영상이다.

영상처리 유닛(850)은 정합된 출력영상들을 직렬 변환기(860)에 전송한다. 직렬 변환기(860)는 정합된 출력영상들을 직렬로 변환하여 영상정합장치(800) 외부의 디스플레이(870)에 전송한다. 디스플레이(870)는 정합된 차량 주변의 영상을 출력한다.

도 9은 일 실시예에 따른 영상정합방법을 나타내는 순서도이다.

도 9을 참조하면, 영상정합장치가 제1 카메라에서 획득한 영상을 기초로 생성한 제1 영상을 제1 모델에 투영하여 제1 중간영상을 생성한다(S900). 여기서, 제1 모델의 초기 형태는 제1 출력모델의 형태와 동일할 수 있다. 제1 모델의 형태는 미리 설정된 파라미터를 기초로 변형될 수 있다.

영상정합장치는 제1 영상을 구성하는 각각의 프레임에 해당하는 각각의 이미지를 제1 모델에 투영하여 제1 중간 이미지를 획득할 수 있다. 제1 중간영상은 영상정합장치가 제1 영상을 구성하는 각각의 프레임에 해당하는 각각의 이미지를 제1 모델에 투영하여 획득한 제1 중간이미지를 포함한다. 제1 중간영상은 제1 영상을 구성하는 각각의 프레임과 각기 대응되는 제1 중간이미지를 시간 순서대로 결합한 영상일 수 있다.

영상정합장치는 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 생성한다(S910). 여기서, 제1 출력모델은 미리 설정된 3차원 모델의 전부 또는 일부분에 해당할 수 있다. 미리 설정된 3차원 모델의 형태는 반구형 형태 및 보울 형태 중 어느 한 형태일 수 있다. 제1 출력영상은 영상정합장치가 제1 중간영상을 제1 출력모델에 텍스처 매핑하여 획득한 영상일 수 있다.

영상정합장치가 제2 카메라로부터 획득한 영상을 기초로 생성한 제2 영상을 제2 모델에 투영하여 제2 중간영상을 생성한다(S920). 여기서, 제2 모델의 초기 형태는 제2 출력모델의 형태와 동일할 수 있다. 제2 모델의 형태는 미리 설정된 파라미터를 기초로 변형될 수 있다.

영상정합장치는 제2 영상을 구성하는 각각의 프레임에 해당하는 이미지를 제2 모델에 투영하여 제2 중간 이미지를 획득할 수 있다. 제2 중간영상은 영상정합장치가 제2 영상을 구성하는 각각의 프레임에 해당하는 이미지를 제2 모델에 투영하여 획득한 제2 중간이미지를 포함한다. 제2 중간영상은 제2 영상을 구성하는 각각의 프레임과 각기 대응되는 제2 중간이미지를 시간 순서대로 결합한 영상일 수 있다.

영상정합장치는 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 생성한다(S930). 여기서, 제2 출력모델은 미리 설정된 3차원 모델의 전부 또는 일부분에 해당할 수 있다. 또한, 미리 설정된 3차원 모델의 형태는 반구형 형태 및 보울 형태 중 어느 한 형태일 수 있다. 또한, 제2 출력영상은 영상정합장치가 제2 중간영상을 제2 출력모델에 텍스처 매핑하여 획득한 영상일 수 있다.

영상정합장치는 3차원 모델에서 제1 출력영상을 제1 출력모델에 해당하는 위치에, 제2 출력영상을 제2 출력모델에 해당하는 위치에 각각 배치한다(S940). 여기서, 3차원 모델의 형태는 반구형 형태 및 보울 형태 중 어느 한 형태일 수 있다. 영상정합장치는 제1 출력모델의 일 측과 제2 출력모델의 일 측이 경계선을 이루며 인접하도록 제1 출력모델과 제2 출력모델을 배치할 수 있다. 또한, 영상정합장치는 제1 출력모델의 영역과 제2 출력모델의 영역의 일부분이 서로 겹쳐지도록 제1 출력모델과 제2 출력모델을 배치할 수 있다.

영상정합장치는 상기 제1 출력영상과 상기 제2 출력영상의 일치도를 결정한다(S950). 영상정합장치는 미리 설정된 시간 주기를 기초로 미리 설정된 시간 주기에 해당하는 제1 출력영상의 프레임과 제2 출력영상의 프레임의 일치도를 결정한다. 여기서, 미리 설정된 시간 주기는 1/30 초일 수 있으나, 이에 한정되는 것은 아니다. 제1 출력영상과 제2 출력영상의 일치도는 수직일치도, 곡률일치도 및 비율일치도 중 적어도 어느 하나가 될 수 있다.

영상정합장치는 제1 출력영상이 디스플레이 상에 출력된 제1 결과영상을 획득하고, 제1 결과영상으로부터 2차원 이미지인 제1 비교이미지를 획득한다. 제1 비교이미지는 미리 설정된 시점에 해당하는 프레임 이미지일 수 있다. 영상정합장치는 제2 출력영상이 디스플레이 상에 출력된 제2 결과영상을 획득하고, 제2 결과영상으로부터 2차원 이미지인 제2 비교이미지를 획득한다. 제2 비교이미지는 미리 설정된 시점에 해당하는 프레임 이미지일 수 있다. 여기서, 미리 설정된 시점은 제1 출력영상과 제2 출력영상의 수직일치도 결정시점, 곡률일치도 결정시점 및 비율일치도 결정시점 중 어느 한 시점일 수 있다.

영상정합장치는 특징점 비교 또는 차영상을 이용하여 제1 출력영상과 제2 출력영상의 일치도를 결정한다. 특징점 비교를 통한 제1 출력영상과 제2 출력영상의 일치도를 결정하는 방법과 차영상을 기초로 제1 출력영상과 제2 출력영상의 일치도를 결정하는 방법은 도 1을 이용하여 설명한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.

영상정합장치는 제1 출력영상과 제2 출력영상의 일치도와 미리 설정된 정합성 기준을 기초로 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형한다(S960).

제1 출력영상과 제2 출력영상의 일치도가 미리 설정된 정합성 기준 이상인 경우, 영상정합장치는 제1 출력영상과 제2 출력영상을 기초로 최종 결과 영상을 생성한다.

제1 출력영상과 제2 출력영상 사이의 영상 일치도가 미리 설정된 정합성 기준 미만인 경우, 영상정합장치는 미리 설정된 파라미터를 조절하여 제1 모델 및 제2 모델 중 어느 하나의 모델 좌표의 수직성분 값을 변경하여 제1 모델 및 제2 모델 중 적어도 어느 하나의 모델을 변형한다.

영상정합장치는 제1 영상 및 제2 영상 중 어느 한 영상이 제1 모델 및 제2 모델 중 어느 한 모델에 투영되는 방향을 모델의 수직 방향으로 설정할 수 있다. 여기서, 모델의 수직 방향은 제1 모델 및 제2 모델 중 어느 하나의 모델이 표현된 직교 좌표계의 Z축 방향이 될 수 있다.

영상정합장치는 미리 설정된 파라미터를 이용하여 제1 모델 및 제2 모델 중 어느 한 모델을 표현하는 모델 좌표들의 수직 성분 값을 변경한다. 제1 모델 및 제2 모델 중 어느 하나의 모델의 수직 방향을 제1 모델 및 제2 모델 중 어느 하나의 모델이 표현된 직교 좌표계의 Z축으로 설정한 경우, 제1 모델 및 제2 모델 중 어느 하나의 모델을 표현하는 모델 좌표들의 Z성분의 값이 변경된다.

영상정합장치는 제1 파라미터를 조절하여 제1 모델 및 제2 모델 중 어느 한 모델을 구성하는 벽면의 기울기가 새로운 기울기를 갖도록 모델의 형태를 변형한다. 영상정합장치는 제2 파라미터를 조절하여 제1 모델 및 제2 모델 중 어느 한 모델을 구성하는 벽면의 곡률이 새로운 곡률을 갖도록 모델의 형태를 변형한다. 영상정합장치는 제3 파라미터를 조절하여 제1 모델 및 제2 모델 중 어느 한 모델을 구성하는 벽면의 높이에 따라 각기 다른 비율로 모델의 상하 길이가 증감하도록 모델의 형태를 변형한다.

여기서, 제1 모델의 초기 형태는 제1 출력모델과 동일할 수 있고, 제2 모델의 초기 형태는 제2 출력모델과 동일할 수 있다. 또한, 제1 모델 및 제2 모델 중 어느 한 모델의 초기 형태는 반구형 형태, 보울 형태, 반구형 형태의 일부 또는 보울 형태의 일부일 수 있다.

제1 모델이 변형된 경우, 영상정합장치는 변형된 제1 모델에 제1 영상을 투영하여 새로운 제1 중간영상을 생성한다. 제1 중간영상은 변형된 제1 모델의 모델 좌표에 대응하는 새로운 텍스처 좌표를 갖는다. 영상정합장치는 제1 중간영상을 제1 출력모델에 텍스처 매핑하여 새로운 제1 출력영상을 획득한다.

제2 모델이 변형된 경우, 영상정합장치는 변형된 제2 모델에 제2 영상을 투영하여 새로운 제2 중간영상을 생성한다. 제2 중간영상은 변형된 제2 모델의 모델 좌표에 대응하는 새로운 텍스처 좌표를 갖는다. 영상정합장치는 제2 중간영상을 제2 출력모델에 텍스처 매핑하여 새로운 제2 출력영상을 획득한다.

제1 출력영상과 제2 출력영상의 일치도가 미리 설정된 정합성 기준 이상이 되도록, 영상정합장치는 제1 모델 및 제2 모델 중 적어도 어느 하나의 모델을 변형할 수 있다. 여기서, 제1 출력영상과 제2 출력영상의 일치도는 수직일치도, 곡률일치도 및 비율일치도 중 적어도 어느 하나일 수 있다.

도 10은 다른 실시예에 따른 영상정합방법을 나타내는 순서도이다.

도 10을 참조하면 영상정합장치는 입력 영상의 텍스처 좌표를 기초로 텍스처 매핑 및 출력영상을 생성한다(S1000). 입력 영상의 텍스처 좌표는 입력 영상을 3차원 형태의 모델에 투영하여 획득한 중간영상의 텍스처 좌표이다. 영상정합장치는 텍스처 좌표를 기초로 중간영상을 출력모델에 텍스처 매핑하여 출력영상을 생성한다.

영상정합장치는 인접한 두 출력영상 간의 일치도를 결정하고, 결정된 일치도를 정합성 기준과 비교한다(S1010, S1020, S1030, S1030). 여기서, 일치도 결정은 수직일치도 결정, 좌측 곡률일치도 결정, 우측 곡률일치도 결정 및 비율일치도 결정 중 적어도 어느 하나일 수 있다. 미리 설정된 정합성 기준은 수직정합성 기준, 곡률정합성 기준 및 비율정합성 기준 중 적어도 어느 하나일 수 있다.

영상정합장치는 결과영상으로부터 인접한 두 출력영상의 2차원 이미지를 획득한다. 여기서, 2차원 이미지는 결과영상의 미리 설정된 시점의 프레임 이미지일 수 있다. 미리 설정된 시점은 인접한 두 출력영상의 수직일치도 결정시점, 곡률일치도 결정시점 및 비율일치도 결정시점 중 적어도 어느 하나일 수 있다.

영상정합장치는 제1 출력영상과 제2 출력영상의 2차원 이미지를 기초로 인접한 두 출력영상의 수직일치도를 결정하고, 결정된 수직일치도를 수직정합성 기준과 비교한다(S1010). 수직일치도가 수직정합성 미만인 경우, 영상정합장치는 제1 파라미터를 조절하여(S1015) 제1 모델 또는 제2 모델의 형태를 변형하고 새로운 텍스처 좌표를 생성한다(S1050). 여기서, 제1 파라미터는 출력영상의 수직일치도를 조절하기 위한 파라미터이다.

영상정합장치는 새로운 텍스처 좌표를 기초로 매핑한 새로운 출력영상을 생성한다(S1000). 영상정합장치는 결과영상으로부터 새로운 출력영상 및 인접한 출력영상의 2차원 이미지를 획득한다.

영상정합장치는 새로운 출력영상 및 인접한 출력영상의 2차원 이미지를 기초로 인접한 두 출력영상의 좌측 곡률일치도를 결정하고, 결정된 좌측 곡률일치도를 곡률정합성 기준과 비교한다(S1020). 인접한 두 출력영상 중 어느 한 출력영상의 좌측부분과 인접한 다른 하나의 출력영상의 우측부분 간의 곡률일치도가 미리 설정된 곡률정합성 기준 미만인 경우, 영상정합장치는 제2 파라미터를 조절하여(S1025) 인접한 두 출력영상 중 어느 한 출력영상 모델의 좌측부분 형태를 변형하고 새로운 텍스처 좌표를 생성한다(S1050). 여기서, 제2 파라미터는 출력영상의 곡률일치도를 조절하기 위한 파라미터이다.

영상정합장치는 새로운 텍스처 좌표를 기초로 매핑한 출력영상을 생성한다(S1000). 영상정합장치는 결과영상으로부터 출력영상 및 인접한 출력영상의 2차원 이미지를 획득한다.

영상정합장치는 출력영상 및 인접한 출력영상의 2차원 이미지를 기초로 인접한 두 출력영상의 우측 곡률일치도를 결정하고, 결정된 우측 곡률일치도를 곡률정합성 기준과 비교한다(S1030). 인접한 두 출력영상 중 어느 한 출력영상의 우측부분과 인접한 다른 하나의 출력영상의 좌측부분 간의 곡률일치도가 미리 설정된 곡률정합성 기준 미만인 경우, 영상정합장치는 우측 제2 파라미터를 조절하여(S1035) 인접한 두 출력영상 중 어느 한 출력영상 모델의 우측부분 형태를 변형하고 새로운 텍스처 좌표를 생성한다(S1050). 여기서, 우측 제2 파라미터는 출력영상의 우측 곡률일치도를 조절하기 위한 파라미터이다.

영상정합장치는 새로운 출력영상 및 인접한 출력영상의 2차원 이미지를 기초로 인접한 두 출력영상의 비율일치도를 결정하고, 결정된 비율일치도를 비율정합성 기준과 비교한다(S1040). 비율일치도가 미리 설정된 비율정합성 기준 미만인 경우, 영상정합장치는 제3 파라미터를 조절하여(S1045) 제1 모델 또는 제2 모델의 형태를 변형하고 새로운 텍스처 좌표를 생성한다(S1050). 여기서, 제3 파라미터는 모델의 비율일치도를 조절하기 위한 파라미터이다.

영상정합장치는 출력영상들 중 인접한 두 출력영상 간의 수직일치도, 좌측 곡률일치도, 우측 곡률일치도 및 비율일치도 중 어느 하나의 일치도가 미리 설정된 정합성 기준 이상이면 다른 하나의 일치도를 결정하고, 결정된 다른 하나의 일치도를 정합성 기준과 비교할 수 있다. 영상정합장치는 수직일치도, 좌측 곡률일치도, 우측 곡률일치도 및 비율일치도가 설정된 정합성 기준 이상인 경우 또는 영상정합장치의 동작이 종료되어야 하는 경우(예컨대, 스위치의 종료신호)에는 현재 텍스처 좌표를 기초로 중간영상을 출력모델에 텍스처 매핑하여 출력영상을 생성한다.

일 실시예에 따라, S1010 내지 S1040이 1회씩 수행되는 것으로 설명하였으나, 다른 실시예에 따라, S1010 내지 S1040은 반복적으로 수행될 수 있고, S1010 내지 S1040이 각기 독립하여 병렬적으로 반복되어 수행될 수 있다.

도 9 및 도 10에서는 각각의 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일부 실시예의 기술 사상을 예시적으로 설명한 것에 불과하다. 다시 말해, 본 발명의 일부 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일부 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 9 및 도 10에 기재된 과정을 변경하여 실행하거나 각각의 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 9 및 도 10은 시계열적인 순서로 한정되는 것은 아니다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.

컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 영상정합장치
110: 프로세서
120: 입출력 인터페이스 모듈
130: 메모리

Claims

적어도 하나의 프로세서를 포함하는 영상정합장치에 있어서,
제1 카메라로부터 획득한 영상을 기초로 생성한 제1 영상을 제1 모델에 투영하여 제1 중간영상을 생성하고,
상기 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 생성하고,
제2 카메라로부터 획득한 영상을 기초로 생성한 제2 영상을 제2 모델에 투영하여 제2 중간영상을 생성하고,
상기 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 생성하고,
상기 제1 출력영상과 상기 제2 출력영상의 일치도를 결정하고, 결정된 일치도와 미리 설정된 정합성 기준을 기초로 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델의 형태를 변형하는 영상정합장치.
제1항에 있어서,
상기 제1 출력영상과 상기 제2 출력영상의 수직일치도를 결정하고,
상기 제1 출력영상과 상기 제2 출력영상의 곡률일치도를 결정하고,
상기 제1 출력영상과 상기 제2 출력영상의 비율일치도를 결정하는 영상정합장치.
제2항에 있어서,
특징점 또는 차영상을 기초로 상기 제1 출력영상과 상기 제2 출력영상을 비교하여 상기 제1 출력영상과 상기 제2 출력영상의 수직 방향에 대한 수직일치도를 결정하고,
상기 수직일치도가 미리 설정된 수직정합성 기준 미만이면 제1 파라미터를 조절하여 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형하는 영상정합장치.
제2항에 있어서,
특징점 또는 차영상을 기초로 상기 제1 출력영상과 상기 제2 출력영상을 비교하여 상기 제1 출력영상과 상기 제2 출력영상의 곡률에 대한 곡률일치도를 결정하고,
상기 곡률일치도가 미리 설정된 곡률정합성 기준 미만이면 제2 파라미터를 조절하여 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형하는 영상정합장치.
제2항에 있어서,
특징점 또는 차영상을 기초로 상기 제1 출력영상과 상기 제2 출력영상을 비교하여 상기 제1 출력영상과 상기 제2 출력영상의 상하 비율에 대한 비율일치도를 결정하고,
상기 비율일치도가 미리 설정된 비율정합성 기준 미만이면 제3 파라미터를 조절하여 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형하는 영상정합장치.
제3항에 있어서,
상기 제1 모델 및 상기 제2 모델은 미리 설정된 3차원 모델의 일부분을 구성하고,
상기 제1 파라미터는,
상기 제1 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 기울기 및 상기 제2 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 기울기 중 적어도 어느 하나의 기울기를 조절하는 영상정합 장치.
제4항에 있어서,
상기 제1 모델 및 상기 제2 모델은 미리 설정된 3차원 모델의 일부분을 구성하고,
상기 제2 파라미터는,
상기 제1 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 곡률 및 상기 제2 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 곡률 중 적어도 어느 하나의 곡률을 조절하는 영상정합장치.
제5항에 있어서,
상기 제1 모델 및 상기 제2 모델은 미리 설정된 3차원 모델의 일부분을 구성하고,
상기 제3 파라미터는,
상기 제1 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 상하 비율 및 상기 제2 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 상하 비율 중 적어도 어느 하나의 상하 비율을 조절하는 영상정합장치.
제1 카메라로부터 획득한 영상을 기초로 생성한 제1 영상을 제1 모델에 투영하여 제1 중간영상을 생성하는 과정;
상기 제1 중간영상을 제1 출력모델에 매핑하여 제1 출력영상을 생성하는 과정;
제2 카메라로부터 획득한 영상을 기초로 생성한 제2 영상을 제2 모델에 투영하여 제2 중간영상을 생성하는 과정;
상기 제2 중간영상을 제2 출력모델에 매핑하여 제2 출력영상을 생성하는 과정; 및
상기 제1 출력영상과 상기 제2 출력영상의 일치도를 결정하고, 상기 일치도와 미리 설정된 정합성 기준을 기초로 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델의 형태를 변형하는 과정
을 포함하는 영상정합방법.
제9항에 있어서,
상기 제1 출력영상과 상기 제2 출력영상의 일치도를 결정하고, 상기 일치도와 미리 설정된 정합성 기준을 기초로 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형하는 과정은,
상기 제1 출력영상과 상기 제2 출력영상의 수직일치도를 결정하는 과정;
상기 제1 출력영상과 상기 제2 출력영상의 곡률일치도를 결정하는 과정; 및
상기 제1 출력영상과 상기 제2 출력영상의 비율일치도를 결정하는 과정
을 포함하는 영상정합방법.
제10항에 있어서,
상기 제1 출력영상과 상기 제2 출력영상의 수직일치도를 결정하는 과정은,
특징점 또는 차영상을 기초로 상기 제1 출력영상과 상기 제2 출력영상을 비교하여 상기 제1 출력영상과 상기 제2 출력영상의 수직 방향에 대한 수직일치도를 결정하는 과정; 및
상기 수직일치도가 미리 설정된 수직정합성 기준 미만이면 제1 파라미터를 조절하여 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형하는 과정
을 포함하는 영상정합방법.
제10항에 있어서,
상기 제1 출력영상과 상기 제2 출력영상의 곡률일치도를 결정하는 과정은,
특징점 또는 차영상을 기초로 상기 제1 출력영상과 상기 제2 출력영상을 비교하여 상기 제1 출력영상과 상기 제2 출력영상의 곡률에 대한 곡률일치도를 결정하는 과정; 및
상기 곡률일치도가 미리 설정된 곡률정합성 기준 미만이면 제2 파라미터를 조절하여 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형하는 과정
을 포함하는 영상정합방법.
제10항에 있어서,
상기 제1 출력영상과 상기 제2 출력영상의 비율일치도를 결정하는 과정은,
특징점 또는 차영상을 기초로 상기 제1 출력영상과 상기 제2 출력영상을 비교하여 상기 제1 출력영상과 상기 제2 출력영상의 상하 비율에 대한 비율일치도를 결정하는 과정; 및
상기 비율일치도가 미리 설정된 비율정합성 기준 미만이면 제3 파라미터를 조절하여 상기 제1 모델 및 상기 제2 모델 중 적어도 어느 하나의 모델을 변형하는 과정
을 포함하는 영상정합방법.
제11항에 있어서,
상기 제1 모델 및 상기 제2 모델은 미리 설정된 3차원 모델의 일부분을 구성하고,
상기 제1 파라미터는,
상기 제1 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 기울기 및 상기 제2 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 기울기 중 적어도 어느 하나의 기울기를 조절하는 영상정합방법.
제12항에 있어서,
상기 제1 모델 및 상기 제2 모델은 미리 설정된 3차원 모델의 일부분을 구성하고,
상기 제2 파라미터는,
상기 제1 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 곡률 및 상기 제2 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 곡률 중 적어도 어느 하나의 곡률을 조절하는 영상정합방법.
제13항에 있어서,
상기 제1 모델 및 상기 제2 모델은 미리 설정된 3차원 모델의 일부분을 구성하고,
상기 제3 파라미터는,
상기 제1 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 상하 비율 및 상기 제2 모델이 구성하는 상기 미리 설정된 3차원 모델을 구성하는 벽면의 상하 비율 중 적어도 어느 하나의 상하 비율을 조절하는 영상정합방법.