KR101770668B1

KR101770668B1 - 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법

Info

Publication number: KR101770668B1
Application number: KR1020150120898A
Authority: KR
Inventors: 이준석; 전병찬; 박규로; 장민섭; 박지환
Original assignee: ㈜베이다스
Priority date: 2015-08-27
Filing date: 2015-08-27
Publication date: 2017-08-24
Also published as: KR20170026743A

Abstract

본 발명은 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법에 관한 것으로, 지면 및 지상의 기지 위치에 설치되는 정렬패턴과 지면 및 지상의 임의 위치에 설치되는 보정패턴을 포함하는 패턴부와, 차량에 장착된 복수 카메라로부터 상기 보정패턴, 정렬패턴이 촬영된 영상을 입력받아 출력하는 촬영부 및 상기 정렬패턴이 촬영된 영상과 상기 정렬패턴에 대한 기지의 위치 정보를 이용하여 위치 정렬을 수행하고, 촬영된 상기 보정패턴 영상과 인접한 카메라 채널에 공통으로 나타나는 인접 공통 보정패턴이 일치되도록 함으로써 정합된 영상을 출력하는 영상처리부;를 포함하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치를 제공한다.

Description

차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법{Automatic calibration method based on the simplified pattern for the vehicle image registration and the method thereof}

본 발명은 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법에 관한 것으로, 더욱 상세하게는 다각형, 원형 등 기지의 간소화된 패턴을 이용하여 차량 주변의 다채널 영상의 정합 및 영상의 보정을 할 수 있는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법에 관한 것이다.

근래에 들어서 차량에는 주차 지원을 위한 후방 카메라와 같이 다양한 용도의 카메라가 사용되고 있다. 그 중에서도 차량의 전, 후, 좌, 우의 사각을 완전히 제거할 수 있는 탑뷰(top view) 시스템이 최근에 개발 되었는데, 이는 차량의 전, 후, 좌, 우, 네 위치에 장착된 광각 카메라를 이용하여 영상을 획득한 후 합성하여 일반 뷰(Normal view)를 버드뷰(Bird view)로 전환해 주는 시스템이다. 이러한 탑뷰 시스템은 마치 새가 하늘에서 내려다보는 것과 같이 차량 주변을 세세하게 보여줄 수 있어 운전자가 차량과 주변 물체와의 거리 및 상황을 정확히 인지할 수 있도록 해준다.

그런데 이러한 탑뷰 시스템을 구현하기 위해서는 카메라로부터 획득된 영상에서 입력 순서에 의해 발생하는 영상 시차, 광각 카메라에 사용되는 렌즈에 의한 영상 왜곡, 원근 투영 왜곡 등을 보정해 주어야 하는 문제점이 있다.

특히, 여러 위치에 장착된 복수의 카메라로부터 획득한 영상을 합성할 때, 카메라는 장착 오차를 갖게 되고, 또한, 영상은 서로 다른 좌표계에서 얻어지기 때문에 최종적으로 합성된 영상 속의 각각의 카메라의 영상들은 서로 일치되지 않는 현상이 발생하게 된다.

때문에 영상 정합을 위한 선결문제로 카메라의 장착 오차를 보정하여야 하고, 이를 위해서는 설치된 카메라에 대한 설치 높이와 설치 각에 대한 정보가 요구된다.

이러한 정보를 구하는 일반적인 방법은 지면에 체커보드(cherkerboard) 와 같은 특정 기준 패턴을 설치하여 촬영한 후에 촬영된 패턴 영상을 이용하는 방법이다. 이 방법은 패턴 상의 특정 마커의 상대적인 위치를 미리 정확하게 알 수 있어 정밀한 결과를 얻을 수 있는 장점이 있다. 하지만 이러한 패턴을 차량 주위에 설치하기 위해서는 일정 이상의 넓이가 확보된 특정의 공간이 있어야 하고, 패턴이 갖는 면적과 무게로 인해 설치하는데 따른 어려움이 있기 때문에 실제 작업을 수행함에 있어서는 상당한 번거로움이 따르는 문제점이 있다.

관련 선행기술로는 한국공개특허 2015-0028532호(공개일: 2015. 03. 16)가 있다.

본 발명은 차량 주변을 시각화하기 위하여 차량 주변에 복수의 카메라를 장착한 후 카메라로부터 획득한 영상을 통해 차량에 장착된 카메라의 장착 오차를 보정한 후, 이 정보를 이용하여 복수의 카메라 영상을 정합하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법을 제공하기 위한 것이다.

또한, 체커보드와 같은 특정한 기준 패턴 없이도 삼각형, 사각형, 원형 또는 기타 다각형과 같은 모양만의 패턴을 이용하여 차량에 장착된 카메라의 장착 오차 보정 및 영상 보정 작업을 수행할 수 있도록 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법을 제공하기 위한 것이다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않는다.

상기 과제를 달성하기 위한 본 발명의 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치는, 지면 및 지상의 기지 위치에 설치되는 정렬패턴과 지면 및 지상의 임의 위치에 설치되는 보정패턴을 포함하는 패턴부와, 차량에 장착된 복수의 카메라로부터 상기 보정패턴, 정렬패턴이 촬영된 영상을 입력받아 출력하는 촬영부 및 상기 정렬패턴이 촬영된 영상과 상기 정렬패턴에 대한 기지의 위치 정보를 이용하여 위치 정렬을 수행하고, 촬영된 상기 보정패턴 영상과 인접한 카메라 채널에 공통으로 나타나는 인접 공통 보정패턴이 일치되도록 함으로써 정합된 영상을 출력하는 영상처리부;를 포함할 수 있다.

구체적으로, 상기 패턴부의 정렬패턴과 보정패턴의 모양, 규격, 색상 및 모멘트의 기하정보는 기지의 정보인 것을 특징으로 할 수 있다.

구체적으로, 상기 복수의 카메라 채널 당 상기 패턴부의 정렬패턴과 보정패턴이 1개 이상 촬영될 수 있도록 하는 것을 특징으로 할 수 있다.

구체적으로, 상기 정렬패턴이 포함되지 않는 카메라 채널의 경우에 인접한 카메라 채널과 겹치는 공통 영역에 상기 보정패턴을 설치하는 것을 특징으로 할 수 있다.

구체적으로, 상기 영상 처리부는 영상 내 상기 정렬패턴의 모양이 실제 정렬패턴의 모양과 동일하게 되도록 영상을 회전시키고, 상기 정렬패턴에 대한 기지의 위치 정보를 이용하여 영상을 이동시킴으로써 위치 정렬의 수행을 하는 연산 모듈을 포함 할 수 있다.

구체적으로, 상기 영상 처리부는 영상 내 상기 정렬패턴의 모양이 실제 정렬패턴의 모양과 동일하게 되도록 영상을 회전시키고, 인접한 상기 카메라 채널에 공통으로 나타나는 영상 내 상기 인접 공통 보정패턴과 해당 상기 카메라 채널 영상 내의 상기 보정패턴이 서로 일치될 수 있도록 상기 보정패턴의 특징점을 이용하여 영상을 이동 시키는 연산 모듈을 포함할 수 있다.

구체적으로, 상기 영상처리부는 상기 영상을 회전 및 이동을 시킬 때 최적화 알고리즘을 사용하되, 상기 최적화 알고리즘은 PSO(Particle Swarm Optimization), ACO(Ant Colony Optimization), LM(Levenberg-Marquardt), LMS(Least Mean Square) 중 어느 하나인 것을 특징으로 할 수 있다.

구체적으로, 상기 영상처리부는 상기 영상의 이동 및 회전 정보를 저장하는 저장모듈을 더 포함하는 것을 특징으로 할 수 있다.

상기 과제를 달성하기 위한 본 발명의 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법은, 카메라 주변 지면 및 지상의 임의 위치에 패턴부를 설치하는 단계와, 상기 패턴부를 촬영한 복수의 영상을 입력 받는 단계와, 상기 복수의 영상에서 패턴부의 위치 정보를 분석하는 단계와, 기지의 내부 파라미터를 이용하여 상기 복수의 영상의 왜곡보정을 수행하는 단계와, 상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계 및 저장된 카메라 이동 및 회전 정보를 이용하여 영상 정합을 수행하는 단계;를 포함할 수 있다.

구체적으로, 상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계에서, 정렬패턴을 사용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산할 때는, 상기 영상 내 상기 정렬패턴의 모양이 실제 정렬패턴의 모양과 동일하게 되도록 영상을 회전시키고, 상기 정렬패턴에 대한 기지의 위치 정보를 이용하여 영상을 이동시킴으로써 카메라 위치 정렬을 수행하고, 수행된 상기 영상의 이동 및 회전 정보를 저장모듈에 저장하는 것을 특징으로 할 수 있다.

구체적으로, 상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계에서, 보정패턴을 사용하여 영상의 이동 및 회전 정보를 계산할 때는, 상기 영상 내 상기 정렬패턴의 모양이 실제 정렬패턴의 모양과 동일하게 되도록 영상을 회전시키고, 인접한 상기 카메라 채널에 공통으로 나타나는 영상 내 상기 인접 공통 보정패턴과 해당 상기 카메라 채널 영상 내의 상기 보정패턴이 서로 일치될 수 있도록 상기 보정패턴의 특징점을 이용하여 영상을 이동 시키고, 수행된 상기 영상의 이동 및 회전 정보를 저장모듈에 저장하는 것을 특징으로 할 수 있다.

구체적으로, 상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계에서, 상기 영상을 회전 및 이동을 시킬 때 최적화 알고리즘을 사용하되, 상기 최적화 알고리즘은 PSO(Particle Swarm Optimization), ACO(Ant Colony Optimization), LM(Levenberg-Marquardt), LMS(Least Mean Square) 중 어느 하나인 것을 특징으로 할 수 있다.

구체적으로, 저장된 카메라 이동 및 회전 정보를 이용하여 영상 정합을 수행하는 단계에서, 카메라 영상의 이동 및 회전 정보를 재 측정시 상기 패턴부 없이 상기 최적화 알고리즘을 재차 수행할 수 있는 것을 특징으로 할 수 있다.

이상에서 설명한 바와 같이 본 발명은 체커보드와 같은 특정한 기준 패턴 없이도 삼각형, 사각형, 원형 또는 기타 다각형과 같은 모양만의 간소화된 패턴을 이용하여 차량에 장착된 카메라의 장착 오차 보정 및 영상 보정 작업을 수행할 수 있도록 하기 때문에, 광범위한 영역에 패턴을 설치해야 하고 무게도 무거운 체커보드와 같은 특정 패턴 도구를 사용하지 않고도 카메라 외부 파라미터를 간단하고 용이하게 얻을 수 있고, 그에 따라 복수의 카메라로부터 획득된 영상의 정합을 보다 용이하게 할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 의한 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치를 나타낸 블록도이다.
도 2는 지면에 설치된 패턴의 한 예와 차량을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 의한 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법을 나타낸 순서도이다.
도 4는 정렬 패턴을 사용했을 때 최적화 알고리즘이 수행되는 과정을 나타낸 개념도이다.
도 5는 정렬 패턴을 사용하지 않았을 때 최적화 알고리즘이 수행되는 과정을 나타낸 개념도이다.
도 6 내지 도 9는 복수의 카메라를 통해 입력된 영상을 나타낸 도면이다.
도 10은 최적화 알고리즘이 수행되기 전 합성 영상이다.
도 11은 최적화 알고리즘이 수행되고 난 후의 정합 영상이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 어느 곳에서든지 동일한 부호로 표시한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 실시예에 의한 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치를 나타낸 블록도로서, 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치(100)는 패턴부(110), 촬영부(120) 및 영상 처리부(130)를 포함한다.

패턴부(110)는 기지의 패턴으로서 복수개의 카메라 채널 당 최소한 1개 이상의 패턴을 포함한다. 여기서 기지의 패턴이라 함은 패턴의 모양, 규격, 색상 또는 모멘트 등과 같은 기하 정보를 이미 알고 있는 것을 의미한다. 그리고 패턴이 설치되는 위치는 카메라에서 시야가 확보되는 임의의 지면 및 지상에 설치된다.

패턴부(110)의 패턴 모양은 체커보드와 같은 일반적인 형태의 특정 기준 패턴이 아니고 패턴에 대한 정보를 미리 알고 있다면 삼각형, 사각형, 원형 또는 기타 다양한 모양만의 단일한 패턴이 모두 가능한 바, 특정 모양과는 상관이 없다.

본 발명에서는 설명의 편의를 위해 패턴부(100)의 패턴 모양이 도 2에 예시된 바와 같이 그 모양이 사각형일 수 있다. 그리고 이러한 패턴부(100)가 자동차의 주위 지면에 6개가 설치되는 것을 예시하였다. 물론 상술한 바와 같이 본 발명에서 설치될 수 있는 패턴의 개수는 각 채널 당 최소 1개 이상이면 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치로서 기능할 수 있다. 다시 말하면, 도 2에 예시된 바와 같이 차량의 전후면, 또는 좌우측면에 복수개의 패턴부(100)가 설치될 수 있지만, 전후면, 또는 좌우측면에 1개가 설치될 수도 있다.

또한, 패턴부(110)의 패턴은 용도에 따라 정렬패턴(111)과 보정패턴(113)을 포함할 수 있으며, 정렬패턴(111)은 자동차의 전면부 및 후면부에 설치되고, 보정패턴(113)은 자동차의 4군데 모서리 부분에 설치된다.

여기서 정렬패턴(111)은 채널에 대한 카메라 위치 정렬이 요구될 때에 설치되는 것으로서 정렬패턴(111)에 대한 기지의 위치, 즉, 미리 알고 있는 방향 및 거리에 설치되도록 한다. 그리고 보정패턴(113)은 정렬패턴(111)을 포함하거나 또는 포함하지 않는 채널에 설치될 수 있는데, 즉, 자동차의 측면과 전후면에 설치되도록 하되 인접한 채널과의 공통 영역인 자동차 주변의 4군데 모서리 영역에 설치되도록 한다.

촬영부(120)는 패턴부(100)가 설치된 차량의 주변 영역을 촬영한 촬영 영상을 출력하기 위한 것으로 적어도 하나 이상의 카메라를 포함할 수 있다. 바람직하게는 본 발명에서 예시된 바와 같이 전면부, 후면부, 좌우 측면부에 장착되어 자동차의 주변을 모두 시각화 할 수 있도록 제1 내지 제4 카메라(121, 123, 125, 127)를 포함할 수 있으며 그 이상 개수의 카메라를 포함할 수도 있다.

또한, 촬영부(120)에 사용되는 카메라에는 보통의 렌즈보다 시야각이 큰 광각 렌즈 또는 사각이 180ㅀ를 넘는 초광각 렌즈인 어안렌즈를 사용할 수 있다. 도 2에서 이러한 어안렌즈가 사용될 때의 카메라 시계(Field Of View)를 점선으로 예시하였다.

도 6 내지 도 9에서 촬영부(120)가 자동차 주변의 지면에 설치된 패턴부(110)를 촬영한 것을 도시하였다. 이때, 카메라와 그에 인접한 카메라에는 공통적으로 촬영되는 패턴부(110)의 패턴이 영상에 나타날 수 있도록 한다. 즉, 도 6에서 예시된 자동차의 전면부를 촬영한 영상과 도 7에서 예시된 자동차의 측면부를 촬영한 영상을 보면 도 6에서 우측에 보이는 패턴과 도 7에서 좌측에 보이는 패턴은 동일한 패턴으로서 영상에 나타나게 된다.

나아가, 차량에 장착된 촬영부(120)의 카메라에 대해서, 카메라의 위치에 대한 정렬이 필요한 경우 정렬패턴(111)을 촬영하여 그 영상을 이용하여 카메라 위치 정렬을 할 수 있다. 이때는, 도 2에서 화살표로 예시한 바와 같이 자동차의 전면부 및 후면부의 카메라에서 미리 정해진 거리만큼 이격된 위치에 정렬 패턴(111)이 설치된다. 도 6 및 도 8에서 전면부 및 후면부에 장착된 제1 카메라(121) 및 제3 카메라(125)에 의해 촬영된 촬영 영상에서 중앙에 자리한 패턴이 바로 정렬패턴(111)이 된다.

영상 처리부(130)는 촬영부(120)에 의해 촬영된 촬영 영상에 나타난 패턴부(110)의 패턴 영상을 이용하여 장착된 카메라의 설치 높이 및 설치각과 같은 카메라 외부 파라미터를 구하는 작업을 수행하며, 이 후, 획득된 카메라 외부 파라미터를 이용한 카메라의 정렬 및 영상의 이동 및 회전을 수행하고 해당 정보를 저장함으로써 자동차 주변의 다채널 영상 합성을 하기 위한 정합 작업을 수행한다.

구체적으로 영상 처리부(130)는 촬영 영상에 나타난 패턴부(110)의 패턴들에 대한 위치 정보를 분석하는 기능과, 광중심과 같은 카메라 내부 파라미터를 이용하여 영상 왜곡 보정을 하는 기능과, 획득된 위치 정보를 이용하여 카메라 위치를 정렬하는 기능과, 영상의 이동 및 회전 정보를 계산하는 기능 및 획득된 영상의 이동 및 회전 정보를 이용하여 다채널 영상에 대한 정합을 수행하는 기능을 포함한다.

영상 처리부(130)가 촬영 영상에 나타난 패턴부(110)의 패턴들에 대한 위치 정보를 분석하는 알고리즘은 크게 영상에서 패턴을 추출하는 알고리즘과 패턴에 대한 위치 및 기하 정보를 분석하는 알고리즘으로 나눌 수 있는데 이에 대한 일례를 아래의 표에 나타내었다.

먼저, 영상에서 패턴을 추출하는 알고리즘의 일례는 아래의 표 1과 같다.

// DETECTION (PATTERN EXTRACTION)

// 1. CAPTURE IMAGES
1. camera and pattern installation
2. for i ← 1 to n do // i: camera index, n: the number of cameras
3. C_i ← CaptureCamera(i) // C _i(-> C_i): the captured image of i-th camera
4. end for

// 2. PATTERN DETECTION
5. for i ← 1 to n do
6. p_i ← DetectPatterns(C_i) // p_i: the detected patterns of i-th camera
7. if (n(p_i)! = k_i) // n(p_i): # of detected patterns of i-th camera, k_i: # of predefined patterns of i-th camera
8. check missed or overestimated patterns through a monitor
9. pattern re-installation
10. go to 1
11. end if
12. end for

다음으로, 패턴에 대한 위치 및 기하 정보를 분석하는 알고리즘은 아래의 표 2와 같다.

// ESTIMATION (OPTIMIZE GEOMETRY TRANSFORM)
// 1. ARRANGE CALIBRATION
13. for i ← 1 to n_arr do // n_arr: the number of camera which captured arrange pattern
14. j ← 1 // j: iteration count for optimizing the objective function
15. G_i ← ∞ // G_i: global maximum of the probability of error distance
16. while G_i> T do // T: threshold of probability of error distance
17. r ← Rand() // r: random number
18. if (r > r₀) // r₀: threshold for the choice of estimate
19. (r_i ^x,r_i ^y,r_i ^z)_j ← EstimateRotation((r_i ^x,r_i ^y,r_i ^z)_j-1) // find j-th rotation parameter with the strongest pheromone which goes to be seen the patterns as they are
20. (t_i ^x,t_i ^y,t_i ^z)_j← EstimateTranslation((t_i ^x,t_i ^y,t_i ^z)_j-1) // find j-th translation parameter with the strongest pheromone which use the location information of the arrange pattern
21. else
22. (r_i ^x,r_i ^y,r_i ^z)_i,(t_i ^x,t_i ^y,t_i ^z)_i ← MoveToRandom((r_i ^x,r_i ^y,r_i ^z)_j-1,(t_i ^x,t_i ^y,t_i ^z)_j-1,r) // estimate rotation and translation parameters with random value (to prohibit local maximum)
23. end if
24. I_ij ← TransformGeometry(C_i _,(r_i ^x,r_i ^y,r_i ^z)_j,(t_i ^x,t_i ^y,t_i ^z)_j) // the result transformed of i-th camera with j-th parameters
25. g_j(I_ij) ← EstimateCorrectError() // the probability of error distance to real patterns
26. if (G_i > min(g_j(I_ij)))
27. G_i ← min(g_j(I_ij))
28. (r_i ^x,r_i ^y,r_i ^z)^G,(t_i ^x,t_i ^y,t_i ^z)^G← (r_i ^x,r_i ^y,r_i ^z)_j,(t_i ^x,t_i ^y,t_i ^z)_j // (-)^G: the most probabilistic rotation and translation parameters
29. end if
30. j ← j + 1
31. end while
32. e_i=T-G_i // e_i: the final error value
33. end for
// 2. CORRECT CALIBRATION
34. for i ← n_arr+1 to n do // calibration for remained channel camera
35. j <- 1
36. G_i<- ∞
37. while G_i > T do
38. r ← random number
39. if (r > r₀) // r₀: threshold for the choice of estimate
40. (r_i ^x,r_i ^y,r_i ^z)_j← EstimateRotation((r_i ^x,r_i ^y,r_i ^z)_j-1) // find j-th rotation parameter with the strongest pheromone which goes to be seen the patterns as they are
41. (t_i ^x,t_i ^y,t_i ^z)_j← EstimateTranslation((t_i ^x,t_i ^y,t_i ^z)_j-1) // find j-th translation parameter with the strongest pheromone which use the location information of the arrange pattern
42. else
43. (r_i ^x,r_i ^y,r_i ^z)_j,(t_i ^x,t_i ^y,t_i ^z)_j← MoveToRandom((r_i ^x,r_i ^y,r_i ^z)_j-1,(t_i ^x,t_i ^y,t_i ^z)_j-1,r) // estimate rotation and translation parameters with random value (to prohibit local maximum)
44. end if
45. I_ij ← TransformGeometry(C_i _,(r_i ^x,r_i ^y,r_i ^z)_j,(t_i ^x,t_i ^y,t_i ^z)_j) // the result transformed of i-th camera with j-th parameters
46. g_j(I_ij) ← EstimateCorrectError() // the probability of error distance to real patterns
47. if (G_i > min(g_j(I_ij)))
48. G_i ← min(g_j(I_ij))
49. (r_i ^x,r_i ^y,r_i ^z)^G,(t_i ^x,t_i ^y,t_i ^z)^G← (r_i ^x,r_i ^y,r_i ^z)_j,(t_i ^x,t_i ^y,t_i ^z)_j // (-)^G: the most probabilistic rotation and translation parameters
50. end if
51. j ← j+1
52. end while
53. e_i=T-G_i // e_i: the final error value
54. end for
// 3. SELECT OPTIMAL PARAMETERS
55.

← merge error calculation
56. if (e > T_m ) // T_m: the marginal threshold of summed distance error
57. check camera specification and installation status of patterns
58. go to 13
59. end if
60. return (r_i ^x,r_i ^y,r_i ^z)^G,(t_i ^x,t_i ^y,t_i ^z)^G , I = {1, ..., n} // return and update rotation and translation parameters for each camera

영상 처리부(130)가 광 중심과 같은 카메라 내부 파라미터를 이용하여 영상 왜곡 보정을 하는 기능은, 촬영부(120)의 카메라를 통해 촬영된 영상에서 렌즈 왜곡 보정을 위해 입력된 영상에 대하여 기지의 카메라 내부 파라미터를 이용하여 영상 왜곡을 보정하는 기능이다.

영상 처리부(130)가 획득된 위치 정보를 이용하여 카메라 위치를 정렬하는 기능은 영상 처리부(130) 내의 연산 모듈(131)이 촬영부(120)의 카메라가 촬영한 정렬패턴(111)을 사용하여 수행하는 기능으로서, 연산 모듈(131)은 촬영된 영상 내 정렬패턴(111)의 모양이 실제 정렬패턴의 모양과 동일하게 되도록 영상을 회전 및 이동을 시킨다. 즉, 영상의 회전과 상기 정렬패턴에 대한 기지의 위치 정보를 이용한 영상의 이동을 통해 촬영부(120)의 카메라 위치 정렬을 할 수 있다.

이때, 카메라 위치 정렬을 위해서 영상을 회전 및 이동을 시킬 때 최적화 알고리즘을 사용하는데, PSO(Particle Swarm Optimization), ACO(Ant Colony Optimization), LM(Levenberg-Marquardt), LMS(Least Mean Square) 등과 같은 최적화 알고리즘 중 어느 하나일 수 있다.

그리고, 영상처리부(130)는 이러한 영상의 이동 및 회전에 대한 정보를 저장모듈(133)에 저장한다.

이이서, 영상 처리부(130)가 영상의 이동 및 회전 정보를 계산하는 기능 및 획득된 영상의 이동 및 회전 정보를 이용하여 다채널 영상에 대한 정합을 수행하는 기능은 영상 처리부(130) 내의 연산 모듈(131)이 촬영부(120)의 카메라가 촬영한 보정패턴(113)을 사용하여 수행하는 기능으로서, 연산 모듈(131)은 카메라 위치 정렬을 통하여 인접한 카메라 채널에 공통으로 나타나는 영상 내 인접 공통 보정패턴(115)을 이용하여 인접 공통 보정패턴(115)과 해당 상기 카메라 채널 영상 내의 보정패턴(113)이 서로 일치될 수 있도록 추출된 보정패턴(113)의 특징점을 이용하여 영상을 회전 및 이동 시킨다.

이때, 인접한 카메라 채널에 공통으로 나타나는 인접 공통 보정패턴(115)과 해당 카메라 채널 영상 내의 보정패턴 (113)이 일치되도록 영상을 회전 및 이동을 시킬 때 최적화 알고리즘을 사용하는데, PSO(Particle Swarm Optimization), ACO(Ant Colony Optimization), LM(Levenberg-Marquardt), LMS(Least Mean Square) 등과 같은 최적화 알고리즘 중 어느 하나일 수 있다.

이와 같은 작업이 끝나면 영상처리부(130)는 정합된 영상을 출력하게 되며, 이후 영상정합을 수행할 때는 저장모듈(133)에 저장된 영상의 이동 및 회전 정보를 이용하여 쉽고 빠르게 영상의 정합을 수행할 수 있다.

또한, 카메라 이동 및 회전 정보를 재측정할 때, 차량에 설치된 카메라 설치 위치와 각도가 바뀌지 않았다고 가정한다면 패턴부(110)의 정렬패턴(111) 없이도 상술한 알고리즘을 반복 수행할 수 있다.

이상과 같은 작업을 수행하기 위해 영상 처리부(130)는 위와 같은 알고리즘을 수행하는 소프트웨어가 저장된 메모리와 함께 해당 기능을 실행하는 마이크로 컨트롤러 유닛(MCU) 또는 영상 처리 프로세서를 포함할 수 있으며, 이러한 장치들은 칩 온 보드로 구현되어 자동차의 전자 제어 유닛(ECU) 또는 별도의 차량 제어 유닛에 탑재될 수도 있다.

이하에서는 본 발명의 실시예에 의한 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법을 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.

도 3은 본 발명의 실시예의 의한 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법을 나타낸 순서도로서, 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법은, 카메라 주변 지면 및 지상의 임의의 위치에 패턴을 설치하는 단계(S210), 패턴을 촬영한 복수의 영상을 입력 받는 단계(S220), 패턴 촬영 영상에서 패턴의 위치 정보를 분석하는 단계(S230), 기지의 내부 파라미터를 이용하여 영상 보정을 수행하는 단계(S240), 패턴의 위치정보를 이용하여 카메라 정렬, 영상 이동 및 회전 정보 계산 및 저장 단계(S250) 및 저장된 카메라 이동 및 회전 정보를 이용하여 영상 정합을 수행하는 단계(S260)를 포함할 수 있다.

먼저, 사용되는 패턴부(110)의 패턴에 대한 정보는 기지의 정보이다. 즉, 패턴의 모양, 규격, 색상, 모멘트 등과 같은 기하 정보는 미리 알고 있으며 관련 정보는 데이터로 저장되어 활용될 수 있는 상태라고 가정할 수 있다.

또한, 이러한 패턴부(110)의 패턴은 상술한 바와 같이 기지의 정보를 알고 있다면 어떠한 모양이든 상관이 없다.

카메라 주변의 임의의 위치에 패턴을 설치하는 단계(S210)는 상술한 바와 같이 자동차 주변을 시각화하기 위하여 자동차에 장착된 카메라 채널 당 최소 1개 이상의 패턴을 설치하는 단계이다. 이때 패턴부(110)의 패턴은 정렬 패턴(111)과 보정 패턴(113)을 포함하는데, 채널에 대한 위치 정렬이 요구되는 경우에 정렬 패턴(111)을 자동차 전면부 및 후면부의 기설정된 위치에 설치할 수 있고, 이러한 정렬 패턴(111)을 포함하지 않은 채널의 경우에는 보정 패턴(113)을 인접한 채널과의 공통 영역에 설치할 수 있다(도 2참조).

패턴을 촬영한 복수의 영상을 입력 받는 단계(S220)는, 자동차의 소정의 위치에 장착되어 전면부, 후면부 및 좌우 측면부를 촬영하는 제1 내지 제4 카메라(121, 123, 125, 127)로부터 패턴부(110)의 패턴를 촬영한 영상을 영상 처리부(130)가 입력 받는 단계이다.

도 6 내지 도 9를 참조하면, 전면부, 우측면부, 후면부 및 좌측면부를 촬영한 영상들이 예시되어 있다. 이때의 영상들은 아직 렌즈 왜곡에 의한 영상 보정이 이루어지기 전의 상태로서 중심으로부터 바깥쪽으로 갈수록 왜곡이 심한 것을 볼 수 있다.

패턴 촬영 영상에서 패턴의 위치 정보를 분석하는 단계(S230)는 단계 S220에서 영상 처리부(130)가 입력 받은 패턴을 촬영한 채널들의 촬영 영상에서 패턴을 검출해 내고, 패턴에서 모서리 위치 등과 같은 특정 위치의 좌표를 획득함으로써 패턴의 위치 정보를 분석하는 단계이다.

구체적으로, 영상 처리부(130)는 최초로 입력 받은 패턴 촬영 영상에서 윤곽선 검출 알고리즘 등과 같은 방법을 이용하여 패턴을 검출해낸다. 그리고 검출해낸 패턴에서, 가령 패턴의 모양이 사각형이라면 모서리가 자리한 지점인 특정 위치의 좌표를 획득할 수 있고, 패턴의 모양이 원형이라면 원의 중심이 자리한 지점인 특정 위치의 좌표를 획득할 수 있다.

그리고 영상 처리부(130)는 이와 같이 획득된 패턴의 위치 정보를 분석한 특정 위치 좌표 등의 결과를 데이터화하여 메모리에 저장할 수 있다.

기지의 내부 파라미터를 이용하여 영상 보정을 수행하는 단계(S240)는, 촬영부(120)의 카메라로부터 촬영된 영상에 대한 렌즈 왜곡을 보정하는 단계이다. 렌즈 왜곡에 의한 영상 보정을 위한 카메라의 내부 파라미터를 알고 있다고 가정한다. 카메라 내부 파라미터로는 광중심(optical center), 종횡비(aspect ratio), 투영 유형 및 초점거리(focal length) 등이 있으며, 종횡비 및 초점거리는 센서의 데이터 시트를 통해 얻을 수 있으며, 광중심은 촬영된 영상의 렌즈 서클 또는 타원의 중심으로 파악할 수 있다.

패턴의 위치정보를 이용하여 카메라 위치 정렬, 영상 이동 및 회전 정보 계산 및 저장 단계(S250)는, 정렬패턴(111)을 이용하여 수행되는 과정과 보정패턴(113)을 이용하여 수행되는 과정으로 구분될 수 있다.

도 4에서는, 카메라 위치 정렬을 수행하는 과정을 도시한 것으로서, 패턴부(120)의 정렬패턴(111)이 정사각형일 때와 원형일 때를 예시하였다.

정렬패턴(111)을 이용한 수행과정은, 영상 내 정렬패턴(111)의 모양이 실제 정렬패턴(111)의 모양과 동일하게 되도록 영상을 회전시킨다. 이 때 영상의 회전은 가상의 3차원 구를 이용하여 영상을 회전시키는 알고리즘으로서 실제의 정렬패턴(111)의 모양과 동일하게 될 때까지 반복 수행한다.

이어서, 정렬패턴(111)에 대한 기지의 위치 정보를 이용하여 영상을 이동시킴으로써 영상에서 보이는 실제의 정렬패턴(111)의 크기를 조정할 수 있다. 이와 같은 과정을 통해 카메라 위치 정렬을 수행하고, 수행된 영상의 이동 및 회전 정보를 저장모듈(115)에 저장한다.

도 5에서는, 보정패턴(113)을 이용하여 카메라 영상 이동 및 회전 수행과정을 도시한 것으로서, 패턴부(120)의 보정패턴(113)이 정사각형일 때와 원형일 때를 예시하였다.

이러한 보정패턴(113)을 이용한 수행과정은, 영상 내 정렬패턴(111)의 모양이 실제 정렬패턴(111)의 모양과 동일하게 되도록 영상을 회전시키는데, 이 때 영상의 회전은 가상의 3차원 구를 이용하여 영상을 회전시키는 알고리즘으로서 실제의 정렬패턴(111)의 모양과 동일하게 될 때까지 반복 수행한다.

이어서, 인접한 촬영부(20)의 카메라 채널에 공통으로 나타나는 영상 내 인접 공통 보정패턴(115)과 해당 카메라 채널 영상 내의 보정패턴(113)이 서로 일치될 수 있도록 보정패턴(113)의 특징점을 이용하여 영상을 이동시킨다. 이와 같은 과정을 통해 카메라 영상 정합을 위한 카메라 영상의 회전 및 이동을 수행하고, 수행된 영상의 이동 및 회전 정보를 저장모듈(133)에 저장한다.

이때, 상술한 보정패턴(111)과 정렬패턴(113)을 이용한 과정에서 카메라 영상을 회전 및 이동 시킬 때 최적화 알고리즘을 사용하는데, PSO(Particle Swarm Optimization), ACO(Ant Colony Optimization), LM(Levenberg-Marquardt), LMS(Least Mean Square) 등과 같은 최적화 알고리즘 중 어느 하나일 수 있다.

저장된 카메라 이동 및 회전 정보를 이용하여 영상 정합을 수행하는 단계(S260)는, 단계 250에서 수행된 전방 및 후방, 좌우측의 카메라 영상에 대한 이동 및 회전 정보를 이용하여 영상들을 정합하여 출력하는 단계이다.

도 10과 도 11을 참조하면, 도 10은 영상이 정합되지 않아서 영상 내의 동일한 보정패턴(113)들이 서로 겹쳐지게 나타나고 있고, 도 11에서는 영상 정합이 이루어져서 영상 내의 동일한 보정패턴(113)들이 하나의 모습으로 나타나고 있는 것을 도시하고 있다.

그리고, 이후의 단계에서 영상정합을 할 때에는 저장모듈(115)에 저장된 카메라 영상에 대한 이동 및 회전 정보를 이용하여 곧바로 영상 정합을 수행하게 된다.

또한, 카메라 영상의 이동 및 회전 정보를 재 측정할 때에는 차량에 설치된 카메라의 설치 위치와 각도가 바뀌지 않았다고 가정한다면 정렬패턴(113) 없이 곧바로 이후의 알고리즘을 수행하게 된다.

상기와 같은 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방치 및 그 방법은 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수도 있다.

100: 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치
110: 패턴부 111: 정렬패턴
113: 보정패턴 115: 인접 공통 보정패턴
120: 촬영부 121,123,125,127: 제1 내지 4 카메라
130: 영상처리부 131: 연산모듈
133: 저장모듈

Claims

차량 주변의 다채널 영상 합성을 위한 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치에 있어서, 지상의 기지 위치에 설치되는 정렬패턴과 지상에 설치되는 보정패턴을 포함하는 패턴부;와, 차량에 장착된 복수 카메라로부터 상기 보정패턴과 정렬패턴이 촬영된 영상을 입력받아 출력하는 촬영부; 및 상기 정렬패턴으로 위치 정렬을 수행하고, 상기 보정패턴 영상과 인접한 카메라 채널에 공통으로 나타나는 인접 공통 보정패턴이 일치되도록 함으로써 정합된 영상을 출력하는 영상처리부;를 포함하되,
상기 패턴부의 정렬패턴과 보정패턴은 사각형 또는 원형의 모양을 하고,
상기 영상처리부는,
윤곽선 검출 알고리즘을 이용하여 상기 정렬패턴과 보정패턴을 검출하고, 패턴의 모양이 사각형이면 모서리 지점의 좌표를 획득하고, 패턴의 모양이 원형이라면 원의 중심의 좌표를 획득하여 위치 정보를 얻은 후,
영상 내 보정패턴의 모양이 실제 보정패턴의 모양과 동일하게 되도록, 영상에서 직사각형으로 나타난 보정패턴 모양이 정사각형이 될 때까지, 또는, 찌그러진 원형으로 나타난 보정패턴 모양이 원형이 될 때까지 가상의 3차원 구를 이용하여 영상을 회전시키는 과정을 반복하고,
하나의 영상에서 겹쳐 보이는, 인접한 카메라 채널에 공통으로 나타나는 영상 내 상기 인접 공통 보정패턴과 상기 보정 패턴이 서로 일치될 수 있도록 상기 위치정보에서 얻은 상기 보정패턴의 특징점인 사각형 모서리 지점의 좌표, 또는, 원의 중심 좌표 및 반지름을 이용하여 영상을 이동 시키는 과정을 수행하는, 영상을 회전 및 이동시키는 연산모듈을 포함하는 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치.
청구항 1에 있어서,
상기 패턴부의 정렬패턴과 보정패턴의 기하정보는 기지의 정보인 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치.
청구항 1에 있어서,
상기 복수의 카메라 채널에는 상기 패턴부의 정렬패턴과 보정패턴이 1개 이상 촬영될 수 있도록 하는 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치.
청구항 3에 있어서,
상기 정렬패턴이 포함되지 않는 카메라 채널은 인접한 카메라 채널과 겹치는 공통 영역에 상기 보정패턴을 설치하는 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치.
청구항 1에 있어서,
상기 영상 처리부는 영상 내 상기 정렬패턴의 모양이 동일하게 되도록 영상을 회전시키고, 상기 정렬패턴에 대한 기지의 위치 정보를 이용하여 영상을 이동시켜 위치 정렬의 수행을 하는 연산 모듈을 포함하는 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치.
삭제
청구항 5에 있어서,
상기 영상처리부는 상기 영상을 회전 및 이동을 시킬 때 알고리즘을 사용하되, 상기 알고리즘은 PSO(Particle Swarm Optimization), ACO(Ant Colony Optimization), LM(Levenberg-Marquardt), LMS(Least Mean Square) 중 어느 하나인 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치.
청구항 5에 있어서,
상기 영상처리부는 상기 영상의 이동 및 회전 정보를 저장하는 저장모듈을 더 포함하는 것을 특징으로 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치.
자동차의 소정의 위치에 장착되어 전면부, 우측면부, 후면부 및 좌측면부를 촬영하는 복수의 카메라 주변 지면 및 지상의 임의 위치에 패턴부를 설치하는 단계;와, 상기 패턴부를 촬영한 복수의 영상을 입력 받는 단계;와, 상기 복수의 영상에서 패턴부의 위치 정보를 분석하는 단계;와, 기지의 내부 파라미터를 이용하여 상기 복수의 영상의 왜곡보정을 수행하는 단계;와, 상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계; 및 저장된 카메라 이동 및 회전 정보를 이용하여 영상 정합을 수행하는 단계;를 포함하되,
상기 패턴부의 정렬패턴과 보정패턴은 사각형 또는 원형의 모양을 하고,
상기 복수의 영상에서 패턴부의 위치 정보를 분석하는 단계는,
영상처리부가, 윤곽선 검출 알고리즘을 이용하여 상기 정렬패턴과 보정패턴을 검출하고, 패턴의 모양이 사각형이면 모서리 지점의 좌표를 획득하고, 패턴의 모양이 원형이라면 원의 중심의 좌표를 획득하여 위치 정보를 분석하고,
상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계에서, 보정패턴을 사용하여 영상의 이동 및 회전 정보를 계산할 때는,
영상 내 보정패턴의 모양이 실제 보정패턴의 모양과 동일하게 되도록, 영상에서 직사각형으로 나타난 보정패턴 모양이 정사각형이 될 때까지, 또는, 찌그러진 원형으로 나타난 보정패턴 모양이 원형이 될 때까지 가상의 3차원 구를 이용하여 영상을 회전시키는 과정을 반복하고,
하나의 영상에서 겹쳐 보이는, 인접한 카메라 채널에 공통으로 나타나는 영상 내 인접 공통 보정패턴과 상기 보정 패턴이 서로 일치될 수 있도록 상기 위치정보에서 얻은 상기 보정패턴의 특징점인 사각형 모서리 지점의 좌표, 또는, 원의 중심 좌표 및 반지름을 이용하여 영상을 이동 시키는 과정을 수행하고,
수행된 상기 영상의 이동 및 회전 정보를 저장모듈에 저장하는 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법.
청구항 9에 있어서,
상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계에서,
정렬패턴을 사용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산할 때는,
상기 영상 내 상기 정렬패턴의 모양이 실제 정렬패턴의 모양과 동일하게 되도록 영상을 회전시키고, 상기 정렬패턴에 대한 기지의 위치 정보를 이용하여 영상을 이동시킴으로써 카메라 위치 정렬을 수행하고, 수행된 상기 영상의 이동 및 회전 정보를 저장모듈에 저장하는 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법.
청구항 10에 있어서,
상기 영상 내 상기 정렬패턴의 모양이 실제 정렬패턴의 모양과 동일하게 되도록 영상을 회전시킬 때에는, 가상의 3차원 구를 이용하여 영상을 회전시키는 알고리즘으로서 실제의 정렬패턴의 모양과 동일하게 될 때까지 반복 수행하는 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법.
삭제
삭제
청구항 9에 있어서,
상기 패턴부의 위치정보를 이용하여 카메라 위치 정렬, 영상의 이동 및 회전 정보를 계산하고 저장하는 단계에서,
상기 영상을 회전 및 이동을 시킬 때 알고리즘을 사용하되, 상기 알고리즘은 PSO(Particle Swarm Optimization), ACO(Ant Colony Optimization), LM(Levenberg-Marquardt), LMS(Least Mean Square) 중 어느 하나인 것을 특징으로 하는 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법.
청구항 9에 있어서,
저장된 카메라 이동 및 회전 정보를 이용하여 영상 정합을 수행하는 단계에서,
카메라 영상의 이동 및 회전 정보를 재측정 시 상기 패턴부 없이 알고리즘을 수행할 수 있는 것을 특징으로 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정방법.