KR20150014311A

KR20150014311A - 어라운드뷰 제공 장치, 방법 및 차량

Info

Publication number: KR20150014311A
Application number: KR1020130089808A
Authority: KR
Inventors: 김학일; 박은수; 윤용지
Original assignee: 인하대학교 산학협력단; 주식회사 비젼인
Priority date: 2013-07-29
Filing date: 2013-07-29
Publication date: 2015-02-06
Also published as: KR101504335B1

Abstract

어라운드뷰 제공 장치, 방법 및 차량이 개시된다. 카메라부는 차량에 설치되어 영상을 촬영하는 복수의 카메라를 포함한다. 제어부는 복수의 카메라부에서 촬영된 영상을 이용하여 어라운드뷰를 생성하기 위한 캘리브레이션을 수행한다. 본 발명에 의하면, 허프변환을 이용하여 영상 상의 직선을 검출하고, 호모그라피 행렬을 통해 영상을 정합함으로써 어라운드뷰를 제공할 수 있는 효과가 있다.

Description

어라운드뷰 제공 장치, 방법 및 차량 {Device, method and vehicle for providing around view}

본 발명은 어라운드뷰 제공 장치, 방법 및 차량에 관한 것이다. 보다 상세하게는 허프변환과 호모그라피 행렬을 이용한 어라운드뷰 제공 장치, 방법 및 차량에 관한 것이다.

주행 중 운전자는 전방을 주시하고 있기 때문에 차량의 후방이나 측방에 주의를 기울이기란 쉽지 않다. 따라서 운전자는 항상 사고에 대한 위험요소를 가지고 있다. 이러한 위험요소를 제거하기 위해 차량 주변을 위에서 보는 듯한 어라운드뷰 기술은 계속적으로 개발되어 왔다. 차량 주변이 어라운드뷰 되는데 있어서, 영상 정합 기술은 필수적이다. 영상 정합 기술은 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영한 경우, 다른 시간이나 관점에서 촬영한 적어도 두 장 이상의 카메라 영상을 한 화면에 나타내는 기술이다.

도 1은 영상의 정합 결과의 일예를 도시한 도면이다.

도 1을 참조하면, 도 1(a)의 이미지(110) 및 도1 (b)의 이미지(120)는 카메라가 회전하며 촬상한 영상에 대한 정합을 수행한 이미지이다. 이미지(110)는 스마트폰의 파노라마 어플리케이션을 이용하여 생성된 이미지이다. 또한 이미지(120)는 전방향 카메라를 이용하여 촬상된 이미지가 정합된 정합 이미지이다.

도 2는 영상의 정합 결과의 다른 예를 도시한 도면이다.

도 2를 참조하면, 도 2(a)의 이미지(210), 도 2(b)의 이미지(220), 도 2(c)의 이미지(230), 도 2(d)의 이미지(240), 도 2(e)의 이미지(250), 도 2(f)의 이미지(260) 및 도 2(g)의 이미지(270)는 카메라의 이동하며 촬상한 영상에 대한 정합을 수행한 이미지이다.

이미지(210)는 카메라가 이동한 위치(211, 212, 213)를 보여주는 이미지이다. 이미지(220)는 서로 다른 위치(211, 212, 213)에서 찍은 영상을 보여주는 이미지이다. 이미지(230)는 서로 다른 위치(211, 212, 213)에서 찍은 영상의 정합을 보여주는 이미지이다.

이미지(260)는 이미지(240)와 이미지(250)를 연결하면 나타나는 겹침(261, 262)을 보여주는 이미지이다. 이미지(270)은 상기 겹침(261, 262)를 없애면 나타나는 왜곡을 보여주는 이미지이다. 이처럼 정합은 서로 다른 이미지를 합쳐서 하나의 이미지를 만드는 작업으로 왜곡의 문제점을 가진다. 이러한 정합 기술을 이용하여 만든 어라운드뷰 기술 역시 왜곡의 문제점을 가진다.

어라운드뷰는 차량에 4개의 카메라를 장착하여 디스플레이 화면에 차량 위에서 찍은 듯한 화면으로 출력하는 것이다. 이미지(230)와 이미지(270)는 서로 다른 위치에서 찍은 영상을 정합한 결과로 같은 위치에서 동시에 찍은 영상을 정합하는 어라운드뷰와는 차이가 있다. 또한 위에서 찍은 듯한 영상을 보여주는 어라운드뷰의 정합기술과는 차이가 있다.

도 3은 차량 주변 영상 정합의 일예를 나타낸 예시도이다.

도 3을 참조하면, 이미지(300)는 영상 정합을 수행하는 차량의 구조와 카메라 영상을 보여주고 있다. 도 3(a)의 이미지(310)는 자동차에 부착된 카메라(311), 비핑소나(beeping sonar)(312), 디스플레이(313)를 보여주고 있다. 도 3(b)의 이미지(320)는 차량에서 찍힌 후방의 영상을 보여주고 있다. 도 3(b)의 이미지(320)는 평면에서 4장의 영상 정합을 보여주고 있다.

도 4는 차량 주변 영상 정합의 다른 예를 나타낸 예시도이다.

도 4를 참조하면, 이미지(400)는 차량 주변의 영상 정합에 있어서, 평면과 구면에서의 영상 정합을 비교하고 있다. 도 4(a)의 이미지(410)는 평면에서 영상 정합한 것을 보여준다. 도 4(b)의 이미지(420)는 구면에서 영상 정합한 것을 보여준다.

도 5는 자동차 후방 파노라마의 일예를 나타낸 예시도이다.

도 5를 참조하면, 이미지(500)는 평면모델에서 카메라간의 경계에서 발생하는 왜곡을 보여주고 있다. 이미지(500)는 제 1 영상(510)과 제 2 영상(520)을 정합하는 과정에서 발생하는 왜곡을 보여주고 있다.

도 6은 자동차 후방 파노라마의 다른 예를 나타낸 예시도이다.

도 6을 참조하면, 이미지(600)는 구면모델에서 카메라간의 경계에서 발생하는 왜곡을 보여주고 있다. 이미지(600)는 제 1 영상(610)과 제 2 영상(620)을 정합하는 과정에서 발생하는 왜곡을 보여주고 있다.

대한민국 공개특허 제 10-2011-0002688호에서는 탑 뷰 영상의 왜곡을 간단하게 변환할 수 있는 사용자 인터페이스를 제공하는 탑 뷰 영상 보정 시스템 및 그 방법을 개발하였으나, 선들을 자동으로 검출하여 사용자가 직선을 선택할 수 있도록 하는 기술적 특징이 없기 때문에 허프변환을 통해 정합을 할 수 없다.

또한 정규화된 공간에서만 영상 왜곡을 보정하고 탑 뷰 영상을 만들 수 밖에 없어 운전자가 어떤 장소에서건 직접 탑 뷰 영상을 만들 수 있을 정도로 쉬운 방법을 제공하는 본 방법과는 차이가 있다.

그리고 대한민국 공개특허 제 10-2010-0110999호에서는 차량 운행의안전을 위하여 차량에 부착된 카메라 유닛에 기초한 카메라 시스템의 캘리브레이션 방법 및 장치를 개발하였다. 그러나, 이 또한 선을 자동으로 검출하는 기능을 가지고 있지 않아 사용자가 직선을 선택하여 캘리브레이션할 수 없다.

본 발명이 이루고자 하는 기술적 과제는 어라운드뷰에 대한 캘리브레이션 기능을 제공하는 어라운드뷰 제공 장치, 방법 및 차량을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 캘리브레이션 과정에 있어서 사용자의 의사를 반영할 수 있는 어라운드뷰 제공 장치, 방법 및 차량을 제공하는데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 정규화된 장소가 아닌 곳에서도 캘리브레이션을 수행할 수 있으며, 차량에 설치된 복수 개의 카메라로 촬상한 영상을 차량 위에서 아래를 내려다 보는 방향에서 촬상된 영상으로 변환할 수 있는 어라운드뷰 제공 장치, 방법 및 차량을 제공하는데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 캘리브레이션 기술의 간편화를 통해 저렴하고 보편적인 어라운드뷰 제공 장치를 생산할 수 있는 어라운드뷰 제공 장치, 방법 및 차량을 제공하는데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 차량의 알맞은 위치에 카메라를 위치시킬 수 있고, 터치스크린을 제공하여 사용자에게 보다 편리한 어라운드뷰를 생성할 수 있는 어라운드뷰 제공 장치, 방법 및 차량을 제공하는데 있다.

상기 목적을 달성하기 위한, 본 발명에 따른 어라운드뷰 제공 장치는, 차량에 설치되어 영상을 촬영하는 복수의 카메라를 포함하는 카메라부 및 상기 복수의 카메라부에서 촬영된 영상을 이용하여 어라운드뷰를 생성하기 위한 캘리브레이션을 수행하는 제어부를 포함할 수 있다.

또한, 본 발명에 따른 차량은, 차량에 설치되어 영상을 촬영하는 적어도 하나 이상의 카메라를 포함하는 카메라부 및 상기 카메라부에서 촬영된 영상을 이용하여 어라운드뷰를 생성하고, 상기 생성된 어라운드뷰를 이용하여 캘리브레이션을 수행하며, 상기 캘리브레이션이 수행된 영상을 정규화하는 제어부를 포함할 수 있다.

또한, 본 발명에 따른 어라운드뷰 제공 방법은, 차량 주변을 카메라로 촬영하는 단계; 상기 촬영된 영상에서 적어도 한 장 이상의 영상을 캡쳐하는 단계; 상기 캡쳐된 영상에서 원하는 영역을 선택하는 단계; 상기 선택된 영역에서 직선 후보군을 결정하는 단계; 상기 결정된 직선 후보군에서 직선을 검출하는 단계; 상기 검출된 직선에서 적어도 2개 이상의 직선을 선택하여 교점을 추출하는 단계; 상기 추출된 교점을 이용하여 호모그라피 행렬을 생성하는 단계; 상기 생성된 호모그라피 행렬을 이용하여 정합 영상을 생성하는 단계; 상기 생성된 정합 영상에서 특정 영역을 선택하는 단계;상기 선택된 정합 영상의 특정 영역에서 위치 및 크기를 조절하고 정합 여부를 확인하는 단계 및 상기 정합 여부가 확인된 영상을 이용하여 정규화하는 단계를 포함하는 어라운드뷰 제공 방법을 포함할 수 있다.

본 발명에 따른 어라운드뷰 제공 장치, 방법 및 차량에 의하면, 허프변환을 이용하여 영상 상의 직선을 검출하고, 호모그라피 행렬을 통해 영상을 정합함으로써 어라운드뷰를 제공할 수 있는 효과가 있다.

또한, 직선 후보군의 개수 및 검출된 직선 중 원하는 직선을 사용자 명령에 의해 선택될 수 있도록 제공하고, 영상의 영역 선택 및 크기 조절을 사용자 명령에 의해 가능하게 함으로써, 캘리브레이션 과정에 있어서 사용자의 의사를 반영하는 사용자 맞춤형 어라운드뷰를 생성할 수 있는 효과가 있다.

또한, 정규화된 장소가 아닌 곳에서도 캘리브레이션을 수행할 수 있으며, 차량에 설치된 복수 개의 카메라로 촬상한 영상을 차량 위에서 아래를 내려다 보는 방향에서 촬상된 영상으로 변환할 수 있다.

또한, 허프변환을 통한 캘리브레이션 기술의 간편화로 저렴한 어라운드뷰 장치를 제공할 수 있는 효과가 있다.

또한, 차량의 원하는 위치에 카메라를 장착하고, 터치스크린을 제공하여 사용자의 사용환경에 보다 적합한 어라운드뷰를 제공할 수 있는 효과가 있다.

도 1은 촬영된 영상의 정합 결과의 일예를 도시한 도면이다.
도 2는 촬영된 영상의 정합 결과의 다른 예를 도시한 도면이다.
도 3은 차량 주변 영상 정합의 일예를 나타낸 예시도이다.
도 4는 차량 주변 영상 정합의 다른 예를 나타낸 예시도이다.
도 5는 자동차 후방 파노라마의 일예를 나타낸 예시도이다.
도 6은 자동차 후방 파노라마의 다른 예를 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 모니터링 장치의 구성을 도시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 제어부의 구성을 도시한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 차량에 부착되는 카메라를 도시한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 차량에 장착된 카메라의 위치를 도시한 예시도이다.
도 11은 본 발명의 일 실시예에 따른 GUI를 도시한 도면이다.
도 12는 본 발명의 다른 실시예에 따른 GUI를 도시한 도면이다.
도 13은 본 발명의 또 다른 실시예에 따른 GUI를 도시한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 GUI를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 직선 후보군의 개수를 결정하는 과정을 도시한 예시도이다.
도 16은 본 발명의 일 실시예에 따른 직선 검출 과정을 나타낸 예시도이다.
도 17은 본 발명의 일 실시예에 따른 직선 선택 과정을 나타낸 예시도이다.
도 18은 영상 안에서 카메라의 위치를 나타낸 예시도이다.
도 19는 본 발명의 일 실시예에 따른 직선 검출 및 선택 과정을 나타낸 예시도이다.
도 20은 본 발명의 일 실시예에 따른 영상 정합 결과를 나타낸 예시도이다.
도 21은 본 발명의 일 실시예에 따른 주차장에서 직선 검출 및 선택 과정을 나타낸 예시도이다.
도 22는 본 발명의 일 실시예에 따른 종횡비 보정을 나타낸 예시도이다.
도 23은 본 발명의 일 실시예에 따른 주차장에서 최종 디스플레이 화면을 나타낸 예시도이다.
도 24는 본 발명의 일 실시예에 따른 횡단보도에서 직선 검출 및 선택 과정을 나타낸 예시도이다.
도 25는 본 발명의 일 실시예에 따른 횡단보도에서 최종 디스플레이 화면을 나타낸 예시도이다.
도 26은 본 발명의 일 실시예에 따른 어라운드뷰 제공 방법을 나타낸 흐름도이다.

이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

도 7은 본 발명의 일 실시예에 따른 모니터링 장치의 구성을 도시한 블록도이다.

도 7을 참조하면, 모니터링 장치(700)는 카메라부(710), 제어부(720), 디스플레이부(730), 저장부(740) 및 사용자 인터페이스(750) 중 적어도 하나를 포함할 수 있다. 모니터링 장치(700)는 차량 주변의 촬영한 영상을 이용하여 정합된 영상을 생성하며, 생성된 영상을 출력할 수 있다.

카메라부(710)는 차량에 설치된 적어도 하나의 카메라를 포함할 수 있다. 카메라부(710)는 차량 주변의 환경을 촬영할 수 있다. 카메라부(710)의 카메라는 사용자에 의해 차량의 특정 위치에 장착될 수 있다.

제어부(720)는 카메라부(710)에서 촬영된 영상을 영상처리 할 수 있다. 제어부(720)는 카메라에서 촬영된 영상에서 적어도 한 장 이상의 영상을 캡쳐 할 수 있다. 제어부(720)는 상기 캡쳐된 영상에서 특정 영역을 선택할 수 있다. 제어부(720)는 상기 캡쳐된 영상에서 사용자 명령에 따라 특정 영역을 선택할 수 있다.

제어부(720)는 상기 선택된 영역에서 캐니(canny) 알고리즘 이용하여 직선 후보군을 결정할 수 있다. 직선 후보군은 사용자가 설정한 경계값을 기초로 결정될 수 있다. 또한 직선 후보군은 캐니(canny) 알고리즘 및 소벨 (Sobel) 필터 등과 같은 다양한 에지 검출 방법을 이용하여 결정될 수 있다. 캐니 알고리즘은 잡음으로 인해 잘못된 에지를 계산하는 것을 방지하기 위한 알고리즘이다. 또한 캐니 알고리즘은 영상에서 픽셀의 밝기가 급변하는 영역의 경계를 검출한다. 상기 검출된 영역의 경계는 직선 후보군이 될 수 있다.

제어부(720)는 상기 직선 후보군에서 각 영상에 허프변환을 이용하여 적어도 네 개의 직선을 검출할 수 있다. 상기 허프변환은 영상처리에서 직선을 검출하기 위한 방법이다. 허프변환은 영상에서 여러 개의 선분이 검출되도록 하는 변환이다. 허프변환은 상기 검출된 여러개의 선분들 중 강하게 나타나는 특정 선분들이 검출되도록 하는 변환이다.

제어부(720)는 상기 검출된 직선에서 적어도 네 개 이상의 직선을 선택하여 교점을 추출할 수 있다. 상기 추출된 교점을 이용하여 호모그라피 행렬을 산출할 수 있다. 상기 호모그라피 행렬은 평면에 대한 방정식을 기술할 수 있는 행렬이다. 또한 호모그라피 행렬은 원본 영상을 보정된 영상으로 변환시켜준다.

제어부(720)는 상기 산출된 호모그라피 행렬을 이용하여 정합 영상을 생성할 수 있다. 제어부(720)는 상기 정합 영상에서 정합 영상의 특정 영역을 지정할 수 있다.제어부(720)는 정합 영상의 특정 영역을 사용자 명령에 따라 지정할 수 있다. 제어부(720)는 상기 지정된 정합 영상의 위치 및 크기를 조절하여 정합 여부를 확인할 수 있다. 제어부(720)는 정합 영상의 위치 및 크기를 사용자의 명령에 따라 조절할 수 있다. 제어부(720)는 정합 여부가 확인된 영상을 이용하여 카메라의 위치를 조절할 수 있다.

제어부(720)는 저장부(740)에 저장된 정보가 업데이트 되도록 제어할 수 있다. 제어부(720)는 실시간 촬영한 영상을 기초로 업데이트 되도록 할 수 있다.

디스플레이부(730)는 각 카메라의 왜곡 보정 영상을 실시간으로 디스플레이할 수 있다. 디스플레이부(730)는 제어부(720)에서 생성된 정합 영상을 출력할 수 있다. 디스플레이부(730)는 터치스크린 기능을 포함할 수 있다.

제어부(720)는 디스플레이부(730)의 터치스크린을 이용하여 처리할 영상이 사용자에 의해 선택되도록 영상을 생성한다.제어부(720)는 디스플레이부(730)에 디스플레이된 영상의 관심 영역을 지정 및 확대할 수 있다. 제어부(720)는 상기 디스플레이된 영상의 관심영역을 사용자 명령에 따라 지정 및 확대할 수 있다. 디스플레이부(730)는 사용자가 허프변환을 이용하여 검출된 직선 중 특정 직선을 선택할 수 있도록 디스플레이할 수 있다.

저장부(740)는 캘리브레이션 전체 과정을 수행하기 위한 소프트웨어를 저장할 수 있다.저장부(740)에 저장된 정보는 제어부(720)의 제어를 통해서 업데이트될 수 있다.

사용자 인터페이스부(750)는 제어부(720)와 사용자를 연결해 줄 수 있다. 사용자 인터페이스부(750)는 사용자 명령을 감지하고 감지한 사용자 명령을 제어부(720)로 출력할 수 있다.

도 8은 본 발명의 일 실시예에 따른 제어부의 구성을 도시한 블록도이다.

도 8을 참조하면, 제어부(720)는 영상 캡쳐부(805), 영상 영역 선택부(810), 직선 후보군 결정부(815), 직선 검출부(820), 직선 선택부(825), 호모그라피행렬부(830), 정합 영상 생성부(835), 정합 영상 영역 선택부(840), 정합 여부 확인부(845) 및 정규화부(850) 중 적어도 하나를 포함할 수 있다.

영상 캡쳐부(805)는 카메라에서 촬영된 영상에서 적어도 한 장 이상의 영상을 캡쳐할 수 있다.

영상 영역 선택부(810)는 영상 캡쳐부(805)가 캡쳐한 영상에서 특정 영역을 선택할 수 있다. 영상 영역 선택부(810)는 입력된 사용자 명령에 따라 상기 캡쳐된 영상에서 영역을 선택할 수 있다.

직선 후보군 결정부(815)는 영상 영역 선택부(810)가 선택한 영역에서 Canny 알고리즘의 문턱값을 조절하여 직선 후보군을 결정할 수 있다. 상기 문턱값은 입력된 사용자 명령에 따라 조절될 수 있다. 또한 문턱값에 의해 직선 후보군의 개수가 결정될 수 있다.

직선 검출부(820)는 직선 후보군 결정부(815)가 결정한 직선 후보군에서 적어도 네 개의 직선을 검출할 수 있다. 직선 검출부(820)는 허프변환을 이용하여 상기 직선 후보군에서 적어도 네 개의 직선을 검출할 수 있다.

직선 선택부(825)는 직선 검출부(820)가 검출한 직선에서 적어도 네 개 이상의 직선을 선택하여 교점을 추출할 수 있다. 직선 선택부(825)는 사용자 명령에 따라 상기 검출된 직선에서 적어도 네 개 이상의 직선을 선택할 수 있다.

호모그라피행렬부(830)는 직선 선택부(825)가 추출한 교점을 이용하여 호모그라피 행렬을 생성할 수 있다.

정합 영상 생성부(835)는 호모그라피행렬부(830)가 생성한 호모그라피 행렬을 이용하여 정합 영상을 생성할 수 있다. 정합 영상 생성부(835)는 실제 데이터에 상기 호모그라피 행렬을 곱하여 영상을 보정할 수 있다. 그리고 상기 보정된 영상을 정합하여 상기 정합 영상을 생성할 수 있다.

정합 영상 영역 선택부(840)는 정합 영상 생성부(835)가 생성한 정합 영상에서 정합 영상의 특정 영역을 선택하고, 상기 선택된 특정 영역의 위치 및 크기를 조절할 수 있다. 정합 영상 영역 선택부(840)는 사용자 명령에 따라 정합 영상의 특정 영역을 선택하고, 상기 선택된 특정 영역의 위치 및 크기를 조절할 수 있다.

정합 여부 확인부(845)는 정합 영상 영역 선택부(840)가 조절한 정합 영상의 정합 여부를 확인할 수 있다.

정규화부(850)는 정합 여부 확인부(840)에서 정합 여부가 확인된 영상을 이용하여 카메라의 위치를 조절할 수 있다.

도 9는 본 발명의 일 실시예에 따른 차량에 부착되는 카메라를 도시한 예시도이다.

도 9를 참조하면, 도 9(a)의 이미지(910)에서 차량에 부착되는 카메라의 전면을 나타낸 예시도이다. 또한 도 9(b)의 이미지(920)에서 카메라의 측면을 나타낸 예시도이다. 도 9(c)의 이미지(930)에서 카메라의 후면을 나타낸 예시도이다.

도 10은 본 발명의 일 실시예에 따른 차량에 장착된 카메라의 위치를 도시한 예시도이다.

도 10을 참조하면, 카메라부(710)는 좌측방 카메라(1010), 우측방 카메라(1020), 좌측후방 카메라(1030) 및 우측후방 카메라(1040) 중 적어도 하나를 포함할 수 있다.

좌측방 카메라(1010)는 차량(1001)에 설치되어 주행 중인 차량(1001)의 제 1 이미지(1050)를 촬영하며, 촬영된 이미지를 출력한다. 우측방 카메라(1020)는 차량(1001)에 설치되어 주행 중인 차량(1001)의 제 2 이미지(1060)를 촬영하며, 촬영된 이미지를 출력한다. 좌측후방 카메라(1030)는 차량(1001)에 설치되어 주행 중인 차량(1001)의 제 3 이미지(1070)를 촬영하며, 촬영된 이미지를 출력한다. 우측후방 카메라(1040)는 차량(1001)의 제 4 이미지(1080)를 촬영하며, 촬영된 이미지를 출력한다.

도 11은 본 발명의 일 실시예에 따른 GUI를 도시한 도면이다.

도 11을 참조하면, 화면(1100)은 GUI의 메인 화면을 도시한 도면이다. 메인 화면(1100)은 메뉴 선택 버튼(1110) 및 프리뷰 영역(1120)을 포함할 수 있다. 메뉴 선택 버튼(1110)은 파노라마(Panorama)(1111), 캘리브레이션(Calibration)(1112), 종료(Exit)(1113) 중 적어도 하나를 포함할 수 있다. 파노라마(1111)는 프리뷰 영역(1120)에서 카메라(1100, 1200, 1300, 1400)의 영상을 보여주기 위한 버튼이다. 캘리브레이션(1112)은 이미지(1200)로 이동하여 캘리브레이션을 수행하기 위한 버튼이다. 종료(1113)는 GUI의 디스플레이를 중지하기 위한 버튼이다.

프리뷰 영역(1120)은 각 카메라(1100, 1200, 1300, 1400)의 왜곡 보정 영상을 실시간으로 디스플레이하기 위한 것이다.

도 12는 본 발명의 다른 실시예에 따른 GUI를 도시한 도면이다.

도 12를 참조하면, 화면(1200)은 캘리브레이션을 수행하는 GUI를 도시한 도면이다. GUI(1200)는 메뉴 선택 버튼(1210), 제 1 디스플레이 영역(1220) 및 제 2 디스플레이 영역(1230)을 포함할 수 있다.

메뉴 선택 버튼(1210)은 캡쳐(Capture)(1211), 관심영역(ROI)(1212), 직선 검출(Line)(1213), 다음(Next)(1214) 및 돌아가기(Back)(1215)를 포함할 수 있다. 캡쳐(Capture)(1211)는 카메라에서 촬영된 영상에서 적어도 한 장 이상의 영상을 캡쳐하기 위한 버튼이다. 관심영역(ROI)(1212)은 상기 캡쳐된 영상에서 직선을 검출할 원하는 영역을 선택하기 위한 버튼이다. 직선검출(Line)(1213)은 허프변환을 이용하여 직선을 검출하기 위한 버튼이다. 다음(Next)(1214)은 화면을 다음 단계로 넘어가도록 하기 위한 버튼이다. 뒤로가기(Back)(1215)는 화면을 이전 단계로 되돌리기 위한 버튼이다.

제 2 디스플레이 영역(1230)은 프리뷰 영역(1120)의 축소된 이미지를 보여주기 위한 것이다.

제 1 디스플레이 영역(1220)은 제 2 디스플레이 영역(1230) 중 사용자가 선택한 특정 영상을 보여줄 수 있다.

도 13은 본 발명의 또 다른 실시예에 따른 GUI를 도시한 도면이다.

도 13을 참조하면, GUI(1300)는 메뉴 선택 버튼(1310), 제 1 디스플레이 영역(1320), 제 2 디스플레이 영역(1230) 및 보조 메뉴 버튼(1330)을 포함할 수 있다.

메뉴 선택 버튼(1310)은 캡쳐(1211), 관심영역(1212), 직선검출(1213), 저장(save)(1311) 및 뒤로가기(1215)를 포함할 수 있다. 저장(save)(1311)은 전체 과정을 저장하기 위한 버튼이다. 보조 메뉴 버튼(1330)은 초기화(clear)(1331), 취소(cancel)(1332), 삭제(delete)(1333) 중 적어도 하나를 포함할 수 있다. 초기화(1331)는 모든 상태를 초기화하기 위한 버튼이다. 취소(1332)는 이전에 선택한 직선을 취소하기 위한 버튼이다. 삭제(delete)는 후보 직선을 삭제하기 위한 버튼이다. 에지문턱값(Edge Threshold)(1340)는 캐니 알고리즘의 문턱값을 조절하여 직선 후보군의 개수를 결정할 수 있다. 제 1 디스플레이 영역(1320)은 직선 검출(1213)을 실행한 영상을 나타낼 수 있다.

도 14는 본 발명의 또 다른 실시예에 따른 GUI를 도시한 도면이다.

도 14를 참조하면, GUI(1400)는 메뉴 선택 버튼(1410), 제 1 디스플레이 영역(1420) 및 제 2 디스플레이 영역(1430)을 포함할 수 있다.

제 1 디스플레이 영역(1420)은 정합이 완성된 화면을 보여주기 위한 것이다. 제 2 디스플레이 영역(1430)은 전체(All)(1431), 전체해제(None)(1432), 숫자(1433) 중 적어도 하나를 포함할 수 있다. 전체(1431)는 영상 전체를 선택하기 위한 것이다. 전체해제(1432)는 영상 전체를 해제하기 위한 것이다. 숫자(1433)는 처리할 영상을 선택하거나 해당 채널의 영상을 끄고 키기 위한 것이다. 수평선(1440)은 영상을 좌우로 이동시키기 위한 것이다. 수직선(1450)은 영상을 상하로 이동시키기 위한 것이다.

도 15는 본 발명의 일 실시예에 따른 직선 후보군의 개수를 결정하는 과정을 도시한 예시도이다.

도 15를 참조하면, 이미지(1500)는 캐니 알고리즘을 통해 검출된 직선 후보군(1510)을 보여주는 이미지이다. 직선 후보군(1510)은 영상에서 픽셀의 밝기가 급변하는 영역의 경계를 검출한 것으로 밝게 표현된다.

도 16은 본 발명의 일 실시예에 따른 직선 검출 과정을 나타낸 예시도이다.

도 16을 참조하면, 이미지(1600)는 허프변환을 통해 검출된 직선(1610)을 보여주고 있다.

도 17은 본 발명의 일 실시예에 따른 직선 선택 과정을 나타낸 예시도이다.

도 17을 참조하면, 이미지(1700)는 상기 검출된 직선(1610) 중 사용자가 직접 선택한 직선(1710-1, 1710-2, 1710-3, 1710-4)을 나타내고 있다.

도 18은 영상 안에서 카메라의 위치를 나타낸 예시도이다.

도 18를 참조하면, 제 1원형(1805)과 제 2원형(1806)은 탑뷰 공간에서 카메라 위치를 보여주고 있다. 또한 탑뷰상의 카메라 위치를 구하면 실제 카메라 사이의 거리를 알 때, 영상 안에서의 실제 거리를 알 수 있다.

제 1 선(1801)과 제 2 선(1802) 사이의 영역은 제 1 카메라의 탑뷰 영상이며, 제 1 원형(1805)은 제 1 선(1801)과 제 2 선(1802) 사이의 제 1 카메라의 위치를 보여주고 있다. 제 3 선(1803)과 제 4 선(1804) 사이의 영역은 제 2 카메라의 탑뷰 영상이며, 제 2 원형(1806)은 제 3 선(1803)과 제 4 선(1804) 사이의 제 2 카메라의 위치를 보여주고 있다.

도 19는 본 발명의 일 실시예에 따른 직선 검출 및 선택 과정을 나타낸 예시도이다.

도 19를 참조하면, 이미지(1900)는 차량(1001)에 장착된 카메라(1010, 1020, 1030, 1040)에서 촬영한 영상을 보여주고 있다. 제 1 이미지(1910)는 좌측방 카메라(1010)에서 촬영된 이미지이다. 제 2 이미지(1920)는 우측방 카메라(1020)에서 촬영된 이미지이다. 제 3 이미지(1930)는 좌측 후방 카메라(1030)에서 촬영된 이미지이다. 제 4 이미지(1940)는 우측 후방 카메라(1040)에서 촬영된 이미지이다.

이미지(1950)는 측방 카메라(1010, 1020)의 촬영 영상에서 선택된 직선을 보여주고 있다. 제 1 직선들(1951)은 허프변환을 이용하여 검출된 직선들을 나타낸다. 제 2 직선(1952), 제 3 직선(1953), 제 4 직선(1954) 및 제 5 직선(1955)은 제 1 직선들(1951) 중에서 사용자 명령에 따라 선택된 직선을 나타낸다.

이미지(1960)는 후방 카메라(1030, 1040)의 촬영 영상에서 선택된 직선을 보여주고 있다. 이미지(1960)에서 제 1 직선들(1961)은 허프변환을 이용하여 검출된 직선들을 나타낸다. 또한 제 2 직선(1962), 제 3 직선(1963), 제 4 직선(1964) 및 제 5 직선(1965)은 제 1 직선들(1961) 중에서 사용자 명령에 따라 선택된 직선을 나타낸다.

도 20은 본 발명의 일 실시예에 따른 영상 정합 결과를 나타낸 예시도이다.

도 20을 참조하면, 이미지(2000)는 도 19의 제 1 이미지(1910), 제 2 이미지(1920), 제 3 이미지(1920) 및 제 4 이미지(1940)를 정합한 영상이다.

도 21은 본 발명의 일 실시예에 따른 주차장에서 직선 검출 및 선택 과정을 나타낸 예시도이다.

도 21를 참조하면, 이미지(2110)는 주차장에서 정보 영역(2111)을 보여주고 있다. 또한 정보 영역(2111)은 직선을 추출할 수 있는 영역을 의미한다. 이미지(2120)는 주차장에서 후방 카메라(1030, 1040)로 촬영한 원본 영상을 보여주고 있다. 이미지(2130)는 이미지(2120)를 확대한 영상이며, 허프변환을 통해 검출된 직선 중에서 사용자 명령에 따라 선택된 직선(2131, 2132, 2133, 2134)을 보여주고 있다. 이미지(2140)는 측방 카메라(1100, 1200)로 촬영한 원본 영상을 보여주고 있다. 영역(2141)은 측방 카메라로 촬영했을 때, 주차장이 매우 작게 나타나는 것을 보여주고 있다. 하지만 확대하여 직선검출을 수행할 수 있다. 이미지(2150)는 이미지(2140)를 확대한 영상이며, 허프변환을 통해 검출된 직선 중에서 사용자 명령에 따라 선택된 직선(2151, 2152, 2153, 2154)을 보여주고 있다.

도 22는 본 발명의 일 실시예에 따른 종횡비 보정을 나타낸 예시도이다.

도 22를 참조하면, 이미지(2200)는 정사각형 패턴(2210)을 이용하여 종횡비를 보정한 결과이다.

도 23은 본 발명의 일 실시예에 따른 주차장에서 최종 디스플레이 화면을 나타낸 예시도이다.

도 23을 참조하면, 이미지(2300)는 본 발명의 결과 영상(2310)과 기존의 결과 영상(2320)이 비슷함을 보여주고 있다. 결과 영상(2310) 우측의 뷰포인트(2311)는 사용자가 직접 크기를 조절할 수 있다.

도 24는 본 발명의 일 실시예에 따른 횡단보도에서 직선 검출 및 선택 과정을 나타낸 예시도이다.

도 24를 참조하면, 이미지(2410)는 주차장에서 패턴의 정보 영역(2411)을 보여주고 있다. 또한 패턴의 정보 영역(2411)은 직선을 추출할 수 있는 영역을 의미한다. 이미지(2420)는 차량(1001)에 장착된 카메라(1010, 1020, 1030, 1040)에서 촬영한 횡단보도의 영상을 보여주고 있다. 제 1 이미지(2421)는 좌측방 카메라(1010)에서 촬영된 이미지이다. 제 2 이미지(2422)는 우측방 카메라(1020)에서 촬영된 이미지이다. 제3 이미지(2423)는 좌측 후방 카메라(1030)에서 촬영된 이미지이다. 제 4 이미지(2424)는 우측 후방 카메라(1040)에서 촬영된 이미지이다.

이미지(2430)는 측방 카메라(1010, 1020)의 촬영 영상에서 선택된 직선을 보여주고 있다. 제 1 직선들(2431)은 허프변환을 이용하여 검출된 직선들을 나타낸다. 제 2 직선(2432), 제 3 직선(2433), 제 4 직선(2434) 및 제 5 직선(2435)은 제 1 직선들(2431) 중에서 사용자 명령에 따라 선택된 직선을 나타낸다.

이미지(2440)는 후방 카메라(1030, 1040)의 촬영 영상에서 선택된 직선을 보여주고 있다. 제 1 직선(2441)들은 허프변환을 이용하여 검출된 직선들을 나타낸다. 제 2 직선(2442), 제 3 직선(2443), 제 4 직선(2444) 및 제 5 직선(2445)은 제 1 직선들(2441) 중에서 사용자 명령에 따라 선택된 직선을 보여주고 있다.

도 25는 본 발명의 일 실시예에 따른 횡단보도에서 최종 디스플레이 화면을 나타낸 예시도이다.

도 25를 참조하면, 이미지(2500)는 본 발명의 결과 영상(2510)과 기존의 결과 영상(2520)이 비슷함을 보여주고 있다.

도 26은 본 발명의 일 실시예에 따른 어라운드뷰 제공 방법을 나타낸 흐름도이다.

도 26를 참조하면, 카메라부(710)는 차량 주변을 촬영한다(S100). 카메라부(710)는 도 10의 카메라(1100 내지 1400)를 포함할 수 있다. 또한 카메라부(710)는 영상을 실시간으로 제어부(720)에 제공할 수 있다.

영상 캡쳐부(805)는 카메라에서 촬영된 영상에서 적어도 한 장 이상의 영상을 캡쳐한다(S105). 영상 캡쳐부(805)는 왜곡이 보정된 영상을 실시간으로 캡쳐할 수 있다.

영상 영역 선택부(810)는 영상 캡쳐부(805)가 캡쳐한 영상에서 직선을 검출할 특정 영역을 선택한다(S110). 영상 영역 선택부(810)는 상기 특정 영역을 확대할 수 있다. 영상 영역 선택부(810)는 사용자 명령에 따라 상기 특정 영역을 확대할 수 있다.

직선 후보군 결정부(815)는 영상 영역 선택부(810)가 선택한 영역에서 직선 후보군을 결정한다(S115). 도 15의 이미지(1500)는 검출된 캐니 알고리즘을 이용하여 검출된 직선 후보군을 보여주고 있다.

직선 검출부(820)는 직선 후보군 결정부(815)가 생성한 직선 후보군에서 적어도 네 개의 직선을 검출한다(S120). 직선 검출부(820)는 직선 후보군 결정부(815)가 생성한 직선 후보군에서 허프변환을 이용하여 적어도 네 개의 직선을 검출한다. 도 16의 이미지(1600)는 허프변환을 이용하여 검출된 직선을 보여주는 이미지이다.

직선 선택부(825)는 직선 검출부(820)가 검출한 직선에서 적어도 네 개 이상의 직선을 선택하여 교점을 추출한다(S125). 도 17의 이미지(1700)는 사용자 명령에 따라 선택된 직선(1710, 1720, 1730, 1740)을 나타낸다. 상기 사용자가 선택한 직선은 서로 만나서 교점을 만들 수 있다.

호모그라피행렬부(830)는 직선 선택부(825)에서 추출된 교점을 이용하여 호모그라피 행렬을 구한다(S130). 호모그라피행렬부는 평면에 대한 방정식을 기술할 수 있는 매트릭스로 4개의 점을 알면 호모그라피 행렬을 구할 수 있다.

정합 영상 생성부(835)는 호모그라피행렬부(830)에서 구해진 호모그라피 행렬을 이용하여 정합 영상을 생성한다(S135). 정합 영상 생성부(835)는 상기 호모그라피 행렬을 카메라에 의해 촬영된 영상 데이터에 곱하여 영상을 보정할 수 있다. 그리고 상기 보정된 영상을 정합하여 상기 정합 영상을 생성할 수 있다.

정합 영상 영역 선택부(840)는 정합 영상 생성부(835)에서 만들어진 정합 영상에서 정합 영상의 특정 영역을 선택하고, 상기 선택된 특정 영역의 위치 및 크기를 조절한다(S140). 정합 영상 영역 선택부(840)는 사용자 명령에 따라 상기 정합 영상의 특정 영역을 선택하고, 상기 선택된 특정 영역의 위치 및 크기를 조절한다.

정합 여부 확인부(845)는 정합 영상 선택부(840)가 조절한 정합 영상의 정합 여부를 확인한다(S145). 상기 정합 여부 확인은 사용자가 눈을 통해 직관적으로 정합 여부를 확인할 수 있다. 정합 여부 확인부(845)는 사용자의 직관에 의해 정합이 부정확하면 호모그라피 행렬 구하기(S130)에서 직선의 교점을 계산하는 과정으로 돌아가 영상의 정합을 수정할 수 있다. 정합 여부 확인부(845)는 사용자 직관에 의해 정합이 정확하면 정규화 단계로 넘어간다.

정규화부(850)는 정합 여부 확인부(845)에서 확인된 영상을 통해 카메라의 위치를 조절한다(S150). 정규화부(850)는 정규화 과정을 통해 영상의 편차를 줄일 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

311: 카메라 312: 비핑소나
313: 디스플레이 1001: 차량
1010: 좌측방 카메라 1020: 우측방 카메라
1030: 좌측후방 카메라 1040: 우측후방 카메라
1110: 선택 버튼 1120: 프리뷰 영역
1510: 직선 후보군 1610: 검출된 직선
1701-1: 사용자가 직접 선택한 직선 1701-2: 사용자가 직접 선택한 직선 1701-3: 사용자가 직접 선택한 직선 1701-4: 사용자가 직접 선택한 직선

Claims

차량에 설치되어 영상을 촬영하는 복수의 카메라를 포함하는 카메라부; 및
상기 복수의 카메라부에서 촬영된 영상을 이용하여 어라운드뷰를 생성하기 위한 캘리브레이션을 수행하는 제어부를 포함하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 1항에 있어서,
상기 제어부는,
사용자 명령에 따라 상기 캘리브레이션을 수행하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 1 항에 있어서,
상기 제어부는,
상기 복수의 카메라부에서 촬영된 영상에서 사용자 명령을 기초로 직선 후보군을 결정하고,
상기 직선 후보군을 기초로 적어도 네 개의 직선을 검출하고,
상기 검출된 적어도 네 개의 직선에서 사용자 명령을 기초로 적어도 네 개의 직선을 선택하고,
상기 선택된 적어도 네 개의 직선을 기초로 상기 복수의 카메라부에서 촬영된 영상의 정합 영상을 생성하여 상기 캘리브레이션을 수행하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 1 항에 있어서,
상기 제어부는,
상기 복수의 카메라 부에서 촬영된 영상에서 캐니 알고리즘을 통해 직선 후보군을 결정하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 4 항에 있어서,
상기 제어부는,
상기 직선 후보군에서허프변환을 이용하여 직선을 검출하고, 사용자 명령을 기초로 적어도 네 개의 직선을 선택하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 1 항에 있어서,
상기 차량의 어라운드뷰 영상에 대한 정보를 저장하는 저장부;
상기 차량의 주변의 실시간 보정 영상 또는 상기 제어부에서캘리브레이션된 정합 영상을 디스플레이하는디스플레이부; 및
상기 캘리브레이션에 대한 사용자 명령을 지시하는 사용자 조치를 감지하는 인터페이스부를 더 포함하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 1 항에 있어서,
상기 카메라부는,
상기 차량의 주변을 실시간으로 촬영하고, 실시간으로 촬영된 영상을 상기 제어부로 제공하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 1 항에 있어서,
상기 제어부는,
상기 촬영된 영상에서 적어도 한 장 이상의 영상을 캡쳐하는 영상 캡쳐부;
상기 캡쳐된 영상에서 일부 영역을 선택하는 영상 영역 선택부;
설정된 경계값(Threshold)에 따라 상기 영역 선택부에서 선택된 영역에서 직선 후보군을 결정하는 직선 후보군 결정부;
상기 직선 후보군에서 허브변환을 이용하여 복수의 직선을 검출하는 직선 검출부;
상기 검출된 복수의 직선에서 사용자 명령에 따라 복수의 직선을 선택하는 직선 선택부;
상기 선택된 복수의 직선간의 교점을 이용하여 호모그라피 행렬을 생성하는 호모그라피행렬부;
상기 생성된 호모그라피 행렬을 이용하여 정합 영상을 생성하는 정합 영상 생성부;
상기 생성된 정합 영상에서 정합 영상의 특정 영역을 선택하고 상기 선택된 특정 영역의 위치 및 크기를 조절하는 정합 영상 영역 선택부;
상기 조절된 정합 영상의 정합여부를 확인하는 정합 여부 확인부; 및
상기 정합 여부가 확인된 영상을 정규화시키는 정규화부를 포함하는 것을 특징으로 하는 어라운드뷰 제공 장치.
제 5 항에 있어서,
상기 정규화부는,
어라운뷰 공간에서 카메라의 위치를 계산하여 사용자가 카메라의 위치를 영상에서 원하는 위치에 위치시키는 것을 특징으로 하는 어라운드뷰 제공 장치.
차량에 있어서,
차량에 설치되어 영상을 촬영하는 적어도 하나 이상의 카메라를 포함하는 카메라부;
상기 카메라부에서 촬영된 영상을 이용하여 어라운드뷰를 생성하고, 상기 생성된 어라운드뷰를 이용하여 캘리브레이션을 수행하며, 상기 캘리브레이션이 수행된 영상을 정규화하는 제어부를 포함하는 것을 특징으로 하는 차량.
차량 주변을 카메라로 촬영하는 단계;
상기 촬영된 영상에서 적어도 한 장 이상의 영상을 캡쳐하는 단계;
상기 캡쳐된 영상에서 원하는 영역을 선택하는 단계;
상기 선택된 영역에서 직선 후보군을 결정하는 단계;
상기 결정된 직선 후보군에서 직선을 검출하는 단계;
상기 검출된 직선에서 적어도 2개 이상의 직선을 선택하여 교점을 추출하는 단계;
상기 추출된 교점을 이용하여 호모그라피 행렬을 생성하는 단계;
상기 생성된 호모그라피 행렬을 이용하여 정합 영상을 생성하는 단계;
상기 생성된 정합 영상에서 특정 영역을 선택하는 단계;
상기 선택된 정합 영상의 특정 영역에서 위치 및 크기를 조절하고 정합 여부를 확인하는 단계; 및
상기 정합 여부가 확인된 영상을 이용하여 정규화하는 단계를 포함하는
어라운드뷰 제공 방법.
제 11 항에 있어서,
상기 생성된 정합 영상을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 어라운드뷰 제공 방법.
제 11 항에 있어서,
상기 직선 후보군을 결정하는 단계는,
캐니(Canny) 알고리즘을 통해 직선 후보군을 결정하는 것을 특징으로 하는 어라운드뷰 제공 방법.
제 11 항에 있어서,
상기 직선을 검출하는 단계는,
허프변환을 통해 직선을 검출하는 것을 특징으로 하는 어라운드뷰 제공 방법.
제 11 항에 있어서,
상기 정규화하는 단계는,
어라운뷰 공간에서 카메라의 위치를 계산하여 사용자가 카메라의 위치를 영상에서 원하는 위치에 위치시키는 것을 특징으로 하는 어라운드뷰 제공 방법.