KR102325690B1 - 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법 - Google Patents

어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법 Download PDF

Info

Publication number
KR102325690B1
KR102325690B1 KR1020170074556A KR20170074556A KR102325690B1 KR 102325690 B1 KR102325690 B1 KR 102325690B1 KR 1020170074556 A KR1020170074556 A KR 1020170074556A KR 20170074556 A KR20170074556 A KR 20170074556A KR 102325690 B1 KR102325690 B1 KR 102325690B1
Authority
KR
South Korea
Prior art keywords
camera
image
vanishing
point
around
Prior art date
Application number
KR1020170074556A
Other languages
English (en)
Other versions
KR20180136057A (ko
Inventor
김훈민
정동욱
이성주
최경택
서재규
정호기
Original Assignee
현대모비스 주식회사
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사, 한국교통대학교산학협력단 filed Critical 현대모비스 주식회사
Priority to KR1020170074556A priority Critical patent/KR102325690B1/ko
Priority to CN201810562496.XA priority patent/CN109086650B/zh
Priority to CN201810603287.5A priority patent/CN109089074A/zh
Priority to US16/008,933 priority patent/US10529091B2/en
Priority to US16/008,812 priority patent/US20180365857A1/en
Publication of KR20180136057A publication Critical patent/KR20180136057A/ko
Application granted granted Critical
Publication of KR102325690B1 publication Critical patent/KR102325690B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법에 관한 것으로, 어라운드 뷰 모니터링 시스템의 제어부가 적어도 셋 이상의 각 카메라 영상에서 특징점들을 균일화하여 추출하는 단계; 상기 제어부가 상기 추출한 특징점들을 추적하여 대응점들을 획득하는 단계; 상기 제어부가 상기 각 카메라 영상에서 획득한 대응점들을 통합하는 단계; 상기 제어부가 상기 통합한 대응점들을 이용하여 소실점과 소실선을 추정하는 단계; 및 상기 추정된 소실점과 소실선에 기초하여 카메라 각도를 추정하는 단계;를 포함한다.

Description

어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법{CAMERA ANGLE ESTIMATION METHOD FOR AROUND VIEW MONITORING SYSTEM}
본 발명은 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법에 관한 것으로, 보다 상세하게는 차량의 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하기 위한 카메라 영상을 보정하기 위하여, 상기 카메라가 설치된 차량의 주변에 보정용 패턴이 설치되어 있지 않더라도 상기 카메라에 의해 촬영된 주변 영상으로부터 특징점을 추출하고, 이 특징점을 추적하여 획득한 대응점을 기반으로 카메라의 각도를 추정할 수 있도록 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법에 관한 것이다.
최근 출시되고 있는 차량들은 운전자의 안전운전에 도움을 주는 첨단 운전자 지원 시스템(ADAS)의 장착이 증가하고 있다.
이러한 첨단 운전자 지원 시스템(ADAS)의 하나로서 사각지대에 의한 사고 발생 가능성을 감소시키기 위해서 초음파 센서나 후방 카메라를 장착하는 차량이 증가하고 있으며 최근 어라운드 뷰 모니터링(AVM) 시스템을 장착한 차량도 증가하고 있다.
특히 상기 어라운드 뷰 모니터링(AVM) 시스템은 차량을 중심으로 360도 전 방향을 모니터링 할 수 있다는 장점 때문에 더욱 관심이 집중되고 있으나, 시스템의 설치 후 카메라의 보정을 위하여 특정 시설물(예 : 카메라 보정용 격자나 차선 패턴)이 설치된 넓은 공간과 보정 작업을 위한 숙련자가 필요하기 때문에 금전적, 및 시간적 비용이 발생하기 때문에 어라운드 뷰 모니터링(AVM) 시스템의 보급이 제한적인 문제점이 있다.
본 발명의 배경기술은 대한민국 공개특허 10-2016-0056658호(2016.05.20. 공개, 어라운드 뷰 모니터 시스템 및 그 제어방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 차량의 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하기 위한 카메라 영상을 보정하기 위하여, 상기 카메라가 설치된 차량의 주변에 보정용 패턴이 설치되어 있지 않더라도 상기 카메라에 의해 촬영된 주변 영상으로부터 특징점을 추출하고, 이 특징점을 추적하여 획득한 대응점을 기반으로 카메라의 각도를 추정할 수 있도록 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법은, 어라운드 뷰 모니터링 시스템의 제어부가 적어도 셋 이상의 각 카메라 영상에서 특징점들을 균일화하여 추출하는 단계; 상기 제어부가 상기 추출한 특징점들을 추적하여 대응점들을 획득하는 단계; 상기 제어부가 상기 각 카메라 영상에서 획득한 대응점들을 통합하는 단계; 상기 제어부가 상기 통합한 대응점들을 이용하여 소실점과 소실선을 추정하는 단계; 및 상기 추정된 소실점과 소실선에 기초하여 카메라 각도를 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점은, 상기 카메라 영상에서 주위 배경과 구분되면서 식별이 용이한 지점으로서, 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 또한 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 지점을 의미하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점들을 균일화하여 추출하는 단계에서, 상기 제어부는, 특징점들의 균일화를 위하여 카메라 영상을 기 설정된 다수의 영역으로 분할하고, 상기 분할된 각 영역에서 기 정해진 개수의 특징점이 추출되도록 강제하는 것을 특징으로 한다.
본 발명에 있어서, 상기 셋 이상의 각 카메라 영상은, 연속 또는 순차 촬영된 영상으로서, 이전에 촬영된 영상에 이어서 시간상 곧바로 촬영된 영상, 또는 기 지정된 프레임 이상의 시간적 차이가 있는 카메라 영상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 소실점과 소실선을 추정하기 위하여, 상기 제어부는, 두 대응점들을 각기 길이 방향으로 연장하는 가상의 직선을 그어 상기 가상의 직선들이 교차하는 지점에서 하나의 소실점을 추정하고, 상기 두 대응점들의 양 끝을 각기 연결하는 가상의 직선을 긋고 그 가상의 직선을 연장하여 교차되는 지점에서 다른 하나의 소실점을 추정하여, 상기 얻은 두 소실점을 서로 잇는 소실선을 추정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라 각도를 추정하는 단계에서, 상기 제어부는, 실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 카메라 각도로서 추정하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 차량의 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하기 위한 카메라 영상을 보정하기 위하여, 상기 카메라가 설치된 차량의 주변에 보정용 패턴이 설치되어 있지 않더라도 상기 카메라에 의해 촬영된 주변 영상으로부터 특징점을 추출하고, 이 특징점을 추적하여 획득한 대응점을 기반으로 카메라의 각도를 추정함으로써, 이로부터 카메라의 영상을 자동으로 보정하여 보다 간편하게 정확한 어라운드 뷰 영상을 생성할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 설명하기 위한 흐름도.
도 3은 본 발명의 일 실시예에 따른 특징점 검출 방법에 대비되는 종래의 특징점 검출 방법들 중 하나를 설명하기 위하여 보인 예시도.
도 4는 본 발명의 일 실시예에 따른 특징점 추출 방법을 설명하기 위한 예시도.
도 5는 상기 도 2에 있어서, 연속 영상에서 특징점 추적을 통하여 대응점을 획득하는 방법을 설명하기 위하여 보인 예시도.
도 6은 상기 도 2에 있어서, 연속해서 촬영된 다수의 영상에서 특징점을 추적하여 획득한 대응점들을 통합한 결과를 보인 예시도.
도 7은 상기 도 6에서 설명한 연속 카메라 영상에서 획득한 대응점을 통합하는 방법을 추가적으로 설명하기 위하여 보인 예시도.
도 8은 상기 도 2에 있어서, 획득한 대응점들을 사용하여 소실점과 소실선을 추정하는 방법을 설명하기 위하여 보인 예시도.
도 9는 본 발명의 일 실시예에 관련된 카메라 각도와 소실점과의 관계를 설명하기 위하여 보인 예시도.
도 10은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 통해 보정된 영상을 이용하여 생성된 어라운드 뷰 영상을 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 어라운드 뷰 모니터링 시스템은, 제어부(110), 및 차량에 설치되는 적어도 하나 이상의 카메라(120, 121, 122), 및 상기 카메라(120, 121, 122)에서 촬영된 영상을 처리하여 어라운드 뷰 영상을 AVN(Audio Video Navigation) 장치(미도시)의 화면에 출력하는 제어부(110)를 포함한다.
상기 제어부(110)는 상기 카메라(120, 121, 122)가 설치된 각도(또는 카메라 각도)를 추정하여 상기 추정된 카메라 설치 각도(또는 카메라 각도)를 기초로 카메라 영상을 자동으로 보정한다(도 2 참조).
이에 따라 상기 제어부(110)는 상기 보정된 카메라 영상을 처리하여 어라운드 뷰 영상을 AVN(Audio Video Navigation) 장치(미도시)의 화면에 출력한다.
이때 상기 카메라 각도가 추정되면 이에 기초하여 상기 카메라 영상을 쉽게 보정할 수 있으므로, 이하 본 실시예에서는 도 2 내지 도 10을 참조하여 상기 카메라 설치 각도(또는 카메라 각도)를 추정하는 방법에 대해서 구체적으로 설명한다.
도 1에 도시된 바와 같이 상기 어라운드 뷰 모니터링 시스템의 경우, 차량의 전/후/좌/우에 적어도 4개 이상의 카메라 설치될 수 있다.
예컨대 차량의 전, 후, 좌(예 : 좌측 사이드미러), 우(예 : 우측 사이드미러), 내측 전방(예 : 룸미러), 및 내측 후방에 6개의 카메라 설치될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 설명하기 위한 흐름도이다.
도 2에 도시된 바와 같이, 상기 제어부(110)는 카메라 영상에서 특징점(예 : 영상을 매칭하는데 있어서, 주위 배경과 구분되면서 식별이 용이한 지점으로서, 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 또한 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 지점)을 균일화하여 추출한다(S101).
여기서 특징점을 균일화하여 추출한다는 것은 카메라 영상의 전 영역에 고르게 분포된 특징점을 추출한다는 것을 의미한다.
또한 상기 제어부(110)는 상기 균일화한 특징점을 추적하여 대응점을 획득하고(S102)(이때 대응점은 특징점을 추적하여 획득한 것이므로 추적된 특징점의 형태에 대응하여 직선 형태일 수 있다), 연속 또는 순차로 촬영된 다수의 영상(예 : 3프레임 이상의 카메라 영상)에서 획득한 대응점을 통합한다(S103).
또한 상기 제어부(110)는 상기 획득한 대응점들을 사용하여 소실점(Vanishing point)과 소실선(Vanishing line)을 추정하고, 상기 추정된 소실점과 소실선에 기반하여 카메라 각도를 추정한다(S104).
또한 상기 제어부(110)는 상기 추정된 각 카메라의 각도를 기초로 각 카메라 영상을 보정한다(S105).
상기와 같이 각 카메라 영상을 보정한 후에는 기 설정된 어라운드 뷰 알고리즘에 따라 상기 보정된 각 카메라 영상을 조합하여 어라운드 뷰 영상을 생성한다.
이하 본 실시예에서는 도 3 내지 도 10을 참조하여, 상기 카메라 각도를 추정하는 상기 도 2의 각 단계별 방법에 대해서 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 특징점 검출 방법에 대비되는 종래의 특징점 검출 방법들 중 하나를 설명하기 위하여 보인 예시도이다.
상기 도 2에서 특징점을 추출(또는 검출)함에 있어서, 상기 제어부(110)는 카메라 영상에서 특징이 되는 위치(즉, 특징점)를 검출한다.
다만 촬영 환경에 따라 특징점이 고르게 분포되지 않을 수 있으며, 이는 카메라 각도의 추정 오차를 커지게 할 수 있다. 따라서 본 실시예에서는 특징점의 분포를 균일화하는 과정을 함께 수행한다.
참고로 상기 특징점을 검출하는 공지된 방법으로는 Harris corner detector, Shi and Tomasi corner detector, FAST, DOG 등의 다양한 방법이 있다.
예컨대 도 3은 상기 특징점을 검출하는 공지된 방법 중, Shi and Tomasi corner detector를 사용하여 특징점을 추출(또는 검출)한 후 균일화하기 전의 특징점 추출 결과를 보인 예시도로서, 약 320개의 특징점(빨간색 점)을 추출한 예를 보여준다. 그런데 도 3에 도시된 바와 같이, 정해진 개수의 특징점을 추출하는 경우, 근거리 도로면이나 원거리 장애물 부근에 특징점들이 몰려서 검출될 가능성이 높다.
따라서 본 실시예에서는 특징점을 고르게 분포시키기 위해 카메라 영상을 기 설정된 다수의 영역으로 분할하고(도 4의 (a) 참조), 상기 분할된 각 영역에서 기 정해진 개수의 특징점이 추출(또는 검출)되도록 강제한다. 즉, 본 실시예는 카메라 영상에서 특징점을 균일화하여 추출한다.
도 4는 본 발명의 일 실시예에 따른 특징점 추출 방법을 설명하기 위한 예시도로서, 도 4의 (a)는 카메라 영상을 4x8(pixel)로 균등 분할한 예를 보여주고, 도 4의 (b)는 상기 분할된 각 영역에서 기 정해진 개수(예 : 10개)의 특징점을 추출(또는 검출)한 결과(예 : 320개)를 보여준다.
이에 따라 도 4의 (b)에 도시된 특징점 추출 결과와 도 3에 도시된 특징점 추출 결과를 비교해 보면 특징점의 분포가 상대적으로 매우 균일해진 것을 확인할 수 있다.
다시 상기 도 2에 있어서, 상기 균일화한 특징점을 추적하여 대응점을 획득하는 단계(S102)에서 상기 제어부(110)는 대응점을 획득하기 위해 상기 추출한 특징점을 연속 영상(즉, 연속 촬영된 카메라 영상)에서 추적한다(도 5 참조).
도 5는 상기 도 2에 있어서, 연속 영상에서 특징점 추적을 통하여 대응점을 획득하는 방법을 설명하기 위하여 보인 예시도로서, 통상적으로 기존에는 두 장(또는 두 프레임)의 영상만을 사용하여 특징점을 매칭하여 대응점을 획득하지만, 본 실시예에서는 특징이 적은 도로면에서 안정적으로 보다 많은 다수의 대응점을 확보하기 위해서 연속 영상(예 : 3 프레임 이상)에서 특징점을 추적하는 방식을 사용한다.
이때 상기 특징점 추적 시에는 census transform(CT, 한 픽셀에 대한 픽셀 주변영역의 밝기 변화를 중심 픽셀의 밝기와 비교하는 방법), Kanade-Lucas Tomasi(KLT) 등의 공지된 다양한 광학 흐름(optical flow) 추적 방법이 사용될 수 있다. 도 5는 상기 도 4의 (b)에서 검출된 특징점들을 추적하여 대응점을 획득한 결과를 보여준다.
도 6은 상기 도 2에 있어서, 연속해서 촬영된 다수의 영상에서 특징점을 추적하여 획득한 대응점들을 통합한 결과를 보인 예시도로서, 카메라 각도 추정의 정확도를 향상시키기 위해서는 가능한 한 다수의 대응점을 획득하여 사용하는 것이 유리하다. 하지만 다수의 대응점을 획득하기 위해서는 다수의 특징점들을 동시에 추출 및 추적해야 하기 때문에 많은 수행 시간이 필요한 문제점이 있다.
따라서 본 실시예에서는 연속된 카메라 영상을 이용해 각 카메라 영상에서 소수의 특징점을 각기 추출 및 추적하여 각 카메라 영상별로 대응점을 획득한 후 상기 각 카메라 영상에서 획득한 대응점들을 통합하는 방법을 사용한다.
예컨대 도 6에 도시된 바와 같이, 연속된 3프레임의 카메라 영상(도 6의 (a),(b),(c))에서 각기 특징점을 추출 및 추적하여 각 카메라 영상별로 대응점을 획득한 후, 상기 각 카메라 영상에서 획득한 대응점들을 통합(도 6의 (d))하는 방법을 사용하게 될 경우, 하나의 카메라 영상에서 대응점(예 : 2,000 ~ 3,000개)을 획득하는 방법에 비해서 연속 촬영된 각 카메라 영상에서 소수의 대응점(예 : 400 ~ 600개)을 획득하여 통합하는 방법이 동일한 결과(예 : 2,000 ~ 3,000개의 대응점 획득)를 얻는데 있어서 시간적으로 더 효과적일 뿐만 아니라, 각 카메라 영상의 일부 영역에만 대응점이 존재하는 경우(도 6의 (a) ~ (c) 참조)에도 대응점의 통합을 통해 카메라 영상 전체에 고르게 분포된 대응점(도 6의 (d) 참조)을 확보할 수 있게 되며, 이를 통해 결과적으로 파라미터(즉, 카메라 각도 추정을 위한 파라미터) 추정의 안정성을 개선할 수 있도록 한다.
도 7은 상기 도 6에서 설명한 연속 카메라 영상에서 획득한 대응점을 통합하는 방법을 추가적으로 설명하기 위하여 보인 예시도로서, 도 7의 (a)는 하나의 카메라 영상에서 960개의 특징점을 한꺼번에 추출 및 추적한 결과를 보여주는 예시도이며, 도 7의 (b)는 연속 촬영된 3프레임의 각 카메라 영상에서 각기 320개의 특징점을 추출 및 추적한 후 이를 통합한 결과를 보여주는 예시도이다.
여기서 상기 도 7의 (b)의 결과가 한 번에 사용하는 연산량(즉, 연산을 위한 부하)이 도 7의 (a)에 비해서 더 적을 뿐만 아니라, 카메라 영상 전체에 고르게 분포된 특징점을 확보할 수 있음을 확인할 수 있다.
한편 본 실시예에서 상기 연속 촬영된 영상(또는 연속 영상)은, 이전에 촬영된 영상에 이어서 시간상 곧바로 촬영된 영상을 한정하고자 하는 것은 아니다. 즉, 본 실시예에서 다수의 영상을 사용하는 경우에 그 영상들이 반드시 연속적일 필요가 없으며 특정 프레임 이상 시간적 차이가 있는 카메라 영상을 사용할 수도 있다. 가령, 현재 취득된 대응점과 10분 전에 취득된 대응점을 함께 통합하여 사용할 수도 있음을 의미한다.
도 8은 상기 도 2에 있어서, 획득한 대응점들을 사용하여 소실점(Vanishing point)과 소실선(Vanishing line)을 추정하는 방법을 설명하기 위하여 보인 예시도이다.
본 실시예에서 상기 제어부(110)는 카메라 영상에서 획득한 대응점들을 사용하여 소실점(Vanishing point)과 소실선(Vanishing line)을 추정하고, 이로부터 지면과 카메라 사이의 회전 행렬(rotation matrix)을 추정한다.
참고로 상기 회전 행렬은 2차원 또는 3차원의 공간상에서 한 점을, 원점을 중심으로 하여 반시계 방향으로 원하는 각도만큼 회전시킬 때에 새로운 점의 좌표를 얻기 위한 행렬이다.
가령, 차량이 직진할 경우 획득된 대응점 2개는, 도 8의 (a)에 도시된 바와 같이, 실세계(조감도) 도로면에서 평행하며 동일한 길이가 되어야 한다.
그런데 상기 대응점이 카메라 영상으로 촬영되면 시각적 왜곡(perspective distortion)에 의해, 도 8의 (b)에 도시된 바와 같이, 대응점들의 방향 및 길이가 같지 않게 된다.
이때 상기 두 대응점은 실세계에서 평행사변형을 구성하므로, 도 8의 (c)에 도시된 바와 같이, 상기 대응점들을 각기 길이 방향으로 연장하는 가상의 직선을 그어 상기 가상의 직선들이 교차하는 지점에서 하나의 소실점을 얻고, 상기 대응점들의 양 끝을 각기 연결하는 가상의 직선을 긋고 그 가상의 직선을 연장하여 교차되는 지점에서 다른 하나의 소실점을 얻을 수 있으며, 상기 2개의 소실점(vanishing point)을 서로 잇는 소실선(vanishing line)을 얻을 수 있다.
도 9는 본 발명의 일 실시예에 관련된 카메라 각도와 소실점과의 관계를 설명하기 위하여 보인 예시도이다.
도 9에 도시된 바와 같이 상기 제어부(110)는 실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 카메라 각도로서 추정한다. 즉, 본 실시예에서 추정하고자 하는 카메라 각도는 실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 의미하는 것임에 유의한다.
도 9의 (a)에 도시된 바와 같이 실세계 도로면 좌표계에서 도 9의 (b)에 도시된 바와 같이 왜곡된 영상(실질적으로는 왜곡 보정된 영상으로서, 실제 카메라 영상에서는 직선이 약간 곡선으로 표시되는 경향이 있기 때문에 곡선을 직선이 되게 보정한 영상을 의미한다)이 표시된 영상 좌표계(도 9의 (b) 참조)로의 변환을 의미한다.
따라서 추정의 편의를 위하여, 역 변환(즉, 왜곡 보정된 영상 좌표계를 실세계 도로면 좌표계로의 변환)을 통해서 카메라의 각도(Re)를 추정할 수 있다. 즉, 도 9에서 Re T로 영상을 회전시키면(도 9의 (b)→도 9의 (a)로의 영상 회전), 도 9의 (b)에서 추정된 2개의 소실점(v1과 v2)은 무한 원점(point at infinity)(p1과 p2)으로 변환된다.
예컨대 상기 도 9에 도시된 변환 동작을 수식으로 표현하면 아래 수학식1과 같다.
Figure 112017056532755-pat00001
여기서 상기 K는 카메라 내부변수로 구성된 행렬을 의미하고, v'1과 v'2는 소실점(v1과 v2)에 각기 K-1를 곱해준 결과이며, 상기 K는 사전에 미리 얻을 수 있는 값이다.
또한 p'1는 영상에서 차량의 직진 방향을 의미하기 때문에 측방 카메라의 경우 [1 0 0]T가 되고, 전/후방카메라의 경우 [0 1 0]T가 된다.
따라서 측방 카메라의 경우에는 아래의 수학식2와 같이 첫 번째 소실점(v'1)의 좌표가 추정하기를 원하는 카메라의 각도(Re)의 첫 번째 칼럼 벡터(column vector)인 r1이 된다.
Figure 112017056532755-pat00002
한편 p'2의 정확한 위치는 확정할 수 없지만, 이 점은 무한대만큼 떨어진 곳에 위치한 점이기 때문에 [a b 0]T으로 표현될 수 있다.
그리고 v'2를 Re T로 변환하면 p'2가 되므로, 아래의 수학식3의 ①을 얻을 수 있다.
Figure 112017056532755-pat00003
또한 상기 수학식2를 동일한 방식으로 변환하면, 상기 수학식3의 ②를 얻을 수 있다. 마지막으로 상기 수학식3의 두 수식①,②를 합치면, 상기 수학식3의 ③을 얻을 수 있다.
여기서 상기 수학식3의 ③은, 기하학적으로 r3가 2개의 소실점(v'1과 v'2)을 잇는 직선인 소실선(vanishing line)의 파라미터가 된다는 의미를 갖는다.
한편 상기 수학식2에 의해 r1은 v'1이기 때문에 상기 r1은 소실점을 계산하는 아래의 수학식4를 기반으로 계산될 수 있다. 즉, 아래의 수학식4에 의해서 r1을 계산할 수 있다.
아래 수학식4에서 (xi,yi)와 (x'i,y'i)는 i번째 대응점의 좌표를 의미한다.
Figure 112017056532755-pat00004
또한 r3는 소실선(vanishing line)의 파라미터를 의미한다.
따라서 대응점들의 조합으로부터 다수의 소실점(v2)을 계산하여 이들(다수의 소실점(v2))을 기반으로 직선 추정을 수행하여 r3를 계산할 수 있다.
이때, 직선(즉, 소실선, r3)은 반드시 r1(v1)을 지나야 한다는 강제 조건을 사용하게 되면 아래의 수학식5와 같이 r3를 얻을 수 있다. 즉, 아래의 수학식4에 의해서 r3을 계산할 수 있다.
Figure 112017056532755-pat00005
상기 수학식5에서 v1 x와 v1 y는 상기 수학식4를 통해 계산된 소실점(v1)의 좌표를 의미하고, (vx 2,i, vy 2,j)는 대응점들의 조합으로 얻어낸 i번째 소실점의 좌표를 의미한다. 상기와 같이 r1과 r3를 계산한 후에는 r1과 r3의 벡터의 외적(cross product)을 통해 r2를 계산하여 최종적으로 추정하기를 원하는 카메라의 각도(Re)를 추정하게 된다.
도 10은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 통해 보정된 영상을 이용하여 생성된 어라운드 뷰 영상을 보인 예시도이다.
도 10의 (a)는 실험이 실시된 장소에서 촬영된 카메라 영상이며, 도 10의 (b)는 상기 촬영된 카메라 영상을 기반으로 추정된 어라운드 뷰 모니터링 시스템의 카메라 각도를 기반으로 자동으로 캘리브레이션을 수행하여 생성된 어라운드 뷰 영상이다.
이에 도시된 바와 같이 본 실시예는 도 10의 (a)와 같이 차선 및 패턴과 같은 특징이 거의 없는 상황(지면에 차선을 지운 자국과 원거리에 건물만 있는 상황)에서도 카메라의 각도를 자동으로 추정하여 캘리브레이션을 수행하는 것을 확인할 수 있다.
상기와 같이 본 실시예는 카메라에서 촬영된 영상을 기반으로 자동으로 Around View Monitor(AVM) 시스템의 카메라 각도를 추정할 수 있다. 특히, 지면에 격자와 차선과 같은 특별한 무늬(카메라 보정을 위한 특별한 패턴)가 없는 상황에서도 카메라 각도를 추정할 수 있다.
따라서 본 실시예는 전문 엔지니어가 아닌 일반 운전자가 임의의 도로에서(어디에서라도) 주행 시 자동으로 카메라의 각도를 추정하기 때문에 AVM 시스템의 편의성이 높아지고, 설치비용이 감소되며, 시스템 동작 환경이나 보정에 대한 제한 조건(공차 보정장과 같은 특별한 설비 등)이 적기 때문에 활용성이 향상되어 해외 수출에 대한 제약이 해소될 수 있는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
110 : 제어부
120, 121, 122 : 카메라

Claims (6)

  1. 어라운드 뷰 모니터링 시스템의 제어부가 적어도 셋 이상의 각 카메라 영상에서 특징점들을 균일화하여 추출하는 단계;
    상기 제어부가 상기 추출한 특징점들을 추적하여 대응점들을 획득하는 단계;
    상기 제어부가 상기 각 카메라 영상에서 획득한 대응점들을 통합하는 단계;
    상기 제어부가 상기 통합한 대응점들을 이용하여 소실점과 소실선을 추정하는 단계; 및
    상기 추정된 소실점과 소실선에 기초하여 카메라 각도를 추정하는 단계;를 포함하되,
    상기 제어부는,
    아래의 수학식 1과 같이, 실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 카메라 각도로 추정하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
    (수학식 1)
    Figure 112021053951088-pat00016

    Re T는 왜곡 보정된 영상 좌표계를 실세계 도로면 좌표계로 변환시킨 행렬,
    v1과 v2는 소실점,
    p1과 p2는 무한 원점(point at infinity),
    K는 카메라 내부변수로 구성된 행렬,
    K-1은 K의 역행렬,
    v'1과 v'2는 v1과 v2에 각기 K-1를 곱해준 결과,
    p'1과 p'2는 p1과 p2 에 각기 K-1를 곱해준 결과,
  2. 삭제
  3. 제 1항에 있어서, 상기 특징점들을 균일화하여 추출하는 단계에서,
    상기 제어부는,
    특징점들의 균일화를 위하여 카메라 영상을 기 설정된 다수의 영역으로 분할하고, 상기 분할된 각 영역에서 기 정해진 개수의 특징점이 추출되도록 강제하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
  4. 제 1항에 있어서, 상기 셋 이상의 각 카메라 영상은,
    연속 또는 순차 촬영된 영상으로서,
    이전에 촬영된 영상에 이어서 시간상 곧바로 촬영된 영상, 또는
    기 지정된 프레임 이상의 시간적 차이가 있는 카메라 영상을 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
  5. 제 1항에 있어서, 상기 소실점과 소실선을 추정하기 위하여,
    상기 제어부는,
    두 대응점들을 각기 길이 방향으로 연장하는 가상의 직선을 그어 상기 가상의 직선들이 교차하는 지점에서 하나의 소실점을 추정하고, 상기 두 대응점들의 양 끝을 각기 연결하는 가상의 직선을 긋고 그 가상의 직선을 연장하여 교차되는 지점에서 다른 하나의 소실점을 추정하여, 상기 얻은 두 소실점을 서로 잇는 소실선을 추정하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
  6. 제 1항에 있어서, 상기 카메라 각도를 추정하는 단계에서,
    상기 제어부는,
    실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 카메라 각도로서 추정하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.


KR1020170074556A 2017-06-14 2017-06-14 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법 KR102325690B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170074556A KR102325690B1 (ko) 2017-06-14 2017-06-14 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법
CN201810562496.XA CN109086650B (zh) 2017-06-14 2018-06-04 校准方法和校准设备
CN201810603287.5A CN109089074A (zh) 2017-06-14 2018-06-12 用于环视监控系统的摄像头角度估计方法
US16/008,933 US10529091B2 (en) 2017-06-14 2018-06-14 Calibration method and apparatus
US16/008,812 US20180365857A1 (en) 2017-06-14 2018-06-14 Camera angle estimation method for around view monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170074556A KR102325690B1 (ko) 2017-06-14 2017-06-14 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법

Publications (2)

Publication Number Publication Date
KR20180136057A KR20180136057A (ko) 2018-12-24
KR102325690B1 true KR102325690B1 (ko) 2021-11-15

Family

ID=65010317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170074556A KR102325690B1 (ko) 2017-06-14 2017-06-14 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법

Country Status (1)

Country Link
KR (1) KR102325690B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862206A (zh) * 2019-12-31 2020-10-30 滴图(北京)科技有限公司 一种视觉定位方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096163A1 (ja) * 2011-01-13 2012-07-19 パナソニック株式会社 画像処理装置、画像処理方法、及びそのプログラム
US20150049193A1 (en) * 2011-04-25 2015-02-19 Magna International Inc. Method and system for dynamically calibrating vehicular cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096163A1 (ja) * 2011-01-13 2012-07-19 パナソニック株式会社 画像処理装置、画像処理方法、及びそのプログラム
US20150049193A1 (en) * 2011-04-25 2015-02-19 Magna International Inc. Method and system for dynamically calibrating vehicular cameras

Also Published As

Publication number Publication date
KR20180136057A (ko) 2018-12-24

Similar Documents

Publication Publication Date Title
US20180365857A1 (en) Camera angle estimation method for around view monitoring system
US11263758B2 (en) Image processing method and apparatus
CN107133985B (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
EP2757527B1 (en) System and method for distorted camera image correction
US11407363B2 (en) Method for calculating a tow hitch position
JP2018519696A5 (ko)
Fraundorfer et al. A constricted bundle adjustment parameterization for relative scale estimation in visual odometry
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
US20170341582A1 (en) Method and device for the distortion-free display of an area surrounding a vehicle
US20200311964A1 (en) Object detection device and object detection method
JP2010218226A (ja) 計測マップ生成装置及び走行環境確認装置
CN108197590B (zh) 一种路面检测方法、装置、终端及存储介质
WO2018211930A1 (ja) 物体検出装置、物体検出方法、及び、コンピュータが読取可能な記録媒体
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
US20220266749A1 (en) Driver assistance for a combination
KR102325690B1 (ko) 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법
KR20150014311A (ko) 어라운드뷰 제공 장치, 방법 및 차량
US10427683B2 (en) Vehicle display device and vehicle display method for displaying images
US9280826B2 (en) Distance determination using a monoscopic imager in a vehicle
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
CN114475780A (zh) 一种自动泊车方法、装置、设备及存储介质
US9519833B2 (en) Lane detection method and system using photographing unit
Philip et al. A Computer Vision Approach for Lane Detection and Tracking

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant