KR20140033803A - 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 - Google Patents

카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 Download PDF

Info

Publication number
KR20140033803A
KR20140033803A KR1020120100131A KR20120100131A KR20140033803A KR 20140033803 A KR20140033803 A KR 20140033803A KR 1020120100131 A KR1020120100131 A KR 1020120100131A KR 20120100131 A KR20120100131 A KR 20120100131A KR 20140033803 A KR20140033803 A KR 20140033803A
Authority
KR
South Korea
Prior art keywords
camera
lane
image
tolerance
recognizing
Prior art date
Application number
KR1020120100131A
Other languages
English (en)
Other versions
KR101987634B1 (ko
Inventor
장민수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120100131A priority Critical patent/KR101987634B1/ko
Publication of KR20140033803A publication Critical patent/KR20140033803A/ko
Application granted granted Critical
Publication of KR101987634B1 publication Critical patent/KR101987634B1/ko

Links

Images

Classifications

    • G06T3/047—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Abstract

본 발명은 카메라를 이용하여 인식된 차선을 기준으로 카메라의 공차를 보정하는 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템에 관한 것이다. 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법은, 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 방법에 있어서, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (a)단계; 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (b)단계; 상기 (a)단계 및 상기 (b)단계에서 인식된 차선을 이용하여 공통되는 영역을 검출하는 (c)단계; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 (d)단계를 포함할 수 있다.

Description

카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템{Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same}
본 발명은 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템에 관한 것이다. 보다 상세하게는, 본 발명은, 카메라를 이용하여 인식된 차선을 기준으로 카메라의 공차를 보정하는 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템에 관한 것이다.
차량의 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)은 차량에 설치된 4개의 카메라로부터 영상을 수신하여 차량 주변을 조감도(Bird's Eye View) 형태로 보여주는 시스템이다.
다수의 카메라에서 촬영되는 영상을 이용하는 어라운드 뷰 모니터링 시스템은 카메라 조립 시 공차를 보정하는 작업이 필수적이다. 차량의 제조사는 어라운드 뷰 모니터링 시스템이 장착된 차량에 대하여 어라운드 뷰 화면 정합성 기준에 맞도록 공차를 보정한 후 차량을 출고한다.
그러나, 차량 출고 후 차량의 운행 도중 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여 각 카메라는 새로운 공차가 발생하며, 발생하는 공차가 누적되면 어라운드 뷰 화면의 정합성이 낮아질 수 있다. 따라서, 새롭게 발생된 누적 공차의 보정이 필요하며, 공차 보정을 위하여 공차 보정이 가능한 서비스 센터나 사업소로 방문해야 하는 불편함이 존재하는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 차량의 운행으로 발생되는 누적 공차를 카메라를 이용하여 인식된 차선을 기준으로 보정하여 정합성 높은 어라운드 뷰 영상을 제공하는 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템을 제공하는 것을 목적으로 한다.
상기한 문제점을 해결하기 위한 카메라 공차 보정 방법은, 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 방법에 있어서, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (a)단계; 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (b)단계; 상기 (a)단계 및 상기 (b)단계에서 인식된 차선을 이용하여 공통되는 영역을 검출하는 (c)단계; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 (d)단계를 포함할 수 있다.
바람직하게는, 상기 카메라 공차 보정 방법은, 상기 (a)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (e)단계; 상기 (b)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (f)단계; 및 상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 (g)단계를 더 포함하며, 상기 (c)단계는, 상기 공통되는 영역을 검출하는 것은 상기 (g)단계에서 변환된 탑 뷰 영상에서 검출할 수 있다.
바람직하게는, 상기 (g)단계는, 상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정할 수 있다.
상기한 문제점을 해결하기 위한 카메라 공차 보정 장치는, 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 장치에 있어서, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 차선인식부; 상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함할 수 있다.
바람직하게는, 상기 카메라 공차 보정 장치는, 상기 인식된 차선을 이용하여 차선 폭을 산출하는 차선폭산출부; 및 상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 영상변환부를 더 포함하며, 상기 영역검출부는, 상기 탑 뷰 영상에서 공통 영역을 검출할 수 있다.
바람직하게는, 상기 영상변환부는, 상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정할 수 있다.
상기한 문제점을 해결하기 위한 어라운드 뷰 모니터링 시스템은, 차량에 전방, 후방, 좌측 및 우측에 설치되어 상기 차량 주변 영상을 촬영하는 카메라; 상기 카메라의 누적 공차를 보정하는 카메라 누적 공차 보정 장치; 및 상기 카메라 누적 공차 보정 장치에서 공차가 보정된 카메라에서 수집된 영상을 합성하여 어라운드 뷰 영상을 생성하여 운전자에게 제공하는 합성영상 제공부를 포함할 수 있다.
바람직하게는, 상기 카메라 누적 공차 보정 장치는, 전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 차선인식부; 상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및 상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함할 수 있다.
본 발명은 차량의 운행으로 발생되는 누적 공차를 서비스 센터나 사업소 방문 없이 보정할 수 있다.
또한, 본 발명은, 공차 보정을 통하여 정합성 높은 어라운드 뷰 영상을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템에 관한 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 공차 보정 장치에 관한 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 전후방 차선을 인식한 일 예를 나타낸 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 좌우측 차선을 인식한 예를 나타낸 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법의 영역검출부에서 영역을 검출한 일 예를 나타내는 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법에 관한 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다
본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치는 차량의 전방, 후방, 좌측 및 우측에서 촬영되는 영상을 이용하여 어라운드 뷰 영상 화면으로 변환 및 합성하는 과정에서 이용되는 변환 비 등이 저장된 룩 업 테이블(LUT, Look Up Table)의 변환 비등의 정보를 변환함으로써 공차를 보정할 수 있다.
즉, 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치는 룩 업 테이블 값을 보정함으로써, 어라운드 뷰 영상 화면으로 변환 및 합성된 영상의 정합성을 높일 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템에 관한 도면이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 카메라(110), 카메라 공차 보정 장치(120) 및 합성영상 제공부(130)를 포함한다.
카메라(110)는 차량에 설치되어 차량 주변 영상을 획득한다.
구체적으로 카메라(110)는 전방카메라(112), 후방카메라(114), 좌측카메라(116) 및 우측카메라(110)를 포함할 수 있다.
전방카메라(112)는 차량의 전방을 촬영하는 카메라(110)이며, 후방카메라(114)는 차량의 후방을 촬영하는 카메라(110)이다.
좌측카메라(116)는 차량의 좌측을 촬영하는 카메라(110)이며, 우측카메라(110)는 차량의 우측을 촬영하는 카메라(110)이다.
즉, 카메라(110)는 차량의 주변인 전방, 후방, 우측 및 좌측의 영상을 촬영하고, 촬영된 영상은 어라운드 뷰 영상을 생성하는데 이용된다.
구체적으로 카메라(110)에서 수집된 정보는 합성영상 제공부(130)에서 합성되어 어라운드 뷰 영상으로 생성된다. 합성되는 과정에서 높은 정합성을 가지기 위하여 공차를 보정한다.
차량의 주행 중에 발생하는 진동, 사이드 미러의 반복적인 폴딩 또는 트렁크의 반복적인 여닫음으로 인하여 발생하는 누적 공차는 카메라 공차 보정 장치(120)에서 보정한다.
도 2는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치에 관한 블록도이다.
도 2를 참조하여 카메라 공차 보정 장치(120)에 관하여 구체적으로 설명하면, 카메라(110) 차 보정 장치는 차선인식부(121), 차선폭산출부(123), 영상변환부(125), 영역검출부(127) 및 공차보정부(129)를 포함한다.
차선인식부(121)는 카메라(110)에서 촬영된 영상을 이용하여 차선을 인식한다.
카메라(110)에서 차선인식 기능을 구비하고 있는 경우, 차선인식부(121)는 카메라(110)에서 인식한 차선 정보를 획득할 수 있다.
구체적으로, 차선인식부(121)는 전방카메라(112)에서 촬영된 영상을 이용하여 차선을 인식하고, 후방카메라(114)에서 촬영된 영상을 이용하여 차선을 인식한다.
도 3은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 전후방 차선을 인식한 일 예를 나타낸 도면이다.
도 3을 참조하면, 도 3의 (A)는 전방카메라(112)에서 촬영된 영상을 이용하여 차선을 인식한 일 예를 나타내고 있으며, 도 3의 (B)는 후방카메라(114)에서 촬영된 영상을 이용하여 차선을 인식한 일 예를 나타내고 있다. 차선인식부(121)가 카메라(110)에서 촬영된 영상 중 차선을 인식하는 방법은 기존에 공지된 기술을 이용할 수 있다.
또한, 차선인식부(121)는 좌측카메라(116)에서 촬영된 영상을 이용하여 좌측차선을 인식하고, 우측카메라(110)에서 촬영된 영상을 이용하여 우측차선을 인식한다.
도 4는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치의 차선인식부에서 좌우측 차선을 인식한 예를 나타낸 도면이다.
도 4를 참조하면, 도 4의 (A)는 좌측카메라(116)에서 촬영된 영상을 이용하여 좌측 차선을 인식한 일 예를 나타내고 있으며, 도 4의 (B)는 우측카메라(110)에서 촬영된 영상을 이용하여 우측 차선을 인식한 일 예를 나타내고 있다. 앞서 설명한 바와 같이 차선인식부(121)가 카메라(110)에서 촬영된 영상 중 차선을 인식하는 방법은 기존에 공지된 기술을 이용할 수 있다.
또한, 차선인식부(121)는 인식된 차선을 카메라(110)의 초점거리, 왜곡 계수 등으로 구성된 카메라(110)의 내부 파라미터와 외부 파라미터를 이용하여 실세계 좌표계의 좌표로 변환할 수 있다. 실세계 좌표계의 좌표란 현실에서 적용되는 센티미터(cm), 미리미터(mm) 등의 단위로 이루어진 좌표를 의미한다. 즉, 차선인식부(121)에서 인식한 차선은 카메라(110)에서 획득한 영상에서 인식된 것으로 픽셀단위이며, 이를 차선인식부(121)에서 픽셀단위의 좌표에서 센티미터나 미리미터 등의 현실에서 적용되는 단위의 좌표로 변환할 수 있다.
차선인식부(121)에서 좌표를 변환하는 과정에서 변환 비 등 변환에 필요한 데이터를 저장하고 있는 룩 업 테이블(LUT, Look UP Table)이 이용될 수 있다. 룩 업 테이블은 출고 과정에서 미리 설정될 수 있다.
차선폭산출부(123)는 차선인식부(121)에서 인식된 차선 또는 획득된 차선 정보를 이용하여 차선의 폭을 산출한다. 차선폭산출부(123)에서 산출되는 차선폭은 좌우 차선 내측 엣지 간의 거리로 정의할 수 있다. 내측 엣지 간의 거리는 카메라(110)의 내부 파라미터, 카메라(110)의 외부 파라미터를 이용하여 산출할 수 있다.
차선폭산출부(123)는 인식된 전방 차선에서 차선폭을 산출하고, 인식된 후방 차선에서 차선폭을 산출한다. 또한, 차선폭산출부(123)는 좌측차선 및 우측차선을 이용하여 차선폭을 산출할 수 있다.
영상변환부(125)는 카메라(110)에서 촬영된 영상을 합성하여 어라운드 뷰 영상으로 변환한다.
구체적으로 영상변환부(125)는 카메라(110)에서 촬영된 영상을 합성하여 어라운드 뷰 영상으로 변환하는 과정에서 영상 내의 차선이 차선 폭에 맞도록 스케일(Scale) 보정을 수행할 수 있다. 영상변환부(125)가 스케일 보정을 수행하는 과정에서 룩 업 테이블에 저장된 스케일 보정 변환 비 등의 정보를 이용할 수 있다.
영역검출부(127)는 각각의 카메라(110)에서 촬영된 영상에서 공통되는 영역을 검출한다.
구체적으로, 영역검출부(127)는 전방카메라(112)에서 촬영된 영상과 좌측카메라(116)에서 촬영된 영상 중 공통된 영역인 차량의 좌측 상단 부분의 촬영 영역을 검출할 수 있다.
또한, 영역검출부(127)는 전방카메라(112)에서 촬영된 영상과 우측카메라(118)에서 촬영된 영상 중 공통된 영역인 차량의 우측 상단 부분을 촬영 영역을 검출할 수 있다.
마찬가지로 영역검출부(127)는 후방카메라(114)에서 촬영된 영상과 좌측카메라(116)에서 촬영된 영상 중 공통된 영역인 차량의 좌측 하단 부분의 촬영 영역을 검출할 수 있다.
또한, 영역검출부(127)는 후방카메라(114)에서 촬영된 영상과 우측카메라(118)에서 촬영된 영상 중 공통된 영역인 차량의 우측 하단 부분을 촬영 영역을 검출할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법의 영역검출부에서 영역을 검출한 일 예를 나타내는 도면이다.
도 5를 참조하면, 전방카메라(112)에서 촬영된 영상 중 타원형으로 표시된 부분과 좌측카메라(116)에서 촬영된 영상 중 동그라미로 표시된 부분이 공통된 부분을 촬영한 공통 영역이 된다. 따라서, 이러한 공통 영역을 영역검출부(127)가 검출한다.
공차보정부(129)는 누적된 공차를 보정한다.
구체적으로 공차보정부(129)는 누적 공차로 낮아지는 영상 정합성을 높이기 위하여 룩 업 테이블에 저장된 변환 비 등의 정보를 변경함으로써 누적 공차로 인하여 발생되는 문제점을 해결할 수 있다.
보다 구체적으로 공차보정부(129)는 영역검출부(127)에서 검출된 각 카메라(110)에서 촬영된 영상들 중 공통 영역에서 꼭지점이나 엣지 등의 특징점을 인식하고 인식된 특징점이 매칭되도록 공차를 보정한다. 공차보정부(129)가 특징점을 매칭하는 것은 앞서 산출한 실세계 좌표계의 좌표가 매칭되도록 공차를 보정하는 것이 바람직하다.
즉, 공차보정부(129)는 전방카메라(112) 및 좌측카메라(116)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.
또한, 공차보정부(129)는 전방카메라(112) 및 우측카메라(110)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.
또한, 공차보정부(129)는 후방카메라(114) 및 좌측카메라(116)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.
또한, 공차보정부(129)는 후방카메라(114) 및 우측카메라(110)에서 촬영된 영상을 이용하여 영역검출부(127)에서 검출된 공통 영역 중 특징점의 실세계 좌표가 일치되도록 룩 업 테이블의 변환 비를 수정할 수 있다.
본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치(120)를 이용하면 차량의 어라운드 뷰 모니터링 시스템(100)에서 이용되는 카메라(110)의 누적 공차 문제를 해소할 수 있다.
따라서, 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치(120)를 이용하는 어라운드 뷰 모니터링 시스템(100)은 차량의 운행 중에 누적되는 카메라(110) 공차에도 불구하고 정합성 높은 어라운드 뷰 영상을 운전자에게 제공할 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법에 관한 흐름도이다.
도 6을 참조하여 본 발명의 바람직한 실시예에 따른 카메라 공차 보정 방법에 관하여 설명하면, 차선인식부(121)가 카메라(110)에서 촬영된 영상에서 차선을 인식하거나 카메라(110)에서 인식된 차선 정보를 획득한다(S610 단계).
차선폭산출부(123)가 차선인식부(121)에서 인식하거나 획득된 차선 정보로부터 차선폭을 산출한다(S620 단계).
영상변환부(125)가 산출된 차선폭을 기준으로 카메라(110)에서 촬영된 영상을 탑 뷰(Top View) 영상 또는 어라운드 뷰 영상으로 변환한다(S630 단계).
영역검출부(127)가 각 카메라(110)에서 촬영된 영상에서 공통적인 영역을 검출한다(S640 단계).
공차보정부(129)가 공통적인 영역의 특징점의 좌표가 서로 매칭되도록 카메라(110) 공차를 보정하기 위하여 룩 업 테이블 값을 수정한다(S650 단계).
더불어, 본 발명의 바람직한 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 수정된 룩 업 테이블 값을 이용하여 카메라(110) 공차가 보정된 어라운드 뷰 영상을 운전자에게 제공할 수 있다(S660 단계).
본 발명의 바람직한 실시예에 따른 카메라 공차 보정 장치(120)의 블록도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

  1. 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 방법에 있어서,
    전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (a)단계;
    좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 (b)단계;
    상기 (a)단계 및 상기 (b)단계에서 인식된 차선을 이용하여 공통되는 영역을 검출하는 (c)단계; 및
    상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 (d)단계를 포함하는 것을 특징으로 하는 카메라 공차 보정 방법.
  2. 제 1 항에 있어서,
    상기 카메라 공차 보정 방법은,
    상기 (a)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (e)단계;
    상기 (b)단계에서 인식된 차선을 이용하여 차선 폭을 산출하는 (f)단계; 및
    상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 (g)단계를 더 포함하며,
    상기 (c)단계는,
    상기 공통되는 영역을 검출하는 것은 상기 (g)단계에서 변환된 탑 뷰 영상에서 검출하는 것을 특징으로 하는 카메라 공차 보정 방법.
  3. 제 2 항에 있어서,
    상기 (g)단계는,
    상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정하는 것을 특징으로 하는 카메라 공차 보정 방법.
  4. 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)의 카메라 누적 공차 보정 장치에 있어서,
    전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 차선인식부;
    상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및
    상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함하는 것을 특징으로 하는 카메라 공차 보정 장치.
  5. 제 4 항에 있어서,
    상기 카메라 공차 보정 장치는,
    상기 인식된 차선을 이용하여 차선 폭을 산출하는 차선폭산출부; 및
    상기 산출된 차선 폭을 기준으로 탑 뷰(Top View) 영상으로 변환하는 영상변환부를 더 포함하며,
    상기 영역검출부는, 상기 탑 뷰 영상에서 공통 영역을 검출하는 것을 특징으로 하는 카메라 공차 보정 장치.
  6. 제 5 항에 있어서,
    상기 영상변환부는,
    상기 탑 뷰 영상으로 변환하는 과정에서 변환된 영상의 차선이 상기 산출된 차선 폭과 일치되도록 스케일 보정하는 것을 특징으로 하는 카메라 공차 보정 장치.
  7. 차량에 전방, 후방, 좌측 및 우측에 설치되어 상기 차량 주변 영상을 촬영하는 카메라;
    상기 카메라의 누적 공차를 보정하는 카메라 누적 공차 보정 장치; 및
    상기 카메라 누적 공차 보정 장치에서 공차가 보정된 카메라에서 수집된 영상을 합성하여 어라운드 뷰 영상을 생성하여 운전자에게 제공하는 합성영상 제공부를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  8. 제 7 항에 있어서,
    상기 카메라 누적 공차 보정 장치는,
    전방카메라 또는 후방카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하고, 좌측카메라 또는 우측카메라로 중 적어도 어느 하나에서 촬영된 영상을 이용하여 차선을 인식하는 차선인식부;
    상기 인식된 차선을 이용하여 공통되는 영역을 검출하는 영역검출부; 및
    상기 검출된 공통되는 영역의 좌표가 일치되도록 카메라 공차를 보정하는 공차보정부를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
KR1020120100131A 2012-09-10 2012-09-10 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 KR101987634B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120100131A KR101987634B1 (ko) 2012-09-10 2012-09-10 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120100131A KR101987634B1 (ko) 2012-09-10 2012-09-10 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템

Publications (2)

Publication Number Publication Date
KR20140033803A true KR20140033803A (ko) 2014-03-19
KR101987634B1 KR101987634B1 (ko) 2019-06-11

Family

ID=50644543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120100131A KR101987634B1 (ko) 2012-09-10 2012-09-10 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR101987634B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128077A (ko) * 2015-04-28 2016-11-07 한국전자통신연구원 차량 센서의 자동 보정 장치 및 그 방법
KR101709009B1 (ko) * 2015-08-18 2017-02-21 주식회사 와이즈오토모티브 어라운드 뷰 왜곡 보정 시스템 및 방법
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR20170133013A (ko) * 2016-05-25 2017-12-05 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
US9840197B2 (en) 2014-06-10 2017-12-12 Lg Electronics Inc. Apparatus for providing around view and vehicle including the same
KR20170138166A (ko) * 2016-06-07 2017-12-15 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법
KR20180065758A (ko) * 2016-12-08 2018-06-18 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
WO2019054636A1 (ko) * 2017-09-13 2019-03-21 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
KR102052013B1 (ko) 2019-06-12 2019-12-04 한국해양과학기술원 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법
WO2020013353A1 (ko) * 2018-07-10 2020-01-16 엘지전자 주식회사 차량용 어라운드 뷰 영상 제공 장치 및 차량
KR20200047487A (ko) * 2020-04-27 2020-05-07 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061497A (ko) 2019-11-19 2021-05-28 현대모비스 주식회사 차량의 서라운드 뷰 모니터링 시스템 및 방법
US11760262B2 (en) 2019-11-19 2023-09-19 Hyundai Mobis Co., Ltd. Surround view monitoring system and method for vehicle, and parking assist control system of vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9840197B2 (en) 2014-06-10 2017-12-12 Lg Electronics Inc. Apparatus for providing around view and vehicle including the same
KR20160128077A (ko) * 2015-04-28 2016-11-07 한국전자통신연구원 차량 센서의 자동 보정 장치 및 그 방법
KR101709009B1 (ko) * 2015-08-18 2017-02-21 주식회사 와이즈오토모티브 어라운드 뷰 왜곡 보정 시스템 및 방법
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR20170133013A (ko) * 2016-05-25 2017-12-05 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
KR20170138166A (ko) * 2016-06-07 2017-12-15 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법
KR20210130688A (ko) * 2016-12-08 2021-11-01 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
KR20180065758A (ko) * 2016-12-08 2018-06-18 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
WO2019054636A1 (ko) * 2017-09-13 2019-03-21 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
CN109791700A (zh) * 2017-09-13 2019-05-21 威达斯高级驾驶辅助设备有限公司 车辆相机校准装置及其方法
KR20190030242A (ko) * 2017-09-13 2019-03-22 ㈜베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
US11398051B2 (en) 2017-09-13 2022-07-26 Vadas Co., Ltd. Vehicle camera calibration apparatus and method
WO2020013353A1 (ko) * 2018-07-10 2020-01-16 엘지전자 주식회사 차량용 어라운드 뷰 영상 제공 장치 및 차량
KR102052013B1 (ko) 2019-06-12 2019-12-04 한국해양과학기술원 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법
KR20200047487A (ko) * 2020-04-27 2020-05-07 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Also Published As

Publication number Publication date
KR101987634B1 (ko) 2019-06-11

Similar Documents

Publication Publication Date Title
KR101987634B1 (ko) 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
US9412168B2 (en) Image processing device and image processing method for camera calibration
JP5049300B2 (ja) 障害物検出表示装置
US20210110188A1 (en) Stereo imaging device
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
KR101519209B1 (ko) Avm 영상 제공 장치 및 방법
JP4193886B2 (ja) 画像表示装置
US20150302561A1 (en) Method, apparatus and system for performing geometric calibration for surround view camera solution
US10148938B2 (en) Vehicle-mounted image recognition device to set a stereoscopic-vision and monocular-vision image areas
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
WO2017134982A1 (ja) 撮像装置
KR20190021227A (ko) 신호 처리 장치, 촬상 장치, 및 신호 처리 방법
US9589339B2 (en) Image processing apparatus and control method therefor
CN107862268A (zh) 环视车道线识别方法、装置及计算机可读存储介质
KR102528002B1 (ko) 탑뷰 영상 생성 장치 및 그 방법
JP2015194487A (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
KR20140048539A (ko) 차량의 주변영상을 이용한 객체 인식장치 및 방법
JP2015232442A (ja) 画像処理装置及び車両前方監視装置
EP2770478A2 (en) Image processing unit, imaging device, and vehicle control system and program
JPH0993430A (ja) 画像合成方法及び画像合成装置
KR102177878B1 (ko) 영상 처리 장치 및 방법
KR102029335B1 (ko) 왜곡 영상 보정 장치 및 방법
KR20100046544A (ko) 영상 왜곡 보정 방법 및 장치
KR20170136828A (ko) 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체
JP2009077022A (ja) 運転支援システム及び車両

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant