KR101957256B1 - 차량 카메라 장착 각도 보정 장치 및 방법 - Google Patents

차량 카메라 장착 각도 보정 장치 및 방법 Download PDF

Info

Publication number
KR101957256B1
KR101957256B1 KR1020120087343A KR20120087343A KR101957256B1 KR 101957256 B1 KR101957256 B1 KR 101957256B1 KR 1020120087343 A KR1020120087343 A KR 1020120087343A KR 20120087343 A KR20120087343 A KR 20120087343A KR 101957256 B1 KR101957256 B1 KR 101957256B1
Authority
KR
South Korea
Prior art keywords
image
coordinate
image coordinates
bumper
vehicle
Prior art date
Application number
KR1020120087343A
Other languages
English (en)
Other versions
KR20140021244A (ko
Inventor
전미진
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120087343A priority Critical patent/KR101957256B1/ko
Publication of KR20140021244A publication Critical patent/KR20140021244A/ko
Application granted granted Critical
Publication of KR101957256B1 publication Critical patent/KR101957256B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 주차 가이드 시스템(PGS, Parking Guide System)에서 차량의 카메라 장착 각도가 변경되어 카메라 영상과 차량 예상 진입 궤적 및 주차 안내선의 매칭 정확도가 저감되는 것을 보정하는 차량 카메라 장착 각도 보정 장치 및 방법에 관한 것이다. 본 발명에 따른 차량 카메라 장착 각도 보정 장치는, 차량의 카메라로부터 영상 이미지를 수신하여 지평선의 이미지 좌표 및 범퍼의 이미지 좌표를 검출하는 좌표검출부; 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 미리 저장하고 있는 좌표저장부; 상기 좌표검출부에서 검출된 지평선 및 범퍼의 이미지 좌표와 상기 좌표저장부에 저장된 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 각각 비교하여 차이가 존재하는지 여부를 판단하는 비교판단부; 상기 비교판단부의 판단이 차이가 존재한다고 판단한 경우, 상기 존재하는 차이만큼 상기 차량의 카메라 장착 각도 정보를 보정하는 보정부를 포함될 수 있다.

Description

차량 카메라 장착 각도 보정 장치 및 방법{Apparatus and Method for Compensating Angle of Camera Mounting Vehicle}
본 발명은 차량 카메라 장착 각도 보정 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 주차 가이드 시스템(PGS, Parking Guide System)에서 차량의 카메라 장착 각도가 변경되어 카메라 영상과 차량 예상 진입 궤적 및 주차 안내선의 매칭 정확도가 저감되는 것을 보정하는 차량 카메라 장착 각도 보정 장치 및 방법에 관한 것이다.
많은 운전자들이 시야확보의 곤란성이나 공간파악의 곤란성 등으로 인하여 후방 주차에 어려움을 느낀다.
이러한 어려움을 해소하고자, 최근 차량에는 주차 가이드 시스템을 구비하는 경우가 증가하고 있다.
주차 가이드 시스템은 전방 또는 후방 카메라를 이용하여 주차 시 운전자에게 장애물 위치 및 주차 방법을 알려주어 주차를 보조하는 시스템이다.
주차 가이드 시스템은 차량 후방에 장애물이 접근하면 소리로 경고할 수 있으며, 주차 가이드 시스템은 핸들 조작에 따라 차량이 움직이게 될 경로를 예상하여 디스플레이 상으로 출력할 수도 있다.
이러한 주차 가이드 시스템은 후방 주차의 어려움을 해소하는데 도움이 된다.
다만, 주차 가이드 시스템에 이용되는 차량의 카메라 장착 각도가 어떠한 이유로든지 변경되는 경우, 주차 가이드 시스템은 변경된 카메라 장착 각도를 고려하여 차량의 예상 진입 경로 등을 제공하지 않으므로 주차 안내선 매칭 정확도가 저감될 수 있다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 주차 가이드 시스템(PGS, Parking Guide System)에서 차량의 카메라 장착 각도가 변경되어 카메라 영상과 차량 예상 진입 궤적 및 주차 안내선의 매칭 정확도가 저감되는 것을 방지하기 위하여 카메라 장착 각도를 보정하여 정확한 주차 정보를 운전자에게 제공하는 차량 카메라 장착 각도 보정 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 문제점을 해결하기 위한 차량 카메라 장착 각도 보정 장치는, 차량의 카메라로부터 영상 이미지를 수신하여 지평선의 이미지 좌표 및 범퍼의 이미지 좌표를 검출하는 좌표검출부; 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 미리 저장하고 있는 좌표저장부; 상기 좌표검출부에서 검출된 지평선 및 범퍼의 이미지 좌표와 상기 좌표저장부에 저장된 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 각각 비교하여 차이가 존재하는지 여부를 판단하는 비교판단부; 상기 비교판단부의 판단이 차이가 존재한다고 판단한 경우, 상기 존재하는 차이만큼 상기 차량의 카메라 장착 각도 정보를 보정하는 보정부를 포함될 수 있다.
바람직하게는, 상기 좌표저장부는, 상기 지평선과 범퍼 각각의 위치에 대한 월드 좌표를 저장하고 있으며, 상기 차량 카메라 장착 각도 보정 장치는, 상기 보정된 카메라 장착 각도 정보를 상기 좌표저장부에 저장된 월드 좌표에 적용하여 상기 좌표검출부에서 검출된 이미지 좌표 및 범퍼의 이미지 좌표를 재 산출하는 이미지좌표 재산출부를 포함될 수 있다.
바람직하게는, 상기 이미지좌표 재산출부는, 상기 이미지좌표 재산출부에서 상기 재산출된 이미지 좌표가 상기 좌표검출부에서 검출된 이미지 좌표와 차이가 존재하는지 판단하며, 상기 차량 카메라 장착 각도 보정 장치는, 상기 재산출된 이미지 좌표와 상기 좌표검출부에서 검출된 이미지 좌표가 차이가 존재하지 않는 경우, 온 스크린 디스플레이(OSD, On Screen Display)에 재산출된 이미지좌표를 적용하는 디스플레이부를 더 포함될 수 있다.
바람직하게는, 상기 좌표검출부는, 상기 수신한 영상 이미지를 좌측, 중앙 및 우측의 세 가지 구역으로 구분하여 각각의 구역에서 적어도 하나 이상의 상기 지평선의 이미지 좌표 및 상기 범퍼의 이미지 좌표를 검출될 수 있다.
바람직하게는, 상기 비교판단부는, 상기 중앙 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 상하 방향의 변화가 존재하는 것으로 판단하고, 상기 좌측 또는 우측 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 회전방향 또는 좌우방향의 변화가 존재하는 것으로 판단될 수 있다.
상기한 문제점을 해결하기 위한 차량 카메라 장착 각도 보정 방법은, 차량의 카메라로부터 영상 이미지를 수신하여 지평선의 이미지 좌표 및 범퍼의 이미지 좌표를 검출하는 좌표검출단계; 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 미리 저장하고 있는 좌표저장단계; 상기 좌표검출단계에서 검출된 지평선 및 범퍼의 이미지 좌표와 상기 좌표저장단계에 저장된 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 각각 비교하여 차이가 존재하는지 여부를 판단하는 비교판단단계; 상기 비교판단단계의 판단이 차이가 존재한다고 판단한 경우, 상기 존재하는 차이만큼 상기 차량의 카메라 장착 각도 정보를 보정하는 보정단계를 포함될 수 있다.
바람직하게는, 상기 좌표저장단계는, 상기 지평선과 범퍼 각각의 위치에 대한 월드 좌표를 저장하고 있으며, 상기 차량 카메라 장착 각도 보정 방법은,상기 보정된 카메라 장착 각도 정보를 상기 좌표저장단계에 저장된 월드 좌표에 적용하여 상기 좌표검출단계에서 검출된 이미지 좌표 및 범퍼의 이미지 좌표를 재 산출하는 이미지좌표 재산출단계를 포함될 수 있다.
바람직하게는, 상기 이미지좌표 재산출단계는, 상기 이미지좌표 재산출단계에서 상기 재산출된 이미지 좌표가 상기 좌표검출단계에서 검출된 이미지 좌표와 차이가 존재하는지 판단하며, 상기 차량 카메라 장착 각도 보정 방법은, 상기 재산출된 이미지 좌표와 상기 좌표검출단계에서 검출된 이미지 좌표가 차이가 존재하지 않는 경우, 온 스크린 디스플레이(OSD, On Screen Display)에 재산출된 이미지좌표를 적용하는 디스플레이단계를 더 포함될 수 있다.
바람직하게는, 상기 좌표검출단계는, 상기 수신한 영상 이미지를 좌측, 중앙 및 우측의 세 가지 구역으로 구분하여 각각의 구역에서 적어도 하나 이상의 상기 지평선의 이미지 좌표 및 상기 범퍼의 이미지 좌표를 검출될 수 있다.
바람직하게는, 상기 비교판단단계는, 상기 중앙 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 상하 방향의 변화가 존재하는 것으로 판단하고, 상기 좌측 또는 우측 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 회전방향 또는 좌우방향의 변화가 존재하는 것으로 판단될 수 있다.
본 발명은 주차 가이드 시스템(PGS, Parking Guide System)에서 차량의 카메라 장착 각도가 변경되어 카메라 영상과 차량 예상 진입 궤적 및 주차 안내선의 매칭 정확도가 저감되는 것을 방지할 수 있다.
따라서, 본 발명은 보다 정확한 차량의 예상 진입 경로 등의 주차 정보를 운전자에게 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 차량 카메라 장착 각도 보정 장치에 관한 블록도이다.
도 2는 본 발명에 따른 차량 카메라 장착 각도 보정 장치의 좌표검출부에서 좌측, 중앙 및 우측의 세 구역으로 나누어 지평선 이미지 좌표 및 범퍼 이미지 좌표를 검출하는 일 예를 나타내는 도면이다.
도 3a는 본 발명에 따른 차량 카메라 장착 보정 장치의 비교판단부의 판단 결과가 카메라 장착 각도가 상하 방향으로 변화한 것으로 판단한 일 예를 설명하는 도면이다.
도 3b는 본 발명에 따른 차량 카메라 장착 보정 장치의 비교판단부의 판단 결과가 카메라 장착 각도가 좌우 방향으로 변화한 것으로 판단한 일 예를 설명하는 도면이다.
도 3c는 본 발명에 따른 차량 카메라 장착 보정 장치의 비교판단부의 판단 결과가 카메라 장착 각도가 회전 방향으로 변화한 것으로 판단한 일 예를 설명하는 도면이다.
도 4는 본 발명에 따른 차량 카메라 장착 각도 보정 장치의 비교판단부에서 판단 결과에 따라 상하, 좌우 또는 회전 방향으로 변화하는 모습을 나타낸 예시도이다.
도 5는 본 발명의 바람직한 실시예에 따른 차량 카메라 장착 보정 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 바람직한 실시예에 따른 차량 카메라 장착 각도 보정 장치에 관한 블록도이다.
도 1을 참조하면, 차량 카메라 장착 각도 보정 장치(100)는 좌표검출부(110), 좌표저장부(120), 비교판단부(130) 및 보정부(140)를 포함하며, 디스플레이부(150)를 더 포함할 수도 있다.
좌표검출부(110)는 차량의 카메라로부터 영상을 수신하여 지평선의 이미지 좌표 및 범퍼의 이미지 좌표를 검출한다.
구체적으로 좌표검출부(110)는 카메라영상 수신부(112), 지평선이미지좌표 검출부(114) 및 범퍼이미지좌표검출부(116)를 포함할 수 있다.
카메라영상 수신부(112)는 차량에 장착된 카메라와 유선 또는 무선으로 연결되어, 카메라에서 촬영된 영상 이미지 정보를 수신한다. 카메라영상 수신부(112)는 카메라에서 촬영된 영상 이미지 정보를 실시간으로 수신하는 것이 바람직하다.
지평선이미지좌표 검출부(114)는 영역 기반 기법이나 엣지 기반 기법 등을 이용한 지평선 검출 방법을 이용하여 카메라영상 수신부(112)에서 수신한 영상 이미지에서 지평선 이미지 좌표를 검출한다. 지평선 검출 기법은 항공기의 자세 제어나 위치 추정, 차선인식 분야 등에서 널리 적용되고 있는 공지된 기술을 이용할 수 있는 바, 구체적인 설명은 생략한다.
범퍼이미지좌표검출부(116)는 카메라영상 수신부(112)에서 수신한 영상 이미지에서 범퍼 이미지 좌표를 검출한다. 범퍼이미지좌표검출부(116)가 범퍼 이미지 좌표를 검출하는 방법은 지평선이미지좌표 검출부(114)가 지평선 이미지 좌표를 검출하는 방법을 이용하여 검출할 수 있다.
지평선이미지좌표 검출부(114)와 범퍼이미지좌표검출부(116)는 카메라영상 수신부(112)에서 카메라에서 촬영된 영상 이미지를 수신하는 순간 실시간으로 이미지 좌표를 검출하는 것이 바람직하다.
도 2는 본 발명에 따른 차량 카메라 장착 각도 보정 장치(100)의 좌표검출부에서 좌측, 중앙 및 우측의 세 구역으로 나누어 지평선 이미지 좌표 및 범퍼 이미지 좌표를 검출하는 일 예를 나타내는 도면이다.
도 2를 참조하면, 지평선이미지좌표 검출부(114)와 범퍼이미지좌표검출부(116)에서 검출되는 지평선 이미지 좌표와 범퍼 이미지 좌표는 각각 좌측, 중앙 및 우측의 세 구역으로 나누어 N개의 좌표를 검출함이 바람직하다.
도 2의 (Hx1, Hy1), (Hx2, Hy2), ···, (Hxn, Hyn)는 지평선 이미지 좌표 N개를 나타낸 것이다. 도 2의 (Bx1, By1), (Bx2, By2), ···, (Bxn, Byn)는 범퍼 이미지 좌표 N개를 나타낸 것이다.
좌측, 중앙 및 우측의 세 구역으로 나누어 각각의 구역의 변화에 따라서 적합한 보정을 수행한다. 이러한 적합한 보정에 대해서는 추후 비교판단부(130) 및 보정부(140)에서 설명한다.
좌표저장부(120)는 지평선과 범퍼 각각의 위치에 대한 이미지 좌표와 지평선과 범퍼의 월드 좌표를 미리 저장해 둔다.
지평선 위치에 대한 이미지 좌표는 지평선이미지좌표 저장부(122)에 저장될 수 있다.
범퍼 위치에 대한 이미지 좌표는 범퍼이미지좌표 저장부(124)에 저장될 수 있다.
지평선 및 범퍼의 월드 좌표는 월드좌표 저장부(126)에 저장될 수 있다.
좌표저장부(120)가 저장하고 있는 지평선과 범퍼 각각의 위치에 대한 이미지 좌표와 지평선과 범퍼의 월드 좌표는 차량 개발 단계에서 차량 평가시 결정되는 값일 수 있다.
비교판단부(130)는 좌표검출부(110)에서 검출된 지평선 및 범퍼의 이미지 좌표와 상기 좌표저장부(120)에 저장된 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 각각 비교하여 차이가 존재하는지 여부를 판단한다.
비교판단부(130)에서 판단한 결과, 좌표간에 차이가 존재하는 경우, 카메라 장착 각도에 변화가 발생한 것으로 판단하고 보정부(140)에서 보정을 수행하도록 한다.
구체적으로, 비교판단부(130)는 중앙구역 비교부(132) 및 좌우측구역 비교부(134)를 포함할 수 있다.
도 3a는 본 발명에 따른 차량 카메라 장착 보정 장치의 비교판단부의 판단 결과가 카메라 장착 각도가 상하 방향으로 변화한 것으로 판단한 일 예를 설명하는 도면이고, 도 3b는 본 발명에 따른 차량 카메라 장착 보정 장치의 비교판단부의 판단 결과가 카메라 장착 각도가 좌우 방향으로 변화한 것으로 판단한 일 예를 설명하는 도면이며, 도 3c는 본 발명에 따른 차량 카메라 장착 보정 장치의 비교판단부의 판단 결과가 카메라 장착 각도가 회전 방향으로 변화한 것으로 판단한 일 예를 설명하는 도면이다.
도 3a를 참조하면, 중앙구역 비교부(132)는 좌표검출부(110)에서 검출된 이미지 좌표들 중에서 중앙 구역에서 검출된 Y값과 좌표저장부(120)에 저장된 이미지 좌표들의 Y값을 비교하여 차이가 발생하면 카메라 장착 각도가 상하 방향으로 변화가 발생한 것으로 판단할 수 있다.
좌우측구역 비교부(134)는 좌표검출부(110)에서 검출된 이미지 좌표들 중에서 좌측 구역 및 우측 구역에서 검출된 Y값과 좌표저장부(120)에 저장된 이미지 좌표들의 Y값을 비교하여 차이가 발생하면 카메라 장착 각도가 변화가 발생한 것으로 판단할 수 있다.
보다 상세하게, 도 3b를 참조하면, 좌우측구역 비교부(134)는 좌측 구역 또는 우측 구역의 지평선 이미지 좌표의 Y값과 좌표저장부(120)에 저장된 지평선 이미지 좌표의 Y값의 변화와 좌측 구역 또는 우측 구역의 범퍼 이미지 좌표의 Y값과 좌표저장부(120)에 저장된 범퍼 이미지 좌표의 Y값의 변화가 다른 방향으로 변화된 경우, 카메라 장착 각도가 좌우 방향으로 변화가 발생한 것으로 판단한다.
반면, 도 3c를 참조하면, 좌우측구역 비교부(134)는 좌측 구역 또는 우측 구역의 지평선 이미지 좌표의 Y값과 좌표저장부(120)에 저장된 지평선 이미지 좌표의 Y값의 변화와 좌측 구역 또는 우측 구역의 범퍼 이미지 좌표의 Y값과 좌표저장부(120)에 저장된 범퍼 이미지 좌표의 Y값의 변화가 같은 방향으로 변화된 경우, 카메라 장착 각도가 회전 방향으로 변화가 발생한 것으로 판단한다.
도 4는 본 발명에 따른 차량 카메라 장착 각도 보정 장치의 비교판단부에서 판단 결과에 따라 상하, 좌우 또는 회전 방향으로 변화하는 모습을 나타낸 예시도이다.
도 4를 참조하면, 카메라 장착 각도가 상하로 변화 했다는 것은 카메라 장착 각도가 원래 각도에서 위나 아래 방향으로 변화한 것을 의미하며, 좌우 방향으로 변화했다는 것은 차량의 좌측 각도 또는 우측 각도만큼 변화가 발생한 것을 의미한다. 회전 방향으로 변화했다는 것은, 그림과 같이 특정 방향으로 각도가 형성된 것이다.
비교판단부(130)에서 판단한 결과, 좌표검출부(110)에서 검출된 지평선 이미지 좌표와 좌표저장부(120)에 저장된 지평선 위치에 대한 이미지 좌표간에 차이가 없고, 좌표검출부(110)에서 검출된 범퍼 이미지 좌표와 좌표저장부(120)에 저장된 범퍼 위치에 대한 이미지 좌표간에 차이가 없는 경우, 카메라 장착 각도에 문제가 없는 것으로 판단한다.
비교판단부(130)가 카메라 장착 각도에 문제가 없는 것으로 판단한 경우, 보정부(140)에서 카메라 장착 각도 변화에 따른 보정은 수행되지 않을 수 있다.
보정부(140)는 비교판단부(130)의 판단 결과, 좌표간에 차이가 존재하는 경우, 카메라 장착 각도에 변화가 발생한 것으로 보아, 카메라 장착 각도 변화에 따른 차이를 보정한다.
구체적으로 보정부(140)는 카메라파라미터 보정부(142) 및 이미지좌표 재산출부(144)를 포함할 수 있다.
카메라파라미터 보정부(142)는 비교판단부(130)의 비교 판단 결과에 따라서 차량 카메라의 파라미터를 보정한다.
즉, 비교판단부(130)의 비교 판단 결과가 카메라 장착 각도가 상하방향으로 변화한 것이라는 판단인 경우, 카메라파라미터 보정부(142)는 카메라 상하방향의 각도와 연관된 카메라 파라미터를 변화량만큼 조절한다. 변화량은 비교판단부(130)에서 검출된 이미지좌표 Y값과 저장된 이미지좌표 Y값의 차이값을 이용하여 산출할 수 있다.
비교판단부(130)의 비교 판단 결과가 카메라 장착 각도가 좌우방향으로 변화한 것이라는 판단인 경우, 카메라파라미터 보정부(142)는 카메라 좌우방향의 각도와 연관된 카메라 파라미터를 변화량만큼 조절한다
비교판단부(130)의 비교 판단 결과가 카메라 장착 각도가 회전방향으로 변화한 것이라는 판단인 경우, 카메라파라미터 보정부(142)는 카메라 회전방향의 각도와 연관된 카메라 파라미터를 변화량만큼 조절한다.
이미지좌표 재산출부(144)는 카메라파라미터 보정부(142)에서 카메라 파라미터를 보정한 후, 카메라 파라미터가 보정된 카메라 장착 각도 정보를 좌표저장부(120)의 월드좌표 저장부에 저장된 월드 좌표에 적용하여 지평선 및 범퍼의 이미지 좌표를 재 산출한다.
이미지좌표 재산출부(144)는 재 산출된 이미지 좌표와 좌표검출부(110)에서 검출되는 이미지 좌표와 비교하여 차이가 존재하는지 여부를 판단할 수 있다.
이미지좌표 재산출부(144)에서 차이가 존재하니 않는다고 판단한 경우, 카메라파라미터 보정부(142)에서 수행한 보정은 적합한 보정인 것이 되는 바, 디스플레이부(150)는 차량의 예상 진입 경로 등의 보정된 카메라 장착 각도 정보를 이용하여 표시하고자 하는 온 스크린 디스플레이(OSD, On Screen Display)의 월드좌표에 적용하여 재산출한 이미지 좌표를 주차 가이드 시스템에 적용하도록 할 수 있다.
본 발명에 따른 차량 카메라 장착 각도 보정 장치(100)는 주차 가이드 시스템에 적용될 수 있다.
본 발명에 따른 차량 카메라 장착 각도 보정 장치(100)는 차량의 카메라 장착 각도가 변경되어 카메라 영상과 차량 예상 진입 궤적 및 주차 안내선의 매칭 정확도가 저감되는 것을 방지할 수 있다. 따라서, 본 발명은 보다 정확한 차량의 예상 진입 경로 등의 주차 정보를 운전자에게 제공할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 차량 카메라 장착 보정 방법을 설명하기 위한 흐름도이다.
도 5를 참조하여 차량 카메라 장착 보정 방법을 설명하면, 카메라영상 수신부(112)가 차량의 카메라가 수집한 영상 이미지를 획득한다(S505 단계).
지평선이미지좌표 검출부(114)가 카메라영상 수신부(112)에서 획득한 영상 이미지에서 지평선 이미지 좌표를 검출하고, 범퍼이미지좌표검출부(116)가 카메라영상 수신부(112)에서 획득한 영상 이미지에서 범퍼 이미지 좌표를 검출한다(S510 단계). 이미지 좌표 검출은 영상 이미지를 좌측, 우측 및 중앙의 세 구역 또는 그 이상의 세분화된 구역으로 나누어 좌표를 구하는 것이 바람직하다.
비교판단부(130)가 지평선이미지좌표 검출부(114) 및 범퍼이미지좌표검출부(116)에서 검출된 이미지 좌표와 좌표저장부(120)에 미리 저장된 이미지 좌표와 비교한다(S515 단계).
비교판단부(130)는 중앙 구역에서 검출된 이미지 좌표와 미리 저장된 이미지 좌표와 차이가 발생하는지 여부를 판단한다(S520 단계).
비교판단부(130)는 비교 결과가 중앙 구역에서 검출된 이미지 좌표와 미리 저장된 이미지 좌표와 차이가 발생한 경우, 차량의 카메라 장착 각도가 상하 방향의 변화가 존재한 것으로 판단한다(S525 단계). 비교판단부(130)가 상하 방향의 변화가 존재한 것으로 판단한 경우, 보정부(140)가 차량 카메라의 상하 방향 각도 조절과 연관된 파라미터를 보정한다(S530 단계).
보정부(140)에서 차량 카메라의 상하 방향 각도 조절과 연관된 파라미터를 보정한 후, 비교판단부(130)는 비교 결과가 좌측 또는 우측 구역에서 검출된 이미지 좌표와 미리 저장된 이미지 좌표와 차이가 발생하였는지 여부를 판단한다(S535 단계).
비교판단부(130)는 비교 결과가 좌측 또는 우측 구역에서 검출된 이미지 좌표와 미리 저장된 이미지 좌표와 차이가 발생한 경우(S535 단계), 지평선 이미지 좌표 Y값의 차이의 방향과 범퍼 이미지 좌표 Y값의 차이의 방향이 동일한지를 판단하여(S540 단계), 동일한 경우, 차량의 카메라 장착 각도가 회전 방향으로 변화가 존재한 것으로 판단한다(S545 단계). 회전 방향으로 변화가 존재한 것으로 판단되면, 보정부(140)는 차량 카메라의 회전 방향 각도 조절과 연관된 파라미터를 보정한다.
동일하지 않은 경우 차량의 카메라 장착 각도가 좌우 방향의 변화가 존재한 것으로 판단한다(S555 단계). 좌우 방향의 변화가 존재한 것으로 판단되면, 차량 카메라의 좌우방향 각도조절과 연관된 파라미터를 보정한다(S560 단계).
이미지좌표 재산출부(144)는 보정된 카메라 장착 각도 정보를 좌표저장부(120)에 저장된 월드좌표에 적용하여 이미지 좌표를 재산출한다(S565 단계).
또한, 이미지좌표 재산출부(144)는 재산출한 이미지 좌표를 좌표검출부(110)에서 실시간으로 검출한 이미지좌표와 비교하여 차이가 없다면, 재산출된 이미지 좌표를 적용한 정보를 차량 예상 경로 등을 산출하는 주차 가이드 시스템 등 필요한 곳으로 전송할 수 있다(S570 단계).
도 5는 본 발명에 따른 차량 카메라 장착 각도 보정 방법의 일 예를 나타낸 것이며, 반드시 S520 단계를 선행한 후, S535단계를 수행할 필요는 없으며, S535단계를 선행하고, S520단계를 수행할 수도 있다. 또한, S520 단계와 S535 단계를 동시에 수행할 수도 있다.
본 발명의 바람직한 실시예에 따른 차량 카메라 장착 각도 보정 장치(100)의 블록도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 차량의 카메라로부터 영상 이미지를 수신하여 지평선의 이미지 좌표 및 범퍼의 이미지 좌표를 검출하는 좌표검출부;
    지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 미리 저장하고 있는 좌표저장부;
    상기 좌표검출부에서 검출된 지평선 및 범퍼의 이미지 좌표와 상기 좌표저장부에 저장된 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 각각 비교하여 차이가 존재하는지 여부를 판단하는 비교판단부;
    상기 비교판단부의 판단이 차이가 존재한다고 판단한 경우, 상기 존재하는 차이만큼 상기 차량의 카메라 장착 각도 정보를 보정하는 보정부; 및
    상기 보정된 카메라 장착 각도 정보를 상기 좌표저장부에 저장된 월드 좌표에 적용하여 상기 좌표검출부에서 검출된 이미지 좌표 및 범퍼의 이미지 좌표를 재 산출하는 이미지좌표 재산출부;를 포함하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 장치.
  2. 제 1 항에 있어서,
    상기 좌표저장부는,
    상기 지평선과 범퍼 각각의 위치에 대한 월드 좌표를 저장하고 있음을 특징으로 하는 차량 카메라 장착 각도 보정 장치.
  3. 제 1 항에 있어서,
    상기 이미지좌표 재산출부는,
    상기 이미지좌표 재산출부에서 상기 재산출된 이미지 좌표가 상기 좌표검출부에서 검출된 이미지 좌표와 차이가 존재하는지 판단하며,
    상기 차량 카메라 장착 각도 보정 장치는,
    상기 재산출된 이미지 좌표와 상기 좌표검출부에서 검출된 이미지 좌표가 차이가 존재하지 않는 경우, 온 스크린 디스플레이(OSD, On Screen Display)에 재산출된 이미지좌표를 적용하는 디스플레이부를 더 포함하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 장치.
  4. 제 1 항에 있어서,
    상기 좌표검출부는,
    상기 수신한 영상 이미지를 좌측, 중앙 및 우측의 세 가지 구역으로 구분하여 각각의 구역에서 적어도 하나 이상의 상기 지평선의 이미지 좌표 및 상기 범퍼의 이미지 좌표를 검출하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 장치.
  5. 제 4 항에 있어서,
    상기 비교판단부는,
    상기 중앙 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 상하 방향의 변화가 존재하는 것으로 판단하고,
    상기 좌측 또는 우측 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 회전방향 또는 좌우방향의 변화가 존재하는 것으로 판단하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 장치.
  6. 차량의 카메라로부터 영상 이미지를 수신하여 지평선의 이미지 좌표 및 범퍼의 이미지 좌표를 검출하는 좌표검출단계;
    지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 미리 저장하고 있는 좌표저장단계;
    상기 좌표검출단계에서 검출된 지평선 및 범퍼의 이미지 좌표와 상기 좌표저장단계에 저장된 지평선과 범퍼 각각의 위치에 대한 이미지 좌표를 각각 비교하여 차이가 존재하는지 여부를 판단하는 비교판단단계;
    상기 비교판단단계의 판단이 차이가 존재한다고 판단한 경우, 상기 존재하는 차이만큼 상기 차량의 카메라 장착 각도 정보를 보정하는 보정단계; 및
    상기 보정단계에서 보정한 상기 차량의 카메라 장착 각도 정보를 상기 좌표저장단계에 저장된 월드 좌표에 적용하여 상기 좌표검출단계에서 검출된 이미지 좌표 및 범퍼의 이미지 좌표를 재 산출하는 이미지좌표 재산출단계;를 포함하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 방법.
  7. 제 6 항에 있어서,
    상기 좌표저장단계는,
    상기 지평선과 범퍼 각각의 위치에 대한 월드 좌표를 저장하고 있음을 특징으로 하는 차량 카메라 장착 각도 보정 방법.
  8. 제 6 항에 있어서,
    상기 이미지좌표 재산출단계는,
    상기 이미지좌표 재산출단계에서 상기 재산출된 이미지 좌표가 상기 좌표검출단계에서 검출된 이미지 좌표와 차이가 존재하는지 판단하며,
    상기 차량 카메라 장착 각도 보정 방법은,
    상기 재산출된 이미지 좌표와 상기 좌표검출단계에서 검출된 이미지 좌표가 차이가 존재하지 않는 경우, 온 스크린 디스플레이(OSD, On Screen Display)에 재산출된 이미지좌표를 적용하는 디스플레이단계를 더 포함하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 방법.
  9. 제 6 항에 있어서,
    상기 좌표검출단계는,
    상기 수신한 영상 이미지를 좌측, 중앙 및 우측의 세 가지 구역으로 구분하여 각각의 구역에서 적어도 하나 이상의 상기 지평선의 이미지 좌표 및 상기 범퍼의 이미지 좌표를 검출하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 방법.
  10. 제 9 항에 있어서,
    상기 비교판단단계는,
    상기 중앙 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 상하 방향의 변화가 존재하는 것으로 판단하고,
    상기 좌측 또는 우측 구역에서 검출된 이미지 좌표와 상기 저장된 이미지 좌표를 비교하여 차이가 존재하는 경우, 상기 차량의 카메라 장착 각도가 회전방향 또는 좌우방향의 변화가 존재하는 것으로 판단하는 것을 특징으로 하는 차량 카메라 장착 각도 보정 방법.
KR1020120087343A 2012-08-09 2012-08-09 차량 카메라 장착 각도 보정 장치 및 방법 KR101957256B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120087343A KR101957256B1 (ko) 2012-08-09 2012-08-09 차량 카메라 장착 각도 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120087343A KR101957256B1 (ko) 2012-08-09 2012-08-09 차량 카메라 장착 각도 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140021244A KR20140021244A (ko) 2014-02-20
KR101957256B1 true KR101957256B1 (ko) 2019-03-12

Family

ID=50267775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120087343A KR101957256B1 (ko) 2012-08-09 2012-08-09 차량 카메라 장착 각도 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101957256B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219175B1 (ko) 2014-11-10 2021-02-23 한국단자공업 주식회사 차량의 제품 장착각도 측정장치
KR102399655B1 (ko) * 2015-11-03 2022-05-19 엘지이노텍 주식회사 차량용 카메라의 시야각 조절 및 거리 표시 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004001658A (ja) * 2002-06-03 2004-01-08 Nissan Motor Co Ltd 車載カメラの光軸ずれ検出装置
JP2008011174A (ja) 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3293441B2 (ja) * 1996-01-09 2002-06-17 トヨタ自動車株式会社 撮像装置
KR101055001B1 (ko) * 2008-11-11 2011-08-05 주식회사 현대오토넷 차선 이탈 경보 시스템용 카메라의 촬영각 오차 자동 보정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004001658A (ja) * 2002-06-03 2004-01-08 Nissan Motor Co Ltd 車載カメラの光軸ずれ検出装置
JP2008011174A (ja) 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム

Also Published As

Publication number Publication date
KR20140021244A (ko) 2014-02-20

Similar Documents

Publication Publication Date Title
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
US9704404B2 (en) Lane detection apparatus and operating method for the same
US9538144B2 (en) Full speed lane sensing using multiple cameras
EP3416368B1 (en) Calibration system
US8390695B2 (en) Image correction apparatus and method and method of making transformation map for the same
US20130321630A1 (en) System and method for lane departure warning
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
US20120314073A1 (en) Apparatus and Method for Detecting Posture of Camera Mounted on Vehicle
US9864915B2 (en) Around view monitoring apparatus and method thereof
US10787126B2 (en) Mounting angle detection device for in-vehicle camera, mounting angle calibration device, and mounting angle detection method
US20150329049A1 (en) Object detection device, driving assistance device, object detection method, and object detection program
WO2015159489A1 (ja) 車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置
US9798937B2 (en) Vehicle control method for safety driving and device thereof
JP2009146217A (ja) ステレオカメラ装置
US9330319B2 (en) Apparatus for compensating camera image and operating method thereof
CN108376384B (zh) 视差图的矫正方法、装置及存储介质
KR101957256B1 (ko) 차량 카메라 장착 각도 보정 장치 및 방법
KR20210111218A (ko) Avm 영상 보정 시스템 및 그 제어방법
EP3731138A1 (en) Image processing device and image processing method
US11403770B2 (en) Road surface area detection device
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
KR20120025290A (ko) 목표물 추적 장치 및 방법
JP6999239B2 (ja) 画像処理装置および画像処理方法
JP6432033B2 (ja) 車載装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant