KR20200145038A - 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법 - Google Patents

차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20200145038A
KR20200145038A KR1020190073414A KR20190073414A KR20200145038A KR 20200145038 A KR20200145038 A KR 20200145038A KR 1020190073414 A KR1020190073414 A KR 1020190073414A KR 20190073414 A KR20190073414 A KR 20190073414A KR 20200145038 A KR20200145038 A KR 20200145038A
Authority
KR
South Korea
Prior art keywords
marker
vehicle
around
image
coordinates
Prior art date
Application number
KR1020190073414A
Other languages
English (en)
Other versions
KR102611759B1 (ko
Inventor
윤여민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020190073414A priority Critical patent/KR102611759B1/ko
Publication of KR20200145038A publication Critical patent/KR20200145038A/ko
Application granted granted Critical
Publication of KR102611759B1 publication Critical patent/KR102611759B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법이 개시된다. 본 발명의 차량의 어라운드 뷰 영상의 보정 장치는, 차량을 중심으로 주변을 촬영하는 복수개의 카메라를 구비하는 AVM 촬영부; 차량 주변으로 마커를 출력하는 마커 출력부; 차량의 공차상태에서 촬영된 각 촬영영상에서 각각 추출된 마커의 초기 좌표를 저장하는 저장부; 및 마커 출력부를 통해 각 촬영영역에 마커를 출력하고, AVM 촬영부로부터 복수개의 촬영영상을 입력받아 촬영영상에 각각 포함된 마커의 좌표를 추출하여 마커의 추출 좌표와 저장부에 저장된 마커의 초기 좌표를 비교하여 차체 자세변화에 따른 보정값을 계산하며, 차량을 중심으로 각 촬영영상의 시점을 변환할 때 보정값을 반영하여 어라운드 뷰 영상으로 합성하는 제어부;를 포함하는 것을 특징으로 한다.

Description

차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법{APPARATUS FOR CALIBRATING OF AROUND VIEW IMAGE FOR VEHICLE AND CONTROL METHOD THEREOF}
본 발명은 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 차량의 차체 자세변화로 인한 어라운드 뷰 영상 간 정합오차를 실시간으로 보정하여 정확한 어라운드 뷰 영상을 제공할 수 있도록 하는 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법에 관한 것이다.
일반적으로, 자동차 산업의 발달로 인하여 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자기술이 자동차에 적용되고 있다.
이러한 첨단 전자기술 중 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있도록 운전자에게 탑뷰(top view) 또는 어라운드 뷰(around view) 영상을 디스플레이해주는 차량의 어라운드 뷰 모니터링 시스템이 장착되어 있다.
차량의 어라운드 뷰 모니터링 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면상에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드미러나 백미러를 보지 않고도 편리하게 주차하거나 주행할 수 있다.
본 발명의 배경기술은 대한민국 등록특허공보 제1603609호(2016.03.28. 공고, 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법)에 개시되어 있다.
이와 같은 어라운드 뷰 모니터링 시스템은 차량의 출고 시점에 카메라들의 최초 설계 위치 및 자세를 기반으로 튜닝하여, 전방, 후방, 좌측방 및 우측방 카메라로부터 입력되는 촬영영상에 대해 시점을 변환하여 탑뷰 영상으로 합성하여 출력하고 있다.
그런데, 차량의 출고 후 운행 중에는 카메라들이 다양한 외부 환경으로 인해 그 최초 설계 위치 및 자세를 유지하지 못하는 경우가 발생될 수 있어 개별 카메라에서 촬영된 촬영영상들 간이 불일치로 인해 어라운드 뷰의 결함이 발생될 수 있다.
특히, 차량의 운행 중에 타이어 압력변화로 인해 카메라의 최초 설계 위치 및 자세를 변경시킬 수 있어, 촬영영상이 올바르지 않고 왜곡된 화면이 수신될 수 있다.
또한, 만약 차에 많은 사람이 타게 되거나, 트렁크에 짐을 싣게 되면 그 무게에 의해 차가 내려앉게 되어 왜곡된 영상으로 합성되는 문제점이 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 차량의 차체 자세변화로 인한 어라운드 뷰 영상 간 정합오차를 실시간으로 보정하여 정확한 어라운드 뷰 영상을 제공할 수 있도록 하는 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 차량의 어라운드 뷰 영상의 보정 장치는, 차량을 중심으로 주변을 촬영하는 복수개의 카메라를 구비하는 AVM 촬영부; 차량 주변으로 마커를 출력하는 마커 출력부; 차량의 공차상태에서 촬영된 각 촬영영상에서 각각 추출된 마커의 초기 좌표를 저장하는 저장부; 및 마커 출력부를 통해 각 촬영영역에 마커를 출력하고, AVM 촬영부로부터 복수개의 촬영영상을 입력받아 촬영영상에 각각 포함된 마커의 좌표를 추출하여 마커의 추출 좌표와 저장부에 저장된 마커의 초기 좌표를 비교하여 차체 자세변화에 따른 보정값을 계산하며, 차량을 중심으로 각 촬영영상의 시점을 변환할 때 보정값을 반영하여 어라운드 뷰 영상으로 합성하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에서 마커 출력부는, 레이저 빔을 통해 설정된 마커를 출력하는 것을 특징으로 한다.
본 발명에서 마커는, 4점 이상으로 설정된 표식인 것을 특징으로 한다.
본 발명에서 AVM 촬영부는, 전방 카메라, 후방 카메라, 좌측방 카메라 및 우측방 카메라를 포함하는 것을 특징으로 한다.
본 발명에서 제어부는, 각 촬영영상을 탑뷰 시점으로 변환하여 어라운드 뷰 영상으로 합성하는 것을 특징으로 한다.
본 발명에서 제어부는, 마커의 추출 좌표와 초기 좌표를 비교할 때 설정값 이상 차이가 발생하면 보정하지 않고 에러값을 출력하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법은, 제어부가 마커 출력부를 통해 각 촬영영역에 마커를 출력하는 단계; 제어부가 AVM 촬영부로부터 복수개의 촬영영상을 입력받는 단계; 제어부가 복수개의 촬영영상으로부터 각각 마커를 추출하여 마커의 추출 좌표를 산출하는 단계; 제어부가 마커의 추출 좌표와 저장부에 저장된 초기 좌표를 비교하여 차체 자세변화에 따른 보정값을 계산하는 단계; 및 제어부가 보정값을 반영하여 차량을 중심으로 각 촬영영상의 시점을 변환하여 어라운드 뷰 영상으로 합성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 마커를 출력하는 단계는, 레이저 빔을 통해 각 촬영영역에 설정된 마커를 출력하는 것을 특징으로 한다.
본 발명에서 마커는, 4점 이상의 설정된 표식인 것을 특징으로 한다.
본 발명에서 복수개의 촬영영상을 입력받는 단계는, 제어부가 AVM 촬영부로부터 전방 촬영영상, 후방 촬영영상, 좌측방 촬영영상 및 우측방 촬영영상을 입력받는 것을 특징으로 한다.
본 발명에서 어라운드 뷰 영상으로 합성하는 단계는, 제어부가 촬영영상을 탑뷰 시점으로 변환하여 어라운드 뷰 영상으로 합성하는 것을 특징으로 한다.
본 발명에서 보정값을 계산하는 단계는, 제어부가 마커의 추출 좌표와 초기 좌표를 비교할 때 설정값 이상 차이가 발생하면 보정하지 않고 에러값을 출력하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법은 차량의 운행 중 타이어의 압력변화, 탑승객의 인원과 위치, 트렁크 짐의 무게 등 차체 자세변화로 인한 어라운드 뷰 영상 간 정합오차를 실시간으로 보정하여 정확한 어라운드 뷰 영상을 제공할 수 있어 제품 성능을 향상시킬 수 있을 뿐만 아니라 편의성을 향상시킬 수 있으며, 입체영상의 경우 입체감을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 마커의 출력상태를 나타낸 예시 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 마커의 초기 좌표를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 주행 중 마커의 출력상태를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 차량의 차체 자세변화에 따른 마커의 변화를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 마커의 출력상태를 나타낸 예시 도면이며, 도 3은 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 마커의 초기 좌표를 설명하기 위한 예시도이고, 도 4는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 주행 중 마커의 출력상태를 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치에서 차량의 차체 자세변화에 따른 마커의 변화를 나타낸 도면이다.
도 1에 도시된 바와 같이 본 발명의 일 실시에에 따른 차량의 어라운드 뷰 영상의 보정 장치는, AVM 촬영부(10), 마커 출력부(30), 저장부(40) 및 제어부(20)를 포함할 수 있다.
AVM 촬영부(10)는 차량을 중심으로 주변을 촬영하기 위해 차량의 전후좌우에 설치된 전방 카메라(11), 후방 카메라(12), 좌측방 카메라(13) 및 우측방 카메라(14)를 포함하여 전방 촬영영상, 후방 촬영영상, 좌측방 촬영영상 및 우측방 촬영영상을 제어부에 제공할 수 있다.
마커 출력부(30)는 차량 주변으로 도 2에 도시된 바와 같이 레이저 빔을 통해 4점 이상으로 설정된 표식의 마커를 출력하여 차체 자세변화를 감지할 수 있도록 한다.
저장부(40)는 차량의 공차상태에서 촬영된 각 촬영영상에서 각각 추출된 마커의 초기 좌표를 저장하여 제공할 수 있다.
예를 들어, 도 3에 도시된 바와 같이 차량의 출고 시 공차상태에서 마커를 출력한 후 AVM 촬영부(10)를 통해 촬영된 각 촬영영상에서 각각 추출된 마커의 초기 좌표를 저장할 수 있다.
제어부(20)는 도 4에 도시된 바와 같이 차량의 운행 중 마커 출력부(30)를 통해 각 촬영영역에 마커를 출력하고, AVM 촬영부(10)로부터 복수개의 촬영영상을 입력받아 촬영영상에 각각 포함된 마커의 좌표를 추출하여 마커의 추출 좌표와 저장부에 저장된 마커의 초기 좌표를 비교하여 차체 자세변화에 따른 보정값을 계산한다.
예를 들어, 차체 자세변화에 따라 마커의 위치는 도 5에 도시된 바와 같이 변화될 수 있다. 도 5에 도시된 바와 같이 (가)는 초기 상태이고, (나)는 차체가 앞쪽으로 기울어진 상태이며, (다)는 차체가 뒤쪽으로 기울어진 상태이고, (라)는 차체 전체가 낮아진 상태일 수 있다.
따라서 마커의 좌표를 추출하여 마커의 추출 좌표와 초기 좌표를 비교함으로서 차체 자세변화에 따른 보정값을 계산할 수 있다.
이와 같이 차체 자세변화에 따른 보정값을 계산한 후 제어부(20)는 차량을 중심으로 각 촬영영상을 탑뷰 시점으로 변환할 때 보정값을 반영하여 어라운드 뷰 영상으로 합성할 수 있다.
한편, 제어부(20)는 마커의 추출 좌표와 초기 좌표를 비교할 때 설정값 이상 차이가 발생하면 보정하지 않고 에러값을 출력할 수 있다.
예를 들어, 차량의 주행 중 마커가 중앙분리대나 가드레일에 출력되거나 도로에 단차가 발생한 경우 마커를 통해 차체 자세변화를 측정할 수 없기 때문에 이러한 경우에는 보정값을 산출하지 않고 에러값을 출력할 수도 있다. 또한, 이와 같은 경우에 필요에 따라 마커의 추출 좌표와 초기 좌표간 설정값 이상 차이가 발생된 촬영영상에 대해서만 보정값을 산출하지 않고, 나머지 촬영영상에 대해서는 보정값을 산출하여 부분적으로 보정할 수도 있고, 정상적으로 추출된 마커를 기반으로 보정값을 예측할 수도 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 차량의 어라운드 뷰 영상의 보정 장치에 따르면, 차량의 운행 중 타이어의 압력변화, 탑승객의 인원과 위치, 트렁크 짐의 무게 등 차체 자세변화로 인한 어라운드 뷰 영상 간 정합오차를 실시간으로 보정하여 정확한 어라운드 뷰 영상을 제공할 수 있어 제품 성능을 향상시킬 수 있을 뿐만 아니라 편의성을 향상시킬 수 있으며, 입체영상의 경우 입체감을 향상시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 6에 도시된 바와 같이 본 발명의 일 실시예에 따른 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법에서는 먼저, 제어부(20)가 마커 출력부(30)를 통해 각 촬영영역에 마커를 출력한다(S10).
예를 들어, 도 4에 도시된 바와 같이 주행 중 레이저 빔을 통해 4점 이상으로 설정된 표식의 마커를 각 촬영영역에 출력할 수 있다.
S10 단계에서 마커를 출력한 후 제어부(20)가 AVM 촬영부(10)로부터 전방 촬영영상, 후방 촬영영상, 좌측방 촬영영상 및 우측방 촬영영상을 입력받는다(S20).
S20 단계에서 복수개의 촬영영상을 입력받은 후 제어부(20)는 각 촬영영상으로부터 마커를 추출하여 마커의 추출 좌표를 산출한다(S30).
S30 단계에서 마커의 추출 좌표를 산출한 후 제어부(20)는 마커의 추출 좌표와 저장부(40)에 저장된 초기 좌표를 비교한다(S40).
여기서, 초기 좌표는 도 3에 도시된 바와 같이 차량의 출고 시 공차상태에서 마커를 출력한 후 AVM 촬영부(10)를 통해 촬영된 각 촬영영상에서 각각 추출된 마커의 위치를 초기 좌표로 설정할 수 있다.
S40 단계에서 추출 좌표와 초기 좌표를 비교한 후 제어부(20)는 차량의 주행 구간이 정상구간인지 판단한다(S50).
예를 들어, 차량의 주행 중 마커가 중앙분리대나 가드레일에 출력되거나 도로에 단차가 발생한 경우 마커를 통해 차체 자세변화를 측정할 수 없기 때문에 이러한 경우 정상구간으로 판단할 수 없다.
즉, 제어부(20)는 마카의 출력 좌표와 초기 좌표를 비교하여 추출 좌표와 초기 좌표 간 설정값 이상 차이가 발생하게 된 경우 정상구간으로 판단할 수 없어 보정값을 보정값을 산출하지 않고 에러값을 출력한다(S80).
한편, 정상구간이 아닌 경우에도 필요에 따라 복수개의 촬영영상 중 마커의 추출 좌표와 초기 좌표간 설정값 이상 차이가 발생된 촬영영상에 대해서만 보정값을 산출하지 않고, 나머지 촬영영상에 대해서는 보정값을 산출하여 부분적으로 보정할 수도 있고, 정상적으로 추출된 마커를 기반으로 보정값을 예측할 수도 있다.
S50 단계에서 마커의 추출 좌표와 초기 좌표를 비교하여 설정값 이상 차이가 발생하지 않는 경우, 제어부(20)는 정상구간으로 판단하고 추출 좌표를 초기 좌표로 변환하기 위한 보정값을 계산한다(S60).
즉, 도 5에 도시된 바와 같이 타이어의 압력변화, 탑승객의 인원과 위치, 트렁크 짐의 무게 등 차체 자세변화로 인해 차체가 앞쪽으로 기울어지거나, 차체가 뒤쪽으로 기울어지거나, 차체 전체가 낮아진 경우 이를 보정하기 위한 보정값을 계산한다.
S60 단계에서 차체 자세변화에 따른 보정값을 계산한 후 제어부(20)는 차량을 중심으로 전방 촬영영상, 후방 촬영영상, 좌측방 촬영영상 및 우측방 촬영영상을 탑뷰 시점으로 변환할 때 보정값을 반영하여 어라운드 뷰 영상으로 합성한다(S70).
상술한 바와 같이, 본 발명의 실시예에 의한 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법에 따르면, 차량의 운행 중 타이어의 압력변화, 탑승객의 인원과 위치, 트렁크 짐의 무게 등 차체 자세변화로 인한 어라운드 뷰 영상 간 정합오차를 실시간으로 보정하여 정확한 어라운드 뷰 영상을 제공할 수 있어 제품 성능을 향상시킬 수 있을 뿐만 아니라 편의성을 향상시킬 수 있으며, 입체영상의 경우 입체감을 향상시킬 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : AVM 촬영부 11 : 전방 카메라
12 : 후방 카메라 13 : 좌측방 카메라
14 : 우측방 카메라 20 : 제어부
30 : 마커 출력부 40 : 저장부

Claims (12)

  1. 차량을 중심으로 주변을 촬영하는 복수개의 카메라를 구비하는 AVM 촬영부;
    상기 차량 주변으로 마커를 출력하는 마커 출력부;
    상기 차량의 공차상태에서 촬영된 각 촬영영상에서 각각 추출된 상기 마커의 초기 좌표를 저장하는 저장부; 및
    상기 마커 출력부를 통해 각 촬영영역에 상기 마커를 출력하고, 상기 AVM 촬영부로부터 복수개의 촬영영상을 입력받아 상기 촬영영상에 각각 포함된 상기 마커의 좌표를 추출하여 상기 마커의 추출 좌표와 상기 저장부에 저장된 상기 마커의 상기 초기 좌표를 비교하여 차체 자세변화에 따른 보정값을 계산하며, 상기 차량을 중심으로 각 촬영영상의 시점을 변환할 때 상기 보정값을 반영하여 어라운드 뷰 영상으로 합성하는 제어부;를 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치.
  2. 제 1항에 있어서, 상기 마커 출력부는, 레이저 빔을 통해 설정된 상기 마커를 출력하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치.
  3. 제 1항에 있어서, 상기 마커는, 4점 이상으로 설정된 표식인 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치.
  4. 제 1항에 있어서, 상기 AVM 촬영부는, 전방 카메라, 후방 카메라, 좌측방 카메라 및 우측방 카메라를 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치.
  5. 제 1항에 있어서, 상기 제어부는, 각 촬영영상을 탑뷰 시점으로 변환하여 상기 어라운드 뷰 영상으로 합성하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치.
  6. 제 1항에 있어서, 상기 제어부는, 상기 마커의 상기 추출 좌표와 상기 초기 좌표를 비교할 때 설정값 이상 차이가 발생하면 보정하지 않고 에러값을 출력하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치.
  7. 제어부가 마커 출력부를 통해 각 촬영영역에 마커를 출력하는 단계;
    상기 제어부가 AVM 촬영부로부터 복수개의 촬영영상을 입력받는 단계;
    상기 제어부가 복수개의 촬영영상으로부터 각각 상기 마커를 추출하여 상기 마커의 추출 좌표를 산출하는 단계;
    상기 제어부가 상기 마커의 상기 추출 좌표와 저장부에 저장된 초기 좌표를 비교하여 차체 자세변화에 따른 보정값을 계산하는 단계; 및
    상기 제어부가 상기 보정값을 반영하여 차량을 중심으로 각 촬영영상의 시점을 변환하여 어라운드 뷰 영상으로 합성하는 단계;를 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법.
  8. 제 7항에 있어서, 상기 마커를 출력하는 단계는, 레이저 빔을 통해 각 촬영영역에 설정된 상기 마커를 출력하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법.
  9. 제 7항에 있어서, 상기 마커는, 4점 이상의 설정된 표식인 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법.
  10. 제 7항에 있어서, 상기 복수개의 촬영영상을 입력받는 단계는, 상기 제어부가 상기 AVM 촬영부로부터 전방 촬영영상, 후방 촬영영상, 좌측방 촬영영상 및 우측방 촬영영상을 입력받는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법.
  11. 제 7항에 있어서, 어라운드 뷰 영상으로 합성하는 단계는, 제어부가 촬영영상을 탑뷰 시점으로 변환하여 어라운드 뷰 영상으로 합성하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법.
  12. 제 7항에 있어서, 보정값을 계산하는 단계는, 제어부가 마커의 추출 좌표와 초기 좌표를 비교할 때 설정값 이상 차이가 발생하면 보정하지 않고 에러값을 출력하는 단계를 더 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 영상의 보정 장치의 제어 방법.
KR1020190073414A 2019-06-20 2019-06-20 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법 KR102611759B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190073414A KR102611759B1 (ko) 2019-06-20 2019-06-20 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190073414A KR102611759B1 (ko) 2019-06-20 2019-06-20 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200145038A true KR20200145038A (ko) 2020-12-30
KR102611759B1 KR102611759B1 (ko) 2023-12-11

Family

ID=74088313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190073414A KR102611759B1 (ko) 2019-06-20 2019-06-20 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102611759B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117352A1 (ko) * 2022-11-28 2024-06-06 주식회사 미래오토스 차량용 후방 경보 시스템
WO2024117353A1 (ko) * 2022-11-28 2024-06-06 주식회사 미래오토스 Avm 영상 보정 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816999A (ja) * 1994-07-05 1996-01-19 Hitachi Ltd 撮像装置を用いた環境認識装置，撮像装置を備えた車両，車両用の撮像装置，撮像装置を用いた車両用の環境認識装置、及び撮像データから環境を認識する方法
JP2016149613A (ja) * 2015-02-10 2016-08-18 株式会社デンソー カメラパラメータ調整装置
KR20180019921A (ko) * 2016-08-17 2018-02-27 현대모비스 주식회사 탑뷰 영상 생성 장치 및 그 방법
KR20180083091A (ko) * 2017-01-12 2018-07-20 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816999A (ja) * 1994-07-05 1996-01-19 Hitachi Ltd 撮像装置を用いた環境認識装置，撮像装置を備えた車両，車両用の撮像装置，撮像装置を用いた車両用の環境認識装置、及び撮像データから環境を認識する方法
JP2016149613A (ja) * 2015-02-10 2016-08-18 株式会社デンソー カメラパラメータ調整装置
KR20180019921A (ko) * 2016-08-17 2018-02-27 현대모비스 주식회사 탑뷰 영상 생성 장치 및 그 방법
KR20180083091A (ko) * 2017-01-12 2018-07-20 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117352A1 (ko) * 2022-11-28 2024-06-06 주식회사 미래오토스 차량용 후방 경보 시스템
WO2024117353A1 (ko) * 2022-11-28 2024-06-06 주식회사 미래오토스 Avm 영상 보정 시스템

Also Published As

Publication number Publication date
KR102611759B1 (ko) 2023-12-11

Similar Documents

Publication Publication Date Title
US10701341B2 (en) Calibration method, calibration device, and computer program product
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
KR102647929B1 (ko) 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
JP4737317B2 (ja) 車両周辺撮影表示システム
WO2010113673A1 (ja) 車載カメラの校正装置、方法、及びプログラム
US20150042800A1 (en) Apparatus and method for providing avm image
US20180309978A1 (en) Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
US10482626B2 (en) Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same
JP2010085186A (ja) 車載カメラの校正装置
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
JP5081313B2 (ja) 車載カメラの校正装置
US20060093239A1 (en) Image processing method and image processing device
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
KR20200145038A (ko) 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법
US6697146B2 (en) Range finder for finding range by image realization
US9330319B2 (en) Apparatus for compensating camera image and operating method thereof
JP2016053748A (ja) 運転支援装置および運転支援方法
CN112184827B (zh) 校准多个摄像机的方法及装置
JP2006313498A (ja) 画像処理装置
KR102477480B1 (ko) 어라운드뷰 카메라의 캘리브레이션 장치 및 그 방법
KR101989370B1 (ko) 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법
US20240169587A1 (en) Vehicle, Control Method Of Vehicle, And Vehicle Driving Control Method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant