KR101708620B1 - Avm 시스템의 카메라 공차 보정 방법 및 장치 - Google Patents

Avm 시스템의 카메라 공차 보정 방법 및 장치 Download PDF

Info

Publication number
KR101708620B1
KR101708620B1 KR1020150112535A KR20150112535A KR101708620B1 KR 101708620 B1 KR101708620 B1 KR 101708620B1 KR 1020150112535 A KR1020150112535 A KR 1020150112535A KR 20150112535 A KR20150112535 A KR 20150112535A KR 101708620 B1 KR101708620 B1 KR 101708620B1
Authority
KR
South Korea
Prior art keywords
view image
top view
image
tolerance
pattern
Prior art date
Application number
KR1020150112535A
Other languages
English (en)
Other versions
KR20170018644A (ko
Inventor
한정수
조상현
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020150112535A priority Critical patent/KR101708620B1/ko
Publication of KR20170018644A publication Critical patent/KR20170018644A/ko
Application granted granted Critical
Publication of KR101708620B1 publication Critical patent/KR101708620B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 AVM 시스템의 카메라 공차 보정 장치는 룩업 테이블을 이용하여 공차 보정된 제1 탑뷰 영상으로부터 영상 틀어짐이 발생한 이상 영역을 검출하는 이상 영역 검출부; 상기 이상 영역의 카메라로부터 입력되는 원영상을 제2 탑뷰 영상으로 변환하는 탑뷰 영상 변환부; 및상기 제1 탑뷰 영상의 정상 영역내의 패턴 및 상기 제2 탑뷰 영상 내의 패턴을 이용하여 공차 보정 수행 후 상기 이상 영역에 대한 상기 룩업 테이블을 업데이트하는 공차 보정부를 포함할 수 있다. 본 발명에 따르면, 초기 공차 보정 후 일부 카메라의 뒤틀림으로 인해 영상의 왜곡이 발생하는 경우, 왜곡이 발생한 이상 영역의 카메라로부터 입력된 원영상을 이용하여, 공차 보정을 수행한 후 공차 보정된 영상을 통해 이상 영역 부분의 룩업 테이블만을 업데이트함으로써, 불필요한 공차 보정으로 인해 발생하는 시간을 감소시킬 수 있으며, 공차 보정에 따른 비용을 절약할 수 있다.

Description

AVM 시스템의 카메라 공차 보정 방법 및 장치{Method and Apparatus for Compensating Camera Tolerance in Around View Monitoring System}
본 발명의 실시예들은 AVM 시스템의 카메라 공차 보정 방법 및 장치에 관한 것으로서, 더욱 상세하게는 초기 공차 보정 후 카메라의 틀어짐으로 발생하는 탑뷰 영상의 오류를 효율적으로 해결할 수 있도록 하는 AVM 시스템의 카메라 공차 보정 방법 및 장치에 관한 것이다.
AVM(Around View Monitor) 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 탑뷰(Top View) 형태로 화면상에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차할 수 있다.
다수의 카메라에서 촬영되는 영상을 이용하는 AVM 시스템은 차량에 카메라 설치 시 공차를 보정하는 작업이 필수적이다. 차량의 제조사는 AVM 시스템이 장착된 차량에 대하여 탑뷰(Top-View) 화면이 정합성 기준에 맞도록 초기 공차보정 후 차량을 출고한다.
그러나, 차량 출고 후 차량의 운행 도중 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여, 각 카메라는 새로운 공차가 발생하며, 발생하는 공차가 누적되면 탑뷰 화면의 정합성이 낮아질 수 있다. 이와 같이 정합성이 떨어지는 경우, 차량에 처음 카메라를 설치 시와 같은 방법으로 공차보정을 재 실행하여야 한다.
도 1은 종래의 카메라의 틀어짐 현상으로 인해 탑뷰 영상이 왜곡된 경우의 일례를 도시한 도면이다.
초기 공차 보정이 끝난 후 우측 카메라가 틀어진 경우, 도 1에서와 같이 탑뷰의 우측 면이 틀어지게 된다. 이와 같이 탑뷰 영상에 왜곡이 생김에 따라 차선이 어긋나 보이고, 카메라간 사각영역이 확대되어 운전자에게 불편함을 초래하게 된다.
종래에는 공차 보정을 위해, 기존의 공차 보정을 위한 룩업 테이블(Look up table, LUT)을 기준으로 우측 카메라의 위치만을 변경하게 되므로, 밝기 보정 및 사각지대 보정과 연관된 다른 알고리즘에 사용되는 영상 픽셀 값에 영향을 미치게 되는 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 초기 공차 보정 이후, 일부 카메라의 이동 및 틀어짐이 발생하는 경우의 공차 보정을 수행할 수 있는 AVM 시스템의 카메라 공차 보정 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, AVM(Around view Monitoring) 시스템의 카메라 공차 보정 장치에 있어서, 룩업 테이블을 이용하여 공차 보정된 제1 탑뷰 영상으로부터 영상 틀어짐이 발생한 이상 영역을 검출하는 이상 영역 검출부; 상기 이상 영역의 카메라로부터 입력되는 원영상을 제2 탑뷰 영상으로 변환하는 탑뷰 영상 변환부; 및 상기 제1 탑뷰 영상의 정상 영역내의 패턴 및 상기 제2 탑뷰 영상 내의 패턴을 이용하여 공차 보정 수행 후 상기 이상 영역에 대한 상기 룩업 테이블을 업데이트하는 공차 보정부를 포함하는 공차 보정 장치가 제공된다.
상기 패턴은 원형 패턴일 수 있다.
상기 탑뷰 영상 변환부는 평면화 작업을 통해 상기 원영상 내의 타원으로 보이는 원형 패턴이 수직으로 내려다보는 시점에서 원형으로 보이는 제2 탑뷰 영상을 생성할 수 있다.
상기 룩업 테이블에는 복수의 광각 카메라로부터 입력되는 복수의 원영상을 탑뷰 영상으로 변환할 때 상기 각 원영상의 화소들과 탑뷰 영상의 화소들 간의 대응관계에 대한 매핑 데이터가 저장될 수 있다.
상기 룩업 테이블을 참조하여, 입력되는 복수의 원영상을 하나의 탑뷰 영상으로 변환하는 탑뷰 영상 생성부를 더 포함할 수 있다.
상기 공차 보정부는 상기 제1 탑뷰 영상의 정상 영역 상의 패턴의 크기를 기준으로 상기 제2 탑뷰 영상 내의 패턴의 크기를 일치시키며, 상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상의 겹치는 부분이 일치되도록 상기 제2 탑뷰 영상에 대한 회전 및 이동을 수행하며, 상기 회전 및 이동이 수행된 제2 탑뷰 영상을 기초로 상기 이상 영역에 대한 룩업 테이블 업데이트 할 수 있다.
상기 공차 보정부는 상기 제2 탑뷰 영상에서 상기 이상 영역 외의 부분을 제거한 후 상기 룩업 테이블을 업데이트 할 수 있다.
본 발명의 다른 실시예에 따르면, AVM(Around view Monitoring) 시스템의 카메라 공차 보정 방법에 있어서, 룩업 테이블을 이용하여 공차 보정된 제1 탑뷰 영상으로부터 영상 틀어짐이 발생한 이상 영역을 검출하는 단계(a); 상기 이상 영역의 카메라로부터 입력되는 원영상을 제2 탑뷰 영상으로 변환하는 단계(b); 및 상기 제1 탑뷰 영상의 정상 영역 내의 패턴 및 상기 제2 탑뷰 영상 내의 패턴을 이용하여 공차 보정 수행 후 상기 이상 영역에 대한 상기 룩업 테이블을 업데이트하는 단계(c)를 포함하는 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 방법이 제공된다.
상기 패턴은 원형 패턴이며, 상기 단계(b)는 평면화 작업을 통해 상기 원영상 내의 타원으로 보이는 원형 패턴이 수직으로 내려다보는 시점에서 원형으로 보이는 상기 제2 탑뷰 영상을 생성할 수 있다.
상기 단계(c)는, 상기 제1 탑뷰 영상의 정상 영역 상의 패턴의 크기를 기준으로 상기 제2 탑뷰 영상 내의 패턴의 크기를 일치시키는 단계(c-1); 상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상의 겹치는 부분이 일치되도록 상기 제2 탑뷰 영상에 대한 회전 및 이동을 수행하는 단계(c-2); 상기 회전 및 이동이 수행된 상기 제2 탑뷰 영상을 기초로 상기 이상 영역에 대한 룩업 테이블 업데이트 하는 단계(c-3)를 포함할 수 있다.
상기 단계(c-3)은, 상기 제2 탑뷰 영상에서 상기 이상 영역 외의 부분을 제거한 후 상기 이상 영역에 대한 룩업 테이블을 업데이트할 수 있다.
본 발명에 따르면, 초기 공차 보정 후 일부 카메라의 뒤틀림으로 인해 영상의 왜곡이 발생하는 경우, 왜곡이 발생한 이상 영역의 카메라로부터 입력된 원영상을 이용하여, 공차 보정을 수행한 후 공차 보정된 영상을 통해 이상 영역 부분의 룩업 테이블만을 업데이트함으로써, 불필요한 공차 보정으로 인해 발생하는 시간을 감소시킬 수 있으며, 공차 보정에 따른 비용을 절약할 수 있다.
도 1은 종래의 카메라의 틀어짐 현상으로 인해 탑뷰 영상이 왜곡된 경우의 일례를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 공차 보정을 위해 패턴이 형성된 바닥면의 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른, 초기 공차 보정 후 카메라의 흔들림으로 인해 이상 영역이 발생한 탑뷰 영상의 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이상 영역의 카메로부터 입력되는 원영상 및 원영상이 변환된 탑뷰 영상의 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 제1 탑뷰 영상 및 제2 탑뷰 영상의 패턴 크기를 일치시키는 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 제2 탑뷰 영상을 회전 및 이동시킨 일례를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따라 업데이트된 룩업 테이블을 기초로 생성된 탑뷰 영상의 일례를 설명하기 위해 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 AVM 시스템의 공차 보정 방법의 일련의 과정을 도시한 순서도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 이하의 설명에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 도면에서 본 발명과 관계없는 부분은 본 발명의 설명을 명확하게 하기 위하여 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
이하, 첨부된 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템을 도시한 블록도이다.
도 2를 참조하면, AVM 시스템은 카메라(10), 영상 수신부(20) 및 공차 보정 장치(30)을 포함할 수 있다.
카메라(10)는 차량의 전후좌우에 각각 설치되어 차량 주변의 원 영상을 촬영하여 이를 전기적 신호로 변환하여 영상 수신부(20)로 전송한다.
카메라(10)는 어안렌즈(fish eye lens)를 포함하는 광각 카메라로 구현될 수 있다. 광각 카메라는 단순한 광학기구뿐 아니라, 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 포함하는 개념이다. 예컨대, 대상 물체가 차량인 경우 광각 카메라는 차량의 전방/후방/좌측면/우측면에 배치될 수 있으며, 각 카메라는 그 촬영 영역이 인접하는 카메라 사이에서 적어도 일부분 이상 겹치도록 배치될 수 있다.
영상 수신부(20)는 복수의 카메라(10)로부터 획득된 적어도 2 이상의 복수의 입력 영상을 각각 수신하는 수단으로서, 수신된 복수의 입력 영상을 공차 보정 장치(30)로 전송한다. 필요한 경우 영상 수신부(20)에서는 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.
공차 보정 장치(30)는 탑뷰 영상 생성부(31), 룩업 테이블(32), 이상 영역 검출부(33), 탑뷰 영상 변환부(34), 공차 보정부(35) 및 제어부(36)를 포함할 수 있다.
본 발명에서 공차 보정을 위해 카메라(10)로부터 입력되는 영상은 원형 패턴이 형성된 공간에 차량이 위치하여 획득된 영상인 것으로 가정한다. 도 3은 본 발명의 일 실시예에 따른 공차 보정을 위해 패턴이 형성된 바닥면의 일례를 도시한 도면이다. 도 3을 참조하면, 차량의 전면, 후면, 좌측면, 후측면의 바닥에 원형 패턴이 형성된 일례이며, 원형 패턴의 개수는 임의로 조정될 수 있을 것이다.
탑뷰 영상 생성부(31)는 룩업 테이블(LUT, Look Up Table)을 이용하여 카메라(10)에서 입력되는 복수의 원영상을 하나의 탑뷰 영상으로 변환한다.
룩업 테이블(32)은 복수의 카메라(10)로부터 입력되는 복수의 원영상을 탑뷰 영상으로 변환할 때 각 원영상의 화소들과 탑뷰 영상의 화소들 간의 대응관계에 대한 매핑 데이터를 저장하는 수단이다.
즉, 탑뷰 영상 생성부(31)는 초기 공차 보정에 의해 생성된 룩업 테이블(32)을 이용하여 복수의 카메라(10)로부터 입력된 원영상을 하나의 제1 탑뷰 영상으로 변환한다. 제1 탑뷰 영상이 정상이라면, 도 3에서와 같은 탑뷰 영상이 생성될 것이다.
이상 영역 검출부(33)는 제1 탑뷰 영상으로부터 영상 틀어짐이 발생한 이상 영역을 검출한다.
이를 위해, 이상 영역 검출부(33)는 초기 공차 보정 후의 정상 적인 탑 뷰 영상과 제1 탑뷰 영상을 비교하여 변화가 생긴 부분을 이상 영역으로 검출하거나, 사용자로부터 영상 틀어짐이 발생한 이상 영역을 직접 선택 받아 이상 영역을 검출할 수 있다.
탑뷰 영상은 차량 전후좌우의 4 개의 카메라로부터 입력받은 원영상을 통해 생성되는 것으로, 이상 영역은 전면 영역, 후면 영역, 좌측면 영역, 우측면 영역 중 적어도 하나의 영역일 수 있다.
도 4는 본 발명의 일 실시예에 따른, 초기 공차 보정 후 카메라의 흔들림으로 인해 이상 영역이 발생한 탑뷰 영상의 일례를 도시한 도면이다.
도 4를 참조하면, 탑뷰 영상의 하부 영역의 영상이 뒤틀려 있는 것을 확인할 수 있다. 따라서, 이상 영역 검출부(33)는 하부 영역을 이상 영역으로 선택할 수 있을 것이다.
탑뷰 영상 변환부(34)는 이상 영역의 카메라로부터 입력되는 원영상을 수직으로 내려다보는 시점의 제2 탑뷰 영상으로 변환한다.
보다 상세하게, 탑뷰 영상 변환부(34)는 평면화(homography) 작업을 통해 원영상 내의 타원으로 보이는 원형 패턴이 수직으로 내려다보는 시점에서 원형으로 보이는 제2 탑뷰 영상을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 이상 영역의 카메라(10)로부터 입력되는 원영상 및 원영상이 변환된 탑뷰 영상의 일례를 도시한 도면이다.
도 5(a)를 참조하면, 원영상에는 원형 패턴이 타원 형상으로 보임을 확인할 수 있다. 이와 같은 원영상을 탑뷰 영상 변환부(34)는 평면화 작업을 통해 수직으로 내려다보는 시점에서 원형 패턴이 원형으로 보이는 도 5(b)와 같은 제2 탑뷰 영상을 생성한다.
공차 보정부(35)는 제1 탑뷰 영상의 정상 영역내의 패턴 및 제2 탑뷰 영상 내의 패턴을 이용하여 이상 영역에 대한 룩업 테이블(32)을 업데이트 한다.
보다 상세하게, 공차 보정부(35)는 제1 탑뷰 영상의 정상 영역 상의 패턴의 크기를 기준으로 제2 탑뷰 영상 내의 패턴 크기를 일치시키며, 제1 탑뷰 영상과 제2 탑뷰 영상의 겹치는 부분이 일치되도록 제2 탑뷰 영상에 대한 회전 및 이동을 수행하여 이상 영역에 대한 룩업 테이블(32)을 업데이트할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제1 탑뷰 영상 및 제2 탑뷰 영상의 패턴 크기를 일치시키는 일례를 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따라 제2 탑뷰 영상을 회전 및 이동시킨 일례를 도시한 도면이다.
도 6에서와 같이, 공차 보정부(35)는 탑뷰 영상 변환부(34)에서 생성된 제2 탑뷰 영상 내의 원형 패턴(A)의 크기를 제1 탑뷰 영상의 정상 영역 내의 원형 패턴(B)의 크기와 동일하게 일치시킨다.
또한, 공차 보정부(35)는 도 7에서와 같이 제1 탑뷰 영상(T1)과 제2 탑뷰 영상(T2)의 겹치는 부분을 검색하고, 겹치는 부분에 대하여 서로 인접하는 영상과 매칭되는 부분을 검색하고, 매칭되는 부분으로 제2 탑뷰 영상(T2)을 이동 및 회전 시킨다.
이어서, 공차 보정부(35)는 이동 및 회전된 제2 탑뷰 영상에서 이상 영역(도 7에서는 차량의 후방에 설치된 카메라에서 획득되는 영상 부분) 이외의 부분을 제거한 후, 이동 및 회전된 제2 탑뷰 영상을 기초로 룩업 테이블(32)을 업데이트 한다.
도 8은 본 발명의 일 실시예에 따라 업데이트된 룩업 테이블을 기초로 생성된 탑뷰 영상의 일례를 설명하기 위해 도시한 도면이다.
도 8(a)는 탑뷰 영상부(31)에서 업데이트 전의 룩업 테이블을 이용하여 카메라(10)에서 입력되는 복수의 원영상을 이용하여 생성된 제1 탑뷰 영상이며, 도 8(b)는 공차 보정부(35)에서 업데이트된 룩업 테이블을 이용하여 생성된 제3 탑뷰 영상이다. 영상 틀어짐이 발생했던 제1 탑뷰 영상에 비해, 제3 탑뷰 영상을 통해 영상 틀어짐이 해소된 것을 확인할 수 있다.
제어부(36)는 공차 보정 장치에 포함된 전반적인 구성을 제어한다.
도 9는 본 발명의 일 실시예에 따른 AVM 시스템의 공차 보정 방법의 일련의 과정을 도시한 순서도이다.
도 9를 참조하면, 우선 단계(S100)에서 이상 영역 검출부(33)은 룩업 테이블을 이용하여 공차 보정된 제1 탑뷰 영상으로부터 영상 틀어짐이 발생한 이상 영역을 검출한다.
단계(S200)에서, 탑뷰 영상 변환부(34)는 이상 영역의 카메라로부터 입력되는 원영상을 제2 탑뷰 영상으로 변환한다. 보다 상세하게, 탑뷰 영상 변환부(34)는 평면화(homography) 작업을 통해 원영상 내의 타원으로 보이는 원형 패턴이 수직으로 내려다보는 시점에서 원형으로 보이는 제2 탑뷰 영상을 생성할 수 있다.
단계(S300)에서, 공차 보정부(35)는 제1 탑뷰 영상의 정상 영역 상의 패턴의 크기를 기준으로 상기 탑뷰 영상 내의 패턴의 크기를 일치시킨다.
이어서, 단계(S400)에서, 공차 보정부(35)는 제1 탑뷰 영상과 제2 탑뷰 영상의 겹치는 부분을 검색하고, 겹치는 부분에 대하여 서로 인접하는 영상과 매칭되는 부분을 검색하고, 매칭되는 부분으로 제2 탑뷰 영상을 이동 및 회전 시킨다.
마지막으로, 단계(S500)에서 공차 보정부(35)는 회전 및 이동이 수행된 제2 탑뷰 영상을 기초로 이상 영역에 대한 룩업 테이블(32)을 업데이트 한다. 보다 상세하게, 제2 탑뷰 영상에서 이상 영역 외의 부분을 제거된 영상을 대상으로 이상 영역에 대한 룩업 테이블(32)을 업데이트 한다.
종래에는 영상의 왜곡이 발생하는 경우, 복수의 원영상 전체를 대상으로 공차 보정을 수행함으로써 시간이 많이 소요되었으며, 룩업 테이블 전체를 업데이트 함으로써 밝기 보정 및 사각지대 보정과 연관된 다른 알고리즘에 사용되는 영상 픽셀 값이 영향을 미치게 되는 문제가 있었다.
그러나, 본 발명은, 초기 공차 보정 후 일부 카메라의 뒤틀림으로 인해 영상의 왜곡이 발생하는 경우, 왜곡이 발생한 이상 영역의 카메라로부터 입력된 원영상을 이용하여, 공차 보정을 수행한 후 공차 보정된 영상을 통해 이상 영역 부분의 룩업 테이블만을 업데이트함으로써, 불필요한 공차 보정으로 인해 발생하는 시간을 감소시킬 수 있으며, 공차 보정에 따른 비용을 절약할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10: 카메라 20: 영상 수신부
30: 공차 보정 장치 31: 탑뷰 영상 생성부
32: 룩업 테이블 33: 이상 영역 검출부
34: 탑뷰 영상 변환부 35: 공차 보정부
36: 제어부

Claims (11)

  1. AVM(Around view Monitoring) 시스템의 카메라 공차 보정 장치에 있어서,
    룩업 테이블을 이용하여 공차 보정된 제1 탑뷰 영상으로부터 영상 틀어짐이 발생한 이상 영역을 검출하는 이상 영역 검출부;
    상기 이상 영역의 카메라로부터 입력되는 원영상을 제2 탑뷰 영상으로 변환하는 탑뷰 영상 변환부; 및
    상기 제1 탑뷰 영상의 정상 영역내의 패턴 및 상기 제2 탑뷰 영상 내의 패턴을 이용하여 공차 보정 수행 후 상기 이상 영역에 대한 상기 룩업 테이블을 업데이트하는 공차 보정부를 포함하되,
    상기 공차 보정부는 상기 제1 탑뷰 영상의 정상 영역 상의 패턴의 크기를 기준으로 상기 제2 탑뷰 영상 내의 패턴의 크기를 일치시키며, 상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상의 겹치는 부분이 일치되도록 상기 제2 탑뷰 영상에 대한 회전 및 이동을 수행하며, 상기 회전 및 이동이 수행된 제2 탑뷰 영상을 기초로 상기 이상 영역에 대한 룩업 테이블 업데이트 하는 것을 AVM 시스템의 카메라 공차 보정 장치.
  2. 제1항에 있어서,
    상기 패턴은 원형 패턴인 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 장치.
  3. 제2항에 있어서,
    상기 탑뷰 영상 변환부는 평면화 작업을 통해 상기 원영상 내의 타원으로 보이는 원형 패턴이 수직으로 내려다보는 시점에서 원형으로 보이는 제2 탑뷰 영상을 생성하는 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 장치.
  4. 제1항에 있어서,
    상기 룩업 테이블에는 복수의 광각 카메라로부터 입력되는 복수의 원영상을 탑뷰 영상으로 변환할 때 상기 각 원영상의 화소들과 탑뷰 영상의 화소들 간의 대응관계에 대한 매핑 데이터가 저장된 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 장치.
  5. 제4항에 있어서,
    상기 룩업 테이블을 참조하여, 입력되는 복수의 원영상을 하나의 탑뷰 영상으로 변환하는 탑뷰 영상 생성부를 더 포함하는 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 공차 보정부는 상기 제2 탑뷰 영상에서 상기 이상 영역 외의 부분을 제거한 후 상기 룩업 테이블을 업데이트 하는 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 장치.
  8. AVM(Around view Monitoring) 시스템의 카메라 공차 보정 방법에 있어서,
    룩업 테이블을 이용하여 공차 보정된 제1 탑뷰 영상으로부터 영상 틀어짐이 발생한 이상 영역을 검출하는 단계(a);
    상기 이상 영역의 카메라로부터 입력되는 원영상을 제2 탑뷰 영상으로 변환하는 단계(b); 및
    상기 제1 탑뷰 영상의 정상 영역 내의 패턴 및 상기 제2 탑뷰 영상 내의 패턴을 이용하여 공차 보정 수행 후 상기 이상 영역에 대한 상기 룩업 테이블을 업데이트하는 단계(c)를 포함하되,
    상기 단계(c)는
    상기 제1 탑뷰 영상의 정상 영역 상의 패턴의 크기를 기준으로 상기 제2 탑뷰 영상 내의 패턴의 크기를 일치시키는 단계(c-1);
    상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상의 겹치는 부분이 일치되도록 상기 제2 탑뷰 영상에 대한 회전 및 이동을 수행하는 단계(c-2);
    상기 회전 및 이동이 수행된 상기 제2 탑뷰 영상을 기초로 상기 이상 영역에 대한 룩업 테이블 업데이트 하는 단계(c-3)를 포함하는 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 방법.
  9. 제8항에 있어서,
    상기 패턴은 원형 패턴이며,
    상기 단계(b)는 평면화 작업을 통해 상기 원영상 내의 타원으로 보이는 원형 패턴이 수직으로 내려다보는 시점에서 원형으로 보이는 상기 제2 탑뷰 영상을 생성하는 것을 특징으로 AVM 시스템의 카메라 공차 보정 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 단계(c-3)은
    상기 제2 탑뷰 영상에서 상기 이상 영역 외의 부분을 제거한 후 상기 이상 영역에 대한 룩업 테이블을 업데이트하는 것을 특징으로 하는 AVM 시스템의 카메라 공차 보정 방법.
KR1020150112535A 2015-08-10 2015-08-10 Avm 시스템의 카메라 공차 보정 방법 및 장치 KR101708620B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150112535A KR101708620B1 (ko) 2015-08-10 2015-08-10 Avm 시스템의 카메라 공차 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150112535A KR101708620B1 (ko) 2015-08-10 2015-08-10 Avm 시스템의 카메라 공차 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170018644A KR20170018644A (ko) 2017-02-20
KR101708620B1 true KR101708620B1 (ko) 2017-02-23

Family

ID=58265032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150112535A KR101708620B1 (ko) 2015-08-10 2015-08-10 Avm 시스템의 카메라 공차 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101708620B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102119388B1 (ko) * 2018-09-12 2020-06-08 (주)캠시스 Avm 시스템 및 카메라 공차 보정 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141649A (ja) 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2009267603A (ja) * 2008-04-23 2009-11-12 Alpine Electronics Inc 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101113679B1 (ko) * 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
KR101683923B1 (ko) * 2011-10-14 2016-12-08 현대자동차주식회사 Avm 영상 왜곡 자동 보정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141649A (ja) 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2009267603A (ja) * 2008-04-23 2009-11-12 Alpine Electronics Inc 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法

Also Published As

Publication number Publication date
KR20170018644A (ko) 2017-02-20

Similar Documents

Publication Publication Date Title
JP6674022B2 (ja) 位置合わせされた統合画像を生成する方法、および、複数カメラ車両撮像システム
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
US9892493B2 (en) Method, apparatus and system for performing geometric calibration for surround view camera solution
US8441541B2 (en) Control apparatus and control method therefor
JP5338718B2 (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
US11838497B2 (en) Calibration of a surround view camera system
KR101339121B1 (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
US7889234B2 (en) Automatic calibration for camera lens distortion correction
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
US10963989B2 (en) Apparatus and method of generating stitched image based on look-up table
US9984444B2 (en) Apparatus for correcting image distortion of lens
KR101795180B1 (ko) 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법
KR20110116387A (ko) 촬상 장치 및 영상 왜곡 보정 방법
KR101708620B1 (ko) Avm 시스템의 카메라 공차 보정 방법 및 장치
JP5560722B2 (ja) 画像処理装置、画像表示システム、および画像処理方法
KR20200137744A (ko) 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
US20100141734A1 (en) Imaging apparatus and optical axis correction method of imaging apparatus
US11483547B2 (en) System and method for adaptive correction factor subsampling for geometric correction in an image processing system
JP2014176053A (ja) 画像信号処理装置
KR101825343B1 (ko) 차량의 후방 뷰 영상 처리 장치 및 시스템
KR102528003B1 (ko) 차량용 카메라 공차 보정 방법 및 그 장치
KR102035586B1 (ko) 카메라 영상 이미지로부터 삼각형을 자동으로 찾는 방법 및 그 시스템
KR101729473B1 (ko) 카메라 공차 보정 장치 및 방법
CN112738485B (zh) 投影仪的控制方法及投影仪
JP5846986B2 (ja) 撮像装置

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4