KR102479253B1 - 차량용 카메라 영상 기반 공차 보정 방법 - Google Patents

차량용 카메라 영상 기반 공차 보정 방법 Download PDF

Info

Publication number
KR102479253B1
KR102479253B1 KR1020160149683A KR20160149683A KR102479253B1 KR 102479253 B1 KR102479253 B1 KR 102479253B1 KR 1020160149683 A KR1020160149683 A KR 1020160149683A KR 20160149683 A KR20160149683 A KR 20160149683A KR 102479253 B1 KR102479253 B1 KR 102479253B1
Authority
KR
South Korea
Prior art keywords
camera
tolerance
vehicle
image
correction unit
Prior art date
Application number
KR1020160149683A
Other languages
English (en)
Other versions
KR20180052415A (ko
Inventor
손민성
김현상
김신구
김경환
오충재
전은석
Original Assignee
현대자동차주식회사
기아 주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 서강대학교산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020160149683A priority Critical patent/KR102479253B1/ko
Publication of KR20180052415A publication Critical patent/KR20180052415A/ko
Application granted granted Critical
Publication of KR102479253B1 publication Critical patent/KR102479253B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자동차에 장착되는 차량용 카메라의 공차를 보정하는 기술에 관한 것으로서, 차량에 구비된 카메라를 통해 입력되는 영상에 영상인식 기술을 적용하여 차량 주변 환경의 정보를 인식하여 획득하되, 인식된 정보를 바탕으로 일상적인 차량 운행에 따라 해당 카메라에 발생한 공차를 산출하여 이를 자동으로 보정하도록 함으로써, 카메라의 공차 보정을 위하여 종래 기술에서 요구되는 추가적인 장치, 설비 또는 기술의 적용에 따른 운전자와 자동차 생산자의 불편함을 크게 감소시키고, 더 나아가, 제품 차량의 상품성을 향상시키는 기술에 관한 것이다.

Description

차량용 카메라 영상 기반 공차 보정 방법 {METHOD FOR COMPENSATING CAMERA TOLERANCE BASED ON A CAMERA IMAGE OF A VEHICLE}
본 발명은 자동차에 장착되는 차량용 카메라의 공차를 보정하는 기술에 관한 것으로서, 보다 상세하게는, 차량에 구비된 카메라를 통하여 입력되는 영상에 영상인식 기술을 적용하여 차량 주변 환경의 정보를 인식하여 획득하되, 인식된 정보를 바탕으로 해당 카메라에 발생한 공차를 산출하여 이를 자동으로 보정하는 기술에 관한 것이다.
일반적으로 자동차에 장착되어 차량의 주행보조 역할을 수행하는 운전자 주행보조시스템(ADAS, Advanced Driver Assistance Systems)은 차량의 주변 상황을 영상으로 촬영하여 운전자에게 제공하기 위하여 구비되는 최소한 하나 이상의 카메라를 포함한다.
통상적으로 운전자 주행보조시스템의 카메라는 사전 설계된 특정 위치에 특정 방향, 예를 들어, 차량 후방을 지향하도록 고정 장착되어 영상을 촬영하도록 이루어지며, 상기 카메라로부터 촬영된 영상과, 카메라의 위치 및 지향 방향을 기반으로 하여 사전 설정된 알고리즘 또는 프로그램 절차에 따라 운전자에게 필요한 정보를 계산하도록 이루어진다.
그러나, 운전자 주행보조시스템의 카메라는 자동차의 장기간의 운행에 따른 자연스런 노후화 또는 차량 진동 또는 사고 등으로 인하여 카메라와 차량 사이의 관계, 즉, 카메라의 최초 설계된 고정 위치 또는 지향 방향의 의도하지 않은 오차가 발생할 수 있었다. 통상적으로 이러한 오차를 공차(Tolerance)라고 한다.
이러한 공차는 카메라로부터 촬영되어 운전자에게 제공되는 영상의 오차 뿐만아니라, 촬영된 영상으로부터 사전 설정된 영상인식 알고리즘에 의하여 산출된 정보에도 오차를 유발하기 때문에 주기적으로 카메라에 발생하는 공차를 보정해야 할 필요성이 있었다.
그러나, 공차의 보정은 운전자 스스로 인식하기 힘들 뿐만 아니라, 공차의 보정을 위해서는 관련 설비와 기술을 갖춘 특정 정비소를 방문해야 하는 제약이 있기 때문에 운전자의 불편을 유발할 수 있었다. 따라서, 공차가 발생하였음에도 불구하고, 인식하지 못하여 공차가 발생한 카메라로부터 획득한 정보가 그대로 운전자에게 제공되거나, 또는 공차를 인식하였음에도 정비소를 방분하기 어려운 여건상 보정을 미루게 되는 단점이 있었다.
상기와 같은 문제를 해결하기 위한 종래의 기술로서, 대한민국 특허공개공보 제 10-2015-0135697호 "카메라 파라미터 측정 장치 및 그 방법"은 사전 설정된 길이를 갖는 기준 표지(패턴)를 서로 다른 시점에서 촬영한 복수의 영상으로부터 표지의 양 끝점에 상응하는 투영점과 사전 설정된 기준 영상점 간의 영상 거리를 산출하고, 이를 바탕으로 카메라의 높이 및 촬영 방향을 산출하는 기술을 제시하고 있다. 그러나, 상기 종래의 기술은 카메라의 보정 시, 길이가 정해진 특수한 패턴을 가진 타겟을 이용하여야 하기 때문에, 해당 타겟이 필수적으로 요구된다는 문제가 있었다.
따라서, 상기와 같은 차량의 사용중 발생하는 카메라의 공차로 인한 차량 상품성 저하 문제와, 공차 보정에 따른 어려움 및 불편함을 해결하기 위한 보다 진보된 기술의 개발이 요구되고 있다.
본 발명은 상기와 같은 문제를 해결하기 위하여 창안된 것으로서,
차량에 구비된 카메라를 통해 입력되는 영상에 영상인식 기술을 적용하여 차량 주변 환경의 정보를 인식하여 획득하되, 인식된 정보를 바탕으로 일상적인 차량 운행에 따라 해당 카메라에 발생한 공차를 산출하여 이를 자동으로 보정하도록 함으로써, 카메라의 공차 보정을 위하여 종래 기술에서 요구되는 추가적인 장치, 설비 또는 기술의 적용에 따른 운전자와 자동차 생산자의 불편함을 크게 감소시키고, 더 나아가, 제품 차량의 상품성을 향상시키는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명은,
차량용 카메라 영상 기반 공차 보정 방법에 있어서, 카메라로부터 영상정보를 수신하는 단계; 수신한 영상정보 내의 연속하는 두 영상의 서로 대응하는 특징점 P와 P'를 검출하는 단계; 상기 특징점 P와 P'의 에고-모션(ego-motion)을 계산 및 추정하고, 추정된 에고 모션을 기준으로 두 영상을 촬영한 시점의 카메라의 위치 관계 및 이동 방향(d)을 추정하는 단계; 가상 영상 평면 상에 카메라의 위치를 투영하고, 투영된 카메라의 위치로부터 가상의 직선 까지의 거리 및 방향을 계산하는 단계; 및 투영된 카메라의 위치로부터 상기 직선 까지의 거리 및 방향으로부터 카메라의 방향 및 높이를 산출함으로써 공차를 추정하는 단계를 포함하는 것을 특징으로 한다.
또한, 카메라의 이동 방향(d)을 기준으로 추가 특징점들을 추적하고, 추적된 추가 특징점들의 3차원 좌표를 계산하는 단계; 카메라의 이동 방향과 수직한 가상 영상 평면에 3차원 좌표 계산된 추가 특징점들을 투영하는 단계; 및 가상 영상 평면 상에서 가장 많은 추가 특징점을 포함하는 직선을 검출하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 카메라의 광각 렌즈의 광학 특성에 기반하여 영상의 왜곡을 보정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 산출된 카메라의 이동 방향(d)을 기준으로 차량의 정면 방향을 추정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 캔 통신 라인을 통하여 차량 공차보정부로부터 차량의 이동 거리에 대한 정보를 수신하는 단계; 수신된 이동 거리에 대한 정보와 상기 영상 정보로부터 산출된 카메라의 이동 거리(d) 사이의 오차비율을 계산하는 단계; 및 계산된 오차비율을 투영된 카메라의 위치로부터 상기 직선 까지의 거리 및 방향과 계산된 오차비율을 적용하여 카메라의 방향 및 높이를 산출함으로써 공차를 추정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 공차 발생 판단시 경고메세지를 생성 및 출력하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 공차 발생 판단시, 추정된 공차 비율을 상기 카메라로부터 획득한 영상정보 내의 가상 영상 평면 상의 카메라의 위치에 반영하여 공차를 자동으로 보정하는 단계를 더 포함하는 것을 특징으로 한다.
상기와 같은 구성을 통하여 본 발명의 차량용 카메라 영상 기반 공차 보정 방법은 이하의 특징적인 장점을 제공한다.
1) 차량의 일상적인 사용 중에 발생할 수 있는 카메라의 공차를 해당 카메라로부터 획득되는 영상으로부터 영상인식 기술을 이용하여 자동으로 분석하여 보정함으로써, 차량 출고 후 외부 충격 또는 노후화에 의하여 생기는 카메라의 지속적인 자세 변화에 따른 공차에 능동적 대응이 가능한 효과가 있다.
2) 차량 주행 중 카메라에 발생하는 공차를 자동으로 보정함으로써, 공차 보정을 위하여 차량 정비소를 방문해야 하는 번거로움을 해결할 수 있는 효과가 있다.
3) 인식 기능이 탑재된 후방 카메라가 차량에 구비된 경우, 카메라 자세가 인식 성능에 밀접한 연관이 있으므로, 본 기술의 적용 시 인식 성능에 대한 안전성을 확보하여 운전자의 안전을 확보할 수 있는 효과가 있다.
4) 카메라의 공차 발생시 경고메세지를 출력하여 공차 발생을 인지하도록 함으로써, 운전자의 안전성을 증대시킬 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 차량용 카메라 영상 기반 공차 보정 방법의 실시를 위한 시스템을 개략적으로 도시하는 블럭도이다.
도 2는 본 발명의 바람직한 실시예에 따른 차량용 카메라 영상 기반 공차 보정 방법을 나타내는 플로우차트이다.
도 3은 산출된 카메라의 이동 방향 성분을 나타내고 있다.
도 4는 KLT 특징 추적에 의하여 추정한 특징점 P 및 P'와, 카메라 중심의 추정된 이동방향(d)에 따른 추가 특징점들을 각각 나타낸다.
도 5는 선형 삼각측량 알고리즘의 일 예를 나타낸다.
도 6a는 이동 방향과 수직한 임의의 가상 영상 평면에 3차원 특징점들을 투영하는 단계를 개략적으로 나타낸 모식도이며, 도 6b는 도 6b의 가상 영상 평면 상에서 지면으로부터 카메라의 높이를 계산하는 단계를 개략적으로 나타낸다.
이하, 본 발명의 기술적 구성을 구체적으로 기술하기에 앞서, 본 명세서 및 특허 청구범위의 전반에 걸쳐 사용된 용어나 단어는 통상적이거나 또는 사전적인 의미로 한정되어 해석되는 것으로 이해해서는 안되며, 해당 용어나 단어는 '발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙'에 입각하여 기술된 것이며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 기술 구성은 본 발명의 가장 바람직한 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. 또한, 본 명세서에서 사용된 용어는 특정 실시예를 이해하기 쉽게 설명하기 위한 목적으로 사용되는 것으로, 본 발명을 제한하기 위한 것이 아니다. 본 명세서 상에 단수 형태로 기재된 구성요소는 별도로 특정하는 것이 아니라면 복수의 형태를 포함하는 것으로 이해되어야 한다.
본 발명은 자동차에 장착되는 카메라의 공차를 보정하는 기술에 관한 것으로서, 차량에 구비된 카메라를 통해 입력되는 영상에 영상인식 기술을 적용하여 차량 주변 환경의 정보를 인식하여 획득하되, 인식된 정보를 바탕으로 해당 카메라에 발생한 공차를 산출하여 이를 자동으로 보정하도록 함으로써, 카메라의 공차 보정을 위하여 종래 기술에서 요구되는 추가적인 장치, 설비 또는 기술의 적용에 따른 운전자와 자동차 생산자의 불편함을 크게 감소시키고, 더 나아가, 제품 차량의 상품성을 향상시키도록 이루어진다.
이하, 도면을 참조로 하여 본 발명의 바람직한 실시예를 상세히 설명하도록 한다.
도 1은 본 발명의 바람직한 실시예에 따른 차량용 카메라 영상 기반 공차 보정 방법의 실시를 위한 시스템을 개략적으로 나타내는 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 차량용 카메라 영상 기반 공차 보정 방법을 나타내는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 차량용 카메라 영상 기반 공차 보정 방법은 자동차에 설치되어 차량 주변 영상을 촬영하여 영상정보를 획득 및 생성하는 최소한 하나 이상의 카메라(20)(예를 들어, 자동차의 후방 카메라); 상기 카메라(20)로부터 영상정보를 수신하여 해당 영상정보에 최소한 하나 이상의 영상인식 알고리즘을 적용함으로써 상기 카메라(20)의 공차를 분석 및 인식하고, 공차 발생 판단시 해당 영상 정보의 가상 영상 평면을 보정함으로써, 카메라(20)의 공차를 보정하는 공차보정부(10); 및 상기 공차보정부(10)와 차량 제어부(예를 들어, BCM 등)를 연결하여 공차 발생 판단에 필요한 차량 정보를 상기 공차보정부(10)에서 수신 가능하도록 하는 캔(CAN) 통신 라인(30)을 포함하여 이루어진다.
상기 카메라(20)는 자동차에 설치되어 그 지향된 방향의 영상을 촬영하여 영상정보를 생성하도록 이루어진 구성요소로서, 생성된 영상정보를 상기 공차보정부(10)로 전송하도록 이루어진다. 이하, 본 발명의 바람직한 실시예를 기술함에 있어, 설명의 편의상 상기 카메라(20)는 자동차의 후방 카메라인 것을 기준으로 기술하도록 하나, 이에 한정하는 것은 아니며, 자동차에 설치된 어떠한 카메라, 예를 들어, 전방 카메라에 적용되거나, 또는 둘 이상의 카메라에 각각 적용될 수 있는 것으로 이해되어야 한다.
또한, 상기 카메라(20)는 차량 주변의 상황을 연속적으로 영상을 촬영한 동영상을 포함한 영상정보를 생성 및 출력하거나, 또는, 사전 설정된 주기로 차량 주변 상황을 촬영한 사진 또는 복수의 동영상을 포함한 영상정보를 주기적으로 생성 및 출력함으로써, 상기 공차보정부(10)로 전송하도록 이루어진다.
상기 영상정보는 예를 들어, 하나의 동영상 내의 사전 설정된 주기로 획득된 복수의 영상 구간 또는 정지영상을 포함하는 영상정보, 최소한 둘 이상의 동영상을 포함하는 영상정보, 또는 최소한 둘 이상의 정지영상을 포함하는 영상정보가 될 수 있다.
상기 공차보정부(10)는 상기 카메라(20)로부터 영상정보를 수신하여 해당 영상정보에 최소한 하나 이상의 영상인식 알고리즘을 적용함으로써, 상기 카메라(20)의 공차를 분석 및 인식하고 공차 발생 판단시, 해당 영상 정보의 가상 영상 평면을 보정함으로써, 카메라(20)의 공차를 보정하도록 이루어진 구성요소이다.
이를 위하여 상기 공차보정부(10)는 상기 카메라(20)로부터 입력되는 최소한 하나 이상의 영상정보, 예를 들어, 하나의 동영상 내의 사전 설정된 주기로 획득된 복수의 영상 구간 또는 정지영상을 포함하는 영상정보, 최소한 둘 이상의 동영상을 포함하는 영상정보, 또는 최소한 둘 이상의 정지영상을 포함하는 영상정보 등의 영상정보에 영상인식 알고리즘을 적용하도록 이루어진다.
상기 공차보정부(10)는 상기와 같은 영상처리 및 알고리즘의 수행을 위한 목적으로 전자제어유닛(ECU) 또는 마이크로 컨트롤 유닛(MCU)등을 포함하여 이루어진 별도의 구성요소로서 해당 차량에 설치되거나, 또는 차량에 제어를 위하여 기 구비된 차량 제어부(예를 들어, 차체제어모듈(BCM) 또는 클러스터 제어부 등)에 포함된 구성으로 이루어질 수 있다.
상기 공차보정부(10)는 상기 카메라(20)로부터 입력되는 영상정보에 영상인식 알고리즘을 적용하여 영상정보 내의 특징점을 검출 및 추적 후, 카메라(20) 렌즈의 좌표 왜곡을 보정하고, 에고-모션을 적용하여 영상정보를 획득한 시점 각각의 카메라(20)의 위치관계 및 이동 방향을 추정하며, 검출된 특징점을 기반으로 3차원 추가 특징점 정보를 더 추정하고, 이를 바탕으로 지면으로부터의 카메라(20)의 높이를 추정함으로써, 공차를 판단하고 이를 보정하도록 이루어진다.
상기 공차보정부(10)에서 공차를 추정 및 보정하는 방법은 도 2를 참조로 하여보다 상세히 기술하도록 한다.
먼저, 차량에 구비된 카메라(20), 예를 들어, 차량의 후방 카메라는 차량 주변을 촬영하여 영상정보를 생성하고, 이를 출력하여 상기 공차보정부(10)로 전송한다(S001).
상기 공차보정부(10)는 상기 카메라(20)에서 입력된 영상정보(예를 들어, 하나의 동영상 내의 사전 설정된 주기로 획득된 복수의 영상 구간 또는 정지영상을 포함하는 영상정보, 최소한 둘 이상의 동영상을 포함하는 영상정보, 또는 최소한 둘 이상의 정지영상을 포함하는 영상정보 등)내의 연속하는 두 영상에 각각 영상인식 알고리즘을 적용하여 각 영상의 서로 대응하는 특징점 P와 P'를 검출한다(S002).
이 단계에서는 예를 들어, 아래와 같은 코너 검출 알고리즘과 특징점 추적 알고리즘이 사용될 수 있다.
a) 해리스 코너 검출 알고리즘(Harris corner detector)
-해리스 코너 검출 알고리즘은 영상 내의 코너 포인트를 검출하는 알고리즘으로서, 영상 내의 특정 물체(object)를 추적하거나 인식하기 위하여 영상을 매칭하는데 주로 사용되는 알고리즘이다. 상기 해리스 코너 검출 알고리즘은 영상을 매칭할 때 각 영상을 서로 매칭하기 위한 특징점을 검출하는데 사용된다.
본 발명의 바람직한 실시예에서, 상기 공차보정부(10)는 수신한 영상정보에 해리스 코너 검출 알고리즘을 사용함으로써, 연속하는 두 영상 속의 특징점들을 검출한다.
b) KLT 특징 추적 알고리즘(KLT feature tracker)
-KLT 특징 추적 알고리즘은 특징점이 검출된 각각의 영상의 매칭을 위하여, 가장 효율적인 특징점을 추적하기 위한 알고리즘이다.
본 발명의 바람직한 실시예에서, 상기 공차보정부(10)는 상기 해리스 코너 검출 알고리즘을 사용하여 검출하여 획득한 연속하는 두 영상 속의 특징점들 중 대응하는 특징점 P와 P'를 추적하기 위하여 KLT 특징 추적 알고리즘을 사용한다.
결과적으로 상기 공차보정부(10)는 상기 카메라(20)로부터 수신한 두 영상에 해리스 코너 검출 알고리즘과 KLT 특징 추적 알고리즘을 적용하여 두 영상의 매칭을 위한 대응하는 특징점 P와 P'를 획득할 수 있다.
한편, 상기 공차보정부(10)는 상기 카메라(20)를 구성하는 광각렌즈의 광학 특성으로 인한 영상의 왜곡을 보정하는 단계를 수행한다(S003).
통상적으로 차량에 적용되는 카메라는 광범위한 화각을 위하여 광각렌즈가 사용되는데, 상기 광각 렌즈는 그 광학 특성상 촬영한 영상을 왜곡하는 단점이 존재한다.본 발명의 공차보정부(10)는 광각렌즈의 영상 왜곡으로 인하여 인식된 영상 내의 오브젝트들의 좌표가 왜곡되는 것을 방지하기 위하여 광각 렌즈의 왜곡을 보정하는 단계를 수행한다.
광각 렌즈의 왜곡을 보정하는 단계는 해당 차량에 적용되는 카메라의 광각 렌즈의 광학 특성을 적용하여 수행될 수 있으며, 자세한 설명은 생략하도록 한다.
상기 공차보정부(10)는 상기 단계 S002에서 검출된 서로 대응하는 특징점 P와 P'의 에고-모션(ego-motion)을 계산 및 추정함으로써, 에고 모션을 기준으로 차량의 정면 방향을 추정하도록 이루어진다(S004).
본 발명의 일 실시예에서, 차량의 에고 모션 추정은 에피폴라 제약조건을 적용하여 추정된다. 다시말해서, 상기 공차보정부(10)는 특징점 P와 P'에 에피폴라 제약조건(epipolar constraint)을 이용한 점 매칭(point matching) 알고리즘을 적용하여 각 특징점을 촬영한 시점의 카메라(20)의 에고 모션(ego-motion)을 추정한다.
이때, 상기 공차보정부(10)는 상기 두 영상들 사이에서 검출된 특징점 P와 P'로부터 상기 이미지들에 대한 에피폴라(epipolar) 기하를 도출하며, 상기 에피폴라 기하로부터 도출된 에피폴라 제약조건 하에서 각 특징점 P와 P'를 매칭함으로써, 두 카메라의 위치관계 및 이동 방향을 추정할 수 있다.
상기 에피폴라 제약조건은 이하의 수식으로 나타낼 수 있다.
[식 1]
Figure 112016110079379-pat00001
결과적으로 상기와 같은 에피폴라 제약조건이 적용된 기초 행렬은 이하의 수식과 같다.
[식 2]
Figure 112016110079379-pat00002
상기 식 2에서 F는 기초행렬(fundamental matrix), p는 특징점(project point), K는 카메라 고유 특성 파라미터(camera intrinsic parameter), t는 이동 행렬(translation matrix), 및 R은 회전 행렬(rotation matrix)을 나타낸다.
한편, 본 발명의 다른 실시예에서는, 가우스-뉴턴법(Gauss-Newton Method)을 적용하여 에고 모션을 추정할 수 있다. 이 실시예에서의 기초 행렬은 아래의 식과 같다.
[식 3]
Figure 112016110079379-pat00003
여기에서 추정된 파라미터는 아래와 같다
Figure 112016110079379-pat00004
상기 추정된 파라미터에 최소자승법 (least square object funtion)을 아래와 같이 적용하여 추정된 파라미터 중 최적화된 파라미터를 결정하여 에고 모션을 추정할 수 있다.
[식 4]
Figure 112016110079379-pat00005
본 발명의 또 다른 실시예에서는, RANSAC 알고리즘을 적용하여 에고-모션을 추정하도록 구성될 수 있다. 상기 RANSAC(RANdom SAmple Consensus) 알고리즘은 가장 많은 수의 데이터들로부터 지지를 받는 모델을 선택하는 공지의 알고리즘으로써, 이 실시예에서는 다수의 특징점 P와 P'에 RANSAC 알고리즘을 적용하여 에고-모션을 추정하도록 이루어진다.
상기와 같이 추정된 카메라(20)의 에고-모션을 바탕으로 이하의 식을 통하여 카메라(20) 중심의 이동방향 (d)를 계산한다. 도 3은 이러한 방식으로 산출된 카메라(20)의 이동 방향 성분을 나타내고 있다.
[식 5]
Figure 112016110079379-pat00006
이후, 상기 공차보정부(10)는 상기 단계 S004를 통하여 카메라(20)의 에고-모션으로 추정하여 획득한 영상 내의 카메라(20) 이동방향(d)을 기준으로 추가적으로 특징점들을 더 추적하고, 그 후 특징점들의 3차원 좌표를 계산한다(S005).
이 단계에서는 엣젤 트래킹(edgel tracking) 알고리즘으로 상기 단계 S002에서 KLT 특징 추적에 의하여 추정한 특징점 P 및 P'와 함께, 상기 단계 S004에서 획득한 카메라(20) 중심의 추정된 이동방향(d)에 따른 추가 특징점들을 추정한다.
도 4는 KLT 특징 추적에 의하여 추정한 특징점 P 및 P'와, 카메라(20) 중심의 추정된 이동방향(d)에 따른 추가 특징점들을 각각 나타낸다.
이후, 상기 공차보정부(10)는 엣젤 트래킹 알고리즘에 의하여 획득한 추가 특징점들에 3차원 좌표 계산을 위한 선형 삼각측량(linear triangulation) 알고리즘을 적용하여 각 특징점들의 3차원 좌표를 계산한다. 도 5는 선형 삼각측량 알고리즘의 일 예를 나타낸다.
상기 단계 S005를 통하여 추정된 카메라(20)의 이동 방향을 바탕으로 지면(g)을 추정하고, 추정된 지면(g)으로부터 상기 카메라(20)의 높이를 추정한다(S006).
이 단계는 상기 단계 S005를 통하여 추정된 카메라(20)의 이동 방향과 수직한 가상 영상 평면에 카메라(20)의 이동 방향(d)으로 산출된 3차원 특징점들을 투영하고, 허프 변환(hough transform) 알고리즘을 적용하여 투영면 상에서 가장 많은 특징점을 포함하는 직선을 검출함으로써 달성될 수 있다.
이후, 상기 3차원 특징점들이 투영된 가상 영상 평면 상에 카메라(20)의 위치를 투영하고, 검출된 가장 많은 특징점을 포함하는 직선까지의 거리 및 방향을 계산하고, 동시에 지면(g)과의 거리 및 방향을 계산한다.
도 20a는 이동 방향과 수직한 임의의 가상 영상 평면에 3차원 특징점들을 투영하는 단계를 개략적으로 나타낸 모식도이며, 도 20b는 도 20b의 가상 영상 평면 상에서 지면으로부터 카메라(20)의 높이를 계산하는 단계를 개략적으로 나타낸다.
한편, 상기 단계에서 산출된 카메라(20)의 이동 방향(d)과 지면(g)으로의 방향이 각각 상기 카메라(20)의 정면 방향과 하방으로 이루어지는 회전 행렬을 계산함으로써, 차량의 방향을 판단하고(S007),
상기 캔 통신 라인(30)을 통하여 차량 제어부로부터 차량의 이동 거리에 대한 정보를 수신하고, 상기 영상 정보로부터 산출된 카메라(20)의 이동 거리 사이의 오차비율을 계산하며, 이를 상기 단계에서 영상으로 산출한 카메라(20)의 높이에 적용하여 지면(g)으로부터 실제 카메라(20)가 위치한 높이를 계산함으로써, 공차를 추정한다(S008)
상기 단계S007에서 공차가 발생한 것으로 판단이 되면, 상기 공차보정부(10)는 경고메세지를 생성하여 차량 내 클러스터 등으로 출력하도록 함으로써, 공차발생 경고메세지를 운전자에게 제공한다(S009). 이때 경고메세지의 출력은 예를 들어, 차량에 구비된 클러스터 내에 포함된 임의의 출력장치, 예를 들어, 디스플레이 수단 등을 통하여 출력될 수 있다.
마지막으로, 상기 공차보정부(10)는 공차 발생 판단시 상기 단계들로부터 산출된 공차 비율을 상기 카메라(20)로부터 획득한 영상정보 내의 가상 영상 평면 상의 카메라(20)의 위치에 반영하여 공차를 자동으로 보정할 수 있다(S009).
본 발명은 상기와 같은 구성을 통하여, 차량의 일상적인 사용 중에 발생할 수 있는 카메라(20)의 공차를 해당 카메라(20)로부터 획득되는 영상으로부터 영상인식 기술을 이용하여 자동으로 분석하여 보정함으로써, 차량 출고 후 외부 충격 또는 노후화에 의하여 생기는 카메라(20)의 지속적인 자세 변화에 따른 공차에 능동적 대응할 수 있으며, 공차 보정을 위하여 차량 정비소를 방문해야 하는 번거로움을 해결하며, 더 나아가, 인식 기능이 탑재된 후방 카메라(20)가 차량에 구비된 경우, 카메라(20) 자세가 인식 성능에 밀접한 연관이 있으므로, 본 기술의 적용 시 인식 성능에 대한 안전성을 확보하여 운전자의 안전을 확보할 수 있는 장점을 제공하고, 마지막으로, 카메라(20)의 공차 발생시 경고메세지를 출력하여 공차 발생을 인지하도록 함으로써, 운전자의 안전성을 증대시킬 수 있는 장점을 제공한다.
이상으로 본 발명의 차량용 카메라 영상 기반 공차 보정 방법의 바람직한 실시예를 상세하게 설명하였으나, 이는 본 발명에 대한 이해를 돕기 위하여 특정한 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도, 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 고안이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10: 공차보정부
20: 카메라
30: 캔 통신 라인

Claims (7)

  1. 카메라로부터 영상정보를 수신하여 해당 영상정보에 최소한 하나 이상의 영상인식 알고리즘을 적용하여 카메라의 공차를 분석 및 인식하고, 공차 발생 판단시 해당 영상 정보의 가상 영상 평면을 보정하는 공차보정부에 의한 차량용 카메라 영상 기반 공차 보정 방법에 있어서,
    공차보정부가 카메라로부터 영상정보를 수신하는 단계;
    공차보정부가 수신한 영상정보 내의 연속하는 두 영상의 서로 대응하는 특징점 P와 P'를 검출하는 단계;
    공차보정부가 상기 특징점 P와 P'의 에고-모션(ego-motion)을 계산 및 추정하고, 추정된 에고 모션을 기준으로 두 영상을 촬영한 시점의 카메라의 위치 관계 및 이동 방향(d)을 추정하는 단계;
    공차보정부가 카메라의 이동 방향(d)을 기준으로 추가 특징점들을 추적하고, 추적된 추가 특징점들의 3차원 좌표를 계산하는 단계;
    공차보정부가 카메라의 이동 방향과 수직한 가상 영상 평면에 3차원 좌표 계산된 추가 특징점들을 투영하는 단계;
    공차보정부가 가상 영상 평면 상에서 가장 많은 추가 특징점을 포함하는 직선을 검출하는 단계;
    공차보정부가 가상 영상 평면 상에 카메라의 위치를 투영하고, 투영된 카메라의 위치로부터 가상의 직선 까지의 거리 및 방향을 계산하는 단계;
    공차보정부가 투영된 카메라의 위치로부터 상기 직선 까지의 거리 및 방향으로부터 카메라의 방향 및 높이를 산출함으로써 공차를 추정하는 단계; 를 포함하고,
    상기 공차보정부가 투영된 카메라의 위치로부터 상기 직선 까지의 거리 및 방향으로부터 카메라의 방향 및 높이를 산출함으로써 공차를 추정하는 단계는,
    공차보정부가 캔 통신 라인을 통하여 차량 공차보정부로부터 차량의 이동 거리에 대한 정보를 수신하는 단계;
    공차보정부가 수신된 이동 거리에 대한 정보와 상기 영상 정보로부터 산출된 카메라의 이동 거리(d) 사이의 오차비율을 계산하는 단계; 및
    공차보정부가 계산된 오차비율을 투영된 카메라의 위치로부터 상기 직선 까지의 거리 및 방향과 계산된 오차비율을 적용하여 카메라의 방향 및 높이를 산출함으로써 공차를 추정하는 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 영상 기반 공차 보정 방법.
  2. 삭제
  3. 제 1항에 있어서,
    카메라의 광각 렌즈의 광학 특성에 기반하여 영상의 왜곡을 보정하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량용 카메라 영상 기반 공차 보정 방법.
  4. 제 1항에 있어서,
    산출된 카메라의 이동 방향(d)을 기준으로 차량의 정면 방향을 추정하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량용 카메라 영상 기반 공차 보정 방법.
  5. 삭제
  6. 제 1항에 있어서,
    공차 발생 판단시 경고메세지를 생성 및 출력하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량용 카메라 영상 기반 공차 보정 방법.
  7. 제 1항에 있어서,
    공차 발생 판단시,
    추정된 공차 비율을 상기 카메라로부터 획득한 영상정보 내의 가상 영상 평면 상의 카메라의 위치에 반영하여 공차를 자동으로 보정하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량용 카메라 영상 기반 공차 보정 방법.
KR1020160149683A 2016-11-10 2016-11-10 차량용 카메라 영상 기반 공차 보정 방법 KR102479253B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160149683A KR102479253B1 (ko) 2016-11-10 2016-11-10 차량용 카메라 영상 기반 공차 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160149683A KR102479253B1 (ko) 2016-11-10 2016-11-10 차량용 카메라 영상 기반 공차 보정 방법

Publications (2)

Publication Number Publication Date
KR20180052415A KR20180052415A (ko) 2018-05-18
KR102479253B1 true KR102479253B1 (ko) 2022-12-19

Family

ID=62454058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160149683A KR102479253B1 (ko) 2016-11-10 2016-11-10 차량용 카메라 영상 기반 공차 보정 방법

Country Status (1)

Country Link
KR (1) KR102479253B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026422A (ko) 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2013186816A (ja) * 2012-03-09 2013-09-19 Topcon Corp 動画処理装置、動画処理方法および動画処理用のプログラム
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2013186816A (ja) * 2012-03-09 2013-09-19 Topcon Corp 動画処理装置、動画処理方法および動画処理用のプログラム
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
KR20180052415A (ko) 2018-05-18

Similar Documents

Publication Publication Date Title
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
JP4814669B2 (ja) ３次元座標取得装置
US9729858B2 (en) Stereo auto-calibration from structure-from-motion
JP6514624B2 (ja) 障害物検知装置
US20190356830A1 (en) Image distortion correction of a camera with a rolling shutter
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
JP6167525B2 (ja) 距離計測装置及び車両
JP5906272B2 (ja) 車両用ステレオ画像処理装置
KR102538592B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
KR101672732B1 (ko) 객체 추적 장치 및 방법
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
KR101449160B1 (ko) 차량의 사각지대 정보 제공 장치 및 방법
US20160275694A1 (en) Image processor, photographing device, program, apparatus control system, and apparatus
JP2008039491A (ja) ステレオ画像処理装置
EP3430594A1 (en) Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
KR101808092B1 (ko) 어라운드뷰 모니터링 영상 자동 보정 및 생성 장치 및 방법
CN110751685B (zh) 深度信息确定方法、确定装置、电子装置和车辆
JP2009139324A (ja) 車両用走行路面検出装置
JP2015179499A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR102479253B1 (ko) 차량용 카메라 영상 기반 공차 보정 방법
JP7303064B2 (ja) 画像処理装置、および、画像処理方法
JP2021193340A (ja) 自己位置推定装置
WO2017090097A1 (ja) 車両用外界認識装置
JP6747176B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
WO2018173908A1 (ja) ステレオ画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant