KR101265710B1 - 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 - Google Patents

차량 설치 카메라 외부 파라미터 추정 방법 및 장치 Download PDF

Info

Publication number
KR101265710B1
KR101265710B1 KR1020110104448A KR20110104448A KR101265710B1 KR 101265710 B1 KR101265710 B1 KR 101265710B1 KR 1020110104448 A KR1020110104448 A KR 1020110104448A KR 20110104448 A KR20110104448 A KR 20110104448A KR 101265710 B1 KR101265710 B1 KR 101265710B1
Authority
KR
South Korea
Prior art keywords
camera
calibration plate
vertices
vehicle
extracted
Prior art date
Application number
KR1020110104448A
Other languages
English (en)
Other versions
KR20130039838A (ko
Inventor
한영인
이병희
백원인
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020110104448A priority Critical patent/KR101265710B1/ko
Publication of KR20130039838A publication Critical patent/KR20130039838A/ko
Application granted granted Critical
Publication of KR101265710B1 publication Critical patent/KR101265710B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 차량 설치 카메라 외부 파라미터 추정 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 차량에 설치된 복수 개의 카메라가 차량이 위치한 지면에 평행하게 설치된 삼각형 패턴이 표시된 복수 개의 교정판 중 적어도 2개를 촬영하는 단계, 그리고 복수 개의 카메라에 의해 촬영된 영상에 포함된 적어도 2개의 삼각형 패턴의 변의 길이를 이용하여 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 지면에서의 높이에 대응하는 Z 좌표값을 추정하는 단계를 포함한다. 그리고 전후좌우 카메라에서 촬영된 영상에서 추출된 정점들의 대응점 사이의 위치 오차를 이용하여 복수 개의 카메라 각각의 팬 각도, X 좌표값, Y 좌표값을 추정할 수 있다. 본 발명에 의하면, 차량에 설치된 카메라의 외부 파라미터를 정확하게 추정할 수 있다. 아울러 교정 패턴으로 삼각형 패턴을 이용함으로써 차량과 교정 패턴이 미리 정해진 위치에 정확하게 놓이도록 조정할 필요가 없어 비교적 간편하게 카메라 외부 파라미터를 추정할 수 있는 장점이 있다.

Description

차량 설치 카메라 외부 파라미터 추정 방법 및 장치{Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus}
본 발명은 차량에 설치된 카메라 외부 파라미터 추정 방법 및 장치에 관한 것으로 보다 자세하게는, 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법 및 장치에 관한 것이다.
최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.
이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 차량 주변 영상 표시 시스템(Around View Monitoring, AVM)이 있다. 차량 주변 영상 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.
한편 차량 주변 영상 시스템에서 서로 다른 카메라에서 촬영된 영상을 하나의 화면에 자연스럽게 표시하거나, 특히 3D 영상으로 구현하기 위해서는 전방, 후방, 좌측 및 우측에 각각 설치된 카메라의 위치 및 자세, 즉 카메라 외부 파라미터를 알아야 한다.
종래에는 격자 무늬의 사각형 패턴을 차량으로부터 정해진 위치에 설치하고 촬영된 영상을 기초로 카메라 외부 파라미터를 추정하는 방법이 제시되고 있으나, 이러한 방법에서는 격자 무늬 사각형 패턴과 차량이 미리 정해진 위치에 정확하게 놓이도록 조정하는 번거로운 절차가 필요하였다. 그리고 격자 무늬의 사각형 패턴은 처리해야할 제어점의 개수가 많아서 카메라 외부 파라미터를 추정 프로세스에 많은 부하가 소요되는 문제가 있었다.
따라서 본 발명이 해결하고자 하는 과제는 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법 및 장치에 관한 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 카메라 외부 파라미터 추정 방법은, 차량에 설치된 복수 개의 카메라가 상기 차량이 위치한 지면에 평행하게 설치된 삼각형 패턴이 표시된 복수 개의 교정판 중 적어도 2개를 촬영하는 단계, 그리고 상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 적어도 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제1 위치 좌표값을 추정하는 단계를 포함한다.
상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방, 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고, 상기 복수 개의 교정판는 상기 차량의 전방 좌측, 전방 우측, 후방 우측 및 후방 좌측에 각각 설치되는 전방 좌측 교정판, 전방 우측 교정판, 후방 우측 교정판 및 후방 좌측 교정판를 포함하며, 상기 삼각형 패턴은 정삼각형인 것이 바람직하다.
상기 복수 개의 카메라 각각에 대해 틸트 각도, 롤 각도 및 제1 위치 좌표값을 추정하는 단계는, 상기 전방 카메라에 의해 촬영된 영상에 포함된 전방 좌측 교정판 및 전방 우측 교정판에 표시된 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하는 단계, 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하고, 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하는 단계, 상기 변환된 세계 좌표를 이용하여 상기 전방 좌측 교정판 및 전방 우측 교정판에 표시된 삼각형 패턴의 변의 길이를 구하는 단계, 그리고 상기 삼각형 패턴의 실제 길이와 상기 구해진 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 단계를 포함할 수 있다.
상기 방법은, 상기 전방 좌측 교정판에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 전방 우측 교정판에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 후방 우측 교정판에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 후방 좌측 교정판에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하는 단계, 그리고 상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 단계를 더 포함할 수 있다.
상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값이 추정될 수 있다.
본 발명의 다른 실시예에 따른 카메라 외부 파라미터 추정 장치는, 차량이 위치한 지면에 평행하게 설치된 삼각형 패턴이 표시된 복수 개의 교정판 중 적어도 2개를 상기 차량에 설치된 복수 개의 카메라가 촬영한 영상을 입력받는 영상 입력부, 그리고 상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 적어도 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제1 위치 좌표값을 추정하는 카메라 외부 파라미터 추정부를 포함한다.
본 발명에 의하면, 차량에 설치된 카메라의 외부 파라미터를 정확하게 추정할 수 있다. 아울러 교정 패턴으로 삼각형 패턴을 이용함으로써 차량과 교정 패턴이 미리 정해진 위치에 정확하게 놓이도록 조정할 필요가 없어 비교적 간편하게 카메라 외부 파라미터를 추정할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 4는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 6은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 1을 참고하면, 차량 주변 영상 표시 시스템은 4개의 카메라(210, 220, 230, 240), 주변 영상 생성 장치(300) 및 표시 장치(400)를 포함하며, 외부 파라미터 추정 장치(100)를 더 포함할 수 있다. 물론, 주변 영상 생성 장치(300)와 외부 파라미터 추정 장치(100)를 일체의 형태로 구현할 수 있다.
차량 주변 영상 표시 시스템은 차량에 설치된 4개의 카메라(210, 220, 230, 240)를 통해 촬영된 영상을 처리하여 생성된 주변 영상을 화면 상에 표시함으로써, 차량의 주변 상황을 운전자가 확인할 수 있도록 하는 시스템이다. 차량 주변 영상 표시 시스템은 차량 주변 영상을 가상 시점에서 바라본 3D 영상으로 제공할 수 있다. 이를 위해 차량에 설치된 4개의 카메라(210, 220, 230, 240)의 자세 및 위치에 대한 외부 파라미터를 알아야 한다.
4개의 카메라(210, 220, 230, 240)는 각각 차량의 전방, 후방, 좌측 및 우측에 설치되고, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 카메라(210, 220, 230, 240)는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하고, 촬영된 영상을 외부 파라미터 추정 장치(100), 주변 영상 생성 장치(300) 등에 제공할 수 있다.
외부 파라미터 추정 장치(100)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상에서 삼각형 패턴을 이루는 정점(頂點)을 추출하고, 추출된 정점을 이용하여 카메라(210, 220, 230, 240)의 외부 파라미터를 추정할 수 있다. 외부 파라미터 추정 방법에 대해서는 아래에서 자세히 설명한다.
주변 영상 생성 장치(300)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상을 이용하여, 차량 주행 상황 또는 사용자 선택에 따라 정해지는 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하여 표시 장치(400)에 출력할 수 있다. 이를 위해 주변 영상 생성 장치(300)는 카메라(210, 220, 230, 240)에서 제공받은 입력 영상을 3D 모델 면에 맵핑시켜서 텍스처 맵(texture map)을 구할 수 있는데, 이는 외부 파라미터 추정 장치(100)에서 구해진 카메라 외부 파라미터를 기초로 구해지는 카메라별 프로젝션 모델이 이용될 수 있다. 그리고 입력 영상을 3D 모델 면에 맵핑하는 과정에서 서로 다른 카메라에서 촬영된 입력 영상을 자연스럽게 보이도록 하기 위해서 가중 블렌딩(weighted blending) 기법 등이 이용될 수 있다. 그리고 주변 영상 생성 장치(300)는 소정의 가상 시점이 정해지면 해당 가상 시점을 가지는 가상 카메라의 프로젝션 모델을 이용하여 텍스처 맵으로부터 가상 시점 영상을 생성하여 출력할 수 있다.
표시 장치(400)는 생성된 주변 영상을 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시한다. 물론, 차량 내에 설치된 자동 항법 장치(도시하지 않음) 등이 주변 영상을 제공받아 화면에 표시할 수도 있다.
한편 4개의 카메라(210, 220, 230, 240)의 렌즈 왜곡 등을 보정하는 작업 및 각 카메라별 프로젝션 모델을 구하는 작업 등이 필요할 수 있는데, 이는 일반적으로 알려진 공지된 기술을 이용할 수 있으므로 자세한 설명은 생략한다.
그러면 본 발명의 일 실시예에 따른 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법에 대해 자세히 설명한다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 1 및 도 2를 참고하면, 차량(V)의 전방, 후방, 좌측 및 우측에 각각 카메라(210, 220, 230, 240)가 설치될 수 있다. 카메라(210, 220, 230, 240)가 설치되는 위치를 보다 상세하게 설명하면, 전방에 설치된 카메라(210)는 차량(V)의 본 넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라(230, 240)는 각각 차량(V)의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한 후방에 설치된 카메라(220)는 후방 범퍼 위쪽의 중앙에 설치될 수 있다. 카메라의 높이와 각도에 의해 촬영되는 영상의 스케일, 화질 등이 상이하기 때문에 전방 및 후방에 설치된 카메라(210, 220)의 높이는 서로 동일하게 하는 것이 바람직하며, 마찬가지로 좌측 및 우측에 설치된 카메라(230, 240)의 높이도 서로 동일하게 하는 것이 바람직하다. 이와 같이 카메라(210, 220, 230, 240)의 설치 높이를 동일하게 함으로써 주변 영상 생성 시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시킬 수 있다. 또한, 좌측 및 우측에 설치된 카메라(230, 240)는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치된다. 여기서 각 카메라(210, 220, 230, 240)의 설치 위치는 차량의 종류에 따라 상이할 수 있고, 차량의 디자인에 의해 설치 상의 제약이 발생할 수도 있다.
일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생할 수 있다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라(210, 220)는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라(230, 240)는 광축이 지면과 수직이 되도록 설치될 수 있다. 또한, 차량(V)의 전후방 및 좌우측면으로부터 약 1.5m 떨어진 범위까지 촬영될 수 있도록 카메라(210, 220, 230, 240)의 설치 높이를 결정하고, 이때 카메라(210, 220, 230, 240)는 지면에 대한 수직축으로부터 약 30° 내지 60°정도까지 촬영될 수 있도록 설치될 수 있다. 위에서 설명한 카메라의 설치 위치는 바람직한 예에 대해 설명한 것으로 본 발명에 따른 카메라 외부 파라미터 추정 장치(100)는 반드시 카메라(210, 220, 230, 240)가 해당 위치에 정확하게 설치되어야 하는 것은 아니다.
한편 삼각형 패턴이 표시된 교정판(PL1, PL2, PL3, PL4)은 카메라(210, 220, 230, 240)에서 촬영된 각 영상에 두 개의 교정판이 포함되도록 차량(V)의 각 모서리에서 일정 거리를 두고 설치될 수 있다. 즉, 전방에 설치된 카메라(210)에서 촬영된 영상에는 교정판(PL1, PL2)이 포함되고, 후방에 설치된 카메라(220)에서 촬영된 영상에는 교정판(PL3, PL4)이 포함되며, 좌측에 설치된 카메라(230)에서 촬영된 영상에는 교정판(PL1, PL4)이 포함되고, 우측에 설치된 카메라(240)에서 촬영된 영상에는 교정판(PL2, PL3)이 포함되도록 차량(V)의 각 모서리에서 일정 거리를 두고 교정판(PL1, PL2, PL3, PL4)이 설치될 수 있다. 교정판(PL1, PL2, PL3, PL4)은 대략적으로 차량(V)의 전방 좌측, 전방 우측, 후방 우측 및 후방 좌측에 각각 설치되면 되고, 반드시 정확한 미리 정해진 위치에 설치되어야 하는 것은 아니다. 다만 교정판(PL1, PL2, PL3, PL4)은 차량(V)이 위치한 지면에 평행하게 놓여야 한다.
그리고 교정판(PL1, PL2, PL3, PL4)은 도 2에 예시한 것과 같이 일정한 두께를 가지는 정삼각형 패턴이 표시될 수 있는데, 테두리 내부의 삼각형의 크기가 외부 삼각형의 크기의 0.4 ~ 0.8 이 되도록 구현할 수 있다. 이는 주변의 유사한 삼각 패턴으로부터 자동으로 교정판(PL1, PL2, PL3, PL4)에 표시된 삼각형 패턴을 자동으로 정확하게 추출하기 위한 것으로 반드시 이에 한정되는 것은 아니다. 기본적으로 교정판(PL1, PL2, PL3, PL4)은 정삼각형의 꼭지점에 해당하는 정점(頂點)을 추출할 수 있는 형태면 다양하게 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 3을 참고하면, 차량(V)에 설치된 카메라(210, 220, 230, 240)의 외부 파라미터는 3차원 공간 좌표(x,y,z)와, 카메라(210, 220, 230, 240)의 팬, 틸트, 롤 각도(θ, ψ, Φ)를 포함할 수 있다.
3차원 공간 좌표(x,y,z) 중에서, 좌표(z)는 차량(V)이 위치한 지면(G)으로부터의 높이에 대응될 수 있으며, 도 3(a)에 예시한 것과 같이 전방 카메라(210), 좌측 카메라(230), 우측 카메라(240)의 높이는 각각 zF, zL, zB가 될 수 있다. 그리고 좌표(x)와 좌표(y)는 차량(V)이 위치한 지면(G)에 평행한 가상 평면 상에서의 위치에 대응될 수 있으며, 도 3(b)에 예시한 것과 같이 차량(V)의 중심부(O)를 좌표 기준으로 할 수 있다.
한편 팬 각도(θ)는 카메라(210, 220, 230, 240)의 헤드 방향이 차량(V)의 진행방향과 이루는 각도로 정의될 수 있고, 도 3(b)에 예시한 것과 같이 카메라(210, 220, 230, 240)의 팬 각도는 각각 θF, θB, θL, θR의 값을 가질 수 있다.
틸트 각도(ψ)는 지면(G)과 이루는 각도로 정의될 수 있으며, 도 3(a)에 예시한 것과 같이 전방 카메라(210), 후방 카메라(220)의 틸트 각도는 각각 ψF, ψB의 값을 가질 수 있다.
롤 각도(Φ)는 카메라 헤드 방향 축을 기준으로 한 카메라(210, 220, 230, 240)의 회전 각도로 정의될 수 있으며, 도 3(a)에 예시한 것과 같이 좌측 카메라(230)의 롤 각도는 ΦL의 값을 가질 수 있다.
도 4는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이고, 도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 4를 참고하면, 전방 카메라(210)에 의해 촬영되어 입력된 영상은 2개의 삼각형 패턴이 표시된 보정판(PL1, PL2)이 포함될 수 있다. 보정판(PL1, PL2)에 표시된 삼각형 패턴이 실제는 변의 길이가 A인 정삼각형이더라도, 전방 카메라(210)의 렌즈 왜곡, 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)에 의해 입력 영상에서 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 다르게 된다.
그런데 전방 카메라(210)에 의한 입력 영상에서 렌즈 왜곡을 미리 알려진 방법으로 보정하고, 차량(V)의 상방에서 지면(G)을 내려다보는 방향(탑뷰)의 가상 시점을 가지는 가상 카메라의 영상으로 변환하면 삼각형 패턴(PL1, PL2)이 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 동일하게 된다.
이를 참고로 전방 카메라(210)에서 입력되는 영상에 대해 아래와 같은 작업을 수행하면 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.
도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 틸트 각도, 롤 각도 및 높이를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 5를 참고하면, 먼저 외부 파라미터 추정 장치(100)는 전방 카메라(210)에 의한 입력 영상에 대해 렌즈 왜곡을 보정한다(S510). 이후 전방 카메라에 의해 촬영된 영상에 포함된 전방 좌측 교정판(PL1) 및 전방 우측 교정판(PL2)에 표시된 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)(P1, P2, P3, P4, P5, P6)을 추출한다(S520).
다음으로 외부 파라미터 추정 장치(100)는 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 변화시키면서 추출된 6개의 정점(P1, P2, P3, P4, P5, P6)의 좌표를 세계 좌표로 변환한다(S530). 여기서 세계 좌표는 임의의 기준점 또는 차량(V)의 중심이 위치한 지면(G) 상의 점(O)을 좌표 기준점으로 할 수 있다.
외부 파라미터 추정 장치(100)는 단계(S530)에서 구해지는 6개의 정점(P1, P2, P3, P4, P5, P6)의 세계 좌표를 이용하여 전방 좌측 교정판(PL1) 및 전방 우측 교정판(PL2)에 표시된 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)를 구한다(S540).
마지막으로 삼각형 패턴의 실제 변의 길이(A)와 단계(S540)에서 구해지는 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)의 차이의 크기를 최소화하는 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 전방 카메라(210)의 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)로 추정할 수 있다(S550). 단계(S550)에서 다음 수학식 1에 의해 구해지는 값, f(ψ, Φ, z)를 최소화하는 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)를 구하면 된다.
Figure 112011079973001-pat00001
위에서 설명한 방법과 동일하게 나머지 후방 카메라(220), 우측 카메라(230) 및 좌측 카메라(240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.
다음으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정하는 방법에 대해 설명한다.
도 6은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 6을 참고하면, 정점(P1F, P2F, P3F)은 전방 좌측 교정판(PL1)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P4F, P5F, P6F)은 전방 우측 교정판(PL2)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P4R, P5R P6R)은 전방 우측 교정판(PL2)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P7R, P8R, P9R)은 후방 우측 교정판(PL3)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P7B, P8B P9B)은 후방 우측 교정판(PL3)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P10B, P11B, P12B)은 후방 좌측 교정판(PL4)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이다. 마지막으로 정점(P10L, P11L, P12L)은 후방 좌측 교정판(PL4)에 대해 좌측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이고, 정점(P1L, P2L, P3L)은 전방 좌측 교정판(PL1)에 대해 좌측 카메라(240)에서 촬영된 영상에서 추출된 3개의 정점이다.
도 7은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 7을 참고하면, 먼저 각 카메라(210, 220, 230, 240)에서 촬영된 영상에서 렌즈 왜곡 보정 후 추출된 정점들에 대해서 세계 좌표를 구할 수 있다(S710). 단계(S710)에서 카메라(210, 220, 230, 240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)는 앞에서 설명한 방법에 의해 추정된 값을 이용하고, 위치 좌표(x, y) 및 팬 각도(θ)는 미리 정해진 초기값으로 설정한다. 예를 들어, 전방 카메라(210)의 팬 각도(θ)는 0°로 설정하고, 좌측 카메라(240)는 90°, 후방 카메라(220)는 180°, 우측 카메라(230)는 270°로 설정할 수 있으며, 위치 좌표(x, y)는 차량 중심(O)을 좌표 기준점으로 하여 카메라(210, 220, 230, 240)가 정확하게 설치된 경우를 고려한 값을 초기값으로 설정할 수 있다. 카메라(210, 220, 230, 240)가 미리 정해진 기준 위치 및 자세로 정확하게 설치된 경우 단계(S710)에서 구해지는 정점(P1F, P2F, P3F)과 정점(P1L, P2L, P3L)의 대응점의 세계 좌표는 서로 일치하여 위치 오차가 없을 것이다. 그러나 실제로는 카메라 장착 과정 또는 운행 과정 등에서 오차가 발생할 수 있으므로 대응점들 사이에 위치 오차가 발생할 수 있다. 여기서 위치 오차는 세계 좌표를 기준으로 대응점들 사이의 거리로 정의할 수 있다.
이후 외부 파라미터 추정 장치(100)는 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 변화시키면서 대응점들 사이에 위치 오차를 구한다(S720).
마지막으로 대응점들 사이의 위치 오차를 최소화하는 값으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정할 수 있다(S730). 단계(S730)에서 다음 수학식 2에 의해 구해지는 값, f(θF,θB,θL,θR,xF,xB,xL,xR,yF,yB,yL,yR)를 최소화시키는 위치 좌표(x, y) 및 팬 각도(θ)를 구하면 된다.
Figure 112011079973001-pat00002
여기서 Di는 서로 다른 카메라에서 촬영된 영상에서 추출된 정점들 중에서 대응점들 사이의 거리를 의미한다. 예를 들어 D1은 정점(P1F)과 정점(P1L) 사이의 거리를 의미한다.
이와 같은 방법으로 각 카메라(210, 220, 230, 240)의 상대적인 외부 파라미터를 추정할 수 있으며, 카메라(210, 220, 230, 240) 중에서 하나의 절대적 위치 및 자세를 알면 나머지 카메라들의 절대적 위치 및 자세를 구할 수 있다. 물론 카메라(210, 220, 230, 240) 중에서 하나의 위치를 세계 좌표의 기준점으로 할 경우는 자연스럽게 나머지 카메라들의 절대적 위치 및 자세를 구할 수도 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 차량 위치 자동 표시 시스템용 카메라 외부 파라미터 추정 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 차량의 전방, 우측, 후방, 좌측에 각각 장착되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라가, 상기 차량의 전방 좌측, 전방 우측, 후방 우측 및 후방 좌측에 상기 차량과 떨어져서 상기 차량이 위치한 지면에 평행하게 각각 설치되고 삼각형 패턴이 표시된 전방 좌측 교정판, 전방 우측 교정판, 후방 우측 교정판 및 후방 좌측 교정판 중 적어도 2개를 각각 촬영하는 단계,
    상기 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라에 의해 촬영된 영상에 포함된 적어도 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제1 위치 좌표값을 추정하는 단계
    상기 전방 좌측 교정판에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 전방 우측 교정판에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 후방 우측 교정판에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 후방 좌측 교정판에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하는 단계, 그리고
    상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 단계를 포함하고,
    상기 삼각형 패턴은 테두리 내부의 삼각형의 크기가 외부 삼각형의 크기의 0.4 ~ 0.8 인 정삼각형이고,
    상기 복수 개의 카메라 각각에 대해 틸트 각도, 롤 각도 및 제1 위치 좌표값을 추정하는 단계는,
    상기 전방 카메라에 의해 촬영된 영상에 포함된 전방 좌측 교정판 및 전방 우측 교정판에 표시된 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하는 단계,
    상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하는 단계,
    상기 변환된 세계 좌표를 이용하여 상기 전방 좌측 교정판 및 전방 우측 교정판에 표시된 삼각형 패턴의 변의 길이를 구하는 단계, 그리고
    상기 삼각형 패턴의 실제 길이와 상기 구해진 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 단계를 포함하고,
    상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값이 추정되는 카메라 외부 파라미터 추정 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 차량이 위치한 지면에 평행하게 설치된 삼각형 패턴이 표시된 복수 개의 교정판 중 적어도 2개를 상기 차량에 설치된 복수 개의 카메라가 각각 촬영한 영상을 입력받는 영상 입력부, 그리고
    상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 적어도 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제1 위치 좌표값을 추정하는 카메라 외부 파라미터 추정부
    를 포함하고,
    상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방, 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고,
    상기 복수 개의 교정판은 상기 차량의 전방 좌측, 전방 우측, 후방 우측 및 후방 좌측에 각각 상기 차량과 떨어져서 설치되는 전방 좌측 교정판, 전방 우측 교정판, 후방 우측 교정판 및 후방 좌측 교정판을 포함하며,
    상기 삼각형 패턴은 테두리 내부의 삼각형의 크기가 외부 삼각형의 크기의 0.4 ~ 0.8 인 정삼각형이고,
    상기 카메라 외부 파라미터 추정부는,
    상기 전방 카메라에 의해 촬영된 영상에 포함된 전방 좌측 교정판 및 전방 우측 교정판에 표시된 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하고, 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하고, 상기 변환된 세계 좌표를 이용하여 상기 전방 좌측 교정판 및 전방 우측 교정판에 표시된 삼각형 패턴의 변의 길이를 구하며, 상기 삼각형 패턴의 실제 길이와 상기 구해진 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하고, 상기 전방 좌측 교정판에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 전방 우측 교정판에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 후방 우측 교정판에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 후방 좌측 교정판에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하고, 상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하고, 상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값이 추정되는 카메라 외부 파라미터 추정 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020110104448A 2011-10-13 2011-10-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 KR101265710B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110104448A KR101265710B1 (ko) 2011-10-13 2011-10-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110104448A KR101265710B1 (ko) 2011-10-13 2011-10-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130039838A KR20130039838A (ko) 2013-04-23
KR101265710B1 true KR101265710B1 (ko) 2013-05-20

Family

ID=48439861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110104448A KR101265710B1 (ko) 2011-10-13 2011-10-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101265710B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101331893B1 (ko) * 2012-04-13 2013-11-26 주식회사 이미지넥스트 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR101705558B1 (ko) * 2015-06-25 2017-02-13 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
KR102433824B1 (ko) * 2017-01-12 2022-08-17 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법
KR102466305B1 (ko) * 2017-01-12 2022-11-10 현대모비스 주식회사 Avm 자동 공차 보정 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20130039838A (ko) 2013-04-23

Similar Documents

Publication Publication Date Title
KR101265711B1 (ko) 3ｄ 차량 주변 영상 생성 방법 및 장치
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
KR100948886B1 (ko) 차량에 설치된 카메라의 공차 보정 장치 및 방법
US10176595B2 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
EP2285109B1 (en) Vehicle image processor, and vehicle image processing system
JP5322789B2 (ja) モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
CN111815641A (zh) 相机和雷达融合
US8169309B2 (en) Image processing apparatus, driving support system, and image processing method
US20130002861A1 (en) Camera distance measurement device
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN102163331A (zh) 采用标定方法的图像辅助系统
CN102158684A (zh) 具有图像增强功能的自适应场景图像辅助系统
JP2010136289A (ja) 運転支援装置及び運転支援方法
CN107249934B (zh) 无失真显示车辆周边环境的方法和装置
KR101265710B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
CN101122464A (zh) 一种gps导航系统中道路显示方法、装置及设备
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
US20160037154A1 (en) Image processing system and method
JP2011254128A (ja) 平面図生成装置及び平面図生成方法
KR101398068B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
US20100271481A1 (en) Maneuver Assisting Apparatus
KR101331893B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160510

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 6