KR101331893B1 - 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 - Google Patents

차량 설치 카메라 외부 파라미터 추정 방법 및 장치 Download PDF

Info

Publication number
KR101331893B1
KR101331893B1 KR1020120038284A KR20120038284A KR101331893B1 KR 101331893 B1 KR101331893 B1 KR 101331893B1 KR 1020120038284 A KR1020120038284 A KR 1020120038284A KR 20120038284 A KR20120038284 A KR 20120038284A KR 101331893 B1 KR101331893 B1 KR 101331893B1
Authority
KR
South Korea
Prior art keywords
camera
vehicle
triangle
pattern
patterns
Prior art date
Application number
KR1020120038284A
Other languages
English (en)
Other versions
KR20130115717A (ko
Inventor
박주현
한영인
송영기
백원인
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020120038284A priority Critical patent/KR101331893B1/ko
Publication of KR20130115717A publication Critical patent/KR20130115717A/ko
Application granted granted Critical
Publication of KR101331893B1 publication Critical patent/KR101331893B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 차량 설치 카메라 외부 파라미터 추정 방법 및 장치, 그리고 그에 사용되는 교정판에 관한 것으로, 본 발명에 따른 방법은 차량에 설치된 복수 개의 카메라가, 상기 차량 전방의 지면에 위치한 제1 교정판에 표시된 제1 및 제2 삼각형 패턴과 상기 차량 후방의 지면에 위치한 제2 교정판에 표시된 제3 및 제4 삼각형 패턴 중에서 2개의 삼각형 패턴을 포함하는 영상을 각각 촬영하는 단계, 상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제2 위치 좌표값을 추정하는 단계를 포함한다. 본 발명에 의하면, 차량에 설치된 카메라의 외부 파라미터를 정확하게 추정할 수 있다. 아울러 교정 패턴으로 삼각형 패턴을 이용함으로써 차량과 교정 패턴이 미리 정해진 위치에 반드시 정확하게 놓이도록 조정할 필요가 없어 비교적 간편하게 카메라 외부 파라미터를 추정할 수 있는 장점이 있다.

Description

차량 설치 카메라 외부 파라미터 추정 방법 및 장치{Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus}
본 발명은 차량에 설치된 카메라 외부 파라미터 추정 방법 및 장치, 그리고에 관한 그에 사용되는 교정판에 관한 것으로 보다 자세하게는, 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법 및 장치, 그리고 그에 사용되는 교정판에 관한 것이다.
최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.
이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 차량 주변 영상 표시 시스템(Around View Monitoring, AVM)이 있다. 차량 주변 영상 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.
한편 차량 주변 영상 시스템에서 서로 다른 카메라에서 촬영된 영상을 하나의 화면에 자연스럽게 표시하거나, 특히 3D 영상으로 구현하기 위해서는 전방, 후방, 좌측 및 우측에 각각 설치된 카메라의 위치 및 자세, 즉 카메라 외부 파라미터를 알아야 한다.
종래에는 격자 무늬의 사각형 패턴을 차량으로부터 정해진 위치에 설치하고 촬영된 영상을 기초로 카메라 외부 파라미터를 추정하는 방법이 제시되고 있으나, 이러한 방법에서는 격자 무늬 사각형 패턴과 차량이 미리 정해진 위치에 정확하게 놓이도록 조정하는 번거로운 절차가 필요하였다. 그리고 격자 무늬의 사각형 패턴은 처리해야 할 제어점의 개수가 많아서 카메라 외부 파라미터를 추정 프로세스에 많은 부하가 소요되는 문제가 있었다.
JP 2008-187564 A JP 2008-271308 A
따라서 본 발명이 해결하고자 하는 과제는 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법 및 장치, 그리고 그에 사용되는 교정판을 제공하는 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 카메라 외부 파라미터 추정 방법은, 차량에 설치된 복수 개의 카메라가, 상기 차량 전방의 지면에 위치한 제1 교정판에 표시된 제1 및 제2 삼각형 패턴과 상기 차량 후방의 지면에 위치한 제2 교정판에 표시된 제3 및 제4 삼각형 패턴 중에서 2개의 삼각형 패턴을 포함하는 영상을 각각 촬영하는 단계, 상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제2 위치 좌표값을 추정하는 단계를 포함한다.
상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방 및 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고, 상기 제1 삼각형 패턴은 상기 차량의 전방 좌측, 상기 제2 삼각형 패턴은 상기 차량의 전방 우측, 상기 제3 삼각형 패턴은 상기 차량의 후방 우측, 상기 제4 삼각형 패턴은 후방 좌측에 위치하고, 상기 제1 및 제2 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 전방을 향하도록 상기 제1 교정판에 표시되고, 상기 제3 및 제4 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 후방을 향하도록 상기 제2 교정판에 표시될 수 있다.
상기 제1 및 제2 교정판 중앙에 중심 패턴이 표시되고, 상기 제1 내지 제4 삼각형 패턴은 소정 폭을 가지는 정삼각형 패턴이며, 상기 중심 패턴은 + 자 모양이고, 상기 제1 및 제2 교정판은 흰색이고, 상기 제1 내지 제4 삼각형 패턴과 상기 중심 패턴은 검정색일 수 있다.
상기 복수 개의 카메라 각각에 대해 틸트 각도, 롤 각도 및 제1 위치 좌표값을 추정하는 단계는, 상기 전방 카메라에 의해 촬영된 영상에 포함된 제1 및 제2 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하는 단계, 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하는 단계, 상기 변환된 세계 좌표를 이용하여 상기 제1 및 제2 삼각형 패턴의 변의 길이를 구하는 단계, 그리고 상기 제1 및 제2 삼각형 패턴의 실제 길이와 상기 구해진 제1 및 제2 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 단계를 포함할 수 있다.
상기 방법은, 상기 제1 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 제2 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 제3 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 제4 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하는 단계, 그리고 상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 단계를 더 포함할 수 있다.
상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값이 추정될 수 있다.
본 발명의 실시예에 따른 카메라 외부 파라미터 추정 장치는, 상기 차량 전방의 지면에 위치한 제1 교정판에 표시된 제1 및 제2 삼각형 패턴과 상기 차량 후방의 지면에 위치한 제2 교정판에 표시된 제3 및 제4 삼각형 패턴 중에서 2개의 삼각형 패턴을 상기 차량에 설치된 복수 개의 카메라가 각각 촬영한 영상을 입력받는 영상 입력부, 상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제2 위치 좌표값을 추정하는 카메라 외부 파라미터 추정부를 포함한다.
본 발명의 실시예에 따른 교정판은, 중앙에 + 자 모양으로 표시되는 중심 패턴, 그리고 상기 중심 패턴을 기준으로 서로 대칭되며 일정한 폭을 가지는 정삼각형으로 밑변이 서로 평행하게 표시되는 제1 및 제2 삼각형 패턴을 포함하고, 상기 중심 패턴과 상기 제1 및 제2 삼각형 패턴은 검정색으로 흰색 배경에 표시된다.
상기 제1 및 제2 삼각형 패턴의 외변의 길이는 100cm, 내변의 길이는 50cm이며, 상기 중심 패턴으로부터 각각 100cm 떨어지게 위치하며, 상기 중심 패턴은 가로 세로 길이가 30cm인 +자 모양일 수 있다.
본 발명에 의하면, 차량에 설치된 카메라의 외부 파라미터를 정확하게 추정할 수 있다. 아울러 교정 패턴으로 삼각형 패턴을 이용함으로써 차량과 교정 패턴이 미리 정해진 위치에 반드시 정확하게 놓이도록 조정할 필요가 없어 비교적 간편하게 카메라 외부 파라미터를 추정할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 3은 도 2의 교정판을 보다 자세히 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 5는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 7은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 1을 참고하면, 차량 주변 영상 표시 시스템은 4개의 카메라(210, 220, 230, 240), 주변 영상 생성 장치(300) 및 표시 장치(400)를 포함하며, 외부 파라미터 추정 장치(100)를 더 포함할 수 있다. 물론, 주변 영상 생성 장치(300)와 외부 파라미터 추정 장치(100)를 일체의 형태로 구현할 수 있다.
차량 주변 영상 표시 시스템은 차량에 설치된 4개의 카메라(210, 220, 230, 240)를 통해 촬영된 영상을 처리하여 생성된 주변 영상을 화면 상에 표시함으로써, 차량의 주변 상황을 운전자가 확인할 수 있도록 하는 시스템이다. 차량 주변 영상 표시 시스템은 차량 주변 영상을 가상 시점에서 바라본 3D 영상으로 제공할 수 있다. 이를 위해 차량에 설치된 4개의 카메라(210, 220, 230, 240)의 자세 및 위치에 대한 외부 파라미터를 알아야 한다.
4개의 카메라(210, 220, 230, 240)는 각각 차량의 전방, 후방, 좌측 및 우측에 설치되고, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 카메라(210, 220, 230, 240)는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하고, 촬영된 영상을 외부 파라미터 추정 장치(100), 주변 영상 생성 장치(300) 등에 제공할 수 있다.
외부 파라미터 추정 장치(100)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상에서 삼각형 패턴을 이루는 정점(頂點)을 추출하고, 추출된 정점을 이용하여 카메라(210, 220, 230, 240)의 외부 파라미터를 추정할 수 있다. 외부 파라미터 추정 방법에 대해서는 아래에서 자세히 설명한다.
주변 영상 생성 장치(300)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상을 이용하여, 차량 주행 상황 또는 사용자 선택에 따라 정해지는 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하여 표시 장치(400)에 출력할 수 있다. 이를 위해 주변 영상 생성 장치(300)는 카메라(210, 220, 230, 240)에서 제공받은 입력 영상을 3D 모델 면에 맵핑시켜서 텍스처 맵(texture map)을 구할 수 있는데, 이는 외부 파라미터 추정 장치(100)에서 구해진 카메라 외부 파라미터를 기초로 구해지는 카메라별 프로젝션 모델이 이용될 수 있다. 그리고 입력 영상을 3D 모델 면에 맵핑하는 과정에서 서로 다른 카메라에서 촬영된 입력 영상을 자연스럽게 보이도록 하기 위해서 가중 블렌딩(weighted blending) 기법 등이 이용될 수 있다. 그리고 주변 영상 생성 장치(300)는 소정의 가상 시점이 정해지면 해당 가상 시점을 가지는 가상 카메라의 프로젝션 모델을 이용하여 텍스처 맵으로부터 가상 시점 영상을 생성하여 출력할 수 있다.
표시 장치(400)는 생성된 주변 영상을 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시한다. 물론, 차량 내에 설치된 자동 항법 장치(도시하지 않음) 등이 주변 영상을 제공받아 화면에 표시할 수도 있다.
한편 4개의 카메라(210, 220, 230, 240)의 렌즈 왜곡 등을 보정하는 작업 및 각 카메라별 프로젝션 모델을 구하는 작업 등이 필요할 수 있는데, 이는 일반적으로 알려진 공지된 기술을 이용할 수 있으므로 자세한 설명은 생략한다.
그러면 본 발명의 일 실시예에 따른 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법에 대해 자세히 설명한다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 1 및 도 2를 참고하면, 차량(V)의 전방, 후방, 좌측 및 우측에 각각 카메라(210, 220, 230, 240)가 설치될 수 있다. 카메라(210, 220, 230, 240)가 설치되는 위치를 보다 상세하게 설명하면, 전방에 설치된 카메라(210)는 차량(V)의 본 넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라(230, 240)는 각각 차량(V)의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한 후방에 설치된 카메라(220)는 후방 범퍼 위쪽의 중앙에 설치될 수 있다. 카메라의 높이와 각도에 의해 촬영되는 영상의 스케일, 화질 등이 상이하기 때문에 전방 및 후방에 설치된 카메라(210, 220)의 높이는 서로 동일하게 하는 것이 바람직하며, 마찬가지로 좌측 및 우측에 설치된 카메라(230, 240)의 높이도 서로 동일하게 하는 것이 바람직하다. 이와 같이 카메라(210, 220, 230, 240)의 설치 높이를 동일하게 함으로써 주변 영상 생성 시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시킬 수 있다. 또한, 좌측 및 우측에 설치된 카메라(230, 240)는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치된다. 여기서 각 카메라(210, 220, 230, 240)의 설치 위치는 차량의 종류에 따라 상이할 수 있고, 차량의 디자인에 의해 설치 상의 제약이 발생할 수도 있다.
일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생할 수 있다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라(210, 220)는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라(230, 240)는 광축이 지면과 수직이 되도록 설치될 수 있다. 또한, 차량(V)의 전후방 및 좌우측면으로부터 약 1.5m 떨어진 범위까지 촬영될 수 있도록 카메라(210, 220, 230, 240)의 설치 높이를 결정하고, 이때 카메라(210, 220, 230, 240)는 지면에 대한 수직축으로부터 약 30° 내지 60°정도까지 촬영될 수 있도록 설치될 수 있다. 위에서 설명한 카메라의 설치 위치는 바람직한 예에 대해 설명한 것으로 본 발명에 따른 카메라 외부 파라미터 추정 장치(100)는 반드시 카메라(210, 220, 230, 240)가 해당 위치에 정확하게 설치되어야 하는 것은 아니다.
한편 교정판(PL1, PL2)은 각각 삼각형 패턴(TP1, TP2, TP3, TP4)이 2개씩 양 측에 위치하고, 중심부에 중심 패턴(CP1, CP2)이 위치하도록 구현될 수 있다. 동일한 교정판(PL1)에 표시되는 삼각형 패턴(TP1, TP2)은 서로 밑변이 평행하게 표시되는 것이 바람직하다. 삼각형 패턴(TP3, TP4)도 마찬가지로 교정판(PL2)에 서로 밑변이 평행하게 표시될 수 있다. 중심 패턴(CP1, CP2)은 도 2에 예시한 것과 같이 ‘+’자 형태로 표시될 수 있으나, 이에 한정되지는 않으며 ‘I’자 형태나,‘|’자 형태로 표시될 수도 있다.
한편 교정판(PL1, PL2)은 카메라(210, 220, 230, 240)에서 촬영된 각 영상에 삼각형 패턴(TP1, TP2, TP3, TP4)이 2개씩 포함되도록 차량(V)의 전방과 후방에 일정 거리를 두고 하나씩 배치될 수 있다. 그리고 삼각형 패턴(TP1, TP2, TP3, TP4)의 밑변이 차량(V)의 전방과 후방을 향하도록 배치하는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다.
이에 의해 전방에 설치된 카메라(210)에서 촬영된 영상에는 삼각형 패턴(TP1, TP2)이 포함되고, 후방에 설치된 카메라(220)에서 촬영된 영상에는 삼각형 패턴(TP3, TP4)이 포함되며, 좌측에 설치된 카메라(230)에서 촬영된 영상에는 삼각형 패턴(TP1, TP4)이 포함되고, 우측에 설치된 카메라(240)에서 촬영된 영상에는 삼각형 패턴(TP2, TP3)이 포함되도록 차량(V)과 일정 거리를 두고 교정판(PL1, PL2)이 설치될 수 있다. 교정판(PL1, PL2)은 대략적으로 차량(V)의 전방과 후방에 각각 일정 거리 떨어져서 설치되면 되고, 반드시 정확한 미리 정해진 위치에 설치되어야 하는 것은 아니다. 승용차의 경우 차량(V)의 전후방으로부터 대략 30~50cm 떨어져서 교정판(PL1, PL2)이 설치되는 것이 바람직하다. 한편 교정판(PL1, PL2)은 차량(V)이 위치한 지면에 평행하게 놓여야 한다.
뒤에서 자세히 설명하겠으나 교정판(PL1, PL2)은 중심 패턴(CP1, CP2)을 이용하여 되도록이면 중심부가 차량(V)의 진행 방향 축에 대해 위치하도록 놓이는 것이 바람직하다.
도 3을 참고하여 교정판(PL1, PL2)에 표시된 삼각형 패턴(TP1, TP2, TP3, TP4)과 중심 패턴(CP1, CP2)에 대해 보다 자세히 설명한다.
도 3은 도 2의 교정판을 보다 자세히 나타낸 도면이다.
도 3을 참고하면, 삼각형 패턴(TP1, TP2, TP3, TP4)은 도 3에 예시한 것과 같이 흰색의 교정판(PL1, PL2)에 일정한 폭을 가지는 검정색의 정삼각형 패턴으로 표시될 수 있는데, 테두리 내부의 흰색으로 표시되는 삼각형의 크기가 외부 삼각형의 크기의 0.4 ~ 0.8 이 되도록 구현할 수 있다. 이는 주변의 유사한 삼각 패턴으로부터 자동으로 교정판(PL1, PL2)에 표시된 삼각형 패턴을 자동으로 정확하게 추출하기 위한 것이다.
승용차를 기준으로 삼각형 패턴(TP1, TP2, TP3, TP4)의 외변의 길이(L1)는 100cm, 내변의 길이(L2)는 50cm로 하고, 교정판(PL1, PL2)의 중심부에 가까운 정점(頂點)(P1, P4)이 교정판(PL1, PL2)의 중심축으로부터 각각 100cm 떨어지게 위치하도록 삼각형 패턴(TP1, TP2, TP3, TP4)이 교정판(PL1, PL2)에 위치시키는 것이 바람직하다. 중심 패턴(CP1, CP2)은 가로 세로 길이가 30cm인‘+’자 형태로 교정판(PL1, PL2)의 정중앙에 표시하는 것이 바람직하다.
도 4는 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 4를 참고하면, 차량(V)에 설치된 카메라(210, 220, 230, 240)의 외부 파라미터는 3차원 공간 좌표(x,y,z)와, 카메라(210, 220, 230, 240)의 팬, 틸트, 롤 각도(θ, ψ, Φ)를 포함할 수 있다.
3차원 공간 좌표(x,y,z) 중에서, 좌표(z)는 차량(V)이 위치한 지면(G)으로부터의 높이에 대응될 수 있으며, 도 4(a)에 예시한 것과 같이 전방 카메라(210), 좌측 카메라(230), 후방 카메라(220)의 높이는 각각 zF, zL, zB가 될 수 있다. 그리고 좌표(x)와 좌표(y)는 차량(V)이 위치한 지면(G)에 평행한 가상 평면 상에서의 위치에 대응될 수 있으며, 도 4(b)에 예시한 것과 같이 차량(V)의 중심부(O)를 좌표 기준으로 할 수 있다.
한편 팬 각도(θ)는 카메라(210, 220, 230, 240)의 헤드 방향이 차량(V)의 진행방향과 이루는 각도로 정의될 수 있고, 도 4(b)에 예시한 것과 같이 카메라(210, 220, 230, 240)의 팬 각도는 각각 θF, θB, θL, θR의 값을 가질 수 있다.
틸트 각도(ψ)는 지면(G)과 이루는 각도로 정의될 수 있으며, 도 4(a)에 예시한 것과 같이 전방 카메라(210), 후방 카메라(220)의 틸트 각도는 각각 ψF, ψB의 값을 가질 수 있다.
롤 각도(Φ)는 카메라 헤드 방향 축을 기준으로 한 카메라(210, 220, 230, 240)의 회전 각도로 정의될 수 있으며, 도 4(a)에 예시한 것과 같이 좌측 카메라(230)의 롤 각도는 ΦL의 값을 가질 수 있다.
도 5는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 교정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이고, 도 6은 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 5를 참고하면, 전방 카메라(210)에 의해 촬영되어 입력된 영상은 2개의 삼각형 패턴(TP1, TP2)이 포함될 수 있다. 삼각형 패턴(TP1, TP2)이 실제는 변의 길이가 A인 정삼각형이더라도, 전방 카메라(210)의 렌즈 왜곡, 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)에 의해 입력 영상에서 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 다르게 된다.
그런데 전방 카메라(210)에 의한 입력 영상에서 렌즈 왜곡을 미리 알려진 방법으로 보정하고, 차량(V)의 상방에서 지면(G)을 내려다보는 방향(탑뷰)의 가상 시점을 가지는 가상 카메라의 영상으로 변환하면 삼각형 패턴(TP1, TP2)이 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 동일하게 된다.
이를 참고로 전방 카메라(210)에서 입력되는 영상에 대해 아래와 같은 작업을 수행하면 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.
도 6은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 틸트 각도, 롤 각도 및 높이를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 6을 참고하면, 먼저 외부 파라미터 추정 장치(100)는 전방 카메라(210)에 의한 입력 영상에 대해 렌즈 왜곡을 보정한다(S510). 이후 전방 카메라(210)에 의해 촬영된 영상에 포함된 삼각형 패턴(TP1, TP2)에서 각각 3개씩 6개의 정점(頂點)(P1, P2, P3, P4, P5, P6)을 추출한다(S520).
다음으로 외부 파라미터 추정 장치(100)는 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 변화시키면서 추출된 6개의 정점(P1, P2, P3, P4, P5, P6)의 좌표를 세계 좌표로 변환한다(S530). 여기서 세계 좌표는 임의의 기준점 또는 차량(V)의 중심이 위치한 지면(G) 상의 점(O)을 좌표 기준점으로 할 수 있다.
외부 파라미터 추정 장치(100)는 단계(S530)에서 구해지는 6개의 정점(P1, P2, P3, P4, P5, P6)의 세계 좌표를 이용하여 삼각형 패턴(TP1, TP2)의 변의 길이(a1, a2, a3, a4, a5, a6)를 구한다(S540).
마지막으로 삼각형 패턴의 실제 변의 길이(A)와 단계(S540)에서 구해지는 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)의 차이의 크기를 최소화하는 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 전방 카메라(210)의 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)로 추정할 수 있다(S550). 단계(S550)에서 다음 수학식 1에 의해 구해지는 값, f(ψ, Φ, z)를 최소화하는 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)를 구하면 된다.
Figure 112012029295981-pat00001
위에서 설명한 방법과 동일하게 나머지 후방 카메라(220), 우측 카메라(230) 및 좌측 카메라(240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.
다음으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정하는 방법에 대해 설명한다.
도 7은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 7을 참고하면, 정점(P1F, P2F, P3F)은 전방 좌측 삼각형 패턴(TP1)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P4F, P5F, P6F)은 전방 우측 삼각형 패턴(TP2)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P4R, P5R P6R)은 전방 우측 삼각형 패턴(TP2)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P7R, P8R, P9R)은 후방 우측 삼각형 패턴(TP3)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P7B, P8B P9B)은 후방 우측 삼각형 패턴(TP3)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P10B, P11B, P12B)은 후방 좌측 삼각형 패턴(TP4)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이다. 마지막으로 정점(P10L, P11L, P12L)은 후방 좌측 삼각형 패턴(TP4)에 대해 좌측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이고, 정점(P1L, P2L, P3L)은 전방 좌측 삼각형 패턴(TP1)에 대해 좌측 카메라(240)에서 촬영된 영상에서 추출된 3개의 정점이다.
도 8은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 8을 참고하면, 먼저 각 카메라(210, 220, 230, 240)에서 촬영된 영상에서 렌즈 왜곡 보정 후 추출된 정점들에 대해서 세계 좌표를 구할 수 있다(S710). 단계(S710)에서 카메라(210, 220, 230, 240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)는 앞에서 설명한 방법에 의해 추정된 값을 이용하고, 위치 좌표(x, y) 및 팬 각도(θ)는 미리 정해진 초기값으로 설정한다. 예를 들어, 전방 카메라(210)의 팬 각도(θ)는 0°로 설정하고, 좌측 카메라(240)는 90°, 후방 카메라(220)는 180°, 우측 카메라(230)는 270°로 설정할 수 있으며, 위치 좌표(x, y)는 차량 중심(O)을 좌표 기준점으로 하여 카메라(210, 220, 230, 240)가 정확하게 설치된 경우를 고려한 값을 초기값으로 설정할 수 있다. 카메라(210, 220, 230, 240)가 미리 정해진 기준 위치 및 자세로 정확하게 설치된 경우 단계(S710)에서 구해지는 정점(P1F, P2F, P3F)과 정점(P1L, P2L, P3L)의 대응점의 세계 좌표는 서로 일치하여 위치 오차가 없을 것이다. 그러나 실제로는 카메라 장착 과정 또는 운행 과정 등에서 오차가 발생할 수 있으므로 대응점들 사이에 위치 오차가 발생할 수 있다. 여기서 위치 오차는 세계 좌표를 기준으로 대응점들 사이의 거리로 정의할 수 있다.
이후 외부 파라미터 추정 장치(100)는 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 변화시키면서 대응점들 사이에 위치 오차를 구한다(S720).
마지막으로 대응점들 사이의 위치 오차를 최소화하는 값으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정할 수 있다(S730). 단계(S730)에서 다음 수학식 2에 의해 구해지는 값, f(θF,θB,θL,θR,xF,xB,xL,xR,yF,yB,yL,yR)를 최소화시키는 위치 좌표(x, y) 및 팬 각도(θ)를 구하면 된다.
Figure 112012029295981-pat00002
여기서 Di는 서로 다른 카메라에서 촬영된 영상에서 추출된 정점들 중에서 대응점들 사이의 거리를 의미한다. 예를 들어 D1은 정점(P1F)과 정점(P1L) 사이의 거리를 의미한다.
이와 같은 방법으로 각 카메라(210, 220, 230, 240)의 상대적인 외부 파라미터를 추정할 수 있으며, 카메라(210, 220, 230, 240) 중에서 하나의 절대적 위치 및 자세를 알면 나머지 카메라들의 절대적 위치 및 자세를 구할 수 있다. 물론 카메라(210, 220, 230, 240) 중에서 하나의 위치를 세계 좌표의 기준점으로 할 경우는 자연스럽게 나머지 카메라들의 절대적 위치 및 자세를 구할 수도 있다.
앞서 설명한 것과 같이 본 발명에 따른 방법은 카메라(210, 220, 230, 240)의 틸트 각도(ψ), 롤 각도(Φ), 높이(z), 위치 좌표(x, y) 및 팬 각도(θ)를 바꿔가면서 수학식 1 및 수학식 2를 최소화하는 값을 구하는 과정을 통해 카메라(210, 220, 230, 240)의 외부 파라미터를 추정하게 된다. 따라서 교정판(PL1, PL2)의 중심부가 가급적 차량(V)의 진행 방향 축에 위치하게 하고, 삼각형 패턴(TP1, TP2, TP3, TP4)의 밑변이 차량(V)의 전방과 후방을 향하도록 배치할 경우 트라이얼(trial)＆에러(error)를 통해 외부 파라미터를 추정하는데 이용되는 미리 정해진 초기값부터 수학식 1 및 수학식 2를 최소화하는 값을 구하는데 필요한 연산량이 줄어들 수 있는 효과가 있다. 물론 반드시 교정판(PL1, PL2)이 위에서 설명한 방식대로 놓이지 않더라도 카메라(210, 220, 230, 240)의 외부 파라미터를 추정할 수 있음은 앞에서 설명한 바와 같다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 카메라 외부 파라미터 추정 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 차량에 설치된 복수 개의 카메라가, 상기 차량 전방의 지면에 위치한 제1 교정판에 표시된 제1 및 제2 삼각형 패턴과 상기 차량 후방의 지면에 위치한 제2 교정판에 표시된 제3 및 제4 삼각형 패턴 중에서 2개의 삼각형 패턴을 포함하는 영상을 각각 촬영하는 단계,
    상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제1 위치 좌표값을 추정하는 단계를 포함하고,
    상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방 및 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하며,
    상기 제1 삼각형 패턴은 상기 차량의 전방 좌측, 상기 제2 삼각형 패턴은 상기 차량의 전방 우측, 상기 제3 삼각형 패턴은 상기 차량의 후방 우측, 상기 제4 삼각형 패턴은 후방 좌측에 위치하고,
    상기 복수 개의 카메라 각각에 대해 틸트 각도, 롤 각도 및 제1 위치 좌표값을 추정하는 단계는,
    상기 전방 카메라에 의해 촬영된 영상에 포함된 제1 및 제2 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하는 단계,
    상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하는 단계,
    상기 변환된 세계 좌표를 이용하여 상기 제1 및 제2 삼각형 패턴의 변의 길이를 구하는 단계, 그리고
    상기 제1 및 제2 삼각형 패턴의 실제 길이와 상기 구해진 제1 및 제2 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 단계를 포함하는 카메라 외부 파라미터 추정 방법.
  2. 제 1 항에서,
    상기 제1 및 제2 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 전방을 향하도록 상기 제1 교정판에 표시되고, 상기 제3 및 제4 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 후방을 향하도록 상기 제2 교정판에 표시되는 카메라 외부 파라미터 추정 방법.
  3. 제 2 항에서,
    상기 제1 및 제2 교정판 중앙에 중심 패턴이 표시되고,
    상기 제1 내지 제4 삼각형 패턴은 소정 폭을 가지는 정삼각형 패턴이며,
    상기 중심 패턴은 + 자 모양이고,
    상기 제1 및 제2 교정판은 흰색이고, 상기 제1 내지 제4 삼각형 패턴과 상기 중심 패턴은 검정색인 카메라 외부 파라미터 추정 방법.
  4. 삭제
  5. 제 3 항에서,
    상기 제1 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 제2 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 제3 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 제4 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하는 단계, 그리고
    상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 단계를 더 포함하는 카메라 외부 파라미터 추정 방법.
  6. 제 5 항에서,
    상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값이 추정되는 카메라 외부 파라미터 추정 방법.
  7. 차량 전방의 지면에 위치한 제1 교정판에 표시된 제1 및 제2 삼각형 패턴과 상기 차량 후방의 지면에 위치한 제2 교정판에 표시된 제3 및 제4 삼각형 패턴 중에서 2개의 삼각형 패턴을 상기 차량에 설치된 복수 개의 카메라가 각각 촬영한 영상을 입력받는 영상 입력부,
    상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제1 위치 좌표값을 추정하는 카메라 외부 파라미터 추정부를 포함하고,
    상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방 및 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하며,
    상기 제1 삼각형 패턴은 상기 차량의 전방 좌측, 상기 제2 삼각형 패턴은 상기 차량의 전방 우측, 상기 제3 삼각형 패턴은 상기 차량의 후방 우측, 상기 제4 삼각형 패턴은 후방 좌측에 위치하고,
    상기 카메라 외부 파라미터 추정부는,
    상기 전방 카메라에 의해 촬영된 영상에 포함된 제1 및 제2 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하고, 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하며, 상기 변환된 세계 좌표를 이용하여 상기 제1 및 제2 삼각형 패턴의 변의 길이를 구하고, 상기 제1 및 제2 삼각형 패턴의 실제 길이와 상기 구해진 제1 및 제2 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 카메라 외부 파라미터 추정 장치.
  8. 제 7 항에서,
    상기 제1 및 제2 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 전방을 향하도록 상기 제1 교정판에 표시되고, 상기 제3 및 제4 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 후방을 향하도록 상기 제2 교정판에 표시되는 카메라 외부 파라미터 추정 장치.
  9. 제 8 항에서,
    상기 제1 및 제2 교정판 중앙에 중심 패턴이 표시되고,
    상기 제1 내지 제4 삼각형 패턴은 소정 폭을 가지는 정삼각형 패턴이며,
    상기 중심 패턴은 + 자 모양이고,
    상기 제1 및 제2 교정판은 흰색이고, 상기 제1 내지 제4 삼각형 패턴과 상기 중심 패턴은 검정색인 카메라 외부 파라미터 추정 장치.
  10. 삭제
  11. 제 9 항에서,
    상기 카메라 외부 파라미터 추정부는,
    상기 제1 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 제2 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 제3 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 제4 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하고, 상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 카메라 외부 파라미터 추정 장치.
  12. 제 11 항에서,
    상기 카메라 외부 파라미터 추정부는,
    상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 카메라 외부 파라미터 추정 장치.
  13. 삭제
  14. 삭제
KR1020120038284A 2012-04-13 2012-04-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 KR101331893B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120038284A KR101331893B1 (ko) 2012-04-13 2012-04-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120038284A KR101331893B1 (ko) 2012-04-13 2012-04-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130115717A KR20130115717A (ko) 2013-10-22
KR101331893B1 true KR101331893B1 (ko) 2013-11-26

Family

ID=49635118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120038284A KR101331893B1 (ko) 2012-04-13 2012-04-13 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101331893B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427077B (zh) * 2017-08-29 2021-10-12 安波福电子(苏州)有限公司 一种用于标定汽车环视系统的处理器
KR101972134B1 (ko) * 2017-10-31 2019-05-03 화남전자 주식회사 건설장비의 자동 캘리브레이션을 위한 변형 방지 삼각형 마커
KR102035586B1 (ko) * 2018-05-17 2019-10-23 화남전자 주식회사 카메라 영상 이미지로부터 삼각형을 자동으로 찾는 방법 및 그 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR20110055412A (ko) * 2009-11-17 2011-05-25 후지쯔 가부시끼가이샤 캘리브레이션 장치
KR20130039838A (ko) * 2011-10-13 2013-04-23 주식회사 이미지넥스트 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR20110055412A (ko) * 2009-11-17 2011-05-25 후지쯔 가부시끼가이샤 캘리브레이션 장치
KR20130039838A (ko) * 2011-10-13 2013-04-23 주식회사 이미지넥스트 차량 설치 카메라 외부 파라미터 추정 방법 및 장치

Also Published As

Publication number Publication date
KR20130115717A (ko) 2013-10-22

Similar Documents

Publication Publication Date Title
KR101265711B1 (ko) 3ｄ 차량 주변 영상 생성 방법 및 장치
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及系统
EP2285109B1 (en) Vehicle image processor, and vehicle image processing system
EP1701306B1 (en) Driving support system
KR100948886B1 (ko) 차량에 설치된 카메라의 공차 보정 장치 및 방법
US8169309B2 (en) Image processing apparatus, driving support system, and image processing method
CN105306805B (zh) 用于校正车辆用相机的影像失真的装置和方法
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN102163331A (zh) 采用标定方法的图像辅助系统
US9135745B2 (en) Image processing method and system using the same
CN102158684A (zh) 具有图像增强功能的自适应场景图像辅助系统
US20150178911A1 (en) Vehicle detecting method and system
KR101265710B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR20180020274A (ko) 패널 변환
US20160037154A1 (en) Image processing system and method
KR101331893B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR101398068B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
JP2011254128A (ja) 平面図生成装置及び平面図生成方法
KR101351911B1 (ko) 카메라의 영상 처리 장치 및 방법
KR102079332B1 (ko) 3ｄ 차량 주변 영상 생성 방법 및 시스템
KR101398069B1 (ko) 차량 주변 영상을 위한 호모그래피 추정 방법 및 시스템
CN117011185B (zh) 一种电子后视镜cms图像矫正方法、系统及电子后视镜
KR20240022986A (ko) 카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171113

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191106

Year of fee payment: 7