KR20110128564A - 카메라 시스템의 영상 보정 방법 - Google Patents

카메라 시스템의 영상 보정 방법 Download PDF

Info

Publication number
KR20110128564A
KR20110128564A KR1020100048081A KR20100048081A KR20110128564A KR 20110128564 A KR20110128564 A KR 20110128564A KR 1020100048081 A KR1020100048081 A KR 1020100048081A KR 20100048081 A KR20100048081 A KR 20100048081A KR 20110128564 A KR20110128564 A KR 20110128564A
Authority
KR
South Korea
Prior art keywords
camera
mark
correction
ground
control unit
Prior art date
Application number
KR1020100048081A
Other languages
English (en)
Other versions
KR101113679B1 (ko
Inventor
정웅철
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020100048081A priority Critical patent/KR101113679B1/ko
Priority to US12/953,734 priority patent/US8368761B2/en
Priority to CN201010560947.XA priority patent/CN102262780B/zh
Publication of KR20110128564A publication Critical patent/KR20110128564A/ko
Application granted granted Critical
Publication of KR101113679B1 publication Critical patent/KR101113679B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

카메라 시스템에서 저장해야 하는 데이터의 양을 최소화되며 카메라 장착 오차의 보정이 간편한 카메라 시스템의 영상 보정 방법이 소개된다. 그 영상 보정 방법은, 지면마크가 표시된 기준지면의 카메라 영상 데이터를 획득하는 과정; 전 과정에서 얻어진 영상 데이터를 기초로 캡쳐된 지면마크의 좌표를 얻는 과정; 및 전 과정에서 얻어진 캡쳐된 지면마크의 좌표와 미리 설정된 기준마크의 좌표 간의 오차를 이용하여 미리 설정된 룩업 테이블을 보정하는 과정;을 포함한다. 상기 지면마크 및 상기 기준마크는 서로 대응하는 4개 이상의 보정점을 가질 수 있다.

Description

카메라 시스템의 영상 보정 방법{IMAGE CORRECTION METHOD FOR A CAMERA SYSTEM}
본 발명은 카메라 시스템의 영상 보정 방법에 관한 것으로, 보다 구체적으로는 카메라를 타겟 지점에 제대로 된 자세로 정위치시키지 못하여 발생되는 카메라 장착 오차를 보정하기 위한 카메라 시스템의 영상 보정 방법에 관한 것이다.
카메라 시스템, 특히 복수개 카메라를 이용하여 어라운드 뷰를 생성하는 카메라 시스템에 있어, 카메라들의 장착 오차는 개별 카메라에서 찍힌 이미지들 간의 불일치(misfit) 등과 같은 어라운드 뷰의 결함을 발생시킨다.
일례로 차량 AVM(Around View Monitor) 시스템은, 차량 개발 시점에 카메라들이 최초 설계 위치 및 자세(이하 "설계 위치"라 함)로 정확히 배치되었음을 가정하여 튜닝된 것인데, 이러한 튜닝 상태는 실제 양산 라인라인을 거치면서 제 품질을 유지하지 못한다. 차량에의 카메라 장착 과정에서 발생하는 공차 때문이다.
도 1에는 상기 공차로 인하여 AVM 시스템 화면 상의 영상, 즉 어라운드 뷰(6)에 발생 가능한 결함의 예가 도시되어 있다.
위 AVM 시스템은 차량 전후좌우에 장착된 4대의 카메라들로부터의 4개의 캡쳐드 영상으로 구성된 어라운드 뷰(6)를 생성하는데, 상기 공차로 인하여 각 카메라의 광축이 본래 설계된 광축 위치로부터 틀어지고 이에 따라 각 카메라들의 캡쳐드 영상간에 불일치(misfit) 구간(2)이 발생된 것이다.
위와 같은 어라운드 뷰의 결함은 카메라들에 설계위치로의 물리적인 변위를 가함에 의해 해결될 수 있겠지만, 간편하게 소프트웨어적으로 해결할 수 있다면 더욱 좋을 것이다. 이와 관련한 종래기술로서 미국특허공개 제2009/0010630호에 상기 어라운드 뷰(6)의 결함을 소프트웨어적으로 제거하기 위한 카메라 시스템의 영상 보정 방법이 소개되어 있다.
도 2 내지 도 3을 참조하여 위 공개특허에서의 영상 보정 방법에 대하여 간략히 살펴본다.
도 2에서 보듯이, AVM 시스템용 카메라가 양산 라인에서 전후좌우에 4개 장착된 차량(1)이 기준지면(4) 상에 4개의 "+" 형태의 지면마크(5)가 그려져 있는 캘리브레이션 영역(3) 내에 위치되며, AVM 시스템은 각 카메라에서 찍은 이미지가 서로 매칭되도록 하여 화면 상에 개별 카메라로부터의 이미지를 출력하거나 또는 조합된 어라운드 뷰(6)를 출력한다.
상기 4개의 지면마크(5)는 4대의 카메라가 설계 위치에 정확히 장착되어 있는 경우의 각 카메라 광축에 대응하는 위치에 배치된 것이다. 따라서, 예로서, 조립 공차로 인하여 전방 카메라가 설계 위치로부터 우측으로 이동하여 시계방향으로 틀어져 있는 경우, 도 3에서 보듯이 전방 카메라에서 찍힌 이미지 또한 이와 동일하게 틀어져 있게 된다. 도 3에서 전방 카메라에 의해 찍힌 지면마크, 즉 캡쳐드 마크(7)가 화면 상에 오른쪽으로 비틀어져 나타나 있음을 보라.
상기 공개특허에 따르면 위와 같은 카메라 장착 오차로 인한 결함의 보정은, 광축의 좌우방향 오차량(ΔX), 상하방향 오차량(ΔY) 및 회전 오차량(Δθ)을 측정하여, 먼저 광축의 상하좌우 방향 오차를 보정한 후 다음으로 광축의 회전 오차를 보정하는 방식으로 이루어진다. 여기서, 특히 회전 오차의 보정은 다양한 광축 회전 오차량에 따라 미리 마련되어 있는 많은 맵 중에서 측정된 회전 오차량(Δθ)의 보정에 가장 적합한 맵을 선택함에 의해 이루어진다.
상기 공개특허는 AVM 시스템이 저장하고 있어야 하는 데이터의 양을 감축시키고자 위와 같은 방법을 사용한다. 그러나 이 경우 위와 같이 다양한 경우의 수에 대응하는 다수의 맵을 가지고 있어야 하므로, AVM 시스템이 저장하고 있어야 하는 데이터의 양이 아직 과다하다고 할 수 있다.
한편, AVM 시스템에서 사용되는 카메라에는 어안렌즈가 사용된다. 이러한 어안렌즈를 통해 캡쳐된 이미지로부터 평면의 이미지를 얻기 위해서는 영상 왜곡이 보정되어야 한다. 또한 어라운드 뷰를 얻기 위해서는 여러 카메라로부터 얻어진 평면 이미지들은 일정한 규칙에 따라 서로 조합되어야 한다. 이들 과정은 이미 종래기술로서 익히 알려진 것이므로 여기서의 설명은 생략한다.
본 발명은 상술한 바와 같은 종래기술의 문제점에 대한 인식에 기초하여 제안된 것으로, 카메라 시스템에서 저장해야 하는 데이터의 양을 최소화하며 카메라 장착 오차의 보정이 간편한 카메라 시스템의 영상 보정 방법을 제공함을 목적으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 카메라 시스템의 영상 보정 방법은, 지면마크가 표시된 기준지면의 카메라 영상 데이터를 획득하는 과정; 전 과정에서 얻어진 영상 데이터를 기초로 캡쳐된 지면마크의 좌표를 얻는 과정; 및 전 과정에서 얻어진 캡쳐된 지면마크의 좌표와 미리 설정된 기준마크의 좌표 간의 오차를 이용하여 미리 설정된 룩업 테이블을 보정하는 과정;을 포함한다.
본 발명에 따르면, 상기 지면마크 및 기준마크는 각각 서로 대응하는 4개 이상의 보정점을 가질 수 있다.
또한 본 발명에 따르면, 상기 지면마크 및 기준마크는 정사각형 또는 직사각형의 꼭지점에 대응하도록 배치된 4개씩의 보정점을 가질 수 있다.
또한 본 발명에 따르면, 상기 캡쳐된 지면마크와 기준마크는 화면 상에 함께 표시되며, 외부 입력에 의해 캡쳐된 지면마크의 보정점 좌표 정보가 얻어질 수 있다.
또한 본 발명에 따르면, 상기 지면마크의 각 보정점은 일정 크기의 반지름을 갖는 동심원으로 표시될 수 있다.
상술한 바와 같은 카메라 시스템의 영상 보정 방법에 따르면, 별도로 맵 데이터가 필요 없으므로 카메라 시스템이 저장해야 하는 데이터의 양이 최소화되며, 카메라 장착 오차의 보정이 간편하다.
도 1은 카메라 장착 오차로 인한 어라운드 뷰 결함의 예를 보인 도면,
도 2는 종래기술에 따른 카메라 장착 오차의 측정 방법을 설명하기 위한 도면,
도 3은 도 2에 도시된 차량 주변 어라운드 뷰의 일례로서, 카메라 장착 오차로 인한 화면 상에 언밸런스가 발생된 것을 보인 도면,
도 4는 본 발명의 실시예에 따른 카메라 시스템의 영상 보정 플로우를 설명하기 위한 도면,
도 5는 본 발명의 실시예에 따른 카메라 장착 오차의 측정 방법을 설명하기 위한 도면,
도 6은 본 발명의 또 다른 실시예에 따른 카메라 장착 오차의 측정 방법을 설명하기 위한 도면,
도 7은 카메라의 지면 응시각에 대한 설명을 위한 도면,
도 8a 및 8b는 카메라의 지면 응시각에 따른 이미지 왜곡의 정도를 표현하기 위한 도면, 이들 도면에서 θ1<θ2,
도 9은 도 6에 도시된 차량 주변 어라운드 뷰의 일례를 보인 도면,
도 10은 도 6에 도시된 차량 전방카메라에 찍힌 차량 전방 이미지를 보인 도면,
도 11은 본 발명의 실시예에 따른 카메라 장착 오차의 보정 범위에 대한 설명을 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예에 따른 카메라 시스템의 영상 보정 방법에 대하여 살펴본다.
도 4는 본 발명의 실시예에 따른 카메라 시스템의 영상 보정 플로우를 설명하기 위한 도면, 도 5는 본 발명의 실시예에 따른 카메라 장착 오차의 측정 방법을 설명하기 위한 도면, 도 6은 본 발명의 또 다른 실시예에 따른 카메라 장착 오차의 측정 방법을 설명하기 위한 도면, 도 7은 카메라의 지면 응시각에 대한 설명을 위한 도면, 도 8a 및 8b는 카메라의 지면 응시각에 따른 이미지 왜곡의 정도를 표현하기 위한 도면, 도 9은 도 6에 도시된 차량 주변 어라운드 뷰의 일례를 보인 도면, 도 10은 도 6에 도시된 차량 전방카메라에 찍힌 차량 전방 이미지를 보인 도면, 도 11은 본 발명의 실시예에 따른 카메라 장착 오차의 보정 범위에 대한 설명을 위한 도면이다.
도 4를 참조하여 실시예에 따른 카메라 시스템 및 영상 보정 방법을 살펴본다.
상기 카메라 시스템은 크게 카메라(10), 제어 유니트(11) 및 화면(12)으로 구성된다. 카메라(10)는 광각 카메라로서 차량의 전후좌우 총 4개가 설치된다.
4개의 카메라(10)로부터 원 영상 신호 데이터가 수신되면, 제어 유니트(11)는 각각의 카메라(10)에서 찍힌 이미지 왜곡을 보정하여 평면 이미지로 만들고, 생성된 평면 이미지들을 서로 매칭시켜 화면(12)에 출력한다. 당연하게도 화면(12)에는 평면 이미지들이 조합된 어라운드 뷰는 물론 개별의 평면 이미지도 출력될 수 있다.
실시예에 따른 영상 보정 방법의 특징 중 하나는, 카메라 장착 오차가 있는 경우, 광각 카메라에 픽업된 원 영상의 3차원 상의 좌표를 2차원 상의 좌표로 변환을 위해, 즉 카메라에 픽업된 원 영상으로부터 왜곡을 보정하여 화면(12)에 평면이미지를 출력하기 위해, 미리 설정되어 있는 룩업 데이블(LUT)을 아예 신규의 것으로 교체 내지 업데이트한다는 것이다. 다르게 말하자면, 제어 유니트(11)가 광축의 이동 및 회전량에 따라 보정량을 계산하여 제어 유니트(11)에 저장된 카메라(10)의 광축 인식값을 신규로 생성한다.
오차 정도에 따라 미리 설정된 맵을 이용하는 종래의 경우 단위 보정량이 정해져 있어 카메라 장착 오차의 보정이 정밀하지 못하며 불필요하게 많은 데이터를 저장하고 있어야 하나, 실시예에 따르면 이러한 문제가 전혀 없다.
도 4 내지 도 11를 참조하여 실시예에 따른 영상 보정 방법에 대하여 보다 상세하게 살펴본다.
먼저 도 4 내지 도 9을 참조하여 카메라의 장착 오차 측정 과정에 대하여 살펴본다.
도 5를 참조하면, 양산라인에서 4개의 카메라(10)가 갓 장착된 차량(13)이 캘리브레이션 영역(20)에 놓여진다. 캘리브레이션 영역(20)의 기준지면(21) 상에는 사각형의 네 정점에 해당하는 위치에 있는 점(이하 "보정점")이 찍혀진 형태의 지면마크(22)가 그려져 있다. 상기 지면마크(22)는 4개의 카메라(10)와 대응되도록 차량 전후좌우 방향으로 4개 배치된다. 도면부호 14는 주차라인이다.
또 다른 실시예에 따르면, 도 6에 도시된 바와 같이 꼭지점과 라인을 갖는 사각형의 지면마크(23)가 사용될 수도 있다. 이 지면마크(23)는 도 5에 도시된 지면마크(22)와 비교하여 4개의 보정점을 갖는다는 점에서는 서로 동일하다. 즉, 사각형 지면마크(23)의 각 꼭지점은 상기의 보정점에 해당한다.
위와 같이 카메라 장착 오차의 보정을 위해 4개의 보정점이 사용되는 이유 중 하나는 영상 변환에 소요되는 시간과 데이터 양에 대한 고려 때문이다. 보정점이 증가할수록 왜곡 보정의 정도는 향상된다고 말할 수 있으나, 보정점이 증가할수록 영상 보정을 위한 넓은 공간이 요구되고 소요되는 시간도 증가한다. 영상 보정을 위한 최적의 보정점 개수를 선정할 필요가 있는데, 실시예에 따르면 보정점은 4개 이상, 바람직하게는 4개가 필요하다.
도 7을 참조하면, 4개 혹은 그 이상의 보정점을 사용하는 이유 또 하나는, 지면에 대한 카메라(10) 광축의 기울기에 대응하는 카메라(10)의 지면 응시각(θ) 때문이다. 예로서 도 8a 및 도 8b에서 보듯이, 지면 응시각 θ1<θ2의 조건인 경우, 응시각 θ1에서의 왜곡 정도가 지면 응시각 θ2에서보다 더 크게 나타난다. 이러한 지면 응시각에 다른 왜곡 보정을 위해서는 적어도 4개, 바람직하게는 정사각형 또는 직사각형의 꼭지점에 대응하도록 배치된 4개의 보정점이 필요하다. 한편, 실시예에 따르면 카메라 영상의 처리는 원근변환(perspective transformation)을 통하여 이루어진다.
이하 설명에서는 설명의 편의를 위해 도 6에 도시된 사각형의 지면마크(23)를 이용한 영상 보정 방법을 살펴본다.
도 4 및 도 9를 참조하면, 상기 캘리브레이션 영역(20) 내 적정 위치에 놓여지면 평가자는 카메라 시스템을 온시킨다. 카메라 시스템이 온됨에 따라 카메라들(10)로부터의 원 영상 신호 데이터가 제어 유니트(11)로 전송되며, 제어 유니트(11)는 원 영상 신호 데이터로부터 이미지 왜곡을 보정 후 미리 세팅되어 있는 룩업 테이블을 이용하여 각 카메라로부터의 캡쳐드 영상이 서로 매칭되도록 한 다음, 요구받은 캡쳐드 영상(30)을 화면(12)에 출력한다.
상기 캡쳐드 영상에는 지면마크(23)를 찍은 캡쳐드 마크(31)와 미리 설정되어 화면(12) 상에 뿌려지는 기준마크(32)가 포함된다. 이 기준마크(32)는 카메라들(10)이 정상적으로 튜닝되었을 경우에 대응하도록 미리 설정된 것이다.
만일 카메라(10)가 설계 위치에 바른 자세로 정상적으로 놓여져 있을 경우, 캡쳐드 마크(31)와 기준마크(32)는 서로 일치하게 된다. 그러나 카메라들(10)의 장착 오차로 인해 그들의 광축이 설계 위치로부터 벗어나 있는 경우, 도 6에서 볼 수 있는 바와 같이, 캡쳐드 마크(31)와 기준마크(32)는 서로 일치되지 않게 된다.
다음으로 도 4 및 도 10을 참조하여 전방 카메라의 장착 오차 보정 과정을 살펴본다.
도 4 및 도 10에서 보듯이, 전방 카메라로부터의 캡쳐드 영상 상에 캡쳐드 마크(31)와 기준마크(32) 간의 불일치가 발생된 경우에, 평가자가 캡쳐드 마크(31)의 4개의 보정점을 터치하면 각 보정점 좌표가 제어 유니트(11)로 전송되며, 제어 유니트(11)는 이들 좌표를 이용하여 상기 불일치를 보정하여 보정 영상을 화면(12)에 출력한다. 이때 화면(12)은 터치 스크린일 필요가 있다.
상기 보정 영상의 생성은 제어 유니트(11)에 미리 저장된 룩업 테이블을 신규의 룩업 테이블로 교체함에 의해 이루어진다. 그 교체는 캡쳐드 마크(31)의 보정점 좌표들와 기준마크(32)의 보정점 좌표들을 기초로 카메라의 회전 및 이동에 대한 보정량을 계산함에 의해 달성 가능하다.
상기 계산에 사용되는 룩업 테이블의 최초 세팅 시 사용된 계산식 및 기타 다양한 계산식이 사용될 수 있다.
도 11를 참조하여 실시예에 따른 카메라 장착 오차의 최대 보정 범위에 대하여 살펴본다.
본 발명에 따른 카메라 시스템의 영상 보정 방법은 카메라의 장착 오차를 소프트웨어적으로 보정하는 것이므로 그 보정 범위의 한계가 존재한다.
만일 카메라 장착 오차가 한계 이상 큰 경우에는 물리적으로 카메라 위치 및/또는 자세를 조절하는 것이 바람직하다. 본 발명의 실시예에 따르면, 카메라 시스템은 상기 오차의 최대 보정 범위가 화면(12) 상에서 확인 가능하도록 구성된다.
도 11에서 보듯이, 카메라 시스템 화면(12) 상에 캡쳐드 마크(31)의 보정점들(PT1',PT2',PT3',PT4')(즉 지면 마크의 보정점들)은 일정 반경을 갖는 동심원들(33)으로 표시되며, 기준마크(32)의 보정점들(PT1,PT2,PT3,PT4)은 상기 동심원들(33)보다 작은 점들로 표시된다.
상기 기준마크(32)의 보정점들(PT1,PT2,PT3,PT4)이 그 각각에 대응하는 위치의 동심원(33) 내에 존재할 때 소프트웨어적인 오차 보정의 신뢰도가 높으며, 그렇지 않을 경우에는 물리적인 오차 보정이 필요하다.
상기 동심원(33)은 카메라 장착 오차의 신뢰 가능한 최대 보정 범위를 보여주는 것으로, 위 실시예에서와 달리 기준마크(32)의 보정점들(PT1,PT2,PT3,PT4)이 일정 반경을 갖는 동심원으로 표시되고, 캡쳐드 마크(31)의 보정점들(PT1',PT2',PT3',PT4')은 점으로 표시될수도 있을 것이다.
위와 같이 지면마크(22)의 각 보정점을 일정 반경을 갖는 동심원으로 표시함으로써, 소프트웨어적인 오차 보정의 한계를 평가자가 직접 확인할 수 있어 편리할 뿐만 아니라, 카메라 장착 오차의 보정 신뢰도를 보장한다.
이상 본 발명의 특정 실시예에 관하여 도시하고 설명하였지만, 하기의 특허청구범위에 기재된 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경될 수 있고 또 이것이 본 발명의 기술분야에서 통상의 지식을 가진 자에게 자명하다는 것이 이해될 필요가 있다.
10: 카메라 11: 제어 유니트
12: 화면 13: 차량
14: 주차선 20: 캘리브레이션 영역
21: 기준지면 22,23: 지면마크
31: 캡쳐드 마크 32: 기준마크

Claims (5)

  1. 지면마크가 표시된 기준지면의 카메라 영상 데이터를 획득하는 과정;
    전 과정에서 얻어진 영상 데이터를 기초로 캡쳐된 지면마크의 좌표를 얻는 과정; 및
    전 과정에서 얻어진 캡쳐된 지면마크의 좌표와 미리 설정된 기준마크의 좌표 간의 오차를 이용하여 미리 설정된 룩업 테이블을 보정하는 과정;을 포함하는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  2. 청구항 1에 있어서, 상기 지면마크 및 기준마크는 각각 서로 대응하는 4개 이상의 보정점을 갖는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  3. 청구항 1에 있어서, 상기 지면마크 및 기준마크는 정사각형 또는 직사각형의 꼭지점에 대응하도록 배치된 4개씩의 보정점을 갖는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  4. 청구항 2 또는 청구항 3에 있어서, 상기 캡쳐된 지면마크와 기준마크는 화면 상에 함께 표시되며, 외부 입력에 의해 캡쳐된 지면마크의 보정점 좌표 정보를 얻는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
  5. 청구항 3에 있어서, 상기 지면마크의 각 보정점은 일정 크기의 반지름을 갖는 동심원으로 표시되는 것을 특징으로 하는 카메라 시스템의 영상 보정 방법.
KR1020100048081A 2010-05-24 2010-05-24 카메라 시스템의 영상 보정 방법 KR101113679B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100048081A KR101113679B1 (ko) 2010-05-24 2010-05-24 카메라 시스템의 영상 보정 방법
US12/953,734 US8368761B2 (en) 2010-05-24 2010-11-24 Image correction method for camera system
CN201010560947.XA CN102262780B (zh) 2010-05-24 2010-11-26 用于照相机系统的图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100048081A KR101113679B1 (ko) 2010-05-24 2010-05-24 카메라 시스템의 영상 보정 방법

Publications (2)

Publication Number Publication Date
KR20110128564A true KR20110128564A (ko) 2011-11-30
KR101113679B1 KR101113679B1 (ko) 2012-02-14

Family

ID=44972215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100048081A KR101113679B1 (ko) 2010-05-24 2010-05-24 카메라 시스템의 영상 보정 방법

Country Status (3)

Country Link
US (1) US8368761B2 (ko)
KR (1) KR101113679B1 (ko)
CN (1) CN102262780B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051129A (ko) * 2014-10-31 2016-05-11 현대모비스 주식회사 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
KR20170018644A (ko) * 2015-08-10 2017-02-20 (주)캠시스 Avm 시스템의 카메라 공차 보정 방법 및 장치
KR20190007804A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
KR102383086B1 (ko) * 2021-09-10 2022-04-08 제이씨현오토 주식회사 3차원 서라운드뷰 모니터링 카메라 합성을 위한 터치 기반 공차 보정 시스템 및 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5959311B2 (ja) * 2012-05-25 2016-08-02 富士通テン株式会社 データ導出装置、及び、データ導出方法
CN102842728B (zh) * 2012-08-27 2014-08-27 华中科技大学 一种燃料电池膜电极热压头上表面贴片的纠偏补偿方法
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
CN103024428A (zh) * 2012-12-04 2013-04-03 同致电子科技（厦门）有限公司 一种全景影像系统自动校正装置及校正方法
CN103220548B (zh) * 2013-04-23 2015-07-29 上海纵目科技有限公司 用于全景泊车标定的测试现场及其建设方法
WO2015029934A1 (ja) * 2013-08-30 2015-03-05 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
KR101572065B1 (ko) * 2014-01-03 2015-11-25 현대모비스(주) 영상 왜곡 보정 방법 및 이를 위한 장치
CN104008548B (zh) * 2014-06-04 2017-04-19 无锡维森智能传感技术有限公司 一种用于车载环视系统摄像头参数标定的特征点抽取方法
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR102176773B1 (ko) * 2014-06-11 2020-11-09 현대모비스 주식회사 자동차의 주차시스템
KR101943873B1 (ko) 2014-12-17 2019-01-30 스냅-온 인코포레이티드 라이브 승차 높이 측정
TWI536313B (zh) 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
KR101743391B1 (ko) 2016-01-15 2017-06-05 조선대학교산학협력단 어안렌즈를 이용한 차량 위험 감지 시스템 및 방법
KR102441209B1 (ko) * 2016-03-28 2022-09-07 한국자동차연구원 Avm 시스템 어라운드 영상 정합성 평가방법 및 장치
KR102395276B1 (ko) * 2016-09-13 2022-05-09 현대자동차주식회사 운전자 지원 시스템 검사 장치 및 그 제어 방법
CN106469458B (zh) * 2016-09-30 2019-01-08 哈尔滨工业大学 一种飞行相机的校正方法
KR102508984B1 (ko) 2017-09-22 2023-03-13 엘지이노텍 주식회사 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
KR101964864B1 (ko) 2017-12-14 2019-04-02 공주대학교 산학협력단 차량의 어라운드 뷰 영상의 왜곡 보정 방법
ES2907761T3 (es) * 2018-06-29 2022-04-26 Argo Ai Gmbh Método para validar datos de calibración de al menos una unidad de sensor de un vehículo y dispositivo de mantenimiento de vehículo correspondiente y sistema de mantenimiento
TWI681166B (zh) * 2018-12-05 2020-01-01 晶睿通訊股份有限公司 資訊量測方法及資訊量測系統
CN111627068A (zh) * 2019-12-31 2020-09-04 成都国翼电子技术有限公司 用于自动校正无人机前视摄像机图像中心的装置及方法
CN112785519A (zh) * 2021-01-11 2021-05-11 普联国际有限公司 基于全景图的定位误差校准方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150924B2 (ja) 2003-07-02 2008-09-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4015051B2 (ja) 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置
JP2004288824A (ja) * 2003-03-20 2004-10-14 Juki Corp 電子部品装着装置のキャリブレーション法及びその方法を用いた装置
FR2858509B1 (fr) * 2003-07-28 2005-10-14 Citilog Procede pour calibrer au moins deux cameras video l'une par rapport a l'autre pour prise de vues steroscopiques et dispositif permettant de mettre en oeuvre le procede
JP4196841B2 (ja) * 2004-01-30 2008-12-17 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051129A (ko) * 2014-10-31 2016-05-11 현대모비스 주식회사 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
KR20170018644A (ko) * 2015-08-10 2017-02-20 (주)캠시스 Avm 시스템의 카메라 공차 보정 방법 및 장치
KR20190007804A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
CN110892727A (zh) * 2017-07-13 2020-03-17 三星电子株式会社 用于在网络系统中传送数据的方法和装置
CN110892727B (zh) * 2017-07-13 2022-03-04 三星电子株式会社 用于在网络系统中传送数据的方法和装置
KR102383086B1 (ko) * 2021-09-10 2022-04-08 제이씨현오토 주식회사 3차원 서라운드뷰 모니터링 카메라 합성을 위한 터치 기반 공차 보정 시스템 및 방법

Also Published As

Publication number Publication date
KR101113679B1 (ko) 2012-02-14
US20110285856A1 (en) 2011-11-24
CN102262780B (zh) 2015-07-22
US8368761B2 (en) 2013-02-05
CN102262780A (zh) 2011-11-30

Similar Documents

Publication Publication Date Title
KR101113679B1 (ko) 카메라 시스템의 영상 보정 방법
US9030561B2 (en) Image calibration method and image calibration device
US8730130B1 (en) System and method for automatically aligning immersive displays
US8452568B2 (en) Method for calibrating cameras installed on vehicle
US10922559B2 (en) Automatic surround view homography matrix adjustment, and system and method for calibration thereof
WO2015045329A1 (ja) 車両周辺画像表示装置及びカメラの調整方法
EP3065048B1 (en) Calibration system and method for multi-image output system
US8786719B2 (en) Image calibration method and operation method for sensor array module with wide angle
US8134608B2 (en) Imaging apparatus
US20160176343A1 (en) Camera Calibration Device, Camera Calibration System, and Camera Calibration Method
US20160300113A1 (en) Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
US9210303B2 (en) Lens distortion correction method
WO2015079980A1 (ja) カメラ校正装置
JP2014064224A (ja) カメラのキャリブレーション方法及び装置
CN103017666A (zh) 用于确定几何空间中测量点的位置的过程和装置
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
CN111540004A (zh) 单相机极线校正方法及装置
US11482141B1 (en) Reticle and target based calibration for augmented reality head-up displays
AU2017344757A1 (en) An aerial camera boresight calibration system
JP4682830B2 (ja) 車載画像処理装置
US20130120538A1 (en) Stereo camera module
US11284052B2 (en) Method for automatically restoring a calibrated state of a projection system
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
CN110035273A (zh) 一种畸变校正方法、装置及使用其的显示设备
JP2019090755A (ja) 校正方法および校正装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 9