KR20200030694A - Avm 시스템 및 카메라 공차 보정 방법 - Google Patents

Avm 시스템 및 카메라 공차 보정 방법 Download PDF

Info

Publication number
KR20200030694A
KR20200030694A KR1020180108989A KR20180108989A KR20200030694A KR 20200030694 A KR20200030694 A KR 20200030694A KR 1020180108989 A KR1020180108989 A KR 1020180108989A KR 20180108989 A KR20180108989 A KR 20180108989A KR 20200030694 A KR20200030694 A KR 20200030694A
Authority
KR
South Korea
Prior art keywords
image data
camera
camera image
circular pattern
vehicle
Prior art date
Application number
KR1020180108989A
Other languages
English (en)
Other versions
KR102119388B1 (ko
Inventor
이윤희
이익현
김회율
Original Assignee
(주)캠시스
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스, 한양대학교 산학협력단 filed Critical (주)캠시스
Priority to KR1020180108989A priority Critical patent/KR102119388B1/ko
Publication of KR20200030694A publication Critical patent/KR20200030694A/ko
Application granted granted Critical
Publication of KR102119388B1 publication Critical patent/KR102119388B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

AVM 시스템 및 카메라 공차 보정 방법이 개시된다. 차량에 설치된 AVM 시스템은, 상기 차량의 전방, 우측, 좌측 및 후방에 각각 설치되는 복수의 카메라를 포함하고, 지면에 배치된 복수의 원형 패턴 사이를 통과하도록 상기 차량이 이동하는 동안 주변을 촬영하여 카메라 영상 데이터들을 생성하는 영상 생성부; 및 상기 차량이 이동하는 동안 생성된 카메라 영상 데이터들 각각에서 원형 패턴을 검출하여 검출된 원형 패턴의 외곽선을 추출하고, 추출된 외곽선과 지면에 배치된 원형 패턴 사이의 상관 관계를 이용하여 카메라 각각에 상응하는 카메라 영상 데이터와 탑뷰 영상간의 호모그라피 행렬을 산출하는 공차 보정부를 포함한다.

Description

AVM 시스템 및 카메라 공차 보정 방법{AVM system and camera calibration method}
본 발명은 AVM 시스템 및 카메라 공차 보정 방법에 관한 것이다.
일반적으로, 차량 내부에 탑승한 운전자의 시계는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의해 상당부분 가려지기 때문에 매우 한정된 시계를 가진다.
이러한 문제를 해결하기 위하여, 사이드 미러 등의 시계 보조수단이 사용되고 있으며, 최근에는 차량의 외부를 촬영하여 운전자에게 제공하는 카메라 수단을 이용한 기술들도 차량에 다양하게 적용되고 있는 추세이다.
일 예로, 차량에 복수의 카메라를 장착하여 차량 주변의 360ㅀ전방향의 영상을 보여주는 어라운드 뷰 모니터링(Around View Monitoring, AVM) 시스템이 있다. AVM 시스템은 차량 각 위치에 구비된 카메라들에 의해 촬영된 차량 주변의 영상을 조합하여, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지 형식의 AVM 영상을 제공함으로써, 사각지대를 해소하고 운전자가 차량 주변 장애물을 쉽게 확인할 수 있는 장점이 있다.
차량에 구비되는 AVM 시스템은 차량의 전면, 후면, 우측면 및 좌측면에 각각 구비되는 복수의 카메라를 포함하고, 개별 카메라에서 촬영된 영상들간의 부정합을 제거하기 위해 공차 보정이 실시된다.
도 1에는 종래기술에 따른 공차 보정 방법이 예시되어 있다. 도 1에 예시된 바와 같이, 전면, 우측면, 좌측면 및 후면의 위치 각각에 카메라(20-1, 20-2, 20-3, 20-4, 이하 구별이 불필요한 경우 20으로 통칭함)가 장착된 차량(10)은 공차 보정을 위해 복수의 보정판(50)이 설치된 공간의 미리 지정된 위치에 정지된다.
각 보정판(50)은 차량(10)의 전방 좌측 모서리, 전방 우측 모서리, 후방 좌측 모서리 및 후방 우측 모서리에 차량의 각 바퀴 축 선상에서 일정 거리 이격되어 위치된다.
보정판(50)은 특징점의 추출 오류를 방지하기 위해 격자 모양의 무늬로 이루어지며, 격자 모양의 무늬는 색상 대비가 강한 색들의 조합으로 이루어지고 있다.
공차 보정을 위해 각 카메라(20)에서 생성된 촬영 영상에서 보정판(50) 내 다각형 패턴의 특징점들에 대한 좌표 정보가 추출되고, 해당 좌표 정보는 각 특징점에 대응되는 표준 좌표 정보와 비교되어 변환 행렬이 산출된다.
이때, 다각형 패턴에 대해서 임의로 세계 좌표를 부여해야 하는데, 세계 좌표를 부여하기 위해서는 특징점 사이의 거리나 특징점들의 위치관계 등 다각형 패턴이 세계 좌표에서 위치하는 상대적인 정보를 모두 알고 있어야 하는 제약이 있었다. 이러한 제약은 탑뷰 영상 생성을 위해서 다각형 패턴을 정해진 규격에 맞춰 설치해야 하고 패턴 정보를 입력하거나 파악하는데 많은 수고가 들어가는 불편함도 있었다.
한국등록특허 제10-0948886호(차량에 설치된 카메라의 공차 보정 장치 및 방법) 미국특허공개 US2009/0010630호 (Camera system and method of correcting camera fitting errors)
본 발명은 다각형 패턴이 아닌 원형 패턴을 이용하여 패턴의 세계 좌표를 입력하지 않으면서도 패턴이 영상이 나타나는 조건을 만족하면 탑뷰 영상의 생성이 가능하고, 탑뷰 생성을 위해 계산한 호모그라피 행렬(Homography Matrix)을 이용하여 카메라의 외부 파라미터를 정확하게 추정할 수 있는 AVM 시스템 및 카메라 공차 보정 방법을 제공하기 위한 것이다.
본 발명은 차량이 패턴 사이를 지나도록 이동하는 것만으로 공차 보정이 가능하여 패턴 설치에 걸리는 시간을 단축할 수 있고, 카메라와 패턴의 상대적 및 절대적 위치를 모르더라도 복수의 카메라의 영상 합성이 가능한 AVM 시스템 및 카메라 공차 보정 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 차량에 설치된 AVM 시스템에 있어서, 상기 차량의 전방, 우측, 좌측 및 후방에 각각 설치되는 복수의 카메라를 포함하고, 지면에 배치된 복수의 원형 패턴 사이를 통과하도록 상기 차량이 이동하는 동안 주변을 촬영하여 카메라 영상 데이터들을 생성하는 영상 생성부; 및 상기 차량이 이동하는 동안 생성된 카메라 영상 데이터들 각각에서 원형 패턴을 검출하여 검출된 원형 패턴의 외곽선을 추출하고, 추출된 외곽선과 지면에 배치된 원형 패턴 사이의 상관 관계를 이용하여 카메라 각각에 상응하는 카메라 영상 데이터와 탑뷰 영상간의 호모그라피 행렬을 산출하는 공차 보정부를 포함하는 AVM 시스템이 제공된다.
상기 공차 보정부는 미리 지정된 유효성 조건을 만족하는 카메라 영상 데이터들만을 이용하여 각 카메라에 대한 호모그라피 행렬이 산출되도록 하기 위해, 현재 산출된 호모그라피 행렬이 적용된 탑뷰 영상에서의 원형 패턴의 해석 면적과 지면에 배치된 원형 패턴의 실제 면적의 관계를 이용하도록 미리 규정된 에러값 산출 기법으로 각 카메라 영상 데이터에 대한 에러값을 산출하는 단계 (a); 및 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 있으면, 해당 카메라 영상 데이터가 제외하여 호모그라피 행렬을 다시 산출하고 상기 현재 산출된 호모그라피 행렬이 대체되도록 하는 단계 (b)를 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않을 때까지 반복하고, 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않으면, 해당 시점의 현재 산출된 호모그라피 행렬을 상응하는 카메라에 대한 호모그라피 행렬로 결정하도록 구현될 수 있다.
상기 에러값은 수학식
Figure pat00001
에 의해 산출될 수 있다. 여기서 상기 e는 에러값, 상기 p는 각 카메라 영상 데이터를 구분하는 식별 정보, 상기 n은 하나의 카메라 영상 데이터에서 검출된 원형 패턴의 총 갯수, k는 해당 식별 정보의 카메라 영상 데이터에서 검출된 각 원형 패턴의 구분자, M은 검출된 원형 패턴에 상응하여 지면에 배치된 원형 패턴의 실제 면적, m은 상기 식별 정보의 카메라 영상 데이터에서 검출되어 현재 산출된 호모그라피 행렬에 의해 변환된 탑뷰 영상 내의 원형 패턴의 해석 면적일 수 있다.
상기 복수의 원형 패턴은 상기 차량이 이동하는 경로의 주변에 분산되도록 배치될 수 있다.
상기 공차 보정부는 각 카메라 영상 데이터에서 원형 패턴을 신속하게 검출하기 위하여, 기울기 벡터(Gradient vector)의 페어(pair)를 이용하여 CHT(Circle Hough Transform)의 후보군을 우선 검출한 후, 검출된 후보군을 대상으로 CHT를 이용하여 원형 패턴을 검출할 수 있다.
상기 AVM 시스템은, 각 카메라에 상응하는 호모그라피 행렬 및 카메라 영상 데이터를 이용하여 각 카메라에 상응하는 탑뷰 영상을 생성하고, 생성된 각각의 탑뷰 영상을 상기 차량을 기준한 각 카메라의 설치 위치에 부합하도록 회전시킨 후, 상기 차량의 주변 전체에 대한 AVM 영상 데이터로 합성하는 영상 합성부를 더 포함할 수도 있다.
상기 영상 합성부는 동일한 시점(time)에서 복수의 탑뷰 영상에 공통된 원형 패턴이 존재하는 경우, 공통된 원형 패턴의 중심점과 크기를 일치시켜 상기 AVM 영상 데이터로 합성할 수 있다.
본 발명의 다른 측면에 따르면, 차량에 설치된 카메라 공차를 보정하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, (a) 상기 차량이 지면에 배치된 복수의 원형 패턴 사이를 통과하도록 상기 차량이 이동되는 동안, 상기 차량의 전방, 우측, 좌측 및 후방에 각각 설치된 복수의 카메라에 의해 생성된 카메라 영상 데이터들 각각에서 원형 패턴을 검출하는 단계; (b) 상기 검출된 원형 패턴의 외곽선을 추출하는 단계; 및 (c) 추출된 외곽선과 지면에 배치된 원형 패턴 사이의 상관 관계를 이용하여 카메라 각각에 상응하는 카메라 영상 데이터와 탑뷰 영상간의 호모그라피 행렬을 산출하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램이 제공된다.
각 카메라에 대한 호모그라피 행렬이 미리 지정된 유효성 조건을 만족하는 카메라 영상 데이터들만을 이용하여 산출되도록 하기 위해, 상기 단계 (c)는, (c-1) 현재 산출된 호모그라피 행렬이 적용된 탑뷰 영상에서의 원형 패턴의 해석 면적과 지면에 배치된 원형 패턴의 실제 면적의 관계를 이용하도록 미리 규정된 에러값 산출 기법으로 각 카메라 영상 데이터에 대한 에러값을 산출하는 단계; 및 (c-2) 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 있으면, 해당 카메라 영상 데이터가 제외하여 호모그라피 행렬을 다시 산출하고 상기 현재 산출된 호모그라피 행렬이 대체되도록 하는 단계를 포함할 수 있다. 여기서, 상기 단계 (c-1) 및 상기 단계 (c-2)는 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않을 때까지 반복될 수 있고, 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않으면, 해당 시점의 현재 산출된 호모그라피 행렬이 상응하는 카메라에 대한 호모그라피 행렬로 결정되도록 할 수 있다.
상기 에러값은 수학식
Figure pat00002
에 의해 산출될 수 잇다. 여기서, 상기 e는 에러값, 상기 p는 각 카메라 영상 데이터를 구분하는 식별 정보, 상기 n은 하나의 카메라 영상 데이터에서 검출된 원형 패턴의 총 갯수, k는 해당 식별 정보의 카메라 영상 데이터에서 검출된 각 원형 패턴의 구분자, M은 검출된 원형 패턴에 상응하여 지면에 배치된 원형 패턴의 실제 면적, m은 상기 식별 정보의 카메라 영상 데이터에서 검출되어 현재 산출된 호모그라피 행렬에 의해 변환된 탑뷰 영상 내의 원형 패턴의 해석 면적일 수 있다.
각 카메라 영상 데이터에서 원형 패턴을 신속하게 검출하기 위하여, 상기 단계 (a)에서, 기울기 벡터(Gradient vector)의 페어(pair)를 이용하여 CHT(Circle Hough Transform)의 후보군을 우선 검출한 후, 검출된 후보군을 대상으로 CHT를 이용하여 원형 패턴이 검출되도록 할 수 있다.
상기 단계들에는, 각 카메라에 상응하는 호모그라피 행렬 및 카메라 영상 데이터를 이용하여 각 카메라에 상응하는 탑뷰 영상을 생성하는 단계; 및 생성된 각각의 탑뷰 영상을 상기 차량을 기준한 각 카메라의 설치 위치에 부합하도록 회전시킨 후, 상기 차량의 주변 전체에 대한 AVM 영상 데이터로 합성하는 단계가 더 포함될 수도 있다.
동일한 시점(time)에서 복수의 탑뷰 영상에 공통된 원형 패턴이 존재하면, 상기 AVM 영상 데이터는 공통된 원형 패턴의 중심점과 크기를 일치시켜 생성될 수도 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 다각형 패턴이 아닌 원형 패턴을 이용하여 패턴의 세계 좌표를 입력하지 않으면서도 패턴이 영상이 나타나는 조건을 만족하면 탑뷰 생성이 가능하고, 탑뷰 생성을 위해 계산한 호모그라피 행렬을 이용하여 카메라의 외부 파라미터를 정확하게 추정할 수 있는 효과가 있다.
또한, 차량이 패턴 사이를 지나도록 이동하는 것만으로 공차 보정이 가능하여 패턴 설치에 걸리는 시간을 단축할 수 있고, 카메라와 패턴의 상대적 및 절대적 위치를 모르더라도 복수의 카메라의 영상 합성이 가능한 효과도 있다.
도 1은 종래기술에 따른 공차 보정 방법을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 구성을 개략적으로 도시한 블록 구성도.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 AVM 시스템의 공차 보정 과정을 설명하기 위한 도면.
도 8은 본 발명의 다른 실시예에 따른 원형 패턴의 배치예를 예시한 도면.
도 9는 본 발명의 일 실시예에 따른 AVM 시스템의 카메라 공차 보정 방법을 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 구성을 개략적으로 도시한 블록 구성도이고, 도 3 내지 도 7은 본 발명의 일 실시예에 따른 AVM 시스템의 공차 보정 과정을 설명하기 위한 도면이며, 도 8은 본 발명의 다른 실시예에 따른 원형 패턴의 배치예를 예시한 도면이다.
도 2를 참조하면, AVM 시스템은 영상 생성부(210), 공차 보정부(220), 영상 합성부(230), 저장부(240) 및 디스플레이부(250)를 포함할 수 있다. 도시되지는 않았으나, AVM 시스템에 포함된 하나 이상의 구성요소의 동작을 제어하기 위한 제어부가 더 포함될 수도 있다.
영상 생성부(210)는 차량(10)의 복수 개소(예를 들어, 전방, 후방, 좌측 및 우측을 각각 촬영하도록 지정된 위치)에 각각 설치되어 외부 장면을 촬영하는 복수의 카메라(20)를 포함한다. 영상 생성부(210)의 각 카메라(20)에 의해 촬영된 외부 장면은 카메라 영상 데이터로 저장부(220)에 저장된다. 여기서, 카메라(110)는 적은 수량으로 차량 주변 환경이 촬영 가능하도록 예를 들어 화각이 큰 광각 카메라로 구현될 수 있다.
공차 보정부(220)는 저장부(240)에 저장된 카메라 영상 데이터들을 분석하여 원형 패턴(이동하는 차량의 위치에 따라 댜양한 형상의 타원의 형태를 가질 수 있음)을 해석하고, 해석한 원형 패턴을 이용하여 호모그라피 행렬(Homography matrix)를 산출한다. 이때, 호모그라피 행렬를 산출하는 과정에서 각 카메라(20)의 외부 변수(extrinsic parameter)도 산출될 수 있으며, 공차 보정부(220)는 이를 이용하여 세계좌표 상에서 각 카메라(20)의 위치를 추정할 수도 있다.
영상 합성부(230)는 공차 보정부(220)에 의해 산출된 호모그라피 행렬을 이용하여 카메라 영상 데이터를 차량(10)의 위쪽에서 내려다보는 듯한 탑뷰 영상으로 생성하고, 이들 탑뷰 영상을 합성하여 AVM 영상 데이터를 생성한다.
복수의 탑뷰 영상을 이용하여 AVM 영상 데이터를 생성할 때, 영상 합성부(230)는 동일한 시점(time)에서 원형 패턴을 형성하는 원이 동일한 위치에 있음을 고려하여 원형 패턴의 중심 위치와 크기를 일치시키는 방법 등을 이용할 수 있다. 이때, 영상 합성부(230)는 생성된 각 탑뷰 영상을 상응하는 카메라(20)가 차량에 설치된 위치에 상응하도록 회전 처리할 수도 있다.
영상 합성부(230)에 의해 생성된 AVM 영상 데이터는 디스플레이부(250)를 통해 출력될 수 있을 것이다.
저장부(240)에는 예를 들어 AVM 시스템의 운용 프로그램, 영상 생성부(210)에 의해 생성된 카메라 영상 데이터, 공차 보정부(220)에 의해 산출된 호모그라피 행렬, 영상 합성부(240)에 의해 생성된 탑뷰 영상과 AVM 영상 데이터 등이 저장될 수 있다. 저장부(220)는 데이터를 영구 저장하는 영구 저장 메모리와 동작 시 필요한 데이터를 임시 저장하여 운용하는 임시 저장 메모리로 분리되어 운용될 수도 있다.
이하, 도 3 내지 도 8을 참조하여, 공차 보정부(220)에 의해 호모그라피 행렬이 생성되는 과정, 영상 합성부(230)에 의해 탑뷰 영상과 AVM 영상 데이터가 생성되는 과정 등을 설명하기로 한다.
도 3의 (a) 내지 (c)에 순차적으로 예시된 바와 같이, 본 실시예에 따른 AVM 시스템은 2개의 원형 패턴(300-1, 300-2, 이하 300이라 통칭함)이 바닥면에 나란히 배치되고, 차량(10)이 2개의 원형 패턴(300) 사이를 통과하도록 미리 지정된 거리만큼 움직이도록 한 후 각 카메라(20)에 대한 공차 보정이 실시되는 특징을 가진다.
이를 위해, 차량(10)이 나란히 배치된 원형 패턴(300)의 사이를 이동하기 위한 움직임을 개시하여 움직임이 종료될 때(또는 미리 지정된 거리만큼 이동되었음이 인식될 때)까지 영상 생성부(210)의 각 카메라(20)는 지속적으로 외부 장면을 촬영하여 저장부(240)에 각각 상응하는 카메라 영상 데이터를 저장하게 된다.
도 3 등에 예시된 바와 같이, 공차 보정을 위해 지면에 배치된 원형 패턴(300)은 그 형상이 원형이기 때문에, 그 중심점을 중심으로 회전한 각도에 상관없이 항상 동일한 형상을 나타낸다. 따라서, 원형 패턴(300)의 배치 과정에서 종래의 다각형 패턴(즉, 미리 정해진 위치에 정확한 각도로 설치되어도록 제한됨)과 달리 패턴 배치에 소요되는 시간을 단축시킬 수 있는 장점을 가진다.
또한, 원형 패턴(300)은 종래의 다각형 패턴과 같이 미리 정해진 위치에 정확히 위치시켜야 하는 것은 아니며, 미리 지정된 위치 조건을 충족하기만 하면 임의의 위치에 위치시켜도 공차 보정이 가능한 장점도 가진다.
또한, 원형 패턴(300)은 지름이 모두 동일하도록 미리 지정될 수 있고, 미리 지정된 지름 정보를 이용하여 영상 합성부(230)에서 탑뷰 생성시 정확한 픽셀 피치(pixel pitch)(mm/pixel) 계산이 가능하도록 할 수 있다. 물론, 각 위치에 배치되는 원형 패턴(300)의 지름이 미리 지정되어 각 원형 패턴의 지름을 미리 인식할 수 있는 경우 등에서, 모든 원형 패턴(300)의 지름이 일치하도록 제한되지 않음은 당연하다.
이때, 카메라(20)의 공차 보정을 위해 이용되는 원형 패턴(300)의 수는 2개로 제한되지 않으며, 도 8에 예시된 바와 같이 차량(10)이 움직이는 경로 상의 양 측방에 복수개씩 존재하도록 배치될 수도 있음은 당연하다.
차량(10)이 원형 패턴(300)들의 사이를 지나도록 움직임을 가지는 기간 동안 생성되어 저장부(240)에 저장된 카메라 영상 데이터들 각각에서 공차 보정부(220)는 원형 패턴(300)을 검출한다.
이하, 설명의 편의를 위해 차량(10)이 미리 지정된 거리만큼 움직인 동안 카메라(20) 각각에 상응하여 순차적으로 촬영된 30개의 카메라 영상 데이터가 생성된 경우를 가정하여 설명한다.
도 4에는 차량(10)이 움직이는 동안 차량(10)의 우측면에 구비된 카메라(20)에 상응하도록 생성된 30개의 카메라 영상 데이터들 중 일부의 영상이 예시되어 있다. 예시된 바와 같이, 원형 패턴(300)은 카메라(20)와 원형 패턴(300)의 상대적인 위치에 따라 다양한 형상의 타원의 형태로 촬영된다.
공차 보정부(220)는 각 카메라(20)에 의해 생성된 카메라 영상 데이터에서 원형 패턴(300)을 신속하게 검출할 수 있도록 기울기 벡터(Gradient vector)의 페어(pair)를 이용하는 방법을 적용할 수 있고, 이때 LoG(Laplacian of Gaussian) 필터(filter)를 이용할 수 있다. 기울기 페어 벡터(Gradient pair vector)를 이용하여 영상에서 신속하게 원을 검출하는 방법은 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.
즉, 공차 보정부(220)는 기울기 벡터의 페어를 이용하여 신속하게 CHT(Circle Hough Transform)의 후보군을 검출하고, CHT를 이용하여 최종적으로 카메라 영상 데이터에서 타원으로 표시되는 원형 패턴의 외곽선을 검출한다. 참고로, 도 4 등에 촬영 영상 데이터에서 검출된 원형 패턴(300) 형상의 외곽선이 붉은색 선으로 표현되어 있다.
기울기 벡터의 페어를 이용하여 신속하게 원형 패턴(300)이 검출될 수 있도록 하기 위해, 원형 패턴(300)의 내부는 예를 들어 흰색, 검은색 등의 미리 지정된 색상으로 채색될 수 있다.
공차 보정부(220)는 각 카메라 영상 데이터에서 원형 패턴 부분과 배경 부분을 분리하여 원형 패턴의 외곽선을 검출하는 이진화 기법(하기 수학식 1 참조)을 이용하여 정상적으로 원형 패턴(300)이 검출되었는지를 검증할 수도 있다.
Figure pat00003
여기서, I(x,y)는 카메라 영상 데이터에서의 영상 좌표 (x,y)의 영상값을 의미하고, Th는 임계값(Threshold value)을 의미하며, B(x,y)는 카메라 영상 데이터에서의 좌표 (x,y)에 해당하는 영상값이 임계값과 대비되어 이진화된 결과값(즉, 0 또는 255)를 의미한다.
공차 보정부(220)는 각 영상 좌표에 대해 이진화된 결과값을 참조하여 외곽 에지(edge)의 방향성을 찾아 원형 패턴(300)의 외곽선을 검출하여 검증할 수 있다.
공차 보정부(220)는 미리 저장된 원형 패턴(300)에 관한 정보(예를 들어, 형상, 크기 등 중 하나 이상)와 30개의 카메라 영상 데이터들에서 각각 검출된 원형 패턴(300)에 관한 정보(예를 들어, 중심점의 위치, 형상, 크기 등 중 하나 이상)를 이용하여 각 카메라(20)와 지면과의 관계를 나타내는 호모그라피 행렬을 산출할 수 있다. 일반적으로 지면에 배치된 원형 패턴(300)은 촬영 영상 데이터에서 타원으로 표시되며, 타원의 방정식은 하기 수학식 2와 같이 표현될 수 있다.
Figure pat00004
여기서, (α,β)는 타원의 중심점을 나타내고, a는 장축의 반지름을, b는 단축의 반지름을 각각 나타낸다.
전술한 수학식 2는 타원의 방정식 Ax2 + Bxy + Cy2 + Dx + Ey + F = 0으로 일반화될 수 있고, A 내지 F로 표현된 각 계수를 이용하여 대칭적 계수 행렬(Symmetric Coefficient Matrix) Q는 하기 수학식 3과 같이 표현될 수 있다.
Figure pat00005
수학식 3의 대칭적 계수 행렬 Q는 xTQx=0의 관계를 만족하고, 영상 좌표(x)와 실세계 좌표(x')의 관계를 나타내는 호모그라피 행렬 H는
Figure pat00006
로 정의되므로, 실세계에서의 대칭적 계수 행렬 Q'는 하기 수학식 4와 같이 정의될 수 있다.
Figure pat00007
또한, 소실점(vanishing point)을 지나는 직선인 소실선(vanishing line)(line lp)은 대칭적 계수 행렬 Q와 교점(point xp)(즉, 소실선과 카메라 영상 데이터에서 검출된 타원이 만나는 점)을 이용하여 하기 수학식 5와 같이 정의될 수 있다.
Figure pat00008
또한, 호모그라피 행렬 H는 유사성(similarity) 행렬 S, 아핀성(affinity) 행렬 A, 투영성(projectivity) 행렬 A을 이용하여 정의되지만, 유사성 행렬 S의 영향은 무시할 수 있으므로, 호모그라피 행렬 H는 하기 수학식 6과 같이 간략화하여 정의될 수 있다.
Figure pat00009
여기서, l1, l2 및 l3는 소실점을 지나는 직선인 소실선을 의미하고, α와 β는 각각 아핀성 변환의 계수이다.
공차 보정부(220)는 차량(10)이 미리 지정된 거리만큼 움직인 동안 카메라(20) 각각에 상응하여 생성된 30개의 카메라 영상 데이터들에 대해 전술한 수학식 1 내지 수학식 6을 이용하여 각 카메라(20)에 상응하는 호모그라피 행렬 H를 생성한다. 생성된 호모그라피 행렬 H을 이용하여 생성된 각각의 카메라 영상 데이터는 탑뷰 영상으로 변환될 수 있다(도 5 참조).
이후, 공차 보정부(220)는 미리 지정된 거리만큼 움직인 동안 생성된 모든 카메라 영상 데이터(즉, 30개의 카메라 영상 데이터)를 이용하여 각 카메라(20)에 상응하도록 생성된 호모그라피 행렬들이 보다 정교해지도록 하기 위한 개선 처리를 실시한다.
개선 처리는 현재 산출된 호모그라피 행렬을 이용하여 원형 패턴이 검출된 각 카메라 영상 데이터의 유효성을 검사하고, 유효한 카메라 영상 데이터만을 대상으로 다시 호모그라피 행렬을 산출하는 과정을 반복하되, 호모그라피 행렬을 산출하기 위해 이용된 카메라 영상 데이터들이 모두 유효성 조건을 만족하면 최종적으로 생성된 호모그라피 행렬을 해당 카메라(20)에 상응하는 개선된 호모그라피 행렬로 확정하는 방식으로 실시된다.
원형 패턴이 검출된 각 카메라 영상 데이터의 유효성을 검사하기 위해, 공차 보정부(220)는 하기 수학식 7을 이용하여 각 카메라 영상 데이터의 에러값을 산출할 수 있다. 물론, 원형 패턴(300)의 실제 면적과 해석 면적의 비율값을 에러값으로 하는 등 에러값 산출 방식은 이외에도 다양할 수 있다.
Figure pat00010
여기서, e는 에러값, p는 각 카메라 영상 데이터를 구분하는 식별 정보, n은 해당 식별 정보의 카메라 영상 데이터에서 검출된 원형 패턴의 총 갯수, k는 해당 식별 정보의 카메라 영상 데이터에서 검출된 각 원형 패턴의 구분자, Mk는 검출된 원형 패턴에 상응하여 지면에 배치된 원형 패턴(300)의 실제 면적, mk는 해당 식별 정보의 카메라 영상 데이터에서 검출되어 현재의 호모그라피 행렬에 의해 변환된 원형 패턴의 면적(즉, 해석 면적)을 나타낸다.
카메라 영상 데이터에서 하나의 원형 패턴이 검출된 경우, 수학식 7에 의할 때 원형 패턴(300)의 실제 크기가 카메라 영상 데이터와 현재의 호모그라피 행렬에 의해 변환된 원형 패턴의 크기가 일치하는 경우에는 에러값이 0으로 산출될 것이다. 물론 카메라 영상 데이터에서 복수의 원형 패턴이 검출된 경우에는 각 원형 패턴을 모두 고려한 에러값으로 산출될 것이다.
공차 보정부(220)는 30개의 카메라 영상 데이터들에 대해 각각 에러값을 산출하고, 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하는지 판단하여, 만일 임계값보다 큰 에러값을 가지는 카메라 영상 데이터가 존재하면 임계값보다 작은 에러값들을 가지는 카메라 영상 데이터들만을 대상 카메라 영상 데이터들로 하여 호모그라피 행렬을 다시 산출한다(전술한 수학식 3 내지 6 참조).
예를 들어, 30개의 카메라 영상 데이터들 중 첫번째와 두번째 카메라 영상 데이터가 에러값이 임계값보다 큰 것으로 판단되었다면 세번째부터 30번째까지의 카메라 영상 데이터들만을 대상 카메라 영상 데이터들로 하여 호모그라피 행렬이 다시 산출된다.
공차 보정부(220)는 다시 산출된 호모그라피 행렬을 이용하여 대상 카메라 영상 데이터들 각각에 대해 검출된 원형 패턴의 해석 면적을 산출하여 에러값 산출을 다시 수행한다.
이때, 미리 지정된 임계값보다 큰 에러값을 가지는 카메라 영상 데이터가 존재하지 않으면 현재의 호모그라피 행렬이 해당 카메라(20)에 상응하는 호모그라피 행렬로 결정된다. 즉, 호모그라피 행렬을 산출하기 위해 이용된 카메라 영상 데이터들이 모두 유효성 조건을 만족하면 최종적으로 생성된 호모그라피 행렬을 해당 카메라(20)에 상응하는 개선된 호모그라피 행렬로 확정된다.
그러나 만일 미리 지정된 임계값보다 큰 에러값을 가지는 카메라 영상 데이터가 존재하면, 공차 보정부(220)는 해당 커메라 영상 데이터를 제외하여 대상 카메라 영상 데이터들을 재선정하고 호모그라피 행렬을 다시 산출하며, 각 카메라 영상 데이터의 에러값을 산출하는 과정을 다시 수행한다.
전술한 과정에 의해 각 카메라(20)에 대한 호모그라피 행렬이 결정되면, 영상 합성부(230)는 각 카메라(20)에 상응하는 탑뷰 영상을 합성하여 AVM 영상 데이터를 생성할 수 있다(도 7 참조).
이때, 영상 합성부(230)는 영상 합성을 위해, 각 카메라(20)의 호모그라피 행렬을 이용하여 변환된 탑뷰 영상을 각 카메라(20)의 장착 위치에 상응하도록 회전 처리할 수 있다. 예를 들어, 차량(10)의 우측면에 장착된 카메라(20)에 상응하는 탑뷰 영상은 도 6에 예시된 바와 같이 차량(10)의 우측이 촬영된 영상으로 표현되도록 회전 처리될 수 있다.
또한, 영상 합성부(230)는 동일한 시점(time)에서 각 카메라에서 촬영된 복수의 카메라 영상 데이터 내에서 검출되는 원형 패턴이 실제적으로 동일한 위치에 있음을 고려하여 탑뷰 영상둘에 존재하는 공통된 원형 패턴의 중심 위치와 크기를 일치시키는 방법 등을 이용하여 신속하게 영상 합성을 수행할 수 있을 것이다.
도 9는 본 발명의 일 실시예에 따른 AVM 시스템의 카메라 공차 보정 방법을 나타낸 순서도이다.
도 9를 참조하면, 단계 910에서 AVM 시스템은 지면에 배치된 복수의 원형 패턴(300) 사이를 통과하도록 미리 지정된 거리만큼 차량(10)이 이동하는 동안 각 카메라(20)에 의해 주변이 촬영된 카메라 영상 데이터들을 생성한다. 카메라(20)는 차량(10)의 복수 개소(예를 들어, 전방, 후방, 좌측 및 우측을 각각 촬영하도록 지정된 위치)에 각각 설치될 수 있다.
단계 920에서 AVM 시스템은 각각의 카메라 영상 데이터에서 원형 패턴을 검출한다. AVM 시스템은 예를 들어 기울기 벡터의 페어를 이용하는 방법을 적용하여 CHT의 후보군을 검출한 후, CHT를 이용하여 카메라 영상 데이터에서 타원으로 표시되는 원형 패턴의 외곽선을 검출할 수 있다.
단계 930에서 AVM 시스템은 각 카메라(20)에 상응하여 생성된 카메라 영상 데이터들을 이용하여 타원의 외곽선에 기초한 타원 방정식을 산출하고, 산출된 타원 방정식을 이용하여 세계 좌표와 카메라 영상 데이터 사이의 호모그라피 행렬(원시 호모그라피 행렬이라 칭함)을 각 카메라(20)에 대해 산출한다.
단계 940에서 AVM 시스템은 원시 호모그라피 행렬이 미리 지정된 유효성 조건을 만족하는 카메라 영상 데이터들만을 이용하여 산출된 것인지 여부를 판단한다.
이때, AVM 시스템은 미리 알고 있는 원형 패턴(300)의 실제 면적과, 카메라 영상 데이터에서 검출된 원형 패턴이 원시 호모그라피 행렬을 이용하여 세계 좌표로 변환되어 산출된 해석 면적의 관계를 이용하여 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 하나 이상 존재하면 미리 지정된 유효성 조건을 만족하지 못하는 것으로 판단할 수 있다(전술한 수학식 7 참조).
만일 미리 지정된 임계값보다 큰 에러값을 가지는 카메라 영상 데이터가 존재하면, 단계 950으로 진행하여, AVM 시스템은 단계 910에서 생성된 카메라 영상 데이터들 중 해당 카메라 영상 데이터가 제외된 대상 카메라 영상 데이터를 재선정한다.
이후, 단계 930으로 다시 진행하여 AVM 시스템은 대상 카메라 영상 데이터를 대상으로 하여 호모그라피 행렬(제1 개선 호모그라피 행렬이라 칭함)을 각 카메라(20)에 대해 다시 산출한다.
이어서, 단계 940에서 AVM 시스템은 제1 개선 호모그라피 행렬이 미리 지정된 유효성 조건을 만족하는 카메라 영상 데이터들만을 이용하여 산출된 것인지 여부를 판단한다. 이 경우, 카메라 영상 데이터에서 검출된 원형 패턴이 제1 개선 호모그라피 행렬을 이용하여 세계 좌표로 변환되어 산출된 해석 면적이 고려될 것이다.
제1 개선 호모그라피 행렬이 유효성 조건을 만족하는 카메라 영상 데이터들만을 이용하여 산출된 것이 아니라면 AVM 시스템은 단계 950 및 960을 진행하여 각 카메라(20)에 대해 호모그라피 행렬(즉, 제2 호모그라피 행렬)을 산출하는 과정을 다시 진행하게 될 것이다.
즉, 단계 930 내지 단계 950은 각 카메라(20)를 대상으로 개별 수행되며, 호모그라피 행렬이 모두 유효성 조건을 만족하는 카메라 영상 데이터들만으로 산출된 것으로 인정될 때까지 반복 실시된다.
그러나 만일 단계 940의 판단 결과로, 현재 생성된 호모그라피 행렬이 모두 유효성 조건을 만족하는 카메라 영상 데이터들만을 대상으로 산출된 것이라면, AVM 시스템은 단계 960으로 진행하여 각 카메라(20)에 상응하는 호모그라피 행렬을 이용하여 각 카메라 영상 데이터에 상응하는 탑뷰 영상을 생성하고, 복수의 탑뷰 영상을 합성하여 AVM 영상 데이터를 생성한다.
이때, AVM 시스템은 예를 들어 각각의 탑뷰 영상을 상응하는 카메라의 설치 위치에 부합하도록 회전시킨 후, 동일한 시점에서 촬영된 공통된 원형 패턴의 중심 위치가 일치되도록 하는 합성하는 방법 등을 이용하여 AVM 영상 데이터를 생성할 수 있다.
상술한 AVM 시스템의 카메라 공차 보정 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 차량 20-1, 20-2, 20-3, 20-4 : 카메라 50 : 보정판
50 : 보정판 210 : 영상 생성부
220 : 공차 보정부 230 : 영상 합성부
240 : 저장부 250 : 디스플레이부
300-1, 300-2 : 원형 패턴

Claims (13)

  1. 차량에 설치된 AVM 시스템에 있어서,
    상기 차량의 전방, 우측, 좌측 및 후방에 각각 설치되는 복수의 카메라를 포함하고, 지면에 배치된 복수의 원형 패턴 사이를 통과하도록 상기 차량이 이동하는 동안 주변을 촬영하여 카메라 영상 데이터들을 생성하는 영상 생성부; 및
    상기 차량이 이동하는 동안 생성된 카메라 영상 데이터들 각각에서 원형 패턴을 검출하여 검출된 원형 패턴의 외곽선을 추출하고, 추출된 외곽선과 지면에 배치된 원형 패턴 사이의 상관 관계를 이용하여 카메라 각각에 상응하는 카메라 영상 데이터와 탑뷰 영상간의 호모그라피 행렬을 산출하는 공차 보정부를 포함하는 AVM 시스템.
  2. 제1항에 있어서,
    상기 공차 보정부는 미리 지정된 유효성 조건을 만족하는 카메라 영상 데이터들만을 이용하여 각 카메라에 대한 호모그라피 행렬이 산출되도록 하기 위해,
    현재 산출된 호모그라피 행렬이 적용된 탑뷰 영상에서의 원형 패턴의 해석 면적과 지면에 배치된 원형 패턴의 실제 면적의 관계를 이용하도록 미리 규정된 에러값 산출 기법으로 각 카메라 영상 데이터에 대한 에러값을 산출하는 단계 (a); 및
    산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 있으면, 해당 카메라 영상 데이터가 제외하여 호모그라피 행렬을 다시 산출하고 상기 현재 산출된 호모그라피 행렬을 대체하도록 하는 단계 (b)를 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않을 때까지 반복하고,
    산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않으면, 해당 시점의 현재 산출된 호모그라피 행렬을 상응하는 카메라에 대한 호모그라피 행렬로 결정하는 것을 특징으로 하는 AVM 시스템.
  3. 제2항에 있어서,
    상기 에러값은 수학식
    Figure pat00011
    에 의해 산출되되,
    상기 e는 에러값, 상기 p는 각 카메라 영상 데이터를 구분하는 식별 정보, 상기 n은 하나의 카메라 영상 데이터에서 검출된 원형 패턴의 총 갯수, k는 해당 식별 정보의 카메라 영상 데이터에서 검출된 각 원형 패턴의 구분자, M은 검출된 원형 패턴에 상응하여 지면에 배치된 원형 패턴의 실제 면적, m은 상기 식별 정보의 카메라 영상 데이터에서 검출되어 현재 산출된 호모그라피 행렬에 의해 변환된 탑뷰 영상 내의 원형 패턴의 해석 면적인 것을 특징으로 하는 AVM 시스템.
  4. 제1항에 있어서,
    상기 복수의 원형 패턴은 상기 차량이 이동하는 경로의 주변에 분산되도록 배치되는 것을 특징으로 하는 AVM 시스템.
  5. 제1항에 있어서,
    상기 공차 보정부는 각 카메라 영상 데이터에서 원형 패턴을 신속하게 검출하기 위하여, 기울기 벡터(Gradient vector)의 페어(pair)를 이용하여 CHT(Circle Hough Transform)의 후보군을 우선 검출한 후, 검출된 후보군을 대상으로 CHT를 이용하여 원형 패턴을 검출하는 것을 특징으로 하는 AVM 시스템.
  6. 제1항에 있어서,
    각 카메라에 상응하는 호모그라피 행렬 및 카메라 영상 데이터를 이용하여 각 카메라에 상응하는 탑뷰 영상을 생성하고, 생성된 각각의 탑뷰 영상을 상기 차량을 기준한 각 카메라의 설치 위치에 부합하도록 회전시킨 후, 상기 차량의 주변 전체에 대한 AVM 영상 데이터로 합성하는 영상 합성부를 더 포함하는 AVM 시스템.
  7. 제6항에 있어서,
    상기 영상 합성부는 동일한 시점(time)에서 복수의 탑뷰 영상에 공통된 원형 패턴이 존재하는 경우, 공통된 원형 패턴의 중심점과 크기를 일치시켜 상기 AVM 영상 데이터로 합성하는 것을 특징으로 하는 AVM 시스템.
  8. 차량에 설치된 카메라 공차를 보정하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
    (a) 상기 차량이 지면에 배치된 복수의 원형 패턴 사이를 통과하도록 상기 차량이 이동되는 동안, 상기 차량의 전방, 우측, 좌측 및 후방에 각각 설치된 복수의 카메라에 의해 생성된 카메라 영상 데이터들 각각에서 원형 패턴을 검출하는 단계;
    (b) 상기 검출된 원형 패턴의 외곽선을 추출하는 단계; 및
    (c) 추출된 외곽선과 지면에 배치된 원형 패턴 사이의 상관 관계를 이용하여 카메라 각각에 상응하는 카메라 영상 데이터와 탑뷰 영상간의 호모그라피 행렬을 산출하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.
  9. 제8항에 있어서,
    각 카메라에 대한 호모그라피 행렬이 미리 지정된 유효성 조건을 만족하는 카메라 영상 데이터들만을 이용하여 산출되도록 하기 위해, 상기 단계 (c)는,
    (c-1) 현재 산출된 호모그라피 행렬이 적용된 탑뷰 영상에서의 원형 패턴의 해석 면적과 지면에 배치된 원형 패턴의 실제 면적의 관계를 이용하도록 미리 규정된 에러값 산출 기법으로 각 카메라 영상 데이터에 대한 에러값을 산출하는 단계; 및
    (c-2) 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 있으면, 해당 카메라 영상 데이터가 제외하여 호모그라피 행렬을 다시 산출하고 상기 현재 산출된 호모그라피 행렬이 대체되도록 하는 단계를 포함하고,
    상기 단계 (c-1) 및 상기 단계 (c-2)는 산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않을 때까지 반복되며,
    산출된 에러값이 미리 지정된 임계값보다 큰 카메라 영상 데이터가 존재하지 않으면, 해당 시점의 현재 산출된 호모그라피 행렬이 상응하는 카메라에 대한 호모그라피 행렬로 결정되는 것을 특징으로 하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.
  10. 제9항에 있어서,
    상기 에러값은 수학식
    Figure pat00012
    에 의해 산출되되,
    상기 e는 에러값, 상기 p는 각 카메라 영상 데이터를 구분하는 식별 정보, 상기 n은 하나의 카메라 영상 데이터에서 검출된 원형 패턴의 총 갯수, k는 해당 식별 정보의 카메라 영상 데이터에서 검출된 각 원형 패턴의 구분자, M은 검출된 원형 패턴에 상응하여 지면에 배치된 원형 패턴의 실제 면적, m은 상기 식별 정보의 카메라 영상 데이터에서 검출되어 현재 산출된 호모그라피 행렬에 의해 변환된 탑뷰 영상 내의 원형 패턴의 해석 면적인 것을 특징으로 하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.
  11. 제8항에 있어서,
    각 카메라 영상 데이터에서 원형 패턴을 신속하게 검출하기 위하여, 상기 단계 (a)에서, 기울기 벡터(Gradient vector)의 페어(pair)를 이용하여 CHT(Circle Hough Transform)의 후보군을 우선 검출한 후, 검출된 후보군을 대상으로 CHT를 이용하여 원형 패턴이 검출되는 것을 특징으로 하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.
  12. 제8항에 있어서,
    각 카메라에 상응하는 호모그라피 행렬 및 카메라 영상 데이터를 이용하여 각 카메라에 상응하는 탑뷰 영상을 생성하는 단계; 및
    생성된 각각의 탑뷰 영상을 상기 차량을 기준한 각 카메라의 설치 위치에 부합하도록 회전시킨 후, 상기 차량의 주변 전체에 대한 AVM 영상 데이터로 합성하는 단계를 더 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.
  13. 제12항에 있어서,
    동일한 시점(time)에서 복수의 탑뷰 영상에 공통된 원형 패턴이 존재하면, 상기 AVM 영상 데이터는 공통된 원형 패턴의 중심점과 크기를 일치시켜 생성되는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램
KR1020180108989A 2018-09-12 2018-09-12 Avm 시스템 및 카메라 공차 보정 방법 KR102119388B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180108989A KR102119388B1 (ko) 2018-09-12 2018-09-12 Avm 시스템 및 카메라 공차 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180108989A KR102119388B1 (ko) 2018-09-12 2018-09-12 Avm 시스템 및 카메라 공차 보정 방법

Publications (2)

Publication Number Publication Date
KR20200030694A true KR20200030694A (ko) 2020-03-23
KR102119388B1 KR102119388B1 (ko) 2020-06-08

Family

ID=69998406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180108989A KR102119388B1 (ko) 2018-09-12 2018-09-12 Avm 시스템 및 카메라 공차 보정 방법

Country Status (1)

Country Link
KR (1) KR102119388B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230060888A (ko) * 2021-10-28 2023-05-08 재단법인대구경북과학기술원 의료 이미지 스티칭 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
JP2010103730A (ja) * 2008-10-23 2010-05-06 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2015201850A (ja) * 2014-04-08 2015-11-12 アイツーオースリーディー ホールディングス リミテッドｉ２ｏ３ｄ Ｈｏｌｄｉｎｇｓ Ｌｉｍｉｔｅｄ 撮像装置のパラメータ推定方法
KR20150144090A (ko) * 2014-06-16 2015-12-24 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 모니터링 시스템의 동작방법
KR20170001765A (ko) * 2015-06-25 2017-01-05 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
KR20170018644A (ko) * 2015-08-10 2017-02-20 (주)캠시스 Avm 시스템의 카메라 공차 보정 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2010103730A (ja) * 2008-10-23 2010-05-06 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
JP2015201850A (ja) * 2014-04-08 2015-11-12 アイツーオースリーディー ホールディングス リミテッドｉ２ｏ３ｄ Ｈｏｌｄｉｎｇｓ Ｌｉｍｉｔｅｄ 撮像装置のパラメータ推定方法
KR20150144090A (ko) * 2014-06-16 2015-12-24 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 모니터링 시스템의 동작방법
KR20170001765A (ko) * 2015-06-25 2017-01-05 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
KR20170018644A (ko) * 2015-08-10 2017-02-20 (주)캠시스 Avm 시스템의 카메라 공차 보정 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
미국특허공개 US2009/0010630호 (Camera system and method of correcting camera fitting errors)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230060888A (ko) * 2021-10-28 2023-05-08 재단법인대구경북과학기술원 의료 이미지 스티칭 방법 및 장치

Also Published As

Publication number Publication date
KR102119388B1 (ko) 2020-06-08

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN109211207B (zh) 一种基于机器视觉的螺钉识别与定位装置
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
EP1612731B1 (en) Computer modeling of physical scenes
EP2678824A1 (en) Determining model parameters based on transforming a model of an object
KR102089343B1 (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
TW201531960A (zh) 用於驗證產品的圖像分析
EP2756482B1 (en) Resolving homography decomposition ambiguity based on orientation sensors
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
Toriya et al. SAR2OPT: Image alignment between multi-modal images using generative adversarial networks
JP4521568B2 (ja) 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
CN112801870A (zh) 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
WO2019167238A1 (ja) 画像処理装置および画像処理方法
He et al. Linear approach for initial recovery of the exterior orientation parameters of randomly captured images by low-cost mobile mapping systems
KR102119388B1 (ko) Avm 시스템 및 카메라 공차 보정 방법
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
KR20200068045A (ko) 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
CN117589145A (zh) 一种基于远距二维码的地图创建方法及系统
Li et al. Feature point extraction and tracking based on a local adaptive threshold
CN116051876A (zh) 三维数字化模型的相机阵列目标识别方法及系统
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
King et al. Registration of multiple range scans as a location recognition problem: Hypothesis generation, refinement and verification
CN109658452A (zh) 一种轨距检测方法及装置
Banaeyan et al. A novel concept for smart camera image stitching

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant