KR20200000953A - 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법 - Google Patents

어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법 Download PDF

Info

Publication number
KR20200000953A
KR20200000953A KR1020180073290A KR20180073290A KR20200000953A KR 20200000953 A KR20200000953 A KR 20200000953A KR 1020180073290 A KR1020180073290 A KR 1020180073290A KR 20180073290 A KR20180073290 A KR 20180073290A KR 20200000953 A KR20200000953 A KR 20200000953A
Authority
KR
South Korea
Prior art keywords
image
top view
individual top
view image
predetermined
Prior art date
Application number
KR1020180073290A
Other languages
English (en)
Other versions
KR102089343B1 (ko
Inventor
한정수
조상현
Original Assignee
주식회사 수올리나
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 수올리나 filed Critical 주식회사 수올리나
Priority to KR1020180073290A priority Critical patent/KR102089343B1/ko
Publication of KR20200000953A publication Critical patent/KR20200000953A/ko
Application granted granted Critical
Publication of KR102089343B1 publication Critical patent/KR102089343B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법이 개시된다. 어라운드 뷰 모니터링 시스템은 차량의 전방, 우측면, 좌측면 및 후방 각각을 촬영하도록 장착된 복수의 카메라를 포함하는 카메라 유닛; 각 카메라에서 촬영된 촬영 영상에 상응하는 개별 탑뷰 영상에서 미리 지정된 기준에 따른 틀어짐이 존재하는지 여부를 판단하고, 틀어짐이 존재하면 촬영 영상을 개별 탑뷰 영상으로 변환하는 변환 규칙을 갱신하는 공차 보정 유닛; 및 상기 갱신된 변환 규칙과 상기 카메라 유닛에서 촬영된 복수의 촬영 영상을 이용하여 AVM 영상을 생성하는 영상 합성부를 포함한다.

Description

어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법{Around view monitoring system and calibration method for around view cameras}
본 발명은 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법에 관한 것이다.
일반적으로, 차량 내부에 탑승한 운전자는 주로 전방을 주시하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당 부분 가려지기 때문에, 운전자는 매우 한정된 시계를 가질 수 밖에 없다.
이러한 문제를 해결하기 위하여, 룸 미러, 사이드 미러 등의 시계 보조수단이 사용되고 있으며, 최근에는 차량의 외부 영상을 촬영하여 운전자에게 제공하는 카메라 수단을 포함하는 기술들이 차량에 적용되고 있는 추세이다.
그 중에서 차량에 복수의 카메라를 설치하여 차량 주변의 360ㅀ전방향의 영상을 보여주는 어라운드 뷰 모니터링(Around View Monitoring) 시스템(이하, AVM 시스템이라 칭함)이 있다.
AVM 시스템은 차량 각 위치에 구비된 카메라들에 의해 촬영된 차량 주변의 영상을 조합하여, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지 형식의 AVM 영상을 제공함으로써, 차량 주변 장애물을 표시하고 사각지대를 해소할 수 있는 장점이 있다.
AVM 시스템은 카메라 장착시 각 카메라의 공차를 보정하는 작업이 필수적이며, AVM 시스템이 설치된 차량은 AVM 영상의 생성을 위한 화면 정합성 기준에 맞도록 공차가 보정된 후 출고되고 있다.
그러나 차량이 출고된 후 차량의 운행 도중 공차가 누적되면 화면 정합성이 낮아지게 된다. 이 경우, 누적 공차의 보정을 위해 운전자는 차량을 가지고 서비스 센터나 사업소를 방문하여야 하는 불편함이 있었다.
한국등록특허 제10-0948886호(차량에 설치된 카메라의 공차 보정 장치 및 방법)
본 발명은 차량의 출고 후 AVM 카메라 장착 각도 변동되거나 타이어 공기압이 변화되는 등 다양한 이유로 누적 공차가 발생되었을 때에도 차량을 가지고 서비스 센터나 사업소를 방문할 필요없이 차량의 주행 중에 자동으로 공차 보정을 실시함으로써 고객 편의를 극대화되고, 공차 보정되지 않은 AVM 영상으로 인한 사고 발생 위험이 미연에 방지되는 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법을 제공하기 위한 것이다.
본 발명은 차량의 이동 중에 AVM 시스템용 카메라들에 대한 공차 보정이 이루어지기 때문에, 차량의 출고 이전에 각 카메라에 대한 공차 보정이 실시되지 않은 AVM 시스템뿐 아니라, 차량의 출고 이후에 공차 누적으로 인해 공차 보정이 요구되는 AVM 시스템에 범용적으로 활용될 수 있는 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 차량의 전방, 우측면, 좌측면 및 후방 각각을 촬영하도록 장착된 복수의 카메라를 포함하는 카메라 유닛; 각 카메라에서 촬영된 촬영 영상에 상응하는 개별 탑뷰 영상에서 미리 지정된 기준에 따른 틀어짐이 존재하는지 여부를 판단하고, 틀어짐이 존재하면 촬영 영상을 상응하는 개별 탑뷰 영상으로 변환하기 위한 변환 규칙을 갱신하는 공차 보정 유닛; 및 상기 갱신된 변환 규칙과 상기 카메라 유닛에서 생성된 복수의 촬영 영상을 이용하여 AVM 영상을 생성하는 영상 합성부를 포함하는 어라운드 뷰 모니터링 시스템이 제공된다.
상기 공차 보정 유닛은, 상기 카메라 유닛에서 제공되는 복수의 촬영 영상 각각을 미리 지정된 형식에 따른 주변 영상 및 개별 탑뷰 영상 중 하나 이상으로 변환하는 영상 변환부; 촬영 영상, 주변 영상 및 개별 탑뷰 영상 중 하나 이상인 대상 영상을 해석하여 적어도 차선을 포함하는 주변 사물을 인식하는 정보 인식부; 각각의 개별 탑뷰 영상을 대상으로 미리 지정된 틀어짐 검출 기법을 적용하여 각 개별 탑뷰 영상의 틀어짐 여부를 판단하는 틀어짐 검출부; 틀어짐이 존재하는 것으로 판단된 개별 탑뷰 영상에 대해 미리 지정된 복수의 영상 정합 기준점 각각의 위치를 미리 지정된 영역 범위 내에서 미리 지정된 픽셀 단위로 이동시키고, 미리 지정된 픽셀 단위로 이동된 위치들 각각을 기준으로 상기 틀어짐 검출부가 상기 틀어짐 검출 기법의 적용에 따라 산출한 산출값들 중 최소의 산출값을 가지는 영상 정합 기준점의 위치 정보를 검출하는 영상 보정부; 및 상기 검출된 영상 정합 기준점의 위치 정보에 상응하도록 상기 변환 규칙을 갱신하는 변환 규칙 갱신부를 포함할 수 있다.
상기 미리 지정된 틀어짐 검출 기법은 수학식
Figure pat00001
을 이용하여 각 개별 탑뷰 영상의 틀어짐 추정값(G)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단할 수 있다. 여기서,
Figure pat00002
이고, VF는 전방의 개별 탑뷰 영상이며, VR은 우측의 개별 탑뷰 영상이며, VL은 좌측의 개별 탑뷰 영상이고, VB는 후방의 개별 탑뷰 영상이고, μα는 어느 하나의 개별 탑뷰 영상인 α 영상에서의 평균 차선 각도(Radian)일 수 있다.
상기 미리 지정된 틀어짐 검출 기법은 수학식
Figure pat00003
을 이용하여 AVM 영상을 생성하기 위해 각 개별 탑뷰 영상이 겹쳐지는 블렌딩 영역 각각에서의 픽셀값 전체 차이(D)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단할 수 있다. 여기서, λ1과 λ2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, B는 블렌딩 영역의 좌표 범위이고, β는 블렌딩 영역의 좌표 범위 중 어느 한 위치이며, pβ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이고, qβ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이며, δ는 블렌딩 영역의 좌표 범위 중에서 상기 정보 인식부에서 인식한 주변 사물 중 미리 지정된 임계값 이상의 높이를 가지는 주변 물체가 지면과 맞닿는 위치이며, pδ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값이고, qδ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값일 수 있다.
상기 미리 지정된 틀어짐 검출 기법은 수학식
Figure pat00004
,
Figure pat00005
및
Figure pat00006
을 이용하여 개별 탑뷰 영상의 틀어짐 정도(T)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단할 수 있다.
여기서, ω1과 ω2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, G는 각 개별 탑뷰 영상의 틀어짐 추정값이며,
Figure pat00007
이고, VF는 전방의 개별 탑뷰 영상이며, VR은 우측의 개별 탑뷰 영상이며, VL은 좌측의 개별 탑뷰 영상이고, VB는 후방의 개별 탑뷰 영상이고, μα는 어느 하나의 개별 탑뷰 영상인 α 영상에서의 평균 차선 각도(Radian)이며, D는 AVM 영상을 생성하기 위해 각 개별 탑뷰 영상이 겹쳐지는 블렌딩 영역 각각에서의 픽셀값 전체 차이이고, λ1과 λ2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, B는 블렌딩 영역의 좌표 범위이고, β는 블렌딩 영역의 좌표 범위 중 어느 한 위치이며, pβ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이고, qβ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이며, δ는 블렌딩 영역의 좌표 범위 중에서 상기 정보 인식부에서 인식한 주변 사물 중 미리 지정된 임계값 이상의 높이를 가지는 주변 물체가 지면과 맞닿는 위치이며, pδ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값이고, qδ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값일 수 있다.
상기 정보 인식부는 차량의 진행 방향 및 허프(Hough) 성분 벡터를 특징 벡터로 구성하여 미리 지정된 분류기(Classifier)를 이용하여 분류함으로써 상기 차선을 인식할 수 있다.
상기 정보 인식부는 상기 대상 영상에서 신호등, 보행자, 도로 바닥의 표시 정보, 주변 차량 중 하나 이상인 주변 사물을 더 인식하고, 인식된 주변 사물의 위치 정보는 복수의 개별 탑뷰 영상을 이용하여 상기 AVM 영상을 생성하기 위한 기준 정보로 이용될 수 있다.
상기 정보 인식부는 미리 지정된 기계 학습 기법을 적용하여 주변 사물들 중 미리 지정된 기준을 만족하도록 신뢰도(confidence)가 평가된 주변 사물만을 인식 대상으로 한정할 수 있다.
상기 영상 보정부는, 차선의 각도와 블렌딩 영역에서의 픽셀값 차이가 최소가 되는 개별 탑뷰 영상 내의 대응점의 위치를 찾는 비용 함수 및 미리 지정된 최적화 기법 중 하나 이상을 적용하여 영상 정합 기준점을 이동시킬 수 있다.
본 발명의 다른 측면에 따르면, 카메라 공차를 보정하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 카메라 유닛에 포함된 복수의 카메라에 의해 각각 생성된 촬영 영상을 미리 지정된 형식에 따른 주변 영상 및 개별 탑뷰 영상 중 하나 이상으로 변환하는 단계; 촬영 영상, 주변 영상 및 개별 탑뷰 영상 중 하나 이상인 대상 영상을 해석하여 적어도 차선을 포함하는 주변 사물을 인식하는 단계; 각각의 개별 탑뷰 영상을 대상으로 미리 지정된 틀어짐 검출 기법을 적용하여 각 개별 탑뷰 영상의 틀어짐 여부를 판단하는 단계; 틀어짐이 존재하는 것으로 판단된 개별 탑뷰 영상에 대해 미리 지정된 복수의 영상 정합 기준점 각각의 위치를 미리 지정된 영역 범위 내에서 미리 지정된 픽셀 단위로 이동시키고, 미리 지정된 픽셀 단위로 이동된 위치들 각각을 기준으로 상기 틀어짐 검출 기법의 적용에 따라 산출된 산출값들 중 최소의 산출값을 가지는 영상 정합 기준점의 위치 정보를 검출하는 단계; 및 상기 검출된 영상 정합 기준점의 위치 정보에 상응하도록, 복수의 촬영 영상을 이용하여 AVM 영상을 생성하기 위한 변환 규칙을 갱신하는 단계를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다.
상기 틀어짐 검출 기법은 수학식
Figure pat00008
,
Figure pat00009
,
Figure pat00010
을 이용하여 개별 탑뷰 영상의 틀어짐 정도(T)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단할 수 있다.
여기서, ω1과 ω2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, G는 각 개별 탑뷰 영상의 틀어짐 추정값이며,
Figure pat00011
이고, VF는 전방의 개별 탑뷰 영상이며, VR은 우측의 개별 탑뷰 영상이며, VL은 좌측의 개별 탑뷰 영상이고, VB는 후방의 개별 탑뷰 영상이고, μα는 어느 하나의 개별 탑뷰 영상인 α 영상에서의 평균 차선 각도(Radian)이며, D는 AVM 영상을 생성하기 위해 각 개별 탑뷰 영상이 겹쳐지는 블렌딩 영역 각각에서의 픽셀값 전체 차이이고, λ1과 λ2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, B는 블렌딩 영역의 좌표 범위이고, β는 블렌딩 영역의 좌표 범위 중 어느 한 위치이며, pβ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이고, qβ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이며, δ는 블렌딩 영역의 좌표 범위 중에서 상기 인식된 주변 사물 중 미리 지정된 임계값 이상의 높이를 가지는 주변 물체가 지면과 맞닿는 위치이며, pδ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값이고, qδ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 차량의 출고 후 AVM 카메라 장착 각도 변동되거나 타이어 공기압이 변화되는 등 다양한 이유로 누적 공차가 발생되었을 때에도 차량을 가지고 서비스 센터나 사업소를 방문할 필요없이 차량의 주행 중에 자동으로 공차 보정을 실시함으로써 고객 편의를 극대화되고, 공차 보정되지 않은 AVM 영상으로 인한 사고 발생 위험이 미연에 방지되는 효과가 있다.
또한 차량의 이동 중에 AVM 시스템용 카메라들에 대한 공차 보정이 이루어지기 때문에, 차량의 출고 이전에 각 카메라에 대한 공차 보정이 실시되지 않은 AVM 시스템뿐 아니라, 차량의 출고 이후에 공차 누적으로 인해 공차 보정이 요구되는 AVM 시스템에 범용적으로 활용될 수 있는 효과도 있다.
도 1은 종래기술에 따른 공차 보정 방법을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도.
도 3 내지 도 8은 본 발명의 일 실시예에 따른 AVM 시스템의 공차 보정 동작을 설명하기 위한 도면.
도 9는 본 발명의 일 실시예에 따른 AVM 시스템의 카메라 공차 보정 방법을 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 종래기술에 따른 공차 보정 방법을 설명하기 위한 도면이다.
도 1에 예시된 바와 같이, 차량의 전면, 우측면, 좌측면 및 후면의 위치 각각에 카메라(10, 20, 30, 40)가 장착되고, 차량은 공차 보정을 위해 보정판(50)이 설치된 장소의 미리 지정된 위치에 배치된다.
보정판(50)은 차량의 전방 좌측 모서리, 전방 우측 모서리, 후방 좌측 모서리 및 후방 우측 모서리에 차량의 각 바퀴 축 선상에서 일정 거리 이격되도록 각각 배치될 수 있다.
보정판(50)은 특징점의 추출 오류를 방지하기 위해 격자 모양의 무늬로 이루어질 수 있으며, 격자 모양의 무늬는 색상 대비가 강한 색들의 조합으로 이루어진다.
공차 보정을 위해 각 카메라(10, 20, 30, 40)에서 생성된 촬영 영상에서 보정판(50) 내 특징점의 좌표 정보가 추출되고, 해당 좌표 정보는 각 특징점에 대응되는 표준 좌표 정보와 비교되어 변환 행렬이 산출된다. 이때, 예를 들어 보정 알고리즘, 어파인(Affine) 변환 알고리즘, 호모그래피(Homography) 변환 알고리즘, 시점 변환 알고리즘 등을 적용하여 룩업 테이블도 생성될 수 있다.
이와 같이 생성된 변환 규칙(즉, 변환 행렬 및/또는 룩업 테이블)은 저장부에 저장되어 AVM 영상을 생성하기 위해 이용된다.
그러나 전술한 방법으로 차량의 출고 이전에, 또는 서비스 센터 등에서 생성된 변환 규칙은 차량의 운행 과정에서 카메라 장착 각도의 변동 등 누적 공차가 발생될 수 있고, 이 경우 서비스 센터나 사업소를 다시 방문하여 공차 보정을 재차 실시하여야 하는 불편함이 있다.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도이고, 도 3 내지 도 8은 본 발명의 일 실시예에 따른 AVM 시스템의 공차 보정 동작을 설명하기 위한 도면이다.
도 2를 참조하면, AVM 시스템은 카메라 유닛(210), 공차 보정 유닛(220), 영상 합성부(230) 및 출력부(240)를 포함할 수 있다.
카메라 유닛(200)에는 4개 이상의 AVM 시스템용 카메라가 포함될 수 있다. 카메라들은 차량의 전방, 후방, 좌측 및 우측 등의 미리 지정된 위치에 각각 설치될 수 있다. 카메라들은 예를 들어 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 카메라일 수 있다. 이외에, 카메라 유닛(200)은 차량의 전방, 후방 등의 미리 지정된 위치에 각각 설치되어 원거리의 영상을 촬영하는 협각 카메라를 더 포함할 수도 있다.
각 카메라는 지정된 화각 및 설치 각도에 상응하여 3차원의 피사체를 촬영하여 2차원의 촬영 영상(도 3의 (a) 참조)을 생성하고, 생성된 촬영 영상은 공차 보정 유닛(220) 및/또는 영상 합성부(230)로 제공된다. 각 카메라에 의해 생성된 촬영 영상은 저장부(도시되지 않음)에 저장되어, 공차 보정 유닛(220) 등이 저장부에 접근하여 촬영 영상을 이용하도록 구성될 수도 있다.
공차 보정 유닛(220)은 복수의 촬영 영상을 합성하여 화면 정합성 기준에 부합하는 AVM 영상(도 3의 (d) 참조)이 생성될 수 있도록 하기 위해, 카메라 유닛(200)에 포함된 카메라들에서 각각 생성한 촬영 영상에 상응하도록 생성한 개별 탑뷰 영상(차량 우측을 촬영한 촬영 영상에 상응하는 개별 탑뷰 영상인 도 3의 (c) 참조)의 틀어짐 여부를 해석하여 각각의 개별 탑뷰 영상들이 화면 정합성 기준에 부합하는 AVM 영상으로 합성되도록 각 카메라에 상응하는 변환 규칙을 생성한다.
여기서, 변환 규칙은 각 촬영 영상을 탑뷰 시점의 영상인 개별 탑뷰 영상으로 변환하기 위한 변환 행렬 및/또는 각 카메라의 왜곡 보정 알고리즘과 변환 행렬을 기초로 각 촬영 영상을 개별 탑뷰 영상으로 변환하도록 생성된 룩업 테이블(LUT) 등일 수 있다.
공차 보정 유닛(220)에서 생성한 변환 규칙은 저장부(도시되지 않음)에 저장되어 영상 합성부(230)가 카메라 유닛(200)에서 제공된 복수의 촬영 영상을 합성(예를 들어, 오버레이 방식 등)하여 차량 주변에 대한 탑뷰 시점의 AVM 영상을 생성하기 위해 이용될 수 있다. 영상 합성부(230)에 의해 생성된 AVM 영상은 예를 들어 디스플레이 장치 등인 출력부(230)를 통해 출력될 수 있다.
구체적으로, 공차 보정 유닛(220)은 영상 변환부(221), 정보 인식부(223), 틀어짐 검출부(225), 영상 보정부(227) 및 변환 규칙 갱신부(229)를 포함할 수 있다.
영상 변환부(221)는 카메라 유닛(210)의 각 카메라에서 제공되는 촬영 영상(도 3의 (a) 참조)에 상응하는 탑뷰 시점의 개별 탑뷰 영상(도 3의 (c) 참조)을 각각 생성한다. 영상 변환부(221)는 광각 렌즈 등을 이용하여 촬영된 촬영 영상을 모서리 영역의 왜곡이 보정되어 통상의 표준 렌즈에서 촬영된 영상의 형태를 가지는 주변 영상(도 3의 (b) 참조)으로 더 변환할 수도 있다.
정보 인식부(223)는 촬영 영상, 주변 영상 및 개별 탑뷰 영상 중 하나 이상인 대상 영상을 해석하여 촬영된 주변 사물을 인식한다. 정보 인식부(223)에 의해 인식되는 주변 사물은 예를 들어 소실점(vanishing point), 도로, 차선, 신호등, 도로 바닥의 표시 정보(예를 들어, 횡단보도, 주차선 등), 보행자, 주변 차량 등 중 하나 이상일 수 있다.
정보 인식부(223)는 카메라에 상응하는 각 대상 영상에서 주변 사물을 인식하기 위해 미리 지정된 인식 기법(예를 들어 허프 변환(Hough Transform), 푸리에 변환(Fourier Transform), 교차율(cross ratio)을 이용한 방법, 색상 정보를 이용하는 방법 등 중 하나 이상)을 이용할 수 있다.
정보 인식부(223)는 예를 들어, 대상 영상에서 차선, 차량 주위의 보도 블록 등을 활용하여 평행한 직선이 만나는 점인 소실점을 인식할 수 있다.
도 4에 예시된 바와 같이, 원근 시점(perspective view)에서 모든 평행한 직선은 하나의 점에서 만나게 되므로, 정보 인식부(223)는 촬영 영상 또는/및 주변 영상인 원근 시점 영상에 존재하는 직선 요소들을 추출하여 예를 들어 RANSAC(RANdom SAample Consensus) 알고리즘, Mean Square Error(MSE) 방법 등을 이용하여 가장 많은 직선이 교차하는 점인 소실점을 검출할 수 있다.
또한, 정보 인식부(223)는 소실점을 검출한 후, 예를 들어 차량의 진행 방향, Hough 성분 벡터 등을 특징 벡터로 구성하여 SVM(Support Vector Machine)과 같은 분류기(Classifier)를 이용해 분류함으로써 기존의 단순 도로상의 직선 성분 만을 이용해서 차선을 인식하는 방식에 비해 좀 더 정확하게 차선을 인식하도록 설정될 수 있다.
정보 인식부(223)는 예를 들어 영역별 이진화 방법, x축 히스토그램을 이용한 방법, Morphology Dilation 연산, 횡단보도에 대한 특징 벡터와 SVM 기계 학습 등을 이용하여 횡단 보도를 검출하도록 설정될 수도 있다. 또한 영상 내에 포함된 물체에 대한 외곽선 추출, 색상 분석 등의 방식으로 주변 사물을 인식할 수도 있다.
횡단보도, 주차선, 바닥면에 표시된 다양한 기호, 보행자 등과 같은 주변 사물을 인식함에 있어 정확성을 향상시키기 위해, 정보 인식부(223)에는 미리 지정된 기계 학습 기법(예를 들어 아다부스트(Adaboost), SVM(Support Vector Machine) 등의 섈로 러닝(Shallow Learning) 기법, CNN(Convolution Neural Network) 등의 딥 러닝(Deep Learning) 기법 등)이 적용될 수 있다.
차선 이외의 주변 사물에 대해서는 기계 학습 기법을 이용하여 인식된 주변 사물들 중 미리 지정된 기준에 따라 신뢰도(confidence)가 높게 평가된 주변 사물만을 인식 대상으로 선택하도록 미리 설정될 수도 있을 것이다.
정보 인식부(223)에 의해 인식된 보행자, 횡단보도 등의 주변 사물의 위치 정보는 각각의 개별 탑뷰 영상을 AVM 영상으로 정합할 때 기준 정보로 이용될 수도 있다.
틀어짐 검출부(225)는 카메라 유닛(210)에 포함된 각 카메라에 상응하는 개별 탑뷰 영상에 포함된 주변 사물(예를 들어, 차선 등)이 틀어진 형태로 존재하는지 여부를 판단한다. 개별 탑뷰 영상에서 틀어진 형태로 주변 사물이 존재하는 경우는 예를 들어 카메라 장착 각도가 변동되거나 타이어 공기압이 변동되는 등 다양한 원인으로 발생될 수 있다.
도 5에는 카메라 유닛(210)의 각 카메라에 상응하는 개별 탑뷰 영상(510, 512, 514, 516)이 예시되어 있다. 각 개별 탑뷰 영상(510, 512, 514, 516)을 참조할 때, 전방의 개별 탑뷰 영상(510)에서 보이는 차선의 형상이 다른 개별 탑뷰 영상(512, 514, 516)에서 보이는 차선의 형상과 일관성을 가지 못하는 것을 확인할 수 있다. 이 경우, 전방의 개별 탑뷰 영상(510)이 틀어진 것으로 판단할 수 있는 것이다.
틀어짐 검출부(225)는 개별 탑뷰 영상의 틀어짐 정도는 예를 들어 개별 탑뷰 영상에서 인식된 차선의 각도 편차, AVM 영상을 생성하기 위해 각 개별 탑뷰 영상들이 겹쳐지는 블렌딩(blending) 영역의 픽셀값 전체 차이 등 중 하나 이상을 이용하여 인식될 수 있다.
제1 기법으로, VF(전방), VR(우측), VL(좌측) 및 VB(후방)인 각 개별 탑뷰 영상에서 추출된 차선의 평균 각도를 μα라고 하면, 틀어짐 검출부(225)는 각 개별 탑뷰 영상의 틀어짐 추정값(G)을 하기 수학식 1에 의해 산출할 수 있다.
Figure pat00012
여기서,
Figure pat00013
이고, μα는 어느 하나의 개별 탑뷰 영상인 α 영상에서의 평균 차선 각도(Radian)이다.
수학식 1에 의해, 개별 탑뷰 영상에서 인식된 차선의 각도와 90도(π/2) 사이의 편차의 합이 연산된다. 이때, 정보 인식부(223)가 미리 지정된 임계값 이상의 신뢰도(confidence)를 가지는 것으로 판단한 차선들만이 연산 대상으로 선택될 수 있다.
따라서, 개별 탑뷰 영상에서 여러 방향으로 분산된 차선이 여러 개 존재하는 경우에는 현재 차량의 진행 방향과 미리 지정된 기준에 따라 유사한 방향의 차선만이 선택되어 해당 개별 탑뷰 영상에서의 평균 차선 각도가 산출될 수 있고, 이를 이용하여 개별 탑뷰 영상의 틀어짐 추정값이 산출될 수 있다.
제2 기법으로, 틀어짐 검출부(225)는 AVM 영상을 생성하기 위해 각 개별 탑뷰 영상이 겹쳐지는 블렌딩 영역(도 6의 610 내지 640 참조) 각각에서의 픽셀값 전체 차이(D)를 연산하는 하기 수학식 2에 의해 각 개별 탑뷰 영상의 틀어짐 정도를 산출할 수도 있다. 여기서, 픽셀값은 예를 들어 픽셀의 밝기값일 수 있다.
Figure pat00014
여기서, λ1과 λ2는 가중치 팩터(factor)로서, λ1과 λ2의 합산값이 1을 만족하도록 각각 설정될 수 있다. B는 블렌딩 영역의 좌표 범위이고, β는 블렌딩 영역의 좌표 범위 중 어느 한 위치이며, pβ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이고, qβ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값일 수 있다. 또한, δ는 블렌딩 영역의 좌표 범위 중에서 정보 인식부(223)에서 인식한 주변 사물 중 미리 지정된 임계값 이상의 높이를 가지는 주변 물체(예를 들어, 보행자, 주변 차량 등)가 지면과 맞닿는 위치이며, pδ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값이고, qδ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값일 수 있다.
가중치 팩터 λ1은 블렌딩 영역에 속하는 각 픽셀의 픽셀값 차이들의 합산값에 적용되는 가중치 팩터이고, 가중치 팩터λ2는 블렌딩 영역에 속하는 픽셀들 중 임계값 이상의 높이를 가지는 주변 물체의 지면과 맞닿는 위치의 픽셀들의 픽셀값 차이들의 합산값에 적용되는 가중치 팩터이다.
따라서, 가중치 팩터인 λ2가 최소값 0부터 최대값 1의 범위 내에서 상대적으로 큰 값으로 설정될수록 정보 인식부(223)에 의해 인식된 주변 사물들 중 높이가 있는 물체(보행자, 차량 등)가 보다 중시되어 개별 탑뷰 영상의 틀어짐 정도가 산출될 수 있게 된다. 전술한 바와 같이, 주변 사물의 위치 정보가 AVM 영상을 생성할 때 기준 위치로 이용될 수 있음을 감안할 때 가중치 팩터인 λ2의 크기 설정은 특정한 의미를 가지게 될 수도 있을 것이다. 물론, 필요에 따라서는 λ1과 λ2 중 어느 하나가 0(zero)로 선정될 수도 있을 것이다.
λ1과 λ2은 예를 들어 각각 0.5로 설정될 수도 있으나, 반복된 테스트를 통해 실험적, 통계적인 최적값으로 선정될 수 있으며, 테스트 결과 데이터가 축적된 이후에는 미리 지정된 최적화 알고리즘을 이용하여 주변 환경에 적응적인 최적값으로 각각 선정될 수도 있다.
틀어짐 검출부(225)는 전술한 제1 기법에 의해 산출된 틀어짐 추정값(G) 및 제2 기법에 의해 산출된 블렌딩 영역 각각의 픽셀값 전체 차이(D) 중 어느 하나를 이용하여 개별 탑뷰 영상의 틀어짐 정도(T)를 산출할 수도 있으나, 하기 수학식 3과 같이 제1 기법과 제2 기법의 결과값을 가중 연산하는 제3 기법을 이용하여 개별 탑뷰 영상의 틀어짐 정도(T)를 산출할 수도 있다.
Figure pat00015
여기서, ω1과 ω2는 가중치 팩터(factor)로서, ω1과 ω2의 합산값이 1을 만족하도록 각각 설정된다.
ω1이 ω2에 비해 상대적으로 크게 설정되는 경우 전술한 수학식 1에서 산출된 개별 탑뷰 영상 내의 틀어짐 추정값(G)을 중시하여 개별 탑뷰 영상의 틀어짐 정도(T)가 산출되고, ω2가 ω1에 비해 상대적으로 크게 설정되는 경우 전술한 수학식 2에서 산출된 블렌딩 영역을 형성하는 서로 다른 개별 탑뷰 영상들간의 차선의 틀어짐 차이가 중시된 개별 탑뷰 영상의 틀어짐 정도(T)가 산출된다.
물론, 제1 기법 또는 제2 기법의 결과만을 적용하여 개별 탑뷰 영상의 틀어짐 정도(T)를 산출하고자 하는 경우, ω1과 ω2 중 어느 하나는 0(zero)로 선정될 수도 있을 것이다.
ω1과 ω2은 예를 들어 각각 0.5로 설정될 수도 있으나, 반복된 테스트를 통해 실험적, 통계적인 최적값으로 선정될 수 있으며, 테스트 결과 데이터가 축적된 이후에는 미리 지정된 최적화 알고리즘을 이용하여 주변 환경에 적응적인 최적값으로 각각 선정될 수도 있다.
영상 보정부(227)는 틀어짐 검출부(225)에 의해 미리 지정된 기준값을 초과하는 틀어짐 정도를 가지는 개별 탑뷰 영상에 대해 영상 보정 작업을 실시한다.
영상 보정 작업은 도 7 및 도 8에 예시된 바와 같이, AVM 영상을 생성하도록 미리 저장된 4개의 영상 정합 기준점(710) 각각의 위치를 해당 위치로부터 각각 미리 지정된 픽셀 단위(예를 들어 1픽셀)로 상, 하, 좌 또는 우의 방향으로 옮기고, 해당 시점에서의 영상 정합 기준점(710)의 위치 정보와 틀어짐 검출부(225)에 의해 연산된 각 개별 탑뷰 영상에 대한 산출값을 저장한다.
산출값은 예를 들어 제1 기법에 의해 개별 탑뷰 영상에서 추출된 차선의 평균 각도를 이용하여 산출된 개별 탑뷰 영상의 틀어짐 추정값(G)이거나, 제2 기법에 의해 AVM 영상을 생성하기 위해 중첩된 복수의 개별 탑뷰 영상의 블렌딩 영역 각각에서의 픽셀값 전체 차이(D)이거나, 또는 제3 기법에 의해 이들을 가중 합산한 틀어짐 정도(T)일 수 있다.
영상 보정부(227)는 미리 지정된 영역 범위 내에서 개별 탑뷰 영상 내의 영상 정합 기준점(710)의 위치를 각각 변경하면서 산출한 각각의 산출값 중 최소의 크기를 가지는 산출값을 검출하고, 이에 상응하도록 저장된 4개의 영상 정합 기준점(710) 각각의 위치 정보를 검출한다.
각각의 영상 정합 기준점(710)을 이동시킬 때, 예를 들어 RANSAC, Gradient Descendent 방법 등의 미리 지정된 최적화 방법이 이용될 수도 있다.
또한 영상 보정부(227)는 영상 정합 기준점(710)이 이동될 최적의 위치를 결정하기 위해, 차선의 각도 차이 및/또는 블랜딩 영역에서의 픽셀값 차이가 최소화되는 개별 탑뷰 영상 내의 대응점의 위치를 찾는 비용 함수(cost function)을 더 이용할 수도 있다.
이러한 과정으로 검출된 영상 정합 기준점(710)은 카메라 유닛(210)의 각 카메라에 상응하는 개별 탑뷰 영상을 이용하여 AVM 영상을 생성할 때 가장 화면 정합도가 높은 AVM 영상을 생성할 수 있도록 하는 기준 정보로 이용될 수 있으며, 새로운 영상 정합 기준점(710)으로 갱신 저장될 수 있다. 물론, 각각의 개별 탑뷰 영상을 이용하여 AVM 영상을 생성할 때 정보 인식부(223)에 의해 인식된 주변 사물의 위치 정보가 영상 정합을 위한 기준 정보로 더 이용될 수도 있다.
다시 도 2를 참조하면, 영상 보정부(227)에 의해 영상 정합 기준점(710)의 위치가 결정되면, 변환 규칙 갱신부(229)는 이에 상응하도록 카메라 유닛(210)의 각 카메라에 대한 변환 규칙을 생성한다. 생성된 변환 규칙은 저장부(도시되지 않음)에 저장될 수 있다.
변환 규칙은 각 촬영 영상을 탑뷰 시점의 영상으로 변환하기 위한 변환 행렬 및/또는 각 카메라의 왜곡 보정 알고리즘과 변환 행렬을 기초로 각 촬영 영상을 탑뷰 시점 영상으로 변환하도록 생성된 룩업 테이블(LUT) 등일 수 있다.
카메라에서 촬영된 촬영 영상을 탑뷰 시점의 영상으로 변환하는 변환 규칙을 생성하는 방법은 당업자에게 자명한 사항이므로 이에 대한 구체적인 설명은 생략한다.
영상 합성부(230)는 카메라 유닛(210)에서 제공되는 촬영 영상과 미리 저장된 변환 규칙을 이용하여 차량 주변에 대한 공차 보정된 탑뷰 시점의 AVM 영상을 생성하고, 출력부(240)를 통해 출력한다.
전술한 바와 같이, 본 실시예에 따른 AVM 시스템은 각 카메라에서 촬영된 촬영 영상(도 3의 (a) 참조), 촬영 영상을 이용하여 생성한 주변 영상(도 3의 (b) 참조) 또는 개별 탑뷰 영상(도 3의 (c) 참조)인 대상 영상에서 소실점, 차선, 횡단보도 등 주변 사물을 인식하고, 인식된 주변 사물을 참조하여 개별 탑뷰 영상의 틀어짐 여부를 판단한다.
만일 개별 탑뷰 영상에서 틀어짐이 존재하는 경우 틀어짐이 개선되도록 개별 탑뷰 영상을 보정하고, 이에 상응하는 변환 규칙을 생성하여 정합성 기준을 만족하는 AVM 영상을 생성하여 출력할 수 있도록 하는 특징이 있다.
따라서, 차량의 출고 후 누적 공차가 발생되었거나 차량의 출고 이전에 공차 보정이 실시되지 않은 경우에도, 차량의 주행 중에 자동으로 공차 보정이 실시됨으로써 고객 편의가 극대화되고, 공차 보정되지 않은 AVM 영상으로 인한 사고 발생 위험이 미연에 방지되는 장점이 있다.
도 9는 본 발명의 일 실시예에 따른 AVM 시스템의 카메라 공차 보정 방법을 나타낸 순서도이다.
도 9를 참조하면, 단계 910에서 AVM 시스템은 원근 시점의 영상을 이용하여 주변 사물(예를 들어, 차선, 횡단보도, 보행자 등)을 인식한다. 원근 시점의 영상은 카메라 유닛(210)의 각 카메라에서 촬영된 각각의 촬영 영상이거나, 통상의 표준 렌즈에서 촬영된 영상의 형태를 가지도록 각 촬영 영상의 모서리 영역 왜곡이 보정되어 생성된 각 주변 영상일 수 있다.
AVM 시스템은 차선을 인식하기 위해, 예를 들어, 원근 시점의 영상에서 직선 요소들을 검출하고, RANSAC 알고리즘, MSE 방법 등을 이용하여 가장 많은 직선이 교차하는 점인 소실점을 검출할 수도 있고, 특징 벡터(예를 들어 차량의 진행 방향, Hough 성분 벡터 등)와 분류기를 이용할 수도 있다. 또한, 주변 사물의 인식을 위해 영역별 이진화 방법, 외곽선 검출 및 색상 분석 등의 방식을 이용할 수 있고, 신뢰도 높은 주변 사물의 검출을 위해 기계 학습 기법이 적용될 수도 있다.
단계 920에서, AVM 시스템은 검출된 주변 사물(예를 들어 차선)이 각 카메라에 대응되는 개별 탑뷰 영상에서 틀어짐 판단을 위한 산출값을 산출한다.
앞서 설명한 바와 같이, 개별 탑뷰 영상이 틀어짐 판단을 위한 산출값은 예를 들어 제1 기법에 의해 개별 탑뷰 영상에서 추출된 차선의 평균 각도를 이용하여 산출된 개별 탑뷰 영상의 틀어짐 추정값(G)이거나, 제2 기법에 의해 AVM 영상을 생성하기 위해 중첩된 복수의 개별 탑뷰 영상의 블렌딩 영역 각각에서의 픽셀값 전체 차이(D)이거나, 또는 제3 기법에 의해 이들을 가중 합산하여 산출한 틀어짐 정도(T)일 수 있다.
단계 930에서, AVM 시스템은 틀어짐이 존재하는 개별 탑뷰 영상이 존재하는지 여부를 판단한다. AVM 시스템은 예를 들어 산출된 산출값이 미리 지정된 기준값을 초과하는 경우 해당 개별 탑뷰 영상이 틀어진 것으로 판단할 수 있다.
만일 틀어짐이 존재하는 개별 탑뷰 영상이 존재하지 않으면, AVM 시스템은 단계 950으로 진행하여 카메라 유닛(210)에서 제공된 촬영 영상과 미리 저장된 변환 규칙을 이용하여 차량 주변에 대한 탑뷰 시점의 AVM 영상을 생성하고, 출력부를 통해 출력한다.
그러나 만일 틀어짐이 존재하는 것으로 판단된 개별 탑뷰 영상이 존재하면, 단계 940에서 AVM 시스템은 산출값이 최소화되도록 개별 탑뷰 영상을 보정하고, 이에 상응하도록 변환 규칙을 갱신한다.
개별 탑뷰 영상을 보정하고 상응하는 변환 규칙으로 갱신하기 위해, AVM 시스템은 예를 들어 AVM 영상을 생성하도록 미리 저장된 4개의 영상 정합 기준점 각각의 위치를 해당 위치로부터 미리 지정된 픽셀 간격만큼(예를 들어 1픽셀 간격) 상, 하, 좌 또는 우의 방향으로 옮기고, 해당 시점에서의 영상 정합 기준점의 위치 정보와 틀어짐 검출부에 의해 연산된 각 개별 탑뷰 영상에 대한 산출값을 저장한다. 이러한 처리는 개별 탑뷰 영상 내의 미리 지정된 영역 범위 내에서 영상 정합 기준점의 위치를 각각 변경하면서 반복된다.
이어서, AVM 시스템은 산출된 산출값들 중 최소의 크기를 가지는 산출값을 검출하고, 이에 상응하도록 저장된 4개의 영상 정합 기준점 각각의 위치 정보를 검출하며, 검출된 4개의 영상 정합 기준점 각각의 위치 정보를 참조하여 갱신된 변환 규칙을 생성한다.
단계 950에서, AVM 시스템은 카메라 유닛(210)에서 제공된 촬영 영상과 갱신 저장된 변환 규칙을 이용하여 차량 주변에 대한 공차 보정된 탑뷰 시점의 AVM 영상을 생성하고, 출력부를 통해 출력한다.
상술한 공차 보정 방법은 시계열적 순서에 따라 자동화된 절차를 수행하도록 하는 컴퓨터 프로그램으로 구현될 수 있고, 구현된 프로그램이 컴퓨터 장치에 내장되거나 설치되어 구동될 수 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있을 것이다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10, 20, 30, 40 : 카메라 50 : 보정판
210 : 카메라 유닛 220 : 공차 보정 유닛
221 : 영상 변환부 223 : 정보 인식부
225 : 틀어짐 검출부 227 : 영상 보정부
229 : 변환 규칙 갱신부 510, 512, 514, 516 : 개별 탑뷰 영상
610, 620, 630, 640 : 블렌딩 영역
710 : 영상 정합 기준점

Claims (11)

  1. 차량의 전방, 우측면, 좌측면 및 후방 각각을 촬영하도록 장착된 복수의 카메라를 포함하는 카메라 유닛;
    각 카메라에서 촬영된 촬영 영상에 상응하는 개별 탑뷰 영상에서 미리 지정된 기준에 따른 틀어짐이 존재하는지 여부를 판단하고, 틀어짐이 존재하면 촬영 영상을 상응하는 개별 탑뷰 영상으로 변환하기 위한 변환 규칙을 갱신하는 공차 보정 유닛; 및
    상기 갱신된 변환 규칙과 상기 카메라 유닛에서 생성된 복수의 촬영 영상을 이용하여 AVM 영상을 생성하는 영상 합성부를 포함하는 어라운드 뷰 모니터링 시스템.
  2. 제1항에 있어서,
    상기 공차 보정 유닛은,
    상기 카메라 유닛에서 제공되는 복수의 촬영 영상 각각을 미리 지정된 형식에 따른 주변 영상 및 개별 탑뷰 영상 중 하나 이상으로 변환하는 영상 변환부;
    촬영 영상, 주변 영상 및 개별 탑뷰 영상 중 하나 이상인 대상 영상을 해석하여 적어도 차선을 포함하는 주변 사물을 인식하는 정보 인식부;
    각각의 개별 탑뷰 영상을 대상으로 미리 지정된 틀어짐 검출 기법을 적용하여 각 개별 탑뷰 영상의 틀어짐 여부를 판단하는 틀어짐 검출부;
    틀어짐이 존재하는 것으로 판단된 개별 탑뷰 영상에 대해 미리 지정된 복수의 영상 정합 기준점 각각의 위치를 미리 지정된 영역 범위 내에서 미리 지정된 픽셀 단위로 이동시키고, 미리 지정된 픽셀 단위로 이동된 위치들 각각을 기준으로 상기 틀어짐 검출부가 상기 틀어짐 검출 기법의 적용에 따라 산출한 산출값들 중 최소의 산출값을 가지는 영상 정합 기준점의 위치 정보를 검출하는 영상 보정부; 및
    상기 검출된 영상 정합 기준점의 위치 정보에 상응하도록 상기 변환 규칙을 갱신하는 변환 규칙 갱신부를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  3. 제2항에 있어서,
    상기 미리 지정된 틀어짐 검출 기법은 하기 수학식을 이용하여 각 개별 탑뷰 영상의 틀어짐 추정값(G)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
    Figure pat00016

    여기서,
    Figure pat00017
    이고, VF는 전방의 개별 탑뷰 영상이며, VR은 우측의 개별 탑뷰 영상이며, VL은 좌측의 개별 탑뷰 영상이고, VB는 후방의 개별 탑뷰 영상이고, μα는 어느 하나의 개별 탑뷰 영상인 α 영상에서의 평균 차선 각도(Radian)임.
  4. 제2항에 있어서,
    상기 미리 지정된 틀어짐 검출 기법은 하기 수학식을 이용하여 AVM 영상을 생성하기 위해 각 개별 탑뷰 영상이 겹쳐지는 블렌딩 영역 각각에서의 픽셀값 전체 차이(D)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
    Figure pat00018

    여기서, λ1과 λ2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, B는 블렌딩 영역의 좌표 범위이고, β는 블렌딩 영역의 좌표 범위 중 어느 한 위치이며, pβ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이고, qβ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이며, δ는 블렌딩 영역의 좌표 범위 중에서 상기 정보 인식부에서 인식한 주변 사물 중 미리 지정된 임계값 이상의 높이를 가지는 주변 물체가 지면과 맞닿는 위치이며, pδ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값이고, qδ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값임.
  5. 제2항에 있어서,
    상기 미리 지정된 틀어짐 검출 기법은 하기 수학식을 이용하여 개별 탑뷰 영상의 틀어짐 정도(T)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
    Figure pat00019

    Figure pat00020

    Figure pat00021

    여기서, ω1과 ω2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, G는 각 개별 탑뷰 영상의 틀어짐 추정값이며,
    Figure pat00022
    이고, VF는 전방의 개별 탑뷰 영상이며, VR은 우측의 개별 탑뷰 영상이며, VL은 좌측의 개별 탑뷰 영상이고, VB는 후방의 개별 탑뷰 영상이고, μα는 어느 하나의 개별 탑뷰 영상인 α 영상에서의 평균 차선 각도(Radian)이며, D는 AVM 영상을 생성하기 위해 각 개별 탑뷰 영상이 겹쳐지는 블렌딩 영역 각각에서의 픽셀값 전체 차이이고, λ1과 λ2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, B는 블렌딩 영역의 좌표 범위이고, β는 블렌딩 영역의 좌표 범위 중 어느 한 위치이며, pβ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이고, qβ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이며, δ는 블렌딩 영역의 좌표 범위 중에서 상기 정보 인식부에서 인식한 주변 사물 중 미리 지정된 임계값 이상의 높이를 가지는 주변 물체가 지면과 맞닿는 위치이며, pδ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값이고, qδ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값임.
  6. 제2항에 있어서,
    상기 정보 인식부는 차량의 진행 방향 및 허프(Hough) 성분 벡터를 특징 벡터로 구성하여 미리 지정된 분류기(Classifier)를 이용하여 분류함으로써 상기 차선을 인식하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  7. 제2항에 있어서,
    상기 정보 인식부는 상기 대상 영상에서 신호등, 보행자, 도로 바닥의 표시 정보, 주변 차량 중 하나 이상인 주변 사물을 더 인식하고,
    인식된 주변 사물의 위치 정보는 복수의 개별 탑뷰 영상을 이용하여 상기 AVM 영상을 생성하기 위한 기준 정보로 이용되는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  8. 제7항에 있어서,
    상기 정보 인식부는 미리 지정된 기계 학습 기법을 적용하여 주변 사물들 중 미리 지정된 기준을 만족하도록 신뢰도(confidence)가 평가된 주변 사물만을 인식 대상으로 한정하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  9. 제2항에 있어서,
    상기 영상 보정부는, 차선의 각도와 블렌딩 영역에서의 픽셀값 차이가 최소가 되는 개별 탑뷰 영상 내의 대응점의 위치를 찾는 비용 함수 및 미리 지정된 최적화 기법 중 하나 이상을 적용하여 영상 정합 기준점을 이동시키는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템.
  10. 카메라 공차를 보정하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
    카메라 유닛에 포함된 복수의 카메라에 의해 각각 생성된 촬영 영상을 미리 지정된 형식에 따른 주변 영상 및 개별 탑뷰 영상 중 하나 이상으로 변환하는 단계;
    촬영 영상, 주변 영상 및 개별 탑뷰 영상 중 하나 이상인 대상 영상을 해석하여 적어도 차선을 포함하는 주변 사물을 인식하는 단계;
    각각의 개별 탑뷰 영상을 대상으로 미리 지정된 틀어짐 검출 기법을 적용하여 각 개별 탑뷰 영상의 틀어짐 여부를 판단하는 단계;
    틀어짐이 존재하는 것으로 판단된 개별 탑뷰 영상에 대해 미리 지정된 복수의 영상 정합 기준점 각각의 위치를 미리 지정된 영역 범위 내에서 미리 지정된 픽셀 단위로 이동시키고, 미리 지정된 픽셀 단위로 이동된 위치들 각각을 기준으로 상기 틀어짐 검출 기법의 적용에 따라 산출된 산출값들 중 최소의 산출값을 가지는 영상 정합 기준점의 위치 정보를 검출하는 단계; 및
    상기 검출된 영상 정합 기준점의 위치 정보에 상응하도록, 복수의 촬영 영상을 이용하여 AVM 영상을 생성하기 위한 변환 규칙을 갱신하는 단계를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
  11. 제10항에 있어서,
    상기 틀어짐 검출 기법은 하기 수학식을 이용하여 개별 탑뷰 영상의 틀어짐 정도(T)인 산출값을 산출하고, 산출된 산출값이 미리 지정된 기준값을 초과하면 틀어짐이 존재하는 것으로 판단하는 것을 특징으로 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
    Figure pat00023

    Figure pat00024

    Figure pat00025

    여기서, ω1과 ω2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, G는 각 개별 탑뷰 영상의 틀어짐 추정값이며,
    Figure pat00026
    이고, VF는 전방의 개별 탑뷰 영상이며, VR은 우측의 개별 탑뷰 영상이며, VL은 좌측의 개별 탑뷰 영상이고, VB는 후방의 개별 탑뷰 영상이고, μα는 어느 하나의 개별 탑뷰 영상인 α 영상에서의 평균 차선 각도(Radian)이며, D는 AVM 영상을 생성하기 위해 각 개별 탑뷰 영상이 겹쳐지는 블렌딩 영역 각각에서의 픽셀값 전체 차이이고, λ1과 λ2는 합산값이 1을 만족하도록 각각 지정된 가중치 팩터이고, B는 블렌딩 영역의 좌표 범위이고, β는 블렌딩 영역의 좌표 범위 중 어느 한 위치이며, pβ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이고, qβ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 β위치의 픽셀값이며, δ는 블렌딩 영역의 좌표 범위 중에서 상기 인식된 주변 사물 중 미리 지정된 임계값 이상의 높이를 가지는 주변 물체가 지면과 맞닿는 위치이며, pδ는 블렌딩 영역을 형성하는 제1 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값이고, qδ는 블렌딩 영역을 형성하는 제2 개별 탑뷰 영상의 블렌딩 영역 내의 δ위치의 픽셀값임.
KR1020180073290A 2018-06-26 2018-06-26 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법 KR102089343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180073290A KR102089343B1 (ko) 2018-06-26 2018-06-26 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180073290A KR102089343B1 (ko) 2018-06-26 2018-06-26 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법

Publications (2)

Publication Number Publication Date
KR20200000953A true KR20200000953A (ko) 2020-01-06
KR102089343B1 KR102089343B1 (ko) 2020-03-16

Family

ID=69158930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180073290A KR102089343B1 (ko) 2018-06-26 2018-06-26 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법

Country Status (1)

Country Link
KR (1) KR102089343B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184723A (zh) * 2020-09-16 2021-01-05 杭州三坛医疗科技有限公司 图像处理方法及装置、电子设备、存储介质
CN113592960A (zh) * 2021-08-18 2021-11-02 易思维（杭州）科技有限公司 一种从多张图像中筛选含特定特征图像的方法
KR102327860B1 (ko) * 2021-06-14 2021-11-17 주식회사 에이스뷰 차량용 다채널 어라운드뷰 모니터링 방법 및 시스템
KR20220025997A (ko) * 2020-08-24 2022-03-04 오토아이티(주) 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치
KR102543308B1 (ko) * 2022-08-12 2023-06-14 주식회사 디티지코리아 차량용 3.5d 파노라마 어라운드뷰 생성방법
KR20240025323A (ko) 2022-08-18 2024-02-27 주식회사 켐트로닉스 후방 파노라마 뷰 생성 장치 및 방법
KR102671285B1 (ko) * 2023-11-22 2024-06-03 (주)에스유엠 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR20170065894A (ko) * 2015-12-04 2017-06-14 엘지전자 주식회사 차량용 랜드마크 검출 장치 및 방법
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR20180040469A (ko) * 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR20170065894A (ko) * 2015-12-04 2017-06-14 엘지전자 주식회사 차량용 랜드마크 검출 장치 및 방법
KR20170124232A (ko) * 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR20180040469A (ko) * 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025997A (ko) * 2020-08-24 2022-03-04 오토아이티(주) 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치
CN112184723A (zh) * 2020-09-16 2021-01-05 杭州三坛医疗科技有限公司 图像处理方法及装置、电子设备、存储介质
CN112184723B (zh) * 2020-09-16 2024-03-26 杭州三坛医疗科技有限公司 图像处理方法及装置、电子设备、存储介质
KR102327860B1 (ko) * 2021-06-14 2021-11-17 주식회사 에이스뷰 차량용 다채널 어라운드뷰 모니터링 방법 및 시스템
CN113592960A (zh) * 2021-08-18 2021-11-02 易思维（杭州）科技有限公司 一种从多张图像中筛选含特定特征图像的方法
CN113592960B (zh) * 2021-08-18 2024-03-01 易思维(杭州)科技股份有限公司 一种从多张图像中筛选含特定特征图像的方法
KR102543308B1 (ko) * 2022-08-12 2023-06-14 주식회사 디티지코리아 차량용 3.5d 파노라마 어라운드뷰 생성방법
KR20240025323A (ko) 2022-08-18 2024-02-27 주식회사 켐트로닉스 후방 파노라마 뷰 생성 장치 및 방법
KR102671285B1 (ko) * 2023-11-22 2024-06-03 (주)에스유엠 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법

Also Published As

Publication number Publication date
KR102089343B1 (ko) 2020-03-16

Similar Documents

Publication Publication Date Title
KR102089343B1 (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
US11170466B2 (en) Dense structure from motion
US11062155B2 (en) Monocular cued detection of three-dimensional structures from depth images
EP2958054B1 (en) Hazard detection in a scene with moving shadows
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US7957559B2 (en) Apparatus and system for recognizing environment surrounding vehicle
US8611585B2 (en) Clear path detection using patch approach
JP5880703B2 (ja) 車線区分標示検出装置、運転支援システム
JP3780848B2 (ja) 車両の走行路認識装置
JP5747549B2 (ja) 信号機検出装置及びプログラム
US8102427B2 (en) Camera egomotion estimation from an infra-red image sequence for night vision
US20100097457A1 (en) Clear path detection with patch smoothing approach
EP1403615A2 (en) Apparatus and method for processing stereoscopic images
WO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
JP6569280B2 (ja) 路面標示検出装置及び路面標示検出方法
JP5521217B2 (ja) 障害物検出装置、及び障害物検出方法
JP7460282B2 (ja) 障害物検出装置、障害物検出方法および障害物検出プログラム
CN113632450A (zh) 摄影系统及图像处理装置
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム
US20240103525A1 (en) Vehicle and control method thereof
JP7446445B2 (ja) 画像処理装置、画像処理方法、及び車載電子制御装置
JP4871941B2 (ja) 車両周辺監視装置
KR20220006416A (ko) 서라운드뷰 모니터링 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant