KR20180112014A - 자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 - Google Patents

자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 Download PDF

Info

Publication number
KR20180112014A
KR20180112014A KR1020187026577A KR20187026577A KR20180112014A KR 20180112014 A KR20180112014 A KR 20180112014A KR 1020187026577 A KR1020187026577 A KR 1020187026577A KR 20187026577 A KR20187026577 A KR 20187026577A KR 20180112014 A KR20180112014 A KR 20180112014A
Authority
KR
South Korea
Prior art keywords
block
camera
determined
motion
blocks
Prior art date
Application number
KR1020187026577A
Other languages
English (en)
Other versions
KR102079891B1 (ko
Inventor
판텔리스 어밀리오스
브라이언 맥나마라
윌리엄 오그레이디
마일스 프릴
Original Assignee
코너트 일렉트로닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코너트 일렉트로닉스 리미티드 filed Critical 코너트 일렉트로닉스 리미티드
Publication of KR20180112014A publication Critical patent/KR20180112014A/ko
Application granted granted Critical
Publication of KR102079891B1 publication Critical patent/KR102079891B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 자동차(1)의 카메라(4)에 의해 포착된 자동차(1)의 주변 영역(9)에 대한 2개의 이미지 사이의 모션 추정 방법에 관한 것으로서, a) 제 1 이미지의 적어도 2개의 이미지 구역을 제 1 이미지의 적어도 2개의 제 1 블록(B)으로서 결정하는 단계; b) 각각의 제 1 블록(B)에 대해서, 각각의 제 1 블록(B)에 대응하는 제 2 블록(B)을 위한 제 2 이미지에서 각각의 검색 영역을 검색하기 위해 제 2 이미지에서 각각의 검색 영역을 정의하는 단계; c) 각각의 제 1 블록(B) 및 그의 각각의 검색 영역에 대한 코스트 표면(18)을 결정하는 단계; d) 코스트 표면(18)에 기초하여 적어도 2개의 제 1 블록(B) 중 하나에 대한 평균 코스트 표면(19)을 결정하는 단계; 및 e) 제 1 이미지에서의 제 1 블록(B) 및 제 2 이미지에서의 대응하는 제 2 블록(B)의 위치에 대한 모션을 나타내는 제 1 블록들 중 하나에 대한 모션 벡터(v)를 식별하는 단계가 수행된다. 본 발명은 또한, 컴퓨팅 장치(3), 운전자 보조 시스템(2)뿐만 아니라 자동차(1)에 관한 것이다.

Description

자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
본 발명은 자동차의 카메라에 의해 포착된 자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법에 관한 것이다. 또한, 본 발명은 컴퓨팅 시스템, 운전자 보조 시스템뿐만 아니라 운전자 보조 시스템을 갖는 자동차에 관한 것이다.
현재, 자동차용 카메라에 관심이 집중되고 있다. 카메라는 자동차의 주변 영역을 이미지 또는 오히려 비디오 프레임에서 포착하도록 구성된다. 이미지로부터 추출된 정보는 자동차의 운전자 보조 시스템으로 제공될 수 있다. 두 개의 비디오 프레임들 사이의 모션 추정을 목적으로, 일련의 비디오 프레임에서 매칭 블록 또는 대응 블록, 소위 매크로블록(macroblock)을 위치시키기 위해 블록 매칭 알고리즘(block matching algorithm)을 사용하는 것이 종래 기술로부터 공지되어 있다. 대응 블록은 동일한 주변 영역을 적어도 부분적으로 표시하는 두 개의 이미지 프레임의 이미지 구역으로 이해된다. 블록 매칭 알고리즘은 보통, 비디오의 현재 프레임을 매크로블록으로 분할하는 것과 각각의 매크로블록을 비디오, 특히 이전 비디오의 근처 프레임에 있는 대응 블록 및 그의 인접한 이웃 블록과 비교하는 것을 포함한다. 한 위치로부터 다른 위치로 매크로블록의 이동을 모델화하는 모션 벡터가 생성된다. 프레임을 포함하는 모든 매크로블록에 대해 계산된 이러한 이동은 프레임에서 추정되는 모션을 구성한다. 저조도 또는 악천후와 같은 어려운 주변 조건에서, 비디오 프레임은 높은 수준의 노이즈, 모션 블러(motion blur), 및 블록 매칭 품질을 일반적으로 저하시켜 다수의 아웃라이어(outlier)를 유도하는 추출된 모션 벡터의 정확성 또는 유효성을 저하시키는 인공물에 의해 손상될 수 있다. 따라서, 종래 기술로부터 공지된 블록 매칭 기술은 유용한 모션 벡터를 생성하는데 어려움을 겪거나 실패할 수 있다.
본 발명의 목적은 차량 측 카메라에 의해 포착된 이미지들 사이의 모션 추정이 신뢰성 있는 방식으로, 특히 부정적인 주변 조건에도 불구하고 어떻게 수행될 수 있는지에 대한 해결책을 제공하는 것이다.
본 발명에 따라서, 이러한 목적은 각각의 독립항에 따른 특징을 포함하는 방법, 컴퓨팅 장치, 운전자 보조 시스템뿐만 아니라 자동차에 의해 해결된다. 본 발명의 유리한 실시예는 종속항, 상세한 설명 및 도면의 요지이다.
본 발명의 실시예에서, 자동차의 카메라에 의해 포착된 자동차의 주변 영역에 대한 2개의 이미지 사이의 모션 추정의 목적에 적합한 방법이 제공된다. 특히, 제 1 이미지의 적어도 2개의 이미지 구역은 제 1 이미지 내의 적어도 2개의 제 1 블록으로서 결정되며, 각각의 제 1 블록에 대해, 각각의 검색 영역이 제 2 이미지 내에 정의되는데, 이는 각각의 제 1 블록에 대응하는 제 2 블록을 위해 제 2 이미지 내의 각각의 검색 영역을 검색하기 위함이다. 그 후, 각각의 제 1 블록 및 그의 각각의 검색 영역에 대한 코스트 표면(cost surface)이 결정될 수 있으며, 코스트 표면에 기초하여 적어도 2개의 제 1 블록 중 하나에 대한 평균 코스트 표면(averaged cost surface)이 결정될 수 있다. 또한, 평균 코스트 표면에 관련하여 제 1 블록 중 하나에 대한 모션 벡터가 결정될 수 있는데, 이 모션 벡터는 제 1 이미지에서의 제 1 블록 및 제 2 이미지에서의 대응하는 제 2 블록의 위치의 모션을 나타낸다.
본 발명의 바람직한 실시예에서, 자동차의 카메라에 의해 포착된 자동차의 주변 영역에 대한 2개의 이미지 사이의 모션 추정의 목적에 적합한 방법이 제공된다. 이를 위해, 제 1 이미지의 적어도 2개의 이미지 구역은 제 1 이미지 내의 적어도 2개의 제 1 블록으로서 결정되며, 각각의 제 1 블록에 대해, 각각의 검색 영역이 제 2 이미지 내에 정의되는데, 이는 각각의 제 1 블록에 대응하는 제 2 블록을 위해 제 2 이미지 내의 각각의 검색 영역을 검색하기 위함이다. 그 후, 각각의 제 1 블록 및 그의 각각의 검색 영역에 대한 코스트 표면이 결정되며, 코스트 표면에 기초하여 적어도 2개의 제 1 블록 중 하나에 대한 평균 코스트 표면이 결정된다. 또한, 평균 코스트 표면에 관련하여 제 1 블록 중 하나에 대한 모션 벡터가 결정될 수 있는데, 이 모션 벡터는 제 1 이미지에서의 제 1 블록 및 제 2 이미지에서의 대응하는 제 2 블록의 위치의 모션을 나타낸다.
이 방법에 의해, 블록 매칭 작동은 특히, 불리한 주변 조건에서조차도 예를 들어, 차량 측 컴퓨팅 장치에 의해 수행될 수 있다. 블록 매칭 작동은 차량 측 카메라에 의해 포착된 2개의 이미지 또는 비디오 프레임에 기초하여 수행된다. 차량은 서라운드 뷰 카메라 시스템(surround view camera system)을 형성할 수 있는 4개의 카메라를 포함할 수 있으며, 여기서 제 1 카메라는 자동차의 전방 영역에 배치될 수 있고, 제 2 카메라는 자동차의 후방 구역에 배치될 수 있고, 제 3 카메라는 자동차의 운전자 측, 특히 운전자 측 사이드 미러에 배치될 수 있고, 제 4 카메라는 자동차의 조수석 측, 특히 조수석 측 사이드 미러에 배치될 수 있다. 카메라는 화각을 확대하여 카메라의 검출 범위를 확대하기 위해 어안 렌즈를 포함할 수 있다.
이미지는 인접하거나 중첩할 수 있는 블록 또는 매크로블록으로 분리될 수 있으며 그의 모양은 직사각형, 원형 또는 다른 어떤 것일 수 있다. 바람직하게, 인접한 직사각형 블록은 규칙적인 그리드 상에 배열된다. 어안 렌즈를 갖는 카메라의 경우에 어안 왜곡된 이미지가 가상 평면 뷰로 전달되어 어안 왜곡을 제거할 수 있다. 블록 그리드 내의 각각의 블록에 대한 개별 코스트 표면이 결정되며, 여기서 제 1 블록은 한 프레임의 블록 그리드상의 그들의 고정 위치 또는 오히려 제 1 이미지로부터 얻어지고 다른 프레임의 그들 각각의 검색 영역 또는 오히려 제 2 이미지 내에서 매칭될 수 있다. 검색 영역의 크기 및 위치는 고정되거나 예를 들어 차량 주행거리계로부터 두 프레임 사이의 카메라 에고-모션(ego-motion)을 예측함으로써 동적으로 할당될 수 있다. 차량 주행거리계는 자동차의 모션 센서로부터의 데이터, 예를 들어 휠 회전, 조향각 등을 사용하여 시간에 대한 차량의 위치 변화를 추정할 수 있다. 이는 다른 프레임의 검색 영역 또는 검색 창 내의 모든 가능한 위치에서 한 프레임으로부터 기준 블록으로서 제 1 블록을 위치시킴으로써 유도될 수 있다. 이러한 단계의 목적은 각각의 제 1 블록에 대한 대응하는 제 2 블록을 발견하는 것이며, 여기서 제 2 블록은 대응하는 제 1 블록과 동일한 주변 서브 구역을 적어도 부분적으로 표시한다. 특히, 제 1 블록은 검색 영역, 예를 들어 64×64 픽셀보다 더 작은 크기, 예를 들어 32×32 픽셀을 가진다. 그 후, 기준 블록의 픽셀과 검색 창의 각각의 픽셀 사이의 제곱 차이의 합(SSD: Sum of the Squared Difference)가 취해질 수 있다. 개별 코스트 표면의 형상은 본질적으로 불규칙할 수 있다.
블록 중 하나에 대한 평균 코스트 표면은 적어도 2개의 제 1 블록 및 그들의 대응하는 검색 영역에 대해 결정된 개별 코스트 표면에 기초하여 결정된다. 개별 코스트 표면보다 덜 변동하는 이러한 평균 코스트 표면으로부터 모션 벡터가 유도될 수 있다. 모션 벡터 또는 변위 벡터는 두 이미지 사이의 2개의 대응하는 블록의 변위를 나타낸다.
본 발명은 개별 코스트 표면으로부터 직접 유도된 모션 벡터가 특히, 저조도 또는 악천후와 같은 불리한 주변 조건의 경우에 아웃라이어로서 식별될 수 있다는 지식에 기초하며, 이는 개별 코스트 표면의 형상이 본질적으로 불규칙하기 때문이다. 대조적으로, 본 발명에 따른 방법을 사용하여, 블록 매칭 작동을 위한 모션 벡터가 불리한 주변 조건에서조차도 신뢰성 있게 결정될 수 있다.
특히 바람직하게, 평균 코스트 표면의 전역 최소값(global minimum)이 결정되며 모션 벡터는 전역 최소값에 따라 결정된다. 개별 코스트 표면이 본질적으로 불규칙할 수 있기 때문에, 전역 최소값은 거의 식별될 수 없거나 심지어 잘못된 위치에 있을 수 있다. 그 전역 최소값 위치로부터 추출된 모션 벡터는 결과적으로 오류가 있을 수 있다. 평균 코스트 표면은 변동이 적기 때문에, 전역 최소값이 강한 네거티브 피크(negative peak)로서 명확히 보인다. 따라서 평균 코스트 표면의 전역 최소값이 쉽게 식별된다. 평균 코스트 표면의 전역 최소값에 기초하여, 모션 벡터, 특히 모션 벡터의 좌표가 결정될 수 있다.
바람직하게, 평균 코스트 표면을 결정하기 위해서, 각각의 코스트 표면의 평균값이 결정되고, 평균 코스트 표면을 결정하기 위한 각각의 가중 인자(weighting factor)가 평균값에 기초하여 결정된다. 특히, 가중 인자는 각각의 평균값의 역수로서 결정된다. 환언하면, 평균 코스트 표면은 개별 코스트 표면의 가중 평균으로서 결정된다. 가중치는 개별 코스트 표면의 에너지를 대략 동일하게 하도록 선택될 수 있다.
본 발명의 추가 실시예에서, 사전결정된 수의 제 1 블록을 포함하는 슬라이딩 윈도우(sliding window)가 결정되며, 여기서 모션 벡터는 슬라이딩 윈도우 내의 모든 제 1 블록의 코스트 표면에 기초하여 슬라이딩 윈도우 내의 제 1 블록 중 하나에 대해 결정된다. 특히, 슬라이딩 윈도우 내의 제 1 블록의 개수는 하나의 제 1 블록이 슬라이딩 윈도우 내의 다른 제 1 블록들에 의해 완전히 둘러싸이도록 미리 설정되며, 여기서 모션 벡터는 다른 제 1 블록들에 의해 둘러싸인 중간에 있는 제 1 블록에 대해 결정된다. 예를 들어, 3×3의 제 1 블록을 갖는 슬라이딩 윈도우를 사용하여, 슬라이딩 윈도우에 의해 둘러싸인 블록 그리드 내의 이웃하는 제 1 블록들의 그룹으로부터의 코스트 표면이 선택될 수 있다. 그들의 코스트 값의 가중 평균은 새로운 코스트 표면을 얻기 위해 결정될 수 있으며, 여기서 각각의 값은 개별 코스트 표면의 각각의 값의 가중 평균이다. 결과적인 새로운 코스트 표면은 평균 코스트 표면, 특히 슬라이딩 윈도우의 중심에 있는 블록에 대응하는 코스트 표면이다. 그 후, 슬라이딩 윈도우의 중심 블록에 정상적으로 대응할 수 있는 모션 벡터가 결정된다. 슬라이딩 윈도우는 다음 위치로 이동될 수 있으며 그 공정은 블록 그리드 내의 모든 위치가 소모될 때까지 반복될 수 있다.
본 발명의 유리한 개량예에서, 카메라의 외부 교정(extrinsic calibration)은 평균 코스트 표면으로부터 유도된 모션 벡터에 기초하여 수행된다. 이러한 실시예에서, 카메라의 외부 교정 방법이 제공된다. 외부 교정 방법 또는 모션 추적 교정(MTC) 작동은 차량이 특히 대략 직선 경로로 이동하는 동안 카메라에 의해 포착된 일련의 적어도 2개의 이미지를 분석함으로써 차량 측 카메라의 온라인 교정의 목적에 적합하다. 환언하면, 그 목적은 적어도 한 쌍의 이미지를 포함하는 시간 시퀀스에 의해 자동차의 이동 중에 카메라의 적어도 하나의 외부 매개변수를 결정하고 교정하는 것이다. 예를 들어, 외부 매개변수는 노면 또는 접지면에 대한 카메라의 공간 방위 및 접지면 또는 차량의 다른 카메라에 대한 카메라의 높이를 포함할 수 있다. 이 방법은 차량의 각각의 카메라를 개별적으로 교정하도록 또한 구성될 수 있는 컴퓨팅 장치에 의해 수행될 수 있다.
이미지는 자동차 근처의 노면 또는 접지면뿐만 아니라 타맥(tarmac)과 같은 표면에 존재하는 텍스처를 적어도 부분적으로 보여준다. 특히, 이러한 실시예에 따른 교정 작동은 이미지 상에 존재하는 코너, 윤곽, 에지 또는 라인과 같은 관심 있는 임의의 특정 특징을 요구하지 않는다. 특히, 적어도 하나의 교정 주기가 수행되어 단일 교정 결과를 초래한다.
바람직하게, 외부 교정을 수행하기 위해서, 카메라의 회전 교정이 수행되며, 여기서 모션 벡터와 사전결정된 벡터 사이의 편차를 나타내는 손실 함수(loss function)가 결정되고, 회전 보상된 모션 벡터(rotation-compensated motion vector)가 손실 함수를 최소화함으로써 결정된다. 환언하면, 이는 모션 벡터를 분석함으로써 접지면 또는 노면에 대한 카메라의 3-DOF(자유도) 공간 방위를 찾는 것에 의해 회전 교정이 수행됨을 의미한다. 카메라의 방위는 교정될 제 1 외부 매개변수이다. 카메라의 방위는 차량 제작 공정의 기계적 허용 오차로 인한 초기설정의 사전결정된 방위로부터 이탈할 수 있다. 방위는 예를 들어, 세계 좌표계의 고정된 X, Y 및 Z 축에 대해 순차적으로 회전하는 롤-피치-요 회전 체계(roll-pitch-yaw scheme)로 표현될 수 있으며, 여기서 X-축은 종 방향 차축을 따라 지향되고, Y-축은 횡 방향 차축을 따라 지향되고 Z-축은 수직 차축을 따라 지향된다.
그 후, 노면 또는 접지면에서의 모션 벡터의 기하학적 특성, 그리고 특히 자동차의 대략 직선 주행을 위한 제약 조건을 구체적으로 활용하는 최소화될 손실 함수 또는 코스트 함수(cost function)가 공식화된다. 평균 또는 중앙값으로부터의 제곱 오류 합계 또는 절대 오류 합계는 기울기 강하(gradient descent), 가우스-뉴턴(Gauss-Newton), 레벤버그-마쿼트(Levenberg-Marquardt) 등과 같은 반복 알고리즘의 도움으로 최소화될 수 있으며, 여기서 이들 반복적인 비선형 방법은 손실 함수가 해결책을 조정하기 위해 공식화될 수 있는 방법에 대해 큰 유연성을 제공한다. 문제점을 과잉 결정된 선형 방정식 시스템으로서 표현하고 다양한 방법으로 최소 자승법(least-squares sense)으로 해결하는 것이 또한 가능하다. 본 발명은 교정된 시스템이 특히 평탄한 접지면에서 직선으로 주행하는 동안 원근 왜곡 없고 동일한 길이의 모션 벡터를 생성해야 한다는 사실을 기초로 한다. 예를 들어, 원근 왜곡 없는 모션 벡터는 (이미지 프레임에서)수평 x-축에 모두 평행하거나 접지면에 투사된 모션 벡터의 경우에 종 방향 차축에 모두 평행한 모션 벡터이다. 따라서, 사전결정된 벡터는 수평축 또는 종축에 평행한 왜곡없는 벡터이다. 이러한 목적은 y-성분의 제곱의 합과 모든 모션 벡터의 x-성분의 분산으로 표현될 수 있다. 이상적인 조건에서 교정된 카메라의 경우에, 이는 0일 것이다. 그러므로, 손실 함수는 현재의 실제 조건과 이상적인 조건의 차이를 나타낸다. 따라서, 손실 함수를 발견함으로써, 초기 설정의 카메라 방위로부터 이탈한 현재 카메라 방위는 카메라의 제 1 외부 매개변수로서 쉽게 결정될 수 있다. 손실 함수를 최소화함으로써, 회전 보상된 모션 벡터가 유도될 수 있다. 이미지 내의 복수의 대응 블록에 관한 회전 보상된 모션 벡터는 노면 또는 접지면(11)의 평면 상에 재투사될 수 있으며, 여기서 재투사되고 교정된 모션 벡터는 특히 종 방향 차축에 평행하게 지향되고 또한 동일한 길이를 가진다.
추가의 개량예에서, 카메라의 교정을 위해, 카메라의 높이 교정이 수행되며, 카메라의 높이는 회전 보상된 모션 벡터의 길이 및 회전 보상된 모션 벡터의 길이의 기대값에 따라 결정된다. 카메라의 높이는 교정될 제 2 외부 매개변수이다. 카메라의 높이는 공기의 정지로 인해 또는 승객수 또는 차량 트렁크의 중량과 같은 자동차의 적재량 변경으로 인해 명목 초기 설정값으로부터 이탈할 수 있다.
높이는 손실 함수의 최소화로부터 이탈된 회전 보상된 모션 벡터를 분석함으로써 결정된다. 이는 높이 교정이 이전 단계로부터 회전 보상되고, 교정되고 재투사된 모션 벡터를 분석함으로써 접지면으로부터 각각의 카메라의 절대 높이 또는 카메라 사이의 상대 높이를 찾기 위해 수행됨을 의미한다.
카메라의 보정되고 회전 교정되고 재투사된 모션 벡터의 길이는 자동차의 속도 또는 속력에 비례하고 접지면으로부터 카메라의 높이에 반비례한다. 그러므로, 길이에 대한 기대값은 유리하게는 자동차의 속도에 따라서 미리 설정된다. 특히, 자동차의 속도는 자동차의 주행거리계에 의해 및/또는 자동차의 적어도 하나의 추가 카메라에 의해 포착된 이미지에 기초하여 결정되는 적어도 하나의 추가 모션 벡터에 기초하여 결정된다. 이러한 후자는 하나 초과의 카메라로부터의 모션 벡터를 고려할 수 있음을 의미한다. 그러므로, 카메라의 높이는 재투사된 모션 벡터가 모든 카메라에서 동일한 길이를 갖도록 각각의 카메라의 높이 값을 조정함으로써 결정될 수 있다. 이러한 목적으로, 이는 미러 좌측 및 미러 우측 카메라의 모션 벡터의 평균 길이가 기준으로서 취해지고 다른 카메라의 높이 값이 미러와 매칭되도록 조정되면 유리하다는 것을 증명하는데, 이는 미러 카메라가 자동차의 변경사항을 로딩함으로써 최소한의 영향을 받기 때문이다. 요약하면, MTC는 접지면의 투사된 모션 벡터가 종 방향 차축에 평행하고 또한 동일한 길이를 갖도록 교정을 조정한다.
본 발명은 또한, 본 발명에 따른 방법을 수행하도록 구성된 자동차의 운전자 보조 시스템용 컴퓨팅 장치에 관한 것이다. 차량 측 제어 유닛에 의해 형성될 수 있는 컴퓨팅 장치는 심지어 나쁜 주변 조건에서도 블록 매칭 절차를 수행하도록 구성된다. 또한, 컴퓨팅 장치는 블록 매칭 절차의 결과에 기초하여 개별적으로 자동차의 각각의 카메라를 교정하도록 구성될 수 있다.
게다가, 본 발명은 또한, 적어도 하나의 카메라, 및 본 발명에 따른 컴퓨팅 장치를 포함하는 자동차용 운전자 보조 시스템에 관한 것이다. 운전자 보조 시스템은 차량의 주변 영역을 감시하는 카메라에 의해 차량의 운전자를 지원한다. 운전자 보조 시스템은 서라운드 뷰 카메라 시스템을 형성하는 4개의 카메라를 포함할 수 있다. 카메라는 또한, 카메라의 검출 구역을 확대하는 어안 렌즈를 포함할 수 있다. 운전자 보조 시스템은 교정된 카메라에 의해 포착된 이미지에서 물체를 신뢰성 있게 검출할 수 있고, 따라서 검출된 물체와 자동차의 임박한 충돌을 검출할 때, 예를 들어 경고 신호를 생성하거나 자동차를 자동으로 제동함으로써 차량의 운전자를 지원할 수 있다. 또한, 교정된 카메라에 의해 포착된 이미지는 차량 측 디스플레이 장치상에, 특히 비디오로서 표시될 수 있다. 환언하면, 카메라는 비디오 카메라로서 구성될 수 있다.
본 발명에 따른 자동차는 본 발명에 따른 운전자 보조 시스템을 포함한다. 자동차는 특히 승용차로서 구성된다.
본 발명에 따른 방법 및 그의 장점과 관련하여 제시된 바람직한 실시예는 컴퓨팅 장치, 본 발명에 따른 운전자 보조 시스템뿐만 아니라 본 발명에 따른 자동차에도 대응되게 적용된다.
본 발명의 다른 특징은 청구범위, 도면 및 도면의 설명으로부터 자명하다. 상세한 설명에서 전술된 특징 및 특징의 조합뿐만 아니라 도면의 설명에서 아래에서 언급되고/되거나 도면에만 도시된 특징 및 특징의 조합은 본 발명의 범주를 벗어남이 없이, 각각 특정된 조합뿐만 아니라 다른 조합 또는 단독으로도 사용될 수 있다. 따라서, 구현예도 또한, 도면에 명시적으로 도시되지 않았지만 설명된 구현 예로부터 분리된 특징의 조합으로 생기고 그 조합에 의해 생성될 수 있는 본 발명에 의해 포함되고 개시되는 것으로서 고려되어야 한다. 구현예 및 특징의 조합도 또한, 개시된 것으로서 간주되므로 최초로 기재된 독립항의 모든 특징을 갖지 않는다. 게다가, 구현예 및 특징의 조합은 또한, 특히 청구범위의 관련 항에 기재된 특징의 조합을 넘어 확장하거나 그로부터 벗어난 전술한 설명에 의해 개시된 것으로서 간주될 것이다.
이제, 본 발명은 바람직한 실시예뿐만 아니라 첨부 도면에 기초하여 더욱 상세하게 설명된다.
도 1은 본 발명에 따른 자동차의 실시예의 개략도이며,
도 2는 블록 매칭 작동의 개략도이며,
도 3a 및 도 3b는 블록뿐만 아니라 모션 벡터의 개략도로 분할된 모션 필드의 개략도이며,
도 4는 본 발명에 따른 방법의 실시예의 흐름도의 개략도이며,
도 5는 코스트 표면뿐만 아니라 평균 코스트 표면의 개략도이다.
도면에서, 동일할 뿐만 아니라 기능적으로 동일한 요소에는 동일한 참조 부호가 제공된다.
도 1은 본 발명에 따른 자동차(1)를 도시한다. 본 경우에, 자동차(1)는 승용차로서 구성된다. 자동차(1)는 자동차(1)의 운전자를 지원하는 운전자 보조 시스템(2)을 가진다. 운전자 보조 시스템(2)은 예를 들어, 차량 측 제어 유닛에 의해 형성될 수 있는 컴퓨팅 장치(3)를 포함한다. 또한, 운전자 보조 시스템(2)은 적어도 하나의 카메라(4)를 포함한다. 본 경우에, 운전자 보조 시스템(2)은 4개의 카메라(4)를 포함하며, 여기서 제 1 카메라(4)는 자동차(1)의 전방 구역(5)에 배치되고, 제 2 카메라(4)는 자동차(1)의 후방 구역(6)에 배치되고, 제 3 카메라(4)는 자동차(1)의 운전자 측(7), 특히 운전자 측(7)의 사이드 미러에 배치되고, 제 4 카메라(4)는 자동차(1)의 조수석 측(8), 특히 조수석 측(8)의 사이드 미러에 배치된다. 운전자 측(7) 및 조수석 측(8)에 배치된 카메라(4)는 또한, 사이드 미러를 대체할 수 있음으로써, 자동차(1)는 미러리스(mirrorless) 구동을 가능하게 하는 미러리스 자동차(1)으로 설계될 수 있다. 카메라(4)에 의해, 자동차(1)의 주변 영역(9)이 이미지로 포착될 수 있다. 카메라(4)는 화각을 확대하여 카메라(4)의 검출 범위를 확대하는 어안 렌즈를 포함할 수 있다.
컴퓨팅 장치(3)는 자동차(1)용 도로(10)의 노면(11)의 텍스처, 예컨대 타맥의 추적에 의한 적어도 하나의 카메라(4)에 의해 포착된 이미지 또는 오히려 비디오 프레임에 기초하여 블록 매칭 작동을 수행하도록 구성된다. 특히, 컴퓨팅 장치(3)는 저조도 또는 악천후와 같은 어려운 주변 조건에서 작동할 때 블록 매칭 알고리즘에서 노면 텍스처 추적의 정확성을 개선하도록 구성된다. 그러한 조건에서, 이미지 또는 비디오 프레임은 높은 수준의 노이즈, 모션 블러 및 일반적으로 블록 매칭 품질을 저하시키는 다른 인공물로 인해 손상될 수 있다.
블록 매칭 알고리즘은 모션 추정 또는 광학 흐름(optical flow)의 목적으로 일련의 이미지 또는 디지털 비디오 프레임에서 이미지 데이터의 매칭 블록(B)(도 2 참조)을 위치시키는 방법이다. 도 2는 종래 기술로부터 공지된 블록 매칭 작동을 가시화한다. 따라서, 현재 비디오 프레임은 매크로블록으로서 지칭되는 블록(B)으로 분할되며, 여기서 각각의 매크로블록은 특히 다른 프레임의 특정 검색 창(15) 내에서 동일한 크기의 모든 가능한 블록과 그의 유사성을 비교한다. 도 2에서, 블록(14)은 현재 비디오 프레임에서 크기(N×N)를 갖는 매크로블록(B)이며, 블록(13)은 검색 창(15) 내의 이전 프레임에서 크기(N×N)를 갖는 검색 중인 매크로블록(B)이다. 2개의 블록(13, 14) 사이에 가장 높은 유사성을 제공하는 위치, 소위 최소 코스트 위치(minimum cost location)는 모션 벡터, 즉 2개의 성분(x, y)이 2개의 프레임 사이의 블록(13, 14)의 수평 및 수직 상대 변위에 대응하는 2차원 벡터로서 선택되고 등록될 수 있다.
블록 왜곡 측정(block-distortion measure) 또는 매칭 코스트(matching cost)로도 지칭되는 유사성 측정은 다양한 방법, 예컨대 상호 상관, 정규화된 상호 상관(Normalised Cross Correlation), 위상 상관, 절대 차이의 합(SAD), 제곱 차이의 합(SSD), 절대 변환된 차이의 합(SATD: Absolute Transformed Differences), 센서스/해밍 거리(Census/Hamming distance) 등에 의해 얻을 수 있다. SAD 및 SSD는 많은 용례에 대한 계산 효율성과 충분히 양호한 품질 때문에 인기가 있다. 매칭 코스트가 특정 위치에서 낮을수록, 비교된 블록(13, 14) 사이의 유사성은 그 위치에 더 높다. 예를 들어, 완벽한 또는 이상적인 매칭은 2개의 블록(13, 14)의 중첩 픽셀에 대한 절대 또는 제곱 차이의 합이 취해질 때 제로 코스트를 초래할 것이다. 방사측정 불변성(Radiometric invariance)은 라플라시안 오브 가우시안(Laplacian of Gaussian), 가우시안 차이(Difference of Gaussians) 또는 다른 필터로 이미지를 사전-필터링함으로써 달성될 수 있다.
각각의 테스트 위치에서 기준 블록(14)과 후보 블록(13) 사이의 매칭 코스트는 지정 검색 창(15) 내의 모든 가능한 위치에 대한 철저한 검색에 의해 계산될 수 있다. 전체 검색(FS)으로서 또한 지칭되는 이러한 방법은 가장 정확한 결과와 가장 낮은 수의 아웃라이어 또는 에러 모션 벡터를 산출하지만, 계산 비용이 가장 높다. 결과의 품질을 저하시키는 비용의 모든 가능한 위치에서 매칭 코스트의 계산을 회피함으로써 계산량을 감소시키고자 하는 다양한 방법이 공지되어 있다. 그들 방법에는 다이아몬드 검색(DS), 헥사곤 기반 검색(HEXBS: Hexagon-based Search), 적응형 루드 패턴 검색(ARPS: Adaptive Rood Pattern Search) 및 더 많은 것이 포함된다. 주목할 만한 예외는 품질에 영향을 미치지 않는 전체 검색의 신속 계산(FCFS: Fast Computation of Full Search)으로서 공지된 전체 검색 방법의 간단한 계산 최적화이다.
이들 기술에 의해, 각각의 기준 블록(14)은 그의 지정 검색 창(15) 내에서 독립적으로 매칭될 수 있다. 제안된 기술은 특히, 모든 블록(B)이 동일한 평면에서 국부적으로 균일한 모션을 나타냄으로써 강력한 매칭을 유도한다는 가정하에서 이웃 블록으로부터의 정보를 고유한 방식으로 결합할 수 있다.
예를 들어, 자동차(1)이 직진 주행하는 동안 2개의 연속 프레임을 블록 매칭하여 얻어지는 접지면(11) 상의 모션 필드(16a, 16b)가 도 3a 및 도 3b에 도시된다. 어안 렌즈를 갖는 카메라(4)의 경우에, 프레임은 특히, 카메라(4)에 대한 외부 교정 알고리즘의 목적으로 가상 평면 뷰로 미리 수정된다. 도 3a는 가상 평면 뷰가 부정확 외부 교정 매개변수를 사용하여 생성될 때 원근 왜곡을 나타내는 미교정 카메라(4)의 모션 필드(16a)를 도시한다. 교정된 시스템은 원근 왜곡이 없는, 즉 수평 x-축에 평행하고 동일한 길이의 가상 평면 뷰 상에 모션 벡터를 생성해야 한다. 도 3a에 도시된 모션 벡터(v)는 수평 x-축에 평행하지 않고 길이가 동일하지 않기 때문에, 미교정된 시스템을 나타낸다.
도 3b는 정확한 외부 교정 매개변수로 생성되고 원근 왜곡을 갖지 않는다. 즉, 접지면은 평행한 가상 이미지면에 정확하게 맵핑된다. 따라서,도 3b는 교정된 카메라(4)의 모션 필드(16b)를 도시한다. 교정된 모션 벡터(vc)는 모두 수평 x-축에 평행하고 동일한 길이이다. 사각형(17)은 모션 벡터(v)의 임의의 그룹을 나타낸다.
도 3b에 도시된 바와 같은 교정된 모션 벡터(vc)는 예를 들어, 외부 교정, 소위 모션 추적 교정(MTC)에 의해 생성될 수 있으며, 여기서 카메라(4)의 외부 회전 및 높이는 모션 필드(16a)를 분석함으로써 교정된다. MTC 작동은 카메라(4)에 의해 연속적으로 포착된 적어도 2개의 이미지를 사용하여 특히, 도로(10) 옆의 경계석(12)과 같은 강한 특징부의 필요없이 이미지 또는 비디오 프레임들 사이의 타맥과 같은 노면 텍스처의 상대적인 움직임을 추적한다.
특히, 교정 알고리즘을 사용하여, 카메라(4)의 공간 방위가 모션 벡터(v)를 분석함으로써 접지면(11)에 대해 발견될 수 있다. 카메라(4)의 방위는 세계 좌표계의 고정된 X, Y 및 Z 축에 대해 순차적으로 회전하는 롤-피치-요(roll-pitch-yaw) 회전 체계로 표현될 수 있으며, 도 1에 도시된 바와 같이 여기서 X는 종 방향 차축, Y는 횡 방향 차축, 그리고 Z는 수직 차축이다.
특히 자동차의 거의 직선 주행에 대한 제약을 고려하여, 접지면(11) 상의 모션 벡터(v)의 기하학적 특성을 활용하는 최소 손실 함수가 공식화된다. 코스트 함수를 최소화함으로써, 모션 벡터(v)는 원근 왜곡이 없고 수평 x-축에 모두 평행한 회전 보상 및 교정된 모션 벡터(vc)로 매핑되고 재-투사될 수 있다.
또한, 카메라(4)의 높이는 교정되고 재-투사된 모션 벡터(vc)를 분석함으로써 접지면(11)으로부터 카메라(4)의 절대 높이 또는 카메라(4)들 사이의 상대 높이를 발견함으로써 교정될 수 있다. 카메라(4)의 높이는 공기의 정지로 인해 또는 승객 수 또는 차량 트렁크 내의 중량과 같은 자동차(1)의 적재량 변화로 인한 공칭 초기 설정치로부터 이탈할 수 있다. 단일 카메라(4)의 절대 높이는 차량 주행거리계 또는 공지된 스케일(scale)의 이미지 특징에 기초하여 추정될 수 있다. 단일 카메라(4)의 보정되고 회전 교정된 재-투사된 모션 벡터(vc)의 길이는 자동차(1)의 속도 또는 속력에 비례하고 접지면(11)으로부터 그 카메라(4)의 높이에 반비례한다. 차량 측 네트워크, 예를 들어 CAN 또는 FlexRay로부터 차량의 주행거리계가 주어지면, 접지면(11)에서의 모션 벡터(vc)의 예상 길이가 계산될 수 있으며 카메라(4)의 높이가 재-투사된 모션 벡터(vc)와 매칭하도록 조정될 수 있다.
슬라이딩 윈도우 내에서의 모션 벡터(v)를 평균화함으로써 이를 교정하는데 사용하기 전에 모션 필드(16a)를 평활화하는 것이 가능하다. 예를 들어, 슬라이딩 윈도우(17) 내의 중앙 모션 벡터(v)는 슬라이딩 윈도우(17)에 포함된 9개의 모션 벡터(v)의 평균으로서 계산될 수 있다. 이는 회귀(recursion)를 피하기 위해 별도의 버퍼에 출력 모션 벡터(v)를 저장하는 동안 블록 그리드(block grid)에서 슬라이딩 윈도우(17)의 각각의 가능한 위치에 대해 반복될 수 있다. 원근 왜곡 하에서 모션 벡터(v)의 평균화에 의해 유도되는 임의의 작은 편향은 가상 평면 뷰가 피드백 루프의 교정 결과로부터 업데이트됨에 따라 점진적으로 중립화될 수 있다.
저조도 또는 악천후와 같은 어려운 주변 조건에서, 블록 매칭은 대부분 아웃라이어 모션 벡터(v), 즉 무작위 길이 및 방향에서의 모션 벡터(v)를 생성한다. 이들 모션 벡터(v)의 평균화는 교정에 사용되는 정보의 품질을 개선하지 않을 것이다. 따라서, 2개의 비디오 프레임 사이의 노면 텍스처의 상대적인 움직임을 추적하는 MTC와 같은 자율 도로 기반 교정 알고리즘의 성능을 개선하기 위해서, 2개의 이미지 사이의 모션 추정을 위한 방법이 수행된다. 이 방법은 흐름도에 의해 도 4에서 가시화된다.
특히, 이 방법의 주된 사상은 슬라이딩 윈도우(17)의 블록(B), 특히 중앙 블록(B)을 기준으로 한 모션 벡터(v)를 추출하기 전에 슬라이딩 윈도우(17) 내의 모든 블록(B)의 코스트 표면(18)(도 5 참조)의 가중 평균을 취하는 것이다. 이 방법에서, 다음의 단계(S1, S2, S3, S4)가 수행된다.
제 1 단계(S1)에서, 블록 그리드 내의 각각의 블록(B)에 대한 개별 코스트 표면(18)이 계산되고, 여기서 블록(B)는 한 프레임 내의 블록 그리드에서 그들의 고정된 위치로부터 얻어지고 다른 프레임의 그들 각각의 검색 영역 내에서 매칭된다. 탐색 영역의 크기 및 위치는 두 프레임 사이의, 예를 들어 차량 주행거리계로부터 카메라 에고-모션(ego-motion)을 예측함으로써 고정되거나 동적으로 할당될 수 있다. (NB: 블록 매칭에 사용되는 검색 영역(15) 또는 탐색 창(15)은 그의 코스트 표면(18)이 평균화될 블록(B)을 선택하는데 사용되는 슬라이딩 윈도우(17)와 혼동되어서는 안된다). 슬라이딩 윈도우(17) 내의 블록(B)의 개별 코스트 표면(18)이 도 5에 도시된다. 예를 들어, 코스트 표면(18)은 다른 프레임의 64×64 픽셀 검색 창(15) 내의 모든 가능한 위치에서 하나의 프레임으로부터 32×32 픽셀 기준 블록(14)을 위치시키고 기준 블록(14)의 픽셀과 검색 창 내의 각각의 픽셀 사이에서 SSD를 취함으로써 유도될 수 있다. 도 5에서 알 수 있는 바와 같이, 코스트 표면(18)의 형상은 모든 위치에서 블록(12)과 검색 영역(15)의 픽셀 사이의 무작위 레벨의 유사성이 있기 때문에 본질적으로 불규칙하다. 가장 높은 유사성의 위치는 최저 코스트, 즉 코스트 표면(18)의 전역 최소값에 있다 - 이상적인 경우는 모든 감산된 픽셀이 동일할 때 발생하는 제로 코스트이다. 더 높은 수준의 이미지 노이즈에서, 이들 변동은 더욱 강해지고 최상의 매칭이 예상되는 위치에서 깊이를 훨씬 초과하고 잘못된 위치에서 거의 보지 않는 전역 최소값 또는 전역 최소값을 생성할 수 있다. 그 전역 최소값 위치로부터 추출된 모션 벡터(v)는 결과적으로 에러가 있을 수 있다.
제 2 단계(S2)에서, 각각의 코스트 표면(18)의 평균값이 결정되며 그의 역수가 다음 단계(S3)에서 사용될 가중 인자(Wij)(도 5 참조)로서 저장된다. 이 다음의 제 3 단계(S3)에서, 예를 들어, 3×3 블록 크기 또는 다른 크기를 갖는 슬라이딩 윈도우(17)를 사용함으로써, 코스트 표면(18)은 슬라이딩 윈도우(17)에 의해 둘러싸인 블록 그리드 내의 이웃 블록(B)의 그룹으로부터 선택된다. 그들 코스트 값의 가중 평균은 새로운 코스트 표면(19)을 얻도록 결정되며, 여기서 각각의 값은 개별 코스트 표면(18)의 각각의 값의 가중 평균이다. 결과적인 코스트 표면(19)은 개별 코스트 표면(18)에서 노이즈에 의해 손상된 더 약한 최소값의 기여에 의해 형성되는 더 적은 변동 및 더 강하고, 명확하게 보이는 최소값(20)을 가질 것이다. 이러한 더 강한 최소값(20)은 보정 모션 벡터(v)가 추출될 수 있도록 이제 전역 최소값이 될 것이라는 기대가 있다.
제 4 단계(S4)에서, 평균 코스트 표면(19) 내의 전역 최소값 위치가 결정된다. 그로부터 슬라이딩 윈도우(17)의 중심에서의 모션 벡터(v)의 좌표, 즉 슬라이딩 윈도우(17)의 중앙 블록(B)에 정상적으로 대응할 수 있는 모션 벡터(v)가 유도될 수 있다. 그 후, 슬라이딩 윈도우(17)는 다음 위치로 이동되어 블록 그리드 내의 모든 위치가 소모될 때까지 처리 단계(S1 내지 S4)를 반복할 수 있다.
요약하면, 특정 블록(B)의 모션 벡터(v)는 가중 평균 코스트 표면(19)의 최소 코스트 위치로부터 추출된다. 가중치(wij)는 개별 코스트 표면(18)의 에너지를 대략 동일하게 하도록 선택된다. 이러한 목적으로, 개별 코스트 표면(18)은 그들 자신의 평균값의 역수에 의해 가중치가 부여된다. 제동 대칭(breaking symmetry)을 피하기 위해서, 모션 벡터(v)는 대칭 이웃이 없는 블록(B)에 대해서는 특히 계산되지 않는다. 이러한 방법은 임의의 창 크기로 확장할 수 있고 계층화된 방식으로 또한 적용될 수 있으므로 여러 계층의 코스트 평균화를 통해서 하위 계층의 검색 영역을 제한하여 아웃라이어의 가능성을 더욱 감소시킬 수 있다. 예를 들어, 전역 모션 벡터는 평균 모션 벡터를 나타내는 단일의 매우 강한 피크를 갖는 그리드 상의 모든 블록(B)의 평균 코스트 표면(19)으로부터 계산될 수 있다. 이러한 전역 모션 벡터는 이전 계층에서 검색을 제한하거나 아니면 장면(scene)에서의 전역 모션 또는 원근감 에러에 관한 대략적인 정보를 얻는데 사용될 수 있다.

Claims (14)

  1. 자동차(1)의 카메라(4)에 의해 포착된 자동차(1)의 주변 영역(9)에 대한 2개의 이미지 사이의 모션 추정 방법에 있어서,
    a) 제 1 이미지의 적어도 2개의 이미지 구역을 제 1 이미지 내의 적어도 2개의 제 1 블록(B)으로서 결정하는 단계,
    b) 각각의 제 1 블록(B)에 대해서, 각각의 제 1 블록(B)에 대응하는 제 2 블록(B)을 위해 제 2 이미지에서 각각의 검색 영역을 검색하기 위해 제 2 이미지에서 각각의 검색 영역을 정의하는 단계;
    c) 각각의 제 1 블록(B) 및 그의 각각의 검색 영역에 대한 코스트 표면(cost surface)(18)을 결정하는 단계;
    d) 상기 코스트 표면(18)에 기초하여 적어도 2개의 제 1 블록(B) 중 하나에 대한 평균 코스트 표면(averaged cost surface)(19)을 결정하는 단계; 및
    e) 상기 제 1 이미지에서의 제 1 블록(B) 및 상기 제 2 이미지에서의 대응하는 제 2 블록(B)의 위치에 대한 모션을 나타내는, 상기 제 1 블록(B) 중 상기 하나에 대한 모션 벡터(v)를 식별하는 단계가 수행되는 것을 특징으로 하는
    모션 추정 방법.
  2. 제 1 항에 있어서,
    상기 평균 코스트 표면(19)의 전역 최소값(global minimum)(20)이 결정되며 상기 모션 벡터(v)는 상기 전역 최소값(20)에 따라 결정되는 것을 특징으로 하는
    모션 추정 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 평균 코스트 표면(19)을 결정하기 위해서, 각각의 코스트 표면(18)의 평균값이 결정되며, 상기 평균 코스트 표면(19)을 결정하기 위한 각각의 가중 인자(weighting factor)(wij)가 상기 평균값에 기초하여 결정되는 것을 특징으로 하는
    모션 추정 방법.
  4. 제 3 항에 있어서,
    상기 가중 인자(wij)는 각각의 평균값의 역수로서 결정되는 것을 특징으로 하는
    모션 추정 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    사전결정된(predetermined) 수의 제 1 블록(B)을 포함하는 슬라이딩 윈도우(sliding window)(17)가 결정되며, 상기 모션 벡터(v)는 슬라이딩 윈도우(17) 내의 모든 제 1 블록(B)에 대한 코스트 표면(18)에 기초하여 슬라이딩 윈도우(17) 내의 제 1 블록(B) 중 하나에 대해 결정되는 것을 특징으로 하는
    모션 추정 방법.
  6. 제 5 항에 있어서,
    상기 슬라이딩 윈도우(17) 내의 제 1 블록(B)의 수는 하나의 제 1 블록(B)이 슬라이딩 윈도우(17) 내의 다른 제 1 블록(B)들에 의해 완전히 둘러싸이도록 미리 설정되며, 상기 모션 벡터(v)는 상기 다른 제 1 블록(B)들에 의해 둘러싸인 중간의 제 1 블록(B)에 대해 결정되는 것을 특징으로 하는
    모션 추정 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 카메라(4)의 외부 교정(extrinsic calibration)은 상기 평균 코스트 표면(19)으로부터 유도된 모션 벡터(v)에 기초하여 수행되는 것을 특징으로 하는
    모션 추정 방법.
  8. 제 7 항에 있어서,
    상기 외부 교정을 수행하기 위해서, 상기 카메라(4)의 회전 교정이 수행되며, 상기 모션 벡터(v)와 사전결정된 벡터 사이의 편차를 나타내는 손실 함수(loss function)가 결정되며, 회전 보상된 모션 벡터(rotation-compensated motion vector)가 상기 손실 함수를 최소화함으로써 결정되는 것을 특징으로 하는
    모션 추정 방법.
  9. 제 8 항에 있어서,
    상기 외부 교정을 수행하기 위해서, 상기 카메라(4)의 높이 교정이 수행되며, 상기 카메라(4)의 높이는 상기 회전 보상된 모션 벡터의 길이 및 상기 회전 보상된 모션 벡터의 길이의 기대값에 따라 결정되는 것을 특징으로 하는
    모션 추정 방법.
  10. 제 9 항에 있어서,
    상기 길이의 기대값은 자동차(1)의 속도에 따라 미리 설정되는 것을 특징으로 하는
    모션 추정 방법.
  11. 제 10 항에 있어서,
    상기 자동차(1)의 속도는 주행거리계에 의해 및/또는 적어도 하나의 추가 카메라(4)에 대해 결정된 적어도 하나의 추가 모션 벡터에 기초하여 결정되는 것을 특징으로 하는
    모션 추정 방법.
  12. 자동차(1)의 운전자 보조 시스템(2)용 컴퓨팅 장치(3)에 있어서,
    제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 수행하도록 구성된 것을 특징으로 하는
    자동차의 운전자 보조 시스템용 컴퓨팅 장치.
  13. 자동차(1)용 운전자 보조 시스템(2)에 있어서,
    적어도 하나의 카메라(4), 및
    제 12 항에 따른 컴퓨팅 장치(3)를 포함하는 것을 특징으로 하는
    자동차용 운전자 보조 시스템.
  14. 자동차(1)에 있어서,
    제 13 항에 따른 운전자 보조 시스템(2)을 구비하는 것을 특징으로 하는
    자동차.
KR1020187026577A 2016-03-15 2017-03-10 자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 KR102079891B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016104732.5 2016-03-15
DE102016104732.5A DE102016104732A1 (de) 2016-03-15 2016-03-15 Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
PCT/EP2017/055715 WO2017157799A1 (en) 2016-03-15 2017-03-10 Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle

Publications (2)

Publication Number Publication Date
KR20180112014A true KR20180112014A (ko) 2018-10-11
KR102079891B1 KR102079891B1 (ko) 2020-02-20

Family

ID=58266636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026577A KR102079891B1 (ko) 2016-03-15 2017-03-10 자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차

Country Status (7)

Country Link
US (1) US10567704B2 (ko)
EP (1) EP3430594B1 (ko)
JP (1) JP6685420B2 (ko)
KR (1) KR102079891B1 (ko)
CN (1) CN109155066B (ko)
DE (1) DE102016104732A1 (ko)
WO (1) WO2017157799A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020081145A1 (en) * 2018-10-16 2020-04-23 Hrl Laboratories, Llc Efficient egomotion estimation using patch based projected correlation
KR20200067297A (ko) * 2018-12-03 2020-06-12 현대자동차주식회사 친환경 자동차 및 그를 위한 강판 주행 제어 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11175146B2 (en) * 2017-05-11 2021-11-16 Anantak Robotics Inc. Autonomously moving machine and method for operating an autonomously moving machine
DE102018202360B4 (de) * 2018-02-15 2020-08-20 Robert Bosch Gmbh Verfahren zum Verfolgen eines Objekts in einem optischen Suchfenster einer Kamera für ein Fahrzeug
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
EP3657441A1 (en) * 2018-11-26 2020-05-27 Connaught Electronics Ltd. Method for determining a mounting height of a camera by determining a motion vector, computer program product, electronic computing device, as well as camera
WO2020153384A1 (ja) * 2019-01-23 2020-07-30 三菱電機株式会社 移動体搭載カメラキャリブレーション補助装置および移動体搭載カメラキャリブレーションシステム
CN110139100B (zh) * 2019-05-16 2021-07-06 东莞职业技术学院 多图像运动估计的扩展块匹配及运动矢量估计算法
US10892786B1 (en) * 2019-10-17 2021-01-12 Analog Devices International Unlimited Company Digital predistortion with out-of-band and peak expansion regularization
US11966452B2 (en) 2021-08-05 2024-04-23 Ford Global Technologies, Llc Systems and methods for image based perception
US11663807B2 (en) * 2021-08-05 2023-05-30 Ford Global Technologies, Llc Systems and methods for image based perception

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980076957A (ko) * 1997-04-15 1998-11-16 윤종용 타겟윈도우 이동을 통한 블록 매칭방법
KR20060029974A (ko) * 2004-10-04 2006-04-07 삼성전자주식회사 디스플레이장치
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
JP2013238497A (ja) * 2012-05-15 2013-11-28 Toshiba Alpine Automotive Technology Corp 車載カメラ自動キャリブレーション装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2309350B (en) * 1993-04-08 1998-01-07 Sony Uk Ltd Motion compensated video signal processing
JP3727731B2 (ja) * 1996-10-04 2005-12-14 日本放送協会 動画像の動き量推定装置
JP5080273B2 (ja) * 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
JP4899424B2 (ja) * 2005-11-04 2012-03-21 トヨタ自動車株式会社 物体検出装置
JP4882956B2 (ja) * 2007-10-22 2012-02-22 ソニー株式会社 画像処理装置および画像処理方法
DE102008014790A1 (de) * 2008-03-18 2009-10-01 Micronas Gmbh Verfahren zum Testen eines Bewegungsvektors
CN101640809B (zh) * 2009-08-17 2010-11-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
DE102014019078A1 (de) * 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980076957A (ko) * 1997-04-15 1998-11-16 윤종용 타겟윈도우 이동을 통한 블록 매칭방법
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
KR20060029974A (ko) * 2004-10-04 2006-04-07 삼성전자주식회사 디스플레이장치
JP2013238497A (ja) * 2012-05-15 2013-11-28 Toshiba Alpine Automotive Technology Corp 車載カメラ自動キャリブレーション装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020081145A1 (en) * 2018-10-16 2020-04-23 Hrl Laboratories, Llc Efficient egomotion estimation using patch based projected correlation
US10776928B1 (en) 2018-10-16 2020-09-15 Hrl Laboratories, Llc Efficient egomotion estimation using patch-based projected correlation
KR20200067297A (ko) * 2018-12-03 2020-06-12 현대자동차주식회사 친환경 자동차 및 그를 위한 강판 주행 제어 방법

Also Published As

Publication number Publication date
CN109155066A (zh) 2019-01-04
JP6685420B2 (ja) 2020-04-22
DE102016104732A1 (de) 2017-09-21
WO2017157799A1 (en) 2017-09-21
US20190104278A1 (en) 2019-04-04
JP2019510312A (ja) 2019-04-11
CN109155066B (zh) 2022-03-29
KR102079891B1 (ko) 2020-02-20
EP3430594A1 (en) 2019-01-23
EP3430594B1 (en) 2020-11-04
US10567704B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
KR102079891B1 (ko) 자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
KR101949263B1 (ko) 자동차 카메라 시스템의 온라인 교정
JP4788798B2 (ja) 物体検出装置
US20190311485A1 (en) Method for Evaluating Image Data of a Vehicle Camera
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
US11393126B2 (en) Method and apparatus for calibrating the extrinsic parameter of an image sensor
US10839231B2 (en) Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
US9892519B2 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
JP2020198074A (ja) 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法
WO2017010268A1 (ja) 推定装置及び推定プログラム
JP2018136739A (ja) キャリブレーション装置
JP7232005B2 (ja) 車両の走行環境検出装置及び走行制御システム
JP6747176B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP6855233B2 (ja) 障害物検出装置および障害物検出方法
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
JPH10124687A (ja) 道路白線検出方法及び道路白線検出装置
JP2020087210A (ja) キャリブレーション装置及びキャリブレーション方法
KR101949349B1 (ko) 어라운드 뷰 모니터링 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right