KR102104005B1 - 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 - Google Patents

자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 Download PDF

Info

Publication number
KR102104005B1
KR102104005B1 KR1020187026527A KR20187026527A KR102104005B1 KR 102104005 B1 KR102104005 B1 KR 102104005B1 KR 1020187026527 A KR1020187026527 A KR 1020187026527A KR 20187026527 A KR20187026527 A KR 20187026527A KR 102104005 B1 KR102104005 B1 KR 102104005B1
Authority
KR
South Korea
Prior art keywords
camera
vehicle
motion vectors
image
determined
Prior art date
Application number
KR1020187026527A
Other languages
English (en)
Other versions
KR20180112010A (ko
Inventor
판텔리스 어밀리오스
브라이언 맥나마라
윌리엄 오그레이디
마일스 프릴
Original Assignee
코너트 일렉트로닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코너트 일렉트로닉스 리미티드 filed Critical 코너트 일렉트로닉스 리미티드
Publication of KR20180112010A publication Critical patent/KR20180112010A/ko
Application granted granted Critical
Publication of KR102104005B1 publication Critical patent/KR102104005B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06T3/0018—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 적어도 하나의 카메라(4)의 외적 보정을 위해 적어도 하나의 차량-측면 카메라(4)에 의해 연속적으로 포착되는 자동차(1)의 주변(9)의 적어도 2개의 이미지(13)에 기초하여 자동차(1)의 도로(10)변의 물체(12)를 검출하는 방법에 관한 것으로, 이미지(13)는 적어도 부분적으로 노면(11)의 질감을 나타내고, 하기의 스텝들, 즉: a) 적어도 2개의 이미지(13)에 기초하여 적어도 2개의 상호 대응 블럭(14)을 결정하는 스텝; b) 적어도 두 쌍의 상호 대응 블럭(14) 각각에 대하여 각각의 움직임 벡터를 결정하는 스텝; c) 적어도 2개의 움직임 벡터에 기초하여 적어도 2개의 이미지(13)와 관련되는 깊이 정보를 결정하는 스텝; d) 깊이 정보에 기초하여 물체(12)를 검출하는 스텝이 수행된다. 본 발명은, 컴퓨팅 장치(3), 운전자 보조 시스템(2) 및 자동차(1)에 관한 것이기도 하다.

Description

자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
본 발명은 적어도 하나의 카메라의 외적 보정(extrinsic calibration)을 위해 적어도 하나의 차량-측면 카메라에 의해 연속적으로 포착되는 자동차의 적어도 2개의 주변(environmental region) 이미지에 기초하여 자동차의 도로변의 물체를 검출하는 방법에 관한 것이다. 또한, 본 발명은 컴퓨팅 장치, 운전자 보조 시스템 및 운전자 보조 시스템을 구비한 자동차에 관한 것이다.
현재, 자동차용 카메라에 관심이 집중되고 있다. 카메라는 주변을 사진 또는 이미지로 포착하도록 되어 있다. 이미지로부터 추출된 정보는 자동차의 운전자 보조 시스템에 제공될 수 있다. 이러한 정보는 자동차 근방에 있는 물체 또는 장애물의 존재를 포함할 수 있다. 물체의 검출은, 종래 기술로부터, 예컨대 차량에 배치되는 촬상 장치 및 촬상 장치로부터 차량 전방의 장면을 나타내는 2차원 이미지를 수신하는 제어기를 포함하는 물체 검출 시스템을 기술하는 US 2007/127778 A1로부터 공지된다.
또한, 물체는, 전방 또는 후방 카메라로부터 도로 경계부로서의 연석(kerb)의 원거리 검출 및 위치표시(localisation)에 맞춰지는 것이 일반적인, 스테레오 카메라, LIDAR 또는 그 밖의 수단에 의해 취득되는 3D 영역 데이터로부터 도출될 수 있다. 이러한 종래 기술은 통상, 연석을 성공적으로 위치표시 및 특정하기 위해 종종 이미지-밝기 에지 정보와 결합되는 3D 점 구름(3D point cloud)의 복잡한 분석을 수반한다. 일부 용례의 경우, 카메라에 의해 포착되는 이미지에서 물체의 존재를 검출하는 것이 주된 관심사로 된다. 특히, 평균 지면-레벨보다 높거나 낮게 위치되는 도로변의 세장형의 주위 지형지물의 존재가 검출되어야 한다. 이러한 세장형 지형지물은 벽, 연석, 배수로, 초목 또는 정지해 있는 차량일 수 있다. 이와 관련해서는, 이들 물체의 특성의 분류 또는 특징이 필요하지 않기 때문에, 복잡한 분석은 필요없다.
이미지에서의 물체를 특히, 신속하고 신뢰성 있게, 그리고 적은 노력으로 어떻게 검출할 수 있을지에 대한 해법을 제공하는 것이 본 발명의 목적이다.
본 발명에 따르면, 이 목적은 각각의 독립 청구항에 따른 특징구성을 포함하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차에 의해 해결된다. 본 발명의 유리한 실시형태들은 종속 청구항, 상세한 설명, 및 도면의 요지이다.
본 발명의 실시형태에 있어서는, 적어도 하나의 카메라의 외적 보정을 위해 특히, 적어도 하나의 차량-측면 카메라에 의해 연속적으로 포착되는 자동차의 적어도 2개의 주변 이미지에 기초하여 자동차의 도로변의 물체를 검출하도록 기능하는 방법이 제공된다. 여기서, 이미지는 노면의 질감(texture)을 적어도 부분적으로 나타낸다. 또한, 적어도 2개의 이미지에 기초하여 적어도 2개의 상호 대응 블럭이 결정될 수 있고, 적어도 2 쌍의 상호 대응 블럭 각각에 대한 각각의 움직임 벡터가 결정되고, 적어도 2개의 움직임 벡터에 기초하는 적어도 2개의 이미지와 관련되는 깊이 정보가 결정된다. 또한, 깊이 정보에 기초하여 물체가 검출될 수 있다.
본 발명의 실시형태에 있어서는, 적어도 하나의 카메라의 외적 보정을 위해 적어도 하나의 차량-측면 카메라에 의해 연속적으로 포착되는 자동차의 적어도 2개의 주변 이미지에 기초하여 자동차의 도로변의 물체를 검출하도록 기능하는 방법이 제공된다. 여기서, 이미지는 노면의 질감을 적어도 부분적으로 나타낸다. 또한, 적어도 2개의 이미지에 기초하여 적어도 2개의 상호 대응 블럭이 결정된다. 적어도 2 쌍의 상호 대응 블럭 각각에 대한 각각의 움직임 벡터가 결정되고, 적어도 2개의 움직임 벡터에 기초하는 적어도 2개의 이미지와 관련되는 깊이 정보가 결정된다. 또한, 깊이 정보에 기초하여 물체가 검출된다.
상기 방법에 의해, 자동차의 적어도 하나의 카메라의 신뢰성 있는 작동 상태가 제공될 수 있다. 차량은 서라운드 뷰(surround view) 카메라 시스템을 형성하는 4대의 카메라를 포함할 수 있고, 제1 카메라는 자동차의 전방 영역에 배치될 수 있고, 제2 카메라는 자동차의 후방 영역에 배치될 수 있고, 제3 카메라는 자동차의 운전석측, 특히 운전석측 사이드 미러에 배치될 수 있고, 제4 카메라는 자동차의 조수석측, 특히 조수석측 사이드 미러에 배치될 수 있다. 카메라는 시야각 및 그에 따른 카메라의 검출 범위를 확대하기 위해 어안(fisheye) 렌즈를 포함할 수 있다.
카메라는 자동차의 3차원 주변을 2차원 이미지 또는 사진으로 나타내도록 되어 있다. 따라서, 주변의 3D 세계 좌표를 이미지의 2D 픽셀 좌표로 맵핑하기 위해 카메라 모델이 제공되는 것이 일반적이다. 카메라 모델은 보통, 초점 거리, 이미지 센서 포맷 및 주점(principal point)과 같은 내적(intrinsic) 카메라 파라미터, 및 카메라의 자세라고도 하는 카메라의 공간적 방위 및 높이와 같은 외적(extrinsic) 카메라 파라미터에 의존하고, 여기서, 외적 파라미터가 디폴트로 설정되는 것이 일반적이다. 이들 외적 파라미터는, 예를 들어, 차량 제조 공정상의 기계적 공차로 인해, 공기학적 서스펜션으로 인해, 또는 차량의 승객수 또는 트렁크 내의 무게와 같은 차량 내의 하중 변화로 인해, 실제 및 현재의 외적 카메라 파라미터를 나타내지 않을 수도 있다. 이들 오류 외적 파라미터는 렌더링 공정 또는 이미지 합성에 부정적인 영향을 미칠 수 있다. 따라서, 자동차의 운전자 보조 시스템에 제공될 수 있는 신뢰성 있는 이미지를 얻기 위해 카메라를 보정할 필요가 있다.
벽, 연석, 배수로, 초목 또는 정지해 있는 차량과 같이, 평균 지면-레벨보다 높거나 낮게 위치되는 도로변의 세장형의 주위 지형지물 또는 물체는 보정 방법에 부정적인 영향을 미칠 수 있기 때문에, 신뢰성 있고 효율적으로 동작하는 보정 방법을 제공하기 위해, 이들의 존재를 검출하는 것이 본 발명에 따른 방법의 하나의 목적이다. 이때, 특히 차량이 물체, 예컨대 연석에 평행하게 대략 직선으로 이동하는 동안, 특히 이들 물체의 특성을 분류 또는 특정할 필요가 없으며, 차량에 탑재된 적어도 하나의 카메라로부터 취득된 한 쌍의 이미지 프레임에서 단지 이들 물체의 존재를 검출하는 것이 필요하다. 따라서, 카메라에 의해 포착된 이미지에 기초하는 자율적인 도로 기반 보정 방법이 제공될 수 있으며, 이 방법은 상기와 같은 물체의 존재에 의해 편중되지 않는다. 특히, 상기와 같은 세장형의 지형지물을 포함하는 식별된 이미지는 부적합한 프레임으로서 태깅되고, 그에 따라 거부된다. 상기 방법은 적어도 하나의 카메라에 의해 포착되는 적어도 2개의 이미지에 기초하여 상기와 같은 물체를 식별하도록 되어 있는 차량-측면 컴퓨팅 장치에 의해 수행될 수 있다.
먼저, 이미지들 내부에서 대응 블럭들을 찾기 위해 소위 블럭 매칭 동작이 적어도 2개의 이미지에 기초하여 수행된다. 대응 블럭들은 동일한 주변을 적어도 부분적으로 나타내는 2개의 이미지 또는 비디오 프레임의 이미지 영역으로 이해된다. 다시 말해, 각 쌍은 각각의 노면 영역을 묘사하는 제1 이미지의 제1 이미지 구역으로서의 제1 블럭 및 상응하는 제1 블럭의 노면 영역을 적어도 부분적으로 묘사하는 제2 이미지의 제2 이미지 구역으로서의 제2 블럭을 포함한다. 블럭 매칭을 위해, 제1 이미지 내의 미리 정해진 고정된 장소에서 적어도 2개의 제1 블럭이 기준 블럭으로서 선택될 수 있다. 기준 블럭들은 인접하거나 또는 중첩될 수 있으며, 그 형상은 직사각형, 원형 또는 그 밖의 임의의 형상일 수 있다. 바람직하게는, 인접하는 직사각형 블럭들은 규칙적인 그리드 상에, 좀더 정확히는 행들 및 열들로 배치된다. 블럭 크기는, 특히 이미지 품질에 따라 달라질 수 있으며, 예컨대 8x8 픽셀, 16x16 픽셀, 24x24 픽셀, 32x32 픽셀 또는 그 이상일 수 있다. 이후, 적어도 하나의 제2 이미지, 예컨대 이전의 프레임에서는, 적어도 부분적으로 상응하는 제1 블럭과 동일한 묘사를 포함하는 이들 제2 블럭이 검색된다. 각 블럭 내의 픽셀은, 유리하게는 연산 속도를 높이기 위해 매칭 동작 도중에 스킵되거나 또는 서브-샘플링될 수 있다.
이러한 블럭 매칭 동작은, 이미지 내부의 또는 이미지 내의 지정된 검색 구역 내부의 가능한 모든 장소가 검사되는 전연-검색(exhaustive-search) 동작 알고리즘이라고도 하는 전역-검색(full-search) 동작 뿐만 아니라 다이아몬드-검색(diamond-search) 또는 육각형-기반-검색(hexagon-based-search)과 같은 경사-하강(gradient-descent) 기반의 방법일 수 있다. 적어도 2개의 이미지 내의 대응 블럭들을 식별하기 위해, 상호 상관(cross correlation), 절대차(absolute differences)의 합, 제곱차(squared differences)의 합과 같은 블럭 왜곡(block distortion) 측정이라고도 하는 비용 함수가 사용될 수 있거나, 또는 절대 변환차(absolute transformed differences)의 합, 순위(rank), 센서스(census), 주파수 도메인 방법 등과 같은 보다 진보된 방법이 사용될 수 있다.
각각의 제1 블럭에 대응하는 제2 블럭들을 식별하기 위해 제2 이미지의 부분적인 영역들이 이들 제2 블럭이 검색되는 검색 구역으로서 규정되는 것이 유리하다는 점이 입증된다. 검색 구역은 제2 블럭의 예상 장소를 포함하는 적어도 하나의 제2 사진 내의 이미지 영역이다. 이 검색 구역을 규정함으로써, 제2 블럭이 매우 신속하게 발견될 수 있다. 특히, 적어도 하나의 제2 이미지 내의 검색 구역들의 위치 및/또는 크기는 자동차의 현재 속도에 따라 결정되거나 또는 검색 구역들의 소정의 위치 및/또는 크기가 적어도 하나의 제2 이미지에서 미리 결정된다. 검색 구역은 자동차의 현재 속도값으로부터 도출되는 예측치에 따라 각 프레임에 동적으로 위치될 수 있다. 대안으로서, 자동차의 소정의 동작 속도 범위 및 2개의 이미지 내부의 블럭들의 예상 변위가 커버되도록 위치 및/또는 크기가 미리 설정되는 고정 검색 구역이 사용될 수 있다.
적어도 2개의 이미지 내의 상호 대응 블럭들을 식별한 후에, 각 쌍의 상호 대응 블럭에 대하여 움직임 벡터 또는 변위 벡터가 결정된다. 2쌍의 상호 대응 블럭에 대하여, 2개의 움직임 벡터가 결정된다. 움직임 벡터는 차량의 움직임에 기인하며, 2개의 연속되는 이미지 사이의 2개의 대응 블럭의 장소 또는 픽셀 위치들의 변위를 기술한다. 움직임 벡터는 제1 x-성분 및 제2 y-성분을 가진 이미지 좌표로 주어지는 2차원 벡터에 의해 설명될 수 있다. x-축선은 특히, 자동차의 대략적으로 직선 주행 방향에 대응하고, 세장형 물체의 배향 방향에 평행하게, 좀더 정확히는 도로의 모서리에 평행하게 배향된다.
움직임 벡터에 의해, 적어도 2개의 사진으로부터 깊이 정보가 추출될 수 있다. 본 발명은 한 쌍의 프레임으로부터 도출된 움직임 벡터가 실제로는 입체 대응이며, 예를 들어 삼각 측량 및 기지의 자체 운동(ego-motion)을 통해 추출될 수 있는 3D 깊이 정보를 포함한다는 지식에 기초한다. 차량 및 그에 따른 카메라 자체 운동은 자동차의 온-보드 주행 거리 측정 센서(on-board odometry sensors)로부터 도출될 수 있거나 또는 움직임 벡터로부터 연산으로 추정될 수 있다. 이를 시각적 주행 거리 측정(visual odometry)이라고도 한다. 깊이 및 자체 운동 정보를 번들 조정(bundle adjustment)을 통해 동시에 취득하는 것도 가능하다. 카메라 보정의 경우, 도로변의 물체의 존재만이 결정적이기 때문에, 지면의 적절한 3D 재구성은 중지될 수 있다. 오히려, 연석 또는 유사한 지형지물의 존재를 가리키는 도로변의 급격한 깊이 변화가 움직임 벡터에 의해 검출된다.
요약하면, 본 발명에 따른 방법은 물체를 분류하지 않고 깊이 정보만을 분석한다는 장점을 갖는다. 따라서, 이미지 내의 물체가 적은 연산 노력으로 매우 신속하게 검출될 수 있다.
특히 바람직하게는, 깊이 정보를 결정하기 위해, 적어도 2개의 움직임 벡터의 각각의 길이가 결정되고, 적어도 2개의 움직임 벡터의 길이들 사이의 차이에 기초하여 물체가 검출된다. 본 발명은, 도로변의 세장형 지형지물과 같은 길이가 긴 물체일수록 카메라에 더 가깝기 때문에, 결국 보다 긴 움직임 벡터, 좀더 정확히는 노면의 질감과 같은 지면 상의 지형지물보다 큰 격차를 생성한다는 장점이 있다. 따라서, 깊이 정보는 2개의 움직임 벡터의 길이에 대한 값들을 분석 또는 비교함으로써 용이하게 도출될 수 있다.
유리한 실시형태에 있어서, 적어도 2개의 이미지는 열들 및 행들로 배치되는 다수의 블럭으로 분할되고, 특정 행 및 열 각각에 관련되는 결정된 움직임 벡터가 결정되고, 2개의 인접하는 행에 관련되는 2개의 움직임 벡터 사이의 차이는 각각의 행을 가로지르는 움직임 벡터들을 이전의 인접하는 행을 가로지르는 움직임 벡터들로부터 차감함으로써 결정된다. 이는, 각각의 대응 블럭 쌍이 사진들 중 하나의, 특히 제2 사진의 특정 행 및 특정 열과 관련된다는 것을 의미한다. 한 쌍의 프레임 내의 세장형 물체의 존재가 인접하는 행들 사이의 움직임 벡터들의 길이의 급격한 변화에 의해 추론될 수 있기 때문에, 각 행을 가로지르는 움직임 벡터들은 이전의 행에서의 상응하는 움직임 벡터들로부터 차감된다. 다시 말해, 특정 열 및 특정 행과 관련되는 각각의 움직임 벡터는 동일한 열 및 이전의 행과 관련되는 움직임 벡터로부터 차감된다. 따라서, 2개의 인접하는 행의 경우, 열의 수와 부합하는 차이의 수가 결정된다. 바람직하게는, 이상치(outliers)를 제거하기 위해 각 행을 가로지르는 모든 차이에 중간값 필터가 적용된다. 다시 말해, 중간값 필터는 2개의 인접하는 행에 대하여 결정되는 모든 차이에 적용된다. 이상치의 제거는 컴퓨팅 장치가 지형지물을 오검출하는 것을 방지한다.
2개의 인접하는 행의 경우, 2개의 인접하는 행에 대하여 계산된 차이에 기초하여 평균 차이가 계산되는 것이 유리하다는 점이 입증되고, 이때 물체는 평균 차이가 소정의 임계값을 초과하는 경우에 검출된다. 다시 말해, 평균 차이는 2개의 인접하는 행에 대하여 단일의 스코어를 얻기 위해 연산된다. 이 스코어는 임계값과 비교되고, 세장형 물체의 존재는 스코어가 임계값을 초과하는 경우에 검출되고, 부재는 스코어가 임계값보다 낮은 경우에 검출된다. 따라서, 스코어는 연석의 존재 또는 일반적으로 지면의 급격한 깊이 변화에 대한 2진 분류자를 제공한다.
본 발명의 개량에 있어서, 물체의 검출을 위해, 자동차의 소정의 최소 속도의 경우에만 적어도 2개의 이미지에 기초하여 움직임 벡터가 결정된다. 이는, 입력 프레임들이 자동차의 최소 속도의 조건으로 인해 필요한 최소 이동 거리로 분리된다는 것을 의미한다. 이는, 최소 길이가 수 픽셀인 추출된 움직임 벡터를 야기하고, 그에 따라 상대 오차가 줄어든다. 이는 차량의 정상 주행 속도에서 달성되거나, 및/또는 매우 저속으로 프레임들을 스킵하는 것에 의해 달성될 수 있다. 자동차의 최소 속도를 보장함으로써, 관측 노이즈, 지면의 불규칙성 및 짧은 움직임 벡터에 의해 야기된 차량 진동의 영향에 의해 도입되는 오차가 감소된다.
바람직하게는, 각 쌍의 움직임 벡터와 소정의 벡터 사이의 편차를 기술하는 비용 함수가 결정되고, 비용 함수를 최소화함으로써 각 쌍에 대하여 부분적으로 회전-보상된 움직임 벡터가 결정되고, 부분적으로 회전-보상된 움직임 벡터에 기초하여 깊이 정보가 결정된다. 이 스텝에서는, 블럭 매칭 동작에 의해 생성된 움직임 벡터를 분석함으로써, 지평면에 대한 적어도 하나의 카메라의 3-DOF(자유도) 공간적 방위의 특히 2개의 공간적 방위 성분을 찾는 것에 의해 부분적인 외적 보정이 수행된다. 또한, 카메라의 방위는 보정되어야 하는 제1 외적 파라미터이다. 방위는 예를 들어, 세계 좌표계의 고정된 X-, Y- 및 Z-축선을 중심으로 순차적으로 회전하는 롤(roll)-피치(pitch)-요(yaw) 회전 방식으로 표현될 수 있고, 여기서 X-축선은 길이방향 차량 축선을 따라 배향되고, Y-축선은 횡방향 차량 축선을 따라 배향되고, Z-축선은 수직방향 차량 축선을 따라 배향된다.
최소화되어야 하는 비용 함수 또는 손실 함수는, 특히 노면 또는 지평면 상의 움직임 벡터의 기하학적 특성과 대략 직선 주행을 위한 제약을 이용해서 표현된다. 보정된 시스템은 원근 왜곡이 없는 움직임 벡터들, 즉 평평한 지면에서 직선 주행하는 동안 (이미지 프레임에서) 수평한 x-축선에 모두 평행하며 동일한 길이로 이루어지는 움직임 벡터들을 만들어야 한다. 그에 따라, 비용 함수는 현재의 실제 조건과 이상적인 조건 사이의 차이를 나타낸다. 따라서, 소정의 벡터는 수평 축선에 평행한 왜곡 없는 벡터이다. 3개의 미지의 외적 회전 중 2개를 보상하기 위해, 비용 함수는 소정의 방향을 따르는 2개의 대응 블럭의 변위를 기술하는 움직임 벡터의 단지 제1 성분에 기초하여 결정된다. 특히, 비용 함수는 움직임 벡터들의 y-성분에 따라 결정된다. 비용 함수는, 특히 움직임 벡터들의 길이를 균등화하지 않고 모든 움직임 벡터를 수평하게 만들기 위해 최소화된다. 방향이 수평 x-축선에 평행하게 배향되어 있는 움직임 벡터들은 부분적으로 회전-보상된 움직임 벡터이다. 특히, 이들 부분적으로 회전-보상된 움직임 벡터들은 깊이 정보를 추출하는데 사용된다. 보다 구체적으로, 부분적으로 회전-보상된 벡터들의 길이값들이 결정된다. 각 행을 가로지르는 회전-보정된 움직임 벡터들을 이전의 행에서의 상응하는 회전-보정된 움직임 벡터들로부터 차감함으로써 차이가 결정된다. 특히, 각 행을 가로지르는 이들 차이에 중간값 필터를 적용해서 이상치를 제거한다. 그러면, 소정의 임계값과의 비교를 위해 해당 행에 대한 단일의 스코어를 취득하기 위한 평균 차이가 연산된다. 카메라를 부분적으로 보정함으로써, 위양성 검출(false positive detections), 좀더 정확히는 세장형 물체의 존재에 대한 오검출이 회피될 수 있다.
본 발명의 유리한 개량에 있어서, 물체의 부재를 검출하는 경우, 적어도 2개의 이미지에 기초하여 카메라의 외적 보정이 수행되고, 적어도 하나의 카메라의 회전은 부분적으로 회전-보상된 움직임 벡터의 길이를 균등화하는 것에 의해 부분적으로 회전-보상된 움직임 벡터에 기초하여 보정되고, 카메라의 높이는 균등화된 길이 및 균등화된 길이의 예상값에 따라 카메라의 현재 높이를 결정함으로써 보정된다. 이 스텝에서는, 외적 보정은 방위 보정을 완료하고 부가적으로 높이 보정을 수행함으로써 완료된다.
특히, 카메라의 외적 보정, 소위 움직임 추적 보정(MTC) 동작은, 물체를 보여주는 것은 아니지만 자동차 근방의 노면 또는 지면 뿐만 아니라 타맥(tarmac)과 같은 표면 상에 존재하는 질감을 적어도 부분적으로 보여주는 적어도 하나의 카메라에 의해 포착되는 이미지에 기초하여 수행된다. 노면의 질감을 나타내는 이러한 이미지를 이용하면, 컴퓨팅 장치는 게다가, 특히 이미지 상에 존재할 코너, 윤곽, 모서리 또는 선과 같은 임의의 특정한 관심 지형지물에 관한 요건 없이, 카메라를 보정하도록 되어 있다.
먼저, 회전-보상된 벡터는 움직임 벡터들의 길이를 균등화함으로써 도출된다. 이후, 보정될 제2 외적 파라미터로서의 카메라의 높이는, 비용 함수의 최소화로부터 도출되는 균등화된 회전-보상된 움직임 벡터들을 분석하는 것에 의해 결정된다. 높이는, 각 카메라의 지면으로부터의 절대 높이 또는 자동차의 카메라들 사이의 상대 높이일 수 있다.
카메라의 수정된, 회전-보정된 움직임 벡터의 길이는 차량의 속도 또는 속력에 비례하고, 지평면으로부터의 카메라의 높이에 반비례한다. 예상 길이는 소정의 벡터의 길이에 대응하고, 자동차의 속도에 의존한다. 그러므로, 길이에 대한 예상값은 차량의 속도에 따라 미리 설정되는 것이 유리하다. 특히, 자동차의 속도는, 자동차의 주행 거리 측정에 의해, 및/또는 자동차의 적어도 하나의 추가적인 카메라에 의해 포착되는 이미지에 기초하여 결정되는 적어도 하나의 추가적인 움직임 벡터에 기초하여 결정된다. 주행 거리 측정은 자동차의 움직임 센서로부터의 데이터, 예컨대 휠 회전, 조향각 등을 이용해서 시간에 따른 차량 위치 변화를 추정하는 것이다. 부가적으로 또는 대안으로서, 하나 이상의 카메라로부터의 움직임 벡터들이 고려될 수 있다. 따라서, 카메라의 높이는, 재차 투영된 움직임 벡터들이 모든 카메라에서 동일한 길이를 가지도록 각각의 카메라의 높이값을 조정함으로써 결정될 수 있다. 이를 위해, 미러 카메라들은 자동차의 하중 변화에 의한 영향을 거의 받지 않기 때문에, 미러 좌측 카메라 및 미러 우측 카메라의 움직임 벡터들의 평균 길이가 기준으로서 취해지고, 다른 카메라들의 높이값이 평균 길이와 매칭되도록 조정되는 것이 유리하다는 점이 입증된다.
카메라의 외적 보정은 세장형 물체의 부재가 검출되었던 이미지 또는 이미지 구역에 기초해서만 수행된다. 따라서, MTC는 단지, 선 또는 점과 같은 지형지물 대신 많은 수의 지형지물을 동시에 추적하는 타맥과 같은 질감이 있는 표면을 필요로 한다. 이들 지형지물은 특히, 존재가 대기없이 항상 상정될 수 있는 그리드 상의 미리 정해진 장소에서의 작은 질감 블럭이다. 이들은 블럭 매칭 동작을 이용해서 한 쌍의 프레임에서 매칭되어, 일련의 움직임 벡터를 보정에 대한 입력으로서 제공한다. 다시 말해, 양호한 강한 지형지물이 이미지에서 무작위로 나타나기를 기다리지 않는다. 움직임 벡터를 이용하는 보정 동안, 세장형 물체를 나타내는 이미지는 움직임 벡터에 의해 제공되는 깊이 정보에 의해 식별되고 효율적으로 거부될 수 있다.
도로 또는 지면에 관하여 카메라의 3-DOF 방위를 찾는 대부분의 자율적인 도로 기반 보정 알고리즘은 특히, 지면 상의 지형지물 또는 지형지물의 하위 세트를 매칭 또는 추적함으로써 일부 지점에서 지면 기준을 얻을 필요가 있기 때문에, 지형지물의 희소한 검출 및 관측 노이즈로 인해 진짜 지면 상에 있는 지형지물과 그것에 아주 근접해 있는 지형지물을 구별하기 어려울 수 있다. 그러나, 모든 지형지물 매칭을 무조건적으로 수용하면, 특히 연석을 따라 주행할 때와 같이 다수의 프레임에서 지면으로부터 지형지물이 지속적으로 발생할 경우에는, 외적 보정을 연산할 때 심각한 오차가 초래될 수 있다. 따라서, 이러한 지형지물을 나타내는 해당 프레임을 인식하고 특히 제거하는 것이 매우 유익하다.
어안 렌즈를 포함하는 카메라에 의해 포착되는 이미지의 경우에, 이미지의 어안 왜곡은 상호 대응 블럭들을 식별하기 전에 제거되는 것이 유리하다는 점이 입증된다. 이 스텝에서, 어안 카메라에 의해 포착되는 주변의, 좀더 정확히는 노면의 소위 가상 평면도가 블럭 매칭 동작을 수행하기 전에 생성된다. 따라서, 어안 왜곡된 이미지 형태의 카메라 이미지는 각각의 카메라의 기지의 내적 보정 또는 내적 파라미터, 및 예컨대 보정되지 않은 카메라에서 초기에 명목상의 디폴트 외적 보정과 동일시하는 현재의 외적 보정에 따라 변형될 수 있다. 그에 따라, 어안 왜곡이 이미지에서 완전히 제거될 수 있다. 가상 평면도는 순람표(look-up table)의 도움으로 생성될 수 있고, 이미지 품질 및 그에 따른 추적 성능을 개선하기 위한 렌더링 동안 안티-에일리어싱(anti-aliasing) 필터를 통합할 수 있다. 이는 이미지 내의 직사각형 관심 구역(rectangular regions of interest)(ROI) 또는 블럭을 허용하기 때문에 매우 유익하다. 이는, 추적 성능을 실질적으로 향상시키며 보정으로부터 픽셀-레벨 편중 또는 계통적 오차를 제거하는 프레임간 질감의 외관을 정규화한다. 따라서, 가상 평면도는 지면 상의 모든 지형지물에 대한 스케일, 회전, 아핀(affine) 및 원근감 불변성을 자동으로 제공한다.
부가적으로, 본 발명은, 본 발명에 따른 방법을 수행하도록 되어 있는 자동차의 운전자 보조 시스템용 컴퓨팅 장치에 관한 것이다. 컴퓨팅 장치는 차량-측면 제어 유닛에 통합될 수 있다. 컴퓨팅 장치는 적어도 하나의 차량-측면 카메라에 의해 포착되는 이미지 내의 세장형 물체의 존재 또는 부재를 검출하도록 되어 있다. 또한, 컴퓨팅 장치는, 적어도 하나의 카메라, 특히 각각의 차량-측면 카메라를, 차량 움직임 동안 이미지에 의해 개별적으로 보정하도록 되어 있으며, 이미지는 세장형 물체가 아니라 특히 질감을 나타낸다.
또한, 부가적으로, 본 발명은, 적어도 하나의 카메라 및 본 발명에 따른 컴퓨팅 장치를 포함하는 자동차용 운전자 보조 시스템에 관한 것이다. 운전자 보조 시스템은 차량의 주변을 모니터링하는 카메라에 의해 차량의 운전자를 지원한다. 운전자 보조 시스템은 서라운드 뷰 카메라 시스템을 형성하는 4대의 카메라를 포함할 수 있다. 카메라는, 카메라의 검출 영역을 확대하는 어안 렌즈를 포함할 수도 있다. 운전자 보조 시스템은 보정된 카메라에 의해 포착되는 이미지 내의 물체를 신뢰성 있게 검출할 수 있고, 그에 따라 예를 들어, 검출된 물체와 자동차의 임박한 충돌을 검출할 경우 경고 신호를 생성하거나 자동차를 자동으로 제동함으로써, 차량의 운전자를 지원할 수 있다.
본 발명에 따른 자동차는 본 발명에 따른 운전자 보조 시스템을 포함한다. 자동차는 특히, 승용차로서 구성된다.
본 발명에 따른 방법에 대하여 제시된 바람직한 실시예 및 그 장점은, 그에 상응하게 본 발명에 따른 컴퓨팅 장치에, 본 발명에 따른 운전자 보조 시스템에, 및 본 발명에 따른 자동차에 적용된다.
본 발명의 추가적인 특징은 청구범위, 도면 및 도면의 설명으로부터 분명해진다. 상세한 설명에서 전술한 특징들 및 특징 조합들 뿐만 아니라, 도면의 설명에서 후술되거나 및/또는 도면에서만 도시되는 특징들 및 특징 조합들은 각각의 특정 조합에서 뿐만 아니라, 본 발명의 범위로부터 일탈함이 없이 다른 조합에서 또는 단독으로 사용될 수 있다. 따라서, 도면에 명시적으로 도시 및 설명되지 않았지만, 설명된 구현예와는 구별되는 특징 조합에 의해 생성될 수 있는 구현예도 본 발명에 의해 포함 및 개시되는 것으로 간주될 수 있다. 원래 책정된 독립 청구항의 특징을 모두 갖지는 않는 구현예 및 특징 조합도 개시되는 것으로 간주될 수 있다. 또한, 특히 위에 제시된 설명에 의해, 청구범위의 관계에서 제시되는 특징 조합을 넘어 확장되거나 또는 그로부터 일탈하는 구현예 및 특징 조합도 개시되는 것으로 간주될 수 있다.
이제, 첨부 도면을 참조하고 바람직한 실시형태에 기초하여 보다 상세하게 본 발명을 설명한다.
도 1은 본 발명에 따른 자동차의 실시형태의 개략도이고;
도 2는 본 발명에 따른 방법의 실시형태의 흐름도의 개략도이고;
도 3은 움직임 벡터의 개략도일 뿐만 아니라 블럭들로 분할된 이미지의 개략도이다.
도 1은 본 발명에 따른 자동차(1)를 도시한다. 이 경우, 자동차(1)는 승용차로서 구성된다. 자동차(1)는 자동차(1)의 운전자를 지원하는 운전자 보조 시스템(2)을 갖는다. 운전자 보조 시스템(2)은, 예를 들어 차량-측면 제어 유닛에 의해 형성될 수 있는 컴퓨팅 장치(3)를 포함한다. 부가적으로, 운전자 보조 시스템(2)은 적어도 하나의 카메라(4)를 포함한다. 이 경우, 운전자 보조 시스템(2)은 4대의 카메라를 포함하며, 이때 제1 카메라(4)는 자동차(1)의 전방 영역(5)에 배치되고, 제2 카메라(4)는 차동차(1)의 후방 영역(6)에 배치되고, 제3 카메라(4)는 자동차(1)의 운전석측(7), 특히 운전석측(7) 사이드 미러에 배치되고, 제4 카메라(4)는 자동차(1)의 조수석측(8), 특히 조수석측(8) 사이드 미러에 배치된다. 운전석측(7) 및 조수석측(8)에 배치된 카메라(4)는 사이드 미러를 대체할 수 있음은 물론이고, 이 경우에는 자동차(1)가 미러 없는 주행을 가능하게 하는 미러 없는 차량(1)으로서 설계될 수 있다. 카메라(4)에 의해, 자동차(1)의 주변(9)이 이미지로 포착될 수 있다. 카메라(4)는 시야각 및 그에 따른 카메라(4)의 검출 범위를 확대하기 위해 어안 렌즈를 포함할 수 있다.
카메라(4)는 자동차(1)의 3차원 주변(9)을 2차원 이미지 형태로 나타내도록 되어 있다. 따라서, 카메라(4)는 카메라(4)의 내적 파라미터 및 외적 파라미터의 지식에 기초하여 3D 세계 좌표를 2D 픽셀 좌표로 변환할 수 있다. 예를 들어, 이러한 내적 파라미터는 카메라(4)의 초점 거리 및 이미지 센서 포맷이다. 외적 파라미터는 특히, 롤-피치-요 좌표계(X, Y, Z)로 주어지는 카메라(4)의 공간적 방위 및 카메라(4)의 높이를 기술하는 카메라(4)의 자세를 포함한다. 카메라(4)는 차량의 하중으로 인해 또는 자동차(1)의 이동 중 충격으로 인해 그 자세가 달라질 수 있기 때문에, 컴퓨팅 장치(3)는 도로(10) 상의 자동차(1)의 움직임 동안, 특히 대략 직선 움직임 동안 각각의 카메라(4)의 외적 보정을 개별적으로 수행하도록 되어 있다.
따라서, 보정되어야 하는 카메라(4)는 적어도 2개의 이미지를 순차적으로 포착하고, 해당 이미지는 도로(10)의 노면(11)의 질감을 적어도 부분적으로 나타낸다. 질감은 특히, 타맥을 포함한다. 적어도 2개의 이미지를 이용해서 카메라(4)를 보정하기 위해, 컴퓨팅 장치(3)는 자율적인 도로 기반 외적 보정 방법, 소위 움직임 추적 보정(MTC)을 수행하도록 되어 있다. 보정 방법은, 자동차(1)가, 특히 수용 가능한 속도 및 조향 공차 내에서 이동하고 있는 동안, 특히 각각의 카메라(4)로부터 연속적인 이미지 또는 사진 프레임 쌍을 분석함으로써 단일의 보정 결과를 낳는다.
여기서, 자동차(1)는 도로(10)변의 세장형 물체(12)에 평행하게 이동하고 있다. 이 경우, 물체(12)는 연석이다. 물체(12)는 벽, 배수로, 초목 또는 정지해 있는 차량일 수도 있다. 이들 물체(12)가 카메라(4)에 의해 포착된 이미지 내에 존재하는 경우, 보정이 편중될 수 있다. 그러므로, 평균 지면-레벨보다 높거나 낮게 위치되는 도로(10)변의 이들 세장형 주위 물체(12) 또는 지형지물의 존재가 검출될 것이다. 자동차(1)가 연석 또는 물체(12)에 평행하게 대략 직선으로 이동하는 동안, 이들 물체의 특성을 분류 또는 특정하려고 하는 것이 아니라, 예컨대 자동차(1)에 탑재된 보정되지 않은 카메라로부터 취득된 한 쌍의 이미지 프레임에서 단지 그 존재를 검출하려는 것이다. 이러한 세장형 지형지물(12)을 인식하는 경우, 이러한 물체(12)의 존재에 의해서는 편중되지 않는 보정을 생성하기 위해 각각의 프레임이 부적합한 프레임으로서 분류될 수 있고, 그에 따라 거부될 수 있다. 이들 물체(12)를 검출하기 위해, 컴퓨팅 장치(3)는 도 2에 개략적으로 도시되는 방법을 수행하도록 되어 있다.
제1 스텝 S1에서, 동일한 카메라(4)로부터의 2개의 프레임이 해당 카메라(4)의 기지의 내적 및 명목상의 외적 보정을 이용해서 가상 평면도, 소위 하향식 사시도로 교정될 수 있다. 특히, 스텝 S1은 카메라(4)에 의해 포착되는 이미지에서 어안 왜곡을 제거하기 위해 어안 렌즈를 갖는 카메라(4)일 경우에 수행된다. 명목상의 외적 보정은 기계적 사양에 의해 주어지며, 특히 카메라(4)의 탑재시의 기계적 공차로 인한 약간의 오차를 포함한다. 이는 약간의 원근 왜곡을 보이는, 이상적이지 않은 경사진 가상 평면도를 초래할 수 있다.
제2 스텝 S2에서, 각각의 카메라(4)와 관련되는 구간에서, 2개의 이미지(13), 특히 가상 평면도 사이에서 픽셀들의 작은 직사각형 블럭(14)들(도 3 참조)을 매칭시키는 블럭 매칭 동작이 수행된다. 이미지(13)는 이미지 좌표(x, y)로 기술된다.
기준 블럭은 하나의 프레임, 즉 제1 이미지 내의 미리 정해진 고정된 장소에서 선택될 수 있고, 다른 프레임, 예컨대 이전의 제2 이미지 내의 지정된 검색 구역 내부에서 검색될 수 있다. 기준 블럭들은 인접하거나 또는 중첩될 수 있으며, 그 형상은 직사각형, 원형 또는 그 밖의 임의의 형상일 수 있다. 통상, 규칙적인 그리드 상에 배치되는 인접하는 직사각형 블럭들이 사용된다. 블럭 크기는 이미지 품질 및 평면도의 스케일에 따라 달라질 수 있다(예컨대, 8x8, 16x16, 24x24, 32x32 픽셀 또는 그 이상) 각 블럭(14) 내의 픽셀은, 연산 속도를 높이기 위해 매칭 동작 도중에 스킵, 특히 서브-샘플링될 수 있다. 2개의 이미지 내의 2개의 상호 대응 블럭(14)을 식별한 후에, 각 쌍의 대응 블럭(14)에 대하여, 차량 움직임으로 인해 이미지(13)들 사이의 특정 노면 영역을 나타내는 하나의 이미지 영역의 장소의 변위를 기술하는 움직임 벡터 또는 변위 벡터가 결정된다. 다시 말해, 블럭 매칭 스텝 S3은 각 카메라(4)에 대하여 일련의 움직임 벡터를 생성한다.
검색 구역은 현재의 보정으로부터 도출된 예측 및 차량-측면 네트워크에 공개될 수 있는 차량 주행 거리 측정, 예컨대 CAN 또는 FlexRay에 따라 각각의 프레임에 동적으로 위치될 수 있다. 차량 주행 거리 측정을 이용하는 것이 필수는 아니지만, 알고리즘 설계를 단순화한다. 대안으로서, 소정의 동작 속도 범위 및 그에 따른 2개의 이미지(13) 내부의 블럭(14)들의 예상 변위를 커버하는 큰 고정 검색 구역이 사용될 수 있다. 다중-스케일 블럭 매칭 해법 또는 다른 지능형 방법이 주행 거리 측정을 사용하지 않고 검색 속도를 높이는데 사용될 수도 있다.
비디오-압축을 위한 움직임 추정에서 사용되는 것과 같은 통상적인 블럭 매칭 알고리즘이 사용될 수 있다. 이들은 지정된 검색 구역 내부의 가능한 모든 장소가 검사되는 전연-검색 알고리즘이라고도 하는 전역-검색 및 다이아몬드-검색 또는 육각형-기반-검색과 같은 경사-하강 기반의 방법을 포함하지만, 이에 한정되는 것은 아니다. 상호 상관, 절대차의 합, 제곱차의 합과 같은 블럭 왜곡 측정이라고도 하는 통상적인 비용 함수가 사용될 수 있거나, 또는 절대 변환차의 합, 순위, 센서스, 주파수 도메인 방법 등과 같은 보다 진보된 방법이 사용될 수 있다.
특히, 이미지 또는 입력 프레임은, 추출된 움직임 벡터가 수 픽셀의 최소 길이를 갖고, 그에 따라 상대 오차가 줄어들도록 최소 필요 이동 거리로 분리된다. 이는 (가상 평면도의 스케일에 따라) 자동차(1)의 정상 주행 속도에서 자연적으로 달성되거나, 및/또는 자동차(1)의 매우 저속으로 프레임들을 스킵하는 것에 의해 달성될 수 있다. 이는, 관측 노이즈, 지면(11)의 불규칙성 및 연산에 오차를 도입하는 차량 진동의 영향이 짧은 움직임 벡터에서 더 중요하다는 지식에 기초한다.
제3 스텝 S3은, 길이방향 축선(X)에 관한 롤 회전은 변함없이 그대로 두고 차량 횡방향 축선(Y) 및 수직방향 축선(Z)에 관한 피치 및 요 카메라 회전에 대하여 수정하도록 추출된 움직임 벡터에서 수행되는 부분적인 보정 스텝을 형성한다. 이 보정은 움직임 벡터에 의해 나타내지는 지형지물이 지면(11) 상에 놓일 필요없이 정확하게 수행될 수 있고, 즉 이 보정은 연석(12) 또는 유사한 물체에 의해 영향을 받지 않는다. 차후에 위양성 검출을 초래할 수 있는 원근감 오차를 대부분 제거한다는 점이 장점이다. 보정을 위해, 최소화되어야 하는 비용 함수는, 특히 대략 직선 주행을 위한 제약을 고려하여, 지평면(11) 상의 움직임 벡터의 기하학적 특성을 이용해서 표현된다.
평평한 지면을 직선으로 주행하는 동안, 보정된 시스템은, 원근 왜곡이 없는 가상 평면도 상의 움직임 벡터, 즉 수평한 x-축선에 모두 평행하며 동일한 길이로 이루어지는 움직임 벡터를 만들어야 한다. 가장 간단하게, 이 목적은 모든 움직임 벡터의 y-성분의 제곱과 x-성분의 분산의 합으로 표현될 수 있다. 이상적인 조건에서 보정된 카메라의 경우, 이것은 0이 된다. 여기서, 움직임 벡터는 특히, 그 길이를 균등화하지 않고도 모두 수평하게 만들려고 하는 움직임 벡터의 y-성분만을 이용함으로써 보정된다. 비용 함수를 최소화함으로써, 움직임 벡터는 도 3에 도시된 바와 같이, 부분적으로 회전-보상 및 보정된 움직임 벡터(vi,c1, vi,c2)에 맵핑될 수 있다. 움직임 벡터(vi,c1, vi,c2)는 원근 왜곡이 없고 모두 수평한 x-축선에 평행하다. 복수의 대응 블럭에 관련되는 부분적으로 회전-보상된 움직임 벡터는 노면(11)의 평면 또는 지평면에 재차 투영될 수 있고, 재차 투영된, 부분적으로 보정된 움직임 벡터는 특히, 길이방향 차량 축선(X)에 평행하게 배향된다.
한 쌍의 프레임으로부터 도출된 움직임 벡터는 실제로는 입체 대응이며, 삼각 측량 및 기지의 자체 운동을 통해 추출될 수 있는 3D 깊이 정보를 포함한다. 따라서, 제4 스텝 S4에서, 깊이 정보는 세장형 지형지물(12)을 검출하기 위해 움직임 벡터(vi,c1, vi,c2)에 기초하여 이미지로부터 추출된다. 자동차(1) 및 그에 따른 카메라 자체 운동은 온-보드 주행 거리 측정 센서로부터 도출될 수 있거나, 또는 시각적 주행 거리 측정이라고도 하는 움직임 벡터로부터 연산으로 추정될 수 있다. 깊이 및 자체 운동 정보를 번들 조정(bundle adjustment)을 통해 동시에 취득하는 것도 가능하다. 그러나, 어떠한 형태의 연산도, 예측 가능한 차량 움직임, 대략적으로 기지의 외적 카메라 보정 및 차량(1) 근방의 지면 부근의 지형지물을 고려하여 상당히 제한될 수 있다. 예를 들어, 카메라(4)는 차량(1)이 선회하고 있을 때 수직방향 축선(Z)만을 중심으로 대략 회전하고, 차량 움직임은 온-보드 주행 거리 측정 센서로부터 충분히 잘 예측될 수 있다. 외적 보정은 특히, 통상 임의의 축선(X, Y, Z)에서 +/- 3도 오차의 공차를 가진 기계적 사양으로부터 공지된다. 이들 요인을 고려하고 이를 연산에서의 제한으로서 포함시키면, 그렇지 않을 경우 매우 달성하기 어려워지는 매우 안정적인 해법을 얻을 수 있다.
특히, 주로 직선 차량 움직임이 중요하기 때문에, 자체 운동은 단순한 이동으로 감축되고 추가적인 보상은 필요하지 않다. 교정된 입체 이미지 쌍의 경우, 지형지물 지점, 좀더 정확히는 지형지물(12)과 연관되는 검출 지점의 깊이는 그 격차에 반비례한다.
특히, 상관관계는 z = f*b/d 이고, 여기서 z는 미지의 깊이이고, d는 기지의 격차이고, f는 가상 카메라의 초점 거리이고, b는 기준선이다. 선형 움직임 및 가상 평면도는, 기준선이 2개의 프레임 사이의 이동 거리와 동일한 교정된 입체 이미지 쌍을 용이하게 제공하고, 초점 거리는 가상 평면도를 생성하는데 사용된 가상 카메라의 사양에 의해 알게 된다. 이후, 지형지물 지점의 깊이는 상응하는 움직임 벡터(vi,c1, vi,c2)의 길이와 동일한 그 격차로부터 연산될 수 있다.
보다 작은 깊이의 지형지물이 일반적으로 더 큰 격차를 갖는다. 다시 말해, 연석(12)과 같이 카메라(4)에 더 가까운 지형지물은 도 3에 도시된 바와 같이, 지면(11) 상의 지형지물보다 더 긴 움직임 벡터(vi,c2)를 생성한다. 유사하게, 배수로와 같이, 지면(11)보다 낮은 지형지물은 더 짧은 움직임 벡터를 생성한다. 도 3에서 알 수 있듯이, 제1 및 제2 행(R1, R2)을 포함하는 제1 블럭 영역(15)에서의 움직임 벡터(vi,c1)의 길이(l1)는 제3, 제4, 제5 및 제6 행(R3, R4, R5, R6)을 포함하는 제2 블럭 영역(16)에서의 움직임 벡터(vi,c2)의 길이(l2)보다 길다. 따라서, 제1 블럭 영역(15)에서의 움직임 벡터(vi,c1)는 도로(10)변의 세장형 물체(12)에 기인하고, 제2 블럭 영역(16)에서의 움직임 벡터(vi,c2)는 노면(11)에 속한다.
다시 말해, 한 쌍의 프레임에서의 연석(12)의 존재는 인접하는 행들 사이, 여기서는 선(17)에 의해 시각적으로 분리되는 제2 행(R2)과 제3 행(R3) 사이의 움직임 벡터(vi,c1, vi,c2)의 길이(l1, l2)의 급격한 변화에 의해 추론될 수 있다. 상대적인 깊이 변화에 대해서만 관심이 집중되기 때문에, 각 지형지물의 실제 깊이를 연산할 필요는 없다. 대신에, 통계는 움직임 벡터(vi,c1, vi,c2)의 길이(l1, l2)에 직접적으로 적용될 수 있다.
이를 위해, 경험적 방법이 사용될 수 있다. 각각의 행(R1 내지 R6)을 가로지르는 움직임 벡터(vi,c1, vi,c2)는 이전의 행(R1 내지 R6)에서의 상응하는 움직임 벡터(vi,c1, vi,c2)로부터 차감된다. 각각의 행(R1 내지 R6)을 가로지르는 이들 차이에 중간값 필터를 적용해서 이상치를 제거한다. 이후, 해당 행(R1 내지 R6)에 대한 단일의 스코어를 취득하기 위해 평균 차이가 연산될 수 있다. 2개의 연속하는 행 사이, 여기서는 행(R2)과 행(R3) 사이에서의 급격한 깊이 변화가 보다 높은 스코어를 만든다. 스코어의 분산을 임계화하면, 연석(12)의 존재 또는 일반적으로 지면(11)의 급격한 깊이 변화에 대한 2진 분류자가 제공된다. 이 경험적 방법은, 카메라(4)의 롤에서의, 즉 차량의 길이방향 축선(X)을 중심으로 하는 보정 오차를 허용할 수 있는데, 이는 서로 다른 행(R1 내지 R6) 사이의 움직임 벡터(vi,c1, vi,c2)의 길이(l1, l2)를 균일한 방식으로 변경시키기 때문이다. 피치 및 요 회전에 있어서의 보정 오차는 스텝 S3에서 이미 제거되었다.
또한, 깊이 맵이 움직임 벡터(vi,c1, vi,c2)로부터, 좀더 정확히는 앞서 설명한 대로 격차로부터 직접 추출될 수 있다. 이후, 3D 연석 모델이 깊이 맵에 맞춰질 수 있다. 이 모델은 Z = 0 에서 지평면으로 상정되는 하나의 평면과 함께 상이한 높이의 2개의 평면으로 가장 간단하게 구성된다. 연석 모서리의 장소는 선에 의해 또는 길이방향 축선(X)에 평행하게 구속되는 선에 의해 파라미터화될 수 있다. 이는 평면들 사이의 높이 차이에 대한 하나의 파라미터 및 선에 대한 하나 또는 두 개의 파라미터를 필요로 한다. 연석(12)의 존재 및 장소는 모델 파라미터 및 적합도(goodness of fit)로부터 추론되게 된다. 경사진 평면 또는 곡면 및/또는 만곡된 연석 모서리를 고려하는 바와 같이, 보다 복잡한 모델도 가능하다.

Claims (14)

  1. 적어도 하나의 카메라(4)의 외적 보정(extrinsic calibration)을 위해 적어도 하나의 차량-측면 카메라(4)에 의해 연속적으로 포착되는 자동차(1)의 주변(9)의 적어도 2개의 이미지(13)에 기초하여 자동차(1)의 도로(10)변의 물체(12)를 검출하는 방법으로서, 상기 이미지(13)는 적어도 부분적으로 노면(11)의 질감(texture)을 나타내고, 하기의 스텝들, 즉:
    a) 상기 적어도 2개의 이미지(13)에 기초하여 적어도 2개의 상호 대응 블럭(14)을 결정하는 스텝;
    b) 적어도 두 쌍의 상호 대응 블럭(14) 각각에 대하여 각각의 움직임 벡터를 결정하는 스텝;
    c) 적어도 2개의 움직임 벡터에 기초하여 상기 적어도 2개의 이미지(13)와 관련되는 깊이 정보를 결정하는 스텝;
    d) 상기 깊이 정보에 기초하여 상기 물체(12)를 검출하는 스텝이 수행되고,
    각 쌍의 상기 움직임 벡터와 소정의 벡터 사이의 편차를 기술하는 비용 함수(cost function)가 결정되고, 상기 비용 함수를 최소화함으로써 각 쌍의 대응 블럭(14)에 대하여 부분적으로 회전-보상된 움직임 벡터(vi,c1, vi,c2)가 결정되고, 상기 부분적으로 회전-보상된 움직임 벡터(vi,c1, vi,c2)에 기초하여 상기 깊이 정보가 결정되며,
    스텝 d)에서 상기 물체(12)의 부재(absence)를 검출하는 경우, 상기 적어도 2개의 이미지에 기초하여 상기 카메라(4)의 외적 보정을 포함하는 스텝 f)가 수행되고, 상기 적어도 하나의 카메라(4)의 회전은 상기 부분적으로 회전-보상된 움직임 벡터(vi,c1, vi,c2)의 길이를 균등화하는 것에 의해 상기 부분적으로 회전-보상된 움직임 벡터(vi,c1, vi,c2)에 기초하여 보정되고, 상기 카메라(4)의 높이는 균등화된 길이 및 균등화된 길이의 예상값에 따라 상기 카메라(4)의 현재 높이를 결정함으로써 보정되는 것을 특징으로 하는
    방법.
  2. 제 1 항에 있어서,
    상기 깊이 정보를 결정하기 위해, 상기 적어도 2개의 움직임 벡터 각각의 길이(l1, l2)가 결정되고, 상기 물체(12)는 상기 적어도 2개의 움직임 벡터의 길이들(l1, l2) 사이의 차이에 기초하여 검출되는 것을 특징으로 하는
    방법.
  3. 제 2 항에 있어서,
    상기 적어도 2개의 이미지(13)는 열들 및 행들(R1, R2, R3, R4, R5, R6)로 배치되는 다수의 블럭(14)으로 분할되고, 특정 행(R1, R2, R3, R4, R5, R6) 및 열 각각에 관련되는 결정된 움직임 벡터가 결정되고, 2개의 인접하는 행(R1, R2, R3, R4, R5, R6)에 관련되는 2개의 움직임 벡터 사이의 차이는 각각의 행(R1, R2, R3, R4, R5, R6)을 가로지르는 움직임 벡터들을 이전의 인접하는 행(R1, R2, R3, R4, R5, R6)을 가로지르는 움직임 벡터들로부터 차감함으로써 결정되는 것을 특징으로 하는
    방법.
  4. 제 3 항에 있어서,
    이상치(outliers)를 제거하기 위해 각 행(R1, R2, R3, R4, R5, R6)을 가로지르는 움직임 벡터들 사이에서의 차이에 중간값 필터(median filter)가 적용되는 것을 특징으로 하는
    방법.
  5. 제 3 항에 있어서,
    2개의 인접하는 행(R1, R2, R3, R4, R5, R6)의 경우, 상기 2개의 인접하는 행(R1, R2, R3, R4, R5, R6)에 대하여 계산된 차이에 기초하여 평균 차이(average difference)가 계산되고, 상기 물체(12)는 상기 평균 차이가 소정의 임계값을 초과하는 경우에 검출되는 것을 특징으로 하는
    방법.
  6. 제 1 항에 있어서,
    상기 물체(12)의 검출을 위해, 상기 움직임 벡터는 상기 자동차(1)의 소정의(predetermined) 최소 속도의 조건을 만족하는 경우에만 상기 적어도 2개의 이미지(13)에 기초하여 결정되는 것을 특징으로 하는
    방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 비용 함수는 소정의 방향을 따르는 2개의 대응 블럭의 변위를 기술하는 상기 움직임 벡터의 제1 성분에만 기초하여 결정되는 것을 특징으로 하는
    방법.
  9. 삭제
  10. 제 1 항에 있어서,
    상기 균등화된 길이의 예상값은 상기 자동차(1)의 속도에 따라 미리 설정되고, 상기 자동차(1)의 속도는, 주행 거리 측정(odometry)에 의해, 및/또는 상기 자동차(1)의 적어도 하나의 추가적인 카메라(4)에 의해 포착되는 이미지(13)에 기초하여 결정되는 적어도 하나의 추가적인 움직임 벡터에 기초하여 결정되는 것을 특징으로 하는
    방법.
  11. 제 1 항에 있어서,
    어안 렌즈(fisheye lens)를 포함하는 카메라(4)에 의해 포착되는 이미지(13)의 경우, 스텝 a)에 앞서, 상기 이미지(13)의 어안 왜곡(fisheye distortion)이 제거되는 스텝 e)가 실행되는 것을 특징으로 하는
    방법.
  12. 제 1 항 내지 제 6 항, 제 8 항, 제 10 항 및 제 11 항 중 어느 한 항에 기재된 방법을 수행하도록 되어 있는, 자동차(1)의 운전자 보조 시스템(2)용 컴퓨팅 장치(3).
  13. 적어도 하나의 카메라(4) 및 제 12 항에 기재된 컴퓨팅 장치(3)를 포함하는 자동차(1)용 운전자 보조 시스템(2).
  14. 제 13 항에 기재된 운전자 보조 시스템(2)을 구비한 자동차(1).
KR1020187026527A 2016-03-15 2017-03-10 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 KR102104005B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016104730.9 2016-03-15
DE102016104730.9A DE102016104730A1 (de) 2016-03-15 2016-03-15 Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
PCT/EP2017/055712 WO2017157798A1 (en) 2016-03-15 2017-03-10 Method for detecting an object alongside a road of a motor vehicle, computing device, driver assistance system as well as motor vehicle

Publications (2)

Publication Number Publication Date
KR20180112010A KR20180112010A (ko) 2018-10-11
KR102104005B1 true KR102104005B1 (ko) 2020-04-24

Family

ID=58266635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026527A KR102104005B1 (ko) 2016-03-15 2017-03-10 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차

Country Status (7)

Country Link
US (1) US10789731B2 (ko)
EP (1) EP3430593B1 (ko)
JP (1) JP6743171B2 (ko)
KR (1) KR102104005B1 (ko)
CN (1) CN109074653B (ko)
DE (1) DE102016104730A1 (ko)
WO (1) WO2017157798A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318829B2 (en) * 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
EP3657441A1 (en) * 2018-11-26 2020-05-27 Connaught Electronics Ltd. Method for determining a mounting height of a camera by determining a motion vector, computer program product, electronic computing device, as well as camera
CN109855248A (zh) * 2018-12-21 2019-06-07 宁波迪比亿贸易有限公司 空调风口定位系统
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
JP7298426B2 (ja) * 2019-10-04 2023-06-27 株式会社豊田自動織機 物体検出装置
CN111667538B (zh) * 2020-04-20 2023-10-24 长城汽车股份有限公司 一种全景环视系统的标定方法、装置及系统
CN115135964A (zh) * 2020-06-02 2022-09-30 华为技术有限公司 用于检测道路上的减速带和坑洞的装置、系统和方法
CN112614090B (zh) * 2020-12-09 2021-12-31 中国水产科学研究院渔业机械仪器研究所 一种鱼类腹腔结构特征的识别方法及系统
KR20230096530A (ko) * 2021-12-23 2023-06-30 삼성전자주식회사 주행 제어 장치 및 방법
CN118314214A (zh) * 2023-09-27 2024-07-09 元橡科技（北京）有限公司 适用于双目相机的外参动态自纠正方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002335524A (ja) * 1999-09-20 2002-11-22 Matsushita Electric Ind Co Ltd 運転支援装置
JP2007300181A (ja) * 2006-04-27 2007-11-15 Denso Corp 周辺認識装置、周辺認識方法、プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
JP3797949B2 (ja) * 2002-03-28 2006-07-19 株式会社東芝 画像処理装置及びその方法
DE10244148A1 (de) * 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
DE102004001572B4 (de) * 2004-01-12 2008-11-13 Daimler Ag Laufzeit-Kalibrierungsverfahren
JP4344860B2 (ja) * 2004-01-30 2009-10-14 国立大学法人東京工業大学 ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP4565923B2 (ja) * 2004-08-03 2010-10-20 三洋電機株式会社 空気調和装置
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
US7899211B2 (en) 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP5868586B2 (ja) * 2009-11-04 2016-02-24 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置
DE102010019146A1 (de) * 2010-05-03 2011-11-03 Daimler Ag Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
DE102010062297B4 (de) 2010-12-01 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
FR2981185B1 (fr) * 2011-10-10 2014-02-14 Univ Blaise Pascal Clermont Ii Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile
DE102013224502A1 (de) * 2012-12-07 2014-06-12 Continental Teves Ag & Co. Ohg Verfahren zur Kalibrierung einer Stereokamera eines Fahrzeugs
EP2851870B1 (en) * 2013-09-20 2019-01-23 Application Solutions (Electronics and Vision) Limited Method for estimating ego motion of an object
DE102014117888A1 (de) 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
KR102507248B1 (ko) * 2015-12-02 2023-03-06 에스케이하이닉스 주식회사 에고모션 추정 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002335524A (ja) * 1999-09-20 2002-11-22 Matsushita Electric Ind Co Ltd 運転支援装置
JP2007300181A (ja) * 2006-04-27 2007-11-15 Denso Corp 周辺認識装置、周辺認識方法、プログラム

Also Published As

Publication number Publication date
EP3430593B1 (en) 2021-01-20
JP6743171B2 (ja) 2020-08-19
CN109074653B (zh) 2022-04-15
US10789731B2 (en) 2020-09-29
WO2017157798A1 (en) 2017-09-21
KR20180112010A (ko) 2018-10-11
DE102016104730A1 (de) 2017-09-21
JP2019511780A (ja) 2019-04-25
US20190080476A1 (en) 2019-03-14
CN109074653A (zh) 2018-12-21
EP3430593A1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
KR102104005B1 (ko) 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
JP7025912B2 (ja) 車載環境認識装置
EP2757524B1 (en) Depth sensing method and system for autonomous vehicles
CN107004277B (zh) 机动车辆摄像头系统的在线标定
US9378553B2 (en) Stereo image processing device for vehicle
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
US8406472B2 (en) Method and system for processing image data
US10839231B2 (en) Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
US9892519B2 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
CN113838060A (zh) 用于自主车辆的感知系统
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6768554B2 (ja) キャリブレーション装置
Ma et al. A real time object detection approach applied to reliable pedestrian detection
JP7303064B2 (ja) 画像処理装置、および、画像処理方法
JP6959032B2 (ja) 位置推定装置、移動装置
TWI808434B (zh) 障礙物檢測裝置及障礙物檢測方法
JP3951734B2 (ja) 車両用外界認識装置
WO2021215199A1 (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right