KR20210098501A - 카메라 오정렬 탐지를 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체 - Google Patents

카메라 오정렬 탐지를 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR20210098501A
KR20210098501A KR1020217020280A KR20217020280A KR20210098501A KR 20210098501 A KR20210098501 A KR 20210098501A KR 1020217020280 A KR1020217020280 A KR 1020217020280A KR 20217020280 A KR20217020280 A KR 20217020280A KR 20210098501 A KR20210098501 A KR 20210098501A
Authority
KR
South Korea
Prior art keywords
image
camera
gradient
vehicle
misalignment
Prior art date
Application number
KR1020217020280A
Other languages
English (en)
Inventor
졸탄 퍼가이버
라스츨로 바베이
Original Assignee
에이아이모티브 케이에프티.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이아이모티브 케이에프티. filed Critical 에이아이모티브 케이에프티.
Publication of KR20210098501A publication Critical patent/KR20210098501A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 차량에 고정된 카메라의 영상을 처리하고 차량의 일부와 나머지 영역(12)을 촬영하는 차량 영상 영역(11)을 포함하는 시야를 갖는 카메라 오정렬 검출 방법으로서, 상기 처리 단계에서 입력 이미지 내의 복수의 기준 위치(21)가 사용되며, 상기 기준 위치(21)는 기준 이미지에서 차량 이미지 영역(11)의 경계를 따라 가장자리 위치로서 결정되고, 상기 처리 단계는 입력 이미지 내의 기준 위치(21)에서 이미지 그래디언트의 크기가 그래디언트 임계 한계를 초과하는지 여부를 각 기준 위치(21)에서 확인함으로써 상기 기준 위치(21)가 가장자리 위치인지 확인하는 단계와, 그래디언트 임계 한계에 도달하지 않은 기준 위치(21)의 확인된 서브세트에 따라 정렬 불량을 경고하는 단계를 포함한다. 본 발명은 또한 카메라 시스템, 컴퓨터 프로그램 제품 및 방법을 구현하는 컴퓨터 판독 가능 매체에 관한 것이다.

Description

카메라 오정렬 탐지를 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체
본 발명은 차량에 고정된 카메라의 이미지를 처리하여 카메라 오정렬 검출을 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체에 관한 것이다.
많은 카메라가 일반적으로 자동차 또는 차량에 장착되며 카메라는 사전 교정된다. 즉, 위치와 방향이 정확하게 계산되고 저장된다. 카메라를 통해 보이는 실제 데이터에 대한 이해는 이러한 교정 값에 크게 좌우된다. 자동차가 주행할 때 충격으로 인해 카메라가 오정렬될 수 있으므로 재교정이 필요할 수 있다. 따라서 자율 주행차와 같은 차량에 장착된 카메라 센서는 주행 중에 오정렬될 수 있다. 온라인 교정 또는 재교정 방법은 정렬 불량을 수정할 수 있지만 이러한 방법은 시간이 오래 걸리고 계산량이 많은 작업이므로 카메라 정렬 불량이 감지된 경우에만 실행하는 것이 좋다. 따라서 효율적인 카메라 오정렬 감지가 필요하고, 오정렬 경고를 생성할 수 있는 빠르고 간단한 방법이 필요하다.
기존의 오정렬 감지 방법은 종종 US 2013/0335579 A1에 개시된 것과 같은 외부 물체 및/또는 자동차에 배치된 추가 마커를 감지하는 것을 포함하되, 감지된 변위는 카메라의 정렬 불량을 나타낸다. 이러한 추가 수단/단계/조건은 종래 기술 시스템의 복잡성을 증가시켜 오류가 발생하기 쉽고 기능 탐지를 위해 많은 컴퓨팅 파워를 필요로 한다.
US 7,877,175 B2는 이미징 어레이 센서 및 컨트롤을 포함하는 차량용 이미징 시스템을 공개한다. 이 알려진 시스템은 캡처된 이미지에서 관심 영역 또는 영역을 처리하고 차량 측면에 카메라를 설치하는 동안 발생할 수 있는 카메라의 정렬 불량을 수용하도록 처리를 조정한다. 이 문서에 따르면, 카메라 또는 이미징 센서가 원하는 시야를 제공하기 위해 원하는 허용 한계 내에서 차량(예 : 차량의 외부 부분)에 장착되었는지 확인하기 위해 카메라는 차량의 측면 및/또는 도어 핸들 또는 차량의 핸들과 컨트롤은 캡처된 이미지에서 예상 위치에 있는지 확인할 수 있다. 컨트롤이 카메라가 정렬되지 않았거나 원하는 위치를 겨냥하지 않았다고 결정하면 컨트롤은 카메라의 이러한 오정렬을 설명하기 위해 이미지 및/또는 이미지 처리를 조정할 수 있다. 예를 들어, 정렬 불량의 정도가 계산될 수 있고, 캡처된 이미지의 적절한 위치에 기준 구조를 위치시키기 위해 이미지 처리가 조정 또는 이동 및/또는 회전될 수 있다. 이 알려진 솔루션은 복잡한 객체 감지 알고리즘을 구현해야 하므로 정렬 불량 경고를 생성하는 간단하고 강력하며 신뢰할 수 있는 방법을 제공하지 않는다.
US 9,296,337 B2는 차량용 카메라를 교정하는 방법을 개시한다. 이 솔루션은 자동차의 보이는 부분인 범퍼를 사용하고 오정렬을 감지하기 위해 하나의 기준점과 복잡한 이미지 처리 알고리즘만 사용한다. 기준 포인트의 감지는 픽셀 강도를 기반으로 하는 반복 검색 알고리즘을 기반으로 한다. 이 시스템은 주로 후방 카메라용으로 설계되었으며 복잡한 이미지 처리 방법이 필요하며 이는 바람직하지 않으며 견고성을 방해하는 몇 가지 특별한 전제 조건이 있다. 예 : 알려진 시스템은 자동차 범퍼의 수평 정렬을 이용한다. 따라서 자동차 외부의 다양한 부분에 적용 가능한 일반적인 솔루션을 제공하지 않는다. 또한 하나의 지점만 감지한다고 해서 안정적인 시스템이 생성되지는 않는다. 예 : 주행 중 카메라와 범퍼의 관련 위치에 먼지가 나타나 성능이 저하되거나 감지가 불가능할 수 있다.
따라서, 본 발명의 목적은 가능한 한 종래 기술의 단점이 없는 카메라 오정렬 검출을 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체를 제공하는 것이다. 본 발명의 또 다른 목적은 오정렬 검출을 위한 간단하고 견고하며 신뢰할 수 있는 방법을 제공하고 오정렬이 검출되면 오정렬 경고를 생성하는 것이다.
본 발명의 목적은 청구항 1 및 18에 따른 방법, 청구항 19에 따른 카메라 시스템, 청구항 20에 따른 컴퓨터 프로그램 제품 및 청구항 21에 따른 컴퓨터 판독 가능 매체에 의해 달성된다. 청구항 1 및 18에 따른 방법은 종속 청구항에 의해 정의된다.
제안된 솔루션은 기존 솔루션보다 훨씬 더 유연하고 빠른 접근 방식을 제공한다. 사전 지식, 즉 차량 외부/경계로 인해 카메라 이미지에 나타나는 가장자리의 위치가 사용된다. 이런 식으로 우리는 일반적인 입력 이미지에서 예상되는 가장자리의 방향과 위치를 정확하게 알 수 있다.
입력 이미지에서 예상 위치의 δ 거리에 있는 가장자리(가장자리)를 측정할 수 있으며 방향도 확인할 수 있다. 적절한 양의 가장자리가 있고 일치하면 카메라가 잘못 정렬되지 않은 것이다. 이 방법은 모든 방향의 가장자리에 대해 작동하며 여러 체크 포인트를 정의하여 보다 강력한 감지를 수행할 수 있다. 가장자리 감지 및 방향 일치는 US 9,296,337 B2에 설명된 것보다 더 간단하고 빠른 방법이며 특히 US 2013/0335579 A1에서 사용되는 기능 감지기만큼 복잡하지 않다. (객체)가 가장자리를 유발하는 원인을 확인할 필요가 없으며 필요한 가장자리의 새 위치를 찾을 필요도 없으며 δ 위치를 계산할 필요도 없다. 이 방법의 단순성은 감지 중에 기준 점이나 특수 물체가 발견되지 않고 미리 결정된 위치에 적절한 가장자리가 있는지 확인하기만 하면 된다는 것이다.
US 9,296,337 B2의 가장자리 감지 및 방향 매칭의 복잡성으로 인해 주행 중 여러 위치를 확인하는 방법이 가능하지 않다. 그러나, 보다 간단한 점검 단계를 생성함으로써 복수의 위치를 연속적으로 또는 정기적으로 점검할 수 있어 매우 제한된 부분의 시스템 자원만을 필요로 하면서 오정렬 검출을 보다 신뢰할 수 있는 것으로 인식되었다.
제안된 솔루션은 원하는 위치의 그래디언트 크기를 확인하고 한계 위치 수가 가장자리 기준을 충족하는 경우 경고 신호를 보낸다. 따라서 감지된 가장자리가 자동차에 속하는지 물체에 속하는지 확인할 필요가 없으며 자동차의 가장자리가 어디에 있는지도 확인하지 않는다. 우리의 조건은 원하는 수의 위치에 가장자리가 있는지 여부이다.
본 발명은 자동차, 즉 자율 주행 자동차에 조립된 카메라가 자동차 차체의 일부를 볼 수 있다는 사실을 사용한다. 공장에서 카메라를 교정할 때 얼라인먼트 정보 중 차량에 속하는 카메라 이미지의 일부와 나머지 영역을 덮는 부분을 식별하는 마스크도 생성 할 수 있다. 이 마스크를 사용하면 차체의 가장자리를 추출할 수 있다.
주행 중 이 시스템을 사용하면 기준 데이터에 따라 가장자리가 있어야 할 곳에 존재하는지 여부를 확인한다. 불일치가 있는 경우(예 : 가장자리가 있어야 하는 곳에 존재하지 않는 경우) 카메라 정렬 불량 경고 신호가 발생하고 적절한 온라인 교정 방법을 실행할 수 있다.
제안된 방법은 종래 기술의 한계를 극복한다. 카메라와 자동차 이외의 추가 부품이 필요하지 않다. 복잡한 이미지 처리 알고리즘이 필요하지 않다. 이 방법은 카메라가 차체를 볼 수 있는 모든 상황에서 작동하기에 충분히 유연하다. 예를 들어 자동차 범퍼의 수평과 같은 전제 조건에 의존하지 않는다.
본 발명은 이하 도면을 기준하여 바람직한 예시적인 실시 예에 의해 설명될 것이다.
도 1은 예시적인 기준 이미지이다.
도 2는 도 1의 이미지에서 수행된 가장자리 검출 이미지 처리의 결과이다.
도 3은 도 2의 이미지에서 기준 위치를 식별하기 위해 사용되는 예시적인 라인 섹션을 도시한다.
도 4는 도 3에서 식별된 기준 위치 라인을 보여준다.
도 5는 변위된 가장자리 위치 선을 보여준다.
도 6은 회전된 가장자리 위치 선을 도시한다.
도 7은 또 다른 예시적인 기준 이미지이다.
도 8은 도 7의 기준 이미지에 기초하여 획득된 마스크 이미지이다.
도 9는 도 8의 마스크 이미지에 기초하여 기준 위치에 대해 식별된 비이동 가장자리를 보여준다.
본 발명은 차량, 바람직하게는 하나 이상의 카메라가 장착된 자율 주행 차량을 포함하는 시스템을 기반으로 한다. 단순화를 위해, 이하의 바람직한 실시 예는 주로 자동차에 대해 설명될 것이다.
제안된 방법은 차체와 배경이 항상 경계, 즉 가장자리로 분리된다는 사실을 기반으로 한다. 카메라의 시야에는 차체와 배경 사이의 가장자리 정보도 포함된다. 제안된 방법의 주요 단계는 다음과 같다.
차를 운전하는 동안 입력 이미지가 촬영되고, 다음이 수행된다.
- 가장자리 정보/그래디언트가 가장자리와 같은 그래디언트가 있어야 하는 미리 결정된 위치에서 계산된다;
- 가장자리가 충분히 강한 지, 즉 그래디언트가 있어야 하는 곳에 있는지 확인한다; 이것은 기준 이미지의 경계(테두리)를 의미한다.
- 있어야 할 위치에 충분한 가장자리가 있으면 카메라가 정렬된 것으로 간주된다.
- 그렇지 않으면 재교정을 요청하는 신호가 발행된다.
가장자리 감지는 매우 빠르고 가벼운 작업으로 구현할 수 있다. 또한 차량 바디 경계에 해당하는 가장자리가 존재해야 하는 기준 이미지를 통해 미리 알고 있듯이 해당 위치의 가장자리 정보를 계산하고 존재 여부를 확인할 수 있다. 정렬된 경우 원하는 위치에 충분한 가장자리가 있지만 그렇지 않으면 가장자리 크기가 충분하지 않다. 보다시피 이 방법은 간단한 작업이 필요하다: 특징 감지 또는 이와 유사한 계산 작업이 필요하지 않다.
따라서, 본 발명은 차량에 고정된 카메라의 이미지를 처리함으로써 카메라 오정렬을 검출하는 방법이다. 기준 위치를 결정하는 예시적인 단계는 도 1-4에 도시되어 있다.
도 1의 첫 번째 단계로서, 기준 이미지(10)가 카메라에 의해 촬영된다. 카메라는 차량의 일부를 영상화하는 차량 이미지 영역(11)과 차량 주변을 본질적으로 영상화하는 나머지 영역(12)을 포함하는 시야를 갖는다.
그 후, 도 2에 도시된 바와 같이 차량의 가장자리(13)를 추출하는 기준 이미지(10)에 가장자리 검출이 적용된다. 이 목적을 위해 알려진 가장자리 감지 방법을 사용할 수 있다. 많은 수의 수동, 반자동 또는 자동 알고리즘이 선행 기술에서 알려져 있다. 예 : 신경망 이미지 처리를 적용하는 사람들.
차량 바디의 추가 가장자리는 일반적으로 덜 정확하고 반사 및 변위의 영향을 받기 때문에 극한, 즉 경계 가장자리만 유지하는 것이 유리하다는 것이 밝혀졌다. 더욱이, 너무 많은 기준 위치(21)는 방법을 덜 실용적으로 만든다. 따라서, 도 3 및 4의 바람직한 단계에서, 차량 바디의 경계(20)인 극단 가장자리가 국부화되고 기준 위치(21)를 정의하기 위해서만 사용된다. 경계(20)의 모든 픽셀은 기준 위치(21)를 구성할 수 있지만, 이들 픽셀의 서브 세트도 사용될 수 있다. 이를 위해 차량 이미지 영역(11)은 항상 이미지의 주변에 있는 것으로 밝혀졌으며, 따라서 기준 이미지(10)에서 기준 위치(21)를 결정하는 유리하게 간단한 방법은 기준 이미지(10)의 중간(15)에서 바깥쪽으로 시작하는 라인 섹션(16)을 따라 차량 이미지 영역(11)의 제 1 가장자리 픽셀을 찾는 것이다. 이 픽셀을 찾으면 기준 위치 라인(22)은 다음과 같다: 이는 잠재적인 기준 위치(21)로 구성되며, 이들 중 일부 또는 전부는 카메라 오정렬을 확인하기 위해 추가로 사용될 수 있다.
바람직하게는, 각각의 라인 섹션(16)은 임의의 기준 위치 라인(22)의 모든 픽셀을 찾기 위해 기준 이미지(10)의 각 주변 픽셀(17)을 기준 이미지(10)의 중간(15)과 상호 연결한다. 대안적으로, 인접한 라인 섹션(16)은 기준 이미지(10) 전체에서 본질적으로 동일한 간격의 기준 위치(21)를 찾기 위해 서로 동일하게 각을 이룰 수 있다. 라인 섹션(16)을 사용하는 다른 방법도 예를 들어 다음과 같이 생각할 수 있다. 예: 차량 이미지 영역(11)의 제 1 가장자리 픽셀을 찾은 다음 그 이웃 픽셀을 사용하여 추가 라인 섹션(16)을 정의한다.
사전 정보는 바람직하게는 차량 이미지 영역의 경계(20)를 가로 지르는 라인 섹션(16)을 따라서만 찾기 프로세스를 수행하기 위해 사용될 수 있다. 더욱 바람직하게는 차량 바디의 움직일 수 없는 부분에 해당하는 경계 부분(20)만 기준 위치(21)를 결정하는 데 사용된다.
따라서, 본 발명의 처리 단계에서 카메라의 입력 이미지 내의 복수의 기준 위치(21)가 사용되며, 기준 위치(21)는 기준 이미지(10)에서 차량 이미지 영역(11)의 경계(20)를 따라 가장자리 위치로서 결정된다. 처리 단계는 입력 이미지 내의 기준 위치(21)에서 상기 기준 위치(21)가 각각의 기준 위치(21)에서 이미지 그래디언트의 크기가 미리 결정된 그래디언트 임계 한계를 초과하는지 여부를 확인함으로써 가장자리 위치인지 확인하는 단계를 포함한다. 그래디언트 임계 한계는 경험적으로 모든 기준 위치(21)에 대해 균일하게 설정될 수 있거나, 기준 이미지(10)의 기준 위치(21)에서 그래디언트 크기 중 가장 낮은 그래디언트 크기를 기준으로 선택될 수 있다. 그래디언트 임계 한계는 이 최저 그래디언트 크기에 해당하거나 이 값의 특정 백분율로 선택할 수 있다. 숙련된 사람은 주어진 애플리케이션의 상황에 따라 이 한계를 적절하게 설정할 수 있다.
이미지 그래디언트는 일반적으로 알려진 용어이며 그 기술적 의미는 선행 기술에서 철저히 논의된다. 이미지 그래디언트는 이미지의 강도 또는 색상의 방향 변화이다. 수학적으로 각 이미지 포인트의 그래디언트는 수평 및 수직 방향의 도함수에 의해 주어진 구성 요소가 있는 2D 벡터이다. 각 이미지 포인트에서 그래디언트 벡터는 가능한 가장 큰 강도 변화 방향을 가리키고 그래디언트 벡터의 길이는 해당 방향의 변화율에 해당한다.
이미지 그래디언트 벡터는 일반적으로 직접 인접 픽셀을 기반으로 계산되지만, 우리의 실험에서 두번째 이웃 또는 인접한 픽셀 값 세트를 기준으로 그래디언트를 계산하면 방향과 크기 측면에서 노이즈에 덜 민감하고 더 정확한 결과를 얻을 수 있음이 인식되었다.
오정렬 검출의 마지막 단계로서, 그래디언트 임계 한계에 도달하지 않는 기준 위치(21)의 확인된 서브 세트에 따라 오정렬이 경고된다. 이러한 맥락에서, 용어 서브세트는 기준 위치(21)의 일부, 또는 특정 그룹의 기준 위치(21), 또는 둘 모두를 포함할 수 있다.
도 5는 입력 이미지에서 변위된 가장자리 위치 라인(23)의 예를 점선으로 도시한다. 그러한 경우, 기준 위치(21) 중 어느 것도 가장자리 위치를 구성하지 않으므로 정렬 불량 경고가 생성될 것이다. 자동차 애플리케이션에 대한 실험에서 기준 위치(21)의 최소 30 %에서 그래디언트 임계 값 한계에 도달하지 않으면 정렬 불량을 경고함으로써 강력한 정렬 불량 감지를 달성 할 수 있음이 밝혀졌다. 이러한 제한은 감지 프로세스에서 먼지 또는 기타 장애에 대한 충분한 허용치를 가능하게 하며 동시에 정렬 불량이 발생하지 않은 경우 정렬을 확인할 수 있을 만큼 충분히 커진다.
도 6은 입력 이미지에서 회전된 가장자리 위치 라인(24)의 예, 즉 카메라의 회전 유형 오정렬의 예를 점선으로 도시한다. 서브세트(30) 내의 기준 위치(21)의 미리 결정된 부분에 대해 그래디언트 임계 한계에 도달하는 연속적인 인접 기준 위치(21)의 서브세트(30)가 있고, 그리고, 그래디언트 임계 한계가 서브세트(31, 31')에서 기준 위치(21)의 미리 결정된 부분에 대해 도달되지 않는 연속적인 인접 기준 위치(21)의 적어도 하나의 인접 서브세트(31, 31')가 있는 경우, 추가로 감지하고 경고 할 수 있다. 미리 결정된 비율은 각 기준 위치(21)의 총 수의 예를 들면 80-90 %로 설정될 수 있다. 회전 중심이 이미지의 가장자리에 있는 경우, (또는 각각) 정렬된 서브세트(30)에 대해 하나의 인접한 서브 세트(31, 31')만이 존재할 수 있다.
가장자리 위치 감지에 대해 약간의 허용 오차를 제공하는 것이 선호된다. 따라서, 각 기준 위치(21)는 입력 이미지의 픽셀이 될 수 있고, 그래디언트 임계 한계에 도달하는 것은 픽셀 주변의 n 개의 픽셀에서 확인할 수 있되, n은 바람직하게는 0과 2 사이이고, 적어도 하나의 확인된 픽셀에 대해 그래디언트 임계 한계에 도달하면 가장자리 위치가 확인된다. 0 픽셀 주변은 기준 위치(21)의 픽셀만 확인하는 것을 의미하고, 1 픽셀 주변은 8 개의 직접 인접 픽셀도 확인하는 것을 의미하며, 2 픽셀 주변은 후자의 직접 인접 픽셀도 확인함을 의미한다. 물론, n에 대해 다른 적절한 수를 선택할 수 있다. 이러한 방식으로 올바른 작동에 영향을 주지 않는 작은 정렬 불량은 경고되지 않으며 불필요한 재교정을 피할 수 있다.
이미지 그래디언트의 크기는 바람직하게는 대응하는 이미지 그래디언트 벡터의 길이에 기초하여 계산된다. 또한 이미지 그래디언트 벡터의 방향도 확인할 수 있다. 예상되는 기준 방향에 있는 이미지 그래디언트 벡터의 구성 요소와 한계를 비교하는 데 선호되는 방법이다. 이러한 방식으로, 이미지 그래디언트의 크기는 이미지 그래디언트 벡터의 벡터 구성 요소의 길이에 대응할 것이며, 벡터 구성 요소는 주어진 기준 위치(21)에 대해 기준 이미지(10)에서 결정된 대응하는 기준 그래디언트 방향과 평행하다. 바람직하게는, 가장 큰 절대 크기, 즉 가장 긴 이미지 그래디언트 벡터를 갖는 픽셀에 대해 방향이 계산된다.
기준 이미지(10) 및 입력 이미지는 바람직하게는 그레이 스케일 이미지이나, RGB 또는 RGBA 이미지도 생각할 수 있으며, 이 경우 각 이미지 채널에 대해 이미지 그래디언트를 계산할 수 있다. 이러한 이미지 그래디언트 중 가장 큰 것은 그래디언트 임계 한계와 비교할 수 있다. 이러한 방식으로 방법의 효과는 차량 바디 및 주변의 색상과 무관하게 만들어 질 수 있다. 물론 다른 다중 채널 처리 전략도 생각할 수 있다. 예 : R, G 및 B 이미지 그래디언트의 평균은 주어진 응용 프로그램의 관점에서 적절한 경우 비교에 사용할 수도 있다.
콘트라스트가 낮은(예 : 더 어두운) 조건에서는 입력 이미지의 콘트라스트를 향상시켜야 할 수 있다. 이것은 카메라 이미지를 축적하여 각 입력 이미지를 생성하여 수행할 수 있다. 누적된 카메라 이미지의 수(또는 누적 시간 프레임)는 바람직하게는 카메라 이미지의 콘트라스트에 반비례한다. 적절한 계산된 콘트라스트 값은 소위 RMS(root mean square) 콘트라스트 값으로, 누적 시간 프레임이나 누적할 이미지 수를 결정하는 데 사용할 수 있다. 축적을 통해 충분한 콘트라스트를 달성하는 또 다른 방법은 기준 이미지를 특징짓는 콘트라스트 값에 도달할 때까지 카메라 이미지를 축적하는 것이다. 이미지 축적에는 노이즈 필터링 효과도 있다.
경계(20)의 폭, 즉 이미지에서 대응하는 전환의 폭이 픽셀의 폭보다 작으면 바람직하다. 이러한 방식으로 기준 위치(21)는 픽셀 그룹 대신에 픽셀 위치 일 수 있다. 이를 위해 기준 이미지(10) 및 입력 이미지의 크기는 카메라 이미지의 크기보다 작을 수 있으며, 경계(20)의 너비가 픽셀 너비보다 작도록 크기를 선택한다.
가우시안 필터(Gaussian filter)를 카메라 이미지에 적용하여 노이즈와 같은 극단을 제거 할 수도 있다. 따라서보다 정확한 그래디언트 계산이 가능하다.
추가 단계로서, 그래디언트 임계 값 한계에 도달하지 않는 각 기준 위치(21)에 대해 잘못 정렬된 가장자리 위치에 대한 검색이 또한 수행될 수 있다. 이러한 검색 결과와 가장 가까운 가장자리 위치를 기반으로 정렬 불량의 정도와 방향을 계산할 수 있다.
도 7은 도 8에서와 같은 마스크 이미지(40)가 생성될 수 있는 기준 이미지(10')의 다른 예를 도시한다. 마스크 이미지에서 카메라의 어안 속성으로 인해 차량 바디의 경계와 원형 가장자리가 나머지 영역과 분리된다.
자동차 경계는 주행 중에 타이어나 자동차의 미러가 움직일 수 있으므로 해당 부품은 기준 위치에 적합하지 않다. 운전 중 항상 동일한 위치에 머무르는 가장자리만 포함하는 마스크 정보에 대한 경계 맵을 만드는 것이 바람직하다. 따라서 미러에 속하는 경계 부분은 정의 기준 위치(21)에서 제외된다.
원형 가장자리에도 동일하게 적용되며 카메라가 움직여도 동일하게 유지된다(카메라 자체에 속하고 카메라 자체에 의해 유발됨). 따라서 정렬 불량 이벤트를 나타내지 않는다. 도 9는 이동 불가능한 가장자리(41), 즉 기준 위치(21)를 정의하는 데 사용될 수 있는 경계 부분을 굵은 선으로 보여준다.
교정 과정에서 검사할 가장자리 부분은 수동으로 또는 적절한 반자동 또는 자동화 방법을 통해 쉽게 식별 할 수 있다. 예 : 신경망 이미지 처리를 통해. 본 발명의 방법은 전술한 바와 같이 식별된 가장자리 세트, 보다 구체적으로 식별된 가장자리 세트상의 기준 위치 세트(21)에 기초한다
카메라 교정 프로세스 중에 마스크 이미지도 생성되는 경우 마스크 이미지는 자동차 및 배경에 속하는 픽셀을 식별한다. 카메라가 단단히 장착되어 있기 때문에 마스크는 주행 중 동일하게 유지되어야 하며 필요한 경우 반복 또는 연속 모니터링과 같은 추가 작업에 사용할 수 있다.
따라서, 본 발명은 또한 초기 정렬에 대한 카메라의 오정렬을 검출하는 방법이며, 카메라는 차량에 고정되고 차량의 일부를 이미징하는 차량 이미지 영역(11) 및 나머지 영역(12)을 포함하는 시야를 갖고, 차량 이미지 영역(11)은 나머지 영역(12)과 경계(20)를 갖는다. 기준 이미지(10, 10')는 카메라가 초기 정렬 상태로 촬영되고 복수의 기준 위치(21) - 바람직하게는 x 및 y 좌표에 의해 정의되는 이미지의 절대 위치 - 기준 이미지(10, 10')에서 결정된다. 기준 위치(21)는 기준 이미지(10, 10')에서 차량 이미지 영역(11)의 경계(20)를 따른 가장자리 위치이다. 오정렬 검출은 기준 이미지(10, 10')가 촬영된 후 카메라로 촬영된 입력 이미지를 처리하여 수행되며, 처리는 다음을 포함한다.
- 카메라로 입력 이미지 촬영하는 단계,
- 입력 영상 내의 기준 위치(21)에서 기준 위치(21)가 가장자리 위치인지 여부를 각 기준 위치(21)에서 이미지 그래디언트의 크기가 그래디언트 임계 한계 이상인지 확인함으로써 구체적으로 확인하는 단계, 및
- 그래디언트 임계 한계에 도달하지 않은 기준 위치(21)의 확인된 서브세트에 따라 정렬 불량을 경고하는 단계.
현재의 접근 방식은 종래 기술에 비해 더 간단할 뿐만 아니라 더 적은 계산 능력을 필요로 함을 알 수 있다. 본 발명은 온라인 교정이 필요할 때 신호를 제공하는 것에 관한 것이며, 그 후에 온라인 교정이 임의의 적절한 방식으로 수행될 수 있다.
현재의 방법은 이러한 경고를 위해 추가 물체, 센서 또는 데이터를 사용할 필요가 없다. 기준 위치는 차량 바디 경계를 따라 일반 교정 프로세스 중에 결정되며, 바람직하게는 사전 정보도 고려하여 결정된다. 차량 바디 가장자리에 있는 기준 위치는 프로세스에 사용되는 유일한 정보이다.
특별한 인식 기술도 사용하지 않는다. 차량 바디의 가장자리가 어디에 있는지 알면 입력 이미지에 가장자리와 같은 그래디언트가 있는지 확인하는 것으로 충분하다. 특징점 감지, 객체 분류 등이 필요하지 않다. 추가 센서도 필요하지 않다.
이 방법에는 적은 양의 계산 능력만 필요하다. 미리 결정된 위치에서 임계 그래디언트는 빠르고 간단한 방법이다.
본 발명의 해결책은 감지와 교정이 통합된 프로세스를 형성해야 한다는 일반적인 기술적 편견을 극복하고 동시에 자동차의 가장자리를 감지하는 것이 교정에 사용되어야 한다는 것이다. 반대로, 본 발명의 방법은 교정과 오정렬 검출을 분리하여 간단한 방법으로 수행할 수 있는 간단한 검사로 훨씬 빠른 검출을 가능하게 한다. 이를 통해 1 초 이내에 오정렬 감지가 가능하여 빠르게 움직이는 차량에서 생명을 구할 수 있다.
본 발명의 검증 프로세스는 또한 재교정 변환에 따라 미리 결정된 기준 위치를 변환하고 변환된 기준 위치에서 가장자리 위치 검출을 수행함으로써 재교정을 검증하는 데 사용될 수 있다. 정렬되지 않은 가장자리 위치 검색도 수행되는 경우 가장자리 위치 감지를 기반으로 비용 함수를 생성할 수도 있다. 비용 함수는 이러한 검색 결과를 기반으로 계산된 오정렬 값(거리 및 방향)을 사용할 수 있으며 자동 교정 목적으로 사용할 수 있다.
상기 방법에 의해 차량에 고정된 카메라를 포함하는 카메라 시스템이 작동될 수 있다. 위의 방법으로 카메라의 오정렬을 감지 할 수 있다. 컴퓨터 프로그램 제품 및 방법을 구현하는 컴퓨터 판독 가능 매체도 포함된다.
예시적인 실시 예가 구체적으로 도시되고 설명되었지만, 당업자에 의해 그 안에서 다양한 형태 및 세부 사항이 변경될 수 있다. 이러한 변경 및 기타 등가물은 또한 다음의 청구 범위에 포함되도록 의도된다.
10 기준 이미지
10' 기준 이미지
11 차량 이미지 영역
12 남은 영역
13 가장자리
15 중간
16 라인 섹션
17 주변 픽셀
20 경계
21 기준 위치
22 기준 위치 선
23(변위된) 가장자리 위치 선
24(회전) 가장자리 위치 선
30 서브세트
31 서브세트
31' 서브 세트
40 마스크 이미지
41 이동 불가능한 가장자리

Claims (21)

  1. 차량에 고정된 카메라의 영상을 처리하고 차량의 일부와 나머지 영역(12)을 촬영하는 차량 영상 영역(11)을 포함하는 시야를 갖는 카메라 오정렬 검출 방법으로서, 상기 처리 단계에서 입력 이미지 내의 복수의 기준 위치(21)가 사용되고, 상기 기준 위치(21)는 기준 이미지(10, 10')에서 차량 이미지 영역(11)의 경계(20)를 따라 가장자리 위치로 결정되고, 상기 처리 단계는 입력 이미지 내의 기준 위치(21)에서 기준 위치(21)가 각각의 기준 위치(21)에서 이미지 그래디언트(image gradient)의 크기가 그래디언트 임계 한계(gradient threshold limit)를 초과하는지 확인함으로써 가장자리 위치인지 확인하는 단계, 및 그래디언트 임계 한계에 도달하지 않은 기준 위치(21)의 확인된 서브세트에 따라 정렬 불량을 경고하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    각각의 기준 위치(21)는 입력 이미지의 픽셀이고, 그래디언트 임계 한계에 도달하는 것은 픽셀의 n 개의 픽셀 주변에서 확인되되, n은 바람직하게는 0 내지 2이고, 그리고 최소한 하나의 확인된 픽셀에 대해 그래디언트 임계 한계에 도달하면 가장자리 위치가 확인되는, 방법.
  3. 제 1 항에 있어서,
    상기 이미지 그래디언트의 크기는 대응하는 이미지 그래디언트 벡터의 길이에 기초하여 계산되는, 방법.
  4. 제 3 항에 있어서,
    상기 이미지 그래디언트의 크기는 이미지 그래디언트 벡터의 벡터 성분의 길이에 대응하고, 벡터 성분은 주어진 기준 위치(21)에 대해 기준 이미지(10, 10')에서 결정된 대응하는 기준 그래디언트 방향과 평행한, 방법.
  5. 제 1 항에 있어서,
    기준 이미지(10, 10') 및 입력 이미지는 그레이 스케일 이미지인, 방법.
  6. 제 1 항에 있어서,
    기준 이미지(10, 10') 및 입력 이미지는 RGB 또는 RGBA 이미지이고, 상기 확인 단계에서 이미지 그래디언트는 이미지의 각 채널에 대해 계산되고, 그리고 이러한 이미지 그래디언트 중 가장 큰 것이그래디언트 임계 한계와 비교되는, 방법.
  7. 제 1 항에 있어서,
    각각의 입력 이미지는 카메라 이미지의 누적에 의해 획득되고, 누적된 카메라 이미지의 수는 카메라 이미지의 RMS(root mean square) 콘트라스트에 반비례하는, 방법.
  8. 제 1 항에 있어서,
    기준 이미지(10, 10') 및 입력 이미지의 크기는 카메라 이미지의 크기보다 작으며, 상기 크기는 상기 경계(20)의 폭이 픽셀의 폭보다 작은 것을 보장하도록 선택되는, 방법.
  9. 제 1 항에 있어서,
    상기 입력 이미지는 가우시안 필터(Gaussian filter)를 적용하여 필터링된 이미지인, 방법.
  10. 제 1 항에 있어서,
    상기 그래디언트 임계 한계는 기준 이미지(10, 10')의 기준 위치(21)에서의 그래디언트 크기 중 가장 낮은 그래디언트 크기에 기초하여 선택되는, 방법.
  11. 제 1 항에 있어서,
    기준 위치(21)의 적어도 30 %에서 그래디언트 임계 한계에 도달하지 않으면 오정렬이 경고되는, 방법.
  12. 제 11 항에 있어서,
    - 서브세트(30)에서 기준 위치(21)의 미리 결정된 부분에 대해 그래디언트 임계 한계에 도달하는 연속적인 인접 기준 위치(21)의 서브 세트(30)가 있고, 그리고
    - 서브세트(31, 31')에서 기준 위치(21)의 미리 결정된 부분에 대해 그래디언트 임계 한계에 도달하지 않는 연속적인 인접 기준 위치(21)의 인접 서브세트(31, 31')가 있는 경우, 카메라의 회전을 경고하는, 방법.
  13. 제 1 항에 있어서,
    그래디언트 임계 한계에 도달하지 않은 각 기준 위치(21)에 대해 오정렬된 가장자리 위치에 대한 검색이 수행되고, 검색 결과에 기초하여 오정렬을 계산하는, 방법.
  14. 제 1 항에 있어서,
    기준 이미지(10, 10')에서 상기 기준 위치(21)는 기준 이미지(10, 10')의 중간(15)에서 바깥쪽으로 시작하는 라인 섹션(16)을 따라 차량 이미지 영역(11)의 첫번째 가장자리 픽셀을 발견하여 결정되는, 방법.
  15. 제 14 항에 있어서,
    라인 섹션(16)은 기준 이미지(10, 10')의 각 주변 픽셀(17)을 기준 이미지(10, 10')의 중간(15)과 상호 연결하거나, 또는 인접한 라인 섹션(16)은 서로 동일하게 각을 이루는, 방법.
  16. 제 14 항에 있어서,
    상기 경계(20)를 교차할 수 있는 라인 섹션(16)을 따라서만 상기 발견을 수행하기 위해 사전 정보가 사용되는, 방법.
  17. 제 1 항에 있어서,
    차량 바디의 이동 불가능한 부분에 대응하는 경계(20) 부분만이 기준 위치(21)를 결정하기 위해 사용되는, 방법.
  18. 초기 정렬에 대한 카메라의 오정렬을 감지하는 방법으로서, 카메라는 차량에 고정되고 차량의 일부를 촬영하는 차량 이미지 영역(11)과 나머지 영역(12)을 포함하는 시야를 갖고, 차량 이미지 영역(11)은 나머지 영역(12)과의 경계(20)를 갖되, 기준 이미지(10, 10')는 카메라의 초기 정렬 상태로 촬영되고, 기준 이미지(10, 10')에서 복수의 기준 위치(21)가 결정되며, 기준 위치(21)는 기준 이미지(10, 10')에서 차량 이미지 영역(11)의 경계(20)를 따라 가장자리 위치이고, 그리고 기준 이미지(10, 10')를 촬영한 후 카메라로 촬영한 입력 이미지를 처리하여 오정렬을 검출하고, 상기 처리는
    - 카메라로 입력 이미지 촬영하는 단계,
    - 입력 이미지 내의 기준 위치(21)에서 각 기준 위치(21)에서 이미지 그래디언트의 크기가 그래디언트 임계 한계를 초과하는지 확인하여 기준 위치(21)가 가장자리 위치인지 여부를 구체적으로 확인하는 단계, 및
    - 그래디언트 임계 한계에 도달하지 않은 기준 위치(21)의 확인된 서브세트에 따라 정렬 불량을 경고하는 단계를 포함하는, 방법.
  19. 차량에 고정된 카메라를 포함하는 카메라 시스템으로서, 제 1 항 내지 제 18 항 중 어느 한 항에 따른 방법에 의해 카메라의 오정렬이 검출되는 카메라 시스템.
  20. 컴퓨터에 의해 프로그램이 실행될 때, 컴퓨터로 하여금 제 1 항 내지 제 18 항 중 어느 한 항의 방법을 수행하게 하는 명령어를 포함하는 컴퓨터 프로그램 제품.
  21. 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 제 1 항 내지 제 18 항 중 어느 한 항의 방법을 수행하게 하는 명령을 포함하는 컴퓨터 판독 가능 매체.
KR1020217020280A 2018-12-04 2019-12-03 카메라 오정렬 탐지를 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체 KR20210098501A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/208,997 US10664997B1 (en) 2018-12-04 2018-12-04 Method, camera system, computer program product and computer-readable medium for camera misalignment detection
US16/208,997 2018-12-04
PCT/HU2019/000040 WO2020115512A1 (en) 2018-12-04 2019-12-03 Method, camera system, computer program product and computer-readable medium for camera misalignment detection

Publications (1)

Publication Number Publication Date
KR20210098501A true KR20210098501A (ko) 2021-08-10

Family

ID=69191066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020280A KR20210098501A (ko) 2018-12-04 2019-12-03 카메라 오정렬 탐지를 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체

Country Status (6)

Country Link
US (1) US10664997B1 (ko)
EP (1) EP3891699A1 (ko)
JP (1) JP7545691B2 (ko)
KR (1) KR20210098501A (ko)
CN (1) CN113168701A (ko)
WO (1) WO2020115512A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102696976B1 (ko) * 2023-11-14 2024-08-20 주식회사 파이비스 이송되는 오브젝트의 표면을 검사하는 시스템에서 카메라를 정렬하기 위한 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112652021B (zh) * 2020-12-30 2024-04-02 深圳云天励飞技术股份有限公司 相机偏移检测方法、装置、电子设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317644A (en) * 1992-06-16 1994-05-31 Mcgill University Method for the enhancement of cell images
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US8116581B2 (en) * 2007-06-28 2012-02-14 Microsoft Corporation Efficient image representation by edges and low-resolution signal
US8054881B2 (en) * 2008-12-22 2011-11-08 Honeywell International Inc. Video stabilization in real-time using computationally efficient corner detection and correspondence
EP2293247B1 (en) 2009-07-29 2012-09-05 Harman Becker Automotive Systems GmbH Edge detection with adaptive threshold
JP5372680B2 (ja) * 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
WO2011085489A1 (en) 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
WO2013086249A2 (en) 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9317928B2 (en) * 2012-04-06 2016-04-19 Adobe Systems Incorporated Detecting and tracking point features with primary colors
US20130335579A1 (en) 2012-06-15 2013-12-19 Palo Alto Research Center Incorporated Detection of camera misalignment
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
US20140369557A1 (en) * 2013-06-14 2014-12-18 Qualcomm Incorporated Systems and Methods for Feature-Based Tracking
US9311690B2 (en) * 2014-03-11 2016-04-12 Adobe Systems Incorporated Video denoising using optical flow
JP6458439B2 (ja) 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP6584208B2 (ja) * 2015-08-07 2019-10-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6648925B2 (ja) * 2015-12-17 2020-02-14 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体
WO2017132858A1 (en) * 2016-02-03 2017-08-10 Chongqing University Of Posts And Telecommunications Methods, systems, and media for image processing
JP2017224998A (ja) 2016-06-15 2017-12-21 アイシン精機株式会社 周辺監視装置
US10217221B2 (en) * 2016-09-29 2019-02-26 Intel Corporation Place recognition algorithm
JP6767255B2 (ja) 2016-12-20 2020-10-14 株式会社デンソーテン 画像処理装置及び画像処理方法
JP6794879B2 (ja) 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両
US10122969B1 (en) * 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102696976B1 (ko) * 2023-11-14 2024-08-20 주식회사 파이비스 이송되는 오브젝트의 표면을 검사하는 시스템에서 카메라를 정렬하기 위한 장치 및 방법

Also Published As

Publication number Publication date
JP7545691B2 (ja) 2024-09-05
CN113168701A (zh) 2021-07-23
JP2022512323A (ja) 2022-02-03
EP3891699A1 (en) 2021-10-13
WO2020115512A1 (en) 2020-06-11
US10664997B1 (en) 2020-05-26
US20200175721A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US10859469B2 (en) Tire deformation calculator, overload detecting system, and method for calculating tire deformation
US10043262B2 (en) Abnormal image detection device, image processing system having abnormal image detection device, and vehicle incorporating image processing system
US9986173B2 (en) Surround-view camera system (VPM) online calibration
US9538144B2 (en) Full speed lane sensing using multiple cameras
US20120057757A1 (en) Lane line estimating apparatus
WO2010122409A1 (en) Object detection device
US20220196395A1 (en) Method for ascertaining an operating angle between a tractor and a trailer of the tractor
CN109753841B (zh) 车道线识别方法和装置
KR20210098501A (ko) 카메라 오정렬 탐지를 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체
KR101268282B1 (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
US10853692B2 (en) Vicinity supervising device and method for supervising vicinity of vehicle
US20190325607A1 (en) Movement information estimation device, abnormality detection device, and abnormality detection method
US20200090347A1 (en) Apparatus for estimating movement information
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
JP2019219719A (ja) 異常検出装置および異常検出方法
KR101979422B1 (ko) 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법
JP2019191808A (ja) 異常検出装置および異常検出方法
EP3588374A1 (en) Line detector for vehicle, method of detecting line for vehicle, and computer program product
JP6204844B2 (ja) 車両のステレオカメラシステム
KR101912085B1 (ko) 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치
EP3227827B1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
JP2019121030A (ja) カメラずれ検出装置、カメラずれ検出方法および異常検出装置
JP2020042716A (ja) 異常検出装置および異常検出方法
EP3657441A1 (en) Method for determining a mounting height of a camera by determining a motion vector, computer program product, electronic computing device, as well as camera
JP6023025B2 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム