KR101375372B1 - 자동차의 비젼 시스템 및 비젼 방법 - Google Patents

자동차의 비젼 시스템 및 비젼 방법 Download PDF

Info

Publication number
KR101375372B1
KR101375372B1 KR1020117027553A KR20117027553A KR101375372B1 KR 101375372 B1 KR101375372 B1 KR 101375372B1 KR 1020117027553 A KR1020117027553 A KR 1020117027553A KR 20117027553 A KR20117027553 A KR 20117027553A KR 101375372 B1 KR101375372 B1 KR 101375372B1
Authority
KR
South Korea
Prior art keywords
image
window
vision system
sensor
image sensor
Prior art date
Application number
KR1020117027553A
Other languages
English (en)
Other versions
KR20120020124A (ko
Inventor
레이프 린드그렌
Original Assignee
아우토리브 디벨롭먼트 아베
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우토리브 디벨롭먼트 아베 filed Critical 아우토리브 디벨롭먼트 아베
Publication of KR20120020124A publication Critical patent/KR20120020124A/ko
Application granted granted Critical
Publication of KR101375372B1 publication Critical patent/KR101375372B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

자동차를 위한 비젼 시스템(10)은 자동차를 둘러싸는 영역으로부터 이미지들을 검출하도록 적합화된 적어도 하나의 이미지 장치(12) 및, 이미지 장치(12)에 의해 제공된 이미지 데이터를 처리하기 위한 전자 프로세싱 수단(14)을 포함하고, 이미지 장치(12)는 이미지 센서(21)를 포함한다. 비젼 시스템(10)은 상기 이미지 센서(21)의 완전한 이미지 영역(30)의 윈도우 이미지 부분(32)을 절단하고 출력하기 위하여 윈도우 파라미터들을 이미지 센서(21)로 입력하도록 적합화된다.

Description

자동차의 비젼 시스템 및 비젼 방법{Vision system and method for a motor vehicle}
본 발명은 자동차의 비젼 시스템에 관한 것으로서, 자동차 주위 영역으로부터 이미지를 검출하도록 적합화된 적어도 하나의 이미지 장치 및, 상기 이미지 장치에 의해 제공된 이미지 데이터를 처리하기 위한 전자 프로세싱 수단을 포함하고, 상기 이미지 장치는 이미지 센서를 포함하는 비젼 시스템에 관한 것이다. 또한, 본 발명은 그에 대응하는 비젼 방법(vision method)에 관한 것이다.
그러한 시스템은 일반적으로 알려져 있으며, 예를 들어 미국 특허 US 7,158,664 B2 에 공지되어 있다. 자동차에서의 제한된 프로세싱 및 메모리 자원들에 기인하여, 검출 효율과 비용들 사이의 절충이 이루어져야 한다.
본 발명의 목적은 자동차의 신뢰성 있고 비용 효율적인 비젼 시스템을 제공하는 것이다.
본 발명은 이러한 목적을 독립 청구항의 특징들로써 해결한다. 본 발명에 따르면, 이미지 장치의 이미지 센서에 이미 있는 전체 이미지 영역으로부터 윈도우(window)가 절단되고, 오직 절단된 윈도우만이 더 이상의 이미지 및 데이터 처리를 위하여 전자 (프리) 프로세싱 수단(pre-processing means)으로 송신된다. 그에 의하여, 전달, 처리 및 저장될 필요가 있는 데이터의 양이 신호 발생의 시작점에서 미리 감소된다.
본 출원과 관련하여, 이미지 센서는 검출된 방사(detected radiation)가 전자 신호로 변환되는 전자 장치를 의미한다. 이미지 센서에서 미리 윈도우 작용(windowing)을 수행하는 것은, 이미지 센서 배후에서 수행되는 이미지 처리 과정에서 이미지 윈도우를 공지된 바와 같이 이용하는 것으로부터, 본 발명을 구분되게 한다. 바람직스럽게는 이미지 센서가 적외선 센서 또는 CMOS 센서이다.
바람직스럽게는 윈도우 파라미터들이 이미지 장치의 상대적인 방향(relative orientation)에 따라서 개별적으로 설정되며, 즉, 자동차에 대한, 또는 다른 이미지 장치에 대한 이미지 장치의 방향에 따라서 개별적으로 설정된다. 이러한 특징은 이미지 장치의 방향과 독립적으로 완성된 센서 영역내에 배치된 일정한 윈도우를 절단하는 것으로부터, 본 발명을 구분되게 한다.
이미지 장치의 상대적인 방향에 따라서 윈도우 파라미터들을 개별적으로 설정하는 것은 스테레오 비젼 시스템의 본 발명에 따른 바람직한 적용예에서 특히 유리한데, 스테레오 비젼 시스템은 각각 이미지 센서를 포함하는, 2 개의 이미지 장치들, 동일한 적외선 카메라들 또는 CMOS 카메라들을 항상 구비하는 것이다. 이러한 적용예에서 윈도우 파라미터들이 바람직스럽게는 이미지 센서마다 독립적으로 설정된다. 대응하는 이미지 장치의 방향에 따라서 개별적인 이미지 윈도우들을 절단하는 것은 스테레오 이미지들을 서로에 대하여 정렬하는 제 1 단계로서 간주될 수 있다. 이러한 방식으로, 다음의 전자 (프리) 프로세싱 수단에서의 스테레오 이미지들의 정렬 및 정합 처리(aligning and mating process)는 훨씬 신속하고 적은 메모리 소비로써 수행될 수 있다.
바람직스럽게는 이미지 장치의 윈도우 파라미터들이 전자 프로세싱 수단에 의해 설정되어, 추가적인 파라미터 설정 수단을 불필요하게 한다.
바람직스럽게는 비젼 시스템이 윈도우 파라미터들을 저장하기 위한 메모리 수단을 포함하며, 이것은 측정 과정에서 윈도우 파라미터들을 미리 결정할 수 있게 하고, 예를 들어 자동차 제조자 또는 서비스 스테이션에 의하여 그 파라미터들을 메모리 수단내에 미리 저장할 수 있게 한다. 대안으로서, 이미지 수단으로부터의 이미지 데이터 분석에 기초하여 운전중에 윈도우 파라미터들을 결정할 수도 있다.
다음에 본 발명은 도면을 참조하여 바람직한 구현예들에 기초하여 설명될 것이다.
도 1 은 자동차의 비젼 시스템에 대한 개략적인 다이아그램이다.
도 2 는 스테레오 비젼 시스템에 의해 검출된 스테레오 이미지들의 예를 도시한다.
비젼 시스템(vision system, 10)은 자동차에 장착되고 자동차 주위의 영역, 예를 들어 자동차 앞의 영역의 이미지를 검출하기 위한 이미지 수단(11)을 포함한다. 바람직스럽게는 이미지 수단(11)이 적외선 장치이고, 보다 바람직스럽게는 하나 또는 그 이상의 광학적 및/또는 적외선의 좌측 카메라(12a) 및 우측 카메라(12b)를 포함하며, 여기에서 적외선은 5 마이크론 미만의 파장을 가진 근적외선(near IR) 및/또는 5 마이크론을 넘는 원적외선(far IR)을 포괄한다. 바람직스럽게는 이미지 수단(11)이 스테레오 이미지 수단(11)을 형성하는 2 개의 좌측 카메라(12a) 및 우측 카메라(12b)를 포함한다. 대안으로서 모노 이미지 수단(mono imaging means)을 형성하는 오직 하나의 카메라가 이용될 수 있다.
좌측 카메라(12a) 및 우측 카메라(12b) 각각은 광학 장치(20a,20b) 및 2 차원 이미지 센서(21a, 21b)를 포함하고, 입사 적외선 방사 또는 좌측 카메라(12a) 및 우측 카메라(12b)를 통하여 전송된 가시광을, 검출된 장면의 이미지 정보를 포함하는 전기 신호로 변환시키도록 제공된, 특히 적외선 센서 또는 광학 센서를 포함한다.
좌측 카메라(12a) 및 우측 카메라(12b)는 이미지 프리 프로세서(13)에 결합되며, 이미지 프로세서는 좌측 카메라(12a) 및 우측 카메라(12b)에 의한 이미지의 캡쳐(capture)를 제어하고, 이미지 센서(21a,21b)들로부터 이미지 정보를 포함하는 전기 신호를 수신하고, 좌/우 이미지의 쌍들을 정렬되게 워핑(warping)시키고, 부동 이미지(disparity image)를 만들도록 적합화되는데, 이것은 당해 기술 분야에 공지된 것이다. 이미지 프리-프로세서(image pre-processor, 13)는 전용 하드웨어 회로에 의해 구현될 수 있다. 대안으로서, 이미지 프리 프로세서(13) 또는 그 기능들중 일부가 전자 프로세싱 수단(electronic processing means, 14)에서 구현될 수 있다.
선처리된 이미지 데이터(pre-processed image data)는 전자 프로세싱 수단(14)에 제공되며, 그곳에서 더 이상의 이미지 및 데이터 프로세싱이 해당 소프트웨어에 의해 수행된다. 특히, 전자 프로세싱 수단(14)에서의 이미지 및 데이타 처리(data processing)는 다음의 기능들을 포함한다: 다른 자동차, 보행인, 자전거 운전자 또는 대형의 동물들과 같이, 자동차 앞에 있을 수 있는 대상물의 식별 및 분류; 검출된 이미지에서 식별된 대상물 후보의 위치를 시간에 걸쳐 추적(tracking); 대상물의 검출 및 추적 처리(trakcing processing)의 결과에 따라서 차량 안전 수단(17,18,19...)을 활성화 및 제어함;을 포함한다.
차량 안전 수단(17,18,19..)은, 적절한 광학, 음향 및/또는 촉각 경고 신호에 의해 운전자에게 충돌 경고를 제공하도록 적합화된 경고 수단(17); 식별된 대상물에 대한 정보를 표시하는 디스플레이 수단(18); 점유자 에어백 또는 안전 벨트 텐셔너(safety belt tensioner)와 같은 하나 또는 그 이상의 제한 시스템(restraint system, 19); 보행자 에어백, 후드 리프터(hood lifter) 등; 및/또는 브레이크등과 같은 동적 차량 제어 시스템을 포함할 수 있다.
전자 프로세싱 수단(14)은 메모리 수단(15)에 대한 접근부(access)를 가지는 것이 편리하다.
전자 프로세싱 수단(14)이 바람직스럽게는 프로그램되거나 또는 프로그램될 수 있으며, 마이크로프로세서 또는 마이크로 콘트롤러를 포함할 수 있다. 이미지 프리 프로세서(13), 전자 프로세싱 수단(14) 및 메모리 수단(15)이 바람직스럽게는 탑재 전자 제어 유닛(on-board elelctronic control unit; ECU, 16)에서 구현되며, 바람직스럽게는 분리된 케이블을 통하여, 또는 대안으로서 자동차 데이타 버스를 통하여 좌측 카메라(12a) 및 우측 카메라(12b)에 연결될 수 있다. 다른 구현예에서, ECU 와 좌측 카메라(12a) 및 우측 카메라(12b)는 단일 유닛으로 통합될 수 있다. 이미지 작용, 이미지 선처리 작용(image pre-processing), 안전 수단(17,18,19...)의 활성화 또는 제어에 대한 이미지 처리(image processing) 작용으로부터의 모든 단계들은 운전중 실시간에 자동적으로 그리고 연속적으로 수행된다.
이미지 센서(21a,21b)들 각각은 각각의 이미지 센서(21a,21b)에 대하여 개별의 윈도우 파라미터들을 지정하기 위한 윈도우 입력(22a,22b)을 포함한다. 바람직스럽게는, 도 1 에 도시된 바와 같이 윈도우 파라미터들이 메모리 수단(15)내에 저장되고, 전자 프로세싱 수단(14)에 의해 이미지 센서(21a,21b)들에 송신된다. 그러나, 이미지 프리 프로세서(13) 또는 전자 제어 유닛(16)에 있는 다른 적절한 장치에 의해 윈도우 파라미터들이 이미지 센서(21a,21b)로 송신되는 것도 가능하다.
완성된 이미지 영역들을 개별적인 윈도우 이미지 부분들로 절단하는 과정이 도 2 에 도시된 예시적인 좌측 이미지 영역(30a) 및 우측 이미지 영역(30b)을 이용하여 설명된다. 좌측 이미지 영역(30a)은 좌측 카메라(12a)에 의해 검출되었던 것으로 가정되며, 여기에서 좌측 이미지 영역(30a)은 이미지 센서(21a)의 완전 감지 영역(complete sensitive area) 또는 전체 센서 어레이(entire sensor array)에 대응한다. 마찬가지로, 우측 이미지 영역(30b)은 우측 카메라(12b)에 의해 검출되었던 것으로 가정되며, 여기에서 우측 이미지 영역(30b)은 이미지 센서(21b)의 완전 감지 영역(complete sensitive area) 또는 전체 센서 어레이(entire sensor array)에 대응한다.
도 2 의 예에서, 좌측 카메라(12a) 및 우측 카메라(12b)는 약간 오정렬(misaligned)된다. 특히, 좌측 카메라(12a)는 약간 중심을 벗어나 저부 우측을 향하도록 지향됨으로써 좌측 이미지 영역(30a)의 콘텐츠(contents), 예를 들어 좌측 보행자 이미지(31a)는 약간 상부 좌측으로 이동하고, 우측 카메라(12b)는 약간 중심을 벗어나 상부 좌측을 향하도록 지향됨으로써 우측 이미지 영역(30b)의 콘텐츠, 예를 들어 우측 보행자 이미지(31b)는 저부 우측으로 약간 이동한다.
만약 좌측 이미지 영역(30a) 및 우측 이미지 영역(30b)이 이미지 프리 프로세서(13)로 송신되면, 동등한 이미지 콘텐츠들은 상이한 위치에서 스테레오 이미지로 나타난다. 예를 들어, 보행자 이미지의 상부는 우측 이미지 영역(30b)에서보다 좌측 이미지 영역(30a)에서 먼저 몇개의 라인 및 컬럼(lines and column)을 나타낸다. 이것은 이미지 프리 프로세서(13)에서 좌측 이미지 영역(30a) 및 우측 이미지 영역(30b)의 스테레오 정합(stereo matching)에 대한 확대된 잠재성 및 메모리 소비로 이끈다. 예를 들어 만약 스테레오 정합이 이미지 프리-프로세서(13)에서 라인별로 수행된다면, 좌측 이미지 영역(30a)에서 좌측 보행자 이미지(31a)의 상부를 포함하는 라인의 정합은 그 라인이 우측 이미지 영역(30b)에서 훨씬 이후에 나타날 때까지 시작될 수 없다. 그 사이의 모든 라인들은 메모리에서 버퍼링(buffering)되어야 한다.
본 발명에 따르면, 좌측 카메라(12a) 및 우측 카메라(12b)의 임의의 오정렬을 보상하기 위하여, 윈도우 이미지 부분(32a,32b)들에서의 이미지 콘텐츠가 밀접하게 정합(matching)되는 방식으로, 작은 윈도우 이미지 부분(32a,32b)들은 완전한 좌측 이미지 영역(30a) 및 완전한 우측 이미지 영역(30b)으로부터 개별적으로 절단된다. 윈도우 작용 프로세스는 가능한 한 빠르게 감소된 데이터 양으로부터의 장점을 취하기 위하여 이미지 센서(21a,21b)에서 미리 수행된다; 오직 감소된 양의 이미지 데이터가 좌측 카메라(12a) 및 우측 카메라(12b)로부터 전자 제어 유닛(16)으로 송신되어 그 안에 저장되어야 한다.
이미지 센서(21a,21b)들의 윈도우 입력(22a,22b)에 적용되는 개별적인 윈도우 파라미터들은 예를 들어 윈도우 영역(32a,32b)의 미리 결정된 지점의 x, y-좌표를 포함할 수 있다 (도 2 에서 상부 좌측 윈도우 코너의 xa,ya 및 xb, yb 좌표들). 윈도우 입력(22a,22b)에 적용된 윈도우 파라미터들은 또한 윈도우의 로우 및 칼럼(rows and column)들의 수와 같은, 윈도우 크기에 대한 정보를 포함할 수도 있다. 대안으로서, 윈도우 크기는 이미지 센서(21a,21b)들 안에 미리 설정될 수 있다.
상기 설명된 윈도우 작용에 기인하여, 동등한 이미지 콘텐츠들이 윈도우 이미지(32a,32b)들에서 대략 동등한 수직 위치들에 나타난다. 이것은 이미지 프리-프로세서(13)에서 윈도우 이미지(32a,32b)들의 스테레오 정합(stereo matching)에 대한 감소된 잠재성(latency) 및 메모리 소비로 이끈다. 예를 들어, 만약 스테레오 정합이 이미지 프리 프로세서(13)에서 라인(line) 별로 수행된다면, 좌측 이미지 윈도우(32a)에서 좌측 보행자 이미지(31a)의 상부를 포함하는 라인의 정합은 큰 지연 없이 시작될 수 있으며, 왜냐하면 그 라인은 우측 이미지 윈도우(32b)에서 동일한 라인에 나타나거나, 또는 임의의 경우에 훨씬 작은 라인 오프셋(line offset)으로 나타나기 때문이다.
이미지 센서(21a,21b)들에 적용되어야 하는 윈도우 파라미터들은 예를 들어 차량에 있는 좌측 카메라(12a) 및 우측 카메라(12b)의 정렬을 결정하는 측정 과정에서 자동차 제조자 또는 서비스 스테이션에 의해 미리 결정될 수 있고, 운전중에 사용되도록 메모리 수단(15)에 저장된다. 그러나, 예를 들어 좌측 이미지 영역(30a) 및 우측 이미지 영역(30b)의 중심으로부터 소실점(vanishing point, 33a, 33b)의 오프셋을 판단함으로써, 운전중에 차량내에서 좌측 카메라(12a) 및 우측 카메라(12b)의 정렬을 판단하고, 판단된 (오)정렬로부터 개별적인 윈도우 파라미터들을 계산할 수도 있다.
10. 비젼 시스템 11. 이미지 수단
12a. 좌측 카메라 21a.21b. 이미지 센서
13. 이미지 프리 프로세서 14. 전자 프로세싱 수단

Claims (13)

  1. 자동차를 둘러싸는 영역으로부터 이미지들을 검출하도록 적합화된 적어도 하나의 이미지 장치(12) 및, 상기 이미지 장치(12)에 의해 제공된 이미지 데이터를 처리하기 위한 전자 프로세싱 수단(14)을 포함하고, 상기 이미지 장치(12)는 이미지 센서(21)를 포함하는, 자동차용 비젼 시스템(10)으로서,
    상기 비젼 시스템은(10)은, 상기 이미지 센서(21)에서 얻어진 완전한 이미지 영역(30)으로부터 윈도우 이미지 부분(32)을 절단하여 출력하기 위하여, 상기 전자 프로세싱 수단(14)이 윈도우 파라미터들을 상기 이미지 센서(21)에 입력하게 하고, 상기 윈도우 이미지 부분(32)은 상기 완전한 이미지 영역(30)의 일부에 대응하는, 자동차용 비젼 시스템.
  2. 제 1 항에 있어서,
    윈도우 파라미터들은 상기 이미지 장치(12)의 상대적인 방향(relative orientaion)에 따라서 개별적으로 설정되는, 비젼 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 비젼 시스템(10)은 스테레오 비젼 시스템(stereo vision system)인, 비젼 시스템.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 이미지 장치(12)는 적외선 카메라 또는 CMOS 카메라인, 비젼 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 이미지 센서(21)는 적외선 센서 또는 CMOS 센서인, 비젼 시스템.
  6. 삭제
  7. 제 1 항 또는 제 2 항에 있어서,
    윈도우 파라미터들을 저장하기 위한 메모리 수단(15)을 포함하는, 비젼 시스템.
  8. 제 7 항에 있어서,
    상기 윈도우 파라미터들은 측정 과정에서 미리 결정되고 상기 메모리 수단(15)내에 미리 저장되는, 비젼 시스템.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 이미지 센서(21)에 의해 제공된 윈도우 이미지 데이타(32)를 선처리(pre-process) 하도록 적합화된 이미지 프리 프로세싱 장치(image pre-processing device, 13)를 포함하는, 비젼 시스템.
  10. 제 9 항에 있어서,
    상기 이미지 프리 프로세싱 장치(13)는 스테레오 정합(stereo matching) 이전에 윈도우 이미지 데이터(32)를 정렬되게 워핑(warping)시키도록 적합화되는, 비젼 시스템.
  11. 제 1 항 또는 제 2 항에 있어서,
    상기 윈도우 파라미터들은 이미지 윈도우(32)의 특정 이미지 지점의 좌표를 포함하는, 비젼 시스템.
  12. 개별의 이미지 센서를 포함하는, 자동차에 장착된 적어도 하나의 이미지 장치를 이용하여 자동차 앞의 영역으로부터 이미지들을 검출하는 단계; 및, 자동차에 장착된 전자 프로세싱 수단에서 상기 이미지 장치에 의해 제공된 이미지 데이터를 처리(processing)하는 단계를 포함하는, 자동차의 비젼 방법(vision method)으로서,
    상기 전자 프로세싱 수단이 윈도우 파라미터들을 상기 이미지 센서에 입력하게 하는 단계,
    상기 이미지 센서에서 얻어진 완전한 이미지 영역으로부터, 상기 윈도우 파라미터들에 의해 정의된 윈도우 이미지 부분을 절단하는 단계로서, 상기 윈도우 이미지 부분(32)은 상기 완전한 이미지 영역(30)의 일부에 대응하는, 윈도우 이미지 부분 절단 단계 및,
    상기 이미지 센서로부터 상기 윈도우 이미지 부분을 출력하는 단계를 구비하는 것을 특징으로 하는, 자동차의 비젼 방법.
  13. 제 12 항에 있어서,
    상기 윈도우 파라미터들은 자동차에서 상기 이미지 장치의 상대적인 방향을 보상하기 위하여 개별적으로 조정되는, 자동차의 비젼 방법.
KR1020117027553A 2009-05-19 2010-05-05 자동차의 비젼 시스템 및 비젼 방법 KR101375372B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09006736.4 2009-05-19
EP09006736.4A EP2254091B1 (en) 2009-05-19 2009-05-19 Vision system and method for a motor vehicle
PCT/EP2010/002749 WO2010133295A1 (en) 2009-05-19 2010-05-05 Vision system and method for a motor vehicle

Publications (2)

Publication Number Publication Date
KR20120020124A KR20120020124A (ko) 2012-03-07
KR101375372B1 true KR101375372B1 (ko) 2014-03-14

Family

ID=42103919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117027553A KR101375372B1 (ko) 2009-05-19 2010-05-05 자동차의 비젼 시스템 및 비젼 방법

Country Status (6)

Country Link
US (1) US20120038748A1 (ko)
EP (1) EP2254091B1 (ko)
JP (1) JP5841049B2 (ko)
KR (1) KR101375372B1 (ko)
CN (1) CN102428494B (ko)
WO (1) WO2010133295A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868508B2 (en) 2008-11-03 2011-01-11 Motor Excellence, Llc Polyphase transverse and/or commutated flux systems
EP2548288A1 (en) 2010-03-15 2013-01-23 Motor Excellence, LLC Transverse and/or commutated flux systems configured to provide reduced flux leakage, hysteresis loss reduction, and phase matching
WO2011115633A1 (en) 2010-03-15 2011-09-22 Motor Excellence Llc Transverse and/or commutated flux system for electric bicycles
US8222786B2 (en) 2010-03-15 2012-07-17 Motor Excellence Llc Transverse and/or commutated flux systems having phase offset
WO2015157410A1 (en) * 2014-04-08 2015-10-15 Tk Holdings Inc. System and method for night vision object detection and driver assistance
BR112015030886B1 (pt) 2014-04-18 2022-09-27 Autonomous Solutions, Inc. Veículo, sistema de visão para uso por um veículo e método de direcionamento de um veículo com o uso de um sistema de visão
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
EP3176750B1 (en) * 2015-12-04 2019-03-13 Veoneer Sweden AB Vision system for a motor vehicle and method of controlling a vision system
WO2018150336A1 (en) * 2017-02-14 2018-08-23 Atracsys Sàrl High-speed optical tracking with compression and/or cmos windowing
US11573573B2 (en) 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
US11392133B2 (en) * 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11042155B2 (en) 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
CN113572939A (zh) * 2021-07-30 2021-10-29 南京智凝人工智能研究院有限公司 一种基于主动视觉的新能源汽车传感系统
CN113436057B (zh) * 2021-08-27 2021-11-19 绍兴埃瓦科技有限公司 数据处理方法及双目立体匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006516507A (ja) * 2003-02-06 2006-07-06 バイエリッシェ　モートーレン　ウエルケ　アクチエンゲゼルシャフト 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置
JP3833241B2 (ja) * 2004-06-15 2006-10-11 松下電器産業株式会社 監視装置
JP2006525897A (ja) * 2003-05-22 2006-11-16 フィコ ミロールス，エセ ア 車両の外部をモニタするための、加熱装置を有する画像取得ユニット
JP2009025901A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 車載画像処理装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224823A (ja) * 1997-02-05 1998-08-21 Sanyo Electric Co Ltd 立体映像表示方法および立体映像表示装置
US7365779B2 (en) * 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
JP2002094977A (ja) * 2000-09-14 2002-03-29 Fujitsu Ten Ltd 画像処理装置
JP3679988B2 (ja) * 2000-09-28 2005-08-03 株式会社東芝 画像処理装置及び画像処理方法
US7995095B2 (en) * 2001-10-18 2011-08-09 Autoliv Development Ab Night vision device for a vehicle
JP3739693B2 (ja) 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
JP3958638B2 (ja) * 2002-06-25 2007-08-15 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP3902109B2 (ja) * 2002-10-02 2007-04-04 本田技研工業株式会社 赤外線カメラ特性確認治具
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
US20050027028A1 (en) * 2003-07-31 2005-02-03 Kelly Stephen M. Polymer networks, methods of fabricating and devices
WO2005086078A1 (en) * 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for classifying an object
JP2006060460A (ja) * 2004-08-19 2006-03-02 Nissan Motor Co Ltd 画像補正装置
JP2006203448A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車載ステレオカメラ装置
CN1825951A (zh) * 2005-02-21 2006-08-30 株式会社自动网络技术研究所 车辆周围环境观察装置
JP2006287274A (ja) * 2005-03-07 2006-10-19 Toshiba Teli Corp 撮像装置及びそれを用いた立体視画像生成システム
JP2006254318A (ja) * 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP2006295539A (ja) * 2005-04-11 2006-10-26 Nissan Motor Co Ltd 撮像装置及びその撮像範囲調整方法
US7869662B2 (en) * 2005-04-22 2011-01-11 Agilent Technologies, Inc. System architecture for sensing an absolute position using a target pattern
US8238695B1 (en) * 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
EP1931147B1 (en) * 2006-12-04 2019-07-10 Harman Becker Automotive Systems GmbH Apparatus and method for processing an image of a surrounding of a vehicle
CN101563709B (zh) * 2006-12-18 2013-07-31 皇家飞利浦电子股份有限公司 校准照相机系统
JP4627305B2 (ja) * 2007-03-16 2011-02-09 本田技研工業株式会社 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
EP2153641B2 (en) * 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
JP5172314B2 (ja) * 2007-12-14 2013-03-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US8300086B2 (en) * 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
WO2011132364A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 立体画像撮影装置および立体画像撮影方法
DE102010062496B4 (de) * 2010-12-07 2022-01-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006516507A (ja) * 2003-02-06 2006-07-06 バイエリッシェ　モートーレン　ウエルケ　アクチエンゲゼルシャフト 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置
JP2006525897A (ja) * 2003-05-22 2006-11-16 フィコ ミロールス，エセ ア 車両の外部をモニタするための、加熱装置を有する画像取得ユニット
JP3833241B2 (ja) * 2004-06-15 2006-10-11 松下電器産業株式会社 監視装置
JP2009025901A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 車載画像処理装置

Also Published As

Publication number Publication date
US20120038748A1 (en) 2012-02-16
EP2254091B1 (en) 2020-03-25
KR20120020124A (ko) 2012-03-07
JP5841049B2 (ja) 2016-01-06
CN102428494B (zh) 2015-07-29
JP2012527803A (ja) 2012-11-08
WO2010133295A1 (en) 2010-11-25
EP2254091A1 (en) 2010-11-24
CN102428494A (zh) 2012-04-25
WO2010133295A8 (en) 2011-01-13

Similar Documents

Publication Publication Date Title
KR101375372B1 (ko) 자동차의 비젼 시스템 및 비젼 방법
EP2219133B1 (en) A method and system of automatically detecting objects in front of a motor vehicle
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
CN104660980B (zh) 车载图像处理装置和半导体装置
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
US20180107871A1 (en) Pedestrian detection method and system in vehicle
WO2005002921A3 (en) Method and apparatus for pedestrian detection
EP3428677B1 (en) A vision system and a vision method for a vehicle
EP2246806A1 (en) Vision method and system for automatically detecting objects in front of a motor vehicle
WO2020241336A1 (ja) 画像認識装置および画像認識方法
WO2020230636A1 (ja) 画像認識装置および画像認識方法
CN102713988A (zh) 车辆周围监测装置
WO2020230635A1 (ja) 撮像装置および撮像方法
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법
CN104097572A (zh) 行车辅助装置及其方法
EP2698743B1 (en) Driver assisting system and method for a motor vehicle
EP3346693B1 (en) An imaging device for a motor vehicle, and a method of mounting an imaging device in a motor vehicle
EP3312797A1 (en) Vision system and method for a motor vehicle
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus
CN113572939A (zh) 一种基于主动视觉的新能源汽车传感系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190215

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200228

Year of fee payment: 7