KR102397156B1 - 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법 - Google Patents

자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법 Download PDF

Info

Publication number
KR102397156B1
KR102397156B1 KR1020197001504A KR20197001504A KR102397156B1 KR 102397156 B1 KR102397156 B1 KR 102397156B1 KR 1020197001504 A KR1020197001504 A KR 1020197001504A KR 20197001504 A KR20197001504 A KR 20197001504A KR 102397156 B1 KR102397156 B1 KR 102397156B1
Authority
KR
South Korea
Prior art keywords
image
resolution
segment
vehicle
camera device
Prior art date
Application number
KR1020197001504A
Other languages
English (en)
Other versions
KR20190026767A (ko
Inventor
카르슈텐 브로이어
보리스 베르트헤쎈
콘라트 로트헨헤우슬러
디터 크뢰켈
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20190026767A publication Critical patent/KR20190026767A/ko
Application granted granted Critical
Publication of KR102397156B1 publication Critical patent/KR102397156B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/347—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 자기 차량 (1)의 주변 구역을 촬영하기 위한 카메라 시스템 (2)에 관한 것으로서, 이 시스템에는 주변 구역에 대한 최소한 하나의 원본 영상을 촬영하기 위한 고해상도 촬영 센서와 광각 렌즈가 부착된 광전자 장치가 장착되어 있는 바, 이때 이 광전자 장치는 최소한 하나의 촬영한 원본 영상에서 처리한 최종 영상 (4)를 만들도록 고안되어 있으며, 여기서 처리한 최종 영상 (4)에는 해당 원본 영상과 비교하여 하는 변하지 않은 영상 단면 (4a)와 최소한 하나의 영상 단면 (4a)에 인접한 최소한 하나의 해상도가 감소된 잔여 영상 구역 (4b)가 있다.

Description

자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법
본 발명은 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템에 관한 것이다. 또한 본 발명은 그러한 카메라 시스템이 장착된 차량 및 운전자 지원 기능을 제공하는 방법에 관한 것이다.
교통표지판 인식장치나 차선유지 보조장치와 같은 운전자 지원장치를 실현하기 위해서는 수평 화각이 약 50도이고 수직 화각이 약 30도인 카메라 시스템이 필요하다. 하지만 제일 앞 열에 정지해 있을 때 교차 교통이나 신호등 인식과 같은 새로운 기능에는 가까이 접근할 때 영상의 주변 구역에 있는 물체를 식별하기 위해 더 큰 시야각이 필요하다. 그에 반하여 예를 들어 고도로 자동화된 주행이나 차선유지 지원 기능에서는 먼 거리에서도 물체나 차도의 구조를 인식해야 하며, 이를 위해서는 그에 상응하는 해상도가 필요하다.
이와 관련하여 적어도 화각 및/또는 각도 해상도에서 서로 구별되는, 따라서 작용 범위가 큰 중앙 구역의 측정에 부과된 요구 사항과 교차 교통 인식을 위한 광각 영역의 측정에 부과된 요구 사항이라는 서로 상충되는 요구 사항을 충족시키는 광전자 장치가 최소한 두 개 장착된 카메라 시스템이 알려져 있다. 이처럼 인쇄본 DE102004061998A1에서는 최소한 하나의 첫 번째 카메라와 최소한 하나의 두 번째 카메라가 장착된 차량용 장치를 기술하고 있는 바, 이때 첫 번째 카메라와 두 번째 카메라는 최소한 하나의 카메라 속성에서 차이가 있다.
그러한 카메라 시스템에서의 단점은 예를 들어 처리해야 할 데이터의 양과 카메라 시스템에서 가장 비싼 어셈블리인 광전자 장치를 여러 개 사용함으로 인한 비싼 비용이다.
본 발명의 과제는 기본적으로 영상 처리를 효율적으로 실현하고, 그와 동시에 상세한 촬영 및 되도록 넓은 식별 범위와 관련된 요구 사항을 충족시켜 운전자 지원 장치를 실현하는 카메라 시스템을 만드는 것이다.
이러한 과제는 청구항 1의 특징이 있는 카메라 시스템에 의해, 청구항 15의 특징이 있는 차량에 의해 및 청구항 16의 특징이 있는 방법에 의해 해결된다. 본 발명의 유용하거나 또는 선호하는 모델 형태에 대해서는 하위 청구항, 아래의 설명 및 도면에서 설명한다.
본 발명에서는 자기 차량의 주변 구역을 촬영하는 카메라 시스템을 제안하였다. 여기서 주변 구역이란 예컨대 자기 차량의 진행 방향에서 볼 때 전방, 측방 및/또는 후방의 주변 구역을 말한다.
이 카메라 시스템에는 최소한 하나의 주변 구역 원본 영상을 촬영하는 하나의 광전자 장치가 있다. 광전자 장치가 촬영한 최소한 하나의 원본 영상은 주로 처리되지 않은 영상이다.
광전자에는 광학 렌즈가 있으며, 특히 광학 렌즈를 이용하여 광각으로 촬영한 원본 영상이 만들어진다. 특히 이러한 광학 렌즈를 수평 및/또는 수직 화각이 예컨대 최소한 +/- 50도이고, 특히 광학 축에 대해 최소한 +/- 70도 및/또는 최대 +/- 80도인 대물렌즈라고 이해할 수 있다. 따라서 교차로 구역과 같은 주변 구역을 촬영하여 가로지르는 교통 참여자와 같은 대상을 조기에 분석할 수 있다.
그 외에도 광전자 장치에는 고해상도 촬영 센서가 있다. 이러한 고해상도 촬영 센서를 이용하여 특히 원거리 구역에 있는, 따라서 특히 최소 50미터의 자기 차량에 대한 원거리 구역에서 교통표지판이나 차선의 분석과 같은 대상 분석을 할 수 있다. 이러한 고해상도 촬영 센서를 특히 화소수가 수백만 개인, 예를 들어 화소수가 최소한 오백만 개이지만 대부분의 경우에는 최소한 칠백만 개인, 그리고 특별할 경우에는 최소한 천만 개인 촬영 센서라고 이해할 수 있다. 기본적으로 촬영 센서는 균일한 화소/cm 해상도를 가지고 있다.
고해상도 촬영 센서는 특히 광학 렌즈와 결합하여 자동차 기술 장치에 사용하는 것이 부적절하다고 분류되는 바, 왜냐하면 이 센서는 복잡한 영상 처리 알고리즘을 위한 많은 화소수의 효율적인 처리를 허용하지 않기 때문이다.
이러한 이유로 인해 최소한 하나의 촬영한 원본 영상에서 처리한 최종 영상을 만들도록 카메라 시스템의 광전자 장치, 특히 촬영 장치 또는 영상 처리 장치를 고안하였는 바, 여기서 처리한 최종 영상에는 그에 속하는 원본 영상과 비교하여 최소한 하나의 변하지 않은 영상 단면과 최소한 하나의 영상 단면에 인접한 해상도가 감소한 잔여 영상 구역이 있다. 따라서 이러한 변하지 않은 영상 구간을 원본 영상의 특히 변하지 않은, 다른 말로 표현하면 해상도가 동일한, 부분 영상 구역으로 이해할 수 있다. 따라서 특히 그 영상 구간에서 해상도 감소는 배제되므로 촬영한 원본 영상의 부분적인 해상도 감소만 이루어진다.
연속적으로 촬영한 영상의 경우, 촬영한 각 원본 영상에서 각각 하나의 처리한 최종 영상을 만드는 광전자 장치를 주로 고안하였다.
부분적인 해상도 감소의 기본적인 장점은 차량 카메라와 비교하여 최종 영상 전체를 분석하는 데 있어서 평균적으로 거의 동일하거나 약간 많은 계산 시간으로서, 현실적으로 가능한 영상 처리 비용을 실현하기 위한 이 해상도 감소는 예컨대 최대 이백만 화소의 분명히 적은 낮은 해상도를 가지지만, 이렇게 하면 원거리 구역의 분석이 허용되지 않는다.
더 나아가, 그렇게 하지 않으면 너무 많은 계산 시간으로 인해 특히 원본 영상의 부분 영상 구역만 분석될 뿐만 아니라, 이로 인해 관련 목표 대상을 최소한 뒤늦게라도 분석하게 되는 결과가 나올 수 있다는 점이 확인되었다. 따라서 고해상도 촬영 센서와 광각 광학 장치에도 불구하고 최종 영상 전체에서 목표 대상을 분석할 수 있는 계산 시간을 실현할 수 있다.
따라서 운전자 지원 장치를 실현하기 위해 되도록 넓은 식별 구역을 가지며, 이와 동시에 현실적으로 가능한 영상 처리 비용으로 원거리 구역에 있는 목표 대상을 분석하기에 충분한 해상도를 가진다는 서로 상충되는 목표는 카메라 시스템을 장착하는 경우에만 달성된다.
더 나아가, 광전자 장치가 두 개 또는 심지어 세 개까지 않는 카메라 시스템과 비교할 때, 한편으로는 크기가 작고 다른 한편으로는 카메라 시스템의 비용을 상당히 절감할 수 있다는 점에 주목할 수 있다.
대부분의 경우 카메라 시스템은 차선유지 또는 선회 지원 장치와 같은 운전자 지원 장치가 최소한 하나 있거나 또는 이러한 장치와 결합할 수 있다. 특히 최소한 한 원본 영상의 최소한 한 최종 영상에서 차선, 신호등, 교통표지판, 보행자, 자전거 운전자 및/또는 기타 다른 교통 참여자와 같은 목표 대상을 분석하고, 분석한 최소한 한 목표 대상에 따라 차간거리 경고, 비상 제동 또는 자율회피 거동과 같은 최소한 한 패시브 및/또는 액티브 운전자 지원 기능을 실행하는 운전자 지원 장치를 고안하였다.
기본적으로 화소 범주화를 통해 잔여 영상 구역을 해상도를 낮춰 만드는 광전자 장치를 고안하였다. 특히 화소 범주화 시 촬영 센서의 인접한 화소를 예컨대 어느 한 줄 및/또는 어느 한 열 내에서나 또는 예컨대 원본 영상의 사각형 부분 구역 내에 모아 새 화소에 할당한다. 따라서 해상도를 낮추어 만들어진 최종 영상에서 나온 화소 매트릭스에는 촬영한 원본 영상보다 더 낮은 해상도를 갖게 된다.
그 대신으로나 또는 선택 사양으로 보완하는, 화소 건너뛰기를 통해 해상도를 낮추어 잔여 영상 구역을 만드는 광전자 장치를 고안하였다. 특히 화소 건너뛰기 시 원본 영상에 있는 화소는 지정된 순서로 건너뛰기가 이루어지므로, 기본적으로 화소의 어느 한 부분만 최종 영상에 대해 적용된다. 이러한 방식으로 최종 영상의 더 낮은 해상도가 실현되고 따라서 데이터의 크기를 줄이게 된다.
선호하는 첫 번째 모델 형태에서는 최소한 하나의 촬영한 원본 영상에서 처리한 최종 영상을 만드는 촬영 센서를 고안하였다. 따라서 처리한 최종 영상이 만들어지고, 그 후 촬영 센서에서 전자적 화소 범주화 및/또는 화소 건너뛰기에 의해 최소한 하나의 원본 영상에서 잔여 영상 구역의 해상도가 낮아진다. 기본적으로 촬영 센서에서 전체 화소수의 일부만 출력되는 바, 이때 나머지 화소수는 숨겨지거나 또는 합쳐진다. 특히 전체 화소수는 원본 영상과 일치하고 출력된 부분 화소수는 만들어진 처리된 최종 영상과 일치한다. 따라서, 다른 말로 표현하자면, 무엇보다도 촬영 센서에 의해 최종 영상이 처리되고 출력된다.
선호하는 두 번째 모델 형태에서는 카메라 시스템에 영상 처리 장치가 장착되어 있는 바, 이 처리 장치는 촬영 센서가 전송한 최소한 하나의 원본 영상에서 처리된 최종 영상을 만들도록 고안되었다. 따라서 예를 들어 추후의 화소 범주화 및/또는 화소 건너뛰기를 이용하여 촬영 후에 이루어지는 처리와 그에 따른 원본 영상의 해상도 감소가 이루어진다.
기본적으로 최소한 하나의 영상 단면은 원본 영상의 광학축을 둘러싸고 있는 중앙 영상 세그먼트이거나 중앙 영상 세그먼트에 인접한 주변 영상 세그먼트이다. 기본적으로 중앙 영상 세그먼트는 광학축에 대해 대칭적으로 배치된, 특히 축대칭적으로 배치된, 카메라 시스템 시야의 중심 영상 구역이다. 주변 영상 세그먼트는 무엇보다도 카메라 시스템 시야의 네 잔여 영상 세그먼트 중 최소한 한 세그먼트이다. 따라서 주변 영상 세그먼트는 기본적으로 중앙 영상 세그먼트를 최소한 부분적으로 둘러싸고 있다. 중앙 영상 세그먼트와 주변 영상 세그먼트가 카메라 시스템의 광학축에 대해 동심적으로 배치되는 것을 특히 선호한다. 기본적으로 중앙 및 주변 영상 세그먼트는 상이한, 특히 중첩되지 않은 카메라 시스템 시야의 식별 구역이다. 중앙 및 주변 영상 세그먼트가 카메라 시스템의 시야를 형성하는 것을 특히 선호한다.
중앙 영상 세그먼트에는 예컨대 수평 화각과, 그 대신으로나 선택 사양으로서 보완하는 +/- 25도의 수직 화각이 있다. 중앙 영상 세그먼트에 인접한 주변 영상 세그먼트에는 예컨대 수평 화각과, 그 대신으로나 선택 사양으로서 보완하는 최소 +/-50도의 수직 화각이 있다.
원거리 구역에서 더 멀리에 위치한 대상을 분석할 수 있을수록 운전자 지원 장치의 운전자 지원 기능은 더 신뢰할 수 있고 더 잘 예측할 수 있게 실행된다. 그러므로 특히 선호하는 형태는 촬영한 원본 영상이 중앙 영상 세그먼트에서 최소한 부분적으로 주변 영상 세그먼트에서보다 더 높은 해상도를, 특히 최소한 두 배의 해상도를 갖도록 고안되어 있다. 특히 선호하는 해상도에서는 수평 화각이 화소수에 따라 증가하고/하거나 수직 화각이 적어도 별로 감소한다. 이러한 방식으로 중앙 영상 세그먼트에서는 목표 대상을 예를 들어 일 미터와 50미터 사이의 거리로 떨어진 근거리 구역에서와 예를 들어 50미터와 500미터 사이의 거리로 떨어진 원거리 구역에서 개별적인 하나의 광전자 장치로 분석할 수 있다. 주변 영상 세그먼트에서는 무엇보다도 근거리 구역에 위치한 목표 대상을, 예를 들어 교차로 구역에서 가로질러 주행하는 자전거 운전자를 분석할 수 있어야 하기 때문에, 비정형 광각 렌즈로 인해 발생한 더 낮은 해상도로 대상을 분석할 수 있다.
중앙 영상 세그먼트에서 최소한 부분적으로 더 높아진 해상도를 실현하기 위해, 구조적으로 구축하여 광각 렌즈가 비정형 왜곡, 특히 비선형 왜곡을 갖도록 하는 것을, 특히 왜곡 광각 렌즈로서 구성되는 것을 선호한다. 특히 비정형 왜곡에 의해 촬영 센서의 해상도에 따라 일 도당 최대 50화소의 해상도를 갖도록 할 수 있다. 이러한 방식으로 망원 렌즈를 사용하지 않고 원거리 구역에서 대상을 분석하는 데 필요한 해상도가 가능하다.
선호하는 다른 형태에서는 광학 렌즈가 최소한 하나의 또는 정확하게 하나의 렌즈인 바, 이 렌즈는 최소한 세그먼트 별로, 예를 들어 구형 세그먼트가 파노모프하게, 특히 왜곡되어 촬영되도록 한다. 파노모프 렌즈, 특히 왜곡 렌즈는 최소한 세그먼트 별로 원본 영상이 왜곡되도록 하고, 특히 타원형 형태에 의해 다른 렌즈 형태와 비교하며 더 넓은 면을 촬영하도록 하므로 사상된 구역당 더 많은 화소가 형성되도록 한다. 이러한 방식으로 중앙 영상 세그먼트에서 왜곡에도 불구하고 목표 대상을 더 잘 인식할 수 있게 된다.
주변 영상 세그먼트에 있는 관련 목표 대상을 특히 시내에서 차량의 속도가 느릴 때 분석할 수 있으며, 이에 반해 교외의 도로에서는 차량의 속도가 빠를 때 중앙 영상 세그먼트의 원거리 구역에서 관련 목표 대상을 분석할 수 있다. 따라서 광전자 장치, 특히 영상 처리 장치는 영상 단면을 현재 측정한 차량 속도에 따라 및/또는 현재 측정한 자기 차량의 조향각에 따라 중앙 영상 세그먼트나 주변 영상 세그먼트로서 지정하도록 고안되어 있다. 차량 속도 및/또는 조향각에 의해 자기 차량이 어떤 범주에 속하는 도로 위에, 예를 들어 시내의 도로나 고속도로에 있는가를 알 수 있다. 이러한 방식으로 현재 관련된 목표 대상을 분석할 때 주변 영상 세그먼트에서 비정형 렌즈의 경우에도 필요한 해상도를 유지할 수 있다.
그 대신으로나 선택 사양으로서 보완하기 위해 광전자 장치를, 특히 영상 처리 장치를 자기 차량이 현재 위치하고 있는, 식별한 전방 교통 공간에 따라 및/또는 도로 범주에 따라 영상 단면을 중앙 영상 세그먼트나 주변 영상 세그먼트로서 지정하도록 고안하였다. 전방 교통 공간을 식별함으로써 특징적인 목표 대상이 있는 관련 교통 구역을, 예컨대 가로지르는 교통 참여자가 있는 교차로 구역을 식별할 수 있다. 여기서 도로 범주는 예를 들어 고속도로, 국도 및/또는 시내 도로로 구분된다. 전방 교통 공간 및/또는 도로 범주를 식별함으로써 영상 단면을 현재의 차량 주변에 따라 조절하여, 따라서 최소한 하나의 운전자 지원 장치를 이용하여 분석해야 할 목표 대상을 개별적으로 선택할 수 있다.
예를 들어 자기 차량에는 GPS 센서와 같은 현재의 위치를, 따라서 카메라 시스템을 내장할 수 있거나 또는 내장한 자기 차량의 현재 위치를 확인할 수 있는 위치 확인 시스템이 있다. 또한 자기 차량에는 예를 들어 차량 내부에 전자 지도 데이터를 불러내는 내비게이션 데이터 서버가 있다. 기본적으로 자기 차량의 특정한 위치를 이용하여 및 전자 지도 데이터의 정보 데이터를 이용하여 자기 차량의 현재 위치에서 본 전방 교통 공간 및/또는 도로 범주를 분석하고, 분석된 교통 공간 또는 도로 범주를 영상 처리 장치로 전송하도록 자기 차량의 분석 장치를 고안하였다.
본 발명의 또 다른 과제는 상기 설명에 따른 카메라 시스템이 장착된 차량이다.
또한 본 발명은 자기 차량에 장착된 최소한 하나의 운전자 지원 장치에 의해 운전자 지원 기능을 제공하는 방법에 관한 것이다. 첫 번째 단계에서 주변 구역에 대한 최소한 하나의 원본 영상을 상기 설명에 따른 카메라 시스템으로 촬영한다. 그 다음 단계에서는 광전자 장치에 의해, 특히 촬영 센서 및/또는 카메라 시스템의 영상 처리 장치에 의해 최소한 하나의 원본 영상에서 편집한 최종 영상이 만들어진다. 처리한 최종 영상에는 그 원본 영상과는 달리 최소한 하나의 변하지 않은 영상 단면과 최소한 하나의 영상 단면에 인접한, 해상도가 낮아진 잔여 영상 구역이 있다. 최소한 하나의 처리한 최종 영상에서 최소한 하나의 목표 대상이 분석된다. 최소한 하나의 목표 대상에 대한 분석은 카메라 시스템에 내장된, 특히 최소한 하나의 운전자 지원 장치에 의해 이루어진다. 기본적으로 최소한 하나의 분석된 목표 대상을 기반으로 하여 운전자 지원 기능이, 예를 들어 제동, 경고 및/또는 조향 지원이 실행된다.
본 발명의 또 다른 특징, 장점 및 효과는 본 발명이 선호하는 예시 모델에 대한 아래의 설명에 기술되어 있다. 여기서 다음은,
도면 1 카메라 시스템이 장착된 차량의 도식적 조감도;
도면 2, 3 변하지 않는 영상 단면과 그 영상 단면에 인접한 해상도가 낮아진 주변 영상 구역이 있는 처리한 최종 영상의 각 예시 모델;
도면 4 한 도표에서는 현재의 기술 수준으로 알려진 카메라 시스템의 두 광전자 장치의 수평 화각에 따른 해상도의 추이;
도면 5 한 도표에서는 도표 2에서 나온 예시 모델에 따른 최종 영상의 해상도 추이;
도면 6 한 도표에서는 도표 3에서 나온 예시 모델에 따른 최종 영상의 해상도 추이;
도면 7 한 도표에서는 도면 5의 예시 모델에 따른 최종 영상의 해상도 추이, 여기서 해당 원본 영상을 비정형 렌즈가 장착된 카메라 시스템으로 촬영하였다.
모든 도면에서 표시된 숫자는 동일한 부품을 가리킨다.
도면 1은 전방 주변 구역을 촬영하는 카메라 시스템 2가 장착된 차량 1을 도식적으로 나타낸다. 이 예시 모델에서 카메라 시스템 2는 차량 1의 실내에서 윈드실드 뒤에 배치되어 있으며 자기 차량 1의 주행 방향으로 향하는 카메라이다. 특히 카메라 시스템 2는 정확하게 하나의 광전자 장치 3이 장착된 모노 카메라 시스템 2로서 고안되었다.
카메라 시스템 2의 광전자 장치 3은 최소한 하나의 전방 구역 원본 영상을 촬영하도록 고안되었다. 원본 영상을 촬영하기 위해 광전자 장치에는 광각 렌즈와 고해상도 촬영 센서가 있다.
광각 렌즈의 수평 및/또는 수직 화각 α 및 β는 광학축 A에 대해 +/- 50도이다. 광각 렌즈를 이용하여 가로지르는 교통 참여자와 같은 목표 대상을 조기에 분석할 수 있다.
촬영 센서의 해상도는 최소한 오백만 화소, 대부분의 경우에는 최소한 칠백만 화소, 특수한 경우에는 최소한 천만 화소이다. 이러한 해상도로 인해 원거리 구역에서도 목표 대상을 분석할 수 있다.
이러한 방식으로 특히 잔여 영상 세그먼트나 중앙 영상 세그먼트를 분석하기 위해 사용되는(도면 4) 고가의 다중 광전자 장치를 사용하지 않을 수 있다.
따라서 한편으로는 예컨대 교차로 구역에서 가로지르는 교통 참여자를 조기에 인식하기 위해서나 또는 첫 번째 열에서 정지해 있으면서 신호등을 인식하기 위해 필요한 광각 식별 구역이 있는 카메라 시스템 2를 고안하였다. 다른 한편으로는 최소한 하나의 원본 영상을 고해상도로 촬영하여 예컨대 일 미터에서 50미터 사이의 거리로 떨어진 근거리 구역과 50미터와 500미터 사이의 거리로 떨어진 원거리 구역에 있는 목표 대상을 분석할 수 있다. 이렇게 하여 하나의 개별적인 광전자 장치 3을 사용할 때 발생하는 광각 구역과 원거리 구역의 목표 충돌을 해결하였다.
하지만 그러한 원본 영상은 영상 분석 장치가, 특별한 경우 특히 자동차 분야에서 사용된 프로세서가 목표 대상을 분석하기 위해 처리할 수 있는 데이터 크기를 초과한다.
광전자 장치 3을, 특히 촬영 센서 또는 광전자 장치 3의 영상 편집 장치를 고안하였으며, 최소한 하나의 촬영한 원본 영상에서 편집한 최종 영상 4를 만들 수 있다. 기본적으로 최종 영상 4의 시야는 원본 영상의 시야와 동일하다.
처리한 최종 영상 4에는 그 원본 영상과는 달리 최소한 하나의 변하지 않은 영상 단면 4a와 최소한 하나의 영상 단면에 인접한, 해상도가 낮아진 잔여 영상 구역 4b가 있다. 이렇게 함으로써 특히 자기 차량 1 내에 장착된, 구체적으로는 카메라 시스템 2 내에 장착된 영상 분석 장치가 계산할 수 있는 크기의 데이터가 만들어진다. 또한 단 하나의 카메라 시스템 2을 사용하여 상이한 거리로 떨어진 구역에서 자기 차량 1의 중앙 및 주변 구역에 있는 대상을 분석할 수 있다.
그 외에도 카메라 시스템 2에는 예를 들어 최소한 하나의 운전자 지원 장치 7이 있는 바, 이 장치에는 광전자 장치 3이 처리한 최종 영상 4에서 목표 대상을 분석하고, 분석한 이 목표 대상을 기반으로 하여 운전자 지원 기능을 실행하도록 고안된 영상 분석 장치가 장착되어 있다.
기본적으로 처리한 최종 영상 4에서 해상도가 상이한 영상에 대한, 피라미드 구조라고도 하는 어떤 계층을 계산한다. 예를 들어 해상도가 각각 절반 낮아진 영상을 최소한 세 개 제공한다. 특히 영상 분석 장치를 이용하여 먼저 해상도가 가장 낮은 영상을 조회하여 대상을 인식하려고 하는 바, 이는 계산 시간을 되도록 줄이기 위해서이다. 해상도가 가장 낮은 영상에서 영상 분석 장치가 목표 대상을 인식하게 되면, 기본적으로 해상도가 그 다음으로 높은 영상에 접근하여 그 대상의 인식을 확인한다.
촬영한 원본 영상의 해상도 감소를 예를 들어 화소 범주화를 통해 이루어진다. 화소 범주화란 여러, 예를 들어 네 개의 물리적 화소를 하나의 화소로 줄이는 것을 의미한다. 네 개의 화소를 하나의 화소를 줄이는 경우 물리적 화소수의 1/4만 화소로서 처리할 수 있다.
예를 들어 최소한 하나의 영상 단면 4a가 광전자 장치 3에 의해, 특히 영상 센서 촬영 장치나 영상 처리 장치에 의해 원본 영상의 각 부분 영상 구역으로 나누어지는 바, 이 부분 영상 구역에서 대상 분석이 우선적으로 이루어지거나 또는 그 분석이 최소한 50미터 떨어진 구역에서 분석이 이루어져야 한다.
도면 2와 3에는 편집한 최종 영상 4의 예시 모델이 변하지 않은 영상 단면 4a와 영상 단면 4a에 인접한, 해상도가 감소한 잔여 영상 구역 4b와 함께 도시되어 있다.
도면 2에 도시한 예시 모델에서 영상 단면 4a는 광학축 A를 둘러싸고 있는 중앙 영상 세그먼트 5이고 잔여 영상 구역 4b는 원본 영상 3의 중앙 영상 세그먼트 5에 인접한 주변 영상 세그먼트 6이다. 중앙 영상 세그먼트 5의 수평 및/또는 수직 화각 5α 및 5β는 +/- 25도이다. 이러한 화각 범위에 의해 예건대 감지한 차선의 평가할 수 있는 길이가 길어진다. 수평 주변 영상 세그먼트 6에는 특히 +/- 50도의 수평 및/또는 수직 화각 6α, 6β가 있으므로 예컨대 교차로 구역도 넓게 식별할 수 있다. 주변 영상 세그먼트 6에는 단순히 하나의 예시로서 촬영한 원본 영상의 네 잔여 영상 세그먼트가 각각 도시되어 있다.
도면 3에 도시된 예시 모델에서 영상 단면 4a는 광학축 A를 둘러싸고 있는 주변 영상 세그먼트 6이고 잔여 영상 구역 4b는 중앙 영상 세그먼트 5이다. 이러한 형태는 예를 들어 가로지르는 교통 참여자 및/또는 신호 설비를 교차로 구역에서 분석해야 할 경우 특히 장점이 많다.
예를 들어 차량의 속도, 조향각, 전방 교통 구역 및/또는 자기 차량 1이 현재 위치하고 있는 도로의 범주에 따라 영상 단면 4a를 중앙 영상 및/또는 주변 영상 세그먼트 5, 6으로서 지정한다.
차량의 속도가 증가함에 따라 예컨대 교통표지판 및/또는 차선의 진로를 조기에 평가하기 위해 중앙 영상 세그먼트 5에서의 해상도도 높아져야 하기 때문에, 예컨대 100km/h의 속도 제한을 초과하는 경우 기본적으로 영상 단면 4b가 중앙 영상 세그먼트 5 위에 놓인다. 속도가 더 느린 경우에는 교차 교통 및/또는 신호등을 조기에 인식하기 위해 최소한 주변 영상 세그먼트 6에서의 해상도가 충분해야 하므로, 예컨대 30km/h의 속도 제한에 미달하는 경우, 특히 차량이 정지한 상태인 경우 영상 단면 4a는 주변 영상 세그먼트 6으로 지정된다.
도면 4에서는 예시로서 현재의 알려진 기술 수준으로서 광전자 장치 두 개가 장착된 카메라 시스템의 수평 화각 α 위로 해상도 추이를 도시하였다. 한 광전자 장치에는 선형 광각 렌즈가 있고 다른 광전자 장치에는 선형 망원 렌즈가 있어, 중앙 영상 세그먼트에 있는 원거리 구역과 망원 렌즈로 확장된 시야 범위를 실현한다.
도면 5와 6에서는 이와 비교하여 예시로서 본 발명에 따른 카메라 시스템 2에 의해 만들어진 최종 영상 4의 수평 화각 α 위로 해상도 추이를 도시하였다. 이 예시 모델에서는 광전자 장치에 화면비가 16:9인 7백2십3만 화소의 고해상도 촬영 센서와 수평 화각 α가 +/- 50도인 선형 광각 렌즈가 있다.
도면 5에서는 중앙 영상 세그먼트 5가 영상 단면 4a이고, 이에 반하여 주변 영상 세그먼트 6은 해상도가 감소한 잔여 영상 구역으로 지정되어 있다. 도면 6에 도시되어 있는 바와 같이, 주변 영상 세그먼트 6은 그 대신 영상 단면 5b로 지정되어 있다. 기본적으로 중심에 최소한 거의 동일하게 많은, 처리해야 할 화소수가 실현되어 있다.
도면 7에는 예시로서 본 발명에 따른 카메라 시스템 2에 의해 만들어진 최종 영상 4의 수평 화각 α 위로 해상도 추이를 도시하였다. 이 예시 모델에서는 광전자 장치에 화면비가 16:9인 7백2십3만 화소의 고해상도 촬영 센서와 수평 화각 α가 +/- 50도인 선형 광각 렌즈가 있다. 왜곡 광각 렌즈에 의해 선형 광각 렌즈와 비교하여 중앙 영상 세그먼트에서의 해상도가 최소한 세그먼트 별로 높아지지만, 이와 동시에 주변 영상 세그먼트 6에서는 해상도가 낮아진다. 그러므로 주변 영상 세그먼트에서 해상도가 부분적으로 낮아짐으로 인해 경우에 따라 신뢰할 수 있는 대상 분석에 필요한 해상도에 미달할 수 있다. 이런 의미에서 현재의 차량 속도나 전방 교통 구역과 같은 현재의 주행 상황에 따라 영상 단면 4a를 지정하는 것이 유리하다는 것이 드러난 바, 왜냐하면 주변 영상 세그먼트 6에서 충분한 해상도가 필요할 때 특히 영상 단면 4a가 이 부분 영상 구역 위에 놓이고 따라서 신뢰할 수 있는 대상 분석이 확보되기 때문이다.
1 차량
2 카메라 시스템
3 광전자 장치
4 처리한 최종 영상
4a 영상 단면
4b 잔여 영상 구역
5 중앙 영상 세그먼트
6 주변 영상 세그먼트
7 운전자 지원 장치
α 수평 화각
β 수직 화각
A 광학축

Claims (16)

  1. 자기 차량 (1) 의 주변 구역을 촬영하기 위한 카메라 장치 (2) 로서,
    상기 주변 구역의 적어도 하나의 원본 영상을 촬영하기 위한 고해상도 촬영 센서 및 광각 렌즈를 포함하는 광전자 장치를 포함하고, 상기 촬영 센서는 균일한 해상도를 갖고,
    상기 광전자 장치는 상기 적어도 하나의 촬영된 원본 영상으로부터 처리한 최종 영상 (4) 을 생성하도록 설계되고,
    상기 처리된 최종 영상 (4) 은, 연관된 상기 원본 영상과 비교하여, 적어도 하나의 변하지 않은 영상 단면 (4a) 및 상기 적어도 하나의 영상 단면 (4a) 에 인접한 감소된 해상도의 잔여 영상 구역 (4b) 을 포함하고,
    상기 촬영 센서는 전체 화소수의 일부만이 출력되도록 구성되고, 상기 출력되는 일부 화소수는 상기 생성되는 처리한 최종 영상에 대응하며, 상기 잔여 영상 구역의 해상도의 감소는 상기 촬영 센서 상의 전자적 화소 범주화 (pixel binning) 및/또는 화소 건너뛰기에 의해 실행되는, 카메라 장치 (2).
  2. 제 1 항에 있어서,
    상기 촬영 센서는 적어도 오백만 화소의 해상도를 갖는, 카메라 장치 (2).
  3. 제 1 항에 있어서,
    상기 광각 렌즈는 광학축 A 에 대해 +/- 50 도의 수평 및/또는 수직 화각 (α, β) 를 갖는, 카메라 장치 (2).
  4. 제 1 항에 있어서,
    상기 촬영 센서는 상기 적어도 하나의 촬영된 원본 영상으로부터 상기 처리한 최종 영상 (4) 을 생성하도록 설계되는, 카메라 장치 (2).
  5. 제 1 항에 있어서,
    상기 카메라 장치 (2) 는 상기 촬영 센서에 의해 송신된 상기 적어도 하나의 원본 영상으로부터 상기 처리한 최종 영상 (4) 을 생성하도록 설계된 영상 처리 장치를 포함하는, 카메라 장치 (2).
  6. 제 1 항에 있어서,
    상기 적어도 하나의 영상 단면 (4a) 은 광학축을 둘러싸고 있는 중앙 영상 세그먼트 (5) 또는 상기 중앙 영상 세그먼트 (5) 에 인접한 주변 영상 세그먼트 (6) 인, 카메라 장치 (2).
  7. 제 6 항에 있어서,
    상기 중앙 영상 세그먼트 (5) 는 최고 +/- 25 도의 수평 화각 (5α) 을 갖고, 상기 중앙 영상 세그먼트 (5) 에 인접한 상기 주변 영상 세그먼트 (6) 는 최소한 +/- 50 도의 수평 화각 (6α) 을 갖는, 카메라 장치 (2).
  8. 제 6 항에 있어서,
    상기 촬영된 원본 영상은, 적어도 부분적으로, 상기 주변 영상 세그먼트 (6) 에서보다 상기 중앙 영상 세그먼트 (5) 에서 더 높은 해상도를 갖는, 카메라 장치 (2).
  9. 제 8 항에 있어서,
    상기 광각 렌즈는, 상기 중앙 영상 세그먼트 (5) 에서 적어도 부분적으로 더 높은 해상도를 구현하도록 설계되는, 카메라 장치 (2).
  10. 제 1 항에 있어서,
    상기 광각 렌즈는, 적어도 부분적으로 파노모프하게 왜곡된 (panamorphic),적어도 또는 정확히 하나의 렌즈를 갖는, 카메라 장치 (2).
  11. 제 6 항에 있어서,
    상기 광전자 장치는 상기 자기 차량 (1) 전방의 교통 공간에 기초하여 그리고/또는 상기 자기 차량 (1) 이 현재 위치하고 있는 도로의 범주에 기초하여 상기 적어도 하나의 영상 단면 (4a) 을 상기 중앙 영상 세그먼트 (5) 또는 상기 주변 영상 세그먼트 (6) 로서 지정하도록 설계되는, 카메라 장치 (2).
  12. 제 6 항에 있어서,
    상기 광전자 장치는 상기 자기 차량 (1) 의 현재 확인된 차량 속도 및/또는 현재 조향각에 기초하여 상기 적어도 하나의 영상 단면 (4a) 을 상기 중앙 영상 세그먼트 (5) 또는 상기 주변 영상 세그먼트 (6) 로서 지정하도록 설계되는, 카메라 장치 (2).
  13. 제 1 항에 있어서,
    상기 카메라 장치 (2) 는, 상기 적어도 하나의 처리한 최종 영상 (4) 으로부터 적어도 하나의 목표 대상을 평가하고, 상기 평가된 목표 대상에 기초하여 적어도 하나의 운전자 지원 기능을 수행하도록 설계된, 적어도 하나의 운전자 지원 장치 (7) 를 포함하는, 카메라 장치 (2).
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 따른 카메라 장치 (2) 를 갖는 차량 (1).
  15. 자기 차량 (1) 의 적어도 하나의 운전자 지원 장치 (7) 의 운전자 지원 기능을 제공하는 방법으로서,
    제 1 항 내지 제 13 항 중 어느 한 항에 따른 카메라 장치 (2) 를 사용하여 상기 자기 차량 (1) 의 주변 구역의 적어도 하나의 원본 영상을 촬영하는 단계;
    상기 적어도 하나의 원본 영상으로부터 처리한 최종 영상 (4) 을 생성하는 단계로서, 상기 처리한 최종 영상 (4) 은, 연관된 상기 원본 영상과 비교하여, 적어도 하나의 변하지 않은 영상 단면 (4a) 및 상기 적어도 하나의 영상 단면 (4a) 에 인접한 감소된 해상도의 잔여 영상 구역 (4b) 을 포함하고, 상기 최종 영상은 전체 화소수의 일부만을 포함하고, 상기 출력되는 일부 화소수는 상기 생성되는 처리한 최종 영상에 대응하며, 상기 잔여 영상 구역의 해상도의 감소는 상기 촬영 센서 상의 전자적 화소 범주화 (pixel binning) 및/또는 화소 건너뛰기에 의해 실행되는, 상기 최종 영상 (4) 을 생성하는 단계; 및
    상기 적어도 하나의 처리한 최종 영상 (4) 으로부터 적어도 하나의 목표 대상을 평가하는 단계를 포함하는, 운전자 지원 기능을 제공하는 방법.
  16. 삭제
KR1020197001504A 2016-07-22 2017-07-04 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법 KR102397156B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016213493.0A DE102016213493A1 (de) 2016-07-22 2016-07-22 Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
DE102016213493.0 2016-07-22
PCT/DE2017/200061 WO2018014917A1 (de) 2016-07-22 2017-07-04 Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion

Publications (2)

Publication Number Publication Date
KR20190026767A KR20190026767A (ko) 2019-03-13
KR102397156B1 true KR102397156B1 (ko) 2022-05-11

Family

ID=59655807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001504A KR102397156B1 (ko) 2016-07-22 2017-07-04 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법

Country Status (7)

Country Link
US (1) US10750085B2 (ko)
EP (1) EP3488607B1 (ko)
JP (1) JP7064451B2 (ko)
KR (1) KR102397156B1 (ko)
CN (1) CN109644251B (ko)
DE (2) DE102016213493A1 (ko)
WO (1) WO2018014917A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
CN112312038A (zh) * 2019-07-24 2021-02-02 常州星宇车灯股份有限公司 用于智能驾驶的复合镜头和车辆
KR20220068990A (ko) * 2019-09-24 2022-05-26 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
DE102020106967A1 (de) * 2020-03-13 2021-09-16 Valeo Schalter Und Sensoren Gmbh Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter
US11899468B2 (en) * 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
US20030048202A1 (en) 2001-09-10 2003-03-13 Michael Francois Cockpit image recording system
US6917715B2 (en) 2002-04-19 2005-07-12 International Business Machines Corporation Foveal priority in stereoscopic remote viewing system
JP4084991B2 (ja) 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP2006333120A (ja) 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
FR2912238B1 (fr) * 2007-02-01 2009-07-10 Valeo Vision Sa Procede de traitement d'images prises par une camera embarquee sur vehicule.
JP5188080B2 (ja) 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
JP5163936B2 (ja) 2007-05-30 2013-03-13 コニカミノルタホールディングス株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
JP5115792B2 (ja) 2007-07-04 2013-01-09 オムロン株式会社 画像処理装置および方法、並びに、プログラム
JP2010283567A (ja) 2009-06-04 2010-12-16 Alpine Electronics Inc 撮像装置及び車両周囲画像提供装置
JP2011205573A (ja) * 2010-03-26 2011-10-13 Sony Corp 制御装置、カメラシステム及びプログラム
JP5552000B2 (ja) * 2010-08-16 2014-07-16 富士フイルム株式会社 ファインダー装置および撮像装置
JP5506656B2 (ja) * 2010-12-28 2014-05-28 株式会社テクノスコープ 画像処理装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
DE102011085194B3 (de) * 2011-09-08 2013-03-07 Cooper-Standard Automotive (Deutschland) Gmbh Abgaskühler für ein Abgasrückführsystem sowie ein Abgasrückführsystem mit einem derartigen Abgaskühler
WO2013067083A1 (en) * 2011-11-02 2013-05-10 Magna Electronics, Inc. Vehicle vision system with asymmetric anamorphic lens
WO2014083764A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 加減速誤操作判定装置、誤操作加速抑制制御装置、加減速誤操作判定方法
US10002561B1 (en) * 2012-12-12 2018-06-19 Christopher Ralph Tridico Perceptually configured array of addressable electromagnetic emitter elements
WO2014115319A1 (ja) * 2013-01-25 2014-07-31 トヨタ自動車株式会社 道路環境認識システム
US9826174B2 (en) * 2013-03-26 2017-11-21 Samsung Electronics Co., Ltd Image processing apparatus and method
US8934102B2 (en) * 2013-06-17 2015-01-13 Intellectual Reserves, LLC System and method for determining fluid parameters
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
CN104427310B (zh) * 2013-09-04 2017-11-10 杭州海康威视数字技术股份有限公司 图像存储方法及其装置
DE102013221882A1 (de) 2013-10-28 2015-04-30 Conti Temic Microelectronic Gmbh Kamera mit ungleichförmiger Winkelauflösung für ein Fahrzeug
DE102013018543A1 (de) * 2013-11-05 2015-05-07 Mekra Lang Gmbh & Co. Kg Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102014215372A1 (de) 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
US20170291550A1 (en) 2014-09-24 2017-10-12 Panasonic Intellectual Property Management Co., Ltd. On-board electronic mirror
DE102015208889A1 (de) 2015-05-13 2016-11-17 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Patrice Roulet et al: Multi-task single lens for automotive vision applications, Proceedings of SPIE, Bd. 7314, 1. May 2009(2009-05-01)*

Also Published As

Publication number Publication date
EP3488607B1 (de) 2021-09-08
DE112017002485A5 (de) 2019-02-28
EP3488607A1 (de) 2019-05-29
KR20190026767A (ko) 2019-03-13
WO2018014917A1 (de) 2018-01-25
JP7064451B2 (ja) 2022-05-10
CN109644251A (zh) 2019-04-16
US10750085B2 (en) 2020-08-18
JP2019525540A (ja) 2019-09-05
US20200059598A1 (en) 2020-02-20
DE102016213493A1 (de) 2018-01-25
CN109644251B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
KR102397156B1 (ko) 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법
KR102535442B1 (ko) 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
KR102385280B1 (ko) 차량의 주변 구역을 상황에 맞추어 포착하기 위한 카메라 시스템 및 방법
JP2019525568A5 (ko)
US20170337435A1 (en) System and method for detecting objects in an automotive environment
US10869002B2 (en) Vehicle camera device for capturing the surroundings of a motor vehicle and driver assistance device for detecting objects with such a vehicle camera device
CN110226326B (zh) 用于检测车辆的周围环境区域的摄像设备及方法
CN112513571B (zh) 距离计算装置
JP4798576B2 (ja) 付着物検出装置
JP2017129543A (ja) ステレオカメラ装置及び車両
DE112019004125T5 (de) Bildverarbeitungsgerät, bildverarbeitungsverfahren und programm
JP2010146082A (ja) 画像処理装置
JP2008098989A (ja) 固体撮像素子
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant