KR20190026773A - 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 - Google Patents

자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 Download PDF

Info

Publication number
KR20190026773A
KR20190026773A KR1020197001851A KR20197001851A KR20190026773A KR 20190026773 A KR20190026773 A KR 20190026773A KR 1020197001851 A KR1020197001851 A KR 1020197001851A KR 20197001851 A KR20197001851 A KR 20197001851A KR 20190026773 A KR20190026773 A KR 20190026773A
Authority
KR
South Korea
Prior art keywords
image
resolution
camera system
output
images
Prior art date
Application number
KR1020197001851A
Other languages
English (en)
Other versions
KR102535442B1 (ko
Inventor
플로리안 드라이어
디터 크뢰켈
카르슈텐 브로이어
보리스 베르트헤쎈
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Priority to KR1020227040657A priority Critical patent/KR20220162826A/ko
Publication of KR20190026773A publication Critical patent/KR20190026773A/ko
Application granted granted Critical
Publication of KR102535442B1 publication Critical patent/KR102535442B1/ko

Links

Images

Classifications

    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/343—
    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/186—Video door telephones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 자기 차량 (1)의 주변 구역을 포착하기 위한 카메라 시스템 (2)에 관한 것으로서, 이 시스템에는 고해상도 촬영 센서와 광각 렌즈가 부착된 광전자 장치가 장착되어 있는 바, 이때 이 광전자 장치는 주변 구역의 연속적 영상 (8)을 고해상도 및 저해상도 영상 (3, 4)로 주기적으로 바꾸며 출력하도록 고안되어 있다.

Description

자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
본 발명은 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법에 관한 것이다. 또한 본 발명은 그러한 카메라 시스템이 장착된 차량에 관한 것이다.
교통표지판 인식장치나 차선유지 보조장치와 같은 운전자 지원장치를 실현하기 위해서는 수평 화각이 약 50도이고 수직 화각이 약 30도인 카메라 시스템이 필요하다. 하지만 제일 앞 열에 정지해 있을 때 교차 교통이나 신호등 인식과 같은 새로운 기능에는 가까이 접근할 때 영상의 주변 구역에 있는 물체를 식별하기 위해 더 큰 시야각이 필요하다. 그에 반하여 예를 들어 고도로 자동화된 주행이나 차선유지 지원 기능에서는 먼 거리에서도 물체나 차도의 구조를 인식해야 하며, 이를 위해서는 그에 상응하는 해상도가 필요하다.
이와 관련하여 적어도 화각 및/또는 각도 해상도에서 서로 구별되는, 따라서 작용 범위가 큰 중앙 구역의 측정에 부과된 요구 사항과 교차 교통 인식을 위한 광각 영역의 측정에 부과된 요구 사항이라는 서로 상충되는 요구 사항을 충족시키는 광전자 장치가 최소한 두 개 장착된 카메라 시스템이 알려져 있다. 이처럼 인쇄본 DE102004061998A1에서는 최소한 하나의 첫 번째 카메라와 최소한 하나의 두 번째 카메라가 장착된 차량용 장치를 기술하고 있는 바, 이때 첫 번째 카메라와 두 번째 카메라는 최소한 하나의 카메라 속성에서 차이가 있다.
그러한 카메라 시스템에서의 단점은 예를 들어 처리해야 할 데이터의 양과 카메라 시스템에서 가장 비싼 어셈블리인 광전자 장치를 여러 개 사용함으로 인한 비싼 비용이다.
본 발명의 과제는 기본적으로 영상 처리를 효율적으로 실현하고, 그와 동시에 상세한 촬영 및 되도록 넓은 식별 범위와 관련된 요구 사항을 충족시켜 운전자 지원 장치를 실현하는 카메라 시스템을 만드는 것이다.
이러한 과제는 청구항 1의 특징이 있는 카메라 시스템에 의해, 청구항 15의 특징이 있는 차량에 의해 및 청구항 16의 특징이 있는 방법에 의해 해결된다. 본 발명의 유용하거나 또는 선호하는 모델 형태에 대해서는 하위 청구항, 아래의 설명 및 도면에서 설명한다.
본 발명에서는 자기 차량의 주변 구역을 포착하는 카메라 시스템을 제안하였다. 여기서 주변 구역이란 예컨대 자기 차량의 진행 방향에서 볼 때 전방, 측방 및/또는 후방의 주변 구역을 말한다.
이 카메라 시스템에는 광전자 장치가 장착되어 있는 바, 이 광전자 장치는 주변 구역을 연속적 영상으로 촬영하도록 고안되었다. 이 연속적 영상은 기본적으로 최소한 두 개의, 특히 최소한 다섯 개의 연속적으로 촬영한, 특수한 경우에는 20개의 연속적으로 촬영한 영상으로 구성된다.
광전자에는 광각 렌즈가 있다. 기본적으로 이러한 광각 렌즈는 수평 및/또는 수직 화각이 예컨대 최소한 +/- 50도이고, 특히 광학 축에 대해 최소한 +/- 70도 및/또는 최대 +/- 80도가 되도록 고안되었다. 이러한 광각 렌즈를 이용하여 교차로 구역과 같은 주변 구역을 포착하여 가로지르는 교통 참여자와 같은 대상을 조기에 분석할 수 있다.
그 외에도 광전자 장치에는 고해상도 촬영 센서가 있다. 이러한 고해상도 촬영 센서를 이용하여 특히 원거리 구역에 있는, 따라서 특히 최소 50미터의 자기 차량에 대한 원거리 구역에서 교통표지판이나 차선의 분석과 같은 대상 분석을 할 수 있다. 이러한 고해상도 촬영 센서를 특히 화소수가 수백만 개인, 예를 들어 화수수가 최소한 오백만 개이지만 대부분의 경우에는 최소한 칠백만 개인, 그리고 특별할 경우에는 최소한 천만 개인 촬영 센서라고 이해할 수 있다. 기본적으로 촬영 센서는 균일한 화소/cm 해상도를 가지고 있다.
고해상도 촬영 센서는 특히 광학 렌즈와 결합하여 자동차 기술 장치에 사용하는 것이 부적절하다고 분류되는 바, 왜냐하면 이 센서는 복잡한 영상 처리 알고리즘을 위한 많은 화소수의 효율적인 처리를 허용하지 않기 때문이다.
따라서 광전자 장치는, 특히 광전자 장치의 촬영 센서나 영상 처리 장치는 주변 구역의 연속적인 영상을 고해상도 및 해상도가 낮아진 영상으로 주기적으로 바뀌며 예컨대 카메라 시스템의 영상 처리 장치로 출력하도록 고안되었다. 따라서 연속적인 영상의 영상이 지정된 규칙성으로 고해상도로 및 해상도가 낮아진 상태로 바뀌며 출력된다는 점이 특징이다. 예를 들어 이 광전자 장치는 연속적인 영상에서 최소한 열 번째 영상마다, 특히 최소한 다섯 번째 영상마다, 특히 선호하는 바로는 두 번째 영상마다 그 영상이 해상도가 낮아져서 출력되도록 고안되었다. 그리고 이러한 연속적인 영상에서 해상도가 낮아지는 영상의 선택이 임의로 이루어지지 않는다는 점이 특징이다.
특히 고해상도 영상은 해상도가 낮아진 영상보다 그 해상도가 더 높다. 기본적으로 고해상도 영상은 최소한 구역에 따라 수평 및/또는 수직 화각에서 일 도마다 최소한 40화소의 해상도를 갖고, 특수한 경우에는 일 도마다 최소한 50화소의 해상도를 갖는다고 이해할 수 있다. 예를 들어 고해상도 영상은 광전자 장치가 이용할 수 있는 최고의 해상도로 출력된다.
해상도가 낮아진 영상이란 특히 영상 구역 전체에서 해상도가 낮아진 영상이라고 이해할 수 있다. 예를 들어 해상도가 낮아진 영상은 최소한 구역에 따라 수평 및/또는 수직 화각에서 일 도마다 최고 30화소의 해상도를, 특수한 경우에는 일 도마다 최고 20화소의 해상도를 갖는다. 기본적으로 해상도가 낮아진 상태로 출력되는 영상은 최소한 거의 동일한 화소수를 갖고/갖거나 어떤 통일된, 특수한 경우에는 균일하게 분포된 화소 크기의 분포를 갖는다.
이러한 주기적 변경이 갖는 기본적인 장점은 영상을 분석할 때 차량 카메라와 비교하여 평균적으로 거의 동일하거나 또는 약간 더 많은 계산 시간인 바, 지금까지는 그러한 영상이 현실적으로 가능한 영상 처리 비용으로 실현하기에는 해상력이 낮아 원거리 구역에서의 분석이 불가능 또는 불충분하게 되거나, 그렇지 않으면 계산 시간이 너무 길어 좁은 포착 구역만 분석하므로 관련된 목표 대상을 최소한 지체되어 분석하게 되는 결과를 가질 수 있었다.
따라서 본 발명에 따르면 고해상도 촬영 센서와 광각 렌즈를 사용함에도 불구하고 주기적으로 전환되는 고해상도 및 저해상도 영상에서 목표 대상을 분석할 있는 계산 시간을 실현할 수 있다. 이에 따르면 운전자 지원 장치를 실현하기 위해 되도록 넓은 포착 구역을 가지며, 이와 동시에 현실적으로 가능한 영상 처리 비용으로 원거리 구역에 있는 목표 대상을 분석하기에 충분한 해상도를 가진다는 서로 상충되는 목표는 카메라 시스템을 장착하는 경우에만 달성된다.
더 나아가, 광전자 장치가 두 개 또는 심지어 세 개까지 않는 카메라 시스템과 비교할 때, 한편으로는 크기가 작고 다른 한편으로는 카메라 시스템의 비용을 상당히 절감할 수 있다는 점에 주목할 수 있다.
본 발명의 선호하는 형태에서는 광전자 장치의 촬영 센서가 연속적인 영상을 주기적으로 고해상도 및 저해상도 영상으로 변하며 촬영하도록 고안되어 있다. 따라서 연속적인 영상이 이미 주기적으로 고해상도 및 저해상도 영상으로 변하며 촬영되어 있으므로, 예컨대 광전자 장치는, 특별한 경우에는 촬영센서는 촬영한 연속적인 영상을 최소한 해상도에서, 선택 사양으로 보완하여 시야에서 변하지 않고 출력하도록 고안되어 있다.
예로서 제시한 다른 형태에서는 연속적인 영상을 특히 오로지 고해상도 영상으로만 촬영하도록 촬영 센서를 고안하였다. 또한 기본적으로 카메라 시스템의, 특히 광전자 장치의 영상 처리 장치를 고해상도로 촬영한 영상에서 주기적으로 바뀌며 저해상도 영상을 만들고 연속적인 영상으로서 주기적으로 고해상도 영상 및 저해상도 영상으로 바뀌며 예컨대 영상 처리 장치로 전송하거나 또는 예컨대 영상 분석 장치로 직접 출력하도록 고안하였다. 따라서 이러한 예시 모델에서는 기본적으로 촬영을 위해 해상도 저하가 이루어진다. 예를 들어 촬영 센서는 촬영한 연속적 영상을 전송하기 위해 영상 처리 장치와 결합되어 있다. 기본적으로 영상 처리 장치에 의해 출력된 저해상도 영상은 그에 속하는 촬영된 영상과 비교하여 최소한 부분적으로 해상도가 낮아져 있다.
선호하는 모델 형태에서는 촬영 센서나 영상 처리 장치가 촬영해야 하거나 또는 촬영된, 해상도를 낮추어야 할 영상를 화소 범주화에 의해 해상도를 낮추어 만들도록 고안되었다. 특히 화소 범주화 시 예컨대 촬영한 각 영상의 어느 한 줄 및/또는 어느 한 열 내에서나 예를 들어 사각형 부분 구역 내에 있는 인접한 화소를 모아서 새 화소에 할당한다. 따라서 해상도를 낮추어 만들어진 화소 매트릭스에는 촬영한 해당 영상보다 더 낮은 해상도를 갖게 된다.
그 대신으로나 또는 선택 사양으로 보완하여, 촬영해야 하거나 촬영한 영상이나 또는 해상도를 낮추어야 하는 영상을 화소 건너뛰기를 통해 해상도를 낮추어 만드는 촬영 센서나 영상 처리 장치를 고안하였다. 특히 화소 건너뛰기 시 원본 영상에 있는 화소는 지정된 순서로 건너뛰기가 이루어지므로, 기본적으로 화소의 어느 한 부분만 최종 영상에 대해 적용된다. 이러한 방식으로 최종 영상의 더 낮은 해상도가 실현되고 따라서 데이터의 크기를 줄이게 된다.
특히 처리 주기당 최소한 또는 적어도 하나의 고해상도 및 저해상도 영상이 출력되고 이 처리 주기에서 출력된 영상의 대상 분석이 이루어진다. 처리 주기의 지정된 시간 간격을 초과하지 않아야 목표 대상의 인식과 결합된, 운전자 지원 기능의 신뢰할 수 있는 조기 실행을 보증할 수 있을 것이다.
이러한 맥락에서 본 발명이 선호하는 첫 번째 형태에서는 고해상도 및 저해상도로 출력된 영상의 화소수가 최소한 거의 동일하다. 특히 최소한 거의 동일한 화소수란 최대 5십만 화소의 차이라고 이해할 수 있다. 따라서 출력된 연속적 영상의 각 영상은 그 화소수가 예컨대 2백만 화소이다. 그러므로 예컨대 처리 주기당 고해상도 및 저해상도 영상을 동일한 화소수로 출력된다.
이에 반해 두 번째로 선호하는 형태에 따라 처리 주기당 최소한 세 개의 영상, 특히 최소한 두 개의 고해상도 영상과 한 개의 저해상도 영상이 출력되는 경우, 기본적으로 최소한 두 개의 고해상도로 출력된 영상은 저해상도로 출력된 영상과 거의 동일한 화소수를 가진다. 이러한 방식으로 처리 주기당 영상 평가 장치에 가해지는 부하가 동일하게 유지되므로, 특히 원치 않은 피크가 발생하여 이로 인해 시간적으로 지체된 영상 분석이 이루어지지 않도록 할 수 있다.
특히 고해상도로 출력된 영상은 저해상도로 출력된 영상보다 크기가 더 작다. 따라서 고해상도 및 저해상도 영상은 그 화소수가 동일하므로, 더 강한 성능을 필요로 하지 않는다. 이러한 방식으로 포착 구역이 더 넓은 저해상도 영상과 포착 구역이 더 좁은 고해상도 영상을 동일한 계산 시간으로 출력할 수 있게 된다. 따라서 주기적으로 변하는 상태에서 동일한 영상 처리 비용으로 넓은 범위의 상세한 대상 분석이 가능하게 된다.
주변 영상 세그먼트에 있는 관련 목표 대상을 특히 시내에서 차량의 속도가 느릴 때 분석할 수 있으며, 이에 반해 교외의 도로에서는 차량의 속도가 빠를 때 중앙 영상 세그먼트의 원거리 구역에서 관련 목표 대상을 분석할 수 있다. 이러한 맥락에서 카메라 시스템은, 특수한 경우에는 촬영 센서나 영상 처리 장치는 영상의 크기 및/또는 고해상도로 출력해야 할 각 영상의 위치를 촬영 센서가 이용할 수 있는 촬영 구역 전체 내에 지정할 수 있도록 고안되어 있는 바, 여기서 그러한 지정은 현재 측정한 차량 속도 및/또는 현재 측정한 자기 차량의 조향각에 따라 이루어진다. 차량 속도 및/또는 조향각에 의해 자기 차량이 어떤 범주에 속하는 도로 위에, 예를 들어 현재 시내의 도로나 고속도로에 있는가를 알 수 있다. 이러한 방식으로 관련된 목표 대상을 분석할 때 필요한 해상도를 유지할 수 있다.
그 대신으로나 선택 사양으로서 보완하기 위해 카메라 시스템은, 특별한 경우에는 촬영 센서나 영상 처리 장치는 영상의 크기 및/또는 고해상도로 출력해야 할 각 영상의 위치를 자기 차량이 현재 위치해 있는 구역의 포착한 전방 교통 구역 및/또는 도로 범주에 따라 지정할 수 있도록 고안되었다. 전방 교통 공간을 식별함으로써 특징적인 목표 대상이 있는 관련 교통 구역을, 예컨대 가로지르는 교통 참여자가 있는 교차로 구역을 포착할 수 있다. 여기서 도로 범주는 예를 들어 고속도로, 국도 및/또는 시내 도로로 구분된다. 전방 교통 공간 및/또는 도로 범주를 식별함으로써 영상의 크기 및/또는 최소한 고해상도 영상의 위치를 현재의 차량 주변에 따라 조절하고, 따라서 분석해야 할 목표 대상을 개별적으로 선택할 수 있다.
예를 들어 자기 차량에는 GPS 센서와 같은 현재의 위치를, 따라서 카메라 시스템을 내장할 수 있거나 또는 내장한 자기 차량의 현재 위치를 확인할 수 있도록 고안된 위치 확인 시스템이 있다. 또한 자기 차량에는 예를 들어 차량 내부에 전자 지도 데이터를 불러내는 내비게이션 데이터 서버가 있다. 기본적으로 자기 차량의 특정한 위치를 이용하여 및 전자 지도 데이터의 정보 데이터를 이용하여 자기 차량의 현재 위치에서 본 전방 교통 공간 및/또는 도로 범주를 분석하고, 분석된 교통 공간 또는 도로 범주를 카메라 시스템으로 전송하도록 하는 자기 차량의 분석 장치를 고안하였다.
원거리 구역에서 더 멀리에 위치한 대상을 분석할 수 있을수록 운전자 지원 장치의 운전자 지원 기능은 더 신뢰할 수 있고 더 잘 예측할 수 있게 실행된다. 그러므로 특히 선호하는 형태는 촬영한 영상이 중앙 영상 세그먼트에서 최소한 부분적으로 주변 영상 세그먼트에서보다 더 높은 해상도를, 특히 최소한 두 배의 해상도를 갖도록 고안되어 있다. 예를 들어 중앙 영상 세그먼트는 수평 및/또는 수직 화각이 최고 +/- 25도이고/이거나 중앙 영상 세그먼트에 인접한 주변 영상 세그먼트는 수평 및/또는 수직 화각이 최소 +/- 50도이다. 특히 선호하는 형태에서는 그 해상도가 수평 및/또는 수평 화각의 각도가 증가에 따라 적어도 세그먼트 별로 감소한다. 이러한 방식으로 중앙 영상 세그먼트에서는 목표 대상을 예를 들어 일 미터와 50미터 사이의 거리로 떨어진 근거리 구역에서와 예를 들어 50미터와 500미터 사이의 거리로 떨어진 원거리 구역에서 분석할 수 있다. 주변 영상 세그먼트에서는 무엇보다도 근거리 구역에 위치한 목표 대상을, 예를 들어 교차로 구역에서 가로질러 주행하는 자전거 운전자를 분석할 수 있어야 하기 때문에, 비정형 광각 렌즈로 인해 발생한 더 낮은 해상도로 대상을 분석할 수 있다.
중앙 영상 세그먼트에서 최소한 부분적으로 더 높아진 해상도를 실현하기 위해, 구조적으로 구축하여 광각 렌즈가 비정형 왜곡, 특히 비선형 왜곡을 갖도록 하는 것을, 특히 왜곡 광각 렌즈로서 구성되는 것을 선호한다. 특히 비정형 왜곡에 의해 촬영 센서의 해상도에 따라 일 도당 최대 50화소의 해상도를 갖도록 할 수 있다. 이러한 방식으로 망원 렌즈를 추가로 사용하지 않고 원거리 구역에서 대상을 분석하는 데 필요한 해상도가 가능하다.
선호하는 다른 형태에서는 광학 렌즈가 최소한 하나의 또는 정확하게 하나의 렌즈인 바, 이 렌즈는 최소한 세그먼트별로, 예를 들어 구형 세그먼트가 파노모프하게, 특히 왜곡되어 촬영되도록 한다. 파노모프 렌즈, 특히 왜곡 렌즈는 최소한 세그먼트별로 원본 영상이 왜곡되도록 하고, 특히 타원형 형태에 의해 다른 렌즈 형태와 비교하며 더 넓은 면을 촬영하도록 하므로 사상된 구역당 더 많은 화소가 형성되도록 한다. 이러한 방식으로 중앙 영상 세그먼트에서 왜곡에도 불구하고 목표 대상을 더 잘 인식할 수 있게 된다.
기본적으로 카메라 시스템에는 영상 분석 장치가 장착되어 있다. 영상 분석 장치는, 특수한 경우 자동차 분야에서 사용되는 프로세서는 기본적으로 광전자 장치에서 출력된 영상에서 예컨대 차선, 보행자, 자전거 운전자 및/또는 기타 다른 교통 참여자와 같은 최소한 하나의 목표 대상을 분석할 수 있도록 고안되어 있다.
기본적으로 출력된 연속적인 영상의 고해상도 및 저해상도 영상에서 해상도가 상이한 영상에 대한, 피라미드 구조라고도 하는 어떤 계층을 각각 계산한다. 예를 들어 출력된 연속적인 영상의 고해상도 및 저해상도 영상에서 해상도가 각각 절반 낮아진 영상을 최소한 세 개 제공한다. 특히 영상 분석 장치를 이용하여 출력된 각 영상 중에서 먼저 해상도가 가장 낮은 영상을 조회하여 대상을 인식하려고 하는 바, 이는 계산 시간을 되도록 줄이기 위해서이다. 해상도가 가장 낮은 영상에서 영상 분석 장치가 목표 대상을 인식하게 되면, 기본적으로 해상도가 그 다음으로 높은 영상에 접근하여 그 대상의 인식을 확인한다.
또한 카메라 시스템에는 기본적으로 예컨대 차선유지 또는 선회 지원 장치와 같은 운전자 지원 장치가 최소한 하나 있거나 또는 이러한 장치와 결합할 수 있다. 이러한 운전자 지원 장치는 최소한 하나의 분석한 목표 대상에 따라 차간거리 경고, 비상 제동 또는 지율회피 거동과 같은 최소한 하나의 패시브 및/또는 액티브 운전자 지원 기능을 실행하도록 고안되어 있다.
본 발명의 또 다른 과제는 상기 설명에 따른 카메라 시스템이 장착된 차량이다.
더 나아가 본 발명은 상기 설명에 따른 카메라 시스템을 사용하여 자기 차량의 주변 구역을 포착하는 방법에 관한 것이다. 본 발명에 따라 연속적인 영상이 주기적으로 변화하며, 예컨대 교대로나 또는 어떤 지정된 순서로 고해상도 및 저해상도 영상으로 출력된다. 예를 들어 연속적인 영상이 고해상도 영상으로 촬영되어 주기적으로 변하며 변하지 않은 고해상도 영상과 저해상도 영상으로 출력된다. 또는 연속적인 영상이 이미 고해상도 및 저해상도 영상으로 주기적으로 변하며 촬영되어 변하지 않은 상태로 출력된다.
예를 들어 각 영상의 해상도 저하는 촬영 센서에서 전자식 화소 범주화 및/또는 화소 건너뛰기에 의해 이루어진다. 따라서 기본적으로 촬영 센서에서 화소수 전체의 일부만 출력되는 바, 여기서 화소수 전체의 나머지 화소수는 감추어지거나 한 곳으로 모인다. 또는 촬영한 후에 해상도 저하가 가, 예를 들어 추후의 화소 범주화 및/또는 화소 건너뛰기에 의해 이루어진다.
특히 최소한 하나의 목표 대상을 분석하기 위해 연속적인 영상이 영상 분석 장치로 출력된다. 기본적으로 고해상도 및 저해상도로 주기적으로 바뀌면 출력되는 영상에서 최소한 하나의 목표 대상이 분석된다. 예를 들어 최소한 하나의 분석된 목표 대상을 기반으로 하여 제동, 경고 및/또는 조향 지원과 같은 운전자 지원 기능이 실행된다.
본 발명의 또 다른 특징, 장점 및 효과는 본 발명이 선호하는 예시 모델에 대한 아래의 설명에 기술되어 있다. 여기서 다음은,
도면 1 카메라 시스템이 장착된 차량의 도식적 조감도;
도면 2 고해상도 영상으로 촬영된 연속적인 영상 및 고해상도 및 저해상도 영상으로 주기적으로 바뀌며 영상 분석 장치로 출력된 연속적인 영상;
도면 3 주기적으로 번갈아 가며 고해상도 및 저해상도로 바뀌는 영상으로 촬영된, 해상도가 변하지 않고 출력된 연속적인 영상;
도면 4 첫 번째 예시 모델로서, 한 처리 주기 내에 저해상도로 출력되는 하나의 영상과 고해상도로 출력되는 하나의 영상;
도면 5 두 번째 예시 모델로서, 한 처리 주기 내에 저해상도로 출력되는 하나의 영상과 고해상도로 출력되는 두 개의 영상;
도면 6 도표로 도시된, 비정형 렌즈가 장착된 카메라 시스템으로 촬영한 영상의 해상도 추이
모든 도면에서 표시된 숫자는 동일한 부품을 가리킨다.
도면 1은 전방 주변 구역을 촬영하는 카메라 시스템 2가 장착된 차량 1을 도식적으로 나타낸다. 이 예시 모델에서 카메라 시스템 2는 자기 차량 1의 실내에서 윈드실드 뒤에 배치되어 있으며 자기 차량 1의 주행 방향으로 향하는 카메라이다. 특히 카메라 시스템 2는 정확하게 하나의 광전자 장치가 장착된 모노 카메라 시스템 2로서 고안되었다.
도면 2와 3에서 도시한 바와 같이, 카메라 시스템 2의 광전자 장치는 주변 구역의 연속적 영상 7을 촬영하고 촬영된 연속적 영상 7을 고해상도 및 저해상도 영상 3, 4로 주기적으로 바뀌는 연속적 영상 8로서 출력하도록 고안되었다. 도면 2와 3에서는 순수하게 예시로서 교대로 변하는 것을 도시하였다. 주기적으로 고해상도 및 저해상도 영상 3, 4로 변함으로 인해 유용하게도 영상 분석 장치에 가해지는 부하는 그 뒤에 이루어지는 영상 처리와 거의 동일하게 유지될 수 있다. 또한 고해상도 및 저해상도 영상 3, 4의 규칙적인 순서로 인해 목표 대상을 분석하기 위한 영상 분석 장치가 시간적으로 지정된 처리 주기 내에 처리할 수 있는 크기로 테이터의 크기가 평균화된다. 이와 동시에 저해상도 영상 4에서의 목표 대상 분석은 최소한 근거리 구역에서, 그리고 고해상도 영상 3에서의 목표 대상 분석은 원거리 구역에서 확실히 이루어진다.
도면 2에 도시된 첫 번째 예시 모델에서는 카메라 시스템 2의 광전자 장치가 연속적 영상 7을 전방 주변 구역의 고해상도 영상 3으로 촬영하도록 고안되어 있다. 연속적 영상 7에는 도면 2에서 순수하게 예로서 도시한 여섯 개의 연속적인, 지정된 시간 주기 내에서 고해상도로 촬영한 영상 3이 포함되어 있다.
고해상도 영상 3을 촬영하기 위해 광전자 장치에는 광각 렌즈와 고해상도 촬영 센서가 있다. 광각 렌즈의 수평 및/또는 수직 화각 α, β는 광학축에 대해 +/- 50도이다. 이 광각 렌즈에 의해 가로지르는 교통 참여자와 같은 목표 대상을 조기에 분석할 수 있다. 촬영 센서의 해상도는 예컨대 최소한 5백만 화소이다. 이 해상도는 원거리 구역에서도 목표 대상의 분석을 실현한다. 이러한 방식으로 예를 들어 고가의, 가장자리 영상 세그먼트나 중앙 영상 세그먼트를 촬영하기 위한 다중 광전자 장치를 포기할 수 있다.
따라서 한편으로는 예컨대 교차로 구역에서 가로지르는 교통 참여자를 조기에 인식하기 위해서나 또는 첫 번째 열에서 정지해 있으면서 신호등을 인식하기 위해 필요한 광각 식별 구역이 있는 카메라 시스템 2를 고안하였다. 다른 한편으로는 최소한 하나의 원본 영상을 고해상도로 촬영하여 예컨대 일 미터에서 50미터 사이의 거리로 떨어진 근거리 구역과 50미터와 500미터 사이의 거리로 떨어진 원거리 구역에 있는 목표 대상을 분석할 수 있다. 이렇게 하여 하나의 개별적인 광전자 장치 을 사용할 때 발생하는 광각 구역과 원거리 구역의 목표 충돌을 해결하였다.
도면 2에 도시된 예시 모델에서는 광전자 장치에 영상 처리 장치가 있는 바, 이 처리 장치는 주기적으로 바뀌며 촬영 센서에 의해 고해상도로 촬영된 영상 3을 저해상도 영상 4로 만들도록 고안되어 있다. 달리 표현하자면, 촬영된 영상 3은 기본적으로 사전에 지정된 주기적 전환에 따라, 즉 도면 2에서 예시로서 도시한 교대로 이루어지는 전환에 따라 그 해상도가 저하된다. 그 다음 특히 연속적 영상 8이 해상도가 변하지 않는 고해상도 및 저해상도 영상 3, 4로 주기적으로 바뀌면서 영상 분석 장치로 출력된다.
도면 3에 도시된 두 번째 예시 모델에서 촬영 센서는 연속적 영상 8이 고해상도 및 저해상도 영상 3, 4로 주기적으로 변하면서 촬영되고 특히 해상도가 변하지 않는 상태로 영상 분석 장치로 출력되도록 고안되어 있다. 달리 표현하자면, 촬영 센서에 의해 주기적인 영상 순서로 바뀌면서 고해상도 및 저해상도로 촬영된 영상 3, 4가 최소한 해상도가 변하지 않으면서 출력되기 때문에 추가적인 해상도 저하가 필요하지 않다는 장점이 있다.
예를 들어 촬영 센서 또는 영상 처리 장치는 화소 범주화에 의해 해상도 저하를 실행하도록 고안되어 있다. 화소 범주화란 여러 화소를 모으는 것을, 예를 들어 네 개의 물리적 화소를 하나의 화소로 모으는 것을 의미한다. 네 개의 화소를 하나의 화소로 모으는 경우 물리적 화소수의 1/4만 화소로서 처리할 수 있다.
예를 들어 카메라 시스템 2에는, 특히 촬영 센서에는 영상 처리 장치가 있는 바, 이 처리 장치는 출력된 영상 3, 4에서 각각 최소한 하나의 목표 대상을 분석하도록 고안되어 있다. 그 외에도 카메라 시스템 2는 예를 들어 최소한 하나의 운전자 지원 장치를 가지고 있거나 또는 자기 차량 1에 장착된 운전자 지원 장치와 연결될 수 있다. 운전자 지원 장치는 영상 분석 장치가 분석한 목표 대상을 기반으로 하여 최소한 하나의 운전자 지원 기능을 실행하도록 고안되어 있다.
고해상도 및 저해상도로 출력된 영상 3, 4는 예컨대 2백만 화소와 같이 그 화소수가 거의 동일하다. 이와 동시에 고해상도로 출력된 영상 3의 영상 크기는 예시로서 도면 4와 5에서 도시한 바와 같이 저해상도로 출력된 영상 4의 영상 크기보다 작다.
고해상도 및 저해상도 영상 3, 4의 영상 크기가 상이하고 화소수가 최소한 거의 동일한, 출력된 연속적 영상에 의해 최소한 거의 동일한 성능이 요구되고, 따라서 시간적으로 지정된 처리 주기 6의 초과를 방지한다는 장점을 갖게 된다.
도면 4에는 고해상도 및 저해상도 영상 4의 예시 모델이 예로서 도시되어 있는 바, 이 영상은 예컨대 처리 주기 6 이내에 촬영된 것이다. 순수하게 도식적으로 볼 때, 저해상도 영상 4에서 화소 P의 개수와 크기는 고해상도 영상 3과 비교하여 화소수가 동일함에도 불구하고 영상 크기의 차이로 인해 해상도에 차이가 있다는 것을 명확히 보여준다.
특히 고해상도 및 저해상도 영상 3, 4라는 전환이 교대로 이루어질 때, 도면 4가 도시한 바와 같이, 기본적으로 고해상도 영상 3의 화소수는 최소한 거의 동일하므로 영상 분석 장치에 가해지는 부하는 평균적으로 볼 때 거의 동일하게 된다.
예를 들어 각각 고해상도로 출력되어야 하는 영상 3의 영상 크기 및/또는 위치는 최소한 하나의 영상 관심 구역 5에 따라 촬영 센서가 이용할 수 있는 촬영 구역 전체 내에서 지정된다.
예를 들어 영상 관심 구역 5는 사전에 정의된, 따라서 특히 통계적으로 지정된 검색 영상 구역을 의미한다. 하지만 선호하는 예시 모델에서 영상 처리 장치 또는 촬영 센서는 최소한 하나의 영상 관심 구역 5을 특히 저해상도 영상 4에서 가변적으로, 예를 들어 전방 교통 공간, 현재 위치해 있는 도로 범주 및/또는 차량의 현재 속도에 따라 지정하도록 고안되어 있다. 영상 처리 장치 또는 촬영 센서를 고안할 때 특히 선호하는 형태는 최소한 하나의 영상 관심 구역 5 안에 분석한 목표 대상이 있는 경우 그 목표 대상을 계속 추적하기 위해 최소한 그 후속 영상에서 그 영상 관심 구역을 계속 포착하여 추적해야 할 목표 대상의 대상 추적이 실현되도록 하는 것이다.
선호하는 모델 형태에서는 고해상도로 출력되는 영상 3에 예컨대 영상 관심 구역 5가 있는 바, 이 구역은 그 전에 출력된 영상에서, 즉 도면 4에 도시된 바와 같은 그 전에 저해상도로 출력한 영상 4에서 식별되었던 구역이다. 이 영상 관심 구역 5에는 예를 들어 교통표시판과 같은 목표 대상이 있다.
또한 각각 고해상도로 출력되어야 하는 영상 3의 영상 크기 및/또는 위치는 차량의 속도, 조향각, 전방 교통 공간 및/또는 자기 차량 1이 현재 위치해 있는 도로 범주에 따라 영상 센서가 이용할 수 있는 촬영 구역 전체 내에서 지정될 수 있다.
차량의 속도가 증가함에 따라 예컨대 교통표지판 및/또는 차선의 진로를 조기에 분석하기 위해 중앙 영상 세그먼트에서의 해상도도 높아져야 하기 때문에, 예컨대 100km/h의 속도 제한을 초과하는 경우 영상 관심 구역 5가 중앙 영상 세그먼트 9 위에 놓인다. 속도가 더 느린 경우에는 교차 교통 및/또는 신호등을 조기에 인식하기 위해 최소한 주변 영상 세그먼트 10에서의 해상도가 충분해야 하므로, 예컨대 30km/h의 속도 제한에 미달하는 경우, 특히 차량이 정지한 상태인 경우 영상 관심 구역 5는 주변 영상 세그먼트 10 위에 놓인다.
도면 5에는 저해상도로 출력되는 영상 4와 그 뒤를 이어 고해상도를 출력되는 두 개의 영상 3이 도시되어 있는 바, 이러한 영상은 예를 들어 처리 주기 6 내에서 촬영되었던 영상이다. 이 예시 모델에서는 저해상도 영상 4에서 두 개의 영상 관심 구역 5가 식별되었는 바, 이 구역에는 목표 대상이, 여기서는 예로서 교통표지판과 보행자가 있다. 후속하는 두 개의 고해상도 영상 3 각각에는 두 영상 관심 구역 5 중 하나가 있다. 이러한 방식으로 목표 대상의 신뢰할 수 있는 분석이 이루어진다.
도면 5에는 영상 관심 구역 5가 겹치지 않고 도시되어 있다. 하지만 예컨대 여기서도 영상 관심 구역 5가 겹치게 배치되어 후속하는 두 개의, 고해상도로 출력되는 최소한 두 개의 영상 3에 겹친 구역이 있도록 계획할 수 있다.
최소한 하나의 운전자 지원 기능이 안전하게 조기에 실행되도록 하려면, 영상 분석에 소요되는 시간이 처리 주기 6의 지정된 시간 간격을 초과해서는 안 될 것이다. 따라서 처리 주기 6 이내에 고해상도로 출력되는 영상 3의 화소수는 기본적으로 저해상도로 출력되는 영상 4의 화소수와 최소한 거의 동일하다. 그러므로 예를 들어 고해상도로 출력되는 영상 3의 한 영상은 화소수가 5십만 화소이고 고해상도로 출력되는 영상의 두 번째 영상은 화소수가 1백5십만 화소로서, 따라서 모두 합하여 2백만 화소이고 이는 예에서 언급한 저해상도 영상 4의 화소수 2백만 화소와 동일하다. 이러한 방식으로 영상 분석 장치에 가해지는 부하가 안전하게 동일한 상태를 유지하게 된다.
도면 6에는 해상도 추이가 본 발명에 따른 카메라 시스템 2에 의해 촬영된 영상의 수평 화각 α 위에 도시되어 있다. 이 예시 모델에서는 광전자 장치에 화면비가 16:9인 7백2십3만 화소의 고해상도 촬영 센서와 수평 화각 α가 +/- 50도인 비정형 광각 렌즈가 있다. 비정형 광각 렌즈에 의해 선형 광각 렌즈와 비교하여 중앙 영상 세그먼트 9에서의 해상도가 최소한 세그먼트별로 높아져서 원거리 구역에 있는 목표 대상을 더 먼 구역에서 포착할 수 있게 된다. 이 예시에서 중앙 영상 세그먼트 9의 해상도는 주변 영상 세그먼트 10의 해상도보다 더 높다.
1 차량
2 카메라 시스템
3 고해상도 영상
4 저해상도 영상
5 영상 관심 구역
6 처리 주기
7 촬영한 연속적 영상
8 출력된 연속적 영상
9 중앙 영상 세그먼트
10 주변 영상 세그먼트
α 수평 화각

Claims (16)

  1. 자기 차량 (1)의 주변 구역을 포착하기 위한 카메라 시스템 (2)로서,
    고해상도 촬영 센서와 광각 렌즈가 있는 광전자 장치가 장착되어 있는 바,
    이때 이 광전자 장치는 주변 구역의 연속적 영상 (8)을 고해상도 및 저해상도 영상 (3, 4)로 주기적으로 바뀌며 출력하도록 고안되어 있다.
  2. 청구항 1에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 이 광전자 장치는 연속적 영상 (8)을 고해상도 및 저해상도 영상 (3, 4)로 교대로 바뀌며 출력하도록 고안되어 있다.
  3. 청구항 1 또는 2에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 이 촬영 센서는 영속적인 영상을 고해상도 및 저해상도 영상 (3, 4)로 교대로 바꾸며 촬영하여 이 고해상도 및 저해상도 영상 (3, 4)를 해상도가 변하지 않는 상태로 출력하도록 고안되어 있다.
  4. 청구항 1 또는 2에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 이 촬영 센서는 연속적 영상 (7)을 고해상도 영상 (3)으로 촬영하도록 고안되어 있는 바, 이때 카메라 시스템의 영상 처리 장치는 고해상도로 촬영한 영상 (3)에서 주기적으로 바뀌며 저해상도 영상 (4)를 만들어 고해상도 및 저해상도 영상 (3, 4)로 주기적으로 바뀌며 연속적 영상 (8)로서 출력되도록 고안되어 있다.
  5. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 화소 범주화 및/또는 화소 건너뛰기에 의해 해상도 저하가 이루어진다.
  6. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 고해상도 및 저해상도로 출력되는 영상 (3, 4)의 화소수는 최소한 거의 동일하다.
  7. 청구항 1부터 5까지 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 어느 한 처리 주기 (6)마다 고해상도로 출력되는 영상 (3)의 화소수는 저해상도로 출력되는 영상 (4)의 화소수와 최소한 거의 동일한다.
  8. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 고해상도로 출력되는 영상 (3)의 영상 크기는 저해상도로 출력되는 영상 (4)의 영상 크기보다 작다.
  9. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 카메라 시스템은 고해상도로 출력해야 할 각 영상 (3)의 영상 크기 및/또는 위치를 촬영 센서가 이용할 수 있는 촬영 구역 전체 내에 지정할 수 있도록 고안되어 있는 바, 여기서 그러한 지정은 자기 차량 (1)의 전방 구역, 자기 차량 (1)이 현재 위치해 있는 도로 범주, 자기 차량 (1)의 현재 측정한 차량 속도 및/또는 현재 측정한 조향각에 따라 이루어진다.
  10. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 고해상도로 출력되는 영상 (3)에는 그 전에 촬영한 영상에서 식별하였던 영상 관심 구역이 최소한 하나 있다.
  11. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 고해상도 촬영 센서의 해상도는 최소한 5백만 화소인 바, 이때 광각 렌즈의 수평 및/수평 화각 (α, β)는 광학축 A에 대해 최소한 +/- 50도이다.
  12. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 촬영한 영상은 중앙 영상 세그먼트 (9)에서 최소한 부분적으로 주변 영상 세그먼트 (10)에서보다 더 높은 해상도를, 특히 최소한 두 배의 해상도를 갖도록 고안되어 있는 바, 여기서 중앙 영상 세그먼트 (9)의 수평 화각 (5α)는 최고 +/- 25도이고/이거나 중앙 영상 세그먼트 (9)에 인접한 주변 영상 세그먼트 (10)의 수평 화각 (6α)는 최소 +/- 50도이다.
  13. 청구항 12에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 광각 렌즈는 비정형 왜곡으로 중앙 영상 세그먼트 (9)에서 최소한 부분적으로 높아진 해상도를 실현하도록 고안되어 있다.
  14. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 카메라 시스템 (2)에는 출력된 영상 (3, 4) 각각에서 최소한 하나의 목표 대상을 분석하도록 고안되어 있는 영상 분석 장치가 있는 바, 여기서 카메라 시스템 (2)에는 분석된 최소한 하나의 목표 대상에 따라 최소한 하나의 운전자 지원 기능을 실행하도록 고안된 운전자 지원 장치가 있다.
  15. 상기 청구항 중 하나에 따른 카메라 시스템 (2)가 장착된 차량 (1)에 관한 것이다.
  16. 상기 청구항 1에서 14까지 중 하나에 따른 카메라 시스템 (2)가 장착된 자기 차량 (1)의 주변 구역을 포착하기 위한 방법으로서, 이때 연속적 영상이 고해상도 및 저해상도 영상 (3, 4)로 주기적으로 바뀌며 출력된디.
KR1020197001851A 2016-07-22 2017-07-04 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 KR102535442B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227040657A KR20220162826A (ko) 2016-07-22 2017-07-04 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016213494.9 2016-07-22
DE102016213494.9A DE102016213494A1 (de) 2016-07-22 2016-07-22 Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
PCT/DE2017/200060 WO2018014916A1 (de) 2016-07-22 2017-07-04 Kameravorrichtung sowie verfahren zur erfassung eines umgebungsbereichs eines eigenen fahrzeugs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227040657A Division KR20220162826A (ko) 2016-07-22 2017-07-04 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190026773A true KR20190026773A (ko) 2019-03-13
KR102535442B1 KR102535442B1 (ko) 2023-05-22

Family

ID=59631505

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227040657A KR20220162826A (ko) 2016-07-22 2017-07-04 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
KR1020197001851A KR102535442B1 (ko) 2016-07-22 2017-07-04 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227040657A KR20220162826A (ko) 2016-07-22 2017-07-04 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법

Country Status (7)

Country Link
US (1) US10742907B2 (ko)
EP (1) EP3488606A1 (ko)
JP (1) JP7144398B2 (ko)
KR (2) KR20220162826A (ko)
CN (1) CN109479124B (ko)
DE (2) DE102016213494A1 (ko)
WO (1) WO2018014916A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11670092B2 (en) 2020-04-21 2023-06-06 Samsung Electronics Co., Ltd. Electronic device for controlling driving vehicle and operation method of the electronic device

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213493A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
DE102017219791A1 (de) * 2017-11-08 2019-05-09 Conti Temic Microelectronic Gmbh Optisches Erfassungssystem für ein Fahrzeug
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
JP2020204839A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置
US11006068B1 (en) 2019-11-11 2021-05-11 Bendix Commercial Vehicle Systems Llc Video recording based on image variance
DE102020106967A1 (de) * 2020-03-13 2021-09-16 Valeo Schalter Und Sensoren Gmbh Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter
DE102020211023A1 (de) 2020-09-01 2022-03-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs
WO2022075133A1 (ja) * 2020-10-08 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、情報処理装置、撮像システム及び撮像方法
CN112428989B (zh) * 2020-10-30 2022-03-11 惠州华阳通用电子有限公司 一种车辆控制方法
US11899468B2 (en) * 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection
JP7250833B2 (ja) * 2021-03-09 2023-04-03 本田技研工業株式会社 物体認識装置、物体認識方法、およびプログラム
DE102021213756B3 (de) 2021-12-03 2023-02-02 Continental Autonomous Mobility Germany GmbH Verfahren zum Fusionieren von Sensordaten im Kontext eines künstlichen neuronalen Netzwerks
DE102021213757B3 (de) 2021-12-03 2023-02-02 Continental Autonomous Mobility Germany GmbH Verfahren zum Fusionieren von Bilddaten im Kontext eines künstlichen neuronalen Netzwerks
DE102022206757A1 (de) 2022-07-01 2024-01-04 Continental Autonomous Mobility Germany GmbH Dynamische Positionierung von Bildausschnitten zur effizienten Ausnutzung hochauflösender Kameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141067A1 (en) * 2002-11-29 2004-07-22 Fujitsu Limited Picture inputting apparatus
EP1953698A1 (fr) * 2007-02-01 2008-08-06 Valeo Vision Procédé de traitement d'images prises par une caméra embarquée sur véhicule
JP2015057341A (ja) * 2012-01-31 2015-03-26 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ メインミラー及び広角ミラーによる法定視界を表示するための輸送車両用の視認システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1184306A (ja) * 1997-09-01 1999-03-26 Minolta Co Ltd 映像観察装置
US20030048202A1 (en) * 2001-09-10 2003-03-13 Michael Francois Cockpit image recording system
US6917715B2 (en) 2002-04-19 2005-07-12 International Business Machines Corporation Foveal priority in stereoscopic remote viewing system
JP2004288100A (ja) * 2003-03-25 2004-10-14 Minolta Co Ltd 撮像装置及び移動体カメラ
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP2006333120A (ja) 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
JP5188080B2 (ja) * 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
JP2010283567A (ja) * 2009-06-04 2010-12-16 Alpine Electronics Inc 撮像装置及び車両周囲画像提供装置
JP5552000B2 (ja) * 2010-08-16 2014-07-16 富士フイルム株式会社 ファインダー装置および撮像装置
CN102801955A (zh) * 2011-08-17 2012-11-28 南京金柏图像技术有限公司 一种基于局部高清的数字视频传输方法
DE102011085194B3 (de) * 2011-09-08 2013-03-07 Cooper-Standard Automotive (Deutschland) Gmbh Abgaskühler für ein Abgasrückführsystem sowie ein Abgasrückführsystem mit einem derartigen Abgaskühler
WO2013067083A1 (en) 2011-11-02 2013-05-10 Magna Electronics, Inc. Vehicle vision system with asymmetric anamorphic lens
KR101912453B1 (ko) * 2012-02-17 2018-10-26 현대모비스 주식회사 장애물 검출 및 충돌 경보 장치 및 방법
EP2927085B1 (en) * 2012-11-27 2018-02-21 Nissan Motor Co., Ltd Accidental acceleration/deceleration determination device, accidental-acceleration restriction control device, and accidental acceleration/deceleration determination method
US10002561B1 (en) 2012-12-12 2018-06-19 Christopher Ralph Tridico Perceptually configured array of addressable electromagnetic emitter elements
US9826174B2 (en) * 2013-03-26 2017-11-21 Samsung Electronics Co., Ltd Image processing apparatus and method
US8934102B2 (en) * 2013-06-17 2015-01-13 Intellectual Reserves, LLC System and method for determining fluid parameters
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
DE102013221882A1 (de) 2013-10-28 2015-04-30 Conti Temic Microelectronic Gmbh Kamera mit ungleichförmiger Winkelauflösung für ein Fahrzeug
DE102014215372A1 (de) * 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102015208889A1 (de) * 2015-05-13 2016-11-17 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
KR101625538B1 (ko) * 2015-07-16 2016-06-13 비원이미지 주식회사 도시방범이 가능한 다차선 자동차 번호판 인식시스템
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
DE102016213493A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141067A1 (en) * 2002-11-29 2004-07-22 Fujitsu Limited Picture inputting apparatus
EP1953698A1 (fr) * 2007-02-01 2008-08-06 Valeo Vision Procédé de traitement d'images prises par une caméra embarquée sur véhicule
JP2015057341A (ja) * 2012-01-31 2015-03-26 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ メインミラー及び広角ミラーによる法定視界を表示するための輸送車両用の視認システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11670092B2 (en) 2020-04-21 2023-06-06 Samsung Electronics Co., Ltd. Electronic device for controlling driving vehicle and operation method of the electronic device

Also Published As

Publication number Publication date
JP7144398B2 (ja) 2022-09-29
CN109479124A (zh) 2019-03-15
US20200059613A1 (en) 2020-02-20
CN109479124B (zh) 2021-03-16
EP3488606A1 (de) 2019-05-29
JP2019525568A (ja) 2019-09-05
DE112017003037A5 (de) 2019-02-28
KR20220162826A (ko) 2022-12-08
WO2018014916A1 (de) 2018-01-25
US10742907B2 (en) 2020-08-11
DE102016213494A1 (de) 2018-01-25
KR102535442B1 (ko) 2023-05-22

Similar Documents

Publication Publication Date Title
KR20190026773A (ko) 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
KR102385280B1 (ko) 차량의 주변 구역을 상황에 맞추어 포착하기 위한 카메라 시스템 및 방법
JP2019525568A5 (ko)
US10275669B2 (en) System and method for detecting objects in an automotive environment
KR102397156B1 (ko) 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법
CA2747337C (en) Multiple object speed tracking system
KR20200006556A (ko) 자율주행차 시스템을 위한 교차 시야
US10958832B2 (en) Camera device and method for detecting a surrounding region of a vehicle
CN102458964A (zh) 用于车辆停泊中的摄像机系统
Wang et al. Ips300+: a challenging multi-modal data sets for intersection perception system
JP2018526873A (ja) 車両の周辺部を撮影するための車載カメラ手段、並びに、この様な車載カメラ手段を備えたオブジェクト認識のための運転手アシスタント装置
WO2020022021A1 (ja) 距離算出装置
CN110536814B (zh) 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法
US11021105B2 (en) Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium
EP3349201B1 (en) Parking assist method and vehicle parking assist system
KR102145409B1 (ko) 차량속도 측정이 가능한 시정거리 측정 시스템
Spampinato et al. Optical Flow Based System for Cross Traffic Alert

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2022101002125; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20221121

Effective date: 20230117

GRNT Written decision to grant