KR102431215B1 - 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 - Google Patents

차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 Download PDF

Info

Publication number
KR102431215B1
KR102431215B1 KR1020197016621A KR20197016621A KR102431215B1 KR 102431215 B1 KR102431215 B1 KR 102431215B1 KR 1020197016621 A KR1020197016621 A KR 1020197016621A KR 20197016621 A KR20197016621 A KR 20197016621A KR 102431215 B1 KR102431215 B1 KR 102431215B1
Authority
KR
South Korea
Prior art keywords
image
resolution
region
output
images
Prior art date
Application number
KR1020197016621A
Other languages
English (en)
Other versions
KR20190132984A (ko
Inventor
카르슈텐 브로이어
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20190132984A publication Critical patent/KR20190132984A/ko
Application granted granted Critical
Publication of KR102431215B1 publication Critical patent/KR102431215B1/ko

Links

Images

Classifications

    • H04N5/3454—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/23238—
    • H04N5/343—
    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 차량 (1)의 주변 구역 (7)을 포착하기 위한 카메라 장치 (2)에 관한 것이다. 이 카메라 장치에는 주변 구역 (7)의 연속 이미지를 촬영하도록 고안된 광전자 장치가 있는 바, 이때 광전자 장치 (3)은 하나의 광각 렌즈와 하나의 고해상도 이미지 센서로 이루어져 있다. 이 광전자 장치 (3)은 특히 화소 범주화에 의해 연속 이미지에 있는 이미지의 해상도를 번갈아 가며 상이하고 비대칭적으로 감소시키도록 고안되어 있다.

Description

차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
본 발명은 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법에 관한 것이다. 또한 본 발명은 그러한 카메라 시스템을 장착된 차량에 관한 것이다.
교통표지판 인식장치나 차선유지 보조장치와 같은 운전자 지원장치를 실현하기 위해서는 수평 화각이 약 50도이고 수직 화각이 약 30도인 카메라 시스템이 필요하다. 하지만 제일 앞 열에 정지해 있을 때 교차 교통이나 신호등 인식과 같은 새로운 기능에는 가까이 접근할 때 이미지의 주변 구역에 있는 물체를 식별하기 위해 더 큰 시야각이 필요하다. 그에 반하여 예를 들어 고도로 자동화된 주행이나 차선유지 지원 기능에서는 먼 거리에서도 물체나 차도의 구조를 인식해야 하며, 이를 위해서는 그에 상응하는 해상도가 필요하다.
이미지를 처리하는 포함된 프로세서도 중기적으로 약 8메가픽셀의 높은 해상도를 직접적으로는, 즉 실시간으로 처리할 수 없기 때문에 해상도 감소가 필요하다. 이러한 문제를 해결하는 방법은 알려져 있는 바, 이 방법에서는 4 화소 각각을 통합하여(화소 범주화), 해상도가 절반인 상태에서 화각(Field of View) 전체를 이미지에서 이용하든지 또는 화각의 어느 한 세그먼트만 최대 해상도로 읽는다. 이때 이미지 변환기의 프레임 레이트(예를 들어 초당 33개의 프레임(fps)), 에 의해 나온 각 시간 단계에서 항상 이 이미지 중 하나의 이미지만 읽을 수 있다. 따라서 (예를 들어 국도의 교차로 상황을 포착하기 위해) 해상도가 높은 더 넓은 수평 화각이 필요한 경우, 그 성분을 (즉 좌측 부분 이미지, 우측 부분 이미지를) 개별적으로 읽어야 하는 바, 이는 시간이 더 소요된다는 것을 의미한다. 이에 반하여 범주화되지 않은 중앙 이미지는 예로서 언급한 위의 상황에서 충분히 넓은 화각을 제공하지 않으므로 프레임 레이트와 해상도가 절반인 범주화된 이미지만 이용할 수 있다. 이 두 방법에 의해 감지 시스템에 연결된 시스템(예: 비상 제동 시스템)의 대기 시간의 늘어나는 바, 이는 그 성능에 영향을 끼친다는 것을 의미한다.
그러므로 본 발명의 과제는 서두에 언급한 종류의 카메라 시스템과 방법을 제공하는 데 있다고 볼 수 있는 바, 이는 이미지 변환기의 해상도 전체를 동시에 이용할 때 대기 시간이 되도록 적은, 상황에 따라 필요한 화각을 가능하게 한다.
이러한 과제는 독립된 특허 청구 대상에 의해 해결된다. 선호하는 모델 형태는 종속된 청구항, 다음의 설명 및 도면의 대상이다.
본 발명의 첫 번째 측면에 따라 차량의 주변 구역을 포착하기 위한 카메라 시스템이 제공된다.
카메라 시스템은 광각 렌즈와 고해상도 이미지 센서로, 특히 하나의 광각 렌즈와 하나의 고해상도 이미지 센서로 이루어진 광전자 장치와 차량의 외측 주변을 연속적으로 촬영하도록 고안된 이 광전자 장치를 제어하는 컨트롤 유닛으로 구성되어 있다. 이때 차량의 외측 주변에 대한 연속 이미지는 시간적으로 연속적으로 촬영한 여러 개의 이미지로 이루어져 있다. 특히 이 연속 이미지는 이하에서 자세히 기술할 첫 번째 이미지, 두 번째 이미지, 세 번째 이미지 및 네 번째 이미지로 이루어져 있다. 주변 구역이란 예를 들어 자기 차량의 진행 방향에서 전방, 측방 및/또는 후방 구역을 의미한다.
이 광각 렌즈의 수평 및/또는 수직 화각은 광학축에 대해 예를 들어 최소한 +/- 50도, 특히 최소한 +/- 70도이고/이거나 최고 +/- 80도인 것을 선호한다. 광각 렌즈에 의해 예컨대 교차로 구역과 같은 주변 구역을 포착하여 가로지르는 교통 참여자를 조기에 인식할 수 있다. 이 화각이 카메라 장치의 화각(Field of view, FOV)을 결정한다.
그 외에도 광전자 장치에는 고해상도 이미지 센서 (high resolusion image sensor) 가 있다. 이러한 고해상도 이미지 센서가 제공한 이미지를 이용하여 특히 원거리 구역에 있는, 따라서 특히 최소 50미터의 자기 차량에 대한 원거리 구역에서 교통표지판이나 차선의 감지와 대상 인식을 할 수 있다. 이러한 고해상도 이미지 센서를 특히 화소수가 수백만 개인, 예를 들어 화수수가 최소한 오백만 개이지만 대부분의 경우에는 최소한 칠백만 개인, 그리고 특별할 경우에는 최소한 천만 개인 이미지 센서라고 이해할 수 있다. 기본적으로 이미지 센서는 균일한 화소/cm 해상도를 가지고 있다.
광전자 장치 및/또는 이 장치와 연결된 이미지 처리 프로세서는 연속 이미지의 첫 번째 이미지에서 해상도를 줄이고 이 첫 번째 이미지를 낮아진 해상도로 출력하도록 설치되어 있는 바, 이때 첫 번째 이미지 전체에서 해상도가 감소한다.
또한 광전자 장치와 이 장치를 제어한 컨트롤 유닛은 연속적으로 촬영한 연속 이미지의 두 번째 이미지에서 중앙 이미지 구역과 첫 번째 측방 외측 구역으로 이루어진 첫 번째 부분 구역을 선택하고 단지 또는 오로지 이 첫 번째 부분 구역만 출력하도록 설치되어 있는 바, 이때 출력된 첫 번째 부분 구역의 해상도는 감소하지 않는다.
더 나아가 광전자 장치 및/또는 이미지 처리 프로세서는 연속 이미지의 세 번째 이미지는 그 해상도가 감소되고 이 세 번째 이미지가 낮은 해상도로 출력되도록 설치되어 있는 바, 이 때 세 번째 이미지 전체의 해상도는 감소된다.
그 외에도 광전자 장치와 이 장치를 제어하는 컨트롤 유닛은 연속적으로 촬영된 연속 이미지의 네 번째 이미지에서 중앙 구역과 두 번째 측방 외측 구역으로 이루어진 두 번째 부분 구역을 선택하고 단지 또는 오로지 이 두 번째 부분 구역만 출력하도록 설치되어 있는 바, 이때 출력된 두 번째 부분 구역의 해상도는 감소되지 않는다.
중앙 구역에는 너비와 높이가 있는 바, 이 구역이 직사각형이나 정사각형의 형태를 띠는 것을 선호하며 이 구역은 연속 이미지에 있는 해당 이미지(두 번째 이미지 및 네 번째 이미지)의 중점을 중심으로 대칭적으로 뻗어있다. 중앙 구역의 형태와 크기는 두 번째 이미지과 네 번째 이미지의 경우 동일한 것을 선호하지만, 서로 다르게 지정할 수도 있다.
첫 번째 측방 외측 구역은 예를 들어 두 번째 이미지의 좌측 또는 우측의 외측 구역일 수 있으며, 이에 반하여 두 번째 측방 외측 구역은 네 번째 이미지의 좌측, 즉 보완적인 측방 외측 구역일 수 있다. 특히 해상도가 감소되지 않은, 특히 범주화되지 않은 이미지 구역의 너비와 높이는 항상 해상도가 감소된, 특히 범주화된 이미지 구역이 가지는 너비와 높이의 절반(두 가장자리 이미지에서의 합계)이다. 하지만 반드시 그럴 필요는 없다. 해상도가 높은 이미지 스트립에서는 그 비율이 1:2와 다를 개연성이 높을 수 있다. 어쨌든 해상도만은 그 비율이 2:1(각각 4 화소로 범주화된 경우)이다.
첫 번째 측방 외측 구역은 측면으로 중앙 구역의 한 면에서 전이부 없이 중앙 구역에 연결되고 두 번째 측방 외측 구역은 중앙 구역의 다른 면에서 전이부 없이 중앙 구역에 연결된다. 이미지 스트립에는 각각 중앙 구역이 있지만, 이 중앙 구역은 해상도가 높은 각 스트립의 절대적인 구성 성분이다. 이때 첫 번째 측방 외측 구역과 두 번째 측방 외측 구역은 연속 이미지의 해당 이미지 측면 가장자리 중 하나로까지 뻗는 것이 좋은 바, 이렇게 됨으로써 두 번째 이미지과 네 번째 이미지에서 수평 방향으로 아주 넓은 화각이 최대 해상도로 출력될 수 있다.
특히 서두에서 첫 번째에서 네 번째 이미지과 관련하여 기술한 동작이 여러 차례 연속하여, 특히 선호하는 바로는 끊임없이 연속적으로 실행되도록 계획하였다.
교차로 상황과 관련이 있는 이미지의 외측 구역은 본 발명에 따라 항상 최대 프레임 레이트의 75%로 포착될 수 있다(예를 들어 최대 프레임 레이트 33fps에서 25fp로). 이때 관련된 외측 구역이 번갈아 가며 고해상도로도 포착된다. 중앙 구역은 최대 프레임 레이트로, 그리고 번갈아 가며 고해상도로도 포착된다. 이로 인해 이미지 처리 프로세서에 과부하를 가하지 않고 중요한 이미지 내용이 충분히 높은 프레임 레이트로 포착되고 감지 범위를 최대로 유지할 수 있다. 따라서 능동형 안전 시스템의 대기 시간이 감소될 수 있다.
특히 해상도가 감소되지 않는 고해상도 이미지 구역의 해상도는 해상도가 감소된 이미지의 해상도보다 높다. 특히 고해상도 이미지 구역의 해상도는 수평 및/또는 수직 화각에서 일 도당 최소한 40 화소이며, 특별한 경우에는 일 도당 최소한 50 화소이다. 예를 들어 고해상도 이미지 구역을 광전자 장치가 제공할 수 있는 최대한의 해상도로 출력할 수 있다.
예를 들어 위에서 기술한 해상도가 감소되는 해상도가 감소된 이미지 구역의 해상도는 최소한 각 구역에 따라 수평 및/또는 수직 화각에서 일 도당 최대 30 화소, 특별한 경우에는 일 도당 최대 20 화소이다. 특히 해상도가 감소된 이미지 구역에서는 화소수가 거의 동일하고/동일하거나 거의 통일적이며, 특별한 경우에는 화소 크기의 분배가 균일하게 분배되어 있다. 또한 비선형 왜곡 특성을 지닌 렌즈를 투입하도록 고안되어 있다. 그러므로 이미지 변환기에서 화소의 크기는 동일할 수 있지만, 화소에 의해 사상된 이미지 구역은 각도를 통해 그 크기가 변한다(대개의 경우 해상도가 이미지 외측면 방향으로 Px/°로 감소한다).
또한 선호하는 형태에 따라 두 번째 이미지 및/또는 네 번째 이미지에서 상단 외측 구역을 선택할 수 없으며 따라서 출력할 수 없다. 이때 상단 외측 구역은 두 번째 및/또는 네 번째 이미지에서 중앙 구역 위의, 선호하는 바로는 해당 이미지의 너비 전체 위의 수평 방향으로 뻗는다. 따라서 필요한 계산 성능을 유의미하게 제한하기 위해, 소위 말하여 시스템이 "관심을 가지지 않은" 구역(예를 들어 하늘을 가리키는 이미지 구역)이 사용되지 않으므로 고해상도로 포착할 수 있다.
이와 비슷한 방식으로 선호하는 또 다른 형태에 따라 두 번째 이미지 및/또는 네 번째 이미지에서 하단 외측 구역을 선택할 수 없으며 따라서 출력할 수 없다. 이때 하단 외측 구역은 두 번째 및/또는 네 번째 이미지에서 중앙 구역 아래의, 선호하는 바로는 해당 이미지의 너비 전체 아래의 수평 방향으로 뻗는다. 따라서 필요한 계산 성능을 유의미하게 제한하기 위해, 소위 말하여 시스템이 "관심을 가지지 않은" 구역이 사용되지 않으므로 고해상도로 포착할 수 있다.
상단 외측 구역과 하단 외측 구역은 해상도가 감소된 스트립 형태의 이미지 구역일 수 있는 바, 이때 이 이미지 구역은 감지 범위가 넓을 필요가 없는 차량의 외측 주변에 있는 영역을 나타낸다. 왜냐하면 이러한 외측 주변에 있는 물체(예를 들어 고가 표시판)는 해상도가 낮아도 충분히 인식될 수 있기 때문이다. 또한 이 구역은 중앙 구역과 측방 외측 구역에 의해 나타나는 차량의 외측 주변에 있는 영역보다 예를 들어 교차로 상황을 판단하는 데 덜 중요할 수 있다. 따라서 이 이미지 구역의 비선택 및 비출력으로 인해 계산 성능을 낮출 수 있는 바, 이때 특히 능동형 안전 시스템의 대기 시간 계속하여 적게 유지될 수 있다.
선호하는 한 모델 형태에서는 이미지 센서 또는 이미지 처리장치를 설치하여 첫 번째 및 세 번째 이미지의 해상도를 화소 범주화로 감소시켰다. 이미지 처리장치는 광전자 장치의 구성 요소일 수 있다. 물론 이미지 처리장치는 특히 광전자 장치가 이미지 처리장치의 부분이 아닌 경우 광전자 장치의 구성 요소가 아니다. 이 경우 이미지 처리장치는 광전자 장치와 결합되어 있는 프로세서 유닛에 속한다. 이때 이미지 센서는 특히 해상도가 높은 이미지로만 이루어진 연속 이미지를 촬영하도록 고안될 수 있다. 특히 화소 범주화 시 인접한 화소는 예를 들어 어느 한 줄 및/또는 열 내에나 또는 예를 들어 직사각형의 부분 영역 내에 합쳐서 새 화소에 할당될 수 있다. 따라서 해상도가 감소된 이미지의 이로 인한 화소 행렬에서는 그 해상도가 촬영된 해당 이미지에서보다 낮다.
또한 카메라 장치에는 특히 최소한 하나의, 예를 들어 다른 교통 참여자(차량, 보행자)를 포착하고 분류하거나 또는 차선 표시를 인식하기 위한 감지 기능이 있다.
또한 카메라 시스템에는 기본적으로 예컨대 차선유지 또는 선회 지원 장치와 같은 운전자 지원 장치가 최소한 하나 있거나 또는 이러한 장치와 결합할 수 있다. 이러한 운전자 지원 장치는 최소한 하나의 분석한 목표 대상에 따라 차간거리 경고, 비상 제동 또는 지율회피 거동과 같은 최소한 하나의 패시브 및/또는 액티브 운전자 지원 기능을 실행하도록 고안되어 있다.
본 발명의 두 번째 측면에 따라 본 발명의 첫 번째 측면에 따른 카메라 장치를 장착한 차량을 제공한다. 여기서 차량이란 특히 승용차, 화물차, 도시용 차량 또는 버스와 같은 자동차를 의미한다.
본 발명의 세 번째 측면에 따라 차량의 주변 구역을 포착하는 방법을 제공한다. 이 방법에는 본 발명의 두 번째 측면에 따른 차량의 제공이 포함되어 있다. 또한 차량의 외측 주변에 대한 연속 이미지의 촬영이 이루어진다.
연속 이미지의 첫 번째 이미지에서는 해상도가 감소된 다음 그 첫 번째 이미지가 낮아진 해상도로 출력되는 바, 이때 첫 번째 이미지 전체에서 해상도가 감소된다. 그 다음에 촬영되는 연속 이미지의 두 번째 이미지에서는 계속하여 중앙 구역과 첫 번째 측방 외측 구역이 선택되어 이 구역만 출력되는 바, 이때 그 중앙 구역과 첫 번째 측방 외측 구역의 해상도는 감소되지 않는다.
또한 연속 이미지의 세 번째 이미지에서는 해상도가 감소된 다음 그 세 번째 이미지가 낮아진 해상도로 출력되는 바, 이때 세 번째 이미지 전체의 해상도는 감소된다.
그 외에도 그 다음 촬영된 연속 이미지의 네 번째 이미지에서는 중앙 구역과 두 번째 측방 외측 구역이 선택되어 그 구역만 출력되는 바, 이때 그 중앙 구역과 두 번째 측방 외측 구역의 해상도는 감소되지 않는다.
본 발명에 따른 방법의 모델 형태에 따라 두 번째 및/또는 네 번째 이미지의 상단 및/또는 하단 외측 구역이 선택되지 않고 또 출력되지 않도록 고안하는 것이 유리하다.
또한 특히 첫 번째 이미지 및 세 번째 이미지의 해상도가 이미지 센서나 이미지 처리장치에 의한 화소 범주화에 의해 감소되도록 고안하였다. 이미지 처리장치는 광전자 장치의 구성 요소일 수 있다. 물론 이미지 처리장치는 특히 광전자 장치가 이미지 처리장치의 부분이 아닌 경우 광전자 장치의 구성 요소가 아니다. 이 경우 이미지 처리장치는 광전자 장치와 결합되어 있는 프로세서 유닛에 속한다.
본 발명의 네 번째 측면에 따라 프로그램 요소가 제공되는 바, 이 요소는 이 요소가 프로세서에서 실행되는 경우 본 발명의 세 번째 측면에 따른 방법의 단계를 실행하도록 프로세서를 유도하며, 이때 프로세서에서 실행되는 것은 카메라 장치가 장착된 차량을 제공함에 따라 고안된 모든 단계이다.
본 발명의 다섯 번째 측면에 따라 컴퓨터가 읽을 수 있는, 프로그램 요소가 저장되어 있는 매체가 제공되는 바, 이 요소는 이 요소가 프로세서에서 실행되는 경우 본 발명의 세 번째 측면에 따른 방법의 단계를 실행하도록 프로세서를 유도하며, 이때 프로세서에서 실행되는 것은 카메라 장치가 장착된 차량을 제공함에 따라 고안된 모든 단계이다.
아래에서는 도면을 이용하여 본 발명의 예시 모델을 더 상세히 설명하겠다. 도면 설명:
도면 1 본 발명에 따른 카메라 장치의 예시 모델이 장착된 차량의 측면 보기 및
도면 2 도 1에 따른 카메라 장치에 의해 생성된 연속 이미지.
도 1은 자동차 형태의 차량 1을 도시한다. 이 차량 1에는 차량 1의 주변 구역 7을 포착하기 위한 카메라 장치 2가 설치되어 있는 바, 이때 이 카메라 장치 2에는 광각 렌즈와 고해상도 이미지 센서가 부착된 광전자 장치 3이 있다. 또한 광전자 장치 3에는 이미지 센서 4가 있다. 아래에서 기술한 범주화가 이미지 변환기에 의해 실행되면, 이 변환기는 거기서 하드웨어로 변환되어 매개변수만 입력될 수 있을 뿐이다. 이 경우 광전자 장치 3에서 소프트웨어의 구현은 불가능하며, 이 구현은 이미지 변환기와 결합한 프로세서 유닛에서만 가능하다. 광전자 장치 3에는 특히 렌즈와 이미지 변환기가 있다. 프로세서 유닛에서 실행되는 프로그램은 광전자 장치에 저장될 수 없다. 즉 그 프로그램은 프로세서 유닛에 연결된 메모리 모듈이 장착된 프로세서 유닛에 저장된다.
카메라 장치 2는 차량 1의 내부 공간 5에 배치되어 있는 바, 특히 차량 1의 윈드실드 6 뒤에 위치한 구역에 배치되어 있다. 하지만 이는 예시일 뿐이다. 예를 들어 차량 1의 뒷유리에 후방 구역을 향하게 하며 장착할 수도 있다. 광전자 장치 3을 이용하여 윈드실드 6을 통해 차량 1의 외측 주변 7에 대한 여러 외측 사진 또는 이미지를 촬영할 수 있는 바, 이때 여러 이미지를 시간적으로 연속하여 촬영하여 차량 1의 외측 주변 7에 대한 연속 이미지를 만든다.
도 2는 첫 번째 이미지 (제 1 이미지) 8, 두 번째 이미지 (제 2 이미지) 9, 세 번째 이미지 (제 3 이미지) 10 및 네 번째 이미지 (제 4 이미지) 11을 가리킨다. 8에서 11까지의 이 네 이미지는 카메라 장치 2의 광전자 장치 3에 의해 촬영된 것이다. 간단히 도시하기 위해 이미지 8에서 11까지의 내용을 도시하지 않았다.
첫 번째 이미지 8은 첫 번째 시점 (0 ms)에 촬영되었으며, 두 번째 이미지 9는 계속하여 두 번째 시점 (30 ms)에 촬영되었고, 세 번째 이미지 10은 계속하여 시점 (60 ms)에 촬영되었으며, 네 번째 이미지 11은 계속하여 네 번째 시점 (90ms)에 촬영되었다. 따라서 각 30 ms의 시간 간격으로 이미지 8에서 11까지의 이미지가 촬영되었다. 물론 기본적으로 다른 시간 주기도 가능하다 - 30 ms의 시간 간격을 구체적인 예시일 뿐이다. 시간 간격에 의해 프레임 레이트가 나오는 바, 도시한 예시 모델에서는 33fps(일 초당 33개의 이미지로 1초를 나누면 연속하는 두 이미지 사이의 시간 간격은 약 30 ms이다)이다.
광전자 장치 3이나 또는 이와 결합된 이미지 처리장치 4를 이용하여 첫 번째 이미지 8의 해상도를 낮추어 그 첫 번째 이미지 8을 낮추어진 해상도로 출력할 수 있는 바, 이때 첫 번째 이미지 8 전체의 해상도가 감소된다. 따라서 포착 구역 전체(화각)를 촬영한 첫 번째 이미지 8 전체가 출력된다.
또한 광전자 장치 3을 이용하여 두 번째 이미지 9의 중앙 구역 12와 두 번째 이미지 9의 좌측 외측 구역 13을 선택하여 이 구역만 출력할 수 있다. 이에 반해 두 번째 이미지 9의 우측 외측 구역 14, 상단 외측 구역 15 및 하단 외측 구역 16은 선택되지도 않고 출력되지도 않는다.
중앙 구역 12는 두 번째 이미지 9 또는 포착 구역 전체(화각)의 중점 A를 중심으로 대칭적으로 뻗는다. 중앙 구역 12의 너비는 예를 들어 32°의 수평 화각과 일치할 수 있다(중점 A의 우측 및 좌측으로 각각 16°;"+-16°"). 중앙 구역 12와 좌측 외측 구역 13이 합하여 너비가 될 수 있는 바, 이 너비는 35° 이상의 수평 화각과 일치한다(중점 A의 좌측으로 35° 이상 "<-35°"에 중점 A의 우측으로 가능한 16° 추가).
또한 광전자 장치 3이나 또는 이와 결합된 이미지 처리장치 4를 이용하여 세 번째 이미지 10의 해상도를 낮추어 그 세 번째 이미지 10을 낮추어진 해상도로 출력할 수 있는 바, 이때 세 번째 이미지 10 전체의 해상도가 감소된다. 따라서 포착 구역 전체(화각)를 촬영한 세 번째 이미지 11 전체가 출력된다.
그 외에도 광전자 장치 3을 이용하여 네 번째 이미지 11에서 중앙 구역 12와 우측 외측 구역 14를 선택하여 이 구역만 출력할 수 있다. 이에 반해 네 번째 이미지 11의 좌측 외측 구역 13, 상단 외측 구역 15 및 하단 외측 구역 16은 선택되지도 않고 출력되지도 않는다.
중앙 구역 12의 너비는 예를 들어 32°의 수평 화각과 일치할 수 있다(중점 A의 우측 및 좌측으로 각각 16°;"+-16°"). 중앙 구역 12와 좌측 외측 구역 14이 합하여 너비가 될 수 있는 바, 이 너비는 35° 이상의 수평 화각과 일치한다(중점 A의 우측으로 35° 이상 ">+35°"에 중점 A의 좌측으로 가능한 16° 추가).
네 번째 이미지 11의 중앙 구역 12, 좌측 외측 구역 13, 우측 외측 구역 14, 상단 외측 구역 15 및 하단 외측 구역 16은 도 2에서 도시한 예시 모델에서 두 번째 이미지 9의 해당 구역 12에서 16까지와 동일하다.
위에서 기술한 이미지 8과 11의 해상도 감소는 화소 범주화에 의해 실현될 수 있는 바, 이를 위해 특히 이미지 센서나 이미지 처리장치 4를 이용할 수 있다.
도 2에는 광전자 장치 3이 120ms 후에 촬영한 다섯 번째 이미지 17이 도시되어 있다. 다섯 번째 이미지 17은 위에서 언급한, 이미지 8에서 11까지의 촬영과 이미지 8에서 11까지에서의 해상도 (부분적인) 감소에서 나온 주기가 다른 이미지 17의 촬영으로 다시 시작된다는 것을 명백히 할 것이다.

Claims (20)

  1. 차량의 외측 주변을 검출하기 위한 카메라 디바이스로서, 상기 카메라 디바이스는:
    광각 렌즈들 및 고해상도 이미지 센서를 포함하는 광전자 유닛; 및
    상기 광전자 유닛을 동작시키도록 구성된 컨트롤 유닛을 포함하며,
    상기 카메라 디바이스는 이미지들의 미리 결정된 프레임 레이트에서 포착된 상기 차량의 상기 외측 주변의 연속적으로 포착된 제 1 이미지, 제 2 이미지, 제 3 이미지, 및 제 4 이미지의 여러 연속적인 세트들의 반복 주기를 포함하는 연속 이미지를 포착하도록 구성되고,
    상기 광전자 유닛은 상기 제 1 이미지에서 해상도를 감소시키고 상기 제 1 이미지를 상기 감소된 해상도로 출력하도록 구성되고,
    상기 광전자 유닛 및 상기 컨트롤 유닛은 상기 제 2 이미지에서의 제 1 측방 외측 구역 및 중앙 구역을 포함하는 상기 제 2 이미지에서의 제 1 부분 구역을 선택하고, 상기 제 2 이미지의 단지 상기 제 1 부분 구역만을 출력하도록 구성되되, 상기 출력된 제 1 부분 구역의 해상도는 감소되지 않고,
    상기 광전자 유닛은 상기 제 3 이미지에서 해상도를 감소시키고 상기 제 3 이미지를 상기 감소된 해상도로 출력하도록 구성되고,
    상기 광전자 유닛 및 상기 컨트롤 유닛은 상기 제 4 이미지에서의 제 2 측방 외측 구역 및 중앙 구역을 포함하는 상기 제 4 이미지에서의 제 2 부분 구역을 선택하고, 상기 제 4 이미지의 단지 상기 제 2 부분 구역만을 출력하도록 구성되되, 상기 출력된 제 2 부분 구역의 해상도는 감소되지 않고,
    상기 중앙 구역은 상기 미리 결정된 프레임 레이트의 100% 에서 상기 이미지들의 전부에서 출력되고,
    상기 제 1 측방 외측 구역은 상기 미리 결정된 프레임 레이트의 75% 에서 상기 이미지들의 75% 에서 출력되고, 그리고
    상기 제 2 측방 외측 구역은 상기 미리 결정된 프레임 레이트의 75% 에서 상기 이미지들의 75% 에서 출력되는, 카메라 디바이스.
  2. 제 1 항에 있어서,
    상기 제 2 이미지 및/또는 상기 제 4 이미지에서의 상단 외측 구역은 선택되지 않고 출력되지 않는, 카메라 디바이스.
  3. 제 1 항에 있어서,
    상기 제 2 이미지 및/또는 상기 제 4 이미지에서의 하단 외측 구역은 선택되지 않고 출력되지 않는, 카메라 디바이스.
  4. 제 1 항에 있어서,
    상기 광전자 유닛의 상기 이미지 센서 또는 상기 카메라 디바이스의 이미지 처리 장치는 화소 범주화에 의해 상기 제 1 이미지 및 상기 제 3 이미지에서의 상기 해상도를 감소시키도록 구성되는, 카메라 디바이스.
  5. 차량 본체에 장착된 제 1 항에 따른 카메라 디바이스를 포함하는, 차량.
  6. 차량의 외측 주변을 검출하는 방법으로서, 상기 방법은:
    이미지들의 미리 결정된 프레임 레이트에서 포착된 상기 차량의 상기 외측 주변의 연속적으로 포착된 제 1 이미지, 제 2 이미지, 제 3 이미지, 및 제 4 이미지의 여러 연속적인 세트들의 반복 주기를 포함하는 연속 이미지를 수신하는 단계;
    상기 제 1 이미지에서 해상도를 감소시키고 상기 제 1 이미지를 상기 감소된 해상도로 출력하는 단계;
    상기 제 2 이미지에서의 제 1 측방 외측 구역 및 중앙 구역을 선택하고 단지 상기 제 2 이미지에서의 제 1 측방 외측 구역 및 중앙 구역만을 출력하는 단계로서, 상기 제 2 이미지의 상기 제 1 측방 외측 구역 및 상기 중앙 구역의 해상도는 감소되지 않는, 상기 제 1 측방 외측 구역 및 중앙 구역만을 출력하는 단계;
    상기 제 3 이미지에서 해상도를 감소시키고 상기 제 3 이미지를 상기 감소된 해상도로 출력하는 단계;
    상기 제 4 이미지에서의 제 2 측방 외측 구역 및 중앙 구역을 선택하고 단지 제 4 이미지에서의 제 2 측방 외측 구역 및 중앙 구역만을 출력하는 단계로서, 상기 제 4 이미지의 상기 제 2 측방 외측 구역 및 상기 중앙 구역의 해상도는 감소되지 않는, 상기 제 2 측방 외측 구역 및 중앙 구역만을 출력하는 단계를 포함하며,
    상기 중앙 구역은 상기 미리 결정된 프레임 레이트의 100% 에서 상기 이미지들의 전부에서 출력되고,
    상기 제 1 측방 외측 구역은 상기 미리 결정된 프레임 레이트의 75% 에서 상기 이미지들의 75% 에서 출력되고, 그리고
    상기 제 2 측방 외측 구역은 상기 미리 결정된 프레임 레이트의 75% 에서 상기 이미지들의 75% 에서 출력되는, 차량의 외측 주변을 검출하는 방법.
  7. 제 6 항에 있어서,
    상기 제 2 이미지 및/또는 상기 제 4 이미지의 상단 외측 구역 및/또는 하단 외측 구역은 선택되지 않고 출력되지 않는, 차량의 외측 주변을 검출하는 방법.
  8. 제 6 항에 있어서,
    상기 제 1 이미지에서의 해상도와 상기 제 3 이미지에서의 해상도는 광전자 유닛의 이미지 센서 또는 이미지 처리 장치에 의한 화소 범주화에 의해 감소되는, 차량의 외측 주변을 검출하는 방법.
  9. 삭제
  10. 프로그램이 저장된 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 프로그램은, 프로세서 상에서 실행될 때, 청구항 제 6 항에 따른 방법이 실행되게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  11. 제 1 항에 있어서,
    상기 중앙 구역은 상기 미리 결정된 프레임 레이트의 50% 에서 상기 감소된 해상도로 출력되고, 상기 미리 결정된 프레임 레이트의 25% 에서 감소되지 않은 해상도로 출력되고; 그리고
    상기 측방 외측 구역들 중 각각의 개별 측방 외측 구역은 상기 미리 결정된 프레임 레이트의 50% 에서 상기 감소된 해상도로 각각 출력되고, 상기 미리 결정된 프레임 레이트의 25% 에서 감소되지 않은 해상도로 출력되는, 카메라 디바이스.
  12. 제 1 항에 있어서,
    상기 중앙 구역은 상기 제 1 측방 외측 구역 및 상기 제 2 측방 외측 구역과 각각 인접하고; 그리고
    상기 제 1 및 제 2 측방 외측 구역 각각은 상기 광전자 유닛의 화각의 각각의 연관된 측면 바깥쪽 가장자리로 연장되는, 카메라 디바이스.
  13. 제 1 항에 있어서,
    상기 중앙 구역 및 상기 측방 외측 구역은 상단 외측 구역 및 하단 외측 구역을 배제하고 상기 광전자 유닛의 화각의 상단 가장자리 및 하단 가장자리로는 연장되지 않는, 카메라 디바이스.
  14. 제 1 항에 있어서,
    상기 카메라 디바이스는 상기 광전자 유닛에 의해 출력되는 상기 이미지들 상에 물체 인식을 수행하도록 더 구성되고, 그리고
    상기 광전자 유닛은 상기 물체 인식이 수행되기 전에 상기 제 1 부분 구역 및 상기 제 2 부분 구역을 선택하도록 구성되는, 카메라 디바이스.
  15. 제 1 항에 있어서,
    상기 출력된 이미지들 중 각각의 이미지에서 각각 포함되는 전체 화소들의 수는 상기 출력된 제 1, 제 2, 제 3, 및 제 4 이미지 중 각각의 이미지에서의 화소들의 수와 항상 동일한, 카메라 디바이스.
  16. a) 제 1 시간 간격 동안, 차량의 카메라 시스템의 이미지 센서로 상기 차량의 주변의 제 1 이미지 프레임을 포착하고, 상기 이미지 센서의 제 1 센서 검출 구역을 커버링하고 제 1 이미지에서 제 1 해상도를 가지는 상기 제 1 이미지를 생성하도록 상기 제 1 이미지 프레임을 프로세싱하고, 그리고 상기 제 1 이미지를 출력하는 단계;
    b) 제 1 시간 간격에 순차적으로 후속하는 제 2 시간 간격 동안, 상기 이미지 센서로 상기 주변의 제 2 이미지 프레임을 포착하고, 상기 이미지 센서의 제 2 센서 검출 구역을 커버링하고 제 2 이미지에서 제 2 해상도를 가지는 상기 제 2 이미지를 생성하도록 상기 제 2 이미지 프레임을 프로세싱하고, 그리고 상기 제 2 이미지를 출력하는 단계로서, 상기 제 2 센서 검출 구역은 단지 상기 제 1 센서 검출 구역의 일부이고, 상기 제 1 센서 검출 구역의 중심을 둘러싸는 중심 구역 및 상기 중심 구역이 좌측면에 인접하여 연장되는 좌측 구역으로 구성되고, 상기 제 2 해상도는 상기 제 1 해상도보다 더 높은, 상기 제 2 이미지를 출력하는 단계;
    c) 상기 제 2 시간 간격에 순차적으로 후속하는 제 3 시간 간격 동안, 상기 이미지 센서로 상기 주변의 제 3 이미지 프레임을 포착하고, 상기 이미지 센서의 제 3 센서 검출 구역을 커버링하고 제 3 이미지에서 제 3 해상도를 가지는 상기 제 3 이미지를 생성하도록 상기 제 3 이미지 프레임을 프로세싱하고, 그리고 상기 제 3 이미지를 출력하는 단계로서, 상기 제 3 센서 검출 구역은 상기 제 1 센서 검출 구역과 대응하고, 상기 제 3 해상도는 상기 제 1 해상도와 대응하는, 상기 제 3 이미지를 출력하는 단계;
    d) 상기 제 3 시간 간격에 순차적으로 후속하는 제 4 시간 간격 동안, 상기 이미지 센서로 상기 주변의 제 4 이미지 프레임을 포착하고, 상기 이미지 센서의 제 4 센서 검출 구역을 커버링하고 제 4 이미지에서 제 4 해상도를 가지는 상기 제 4 이미지를 생성하도록 상기 제 4 이미지 프레임을 프로세싱하고, 그리고 상기 제 4 이미지를 출력하는 단계로서, 상기 제 4 센서 검출 구역은 단지 상기 제 1 센서 검출 구역의 일부이고 중앙 구역 및 상기 중앙 구역의 우측면에 인접하게 연장되는 우측 구역으로 구성되고, 그리고 상기 제 4 해상도는 상기 제 2 해상도와 대응하는, 상기 제 4 이미지를 출력하는 단계; 및
    e) 미리 결정된 프레임 레이트에서 상기 제 1, 제 2, 제 3, 및 제 4 이미지의 여러 연속적인 세트들의 반복 주기를 포함하는 출력된 연속 이미지를 생성하도록 a) 내지 d) 단계를 순차적으로 반복하는 단계를 포함하며,
    상기 중앙 구역은 상기 미리 결정된 프레임 레이트의 100% 에서 상기 이미지들의 전부에서 출력되고,
    상기 좌측 구역은 상기 미리 결정된 프레임 레이트의 75% 에서 상기 이미지들의 75% 에서 출력되고, 그리고
    상기 우측 구역은 상기 미리 결정된 프레임 레이트의 75% 에서 상기 이미지들의 75% 에서 출력되는, 방법.
  17. 제 16 항에 있어서,
    상기 출력된 연속 이미지의 상기 이미지들 상의 물체 검출을 수행하는 단계, 및
    상기 물체 검출의 결과에 의존하여 그리고 응답하여 상기 차량의 운전자 지원 시스템으로 운전자 지원 기능을 수행하는 단계를 더 포함하는, 방법.
  18. 제 16 항에 있어서,
    상기 제 1 센서 검출 구역 및 상기 제 3 센서 검출 구역 각각은 상기 이미지 센서의 화각의 전체와 대응하고, 상기 좌측 구역은 상기 중앙 구역으로부터 연속적으로 상기 화각의 좌측 가장자리까지 연장되고, 상기 우측 구역은 상기 중앙 구역으로부터 연속적으로 상기 화각의 우측 가장자리까지 연장되고, 상기 좌측, 중앙 및 우측 구역은 상기 화각의 상단 가장자리와 상기 좌측, 중앙, 및 우측 구역들 사이로 연장하는 상기 화각의 상단 가장자리 구역을 모두 배제하는, 방법.
  19. 제 18 항에 있어서,
    상기 좌측, 중앙, 및 우측 구역은 상기 화각의 하단 가장자리와 상기 좌측, 중앙, 및 우측 구역들 사이로 연장하는 상기 화각의 하단 가장자리 구역을 모두 배제하는, 방법.
  20. 제 16 항에 있어서,
    상기 제 1 이미지 프레임의 프로세싱 및 상기 제 3 이미지 프레임의 프로세싱 각각은 화소 범주화를 포함하고, 상기 제 2 해상도 및 상기 제 4 해상도 각각은 상기 이미지 센서의 전체 최대 화소 해상도와 대응하고, 그리고 상기 제 1 해상도 및 상기 제 3 해상도 각각은 상기 화소 범주화의 결과로서 상기 전체 최대 화소 해상도의 분수 부분과 대응하는, 방법.



KR1020197016621A 2017-04-03 2017-12-11 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 KR102431215B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017205630.4 2017-04-03
DE102017205630.4A DE102017205630A1 (de) 2017-04-03 2017-04-03 Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
PCT/DE2017/200134 WO2018184608A1 (de) 2017-04-03 2017-12-11 Kameravorrichtung und verfahren zur erfassung eines umgebungsbereichs eines fahrzeugs

Publications (2)

Publication Number Publication Date
KR20190132984A KR20190132984A (ko) 2019-11-29
KR102431215B1 true KR102431215B1 (ko) 2022-08-09

Family

ID=61007413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016621A KR102431215B1 (ko) 2017-04-03 2017-12-11 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법

Country Status (7)

Country Link
US (1) US10958832B2 (ko)
EP (1) EP3607740B1 (ko)
JP (1) JP7248574B2 (ko)
KR (1) KR102431215B1 (ko)
CN (1) CN110226326B (ko)
DE (2) DE102017205630A1 (ko)
WO (1) WO2018184608A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246128B (zh) * 2018-11-29 2022-09-13 北京图森智途科技有限公司 一种像素合并方法、成像设备、图像传感器及汽车
CN111391861A (zh) * 2018-12-29 2020-07-10 北京奇虎科技有限公司 一种车辆驾驶辅助方法和装置
DE102020200875A1 (de) * 2020-01-24 2021-02-25 Zf Friedrichshafen Ag Verfahren zum Bereitstellen von Sensordaten durch eine Sensorik eines Fahrzeugs
CN115118871B (zh) * 2022-02-11 2023-12-15 东莞市步步高教育软件有限公司 一种拍照像素模式切换方法、系统、终端设备及存储介质
DE102022206757A1 (de) 2022-07-01 2024-01-04 Continental Autonomous Mobility Germany GmbH Dynamische Positionierung von Bildausschnitten zur effizienten Ausnutzung hochauflösender Kameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180240A (ja) 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
US20100002071A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Multiple View and Multiple Object Processing in Wide-Angle Video Camera
US20110285866A1 (en) 2010-05-18 2011-11-24 Satish Kumar Bhrugumalla Multi-Channel Imager

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2266398A (en) * 1992-04-16 1993-10-27 Traffic Technology Limited Vehicle monitoring apparatus
EP1181816A4 (en) 1999-02-24 2006-11-02 Dialog Semiconductor Gmbh METHOD AND DEVICE FOR A FOVEAL DISPLAY WITH DOUBLE DEFLECTION
JP4287532B2 (ja) 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US7680192B2 (en) * 2003-07-14 2010-03-16 Arecont Vision, Llc. Multi-sensor panoramic network camera
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP4561353B2 (ja) * 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
JP4349410B2 (ja) * 2006-12-01 2009-10-21 トヨタ自動車株式会社 車両用照明装置
EP2667412A1 (en) * 2007-04-18 2013-11-27 Invisage Technologies, INC. Materials, systems and methods for optoelectronic devices
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US20120069224A1 (en) * 2010-05-06 2012-03-22 Andrew Cilia Method and system for single-camera license-plate recognition and magnification
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US9030583B2 (en) * 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
TWI465357B (zh) * 2011-11-29 2014-12-21 Quanta Storage Inc 車用監控系統及方法
CN104736410B (zh) * 2012-11-27 2016-04-27 日产自动车株式会社 加速误操作判定装置、误加速操作抑制控制装置、加速误操作判定方法
US9589194B2 (en) 2013-02-21 2017-03-07 Honda Motor Co., Ltd. Driving assistance device and image processing program
CN103198531B (zh) * 2013-04-10 2015-04-22 北京速通科技有限公司 一种多车道自由流车辆图像抓拍的方法
CN203365452U (zh) * 2013-05-02 2013-12-25 中国计量学院 基于双目立体视觉的车速检测系统
DE102013220022B4 (de) * 2013-10-02 2021-11-11 Application Solutions (Electronics and Vision) Ltd. Fahrzeugkamera zur Erfassung von Bildern aus einem Umgebungsbereich eines Fahrzeugs und Fahrzeug
CN104700628B (zh) * 2013-12-10 2019-08-02 感知技术无锡有限公司 车辆检测方法、装置及系统
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
DE102015208889A1 (de) * 2015-05-13 2016-11-17 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
DE102015215561A1 (de) * 2015-08-14 2017-02-16 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung zur Objekterkennung mit einer solchen Fahrzeugkameravorrichtung
US10805538B2 (en) * 2015-12-16 2020-10-13 Martineau & Associates, Inc. Method and apparatus for remanent imaging control
WO2017181429A1 (en) * 2016-04-22 2017-10-26 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (roi) of a user
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180240A (ja) 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
US20100002071A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Multiple View and Multiple Object Processing in Wide-Angle Video Camera
US20110285866A1 (en) 2010-05-18 2011-11-24 Satish Kumar Bhrugumalla Multi-Channel Imager

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Stephan MatzkaI, et al,.IEEE Transactions on Intelligent Transportation Systems(2012.01.07. 공개) 1부.*

Also Published As

Publication number Publication date
EP3607740B1 (de) 2021-07-07
EP3607740A1 (de) 2020-02-12
CN110226326A (zh) 2019-09-10
JP2020516093A (ja) 2020-05-28
CN110226326B (zh) 2022-01-11
JP7248574B2 (ja) 2023-03-29
US10958832B2 (en) 2021-03-23
KR20190132984A (ko) 2019-11-29
DE112017005612A5 (de) 2019-09-12
US20190364203A1 (en) 2019-11-28
DE102017205630A1 (de) 2018-10-04
WO2018184608A1 (de) 2018-10-11

Similar Documents

Publication Publication Date Title
KR102431215B1 (ko) 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
KR102385280B1 (ko) 차량의 주변 구역을 상황에 맞추어 포착하기 위한 카메라 시스템 및 방법
US10742907B2 (en) Camera device and method for detecting a surrounding area of a driver&#39;s own vehicle
JP7424034B2 (ja) 固体撮像素子、撮像装置および認識処理方法
US20170337435A1 (en) System and method for detecting objects in an automotive environment
US20070230800A1 (en) Visibility range measuring apparatus for vehicle and vehicle drive assist system
JP2019525568A5 (ko)
KR102397156B1 (ko) 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법
JP6316976B2 (ja) 車載画像認識装置
JP2009017157A (ja) 画像処理装置および方法、並びに、プログラム
JP2018526873A (ja) 車両の周辺部を撮影するための車載カメラ手段、並びに、この様な車載カメラ手段を備えたオブジェクト認識のための運転手アシスタント装置
US11159736B2 (en) Camera device and method for capturing a region surrounding a vehicle in a surroundings-adapted manner
KR101428094B1 (ko) 차선이 표시된 측방/후방 영상 제공 시스템
JP2010041322A (ja) 移動体識別装置、画像処理装置、コンピュータプログラム及び光軸方向特定方法
EP3349201B1 (en) Parking assist method and vehicle parking assist system
WO2015001747A1 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP7354773B2 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
JP2007069777A (ja) 障害物検出システム
JP2006024120A (ja) 車両用画像処理システム及び画像処理装置
JP4512044B2 (ja) 道路区間線検出装置
CN112544066A (zh) 图像处理装置
DE102015012873A1 (de) Verfahren und Vorrichtung zum Dokumentieren eines Regelverstoßes eines Fahrzeugs durch einen Erfassungsbereich einer Objekt-Tracking-Einrichtung

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant