KR20190132984A - 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 - Google Patents

차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 Download PDF

Info

Publication number
KR20190132984A
KR20190132984A KR1020197016621A KR20197016621A KR20190132984A KR 20190132984 A KR20190132984 A KR 20190132984A KR 1020197016621 A KR1020197016621 A KR 1020197016621A KR 20197016621 A KR20197016621 A KR 20197016621A KR 20190132984 A KR20190132984 A KR 20190132984A
Authority
KR
South Korea
Prior art keywords
image
resolution
zone
output
reduced
Prior art date
Application number
KR1020197016621A
Other languages
English (en)
Other versions
KR102431215B1 (ko
Inventor
카르슈텐 브로이어
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20190132984A publication Critical patent/KR20190132984A/ko
Application granted granted Critical
Publication of KR102431215B1 publication Critical patent/KR102431215B1/ko

Links

Images

Classifications

    • H04N5/3454
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/23238
    • H04N5/343
    • H04N5/347
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 차량 (1)의 주변 구역 (7)을 포착하기 위한 카메라 장치 (2)에 관한 것이다. 이 카메라 장치에는 주변 구역 (7)의 연속 영상을 촬영하도록 고안된 광전자 장치가 있는 바, 이때 광전자 장치 (3)은 하나의 광각 렌즈와 하나의 고해상도 촬영 센서로 이루어져 있다. 이 광전자 장치 (3)은 특히 화소 범주화에 의해 연속 영상에 있는 영상의 해상도를 번갈아 가며 상이하고 비대칭적으로 감소시키도록 고안되어 있다.

Description

차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
본 발명은 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법에 관한 것이다. 또한 본 발명은 그러한 카메라 시스템을 장착된 차량에 관한 것이다.
교통표지판 인식장치나 차선유지 보조장치와 같은 운전자 지원장치를 실현하기 위해서는 수평 화각이 약 50도이고 수직 화각이 약 30도인 카메라 시스템이 필요하다. 하지만 제일 앞 열에 정지해 있을 때 교차 교통이나 신호등 인식과 같은 새로운 기능에는 가까이 접근할 때 영상의 주변 구역에 있는 물체를 식별하기 위해 더 큰 시야각이 필요하다. 그에 반하여 예를 들어 고도로 자동화된 주행이나 차선유지 지원 기능에서는 먼 거리에서도 물체나 차도의 구조를 인식해야 하며, 이를 위해서는 그에 상응하는 해상도가 필요하다.
영상을 처리하는 포함된 프로세서도 중기적으로 약 8메카픽셀의 높은 해상도를 직접적으로는, 즉 실시간으로 처리할 수 없기 때문에 해상도 감소가 필요하다. 이러한 문제를 해결하는 방법은 알려져 있는 바, 이 방법에서는 4 화소 각각을 통합하여(화소 범주화), 해상도가 절반인 상태에서 화각(Field of View) 전체를 영상에서 이용하든지 또는 화각의 어느 한 세그먼트만 최대 해상도로 읽는다. 이때 영상 변환기의 프레임 속도(예를 들어 초당 33개의 프레임(fps)), 에 의해 나온 각 시간 단계에서 항상 이 영상 중 하나의 영상만 읽을 수 있다. 따라서 (예를 들어 국도의 교차로 상황을 포착하기 위해) 해상도가 높은 더 넓은 수평 화각이 필요한 경우, 그 성분을 (즉 좌측 부분 영상, 우측 부분 영상을) 개별적으로 읽어야 하는 바, 이는 시간이 더 소요된다는 것을 의미한다. 이에 반하여 범주화되지 않은 중앙 영상은 예로서 언급한 위의 상황에서 충분히 넓은 화각을 제공하지 않으므로 프레임 속도와 해상도가 절반인 범주화된 영상만 이용할 수 있다. 이 두 방법에 의해 감지 시스템에 연결된 시스템(예: 비상 제동 시스템)의 대기 시간의 늘어나는 바, 이는 그 성능에 영향을 끼친다는 것을 의미한다.
그러므로 본 발명의 과제는 서두에 언급한 종류의 카메라 시스템과 방법을 제공하는 데 있다고 볼 수 있는 바, 이는 영상 변환기의 해상도 전체를 동시에 이용할 때 대기 시간이 되도록 적은, 상황에 따라 필요한 화각을 가능하게 한다.
이러한 과제는 독립된 특허 청구 대상에 의해 해결된다. 선호하는 모델 형태는 종속된 청구항, 다음의 설명 및 도면의 대상이다.
본 발명의 첫 번째 측면에 따라 차량의 주변 구역을 포착하기 위한 카메라 시스템이 제공된다.
카메라 시스템은 광각 렌즈와 고해상도 촬영 센서로, 특히 하나의 광각 렌즈와 하나의 고해상도 촬영 센서로 이루어진 광전자 장치와 차량의 외측 주변을 연속적으로 촬영하도록 고안된 이 광전자 장치를 제어하는 컨트롤 유닛으로 구성되어 있다. 이때 차량의 외측 주변에 대한 연속 영상은 시간적으로 연속적으로 촬영한 여러 개의 영상으로 이루어져 있다. 특히 이 연속 영상은 이하에서 자세히 기술할 첫 번째 영상, 두 번째 영상, 세 번째 영상 및 네 번째 영상으로 이루어져 있다. 주변 구역이란 예를 들어 자기 차량의 진행 방향에서 전방, 측방 및/또는 후방 구역을 의미한다.
이 광각 렌즈의 수평 및/또는 수직 화각은 광학축에 대해 예를 들어 최소한 +/- 50도, 특히 최소한 +/- 70도이고/이거나 최고 +/- 80도인 것을 선호한다. 광각 렌즈에 의해 예컨대 교차로 구역과 같은 주변 구역을 포착하여 가로지르는 교통 참여자를 조기에 인식할 수 있다. 이 화각이 카메라 장치의 화각(Field of view, FOV)을 결정한다.
그 외에도 광전자 장치에는 고해상도 촬영 센서가 있다. 이러한 고해상도 촬영 센서가 제공한 영상을 이용하여 특히 원거리 구역에 있는, 따라서 특히 최소 50미터의 자기 차량에 대한 원거리 구역에서 교통표지판이나 차선의 감지와 대상 인식을 할 수 있다. 이러한 고해상도 촬영 센서를 특히 화소수가 수백만 개인, 예를 들어 화수수가 최소한 오백만 개이지만 대부분의 경우에는 최소한 칠백만 개인, 그리고 특별할 경우에는 최소한 천만 개인 촬영 센서라고 이해할 수 있다. 기본적으로 촬영 센서는 균일한 화소/cm 해상도를 가지고 있다.
광전자 장치 및/또는 이 장치와 연결된 영상 처리 프로세서는 연속 영상의 첫 번째 영상에서 해상도를 줄이고 이 첫 번째 영상을 낮아진 해상도로 출력하도록 설치되어 있는 바, 이때 첫 번째 영상 전체에서 해상도가 감소한다.
또한 광전자 장치와 이 장치를 제어한 컨트롤 유닛은 연속적으로 촬영한 연속 영상의 두 번째 영상에서 중앙 영상 구역과 첫 번째 측방 외측 구역으로 이루어진 첫 번째 부분 구역을 선택하고 단지 또는 오로지 이 첫 번째 부분 구역만 출력하도록 설치되어 있는 바, 이때 출력된 첫 번째 부분 구역의 해상도는 감소하지 않는다.
더 나아가 광전자 장치 및/또는 영상 처리 프로세서는 연속 영상의 세 번째 영상은 그 해상도가 감소되고 이 세 번째 영상이 낮은 해상도로 출력되도록 설치되어 있는 바, 이 때 세 번째 영상 전체의 해상도는 감소된다.
그 외에도 광전자 장치와 이 장치를 제어하는 컨트롤 유닛은 연속적으로 촬영된 연속 영상의 네 번째 영상에서 중앙 구역과 두 번째 측방 외측 구역으로 이루어진 두 번째 부분 구역을 선택하고 단지 또는 오로지 이 두 번째 부분 구역만 출력하도록 설치되어 있는 바, 이때 출력된 두 번째 부분 구역의 해상도는 감소되지 않는다.
중앙 구역에는 너비와 높이가 있는 바, 이 구역이 직사각형이나 정사각형의 형태를 띠는 것을 선호하며 이 구역은 연속 영상에 있는 해당 영상(두 번째 영상 및 네 번째 영상)의 중점을 중심으로 대칭적으로 뻗어있다. 중앙 구역의 형태와 크기는 두 번째 영상과 네 번째 영상의 경우 동일한 것을 선호하지만, 서로 다르게 지정할 수도 있다.
첫 번째 측방 외측 구역은 예를 들어 두 번째 영상의 좌측 또는 우측의 외측 구역일 수 있으며, 이에 반하여 두 번째 측방 외측 구역은 네 번째 영상의 좌측, 즉 보완적인 측방 외측 구역일 수 있다. 특히 해상도가 감소되지 않은, 특히 범주화되지 않은 영상 구역의 너비와 높이는 항상 해상도가 감소된, 특히 범주화된 영상 구역이 가지는 너비와 높이의 절반(두 가장자리 영상에서의 합계)이다. 하지만 반드시 그럴 필요는 없다. 해상도가 높은 영상 스트립에서는 그 비율이 1:2와 다를 개연성이 높을 수 있다. 어쨌든 해상도만은 그 비율이 2:1(각각 4 화소로 범주화된 경우)이다.
첫 번째 측방 외측 구역은 측면으로 중앙 구역의 한 면에서 전이부 없이 중앙 구역에 연결되고 두 번째 측방 외측 구역은 중앙 구역의 다른 면에서 전이부 없이 중앙 구역에 연결된다. 영상 스트립에는 각각 중앙 구역이 있지만, 이 중앙 구역은 해상도가 높은 각 스트립의 절대적인 구성 성분이다. 이때 첫 번째 측방 외측 구역과 두 번째 측방 외측 구역은 연속 영상의 해당 영상 측면 가장자리 중 하나로까지 뻗는 것이 좋은 바, 이렇게 됨으로써 두 번째 영상과 네 번째 영상에서 수평 방향으로 아주 넓은 화각이 최대 해상도로 출력될 수 있다.
특히 서두에서 첫 번째에서 네 번째 영상과 관련하여 기술한 동작이 여러 차례 연속하여, 특히 선호하는 바로는 끊임없이 연속적으로 실행되도록 계획하였다.
교차로 상황과 관련이 있는 영상의 외측 구역은 본 발명에 따라 항상 최대 프레임 속도의 75%로 포착될 수 있다(예를 들어 최대 프레임 속도 33fps에서 25fp로). 이때 관련된 외측 구역이 번갈아 가며 고해상도로도 포착된다. 중앙 구역은 최대 프레임 속도로, 그리고 번갈아 가며 고해상도로도 포착된다. 이로 인해 영상 처리 프로세서에 과부하를 가하지 않고 중요한 영상 내용이 충분히 높은 프레임 속도로 포착되고 감지 범위를 최대로 유지할 수 있다. 따라서 능동형 안전 시스템의 대기 시간이 감소될 수 있다.
특히 해상도가 감소되지 않는 고해상도 영상 구역의 해상도는 해상도가 감소된 영상의 해상도보다 높다. 특히 고해상도 영상 구역의 해상도는 수평 및/또는 수직 화각에서 일 도당 최소한 40 화소이며, 특별한 경우에는 일 도당 최소한 50 화소이다. 예를 들어 고해상도 영상 구역을 광전자 장치가 제공할 수 있는 최대한의 해상도로 출력할 수 있다.
예를 들어 위에서 기술한 해상도가 감소되는 해상도가 감소된 영상 구역의 해상도는 최소한 각 구역에 따라 수평 및/또는 수직 화각에서 일 도당 최대 30 화소, 특별한 경우에는 일 도당 최대 20 화소이다. 특히 해상도가 감소된 영상 구역에서는 화소수가 거의 동일하고/동일하거나 거의 통일적이며, 특별한 경우에는 화소 크기의 분배가 균일하게 분배되어 있다. 또한 비선형 왜곡 특성을 지닌 렌즈를 투입하도록 고안되어 있다. 그러므로 영상 변환기에서 화소의 크기는 동일할 수 있지만, 화소에 의해 사상된 영상 구역은 각도를 통해 그 크기가 변한다(대개의 경우 해상도가 영상 외측면 방향으로 Px/°로 감소한다).
또한 선호하는 형태에 따라 두 번째 영상 및/또는 네 번째 영상에서 상단 외측 구역을 선택할 수 없으며 따라서 출력할 수 없다. 이때 상단 외측 구역은 두 번째 및/또는 네 번째 영상에서 중앙 구역 위의, 선호하는 바로는 해당 영상의 너비 전체 위의 수평 방향으로 뻗는다. 따라서 필요한 계산 성능을 유의미하게 제한하기 위해, 소위 말하여 시스템이 "관심을 가지지 않은" 구역(예를 들어 하늘을 가리키는 영상 구역)이 사용되지 않으므로 고해상도로 포착할 수 있다.
이와 비슷한 방식으로 선호하는 또 다른 형태에 따라 두 번째 영상 및/또는 네 번째 영상에서 하단 외측 구역을 선택할 수 없으며 따라서 출력할 수 없다. 이때 하단 외측 구역은 두 번째 및/또는 네 번째 영상에서 중앙 구역 아래의, 선호하는 바로는 해당 영상의 너비 전체 아래의 수평 방향으로 뻗는다. 따라서 필요한 계산 성능을 유의미하게 제한하기 위해, 소위 말하여 시스템이 "관심을 가지지 않은" 구역이 사용되지 않으므로 고해상도로 포착할 수 있다.
상단 외측 구역과 하단 외측 구역은 해상도가 감소된 스트립 형태의 영상 구역일 수 있는 바, 이때 이 영상 구역은 감지 범위가 넓을 필요가 없는 차량의 외측 주변에 있는 영역을 나타낸다. 왜냐하면 이러한 외측 주변에 있는 물체(예를 들어 고가 표시판)는 해상도가 낮아도 충분히 인식될 수 있기 때문이다. 또한 이 구역은 중앙 구역과 측방 외측 구역에 의해 나타나는 차량의 외측 주변에 있는 영역보다 예를 들어 교차로 상황을 판단하는 데 덜 중요할 수 있다. 따라서 이 영상 구역의 비선택 및 비출력으로 인해 계산 성능을 낮출 수 있는 바, 이때 특히 능동형 안전 시스템의 대기 시간 계속하여 적게 유지될 수 있다.
선호하는 한 모델 형태에서는 촬영 센서 또는 영상 처리장치를 설치하여 첫 번째 및 세 번째 영상의 해상도를 화소 범주화로 감소시켰다. 영상 처리장치는 광전자 장치의 구성 요소일 수 있다. 물론 영상 처리장치는 특히 광전자 장치가 영상 처리장치의 부분이 아닌 경우 광전자 장치의 구성 요소가 아니다. 이 경우 영상 처리장치는 광전자 장치와 결합되어 있는 프로세서 유닛에 속한다. 이때 촬영 센서는 특히 해상도가 높은 영상으로만 이루어진 연속 영상을 촬영하도록 고안될 수 있다. 특히 화소 범주화 시 인접한 화소는 예를 들어 어느 한 줄 및/또는 열 내에나 또는 예를 들어 직사각형의 부분 영역 내에 합쳐서 새 화소에 할당될 수 있다. 따라서 해상도가 감소된 영상의 이로 인한 화소 행렬에서는 그 해상도가 촬영된 해당 영상에서보다 낮다.
또한 카메라 장치에는 특히 최소한 하나의, 예를 들어 다른 교통 참여자(차량, 보행자)를 포착하고 분류하거나 또는 차선 표시를 인식하기 위한 감지 기능이 있다.
또한 카메라 시스템에는 기본적으로 예컨대 차선유지 또는 선회 지원 장치와 같은 운전자 지원 장치가 최소한 하나 있거나 또는 이러한 장치와 결합할 수 있다. 이러한 운전자 지원 장치는 최소한 하나의 분석한 목표 대상에 따라 차간거리 경고, 비상 제동 또는 지율회피 거동과 같은 최소한 하나의 패시브 및/또는 액티브 운전자 지원 기능을 실행하도록 고안되어 있다.
본 발명의 두 번째 측면에 따라 본 발명의 첫 번째 측면에 따른 카메라 장치를 장착한 차량을 제공한다. 여기서 차량이란 특히 승용차, 화물차, 도시용 차량 또는 버스와 같은 자동차를 의미한다.
본 발명의 세 번째 측면에 따라 차량의 주변 구역을 포착하는 방법을 제공한다. 이 방법에는 본 발명의 두 번째 측면에 따른 차량의 제공이 포함되어 있다. 또한 차량의 외측 주변에 대한 연속 영상의 촬영이 이루어진다.
연속 영상의 첫 번째 영상에서는 해상도가 감소된 다음 그 첫 번째 영상이 낮아진 해상도로 출력되는 바, 이때 첫 번째 영상 전체에서 해상도가 감소된다. 그 다음에 촬영되는 연속 영상의 두 번째 영상에서는 계속하여 중앙 구역과 첫 번째 측방 외측 구역이 선택되어 이 구역만 출력되는 바, 이때 그 중앙 구역과 첫 번째 측방 외측 구역의 해상도는 감소되지 않는다.
또한 연속 영상의 세 번째 영상에서는 해상도가 감소된 다음 그 세 번째 영상이 낮아진 해상도로 출력되는 바, 이때 세 번째 영상 전체의 해상도는 감소된다.
그 외에도 그 다음 촬영된 연속 영상의 네 번째 영상에서는 중앙 구역과 두 번째 측방 외측 구역이 선택되어 그 구역만 출력되는 바, 이때 그 중앙 구역과 두 번째 측방 외측 구역의 해상도는 감소되지 않는다.
본 발명에 따른 방법의 모델 형태에 따라 두 번째 및/또는 네 번째 영상의 상단 및/또는 하단 외측 구역이 선택되지 않고 또 출력되지 않도록 고안하는 것이 유리하다.
또한 특히 첫 번째 영상 및 세 번째 영상의 해상도가 촬영 센서나 영상 처리장치에 의한 화소 범주화에 의해 감소되도록 고안하였다. 영상 처리장치는 광전자 장치의 구성 요소일 수 있다. 물론 영상 처리장치는 특히 광전자 장치가 영상 처리장치의 부분이 아닌 경우 광전자 장치의 구성 요소가 아니다. 이 경우 영상 처리장치는 광전자 장치와 결합되어 있는 프로세서 유닛에 속한다.
본 발명의 네 번째 측면에 따라 프로그램 요소가 제공되는 바, 이 요소는 이 요소가 프로세서에서 실행되는 경우 본 발명의 세 번째 측면에 따른 방법의 단계를 실행하도록 프로세서를 유도하며, 이때 프로세서에서 실행되는 것은 카메라 장치가 장착된 차량을 제공함에 따라 고안된 모든 단계이다.
본 발명의 다섯 번째 측면에 따라 컴퓨터가 읽을 수 있는, 프로그램 요소가 저장되어 있는 매체가 제공되는 바, 이 요소는 이 요소가 프로세서에서 실행되는 경우 본 발명의 세 번째 측면에 따른 방법의 단계를 실행하도록 프로세서를 유도하며, 이때 프로세서에서 실행되는 것은 카메라 장치가 장착된 차량을 제공함에 따라 고안된 모든 단계이다.
아래에서는 도면을 이용하여 본 발명의 예시 모델을 더 상세히 설명하겠다. 도면 설명:
도면 1 본 발명에 따른 카메라 장치의 예시 모델이 장착된 차량의 측면 보기 및
도면 2 도 1에 따른 카메라 장치에 의해 생성된 연속 영상.
도 1은 자동차 형태의 차량 1을 도시한다. 이 차량 1에는 차량 1의 주변 구역 7을 포착하기 위한 카메라 장치 2가 설치되어 있는 바, 이때 이 카메라 장치 2에는 광각 렌즈와 고해상도 촬영 센서가 부착된 광전자 장치 3이 있다. 또한 광전자 장치 3에는 촬영 센서 4가 있다. 아래에서 기술한 범주화가 영상 변환기에 의해 실행되면, 이 변환기는 거기서 하드웨어로 변환되어 매개변수만 입력될 수 있을 뿐이다. 이 경우 광전자 장치 3에서 소프트웨어의 구현은 불가능하며, 이 구현은 영상 변환기와 결합한 프로세서 유닛에서만 가능하다. 광전자 장치 3에는 특히 렌즈와 영상 변환기가 있다. 프로세서 유닛에서 실행되는 프로그램은 광전자 장치에 저장될 수 없다. 즉 그 프로그램은 프로세서 유닛에 연결된 메모리 모듈이 장착된 프로세서 유닛에 저장된다.
카메라 장치 2는 차량 1의 내부 공간 5에 배치되어 있는 바, 특히 차량 1의 윈드실드 6 뒤에 위치한 구역에 배치되어 있다. 하지만 이는 예시일 뿐이다. 예를 들어 차량 1의 뒷유리에 후방 구역을 향하게 하며 장착할 수도 있다. 광전자 장치 3을 이용하여 윈드실드 6을 통해 차량 1의 외측 주변 7에 대한 여러 외측 사진 또는 영상을 촬영할 수 있는 바, 이때 여러 영상을 시간적으로 연속하여 촬영하여 차량 1의 외측 주변 7에 대한 연속 영상을 만든다.
도 2는 첫 번째 영상 8, 두 번째 영상 9, 세 번째 영상 10 및 네 번째 영상 11을 가리킨다. 8에서 11까지의 이 네 영상은 카메라 장치 2의 광전자 장치 3에 의해 촬영된 것이다. 간단히 도시하기 위해 영상 8에서 11까지의 내용을 도시하지 않았다.
첫 번째 영상 8은 첫 번째 시점 (0 ms)에 촬영되었으며, 두 번째 영상 9는 계속하여 두 번째 시점 (30 ms)에 촬영되었고, 세 번째 영상 10은 계속하여 시점 (60 ms)에 촬영되었으며, 네 번째 영상 11은 계속하여 네 번째 시점 (90ms)에 촬영되었다. 따라서 각 30 ms의 시간 간격으로 영상 8에서 11까지의 영상이 촬영되었다. 물론 기본적으로 다른 시간 주기도 가능하다 - 30 ms의 시간 간격을 구체적인 예시일 뿐이다. 시간 간격에 의해 프레임 속도가 나오는 바, 도시한 예시 모델에서는 33fps(일 초당 33개의 영상으로 1초를 나누면 연속하는 두 영상 사이의 시간 간격은 약 30 ms이다)이다.
광전자 장치 3이나 또는 이와 결합된 영상 처리장치 4를 이용하여 첫 번째 영상 8의 해상도를 낮추어 그 첫 번째 영상 8을 낮추어진 해상도로 출력할 수 있는 바, 이때 첫 번째 영상 8 전체의 해상도가 감소된다. 따라서 포착 구역 전체(화각)를 촬영한 첫 번째 영상 8 전체가 출력된다.
또한 광전자 장치 3을 이용하여 두 번째 영상 9의 중앙 구역 12와 두 번째 영상 9의 좌측 외측 구역 13을 선택하여 이 구역만 출력할 수 있다. 이에 반해 두 번째 영상 9의 우측 외측 구역 14, 상단 외측 구역 15 및 하단 외측 구역 16은 선택되지도 않고 출력되지도 않는다.
중앙 구역 12는 두 번째 영상 9 또는 포착 구역 전체(화각)의 중점 A를 중심으로 대칭적으로 뻗는다. 중앙 구역 12의 너비는 예를 들어 32°의 수평 화각과 일치할 수 있다(중점 A의 우측 및 좌측으로 각각 16°;"+-16°"). 중앙 구역 12와 좌측 외측 구역 13이 합하여 너비가 될 수 있는 바, 이 너비는 35° 이상의 수평 화각과 일치한다(중점 A의 좌측으로 35° 이상 "<-35°"에 중점 A의 우측으로 가능한 16° 추가).
또한 광전자 장치 3이나 또는 이와 결합된 영상 처리장치 4를 이용하여 세 번째 영상 10의 해상도를 낮추어 그 세 번째 영상 10을 낮추어진 해상도로 출력할 수 있는 바, 이때 세 번째 영상 10 전체의 해상도가 감소된다. 따라서 포착 구역 전체(화각)를 촬영한 세 번째 영상 11 전체가 출력된다.
그 외에도 광전자 장치 3을 이용하여 네 번째 영상 11에서 중앙 구역 12와 우측 외측 구역 14를 선택하여 이 구역만 출력할 수 있다. 이에 반해 네 번째 영상 11의 좌측 외측 구역 13, 상단 외측 구역 15 및 하단 외측 구역 16은 선택되지도 않고 출력되지도 않는다.
중앙 구역 12의 너비는 예를 들어 32°의 수평 화각과 일치할 수 있다(중점 A의 우측 및 좌측으로 각각 16°;"+-16°"). 중앙 구역 12와 좌측 외측 구역 14이 합하여 너비가 될 수 있는 바, 이 너비는 35° 이상의 수평 화각과 일치한다(중점 A의 우측으로 35° 이상 ">+35°"에 중점 A의 좌측으로 가능한 16° 추가).
네 번째 영상 11의 중앙 구역 12, 좌측 외측 구역 13, 우측 외측 구역 14, 상단 외측 구역 15 및 하단 외측 구역 16은 도 2에서 도시한 예시 모델에서 두 번째 영상 9의 해당 구역 12에서 16까지와 동일하다.
위에서 기술한 영상 8과 11의 해상도 감소는 화소 범주화에 의해 실현될 수 있는 바, 이를 위해 특히 촬영 센서나 영상 처리장치 4를 이용할 수 있다.
도 2에는 광전자 장치 3이 120ms 후에 촬영한 다섯 번째 영상 17이 도시되어 있다. 다섯 번째 영상 17은 위에서 언급한, 영상 8에서 11까지의 촬영과 영상 8에서 11까지에서의 해상도 (부분적인) 감소에서 나온 주기가 다른 영상 17의 촬영으로 다시 시작된다는 것을 명백히 할 것이다.

Claims (10)

  1. 차량 (1)의 주변 구역 (7)을 포착하기 위한 카메라 장치 (2), 즉 광각 렌즈와 고해상도 촬영 센서로 구성된 광전자 장치 (3)를 포함한 카메라 장치 (2) 및 차량 (1)의 외측 주변 (7)의 연속 영상을 촬영하도록 고안된 광전자 장치를 제어하는 컨트롤 유닛,
    - 이때 여기서 광전자 장치 (3)을 장착한 목적은 연속 영상의 첫 번째 영상 (8)에서 해상도를 줄이고 이 첫 번째 영상 (8)을 낮아진 해상도로 출력하도록 하는 것으로서, 이때 첫 번째 영상 (8) 전체에서 해상도가 감소하며,
    - 이때 광전자 장치 (3)과 이 장치를 제어하는 컨트롤 유닛을 장착한 목적은 연속적으로 촬영한 연속 영상의 두 번째 영상 (9)에서 중앙 영상 구역 (12)와 첫 번째 측방 외측 구역 (13)으로 이루어진 첫 번째 부분 구역을 선택하고 오로지 이 첫 번째 부분 구역만 출력하도록 하는 것으로서, 이때 출력된 첫 번째 부분 구역의 해상도는 감소하지 않으며,
    - 이때 여기서 광전자 장치 (3)을 장착한 목적은 연속 영상의 세 번째 영상 (10)에서 그 해상도가 감소시키고 이 세 번째 영상 (10)을 낮은 해상도로 출력되도록 하는 것으로서, 이 때 세 번째 영상 전체 (10)의 해상도는 감소되며,
    - 광전자 장치 (3)과 이 장치를 제어하는 컨트롤 유닛을 장착한 목적은 연속적으로 촬영된 연속 영상의 네 번째 영상 (11)에서 중앙 구역 (12)와 두 번째 측방 외측 구역 (14)로 이루어진 두 번째 부분 구역을 선택하고 오로지 이 두 번째 부분 구역만 출력되도록 하는 것으로서, 이때 출력된 두 번째 부분 구역의 해상도는 감소되지 않는다.
  2. 청구항 1에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 두 번째 영상 (9) 및/또는 네 번째 영상 (11)의 상단 외측 구역 (15)를 선택하지 않고 출력하지 않는다.
  3. 청구항 1 또는 2에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 두 번째 영상 (9) 및/또는 네 번째 영상 (11)의 하단 외측 구역 (16)을 선택하지 않고 출력하지 않는다.
  4. 상기 청구항 중 하나에 따른 카메라 시스템 (2)에 관한 것으로서, 이때 광전자 장치 (3)의 촬영 센서 및 영상 처리장치 (4)의 설치 목적은 첫 번째 영상 (8)과 세 번째 영상 (11)의 해상도를 화소 범주화로 감소시키는 것이다.
  5. 상기 청구항 중 하나에 따른 카메라 시스템 (2)가 장착된 차량 (1)에 관한 것이다.
  6. 차량 (1)의 주변 구역 (7)을 포착하기 위해 방법, 이 방법은 다음의 단계로 이루어져 있다:
    - 청구항 5에 따른 차량 (1)의 제공,
    - 차량 (1)의 외측 주변 (7)에 대한 연속 영상의 촬영,
    - 연속 영상의 첫 번째 영상 (8)에서 해상도 감소 및 이 첫 번째 영상 (8)을 낮아진 해상도로 출력, 이때 첫 번째 영상 (8) 전체에서 해상도가 감소하며,
    - 연속적으로 촬영한 연속 영상의 두 번째 영상 (9)에서 중앙 구역 (12) 및 첫 번째 측방 외측 구역 (13)의 선택 및 그 구역만 출력, 이때 중앙 구역 (12)와 첫 번째 측방 외측 구역 (13)의 해상도는 감소되지 않으며,
    - 연속 영상의 세 번째 영상 (10)에서 해상도 감소 및 이 세 번째 영상 (10)을 낮아진 해상도로 출력, 이때 세 번째 영상 (10) 전체에서 해상도가 감소하며,
    - 연속적으로 촬영한 연속 영상의 네 번째 영상 (11)에서 중앙 구역 (12) 및 두 번째 측방 외측 구역 (14)의 선택 및 그 구역만 출력, 이때 중앙 구역 (12)와 두 번째 측방 외측 구역 (14)의 해상도는 감소되지 않는다.
  7. 청구항 6에 따른 방법으로서, 이때 두 번째 및/또는 네 번째 영상 (9, 11)의 상단 및/또는 하단 외측 구역 (15, 16)을 선택하지 않고 출력하지 않는다.
  8. 청구항 6 또는 7 중 하나에 따른 방법으로서, 이때 첫 번째 영상 (8) 및 세 번째 영상 (11)의 해상도는 광전자 장치 (3)의 촬영 센서에 의하거나 영상 처리장치 (4)에 의한 화소 범주화에 의해 감소된다.
  9. 프로그램 요소, 즉 이 요소가 프로세서에서 실행되는 경우 청구항 6에서 8까지 중 하나에 따른 방법 단계가 실행되도록 프로세서를 유도하는 요소.
  10. 프로그램 요소가 저장되어 있고 컴퓨터가 읽을 수 있는 매체, 즉 이 매체가 프로세서에서 실행되는 경우 청구항 6에서 8까지 중 하나에 따른 방법 단계가 실행되도록 프로세서를 유도하는 요소.
KR1020197016621A 2017-04-03 2017-12-11 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법 KR102431215B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017205630.4A DE102017205630A1 (de) 2017-04-03 2017-04-03 Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
DE102017205630.4 2017-04-03
PCT/DE2017/200134 WO2018184608A1 (de) 2017-04-03 2017-12-11 Kameravorrichtung und verfahren zur erfassung eines umgebungsbereichs eines fahrzeugs

Publications (2)

Publication Number Publication Date
KR20190132984A true KR20190132984A (ko) 2019-11-29
KR102431215B1 KR102431215B1 (ko) 2022-08-09

Family

ID=61007413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016621A KR102431215B1 (ko) 2017-04-03 2017-12-11 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법

Country Status (7)

Country Link
US (1) US10958832B2 (ko)
EP (1) EP3607740B1 (ko)
JP (1) JP7248574B2 (ko)
KR (1) KR102431215B1 (ko)
CN (1) CN110226326B (ko)
DE (2) DE102017205630A1 (ko)
WO (1) WO2018184608A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246128B (zh) * 2018-11-29 2022-09-13 北京图森智途科技有限公司 一种像素合并方法、成像设备、图像传感器及汽车
CN111391861A (zh) * 2018-12-29 2020-07-10 北京奇虎科技有限公司 一种车辆驾驶辅助方法和装置
DE102020200875A1 (de) * 2020-01-24 2021-02-25 Zf Friedrichshafen Ag Verfahren zum Bereitstellen von Sensordaten durch eine Sensorik eines Fahrzeugs
CN115118871B (zh) * 2022-02-11 2023-12-15 东莞市步步高教育软件有限公司 一种拍照像素模式切换方法、系统、终端设备及存储介质
DE102022206757A1 (de) 2022-07-01 2024-01-04 Continental Autonomous Mobility Germany GmbH Dynamische Positionierung von Bildausschnitten zur effizienten Ausnutzung hochauflösender Kameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180240A (ja) * 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
US20100002071A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Multiple View and Multiple Object Processing in Wide-Angle Video Camera
US20110285866A1 (en) * 2010-05-18 2011-11-24 Satish Kumar Bhrugumalla Multi-Channel Imager

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2266398A (en) * 1992-04-16 1993-10-27 Traffic Technology Limited Vehicle monitoring apparatus
EP1181816A4 (en) 1999-02-24 2006-11-02 Dialog Semiconductor Gmbh METHOD AND DEVICE FOR A FOVEAL DISPLAY WITH DOUBLE DEFLECTION
JP4287532B2 (ja) 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US7680192B2 (en) 2003-07-14 2010-03-16 Arecont Vision, Llc. Multi-sensor panoramic network camera
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP4561353B2 (ja) 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
JP4349410B2 (ja) * 2006-12-01 2009-10-21 トヨタ自動車株式会社 車両用照明装置
EP2432015A1 (en) * 2007-04-18 2012-03-21 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US20120069224A1 (en) * 2010-05-06 2012-03-22 Andrew Cilia Method and system for single-camera license-plate recognition and magnification
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US9030583B2 (en) * 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
TWI465357B (zh) * 2011-11-29 2014-12-21 Quanta Storage Inc 車用監控系統及方法
EP2927085B1 (en) 2012-11-27 2018-02-21 Nissan Motor Co., Ltd Accidental acceleration/deceleration determination device, accidental-acceleration restriction control device, and accidental acceleration/deceleration determination method
CN104885448B (zh) 2013-02-21 2018-04-06 本田技研工业株式会社 驾驶辅助装置以及图像处理程序
CN103198531B (zh) * 2013-04-10 2015-04-22 北京速通科技有限公司 一种多车道自由流车辆图像抓拍的方法
CN203365452U (zh) * 2013-05-02 2013-12-25 中国计量学院 基于双目立体视觉的车速检测系统
DE102013220022B4 (de) * 2013-10-02 2021-11-11 Application Solutions (Electronics and Vision) Ltd. Fahrzeugkamera zur Erfassung von Bildern aus einem Umgebungsbereich eines Fahrzeugs und Fahrzeug
CN104700628B (zh) * 2013-12-10 2019-08-02 感知技术无锡有限公司 车辆检测方法、装置及系统
CN106537892B (zh) * 2014-05-29 2021-01-05 株式会社尼康 摄像装置及车辆
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
DE102015208889A1 (de) * 2015-05-13 2016-11-17 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
DE102015215561A1 (de) * 2015-08-14 2017-02-16 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung zur Objekterkennung mit einer solchen Fahrzeugkameravorrichtung
WO2017106734A1 (en) * 2015-12-16 2017-06-22 Martineau Pierre R Method and apparatus for remanent imaging control
EP3475785A4 (en) * 2016-04-22 2020-05-13 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR PROCESSING IMAGE DATA BASED ON A USER'S INTEREST
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180240A (ja) * 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
US20100002071A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Multiple View and Multiple Object Processing in Wide-Angle Video Camera
US20110285866A1 (en) * 2010-05-18 2011-11-24 Satish Kumar Bhrugumalla Multi-Channel Imager

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Stephan MatzkaI, et al,.IEEE Transactions on Intelligent Transportation Systems(2012.01.07. 공개) 1부.* *

Also Published As

Publication number Publication date
DE112017005612A5 (de) 2019-09-12
KR102431215B1 (ko) 2022-08-09
JP2020516093A (ja) 2020-05-28
EP3607740B1 (de) 2021-07-07
JP7248574B2 (ja) 2023-03-29
WO2018184608A1 (de) 2018-10-11
EP3607740A1 (de) 2020-02-12
DE102017205630A1 (de) 2018-10-04
US20190364203A1 (en) 2019-11-28
CN110226326B (zh) 2022-01-11
US10958832B2 (en) 2021-03-23
CN110226326A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
KR102385280B1 (ko) 차량의 주변 구역을 상황에 맞추어 포착하기 위한 카메라 시스템 및 방법
KR102535442B1 (ko) 자기 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
KR102431215B1 (ko) 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
JP2019525568A5 (ko)
KR102397156B1 (ko) 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법
US20070230800A1 (en) Visibility range measuring apparatus for vehicle and vehicle drive assist system
CN103843326A (zh) 图像显示装置及图像显示方法
JP2018526873A (ja) 車両の周辺部を撮影するための車載カメラ手段、並びに、この様な車載カメラ手段を備えたオブジェクト認識のための運転手アシスタント装置
EP2551817A2 (en) Vehicle rear view camera system and method
JP6139493B2 (ja) ナンバープレート検出装置及びナンバープレート検出方法
CN110536814B (zh) 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法
JP5434277B2 (ja) 走行支援装置および走行支援方法
EP3349201B1 (en) Parking assist method and vehicle parking assist system
US20170151909A1 (en) Image processing based dynamically adjusting surveillance system
WO2015001747A1 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2007069777A (ja) 障害物検出システム
CN112544066A (zh) 图像处理装置
CN113316529A (zh) 信息提示装置和信息提示控制方法、以及程序和记录介质
JP2006024120A (ja) 車両用画像処理システム及び画像処理装置
DE102015012873A1 (de) Verfahren und Vorrichtung zum Dokumentieren eines Regelverstoßes eines Fahrzeugs durch einen Erfassungsbereich einer Objekt-Tracking-Einrichtung
DE102004036603A1 (de) Videokamera zur Unterstützung des Fahrers eines Fahrzeugs
EP3104303A1 (en) Signage detection on the ground using surround view cameras
JP2019080125A (ja) 画像監視装置および画像監視システム
KR20190048284A (ko) 서라운드 뷰 모니터링 시스템
JP2015228074A (ja) 監視装置、信号制御システム、交通情報提供システム及び監視方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant