JP7064451B2 - 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法 - Google Patents

自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法 Download PDF

Info

Publication number
JP7064451B2
JP7064451B2 JP2018567288A JP2018567288A JP7064451B2 JP 7064451 B2 JP7064451 B2 JP 7064451B2 JP 2018567288 A JP2018567288 A JP 2018567288A JP 2018567288 A JP2018567288 A JP 2018567288A JP 7064451 B2 JP7064451 B2 JP 7064451B2
Authority
JP
Japan
Prior art keywords
image
camera device
resolution
vehicle
trimmed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018567288A
Other languages
English (en)
Other versions
JP2019525540A (ja
Inventor
ブロイアー・カルステン
ヴェルトヘッセン・ボーリス
ローテンホイスラー・コンラート
クレーケル・ディーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2019525540A publication Critical patent/JP2019525540A/ja
Application granted granted Critical
Publication of JP7064451B2 publication Critical patent/JP7064451B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、自車両の周辺領域撮影用カメラ装置に関する。更に、本発明はそのようなカメラ装置を備える車両及び運転者支援機能を提供する方法に関する。
例えば道路標識認識又は車線維持支援といった運転者支援装置を実現するには、カメラシステムは約50°の水平画角と約30°の垂直画角が必要である。しかし、最前列での停車時のクロストラフィック認識又は交通信号認識等の新規機能は、発車の際に画像の周辺領域に存在するオブジェクトを捕捉できるように、さらに大幅に大きな画角を必要とする。その一方、例えば高度自動運転又は車線維持支援には、オブジェクトや車線構造を遠く離れたところからも認識することが必要であり、そのためには対応する分解能が必要とされる。
この点に関して、例えば少なくとも画角及び/又は角度分解能を特徴とし、それにより広範囲にわたって中心領域を捕捉し、かつクロストラフィック認識に必要な広角領域を捕捉するという相反する要求を満たすべく少なくとも2つの光電子装置を備えるカメラシステムが知られている。例えば、ドイツ特許出願公開第102004061998A1号公報には、少なくとも1つの第1カメラと少なくとも1つの第2カメラを備え、第1及び第1カメラは少なくとも1つのカメラプロパティを特徴とする車両用装置が記載されている。
そのようなカメラシステムの欠点は、例えば処理すべきデータ量、及びカメラシステムの中でも高価な装置である光電子装置が多いことに起因する大きなコストにある。
ドイツ特許出願公開第102004061998A1号公報
本発明の課題は、運転者支援装置を実現するべく、効率的な画像処理を行うとともに、詳細な撮影と可能な限り広範囲の捕捉領域という要求を満たすカメラ装置を提供することにある。
この課題は請求項1に記載の特徴を有するカメラ装置、請求項15に記載の特徴を有する車両及び請求項16に記載の特徴を有する方法により解決される。本発明の有利又は好適な態様は従属請求項、後述の詳細な説明及び図面に記載される。
自車両の周辺領域撮影用カメラ装置が提案される。周辺領域とは、例えば自車両の走行方向の前方、側方及び/又は後方の周辺領域に関する。
カメラ装置は周辺領域の少なくとも1つの出力画像を撮影する光電子装置を備える。光電子装置による少なくとも1つの撮影出力画像とは、好ましくは未処理画像に関する。
光電子装置は広角レンズを含む。特に、広角レンズを用いて広角撮影出力画像が実現される。好ましくは、広角レンズにおいてオブジェクトが光軸に関して例えば少なくとも+/-50°、特に少なくとも+/-70°及び/又は最大で+/-80°の水平画角及び/又は垂直画角を有してよい。それにより例えば、横断中の道路利用者が早期にオブジェクト評価される横断領域といった周辺領域が可能になる。
更に、光電子装置は高分解能画像撮影センサを備える。高分解能画像撮影センサを用いることで、特に、例えば遠方領域の道路標識又は車線の評価、すなわち特に自車両から少なくとも50メートルの離隔領域におけるオブジェクト評価が可能になる。高分解能画像撮影センサとは、特に、複数のメガピクセル、例えば少なくとも5メガピクセル、好ましくは少なくとも7メガピクセル、特に少なくとも10メガピクセルのピクセル数を有する画像撮影センサであってよい。好ましくは、画像撮影センサは均一なピクセル/cm分解能を有する。
高分解能画像撮影センサは自動車技術において特に広角レンズとの使用が不適と分類されるのは、高分解能画像撮影センサが膨大な画像処理アルゴリズムにおいて大きなピクセルル数を効率的に処理することができないからである。
そのような中で、光電子装置、特に画像撮影センサ又はカメラ装置の画像処理装置は、少なくとも1つの撮影出力画像から、処理された結果画像を生成するように構成され、処理された結果画像は付属する出力画像と比較して少なくとも1つの分解能が変更されていないトリミング画像及び少なくとも1つのトリミング画像と隣接する分解能が低減された残像領域を有する。この場合、変更されていないトリミング画像とは、特に、変更されていない、言い換えると同一の分解能を有する出力画像の部分画像領域であってよい。従って、特にトリミング画像における分解能の低減が排除される結果、撮影出力画像について分解能の低減が部分的にのみ行われる。
撮影画像シーケンスの場合、光電子装置は、撮影出力画像から各々、処理された結果画像を生成するように構成されるのが好ましい。
分解能の低減が部分的であることの主な有利な点は、車両カメラに関して結果画像全体の評価にかかる、平均して略同一又は僅かに高い計算コストであるが、従来、車両カメラは実現可能な画像処理コストを実現するのに例えば最大2メガピクセルという顕著に低い分解能レートを有しているため、遠方領域の評価ができない。
更に、確実になったのは、さもなければ高すぎる計算コストに基づいて、場合によっては関連する目標オブジェクトに基づいて少なくとも後からの評価が行われることがある、特に出力画像の部分画像領域のみが評価されるのではないことである。これにより、高分解能画像撮影センサ及び広角レンズにもかかわらず、結果画像全体における目標オブジェクトの評価を可能にする計算コストが実現される。
従って、運転者支援装置を実現するために可能な限り広範囲の捕捉領域とともに遠方領域の目標オブジェクトを評価するのに十分な分解能を実現可能な画像処理コストで達成するという対立する目標が、カメラ装置のみを用いることで実現される。
更に、寸法がコンパクトである一方、他方では2つ又はそれどころか3つの光電子装置を備えるカメラ装置と比較してカメラ装置のコスト削減が顕著であることが注目すべきことである。
カメラ装置は、例えば車線維持支援装置又は左折・右折支援装置等の少なくとも1つの運転者支援装置を含むか、これと接続可能であることが好ましい。特に、運転者支援装置は、少なくとも1つの出力画像の処理された結果画像から少なくとも1つの目標オブジェクト、例えば車線、交通信号、道路標識、歩行者、自転車運転者及び/又は更なる道路利用者を評価し、少なくとも1つの評価された目標オブジェクトに応じて少なくとも1つの受動的及び/又は能動的運転者支援機能、例えば車間警告、非常ブレーキ又は自動回避操縦を実施するように構成される。
好ましくは、光電子装置は残像領域をピクセルビニングを用いて分解能を低減して生成するように構成される。特に、ピクセルビニングにおいて、例えば出力画像の1行及び/若しくは1列内又は長方形の部分領域における画像撮影センサの隣接するピクセルはまとめられ、1つの新しいピクセルとして扱われる。このようにして、分解能を低減して生成された結果画像について得られるピクセル行列は特に撮影出力画像よりも低い分解能を有する。
代替又は任意の追加として、光電子装置は残像領域をピクセルスキッピングを用いて分解能を低減して生成するように構成される。特に、ピクセルスキッピングにおいて、定義されたシーケンスにおける出力画像のピクセルがスキップされるため、好ましくは結果画像用のピクセルの一部のみが引き継がれる。このようにして、特により低い結果画像の分解能が実現され、従ってデータ量の低減が達成される。
第1の好適な態様において、画像撮影センサは少なくとも1つの撮影出力画像から処理された結果画像を生成するように構成される。それによって、特に処理された結果画像の生成、従って少なくとも1つの出力画像の残像領域における分解能の低減が電子的なピクセルビニング及び/又はピクセルスキッピングを用いて画像撮影センサ上で行われる。好ましくは、画像撮影センサによってピクセル数全体の一部のみが出力され、残りのピクセル数はマスクされるか連結される。特に、ピクセル数全体は出力画像に対応し、出力された一部のピクセル数は生成される処理された結果画像に対応する。言い換えると、このようにして特に結果画像の処理及び出力が画像撮影センサにより行われる。
第2の好適な態様において、カメラ装置は画像撮影センサにより送信された少なくとも1つの出力画像から処理された結果画像を生成するように構成される画像処理装置を含む。このようにして、特に画像撮影後処理、従って出力画像の分解能の低減がこのように例えば後続するピクセルビニング及び/又はピクセルスキッピングを用いて行われる。
好ましくは、少なくとも1つのトリミング画像は光軸周りに位置する出力画像の中心トリミング画像であるか、又は中心トリミング画像と接続する出力画像の周辺トリミング画像である。好ましくは、中心トリミング画像は光軸に関して対称的、特に回転対称に配置された、カメラ装置の視野の中心画像領域である。周辺トリミング画像とは、特にカメラ装置の視野の4つの周縁トリミング画像のうちの少なくとも1つに関する。このように、周辺トリミング画像は中心トリミング画像を好ましくは少なくとも部分的に取り囲む。特に好適には、中心トリミング画像及び周辺トリミング画像はカメラ装置の光軸に関して同軸に配置される。中心トリミング画像及び周辺トリミング画像とは、好ましくはカメラ装置の視野領域の相異なる、特に重複していない捕捉領域に関する。特に好適には、カメラ装置の視野は中心トリミング画像及び周辺トリミング画像により形成される。
中心トリミング画像は例えば水平画角、代替又は任意の追加として垂直画角が+/-25°である。中心トリミング画像と接続する周辺トリミング画像は例えば水平画角、代替又は任意の追加として垂直画角が最小+/-50°である。
オブジェクト評価が更に広範囲に遠方領域に可能になるほど、運転者支援装置の運転者支援機能はより確実に予測して実行される。そのような中で、特に好適な態様において、撮影出力画像は中心トリミング画像において、周辺トリミング画像におけるよりも、少なくとも部分的により高い、特に少なくとも2倍の分解能を有する。特に好適には、分解能は増加する水平画角及び/又は垂直画角の大きさに応じて少なくともトリミング毎に減少する。このようにして、中心トリミング画像における目標オブジェクトは近隣領域、例えば1~50メートルの離隔領域そして遠隔領域、例えば50~500メートルの離隔領域においても評価可能である。周辺トリミング画像とりわけ近隣領域に存在する目標オブジェクト、従って例えば横断中の自転車運転者を横断領域で評価可能であるため、不均一の広角レンズという条件の下より低い分解能でオブジェクト評価が可能である。
中心トリミング画像において少なくとも部分的により高い分解能を実現するため、好適な設計構成において、広角レンズは不均一、特に非線形の歪曲収差を有し、特にアナモルフィックの広角レンズとして構成される。特に、不均一の歪曲収差を用いて画像撮影センサの分解能に応じて、1°あたり50ピクセル以下の分解能を達成できる。このようにして、遠方領域のオブジェクト評価に必要な分解能が追加の望遠レンズを用いることなく可能となる。
好適な更なる態様において、広角レンズは少なくともトリミング毎に、例えば球面部がパノモーフ、特にアナモルフィックに構成される少なくとも1つ又は正に1つのレンズを備える。パノモーフ、特にアナモルフィックのレンズは少なくともトリミング毎に出力画像の歪曲収差を生じ、特に楕円形状で面を他のレンズ形状と比較して広範囲にカバーすることを可能にするため、撮影ゾーンに対してより多くのピクセルを実現可能である。このようにして、中心トリミング画像において、歪曲収差があるにもかかわらず目標オブジェクト認識の向上が達成される。
周辺トリミング画像における関連する目標オブジェクトは、特に低い車両速度の都市環境において評価される必要がある一方、郊外の道路では高い車両速度で特に中心トリミング画像の遠方領域において評価される必要がある。そのような中で、光電子装置、特に画像処理装置は例えば、トリミング画像を中心トリミング画像又は周辺トリミング画像として、現在算出された車両速度及び/又は自車両の現在算出された舵角に応じて決定するように構成される。車両速度及び/又は舵角はどの道路カテゴリーに自車両が現在存在するか、従って例えば都市の道路又は高速道路であるかの逆推理を可能にする。このようにして、周辺トリミング画像において現在関連する目標オブジェクトを評価するのに必要な分解能を不均一のレンズの場合でも維持することができる。
代替又は任意の追加として、光電子装置、特に画像処理装置は、トリミング画像を中心トリミング画像として又は周辺トリミング画像として、算出された前方交通空間及び/又は自車両が現在存在する道路カテゴリーに応じて決定するように構成される。前方空間を算出することで、特徴的な目標オブジェクトを有する関連する交通領域、従って例えば横断中の道路利用者を有する横断領域を捕捉可能である。道路カテゴリーに関して、例えば高速道路、国道及び/又は都市の道路が識別される。前方交通空間及び/又は道路カテゴリーの算出により、トリミング画像を現在の車両環境に応じて適合させ、従って例えば少なくとも1つの運転者支援装置により評価される必要がある目標オブジェクトを個別に選択することができる。
例えば自車両は現在位置、従ってカメラ装置が搭載可能であるか搭載されている自車両の所在地を決定する、GPSセンサ等の位置決め装置を備える。更に、自車両は例えば電子地図素材を呼び出すための車両内ナビゲーションデータサーバを含む。好ましくは、自車両の評価ユニットが構成され、決定された自車両の位置を用い、及び電子地図素材の情報データを用いて、前方交通空間及び/又は道路カテゴリーを自車両の現在位置に基づいて評価し、評価された交通空間又は道路カテゴリーを画像処理装置に送信する。
本発明の更なる目的は、上記記載のカメラ装置を備える車両に関する。
更に、本発明は自車両の少なくとも1つの運転者支援装置の運転者支援機能を提供する方法に関する。第1のステップにおいて、周辺領域の少なくとも1つの出力画像が上記記載のカメラ装置を用いて撮影される。次のステップにおいて、光電子装置、特に画像撮影センサ及び/又はカメラ装置の画像処理装置により少なくとも1つの撮影出力画像から処理された結果画像を生成する。処理された結果画像は付属する出力画像に関して少なくとも1つの変更されていないトリミング画像及び少なくとも1つのトリミング画像と隣接する分解能が低減された残像領域を有する。少なくとも1つの処理された結果画像に基づいて少なくとも1つの目標オブジェクトが評価される。少なくとも1つの目標オブジェクトの評価は特にカメラ装置の少なくとも1つの運転者支援装置により実行される。好ましくは、少なくとも1つの評価された目標オブジェクトに基づいて運転者支援機能、従って例えばブレーキ支援、警告支援及び/又は操舵支援が実施される。
本発明の更なる特徴、有利な点及び効果は以下の本発明の好適な実施形態の説明により明らかにされる。
図1は、カメラ装置を備える車両を示す概略上面図である。 図2は、変更されていないトリミング画像及びトリミング画像と隣接する分解能が低減された残像領域を有する処理された結果画像の実施形態例を示す。 図3は、変更されていないトリミング画像及びトリミング画像と隣接する分解能が低減された残像領域を有する処理された結果画像の実施形態例を示す。 図4は、従来技術として公知のカメラシステムの2つの光電子装置各々の水平画角に応じた分解能の推移を示す図である。 図5は、図2の実施形態例に対応する結果画像の分解能の推移を示す図である。 図6は、図3の実施形態例に対応する結果画像の分解能の推移を示す図である。 図7は、付属する出力画像をアナモルフィックのレンズを含むカメラ装置を用いて撮影した、図5の実施形態例に対応する結果画像の分解能の推移を示す図である。
互いに対応する部材には全図面を通して同一の参照符号が付されている。
図1は、概略図において、前方の周辺領域を撮影するカメラ装置2を備える車両1を示す。本実施形態例において、カメラ装置2は自車両1の内部空間でウインドスクリーンの後ろに配置され、自車両1の走行方向に方向付けされたカメラである。特にカメラ装置2は正に1つの光電子装置3を備えるモノカメラ装置2として構成される。
光電子装置3は前方の周辺領域の少なくとも1つの出力画像を撮影するように構成される。出力画像を撮影するため、光電子装置は広角レンズと高分解能画像撮影センサとを含む。
広角レンズは例えば光軸Aに関して+/-50°の水平画角及び/又は垂直画角を有する。広角レンズを用いることで、例えば横断中の道路利用者等の目標オブジェクトを早期に評価することが可能になる。
画像撮影センサは例えば少なくとも5メガピクセル、特に少なくとも7メガピクセル、更に特に少なくとも10メガピクセルの分解能を有する。この分解能により遠方領域においても目標オブジェクトの評価が実現される。
このようにして、特に周縁トリミング画像又は中心トリミング画像を評価するために設けられた、高コストである複数の光電子装置を不要とすることができる。
このように、一方で、例えば横断中の道路利用者を横断領域で早期に認識するか、又は最前列での交通信号認識にも必要になりえる広角の捕捉領域を有するカメラ装置2が構成される。他方で、少なくとも1つの出力画像が高分解能で実現されるため、目標オブジェクトは近隣領域、例えば1~50メートルの離隔領域そして遠隔領域、例えば50~500メートルの離隔領域においても評価可能である。従って、広角領域及び遠隔領域という目標の対立は1つの光電子装置3を用いることで解決される。
しかしそのような出力画像は、画像評価装置、つまり特に目標オブジェクトを評価するために車両領域で使用されるプロセッサが処理可能なデータ量を超過する。
光電子装置3、特に画像撮影センサ又は光電子装置3の画像処理装置は、少なくとも1つの撮影出力画像から、処理された結果画像4を生成するように構成される。好ましくは、結果画像4の視野領域は出力画像の視野領域に関して変更されていない。
処理された結果画像4は付属する出力画像に関して少なくとも1つの変更されていないトリミング画像4a及び少なくとも1つのトリミング画像と隣接する分解能が低減された残像領域4bを有する。これにより、自車両1、特にカメラ装置2に搭載された画像評価装置が処理可能なデータ量が存在することになる。更に、1つのカメラ装置2のみを用いることで、自車両1の中心領域及び周辺領域におけるオブジェクト評価が様々な離隔領域で達成される。
更に、カメラ装置2は例えば光電子装置3により処理された結果画像4に基づいて目標オブジェクトを評価し、評価された目標オブジェクトに基づいて少なくとも1つの運転者支援機能を実施する画像評価装置を有する少なくとも1つの運転者支援装置7を備える。
好ましくは、処理された結果画像4に基づいて様々な分解能を有する画像について、ピラミッド構造としても知られるヒエラルキーが算出される。例えば、各々半分だけ低くなる分解能を有する少なくとも3つの画像が供給される。特に、画像評価装置によりまず最低の分解能を有する画像がオブジェクト認識用に取り出され、計算コストを可能な限り低廉に抑える。画像評価装置により最低の分解能を有する画像において目標オブジェクトが認識される場合、好ましくは次に高い分解能を有する画像を取り出し、具体的にオブジェクト認識を有効にする。
例えば撮影出力画像の分解能の低減はピクセルビニングを用いて実行される。ピクセルビニングとしては、特に複数、例えば4フィジカルピクセルを1ピクセルにまとめてよい。4ピクセルを1ピクセルにまとめる場合、単純にピクセルの4分の1のフィジカルピクセルを処理することができる。
例えば少なくとも1つのトリミング画像4aが光電子装置3、特に画像センサ撮影装置又は画像処理装置により、オブジェクト評価が優先されるか、又は評価を少なくとも50メートルの離隔領域において実施する必要がある出力画像の部分画像領域に置かれる。
図2及び3において、変更されていないトリミング画像4a及びトリミング画像4aと隣接する分解能が低減された残像領域4bを有する処理された結果画像4の実施形態例が示される。
図2に示される実施形態例において、トリミング画像4aは光軸A周りに位置する中心トリミング画像5であり、残像領域4bは中心トリミング画像5と接続する出力画像3の周辺トリミング画像6である。中心トリミング画像5は例えば+/-25°の水平画角及び/又は垂直画角5α、5βを有する。この画角領域により例えば検出された車線の評価対象となる推移が延長される。水平周辺トリミング画像6は特に+/-50°の水平画角及び/又は垂直画角6α、6βを有するため、例えば横断領域も広い面で捕捉可能である。単なる一例として、周辺トリミング画像6は撮影出力画像の4つの周縁トリミング画像各々を含む。
図3に示される実施形態例において、トリミング画像4aは光軸A周りに位置する周辺トリミング画像6であり、残像領域4bは中心トリミング画像5である。この実施形態が特に有利なのは、例えば交差する道路利用者及び/又は交通信号装置を横断領域において評価する必要がある場合である。
例えばトリミング画像4aの決定は中心トリミング画像及び/又は周辺トリミング画像5、6として車両速度、舵角、前方交通空間及び/又は自車両1が現在存在する道路カテゴリーに応じて実行される。
車両速度が増加している場合、例えば道路標識及び/又は車線推移を早期に評価するために同様に中心トリミング画像5において分解能が増加していることが必要であるため、好ましくは例えば100km/hの速度制限値を超過している場合においてトリミング画像4bは中心トリミング画像5の上に置かれる。低速時の場合、早期にクロストラフィック認識及び/又は交通信号認識を行うために周辺トリミング画像6において少なくとも1つの十分な分解能を確保する必要があるため、例えば30km/hの速度制限値を下回る場合、特に停滞した車両状態の場合においてトリミング画像4aは周辺トリミング画像6として決定される。
図4において、公知の従来技術の一例として2つの光電子装置を含むカメラシステムの水平画角αに関する分解能の推移が示される。一方の光電子装置はリニア広角レンズを有し、他方の光電子装置はリニア望遠レンズを有し、遠方領域を中心トリミング画像において実現し、そして望遠レンズに対して拡大された視野領域を実現する。
これと比較して、図5及び6において、一例として本発明のカメラ装置2によって生成された結果画像4の水平画角αに関する分解能の推移が示される。本実施形態例において、光電子装置は16:9フォーマットにおいて7.23メガピクセルを有する高分解能画像撮影センサと+/-50°の水平画角αを有するリニア広角センサとを含む。
図5において、中心トリミング画像5はトリミング画像4aに対応する一方、周辺トリミング画像6は分解能が低減された残像領域として決定されている。図6に示されるように、代替として周辺トリミング画像6はトリミング画像5bとして決定されてよい。重要な点は特に、中央において少なくとも略一定の大きさの処理すべきピクセル数が実現されていることである。
図7において、一例として本発明のカメラ装置2によって生成された結果画像4の水平画角αに関する分解能の推移が示される。本実施形態例において、光電子装置は16:9フォーマットにおいて7.23メガピクセルを有する高分解能画像撮影センサと+/-50°の水平画角αを有するアナモルフィックの広角センサとを含む。アナモルフィックの広角センサを用いる場合、リニア広角センサと比較すると中心トリミング画像の分解能は少なくともトリミング毎に上昇する一方、周辺トリミング画像のトリミング画像の分解能は低減する。周辺トリミング画像において部分的に分解能が低減するとそのために場合によっては確実なオブジェクト評価に必要な分解能を下回る可能性がある。ここでは、トリミング画像4aを現在の走行状況、例えば現在の車両速度又は前方交通空間に応じて決定することが有利であることが示されているが、それは周辺トリミング画像6において十分な分解能が必要である場合、特にトリミング画像4aをこの部分画像領域上に置くことで確実なオブジェクト評価が確立されるからである。
1 車両
2 カメラ装置
3 光電子装置
4 処理された結果画像
4a トリミング画像
4b 残像領域
5 中心トリミング画像
6 周辺トリミング画像
7 運転者支援装置
α 水平画角
β 垂直画角
A 光軸

Claims (13)

  1. 自車両(1)の周辺領域撮影用カメラ装置(2)において、
    記周辺領域の少なくとも1つの出力画像を撮影する広角レンズ及び高分解能画像撮影センサを含む光電子装置を備え、前記画像撮影センサは均一な分解能を有し、
    前記光電子装置は前記少なくとも1つの撮影出力画像から、処理された結果画像(4)を生成するように構成され、
    前記処理された結果画像(4)は付属する前記出力画像と比較して少なくとも1つの分解能が変更されていないトリミング画像(4a)及び前記少なくとも1つのトリミング画像(4a)と隣接する分解能が低減された残像領域(4b)を有
    前記少なくとも1つのトリミング画像(4a)は光軸周りに位置する中心トリミング画像(5)であるか、又は前記中心トリミング画像(5)と接続する周辺トリミング画像(6)であり、
    前記光電子装置は前記少なくとも1つのトリミング画像(4a)を前記中心トリミング画像(5)として又は前記周辺トリミング画像(6)として、前記自車両(1)の前方交通空間及び/又は前記自車両(1)が現在存在する道路カテゴリー及び/又は現在算出された車両速度及び/又は前記自車両(1)の現在の舵角に応じて決定するように構成される、カメラ装置(2)。
  2. 前記光電子装置は前記残像領域(4b)をピクセルビニングを用いて及び/又はピクセルスキッピングを用いて分解能を低減して生成するように構成される、請求項1に記載のカメラ装置(2)。
  3. 前記画像撮影センサは少なくとも5メガピクセルの分解能を有する、請求項1又は2に記載のカメラ装置(2)。
  4. 前記広角レンズは光軸Aに関して+/-50°の水平画角及び/又は垂直画角(α、β)を有する、請求項1~3の何れか1項に記載のカメラ装置(2)。
  5. 前記画像撮影センサは前記少なくとも1つの撮影出力画像から前記処理された結果画像(4)を生成するように構成される、請求項1~4の何れか1項に記載のカメラ装置(2)。
  6. 前記カメラ装置(2)は前記画像撮影センサにより送信された前記少なくとも1つの出力画像から前記処理された結果画像(4)を生成するように構成される画像処理装置を含む、請求項1~4の何れか1項に記載のカメラ装置(2)。
  7. 前記中心トリミング画像(5)は最大+/-25°の水平画角(5α)を有し、前記中心トリミング画像(5)と接続する前記周辺トリミング画像(6)は最小+/-50°の水平画角(5β)を有する、請求項1~6の何れか1項に記載のカメラ装置(2)。
  8. 前記撮影出力画像は前記中心トリミング画像(5)において、前記周辺トリミング画像(6)におけるよりも、少なくとも部分的により高い、特に少なくとも2倍の分解能を有する、請求項1~7の何れか1項に記載のカメラ装置(2)。
  9. 前記広角レンズは前記中心トリミング画像(5)において前記少なくとも部分的により高い分解能を実現するように構成される不均一の歪曲収差を有する、請求項1~8の何れか1項に記載のカメラ装置(2)。
  10. 前記広角レンズは少なくともトリミング毎にパノモーフ、特にアナモルフィックに構成される少なくとも1つ又は正に1つのレンズを備える、請求項1~の何れか1項に記載のカメラ装置(2)。
  11. 前記カメラ装置(2)は少なくとも1つの目標オブジェクトを前記少なくとも1つの処理された結果画像(4)に基づいて評価し、前記少なくとも1つの評価された目標オブジェクトに応じて少なくとも1つの運転者支援機能を実施するように構成される少なくとも1つの運転者支援装置(7)を含む、請求項1~10の何れか1項に記載のカメラ装置(2)。
  12. 請求項1~11の何れか1項に記載のカメラ装置(2)を備える車両(1)。
  13. 自車両(1)の少なくとも1つの運転者支援装置(7)の運転者支援機能を提供する方法において、
    ―前記自車両(1)の周辺領域の少なくとも1つの出力画像を請求項1~11の何れか1項に記載のカメラ装置(2)を用いて撮影するステップと、
    ―処理された結果画像(4)を前記少なくとも1つの撮影出力画像から生成するステップにおいて、前記処理された結果画像(4)は付属する前記出力画像に関して少なくとも1つの変更されていないトリミング画像(4a)及び前記少なくとも1つのトリミング画像(4a)と隣接する分解能が低減された残像領域(4b)を有するステップと、
    ―少なくとも1つの目標オブジェクトを前記少なくとも1つの処理された結果画像(4)に基づいて評価するステップとを備える、運転者支援機能を提供する方法。
JP2018567288A 2016-07-22 2017-07-04 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法 Active JP7064451B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016213493.0 2016-07-22
DE102016213493.0A DE102016213493A1 (de) 2016-07-22 2016-07-22 Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
PCT/DE2017/200061 WO2018014917A1 (de) 2016-07-22 2017-07-04 Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion

Publications (2)

Publication Number Publication Date
JP2019525540A JP2019525540A (ja) 2019-09-05
JP7064451B2 true JP7064451B2 (ja) 2022-05-10

Family

ID=59655807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018567288A Active JP7064451B2 (ja) 2016-07-22 2017-07-04 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法

Country Status (7)

Country Link
US (1) US10750085B2 (ja)
EP (1) EP3488607B1 (ja)
JP (1) JP7064451B2 (ja)
KR (1) KR102397156B1 (ja)
CN (1) CN109644251B (ja)
DE (2) DE102016213493A1 (ja)
WO (1) WO2018014917A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
CN112312038A (zh) * 2019-07-24 2021-02-02 常州星宇车灯股份有限公司 用于智能驾驶的复合镜头和车辆
JPWO2021060120A1 (ja) 2019-09-24 2021-04-01
DE102020106967A1 (de) * 2020-03-13 2021-09-16 Valeo Schalter Und Sensoren Gmbh Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter
US11899468B2 (en) * 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
JP2008298532A (ja) 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2009017157A (ja) 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2010283567A (ja) 2009-06-04 2010-12-16 Alpine Electronics Inc 撮像装置及び車両周囲画像提供装置
WO2016019956A1 (de) 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
WO2016047087A1 (ja) 2014-09-24 2016-03-31 パナソニックIpマネジメント株式会社 車載用電子ミラー

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048202A1 (en) 2001-09-10 2003-03-13 Michael Francois Cockpit image recording system
US6917715B2 (en) 2002-04-19 2005-07-12 International Business Machines Corporation Foveal priority in stereoscopic remote viewing system
JP4084991B2 (ja) 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
FR2912238B1 (fr) 2007-02-01 2009-07-10 Valeo Vision Sa Procede de traitement d'images prises par une camera embarquee sur vehicule.
JP5188080B2 (ja) 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
JP2011205573A (ja) * 2010-03-26 2011-10-13 Sony Corp 制御装置、カメラシステム及びプログラム
JP5552000B2 (ja) * 2010-08-16 2014-07-16 富士フイルム株式会社 ファインダー装置および撮像装置
JP5506656B2 (ja) * 2010-12-28 2014-05-28 株式会社テクノスコープ 画像処理装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
DE102011085194B3 (de) * 2011-09-08 2013-03-07 Cooper-Standard Automotive (Deutschland) Gmbh Abgaskühler für ein Abgasrückführsystem sowie ein Abgasrückführsystem mit einem derartigen Abgaskühler
WO2013067083A1 (en) * 2011-11-02 2013-05-10 Magna Electronics, Inc. Vehicle vision system with asymmetric anamorphic lens
JP5854154B2 (ja) * 2012-11-27 2016-02-09 日産自動車株式会社 加減速誤操作判定装置、誤操作加速抑制制御装置、加減速誤操作判定方法
US10002561B1 (en) * 2012-12-12 2018-06-19 Christopher Ralph Tridico Perceptually configured array of addressable electromagnetic emitter elements
CN104937648A (zh) * 2013-01-25 2015-09-23 丰田自动车株式会社 道路环境识别系统
US9826174B2 (en) * 2013-03-26 2017-11-21 Samsung Electronics Co., Ltd Image processing apparatus and method
US8934102B2 (en) * 2013-06-17 2015-01-13 Intellectual Reserves, LLC System and method for determining fluid parameters
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
CN104427310B (zh) * 2013-09-04 2017-11-10 杭州海康威视数字技术股份有限公司 图像存储方法及其装置
DE102013221882A1 (de) 2013-10-28 2015-04-30 Conti Temic Microelectronic Gmbh Kamera mit ungleichförmiger Winkelauflösung für ein Fahrzeug
DE102013018543A1 (de) * 2013-11-05 2015-05-07 Mekra Lang Gmbh & Co. Kg Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102015208889A1 (de) 2015-05-13 2016-11-17 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zum Abbilden eines Umfeldes für ein Kraftfahrzeug
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
JP2008298532A (ja) 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2009017157A (ja) 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2010283567A (ja) 2009-06-04 2010-12-16 Alpine Electronics Inc 撮像装置及び車両周囲画像提供装置
WO2016019956A1 (de) 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
WO2016047087A1 (ja) 2014-09-24 2016-03-31 パナソニックIpマネジメント株式会社 車載用電子ミラー

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATRICE ROULET ET AL,Multi-task single lens for automotive vision applications,PROCEEDINGS OF SPIE,2009年05月01日,Vol.7314

Also Published As

Publication number Publication date
EP3488607B1 (de) 2021-09-08
JP2019525540A (ja) 2019-09-05
US20200059598A1 (en) 2020-02-20
KR20190026767A (ko) 2019-03-13
EP3488607A1 (de) 2019-05-29
DE102016213493A1 (de) 2018-01-25
CN109644251A (zh) 2019-04-16
DE112017002485A5 (de) 2019-02-28
WO2018014917A1 (de) 2018-01-25
CN109644251B (zh) 2022-09-13
US10750085B2 (en) 2020-08-18
KR102397156B1 (ko) 2022-05-11

Similar Documents

Publication Publication Date Title
JP7064451B2 (ja) 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法
US10742907B2 (en) Camera device and method for detecting a surrounding area of a driver's own vehicle
JP2019525568A5 (ja)
US10798319B2 (en) Camera device and method for capturing a surrounding region of a vehicle in a situation-adapted manner
US11588963B2 (en) Vehicle vision system camera with adaptive field of view
US10869002B2 (en) Vehicle camera device for capturing the surroundings of a motor vehicle and driver assistance device for detecting objects with such a vehicle camera device
WO2017042710A1 (en) System and method for detecting objects in an automotive environment
JP2018537329A (ja) 車両の車両周辺部における覆い隠された領域を割り出すための方法と装置
US10958832B2 (en) Camera device and method for detecting a surrounding region of a vehicle
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
WO2020022021A1 (ja) 距離算出装置
JP6653456B1 (ja) 撮像装置
JP4986070B2 (ja) 車両用周囲監視装置
CN110536814B (zh) 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法
JP2021043861A (ja) 運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法
JPWO2017028848A5 (ja)
JP4598011B2 (ja) 車両用表示装置
JP2006024120A (ja) 車両用画像処理システム及び画像処理装置
KR20160086644A (ko) 전방향 감시형 광각렌즈 장착 블랙박스 시스템
TWM494724U (zh) 具切換比例功能之環景影像裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220422

R150 Certificate of patent or registration of utility model

Ref document number: 7064451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150