JP6660893B2 - ドライバー・アシスタント・システム - Google Patents

ドライバー・アシスタント・システム Download PDF

Info

Publication number
JP6660893B2
JP6660893B2 JP2016574992A JP2016574992A JP6660893B2 JP 6660893 B2 JP6660893 B2 JP 6660893B2 JP 2016574992 A JP2016574992 A JP 2016574992A JP 2016574992 A JP2016574992 A JP 2016574992A JP 6660893 B2 JP6660893 B2 JP 6660893B2
Authority
JP
Japan
Prior art keywords
angular resolution
angle
image
peripheral
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016574992A
Other languages
English (en)
Other versions
JP2017524178A (ja
Inventor
クレーケル・ディーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2017524178A publication Critical patent/JP2017524178A/ja
Application granted granted Critical
Publication of JP6660893B2 publication Critical patent/JP6660893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、周辺カメラと画像評価ユニットを包含する車両用のドライバー・アシスタント・システムに関する。
新しい車両世代に属する多くの車両には、ドライバーを車両運転時にサポートする少なくとも一つのドライバー・アシスタント・システム、例えば、ナビゲーション・システムや所謂「クルーズコントロール」が装備されている。
これらのドライバー・アシスタント・システムのうち幾つかは、これを用いて該ドライバー・アシスタント・システムを備えた車両の周辺部を少なくとも一部描写する画像データを作成するための周辺カメラを有している。画像データは、評価ユニットよって、例えば、オブジェクト認識アルゴリズムを用いて、これらに対して、ドライバーが、例えば、聴覚的、或いは、視覚的に通達シグナルによって警告を受ける潜在的障害物、他の交通参加者、或いは、可及的危険を認識するために、評価される。
更には近年、少なくとも一時的な全自動的車両運転用に、即ち、作動中該ドライバー・アシスタント・システムが、少なくとも一時的に該当車両の運転を完全に受け持つ様に構成されたドライバー・アシスタント・システムも開発中である。このようなドライバー・アシスタント・システムも、通常、少なくとも一台の周辺カメラを有しているが、ここでは、画像データの評価の際に得られた情報に基づいて、ドライバー・アシスタント・システムによる車両制御の計画が立てられる、即ち、全自動的車両制御が実施される。
この様なドライバー・アシスタント・システムが、可能な限り信頼性高く作動するためには、該当する車両の周辺部からの可能な限りすべての関連する情報が、周辺カメラによって作成された画像データによって再現され、該ドライバー・アシスタント・システムの評価ユニットが、画像データから重要な情報を抽出し、該画像データを正しく解釈する必要がある。
本発明の課題は、上記を出発点として、より有利なドライバー・アシスタント・システムを提供することである。
本課題は、本発明において、請求項1に記載の特徴を有するドライバー・アシスタント・システム、請求項6に記載の特徴を有するドライバー・アシスタント・システム、請求項7に記載の特徴を有するドライバー・アシスタント・システムによって、並びに、請求項8に記載の特徴を有するドライバー・アシスタント・システム解決される。好ましい発展形態は、従属請求項に記載されている。
本発明に係るドライバー・アシスタント・システムは、ここでは、動力車両用の仕様であり、該動力車両の周辺部を少なくとも一部描写する画像データを作成するための周辺カメラ、並びに、冒頭に記載の原理に従って画像データを評価するように構成された画像評価ユニットを包含している。また、該周辺カメラは、複数のピクセルから構成されている画像センサー、並びに、好ましくは、調整不可、乃至、固定的に、特に好ましくは、一部の例えば写真機やデジタルカメラでは可能な焦点、或いは、水平方向の角度の変更をできない様に構成されている光学系を備えている。それでも、車両から異なる距離にある様々なオブジェクトを鮮明に結像できるよう、該周辺カメラは更に、光学軸に対して水平な画角を有し、但し、該周辺カメラの角解像度は、水平画角に対してバリアブルであるという構成になっている。この様にすることで、該周辺カメラは、比較的単純な構成でありながらも、車両内においてドライバー・アシスタント・システムの一部として用いられるという特別な要求に適合されている。
本発明に係るドライバー・アシスタント・システムは更に、周辺部、或いは、少なくとも該車両の前方から可能な限り全ての重要な情報が、該周辺カメラによって作成される画像データに含まれるように、これらを周辺カメラによって捕捉し、描写できるように構成する一方で、画像評価ユニットにおける画像データの自動評価における計算負荷が、該画像評価ユニットが、信頼性高く、全ての重要な情報を、画像評価の際に画像データから読み出すことを、或いは、画像データ内において認識できることを確実なものとするために、可能な限り抑制できるように、構成されていなければならない。この様にすることで、画像データの評価が、迅速に実施でき、且つ、画像データを正しく解釈できる。
この目標は、以下に記述される解決案、特に、これらを出発点としてドライバー・アシスタント・システムの様々な実施形態を得ることのできる請求項1,6,7及び8によって達成される。本件において請求項6,7及び8に係る各々の解決案は、それぞれが、発明的解決案であり、請求項1の特徴との組合せからも独立したものとして取り扱われる。よって、これらの解決案を部分的申請とする出願の可能性は保留される。更に、それぞれの解決案は、それぞれ有利に組合せることができるため、様々な解決案が組み合わされた構成のドライバー・アシスタント・システムのバリエーションは、好ましいものである。
これらの解決案のうち一つによれば、ドライバー・アシスタント・システムは、該周辺カメラの角解像度が、光学軸周りの中央領域においては、実質的に一定となり、その直接的周りの移行領域では、変化し、画角周縁である移行領域の直接的周りの周縁部においては、再び、実質的に一定となるように構成されている。更に該ドライバー・アシスタント・システムは、この形態バリエーションにおいて、周辺カメラが作成した画像データの前処理のために、仮想角解像度を与えることができるように構成されている画像前処理ユニットを包含している。この際、該画像前処理ユニットは、続いて画像評価ユニットによって評価される前処理済み画像データを、周辺カメラが作成した画像データをベースに作成する。
即ち、周辺カメラが作成した画像データは、先ず、画像前処理ユニットに実装されているアルゴリズムを用いて適合され、画像評価ユニット内でそれ自体は既知の原理に基づいて評価される前に改変される。前処理においては、例えば、ホームエレクトロニクスの分野では原理的に既知のスケーリング・アルゴリズムを採用し、解像度低減は、複数のピクセルを合わせること、即ち、複数のピクセルを一つの仮想ピクセルで置き換えることにより達成でき、解像度上昇は、例えば、補間による付加的な仮想ピクセルの生成により達成できる。画像前処理ユニットにおける画像データの前処理は、周辺カメラの変化する角分解能を原因とする画像の歪みを低減するためなどに実施されるものである。この様な画像の歪みは、周辺カメラによって作成された画像データから、例えば、画像評価ユニットを用いたオブジェクト認識を容易にするために、数学的に排除される。
通常、周辺カメラは、作動中、一連の個別画像、乃至、個別画像のシーケンスを作成するため、画像前処理ユニットが、各々個別画像の角解像度を、前処理の一部として、実装されているスキーマに従って、適合させることは、更に有利である、但し、全ての個別画像に同じスキーマを用いることが、目的に適っている。しかしながらこの際に、全ての個別画像の単純なアップスケーリングやダウンスケーリングを実施するのではなく、好ましくは、各々の個別画像内の特定の場所のみを前処理する、要するに、その領域においてのみ解像度、即ち、角解像度を適合させる。
角解像度の適合は、この際、更に好ましくは、個別画像の移行領域、即ち、周辺カメラによって作成された個別画像のその領域において水平視野内の角解像度が、光学軸に対する角度に依存して変化している領域においてのみ実施される。この際例えば、移行領域の角解像度を、周縁領域の角解像度にダウンサンプルすることにより、前処理済み画像データの、即ち、前処理済み個別画像の、角解像度が、正確には、仮想角解像度が、中央領域全面から周縁部全面にかけて実質的に一定となる様にする。代案的に、移行領域の角解像度は、中央領域の角解像度にアップスケーリングされても良い。
更なる代案においては、移行領域が、仮想的に、中央領域と直接的に隣接する第一移行領域と、周縁領域と直接的に隣接する第二移行領域に区分される、但し、該双方の移行部部分領域の間の境界を定める境界角は、画像前処理ユニットのメモリーに保存されている。目的に適って、第一移行領域の角解像度は、画像前処理ユニットにおける前処理において、仮想的に高められ、特に好ましくは、中央領域の角解像度までアップサンプリングされる。更に、第二移行部部分領域の角解像度は、前処理において仮想的に下げられる、尚、その際、周縁領域の角解像度までダウンスケーリングされることが特に好ましい。
中央領域と周縁領域には、異なる値の実質的に一定な角解像度が、与えられ、中央領域と周縁領域の間の中間領域の角解像度は、中央領域の角解像度の値から、周縁領域の角解像度まで徐々に下がっている場合、該画像データの前処理は、前処理済み画像データ、特に、前処理済みの個別画像において、光学軸から境界角度に至る角度に依存する仮想角解像度が、一定となり、該境界角において、周縁領域の角解像度まで一気に、或いは、段階的に、低下し、更に、境界角から水平視野の周縁まで、再び実質的に一定となる様に実施されることが好ましい。
これにより、個別画像内では、中央領域には、高い角解像度が、そして、その中央領域の直接的周りの領域には、低い角解像度が、与えられ、これらの間には、鮮明な境界が存在する。即ち、周辺カメラが作成した個別画像にあるような、角解像度が、高い方から徐々に低い値へと減少する移行領域、或いは、移行ゾーンは、前処理済みの個別画像には、存在しない。角度に応じて徐々に変化する角解像度は、通常、移行領域に属する角領域に描写されている画像の歪みの原因となっており、その歪みが、角解像度を適合させることにより、略、数学的に除去されている。その結果、画像評価ユニットにおけるオブジェクト認識が、より容易に、実施可能となる。
第二解決案に係るドライバー・アシスタント・システムも、光学軸の周りにある水平画角と、該水平画角に沿って変化する角解像度k=k(α)を有する周辺カメラを包含している。角解像度kは、光学軸αOA=0°からα>αOAを満たす角度αまで、実質的に一定であり、αからαまでは、αの増加とともに減少し、α>αからα>αの条件を満たす水平視野角αである周縁部までは、再び、実質的に一定である。但し、αとαの間の角解像度は、αにおける角解像度が、kである場合、角解像度の低下が、k(α)<(k/f)/αとなるように定められている。ここで、fは、αとαの間でどのように解像度が低下するかを定めるファクターである。ファクターは、2の整数倍となる様に選択されることが好ましく、例えばf=2である。
角解像度の低下の最大値を限定する、乃至、設定することによって、ドライバー・アシスタント・システムによるオブジェクト認識が、車両に対する予め定められている間隔領域内において、距離に依存せず、可能になることを確実なものにしている。但し、その際、オブジェクト認識には、一般的に、最低解像度が必要であるため、これを基に、角解像度に対する最低要求も定まると言うことを考慮しなければならない。角解像度に対する最低要求は、オブジェクト認識用の解像度要求が定まっている場合、ドライバー・アシスタント・システムを装備した車両と認識すべきオブジェクトとの距離が、縮まるにつれ減少するため、周辺カメラの角度に依存する角解像度は、角度が増すにつれ、解像度に対する最低要求、或いは、最低解像度を下回ることなく、一定割合、低下することが許される。
これは、以下のような単純な観察によって理解することが可能である。真っすぐな道路において、その路肩に交通標識が立っていると想定した場合、その交通標識の描写は、ドライバー・アシスタント・システムを装備した車両が、該交通標識に向かって移動するにつれ、個別画像の連続するシーケンスにおいて、個別画像の中央領域から徐々に、個別画像の周縁領域へと移動するとともに、個別画像の画像の大きさに対して、大きくなる。交通標識を認識するためには、個別画像内において、例えば、該交通標識の幅が、ある定まった最低数のピクセルによって描写されなければならないが、描写される交通標識の大きさが、個別画像の周縁方向へ移動するにつれ、大きくなるため、個別画像の光学軸から周辺へと角度が増すにつれ、角解像度に対する要求は低下する。即ち、例えば、交通標識など特定のオブジェクトが、周辺カメラの個別画像内において特定数のピクセルによって再現されることを指定することができるが、中でも、境界例では、ドライバー・アシスタント・システムを装備した車両から交通標識までの距離が短縮していく際の該交通標識の描写の拡大は、角度が増すにつれ、小さくなっていく角解像度によって相殺される。この様な境界例は、推定可能であり、角解像度の低下は、(k/f)/αとなる。
これは言うまでもなく、近似であり、ここでは、交通標識までの距離の従って変化する交通標識に対する視角は、無視されている。更にここでは、該周辺カメラでは、角解像度が、光学軸に対して回転対称の2D分布であり、且つ、交通標識が、光学軸から放射状に外側に伸びる略直線上を移動すると簡略的に仮定されている。しかしながら、より正確な計算により、より正確な値、或いは、機能的関係を割り出すことも、容易に可能である。
よって、上記の境界値条件に従って角解像度の推移を選択した場合、予め定められている間隔領域においては、距離に依存しないオブジェクト認識が可能になる一方、他方では、必要となるピクセル数を少なく抑えることも可能になる。その際、角解像度を高めると、必要となるピクセル数も増加し、よって、対応する周辺カメラの製造作業やコストも増加することは、考慮しなければならない。角解像度に対して、解像度要求を満たすために必要なそれよりも、有意に小さい、乃至、有意に穏やかな減衰を選択した場合、実際に必要なピクセルよりも多くのピクセル設定となるため、それに応じてより多い製造作業とより高い製造コストを見積もる必要がある。逆に、より大きな、乃至、より急な減衰を選択した場合も、移行領域全面において解像度要求を満たすためには、αを大きくしなければならないため、実際に必要な数以上のピクセル設定とせざるを得ない。
第三解決策に係るドライバー・アシスタント・システムの周辺カメラは、該周辺カメラの角度に依存する角解像が、段階的推移を示すように構成されている。このドライバー・アシスタント・システムも、車両用の仕様になっており、光学軸の周りにある水平画角と、該水平画角から離れて変化する角解像度を有する周辺カメラを包含している。ここでも、光学軸の周りの中央領域の角解像度は、略一定であり、画角の周縁の周縁領域でも、角解像度は、再び、略一定である。但し、この実施形態では、周縁領域が、直接、中央領域の周りにある。更に、中央領域の角解像度が、周縁領域の角解像度とは異なっているため、中央領域と周縁領域の境界における角解像度は、継ぎ目なく、即ち、中央領域用の値から、目的に適ってより小さい値である周縁領域用の値に一気に変化する。この実施バリエーションの基本的アイデアに従って、該周辺カメラは、二つの離散した値の角解像度を有しているため、周辺カメラが作成した画像データは、より簡単に処理、及び/或いは、評価することが可能である。特にここでは、簡略化されたデータ処理が優先される。
代案的には、角解像度に対して、複数の領域用に複数の非連続的な値を設定する、即ち、角解像度が、複数の離散的変化を示すように、要するに、角解像度が、例えば階段のような推移を示すようにする。
第四解決策においても、ドライバー・アシスタント・システムは、車両用の仕様になっており、光学軸の周りにある水平画角と、該水平画角から離れて変化する角解像度を有する周辺カメラを包含している。この際更に、該角解像度は、光学軸の周りの中央領域だけでなく、視角の周縁の周縁領域においても、実質的に一定である。但し、中央領域の角解像度は、周縁領域の角解像度の二倍の整数倍に相当する、即ち、もっとも単純な例では、周縁領域の角解像度の二倍である。
この様な中央領域の角解像度と周縁領域の角解像度の関係は、画像評価ユニットにおけるデータ処理と特に画像データの前処理を有意に簡略化できることから、本件で開示されているドライバー・アシスタント・システムの全ての実施バリエーションにおいて好ましい。
尚、上記の解決案、並びに、それらに基づいて派生するドライバー・アシスタント・システムの実施バリエーション用としては、その水平視角内における推移が、光学軸に対して対称である角解像度が好ましく実施されている。例えば、角度に依存する推移を、デカルト座標システムに書き入れると、角解像度の推移は、角解像度の値の座標軸に対して線対称となる。
更に、角解像度、正確には、角解像度の二次元分布は、光学軸に対して回転対称であること、即ち、中央領域は、円形の面、周縁領域は、リング状の面であることが好ましい。
また、周辺カメラは、上記全てのドライバー・アシスタント・システムにおいて、一つの光学系と多数のピクセルから構成される画像センサーを有していることが好ましい。その際、画像センサーのピクセルは、画一的に構成され、即ち、その大きさも画一的であり、更には、画像センサーのセンサー面全面に均一に分散されていることが更に好ましい。よって、画一的でない角解像度は、光学系によって設定されることが好ましい。該光学系は、その際、例えば、シリンダー対称、或いは、楕円形に構成されている、或いは、光学軸に対して回転対称であることが好ましい。
以下、本発明の実施例を、模式的な図面に基づいてより詳しく説明する。
周辺カメラを包含するドライバー・アシスタント・システムを装備した車両のブロック図である。 周辺カメラの二次元角解像度を示すグラフである。 周辺カメラの水平画角半分分の角解像度の推移を表すグラフである。 周辺カメラの水平画角半分分の角解像度の好ましい推移用に予め定められている境界条件を、幾何学的に表したものである。
互いに対応する部分は、全ての図においてそれぞれ同じ符号がつけられている。
以下に例として説明する図1に描かれているドライバー・アシスタント・システム2は、車両4に装備されており、周辺カメラ6、画像前処理ユニット8、並びに、画像評価ユニット10を包含している。周辺カメラ6は、ここでは、車両4の周辺、正確には、車両4の前方を描写する画像データBDを作成する役割を担っている。これら画像データBDは、続いて、シグナル配線を介して、画像前処理ユニット8へ転送され、画像前処理ユニット8内において、前処理される。続いて、画像前処理ユニット8は、更に、前処理済み画像データABDを出力し、シグナル配線を介して画像評価ユニット10へ転送され、既知の原理に従って評価される。
この評価の範疇において、例えば、障害物、他の交通参加者などのオブジェクトが、オブジェクト認識アルゴリズムによって、認識され、加えて、ドライバー・アシスタント・システム2を装備した車両4と認識されたオブジェクト間の距離が割り出される。ドライバー・アシスタント・システム2の実施バリエーション次第では、画像データABDの評価において得られた情報は、車両4のドライバーを車両運転の際に、例えば、視覚的、及び/或いは、聴覚的シグナルを用いて障害物、或いは、他の交通参加者に関して警告するなどしてサポートするために、或いは、その情報に基づいて、ドライバー・アシスタント・システム2による全自動的車両運転を実施するために用いられる。
画像データBDの作成のため、周辺カメラ6は、本実施例では、一つの光学系12と、多数のピクセルから構成されている一枚の画像センサー14を包含している。該ピクセルは、ここでは、画一的な構成、画一的な大きさを有し、該画像センサー14のセンサー面全面に均一に分布されている。
更に該光学系12は、これにより、周辺カメラ6において、非均一な角解像度k=k(α)となる様に構成されている。そのため周辺カメラ6は、光学軸16に対して対称な水平画角18を有しているが、角解像度kは、角度αに依存して、該水平画角18に沿って変化する。この際、角解像度kの推移は、角解像度kは、光学軸16の周りの中央領域Mでは、一定、該中央領域Mに直接的に隣接する移行領域UEでは、変化し、水平角18の周縁である該移行領域UEに直接的に続く周縁領域Rでは、再び一定となる様に構成されている。
尚、−αと+αを境界とする水平画角18内の角度に依存する角解像度kの推移は、αOA=0°である光学軸16に対して対称であり、k(−α)=k(α)が成立する。角度αは、この際、+/−α=+/−25°において、-αから+αの範囲で推移する。よって、水平画角18は、2α=50°となる。
更に、光学系12によって定まる二次元角解像度k2D=k2D(α,β)、或いは、角解像度k2Dの2D分布は、光学軸16に対して回転対称であり、図2に示すように中央領域Mは、円形の面である一方、移行領域UEと周縁領域Rは、それぞれリング状の面である。
更に図2には、これの助けを借りて周辺カメラ6の作動中、連続数個別画像のシーケンスが作成される画像センサー14が示唆されている。該画像センサー14は、上述した如く、センサー面全面に画一的な解像度を有してはいるが、光学系12の設計に起因する、そのピクセルに光学系12のどの領域が帰属しているかによって異なる空間角度が、画像センサー14の個々のピクセルに投影される、或いは、描写される。例えば、画像センサー14と同じ数のピクセルを有し、しかも、ここでも、ピクセルが画一的、且つ、均一に分布されているモニターによって、これを1:1で再生する場合、各々の個別画像における、周辺の歪んだ描写は、そのまま、再生される。各々の個別画像の中央領域Mでは、他の領域と比べて、より多くの数のピクセルが、空間角単位を形成しており、画像データBDは、光学系12によって定まる角解像度kの分布を再現している。
実現した角解像度kの推移を、図3に、水平画角18の半分分、グラフとして示した。ここでは、αが0°、即ち、光学軸16から25°、即ち、水平画角の右端+α相当までの推移が示されている。角解像度kの推移は対称であるため、水平画角18の第二半分分は、デカルト座標システムの軸k(α)において、反転させれば得ることができる。
グラフ中、実線は、周辺カメラ6用の光学系12の特別な設計によって実現され、周辺カメラ6が作成した画像データBDによって再現される角度αに依存する角解像度kの推移を表している。画像前処理ユニット8において、周辺カメラ6が作成した画像データBDは、上述した如く、前処理され、前処理済み画像データABDに変換される。前処理においては、角解像度k(α)の適合も実施され、前処理済み画像データABDは、図3に破線によって示唆されている角解像度k`=k`(α)を示す。尚、該適合が、データ処理によって実施されるため、角解像度k`は、仮想角解像度k`とも呼ばれる。
ここでは、該前処理は、個々の画像毎に実施されるが、移行領域UEを描写する個別画像の画像データBD部分のみが適合される。そのため、画像前処理ユニット8には、α=8.5°とα=16.5°の間にあり、該移行領域を区分する境界角α=12.5°が、保存されている。画像データBDの前処理では、αとα間の第一移行部部分領域において、角解像度kの仮想的な上昇が実施されるが、ここでは、補間により、仮想ピクセルが、作成される。一方、αからα間の第二移行部部分領域では、角分解能kの仮想的な低下、乃至、削減が実施されるが、ここでは、複数のピクセルが一つの新しい仮想ピクセルに統合される。
その結果,前処理済み画像データABDは、α∈[αOA;α]では、k`(α)=40Pixel/°を、α∈[α;α]では、k`(α)=20Pixel/°を与える。よって、角解像度k`(α)用には、二つの離散した値のみが与えられ、境界角αGが、双方の値の急な移行部となる。よって、画像データBDの前処理において、角解像度kの推移の言わば「整流(rectification)」が実施される。同様の適応が、水平画角18の第二半分分の角解像度kの推移においても実施され、α∈[αOA;−α]では、k`(α)=40Pixel/°、並びに、α∈[−α;−α]では、k`(α)=20Pixel/°となる。ここで用いられた原理は、更に、二次元角解像度k2D=k2D(α,β)においても適用できる。
この様に前処理された画像データABDは、続いて、画像評価ユニット10に伝達され、該前処理済み画像データABDの評価は、前処理をしたことにより、特に、データ処理と言う観点から、容易に構成されることができる。データ処理に対しては、仮想角解像度k`(α)二つの離散した値が、2:1の割合になる様に選択されていることが、有利に働く。
以下に記述する実施例では、周辺カメラ6の光学系12は、角解像度角度k(α)が、α1=10°までは、50Pixel/°で一定であり、角度が、α2=20°までは、(2.5Pixel/°)/°減少し、最後に、α2から水平画角の周辺αRまでは、再び25Pixel/°で一定になる様に構成されている、但し、ここでも、簡略化のために一次元のケースを、水平画角18の半分分のみを考察する。
この様にすることで、周辺カメラ6の個別画像内において、車両4の前方の予め定められている間隔領域内にある特定のオブジェクトは、ここでは、交通標識20は、一定数のピクセルによって再現される、但し、この様な特殊なケースでは、ドライバー・アシスタント・システム2を装備した車両4から交通標識20までの距離が接近し、角度αが大きくなることによる交通標識20の描写の拡大は、この間隔領域内では、小さくなる角解像度kによって相殺される。
尚、この際、道路は真っすぐに伸び、交通標識20は、該道路脇にある、即ち、図4に示す如く、車両4と側方の間隔aをもって配置されていると仮定される。ここでは、更に、該周辺カメラ6では、角解像度k2Dが、光学軸16に対して回転対称の2D分布であり、且つ、個別画像内の交通標識20が、光学軸16から放射状に外側に伸びる略直線上を移動すると簡略的に仮定されている。
交通標識20は、ある特定の距離cまでは、ドライバー・アシスタント・システム2によって、認識されることができるが、これには、例えば、解像度k(α=10°)=k=50Pixel/°が必要である。距離d=c/2では、交通標識20の認識には、半分の解像度、即ち、k(α=20°)=k2=k1/2=25Pixel/°のみが必要である。
ここでは、交通標識20との距離と共に交通標識20への視角が変化するため、角度αが大きくなると、視差に起因して、交通標識20が、縮小すると言うことは、無視している。この誤差は、(cosα−cosα)に比例し、角度αが小さい場合、少なくともこの観点からは、無視することができる(例えば、cosαの値は、10°から20°において、4.5%変化する)。よって、より正確に推定したい場合は、十分な解像度kを確実なものにするために、解像度kをこの値分、再び上げ無ければならない。
よって、角度αとαの間の解像度kの変化は:
(k/2)/(α−α
或いは:
Figure 0006660893
となり、a/c=sinαであるため:
Figure 0006660893
或いは:
Figure 0006660893
によって、表すことができる。角度αでは、arcsin(2sinα)は、おおよそ2αであるため、解像度の低下は、
Figure 0006660893
となる。開口角度α=10°において、交通標識20が、認識されなければならない場合、角解像度k(α)=50Pixel/°が必要であるため、該光学系12は、α>α1のより大きな角度用の角解像度kが、(25Pixel/°)/10°=(2,5Pixel/°)/°で低下するようにデザインされていなければならない。
本発明は、上記の実施例に限定されない。況や、当業者によれば、本発明の対象を逸脱することなく、本発明に基づく他のバリエーションを得ることが可能である。特に、実施例と関連して記載された個々の特徴は、本発明の対象を逸脱することなく、更に、他のやり方で互いに組み合わせることも可能である。
2 ドライバー・アシスタント・システム
4 車両
6 周辺カメラ
8 画像前処理ユニット
10 画像評価ユニット
12 光学系
14 画像センサー
16 光学軸
18 水平画角
20 交通標識
BD 周辺カメラが作成した画像データ
ABD から前処理された画像データ
M 中央領域
UE 移行領域
R 周縁領域
k 角解像度k(α)
K` 仮想角解像度k`(α)
2D 角解像度k2D(α,β)の2D分布
α 角度
α 境界角
α 水平画角の周縁

Claims (8)

  1. 光学軸(16)の周りに水平画角(18)と、該水平画角(18)に沿って変化する角解像度(k)を有する周辺カメラ(6)を包含する車両(4)用のドライバー・アシスタント・システム(2)であって、
    −光学軸(16)の周りの中央領域該(M)の角解像度(k)は、略一定であり、
    −移行領域(UE)の角解像度(k)は、変化し、また、
    −水平画角(18)周縁の周縁領域(R)の角解像度(k)は、再び実質的に一定であり、
    更に、
    周辺カメラ(6)が作成した画像データ(BD)の前処理のために、仮想角解像度(k`)を与えることができるように構成されている画像前処理ユニット(8)、並びに、前処理済み画像データ(ABD)を評価できるように構成されている画像評価ユニット(10)を包含すること、
    画像前処理ユニット(8)のメモリーに、移行領域(UE)を仮想的に、中央領域(M)に隣接する第一移行部部分領域と、周縁領域(R)に隣接する第二移行部部分領域に分割する境界角(αG)が、保存されており、且つ、
    該第一移行部部分領域の角解像度(k)が、画像前処理ユニット(8)による前処理において、仮想的に高められる、特に、中央領域(M)の角解像度(k)に高められること、及び
    画像前処理ユニット(8)のメモリーに、移行領域(UE)を仮想的に、中央領域(M)に隣接する第一移行部部分領域と、周縁領域(R)に隣接する第二移行部部分領域に分割する境界角(αG)が、保存されており、且つ、
    該第二移行部部分領域の角解像度(k)が、画像前処理ユニット(8)による前処理において、仮想的に低減される、特に、周縁領域(R)の角解像度(k)に低減されることを特徴とするドライバー・アシスタント・システム(2)
  2. 該周辺カメラ(6)が、作動中、一連の個別画像を作成し、該画像前処理ユニット(8)が、各々個別画像の角解像度(k)を、実装されているスキーマに従って適合する様に構成されている
    ことを特徴とする請求項1に記載のドライバー・アシスタント・システム(2)。
  3. 各々の個別画像の移行領域(UE)の角解像度(k)のみが、実装されているスキーマに従って適合される
    ことを特徴とする請求項2に記載のドライバー・アシスタント・システム(2)。
  4. −角解像度kが、光学軸αOAを起点として角度α>αOAに至るまで、実質的に一定であり、
    −角解像度kが、角度α>αを起点として水平画角の周縁α>αに至るまで、再び、実質的に一定であり、
    −角解像度kが、角度とαの間においては、角度αが大きくなるにつれ減少し、且つ、
    −角解像度k=k(α)の低減が、角度αにおける角解像度がkとした場合、(k/2)/αよりも小さい
    ことを特徴とする請求項1〜3のいずれか1項に記載のドライバー・アシスタント・システム(2)
  5. 水平画角(18)に沿って変化する角解像度(k)を有するドライバー・アシスタント・システム(2)であって、光学軸(16)の周りの中央領域該(M)の角解像度(k)は、略一定であり、水平画角(18)の周縁である周縁領域(R)の角解像度(k)が、実質的に、一定であり、且つ、中央領域(M)の角解像度(k)が、周縁領域(R)の角解像度(k)の二倍の整数倍に相当することを特徴とする請求項1〜3のいずれか1項に記載のドライバー・アシスタント・システム(2)
  6. 水平画角(18)が、光学軸(16)を中心に対称であり、且つ、角分解能(k)の角度に依存する推移が、水平画角(18)内において、光学軸(16)に対して対称である
    ことを特徴とする請求項1〜5のいずれか1項に記載のドライバー・アシスタント・システム(2)。
  7. 角解像度(k2D=k2D(α,β))の2D分布が、光学軸(16)に対して回転対称である
    ことを特徴とする請求項6に記載のドライバー・アシスタント・システム(2)。
  8. 該周辺カメラ(6)が、一つの光学系(12)と多数のピクセルから構成される画像センサー(14)を包含し、該ピクセルが、画一的な構成を有し、且つ、均一に分布しているが、光学系(12)に起因して、不均一な各解像度(k)が、与えられていることを特徴とする請求項1〜7のいずれか1項に記載のドライバー・アシスタント・システム(2)。
JP2016574992A 2014-08-05 2015-06-24 ドライバー・アシスタント・システム Active JP6660893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014215372.7 2014-08-05
DE102014215372.7A DE102014215372A1 (de) 2014-08-05 2014-08-05 Fahrerassistenzsystem
PCT/DE2015/200389 WO2016019956A1 (de) 2014-08-05 2015-06-24 Fahrerassistenzsystem

Publications (2)

Publication Number Publication Date
JP2017524178A JP2017524178A (ja) 2017-08-24
JP6660893B2 true JP6660893B2 (ja) 2020-03-11

Family

ID=53879282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016574992A Active JP6660893B2 (ja) 2014-08-05 2015-06-24 ドライバー・アシスタント・システム

Country Status (7)

Country Link
US (1) US20170132479A1 (ja)
EP (1) EP3178036B1 (ja)
JP (1) JP6660893B2 (ja)
KR (1) KR102469650B1 (ja)
CN (1) CN106575358B (ja)
DE (2) DE102014215372A1 (ja)
WO (1) WO2016019956A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015215561A1 (de) 2015-08-14 2017-02-16 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung zur Objekterkennung mit einer solchen Fahrzeugkameravorrichtung
DE102016212730A1 (de) 2016-07-13 2018-01-18 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung mit Bildauswertungselektronik
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
DE102016213494A1 (de) 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
JP6349558B1 (ja) * 2017-05-12 2018-07-04 パナソニックIpマネジメント株式会社 撮像システム及び表示システム
DE102017217056B4 (de) 2017-09-26 2023-10-12 Audi Ag Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
DE102017130566B4 (de) * 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
JP7266165B2 (ja) * 2017-12-19 2023-04-28 パナソニックIpマネジメント株式会社 撮像装置、撮像システム、および表示システム
KR102343298B1 (ko) * 2018-07-02 2021-12-24 현대모비스 주식회사 차량의 객체 인식 장치 및 이를 포함하는 원격 주차 시스템
DE102018218745B4 (de) * 2018-11-01 2021-06-17 Elektrobit Automotive Gmbh Kameravorrichtung, Fahrerassistenzsystem und Fahrzeug
FR3090169B1 (fr) * 2018-12-14 2021-05-28 Psa Automobiles Sa Procédé d’affichage d’une image pour système d’aide à la conduite d’un véhicule automobile et système mettant en œuvre ce procédé
US11586914B2 (en) * 2019-01-11 2023-02-21 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for evaluating perception systems for autonomous vehicles using quality temporal logic

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP2004288100A (ja) * 2003-03-25 2004-10-14 Minolta Co Ltd 撮像装置及び移動体カメラ
DE102004009159A1 (de) * 2004-02-25 2005-09-15 Wehmeyer, Klaus, Dr. Gleitsicht-Brillenglas
FR2884338B1 (fr) * 2005-04-11 2007-10-19 Valeo Vision Sa Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
DE102006016673A1 (de) * 2006-04-08 2007-10-11 Bayerische Motoren Werke Ag Fahrzeugsichtsystem
JP5163936B2 (ja) * 2007-05-30 2013-03-13 コニカミノルタホールディングス株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
JP5045590B2 (ja) * 2008-07-23 2012-10-10 三菱電機株式会社 表示装置
US8442306B2 (en) * 2010-08-13 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Volume-based coverage analysis for sensor placement in 3D environments
DE102011106339B4 (de) * 2011-03-04 2012-12-06 Auma Riester Gmbh & Co. Kg Messvorrichtung zur Erfassung des Absolutdrehwinkels eines rotierenden Messobjekts
KR20130028519A (ko) * 2011-09-09 2013-03-19 한밭대학교 산학협력단 다중 곡면 렌즈가 장착된 차량용 카메라 장치
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
WO2013126715A2 (en) * 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
DE102012015939A1 (de) * 2012-08-10 2014-02-13 Audi Ag Kraftfahrzeug mit Fahrerassistenzsystem und Verfahren zum Betrieb eines Fahrerassistenzsystems

Also Published As

Publication number Publication date
KR102469650B1 (ko) 2022-11-21
US20170132479A1 (en) 2017-05-11
DE102014215372A1 (de) 2016-02-11
EP3178036A1 (de) 2017-06-14
KR20170039649A (ko) 2017-04-11
DE112015003622A5 (de) 2017-06-22
CN106575358B (zh) 2020-08-04
JP2017524178A (ja) 2017-08-24
WO2016019956A1 (de) 2016-02-11
CN106575358A (zh) 2017-04-19
EP3178036B1 (de) 2019-03-06

Similar Documents

Publication Publication Date Title
JP6660893B2 (ja) ドライバー・アシスタント・システム
US11263467B2 (en) Image processing
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
JP6084434B2 (ja) 画像処理システム及び画像処理方法
US9639918B2 (en) Method for anti-aliasing of image with super-resolution
JP4584120B2 (ja) 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム
JP2008269139A (ja) 運転支援システム並びに車両
US20170341582A1 (en) Method and device for the distortion-free display of an area surrounding a vehicle
US9813694B2 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
CN103325099A (zh) 图像校正方法和装置
CN106104629B (zh) 用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法
JP6577347B2 (ja) 情報伝達装置、情報伝達方法およびプログラム
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
Molder et al. Laser line detection with sub-pixel accuracy
US20150235101A1 (en) Topology preserving intensity binning on reduced resolution grid of adaptive weighted cells
JPWO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2013200778A (ja) 画像処理装置、画像処理方法
EP2960827A1 (en) Method for detecting an object with a predetermined geometric shape in an environmental region of a motor vehicle
CN110809766A (zh) 高级驾驶员辅助系统和方法
KR102091590B1 (ko) 향상된 차량 번호 인식 시스템 및 방법
JP6618778B2 (ja) 画像処理装置、情報表示システム、画像処理方法およびプログラム
KR20180102080A (ko) 차량 주변의 전방-뷰를 디스플레이하기 위한 방법 및 장치 그리고 각각의 차량
JP2018077713A (ja) 区画線検出システム
JP5500194B2 (ja) 撮影画像処理装置及び撮影画像処理方法
JP2015216542A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6660893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250