JP6644071B2 - ドライバー・アシスタント・システム - Google Patents

ドライバー・アシスタント・システム Download PDF

Info

Publication number
JP6644071B2
JP6644071B2 JP2017532770A JP2017532770A JP6644071B2 JP 6644071 B2 JP6644071 B2 JP 6644071B2 JP 2017532770 A JP2017532770 A JP 2017532770A JP 2017532770 A JP2017532770 A JP 2017532770A JP 6644071 B2 JP6644071 B2 JP 6644071B2
Authority
JP
Japan
Prior art keywords
optical system
image
driver
peripheral camera
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017532770A
Other languages
English (en)
Other versions
JP2018512316A (ja
Inventor
クレーケル・ディーター
ローテンホイスラー・コンラート
ロスコーニ・ウルリヒ
シュマルリーデ・トビアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Continental Automotive GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH, Continental Automotive GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2018512316A publication Critical patent/JP2018512316A/ja
Application granted granted Critical
Publication of JP6644071B2 publication Critical patent/JP6644071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、車両用の、特に、貨物用動力車両用の、これらを組み合わせることでデジタル外部ミラーを構成する、画像センサーと光学系を備えた周辺カメラと、画像前処理ユニットと、該車両の内部空間に備えられた表示エレメントとを包含するドライバー・アシスタント・システムに関する。
現在、動力車両の燃料消費を抑えるために膨大な努力がなされている。これを実現するための一つの対策案としては、対象となる車両を、空気抵抗係数を可能な限り下げ、リーディング・サーフェース(空気が流れる面)を可能な限り小さくするようにデザインすることが挙げられる。この目的に適う方法としては、従来の外部ミラー、乃至、サイドミラーを、本質的に、カメラ及び表示エレメント、多くの場合、LCDディスプレーによって構成された − 但し、該表示エレメントは、動力車両内の内部区間に配置され、該周辺カメラは、本質的に、従来の外部ミラー、乃至、サイドミラーによって、車両運転手が見ることができる車両周辺の領域を捕捉する − 電子、乃至、デジタル・外部ミラー、乃至、サイドミラーに置き換えることが既知である。
本発明の課題は、上記を出発点として、より有利な、従来の外部ミラーを代替し得る、ドライバー・アシスタント・システムを提供することである。
本発明の課題は、請求項1記載の特徴を持つドライバー・アシスタント・システムによって達成される。好ましい発展形態は、従属請求項に記載されている。
対応するドライバー・アシスタント・システムは、車両用、特に、貨物用動力車両用に構成されており、これらを組み合わせることでデジタル外部ミラー、乃至、サイドミラーを構成する、画像センサーと光学系を備えた周辺カメラと、画像前処理ユニットと、該車両の内部空間に備えられた表示エレメントとを包含している。この際、該デジタル外部ミラーは、少なくとも二か所の視野領域、即ち、異なる表示倍率において第一視野領域と第二視野領域が描写されるように構成されている。
この様にすることで、例えば、本質的に、車両運転手が、従来の外部ミラーによって見ることができたであろう情報を、表示エレメントによって再生される画像情報に確実に示すことが可能となる。この際、乗用自動車では、従来の外部ミラー、乃至、サイドミラーは、二つの領域 − 但し、そのうちの一つの領域は、該ミラーによってより大きな視野をカバーできるように、該車両の周辺の領域を歪んで映し出す − を有していることが多いと言うことは、考慮されなければならない。この様にすることで、所謂「死角」を可能な限り小さくすることができる。この様な周辺の描写は、二つの視野を異なる表示倍率によって再生することによって、原理的に、デジタル、乃至、電子的に模倣することが可能である。
電子的外部ミラーのこのような実施形態は、従来の外部ミラーやサイドミラーが、複数のシングル・ミラー、ミラー・セグメント、ミラー・エレメントを包含し、但し、該各々のミラー・セグメントやシングル・ミラーが、対応する貨物用動力車両やバスの周辺の異なる領域の監視のために設けられており、該周辺部を異なる歪み(ひずみ)や歪み(ゆがみ)をもって描写する、貨物用動力車両やバスなどで採用されることが好ましい。即ち、個々のミラー・エレメント、或いは、ミラー・セグメントは、いわば異なる機能を果たしているが、該機能は、本件開示の電子ミラー、特に、本件開示のドライバー・アシスタント・システムによって、同様に、実施可能である。
ここにおいては、複数の表示エレメント、又は、表示領域を、更には、複数のディスプレーを、運転室に配置し、従来の外部ミラーの各々のミラー・エレメント、乃至、シングル・ミラーを、それぞれ一つのディスプレー、それぞれ一つの表示エレメント、或いは、少なくとも、それぞれ一つの表示領域によって代替することが有利である。これらは更に、車両運転手、乃至、ドライバーが、置き換えたり、慣れ直さなくても良いように、即ち、直感的にそのシステムを使いこなせるように、従来の外部ミラーのエレメントに似せて配置されることが好ましい。
目的に適う形態バリエーションによれば、デジタル外部ミラーは、更に、少なくとも二か所の視野領域が、異なる角解像度で描写されるように構成されている。このようにすることで、例えば、与えられている描写面上により大きな角度領域を描写する、及び/或いは、特に重量な角領域をより高い解像度をもって監視することが可能になる。
また、約300nmから約2,000nmの波長領域の電磁線を捕捉できる画像センサーを有する周辺カメラを採用することも目的に適っている。このような周辺カメラは、既に、自動車業界においては、例えば、車両前方の交通を監視するために採用されており、本件ドライバー・アシスタント・システム用に、特別に、周辺カメラを設計、開発する必要はない。
また、使用目的に応じて、周辺カメラに波長・帯域フィルターを取り付け、該周辺カメラが、本質的に、約400nmから約750nmの領域、所謂、可視光線に反応するように構成することも目的に適っている。
代案的には、周辺カメラによって、周辺光線条件が悪い場合でも、車両周辺部のオブジェクトを発見することができるようにするために、所謂可視光線領域だけでなく、それ以外、例えば900nm領域の所謂赤外線にも反応するように構成することにより、該周辺カメラが、夜間、或いは、それに相当する周辺光線条件下において、付加的に、或いは、代案的に、赤外線夜視装置の原理に基づいて作動するようにすることも可能である。
よって、該周辺カメラが、該当する赤外線に反応する可及的実施バリエーションでは、更に、該周辺カメラに、該周辺カメラの視野領域に該当する光線を照射する赤外線光源も取り付けられる。
様々な表示倍率、特に、様々な角解像度を実現するためには、該周辺カメラの画像センサーを、センサー面を構成するピクセルが異なっている二つの領域を有する様に構成することが、原理的には可能である。しかしながら、本質的に同じピクセルから構成されている画像センサーを採用し、様々な表示倍率が、光学系によって実現されることが好ましい。ここでは、該当する光学系では典型的に回避できず、他の用途では、有害であるとされる歪みも、可能な限り簡素に異なる表示倍率を実施するために利用される。
要するに、例えば、ドライバー・アシスタント・システム用周辺カメラの実施バリエーションの一つにおいては、簡素な回転対称な光学系を用い、これを、画像センサーに対してシフトさせて配置、即ち、該光学系の光学軸を、画像センサーのセンサー面の、面の中心を通るように合わせると言う通常の方法ではなく、画像センサーの一方の縁に合わせてシフトさせている。これと同時に、従来の技術とは異なり、該光学系は、拡大して実施され、該光学系が、シフトされた配置においても、画像センサーのセンサー面全体を本質的にカバーできるようにされている。
但し、好ましくは、回転対称ではない光学系、更に好ましくは、第一視野領域が、広角レンズによるものの様に、画像センサーのセンサー面の第一領域に結像され、第二視野領域が、望遠レンズによるものの様に、画像センサーのセンサー面の第二領域に結像されるように構成されている光学系が採用される。第一領域は、主に、車両周辺の可能な限り大きな範囲をカバーするため、即ち、特に、幅寄せ時などに有利である、見やすい大観を得ることに役立っている。逆に、第二領域は、主に、後ろの交通状況を監視する、即ち、該車両に対してある程度大きな間隔を持っている交通参加者を認識することに役立っている。
その際、第二視野領域は、約25°までの角度領域をカバーしていることが目的に適っているが、該当する角度領域は、動力車両の中心縦軸において、該動力車両の側面に対して本質的に平行、且つ、略後方、後ろの交通状況に向けられている。該第二視野領域の隣には、典型的には、75°から100°の角度領域をカバーする、但し、用途によっては、150°以上の角度を有する、即ち、電子的外部ミラーによってカバーされる角度を180°以上とすることを可能とし、特定のケースでは、それが実際に実施される第一視野領域がある。
該ドライバー・アシスタント・システムの幾つかの実施バリエーションでは、更に、周辺カメラの画像データを処理、及び/或いは、評価するための画像評価ユニットも設けられている。その場合、該評価ユニットによって、例えば、動力車両の周辺にいる人を認識するためのオブジェクト認識を実施し、これを、画像データを表示エレメントによって、特に、コックピット内のLCDディスプレーによって再生する際に、視覚的に強調することも想定されている。
この様なケースのみならず、他のケースにおいても、異なる表示倍率に対して適切な関係、特に好ましくは、二の整数倍に相当する比率を選択することが、有利である。これにより、作成された画像データを電子的に処理しやすくなる。
但し、これを、光学系によって実施するには、制限があり、特に、双方の視野領域の移行領域では、典型的に、表示倍率は、その移行領域内において徐々に変化する。これは、望まれない歪んだ結像の原因になるため、この様なケースでは、画像前処理ユニットよって、言わば「整流(rectification)」を実施することが好ましい。その際、双方の視野領域間にシャープ且つ飛躍的な移行部を伴う、各々の視野領域における画一的な表示倍率と画一的な角解像度を計算上実施するために、該表示倍率と、特に、該角解像度は、特定の領域においては、補間することにより人工的に高められ、他の領域においては、ピクセルを統合することにより、いわば、人工的に低減される。
ここまでの実施形態と説明は、一つの外部ミラーの代替にのみ関するものであった。しかしながら、外部ミラー、乃至、サイドミラーは、典型的には、動力車両の両側に配置されるものであるため、通常、該ドライバー・アシスタント・システムは、これら二つの従来のサイドミラーを代替するように構成されている。よって、該システムは、典型的には、動力車両の対抗する両側に配置された二台の周辺カメラと、これらに帰属する二つの表示エレメントを包含している。但し、該周辺カメラの画像データの前処理、及び/或いは、評価は、好ましくは、一台の電子ユニットによって実施される。
以下、本発明の実施例を、模式的な図面に基づいてより詳しく説明する。
光学系と画像センサーを有する周辺カメラを包含するドライバー・アシスタント・システムを備えた貨物用動力車両を示すブロック図である。 周辺カメラの二つの示唆されている視野領域を有する貨物用動力車両の上視図である。 双方の視野領域用に異なる角解像度を実現するための周辺カメラのある実施形態における該双方のうちの一方の視野領域の投影原理を示した上視図である。 双方の視野領域用に異なる角解像度を実現するための周辺カメラのある実施形態における該双方のうちの他方の視野領域の投影原理を示した上視図である。 双方の視野領域用に異なる角解像度を実現するための周辺カメラの代案的実施形態における該双方のうちの他方の視野領域の投影原理を示した上視図である。 双方の視野領域用に異なる角解像度を実現するための周辺カメラの代案的実施形態における該双方のうちの他方の視野領域の投影原理を示した上視図である。
互いに対応する部分は、全ての図においてそれぞれ同じ符号がつけられている。
以下に例示し、図1にスケッチされているドライバー・アシスタント・システム2は、貨物用動力車両4に取り付けられ、該貨物用動力車両4の運転時に車両運転手、乃至、ドライバーのサポートを実施するものである。画像センサー8と光学系10を備えた周辺カメラ6は、画像前処理ユニット12、画像評価ユニット14、並びに、LCDディスプレー16として構成されている表示エレメントを包含しているが、これらのモジュールによって、従来の外部ミラー、乃至、サイドミラーの代わりになる電子的乃至デジタル外部ミラーが、実現している。
周辺カメラ6は、乃至、少なくとも該周辺カメラ6の光学系10は、通常、従来のサイドミラーが配置されている場所に設置されており、周辺カメラ8の光学系10は、貨物用動力車両4のリヤエンドの方向に向けられており、図2に示すように、デジタル外部ミラーによって、貨物用動力車両4の周辺領域の側方と後方の領域を周辺カメラ6によって捕捉し、貨物用動力車両4のコックピット内に配置されているLCDディスプレー16上に再生される。
ここでは、該LCDディスプレー16は、上部領域と下部領域を有しているが、下部の面積的には大きな領域には、第一視野領域18が、作動時に再生され、免責的に小さい上部領域に、第二視野領域20が、映し出される。この様にすることでLCDディスプレー16には、ドライバーが、従来の多くの場合二枚のシングル・ミラーから構成され、同様に二つの異なる面積、即ち、ミラー面を有する外部ミラーによって観察するであろうものが本質的に正確に再生される。
該LCDディスプレー16の双方の領域用の該画像データは、一つの画像センサー8と一つの光学系10のみによって作成されるが、該画像センサー8は、本質的に同じピクセルから構成され、特に、画一的なセンサー面を有している。
しかしながら画像センサー8は、少なくともバーチャル的に、第一領域P18のピクセルにより作成された画像データが、LCDディスプレー16の下部領域に再生され、第二領域P20のピクセルによって作成された画像データが、LCDディスプレー16の上部領域に映し出されるように二つの領域に分割されている。双方の領域P18, P20は、その際、異なる表示倍率、正確には、異なる角解像度によって実施されている。
ここでは、第一視野領域18が、広角レンズによるものの様に、センサー面の第一領域に結像され、第二視野領域20が、望遠レンズによるものの様に、センサー面の第二領域に結像されるように光学系10が構成されている。
該第二視野領域20は、貨物用動力車両4の側面22を起点として25°の角度開いており、これにより、特に、後方の交通が捕捉される。第一視野領域18は、第二視野領域20に隣接しており、60°の角度で広がっており、合計85°の角度を捕捉できる。
上述した如く、双方の視野領域18, 20は、それぞれ、固有の角解像度によって実現されている。その際、第二視野領域20の角解像度は、第一視野領域18の三倍の角解像度に相当する。周辺カメラ6では、一つの光学系10のみが用いられており、光学系10の設計には、一定の技術的制限があるため、双方の視野領域18, 20において其々の視野領域18, 20全体対して一定の値の角解像度が与えられている訳ではなく、該光学系10は、移行部、即ち、双方の視野領域18, 20の間の移行部において、謂わば徐々に変化する角解像度を有している。
これに起因する歪み(ひずみ)や歪み(ゆがみ)は、画像前処理ユニット12における画像前処理において、修正される。ここでは、言わば「整流」が実施され、角分解能の推移が、電子的な画像データの後処理によって変更され、各々の視野領域18, 20の表示される画像が、其々の視野領域18, 20の全域にわたって画一的な角解像度を有し、それに伴い、双方の視野領域18, 20の間には、飛躍的な移行部が与えられる。そのため、第二視野領域20内の第一視野領域18側への境界部の角度に依存する角解像度は、高められ、第一視野領域の第二視野領域20側への境界では、低められるが、これには、画像データの縮尺を変える既知のアルゴリズムが用いられる。
双方の視野領域18, 20用の異なる角解像度を実現するため、図3と図4の実施例では、図内では単純な楕円で描かれている回転対称な光学系10を用いているが、回転対称な光学系10の光学軸24は、画像センサー8に対して謂わばずらして配置されており、該光学軸24は、画像センサー8の測定面、或いは、センサー面の面重心、或いは、中心を通らず、そこからずれて、面重心の横を通っている。また、該光学系10は、画像センサー8と比較して大きめの寸法であるため、該光学系10が、ずらして配置されているにもかかわらず、画像センサー全体をカバーしている。この様な形態により、球面レンズにおいて知られている幻影を、異なる角解像度を実現するために、意図的に用いることができる。
代案的には、図5と図6にスケッチされているごとく、多くの場合は画像センサー8のセンサー面中央に配置される回転対称ではない光学系10を用いる。該光学系10は、この様なケースでは、プラズマ的基本形状からなる複雑なジオメトリを有している。
本発明は、上記の実施例に限定されない。況や、当業者によれば、本発明の対象を逸脱することなく、本発明に基づく他のバリエーションを得ることが可能である。特に、実施例と関連して記載された個々の特徴は、本発明の対象を逸脱することなく、更に、他のやり方で互いに組み合わせることも可能である。
2 ドライバー・アシスタント・システム
4 貨物用動力車両
6 周辺カメラ
8 画像センサー
10 光学系
12 画像前処理ユニット
14 画像評価ユニット
16 ディスプレー
18 第一視野領域
20 第二視野領域
22 側面
24 光学軸
P18 第一視野領域18が結像されるピクセル
P20 第二視野領域20が結像されるピクセル

Claims (9)

  1. 車両(4)用の、特に、貨物用動力車両(4)用の、これらを組み合わせることでデジタル外部ミラーを構成する、画像センサー(8)と光学系(10)を備えた周辺カメラ(6)と、画像前処理ユニット(12)と、該車両(4)の内部空間に備えられた表示エレメント(16)とを包含するドライバー・アシスタント・システムであって、
    該デジタル外部ミラーが、少なくとも二か所の視野領域(18,20)、即ち、異なる表示倍率において第一視野領域(18)と第二視野領域(20)が描写されるように構成されていること、及び
    該光学系(10)が、回転対称に構成され、該光学系(10)と画像センサー(8)が、互いに対して、光学系(10)の光学軸が、画像センサー(8)の測定面の面重点の横を通る様に位置合わせされていることを特徴とするドライバー・アシスタント・システム(2)。
  2. 該デジタル外部ミラーが、少なくとも二か所の視野領域(18,20)が、異なる角解像度で描写されるように構成されていることを特徴とする請求項1に記載のドライバー・アシスタント・システム(2)。
  3. 該周辺カメラ(6)が、約300nmから約2,000nmの波長領域の電磁線を捕捉できる様に構成されていることを特徴とする請求項1或いは2に記載のドライバー・アシスタント・システム(2)。
  4. 該周辺カメラ(6)が、パスバンドが約400nmから約750nmである波長・帯域フィルターを包含することを特徴とする請求項1から3のうち何れか一項に記載のドライバー・アシスタント・システム(2)。
  5. 様々な表示倍率を、光学系(10)によって実現していることを特徴とする請求項1から4のうち何れか一項に記載のドライバー・アシスタント・システム(2)。
  6. 画像センサー(8)が、センサー面を有し、該光学系(10)が、第一視野領域(18)が、広角レンズによるものの様に、センサー面の第一領域(P18)に結像され、第二視野領域(20)が、望遠レンズによるものの様に、センサー面の第二領域(P20)に結像されるように構成されていることを特徴とする請求項1からのうち何れか一項に記載のドライバー・アシスタント・システム(2)。
  7. 第一視野領域(18)が、50°以上の角度をカバーし、第二視野領域(20)が、30°以下の角度をカバーすることを特徴とする請求項1からのうち何れか一項に記載のドライバー・アシスタント・システム(2)。
  8. 使用される各々の表示倍率が、基本倍率の整数倍、特に好ましくは、偶数倍に相当することを特徴とする請求項1からのうち何れか一項に記載のドライバー・アシスタント・システム(2)。
  9. 画像前処理ユニット(12)が、周辺カメラ(6)の画像データを、表示エレメント(16)によって再生される前に、縮尺変換する、特に好ましくは、整流することを特徴とする請求項1からのうち何れか一項に記載のドライバー・アシスタント・システム(2)。
JP2017532770A 2015-02-10 2016-02-04 ドライバー・アシスタント・システム Active JP6644071B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015202330.3A DE102015202330A1 (de) 2015-02-10 2015-02-10 Fahrerassistenzsystem
DE102015202330.3 2015-02-10
PCT/DE2016/200073 WO2016127993A1 (de) 2015-02-10 2016-02-04 Fahrerassistenzsystem

Publications (2)

Publication Number Publication Date
JP2018512316A JP2018512316A (ja) 2018-05-17
JP6644071B2 true JP6644071B2 (ja) 2020-02-12

Family

ID=55538158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532770A Active JP6644071B2 (ja) 2015-02-10 2016-02-04 ドライバー・アシスタント・システム

Country Status (5)

Country Link
US (1) US20170347036A1 (ja)
EP (1) EP3256345B1 (ja)
JP (1) JP6644071B2 (ja)
DE (2) DE102015202330A1 (ja)
WO (1) WO2016127993A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7266165B2 (ja) * 2017-12-19 2023-04-28 パナソニックIpマネジメント株式会社 撮像装置、撮像システム、および表示システム
DE102018203910B3 (de) 2018-03-14 2019-06-13 Audi Ag Fahrerassistenzsystem sowie Verfahren für ein Kraftfahrzeug zum Anzeigen einer erweiterten Realität
DE102018214117A1 (de) * 2018-08-21 2020-02-27 Robert Bosch Gmbh Kameraeinheit und Verfahren zum Betreiben einer Kameraeinheit
DE102018216984A1 (de) * 2018-10-04 2020-04-09 Robert Bosch Gmbh Umfelderfassungssystem für Kraftfahrzeuge
JP2020161987A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 車両用撮影システム
WO2023006832A1 (en) 2021-07-28 2023-02-02 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same
CN114915772B (zh) * 2022-07-13 2022-11-01 沃飞长空科技(成都)有限公司 飞行器的视景增强方法、系统、飞行器及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10043099A1 (de) * 2000-09-01 2002-03-28 Volkswagen Ag Verfahren und Vorrichtung zur Überwachung des rückwärtigen Bereichs eines Kraftfahrzeugs
DE10221513B4 (de) * 2002-05-14 2004-03-11 Ce-Sys Gmbh Ilmenau Verfahren zur Darstellung von Bildern mit verändertem Breite-Höhe-Verhältnis
DE10360754A1 (de) * 2003-12-23 2005-07-28 Hella Kgaa Hueck & Co. System zur Bilderfassung und -darstellung
FR2884338B1 (fr) * 2005-04-11 2007-10-19 Valeo Vision Sa Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
JP2007142624A (ja) * 2005-11-16 2007-06-07 Matsushita Electric Ind Co Ltd 車両搭載撮像装置
JP2007158820A (ja) * 2005-12-06 2007-06-21 Fujitsu Ten Ltd 撮影制御装置
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP4960856B2 (ja) * 2007-12-28 2012-06-27 リコー光学株式会社 車載カメラ装置
JP5233583B2 (ja) * 2008-10-24 2013-07-10 株式会社リコー 車載用監視装置
JP6104264B2 (ja) * 2011-11-04 2017-03-29 アイメックImec センサアレイ上に多重隣接画像コピーを投影するためのミラーを備えたスペクトルカメラ
DE102012001835B4 (de) * 2012-01-31 2023-03-02 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102013002111B4 (de) * 2013-02-08 2021-11-18 Mekra Lang Gmbh & Co. Kg Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
JP6195491B2 (ja) * 2013-05-01 2017-09-13 株式会社nittoh 撮像システムおよび撮像システムを有する運転支援システム
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
WO2015182457A1 (ja) * 2014-05-29 2015-12-03 株式会社小糸製作所 車両外部監視装置及び撮像装置

Also Published As

Publication number Publication date
DE102015202330A1 (de) 2016-08-11
WO2016127993A1 (de) 2016-08-18
EP3256345A1 (de) 2017-12-20
US20170347036A1 (en) 2017-11-30
JP2018512316A (ja) 2018-05-17
EP3256345B1 (de) 2019-01-23
DE112016000149A5 (de) 2017-07-27

Similar Documents

Publication Publication Date Title
JP6644071B2 (ja) ドライバー・アシスタント・システム
US10899277B2 (en) Vehicular vision system with reduced distortion display
CN110178369B (zh) 摄像装置、摄像系统以及显示系统
US9238434B2 (en) Rear view mirror simulation
US11472338B2 (en) Method for displaying reduced distortion video images via a vehicular vision system
RU2702992C1 (ru) Система замещения зеркал и система помощи водителю
KR100936557B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP6459016B2 (ja) 撮像システム、および、移動体システム
JP2014151911A (ja) 車両用の視認システム
JP6433684B2 (ja) 車両用外部監視装置の撮像装置
JP6653456B1 (ja) 撮像装置
JP2020150427A (ja) 撮像装置、撮像光学系及び移動体
JP2019001325A (ja) 車載用撮像装置
CN111902760B (zh) 透镜系统、摄像装置及摄像系统
US20210120158A1 (en) Cameras with scanning optical path folding elements for automotive or surveillance applications
JP4727340B2 (ja) 車載用撮像装置および車載カメラシステム
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
WO2019177036A1 (ja) 車両用映像システム
JP4747670B2 (ja) 画像処理装置
WO2019065468A1 (ja) 撮像装置及び移動体
US20240089579A1 (en) Optical system with localized magnification
JP2006215172A (ja) 光学系
JP2024007203A (ja) カメラシステムおよびその制御方法、プログラム
JP2024050331A (ja) 移動体及び撮像装置の設置方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200107

R150 Certificate of patent or registration of utility model

Ref document number: 6644071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250