JP6182629B2 - 車両用表示システム - Google Patents

車両用表示システム Download PDF

Info

Publication number
JP6182629B2
JP6182629B2 JP2016029510A JP2016029510A JP6182629B2 JP 6182629 B2 JP6182629 B2 JP 6182629B2 JP 2016029510 A JP2016029510 A JP 2016029510A JP 2016029510 A JP2016029510 A JP 2016029510A JP 6182629 B2 JP6182629 B2 JP 6182629B2
Authority
JP
Japan
Prior art keywords
image
display system
vehicle
display
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016029510A
Other languages
English (en)
Other versions
JP2016177274A (ja
Inventor
ヴェルナー・ラング
ピーター・ゲイツェンドルファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mekra Lang GmbH and Co KG
Original Assignee
Mekra Lang GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mekra Lang GmbH and Co KG filed Critical Mekra Lang GmbH and Co KG
Publication of JP2016177274A publication Critical patent/JP2016177274A/ja
Application granted granted Critical
Publication of JP6182629B2 publication Critical patent/JP6182629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)

Description

本発明は、ドライバーが車両の周囲を見ることができるように、例えば商用車の運転席といった車内に車両の周囲の画像を表示する車両用表示システムに係り、特に商用車の表示システムに関する。この種の表示システムは、車両のミラー代替手段(mirror replacement systems)として、或いは、車両の外部ミラーに対して追加的に用いられる。この種の表示システムは、継続的に又は特定の運転状況下において、車両の周囲の状況をドライバーに対しできる限り人間工学的に表示することに資する。従って、このような表示システムは、車両をとりまく交通状況や潜在的危険に対する優れた概観をドライバーに提供するため、交通安全の向上にも寄与する。
車両用のミラー代替システム、及び、車両用の他のカメラモニタリングシステムや表示システムは、それぞれ、公知技術として知られている。これらのシステムは通常、例えばカメラなどの撮像ユニットと、演算ユニットとを備える。撮像ユニットは、少なくとも車両周囲の視野を撮像して、当該視野の画像データを取得するものである。演算ユニットは、当該画像データを処理するとともに、例えばモニタのような表示ユニットに当該画像データを表示させるため、或いは、当該車両の構造部に当該画像データを投影(projection)させるために当該画像データを出力するものである。車両周囲の撮像視野は、法定視界が包含されてもよい。欧州での法定視界は、欧州経済委員会(ECE)の規則R46で規定されている。
モニタの使い方として、複数の画像が同一モニタ上の互いに異なる画面位置にそれぞれ表示されるいわゆる画面分割式表示(split screen view)が知られている。上記画面分割式表示における複数の画像(以下、画像部分という)は、互いに異なる画像であることが多く、複数の撮像部によって別々に撮像される可能性もある。ここで、複数の画像部分(image portion)の各々は、複数の分離線(separating lines)又は複数の分離領域(separating portions)により、分離される。上記複数の分離線又は複数の分離領域は、通常1画素〜数画素の幅であり、単色でもよく、様々な色から構成されてもよい。
いわゆる運転支援システムとして用いられる他のシステムでは、撮像画像を解析することにより当該画像内で障害物又は危険エリアを演算ユニットが認識した場合に、画像部分に警告フレームを重畳する技術が知られている。警告フレームによって潜在的危険を強調することで、潜在的危険を知らせることができる。さらに、例えば部分的に透明なグラフィック(graphic)などの他の複数のグラフィックを重ね合わせる手法も知られている。
従来の表示システムではさらに、例えば前進や後進などの車両の運転状況、又は、例えばステアリング角、などの外部信号に応じて、例えばある撮像ユニットにより撮像された画像が表示ユニット上でどれ位のサイズで表示されるかといった表示を修正可能である。前方への直進には該当しないステアリング角を取得した場合、例えば、車両に隣接するサイド領域を拡大又は別の方法により強調表示する技術が知られている。
公知の表示システムでは、分離線又は警告フレームと、グラフィックとをオーバーレイ(overlaying)(重ね合わせ)又はスーパーインポーズ(superimposing)(重畳)することは、運転状況には影響されうるが、分離線又は境界枠と、グラフィックとに対して直接隣接する表示画像の特徴に依存して影響されることはない。その結果、分離線又は重畳画像(superimposition)に対して直接的に隣接する画像の中身の特徴が、分離線又は重畳画像の特徴に実質的に合致する場合、ドライバーは分離線又は重畳画像を、識別することは難しくなる。例えば、複数の黒い分離線が夜間に撮像された画像内で用いられる場合、画像と、複数の分離線とを区別することは困難である。
特許文献1は、車両の周囲の領域を撮像した画像上に重畳されるガイドライン(guidelines)を明瞭に表示する車両運転支援装置について記載している。そのように修正された画像は、表示ユニットに表示される。その目的で、色属性検出手段は、撮像画像においてガイドラインが重畳された領域の色相又は明度を検出する。上記の検出に応じて、重畳されるガイドラインの色の組み合わせを配色パターン設定手段が設定するか、又は、重畳されるガイドラインの明度を明度設定手段が設定する。そして、配色パターン設定手段又は明度設定手段は、撮像画像の当該領域のコントラスト又は明度と、ガイドラインの色相又は明度とを比較する。両者が同一又は類似である場合、配色パターン設定手段又は明度設定手段は、色相又は明度が同一又は類似である当該撮像画像の少なくとも複数の部分における複数のガイドラインの配色パターンの設定を変更する。
特許文献2は、カメラにより撮像された画像が処理ユニット(processing unit)により処理され、境界枠(frame border)が当該画像に重ね合される周辺画像表示システムについて記載している。上記境界枠は、第1の色で描出される境界枠部分(frame border portion)と、第1の色とは異なる第2の色で描出される第2の境界枠部分とを含む。
特許文献3は、2つの表示画像間の仕切り線(partitioning line)が黒及び明るい青色からなる車載用周辺視認装置について記載している。
米国特許出願公開2013−0307985−A1号明細書 米国特許出願公開2013−0176329−A1号明細書 特開2001−23988号公報
以上に鑑みて、本発明の目的は、互いに異なる複数の画像部分が明確に分離表示される車両の表示システム、又は、画像部分の特徴に拘らずに当該画像部分における複数の重畳画像(superimpositions)が明瞭に認識可能な車両の表示システムを提供することである。本発明の目的は、特に、互いに異なる複数の画像部分が明確に分離表示される商用車の表示システム、又は、画像部分の特徴に拘らずに当該画像部分における複数の重畳画像を明瞭に認識可能な商用車の表示システムを提供することである。
上記目的は、請求項1の特徴を備える表示システムによって解決される。好適な複数の実施形態は、複数の従属請求項に記載されている。
本発明は、現時点で撮像された画像部分及びその現時点での特徴に応じて、また、重ね合わせ領域に対して直接隣接する画像部分の特徴に応じて、重ね合わせ領域(overlay portion)の特徴を修正(modify)し適応(adapt)させ、それに対応するように重ね合わせ領域の特徴を決定/設定する思想に基づく。上記重ね合わせ領域は、例えば、複数の画像部分(image portions)間の分離線、一の画像部分の周囲の枠(frame)、又は、画像部分内の重畳画像(superimposition portion)としてもよい。
ここで、「重ね合わせ領域の特徴(characteristics of the overlay portion)」とは、重ね合わせ(overlay)或いは重畳画像(superimposition)が有し得る全てのグラフィック特徴(graphical characteristics)を含むことを意図する。例えば、分離線及び境界枠のそれぞれにおいて、又は、他の任意の重ね合わせ領域において、色合い、輝度、コントラスト、彩度、透明度、又は、これら各特徴の任意の組み合わせを修正してもよい。
従って、表示される画像部分内には、例えばグラフィック特徴に関する画像解析によって画像部分の特徴が取得される測定領域(measuring portion)が設けられる。この測定領域は、運転状況や複数の運転パラメータのそれぞれに応じて演算ユニットにより選択されてもよいし、或いは、運転状況及び車両運転パラメータとは独立して設定/決定される画像部分でもよい。画像部分において取得される特徴は、いかなるグラフィック特徴でもよく、例えば、色合い、輝度、コントラスト、彩度、透明度、又は、これら各特徴の任意の組み合わせでもよい。測定領域は、処理対象となる重ね合わせ領域に直接隣接することが好ましい。これは、重ね合わせ領域と画像部分との間の特徴の変化の認識に関連する位置で、当該画像部分における測定を確実に実行することができるためであり、これにより、重ね合わせ領域と、隣接する画像部分との間における明瞭な明暗差(contrast)が得られる。
例えば夜間などの画像部分が基本的に日中よりも暗い場合は、例えば日中では暗く表示されていた分離線を日中よりも明るく表示してもよい。それにより、例えば、分離線の認識性の向上が確保されることで異なる画像部分を互いに識別しやすくなるとともに、ドライバーにとって必要以上に見えにくくならないようにすることができる。同時に、画像が黒くなったとしても、ドライバーは、少なくとも重ね合わせ領域を常に認識可能となる。このため、表示システム、特に表示ユニットが機能しているか否かをドライバーは容易に認識できる。
画像部分の特徴に対する重ね合わせ領域の特徴の適正化及び決定に関して、画像の1つ又は幾つかの特徴を、重ね合わせ領域の1つ又は幾つかの特徴に対して明確に割り当てることが望ましい。例えば、画像部分において(例えば輝度といった)1つの特徴が抽出され、(例えば輝度又は彩度といった)重ね合わせ領域の1つ又は幾つかの特徴が上記抽出された特徴に応じて調整されてもよい。或いは、画像の複数の特徴を抽出するとともに上記抽出された特徴に応じて、一対一の割り当てを実行するか、又は、画像の複数の特徴を重ね合わせ領域の1つの特徴に割り当てることで、重ね合わせ領域の特徴を決定してもよい。
ここで、数学的関数により、少なくとも1つの画像部分における特徴が少なくとも1つの重ね合わせ領域における特徴にマッピング(map)されることが望ましい。このマッピングには、例えば線形関数又は非線型関数が用いられる。
複数の画像部分の場合、これら複数の画像部分間の重ね合わせ領域に対する数学的関数は、2つの画像部分の一方の支配的な画像部分に基づいて選択されてもよいし、例えば平均化などによって両方の画像部分に基づいて選択されてもよい。これにより、複数の画像部分の場合でも、画像部分と重ね合わせ領域との区別、及び、認識性の向上を常に可能にする。
また、複数の重ね合わせ領域が設けられる場合、重ね合わせ領域の特徴は、重ね合わせ領域毎に別々に決定されてもよいし、或いは、多次元の数学的関数に基づく共通の割り当て又は平均化を用いた共通の割り当てにより決定されてもよい。
さらに、画像部分の特定の特徴が一定の期間に亘って存在する場合のみ、重ね合わせ領域の特徴の変更は、時間的に遅延して実行される。これにより、例えば瞬間的にぼやける(momentary obscuration)といった、画像部分の特徴の瞬間的で一時的な変更が重ね合わせ領域の特徴を急激に変化させることを、回避できる。上記重ね合わせ領域の特徴が急激に変化させてしまうと、ドライバーを混乱させうる。
より好ましくは、表示システムは、複数の画像部分と連動して用いられるとよい。ここで、例えば水平な重ね合わせ領域や垂直な重ね合わせ領域などの重ね合わせ領域により、複数の異なる画像部分は分離される。
或いは、重ね合わせ領域は、例えば1つ又は幾つかの画像部分内の障害物をドライバーに警告するための重畳画像(superimposition)を含んでもよいし、1つ又は幾つかの画像部分の周囲の枠が必要に応じて重ね合わせ領域として設けられてもよい。重畳画像は、例えば一般的な車載コンピュータや外部装置におけるメニューのナビゲーションをグラフィカルに或いは文字情報的に重ね合わせる画像(overlay)でもよい。
複数の異なる画像部分が設けられる場合、各画像部分は運転状況に応じて修正されることが好ましい。上記運転状況は、例えば中心的な車載コンピュータ内において、当該車両の運転パラメータに応じて決定される。例えば重ね合わせ領域の拡大或いは縮小が運転状況に応じて実行されてもよいし、例えば色合い、輝度、コントラスト、彩度、透過度などの重ね合わせ領域の特徴がそれぞれ運転状況に合わせて適正化又は修正されてもよい。
複数の異なる画像部分は、例えばカメラなどの単一の撮像ユニットから抽出されてもよいし、或いは、複数の撮像ユニットから提供されてもよい。さらに、演算ユニットは、各撮像ユニットにより撮像された画像のデータを個々の部分(single portions)に分離してもよいし、撮像領域全体を表示してもよい。
演算ユニットに関しては、例えばカメラなどの撮像ユニット内や、例えばモニタなどの表示ユニット内に別個の演算ユニットとして搭載されていてもよいし、或いは、通常の車載コンピュータに接続して設けられてもよい。さらに、複数の演算ユニットを組み合わせて使うこともできる。例えば、画像が表示ユニットに表示される前に、表示に用いられる撮像画像はカメラによって選択される一方で、重ね合わせ領域の特徴の修正及びその決定、ならびにそれぞれの画像部分のどれがどれ位のサイズで実際に表示されるかの選択処理は、例えば車載コンピュータといったCPU(central processing unit)で実行されてもよい。
表示システムの表示ユニット上での表示の第1の実施形態を示す。 表示システムの表示ユニット上での表示の別の実施形態を示す。 表示システムの表示ユニット上での表示の別の実施形態を示す。 表示システムの表示ユニット上での表示の別の実施形態を示す。 測定領域において測定された画像の特徴と、決定された重ね合わせ領域の特徴との数学的関係の第1の例を示す。 測定領域において測定された画像の特徴と、重ね合わせ領域の特徴との数学的関係の第2の例を示す。 車両の表示システムを模式的に示す。
以下、本発明を添付の図面を用いて例示的に説明する。
図7は、車両用の表示システム100の一実施形態を示す。表示システム100は、撮像ユニット10と、演算ユニット20と、表示ユニット30とを備える。撮像ユニット10は、カメラでもよいし、或いは、イメージセンサでもよい。演算ユニット20は、カメラ10内に組み込まれていてもよいし、表示ユニット30内に組み込まれてもよい。或いは、演算ユニット20は、図7に示すように、例えば処理装置であるプロセッサ(ECU:Electronic Control Unit)を備える車載コンピュータに接続された別個のユニット20として構成されてもよい。1つ又は複数の撮像ユニット10により提供される画像データに加えて、複数の異なる車両センサ40からの車両運転パラメータ(vehicle driving parameters)が演算ユニット20に入力される。これら車両センサ40は、例えば車両速度、駆動方向(driving direction)、ステアリング角、方向指示器の動作(activation of an indicator)などの当該車両の運転状況に関する特徴(characteristics)を取得する。
さらに、当該車両の左側のサイド領域を撮像する撮像ユニット10、当該車両の右側のサイド領域を撮像する撮像ユニット10、当該車両の前方領域を撮像する撮像ユニット10、当該車両の後方領域を撮像する撮像ユニット10といった例のように、複数の撮像ユニット10を当該車両の周囲に設けてもよい。
表示ユニット30は、モニタとして、例えば商用車の運転席においてドライバーが見やすい位置に設けられる。或いは、表示ユニット30は、ドライバーが見やすいように車両の構造部分に画像を投影するプロジェクション装置(projection device)として設けられてもよい。
ここで、表示システム100は概して、ミラー代替システム(mirror replacement system)として設けられる。これは、車両の内部及び周囲に通常設けられる複数のミラーがそれぞれカメラモニタリングシステム及び表示システム100で完全に代用(replace)されることを意味する。上記複数のミラーは、車両の周囲の領域をモニタリングし、ドライバーが直接見ることができない車両周囲の複数の領域をドライバーが見るためのものである。この場合、視野(fields of view)又は法定視界(legally prescribed fields of vision)はそれぞれ、継続的に且つリアルタイムで表示される必要があり、他の表示によって一時遮られることがあってはならない。一方、表示システム100は、運転者が直接見ることができない視野(indirect sight)用の従来の装置及び従来のミラーのそれぞれに対して追加的に用いられてもよい。この場合、継続的な表示は必須ではない。むしろ、特定の運転状況の場合に表示が実行されてもよい。
1つ又は複数の撮像ユニット10により撮像された車両の周囲(vehicle environment)の画像データは、演算ユニット20に入力され、処理される。演算ユニット20は、運転状態を判定し、その運転状態に応じて、表示ユニット30上に通常表示するための複数の画像部分1、1a、1b、1c、1dを選択してもよい。演算ユニット20は、例えば車両センサ40によって取得されたデータを用いて車両の運転状態を判定する。ここで、1の画像部分又は複数の画像部分(互いに連結してもよいし或いは互いに離れてもよい)は、演算ユニット20により選択される。例えば、車両センサ40としてのステアリング角センサなどの出力に基づいて旋回(turning process)が検出されると、車両に近い領域を含む画像部分が画像部分1、1a、1b、1c、1dの1つとして選択される。また、図2に示す画像部分1a及び1bは、例えば欧州経済委員会(ECE)の規則R46で規定された法定視界II及び法定視界IVにそれぞれ対応してもよいし、法定視界V及び法定視界VIにそれぞれ対応してもよいし、他の任意の複数の法定視界の組み合わせに対応してもよい。
さらに、演算ユニット20は、表示される画像の修正(modification)を実行する。この修正は、画像部分1、1a、1b、1c又は1dに直接的に隣接するように、或いは、画像部分1、1a、1b、1c又は1d内に、重ね合わせ領域2、4又は5(図1〜図4参照)が表示又は重畳される(スーパーインポーズされる、superimposed)ように実行される。図1に示す実施形態では、画像部分1内で重ね合わせられた(オーバーレイされた、overlayed)重ね合わせ領域2は、画像部分1の周囲の枠である。図2に示す実施形態では、重ね合わせ領域4は、画像部分1a及び画像部分1bの2つの画像間における分離線である。図3に示す実施形態では、重ね合わせ領域4は、合計4つの画像部分1a、1b、1c、1dを分割する水平分離線及び垂直分離線の2本の分離線が結合したものである。図4に示す実施形態では、重ね合わせ領域5は、画像部分1内に表示される画像上に重畳されるグラフィックオブジェクトであり、ここでは図形的に表されたグラフィックオブジェクトである。この重ね合わせ領域5は、例えば当該車両の近くの人を暗示する警告として、当該車両のドライバーに役立つ。これら重ね合わせ領域は、組み合わせることも可能である。例えば、重ね合わせ領域2を構成する枠に加えて、グラフィック表示される重ね合わせ領域が警告として用いられるように組み合わせてもよい。
例えば色合い、輝度、コントラスト、彩度或いは透過度といった重ね合わせ領域2、4又は5の特徴の少なくとも1つは、画像部分1、1a、1b、1c又は1d内の測定領域3、3a、3b、3c又は3dにおける対応する特徴に応じて、修正され決定される。ここで、測定領域3、3a、3b、3c、3dは、それぞれが対応する重ね合わせ領域2、4、5に直接的に隣接して位置することが好ましい。これにより、重ね合わせ領域2、4、5の特徴を適切に決定することとなり、それは、重ね合わせ領域2、4、5と、画像部分1、1a、1b、1c、1dとを識別するために必要である。従って、重ね合わせ領域2、4、5は、ドライバーを混乱させ得る特性を帯びることなく常に明瞭に認識可能かつ目視できる。調整されるべき重ね合わせ領域の特徴を決定するに際して、重ね合わせ領域2、4、5から遠い位置にある画像部分1、1a、1b、1c、1dの領域は、関連性(relevance)が低くなる。これら遠い領域は、重ね合わせ領域2、4、5と画像部分1、1a、1b、1c、1dとの識別に際して、重要ではないからである。
演算ユニット20により測定領域3、3a、3b、3c、3dにおいて得られる特徴は、色合い、輝度、コントラスト、彩度、或いは、これらの組み合わせに関する特徴でもよい。複数の画像部分1a、1b、1c、1d及び対応する複数の測定領域3a、3b、3c、3dの場合、図2及び図3に示すように、多様な測定領域3a、3b、3c、3dで測定された特徴を最適化するとともにそれに応じて重ね合わせ領域の特徴を割り当てることで、重ね合わせ領域4の特徴を決定することもさらに可能である。
図1の実施形態に示されるように、測定領域3は、重ね合わせ領域2よりもさらに内側に位置する枠を含んでいる。測定領域における画像部分の特徴は、複数の異なる位置で決定され、重ね合わせ領域の特徴は、平均化及び最適化により決定されることが好ましい。例えば偶然に暗い1点があった場合にあたかも画像部分1が暗いかのように重ね合わせ領域2の特徴全体が適応化されてしまうことを防止できる。
いかなる場合も、例えば当該車両の周囲の輝度といった表示される画像の外側で取得されるパラメータには依存せずに、取得された画像部分1、1a、1b、1c、1dの特徴、即ち、画像の特徴に依存して重ね合わせ領域の特徴が決定されることが重要である。そのようにして、実際の画像、即ち、画像の特徴によって、重ね合わせ領域の特徴が調整及び最適化されるので、表示ユニット30上の表示を大いに改善することが可能である。
理想的には、数学的に割り当てられた画像の特徴に応じて重ね合わせ領域の特徴が決定される。ここで、画像の特徴と、決定されるべき重ね合わせ領域の特徴とが同じであることはあり得るが、それは必須ではない。
図5は、画像の特徴の「輝度」に依存した重ね合わせ領域の特徴の「輝度」を示す第1の数学的関数の例を示す。これは、画像の特徴、及び、重ね合わせ領域の特徴として、同じ特徴が用いられることを意味する。これは、図5に示す数学的割り当ての場合、画像部分1、1a、1b、1c、1dの輝度が測定領域3、3a、3b、3c、3dにおいて取得されるとともに演算ユニット20により評価されることを意味する。この評価に応じて、演算ユニット20は、重ね合わせ領域2、4、5に対して、その特徴の「輝度」を決定する。図5から分かるように、この関数は例えば、測定領域3、3a、3b、3c、3dにおける明るい画像部分には暗い重ね合わせ領域が割り当てられるとともに、測定領域3、3a、3b、3c、3dにおける暗い画像部分には明るい重ね合わせ領域2、4、5が割り当てられるような線形関数(図5における実線)でもよい。図5に示す関数は、線形関数(図5における実線)でもよいし、或いは、非線形関数(図5における破線)でもよい。或いは、図5に示す関数は、測定領域で取得される少なくとも1つの画像の特徴に対して少なくとも1つの重ね合わせ画像の特徴を明確に割り当てることができる限り、他のいかなる関数でもよい。例えば輝度、コントラスト、彩度又は色合いのような画像の特定の特徴に応じて、対応する重ね合わせ領域の特定の特徴を、(繰り返しになるが必要に応じて例えば一対一の割り当てで)修正することも当然可能である。例えば、画像部分1、1a、1b、1c、1dの輝度に応じて重ね合わせ領域の輝度を変更/修正すると同時に、画像部分1、1a、1b、1c、1dの彩度に応じて重ね合わせ領域の彩度を変更/修正してもよい。
或いは、又はこれに加えて、例えば輝度といった画像の特定の特徴に対して、例えば透過度といった重ね合わせ画像の他の特徴を割り当てることも可能である。このことは、図6に示されている。ここで、測定領域3、3a、3b、3c、3dにおいて撮像された画像が明るい場合、重ね合わせ領域2、4、5の透過度は低くなる。測定領域3、3a、3b、3c、3dにおいて撮像された画像が暗い場合、重ね合わせ領域2、4、5の透過度が高くなる。
ここで、画像の特徴、重ね合わせ領域の特徴、及びこれらに対応する数学的な割り当て方法は、任意の妥当な組み合わせをとりうる。既に述べたように、測定領域3、3a、3b、3c、3dにおける画像の1つ又は幾つかの特徴に応じて、重ね合わせ領域2、4、5の複数の特徴を修正することも可能である。
図2及び図3に示すように1つの共通の重ね合わせ領域4に隣接して複数の測定領域3a、3b、3c、3dが設けられる場合、演算ユニット20は、好適には、測定領域3a、3b、3c、3dのそれぞれで画像の特徴を決定してから評価を実行することにより、撮像画像の全体的特徴に基づいて、重ね合わせ領域の最適化、及び/又は、平均化された特徴を決定する。
好適な実施形態によれば、重ね合わせ領域2、4、5の特徴の修正は、画像部分1、1a、1b、1c、1dの特徴の変化に対して時間的に遅延する。好ましくは、測定領域3a、3b、3c、3dにおける画像部分1、1a、1b、1c、1dの特定の特徴が継続して存在する場合にのみ、重ね合わせ領域2、4、5の対応する特徴が適応化される。この場合、測定領域3a、3b、3c、3dにおける画像の特徴が短時間で又は一時的に変化する場合に、重ね合わせ領域2、4、5において重ね合わせ領域の特徴が変更されてしまい、ちらつきとして認識されることを回避することができる。
このように、上述の車両の表示システムによれば、現時点での画像の特徴に拘らずに、複数の異なる画像部分同士を確実に区別することができる。画像部分と、重ね合わせ領域とが同じ特徴を帯びることが防止されるので、分離領域(separating portions)又は重畳画像(superimposition portions)は、現時点での画像の内容に拘らず認識可能である。さらに、例えばモニタの欠陥は夜間における画像の中身の黒とは区別されうるので、表示ユニットの欠陥をすぐに発見できる。ドライバーは、画像と重ね合わせ領域との間のコントラストの明瞭な違いによって画像の中身を常に視認できるとともに、例えば夜間の明るすぎる重ね合わせ表示によって煩わされることがない。
1,1a,1b,1c,1d 画像部分
2 重ね合わせ領域
3,3a,3b,3c,3d 測定領域
4,5 重ね合わせ領域
10 撮像ユニット
20 演算ユニット
30 表示ユニット
40 車両センサ
100 表示システム

Claims (11)

  1. 車両の周囲の画像データを取得する撮像ユニット(10)と、
    演算ユニット(20)と、
    画像部分(1、1a、1b、1c、1d)を含む表示画像を表示する表示ユニット(30)とを備え、
    前記演算ユニット(20)は、前記撮像ユニット(10)により取得された画像データを修正し、この修正された画像データを前記表示ユニットに対して表示用に出力し、
    前記修正は、前記画像部分(1)に直接的に隣接しているか又は前記画像部分(1)内に位置する重ね合わせ領域(2、4、5)を、前記表示画像に含まれた前記画像部分(1、1a、1b、1c、1d)上に重畳又は重ね合わせる処理を含み、
    前記画像部分(1、1a、1b、1c、1d)は、前記画像部分(1、1a、1b、1c、1d)の特徴が取得される測定領域(3、3a、3b、3c、3d)をさらに含むとともに、前記演算ユニット(20)は、取得された画像の特徴に応じて重ね合わせ領域の特徴を設定し、
    前記演算ユニット(20)は、前記画像部分における特定の特徴が一定期間に亘って存在する場合に、前記画像部分の特徴の取得から時間的に遅延して、前記重ね合わせ領域の特徴を決定する
    ことを特徴とする車両用表示システム(100)。
  2. 請求項1に記載の表示システム(100)において、
    前記重ね合わせ領域(2、4、5)は、画像部分(1a、1b、1c、1d)間の分離領域(4)、及び、前記画像部分(1)の周囲の枠(2)、の少なくとも一方を含む車両用表示システム。
  3. 請求項1又は請求項2に記載の表示システム(100)において、
    前記重ね合わせ領域(2、4、5)は、前記画像部分(1)に対して全体的に又は少なくとも部分的に重なる重畳画像(5)を含む車両用表示システム。
  4. 請求項1乃至請求項3のいずれか1項に記載の表示システム(100)において、
    前記測定領域(3、3a、3b、3c、3d)は、前記画像部分(1、1a、1b、1c、1d)における前記重ね合わせ領域(2、4、5)に直接隣接するか、又は、前記画像部分(1a、1b、1c、1d)における前記重ね合わせ領域(2、4、5)内に位置する、車両用表示システム。
  5. 請求項1乃至請求項4のいずれか1項に記載の表示システム(100)において、
    取得された前記画像部分の特徴は、色合い、輝度、コントラスト、及び、彩度に関する特徴であるか、又は、色合い、輝度、コントラスト、彩度の組み合わせに関する特徴である車両用表示システム。
  6. 請求項1乃至請求項5のいずれか1項に記載の表示システム(100)において、
    決定される前記重ね合わせ領域の特徴は、色合い、輝度、コントラスト、彩度、及び、透過度に関する特徴であるか、又は、色合い、輝度、コントラスト、彩度、透過度の組み合わせに関する特徴である車両用表示システム。
  7. 請求項1乃至請求項6のいずれか1項に記載の表示システム(100)において、
    前記演算ユニット(20)は、前記撮像ユニット(10)及び前記表示ユニット(30)の少なくとも一方の内部に設けられる車両用表示システム。
  8. 請求項1乃至請求項7のいずれか1項に記載の表示システム(100)において、
    処理装置(ECU)をさらに備え、
    前記演算ユニット(20)の少なくとも一部は、前記処理装置(ECU)内に設けられる車両用表示システム。
  9. 請求項8に記載の表示システム(100)において、
    前記重ね合わせ領域(2、4、5)のサイズ、位置、及び種類の少なくとも1つは、前記車両の現時点の運転パラメータに応じて変更される車両用表示システム。
  10. 請求項1乃至請求項9のいずれか1項に記載の表示システム(100)において、
    少なくとも2つの画像部分(1a、1b、1c、1d)が設けられ、
    前記少なくとも2つの画像部分(1a、1b、1c、1d)は、前記重ね合わせ領域(4)により、水平方向又は垂直方向の少なくとも一方の方向に互いに分離される車両用表示システム。
  11. 請求項1乃至請求項10のいずれか1項に記載の表示システム(100)において、
    前記演算ユニット(20)は、数学的関数により、前記画像部分の特徴を前記重ね合わせ領域の特徴にマッピングする車両用表示システム。
JP2016029510A 2015-03-06 2016-02-19 車両用表示システム Active JP6182629B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015002923.1A DE102015002923B4 (de) 2015-03-06 2015-03-06 Anzeigeeinrichtung für ein Fahrzeug insbesondere Nutzfahrzeug
DE102015002923.1 2015-03-06

Publications (2)

Publication Number Publication Date
JP2016177274A JP2016177274A (ja) 2016-10-06
JP6182629B2 true JP6182629B2 (ja) 2017-08-16

Family

ID=55453003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016029510A Active JP6182629B2 (ja) 2015-03-06 2016-02-19 車両用表示システム

Country Status (5)

Country Link
US (1) US10275914B2 (ja)
EP (1) EP3067237B1 (ja)
JP (1) JP6182629B2 (ja)
DE (1) DE102015002923B4 (ja)
ES (1) ES2907999T3 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014210770A1 (de) * 2014-06-05 2015-12-17 Conti Temic Microelectronic Gmbh Verfahren und system zur bestimmung einer fahrzeugposition eines fahrzeuges
DE102016002470B4 (de) 2016-02-29 2020-10-01 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug, insbesondere Nutzfahrzeug
JP6597518B2 (ja) * 2016-08-15 2019-10-30 株式会社デンソー 情報処理装置及びプログラム
DE102017210266A1 (de) * 2017-06-20 2018-12-20 Zf Friedrichshafen Ag Umfeldüberwachung eines Ego-Fahrzeugs
DE102017130566B4 (de) 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックIpマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法
CN114567802B (zh) * 2021-12-29 2024-02-09 沈阳中科创达软件有限公司 一种数据显示方法和装置
CN114633692B (zh) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 一种偏心镜头在cms系统中的应用方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3764317B2 (ja) * 2000-03-02 2006-04-05 株式会社オートネットワーク技術研究所 車載用周辺視認装置
DE60122040T8 (de) 2000-03-02 2007-08-23 AutoNetworks Technologies, Ltd., Nagoya Überwachungseinrichtung für schwer einsehbare Zonen um Kraftfahrzeuge
JP2004173071A (ja) * 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP4742733B2 (ja) * 2005-08-05 2011-08-10 日産自動車株式会社 画像つなぎ目処理装置および画像つなぎ目処理方法
JP2007060040A (ja) * 2005-08-22 2007-03-08 Sanyo Electric Co Ltd 放送受信装置
DE102006047777A1 (de) 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
JP4857974B2 (ja) * 2006-07-13 2012-01-18 トヨタ自動車株式会社 車両周辺監視装置
EP1897751B1 (en) * 2006-09-11 2012-08-15 Kawasaki Jukogyo Kabushiki Kaisha Driving assist system for a vehicle
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP2010215059A (ja) * 2009-03-16 2010-09-30 Beat Sonic:Kk 車載用バックカメラアダプター
JP5585808B2 (ja) * 2009-05-22 2014-09-10 アイシン精機株式会社 監視装置
JP2011112727A (ja) * 2009-11-24 2011-06-09 Fujitsu Ltd 反射型表示装置、および、反射型表示装置の制御回路
US9321399B2 (en) * 2010-03-01 2016-04-26 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
WO2012102392A1 (ja) * 2011-01-27 2012-08-02 京セラ株式会社 車両の走行支援装置
US8811670B2 (en) * 2012-09-28 2014-08-19 The Boeing Company Method and system for using fingerprints to track moving objects in video
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2015049842A (ja) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法

Also Published As

Publication number Publication date
EP3067237B1 (de) 2021-12-29
JP2016177274A (ja) 2016-10-06
US10275914B2 (en) 2019-04-30
EP3067237A1 (de) 2016-09-14
US20160260238A1 (en) 2016-09-08
DE102015002923B4 (de) 2023-01-12
DE102015002923A1 (de) 2016-09-08
ES2907999T3 (es) 2022-04-27

Similar Documents

Publication Publication Date Title
JP6182629B2 (ja) 車両用表示システム
CA2998600C (en) Vehicular display apparatus and vehicular display method
JP5689872B2 (ja) 車両の周辺監視装置
JP6349637B2 (ja) 車両用画像合成装置
JP5121737B2 (ja) 画像データにおいて重要対象物を識別するためのバーチャルスポットライト
JP5178361B2 (ja) 運転支援装置
EP2476587B1 (en) Vehicle surrounding monitor apparatus
EP2476588B1 (en) Vehicle surrounding monitor apparatus
JP7077616B2 (ja) 表示制御装置および表示制御方法
JP2009116723A (ja) 車線変更支援装置
JP4914365B2 (ja) 見通し距離測定装置
US10518701B2 (en) Image monitoring apparatus, movable object, program and failure determining method
EP2723060A1 (en) Vehicle-mounted camera device
JP2012148710A (ja) 画像表示装置
JP2021513152A (ja) 画像内のバーチャル細長距離目印と、コンピュータプログラム製品と、ディスプレイシステムとによって自動車の環境領域を表示する方法
US20170280024A1 (en) Dynamically colour adjusted visual overlays for augmented reality systems
JP2010105443A (ja) 視覚支援装置
CN114842433A (zh) 基于显著性的图像中对象的呈现
JP2011227657A (ja) 車両の周辺を監視する装置
JP5208790B2 (ja) 画像処理装置、画像処理方法ならびにプログラム
JP2011191859A (ja) 車両の周辺監視装置
JP2005075081A (ja) 車両の表示方法及び表示装置
EP3817373B1 (en) Overhead image generation apparatus, overhead image generation method, and program
JP4715604B2 (ja) 周辺画像表示装置
JP2014021543A (ja) 車両用視界支援装置および車両用視界支援プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R150 Certificate of patent or registration of utility model

Ref document number: 6182629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250