JP4583883B2 - 車両用周囲状況表示装置 - Google Patents

車両用周囲状況表示装置 Download PDF

Info

Publication number
JP4583883B2
JP4583883B2 JP2004324108A JP2004324108A JP4583883B2 JP 4583883 B2 JP4583883 B2 JP 4583883B2 JP 2004324108 A JP2004324108 A JP 2004324108A JP 2004324108 A JP2004324108 A JP 2004324108A JP 4583883 B2 JP4583883 B2 JP 4583883B2
Authority
JP
Japan
Prior art keywords
image
display
display device
vehicle
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004324108A
Other languages
English (en)
Other versions
JP2006135797A (ja
Inventor
浩史 石井
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2004324108A priority Critical patent/JP4583883B2/ja
Publication of JP2006135797A publication Critical patent/JP2006135797A/ja
Application granted granted Critical
Publication of JP4583883B2 publication Critical patent/JP4583883B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両周辺の像を撮影する複数の撮像手段と、前記撮像手段によって得られる画像に基づいて運転を支援する画像情報を表示する表示手段とを備える車両用周囲状況表示装置に関する。

車両上でそれを運転する運転者が直接見ることのできる範囲は限られている。従って、運転者は視野を広くするために車両に備わっているルームミラーやドアミラーを活用して広い範囲に渡って車両の周囲の状況を確認しながら運転を行っている。しかし、車両には一般的なルームミラーやドアミラーを利用しても運転席からは見ることのできない死角となる箇所が多数存在する。例えば、車両後方を見た場合の運転者の視界の一部はトランクや後部ピラーで遮られるし、車両前方を見た場合の運転者の視界の一部はボンネットや前方ピラーによって遮られるため、それらの先にある障害物などを運転席から確認することができない。
そこで、車両周囲の状況を画像として撮影するカメラを車両に搭載して、画像の表示によって運転者の状況確認を支援する装置が提案されている。

例えば、特許文献1に開示された技術では、映像を撮影するカメラとその撮影により得られた画像を表示するモニタとをそれぞれ複数搭載し、各種センサで検出された信号に基づいて認識される車両の状態に応じて画像の切り替えを行ったり画像処理の内容を変更することを提案している。また、特許文献2に開示された技術では、車両のフロントガラス両端部に具備されるピラーの近傍にカメラを設置し、これらのカメラの撮影により得られた画像を表示装置で表示すると共に、ピラー部分で遮られた部分の車両外側の像がフロントガラスやサイドガラスを通して見える実際の像と合うように表示することを提案している。また、特許文献3に開示された技術では、車両の後部に設置された後方カメラで撮影された画像を後部座席背もたれ部に投射して表示し、車両後方窓を通して見える像と後部座席背もたれ部に表示される像とが一致するように表示することを提案している。更に、運転者の位置とカメラの位置との違いにより表示される画像の見え方に問題が生じるが、これを補正するために、入力された画像信号を処理して画像の距離抽出,画像分解及び画像合成を行うことを提案している。
特開2001−55100号公報 実用新案登録第3092719号公報 特開平5−139210号公報

しかしながら、特許文献1の技術を採用する場合には、窓を通して見える実際の像とモニタに表示される画像との位置関係や大きさなどが全く異なるので、運転者は運転中にモニタの画像を注視しなければ状況を正確に把握することができず、安全運転上の問題が生じる。また、特許文献2の技術では、窓から見える実際の像とピラー部に表示される画像とがシームレスにつなげるように表示することを意図しているが、実際には運転者の視点とカメラを設置した位置との違いの影響があるので、車両から十分に遠方に存在する対象物でない限り、シームレスにつながる画像を表示することはできない。また、特許文献3の技術では、運転者の位置とカメラの位置とが違うことによって生じる画像の見え方の問題を解消するために、画像を補正することを提案しているが、実際にどのような処理を行うのかは開示されていない。

例えば、図6に示すように車両の後部に設置したカメラ2を用いてその近傍に存在する障害物1を撮影し、撮影により得られた画像を後部座席背もたれ部に表示する場合には、カメラから実際の障害物1を見た方向3と運転者4から実際の障害物1を見た方向5とが大きく異なるため、撮影した画像をそのまま表示すると、表示される障害物の位置と実際の障害物との位置が異なるため、運転者は位置関係を把握しにくい。仮に両者の位置が合うように表示される画像の位置を補正できたとしても、特定の障害物以外の像の位置や大きさがずれたりするので、自然な画像を表示するのは難しい。すなわち、表示装置の画面上に表示される画像においては、図7に示すように障害物1が像57として表示されるが、運転者4から実際の障害物1を見た場合は像58の位置に存在するので、これらの位置の違いに相当する矢印59のような移動の補正を行う必要があるが、補正量が大きいため補正後の画像は不自然な画像になってしまう。

更に、運転者の座高の違いや座席の姿勢などの影響によって運転者の視点が変化するので、表示装置に表示される画像と実際に運転者に見える像とが一致するように表示するのは難しい。また、運転者がバックミラーを利用して後方を確認する場合と運転者が振り返って直接見る場合とでは実際の像や画面上の画像の見え方が異なるという課題もある。また、カメラで撮影してから画面に表示されるまでの間に1フレーム分以上の時間遅れが発生するので、車両が高速で移動する場合にはこの時間遅れによって実際の像と画面に表示される画像との間に位置ずれが発生する可能性がある。

本発明は、車両を運転する運転者が自車両の周囲の状況を確認するのに役立つ画像を表示すると共に、表示される画像と実際の像とが運転者から見て自然につながるように一体的に表示可能な車両用周囲状況表示装置を提供することを目的とする。

本発明は、車両周辺の像を撮影する複数の撮像手段と、前記撮像手段によって得られる画像に基づいて運転を支援する画像情報を表示する表示手段とを備える車両用周囲状況表示装置であって、前記複数の撮像手段のそれぞれの位置,画角及び姿勢を含む第1の情報と、前記表示手段の少なくとも表示面の位置を表す第2の情報と、運転者の視点の位置を表す第3の情報とを利用して、運転者の視点の位置を表す前記第3の情報と表示面の位置を表す前記第2の情報から、運転者の視点と表示装置の各画素を結ぶ線分方向を算出し、前記複数の撮像手段のそれぞれの位置,画角及び姿勢を含む前記第1の情報に基づいて、複数の撮像手段から得られる画像データの中から、前記各画素を結ぶ線分方向にもっとも近い画素データを抽出し、表示装置に表示する画像全体を合成することによって、前記複数の撮像手段でそれぞれ得られた複数の画像を加工して運転者の視点から前記表示手段の表示面を見た方向の合成画像を生成する画像合成手段を具備することを特徴とする。この構成によれば、複数の撮像手段のそれぞれの位置,画角及び姿勢を含む第1の情報と、前記表示手段の少なくとも表示面の位置を表す第2の情報と、運転者の視点の位置を表す第3の情報とを利用することにより、運転者の視点から前記表示手段の表示面を見た方向の自然な画像を合成画像として得ることが可能であるため、運転者は表示画像だけを注視しなくても車両周囲の死角になる領域の状況を表示画像から認識することができ、本発明は安全運転に役立つ情報を運転者に提供できる。

本発明において、前記画像合成手段は、前記視点の位置から所定の半径の位置にある車両外側の仮想球面を想定し、各々の撮像手段で得られた画像を前記仮想球面上に投影した状態で、互いに隣接する画像間の重なりがなくなる位置にそれぞれ境界を割り当て、各々の撮像手段で得られた画像から前記境界の内側にある画像領域をそれぞれ抽出し、抽出された画像領域を互いに連結して構成した合成画像を、前記視点と前記仮想球面と前記表示手段の表示面との位置関係に基づいて座標変換し、少なくとも大きさ及び表示位置を修正して前記表示手段に出力することを特徴とする。この構成によれば、前記仮想球面上で複数の画像を重なりがなくなるようにつなぎ合わせるので、実際に見える画像と一致する自然な画像を合成することができる。また、合成された画像を座標変換して表示手段に出力するので、運転者の視点から実際に見える車両外の像と位置や大きさが一致する画像を表示手段上に表示できる。

本発明において、前記画像合成手段は、少なくとも1つの障害物を検出した場合には、前記複数の撮像手段で得られた画像の重なり部分の情報に基づいて、障害物までの距離に関する測定を実施し、前記障害物が含まれる画像については、前記仮想球面の代わりに前記障害物の位置を基準とした特定面を想定し、前記特定面上で互いに隣接する画像間の重なりがなくなる位置に前記境界を割り当てることを特徴とする。この構成によれば、前記仮想球面の位置からずれた位置に実際に障害物が存在する場合に、表示手段に表示される画像上で障害物の位置がずれたり、画像の重複あるいは欠落が生じるのを防止することができる。

本発明において、運転者の実際の視点の位置を検出する視点検出手段を備え、前記画像合成手段は、前記視点検出手段の検出結果に基づいて修正した前記第3の情報を利用して前記合成画像を生成することを特徴とする。この構成によれば、運転者が座高の違う他の人と交代したり、同じ運転者が姿勢を変えたような場合であっても、実際に運転する人の視点から見て自然な画像を表示することができる。

本発明において、前記画像合成手段は、近傍に配置されるバックミラーで反射して前記視点から見える前記仮想球面上の合成画像を座標変換して前記表示手段に出力することを特徴とする。この構成によれば、運転者はバックミラーを見ることにより、車両周囲の死角になる領域の像も含めて自然な画像で確認することが可能になる。

本発明において、前記画像合成手段は、前記視点から前記バックミラーで反射し、車両後部の窓を透過して直接見える第1の領域とそれ以外の第2の領域とを識別し、前記第1の領域に相当する画像はマスクして、前記第2の領域に相当する画像だけを前記表示手段に出力することを特徴とする。この構成によれば、車両後部の窓を透過して直接見える第1の領域については画像が表示されず、ピラーなどに遮られて死角になる見えない部分に相当する領域だけに画像が表示されるので、より安全性の高い表示を実現できる。

本発明において、前記画像合成手段は、前記各撮像手段が像を撮影してから画像が前記表示手段に表示されるまでの遅れ時間の情報を利用し、前記遅れ時間によって発生する表示画像の位置ずれを計算して前記表示手段に出力する画像を補正することを特徴とする。 この構成によれば、車両が高速で移動している場合であっても、死角になる領域の像を運転者の視点からみて正しい位置に表示することができ、自然な画像を表示できる。

本発明において、前記画像合成手段は、撮影された画像のフレーム間の違いに基づいて画像内各部の単位時間当たりの動き量を検出し、その検出結果から前記遅れ時間によって発生する表示画像の位置ずれを求めることを特徴とする。この構成によれば、画像上のフレーム間の変化を利用して動きを検出するので、近くに存在する像と遠方に存在する像との両方について、正しい位置に画像を表示することが可能になる。

本発明によれば、運転者の視点から表示手段の表示面を見た方向の自然な画像を合成画像として得ることが可能であるため、運転者は表示画像だけを注視しなくても車両周囲の死角になる領域の状況を表示画像から認識することができ、本発明は安全運転に役立つ情報を運転者に提供できる。

(第1の実施の形態)
図1は本発明の第1の実施の形態を示すブロック図である。また、図2は第1の実施の形態の各構成要素の位置関係を示す平面図である。第1の実施の形態の車両用周囲状況表示装置は、図1に示すように、複数のカメラ11〜16と、画像合成部17,表示手段18及びデータ保持部9とを備えている。カメラ11〜16は、それぞれテレビカメラと同様に一定の周期で映像の撮影を繰り返し、撮影により得られた2次元画像の信号を出力する。この例では、図2に示すようにカメラ11〜16は車両の後部に後方を撮影できる向きで、かつほぼ一定の間隔で設置されている。また、各カメラ11〜16の撮影範囲(画角及び位置で決まる)21〜26については、互いに隣接する撮影範囲の一部分が重なるように調整してある。例えば、カメラ11の撮影範囲21とカメラ12の撮影範囲22とは図中にハッチングで表した重複領域8が重なっている。

表示手段18は、所定の平面あるいは所定の曲面(表示面)上に2次元画像を表示することが可能な表示装置であり、例えば液晶表示器やプロジェクターを利用することができる。この例では、表示手段18は車両の後部座席部19に設置してあり、図2に示すように運転者の視点29から見える位置に配置してある。従って、運転者は運転席から車両の後方を確認するときには、車両後部の窓と表示手段18の表示面とを同時に見ることができる。表示手段18の表示面の範囲は、図2に示すように、視点29から見て車両後部の窓の周辺にある車体フレーム(ピラーなど)やトランクが見える位置まで広がっている。 但し、視点29から車両後部の窓が見える範囲については、表示手段18の表示面が存在しないかもしくは光が透過するように構成してあるので、車両後部の窓から見える視界については運転者は表示手段18の表示画像とは無関係に窓を通して直接見ることができる。

画像合成部17に接続されたデータ保持部9には、カメラパラメータ,運転者視点位置,表示手段位置及び路面・仮想球面のデータが保持されている。カメラパラメータには、カメラ11〜16のそれぞれの画角,撮影方向及び設置位置の情報が含まれている。運転者視点位置としては、この例では、特定の運転者が特定の方向(後方)を向いたときの視点の位置(3次元座標)が定数として保持されている。表示手段位置としては、表示面上の各部の3次元位置の情報が含まれている。路面・仮想球面のデータとしては、路面の位置(車両に対する相対位置)及び仮想球面の位置(例えば視点からの半径R)が定数として保持されている。画像合成部17は、マイクロプロセッサなどを内蔵したディジタル処理装置であり、カメラ11〜16でそれぞれ撮影された画像を、データ保持部9に保持されているデータに基づいて加工し、複数の画像を合成した合成画像を生成し、この合成画像を表示手段18の表示面に表示する。画像合成部17が合成画像を作成する際には、視点29から見て表示手段18で表示される画像と車両の窓から見える実際の像とがほぼ一致するように工夫する。具体的には、次に説明するような処理を画像合成部17が行う。

まず、図2に示すような位置にある仮想球面27を想定し、この面に投影された合成画像を作成する。この仮想球面27は、視点29を中心として所定半径Rの面であり、車両の外側にあるものとする。前述のようにカメラ11〜16の撮影範囲21〜26は比較的大きく、隣接する範囲同士が部分的に重なっているので、カメラ11〜16で撮影された画像を仮想球面27上でつなぎ合わせようとすれば当然ながら隣接する画像同士の間で重なる部分が生じる。そこで、撮影範囲21〜26のそれぞれの一部分である画像抽出範囲31〜36の画像をそれぞれ抽出し、抽出された画像を仮想球面27上でつなぎ合わせる。つまり、互いに隣接するカメラの抽出された画像が仮想球面27上の各境界位置を挟んで互いに隣接するように画像抽出範囲31〜36を決定する。画像合成部17は、仮想球面27上の各画像抽出範囲31〜36で抽出された画像を、隣接するもの同士で連結して合成画像を作成する。実際には、全ての画像を仮想球面27に投影するのではなく、路面によって光が遮られる領域については路面上に画像を投影してこれを合成画像とする。

次に、この合成画像を表示手段18の表示面で表示するための座標変換を行う。すなわち、視点29と仮想球面27との位置関係と、視点29と表示手段18の表示面との位置関係とを考慮して、視点29から仮想球面27上の像を見た方向や大きさと視点29から表示手段18の表示面上の画像を見た方向や大きさとが一致するように座標変換する。例えば、表示手段18の表示面が仮に視点29から半径R2の球面である場合を想定すると、仮想球面27上の前記合成画像を(R2/R)の倍率で縮小すれば、表示手段18上に投影可能な画像になる。表示手段18上の画像の表示位置については、視点29と仮想球面27上の各点とを結んだ線分を想定し、前記線分と表示手段18上の表示面との交点の位置に合わせればよい。表示手段18の表示面が球面でない場合や面に傾きがあるような場合であっても、前記線分と表示面との交点の位置を考慮して座標変換を行い、画像を変形すれば、視点29から仮想球面27を見た場合の像の位置及び大きさと視点29から表示手段18の表示画像を見た場合の像の位置や大きさとが一致するように表示することができる。なお、仮想球面27上に投影された画像から表示手段18の表示面上の画像に座標変換する際に、像の方向などを補正することになるが、複数のカメラで撮影された画像を合成しているため、比較的車両の近くに存在する障害物を撮影した場合であっても、補正量は比較的小さくなり、自然に近い画像を表示できる。

(第2の実施の形態)
図3は本発明の第2の実施の形態を示すブロック図である。また、図4はこの形態の各構成要素の位置関係を示す平面図である。また、図5は表示画面に表示される画像の具体例を示す正面図である。第2の実施の形態は第1の実施の形態の変形例であり、各図において第1の実施の形態と対応する要素には同一の符号を付けて示してある。第1の実施の形態と異なる部分について以下に説明する。図3に示すように、この形態の車両用周囲状況表示装置には補正処理部6が追加されている。この補正処理部6は、複数のカメラで撮影された画像を用いて障害物の距離の測定を行い、障害物が存在する場合に前述の仮想球面27を補正するための処理を行う。図4に示すように複数のカメラ11〜16の互いに隣接するもの同士の撮影範囲21〜26は一部分が重なっているので、同じ像を複数のカメラで同時に撮影することができる。補正処理部6は、同じ像を複数のカメラで同時に撮影した複数の画像を用いて公知の画像処理(ステレオ測距)を行うことにより、像に含まれる障害物までの距離を測定する。例えば、図4(a)に示すように、仮想球面27の前後に2つの障害物(実体)28,7が存在する場合に、第1の実施の形態で説明したような処理を行って、仮想球面27上で合成画像を生成すると、運転者の視点29から見える像は図5(a)に示すようになる。なお、図5においては表示手段18の表示面の表示画像と窓から見える実体の像とを重ねて示してある。

図5(a)に示すように、仮想球面27の手前に存在する障害物28については、表示される合成画像51において、継ぎ目55の部分で部分的な画像の欠落が発生し、更に実際の像よりも若干大きく表示される。つまり、図4(b)に示すように障害物28の前面の領域61の部分は互いに隣接するカメラの画像抽出範囲31,32のいずれにも含まれていないので、表示画像から欠落することになる。また、図5(a)に示すように、仮想球面27の後ろ側に存在する障害物7については、表示される合成画像52において、継ぎ目56の近傍で部分的に同じ画像が重複し、更に実際の像よりも若干小さく表示される。つまり、図4(b)に示すように障害物7の前面の領域62の部分は互いに隣接するカメラの画像抽出範囲32,33の両方に含まれているので、同じ画像が重複して表示されることになる。そこで、障害物を検出した場合には、その部分について仮想球面27の補正を行う。例えば、図4(a)において、仮想球面27よりも近い障害物28を含む画像を撮影しているカメラ11,12の画像については、投影面を仮想球面27よりも手前の障害物28の前面に移動し、移動後の特定の投影面上に隣接する画像抽出範囲31,32の境界ができるように画像抽出範囲31,32を修正する。また、図4(a)において、仮想球面27よりも遠い障害物7を含む画像を撮影しているカメラ12,13の画像については、投影面を仮想球面27よりも後方の障害物7の前面に移動し、移動後の特定の投影面上に隣接する画像抽出範囲32,33の境界ができるように画像抽出範囲32,33を修正する。なお、矢印43,44は面位置の変化を表している。この面位置の移動量については、補正処理部6が画像から検出した各障害物までの距離に基づいて計算する。

このような面位置の補正を行ってから画像の合成を実施することにより、図5(b)に示すような合成画像が得られる。つまり、画像の部分的な欠落や重複がなくなり、画像の大きさも実際の像と同等になるので、非常に自然な画像が表示される。なお、複数画像に基づくステレオ測距を行う場合には、画像にエッジが存在しない部分では距離情報が得られないという課題がある。しかし、エッジが存在しない画像については面の補正をせずに仮想球面27上で画像を合成しても自然な画像が得られる場合が多いため問題は生じない。なおこの形態では、障害物までの距離を検出することができるので、車両から各障害物までの距離が所定以下になった場合に警報を発するように構成してある。

(第3の実施の形態)
図8は第3の実施の形態の構成を示すブロック図である。図9及び図10はこの形態の各構成要素の位置関係を示す平面図である。この形態は第1の実施の形態の変形例であり、各図において第1の実施の形態と対応する要素には同一の符号を付けて示してある。第1の実施の形態と異なる部分について以下に説明する。図8に示すように、この形態の車両用周囲状況表示装置は運転者視点位置センサ71を備えている。運転者視点位置センサ71は、図9に示すように運転者の視点29の周囲に配置された複数のカメラ72,73及び74を備えている。カメラ72,73及び74はいずれも撮像面を運転者の顔の方向に向けてあり、視点29の近傍の像を常時撮影する。また、運転者視点位置センサ71に内蔵された画像処理装置は、カメラ72,73及び74が撮影した画像を処理することにより、実際の視点29の3次元位置を測定し、同時に運転者が前を向いているか、後ろを振り返っているかを識別し、その結果を画像合成部17に知らせる。

画像合成部17は、運転者視点位置センサ71が出力する情報を利用して合成画像を生成する際の計算のパラメータを修正する。例えば、図9(a),(b)に示すように視点の動き87が発生した場合には、図9(a)に示す各カメラ11〜16の画像抽出範囲31〜36は、図9(b)に示す修正後の画像抽出範囲81〜86のように視点の動き87に合わせて修正される。また、運転者が前を向いていることを検出した場合には、図10に示すようにバックミラー(ルームミラー)75を通して自然な像が見えるように計算を行う。すなわち、視点29から仮想球面27までの半径R、並びに視点29から表示手段18の表示面までの距離については、いずれも視点29からバックミラー75の面で反射して仮想球面27又は表示手段18に至る光路の距離として計算される。このように、実際の視点29の位置を検出して表示画像の計算に反映するので、運転者が座高の違う他の運転者と交代した場合であっても自然な画像を表示できるし、同じ運転者が頭を大きく動かした場合でも同様である。従って、表示画像だけを注視する必要もなく、死角になる領域の像を含む表示画像により運転者は広い視界を確保でき、安全な運転に役立つ。

(第4の実施の形態)
図11は第4の実施の形態の構成を示すブロック図である。図12はこの形態の各構成要素の位置関係を示す平面図である。図13はこの形態におけるバックミラーの構造を示す斜視図である。この形態は第3の実施の形態の変形例であり、各図において第3の実施の形態と対応する要素には同一の符号を付けて示してある。第3の実施の形態と異なる部分について以下に説明する。図11に示すように、この形態の車両用周囲状況表示装置においては表示手段18がバックミラー91に内蔵されている。また、このバックミラー91にはステレオカメラ92が搭載されている。更に、マスク画像93を保持する機能が備わっている。また、画像合成部17はバックミラー91上の表示手段18に自然な画像が映るように前述の合成画像を生成する。

バックミラー91は図13に示すように構成されている。すなわち、バックミラー91の反射面に設けられたハーフミラー111の裏側に表示手段18が配置されている。表示手段18は発光ダイオードのような発光素子を多数組み合わせて構成してある。従って、表示手段18で表示される画像はハーフミラー111の裏から光の像として鏡面の反射像と重なって表示される。表示手段18上の画像表示が不要な領域については画像合成部17の処理によってマスクがかけられるため発光しない。従って、画像表示が不要な領域ではバックミラー91には鏡面の反射像だけが映ることになる。バックミラー91に搭載されているステレオカメラ92は、撮影用の複数のカメラと画像処理部を備えている。そして、バックミラー91側から車両後部の窓及びその周辺の映像を撮影し得られた画像を処理する。この画像処理により、バックミラー91の位置から後部窓の視界を遮る物体である運転者本人,後部座席の乗員,荷物などを認識し、それらの領域を周期的に検出する。そして、後部窓の視界を遮る物体が存在しない領域だけがマスク画像93として保持され、画像合成部17に入力される。画像合成部17は、マスク画像93を用いてその領域だけは画像が表示されないようにマスクする。従って、後部窓の視界を遮る物体が存在しない領域についてはバックミラー91上に画像は表示されず、後部窓を透過して見える実際の像だけがバックミラー91上に映る。

この形態では、運転者自身や後部座席の乗員,荷物などによってバックミラー91の死角となる領域が車内で発生する場合であっても、その領域の状況を自然な画像としてバックミラー91に表示できるので、運転者の死角を減らすことができる。なお、表示手段18を第1の実施の形態と同様に後部座席部19にも設けてもよい。これにより、運転者が前を向いているときと後ろを振り返ったときのいずれの状況においても画像の表示により運転者の死角を減らすことが可能になる。

(第5の実施の形態)
図14は第5の実施の形態の構成を示すブロック図である。図15はこの形態の各構成要素の位置関係を示す平面図である。図16は表示画面に表示される画像の具体例を示す正面図である。この形態は第1の実施の形態の変形例であり、各図において第1の実施の形態と対応する要素には同一の符号を付けて示してある。第1の実施の形態と異なる部分について以下に説明する。この形態の車両用周囲状況表示装置は、図14に示すように4つのカメラ121〜124を備えている。また、表示手段18は車両前方のピラー部125に左右一対として配置されている。また、動き解析部126が設けてある。

図15に示すように、2つのカメラ121,122は車両右側のドアミラー近傍に間隔をあけ撮像面を外側に向けて設置してあり、残り2つのカメラ123,124は車両左側のドアミラー近傍に間隔をあけ撮像面を外側に向けて設置してある。この形態の装置は、車両前方左右のピラー部125によって遮られ死角となる運転者の視野の一部をピラー部125に設置した表示手段18に表示する画像によって補助するために設けられる。表示のための画像処理の基本的な動作については前述の実施の形態と同様であるが、動き解析部126の処理が追加されている。車両が高速で移動しているような場合には、運転者の目に映る車両前側方の像は車両の進行方向と逆の方向に流れるように移動する。一方、カメラ121〜124で像を撮影してから得られた像を表示手段18で表示するまでには少なくとも画像走査の1フレーム相当以上の時間遅れが生じる。従って、仮にカメラ121〜124で撮影した画像をそのまま表示手段18に表示すると実際の像と表示される画像との間に位置ずれが生じる。この位置ずれの量は、前記時間遅れと、車両の移動速度及び各像までの距離とによって変化する。

そこで、この形態においては、動き解析部126が撮影された画像に基づいて画像の各領域毎に、例えば図16に示すような各部の動き141〜144を検出し、単位時間当たりの各部の動き(オプティカルフロー)141〜144と前記時間遅れの量とをパラメータとして計算を行い、この結果に基づいて領域毎に位置ずれの補正を行い、位置ずれの補正された領域毎の像を合成して予測画像を生成し、この予測画像を運転者の視点29から見て自然な画像となるように表示手段18上に表示する。動き解析部126は、各部の動き141〜144を検出するために、同じカメラで撮影された最新フレームの画像と1つ前のフレームの画像とを領域毎に比較してそれらの差分を調べて移動量を求める。例えば、前記時間遅れの量が3フレーム相当の場合には、各部の動き141〜144をそれぞれ3倍した移動量の補正を領域毎に行うことになる。この形態では、車両が高速で移動中の場合であっても、表示手段18によって表示される画像が実際に見える像の位置と一致するように表示することができる。

(第6の実施の形態)
図17は第6の実施の形態の装置の構成を示すブロック図である。図18はこの形態の各構成要素の位置関係を示す平面図である。この形態は第5の実施の形態の変形例であり、各図において第5の実施の形態と対応する要素には同一の符号を付けて示してある。第5の実施の形態と異なる部分について以下に説明する。この形態では、図17及び図18に示すように多数のカメラ1501〜1512が車両の外側に設置してあり、これらのカメラ1501〜1512が撮影した画像を画像合成部17が合成して表示手段18に表示する。表示手段18は、この形態ではダッシュボード・ピラー部151に設置されている。すなわち、左右両側のピラー部だけでなくダッシュボードの部分にも表示手段18が設置されている。従って、ピラーによって遮られる死角領域だけでなく、ボンネットやダッシュボードに遮られて死角領域となる車両周辺の状況についても、撮影された画像を合成して表示することにより運転者の視点29から確認できるようになる。従って、この車両用周囲状況表示装置を搭載することにより、仮にピラーが太くなったり、ダッシュボードやボンネットの位置が高くなっても運転者の視界を十分に確保することが可能になるので、車両をデザインする上で自由度が高くなり、車両強度の点でも利点が生じる。また、特殊環境で使用される作業車のように窓を大きくできない車両に搭載すれば大きな利点がある。

ところで、図18に示すように互いに隣接するカメラの間隔161が比較的大きい場合には、車両のすぐ近くに存在する障害物162が子供のように小さい場合には、この障害物162がいずれのカメラにも全く写らない可能性が高くなる。そこで、例えば人物の最小の直径を40cmと考えて、前方を撮影するカメラの間隔を40cm以下にするのが望ましい。これにより、非常に近い障害物162であっても人物が全く写らないという状況をほぼ回避できる。また、車両前側方などの場合には、図18に示すように運転者の視点から見たカメラの距離の投影面上で間隔164が40cm以下であれば、人物である障害物163が全く写らないという状況を回避でき、この場合の実際のカメラの間隔165は40cmよりも大きくても良い。このようなカメラの間隔の設定については、前述の実施の形態のように車両の後方を撮影する場合にも同様に適用できる。

なお、表示手段18を設置する位置については、後部座席部19の代わりに運転席と後部座席との間であってもよい。その場合には、例えば運転席と後部座席との間に薄い煙幕を発生し、この部分に映像をプロジェクターを使って投射しても良い。また、実際に使用する表示手段18については、座席やダッシュボードやピラー部に一定間隔で埋め込んで配置した多数の発光ダイオードで構成しても良いし、座席やダッシュボードやピラー部にプロジェクターで投射するように構成しても良い。また、カメラの配置については、水平方向だけでなく垂直方向に複数のカメラを配置しても良い。

本発明の車両用周囲状況表示装置は、運転者の視点から表示手段の表示面を見た方向の自然な画像を合成画像として得ることが可能であるため、運転者は表示画像だけを注視しなくても車両周囲の死角になる領域の状況を表示画像から認識することができ、本発明は安全運転に役立つ情報を運転者に提供できるという効果を有し、運転を支援する画像情報を表示する車両用周囲状況表示装置等として有用である。

第1の実施の形態の構成を示すブロック図である。 第1の実施の形態の各構成要素の位置関係を示す平面図である。 第2の実施の形態の構成を示すブロック図である。 第2の実施の形態の各構成要素の位置関係を示す平面図である。 表示画面に表示される画像の具体例を示す正面図である。 視点とカメラと障害物との位置関係の例を示す平面図である。 表示画面に表示される画像の具体例を示す正面図である。 第3の実施の形態の構成を示すブロック図である。 第3の実施の形態の各構成要素の位置関係を示す平面図である。 第3の実施の形態の各構成要素の位置関係を示す平面図である。 第4の実施の形態の構成を示すブロック図である。 第4の実施の形態の各構成要素の位置関係を示す平面図である。 第4の実施の形態におけるバックミラーの構造を示す斜視図である。 第5の実施の形態の構成を示すブロック図である。 第5の実施の形態の各構成要素の位置関係を示す平面図である。 表示画面に表示される画像の具体例を示す正面図である。 第6の実施の形態の構成を示すブロック図である。 第6の実施の形態の各構成要素の位置関係を示す平面図である。

符号の説明

6 補正処理部
7,28 障害物
8 重複領域
9 データ保持部
11〜16 カメラ
17 画像合成部
18 表示手段
19 後部座席部
21〜26 撮影範囲
27 仮想球面
29 視点
31〜36 画像抽出範囲
41,42 検知された障害物
43,44 面位置の変化
51,52,53,54 合成画像
55,56 継ぎ目
61,62 領域
71 運転者視点位置センサ
72,73,74 カメラ
75 バックミラー
81〜86 修正後の画像抽出範囲
87 視点の動き
91 バックミラー
92 ステレオカメラ
93 マスク画像
111 ハーフミラー
121〜124 カメラ
125 ピラー部
126 動き解析部
141〜144 各部の動き
151 ダッシュボード・ピラー部
1501〜1512 カメラ
161,164,165 間隔
162,163 障害物

Claims (8)

  1. 車両周辺の像を撮影する複数の撮像手段と、前記撮像手段によって得られる画像に基づいて運転を支援する画像情報を表示する表示手段とを備える車両用周囲状況表示装置であって、
    前記複数の撮像手段のそれぞれの位置,画角及び姿勢を含む第1の情報と、前記表示手段の少なくとも表示面の位置を表す第2の情報と、運転者の視点の位置を表す第3の情報とを利用して、
    運転者の視点の位置を表す前記第3の情報と表示面の位置を表す前記第2の情報から、運転者の視点と表示装置の各画素を結ぶ線分方向を算出し、前記複数の撮像手段のそれぞれの位置,画角及び姿勢を含む前記第1の情報に基づいて、複数の撮像手段から得られる画像データの中から、前記各画素を結ぶ線分方向にもっとも近い画素データを抽出し、表示装置に表示する画像全体を合成することによって、
    前記複数の撮像手段でそれぞれ得られた複数の画像を加工して運転者の視点から前記表示手段の表示面を見た方向の合成画像を生成する画像合成手段を具備することを特徴とする車両用周囲状況表示装置。
  2. 請求項1に記載の車両用周囲状況表示装置において、
    前記画像合成手段は、前記視点の位置から所定の半径の位置にある車両外側の仮想球面を想定し、各々の撮像手段で得られた画像を前記仮想球面上に投影した状態で、互いに隣接する画像間の重なりがなくなる位置にそれぞれ境界を割り当て、各々の撮像手段で得られた画像から前記境界の内側にある画像領域をそれぞれ抽出し、抽出された画像領域を互いに連結して構成した合成画像を、前記視点と前記仮想球面と前記表示手段の表示面との位置関係に基づいて座標変換し、少なくとも大きさ及び表示位置を修正して前記表示手段に出力することを特徴とする車両用周囲状況表示装置。
  3. 請求項2に記載の車両用周囲状況表示装置において、
    前記画像合成手段は、少なくとも1つの障害物を検出した場合には、前記複数の撮像手段で得られた画像の重なり部分の情報に基づいて、障害物までの距離に関する測定を実施し、前記障害物が含まれる画像については、前記仮想球面の代わりに前記障害物の位置を基準とした特定面を想定し、前記特定面上で互いに隣接する画像間の重なりがなくなる位置に前記境界を割り当てることを特徴とする車両用周囲状況表示装置。
  4. 請求項1に記載の車両用周囲状況表示装置において、
    運転者の実際の視点の位置を検出する視点検出手段を備え、
    前記画像合成手段は、前記視点検出手段の検出結果に基づいて修正した前記第3の情報を利用して前記合成画像を生成することを特徴とする車両用周囲状況表示装置。
  5. 請求項2に記載の車両用周囲状況表示装置において、
    前記画像合成手段は、近傍に配置されるバックミラーで反射して前記視点から見える前記仮面上の合成画像を座標変換して前記表示手段に出力することを特徴とする車両用周囲状況表示装置。
  6. 請求項5に記載の車両用周囲状況表示装置において、
    前記画像合成手段は、前記視点から前記バックミラーで反射し、車両後部の窓を透過して直接見える第1の領域とそれ以外の第2の領域とを識別し、前記第1の領域に相当する画像はマスクして、前記第2の領域に相当する画像だけを前記表示手段に出力することを特徴とする車両用周囲状況表示装置。
  7. 請求項2に記載の車両用周囲状況表示装置において、
    前記画像合成手段は、前記各撮像手段が像を撮影してから画像が前記表示手段に表示されるまでの遅れ時間の情報を利用し、前記遅れ時間によって発生する表示画像の位置ずれを計算して前記表示手段に出力する画像を補正することを特徴とする車両用周囲状況表示装置。
  8. 請求項7に記載の車両用周囲状況表示装置において、
    前記画像合成手段は、撮影された画像のフレーム間の違いに基づいて画像内各部の単位時間当たりの動き量を検出し、その検出結果から前記遅れ時間によって発生する表示画像の位置ずれを求めることを特徴とする車両用周囲状況表示装置。
JP2004324108A 2004-11-08 2004-11-08 車両用周囲状況表示装置 Active JP4583883B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004324108A JP4583883B2 (ja) 2004-11-08 2004-11-08 車両用周囲状況表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004324108A JP4583883B2 (ja) 2004-11-08 2004-11-08 車両用周囲状況表示装置

Publications (2)

Publication Number Publication Date
JP2006135797A JP2006135797A (ja) 2006-05-25
JP4583883B2 true JP4583883B2 (ja) 2010-11-17

Family

ID=36728897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004324108A Active JP4583883B2 (ja) 2004-11-08 2004-11-08 車両用周囲状況表示装置

Country Status (1)

Country Link
JP (1) JP4583883B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329611A (ja) * 2006-06-07 2007-12-20 Denso Corp 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法
JP4497133B2 (ja) 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
WO2008044589A1 (fr) * 2006-10-11 2008-04-17 Panasonic Corporation Appareil et procédé d'affichage vidéo
JP2008141578A (ja) * 2006-12-04 2008-06-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4849333B2 (ja) * 2006-12-04 2012-01-11 株式会社デンソー 車両用視覚補助装置
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP4862775B2 (ja) * 2007-03-26 2012-01-25 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP2009067334A (ja) * 2007-09-17 2009-04-02 Denso Corp 車両安全装置
JP4412380B2 (ja) 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5300443B2 (ja) 2008-12-01 2013-09-25 富士通テン株式会社 画像処理装置
JP2012004809A (ja) * 2010-06-16 2012-01-05 Denso Corp 撮像システム
DE112013002636B4 (de) 2012-05-22 2019-05-09 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung
JP6364702B2 (ja) 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP6091977B2 (ja) * 2013-04-22 2017-03-08 日立建機株式会社 建設機械
WO2015013311A1 (en) * 2013-07-22 2015-01-29 Johnson Controls Technology Company Vehicle imaging system
KR102039601B1 (ko) * 2013-12-09 2019-11-01 스크린엑스 주식회사 다면 상영관의 영상 생성 방법 및 이를 이용한 영상 관리 장치
US9756319B2 (en) * 2014-02-27 2017-09-05 Harman International Industries, Incorporated Virtual see-through instrument cluster with live video
DE102014204303A1 (de) * 2014-03-10 2015-09-10 Robert Bosch Gmbh Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild
JP6582644B2 (ja) 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
JP6582642B2 (ja) 2014-08-11 2019-10-02 セイコーエプソン株式会社 車両用撮像装置、車両用撮像表示システム、及び車両
WO2017158829A1 (ja) * 2016-03-18 2017-09-21 三菱電機株式会社 表示制御装置および表示制御方法
JP2017183914A (ja) * 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 画像処理装置
WO2018116588A1 (ja) * 2016-12-22 2018-06-28 カルソニックカンセイ株式会社 画像表示制御装置
JP6433537B2 (ja) * 2016-12-22 2018-12-05 カルソニックカンセイ株式会社 画像表示制御装置
JP6470334B2 (ja) 2017-03-15 2019-02-13 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6453929B2 (ja) * 2017-03-15 2019-01-16 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002104117A (ja) * 2000-10-03 2002-04-10 Denso Corp 車両用運転支援システム
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
JP2003259355A (ja) * 2002-03-01 2003-09-12 Mitsubishi Electric Corp 車両周辺監視装置
JP2004064131A (ja) * 2002-07-24 2004-02-26 Honda Motor Co Ltd 車両用表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05139210A (ja) * 1991-11-25 1993-06-08 Nippon Steel Corp 車両用後方視界表示装置
JPH0962861A (ja) * 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd パノラマ映像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002104117A (ja) * 2000-10-03 2002-04-10 Denso Corp 車両用運転支援システム
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
JP2003259355A (ja) * 2002-03-01 2003-09-12 Mitsubishi Electric Corp 車両周辺監視装置
JP2004064131A (ja) * 2002-07-24 2004-02-26 Honda Motor Co Ltd 車両用表示装置

Also Published As

Publication number Publication date
JP2006135797A (ja) 2006-05-25

Similar Documents

Publication Publication Date Title
US8988493B2 (en) Rear-view multi-functional camera system with driving corridor monitoring features
JP4355341B2 (ja) 深度データを用いたビジュアルトラッキング
DE60224473T2 (de) Fahrhilfssystem
CN1160210C (zh) 驾驶提醒装置
US8502860B2 (en) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US7554573B2 (en) Drive assisting system
JP3773433B2 (ja) 移動体の周囲監視装置
JP2009081666A (ja) 車両用周辺監視装置および映像表示方法
US6801127B2 (en) Driving assistance display apparatus
US20170305347A1 (en) Vehicle vision system using kinematic model of vehicle motion
US20060119472A1 (en) Driving support apparatus and driving support method
EP1916846A1 (en) Device and method for monitoring vehicle surroundings
JP4323377B2 (ja) 画像表示装置
US20110216194A1 (en) Camera calibration apparatus
CN1878299B (zh) 图像显示装置和方法
JP3511892B2 (ja) 車両用周囲モニタ装置
JP2009060499A (ja) 運転支援システム及び連結車両
JP5049300B2 (ja) 障害物検出表示装置
DE10296593B4 (de) Fahrunterstützungsvorrichtung
EP2410742A1 (en) Image processing apparatus and monitoring system
RU147024U1 (ru) Система заднего обзора для транспортного средства
JP4780385B2 (ja) 周辺監視システム
JP2006287892A (ja) 運転支援システム
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
ES2533594T3 (es) Sistemas de obtención de imágenes de visión trasera para vehículo

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070910

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100901

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3