JP7096662B2 - 画像表示装置及び駐車支援システム - Google Patents

画像表示装置及び駐車支援システム Download PDF

Info

Publication number
JP7096662B2
JP7096662B2 JP2017233916A JP2017233916A JP7096662B2 JP 7096662 B2 JP7096662 B2 JP 7096662B2 JP 2017233916 A JP2017233916 A JP 2017233916A JP 2017233916 A JP2017233916 A JP 2017233916A JP 7096662 B2 JP7096662 B2 JP 7096662B2
Authority
JP
Japan
Prior art keywords
image
vehicle
pseudo
bird
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017233916A
Other languages
English (en)
Other versions
JP2019103044A (ja
Inventor
孝信 長島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2017233916A priority Critical patent/JP7096662B2/ja
Publication of JP2019103044A publication Critical patent/JP2019103044A/ja
Application granted granted Critical
Publication of JP7096662B2 publication Critical patent/JP7096662B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像表示装置及び駐車支援システムに関する。
車両(以下、自車という。)の周囲に複数のカメラを設け、これら複数のカメラで撮影された自車の周辺の画像をそれぞれ俯瞰画像に視点変換した上で、自車を中心とした全周に連なる1枚の俯瞰画像(全周の俯瞰画像)に合成する技術がある。この技術によれば、自車の近傍の様子を全周に亘って、1枚の画像で運転者に把握させることができるとともに、自車と周囲との距離感の把握性に優れている。
ここで、全周の俯瞰画像の中心部は、自車を模したイラストなど、自車を上方から見下ろしたと仮定したときに見えると想定される疑似車両画像が嵌め込まれるため、自車の真下の領域については何も写らない。
しかし、自車の真下の領域の画像を見たい場合がある。例えば、時間貸しの駐車場においては、各駐車区画に、料金未払いで駐車区画から離脱するのを防ぐための可動式のフラップが設けられており、駐車区画に駐車する際には、自車とこのフラップとの位置関係に注意を払うのが一般的である。そして、駐車区画に進入していく過程で、フラップは自車の真下に隠れてしまうため、全周の俯瞰画像を見ても、自車とフラップとの位置関係を十分に確認することができないまま駐車を完了することになる。
そこで、画像表示装置に全周の俯瞰画像を表示するに際して、その俯瞰画像(現在の俯瞰画像)よりも以前の時刻(過去)に、自車によって隠されていない状態で撮影された画像を用いて自車の真下の領域に対応した俯瞰画像(過去の俯瞰画像)を生成しておき、現在の俯瞰画像における自車の疑似車両画像の部分に、過去の俯瞰画像を嵌め合わせる技術が提案されている(例えば、特許文献1,2参照)。
特開2002-354467号公報 特開2014-036326号公報
しかし、上記特許文献1,2の技術は、過去の俯瞰画像を生成するにあたって、車載カメラで撮影された画像を常時記憶しているため、画像を記憶するための記憶部の記憶容量を大きく確保する必要がある。
本発明は上記事情に鑑みなされたものであって、全周の俯瞰画像のうち自車の真下の領域については、記憶部において過去に記憶された画像に基づいて表示するに際して、過去の画像の記憶量を低減することができる画像表示装置及び画像表示装置を備えた駐車支援システムを提供することを目的とする。
本発明の第1は、車両の周辺領域を撮影する複数の車載カメラから入力された画像に基づいて、前記車両の近傍の全周に亘る俯瞰画像を生成するとともに、前記俯瞰画像における前記車両に対応する領域に、前記車両を模した疑似車両画像を重畳して出力する俯瞰画像生成部と、前記俯瞰画像のうち、少なくとも、前記車両の駐車目標として予め設定された駐車範囲と重なった部分に対応した画像を、経時的に新しい画像に更新しながら記憶する記憶部と、前記疑似車両画像が重畳された俯瞰画像のうち、前記疑似車両画像に対応する部分の、前記駐車範囲に重なる部分は、前記記憶部に記憶された最新の画像を重畳して疑似的に透過させ、かつ、前記疑似車両画像が重畳された俯瞰画像のうち、前記疑似車両画像に対応する部分の、前記駐車範囲に重ならない部分は、前記記憶部に記憶された画像を重畳させない、疑似透過俯瞰画像を生成する画像合成部と、前記画像合成部で生成された疑似透過俯瞰画像を表示する表示部と、を備えた画像表示装置である。
本発明の第2は、本発明に係る画像表示装置と、前記車載カメラと、前記車両が駐車する目標となる、前記車両の外形と略同じ大きさの前記駐車範囲を設定する駐車範囲設定装置と、を備えた駐車支援システムである。
本発明に係る画像表示装置及び駐車支援システムによれば、全周の俯瞰画像のうち自車の真下の領域については、記憶部において過去に記憶された画像に基づいて表示するに際して、過去の画像の記憶量を低減することができる。
本発明の一実施形態に係る駐車支援システムを示すブロック図である。 駐車領域における駐車区画及び駐車範囲を示す模式図である。 俯瞰画像生成部により生成された俯瞰画像の一例を示す図である。 俯瞰画像の範囲に駐車範囲が写り込み始めた状態の一例を示す図である。 図4に示した状態から、俯瞰画像と駐車範囲との重なりの範囲が広くなった状態の一例を示す図である。 疑似透過俯瞰画像において、不透明の疑似車両画像を透過性の疑似車両画像とした一例の図である。 車両が駐車範囲に完全に重なった状態における疑似透過俯瞰画像を示す図である。 画像表示装置及び駐車支援システムの処理の流れを示すフローチャートである。 充電スポット(の画像)の外形を囲む矩形の枠状のマークを付して強調した疑似透過俯瞰画像を示す図である。 駐車範囲の内部に位置する路面に、駐車区画を特定する番号が後ろ向きに記載されている状態での疑似透過俯瞰画像を示す図である。 駐車範囲の内部に位置する路面に記載された駐車区画を特定する番号を前向きに回転させた疑似透過俯瞰画像を示す図である。 疑似透過俯瞰画像において、使用期限を超えた過去の画像に対応した部分から順次、過去の画像から元の疑似車両画像だけの表示に変っていく様子を示す図である。
以下、本発明に係る画像表示装置及び駐車支援システムの具体的な実施の形態について、図面を参照して説明する。図1は、本発明の一実施形態である駐車支援システム100を示すブロック図、図2は、駐車領域における駐車区画400及び駐車範囲410を示す模式図である。
<駐車支援システムの構成>
図示の駐車支援システム100は、車載カメラ10と、駐車範囲設定装置20と、位置検出装置30と、車両制御装置40と、画像表示装置70と、を備えている。
車載カメラ10は、車両200に設けられたカメラであり、例えば、前カメラ11と、後カメラ12と、右カメラ13と、左カメラ14と、によって構成されている。
図2に示すように、前カメラ11は、車両200の前端部である例えばフロントグリル内に設けられて、車両200の主に前方の路面等を含む前方領域を撮影する。後カメラ12は、車両200の後端部である例えば後ろナンバープレートの上方に設けられて、車両200の主に後方の路面等を含む後方領域を撮影する。
右カメラ13は、車両200の右側部である例えば右ドアミラーの下部に設けられて、車両200の主に右側方の路面等を含む右側方領域を撮影する。左カメラ14は、車両200の左側部である例えば左ドアミラーの下部に設けられて、車両200の主に左側方の路面等を含む左側方領域を撮影する。
なお、各カメラ11~14はそれぞれ広角レンズを備えていて、前カメラ11で撮影された前方領域と右カメラ13で撮影された右側方領域とは一部において重複し、前カメラ11で撮影された前方領域と左カメラ14で撮影された左側方領域とは一部において重複する。同様に、後カメラ12で撮影された後方領域と右カメラ13で撮影された右側方領域及び左カメラ14で撮影された左側方領域とは、それぞれ一部において重複する。
上述したカメラ11~14の設置位置は一例であり、上述した各位置に限定されない。また、本実施形態の駐車支援システム100は、車載カメラ10として4つのカメラ11~14を有するが、車載カメラ10の数は4つに限定されず、1つ以上であればよい。
駐車範囲設定装置20は、車載カメラ10の撮影範囲において駐車領域(1つ以上の駐車区画(車両1台分の駐車領域として白線等により予め区切られた領域)を有する駐車場等の総称)を検出した場合に、車両200の大きさと車載カメラ10で検出した駐車領域における空間(他車両や障害物が存在しない空いた領域)の大きさとの対比により、車両200を駐車することができる1つ以上の駐車区画を運転者に提示する。提示は、例えば、後述する画像表示装置70の表示部75に表示することで行われる。
このとき、例えば図2に示すように、他車300で占められておらず駐車することができる駐車区画400が2つ以上検出されたとき(例えば、図2に示す駐車区画400(A),400(B),400(C)が検出されている)は、駐車範囲設定装置20は、その2つ以上の駐車区画400を運転者に提示し、そのうちの1つを運転者が選択するのを待つ。選択は、表示部75がタッチパネル式の表示部の場合は、表示部75の画面をタッチすることで行われる。表示部75がタッチパネル式でない場合は、画像表示装置70に備えられた、図示しない選択用のボタン等によって行われる。
運転者により1つの駐車区画400(例えば駐車区画400(B))が選択されると、駐車範囲設定装置20は、選択された駐車区画400の区画内に、車両200の外形と略同じ大きさの駐車範囲410を設定する。この駐車範囲410は、車両200を駐車区画400に駐車させて最終的に停止したときに、車両200と略重なる例えば矩形状の領域であり、駐車のために車両200を誘導する目標である。なお、駐車範囲410は、駐車することができるとして選択した駐車区画400に設定され、車両200はその駐車区画400の区画内に停止するため、駐車範囲410は駐車区画400よりも小さい。
一方、駐車することができる駐車区画400が1つしか検出されなかったときは、駐車範囲設定装置20は、その1つの駐車区画400を運転者に提示し、運転者の同意が入力されるのを待つ。同意の入力は、表示部75がタッチパネル式の表示部の場合は、表示部75の画面をタッチすることで行われる。表示部75がタッチパネル式でない場合は、画像表示装置70に備えられた、図示しない選択用のボタン等によって行われる。そして、運転者により同意が入力されたときは、駐車範囲設定装置20は、同意が入力された駐車区画400の区画内に、車両200の外形と略同じ大きさの駐車範囲410を設定する。
なお、いずれの場合も、設定される駐車範囲410は駐車区画400の区画内の幅方向において、真ん中に設定されるとは限らない。すなわち、両隣の駐車区画400,400に既に駐車されている他車両との間に形成される隙間が、例えば左右均等になるよう駐車範囲410を設定し、又は例えば運転席側の隙間が助手席側の隙間より広くなるように駐車範囲を設定する。
位置検出装置30は、車両200の現在位置を検出する。位置検出装置30は、例えば、公知のGPS装置などを適用することができる。車両200がカーナビゲーション装置を備えているときは、そのカーナビゲーション装置に備えられているGPS装置等の位置検出装置を位置検出装置30として適用することもできる。
車両制御装置40は、車載カメラ10で撮影された画像や、その他のセンサ情報に基づいて、車両の駆動、制動、操舵等の運転状態を制御する。車両制御装置40は、運転状態の制御により、車両200の自動運転などを行う。
<画像表示装置の構成>
画像表示装置70は、本発明に係る画像表示装置の一実施形態である。画像表示装置70は、予測経路算出部71と、俯瞰画像生成部72と、画像メモリ73(記憶部)と、画像合成部74と、表示部75と、を備えている。
予測経路算出部71は、車両200の現在位置から、設定された駐車目標である駐車範囲410に車両200を導くために、これから採るべき経路(予測経路)M(図2参照)を算出する。車両制御装置40が車両200を自動運転するものであるときは、車両制御装置40は、予測経路Mに沿って車両200が進むように、車両200の駆動、制動、操舵を制御する。
俯瞰画像生成部72は、4つのカメラ11~14からそれぞれ入力された画像に基づいて、図3に示すように、車両200の近傍の全周に亘る俯瞰画像110を生成するとともに、俯瞰画像110における車両200に対応する領域に、車両200を模した疑似車両画像120を重畳して出力する。疑似車両画像120は不透明である。
ここで、俯瞰画像110は、疑似車両画像120よりも前方の部分が、前カメラ11で撮影された前方領域の俯瞰画像Pfに対応し、疑似車両画像120よりも後方の部分が、後カメラ12で撮影された後方領域の俯瞰画像Pbに対応し、疑似車両画像120よりも右側方の部分が、右カメラ13で撮影された右側方領域の俯瞰画像Prに対応し、疑似車両画像120よりも左側方の部分が、左カメラ14で撮影された左側方領域の俯瞰画像Plに対応している。
なお、俯瞰画像110は、各カメラ11~14でそれぞれ撮影された画像のうち、車両200の近傍の範囲の画像部分だけで形成されている。つまり、俯瞰画像110は、各カメラ11~14で撮影された範囲のうちの、車両200の近傍の一部のみである。これを図1において示すと、例えば前カメラ11は、車両の前カメラ11よりも前方に存在する全ての駐車区画400を撮影範囲に収めているため、全ての駐車区画400の画像は、撮影された前方領域の画像に存在する。しかし、俯瞰画像110の範囲は図1の二点鎖線で囲まれた内側の範囲だけであるため、俯瞰画像110には駐車区画400は1つも写っていない。
画像メモリ73は、俯瞰画像110のうち、駐車範囲設定装置20により予め設定された駐車範囲410の内部に対応した画像を、経時的に新しい画像に更新しながら記憶する。つまり、俯瞰画像110の範囲に駐車範囲410が写り込んできたときは、その駐車範囲410の画像を記憶する。そして、写り込んで記憶された駐車範囲410の画像は、順次新しく撮影された画像に置き換えられて更新される。
ただし、車両200は移動しながら各カメラ11~14が撮影しているため、俯瞰画像110の範囲に写り込む駐車範囲410の部分は、撮影される都度、変化する。したがって、新しい画像に置き換えられて更新されるのは、経時的に新しい画像が存在する部分についてだけであり、記憶されている画像よりも新たな画像がない部分は、置き換えられることなく画像メモリ73に記憶された状態で保持される。
例えば、車両200が図2に示す状態にあるときは、駐車範囲410は俯瞰画像110の範囲に無いため、俯瞰画像110の範囲に駐車範囲410が写り込むことはなく、したがって、画像メモリ73には、駐車範囲410の画像(俯瞰画像)は記憶されない。
一方、車両200が、図2に示した予測経路Mに沿った、駐車範囲410に向かう走行が進むと、例えば図4に示すように、俯瞰画像110の範囲に駐車範囲410が写り込み始める。つまり、図4に示した状態では、画像メモリ73は、俯瞰画像110のうち、駐車範囲410の前端部410Aと重なった部分の画像110Aを記憶する。
この後、車両200は図5に示した状態に進み、俯瞰画像110のうち、駐車範囲410の前部410Bと重なった部分の画像110Bを、画像メモリ73は記憶する。このとき、図5よりも経時的に過去となる図4に示した状態において画像メモリ73に記憶された画像110Aは、経時的に新しい画像110Bによって置き換えられ更新される。
一方、経時的に過去に記憶された画像110Aのうち、図5に示した状態において車両200と重なる範囲410Xは俯瞰画像110が形成されないため、経時的に新しい画像110Xが存在しない。したがって、この範囲410Xの画像110Xは更新されずに、画像メモリ73に記憶されたままとなる。
なお、車両200と重なる範囲410Xを厳密に適用すると、更新する範囲と更新しない範囲との境界線の形状が複雑になって処理が煩雑になり処理速度を速くする上で障害になる恐れがある。したがって、実際に適用される処理においては、境界線を例えば一定の直線で近似して、更新する範囲と更新しない範囲とを切り分ければよい。
画像合成部74は、図3に示した疑似車両画像120が重畳された俯瞰画像110のうち、疑似車両画像120に対応する部分の、駐車範囲410に重なった部分は、各部分ごとに最新の画像として画像メモリ73に記憶された過去の画像110A,110B,…を重畳させ、かつ、疑似車両画像120が重畳された俯瞰画像110のうち、疑似車両画像120に対応する部分の、駐車範囲410に重ならない部分は、画像メモリ73に記憶された画像を重畳させずに疑似車両画像120をそのまま適用した疑似透過俯瞰画像150を生成する。
つまり、画像合成部74により生成される疑似透過俯瞰画像150は、図6に示すように、現在の俯瞰画像110における疑似車両画像120以外の部分は、リアルタイムに撮影されている画像(俯瞰画像)で形成され、疑似車両画像120の部分は、現在よりも過去に撮影され画像メモリ73に記憶されている駐車範囲410の各部分ごとの画像(俯瞰画像)110A,110B,110C,110D,…が順次重畳して形成されている。
この結果、疑似車両画像120の部分は、リアルタイムの画像ではない過去の画像110A,110B,110C,110D,…ではあるが、疑似車両画像120を透過して路面が見えているように、運転者に認識させることができる。つまり、疑似透過俯瞰画像150は、車両200を疑似的に透過させた俯瞰画像である。
なお、これらの過去の画像110A,110B,…の間では、撮影のタイミング、撮影したときの車両200の位置など異なるため、画像110A,110B,…間では、明るさや色調に差異が生じるが、画像合成部74は、これらの画像110A,110B,…間で、明るさや色調が概略一致するように信号処理する。これにより、疑似透過俯瞰画像150において、パッチワークのように繋ぎ合わされた複数の過去の画像110A,110B,…間での明るさ、色調が略一致し、繋ぎ合わされた画像であることを、運転者に認識させ難くすることができる。
なお、最終的に車両200が駐車範囲410に完全に重なって停止した状態では、疑似車両画像120の全範囲が駐車範囲410と重なるため、疑似透過俯瞰画像150は、疑似車両画像120の全体が透過しているように見える俯瞰画像となる。
しかし、車両200が駐車範囲410に完全に重なる以前の状態では、疑似車両画像120の部分のうち、駐車範囲410と重なった部分だけに過去の画像110A,110B,…が重畳される。そして、疑似透過俯瞰画像150は、疑似車両画像120の部分のうち駐車範囲410と重なっていない部分は、過去の画像110A,110B,…が重畳せずに、疑似車両画像120のままで維持されたものとなる。
表示部75は、画像合成部74で生成された疑似透過俯瞰画像150を表示する。なお、疑似透過俯瞰画像150において、駐車範囲410と重なった疑似車両画像120の部分については、不透明の疑似車両画像120にそのまま過去の画像110A,110B,…を重畳すると、表示部75に表示されたとき、過去の画像110A,110B,…が見え難くなったり、疑似車両画像120の輪郭線が多かったりして、視認性が低い可能性がある。
そこで、画像合成部74は、疑似車両画像120に過去の画像110A,110B,…が重畳する部分については、疑似車両画像120を、図6に示すように、例えば、車体のウインドウやドア等の輪郭線が無く、車体の外形輪郭線とタイヤの模式図だけで単純化し、輪郭線の内側領域を透明にした透過性の疑似車両画像120′に変更してもよい。これにより、疑似透過俯瞰画像150を表示部75に表示したとき、疑似車両画像120′に重畳した過去の画像110A,110B,…の視認性を向上させることができる。
車両200が駐車範囲410に完全に重なって停止した状態では、図7に示すように、疑似車両画像120′の部分の全体に、過去の画像110A,110B,…が重畳した疑似透過俯瞰画像150が表示部75に表示される。
<作用>
図8は、図1に示した画像表示装置70及び駐車支援システム100の処理の流れを示すフローチャートである。駐車支援システム100は、車載カメラ10が車両の周辺を常に撮影し(図8においてステップ1(S1))、駐車範囲設定装置20が車載カメラ10が撮影した画像に基づいて駐車場を検出する(S2)と、駐車可能の駐車区画400を運転者に提示し、運転者の選択に従って選択された駐車区画400に駐車範囲410を設定する(S3)。
駐車範囲設定装置20により駐車範囲410が設定されると、予測経路算出部71が駐車範囲410までの予測経路Mを算出する(S4)とともに、俯瞰画像生成部72が各カメラ11~14により撮影された各領域画像に基づいて、車両200の近傍範囲に対応した俯瞰画像110を生成する(S5)。この俯瞰画像110には、疑似車両画像120が重畳されている。そして、表示部75には、疑似車両画像120が重畳されている俯瞰画像110が表示される(S5)。
予測経路算出部71が予測経路Mを算出すると、車両制御装置40が予測経路Mに沿って車両200を移動させるように車両200を制御し、車両200はその制御に従って駐車範囲410に向かって移動する(S6)。
車両200が移動していく過程で、俯瞰画像110に駐車範囲410が写り込む(S7においてYES)と、画像メモリ73に、その写り込んだ駐車範囲410の画像(俯瞰画像)が記憶される(S8)。なお、俯瞰画像110の範囲に写り込む駐車範囲410は、駐車範囲410の全体ではないため、画像メモリ73には、その写り込んだ部分だけがトリミングされて記憶される。
以後、車両200が駐車範囲410に完全に重なって停止するまで、俯瞰画像110に写り込んだ駐車範囲410の画像が更新されながら画像メモリ73に記憶される。したがって、画像メモリ73に記憶された駐車範囲410の画像は、その駐車範囲の部分ごとに記憶された時刻が異なることになる。
なお、画像メモリ73に記憶される更新の時間間隔は、カメラ11~14の撮影間隔に対応したものでもよいし、適切な時間間隔に間引いて記憶してもよい。また、車両200の速度に応じて変化させてもよい。例えば、車両200の速度が速いときは単位時間当たりの車両200の移動距離が長くなるため、更新の時間間隔を短くし、車両200の速度が遅いときは単位時間当たりの車両200の移動距離が短くなるため、更新の時間間隔を長くすればよい。いずれの場合も、少なくとも、画像メモリ73に記憶される駐車範囲410の画像に記憶漏れの部分が発生しなければよい。
車両200の移動が進み、図6に示すように、車両200が駐車範囲410に重なり始めると、すなわち、俯瞰画像110における疑似車両画像120が駐車範囲410に重なり始めると、画像合成部74が、その重なった部分に、画像メモリ73に記憶されている駐車範囲410の過去の画像110A,110B,…を重畳させた疑似透過俯瞰画像150を生成して、表示部75はその疑似透過俯瞰画像150を表示する(S9)。
このとき、画像合成部74は、重なった部分については不透明な疑似車両画像120をマスクし、その不透明な疑似車両画像120に代えて、単純化した疑似車両画像120′に切り替えている。
時間の経過に従って車両200と駐車範囲410とが重なる範囲は大きくなり、その重なり範囲が大きくなるに従って、表示部75には、重なった範囲での透明な疑似車両画像120′とその疑似車両画像120′に重畳した駐車範囲410の過去の画像110A,110B,…との範囲が広がっていく疑似透過俯瞰画像150が表示される。
そして、車両200が駐車目標である駐車範囲410に完全に重なった状態で駐車完了となり、車両は停止する(S10)。このとき、表示部75には、図7に示すように、俯瞰画像110における疑似車両画像120が全て単純化された疑似車両画像120′になって、その疑似車両画像120′に、平面視で車両200に隠れた駐車範囲410の、隠れていなかったときに撮影された過去の画像110A,110B,…が重畳した疑似透過俯瞰画像150が表示される。
<効果>
以上のように、本実施形態の画像表示装置70及び駐車支援システム100によると、図7に示すように、表示部75に表示された疑似透過俯瞰画像150を見た運転者は、駐車範囲410に車両200を停止した状態において、車両200と、車両200に隠れた路面上に配置されている範囲を含めて、例えば車両200によって平面視で一部が隠されてしまう輪止めブロック450などの物体(路面に描かれている白線や文字、標識等も含む)との位置関係を、疑似透過俯瞰画像150だけで容易に把握することができる。
なお、駐車範囲410において車両200に少なくとも一部が隠されている物体としては、上述した輪止めブロック450の他、機械式の立体駐車場などに見られるタイヤレール(車幅方向におけるタイヤの位置を一定の幅内に規制する溝部分)や、エレベータ式の立体駐車場の出入口の前に設けられた円板状のターンテーブル、門型の自動洗車機等の手前に設けられた、車両停止姿勢の目安となる確認用のガイド、時間貸し駐車場において路面に設置された可動式のフラップ等がある。
また、駐車区画400内の路面に埋め込まれた非接触式の給電用の充電スポットもその一例である。なお、充電スポットについては、例えば図9に示すように、疑似透過俯瞰画像150において疑似的に透過した充電スポット460(の画像)の外形を囲む矩形の枠状のマーク160を付して、強調した表示を行うようにしてもよい。この場合、充電スポット460はカメラ11~14で撮影された画像に基づいて画像表示装置70が検出し、画像合成部74が、その検出された充電スポット460(の画像)の外形を囲むマーク160を付して、疑似透過俯瞰画像150として出力すればよい。
疑似透過俯瞰画像150において、疑似的に透過したものとして表示される上述した他の隠されている物体の画像についても、同様に外形を囲むマーク160を付してもよい。
また、駐車範囲410の内部に位置する路面に、例えば図10に示すように、駐車区画400を特定する番号(例えば「12」という数字)470が後ろ向き(図示において、下向き)に記載されている場合、車両200が駐車範囲410に重なって停止した状態では、運転者は、表示部75に表示された疑似透過俯瞰画像150において、その番号470を視認することはできる。
しかし、車両200は前向き(図示において、上向き)の姿勢で停止しているため、疑似透過俯瞰画像150において表示された番号470は、運転者から見て上下反対に視認され、瞬時に番号470を把握し難い。
そこで、画像合成部74は、運転者から見てこのように上下反対向きになる番号470については、その番号470を含む画像の部分について、図11に示すように上下反対となるように回転させて、疑似透過俯瞰画像150を生成してもよい。これにより、運転者は、表示部75に表示された疑似透過俯瞰画像150における番号470を見たとき、番号470を瞬時に把握することができる。
なお、番号470は、数字以外の文字等であってもよい。数字や文字等は、公知の文字認識技術(OCR)により検出することができる。
また、本実施形態の画像表示装置70及び駐車支援システム100によると、画像メモリ73に記憶する過去の画像110A,110B,…は、俯瞰画像110の領域が重複した駐車範囲410だけである。したがって、画像表示装置70による実質的に記憶が始まるのは、車両200が駐車範囲410に近接してからであり、画像を常時記憶しているものに比べて、画像の記憶処理の負荷は極めて低く、しかも、画像を記憶するための記憶容量も低く抑えることができる。
また、本実施形態の画像表示装置70及び駐車支援システム100によると、疑似透過俯瞰画像150は、車両200が最終的に停止した状態で車両200の真下となる領域(平面視で車両200に隠される領域)である駐車範囲410のみに、過去の画像110A,110B,…を重畳させるが、この駐車範囲410以外の部分は、車両200が駐車範囲410に完全に重なった状態でも、リアルタイムの画像(俯瞰画像110)で視認することができる。したがって、視認できる部分については、信頼性の高いリアルタイムの画像を提供することができる。
<変形例>
なお、本実施形態の画像表示装置70及び駐車支援システム100は、車両200に重なった駐車範囲410の画像は、過去に撮影されて画像メモリ73に記憶された画像であるため、現在の駐車範囲410の画像ではない。このため、過去に撮影されてから、現在に至る時間経過の間に、現在、車両200が重なった駐車範囲410の部分の状態は、過去に撮影された時点の状態とは異なる可能性がある。
例えば、過去に画像が撮影された時点では駐車範囲410に存在しなかった物体(例えば、小動物など)が、現在は駐車範囲410に存在する場合もありうる。つまり、画像が撮影された過去と現在との時間差が短い範囲では、過去の画像を現在の画像とみなしても差支えがない程度の信頼性を有すると考えられる。
しかし、過去と現在との時間差が長くなるに従って、過去の画像の信頼性が低下していく。そして、過去の画像に対して運転者が過信すると、現在の状況と差異があった場合に、車両200を損傷等する可能性もある。このため、疑似透過俯瞰画像150として使用される過去に撮影され画像110A,110B,…には、ある程度の使用期限を設けることが好ましい。
具体的には、その使用期限、つまり撮影されて画像メモリ73に記憶された時点から、例えば30[秒間]を使用期限とし、この使用期限を超えた過去の画像は疑似透過俯瞰画像150に使用しない。この場合、画像合成部74によって生成された疑似透過俯瞰画像150は、図12に示すように、使用期限を超えた過去の画像に対応した部分から順次、過去の画像から元の疑似車両画像120(不透明)の表示に変化するように画像合成部74が処理する。これにより、疑似透過俯瞰画像150のうち信頼性の低くなったと想定される部分について提示するのを止めて、運転者に誤った認識を与えることを防止又は抑制することができる。
なお、画像メモリ73には、各画像を記憶した時点での時刻が記憶されているため、画像合成部74が疑似透過俯瞰画像150を生成するに際して、記憶されている画像ごとに記憶されている時刻を参照することで、各画像の使用期限を認識し、画像合成部74が、使用期限以内の画像については疑似透過俯瞰画像150に使用し、使用期限を超えている画像については疑似透過俯瞰画像150に使用しないで、疑似透過俯瞰画像150を生成する。
使用期限は、予め画像メモリ73等に記憶させておいてもよいし、画像合成部74が実行する処理のプログラム等に組み込んでおいてもよい。使用期限は、予め設定されているものに限定されず、任意の使用期限に変えることができるようにしてもよい。使用期限としては、前述した例示の30[秒間]に限定されず、30[秒間]よりも長い、例えば1[分間]であってもよいし、30[秒間]よりも短い、例えば15[秒間]であってもよい。
本実施形態の画像表示装置70及び駐車支援システム100は、駐車範囲410までの予測経路Mを算出する予測経路算出部71を備えているが、本発明に係る画像表示装置及び駐車支援システムは、予測経路算出部を備えている必要はない。
10 車載カメラ
70 画像表示装置
72 俯瞰画像生成部
73 画像メモリ
74 画像合成部
75 表示部
100 駐車支援システム
110 俯瞰画像
110A,110B,110C,110D,110X 過去の画像
120,120′ 疑似車両画像
150 疑似透過俯瞰画像
200 車両
410 駐車範囲

Claims (6)

  1. 車両の周辺領域を撮影する複数の車載カメラから入力された画像に基づいて、前記車両の近傍の全周に亘る俯瞰画像を生成するとともに、前記俯瞰画像における前記車両に対応する領域に、前記車両を模した疑似車両画像を重畳して出力する俯瞰画像生成部と、
    前記俯瞰画像のうち、前記車両の駐車目標として予め設定された駐車範囲と重なった部分に対応した画像だけを、経時的に新しい画像に更新しながら記憶する記憶部と、
    前記疑似車両画像が重畳された俯瞰画像のうち、前記疑似車両画像に対応する部分の、前記駐車範囲に重なる部分は、前記記憶部に記憶された最新の画像を重畳して疑似的に透過させ、かつ、前記疑似車両画像が重畳された俯瞰画像のうち、前記疑似車両画像に対応する部分の、前記駐車範囲に重ならない部分は、前記記憶部に記憶された画像を重畳させない、疑似透過俯瞰画像を生成する画像合成部と、
    前記画像合成部で生成された疑似透過俯瞰画像を表示する表示部と、を備えた画像表示装置。
  2. 前記画像合成部は、前記記憶部に記憶されてから所定の時間が経過した画像については、前記疑似透過俯瞰画像から除外する請求項1に記載の画像表示装置。
  3. 前記画像合成部は、前記疑似車両画像が重畳された俯瞰画像のうち、前記疑似車両画像に対応する部分の、前記駐車範囲に重なる部分は、前記疑似車両画像に代えて、前記車両の外形に対応した輪郭線とタイヤを模した図に単純化した透過性の疑似車両画像に置き換える請求項1又は2に記載の画像表示装置。
  4. 前記画像合成部は、前記記憶部に記憶された画像に文字又は標識が存在するときは、前記文字又は前記標識を、前記車両を前記駐車範囲に駐車したときの運転者の向きと同じ向きに変更する請求項1から3のうちいずれか1項に記載の画像表示装置。
  5. 前記駐車範囲は、前記車両の外形と略同じ大きさに設定されている請求項1から4のうちいずれか1項に記載の画像表示装置。
  6. 車両に設けられた車載カメラと、
    前記車両が駐車する目標となる、前記車両の外形と略同じ大きさの前記駐車範囲を設定する駐車範囲設定装置と、
    求項1から5のうちいずれか1項に記載の画像表示装置と、を備えた駐車支援システム。
JP2017233916A 2017-12-06 2017-12-06 画像表示装置及び駐車支援システム Active JP7096662B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017233916A JP7096662B2 (ja) 2017-12-06 2017-12-06 画像表示装置及び駐車支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017233916A JP7096662B2 (ja) 2017-12-06 2017-12-06 画像表示装置及び駐車支援システム

Publications (2)

Publication Number Publication Date
JP2019103044A JP2019103044A (ja) 2019-06-24
JP7096662B2 true JP7096662B2 (ja) 2022-07-06

Family

ID=66974310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233916A Active JP7096662B2 (ja) 2017-12-06 2017-12-06 画像表示装置及び駐車支援システム

Country Status (1)

Country Link
JP (1) JP7096662B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6873515B1 (ja) * 2019-07-25 2021-05-19 株式会社プロドローン 遠隔操縦システムおよびその操縦装置
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
JP7400705B2 (ja) * 2020-11-30 2023-12-19 トヨタ自動車株式会社 撮像システム及び撮像装置
CN118383025A (zh) * 2021-12-21 2024-07-23 株式会社索思未来 图像处理装置、图像处理方法以及图像处理程序
JP2024052375A (ja) * 2022-09-30 2024-04-11 株式会社東海理化電機製作所 表示システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005001570A (ja) 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
JP2007030630A (ja) 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005001570A (ja) 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
JP2007030630A (ja) 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置

Also Published As

Publication number Publication date
JP2019103044A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP7096662B2 (ja) 画像表示装置及び駐車支援システム
CN107206934B (zh) 影像投影装置
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
US10387734B2 (en) Vehicle display control device and vehicle display control method
JPWO2018066710A1 (ja) 走行支援装置及びコンピュータプログラム
JP6946963B2 (ja) 重畳画像表示装置及びコンピュータプログラム
US10994665B2 (en) Vehicle display system
JP7067225B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP2013176024A (ja) 映像処理装置、映像処理方法、および映像表示システム
US20220185183A1 (en) Periphery-image display device and display control method
US11601621B2 (en) Vehicular display system
US20190066382A1 (en) Driving support device, driving support method, information providing device and information providing method
CN112477758A (zh) 周边监视装置
CN108725321A (zh) 信息提示装置
JP7217090B2 (ja) 情報提供装置及び情報提供方法
US11938863B2 (en) Peripheral image generation device and display control method
JP7059525B2 (ja) 駐車支援方法及び駐車支援装置
JP2020016583A (ja) 車両用表示装置
CN112449625B (zh) 在挂车组合的调度操作中辅助的方法、系统和挂车组合
JP2023003663A (ja) 虚像表示装置
JP2021039007A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
JP7313896B2 (ja) 車両用表示装置
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
WO2023176737A1 (ja) 表示制御装置、表示制御方法
US20220086368A1 (en) Vehicular display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220624

R150 Certificate of patent or registration of utility model

Ref document number: 7096662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150