JP4883977B2 - 車両用画像表示装置 - Google Patents

車両用画像表示装置 Download PDF

Info

Publication number
JP4883977B2
JP4883977B2 JP2005292170A JP2005292170A JP4883977B2 JP 4883977 B2 JP4883977 B2 JP 4883977B2 JP 2005292170 A JP2005292170 A JP 2005292170A JP 2005292170 A JP2005292170 A JP 2005292170A JP 4883977 B2 JP4883977 B2 JP 4883977B2
Authority
JP
Japan
Prior art keywords
boundary
image
vehicle
display
changing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005292170A
Other languages
English (en)
Other versions
JP2007104373A (ja
Inventor
重之 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2005292170A priority Critical patent/JP4883977B2/ja
Publication of JP2007104373A publication Critical patent/JP2007104373A/ja
Application granted granted Critical
Publication of JP4883977B2 publication Critical patent/JP4883977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両に搭載された複数の撮像カメラにより撮像された画像を表示する画像表示装置に関し、特に、車両上方の視点から見下ろすように車両の全周囲を表示する技術に関する。
自動車への撮像カメラの搭載率の向上に伴い、画像合成を用いたアプリケーションが急拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、車両の走行時の安全性を向上させるものである。例えば、車両周辺の障害物の映像を提供する車載画像システムは、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)と、車両近傍の死角障害物を撮影するシステム(サイドビュウカメラシステム)とをそれぞれ備えたものがある。また、画角の狭い撮像カメラを用いたシステムでは、駆動装置により撮像カメラの向きを可変できるようにし、車両の周囲の障害物を映し出すようにしている。さらに、超広角の撮像カメラを用いたシステムでは、撮像された画像データを合成し、自車周囲の360度を映し出すことを可能に、その中から必要とする水平方向の範囲の画像データを切り出し、またはトリミングし、その画像を表示している。
特許文献1は、複数のカメラにより撮影された画像を用い、車両を上方から見下ろしたような仮想視点画像を合成する車両周囲監視装置において、カメラからの画像同士の境界近傍で撮像された物体が消滅することがないように隣接するカメラの撮影方向を境界の方向と一致させている。
特開2003−204547号
特許文献1に示されるように、車の前後左右にそれぞれカメラを取り付け、撮影した映像を視点変換(座標変換)し、あたかも自車を真上から見たように、自車周囲の映像をモニタに映し出す視点変換表示が提案されている。このような視点変換表示は、例えば図11に示すように、車両の前方のカメラで撮像された画像信号10、左右のカメラで撮像された画像信号12、14、および車両の後方で撮像された画像信号16を、車両の基準点Oを基準に視点変換し、視点変換された画像信号を合成し、車両の真上から放射状に見下ろすような画像を生成するものである。
視点変換表示には、2つの画像を合成する境界部分の画像が見づらくなるという問題がある。この問題は、境界部分に障害物が写されているとき、画像合成処理によって障害物が正しく表示されなかったり、障害物を一方のカメラでは撮影できているが、もう一方のカメラで撮影できていない時に、合成部分を境に障害物の表示が途切れてしまったりするという原因から生じる。例えば図12に示すように、画像信号10と画像信号12の境界部分18に映し出された障害物20は、本来であれば立体的な鳥瞰図として表示されるべきであるが、境界部分18を挟んで不連続となったり、あるいは潰れた表示となってしまう。この結果、自車両近傍に障害物が存在しているにも関わらず、その障害物を画面上で認識しづらいために、見落としたりして、障害物に衝突してしまうという可能性がある。
本発明は、上記従来の課題を解決するために成されたものであり、車両周囲に存在する障害物等の物体をより正確に見易く表示することができる車両用画像表示装置および表示方法を提供することを目的とする。
本発明に係る車両用画像表示装置は、車両の周囲を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像信号を出力する撮像手段と、撮像手段からの画像信号を車両上方の視点から見下ろしたときの画像信号に変換し、変換された画像信号を合成する画像処理手段と、画像処理手段により処理された画像信号を表示する表示手段と、車両の周囲に存在する物体を検出する物体検出手段とを有し、前記画像処理手段はさらに、物体検出手段により物体が検出されたとき、当該物体の表示位置が合成される画像の境界に重なるか否かを判定する判定手段と、当該物体の表示位置が境界に重なると判定されたとき、合成される画像の境界に当該物体が重ならないように合成される画像の境界を変更する変更手段とを含むものである。
好ましくは画像処理手段はさらに、物体検出手段により物体が検出されたとき、当該物体の表示位置が合成される画像の境界に重なるか否かを判定する判定手段と、当該物体の表示位置が境界に重なると判定されたとき、一方の撮像カメラにより撮像された画像信号が他方の撮像カメラにより撮像された画像信号より優先されるように合成される画像の境界を変更する変更手段を含むものでもよい。
物体検出手段は、好ましくは物体の方位および距離を検出し、判定手段は、物体の方位および距離に基づき物体が境界に重なるか否かを判定する、物体検出手段は、例えば、超音波、ミリ波レーダーや赤外線レーダー等を用いてことができる。検出される物体は、車両、オートバイ、自転車、人等の動く物体、およびポール、電柱、ガードレール等の静止物体を含む。
好ましくは変更手段は、物体の表示位置が境界に重ならないと判定されたとき、予め決められた標準パターンに従い画像を合成し、物体の表示位置が境界に重なると判定されたとき、複数の合成パターンから選択された合成パターンに従い画像の境界を変更するようにしてもよい。この場合、複数の合成パターンは、予めメモリ等に記憶させておく。
変更手段は、物体検出手段により複数の物体が検出されたとき、優先順位に応じて物体が境界に重ならないように合成される画像の境界を変更することができる。優先順位は、車両から物体までの距離に応じて決定される。すなわち、車両に最も近い物体についての表示を優先し、車両が物体に衝突等するのを未然に防止する。
さらに変更手段は、合成される画像の境界が複数あるとき、優先順位に応じて選択された境界について物体の表示位置が重ならないように境界を変更するようにしてもよい。この優先順位は、好ましくは運転者にとって死角となる方向により決定される。
車両の周囲を撮像する複数のカメラにより撮像された画像信号を車両上方の視点から見たときの画像信号に変換し変換された画像信号を合成して表示する車両用画像表示方法は、車両の周囲に存在する物体を検出するステップと、物体が検出されたとき、合成される画像の境界に当該物体が重ならないように合成される画像の境界を変更するステップと、合成された画像をディスプレイに表示するステップとを有する。
本発明によれば、車両上方の視点から見下ろすようにして障害物等の物体を表示するとき、合成される画像の境界に物体が表示されないように合成方法を変更するので、物体をより正確に見やすく表示することができる。これにより、使用者は物体の認識が容易となり、障害物等の物体の危険を迅速に察知し、物体との衝突等を回避することことができる。
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施例に係る車両用画像表示装置の構成を示すブロック図である。車両用画像表示装置100は、撮像カメラ102、104、106、108と、撮像カメラ102〜108により撮像された画像信号を受け取り、トップビュー表示のための視点変換等の処理を行う画像処理部110と、車両の周囲に存在する障害物を検出するセンサー112と、センサー112の検出結果を受け取り障害物の方向および距離を算出するセンサー処理部114と、画像処理部110からの画像信号とセンサー処理部114からの信号を受け取り、障害物の方向および距離をもとに画像信号の合成方法を決定する出力制御部116、出力制御部116により合成された画像信号を表示するディスプレイ118を含んでいる。
撮像カメラ102〜108は、例えばCCDやCMOSイメージセンサを用いて構成される。撮像カメラ102は、図2に示すように、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ1で撮像する。撮像カメラ104、106は、車両のドアミラーから車両の側部を視野角θ2、θ3で撮像する。撮像カメラ108は、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ4で撮像する。撮像カメラの視野角θ1、θ2、θ3、θ4は、それぞれが隣接する視野角と端部がオーバーラップし、撮像カメラ102〜108により車両の全周囲を撮像できるようになっている。
画像処理部110は、撮像カメラ102〜108の画像信号を入力し、入力した画像信号をディジタル信号に変換するとともに、車両を真上方向の視点から見下ろすような表示(以下、視点変換表示という)をするための画像処理を行う。視点変換のための画像処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。
センサー112は、例えばソナーセンサー(超音波探知センサー)を用いて構成される。ソナーセンサーは、超音波を発信するする発信部と障害物により反射された超音波を受信する受信部を含む。好ましくは、センサー112は、車両の全周囲にある障害物を検知することができるように、車両の前方、後方および側方に取り付けられる。但し、必ずしも車両の全周囲の障害物を検出しなくてもよく、その場合には、運転者にとって見にくい方向や死角となる方向の障害物を検出したり、あるいは合成される画像の境界近傍の障害物を検出するようにしてもよい。
出力制御部116は、例えば画像処理回路やマイクロコンピュータを用いて構成され、画像の合成方法を決定するためのプログラムを格納するROMやRAM等を含んでいる。画像合成の実現手段は、ソフトウエアまたはハードウエハのいずれであってもよい。撮像カメラ102〜108によって撮像された画像信号は、それぞれ重複した領域の画像信号を含んでいるため、画像の合成に際して、重複する画像信号をトリミングする必要がある。その場合に、合成される画像の境界領域に障害物を表示すると、上記したように、障害物の立体的な表示が不自然になったり、不連続となったり、あるいは障害物が消失する。このため、合成される画像の境界に障害物を表示させないようにトリミングする位置を変更したり、すなわち境界を変更する必要がある。
先ず、出力制御部116は、予め標準の画像合成方法を決めておく。標準の合成方法とは、視点変換表示の処理開始時である初期状態で使用されたり、障害物が検知されないときに使用される合成方法である。標準の合成方法は、図3(a)に示すように、車両の前方となる領域を、撮像カメラ102により撮像された画像信号Aで表示し、車両の側方となる領域を撮像カメラ104、106により撮像された画像信号B、Cで表示し、車両の後方となる領域を撮像カメラ108により撮像された画像信号Dで表示するように、画像信号をトリミングする。言い換えれば、視点変換表示において、画像信号Aと画像信号Bは境界120で合成され、画像信号Aと画像信号Cは境界122で合成され、画像信号Bと画像信号Dは境界124で合成され、画像信号Cと画像信号Dは境界126で合成される。出力制御部116は、基準点Oを基準とする境界120、122、124、126の座標位置をメモリ等に記憶している。
図4は、障害物が検出されたときの画像合成方法を説明するフローチャートである。車両の停止時もしくは走行時に、撮像カメラ102〜108による撮像が行われ、出力制御部116は、センサー112からの検出信号に基づき車両の周囲に障害物があるか否かを監視する(ステップS101)。障害物が検出されない場合には(ステップ102)、標準の合成方法(図3(a)を参照)に従い撮像カメラ102〜108の画像信号を合成し(ステップS103)、ディスプレイ118に視点変換表示を行う(ステップS107)。
障害物か検出されたとき、出力制御部116は、センサー処理部114から障害物の方位および距離データを受け取り、視点変換表示において障害物が表示される位置を特定する(ステップS104)。これは、車両の基準点O(図3(b)を参照)を基準としたときの座標位置を算出することにより行われる。次に、出力制御部116は、視点変換表示において、障害物の表示位置と各境界120、122、124、126の座標位置を比較し、障害物がいずれかの境界に重なるか否かを判定する(ステップS105)。例えば図3(b)において、障害物W1が画像信号Aに含まれていれば、障害物W1は境界120に重ならないと判定する。この場合、障害物W1が境界120から一定の距離を離れていることを条件に、境界120に重ならないと判定するようにしても良い。障害物W1が境界に重ならない場合には、出力制御部116は、標準の合成方法により画像合成を行い(ステップS103)、ディスプレイに視点変換表示が映し出される(ステップS107)。
一方、図3(b)に示すように、障害物W2の表示位置が境界120と交差もしくは重複していれば、障害物W2が境界120に重なると判定する。この場合、障害物W2が境界120から少なくとも一定の距離内にあれば、障害物の表示が境界120に重なると判定しても良い。
出力制御部116は、障害物の表示位置が境界に重なると判定すると、障害物が境界に重ならないように画像信号のトリミング位置を変更し、画像を合成する(ステップS106)。例えば図3(b)に示す障害物W2を例にすると、図5に示すように、撮像カメラ102の画像信号Aと撮像カメラ104の画像信号Bのトリミング位置を変更し、隣接する画像信号A、Bの境界120aを変更し、障害物W2が境界120aに重ならないようにする。言い換えれば、画像信号AおよびBが合成されるとき、画像信号Bが画像信号Aよりも優先されるように境界を変更する。これにより、障害物の位置が境界120aに重ならないので、障害物を立体的に正確にかつ見易く表示することができる。
また、障害物の表示位置が重ならないようにするために境界をどの位置に変更するかは、リアルタイムで計算より算出するようにしてもよいし、これとは別に、予め用意された複数の合成パターンの中から選択するようにしてもよい。例えば、図6に示すように、画像信号Aと画像信号Bとの合成において、予め複数の境界120、120a、120b、120cを用意しておき、その中から障害物が重さならないような合成パターンを選択するようにしてもよい。境界は、直線に限らず曲線であってもよい。
次に、本発明の第2の実施例について図7のフローチャートを参照して説明する。第2の実施例は、車両の周囲に複数の障害物が検出された場合のトップビュー表示に関する。ステップS201からステップS205までは、第1の実施例のときと同様である。
出力制御部116は、障害物の表示が境界に重なると判定すると(ステップS205)、次に、1つの境界に複数の障害物の表示が重なるか否かを判定する(ステップS206)。例えば、図8に示すように、合成される画像信号Bと画像信号Dの境界124に、障害物W3と障害物W4が存在するような場合である。1つの境界124に複数の障害物W3、W4が重なる場合には、境界の変更に競合関係が生じるため、それらの障害物を同時に見やすく表示することができなくなる。この場合には、出力制御部116は、優先順位を設け、優先順位の高い障害物についての表示が境界に含まれないようにする。好ましくは、自車から最も近い障害物が境界に含まれないように合成方法を変更する(ステップS207)。図8の例であれば、自車により近い障害物W3の表示が境界124に重ならないように合成方法を変更する。
優先順位は、自車から障害物までの距離の外にも適宜変更することができる。例えば、自車に接近している障害物と静止している障害物が存在するときは、接近している障害物が境界に重ならないように優先的に処理するようにしてもよい。さらに、障害物の大きさを検出することができる場合には、大きな障害物が境界に重ならないように優先的に処理するようにしてもよい。
次に、本発明の第3の実施例について説明する。車両の周囲に障害物が検出された場合、出力制御部116は、複数の境界に優先順位を設けるようにしてもよい。図3(a)に示す境界120、122、124、126のうち、複数の境界に障害物の表示が重なるような場合、全ての障害物を同時に見やすく(境界に重ならないように)する必要がないとき、あるいはそれが困難な場合には、優先順位の高い境界について障害物の表示が重ならないようにする。境界の優先順位は、例えば右側ハンドルであれば、運転者にとって死角となり易い境界120、124の方向の優先順位を高くしたり、あるいは、運転者の後方の境界124、126の優先順位を高くするようにしてもよい。こうした優先順位の設定は、予め決定されたものであっても良いし、ユーザが適宜決定できるものであってもよい。
次に、本発明の第4の実施例について説明する。第4の実施例は、車両用画像表示装置をナビゲーションに適用したものである。図9に示すように、ナビゲーションシステム200は、車両用画像表示装置に加えて、ナビゲーションに要する機能を実行するナビゲーション機能部210と、ユーザからの入力を受け取る入力部220とを備えている。ナビゲーション機能部210は、GPS装置や自立航法用センサにより自車位置を算出し、自車位置から目的地までの最適な経路を探索し、探索した経路をディスプレイ118を利用して案内する。ディスプレイ118には、自車位置周辺の道路地図が表示され、かつ、そこに自車位置を示すマークが合成して表示される。
ユーザは、入力部220を介してディスプレイ118への表示態様を指示することができる。例えば、ディスプレイ118に、ナビゲーションによる案内を表示させたり、これを切替えて視点変換表示を行わせることができる。あるいは、ディスプレイ118に、2画面表示として、ナビゲーション案内表示とともに視点変換表示を表示させることができる。
さらにナビゲーションシステムは、ユーザによる入力以外に、センサー112により車両周辺に障害物を検出したとき、自動的に、ディスプレイ118を視点変換表示の画面に切替えるようにしてもよい。
上記実施例では、4つの撮像カメラを用いて視点変換表示を行う例を示したが、勿論、撮像カメラの数はこれに限定されるものではない。例えば図10に示すように、車両の周囲に8つの撮像カメラを取り付け、各撮像カメラにより車両の周辺領域300、302、304、306、308、310、312、314を撮像し、これらの画像信号を視点変換し、合成するようにしてもよい。
上記実施例では、車両の全周囲の合成画像を生成する例を示したが、これに限らず、車両の前方、後方または側部など車両の周辺の一部の画像を生成するシステムであってもよい。この場合、センサーも撮像範囲と一致する方向の障害物を検出するようにする。また、障害物が検知され、これを視点変換表示するに際し、音声等により警告をユーザに与えるようにしてもよい。さらに視点変換表示は、車両の上方から見下ろすような変換であればよく、例えば、鳥瞰図的に斜め下方向に見下ろすようなものであってもよく、限定的に解釈されるべきものではない。
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本発明に係る車両用画像表示装置は、車両の走行中の安全運転支援システムや駐車支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。
図1は、本発明の実施例に係る車両用画像表示装置の構成を示すブロック図である。 車両に取り付けられた撮像カメラの配置を示す平面図である。 トップビュー表示における標準の画像合成方法を説明する図である。 本実施例の車両用画像表示装置の動作を説明するフローチャートである。 障害物が境界に重なるときの合成方法の変更例を示す図である。 複数の合成パターンの例を示す図である。 本発明の第2の実施例の動作を説明するフローチャートである。 複数の障害物が検出されたときの優先順位を説明する図である。 本発明の第4の実施例に係るナビゲーションシステムの構成を示す図である。 撮像カメラの他の取り付け例を説明する図である。 トップビュー表示を説明する図である。 従来の課題を説明する図である。
符号の説明
100:車両用画像表示装置
102、104、106、108:撮像カメラ
110:画像処理部
112:センサー
114:センサー処理部
116:出力制御部
118:ディスプレイ
120、122、124、126:境界
120a、120b、120c:境界
W1、W2、W3、W:障害物

Claims (13)

  1. 車両の周囲を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像信号を出力する撮像手段と、
    撮像手段からの画像信号を車両上方の視点から見下ろしたときの画像信号に変換し、変換された画像信号を合成する画像処理手段と、
    画像処理手段により処理された画像信号を表示する表示手段と、
    車両の周囲に存在する物体を検出する物体検出手段とを有し、
    前記画像処理手段はさらに、物体検出手段により物体が検出されたとき、当該物体の表示位置が合成される画像の境界に重なるか否かを判定する判定手段と、当該物体の表示位置が境界に重なると判定されたとき、合成される画像の境界に当該物体が重ならないように合成される画像の境界を変更する変更手段とを含み、
    前記変更手段は、物体の表示位置が境界に重ならないと判定されたとき、予め決められた標準パターンに従い合成される画像の境界を決定し、物体の表示位置が境界に重なると判定されたとき、予め用意された境界の位置が異なる複数の合成パターンの中から合成パターンを選択し、選択された合成パターンに従い合成される画像の境界を変更し、
    さらに前記変更手段は、前記物体検出手段により複数の物体が検出された場合には、他の物体よりも優先的に車両からの距離が近い物体が境界に重ならないように前記合成パターンを選択する、車載用画像表示装置。
  2. 車両の周囲を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像信号を出力する撮像手段と、
    撮像手段からの画像信号を車両上方の視点から見下ろしたときの画像信号に変換し、変換された画像信号を合成する画像処理手段と、
    画像処理手段により処理された画像信号を表示する表示手段と、
    車両の周囲に存在する物体を検出する物体検出手段とを有し、
    前記画像処理手段はさらに、物体検出手段により物体が検出されたとき、当該物体の表示位置が合成される画像の境界に重なるか否かを判定する判定手段と、当該物体の表示位置が境界に重なると判定されたとき、一方の撮像カメラにより撮像された画像信号が他方の撮像カメラにより撮像された画像信号より優先されるように合成される画像の境界を変更する変更手段を含み、
    前記変更手段は、物体の表示位置が境界に重ならないと判定されたとき、予め決められた標準パターンに従い合成される画像の境界を決定し、物体の表示位置が境界に重なると判定されたとき、予め用意された境界の位置が異なる複数の合成パターンの中から合成パターンを選択し、選択された合成パターンに従い合成される画像の境界を変更し、
    さらに前記変更手段は、前記物体検出手段により複数の物体が検出された場合には、他の物体よりも優先的に車両からの距離が近い物体が境界に重ならないように前記合成パターンを選択する、
    車両用画像表示装置。
  3. 物体検出手段は、物体の方位および距離を検出し、前記判定手段は、物体の方位および距離に基づき物体の表示位置が境界に重なるか否かを判定する、請求項1または2に記載の車両用画像表示装置。
  4. 判定手段は、物体が境界から一定距離内にあるとき、当該物体の表示位置が境界に重なると判定する、請求項3に記載の車載用画像表示装置。
  5. 変更手段は、合成される画像の境界が複数あるとき、優先順位に応じて選択された境界について物体の表示位置が重ならないように境界を変更する、請求項1ないしいずれか1つに記載の車載用画像表示装置。
  6. 前記優先順位は、運転者にとって死角となる方向により決定される、請求項に記載の車載用画像表示装置。
  7. 請求項1ないしいずれか1つに記載の車両用画像表示装置と、目的地までの経路を探索し探索経路を前記表示手段に表示可能なナビゲーション手段とを含む、ナビゲーションシステム。
  8. ナビゲーションシステムはさらに、ナビゲーションによる表示と車両用画像表示装置による表示を選択するための入力手段を含む、請求項に記載のナビゲーションシステム。
  9. ナビゲーションシステムはさらに、物体検出手段により物体が検出されたことに応答して、前記表示手段に車両用画像表示装置により合成された画像を表示させる、請求項に記載のナビゲーションシステム。
  10. 車両の周囲を撮像する複数のカメラにより撮像された画像信号を車両上方の視点から見たときの画像信号に変換し、変換された画像信号を合成して表示する車両用画像表示方法であって、
    車両の周囲に存在する物体を検出するステップと、
    物体が検出されたとき、当該物体の表示位置が合成される画像の境界に重なるか否かを判定するステップと、
    物体の表示位置が境界に重なると判定されたとき、合成される画像の境界に当該物体の表示位置が重ならないように合成される画像の境界を変更するステップと、
    合成された画像をディスプレイに表示するステップとを有し、
    さらに前記変更するステップは、物体の表示位置が境界に重ならないと判定されたとき、予め決められた標準パターンに従い合成される画像の境界を決定し、物体の表示位置が境界に重なると判定されたとき、予め用意された境界の位置が異なる複数の合成パターンの中から合成パターンを選択し、選択された合成パターンに従い合成される画像の境界を変更し、
    さらに前記変更するステップは、複数の物体が検出された場合には、他の物体よりも優先的に車両からの距離が近い物体が境界に重ならないように前記合成パターンを選択する、
    を有する車両用画像表示方法。
  11. 車両の周囲を撮像する複数のカメラにより撮像された画像信号を車両上方の視点から見たときの画像信号に変換し、変換された画像信号を合成して表示する車両用画像表示方法であって、
    車両の周囲に存在する物体を検出するステップと、
    物体が検出されたとき、当該物体の表示位置が合成される画像の境界に重なるか否かを判定するステップと、
    物体の表示位置が境界に重なると判定されたとき、一方の撮像カメラの画像信号が他方の撮像カメラの画像信号より優先されるように合成される画像の境界を変更するステップと、
    合成された画像をディスプレイに表示するステップとを有し、
    さらに前記変更するステップは、物体の表示位置が境界に重ならないと判定されたとき、予め決められた標準パターンに従い合成される画像の境界を決定し、物体の表示位置が境界に重なると判定されたとき、予め用意された境界の位置が異なる複数の合成パターンの中から合成パターンを選択し、選択された合成パターンに従い合成される画像の境界を変更し、
    さらに前記変更するステップは、複数の物体が検出された場合には、他の物体よりも優先的に車両からの距離が近い物体が境界に重ならないように前記合成パターンを選択する、
    車両用画像表示方法。
  12. 前記境界を変更するステップは、合成される画像の境界が複数あるとき、優先順位に応じて選択された境界について物体の表示位置が重ならないように境界を変更する、請求項10または11に記載の車載用画像表示方法。
  13. 車両の周囲を撮像する複数のカメラにより撮像された画像信号を車両上方の視点から見たときの画像信号に変換し、変換された画像信号を合成して車載用画像表示装置に表示する車載用画像表示プログラムであって、
    車両の周囲に存在する物体を検出するステップと、
    前記物体を検出するステップにより物体が検出されたとき、当該物体の表示位置が合成される画像の境界に重なるか否かを判定するステップと、
    前記表示位置が合成される画像の境界に重なるか否かを判定するステップにより物体の表示位置が境界に重なると判定されたとき、当該境界に物体の表示位置が重ならないように合成される画像の境界を変更するステップと、
    前記画像の境界を変更するステップにより合成された画像をディスプレイに表示するステップとを有し、
    さらに前記画像の境界を変更するステップは、物体の表示位置が境界に重ならないと判定されたとき、予め決められた標準パターンに従い合成される画像の境界を決定し、物体の表示位置が境界に重なると判定されたとき、予め用意された境界の位置が異なる複数の合成パターンの中から合成パターンを選択し、選択された合成パターンに従い合成される画像の境界を変更し、
    さらに前記画像の境界を変更するステップは、複数の物体が検出された場合には、他の物体よりも優先的に車両からの距離が近い物体が境界に重ならないように前記合成パターンを選択する、
    車両用画像表示プログラム。
JP2005292170A 2005-10-05 2005-10-05 車両用画像表示装置 Active JP4883977B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005292170A JP4883977B2 (ja) 2005-10-05 2005-10-05 車両用画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005292170A JP4883977B2 (ja) 2005-10-05 2005-10-05 車両用画像表示装置

Publications (2)

Publication Number Publication Date
JP2007104373A JP2007104373A (ja) 2007-04-19
JP4883977B2 true JP4883977B2 (ja) 2012-02-22

Family

ID=38030857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005292170A Active JP4883977B2 (ja) 2005-10-05 2005-10-05 車両用画像表示装置

Country Status (1)

Country Link
JP (1) JP4883977B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506178B2 (en) 2017-01-20 2019-12-10 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US10715734B2 (en) * 2017-02-28 2020-07-14 JVC Kenwood Corporation Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5114101B2 (ja) * 2007-06-07 2013-01-09 クラリオン株式会社 車載カメラシステム
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5072576B2 (ja) 2007-12-20 2012-11-14 アルパイン株式会社 画像表示方法および画像表示装置
JP5163165B2 (ja) * 2008-02-05 2013-03-13 日産自動車株式会社 車両周辺画像処理装置及び車両周辺状況提示方法
JP4972036B2 (ja) * 2008-05-30 2012-07-11 三洋電機株式会社 画像処理装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP2010245803A (ja) * 2009-04-06 2010-10-28 Sanyo Electric Co Ltd 画像処理装置
JP2010250640A (ja) * 2009-04-17 2010-11-04 Sanyo Electric Co Ltd 画像処理装置
JP5500877B2 (ja) * 2009-06-15 2014-05-21 アルパイン株式会社 車載用画像表示装置および画像のトリミング方法
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
JP5251804B2 (ja) * 2009-09-18 2013-07-31 三菱自動車工業株式会社 運転支援装置
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
KR101116796B1 (ko) * 2009-10-30 2012-02-28 동의대학교 산학협력단 Most 네트워크 기반의 자동차 사방 감시 시스템
JP2011155490A (ja) * 2010-01-27 2011-08-11 Honda Motor Co Ltd 運転支援装置
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
WO2012066867A1 (ja) * 2010-11-17 2012-05-24 アイシン精機株式会社 車両周辺撮影装置
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
EP2717570A4 (en) * 2011-06-02 2014-11-19 Hitachi Construction Machinery DEVICE FOR PERIPHERAL SURVEILLANCE FOR WORK MACHINE
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
CN103782591B (zh) * 2011-08-26 2017-02-15 松下知识产权经营株式会社 驾驶辅助装置
DE102011116169A1 (de) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs
DE102011088332B4 (de) 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
JP5938635B2 (ja) * 2011-12-15 2016-06-22 パナソニックIpマネジメント株式会社 運転支援装置
JP5961472B2 (ja) 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
JP6295026B2 (ja) * 2013-03-19 2018-03-14 住友重機械工業株式会社 ショベル
CN104683706A (zh) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 影像接合方法
KR101644109B1 (ko) * 2014-11-10 2016-07-29 (주)네오정보시스템 어라운드뷰 영상을 이용한 운전면허 코스 시험의 자동채점 시스템 및 방법
JP6224029B2 (ja) 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
JP6802008B2 (ja) * 2016-08-25 2020-12-16 キャタピラー エス エー アール エル 建設機械
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP6700222B2 (ja) 2017-06-09 2020-05-27 株式会社Soken 画像作成装置
JP6920776B2 (ja) * 2017-06-22 2021-08-18 西日本高速道路株式会社 監視支援システム及び監視支援方法
JP2019118051A (ja) 2017-12-27 2019-07-18 株式会社デンソー 表示処理装置
JP2021111843A (ja) * 2020-01-08 2021-08-02 株式会社Jvcケンウッド 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
WO2022074848A1 (ja) * 2020-10-09 2022-04-14 株式会社ソシオネクスト 画像処理装置、画像処理方法、及び画像処理プログラム
JP7366982B2 (ja) * 2021-11-24 2023-10-23 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP3695319B2 (ja) * 2000-11-30 2005-09-14 トヨタ自動車株式会社 車両周辺モニタ装置
JP3988551B2 (ja) * 2002-07-04 2007-10-10 日産自動車株式会社 車両周囲監視装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506178B2 (en) 2017-01-20 2019-12-10 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US11044421B2 (en) 2017-01-20 2021-06-22 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US11356618B2 (en) 2017-01-20 2022-06-07 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US11800045B2 (en) 2017-01-20 2023-10-24 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US10715734B2 (en) * 2017-02-28 2020-07-14 JVC Kenwood Corporation Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium
US11032479B2 (en) 2017-02-28 2021-06-08 JVC Kenwood Corporation Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium

Also Published As

Publication number Publication date
JP2007104373A (ja) 2007-04-19

Similar Documents

Publication Publication Date Title
JP4883977B2 (ja) 車両用画像表示装置
JP4687160B2 (ja) 周辺監視装置
JP4809019B2 (ja) 車両用障害物検出装置
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP4412365B2 (ja) 運転支援方法及び運転支援装置
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
JP4662832B2 (ja) 車両用画像表示装置
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
US8330816B2 (en) Image processing device
JP4760831B2 (ja) 車両周囲監視装置及び車両周囲監視方法
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP4846426B2 (ja) 車両周囲監視装置
JP3695319B2 (ja) 車両周辺モニタ装置
JP4517393B2 (ja) 運転支援装置
JP2013541915A (ja) 死角地帯の表示装置および方法
JP2010183170A (ja) 車両用表示装置
JP2006318093A (ja) 車両用移動物体検出装置
JP2001233150A (ja) 車両用危険判断装置及び、車両用周辺監視装置
JP5495071B2 (ja) 車両周辺監視装置
JP5708669B2 (ja) 車両用表示装置
JP6998360B2 (ja) 車両用表示装置及び駐車支援システム
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP2010184588A (ja) 車両周辺監視装置
JP2004312523A (ja) 車載画像処理装置
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4883977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150