JP5500877B2 - 車載用画像表示装置および画像のトリミング方法 - Google Patents

Description

本発明は、車載用撮像カメラで撮像された画像データを表示する車載用画像表示装置に関し、特に、自車後方を撮像した画像データを合成するときのトリミング方法に関する。

自動車への撮像カメラの搭載率の向上に伴い、撮像カメラによる画像を用いたアプリケーションが急拡大している。アプリケーションの多くは、運転者を支援し、車両の走行時の安全性を向上させるものである。例えば、障害物を撮像する車載画像システムは、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)と、車両近傍の死角の障害物を撮影するカメラシステム（サイドビュウカメラシステム）を備えたものがある。また、超広角の撮像カメラを用いたシステムでは、複数の撮像カメラで撮像された画像データを合成し、自車周囲の３６０度を映し出すことを可能に、その中から必要とする水平方向の範囲の画像データを切り出し、またはトリミングし、その画像を表示している。

特許文献１は、車両後部のカメラで撮影した画像データと左右のバックミラーに設置したカメラで撮影した画像データを合成して、一つの仮想的な視点から自車後方を表した後方画像を表示する画像表示装置を開示している。また、特許文献２は、複数の撮像カメラよって撮像された車両周辺画像を車両上方の視点から見下ろしたときの画像に視点変換し、視点変換された画像を合成して表示する車両用画像表示装置を開示している。

特開２００７−１５８４２７号 特開２００７−１０４３７３号

車両後方を確認する技術として、特許文献１に示すように、自車の左右サイドミラーと自車の後部中央の３ヶ所に設置された撮像カメラで撮像した画像データを合成して１つの後方画像を生成し、表示するシステムがある。図１（ａ）は、このような３つの撮像カメラの撮像範囲を示し、図１（ｂ）は、３つの撮像カメラによって撮像された画像データの合成例を示している。
図１（ａ）に示すように、自車１０の後部中央に設置された撮像カメラは、自車の後方を比較的広い視野角で撮像する撮像範囲２０を有し、自車１０の左右のサイドミラーに設置された撮像カメラは、それぞれ撮像範囲２２、２４を有する。中央の撮像範囲２０と撮像範囲２２は一部が重複し、中央の撮像範囲２０と撮像範囲２４は一部が重複する。撮像範囲の重複部分がなくなるように画像データをトリミングして、図１（ｂ）に示すような合成された後方画像を得る。画像Ｃは、撮像範囲２０の画像データに対応し、画像Ｌ、Ｒは、撮像範囲２２、２４の画像データにそれぞれ対応する。ＢＬ、ＢＲは、画像Ｃと画像Ｌ、Ｒとの境界またはトリミング位置を示している。

図２は、自車の後方画像内に後方車両が映し出されたときの表示例を示している。時刻Ｔ１で、自車の後方を走行する後方車両Ｈが撮像され画像Ｃに映し出されている。時刻Ｔ２で、後方車両Ｈが自車に接近し、時刻Ｔ３で、後方車両Ｈがさらに自車に接近し、このとき、後方車両Ｈは、境界ＢＬを跨ぎ、画像Ｌ内に映し出される。時刻Ｔ４で、後方車両Ｈが自車の側部後方にまで接近するように映し出される。こうして、後方車両Ｈを後方画像から確認することができるが、後方車両Ｈが自車により接近したとき、後方車両Ｈが境界ＢＬを跨ぐように表示されるため、後方車両Ｈが境界ＢＬの画像間で歪んでしまい、後方車両Ｈの視認性が悪くなってしまうという課題があった。

本発明は、このような課題を解決し、合成された画像上で後方車両を見易く表示することができる車載用画像表示装置を提供することを目的とする。

本発明に係る車載用画像表示装置は、自車の車幅方向の中央部から自車の後方を撮像し、第１の画像データを出力する第１の撮像手段と、自車の車幅方向の第１の側部から自車の後方を撮像し、第２の画像データを出力する第２の撮像手段と、自車の車幅方向の前記第１の側部と対向する第２の側部から自車の後方を撮像し、第３の画像データを出力する第３の撮像手段と、第１、第２および第３の画像データを合成して後方画像を生成する画像合成手段と、前記画像合成手段により合成された後方画像を表示する表示手段と、自車の後方車両を検出する検出手段とを有し、前記画像合成手段は、前記検出手段により検出された後方車両の位置に応じて第１および第２の画像データの境界または第１および第３の画像データの境界を変化させる。

好ましくは前記検出手段は、自車に対する後方車両の相対速度を検出し、前記画像合成手段は、前記相対速度に基づき前記境界を可変する。好ましくは前記画像合成手段は、前記相対速度がしきい値以下のとき、後方車両の位置に応じて第１の画像データを予め決められたサイズから拡大させ、かつ第１の画像データを拡大させた後に第１の画像データを元の予め決められたサイズに戻すように前記境界を変化させる。好ましくは前記第１の画像データは、左右方向のサイズが徐々に拡大される。好ましくは前記画像合成手段は、前記相対速度がしきい値よりも大きいとき、第１の画像データを予め決められたサイズから縮小するように前記境界を変化させる。好ましくは前記画像合成手段は、前記第１の画像データを元の予め決められたサイズに戻すとき、第１の画像データと第２または第３の画像データとの境界の透過処理を行う。好ましくは前記境界の変更は、第１、第２および第３の画像データのトリミング位置を変更することにより行われる。

本発明によれば、後方車両の位置に応じて境界を可変するようにしたので、境界と後方車両の重なりを極力少なくすることができ、後方車両をより明瞭に映し出し、後方車両の視認性を向上させることができる。

従来の車載用画像表示装置を説明する図であり、図１(ａ)は、３つの撮像カメラによる撮像範囲を示し、図１（ｂ）は、３つの撮像カメラで撮像された画像データの合成例を示す図である。 従来の車載用画像表示装置における後方車両の表示例を示す図である。 本発明の実施例に係る車載用画像表示装置の構成を示すブロック図である。 自車への撮像カメラの設置例を示す平面図である。 後方画像の標準の合成方法を説明する図である。 本発明の第１の実施例による合成方法の動作を示すフローチャートである。 第１の実施例による後方画像の表示例である。 本発明の第２の実施例による合成方法の動作を示すフローチャートである。 第２の実施例による後方車両の相対速度が速いときの後方画像の表示例である。 第２の実施例による後方車両の相対速度が遅いときの後方画像の表示例である。 本発明の第３の実施例による合成方法を説明する図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図３は、本発明の実施例に係る車両用画像表示装置の構成を示すブロック図である。本実施例に係る車載用画像表示装置１００は、撮像カメラ１０２、１０４、１０６と、撮像カメラ１０２〜１０６により撮像された画像データを受け取り、後方画像を表示するために画像データの必要な画像処理を行う画像処理部１１０と、自車後方に存在する後方車両を検出するセンサー１１２と、センサー１１２の検出結果を受け取り後方車両の方向および距離等を算出するセンサー処理部１１４と、画像処理部１１０からの画像データとセンサー処理部１１４からの信号を受け取り、画像データの合成方法を決定する出力制御部１１６と、出力制御部１１６により合成された画像を表示するディスプレイ１１８を含んでいる。

撮像カメラ１０２〜１０６は、例えばＣＣＤやＣＭＯＳイメージセンサを用いて構成される。撮像カメラ１０２は、図４に示すように、自車後部の車幅方向の中央部に取り付けられ、視野角θ１で自車後方を撮像する。撮像カメラ１０４、１０６は、自車の左右のドアミラーに取り付けられ、それぞれ視野角θ２で自車の側部から後方を撮像する。撮像カメラの視野角θ１、θ２は、隣接する視野角と端部がオーバーラップし、撮像カメラ１０２〜１０６により自車の比較的広い後方を漏れなく撮像できるようになっている。

撮像カメラ１０２〜１０６で撮像された画像データは、画像処理部１１０に提供される。画像処理部１１０は、受け取った画像データのサイズを変更したりその他の必要な処理を行う。また、画像データを合成するに際して視点変換が必要な場合には視点変換処理を行う。

センサー１１２は、例えば、ソナーセンサー（超音波探知センサー）を用いて構成される。ソナーセンサーは、超音波を発信する発信部と後方車両により反射された超音波を受信する受信部を含む。好ましくは、センサー１１２は、撮像カメラ１０２〜１０６の撮像範囲と一致する範囲内の後方車両を検知する。なお、後方車両を検出する手段は、ソナーセンサーに限らず、ミリ波レーダーなどの公知の手段を用いてもよい。さらに、撮像カメラ１０２〜１０６で撮像された画像データを画像処理し、そこから後方車両を検出することも可能である。

センサー処理部１１４は、センサー１１２からの検出信号に基づき後方車両までの距離やその方向を算出する。また、好ましい例では、センサー処理部１１４は、自車に対する後方車両の相対速度Ｖを算出する。センサー処理部１１４で算出された結果は、出力制御部１１６に伝えられ、これは、画像合成の決定のための情報に利用される。

出力制御部１１６は、例えば、マイクロプロセッサ、マイクロコンピュータ、画像処理プロセッサなどを用いて構成され、ＲＯＭやＲＡＭに格納された画像の合成方法を決定するプログラムを実行する。但し、画像合成の実現手段は、ソフトウエアのみならず、ハードウエアまたは両者のいずれであってもよい。撮像カメラ１０２〜１０６から得られた画像データは、それぞれ重複した領域の画像データを含んでいるため、出力制御部１１６は、重複した領域の画像データをトリミングし、画像を合成することが好ましい。合成される画像の境界に後方車両が表示されると、後方車両が不明瞭となりその視認性が悪くなる。従って、本実施例では、従来と異なり、画像合成の境界を可変とすることで、境界による後方車両の画像への影響を極力小さくする。

次に、出力制御部１１６の画像合成の詳細について説明する。出力制御部１１６は、予め決められたトリミング位置で画像を合成する標準の合成方法を有する。標準の合成方法は、後方画像を最初に表示するとき、後方車両が検知されないとき、あるいはユーザによって指示されたときなどに実行される。

図５に標準の合成方法で合成された後方画像を示す。後方画像２００は、後部中央の撮像カメラ１０２で撮像された画像データＣと、左右の撮像カメラ１０４、１０６で撮像された画像データＬ、Ｒとから構成される。画像データＣと画像データＬの境界は、ＢＬで示され、画像データＣと画像データＲの境界は、ＢＲで示されている。破線で示す矩形領域Ｃmaxは、撮像カメラ１０２の最大撮像範囲を示している。標準の合成方法では、画像データＣの左右のサイズは、最大撮像範囲Ｃmaxよりも小さな大きさにトリミングされている。また、好ましくは左右の画像データＬ、Ｒは、画像データＣのトリミング位置に合わせてトリミングされ、あたかも画像データＣが画像データＬ、Ｒよりも優先されて前面に表示されるようになっている。

次に、第１の実施例による合成方法を図６のフローチャートを参照して動作を説明する。先ず、自車の走行開始とともに、撮像カメラ１０２〜１０６による撮像が開始される（ステップＳ１０１）。画像処理部１１０によって画像データのサイズやその他の必要な処理が施され、これらの画像データは出力制御部１１６へ出力される。初期段階では、後方車両は、センサー１１２によって検出されていないため、出力制御部１１６は、標準の合成方法に従って画像データＣ、Ｌ、Ｒが合成され、後方画像２００が生成される（ステップＳ１０２）。生成された後方画像２００は、ディスプレイ１１８に表示される（ステップＳ１０３）。

自車の走行中に後方車両の有無がセンサー１１２によって検出される（ステップＳ１０４）。後方車両が検出されると、センサー処理部１１４は、自車に対する後方車両の距離と方向（位置ベクトル）を算出する（ステップＳ１０５）。出力制御部１１６は、算出された位置および方向に基づき、後方車両が後方画像の境界ＢＬまたはＢＲに重複するか否かを判定する（ステップＳ１０６）。出力制御部１１６は、重複すると判定すると、次に、画像データＣが最大撮像範囲Ｃmaxまで拡大されているか否かを判定する（ステップS１０７）。最大撮像範囲Ｃmaxまで拡大されていなければ、画像データＣおよび画像データＬ、Ｒのトリミング位置を変更し（ステップＳ１０８）、画像データＣのサイズが最大撮像範囲Ｃmaxまで拡張され、同時に画像Ｌ、Ｒのサイズが一定の量だけ左右に縮小される。他方、画像データＣが既に最大撮像範囲Ｃmaxまで拡大されている場合には、図５に示した標準の合成方法で示されたトリミング位置に変更され、元のサイズの画像データＣに戻される（ステップＳ１０２）。

次に、第１の実施例による合成例を図７に示す。先ず、時刻Ｔ１で、後方車両Ｈが画像データＣの撮像範囲内に映し出される。このとき、後方画像は、標準の合成方法にて合成されており、かつ後方車両Ｈは、自車と異なる車線を走行しているものとする。次に、時刻Ｔ２で、後方車両Ｈが自車に接近し、後方車両Ｈの位置が画像データＣと画像データＬの境界ＢＬに重複する。出力制御部１１６は、後方車両Ｈが境界ＢＬに重複していると判定し、画像データＣが最大撮像範囲Ｃmaxまで拡張するように画像データＣのトリミング位置を変更し、同時に画像データＬ、Ｒの左右のサイズが縮小するように画像データＬ、Ｒのトリミング位置を変更する。次に、時刻Ｔ３で、さらに後方車両Ｈは、最大撮像範囲Ｃmaxである境界ＢＬに重複すると、出力制御部１１６は、時刻Ｔ４に示すように、画像データＣのサイズを標準の合成方法となる元の大きさに戻し、同時に画像データＬ、Ｒのサイズも元の大きさに戻す。なお、画像データＣを標準の合成方法のサイズから最大撮像範囲Ｃmaxのサイズに拡張するとき、その拡張は、１度で行われても良いし、段階的に行われても良い。第１の実施例の合成方法では、後方車両Ｈの位置に応じて画像データＣを最大撮像範囲Ｃmaxまで拡張するようにしたので、言い換えれば、後方車両Ｈの位置に応じて境界ＢＬの位置を可変するようにしたので、境界による後方車両Ｈの画像の視認性の低下を極力抑えることができる。

次に、第２の実施例の合成方法を図８のフローチャートを参照して説明する。ステップＳ２０１からステップＳ２０４までは、第１の実施例のときのステップＳ１０１からＳ１０４と同じである。センサー処理部１１４は、センサー１１２によって後方車両が検出されると、後方車両の位置ベクトルの変化、すなわち自車に対する後方車両の相対速度Ｖを算出し（ステップＳ２０５）、これを出力制御部１１６へ提供する。出力制御部１１６は、後方車両が接近しているとき、相対速度Ｖがしきい値より大きいか否かを判定する（ステップＳ２０６）。出力制御部１１６は、相対速度Ｖがしきい値よりも大きい場合には、相対速度が速いときのトリミング方法で画像合成を行い（ステップＳ２０７）、相対速度がしきい値以下の場合には、相対速度が遅いときのトリミング方法で画像合成を行う（ステップＳ２０８）。

図９は、相対速度が速いときのトリミング方法での画像合成を説明する図である。時刻Ｔ１で後方車両Ｈが検出され、その映像が画像データＣに映し出される。出力制御部１１６は、センサー処理部１１４から後方車両のベクトル位置を受け取り、それが画像データＣに映し出されると判断すると、時刻Ｔ２に示すように、左右の画像データＬ、Ｒが優先的に表示されるように境界ＢＬ、ＢＲを変更する。すなわち、画像データＬ、Ｒの左右のサイズが拡張されるようにトリミング位置を変更する。以後、時刻Ｔ３、Ｔ４に示すように、後方車両Ｈが自車に接近されても、トリミング位置はそのまま継続される。時刻Ｔ３、Ｔ４の破線Ｐで示すエリアは、後方車両Ｈが自車の側部後方に接近し安全確認を行う上では重要なエリアであるが、このエリアＰに後方車両Ｈが映し出されたとき、たとえ後方車両Ｈの相対速度が速くとも、後方車両Ｈは、境界ＢＬを跨がないために視認性の低下が避けられる。

図１０は、相対速度が遅いときのトリミング方法の画像合成を説明する図である。時刻Ｔ１で後方車両Ｈが検出され、画像データＣに後方車両が映し出される。出力制御部１１６は、センサー処理部１１４から提供された後方車両Ｈの位置情報を受け取り、後方車両Ｈに追従するように境界ＢＬを変更する。時刻Ｔ２で、後方車両Ｈが境界ＢＬに接近すると、出力制御部１１６は、画像データＣのサイズが左右に拡張するようにトリミング位置を変更し境界ＢＬを変更する。トリミング位置の変更は、時刻Ｔ２−１、Ｔ２−２、Ｔ２−３に示すように、境界ＢＬが最大撮像範囲Ｃmaxに到達するまで連続的にまたは多段階で行うことができる。そして、境界ＢＬが最大撮像範囲Ｃmaxに到達すると、画像データＣは、標準の合成方法である元のサイズに戻される。この場合にも、時刻Ｔ３、Ｔ４のエリアＰの範囲では、境界ＢＬの変更による違和感を極力抑えることができ、後方車両Ｈの視認性の低下を抑えることができる。なお、図１０に示すように、後方車両Ｈが存在する側の境界ＢＬのみ変更し、後方車両が存在しない他方の境界ＢＲを変更しなくてもよい。

次に、第３の実施例に係る合成方法について説明する。第１および第２の実施例では、後方車両Ｈの位置に応じて画像Ｃのサイズを左右に拡張させたが、画像Ｃのサイズを元に戻すとき、境界が急激に変化すると、ユーザに違和感を与えることがある。このため、第３の実施例では、境界を透過処理する。図１１は、図１０の時刻Ｔ３の後方画像の境界を時刻Ｔ４の後方画像の境界に移動させるときの例を示している。時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４へ境界ＢＬが変化するとき、出力制御部１１６は、境界ＢＬを含む矩形領域Ｑの画像データＣと画像データＬを加算して平均化したり、あるいは画像データＣが半透明となるようなブレンド処理をする。これにより、境界ＢＬの移動による違和感を少なくさせることができる。

本実施例の車載用画像表示装置は、車両に搭載される種々の電子機器と共用されるものであってもよい。例えば、本実施例のディスプレイ１１８は、ナビゲーション装置やテレビ受信機と共用されることが可能である。ディスプレイ上にナビゲーション画面が表示されている場合には、後方車両の検出時に、ディスプレイに割込み表示をさせたり、２画面表示させるようにしてよい。また、ディスプレイ１１８は、スピードメータなどが配置されるメータパネル類の中に表示されるようにしてもよい。さらに、車載用表示装置は、走行中に常に表示される必要はなく、ユーザからの指示があったときにのみ表示されるようにしてもよい。さらに上記実施例では、後方車両を例示したが、後方車両は、自動車、オートバイ、自転車、その他の障害物等の物体を広く含むものである。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０：自車 １００：車載用画像表示装置
１０２、１０４、１０６：撮像カメラ １１０：画像処理部
１１２；センサー １１４：センサー処理部
１１６：出力制御部 １１８：ディスプレイ
Ｈ：後方車両 Ｃ、Ｌ、Ｒ：画像データ
ＢＬ、ＢＲ：境界 Ｃmax：最大撮像範囲

Claims (6)

1. 自車の車幅方向の中央部から自車の後方を撮像し、第１の画像データを出力する第１の撮像手段と、
   自車の車幅方向の第１の側部から自車の後方を撮像し、第２の画像データを出力する第２の撮像手段と、
   自車の車幅方向の前記第１の側部と対向する第２の側部から自車の後方を撮像し、第３の画像データを出力する第３の撮像手段と、
   第１、第２および第３の画像データを合成して後方画像を生成する画像合成手段と、
   前記画像合成手段により合成された後方画像を表示する表示手段と、
   自車に対する後方車両の相対速度をする検出手段とを有し、
   前記画像合成手段は、前記検出手段により検出された前記相対速度に基づき第１および第２の画像データの境界または第１および第３の画像データの境界を可変する、
   車載用画像表示装置。
2. 前記画像合成手段は、前記相対速度がしきい値以下のとき、後方車両の位置に応じて第１の画像データを予め決められたサイズから拡大させ、かつ第１の画像データを拡大させた後に第１の画像データを元の予め決められたサイズに戻すように前記境界を変化させる、請求項１に記載の車載用画像表示装置。
3. 前記第１の画像データは、左右方向のサイズが徐々に拡大される、請求項２に記載の車載用画像表示装置。
4. 前記画像合成手段は、前記相対速度がしきい値よりも大きいとき、第１の画像データを予め決められたサイズから縮小するように前記境界を変化させる、請求項１に記載の車載用画像表示装置。
5. 前記画像合成手段は、前記第１の画像データを元の予め決められたサイズに戻すとき、第１の画像データと第２または第３の画像データとの境界の透過処理を行う、請求項２に記載の車載用画像表示装置。
6. 前記境界の変更は、第１、第２および第３の画像データのトリミング位置を変更することにより行われる、請求項１ないし５いずれか１つに記載の車載用画像表示装置。

Images