JP6425991B2 - 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 - Google Patents

Description

本発明は、牽引車両周囲画像生成装置および牽引車両周囲画像生成方法に関し、特に、牽引車両に設置した複数の車載カメラにより撮影した各画像を合成して牽引車両の周囲画像を生成する装置に用いて好適なものである。

従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た車両周囲の鳥瞰画像（以下、車両周囲画像という）を生成し、当該車両周囲画像を表示装置に表示する技術が提案されている。この技術によれば、運転者は、自車両の表示装置に表示された車両周囲画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。

図１０は、車両周囲画像を生成するために自車両に設置される複数のカメラの配置例および各撮影画像の切出領域の例を示す図である。図１０において、フロントカメラ１ａは自車両１００の前方に配置され、前方の範囲の画像を撮影する。左サイドカメラ１ｂは自車両１００の左側方に配置され、左方の範囲の画像を撮影する。右サイドカメラ１ｃは自車両１００の右側方に配置され、右方の範囲の画像を撮影する。リアカメラ１ｄは自車両１００の後方に配置され、後方の範囲の画像を撮影する。

図１０に示すように、各カメラ１ａ〜１ｄの撮影画像を視点変換して車両周囲画像を生成する際には、前方の撮影画像から領域１０１の画像を切り出す。また、左側方の撮影画像から領域１０２の画像を切り出す。また、右側方の撮影画像から領域１０３の画像を切り出す。また、後方の撮影画像から領域１０４の画像を切り出す。そして、各領域１０１〜１０４の画像を視点変換して得られる画像と、これらの画像の中心に配置する自車両１００のアイコン画像とを合成することにより、車両周囲画像を生成する。

上述の車両周囲画像は、種々の車両について生成することが可能である。例えば、自車両（牽引車両）に連結されたトレーラのような被牽引車両にも適用することが可能である（例えば、特許文献１，２参照）。特許文献１に記載の車両周辺監視装置では、牽引車両に被牽引車両が連結されている場合に、牽引車両に搭載されたカメラの撮影画像を用いて、牽引車両の周囲を上方から見下ろした第１の車両周辺監視画像に比べて表示範囲が牽引車両側から被牽引車両側に向かって広く形成された第２の車両周辺監視画像を表示するようにしている。

また、特許文献２に記載および運転支援装置では、画像取得手段から取得した撮像画像を視点変換して俯瞰画像を生成する際に、自車両画像と、牽引車側連結具と、自車両のステアリング操舵に応じた左右一対の予想軌跡ガイドマークとを記憶手段から読み出して俯瞰画像に重畳する。ここで、左方の予想軌跡ガイドマークの車幅中心方向側の辺と、右方の予想軌跡ガイドマークの車幅中心方向側の辺との間隔内に牽引車側連結具を表示することにより、予想軌跡ガイドマークが牽引車側連結具の上に重ならないようにしている。

特開２００８−１４９７６４号公報 ＷＯ２０１２／１１７６９３号公報

自車両に被牽引車両が連結されている場合、被牽引車両の周囲を重点的に確認したいという要望がある。そこで、牽引車両の後方の車両周囲画像だけを画面全体に表示させるモード（以下、リアビューモードという）も用意されている。図１１は、リアビューモードによる車両周囲画像の一例を示す図である。この図１１は、図１０に示した左右側方の切出領域１０２，１０３から後方側の一部を更に切り出した左右後方寄りの切出領域１０２’，１０３’の画像と、後方の切出領域１０４の画像とから生成された車両周囲画像を示している。なお、左右後方寄りの切出領域１０２’，１０３’は、便宜上斜線で示している。

図１１の例では、自車両（牽引車両）は画面上方奥に存在し、アイコン画像は表示されていない。また、後方の切出領域１０４の画像内には、牽引車両と被牽引車両との間の連結部の画像２００が視点変換された状態で表示されている。連結部の画像２００だけが表示されるのは、リアカメラ１ｄによる撮影画像には殆ど連結部しか写らず、その後方に接続されている被牽引車両が撮影画像内に殆ど写らないからである。なお、図１１の例は、連結部が回動軸を中心として右方向に回動し、連結部を介して牽引車両と被牽引車両とが右方向に一定の相対角度αを成して連結されているときに生成された車両周囲画像を示している。

図１１に示すように、リアビューモードによる車両周囲画像には、左後方寄りの切出領域１０２’と後方の切出領域１０４との間に不連続面が存在し、右後方寄りの切出領域１０３’と後方の切出領域１０４との間に不連続面が存在する。この不連続面の位置に人や自転車などの立体物が存在すると、両側の画像内に立体物が異なる角度に分断された状態で表示されてしまい、非常に見にくい画像となってしまう。

すなわち、カメラ視点による撮影画像を自車両上方の仮想視点による鳥瞰画像に視点変換した場合、立体物は、カメラから立体物までのベクトル方向に倒れて引き伸ばされたような画像となる。そのため、例えば、右後方寄りの切出領域１０３’と後方の切出領域１０４との境界付近に立体物があると、右サイドカメラ１ｃから立体物までのベクトル方向に立体物が倒れて引き伸ばされたような画像が右後方寄りの切出領域１０３’の鳥瞰画像内に表示されるとともに、リアカメラ１ｄから立体物までのベクトル方向に立体物が倒れて引き伸ばされたような画像が後方の切出領域１０４の鳥瞰画像内に表示されてしまう。そのため、不連続面付近の画像が非常に見にくいものとなり、誤認識しやすいという問題を生じる。

本発明は、このような問題を解決するために成されたものであり、被牽引車両が連結されている自車両後方の車両周囲画像における切出領域境界付近の画像を見やすくすることを目的とする。

上記した課題を解決するために、本発明では、牽引車両に搭載された撮像装置により撮影された後方画像、左側方画像および右側方画像から切り出した画像を鳥瞰画像に視点変換して車両周囲画像を生成する際に、牽引車両と連結部との相対角度を検出し、検出した相対角度に基づいて、連結部または被牽引車両が牽引車両に対して後方に向かうに従って右に変移するように傾いているときは、連結部または被牽引車両が写っている領域の境界の少なくとも１つと右側方画像の切出領域の境界とが一致するように、右側方画像の切出領域を変えて画像変換し、連結部または被牽引車両が牽引車両に対して後方に向かうに従って左に変移するように傾いているときは、連結部または被牽引車両が写っている領域の境界の少なくとも１つと左側方画像の切出領域の境界とが一致するように、左側方画像の切出領域を変えて画像変換するようにしている。

上記のように構成した本発明によれば、連結部または被牽引車両が写っている領域の境界と撮影画像の切出領域の境界とを一致させた部分においては、隣接する切出領域間の不連続面がなくなる。そのため、この切出領域間の境界付近に立体物が存在しても、連結部または被牽引車両が写っている切出領域側（後方画像側）には立体物の画像は写り込まず、もう一方の切出領域側（左側方画像側または右側方画像側）にのみ立体物が写ることになる。これにより、後方の切出領域および側方の切出領域の両側の画像内に、立体物が異なる角度に分断された状態で写り込むことがなくなる。したがって、牽引車両後方の車両周囲画像における切出領域境界付近の画像を見やすくすることができる。

本実施形態による牽引車両周囲画像生成装置を適用した画像処理システムの構成例を示す図である。 本実施形態の相対角度検出部による相対角度の検出例を示す図である。 本実施形態による撮影画像の切出領域の変更例を示す図である。 図３に示す切出領域に基づいて生成される車両周囲画像の一例を示す図である。 図３に示す切出領域に基づいて生成される車両周囲画像の他の例を示す図である。 本実施形態による画像処理部（牽引車両周囲画像生成装置）の動作例を示すフローチャートである。 本実施形態による牽引車両周囲画像生成装置を適用した画像処理システムの他の構成例を示す図である。 本実施形態によるリアビューモードの車両周囲画像の一例を示す図である。 本実施形態による前後左右の車両周囲画像の一例を示す図である。 自車両に設置される複数のカメラの配置例および各撮影画像の切出領域の従来例を示す図である。 リアビューモードによる車両周囲画像の従来例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による牽引車両周囲画像生成装置を適用した画像処理システムの構成例を示す図である。図１に示すように、本実施形態の画像処理システムは、車載カメラ１、画像処理部２および表示装置３を備えて構成されている。これらのうち、画像処理部２が牽引車両周囲画像生成装置に相当する。本実施形態の牽引車両周囲画像生成装置は、連結部を介して被牽引車両が連結された牽引車両に搭載された車載カメラ１による撮影画像を視点変換することにより、牽引車両周囲の鳥瞰画像である車両周囲画像を生成するものである。

車載カメラ１は、自車両（牽引車両）の異なる場所に設置された複数の撮像装置であり、牽引車両の前方を撮影するためのフロントカメラ１ａ、牽引車両の左側方を撮影するための左サイドカメラ１ｂ（左側方撮像装置に相当）、牽引車両の右側方を撮影するための右サイドカメラ１ｃ（右側方撮像装置に相当）および牽引車両の後方を撮影するためのリアカメラ１ｄ（後方撮像装置に相当）により構成されている。

画像処理部２は、その機能構成として、画像取得部１１、画像合成部１２、表示制御部１３、相対角度検出部１４およびマッピングテーブル記憶部１５を備えている。ここで、機能ブロック１１〜１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、各機能ブロック１１〜１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

画像取得部１１は、複数の車載カメラ１ａ〜１ｄによって撮影された複数方向の画像をそれぞれ取得する。すなわち、画像取得部１１は、フロントカメラ１ａにより撮影された前方の撮影画像（以下、前方画像という）、左サイドカメラ１ｂにより撮影された左側方の撮影画像（以下、左側方画像という）、右サイドカメラ１ｃにより撮影された右側方の撮影画像（以下、右側方画像という）、およびリアカメラ１ｄにより撮影された後方の撮影画像（以下、後方画像という）を取得する。

画像合成部１２は、画像取得部１１により取得された複数方向の撮影画像から一部切り出した画像を、牽引車両の上方を視点とする鳥瞰画像に変換して合成することにより、車両周囲画像を生成する。すなわち、画像合成部１２は、画像合成を行う際に、複数方向の撮影画像からそれぞれ一部の領域の画像を切り出す。そして、マッピングテーブル記憶部１５に記憶されているマッピングテーブル（座標変換情報）を用いて、切り出した画像に対して視点変換処理を行い、これによって生成された複数方向の鳥瞰画像を合成する。

マッピングテーブル記憶部１５は、各車載カメラ１ａ〜１ｄにより撮影されたカメラ視点による画像の画素データと、自車両上方の仮想視点による車両周囲画像の画素データとの対応関係を記憶したテーブルであり、車載カメラ１ａ〜１ｄにより撮影された画像のある画素が、車両周囲画像のどの画素に対応するかを示す変換情報を記憶している。

表示制御部１３は、画像合成部１２により生成された車両周囲画像を表示装置３に表示させるように制御する。

相対角度検出部１４は、画像取得部１１により取得されたリアカメラ１ｄの後方画像に基づいて、牽引車両と連結部との相対角度を検出する。図２は、相対角度検出部１４による相対角度の検出例を示す図である。図２は、リアカメラ１ｄにより撮影された後方画像を示している。図２に示すように、相対角度検出部１４は、後方画像に写っている連結部のエッジを抽出し、当該エッジの方向と、牽引車両の前後方向（後方画像の上下方向）とが成す角度を牽引車両と連結部との相対角度として検出する。

なお、ここでは、連結部のエッジの方向と牽引車両の前後方向とが成す角度を相対角度として検出する例について説明したが、本発明はこれに限定されない。例えば、連結部のエッジの方向と、牽引車両の幅方向（後方画像の左右方向）とが成す角度を相対角度として検出するようにしてもよい。

上述の画像合成部１２は、相対角度検出部１４により検出された相対角度に基づいて、連結部が写っている領域の境界の少なくとも１つと撮影画像の切出領域の境界の少なくとも１つとが一致するように、撮影画像の切出領域を変えて画像変換する。

図３は、切出領域の変更例を示す図である。また、図４は、図３に示す切出領域に基づいて生成されるリアビューモードによる車両周囲画像の一例を示す図である。なお、図３および図４は、図１１に示した従来例と同様に、連結部を介して牽引車両と被牽引車両とが右方向に一定の相対角度αを成して連結されているときにおける切出領域と車両周囲画像を示している。

図３および図４の例では、後方画像において右方向へ相対角度αを成して写っている連結部２００の領域における右側の境界と、右側方画像の右後方寄りの切出領域１０３”の境界とが一致するように、右側方画像の切出領域１０３”および後方画像の切出領域１０４”を変えている。すなわち、図１０および図１１に示した従来例による右側方画像の切出領域１０３’と比べて、本実施形態による右側方画像の切出領域１０３”は、面積が大きくなっている。逆に、本実施形態による後方画像の切出領域１０４”は、従来例による後方画像の切出領域１０４と比べて面積が小さくなっている。

このように、連結部２００の境界と右側方画像の切出領域１０３”の境界とを一致させることにより、右側方画像の切出領域１０３”と後方画像の切出領域１０４”との間には不連続面がなくなる。この場合の不連続面とは、牽引車両、連結部および被牽引車両以外の周囲画像が切出領域の境界において不連続になる面のことをいう。図４の場合、連結部２００の画像と右後方寄りの切出領域１０３”の画像とが接していて、周囲画像どうしが接していないことから、不連続面はないといえる。

なお、相対角度検出部１４により相対角度αが検出されていて、連結部の大きさが既知であれば、後方画像のどの位置にどの程度の大きさで連結部が写るのかを特定することが可能である。したがって、左側方画像または右側方画像のどちらの切出領域をどの程度増やして、後方画像の切出領域の左側部分または右側部分のどちらをどの程度減らせばいいのかを特定することが可能である。

図４では、後方画像に写っている連結部２００をそのまま利用して車両周囲画像を生成する例を示したが、本発明はこれに限定されない。例えば、図５に示すように、画像合成部１２は、連結部２００が写っている領域に、被牽引車両または当該被牽引車両に搭載された搭載物のアイコン画像を合成して車両周囲画像を生成するようにしてもよい。このように、視点変換によって長く引き伸ばされた連結部２００に代えて、見やすいアイコン画像２０１を合成して表示させることにより、車両周囲画像の視認性を向上させることができる。

図５の例では、被牽引車両に搭載されたボートのアイコン画像２０１を合成している。この場合、画像合成部１２は、アイコン画像２０１の右側の境界と右側方画像の切出領域１０３”の境界とが一致するように、右側方画像の切出領域１０３”と後方画像の切出領域１０４”とを変えて画像変換する。なお、合成するアイコン画像は、例えば画像処理部２に複数種類あらかじめ記憶しておき、その中から何れかをユーザが任意に選択できるようにしてもよい。

図５のようにアイコン画像２０１を合成する場合、画像合成部１２は、連結部または被牽引車両によって死角となる領域に、死角であることを示す死角領域画像２０２を更に合成するようにしてもよい。図５の例では、連結部２００が右方向に相対角度αを成していることにより、後方画像にも写らない死角となる領域が生じる。この死角となる領域に三角形の死角領域画像２０２を合成している。このように死角領域画像２０２を合成して表示させることにより、死角が存在することの注意を運転者に喚起することができる。

図６は、上記のように構成した本実施形態による画像処理部２（牽引車両周囲画像生成装置）の動作例を示すフローチャートである。なお、図６に示すフローチャートは、例えば、車両周囲画像の表示がユーザによって指示されたときに開始し、その指示が解除されるまで繰り返し実行する。ここでは、リアビューモードによる車両周囲画像を生成して表示する例について説明する。

まず、画像取得部１１は、複数の車載カメラ１ｂ〜１ｄによって撮影された複数方向の画像をそれぞれ取得する（ステップＳ１）。次に、相対角度検出部１４は、画像取得部１１により取得されたリアカメラ１ｄの後方画像に基づいて、牽引車両と連結部との相対角度を検出する（ステップＳ２）。

次いで、画像合成部１２は、相対角度検出部１４により検出された相対角度に基づいて、後方画像において連結部が写っている領域の境界と、連結部が傾いている方向の撮影画像の切出領域の境界とが一致するように、後方画像、左側方画像および右側方画像の切出領域を設定する（ステップＳ３）。そして、画像合成部１２は、複数方向の撮影画像から、上記のようの設定した切出領域の画像をそれぞれ切り出す（ステップＳ４）。

さらに、画像合成部１２は、マッピングテーブル記憶部１５に記憶されている座標変換情報に基づいて、上記のように切り出した画像に対して視点変換処理を行う。これにより、複数方向の切出領域の画像を、牽引車両の上方を視点とする鳥瞰画像に変換する（ステップＳ５）。

そして、画像合成部１２は、視点変換によって生成した複数方向の鳥瞰画像を合成することにより、車両周囲画像を生成する（ステップＳ６）。最後に、表示制御部１３は、画像合成部１２により生成された車両周囲画像を表示装置３に表示させる（ステップＳ７）。これにより、図６に示すフローチャートの処理は、１サイクルが終了する。

以上詳しく説明したように、本実施形態では、牽引車両の車載カメラ１ｂ〜１ｄにより撮影された左側方画像、右側方画像および後方画像から切り出した画像を鳥瞰画像に視点変換して車両周囲画像を生成する際に、牽引車両と連結部との相対角度を検出し、検出した相対角度に基づいて、連結部が写っている領域の境界と、当該連結部が傾いている方の撮影画像の切出領域の境界とが一致するように、後方画像、左側方画像および右側方画像の切出領域を変えて画像変換するようにしている。

このように構成した本実施形態によれば、境界を一致させた部分においては、隣接する切出領域間の不連続面がなくなるため、切出領域間の境界付近に立体物が存在しても、連結部または被牽引車両が写っている切出領域側（後方画像側）には立体物の画像は写り込まず（言い換えると、立体物が写り込んでいる領域は切り出されない）、もう一方の切出領域側（左側方画像側または右側方画像側）にのみ立体物が写ることになる。これにより、後方の切出領域および側方の切出領域の両側の画像内に、立体物が異なる角度に分断された状態で写り込むことがなくなる。したがって、牽引車両後方の車両周囲画像における切出領域境界付近の画像を見やすくすることができる。

なお、上記実施形態では、牽引車両がヘディングアップとなるように（すなわち、画面上方が牽引車両の進行方向となるように）車両周囲画像を生成する例について説明したが、本発明はこれに限定されない。例えば、連結部または被牽引車両がヘディングアップとなるようにして車両周囲画像を生成するようにしてもよい。

また、上記実施形態では、３つの車載カメラ１ｂ〜１ｄにより撮影される左側方画像、右側方画像および後方画像によりリアビューモードの車両周囲画像を生成する例について説明したが、本発明はこれに限定されない。例えば、フロントカメラ１ａを加えた４つの車載カメラ１ａ〜１ｄにより前後左右の車両周囲画像を生成するようにしてもよい。または、図７に示すように、被牽引車両にもリアカメラ４ａを搭載し、当該被牽引車両のリアカメラ４ａにより撮影される後方画像を更に用いて車両周囲画像を生成するようにしてもよい。

図８は、牽引車両に搭載された左サイドカメラ１ｂ、右サイドカメラ１ｃおよびリアカメラ１ｄにより撮影される左側方画像、右側方画像および後方画像と、被牽引車両に搭載されたリアカメラ４ａにより撮影される後方画像とを用いて生成されるリアビューモードの車両周囲画像の一例を示す図である。また、図８は、連結部または被牽引車両がヘディングアップとなるようにして生成される車両周囲画像の例を示している。さらに、図８は、牽引車両のリアカメラ１ｄにより撮影される後方画像内で連結部が写っている領域にボートのアイコン画像２０１を合成するとともに、死角となる領域に死角領域画像２０２を合成した例を示している。

図８（ａ）は、被牽引車両が牽引車両に対してまっすぐな状態（相対角度α＝０度）となっている場合に生成される車両周囲画像の例を示している。この場合、画像合成部１２は、牽引車両の左サイドカメラ１ｂおよび右サイドカメラ１ｃにより撮影される左側方画像および右側方画像と、被牽引車両のリアカメラ４ａにより撮影される後方画像とからそれぞれ切り出される画像を用いてリアビューモードの車両周囲画像を生成する。

ここで、画像合成部１２は、牽引車両の後方画像において連結部がある領域に合成したアイコン画像２０１における左側の境界と、左側方画像の切出領域１１２の境界とが一致するように、左側方画像の切出領域１１２を設定する。また、画像合成部１２は、アイコン画像２０１における右側の境界と、右側方画像の切出領域１１３の境界とが一致するように、右側方画像の切出領域１１３を設定する。また、アイコン画像２０１の後方の領域に、被牽引車両の後方画像の切出領域１１５を設定する。

図８（ｂ）は、被牽引車両が牽引車両に対して右方向に相対角度αを持って傾いた状態で連結されている場合に生成される車両周囲画像の例を示している。この場合、画像合成部１２は、牽引車両の右サイドカメラ１ｃおよびリアカメラ１ｄにより撮影される右側方画像および後方画像と、被牽引車両のリアカメラ４ａにより撮影される後方画像とからそれぞれ切り出される画像を用いてリアビューモードの車両周囲画像を生成する。

ここで、画像合成部１２は、牽引車両の後方画像において連結部がある領域に合成したアイコン画像２０１における右側の境界と、右側方画像の切出領域１１３’の境界とが一致するように、右側方画像の切出領域１１３’を設定する。また、画像合成部１２は、アイコン画像２０１よりも左側の方向に、牽引車両の後方画像の切出領域１１４を設定するともに、アイコン画像２０１の後方の領域に、被牽引車両の後方画像の切出領域１１５を設定する。この例において、画像合成部１２は、牽引車両の後方画像でも写らない死角となる領域に死角領域画像２０２’を合成している。

図８（ｃ）は、被牽引車両が牽引車両に対して左方向に相対角度αを持って傾いた状態で連結されている場合に生成される車両周囲画像の例を示している。この場合、画像合成部１２は、牽引車両の左サイドカメラ１ｂおよびリアカメラ１ｄにより撮影される左側方画像および後方画像と、被牽引車両のリアカメラ４ａにより撮影される後方画像とからそれぞれ切り出される画像を用いてリアビューモードの車両周囲画像を生成する。

ここで、画像合成部１２は、牽引車両の後方画像において連結部がある領域に合成したアイコン画像２０１における左側の境界と、左側方画像の切出領域１１２’の境界とが一致するように、左側方画像の切出領域１１２’を設定する。また、画像合成部１２は、アイコン画像２０１よりも右側の方向に、牽引車両の後方画像の切出領域１１４’を設定するともに、アイコン画像２０１の後方の領域に、被牽引車両の後方画像の切出領域１１５を設定する。この例において、画像合成部１２は、牽引車両の後方画像でも写らない死角となる領域に死角領域画像２０２”を合成している。

図９は、牽引車両に搭載された４つの車載カメラ１ａ〜１ｄにより撮影される４方向の撮影画像と、被牽引車両に搭載されたリアカメラ４ａにより撮影される後方画像とを用いて生成される前後左右の車両周囲画像の一例を示す図である。

図９（ａ）は、牽引車両がヘディングアップとなるようにして生成された車両周囲画像の例を示している。また、図９（ａ）は、牽引車両のアイコン画像１００とボートのアイコン画像２０１とを合成した例を示している。また、図９（ａ）は、４つの車載カメラ１ａ〜１ｄにより撮影される４方向の撮影画像からそれぞれ切り出される画像を用いて、牽引車両の前後左右の周囲を表す車両周囲画像を生成した例を示している。

図９（ａ）の例では、被牽引車両が牽引車両に対して右方向に相対角度αを持って傾いた状態で連結されている。この場合、画像合成部１２は、ボートのアイコン画像２０１における右側の境界と、右側方画像の切出領域１２３の境界とが一致するように、右側方画像の切出領域１２３と後方画像の切出領域１２４とを設定する。また、画像合成部１２は、牽引車両のアイコン画像１００の前方に前方画像の切出領域１２１を設定するとともに、牽引車両のアイコン画像１００の左側に左側方画像の切出領域１２２を設定している。この例において、画像合成部１２は、死角領域画像の合成は行ってない。

図９（ｂ）は、牽引車両のアイコン画像１００と被牽引車両に搭載されたボートのアイコン画像２０１とを一画面に入れて、被牽引車両がヘディングアップとなるようにして生成された車両周囲画像の例を示している。また、図９（ｂ）は、牽引車両に搭載された４つの車載カメラ１ａ〜１ｄにより撮影される４方向の撮影画像と、被牽引車両に搭載されたリアカメラ４ａにより撮影される後方画像とからそれぞれ切り出される画像を用いて、牽引車両および被牽引車両の前後左右の周囲を表す車両周囲画像を生成した例を示している。

図９（ｂ）の例では、被牽引車両が牽引車両に対して右方向に相対角度αを持って傾いた状態で連結されている。この場合、画像合成部１２は、ボートのアイコン画像２０１における右側の境界と、右側方画像の切出領域１２３’の境界とが一致するように、右側方画像の切出領域１２３’を設定する。また、画像合成部１２は、ボートのアイコン画像２０１よりも左側の方向に、牽引車両の後方画像の切出領域１２４’を設定するともに、ボートのアイコン画像２０１の後方に、被牽引車両の後方画像の切出領域１２５を設定する。さらに、画像合成部１２は、牽引車両のアイコン画像１００の前方に前方画像の切出領域１２１’を設定するとともに、牽引車両のアイコン画像１００の左側に左側方画像の切出領域１２２’を設定している。この例において、画像合成部１２は、牽引車両の後方画像でも写らない死角となる領域に死角領域画像２１２’を合成している。

図９（ｃ）は、牽引車両のアイコン画像１００と被牽引車両に搭載されたボートのアイコン画像２０１とを一画面に入れて、牽引車両がヘディングアップとなるようにして生成された車両周囲画像の例を示している。また、図９（ｃ）は、牽引車両に搭載された４つの車載カメラ１ａ〜１ｄにより撮影される４方向の撮影画像と、被牽引車両に搭載されたリアカメラ４ａにより撮影される後方画像とからそれぞれ切り出される画像を用いて、牽引車両および被牽引車両の前後左右の周囲を表す車両周囲画像を生成した例を示している。

図９（ｃ）の例では、被牽引車両が牽引車両に対して右方向に相対角度αを持って傾いた状態で連結されている。この場合、画像合成部１２は、ボートのアイコン画像２０１における右側の境界と、右側方画像の切出領域１２３”の境界とが一致するように、右側方画像の切出領域１２３”を設定する。また、画像合成部１２は、ボートのアイコン画像２０１よりも左側の方向に、牽引車両の後方画像の切出領域１２４”を設定するともに、ボートのアイコン画像２０１の後方に、被牽引車両の後方画像の切出領域１２５”を設定する。さらに、画像合成部１２は、牽引車両のアイコン画像１００の前方に前方画像の切出領域１２１”を設定するとともに、牽引車両のアイコン画像１００の左側に左側方画像の切出領域１２２”を設定している。この例において、画像合成部１２は、死角となる領域に死角領域画像２１２”を合成している。

また、上記実施形態では、牽引車両と被牽引車両との間に連結部が存在し、当該連結部が後方画像に写る例について説明したが、本発明はこのような形態の車両以外にも適用することが可能である。例えば、牽引車両または被牽引車両に連結部が隠れるような構造の車両にも本発明を適用することが可能である。ただし、この場合、後方画像に連結部が写らないので、相対角度検出部１４は、牽引車両と被牽引車両との相対角度を検出する。また、画像合成部１２は、被牽引車両が写っている領域の境界と撮影画像の切出領域の境界とが一致するように切出領域を設定する。あるいは、被牽引車両が写っている領域にアイコン画像を合成した場合、画像合成部１２は、アイコン画像の境界と撮影画像の切出領域の境界とが一致するように切出領域を設定する。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 牽引車両の車載カメラ
２ 画像処理部（牽引車両周囲画像生成装置）
４ 被牽引車両の車載カメラ
１１ 画像取得部
１２ 画像合成部
１３ 表示制御部
１４ 相対角度検出部

Claims (7)

1. 連結部を介して被牽引車両が連結された牽引車両に搭載された撮像装置による撮影画像を視点変換することにより、牽引車両周囲の鳥瞰画像である車両周囲画像を生成する車両周囲画像生成装置であって、
   上記牽引車両の後方を撮像する後方撮像装置および上記牽引車両の左右側方を撮像する左右側方撮像装置からそれぞれ後方、左側方および右側方の撮影画像を取得する画像取得部と、
   上記画像取得部により取得された後方画像、左側方画像および右側方画像から切り出した画像を、上記牽引車両の上方を視点とする上記鳥瞰画像に変換して合成することにより、上記車両周囲画像を生成する画像合成部と、
   上記牽引車両と上記連結部または上記被牽引車両との相対角度を検出する相対角度検出部とを備え、
   上記画像合成部は、上記相対角度検出部により検出された上記相対角度に基づいて、上記連結部または上記被牽引車両が上記牽引車両に対して後方に向かうに従って右に変移するように傾いているときは、上記連結部または上記被牽引車両が写っている領域の境界の少なくとも１つと上記右側方画像の切出領域の境界とが一致するように、上記右側方画像の切出領域を変えて画像変換し、上記連結部または上記被牽引車両が上記牽引車両に対して後方に向かうに従って左に変移するように傾いているときは、上記連結部または上記被牽引車両が写っている領域の境界の少なくとも１つと上記左側方画像の切出領域の境界とが一致するように、上記左側方画像の切出領域を変えて画像変換することを特徴とする牽引車両周囲画像生成装置。
2. 前記画像合成部は、
   上記連結部または上記被牽引車両が上記牽引車両に対して後方に向かうに従って右に変移するように傾いているときは、上記連結部または上記被牽引車両が写っている領域の右側面の境界と、上記右側方画像の切出領域の境界とが一致するように、上記右側方画像の切出領域を変えて画像変換し、
   上記連結部または上記被牽引車両が上記牽引車両に対して後方に向かうに従って左に変移するように傾いているときは、上記連結部または上記被牽引車両が写っている領域の左側面の境界と上記左側方画像の切出領域の境界とが一致するように、上記左側方画像の切出領域を変えて画像変換する
   ことを特徴とする請求項１に記載の牽引車両周囲画像生成装置。
3. 上記画像合成部は、上記連結部または上記被牽引車両が写っている領域に、上記被牽引車両または当該被牽引車両に搭載された搭載物のアイコン画像を合成し、上記アイコン画像の境界の少なくとも１つと上記撮影画像の切出領域の境界の少なくとも１つとが一致するように、上記撮影画像の切出領域を変えて画像変換することを特徴とする請求項１または２に記載の牽引車両周囲画像生成装置。
4. 上記画像合成部は、上記連結部または上記被牽引車両によって死角となる領域に、上記死角であることを示す死角領域画像を更に合成することを特徴とする請求項３に記載の牽引車両周囲画像生成装置。
5. 上記画像合成部は、上記牽引車両がヘディングアップとなるように上記車両周囲画像を生成することを特徴とする請求項１〜４の何れか１項に記載の牽引車両周囲画像生成装置。
6. 上記画像合成部は、上記連結部または上記被牽引車両がヘディングアップとなるように上記車両周囲画像を生成することを特徴とする請求項１〜４の何れか１項に記載の牽引車両周囲画像生成装置。
7. 連結部を介して被牽引車両が連結された牽引車両に搭載された撮像装置による撮影画像を視点変換することにより、牽引車両周囲の鳥瞰画像である車両周囲画像を生成する車両周囲画像生成方法であって、
   牽引車両周囲画像生成装置の画像取得部が、上記牽引車両の後方を撮像する後方撮像装置および上記牽引車両の左右側方を撮像する左右側方撮像装置からそれぞれ後方、左側方および右側方の撮影画像を取得する第１のステップと、
   上記牽引車両周囲画像生成装置の相対角度検出部が、上記牽引車両と上記連結部または上記被牽引車両との相対角度を検出する第２のステップと、
   上記牽引車両周囲画像生成装置の画像合成部が、上記画像取得部により取得された後方画像、左側方画像および右側方画像から切り出した画像を、上記牽引車両の上方を視点とする上記鳥瞰画像に変換して合成することにより、上記車両周囲画像を生成する第３のステップとを有し、
   上記第３のステップにおいて、上記画像合成部は、上記相対角度検出部により検出された上記相対角度に基づいて、上記連結部または上記被牽引車両が上記牽引車両に対して後方に向かうに従って右に変移するように傾いているときは、上記連結部または上記被牽引車両が写っている領域の境界の少なくとも１つと上記右側方画像の切出領域の境界とが一致するように、上記右側方画像の切出領域を変えて画像変換し、上記連結部または上記被牽引車両が上記牽引車両に対して後方に向かうに従って左に変移するように傾いているときは、上記連結部または上記被牽引車両が写っている領域の境界の少なくとも１つと上記左側方画像の切出領域の境界とが一致するように、上記左側方画像の切出領域を変えて画像変換することを特徴とする牽引車両周囲画像生成方法。

Images