JP7081305B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、被牽引車両（トレーラ）を牽引する牽引車両（トラクタ）が知られている。牽引車両の後部には、牽引ブラケットおよびカップリングボール（ヒッチボール）等で構成される牽引装置が設けられ、被牽引車両の先端には被牽引装置（カプラ）が設けられている。そして、ヒッチボールとカプラを接続することで、牽引車両は被牽引車両を旋回可能に牽引する。牽引車両に対して変化する被牽引車両の連結角度は、牽引車両の運転者が当該牽引車両の運転操作を行う上で重要であると共に、各種自動制御や報知処理を行う上で重要である。従来、このような被牽引車両の連結角度は、例えば、被牽引車両の前面に貼り付けた目標マークを牽引車両の後部に設けられたカメラで撮像し、画像処理により認識することで検出するシステムが知られている。

米国特許出願公開第２０１４／０１８８３４４号明細書 米国特許出願公開第２０１４／０２００７５９号明細書

しかしながら従来技術の場合、被牽引車両の連結角度の検出のために、目標マークを被牽引車両に粘付する必要があり、煩わしいという問題があった。また、目標マークの周辺が暗い場合や目標マークが汚れているような場合に、システムが目標マークを正確に認識できない場合があり、正確な連結角度の検出ができない場合があった。したがって、被牽引車両の連結角度を検出するための準備作業を必要とすることなく、被牽引車両の連結角度を高精度に検出することのできる周辺監視装置が提供できれば有意義である。

本発明の実施形態にかかる周辺監視装置は、例えば、被牽引車両が連結可能な牽引車両に設けられた撮像部で撮像された上記牽引車両の後方領域を撮像した撮像画像に基づく画像を逐次取得する画像取得部と、時系列で取得された複数の上記画像に対して一つ以上の局所領域において所定条件を満たす類似点情報を取得する情報取得部と、取得された上記類似点情報に対して、上記被牽引車両が上記牽引車両に連結される連結部を中心として車幅方向に所定角度間隔で複数の旋回探索領域を設定する探索領域設定部と、上記複数の旋回探索領域の中で、上記類似点情報の存在数を計数した場合に計数値が最大になる上記旋回探索領域に対応する角度を上記牽引車両に対する上記被牽引車両の連結角度として検出する角度検出部と、上記牽引車両が移動していることを示す自車移動情報を取得する自車移動状態取得部と、を備え、上記情報取得部は、上記牽引車両が移動中であると判定された場合に、上記類似点情報として、局所領域において所定条件を満たす移動点情報を取得する。

この構成によれば、例えば、被牽引車両が牽引車両に連結されている場合に、牽引車両と被牽引車両との相対位置関係は概ね一定となる。つまり、撮像された時系列に並ぶ複数の画像を比較して得られる被牽引車両に対応する部分を示す類似点情報（特徴点情報）は、被牽引車両以外の部分と識別することができる。したがって、牽引車両の連結部を中心として車幅方向に所定角度間隔で設定された複数の旋回探索領域に関して、所定条件を満たす類似点情報を多く含む旋回探索領域に写っているものが被牽引車両（一部）と推定することが可能で、その旋回探索領域の角度を被牽引車両の連結角度とすることができる。その結果、被牽引車両の連結角度を検出するための準備作業、例えば目標マークの粘付等を行うことなく、被牽引車両の連結角度を高精度に検出することができる。そして、被牽引車両が牽引車両に連結されて、牽引車両が移動中であると判定される場合に、走行方向における牽引車両と被牽引車両との相対位置関係は概ね一定となる。そのため、例えば、走行中に撮像された時系列に並ぶ複数の画像を比較して得られる被牽引車両に対応する部分の移動点情報の変化は、被牽引車両以外の部分の移動点情報の変化より少なくなる。したがって、牽引車両の連結部を中心として車幅方向に所定角度間隔で設定された複数の旋回探索領域に関して、所定条件を満たす移動点情報（例えば変化の少ない移動点情報）を多く含む旋回探索領域に写っているものが被牽引車両（一部）と推定することが可能で、その旋回探索領域の角度を被牽引車両の連結角度とすることができる。その結果、被牽引車両の連結角度をより安定的に高精度で検出することができる。

また、実施形態にかかる周辺監視装置の上記情報取得部は、例えば、所定条件を満たす類似点情報として、上記連結部を中心とする同心円軌道上を所定量以内の移動を示す上記移動点情報および、実質的に停止状態であることを示す停止点情報を取得するようにしてもよい。この構成によれば、例えば、牽引車両に被牽引車両が連結されている場合、被牽引車両は、連結部を中心とする旋回方向の移動が許容される一方、走行方向（前後方向）の移動は制限される。したがって、走行中に撮像された時系列に並ぶ複数の画像を比較して得られる被牽引車両に対応する部分の類似点情報は、実質的に停止態様を示す停止点情報か、連結部を中心とする同心円軌道上の移動態様を示す移動点情報となる。したがって、この条件と一致する類似点情報を取得することで、被牽引車両の連結角度を効率的に取得することができる。

また、実施形態にかかる周辺監視装置の上記角度検出部は、例えば、上記複数の旋回探索領域のいずれにおいても、所定閾値以下の計数値の場合、上記牽引車両に対して上記被牽引車両が未連結であると判定する連結判定部をさらに備えてもよい。この構成によれば、例えば、連結角度の検知処理過程で、被牽引車両の未連結を検知することができる。

また、実施形態にかかる周辺監視装置の上記情報取得部は、例えば、上記類似点情報が示す移動方向ごとに分類した方向群を取得し、上記角度検出部は、上記方向群に含まれる移動方向の数が多い上位所定数の上記方向群に含まれる上記類似点情報を計数の対象としてもよい。この構成によれば、例えば、被牽引車両の連結角度が変化する場合、類似点情報（移動点情報）はいずれも同じ方向を示すことを利用して、類似点情報の計数対象を絞り込むことが可能となり、処理の効率化を行うことができる。

また、実施形態にかかる周辺監視装置の上記画像取得部は、例えば、上記撮像画像に基づき、上記連結部の高さを基準とする俯瞰画像を取得してもよい。この構成によれば、例えば、移動点情報が示す移動の大きさや移動方向を検知対象である被牽引車両が連結されている連結部の高さを基準として取得できるので、より正確に移動点情報の判定が可能になり、連結角度の検知精度を向上することができる。

また、実施形態にかかる周辺監視装置の上記探索領域設定部は、例えば、上記角度検出部が検出した上記連結角度を基準として、上記所定角度間隔より細かい間隔で複数の詳細旋回探索領域を設定し、さらに、上記画像に上記複数の詳細旋回探索領域を重ねた場合にぞれぞれの上記詳細旋回探索領域で規定される探索対象画像を、上記連結部を通り上記詳細旋回探索領域の長手方向に延びる分割線で分割して、第１分割画像と第２分割画像とに設定する分割設定部と、上記分割線を基準とする上記第１分割画像と上記第２分割画像との対称性を示す対称性評価値が最大になる上記詳細旋回探索領域に対応する角度を上記牽引車両に対する上記被牽引車両の詳細連結角度として検出する詳細角度検出部と、を備えてもよい。被牽引車両の一部、例えば、牽引車両と被牽引車両の本体とを連結する連結部材（連結バー）は、牽引バランスを考慮して左右対称に形成される場合が多い。この構成によれば、例えば、類似点情報に基づいて検知された連結角度を、さらに、左右対称性を用いた詳細旋回探索領域で詳細連結角度として検知することが可能になり、連結角度の精度を向上することができる。

また、実施形態にかかる周辺監視装置の上記探索領域設定部は、例えば、上記詳細旋回探索領域の上記連結部を中心とする同心円軌道方向に幅を複数種類設定してもよい。この構成によれば、連結部に連結される被牽引車両の部分、例えば、連結部材（連結バー）の種類（大きさ、幅）に応じた詳細旋回探索領域を用いて詳細連結角度の検知が可能になり、検知精度の向上を図ることができる。

また、実施形態にかかる周辺監視装置の上記分割設定部は、例えば、上記第１分割画像と上記第２分割画像のいずれか一方を上記分割線を軸として反転させて、上記詳細角度検出部は、反転させた一方の画像と非反転の他方の画像との類似性を用いて対称性を評価してもよい。この構成によれば、第１分割画像と第２分割画像の比較が容易になり、処理負荷の軽減や処理時間の短縮に寄与することができる。

また、実施形態にかかる周辺監視装置の上記詳細角度検出部は、例えば、上記対称性評価値として、上記第１分割画像と上記第２分割画像とにおいて類似する部分が存在する位置を示す類似点を検出し、当該類似点を通り上記詳細旋回探索領域の上記分割線と直交する方向の評価ラインを引いた場合に、当該評価ラインの本数が最大になる上記詳細旋回探索領域に対応する角度を上記牽引車両に対する上記被牽引車両の詳細連結角度として検出するようにしてもよい。例えば、牽引車両と被牽引車両とを連結する連結部材（連結バー）は、牽引バランスを考慮して左右対称に形成され、詳細旋回探索領域の分割線に沿う方向に延びるように形成される場合が多い。この場合、類似点は、分割線の延びる方向に並ぶことになる。逆に、分割線に沿う方向とは異なる方向に並ぶ類似点は、ノイズによる類似点の可能性があると推定できる。この構成によれば、例えば、類似点を通る評価ラインの本数が多い方が、連結部材（連結バー）上で類似点を多く検出していることになる。その結果、例えば、単に類似点の計数により詳細連結角度を検知する場合に比べ、精度の高い詳細連結角度の検知ができる。

図１は、実施形態にかかる周辺監視装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す側面図である。 図２は、実施形態にかかる周辺監視装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す上面図である。 図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの構成の例示的なブロック図である。 図４は、実施形態にかかる周辺監視装置のＣＰＵに含まれる周辺監視処理部の構成の例示的なブロック図である。 図５は、実施形態にかかる周辺監視システムの撮像部で撮像される実画像の例示的かつ模式的な図である。 図６は、実施形態にかかる周辺監視装置で連結角度を検知する際に利用する類似点情報としての移動点情報（オプティカルフロー）の一例を示す模式図である。 図７は、実施形態にかかる周辺監視装置で連結角度を検知する際に利用する旋回探索領域の一例を示す模式図である。 図８は、実施形態にかかる周辺監視装置において、類似点情報としての移動点情報（オプティカルフロー）を移動方向ごとに分類する場合の方向群の角度範囲の一例を示す模式図である。 図９は、実施形態にかかる周辺監視装置において、類似点情報としての移動点情報（オプティカルフロー）を移動方向に基づく方向群に分類することで生成したヒストグラムの一例を示す模式図である。 図１０は、実施形態にかかる周辺監視装置で詳細連結角度を検知する際に利用する詳細旋回探索領域の一例を示す模式図である。 図１１は、実施形態にかかる周辺監視装置において、詳細旋回探索領域を第１分割画像と第２分割画像に分割し、当該第１分割画像と第２分割画像とを比較しやすいように表示した探索対象画像の一例を示す模式図である。 図１２は、図１１の探索対象画像において、第１分割画像と第２分割画像の類似性を示す評価マークを表示した例を示す模式図である。 図１３は、実施形態にかかる周辺監視装置において、詳細旋回探索領域の幅が複数種類存在することを説明する例示的かつ模式的な図である。 図１４は、実施形態にかかる周辺監視装置による連結角度検出処理の手順の一例を説明するフローチャートである。 図１５は、図１４のフローチャートにおける初期検知モード処理の詳細例を示すフローチャートである。 図１６は、図１４のフローチャートにおける追跡検知モード処理の詳細例を示すフローチャートである。 図１７は、第１分割画像と第２分割画像との比較する際に、類似点の存在位置に基づく評価ラインで詳細連結角度を検知する例を示す模式図であり、連結角度として採用しない場合の例を示す模式図である。 図１８は、第１分割画像と第２分割画像との比較する際に、類似点の存在位置に基づく評価ラインで詳細連結角度を検知する例を示す模式図であり、連結角度として採用する場合の例を示す模式図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１は、実施形態の周辺監視装置を搭載する牽引車両１０および牽引車両１０に牽引される被牽引車両１２が示された側面図である。図１では、紙面左方向を牽引車両１０を基準とする前方、紙面右方向を牽引車両１０を基準とする後方としている。図２は、図１に示す牽引車両１０および被牽引車両１２の上面図である。また、図３は、牽引車両１０に搭載される周辺監視装置を含む周辺監視システム１００の構成の例示的なブロック図である。

牽引車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。牽引車両１０は、図１に示されるようなスポーツ用多目的車両（Sport Utility Vehicle：ＳＵＶ）であってもよいし、車両の後ろ側に荷台が設けられている、いわゆる「ピックアップトラック」であってもよい。また、一般的な乗用車であってもよい。牽引車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、牽引車両１０における車輪１４（前輪１４Ｆ、後輪１４Ｒ）の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

牽引車両１０のリヤバンパ１６の例えば車幅方向の中央部の下部からは、被牽引車両１２を牽引するための牽引装置１８（ヒッチ）が突出している。牽引装置１８は牽引車両１０の例えばフレームに固定されている。牽引装置１８は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール１８ａ（連結部）を備え、このヒッチボール１８ａに、被牽引車両１２に固定された連結部材２０の先端部に設けられたカプラ２０ａが覆い被さる。その結果、牽引車両１０と被牽引車両１２とが連結されるとともに、牽引車両１０に対して被牽引車両１２が車幅方向に揺動（旋回）可能となっている。つまり、ヒッチボール１８ａは、被牽引車両１２（連結部材２０）に前後左右の動きを伝え、また加速や減速のパワーを受け止めることになる。

被牽引車両１２は、例えば、図１に示すように、搭乗空間、居住区間、収納空間等のうち少なくとも一つを含む箱形タイプであってもよいし、荷物（例えば、コンテナやボート等）を搭載する荷台タイプであってもよい。図１に示す被牽引車両１２は、一例として一対のトレーラ車輪２２を備える。図１の被牽引車両１２は、駆動輪や操舵輪を含まない従動輪を備える従動車両である。

牽引車両１０の後側のリヤハッチ１０ａの下方の壁部には、撮像部２４が設けられている。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部２４は、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮像することができる。また、撮像部２４の光軸は斜め下方に向けて設定されている。よって、撮像部２４は、牽引車両１０の後端部、連結部材２０および被牽引車両１２の少なくとも前端部を含む領域（例えば、二点鎖線で示す範囲、図１参照）を逐次撮影し、撮像画像データとして出力する。撮像部２４によって撮像された撮像画像データは、被牽引車両１２の認識および、牽引車両１０と被牽引車両１２の連結状態（例えば、連結角度、連結の有無等）の検出に用いることができる。この場合、専用の検出装置を搭載することなく、撮像部２４の撮像した撮像画像データに基づき牽引車両１０と被牽引車両１２との連結状態や連結角度が取得できる。その結果、システム構成が簡略化できるとともに、演算処理や画像処理の負荷が軽減できる。

図３に示されるように、牽引車両１０の車室内には、表示装置２６や、音声出力装置２８等が設けられている。表示装置２６は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置２８は、一例として、スピーカである。また、本実施形態では、一例として、表示装置２６は、透明な操作入力部３０（例えば、タッチパネル等）で覆われている。運転者（ユーザ）は、操作入力部３０を介して表示装置２６の画面に表示される映像（画像）を視認することができる。また、運転者は、表示装置２６の画面に表示される映像（画像）に対応した位置で手指等により操作入力部３０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置２６や、音声出力装置２８、操作入力部３０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置３２に設けられている。モニタ装置３２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置３２とは異なる車室内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置３２の音声出力装置２８と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置３２は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けてもよい。

周辺監視システム１００は、牽引車両１０に被牽引車両１２が連結されている場合、牽引車両１０と被牽引車両１２の連結角度を検出することができる。周辺監視システム１００は、検出した連結角度に基づき、運転者に牽引車両１０と被牽引車両１２との連結状態を通知する。周辺監視システム１００は、例えば、表示装置２６において、被牽引車両１２が連結されていることを示す、被牽引車両１２に対応するトレーラアイコンを表示することができる。この場合、牽引車両１０を示す自車アイコンと被牽引車両１２を示すトレーラアイコンとを表示するとともに、牽引車両１０と被牽引車両１２との連結角度を自車アイコンとトレーラアイコンの連結状態によって表示してもよい。また、この表示と共に例えば、連結角度を数値として表示してもよい。また周辺監視システム１００は、検出した連結角度に基づき、被牽引車両１２が連結された牽引車両１０が後退する場合に、被牽引車両１２の移動方向（旋回方向）を推定することができる。この場合、周辺監視システム１００は、表示装置２６に被牽引車両１２の移動予測線を表示したり、トレーラアイコンを移動予測位置に表示したりしてもよい。したがって、周辺監視システム１００は、上述したように被牽引車両１２の移動予測等を行うために、牽引車両１０に対する被牽引車両１２の連結角度を正確に検出する機能を備える。連結角度の検出の詳細は後述する。

牽引車両１０の車室内には、表示装置２６とは別の表示装置３４が設けられていてもよい。表示装置３４は、例えば、ダッシュボードの計器盤部に設けられてもよい。表示装置３４の画面の大きさは、表示装置２６の画面の大きさよりも小さくすることができる。表示装置３４は、牽引車両１０に連結された被牽引車両１２が認識できた場合に表示される被牽引車両１２を示すトレーラアイコンやマーク、メッセージを簡易的に表示したり、連結角度の詳細（例えば，数値）を表示したりすることができる。表示装置３４で表示される情報量は、表示装置２６で表示される情報量より少なくてもよい。表示装置３４は、例えば、ＬＣＤや、ＯＥＬＤ等である。また、表示装置３４は、ＬＥＤ等で構成されてもよい。

また、周辺監視システム１００（周辺監視装置）では、ＥＣＵ３６（Electronic Control Unit）や、モニタ装置３２の他、舵角センサ３８、シフトセンサ４０、車輪速センサ４２等が、電気通信回線としての車内ネットワーク４４を介して電気的に接続されている。車内ネットワーク４４は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ３６は、車内ネットワーク４４を介して、舵角センサ３８、シフトセンサ４０、車輪速センサ４２等の検出結果や、操作入力部３０等の操作信号等を受け取り、制御に反映させることができる。

ＥＣＵ３６は、例えば、ＣＰＵ３６ａ（Central Processing Unit）や、ＲＯＭ３６ｂ（Read Only Memory）、ＲＡＭ３６ｃ（Random Access Memory）、ＳＳＤ３６ｄ（Solid State Drive、フラッシュメモリ）、表示制御部３６ｅ、音声制御部３６ｆ等を有している。ＣＰＵ３６ａは、例えば、表示装置２６，３４で表示される画像に関連した表示処理や、牽引車両１０に連結された被牽引車両１２の認識（検出）処理、牽引車両１０と被牽引車両１２との連結角度の検出処理等の他、連結角度に基づくトレーラアイコンの表示処理等、各種の演算処理および制御を実行することができる。ＣＰＵ３６ａは、ＲＯＭ３６ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ３６ｃは、ＣＰＵ３６ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部３６ｅは、ＥＣＵ３６での演算処理のうち、主として、表示装置２６，３４で表示される画像データの合成等を実行する。また、音声制御部３６ｆは、ＥＣＵ３６での演算処理のうち、主として、音声出力装置２８で出力される音声データの処理を実行する。また、ＳＳＤ３６ｄは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３６の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３６ａや、ＲＯＭ３６ｂ、ＲＡＭ３６ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３６は、ＣＰＵ３６ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３６ｄに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ３６ｄやＨＤＤは、ＥＣＵ３６とは別に設けられてもよい。

舵角センサ３８は、例えば、牽引車両１０のステアリングホイール等の操舵部の操舵量（牽引車両１０の舵角）を検出するセンサである。舵角センサ３８は、例えば、ホール素子などを用いて構成される。ＥＣＵ３６は、運転者による操舵部の操舵量や、自動操舵時の各車輪１４の操舵量等を、舵角センサ３８から取得して各種制御を実行する。なお、舵角センサ３８は、操舵部に含まれる回転部分の回転角度を検出する。

シフトセンサ４０は、例えば、変速操作部（例えば、シフトレバー）の可動部の位置を検出するセンサである。シフトセンサ４０は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ４０は、変位センサを含んでもよいし、スイッチとして構成されてもよい。周辺監視システム１００は、牽引車両１０と被牽引車両１２との連結角度を通知する際に、牽引車両１０の状態として、操舵角を表示したり、現在の状態が前進時の状態か、後進時に状態かを併せて表示してもよい。この場合、ユーザに牽引車両１０及び被牽引車両１２の状態をより詳細に認識させることができる。

車輪速センサ４２は、車輪１４の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ４２は、各車輪１４に配置され、各車輪１４で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ４２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ３６は、車輪速センサ４２から取得したセンサ値に基づいて牽引車両１０の移動量などを演算し、各種制御を実行する。ＣＰＵ３６ａは、各車輪速センサ４２のセンサ値に基づいて牽引車両１０の車速を算出する場合、四輪のうち最も小さなセンサ値の車輪１４の速度に基づき牽引車両１０の車速を決定し、各種制御を実行する。また、ＣＰＵ３６ａは、四輪の中で他の車輪１４に比べてセンサ値が大きな車輪１４が存在する場合、例えば、他の車輪１４に比べて単位期間（単位時間や単位距離）の回転数が所定数以上多い車輪１４が存在する場合、その車輪１４はスリップ状態（空転状態）であると見なし、各種制御を実行する。なお、車輪速センサ４２は、図示を省略したブレーキシステムに設けられている場合もある。その場合、ＣＰＵ３６ａは、車輪速センサ４２の検出結果をブレーキシステムを介して取得してもよい。車輪速センサ４２のセンサ値によって取得される車速は、後述するオプティカルフローが取得できるか否かを判定する際にも利用される。

なお、上述した各種センサ等の構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図４は、ＥＣＵ３６に含まれるＣＰＵ３６ａにおいて実現される周辺監視処理部５０の構成を例示的かつ模式的に示すブロック図である。ＣＰＵ３６ａは、牽引車両１０に連結される被牽引車両１２の連結角度を検出するためのモジュールとしての周辺監視処理部５０をＲＯＭ３６ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現する。なお、周辺監視処理部５０は、さらに詳細モジュールとして、取得部５２、領域設定部５４、検出部５６、テンプレート処理部５８、出力処理部６０等を含む。

取得部５２は、牽引車両１０と被牽引車両１２との連結角度を検出するために必要な各種情報の収集処理を実行する。取得部５２は、例えば、画像取得部５２ａ、車速取得部５２ｂ、情報取得部５２ｃ等を含む。

画像取得部５２ａは、牽引車両１０の後部に設置された撮像部２４が撮像する牽引車両１０の後方画像（後方領域の画像）を取得する。また、画像取得部５２ａは、俯瞰画像生成部６２を備える。俯瞰画像生成部６２は、撮像部２４が撮像した撮像画像データに周知の視点変換処理を施して、例えば、牽引車両１０と被牽引車両１２との間の領域を真上から見下ろしたような俯瞰画像（俯瞰画像データ）を生成する。

車速取得部５２ｂは、車輪速センサ４２から提供されるセンサ値（例えば、車輪速パルス数の積算値）に基づき牽引車両１０（被牽引車両１２）の車速を取得する。なお、別の実施形態では、車速を画像取得部５２ａが取得する撮像部２４の撮像した後方画像、または他の位置、例えば牽引車両１０の前方や側方に設置された撮像部の撮像した画像（前方画像や側方画像）に基づいて算出してもよい。したがって、車速取得部５２ｂは、牽引車両１０が移動していることを示す自車移動情報を取得する「自車移動状態取得部」の一例である。

情報取得部５２ｃは、画像取得部５２ａが取得した画像データに基づき連結角度を検出するための類似点情報を取得したり、類似点情報の分類をしたりすることで、二次的な情報を取得する。情報取得部５２ｃは、オプティカルフロー取得部６４ａ、分類処理部６４ｂ等を含む。

オプティカルフロー取得部６４ａは、俯瞰画像生成部６２により生成された俯瞰画像データに基づいて、一つ以上の局所領域において所定条件を満たす類似点情報であるオプティカルフローを取得（算出）する。オプティカルフローは、例えば、俯瞰図画に写っている物体（注目点、特徴点）の動きをベクトルで示した類似点情報である。被牽引車両１２を連結した牽引車両１０が走行している場合に、連結部材２０および連結部材２０の周辺のオプティカルフローを算出すると、牽引車両１０と一体的に移動する被牽引車両１２および連結部材２０に対応する部分は実質的に停止状態を示す停止点情報としてのオプティカルフローが取得される。一方、牽引車両１０、被牽引車両１２、連結部材２０以外の部分（動く部分である路面等）は、移動状態を示す移動点情報としてのオプティカルフローが取得される。したがって、オプティカルフローの状態を検出することで、連結部材２０の存在する位置、すなわち、ヒッチボール１８ａを基準とする牽引車両１０と被牽引車両１２との連結角度を検出することができる。

なお、被牽引車両１２（連結部材２０）は、ヒッチボール１８ａを中心として旋回可能である。したがって、被牽引車両１２が旋回している場合や路面状態等に基づく振動等が発生している場合に、連結部材２０が旋回方向に移動する場合がある。この場合、牽引車両１０と被牽引車両１２とが、同様な挙動を示す場合、いわゆる、「釣合状態」である場合を除いて、オプティカルフローは、旋回方向のベクトルを示すことになる。つまり、ヒッチボール１８ａを中心とする同心円軌道上で円周方向に長さを有する移動点情報としてのオプティカルフローが算出される場合もある。本実施形態においては、ヒッチボール１８ａ（連結部）を中心とする同心円軌道上に沿って所定長以下の移動を示すオプティカルフロー（移動点情報）も、実質的に停止状態であることを示すオプティカルフロー（停止時点情報）と同様に、連結部材２０が存在する位置を示すオプティカルフローとして認識するものとする。なお、この場合、所定長とは、オプティカルフローを算出する場合に、比較する俯瞰画像データの取得間隔（時間）で周方向に移動する長さを基準として決めることができる。

分類処理部６４ｂは、オプティカルフロー取得部６４ａが算出したオプティカルフローのうち、同心円軌道に沿う方向のオプティカルフローをさらに分類することで、連結角度の検出に関連しない、いわゆるノイズフローを排除する。つまり、分類処理部６４ｂは、連結部材２０が存在位置を推定する場合の検出処理の効率化および高精度化を行う。前述したように、被牽引車両１２が旋回している場合、連結部材２０が存在する位置に対応するオプティカルフローは、ヒッチボール１８ａを中心とする同心円軌道上で円周方向に向くベクトルを示す。前述したように、オプティカルフロー取得部６４ａは、俯瞰画像生成部６２により生成された最新の俯瞰画像データと、過去（例えば１００ｍｓ前）に生成した俯瞰画像データとを比較して、オプティカルフローを算出する。このとき、円周方向には向くが、旋回方向とは異なる方向を向くノイズフローが含まれる場合がある。ノイズフローは、例えば、路面上の異なる特徴点を同じ特徴点と誤認識した場合等に生じる。このような、ノイズフローの向きは様々であり一定しない。逆に、旋回する連結部材２０に対応するオプティカルフローは、ほぼ同じ方向を向く。したがって、同じ方向を向くオプティカルフローの数（存在数）を計数して、最も計数値の大きな方向のオプティカルフローを連結角度の検出処理対象とすることでノイズフローの排除ができるとともに、検出処理の効率化および高精度化が行える。

領域設定部５４は、牽引車両１０と被牽引車両１２との連結角度を検出する際にオプティカルフローの数等の計数を行う場合の処理対象領域である旋回探索領域の設定を行う。領域設定部５４は、例えば、探索領域設定部５４ａ、詳細探索領域設定部５４ｂ、分割設定部５４ｃ、領域幅設定部５４ｄ等を含む。

探索領域設定部５４ａは、オプティカルフロー取得部６４ａで算出されたオプティカルフローに基づいて牽引車両１０と被牽引車両１２との連結角度を検出する際に、ヒッチボール１８ａを中心として旋回方向に所定間隔（例えば、±８０°の範囲で、１°間隔）で複数設定される、例えば矩形の旋回探索領域（関心領域：ＲＯＩ）を設定する。所定間隔で複数設定される旋回探索領域の中から停止状態のオプティカルフロー（停止点情報）および同心円軌道上で周方向に向く所定長以下のオプティカルフロー（移動点情報）が最も多く含まれる旋回探索領域を選ぶことで、連結部材２０の存在する位置、すなわち連結角度を取得することができる。

詳細探索領域設定部５４ｂは、探索領域設定部５４ａで設定された旋回探索領域に基づいて検出された連結角度の精度をさらに向上させる補正処理のため、検出された連結角度を基準として、探索領域設定部５４ａで設定される旋回探索領域よりさらに細かい間隔の詳細旋回探索領域を複数設定する。詳細探索領域設定部５４ｂは、例えば、探索領域設定部５４ａで設定された旋回探索領域を用いて検出された連結角度が「２０°」であった場合、この「２０°」を基準とする詳細旋回探索領域を、ヒッチボール１８ａを中心として、例えば、０．１°間隔で、連結部材２０°±５°の範囲に設定する。そして、複数の詳細旋回探索領域の中から一つの詳細旋回探索領域を選択することで、さらに高精度の連結角度の検出を可能にする。

分割設定部５４ｃは、俯瞰画像生成部６２で生成された俯瞰画像に各詳細旋回探索領域を重ねた場合に、各詳細旋回探索領域で規定される探索対象画像を第１分割画像と第２分割画像に分割する設定を行う。分割設定部５４ｃは、例えば、ヒッチボール１８ａ（連結部）を通り詳細旋回探索領域の長手方向に延びる分割線で第１分割画像と第２分割画像に分割する。牽引車両１０と被牽引車両１２を連結する連結部材２０（連結バー）は、牽引バランスを考慮して左右対称に形成される場合が多い。したがって、詳細旋回探索領域の分割線と連結部材２０との長手方向の中心線とが一致する場合、第１分割画像と第２分割画像とは、同じ形状である可能性が高い。つまり、第１分割画像と第２分割画像とを比較し、その左右対称性（類似性）を評価し、対称性を示す対称性評価値が最大になるような詳細旋回探索領域を検出することで、その詳細旋回探索領域に対応する角度が牽引車両１０に対する被牽引車両１２の連結角度（詳細連結角度）であると推定することができる。なお、類似性の判定は、周知の類似度計算方法である、例えば、ＳＳＤ（画素値の差分の二乗和を用いる手法）、ＳＡＤ（画素値の差分の絶対値の和を用いる手法）、ＮＣＣ（正規化相互相関）等の手法を用いることができる。

領域幅設定部５４ｄは、詳細探索領域設定部５４ｂで設定する詳細旋回探索領域の領域幅を、ヒッチボール１８ａ（連結部）を中心とする同心円軌道方向に複数種類設定する。牽引車両１０に連結する被牽引車両１２は、前述したように用途に応じて箱形タイプや荷台タイプ等があると共に、被牽引車両１２の大きさや形状も様々であり、被牽引車両１２応じて連結部材２０の形状や大きさも異なる。したがって、分割設定部５４ｃで詳細旋回探索領域を第１分割画像と第２分割画像とに分割した場合に、対象となる連結部材２０の幅方向について画像を詳細旋回探索領域に収めることが望ましい。連結部材２０の画像が詳細旋回探索領域に収まることで、第１分割画像と第２分割画像との対称性の判定の精度を向上することができる。

検出部５６は、オプティカルフローの算出結果や左右対称性の評価結果に基づき、牽引車両１０と被牽引車両１２との連結角度や被牽引車両１２の連結の有無等を検出する。検出部５６は、例えば、計数部５６ａ、角度検出部５６ｂ、詳細角度検出部５６ｃ、連結判定部５６ｄ等を含む。

計数部５６ａは、オプティカルフロー取得部６４ａが算出したオプティカルフローに対して、探索領域設定部５４ａが設定する旋回探索領域を適用し、各旋回探索領域に連結部材２０を示すオプティカルフローが幾つ存在するか計数する。すなわち、停止状態を示すオプティカルフロー(停止点情報)およびヒッチボール１８ａを中心とする同心円軌道上を周方向に移動することを示す所定長以下のオプティカルフロー（移動点情報）の数を計数する。また、計数部５６ａは、分割設定部５４ｃにより分割された第１分割画像と第２分割画像とを比較し、左右対称性を示す対称性評価値（対称点、評価マーク）の数を計数する。

角度検出部５６ｂは、計数部５６ａにより計数された、連結部材２０を示すオプティカルフローの数に基づき、最も計数値の大きい旋回探索領域を抽出する。そして、抽出された旋回探索領域に対応する角度を牽引車両１０に対する被牽引車両１２の連結角度として決定する。

また、詳細角度検出部５６ｃは、計数部５６ａが計数した、対称性評価値（対称点、評価マーク）の数が最大になる詳細旋回探索領域に対応する角度を牽引車両１０に対する被牽引車両１２の詳細連結角度として決定する。すなわち、角度検出部５６ｂが決定した連結角度をさらに細分化された詳細旋回探索領域に基づく角度によって補正して、より詳細な連結角度を検出する。

連結判定部５６ｄは、計数部５６ａより計数されたオプティカルフローの計数値が複数の旋回探索領域のいずれにおいても、所定閾値以下の場合、牽引車両１０に対して被牽引車両１２が未連結であると判定する。つまり、専用のセンサ等を設けることなく、牽引車両１０と被牽引車両１２との連結角度の検出処理過程で、被牽引車両１２の未連結を件検出することができる。

テンプレート処理部５８は、今回の連結角度の検出の結果、すなわち、連結部材２０（連結バー）の連結角度を示す旋回探索領域に写っている連結部材２０の画像（形状）をテンプレートとして、例えば、ＲＡＭ３６ｃやＳＳＤ３６ｄ等の記憶部に登録する。連結角度の検出処理は、短周期で連続して実行されるため、今回の検出処理で検出された連結角度と次回の検出処理で検出される連結角度との差は僅かであると見なせる。したがって、次回の連結角度の検出処理を実行する際に角度検出部５６ｂは、新たに探索領域設定部５４ａで設定された旋回探索領域に写り込んでいる連結部材２０の画像と、記憶した前回の検出結果に基づくテンプレートに写り込んでいる連結部材２０の画像とのマッチング処理を行い、最も類似度の高い旋回探索領域を選択する。そして、選択した旋回探索領域に対応する角度を、最新の連結角度とする。このように、テンプレートを用いたマッチング処理を行うことにより、オプティカルフローを利用することなく、同様な精度で連結角度の検出が可能になり、処理負荷の軽減が可能になる。なお、テンプレート処理部５８は、テンプレートを用いて連結角度を検出した場合、連結角度を検出した際の旋回探索領域に写り込んでいる連結部材２０の画像（形状）を新たなテンプレートとして、ＲＯＭ３６ｂやＳＳＤ３６ｄ等の登録を更新する。そして、角度検出部５６ｂは、次回の連結角度の検出処理で最新のテンプレートを利用するようにする。

出力処理部６０は、検出部５６で検出された連結角度を車載の他の制御部や制御システム等に出力する。例えば、出力処理部６０は、自車アイコンに対するトレーラアイコンの向き（傾き）を表示する場合やリアルタイムで被牽引車両１２の連結状態を表示する場合に、連結角度情報を表示制御部３６ｅに提供する。また、出力処理部６０は、被牽引車両１２が、いわゆる「ジャックナイフ」状態になる場合に、連結角度情報を音声制御部３６ｆに提供する。

上述した取得部５２、領域設定部５４、検出部５６、テンプレート処理部５８、出力処理部６０等のモジュールは、機能ごとに便宜上分類したものであり、さらに詳細に分類してもよいし、幾つかのモジュールを統合してもよい。同様に、画像取得部５２ａ、車速取得部５２ｂ、情報取得部５２ｃ、探索領域設定部５４ａ、詳細探索領域設定部５４ｂ、分割設定部５４ｃ、領域幅設定部５４ｄ、計数部５６ａ、角度検出部５６ｂ、詳細角度検出部５６ｃ、連結判定部５６ｄ等は、機能ごとに便宜上分類したものであり、さらに詳細に分類してもよいし、幾つかのモジュールを統合してもよい。

以上のように構成される周辺監視処理部５０の各構成の動作を図５～図１３を用いて、さらに詳細に説明する。

画像取得部５２ａは、牽引車両１０の後部に設置された撮像部２４が撮像する牽引車両１０の後方画像（後方領域の画像）を取得する。撮像部２４は、牽引車両１０の後部に固定され、撮像方向や撮像範囲が固定されている。そのため、図５に示すように、撮像部２４が撮像する画像Ｐの所定位置（図５の場合、下端側領域）には、牽引車両１０のリヤバンパ１６、牽引装置１８（ヒッチボール１８ａ）等が写ることになる。また、被牽引車両１２が牽引車両１０に連結されている場合、画像Ｐにおいて、リヤバンパ１６等を基準に所定の領域に被牽引車両１２の前方部の一部および連結部材２０（カプラ２０ａ）が写ることになる。なお、図５は、牽引車両１０に対して被牽引車両１２が真後ろに位置している状態が示されている。

画像取得部５２ａは、俯瞰画像生成部６２を用いて、撮像部２４から取得した撮像画像データに対して、視点変換処理を施して、例えば、図６や図７に示すような牽引車両１０と被牽引車両１２との間の領域を真上から見下ろしたような俯瞰画像（俯瞰画像データ）を生成する。そして、画像取得部５２ａは、連結角度の検出用のデータとして、他のモジュールに提供する。俯瞰画像生成部６２は、俯瞰画像データを生成する場合、例えば、ヒッチボール１８ａの高さを基準とする俯瞰画像データを生成する。ヒッチボール１８ａの高さを基準とする俯瞰画像データを生成することで、検知対象である被牽引車両１２の連結部材２０の高さにおけるオプティカルフローの算出が可能になる。その結果、オプティカルフローの向く方向や移動の大きさを正確に判定可能になり、連結角度の検知精度を向上することができる。また、撮像部２４がヒッチボール１８ａの直上に設置されていない場合、例えば、車幅方向のいずれかの方向に片寄って設置されていた場合、検知対象である連結部材２０を斜視することになる。この場合、例えば、俯瞰画像データを路面基準で生成した場合、連結部材２０が路面に投影されることになり、画像上の連結角度と実際の連結角度がずれてしまう場合がある。一方、俯瞰画像データをヒッチボール１８ａの高さ基準で生成した場合、画像上の連結角度と実際の連結角度とがずれることが防止され、正確な連結角度の検出が可能になる。

なお、他の実施形態では、撮像部２４から取得した撮像画像データに基づく画像Ｐ（図５のような実画像）を連結角度の検出用のデータとして、他のモジュールに提供してもよい。俯瞰画像データを利用する場合、実画像を利用する場合に比べて、処理負荷が高くなるが、オプティカルフロー（類似点情報）のベクトル方向や移動量をより正確に検出することが可能になり、連結角度の検出精度を向上することができる。

図６は、俯瞰画像生成部６２が生成した俯瞰画像ＰＦに対して、オプティカルフロー取得部６４ａが算出したオプティカルフロー７０（類似点情報）の概念を示した例示的かつ模式的な図である。牽引車両１０に被牽引車両１２および連結部材２０が連結されている場合、牽引車両１０と被牽引車両１２および連結部材２０は、牽引車両１０の走行方向の移動は規制されるため、図６に示されるように、連結部材２０上のオプティカルフロー７０は基本的には動かない。したがって、連結部材２０（カプラ２０ａ、メインバー２０ｂ、サイドバー２０ｃ，２０ｄ、ブラケット２０ｅ）上のオプティカルフロー７０は、実質的に点または、所定長さ以下（所定量以内の移動量）のショートフロー７０ａとして算出される。一方、牽引車両１０、被牽引車両１２、連結部材２０以外の部分のオプティカルフロー７０、図６の場合、例えば、路面上のオプティカルフロー７０は牽引車両１０の移動方向に向く、牽引車両１０の移動量に応じて長さのロングフロー７０ｂとして表示される。つまり、ショートフロー７０ａが存在する位置に連結部材２０が存在すると推定することができる。なお、図６においては、牽引車両１０（リヤバンパ１６）および被牽引車両１２（本体）に対応する部分のオプティカルフローの表示は図示を省略している。

なお、図６に示す例の場合、俯瞰画像ＰＦの全体に対してオプティカルフロー７０の算出を行っている。他の実施形態では、オプティカルフロー取得部６４ａは、俯瞰画像ＰＦのうち、特定の領域のみでオプティカルフロー７０を算出するようにしてもよい。例えば、撮像部２４は牽引車両１０に固定されているため、俯瞰画像ＰＦにおける牽引装置１８（ヒッチボール１８ａ）の位置は一定であり、ヒッチボール１８ａに連結される連結部材２０の位置は、旋回範囲を考慮すれば、概ね推定できる。したがって、オプティカルフロー取得部６４ａは、連結部材２０の旋回可能領域についてのみ、オプティカルフロー７０を算出するようにしてもよい。また、別の実施形態では、オプティカルフロー取得部６４ａは、オプティカルフロー７０の算出時にショートフロー７０ａのみを算出するようにしてもよい。ロングフロー７０ｂは、牽引車両１０の速度とオプティカルフローを算出する際に比較する２つ俯瞰画像データの時間的間隔に基づき、ベクトルの長さが推定できる。したがって、オプティカルフロー取得部６４ａは、オプティカルフロー７０の算出時に所定長以上のオプティカルフロー７０および牽引車両１０の移動方向を向くオプティカルフロー７０を除外するようにしてもよい。このように、算出するオプティカルフロー７０を制限することにより、計数部５６ａの計数処理の負荷を軽減することができる。

このようにオプティカルフロー７０が算出された俯瞰画像ＰＦに対して、図７に示すように、探索領域設定部５４ａにより旋回探索領域７２を複数設定する。そして、各旋回探索領域７２に含まれるショートフロー７０ａの数を計数部５６ａが計数する。図７の場合、旋回探索領域７２ａが最も多くのショートフロー７０ａを含んでいる場合が示されている。したがって、角度検出部５６ｂは、旋回探索領域７２のうち旋回探索領域７２ａに対応する角度が連結部材２０の存在する角度、すなわち連結部材２０の連結角度θであると推定する。なお、この場合、連結角度θは、ヒッチボール１８ａを通る牽引車両１０の前後方向に延びる車両中心線Ｍと連結部材２０の長手方向に延びる部材中心線Ｎとが形成する鋭角の角度である。図７に示す旋回探索領域７２の間隔は、図示の都合上粗く示しているが、例えば「１°」間隔で連結部材２０の左右の旋回可能範囲で設定するものとする。

前述したように、被牽引車両１２が旋回中の場合や被牽引車両１２が振動により左右に移動している場合、ショートフロー７０ａは、ヒッチボール１８ａを中心とする同心円軌道上で周方向に向くベクトルとして示される。この場合、上述したように、連結部材２０に対応する部分以外にショートフロー７０ａと類似するノイズフローが存在する場合がある。ノイズフローは、様々な方向を向くため、分類処理部６４ｂは、例えば、図７に示すような、角度区分でショートフロー７０ａを複数の方向群に分類する。図７に示す例の場合、方区群として、４５ｄｅｇ間隔で、区分０ｄｅｇ、区分４５ｄｅｇ、区分９０ｄｅｇ、区分１３５ｄｅｇ、区分１８０ｄｅｇ、区分２２５ｄｅｇ、区分２７０ｄｅｇ、区分３１５ｄｅｇの８区分に分類する例を示している。したがって、特定の方向を向くショートフロー７０ａが最も多く存在する区分に属するショートフロー７０ａが、ノイズフロー以外の連結部材２０の連結角度を検出するために参照するべきオプティカルフローであると推定することができる。図８は、図７の区分にしたがって、ショートフロー７０ａを分類した例を示すヒストグラムである。図９の場合、４５ｄｅｇの方向を向くショートフロー７０ａが最も多く、区分４５ｄｅｇに含まれるショートフロー７０ａが連結部材２０の連結角度を検出する場合に有効なショートフロー７０ａであることを示している。

計数部５６ａは、探索領域設定部５４ａが設定する複数の旋回探索領域ごとに、区分４５ｄｅｇに含まれるショートフロー７０ａ（例えば４５ｄｅｇ）の数を計数する。そして、角度検出部５６ｂは、最も多くのショートフロー７０ａを含む旋回探索領域に対応する角度を連結部材２０の連結角度として検出する。このように、ショートフロー７０ａを角度区分によって分類することで、計数対象となるショートフロー７０ａの絞り込みが可能になり、計数部５６ａの処理負荷の軽減ができると共に、ノイズフローの排除により、計数値の信頼性、つまり、連結角度の信頼性の向上に寄与することができる。

なお、前述したように、オプティカルフローは、極短い時間間隔（例えば１００ｍｓ）で取得した２つの撮像画像データ（俯瞰画像データ）の比較により算出しているため、方向分類精度にばらつきが生じる場合がある。このような場合に対応するため、計数部５６ａは、方向群（区分）に含まれる移動方向の数が多い上位所定数の方向群（区分）に含まれるショートフロー７０ａ（移動点情報）を計数の対象としてもよい。図９の場合、例えば、最も多い区分４５ｄｅｇと２番目に多い区分９０ｄｅｇを計数の対象とする。その結果、ノイズフローを排除しつつ、ショートフロー７０ａの計数による連結角度の検出精度を向上に寄与することができる。なお、計数対象とする方向群（区分）の数は適宜変更可能であり、３区分以上でもよいし、１区分でもよい。

次に、図１０～図１２を用いて、詳細探索領域設定部５４ｂが設定する詳細旋回探索領域７４を用いて、探索領域設定部５４ａが設定した旋回探索領域に基づいて検出された連結角度の精度をさらに向上させる補正処理について説明する。

探索領域設定部５４ａで設定する旋回探索領域７２は、オプティカルフロー７０の計数の都合上、角度間隔を例えば、１°間隔等のように比較的粗く設定している。つまり、検出される連結角度も１°単位なる。そこで、図１０に示すように、詳細角度検出部５６ｃは、探索領域設定部５４ａが設定した旋回探索領域７２の角度間隔（例えば、１°）より細かい角度間隔（例えば、０．１°）で詳細旋回探索領域７４を設定する。そして、設定した詳細旋回探索領域７４を分割設定部５４ｃにより分割して、画像の左右対象性を判定することで詳細連結角度の検出（連結角度の補正）を行う。

図１０は、詳細探索領域設定部５４ｂによる詳細旋回探索領域７４を俯瞰画像ＰＦにおいて、旋回探索領域７２を用いて角度検出部５６ｂが検出した連結角度を基準として、ヒッチボール１８ａを中心として設定した例示的かつ模式的な図である。なお、図１０に示す詳細旋回探索領域７４の間隔は、図示の都合上粗く示しているが、例えば、「０．１°」間隔等で設定していると共に、設定範囲は、角度検出部５６ｂが検出した連結角度に対して、例えば、±５°の範囲で設定されるものとする。

図１１は、図１０に示される詳細旋回探索領域７４に対応した探索対象画像７６を例示的かつ模式的に示す図である。分割設定部５４ｃは、俯瞰画像ＰＦに各詳細旋回探索領域７４を重ねた場合に、各詳細旋回探索領域７４で規定される探索対象画像７６を、ヒッチボール１８ａ（連結部）を通り詳細旋回探索領域７４の長手方向に延びる分割線７８で第１分割画像８０ａと第２分割画像８０ｂに分割する。図１１は、図示の都合上、図１０に示す詳細旋回探索領域７４（７４ａ～７４ｅ）に対応する探索対象画像７６（７６ａ～７６ｅ）をのみを示している。実際には、例えば、「０．１°」間隔で詳細旋回探索領域７４の設定数に対応した複数の探索対象画像７６が評価対象となる。

図１１は、第１分割画像８０ａと第２分割画像８０ｂの左右対象性の評価の一例として、分割設定部５４ｃが詳細旋回探索領域７４を第１分割画像８０ａと第２分割画像８０ｂとに分割する際に、第１分割画像８０ａと第２分割画像８０ｂのいずれか一方を分割線７８を軸として反転させている。前述したように、牽引車両１０と被牽引車両１２を連結する連結部材２０（連結バー）は、牽引バランスを考慮して左右対称に形成される場合が多い。したがって、探索対象画像７６の分割線７８と連結部材２０との長手方向の中心線とが一致する場合、第１分割画像８０ａと第２分割画像８０ｂとは、同じ形状である可能性が高い。つまり、第１分割画像８０ａと第２分割画像８０ｂの類似性（対称性）が高いと判定できる。

例えば、探索対象画像７６ｃにおいて、第１分割画像８０ａに含まれるカプラ２０ａ、メインバー２０ｂ、ブラケット２０ｅおよびサイドバー２０ｃに対応する部分と、第２分割画像８０ｂ含まれるカプラ２０ａ、メインバー２０ｂ、ブラケット２０ｅおよびサイドバー２０ｄに対応する部分とで、類似性（対称性）の高い内容が示されている。それに対し、探索対象画像７６ｂの第１分割画像８０ａには、サイドバー２０ｃが表れているが、第２分割画像８０ｂには、サイドバー２０ｃに対する対称位置にサイドバー２０ｄは表れていない（ずれている）。また、第２分割画像８０ｂに表れているブラケット２０ｅは第１分割画像８０ａに表れていない。つまり、第１分割画像８０ａと第２分割画像８０ｂの類似性（対称性）は低いと判定できる。

図１２は、詳細角度検出部５６ｃが、反転させた一方の画像（第２分割画像８０ｂ）と非反転の他方の画像（第１分割画像８０ａ）との対称性を評価して、対称性ありと評価された位置に評価マーク８２を付した例を示している。上述したように、探索対象画像７６ｃは、第１分割画像８０ａと第２分割画像８０ｂとで対称性の高い部分が多く、評価マーク８２が多数付される。一方、探索対象画像７６ｃ以外は、第１分割画像８０ａと第２分割画像８０ｂとで対称性の高い部分が少なく評価マーク８２が少ない。つまり、詳細角度検出部５６ｃは、評価マーク８２の計数値の最も高い探索対象画像７６ｃが、分割線７８と連結部材２０の長手方向の中心線とが一致している可能性が高く、この探索対象画像７６ｃに対応する探索対象画像７４ｃの角度が連結部材２０の連結角度であると推定することができる。したがって、詳細角度検出部５６ｃは、角度検出部５６ｂが検出した、例えば１°単位の連結角度を０．１°単位の詳細連結角度に補正して検出していることになる。なお、類似性の判定は、周知の類似度計算方法である、例えば、ＳＳＤ、ＳＡＤ、ＮＣＣ等の手法を用いて実行可能である。

前述した、オプティカルフローを用いて連結角度を検出する場合、連結部材２０にハンドル等の左右非対称の付属物が付いていた場合、その部分にもショートフロー７０ａが表れ、評価の対象になり評価精度の低下を招く場合がある。一方、左右対称性を用いて連結角度の検出を行う場合には、上述のような非対称の付属物の影響を排除または軽減することができる。したがって、より信頼性の高い連結角度の詳細検出が可能になる。

なお，図１１に示すように、第１分割画像８０ａと第２分割画像８０ｂとの対称性の比較を行う場合、比較対象となる連結部材２０の幅方向の画像が探索対象画像７６、つまり詳細旋回探索領域に収まることが望ましい。したがって、領域幅設定部５４ｄは、図１３に示すように、連結部材２０の幅方向にサイズの異なる複数の詳細旋回探索領域８４、例えば、４種類の詳細旋回探索領域８４ａ～８４ｄを連結部材２０の種類等に応じて設定する。その結果、探索対象画像７６の連結部材２０に対応する画像が収まり易くなり、第１分割画像８０ａと第２分割画像８０ｂとの対称性の判定の精度向上を行うことができる。

以上のように構成される周辺監視処理部５０による連結角度の検出処理の手順を図１４～図１６のフローチャートに基づき説明する。

被牽引車両１２の連結状態を監視する周辺監視システム１００は、通常状態において停止モードであり（Ｓ１００）、運転者等のユーザによりトレーラガイド機能を有効にする要求操作が、例えば操作入力部３０等を介して実行された場合（Ｓ１０２のＹｅｓ）、待機モードに移行する（Ｓ１０４）。待機モードでは、例えば、表示装置２６の表示領域の表示が、停止モードで通常表示されているナビゲーション画面やオーディオ画面から、撮像部２４が撮像する牽引車両１０の後方を示す実画像を表示する画面に切り替わる。なお、要求操作が行われない場合（Ｓ１０２のＮｏ）、停止モードが維持され、表示装置２６には、ナビゲーション画面やオーディオ画面が表示されたままとなる。

待機モードにおいて、車速が所定の閾値Ａ未満の場合（Ｓ１０６のＮｏ）、例えば、車速が２ｋｍ／ｈ未満の場合、Ｓ１０４に戻り待機モードが維持される。一方、車速が所定の閾値Ａ以上の場合（Ｓ１０６のＹｅｓ）、周辺監視処理部５０は、連結角度の検出を行う探知モードに移行する（Ｓ１０８）。この場合、表示装置２６の表示領域は、例えば２分割され、待機モードで表示していた実画像を片方の分割画面（メイン画面）に表示するとともに、自車アイコンやトレーラアイコンを表示する俯瞰画像を他方の分割画面（サブ画面）に表示する。その結果、ユーザは、現在、被牽引車両１２の連結の有無や連結角度の検出処理が実行されていることを視覚的に認識し易くなる。周辺監視処理部５０は、検知モードに移行すると、主としてオプティカルフローを用いた連結角度の検知を開始する。前述したようにオプティカルフローを用いた連結角度の検出条件として、牽引車両１０が移動していることが必要になる。そして、連結角度の検出が特に必要になるのは、牽引車両１０（被牽引車両１２）が後退しているときであり、低速で走行している場合が多い。したがって、周辺監視処理部５０は、オプティカルフローを用いる初期検知モード処理の開始に先立ち、再度車速が閾値Ａ以上か否か確認し、車速が閾値Ａ未満になった場合や停止した場合（Ｓ１１０のＮｏ）、Ｓ１０４に移行し、待機モードに戻る。

Ｓ１１０において、車速が閾値Ａ以上で維持されていれば（Ｓ１１０のＹｅｓ）、周辺監視処理部５０は、連結角度の初期検知モード処理を開始する（Ｓ１１２）。初期検知モード処理の詳細を図１５のフローチャートを用いて説明する。

まず、画像取得部５２ａは、撮像部２４が撮像した牽引車両１０の後方を示す撮像画像データを逐次取得し、俯瞰画像生成部６２で俯瞰画像データを逐次生成する（Ｓ２００）。続いて、オプティカルフローによる連結角度の検知処理を開始する（Ｓ２０２）。すなわち、図６に示すように、オプティカルフロー取得部６４ａは、生成された複数の俯瞰画像データを用いてオプティカルフローを算出する。そして、探索領域設定部５４ａは、複数の旋回探索領域７２を設定し、計数部５６ａは、ショートフロー７０ａの数を計数する。計数部５６ａの計数結果に基づき、角度検出部５６ｂは、ショートフロー７０ａの計数値が最も多い旋回探索領域７２の角度を牽引車両１０と被牽引車両１２との連結角度として検知（検出）する。連結角度の検知に成功しなかった場合（Ｓ２０４のＮｏ）、例えば、ショートフロー７０ａの計数値が所定閾値以下であった場合、例えば、ショートフロー７０ａの数が２０点以下であった場合、検出エラーとして失敗回数をカウントする。そして、この失敗回数が所定の閾値Ｂ未満（例えば、５回未満）の場合（Ｓ２０６Ｎｏ）、このフローを一旦終了する。一方、失敗回数が所定の閾値Ｂ（例えば５回）以上になった場合（Ｓ２０６のＹｅｓ）、角度検出部５６ｂは、牽引車両１０に被牽引車両１２が未連結であると判定し（Ｓ２０８）、このフローを一旦終了する。この場合、角度検出部５６ｂは、出力処理部６０に被牽引車両１２の未連結情報を通知し、出力処理部６０は、表示制御部３６ｅを介して表示装置２６に、被牽引車両１２が未連結であることを通知するアイコンやメッセージを表示させる。また、出力処理部６０は、音声制御部３６ｆを介して、音声出力装置２８から被牽引車両１２が未連結であることを通知する通知音や音声メッセージを出力するようにしてもよい。なお、Ｓ２０２の角度検知処理において、図７、図８で説明した方向群に分類したショートフロー７０ａを集計したヒストグラムを用いることで、処理負荷の軽減や、検出精度の向上に寄与することができる。

Ｓ２０４において、オプティカルフローによる連結角度の検知に成功した場合（Ｓ２０４のＹｅｓ）、周辺監視処理部５０は、図９～図１１で説明したような左右対称性による角度補正を実行する（Ｓ２１０）。すなわち、詳細探索領域設定部５４ｂは、Ｓ２０２で検知した連結角度を中心として、例えば±５°の範囲に、０．１°間隔の詳細旋回探索領域７４を設定する。そして、分割設定部５４ｃが各詳細旋回探索領域７４を第１分割画像８０ａと第２分割画像８０ｂとに分割する処理を実行して探索対象画像７６を生成する。計数部５６ａは、生成された各探索対象画像７６の評価マーク８２の計数を行い、詳細角度検出部５６ｃは、最も計数値の多い探索対象画像７６に対応する詳細旋回探索領域７４の示す角度を牽引車両１０と被牽引車両１２との連結角度（詳細連結角度）として検知する（Ｓ２１２）。詳細角度検出部５６ｃは、検知した連結角度（詳細連結角度）を出力処理部６０に提供する。そして、テンプレート処理部５８は、詳細角度検出部５６ｃが検知した連結角度（詳細連結角度）に対応する詳細旋回探索領域７４に写り込んでいる連結部材２０の画像をテンプレートとして、ＲＡＭ３６ｃやＳＳＤ３６ｄに登録して（Ｓ２１４）、このフローを一旦終了する。

図１４のフローチャートに戻り、Ｓ１１２の初期検知モード処理が終了し、テンプレート処理部５８によりテンプレートの登録が済んでいる場合（Ｓ１１４のＹｅｓ）、今回の検知処理で検知された連結角度の信頼性の確認を行う。例えば、過去の検知処理で検知した連結角度に対して、今回の検知処理で検知した連結角度の変化量が所定の閾値Ｃを超えている場合（Ｓ１１６のＮｏ）、Ｓ１１２に戻る。例えば、牽引車両１０に被牽引車両１２を連結させる場合、通常は、検知処理の処理周期に対応する期間内で連結角度が極端に大きく変化することはない。したがって、今回の検知処理で検知した連結角度と前回の検知処理（例えば、１フレーム前の画像を用いた処理）で検知した連結角度との変化量が閾値Ｃ（例えば１０°）を超えている場合、検出した連結角度の信頼性が低いと判定し、オプティカルフローを用いた初期検知モード処理をやり直す。

Ｓ１１６において、今回の検知処理で検知した連結角度と前回の検知処理で検知した連結角度との変化量が所定の閾値Ｃ以下の場合（Ｓ１１６のＹｅｓ）、周辺監視処理部５０は、初期検知モード処理により検出された連結角度は、信頼性があると判定する。そして、周辺監視処理部５０は、次の処理タイミングで連結角度の検知処理を初期検知モード処理により検出された連結角度を用いた簡略化した追跡検知モード処理を開始する（Ｓ１１８）。

追跡検知モード処理の詳細を図１６のフローチャートを用いて説明する。まず、画像取得部５２ａは、撮像部２４が撮像した牽引車両１０の後方を示す撮像画像データを逐次取得し、俯瞰画像生成部６２で俯瞰画像データを逐次生成する（Ｓ３００）。続いて、探索領域設定部５４ａは、生成された俯瞰画像データに基づく俯瞰画像に、複数の旋回探索領域７２を順次重ね合わせる。そして、角度検出部５６ｂは、テンプレート処理部５８がＲＡＭ３６ｃやＳＳＤ３６ｄに登録した最新のテンプレートを読出し、各旋回探索領域７２に写り込んでいる画像とテンプレートとのマッチングを実施する（Ｓ３０２）。前述したように、連結角度の検出処理周期は、例えば１００ｍｓ等のように短いため、初期検知モード処理で、検知された連結部材２０の連結角度の状態と、次の処理タイミングにおける連結部材２０の連結角度の状態変化は僅かであると見なすことができる。したがって、複数の旋回探索領域７２の中からテンプレートとして登録された連結部材２０の画像と最も類似する画像を含む旋回探索領域７２を選択することで、今回の検出処理における連結部材２０の連結角度を検出することが可能になる。なお、テンプレートマッチングにおける類似性の判定は、周知の類似度計算方法である、例えば、ＳＳＤ、ＳＡＤ、ＮＣＣ等の手法を用いて実行可能である。角度検出部５６ｂは、所定値以上の類似度が得られた旋回探索領域７２の中から最も類似度の高い旋回探索領域７２を選択する。

テンプレートマッチングが成功した場合（Ｓ３０４）、周辺監視処理部５０は、図９～図１１で説明したような左右対称性による角度補正を実行する（Ｓ３０６）。すなわち、詳細探索領域設定部５４ｂは、Ｓ３０４でマッチングに成功した旋回探索領域７２の角度を中心として、例えば±５°の範囲に、０．１°間隔の詳細旋回探索領域７４を設定する。そして、分割設定部５４ｃが各詳細旋回探索領域７４を第１分割画像８０ａと第２分割画像８０ｂとに分割する処理を実行して探索対象画像７６を生成する。計数部５６ａは、生成された各探索対象画像７６の評価マーク８２の計数を行い、詳細角度検出部５６ｃは、最も計数値の多い探索対象画像７６に対応する詳細旋回探索領域７４の示す角度を牽引車両１０と被牽引車両１２との連結角度（詳細連結角度）として検知する（Ｓ３０８）。詳細角度検出部５６ｃは、検知した連結角度（詳細連結角度）を出力処理部６０に提供する。テンプレート処理部５８は、詳細角度検出部５６ｃが検知した連結角度（詳細連結角度）に対応する詳細旋回探索領域７４に写り込んでいる連結部材２０の画像を最新のテンプレートとして、ＲＡＭ３６ｃやＳＳＤ３６ｄに登録（更新）して（Ｓ３１０）、このフローを一旦終了する。

Ｓ３０４において、テンプレートマッチングに成功しなかった場合（Ｓ３０４のＮｏ）、例えば、今回の処理で生成されている俯瞰画像に対して設定された複数の旋回探索領域７２とのマッチングで、所定値以上の類似度が得られない場合、マッチングエラーとして失敗回数をカウントする。そして、この検知失敗回数が所定の閾値Ｄ未満（例えば、５回未満）の場合（Ｓ３１２６Ｎｏ）、一旦、このフローを終了する。一方、失敗回数が所定の閾値Ｄ（例えば５回）以上になった場合（Ｓ３１２のＹｅｓ）、周辺監視処理部５０は、初期検知モード処理へ移行して初期検知をやり直すため移行フラグをＯＮにする（Ｓ３１４）。この場合、例えば、周辺監視処理部５０は、前回処理で登録したテンプレートが適切でない、例えば、連結角度の検出に失敗している可能性があると判定し、テンプレートの取得をやり直す。また、他の可能性として、周辺監視処理部５０は、例えば、連結部材２０の連結角度が急激に変化し、現在のテンプレートが適用できない可能性があると判定して、テンプレートの取得をやり直す。

このように、前回処理で検出した連結角度に対応する探索対象画像７６に写り込んでいる画像に基づくテンプレートを、今回の検出処理で旋回探索領域７２の選択に利用することで、オプティカルフローを用いる初期検知モード処理を省略することができるとともに、初期検知モード処理に比べ、処理負荷の軽減ができる。また、処理時間の短縮にも寄与できる。

図１４のフローチャートに戻り、追跡探知モード処理において初期検知モード処理への移行フラグがＯＮになっている場合（Ｓ１２０のＹｅｓ）、Ｓ１１２に移行する。一方、Ｓ１２０において、初期検知モード処理移行フラグがＯＮになっていない場合（Ｓ１２０のＮｏ）、周辺監視処理部５０はトレーラガイド機能の要求が継続されているか否かを判定する（Ｓ１２２）。そして、トレーラガイド機能の要求が継続されている場合（Ｓ１２２のＹｅｓ）、Ｓ１１８に移行し、次の連結角度の検出処理タイミングで追跡探知モード処理を実行する。一方、トレーラガイド機能の要求が継続していない場合（Ｓ１２２のＮｏ）、例えば、ユーザが操作入力部３０等を介して、トレーラガイド機能の中止操作を行った場合、このフローを終了する。

なお、上述した初期検知モード処理や追跡探知モード処理において、採用される左右対称性による角度補正を行う場合、第１分割画像８０ａと第２分割画像８０ｂとの対称性を評価して、対称性ありと評価された位置に評価マーク８２を付した。そして、詳細角度検出部５６ｃは、評価マーク８２の計数値の最も高い探索対象画像７６ｃが、分割線７８と連結部材２０との長手方向の中心線とが一致している可能性が高く、探索対象画像７６ｃに対応する探索対象画像７４ｃの角度が連結部材２０の連結角度であると推定した。この場合、例えば、連結部材２０からケーブル等の付属物が延びていて、その付属物が偶然左右対称の位置に移動していた場合、その部分にも評価マーク８２が付されて計数されてしまう場合がる。その結果、評価マーク８２の計数に基づく連結角度の検出に誤差が生じてしまう場合がある。

図１７、図１８は、上述のような誤差が生じる場合とその対策例を示す例示的かつ模式的な図である。図１７に示す比較パターン８６Ａは、詳細旋回探索領域７４に連結部材２０が斜めに写り込んでいる例である。つまり、図１７の詳細旋回探索領域７４は、連結部材２０の連結角度を示す旋回探索領域ではないと見なすことができる例である。一方、図１８に示す比較パターン８６Ｂは、詳細旋回探索領域７４に連結部材２０が真っ直ぐに写り込んでいる例である。つまり、図１８の詳細旋回探索領域７４は、連結部材２０の連結角度を示す旋回探索領域と見なすことができる例である。なお、図１７、図１８の場合、連結部材２０の付属部として、車幅方向に複数の非固定のケーブル８８が延びている例である。また、詳細旋回探索領域７４は、分割線７８により第１分割画像８０ａおよび第２分割画像８０ｂに分割されているが、この場合、第２分割画像８０ｂは反転処理されていない例である。したがって、詳細角度検出部５６ｃは、分割線７８を挟んで左右対称の位置において類似性を評価し、対称性ありと評価された位置に評価マーク８２を付すことになる。

図１７の場合、第１分割画像８０ａと第２分割画像８０ｂとで類似性評価を行った場合に、分割線７８を挟んで５対の類似点８２Ｌ，８２Ｒが検出されている例である。この場合、計数部５６ａは評価マーク８２の計数を「５」とする。一方、図１８の場合、第１分割画像８０ａと第２分割画像８０ｂとで類似性評価を行った場合に、分割線７８を挟んで４対の類似点８２Ｌ，８２Ｒが検出されている例である。この場合、計数部５６ａは評価マーク８２の計数を「４」とする。その結果、詳細角度検出部５６ｃは、図１７に示す詳細旋回探索領域７４が連結部材２０の連結角度を示すものであると誤判定してしまう。

このような誤判定が発生する状況を解析した。その結果、連結部材２０が左右対称となる角度、すなわち、詳細旋回探索領域７４に対して連結部材２０が真っ直ぐに写り込み、連結角度を示す場合、連結部材２０の形状に拘わらず、類似点８２Ｌ，８２Ｒは、分割線７８が延びる方向に並ぶ傾向があった。一方、それ以外の詳細旋回探索領域７４において、ケーブル８８や影などが原因で表れる類似点８２Ｌ，８２Ｒは、分割線７８と直交する方向に並ぶ傾向があった。

そこで、詳細角度検出部５６ｃは、対称性評価値として、評価マーク８２の計数値ではなく、まず、第１分割画像８０ａと第２分割画像８０ｂとにおいて類似する部分が存在する位置を示す類似点８２Ｌ，８２Ｒを検出する。そして、その類似点８２Ｌ，８２Ｒを通り分割線７８と直交する方向の評価ラインの数を検出する。図１７の場合、類似点８２Ｌ，８２Ｒに基づく評価マーク８２の数は、「５」であるが、評価ラインの数は、評価ラインａ～評価ラインｃの「３本」となる。一方、図１８の場合、類似点８２Ｌ，８２Ｒに基づく評価マーク８２の数は、「４」であるが、評価ラインの数は、評価ラインａ～評価ラインｄの「４本」となる。したがって、詳細角度検出部５６ｃは、評価ラインの本数が最大になる詳細旋回探索領域７４に対応する角度を牽引車両１０に対する被牽引車両１２の詳細連結角度として検出することで、上述したような誤検出の軽減が可能になる。なお、この判定は、第２分割画像８０ｂを反転させた場合にも適用可能であり同様の効果を得ることができる。

このように、本実施形態の周辺監視処理部５０（周辺監視システム１００）によれば、被牽引車両１２の連結角度を検出するための準備作業、例えば、目標マーク等の追加設置を必要とすることなく、また、検出対象の汚れ等を考慮することなく、直接被牽引車両１２の連結部材２０について、その連結角度の検出処理を高精度に実施することができる。

なお、上述した例では、撮像部２４が撮像した撮像画像データを俯瞰画像データに変換してから各検出処理（判定処理）を行うことで、検出精度の高精度化を図る例を示した。別の例では、撮像部２４が撮像した実画像をそのまま利用してもよく、同様に検出処理（判定処理）を行うことが可能である。この場合、処理負荷の軽減を行うことができる。

なお、上述した実施形態においては、オプティカルフローによる角度検知処理を実行する場合、牽引車両１０（被牽引車両１２）が所定速度以上で移動していることを検知処理実行の条件とする例を示した。牽引車両１０（被牽引車両１２）が所定速度以上で移動している場合、移動点情報および停止点情報の識別がより明確になり、安定した角度検知処理を実現できて、検知精度の向上にも寄与できる。他の実施形態においては、撮像画像において、連結部材２０以外の領域（例えば、路面領域）が所定の条件を満たす場合、牽引車両１０（被牽引車両１２）の停止中（停車中）においてもオプティカルフローによる角度検知処理を実行することができる。例えば、連結部材２０の背景となる路面が均一な平面であり、例えば凹凸差や輝度差等による模様等が実質的にないような場合には、時系列で取得された複数の画像を比較することにより連結部材２０の類似点情報（停止点情報、特徴点情報）を取得できる場合がある。このような場合、上述した実施形態と同様に、類似点情報の存在数を計数することか可能になり、連結角度の検出が可能になり、同様の効果を得ることができる。

本実施形態のＣＰＵ３６ａで実行される周辺監視プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…牽引車両、１２…被牽引車両、１８…牽引装置、１８ａ…ヒッチボール、２０…連結部材、２４…撮像部、３６…ＥＣＵ、５０…周辺監視処理部、５２…取得部、５２ａ…画像取得部、５２ｂ…車速取得部（自車移動状態取得部）、５２ｃ…情報取得部、５４…領域設定部、５４ａ…探索領域設定部、５４ｂ…詳細探索領域設定部、５４ｃ…分割設定部、５４ｄ…領域幅設定部、５６…検出部、５６ａ…計数部、５６ｂ…角度検出部、５６ｃ…詳細角度検出部、５６ｄ…連結判定部、５８…テンプレート処理部、６０…出力処理部、６２…俯瞰画像生成部、６４ａ…オプティカルフロー取得部、６４ｂ…分類処理部、７０…オプティカルフロー、７０ａ…ショートフロー、７０ｂ…ロングフロー、７２…旋回探索領域、７２ａ…旋回探索領域、７４…詳細旋回探索領域、７４ｃ…探索対象画像、７６…探索対象画像、７８…分割線、８０ａ…第１分割画像、８０ｂ…第２分割画像、８２…評価マーク、８４…詳細旋回探索領域、１００…周辺監視システム。

Claims (9)

1. 被牽引車両が連結可能な牽引車両に設けられた撮像部で撮像された前記牽引車両の後方領域を撮像した撮像画像に基づく画像を逐次取得する画像取得部と、
   時系列で取得された複数の前記画像に対して一つ以上の局所領域において所定条件を満たす類似点情報を取得する情報取得部と、
   取得された前記類似点情報に対して、前記被牽引車両が前記牽引車両に連結される連結部を中心として車幅方向に所定角度間隔で複数の旋回探索領域を設定する探索領域設定部と、
   前記複数の旋回探索領域の中で、前記類似点情報の存在数を計数した場合に計数値が最大になる前記旋回探索領域に対応する角度を前記牽引車両に対する前記被牽引車両の連結角度として検出する角度検出部と、
   前記牽引車両が移動していることを示す自車移動情報を取得する自車移動状態取得部と、
   を備え、
   前記情報取得部は、前記牽引車両が移動中であると判定された場合に、前記類似点情報として、局所領域において所定条件を満たす移動点情報を取得する、周辺監視装置。
2. 前記情報取得部は、所定条件を満たす類似点情報として、前記連結部を中心とする同心円軌道上を所定量以内の移動を示す前記移動点情報および、実質的に停止状態であることを示す停止点情報を取得する、請求項１に記載の周辺監視装置。
3. 前記複数の旋回探索領域のいずれにおいても、所定閾値以下の計数値の場合、前記牽引車両に対して前記被牽引車両が未連結であると判定する連結判定部をさらに備える、請求項１または請求項２に記載の周辺監視装置。
4. 前記情報取得部は、前記類似点情報が示す移動方向ごとに分類した方向群を取得し、
   前記角度検出部は、前記方向群に含まれる移動方向の数が多い上位所定数の前記方向群に含まれる前記類似点情報を計数の対象とする、請求項１から請求項３のいずれか１項に記載の周辺監視装置。
5. 前記画像取得部は、前記撮像画像に基づき、前記連結部の高さを基準とする俯瞰画像を取得する、請求項１から請求項４のいずれか１項に記載の周辺監視装置。
6. 前記探索領域設定部は、前記角度検出部が検出した前記連結角度を基準として、前記所定角度間隔より細かい間隔で複数の詳細旋回探索領域を設定し、
   さらに、
   前記画像に前記複数の詳細旋回探索領域を重ねた場合にぞれぞれの前記詳細旋回探索領域で規定される探索対象画像を、前記連結部を通り前記詳細旋回探索領域の長手方向に延びる分割線で分割して、第１分割画像と第２分割画像とに設定する分割設定部と、
   前記分割線を基準とする前記第１分割画像と前記第２分割画像との対称性を示す対称性評価値が最大になる前記詳細旋回探索領域に対応する角度を前記牽引車両に対する前記被牽引車両の詳細連結角度として検出する詳細角度検出部と、
   を備える請求項１から請求項５のいずれか１項に記載の周辺監視装置。
7. 前記探索領域設定部は、前記詳細旋回探索領域の前記連結部を中心とする同心円軌道方向に幅を複数種類設定する、請求項６に記載の周辺監視装置。
8. 前記分割設定部は、前記第１分割画像と前記第２分割画像のいずれか一方を前記分割線を軸として反転させて、
   前記詳細角度検出部は、反転させた一方の画像と非反転の他方の画像との類似性を用いて対称性を評価する、請求項６または請求項７に記載の周辺監視装置。
9. 前記詳細角度検出部は、前記対称性評価値として、前記第１分割画像と前記第２分割画像とにおいて類似する部分が存在する位置を示す類似点を検出し、当該類似点を通り前記詳細旋回探索領域の前記分割線と直交する方向の評価ラインを引いた場合に、当該評価ラインの本数が最大になる前記詳細旋回探索領域に対応する角度を前記牽引車両に対する前記被牽引車両の詳細連結角度として検出する、請求項６から請求項８のいずれか１項に記載の周辺監視装置。

Images