JP7069548B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両に設置された撮像装置で車両の周辺環境を撮像し、撮像された画像を車室内に設けられた表示画面を介して運転者に提供する技術が知られている。運転者は、車両にトレーラ（被牽引車）を連結する作業において、表示画面に表示された画像を、車両とトレーラとの位置関係の確認に役立てることができる。

特許第３９４５４６７号公報 特開２００６－１５３３号公報

本発明の課題の一つは、車両とトレーラとの連結作業を容易化する周辺監視装置を提供することである。

本発明の実施形態にかかる周辺監視装置は、一例として、車両に設けられた第１の連結装置と被牽引車に設けられた第２の連結装置とが映った第１の画像を取得する第１取得部と、前記第２の連結装置の高さ情報を取得する第２取得部と、前記第１の画像における前記第２の連結装置の表示位置と前記高さ情報とに基づいて前記第１の連結装置と前記第２の連結装置との位置関係を演算し、前記位置関係に基づいて前記第１の連結装置と前記第２の連結装置とが連結するに至るまでの前記車両の経路を演算し、前記経路に従って前記車両を誘導する誘導制御部と、前記第１の連結装置と前記第２の連結装置との距離が所定値より大きい場合、前記第１の画像を前記車両の室内に設けられた表示画面に表示し、前記距離が前記所定値より小さい場合、前記第１の画像を前記第１の連結装置、又は、前記第２の連結装置の前記高さ情報に基づいて、地面より高い位置に設定された水平面に投影し、前記水平面に投影された前記第１の画像を前記車両の上方から見た第２の画像を生成し、前記第２の画像を前記表示画面に表示する表示制御部と、を備えた。

よって、上記周辺監視装置は、連結作業において車両を自動誘導できるので、車両とトレーラとの連結作業を容易化することが可能である。また、上記周辺監視装置は、自動誘導中においては第２の連結装置の表示位置の移動速度を車両の速度に対応させることができるので、乗員は、より簡単に連結装置同士の位置合わせを行うことが可能となる。

また、上記周辺監視装置では、一例として、前記第１取得部は、前記第２の連結装置の表示位置を特定する入力を前記車両に設けられた操作入力部を介して取得する。

よって、上記周辺監視装置は、簡単なアルゴリズムで第２の連結装置の表示位置を特定することができる。

また、上記周辺監視装置では、一例として、前記誘導制御部は、前記第１の画像に対して画像認識処理を実行することによって前記第２の連結装置の表示位置を特定する。

よって、乗員による入力を要することなく第２の連結装置の表示位置が特定されるので、乗員の操作負担が軽減される。

また、上記周辺監視装置では、一例として、第２取得部は、前記高さ情報を前記車両に設けられた操作入力部を介して取得する。

よって、上記周辺監視装置は、簡単なアルゴリズムで第２の連結装置の高さ情報を取得することができる。

また、上記周辺監視装置では、一例として、前記第１の画像に対してステレオ画像処理を実行することによって前記高さ情報を取得する。

よって、乗員による高さ情報の入力を不要とすることができるので、乗員の操作負担が軽減される。

図１は、第１の実施形態の周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、車両が備える第１の実施形態の周辺監視システムの構成を示す図である。 図３は、第１の実施形態の車両に連結されるトレーラの一例を示す図である。 図４は、車両の後方を撮像する第１の実施形態のカメラの撮像領域を説明するための図である。 図５は、第１の実施形態のＥＣＵの機能的構成を示すブロック図である。 図６は、ヒッチボールの高さ情報を説明するための図である。 図７は、第１の実施形態のＥＣＵの動作を説明するフローチャートである。 図８は、第１の実施形態のＥＣＵの動作を説明するフローチャートである。 図９は、第１の実施形態のＥＣＵの動作を説明するフローチャートである。 図１０は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１１は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１２は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１３は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１４は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１５は、３次元空間内の位置を特定する方法の一例を説明するための図である。 図１６は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１７は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１８は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図１９は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図２０は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図２１は、第１の実施形態の広域俯瞰画像が示す領域の例を示す図である。 図２２は、第１の実施形態の広域俯瞰画像が示す領域の例を示す図である。 図２３は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。 図２４は、第１の実施形態のＥＣＵによる表示画面の表示例を示す図である。

以下、本実施形態の周辺監視装置を車両１に搭載した例をあげて説明する。

＜第１の実施形態＞
実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、数、およびレイアウト等は、種々に設定することができる。

図１は、第１の実施形態の周辺監視装置を搭載する車両１の車室２ａの一部が透視された状態の一例が示された斜視図である。図２は、車両１が備える第１の実施形態の周辺監視システム１００の構成を示す図である。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示画面８が設けられている。表示画面８は、例えば、ＬＣＤ（liquid crystal display）またはＯＥＬＤ（organic electroluminescent display）等である。また、表示画面８は、例えば、タッチパネル等、透明な操作入力部９で覆われている。乗員は、表示画面８に表示される画像を操作入力部９を介して視認することができる。また、乗員は、表示画面８に表示される画像に対応した位置で手指等で操作入力部９を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示画面８、操作入力部９等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、または押しボタン等の不図示の操作入力部を有することができる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステムと兼用され得る。

また、図１に例示されるように、車両１は、例えば、四輪自動車である。車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒとを有する。これら４つの車輪３は、いずれも転舵可能に構成されうる。図２に例示されるように、車両１は、少なくとも２つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステム、またはＳＢＷ（steer by wire）システム、等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。

また、図１に例示されるように、車両１の後方には、ヒッチボール１６が設けられている。ヒッチボール１６は、牽引対象のトレーラを車両１に連結する連結装置である。

図３は、牽引対象のトレーラ２００の一例を示す図である。この例では、トレーラ２００はキャンピングトレーラであるが、牽引対象のトレーラ２００はキャンピングトレーラに限定されない。トレーラ２００の前端部には、ヒッチカプラ２０１が取り付けられている。ヒッチカプラ２０１は、トレーラ２００側の連結装置であり、ヒッチボール１６と連結可能である。連結作業においては、ヒッチボール１６がヒッチカプラ２０１の真下にくるように車両１が移動せしめられ、その後、ヒッチカプラ２０１とヒッチボール１６とが連結される。

なお、ヒッチボール１６およびヒッチカプラ２０１は連結装置の組み合わせの一例である。例えば第５輪およびキングピンの組み合わせなど、他の任意の連結装置が採用され得る。

また、図１に例示されるように、車体２には、複数のカメラ１５として、例えば４つのカメラ１５ａ～１５ｄが設けられている。各カメラ１５は、例えば、ＣＣＤ（charge coupled device）またはＣＩＳ（CMOS image sensor）等の撮像素子を内蔵する撮像装置である。各カメラ１５は、所定のフレームレートで動画（撮像画像）を出力することができる。各カメラ１５は、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。よって、各カメラ１５は、車両１の周辺環境を逐次撮影し、撮像画像として出力する。

カメラ１５ａは、例えば、車体２の後側の端部２ｃに位置され、リアハッチのドア２ｄのリアウインドウの下方の壁部に設けられている。図４に例示されるように、カメラ１５ａの光軸は、カメラ１５ａの撮像領域８００にヒッチボール１６が入るように、水平方向よりも若干地面７００の方向に向けて設定されている。カメラ１５ｂは、例えば、車体２の右側のドアミラー２ｅに設けられている。カメラ１５ｃは、例えば、車体２の前側、すなわち車両前後方向のフロントバンパーまたはフロントグリル等に設けられている。カメラ１５ｄは、例えば、車体２の左側のドアミラー２ｅに設けられている。

図２に例示されるように、周辺監視システム１００は、モニタ装置１１、操舵システム１３、およびＥＣＵ１４の他に、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等を備える。モニタ装置１１、操舵システム１３、ＥＣＵ１４、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、および車輪速センサ２２は、電気通信回線としての車内ネットワーク２３に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等のセンサ値や、操作入力部９等の操作情報を、受け取ることができる。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、またはＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部（例えば、ブレーキペダル）の位置を検出するセンサである。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。ＥＣＵ１４は、運転者による操舵部４の操舵量、または自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。

アクセルセンサ２０は、例えば、加速操作部５の可動部（例えば、アクセルペダル）の位置を検出するセンサである。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置（レンジ）を検出するセンサである。シフトセンサ２１は、例えば、パーキングレンジ、リバースレンジ、ドライブレンジ、およびニュートラルレンジを含む複数のレンジのうちから、可動部のレンジを検出する。

車輪速センサ２２は、車輪３の回転量または単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、各車輪３に配置され、各車輪３で検出した回転数を示す車輪速パルス数をセンサ値として出力する。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。

ＥＣＵ１４は、周辺監視装置の一例である。ＥＣＵ１４は、例えば、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、およびＳＳＤ（Solid State Drive）１４ｄを備える。ＣＰＵ１４ａは、演算装置であり、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ、およびＳＳＤ１４ｄは、記憶装置である。即ち、ＥＣＵ１４は、コンピュータのハードウェア構成を備える。なお、ＥＣＵ１４は、複数のコンピュータによって構成されてもよい。

ＣＰＵ１４ａは、ＲＯＭ１４ｂにインストールされ記憶された周辺監視プログラム１４０を実行することによって、周辺監視装置としての機能を実現する。周辺監視プログラム１４０は、ＲＯＭ１４ｂに替えてＳＳＤ１４ｄにインストールされていてもよい。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ１４ｄは、書き換え可能な不揮発性の記憶装置であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃ等は、同一パッケージ内に集積され得る。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサまたは論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｄに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｄまたはＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

周辺監視プログラム１４０は、コンピュータにインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。

また、周辺監視プログラム１４０は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、周辺監視プログラム１４０は、インターネット等のネットワーク経由で提供または配布され得る。

ＥＣＵ１４は、複数のカメラ１５で得られた撮像画像に基づいて演算処理または画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、各カメラ１５で得られた広角画像のデータに演算処理または画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像を生成したり、特定の領域のみが強調されたような画像を生成したりする。また、ＥＣＵ１４は、撮像画像をカメラ１５が撮像した視点とは異なる視点（仮想視点）から撮像したような仮想画像に変換（視点変換）することができる。ＥＣＵ１４は、取得した撮像画像を表示画面８に表示することで、例えば、車両１の右側方や左側方の安全確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供することができる。また、車両１の後退時には、ＥＣＵ１４は、カメラ１５ａで得られた撮像画像に基づいて、車両１の後方の環境を示す画像を表示画面８に表示する。車両１の後方の環境を示す画像を表示画面８に表示するモードを、リアビューモードと表記する。また、カメラ１５ａで得られた撮像画像を、後方画像と表記する。

ここで、運転者は、車両１にトレーラ２００を連結する場合、車両１の後方にトレーラ２００の略正面を臨む位置に車両１を移動させ、その後、車両１を後退させることによって、ヒッチボール１６とヒッチカプラ２０１とを連結可能な位置まで車両１を移動させる。本実施形態の周辺監視装置としてのＥＣＵ１４は、車両１の後退時に、リアビューモードで動作するとともに、ヒッチボール１６とヒッチカプラ２０１とを連結可能な位置まで車両１を自動で誘導することができる。

図５は、第１の実施形態のＥＣＵ１４の機能的構成を示すブロック図である。ＥＣＵ１４は、第１取得部１０１、第２取得部１０２、誘導制御部１０３、および表示制御部１０４として機能する。ＣＰＵ１４ａは、ＲＯＭ１４ｂから周辺監視プログラム１４０を読み出して実行することによって、第１取得部１０１、第２取得部１０２、誘導制御部１０３、および表示制御部１０４としての機能を実現する。

第１取得部１０１は、各カメラ１５から撮像画像を取得する。特に、第１取得部１０１は、リアビューモードにおいて、ヒッチボール１６とヒッチカプラ２０１とが映っている後方画像をカメラ１５ａから取得する。

また、第１取得部１０１は、リアビューモードにおいて、ヒッチボール１６およびヒッチカプラ２０１を特定する入力を取得する。一例では、表示制御部１０４は、ヒッチボール１６とヒッチカプラ２０１とが映っている後方画像を表示画面８に表示する。そして、乗員がヒッチボール１６およびヒッチカプラ２０１が表示されている位置をそれぞれタッチすると、それぞれのタッチ操作が操作入力部９によって検出され、検出されたそれぞれのタッチ操作がヒッチボール１６を特定する入力およびヒッチカプラ２０１を特定する入力として第１取得部１０１によって取得される。

また、第１取得部１０１は、舵角センサ１９のセンサ値、シフトセンサ２１のセンサ値、および車輪速センサ２２のセンサ値を取得する。

第２取得部１０２は、ヒッチボール１６の高さ情報を取得する。ヒッチボール１６の高さ情報は、例えば図６に示されるように、地面７００からヒッチボール１６のボール部分の中心までの距離Ｈを示す。ヒッチボール１６の高さ情報は、車両１を誘導する経路の演算において、ヒッチカプラ２０１の高さ情報の代用として用いられる。ヒッチボール１６とヒッチカプラ２０１とはほとんど同じ高さに位置すると仮定されるからである。

なお、ヒッチボール１６の高さ情報の取得方法は特定の方法に限定されない。ここでは、ヒッチボール１６の高さ情報は、例えば次のように取得される。表示制御部１０４は、ヒッチボール１６の高さ情報の入力を促す設定画面を表示画面８に表示する。乗員は、設定画面においてタッチ操作を行うことによって、ヒッチボール１６の高さ情報を入力する。第２取得部１０２は、入力されたヒッチボール１６の高さ情報を取得する。なお、設定画面の表示タイミングは、特定のタイミングに限定されない。設定画面は、任意のタイミングで呼び出され得る。

誘導制御部１０３は、第１取得部１０１および第２取得部１０２が取得した各種情報に基づいて、車両１がヒッチボール１６とヒッチカプラ２０１とを連結可能な位置に至るまでの車両１の経路を演算する。車両１の経路の演算アルゴリズムは後述する。

表示制御部１０４は、リアビューモードにおいて、ヒッチボール１６とヒッチカプラ２０１とが映っているカメラ１５ａからの後方画像を表示画面８に表示する。また、表示制御部１０４は、リアビューモードにおいて、ヒッチボール１６を含むヒッチボール１６の周辺が映っている俯瞰画像である局所俯瞰画像を後方画像に基づいて生成し、生成した局所俯瞰画像を表示画面８に表示する。局所俯瞰画像の生成アルゴリズムについては後述する。

表示制御部１０４は、リアビューモードにおいて、ヒッチボール１６とヒッチカプラ２０１との距離が予め決められたしきい値Ｄｔｈ１より大きい場合には、後方画像を表示画面８に表示し、ヒッチボール１６とヒッチカプラ２０１との距離がＤｔｈ１より小さい場合には、局所俯瞰画像を表示する。

以降、リアビューモードのうちの後方画像を表示するモードを第１リアビューモードと表記する。また、リアビューモードのうちの局所俯瞰画像を表示するモードを第２リアビューモードと表記する。

なお、リアビューモードにおいて、表示制御部１０４は、後方画像と局所俯瞰画像とを同時に表示してもよい。後方画像と局所俯瞰画像とを同時に表示する場合は、表示制御部１０４は、表示画面８に複数の表示領域を設け、一の表示領域に後方画像を表示し、他の表示領域に局所俯瞰画像を表示する。

また、リアビューモードにおいて、表示制御部１０４は、局所俯瞰画像を表示せず、常に後方画像を表示してもよい。また、後方画像と局所俯瞰画像との表示切り替えの条件は、ヒッチボール１６とヒッチカプラ２０１との距離にかかる条件だけに限定されない。

表示制御部１０４は、さらに、ヒッチボール１６およびヒッチカプラ２０１の表示位置にそれぞれ識別情報を表示する。各識別情報の形状は特定の形状に限定されない。ここでは一例として、各識別情報は十字線の形状を有することとする。また、表示制御部１０４は、車両１の移動に応じて変化するヒッチカプラ２０１の表示位置に、十字線を追従させる。

図７～図９は、第１の実施形態の周辺監視装置としてのＥＣＵ１４の動作を説明するフローチャートである。また、図１０～図１４は、第１の実施形態の周辺監視装置としてのＥＣＵ１４による表示画面８の表示例を示す図である。

まず、第２取得部１０２は、ヒッチボール１６の高さ情報を取得する（Ｓ１０１）。なお、前述したように、ヒッチボール１６の高さ情報は、任意のタイミングで取得可能である。

続いて、表示制御部１０４は、リアビューモードの開始タイミングに至ったか否かを判定する（Ｓ１０２）。リアビューモードの開始タイミングの判定方法は特定の方法に限定されない。一例では、表示制御部１０４は、シフトセンサ２１からのセンサ値を第１取得部１０１を介して逐次取得し、変速操作部７の位置を監視する。表示制御部１０４は、変速操作部７がリバースレンジ以外に位置している場合、リアビューモードの開始タイミングに至っていないと判定し、変速操作部７の位置が他のレンジからリバースレンジに遷移した場合、リアビューモードの開始タイミングに至ったと判定する。

リアビューモードの開始タイミングに至っていないと判定された場合には（Ｓ１０２、Ｎｏ）、表示制御部１０４は、Ｓ１０２の判定処理を再び実行する。リアビューモードの開始タイミングに至ったと判定された場合には（Ｓ１０２、Ｙｅｓ）、表示制御部１０４は、カメラ１５ａからの後方画像を第１取得部１０１を介して取得して、取得した後方画像を表示画面８に表示する（Ｓ１０３）。即ち、表示制御部１０４は、リアビューモードでの動作を開始する。表示制御部１０４は、所定のフレームレートで逐次出力される後方画像を表示画面８に逐次出力する。

リアビューモードが開始すると、図１０に例示されるように、表示画面８の表示領域８０に、後方画像が表示される。図１０の例では、表示領域８０に表示された後方画像には、車両１のリアバンパーを映した画像３００、ヒッチボール１６を映した画像３０１、トレーラ２００を映した画像４００、およびヒッチカプラ２０１を映した画像４０１が含まれている。また、表示領域８０の右上には、ＯＫボタン５００が表示されている。ＯＫボタン５００については後述する。

なお、表示制御部１０４は、カメラ１５ａからの後方画像を必ずしもそのまま表示画面８に表示しなくてもよい。表示制御部１０４は、カメラ１５ａからの後方画像に対して任意の加工を行った後、表示画面８に表示してもよい。加工とは、合成、切り抜き、フィルタ処理、任意の情報の重畳、などを含む。

続いて、第１取得部１０１は、ヒッチボール１６を特定する入力（正確には、ヒッチボール１６の表示位置を特定する入力）を取得する（Ｓ１０４）。すると、表示制御部１０４は、表示画面８上のヒッチボール１６の表示位置に十字線（第１の十字線５０１）を重畳表示する（Ｓ１０５）。

ヒッチボール１６を特定する入力は、前述したように、例えばタッチ操作によって入力される。図１１の上段に例示されるように、ヒッチボール１６を映した画像３０１が乗員の手指６００によりタッチされると、タッチされた位置はヒッチボール１６を特定する入力として取得される。そして、図１１の下段に例示されるように、表示制御部１０４は、タッチされた位置に第１の十字線５０１を重畳表示する。第１の十字線５０１は、点線など実線以外の種類の線で表示されてもよいし、任意の色で着色表示されてもよい。

続いて、第１取得部１０１は、ヒッチカプラ２０１を特定する入力（正確には、ヒッチカプラ２０１の表示位置を特定する入力）を取得する（Ｓ１０６）。すると、表示制御部１０４は、表示画面８上のヒッチカプラ２０１の表示位置に十字線（第２の十字線５０２）を重畳表示する（Ｓ１０７）。

ヒッチカプラ２０１を特定する入力は、前述したように、例えばタッチ操作によって入力される。図１２の上段に例示されるように、ヒッチカプラ２０１を映した画像４０１が手指６００によりタッチされると、タッチされた位置はヒッチカプラ２０１を特定する入力として取得される。そして、図１２の下段に例示されるように、表示制御部１０４は、タッチされた位置に第２の十字線５０２を重畳表示する。第２の十字線５０２は、点線など実線以外の種類の線で表示されてもよいし、任意の色で着色表示されてもよい。

なお、Ｓ１０４の処理とＳ１０６の処理との順番は、上記に限定されない。Ｓ１０４の処理よりも先にＳ１０６の処理が実行されてもよい。

また、Ｓ１０４およびＳ１０６の処理の際に、第１取得部１０１が、表示画面８の表示内容を拡大または縮小する操作入力を受け付けて、表示制御部１０４が、受け付けた操作入力に従って画像を拡大または縮小して表示画面８に表示してもよい。例えば、操作入力部９は、ピンチアウトの入力を受け付けた時、第１取得部１０１は、その入力を、画像を拡大する操作入力として取得する。ピンチアウトとは、２本の指で操作入力部９を触れて、その２本の指を広げるようにスライドさせる操作である。表示制御部１０４は、２本の指のちょうど中間の部分を中心として、表示中の画像を拡大する。また、操作入力部９は、ピンチインの入力を受け付けた時、第１取得部１０１は、その入力を、画像を縮小する操作入力として取得する。ピンチインとは、２本の指で操作入力部９を触れて、その２本の指で対象をつまむようにスライドさせる操作である。表示制御部１０４は、２本の指のちょうど中間の部分を中心として、表示中の画像を縮小する。このように、表示画面８の表示内容を乗員による操作入力に応じて拡大／縮小することが可能に構成されることで、乗員は、Ｓ１０４およびＳ１０６の処理の際に、画像を拡大してタッチすることが可能である。よって、乗員は、ヒッチボール１６およびヒッチカプラ２０１が映っている位置をより正確にタッチすることが可能となる。

続いて、誘導制御部１０３は、誘導開始のタイミングに至ったか否かを判定する（Ｓ１０８）。誘導開始のタイミングに至っていないと判定された場合（Ｓ１０８、Ｎｏ）、Ｓ１０８の処理が再び実行される。誘導開始のタイミングに至ったと判定された場合（Ｓ１０８、Ｙｅｓ）、誘導制御部１０３は、自動誘導を開始する。

誘導開始のタイミングの判定方法は特定の方法に限定されない。ここでは一例として、図１３の上段に例示されるように、ＯＫボタン５００が手指６００によってタッチされると、ＯＫボタン５００をタッチする入力は、自動誘導の設定完了通知として取得される。誘導制御部１０３は、自動誘導の設定完了通知を取得すると、誘導開始のタイミングに至ったと判定する。自動誘導が開始すると、表示制御部１０４は、例えば図１３の下段に例示されるように、自動誘導を実行中である旨を示す識別情報５０３を表示する。

自動誘導の開始時には、誘導制御部１０３は、経路の演算を行う。具体的には、まず、誘導制御部１０３は、３次元空間内のヒッチボール１６の位置を演算する（Ｓ１０９）。３次元空間の原点は、特定の位置に限定されない。また、３次元空間の座標系は、特定の座標系に限定されない。

図１５は、３次元空間内の位置を特定する方法の一例を説明するための図である。本図において、枠１５０は、後方画像の枠に対応する。カメラ１５ａによって得られた撮像画像においては、地面７００上の点７０２とカメラ１５ａとを結ぶ直線７０１上の各位置に存在する対象物は、撮像画像上の一点１５１に重なって表示される。しかしながら、直線７０１の或る位置７０３の地面７００からの高さ情報Ｈｉが既知である場合、位置７０３の３次元空間内の座標は一意に決まる。即ち、高さ情報と後方画像における表示位置とから、３次元空間内の位置が求まる。このような関係に基づき、誘導制御部１０３は、ヒッチボール１６の表示位置と高さ情報とを用いて３次元空間内のヒッチボール１６の位置を演算する。

さらに、誘導制御部１０３は、同様の手順で、３次元空間内のヒッチカプラ２０１の位置を演算する（Ｓ１１０）。上述したように、ここでは、誘導制御部１０３は、ヒッチカプラ２０１の高さ情報をヒッチボール１６の高さ情報で代用する。

続いて、誘導制御部１０３は、３次元空間内におけるヒッチボール１６およびヒッチカプラ２０１の位置関係に基づいて、現在の位置から、ヒッチボール１６とヒッチカプラ２０１とが連結可能な位置、即ちヒッチカプラ２０１の真下にヒッチボール１６が存在する位置、に車両１が至るまでの車両１の経路を演算する（Ｓ１１１）。

現在位置からヒッチボール１６とヒッチカプラ２０１とが連結可能な位置までの経路の演算方法は、特定の方法に限定されない。一例では、誘導制御部１０３は、ヒッチボール１６の現在位置から地面７００に下ろした垂線の足と、ヒッチカプラ２０１から地面７００に下ろした垂線の足とを演算する。即ち、誘導制御部１０３は、ヒッチボール１６とヒッチカプラ２０１との水平的な位置関係を演算する。誘導制御部１０３は、ヒッチボール１６の現在位置から地面に下ろした垂線の足を始点とし、ヒッチカプラ２０１から地面に下ろした垂線の足を終点とする、ヒッチボール１６の経路を演算する。そして、誘導制御部１０３は、ヒッチボール１６の経路を車両１の経路に変換する。

なお、水平的な位置関係は、地面７００に下ろした垂線の足同士の位置関係に限定されない。例えば、ヒッチカプラ２０１またはヒッチボール１６の高さの水平面など、地面７００以外の任意の水平面に下ろした垂線の足同士の位置関係であってもよい。

続いて、誘導制御部１０３は、車両１が演算された経路に沿って移動するように、自動操舵を実行する（Ｓ１１２）。誘導制御部１０３は、車両１が演算された経路に沿って移動するように舵角を決定し、操舵システム１３に指示を出して車輪３を決定した舵角に転舵する。乗員は、加速操作部５および制動操作部６を操作するだけで車両１を経路に沿って移動させることができる。なお、誘導制御部１０３は、操舵だけでなく加減速も自動で制御してもよい。

誘導の開始後、ＥＣＵ１４は、車両１が経路の終点に至ったと判定されるまで（Ｓ１１３、Ｙｅｓ）、Ｓ１１３からＳ１１５またはＳ１１６までのループ処理を繰り返し実行する。ループ処理の実行タイミングは任意に設計可能である。ループ処理は、例えば０．１秒毎、または、１フレームの後方画像が取得される毎など、所定の時間間隔で実行されてもよいし、車両１が０．０５ｍなど所定の距離だけ移動する毎に実行されてもよい。

ループ処理において、まず、誘導制御部１０３は、車両１が経路の終点に至ったか否かを判定する（Ｓ１１３）。具体的には、誘導制御部１０３は、車両１の現在位置を推定する。そして、誘導制御部１０３は、推定された現在位置が経路の終点と一致するか否かを判定する。

車両１の現在位置の推定方法は、特定の方法に限定されない。一例では、誘導制御部１０３は、車輪速センサ２２のセンサ値を第１取得部１０１を介して取得して、取得したセンサ値を用いたホイールオドメトリによって現在位置を推定する。別の例では、誘導制御部１０３は、不図示のＧＰＳ（Global Positioning System）を用いて現在位置を特定する。さらに別の例では、誘導制御部１０３は、逐次取得される後方画像を用いてオプティカルフローを作成し、作成したオプティカルフローに基づいて現在位置を推定する。

車両１が経路の終点に至っていないと判定された場合（Ｓ１１３、Ｎｏ）、表示制御部１０４は、ヒッチボール１６とヒッチカプラ２０１との距離がＤｔｈ１より小さいか否かを判定する（Ｓ１１４）。

ヒッチボール１６とヒッチカプラ２０１との距離がＤｔｈ１より小さくないと判定された場合（Ｓ１１４、Ｎｏ）、表示制御部１０４は、第１リアビューモードで表示を実行する（Ｓ１１５）。

第１リアビューモードでは、図８に例示されるように、第１取得部１０１は、まず、後方画像を取得する（Ｓ２０１）。表示制御部１０４は、後方画像におけるヒッチボール１６およびヒッチカプラ２０１の表示位置をそれぞれ特定する（Ｓ２０２）。

カメラ１５ａとヒッチボール１６との位置関係は固定されている。よって、表示制御部１０４は、Ｓ１０４の処理によって特定された位置を、ヒッチボール１６の表示位置とすることができる。

ヒッチカプラ２０１の表示位置の特定方法としては、任意の方法が採用可能である。一例では、表示制御部１０４は、Ｓ１０６の処理によって特定された位置を中心とする単位領域内の画像を記憶する。単位領域は、後方画像に比べて小さい領域であって、大きさが固定された領域である。表示制御部１０４は、現在の後方画像に位置を変えながら逐次、単位領域を設定し、設定された各単位領域内の画像と記憶している画像とを比較することによって、記憶している画像と最も類似している単位領域を探索する。類似／非類似の判断は、例えば特徴量の比較によって判断される。表示制御部１０４は、探索された単位領域の中心を、現在の後方画像におけるヒッチカプラ２０１の表示位置として決定する。表示制御部１０４は、ヒッチカプラ２０１の表示位置を決定した後、記憶している単位領域内の画像を、決定された表示位置を中心とする単位領域内の画像で上書きしてもよい。

別の例では、表示制御部１０４は、誘導制御部１０３が推定した車両１の現在位置に基づいて、カメラ１５ａとヒッチカプラ２０１との３次元空間内の位置関係を演算し、演算によって得られた位置関係に基づいてヒッチカプラ２０１の表示位置を特定する。カメラ１５ａとヒッチカプラ２０１との３次元空間内の位置関係は、ホイールオドメトリ、ＧＰＳからの信号、または画像処理など、任意の方法で演算され得る。

続いて、表示制御部１０４は、後方画像に第１の十字線５０１および第２の十字線５０２を重畳する（Ｓ２０３）。即ち、表示制御部１０４は、特定されたヒッチボール１６の表示位置に第１の十字線５０１を重畳し、特定されたヒッチカプラ２０１の表示位置に第２の十字線５０２を重畳する。

続いて、表示制御部１０４は、第１の十字線５０１および第２の十字線５０２が重畳された後方画像を表示画面８に表示する（Ｓ２０４）。そして、Ｓ２０１の処理に制御が移る。

第１のリアビューモードでは、Ｓ２０１～Ｓ２０４のループ処理が繰り返し実行されることで、ヒッチカプラ２０１の表示位置の移動に追従するように第２の十字線５０２の表示位置が逐次更新される。

図７に戻り、ヒッチボール１６とヒッチカプラ２０１との距離がＤｔｈ１より小さいと判定された場合（Ｓ１１４、Ｙｅｓ）、表示制御部１０４は、第２リアビューモードで表示を実行する（Ｓ１１６）。

第２リアビューモードでは、図９に例示されるように、第１取得部１０１は、まず、後方画像を取得する（Ｓ３０１）。表示制御部１０４は、Ｓ２０２と同様の手順で、後方画像におけるヒッチボール１６およびヒッチカプラ２０１の表示位置をそれぞれ特定する（Ｓ３０２）。表示制御部１０４は、特定したそれぞれの位置を記憶しておく。

続いて、表示制御部１０４は、仮想投影面と仮想視点とを設定する（Ｓ３０３）。

仮想投影面は、地面７００と平行な平面すなわち水平面であり、地面７００からの仮想投影面の高さは、ヒッチカプラ２０１の高さと等しい。なお、仮想投影面の高さは、ヒッチカプラ２０１の高さと厳密に一致していなくてもよく、ヒッチカプラ２０１の高さとおよそ等しければよい。即ち、仮想投影面の高さは、ヒッチカプラ２０１の高さと対応する。例えば、表示制御部１０４は、ヒッチボール１６の高さ情報を以て仮想投影面の高さとする。仮想視点は、車両１の後方に位置し、車両１に対して相対的な位置に固定されている。例えば、仮想視点は、ヒッチボール１６の真上に位置し、仮想視点の光軸は下向きに固定されている。

続いて、表示制御部１０４は、後方画像を仮想投影面に投影する（Ｓ３０４）。そして、表示制御部１０４は、仮想投影面に投影された画像を仮想視点から見た画像に視点変換する（Ｓ３０５）。表示制御部１０４は、Ｓ３０５の処理によって局所俯瞰画像を得る。

表示制御部１０４は、局所俯瞰画像に第１の十字線５０１および第２の十字線５０２を重畳する（Ｓ３０６）。即ち、表示制御部１０４は、ヒッチボール１６の表示位置に第１の十字線５０１を重畳し、ヒッチカプラ２０１の表示位置に第２の十字線５０２を重畳する。

表示制御部１０４は、Ｓ３０２の処理によって特定したヒッチボール１６およびヒッチカプラ２０１の表示位置に対し、Ｓ３０３およびＳ３０４の演算を実行することで、局所俯瞰画像内のヒッチボール１６の表示位置とヒッチカプラ２０１の表示位置とを得ることができる。なお、局所俯瞰画像内のヒッチボール１６およびヒッチカプラ２０１の表示位置の特定方法はこれに限定されない。

続いて、表示制御部１０４は、第１の十字線５０１および第２の十字線５０２が重畳された局所俯瞰画像を表示画面８に表示する（Ｓ３０７）。そして、Ｓ３０１の処理に制御が移る。

第２リアビューモードでは、Ｓ３０１～Ｓ３０７のループ処理が繰り返し実行されることで、ヒッチカプラ２０１の表示位置の移動に追従するように第２の十字線５０２の表示位置が逐次更新される。

図１４に例示されるように、第２リアビューモードでは、表示画面８の表示領域８０には、ヒッチボール１６を真上から見た局所俯瞰画像が表示される。仮に、後方画像を仮想的な地面７００に投影した後に視点変換によって局所俯瞰画像を生成した場合、車両１の移動速度と局所俯瞰画像内の地面７００の移動速度とが対応する。しかしながら、ヒッチボール１６およびヒッチカプラ２０１は位置的にカメラ１５ａと地面７００との間に介在するので、車両１の移動速度に対するヒッチカプラ２０１の表示位置の移動速度が大きく、その結果、乗員は、表示内容に違和感を覚えやすい。また、車両１の移動速度に対するヒッチカプラ２０１の表示位置の移動速度が大きくなるので、乗員は、表示画面８を介して連結装置間の距離を確認しながら車両１を後退させる際に、ブレーキペダルとしての制動操作部６の操作遅れなどを起こす虞がある。第１の実施形態では、ヒッチカプラ２０１の高さに対応する高さに仮想投影面が設定され、局所俯瞰画像は、その仮想投影面に投影された後方画像から生成されている。よって、ヒッチカプラ２０１の表示位置の移動速度が車両１の移動速度に対応する。よって、乗員が違和感を覚える問題が解消され、乗員が制動操作部６の操作遅れを起こす可能性が低減される。つまり、乗員は、より簡単にヒッチボール１６とヒッチカプラ２０１との位置合わせを行うことが可能である。

図７に戻り、Ｓ１１３の判定処理において、車両１が経路の終点に至ったと判定された場合（Ｓ１１３、Ｙｅｓ）、ＥＣＵ１４は、車両１の誘導を終了し（Ｓ１１７）、第１の実施形態の周辺監視装置としての動作が終了する。

なお、以上の説明においては、ヒッチボール１６とヒッチカプラ２０１との距離がＤｔｈ１と等しい場合には、表示制御部１０４は、第１リアビューモードで表示を実行する、として説明したが、ヒッチボール１６とヒッチカプラ２０１との距離がＤｔｈ１と等しい場合の処理はこれに限定されない。ヒッチボール１６とヒッチカプラ２０１との距離がＤｔｈ１と等しい場合、表示制御部１０４は、第２リアビューモードで表示を実行してもよい。

また、ヒッチカプラ２０１の高さ情報がヒッチボール１６の高さ情報で代用される、として説明した。ヒッチカプラ２０１の高さ情報は、ヒッチボール１６の高さ情報とは別に入力されてもよい。例えば、表示制御部１０４は、ヒッチカプラ２０１の高さ情報そのものの入力を促し、第２取得部１０２は、ヒッチカプラ２０１の高さ情報そのものを取得してもよい。

以上述べたように、第１の実施形態では、第１取得部１０１は、カメラ１５ａから、ヒッチボール１６およびヒッチカプラ２０１が映った後方画像を取得する。第２取得部１０２は、ヒッチカプラ２０１の高さ情報を取得する。誘導制御部１０３は、後方画像におけるヒッチカプラ２０１の表示位置とヒッチカプラ２０１の高さ情報とに基づいてヒッチボール１６とヒッチカプラ２０１との位置関係を演算し、ヒッチボール１６とヒッチカプラ２０１とが連結するに至るまでの車両１の経路を、演算された位置関係に基づいて演算し、経路に沿って車両１を誘導する。

これにより、周辺監視装置としてのＥＣＵ１４は、連結作業において車両１を自動誘導できるので、車両１とトレーラ２００との連結作業を容易化することが可能である。

また、第１の実施形態では、表示制御部１０４は、ヒッチボール１６とヒッチカプラ２０１との距離が所定値Ｄｔｈ１よりも大きい場合、後方画像を表示画面８に表示する。また、表示制御部１０４は、ヒッチボール１６とヒッチカプラ２０１との距離が所定値Ｄｔｈ１よりも小さい場合、後方画像をヒッチカプラ２０１の高さ情報に対応する水平面である仮想投影面に投影し、仮想投影面に投影された後方画像を車両１の上方から見た局所俯瞰画像を生成し、局所俯瞰画像を表示画面８に表示する。

これにより、周辺監視装置としてのＥＣＵ１４は、自動誘導中においては車両１の移動速度に対するヒッチカプラ２０１の表示位置の移動速度がよりよく対応するようにヒッチカプラ２０１を表示するので、乗員は、より簡単にヒッチボール１６とヒッチカプラ２０１との位置合わせを行うことが可能となる。

なお、ヒッチボール１６とヒッチカプラ２０１との距離が所定値Ｄｔｈ１と等しい場合には、表示制御部１０４は、任意の処理を実行し得る。ヒッチボール１６とヒッチカプラ２０１との距離が所定値Ｄｔｈ１と等しい場合には、表示制御部１０４は、後方画像を表示画面８に表示してもよいし、局所俯瞰画像を生成して表示画面８に表示してもよい。

また、第１の実施形態では、第１取得部１０１は、ヒッチカプラ２０１の表示位置を特定する入力を操作入力部９を介して取得する。よって、周辺監視装置としてのＥＣＵ１４は、簡単なアルゴリズムでヒッチカプラ２０１の表示位置を特定することができる。

なお、周辺監視装置としてのＥＣＵ１４は、第１取得部１０１が操作入力部９からヒッチカプラ２０１の表示位置を特定する入力を取得する以外の方法でヒッチカプラ２０１の表示位置を特定してもよい。一例では、誘導制御部１０３は、任意の画像認識処理によって後方画像内のヒッチカプラ２０１の表示位置を特定する。画像認識処理は、例えばパターンマッチングである。よって、乗員による表示画面８のタッチ入力を要することなくヒッチカプラ２０１の表示位置が特定されるので、乗員の操作負担が軽減される。

また、第１の実施形態では、第２取得部１０２は、ヒッチカプラ２０１の高さ情報を操作入力部９を介して取得する。よって、周辺監視装置としてのＥＣＵ１４は、簡単なアルゴリズムでヒッチカプラ２０１の高さ情報を取得することができる。

なお、表示制御部１０４は、Ｓ１０４またはＳ１０６の処理の際に、入力を促す識別情報を表示画面８に表示してもよい。例えば、Ｓ１０６の処理の際に、表示制御部１０４は、図１６に例示されるように、入力を促す識別情報として、「ヒッチ位置を押してください」と記述されたテキスト情報５０４を表示領域８０に表示してもよい。よって、周辺監視装置としてのＥＣＵ１４は、どのような入力をすべきか、乗員にわかりやすく示すことが可能となる。

また、表示制御部１０４は、車両１が経路の終点に至ったと判定された場合（Ｓ１１３、Ｙｅｓ）、車両１が経路の終点に至った旨を示す識別情報を表示画面８に表示してもよい。例えば、Ｓ１１７の処理の際に、表示制御部１０４は、図１７に例示されるように、車両１が経路の終点に至った旨を示す識別情報として、「ヒッチ位置に到達しました」と記述されたテキスト情報５０５を表示領域８０に表示してもよい。よって、周辺監視装置としてのＥＣＵ１４は、ヒッチボール１６とヒッチカプラ２０１とが連結可能になった旨を、乗員にわかりやすく示すことが可能となる。なお、車両１が経路の終点に至った旨の通知方法はこれに限定されない。例えば表示制御部１０４は、Ｓ１１７の処理の際に、車両１が経路の終点に至った旨を示すために、第１の十字線５０１または第２の十字線５０２の表示様態（色、太さ、線の種類、大きさ、など）を変更してもよい。

また、誘導制御部１０３が画像認識処理を用いることによってヒッチカプラ２０１の表示位置を特定する場合において、ヒッチカプラ２０１の表示位置の特定に成功したタイミングで、表示制御部１０４は、表示画面８の表示内容に変更を加えてもよい。

例えば図１８に例示されるように、画像認識処理を実行中においては、表示制御部１０４は、第２のＯＫボタン５０６を、グレーなどの暗い色で着色した様態で表示する。そして、画像認識処理によってヒッチカプラ２０１の表示位置が特定された場合には、表示制御部１０４は、特定された位置に第２の十字線５０２を表示するとともに、第２のＯＫボタン５０６を、黄色または白色などの明るい色で着色した様態で表示する。第２のＯＫボタン５０６が暗い色で着色して表示されている場合には、第２のＯＫボタン５０６に対するタッチ入力が受け付けられず、第２のＯＫボタン５０６が明るい色で着色して表示されている場合には、第２のＯＫボタン５０６に対するタッチ入力が受け付けられる。乗員は、ヒッチカプラ２０１の表示位置に第２の十字線５０２が表示されているか否かを判断し、ヒッチカプラ２０１の表示位置に第２の十字線５０２が表示されていると判断した場合には、明るい色で着色して表示されている第２のＯＫボタン５０６をタッチする。すると、ヒッチカプラ２０１の表示位置を特定する処理が完了する。乗員は、ヒッチカプラ２０１の表示位置に第２の十字線５０２が表示されていないと判断した場合には、第２のＯＫボタン５０６をタッチしないで、正しいヒッチカプラ２０１の表示位置をタッチ操作によって入力してもよい。

また、表示制御部１０４は、画像認識処理によってヒッチカプラ２０１の表示位置が捕捉できている場合には、ヒッチカプラ２０１の表示位置を囲む枠を重畳表示し、画像認識処理によってヒッチカプラ２０１の表示位置が捕捉できていない場合には、当該枠を表示しないようにしてもよい。枠の形状は、特定の形状に限定されない。例えば、枠は、円形、菱形、正方形、または長方形の形状を有する。

また、画像認識処理は、車両１が停止しているときに実行されてもよいし、車両１が移動中に実行されてもよい。

また、誘導制御部１０３は、画像認識処理によって後方画像内のヒッチカプラ２０１の表示位置を特定する際、当該表示位置の探索領域を所定の情報に基づいて絞り込んでもよい。

一例では、誘導制御部１０３は、舵角センサ１９のセンサ値に基づいて、現在の舵角でそのまま車両１を後退した場合の予想軌跡を演算する。そして、誘導制御部１０３は、予想軌跡を視点変換の後に後方画像に重ね合わせ、後方画像における予想軌跡上の領域を優先的に探索する。よって、乗員が、ヒッチカプラ２０１に向けて車両１を後退できるように操舵部４を操作する場合、その車両１の予想軌跡上を探索することで、ヒッチカプラ２０１の表示位置の特定を効率的に実行することが可能となる。

別の例では、誘導制御部１０３は、ヒッチカプラ２０１の表示位置を特定するタッチ操作の入力を第１取得部１０１を介して取得して、後方画像のうちのタッチされた部分の周辺を優先的に探索する。

また、表示制御部１０４は、図１９の上段に例示されるように、第１の十字線５０１と第２の十字線５０２との間を結ぶ線形状の画像５０７を表示してもよい。画像５０７の形状は、直線であってもよいし、本図に示されるように曲線であってもよい。画像５０７の形状は、誘導制御部１０３によって演算された経路と対応した形状を有していてもよい。また、画像５０７の表示様態（色、太さ、線の種類、など）は任意に設計可能である。車両１の移動によって表示画面８上のヒッチカプラ２０１の表示位置が移動した場合、表示制御部１０４は、図１９の下段に例示されるように、表示画面８上のヒッチカプラ２０１の表示位置の移動に応じて線分５０７の形状を変更する。よって、乗員は、画像５０７の傾斜角度または長さなどから、ヒッチボール１６とヒッチカプラ２０１との位置関係を直感的に把握することが可能となる。

また、誘導制御部１０３は、自動誘導を開始する前に、複数通りの経路を演算し、乗員に、演算された複数通りの経路のうちから一を選択させてもよい。例えば、表示制御部１０４は、それぞれ異なる経路に対応する複数の線形状の画像５０７を表示領域８０に表示する。乗員は、表示されている画像５０７のうちから、タッチ入力によって希望する経路を選択することができる。

また、表示制御部１０４は、第１の十字線５０１または第２の十字線５０２の表示位置の周辺の画素の輝度の操作またはガンマ補正することによって、特定されたヒッチボール１６またはヒッチカプラ２０１の表示位置をより目立つように表示してもよい。よって、ヒッチボール１６またはヒッチカプラ２０１の表示位置の誘目性が向上するので、制動操作部６の操作遅れの発生を抑制することが可能となる。

また、表示制御部１０４は、図２０の上段に例示されるように、表示画面８に表示領域８０とは異なる表示領域８１を設け、表示領域８１に、局所俯瞰画像に比べて広域の領域を示す広域俯瞰画像を表示してもよい。広域俯瞰画像は、例えば車両１を示す画像５２０を含んでおり、車両１の前後左右の周辺環境を示している。車両１を示す画像５２０は、車両１を上方から撮影した実写画像から生成された画像であってもよいし、車両１を模式的に示すイラスト画像であってもよい。広域俯瞰画像は、例えば、カメラ１５ａ～１５ｄから取得された４つの撮像画像を地面７００に投影し、車両１の上方に設けられた仮想視点からみた画像にそれぞれ視点変換し、その後、視点変換された４つの画像をシームレスに接続することによって生成される。

さらに、表示制御部１０４は、ヒッチカプラ２０１を特定する入力が取得された場合（Ｓ１０６）、または、画像認識処理などによってヒッチカプラ２０１の表示位置が特定された場合、図２０の下段に例示されるように、広域俯瞰画像にヒッチカプラ２０１を示す画像５２１が含まれるように、仮想視点の高さを調整したり、広域俯瞰画像を拡大または縮小したりしてもよい。例えば、図２０の上段に例示される広域俯瞰画像は、図２１に例示される車両１とトレーラ２００との位置関係を示す図において、領域８０１の範囲を俯瞰した画像に該当する。また、図２０の下段に例示される広域俯瞰画像は、図２２に例示される車両１とトレーラ２００との位置関係を示す図において、領域８０２の範囲を俯瞰した画像に該当する。広域俯瞰画像が示す領域がヒッチカプラ２０１の位置を含むように拡大されるので、乗員は、車両１の後退の開始時点から車両１とヒッチカプラ２０１との距離を直感的に把握することが可能となる。なお、ヒッチカプラ２０１を示す画像５２１は、実写画像から生成された画像であってもよいし、ヒッチカプラ２０１を模式的に示す表示モデルであってもよい。

また、表示制御部１０４は、図２３に例示されるように、ヒッチボール１６とヒッチカプラ２０１との間の距離を定量的に示すテキスト情報５０８を表示してもよい。なお、図２３は、第２リアビューモードでの表示例を示しているが、表示制御部１０４は、第１リアビューモードにおいてテキスト情報５０８を表示してもよい。

また、表示制御部１０４は、図２４に例示されるように、表示画面８に表示領域８０とは異なる表示領域８２を設け、表示領域８２に、車両１およびトレーラ２００をともに側方から見た画像を表示してもよい。この例では、車両１の側面を示す画像５３０と、トレーラ２００の側面を示す画像５３１とが表示領域８２の横方向に離間して配置されており、画像５３０の表示位置と画像５３１の表示位置との離間間隔は、車両１とトレーラ２００との距離に対応する。よって、乗員は、表示領域８２の表示内容から、車両１とトレーラ２００との距離を定性的に把握することが可能となる。さらに、この例では、表示領域８２の横方向に、距離を示す目盛りが表示されている。よって、乗員は、目盛りから、車両１とトレーラ２００との距離をより正確に把握することが可能となる。なお、画像５３０および画像５３１は、それぞれ、実写画像から生成されたものであってもよいし、イラスト画像であってもよい。

また、誘導制御部１０３は、自動誘導の実行中において、車両１の周囲の障害物の検出を行い、検出された障害物に車両１が衝突する前に、車両１の緊急停止を行ってもよい。障害物は、例えばカメラ１５ａ～１５ｄからの撮像画像を用いて検出される。または、測距ソナー、レーザレンジスキャナなど、任意のセンサが車両１に設けられ、当該センサを用いて障害物が検出され得る。誘導制御部１０３は、演算された経路から車体２の移動軌跡を求め、移動軌跡上に障害物が検出された場合、車両１の緊急停止を行ってもよい。障害物に車両１が衝突するとは、車両１が車体２の側方に障害物を巻き込む事象を含む。また、誘導制御部１０３は、検出された障害物に車両１が衝突する前に、乗員または車両１の外部に対し、警報を発報してもよい。誘導制御部１０３は、クラクションまたは不図示のスピーカなどから車室２ａ内または車室２ａ外に音響によって警報してもよいし、各種灯火類の点灯または明滅によって警報してもよいし、表示画面８に所定の内容の表示を行うことによって警報してもよい。

また、誘導制御部１０３は、ヒッチボール１６とヒッチカプラ２０１との距離に応じて車両１の上限速度を制限してもよい。一例では、誘導制御部１０３は、ヒッチボール１６とヒッチカプラ２０１との距離が所定の距離Ｄｔｈ２よりも大きい場合、車両１の速度を制限せず、ヒッチボール１６とヒッチカプラ２０１との距離が所定の距離Ｄｔｈ２よりも小さい場合、車両１の上限速度を所定の小さい値に制限する。ヒッチボール１６とヒッチカプラ２０１との距離が近くなってヒッチボール１６とヒッチカプラ２０１とを位置合わせする際に、車両１が所定値以上の速度が出ないように制御されることで、乗員による制動操作部６の操作遅れが発生したとしても、車両１が経路の終点から超過する距離を小さく抑えることが可能である。よって、ヒッチボール１６とヒッチカプラ２０１との位置合わせが容易化される。また、車両１とトレーラ２００とが衝突するリスクが低減される。

また、第２取得部１０２は、ヒッチボール１６の高さ情報だけでなく、ヒッチボール１６と車両１との水平距離情報を取得してもよい。水平距離情報は、例えば、図６に例示される、車両１の後端部からヒッチボール１６までの水平距離Ｄである。誘導制御部１０３は、ヒッチボール１６の高さ情報および水平距離情報に基づいて、ヒッチボール１６の３次元空間内の位置を特定する。また、表示制御部１０４は、ヒッチボール１６の３次元空間内の位置に基づいて、ヒッチボール１６の表示位置を特定する。よって、ヒッチボール１６に関し、表示位置を特定するタッチ操作の入力を不要とすることが可能である。

＜第２の実施形態＞
第１の実施形態では、第２取得部１０２は、乗員の入力によってヒッチカプラ２０１の高さ情報を取得する例について説明した。第２取得部１０２は、高さ情報を乗員の入力から取得するのではなく、後方画像に対してステレオ画像処理を行うことによって高さ情報を演算してもよい。

即ち、第２取得部１０２は、カメラ１５ａからの後方画像を第１取得部１０１を介して複数取得して、取得した複数の後方画像に対してステレオ画像処理を実行することによって、ヒッチカプラ２０１の高さ情報を演算する。

一例では、第２取得部１０２は、車両１の移動中に、それぞれ異なるタイミングで、ヒッチカプラ２０１が映っている複数の後方画像を取得する。第２取得部１０２は、ヒッチカプラ２０１の表示位置を、当該表示位置を特定する入力に基づいて特定する。第２取得部１０２は、取得したタイミングが異なる複数の後方画像を用いてモーションステレオ法に基づく演算を行うことによって、ヒッチカプラ２０１の高さ情報を演算する。第２取得部１０２は、演算に必要な車両１の移動量を、誘導制御部１０３から取得する。

車両１に車高の変更を可能にする車高調整機構が設けられている場合には、第２取得部１０２は、車両１の停止中などにおいて車高を上下させ、それぞれ車高が異なるタイミングにおいて撮像された複数の撮像画像を取得し、取得した複数の後方画像を用いてモーションステレオ法に基づく演算を行うことによって、ヒッチカプラ２０１の高さ情報を演算してもよい。

車両１にカメラ１５ａが複数設けられている場合には、第２取得部１０２は、複数のカメラ１５ａからそれぞれ撮像画像を取得し、取得した複数の撮像画像を用いて２眼ステレオ法に基づく演算を行うことによって、ヒッチカプラ２０１の高さ情報を演算してもよい。また、カメラ１５ａとしてステレオカメラが適用され、当該ステレオカメラからの後方画像に基づいて高さ情報を取得してもよい。

よって、乗員による高さ情報の入力を不要とすることができるので、乗員の操作負担が軽減される。

また、誘導制御部１０３は、第１の実施形態と同様に、画像認識処理を用いてヒッチカプラ２０１の表示位置を特定してもよい。誘導制御部１０３は、画像認識処理を用いてヒッチカプラ２０１の表示位置を特定し、第２取得部１０２は、特定されたヒッチカプラ２０１の高さ情報をステレオ画像処理によって取得する。よって、ヒッチカプラ２０１に関し、表示位置を特定するタッチ入力を不要とすることが可能である。なお、第１の実施形態と同様に、誘導制御部１０３は、ヒッチカプラ２０１の表示位置の探索領域を、舵角センサ１９のセンサ値またはタッチ操作の入力に基づいて絞ってもよい。

また、周辺監視装置としてのＥＣＵ１４は、乗員に車両１の後退を開始させ、第２取得部１０２は、車両１の後退中にステレオ画像処理によってヒッチカプラ２０１の高さ情報を取得し、誘導制御部１０３は、高さ情報が取得された場合に、自動誘導を開始してもよい。

また、第２取得部１０２は、ステレオ画像処理に基づいて、ヒッチカプラ２０１の高さ情報を含む、３次元空間内の位置を特定してもよい。その場合には、誘導制御部１０３は、第２取得部１０２が特定したヒッチカプラ２０１の３次元空間内の位置を用いて経路を演算することができる。

また、車両１に、レーザレンジスキャナ、測距ソナー、などのセンサが設けられている場合には、第２取得部１０２は、当該センサからのセンサ値に基づいてヒッチカプラ２０１の高さ情報または３次元空間内の位置を特定してもよい。

また、車両１に車高調整機構が設けられている場合には、誘導制御部１０３は、ヒッチボール１６の高さ情報とヒッチカプラ２０１の高さ情報とを比較することによって、ヒッチボール１６とヒッチカプラ２０１とが干渉するか否かを判断する。誘導制御部１０３は、ヒッチボール１６とヒッチカプラ２０１とが干渉すると判断した場合には、車高調整機構を制御することによって、ヒッチボール１６がヒッチカプラ２０１と干渉しなくなるように、車高を下げてもよい。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、２…車体、２ａ…車室、２ｂ…座席、２ｃ…端部、２ｄ…ドア、２ｅ…ドアミラー、３…車輪、３Ｆ…前輪、３Ｒ…後輪、４…操舵部、５…加速操作部、６…制動操作部、７…変速操作部、８…表示画面、９…操作入力部、１１…モニタ装置、１３…操舵システム、１３ａ…アクチュエータ、１３ｂ…トルクセンサ、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…カメラ、１６…ヒッチボール、１８…ブレーキシステム、１８ａ…アクチュエータ、１８ｂ…ブレーキセンサ、１９…舵角センサ、２０…アクセルセンサ、２１…シフトセンサ、２２…車輪速センサ、２３…車内ネットワーク、２４…ダッシュボード、８０，８１，８２…表示領域、１００…周辺監視システム、１０１…第１取得部、１０２…第２取得部、１０３…誘導制御部、１０４…表示制御部、１４０…周辺監視プログラム、１５０…枠、１５１…一点、２００…トレーラ、２０１…ヒッチカプラ、３００，３０１，４００，４０１，５０７，５２０，５２１，５３０，５３１…画像、５００…ＯＫボタン、５０１…第１の十字線、５０２…第２の十字線、５０３…識別情報、５０４，５０５，５０８…テキスト情報、５０６…ＯＫボタン、６００…手指、７００…地面、７０１…直線、７０２…点、７０３…位置、８００…撮像領域、８０１，８０２…領域。

Claims (5)

1. 車両に設けられた第１の連結装置と被牽引車に設けられた第２の連結装置とが映った第１の画像を取得する第１取得部と、
   前記第２の連結装置の高さ情報を取得する第２取得部と、
   前記第１の画像における前記第２の連結装置の表示位置と前記高さ情報とに基づいて前記第１の連結装置と前記第２の連結装置との位置関係を演算し、前記位置関係に基づいて前記第１の連結装置と前記第２の連結装置とが連結するに至るまでの前記車両の経路を演算し、前記経路に従って前記車両を誘導する誘導制御部と、
   前記第１の連結装置と前記第２の連結装置との距離が所定値より大きい場合、前記第１の画像を前記車両の室内に設けられた表示画面に表示し、前記距離が前記所定値より小さい場合、前記第１の画像を前記第１の連結装置、又は、前記第２の連結装置の前記高さ情報に基づいて、地面より高い位置に設定された水平面に投影し、前記水平面に投影された前記第１の画像を前記車両の上方から見た第２の画像を生成し、前記第２の画像を前記表示画面に表示する表示制御部と、
   を備えた周辺監視装置。
2. 前記第１取得部は、前記第２の連結装置の表示位置を特定する入力を前記車両に設けられた操作入力部を介して取得する、
   請求項１に記載の周辺監視装置。
3. 前記誘導制御部は、前記第１の画像に対して画像認識処理を実行することによって前記第２の連結装置の表示位置を特定する、
   請求項１に記載の周辺監視装置。
4. 前記第２取得部は、前記高さ情報を前記車両に設けられた操作入力部を介して取得する、
   請求項１から３の何れか一項に記載の周辺監視装置。
5. 前記第２取得部は、前記第１の画像に対してステレオ画像処理を実行することによって前記高さ情報を取得する、
   請求項１から３の何れか一項に記載の周辺監視装置。

Images