JP6364731B2 - 車両用後方画像提示装置 - Google Patents

Description

本発明は、車両後方側の画像を提示する、可搬型の車両用後方画像提示装置に関する。

この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車両後方側の画像を表示する運転支援装置が知られている（特許文献１）。

特開２０１２−０１６２１３０号公報

しかしながら、車載装置に組み込まれていない可搬型の装置が、車両のシフトレバーの操作情報を車載装置から取得して、車両の進行方向を判断できるように構成するためにはコストがかかるという問題がある。

本発明が解決しようとする課題は、車両のシフトレバーの操作情報を用いることなく、可搬型の装置の検出結果に基づいて車両が後退していることを判断し、車両の後退時に後方の画像をドライバに提示することである。

本発明は、車両の走行開始後から加速度センサにより検出された車両の加速度を経時的に積算して車両の速度を算出し、算出された車両の速度が所定速度以上となったタイミングにおける加速度センサが検出した車両の加速方向を車両の進行方向として設定し、検出された車両の加速方向が設定された進行方向と逆方向である場合には、車両が後退している状態であると判断して車両後方側の画像を提示し、検出された車両の加速方向が設定された進行方向と同方向である場合には、車両が前進している状態であると判断して車両の走行に関する案内情報を提示することにより、上記課題を解決する。

本発明によれば、車両のシフト情報を用いることなく、車載装置に組み込まれていない可搬型の装置が備える加速センサの検出結果から車両の進行方向を判断し、車両が後退しているときに車両後方側の画像を提示することができる。この結果、車両が後退する際に後方画像を提示する装置を低コストで提供できる。

本発明に係る本実施形態の後方画像提示システムの構成図である。 後方画像の一例を示す図である。 後方画像提示処理の第１の処理例を説明するためのフローチャートである。 図３Ａに示す第１処理例の変形例示すフローチャートである。 後方画像提示処理の第２の処理例を説明するためのフローチャートである。 後方画像提示処理の第３の処理例を説明するためのフローチャートである。 停止時の進行方向に応じた後方画像の提示処理の一例を説明するためのフローチャートである。

＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。本実施形態では、本発明に係る後方画像提示装置を、携帯端末装置１００と、この携帯端末装置１００と相互に通信可能な車載装置２００とを備える情報提示システム１０００に適用した場合を例にして説明する。図１に示す基本的な構成は第１実施形態のみならず、第２〜第４実施形態においても共通する。

図１は、本実施形態に係る後方画像提示装置１００を含む情報提示システム１０００のブロック構成図である。

図１に基づいて車載装置２００の各構成について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ〜１ｄと、通信装置２とを備える。

カメラ１ａ〜１ｅ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、車両Ｖの外部の異なる位置に各々設置され、車両周囲の画像をそれぞれ撮影する。本実施形態では、リアフィニッシャー部分やルーフスポイラー部分などの車両のリア（後方）部分の所定位置に設置されたカメラ１を備える。カメラ１は、車両後方側の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。本実施形態における「車両後方側」には、車両の真後ろのみならず、後方の左右側方をも含む。また、本実施形態では、車室内のフロア、インストルメントパネル、ステアリングコラム付近、等に設けられたカメラ１を備える。カメラ１は車両が備えるシフトレバー３を撮像する。このほかにも、本実施形態では、フロントグリル部分などの車両の前方の所定位置、左サイドミラー部分などの車両の左側方の所定位置、又は右サイドミラー部分などの車両の右側方の所定位置にカメラ１を配置することができる。

カメラ１は、撮像した画像を通信装置２を介して後方画像提示装置１００へ送出する。後方画像提示装置１００は、通信装置２０を介してカメラ１によって撮像された撮像画像を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、後方画像提示装置１００は、各識別子に基づいて各撮像画像のそれぞれを識別できる。

本実施形態の通信装置２は、外部の携帯端末装置である後方画像提示装置１００と通信回線を介して相互に情報の授受を行う。カメラ１は、通信装置２を介して情報を送受信してもよいが、画像送信の迅速化の観点からカメラ１に無線通信機能を備えさせて、外部へ撮像画像を送出してもよい。

本実施形態のシフトレバー３は、車両の前進、後退又は速度に応じてトランスミッションとの組み合わせを選択する操作部材である。車両を後退させる操作におけるシフトレバー３（シフトレバーのノブ）の位置、車両を前進させる操作におけるシフトレバー３の位置、車両を停止状態とする操作におけるシフトレバー３の位置はそれぞれ異なる。なお、本実施形態のシフトレバー３は、マニュアルトランスミッション車が備えるセレクトバーを含む。

車載装置２００が備える各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。

次に、図１に基づいて後方画像提示装置１００について説明する。本実施形態の後方画像提示装置１００は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。本実施形態の後方画像提示装置１００は、制御装置１０と、通信装置２０と、加速度センサ３０(又は速度センサ３０)と、ＧＰＳ４０と、提示装置５０とを備える。

通信装置２０は、外部の車載装置２００と相互に情報の授受を行う。通信装置２０は、車載装置２００から撮像画像を取得する。

加速度センサ３０は、自身が移動しているときの加速度を検出し、これを出力する。加速度センサ３０の出力値には、加速度の値と、加速度の方向、つまり後方画像提示装置１００の移動方向が含まれる。本実施形態の後方画像提示装置１００は加速度センサ３０に代えて、速度センサ３０を備えるように構成できる。速度センサ３０は、自身が移動しているときの速度を検出し、これを出力する。速度センサ３０の出力値には、速度の値と、速度の方向、つまり後方画像提示装置１００の移動方向が含まれる。

本実施形態のＧＰＳ（Global Positioning System）４０は、後方画像提示装置１００の現在位置を検出する。この検出された現在位置の経時的な変化に基づいて、後方画像提示装置１００又はこれが持ち込まれた車両の走行方向及びその走行速度を求めることができる。

本実施形態の提示装置５０は、ディスプレイ５１を備え、車両のカメラ１の撮像画像、又は目的地に至る誘導情報、施設情報を含む走行に関する案内情報を提示する。図２は、後方画像提示装置１００のディスプレイ５１に車両後方側の撮像画像を提示した例を示す図である。ディスプレイ５１には、図２に示す撮像画像に代えて、ナビゲーション（経路案内）用の情報などの案内情報を切り替えて提示できる。なお、後方画像提示装置１００は、車両のドライバが視認しやすいように、車両のインストルメントパネルやステアリング近傍に取り付けられたホルダに設置してもよい。

本実施形態の後方画像提示装置１００が備える制御装置１０は、車両の進行方向に応じて、車両後方側の撮像画像と、車両の走行に関する案内情報とを切り替えて提示するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、後方画像提示装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。

本実施形態に係る後方画像提示装置１００の制御装置１０は、画像取得機能と、前進方向設定機能と、提示機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行するコンピュータである。

以下、本発明の本実施形態に係る後方画像提示装置１００の制御装置１０が実現する、画像取得機能と、前進方向設定機能と、提示機能について説明する。

まず、制御装置１０の画像取得機能について説明する。制御装置１０は、車載カメラ１によって撮像された車両の撮像画像を通信装置２０を介して取得する。本実施形態において、制御装置１０は、少なくとも車両後方側の撮像画像を取得する。もちろん、制御装置１０は、前方、側方、又は車室内の撮像画像を取得してもよい。制御装置１０は、取得した後方の撮像画像は、車両の後退時にディスプレイ５１に提示する情報として用いる。

次に、制御装置１０の前進方向設定機能について説明する。制御装置１０は、車両が走行を開始した後から加速度センサ３０が検出した車両の加速度を経時的に積算することにより、車両の速度を取得する。なお、制御装置１０が後方画像提示装置１００が速度センサ３０を備える場合には、加速度を経時的に積算するのではなく、速度センサ３０が出力する車両の速度を取得してもよい。

制御装置１０は、加速度センサ３０の出力する加速度がゼロからゼロ以外の数値に変化したタイミングを車両が走行を開始したタイミングとする。本実施形態において、車両が走行を開始したタイミングは、後方画像提示装置１００の通信装置２０と、車載装置２００の通信装置２とが通信を確立させたタイミングとする。これにより、車両の進行方向を判断するタイミングを簡易に決定することができる。

この場合において、制御装置１０は、ＧＰＳ４０の検出信号を用いて車両が走行を開始するタイミングを検出できる。制御装置１０は、ＧＰＳ４０が検出する位置情報が所定時間に渡って変化しない（同じ位置情報が検出される）状態を、車速が０ｋｍ／ｈの状態であると判断する。他方、制御装置１０は、ＧＰＳ４０が検出する位置情報が変化する状態を、車両の車速が０ｋｍ／ｈ以外の状態であると判断する。制御装置１０は、車速が０ｋｍ／ｈから０ｋｍ／ｈ以外の値に変化したタイミングを車両が走行を開始するタイミングとする。たとえば、後方画像提示装置１００と車載装置２００との通信が確立した後に加速度センサ３０の加速度が算出され、これが積算されている場合であっても、ＧＰＳ４０が車速が０ｋｍ／ｈの状態であると判断した場合には積算されていた加速度の情報を消去する。つまり、車速の算出処理をリセットする。車速が０ｋｍ／ｈのときのＧＰＳ信号の精度は高い。その一方で、車両が停止や加減速をするときに検出される加速度の値は状況によっては信頼性が低い場合がある。このため、ＧＰＳ４０の信号に基づいて車速が０ｋｍ／ｈであると判断されているときに、加速度センサ３０が加速度を検出しても、これを排除することが好ましい。このように、ＧＰＳ信号を用いることにより車両の移動開始のタイミング、つまり車速の算出処理を開始するタイミングを正確に検出できる。

この処理において、制御装置１０は、上述した後方画像提示装置１００の通信装置２０と、車載装置２００の通信装置２とが通信を確立させたタイミングであっても、ＧＰＳ４０の検出信号による車速が０ｋｍ／ｈである場合には、車両の進行方向を判断する処理を開始しないようにできる。また、制御装置１０は、車載装置２００の通信装置２とが通信を確立させ、かつＧＰＳ４０の検出信号による車速が０ｋｍ／ｈ以外となった場合に、車両の進行方向を判断する処理を開始してもよい。このように通信状態とＧＰＳ信号による車速の両方の情報を用いることにより、車両の移動開始のタイミングをさらに正確に検出できる。

制御装置１０は、取得した車両の速度が所定速度以上となったタイミングにおける加速度センサが検出した車両の加速方向を車両の前進方向として設定する。先述したように、制御装置１０は、車両が走行を開始した後から加速度センサ３０が検出した車両の加速度を経時的に積算して車両の速度を取得する。

この場合において、制御装置１０は、ＧＰＳ４０の検出信号を用いて車両が所定速度、例えば２０ｋｍ／ｈ以上となったタイミングを判断することもできる。制御装置１０は、ＧＰＳ４０が検出する位置情報の単位時間あたりの変化から車両の車速を算出し、車両の速度が約２０ｋｍ／ｈ以上となったときにＧＰＳ４０が検出する車両の移動方向を、車両の前進方向として設定する。ＧＰＳ信号を用いることにより正確な車速に基づいて、車両の前進方向を定義できる。

この処理において、制御装置１０は、加速度センサ３０が検出した車両の加速度を走行開始後から積算した車速が所定速度（例えば約２０ｋｍ／ｈ）以上となった場合であっても、ＧＰＳ４０の検出信号による車速が所定速度未満である場合には、車両の前進方向を設定しないように構成できる。加速度の積算結果は積算された誤差を含む可能性があるからである。また、制御装置１０は、加速度センサ３０が検出した車両の加速度を走行開始後から積算した車速が所定速度（例えば約２０ｋｍ／ｈ）以上となり、かつＧＰＳ４０の検出信号による車速が所定速度以上となった場合に車両の前進方向を設定してもよい。このように、加速度の積算値による車速とＧＰＳ信号による車速の両方の情報を用いることにより、車両の移動開始のタイミングをさらに正確に検出できる。

本実施形態の制御装置１０は、車両が所定速度以上であることにより、車両は前方へ走行している状態であることを判断する。車両は前方又は後方に移動可能であるので、加速度の向きだけでは、車両の移動方向を特定できない。また、車両が後退するときの速度は低く、所定速度以上で後退する可能性は低い。他方、車両が前進するときの速度は相対的に高い。本実施形態の制御装置１０は、車両が所定速度以上で走行している状態を検出し、そのときの加速度の向きを前進方向として定義する。これにより、シフトポジション信号などの車載装置が得る情報を用いることなく、車載装置２００とは別の装置である後方画像提示装置１００が備える加速センサの検出結果のみから基準となる車両の前進方向を定義することができる。この結果、車載装置２００からシフト信号などの情報を得るために新たな構成を付加しなくても、車内に持ち込まれた可搬の後方画像提示装置１００側の構成によって、車両の進行方向を判断することができる。

続いて、制御装置１０の提示機能について説明する。制御装置１０は、加速度センサ又は速度センサにより検出された車両の加速方向又は移動方向が、設定された前進方向と逆方向である場合には、車両が後退している状態であると判断して、図２に示すような、車両後方側の画像を提示する。他方、制御装置１０は、加速度センサ又は速度センサにより検出された車両の加速方向又は移動方向が、設定された前進方向と同方向である場合には、車両が前進している状態であると判断して車両の走行に関する案内情報を提示する。

以下、本発明の第１実施形態の情報提示システム１０００の処理手順を説明する。図３Ａは、本実施形態に係る情報提示システム１０００の制御手順を示すフローチャート、図３Ｂは、図３Ａに示す制御手順の変形例を示すフローチャートである。

ステップ１０１において、本実施形態の後方画像提示装置１００の制御装置１０は、前進方向の設定処理に用いる車速の算出処理の開始タイミングであるか否かを判断する。特に限定されないが、本実施形態の後方画像提示装置１００は、後方画像提示装置１００の通信装置２０と、車載装置２００のカメラ１の無線通信が開始された場合に、車速の算出処理の開始タイミングであると判断する。制御装置１０は、先述したように、ＧＰＳ４０の位置検出結果から算出された車速が０ｋｍ／ｈから０ｋｍ／ｈ以外に変化したタイミングを車両が走行を開始するタイミングとしてもよい。

処理の開始タイミングとなったら、ステップＳ１０２へ進む。ステップ１０２において、制御装置１０は、車速０ｋｍ／ｈである車両の走行開始時のタイミングを記憶する。ステップ１０３へ進みこのタイミングから加速センサ３０の出力値を経時的に積算し、車速を計算する。ステップ１０４において、計算した車速が所定車速（例えば２０ｋｍ／ｈ）以上であるか否かを判断する。車速が所定車速以上でなければ車速算出処理を繰り返し、車速が所定車速以上となった場合にはステップ１０５へ進む。

ステップ１０５において、制御装置１０は、車速が所定車速以上となったタイミングにおける加速度センサ３０の加速方向を前進方向として設定する。ステップ１０５までが前進方向の設定処理に関する手順である。

ステップ１０６以降は、現在の車両の進行方向を判断し、進行方向に応じて情報の表示を切り替える処理に関する手順である。ステップ１０６において、所定周期で加速度センサ３０が検出した加速方向から現在の進行方向を求める。一般的に加速方向の変化量が所定値以下であれば、その加速方向が現在の車両の進行方向であると決定できる。

次に、ステップ１０７において、制御装置１０は、ステップ１０６で求めた進行方向がステップ１０５で設定した前進方向の逆方向であるか否かを判断する。車両の進行方向が基準とする前進方向の逆方向でない場合には車両は前進走行をしていると判断してステップ１０８へ進み、ナビゲーション情報などの案内情報を提示する。他方、車両の進行方向が基準とする前進方向の逆方向である場合には車両は後退走行をしていると判断してステップ１０９へ進み、車両後方の撮像画像を提示する。ステップ１０８、ステップ１０９の後も所定周期でステップ１０６以降の処理を行い、車両の進行方向に応じた情報を適宜に提示する。

図３Ｂは、図３Ａの制御手順の変形例を示す。図３Ｂに示す制御手順では、ＧＰＳ４０の位置情報に基づいて算出した車速を前進方向を設定処理に用いる点と、ＧＰＳ４０の位置情報に基づいて現在の進行方向を検出する点が図３Ａに示す制御手順と異なり、基本的な処理手順は図３Ａに示す制御手順と共通する。

図３Ａに示すステップ１０１において、制御装置１０は、処理開始タイミングとなったらステップ１２２へ進み、ＧＰＳ４０の出力値を取得する。ステップ１２３において制御装置１０は、ＧＰＳ４０の位置情報の変位から車速を算出する。算出した車速が所定車速以上（例えば２０ｋｍ／ｈ）である場合には、ステップ１２５に進み、そのタイミングにおける進行方向を前進方向として設定する。

次に、ステップ１２６において、制御装置１０は、ＧＰＳ４０の出力値である位置情報の遷移から自車両の進行方向を求める。ステップ１２７において、制御装置１０は、ステップ１２６で求めた進行方向がステップ１２５で設定した前進方向の逆方向であるか否かを判断する。車両の進行方向が基準とする前進方向の逆方向でない場合には車両は前進走行をしていると判断してステップ１２８へ進み、ナビゲーション情報などの案内情報を提示する。他方、車両の進行方向が基準とする前進方向の逆方向である場合には車両は後退走行をしていると判断してステップ１２９へ進み、車両後方の撮像画像を提示する。ステップ１２８、ステップ１２９の後も所定周期でステップ１０６以降の処理を行い、車両の進行方向に応じた情報を適宜に提示する。

以上のとおり構成され、動作する本発明の第１実施形態に係る後方画像提示装置１００、情報提示システム１０００は、以下の効果を奏する。

[１]本実施形態の制御装置１０は、車両が所定速度以上で走行している状態における加速度の向きを前進方向として定義し、前進方向に基づいて現在の自車両の走行方向を判断するので、シフトポジション信号などの車載装置が得る情報を用いることなく、車載装置２００とは別の装置である後方画像提示装置１００が備える加速センサの検出結果のみから車両の進行方向を判断できる。そして、車両が後退しているときには後方の撮像画像を提示し、車両が前進しているときには後方の撮像画像以外の案内情報を提示する。この結果、車載装置２００からシフト信号などの情報を得るために新たな構成を付加しなくても、車内に持ち込まれた可搬の後方画像提示装置１００側で車両の進行方向を判断して、進行方向に応じた情報を提示できる。

[２]本実施形態の制御装置１０によれば、ＧＰＳ信号を用いることにより車両の移動開始のタイミング、つまり、車速の算出処理の開始タイミングを正確に検出できる。この結果、前進方向を正確に定義できる。

[３]本実施形態の制御装置１０によれば、ＧＰＳ信号を用いて求めた車速に基づいて、車両の前進方向を正確に定義できる。

＜第２実施形態＞
以下、第２実施形態の後方画像提示装置１００について説明する。
本実施形態の後方画像提示装置１００は、撮像画像のオプティカルフローに基づいて自車両の前進方向を設定し、設定された前進方向を基準に車両の進行方向を判断する点が第１実施形態と異なる。ここでは重複した説明を避けるために、異なる点を中心に説明する。本実施形態の後方画像提示装置１００の基本的な構成は第１実施形態のそれと共通するので、第１実施形態に関する明細書及び図面の記載をここに援用する。

本実施形態の車載装置２００は、カメラ１と、通信装置２とを備える。また、本実施形態の後方画像提示装置１００は、制御装置１０と、通信装置２０と、ＧＰＳ４０と、提示装置５０とを備える。

後方画像提示装置１００の制御装置１０は、画像取得機能と、提示機能とを備える。本実施形態の後方画像提示装置１００は、撮像画像のオプティカルフローを比較して車両の進行方向を判断する。

車両が前方（又は後方）に移動する際に車載カメラ１で撮像した車両周囲（路面など）の画像のオプティカルフローの方向は共通し、所定値域（角度域）内の方向を示す。この特性を利用して、本実施形態の制御装置１０は、車両が前進しているときに車載カメラ１により撮像された撮像画像のオプティカルフローの方向（又は車両が後退しているときに車載カメラ１により撮像された撮像画像のオプティカルフローの方向）を基準とする。

制御装置１０は、車両の走行時に撮像された撮像画像のオプティカルフローの方向が車両が前進しているときに撮像された撮像画像のオプティカルフローの方向と所定値以上異なる場合には、車両が後退している状態であると判断する。同様に、車両の走行時に撮像された撮像画像のオプティカルフローの方向が車両の後退時に撮像された撮像画像のオプティカルフローの方向と同じである場合には、車両が後退している状態であると判断する。そして、制御装置１０は、車両が後退している状態であると判断した場合には、車両後方側の撮像画像を提示装置５０のディスプレイ５１に提示する。

一方、制御装置１０は、車両の走行時に撮像された撮像画像のオプティカルフローの方向が車両が前進しているときに撮像された撮像画像のオプティカルフローの方向と同方向である場合には、車両が前進している状態であると判断する。同様に、車両の走行時に撮像された撮像画像のオプティカルフローの方向が車両の後退時に撮像された撮像画像のオプティカルフローの方向と所定値以上異なる方向である場合には、車両が前進している状態であると判断する。そして、制御装置１０は、車両が前進している状態であると判断した場合には、ナビゲーション情報などの案内情報を提示装置５０のディスプレイ５１に提示する。

図４は、第２実施形態の後方画像提示装置１００の制御手順を示すフローチャートである。
ステップ２０１において、制御装置１０は、処理の開始のタイミングであるか否かを判断する。特に限定されないが、本実施形態の後方画像提示装置１００は、後方画像提示装置１００の通信装置２０と、車載装置２００のカメラ１の無線通信が開始された場合に、オプティカルフローの算出処理の開始タイミングであると判断する。

ステップ２０２において、制御装置１０は、基準となるオプティカルフローの方向を参照する。基準となるオプティカルフローの方向とは、過去に車載カメラ１を備える車両が前方又は後方に走行したときに、車載カメラ１で撮像された撮像画像におけるオプティカルフローの方向である。撮像画像からオプティカルフローを求める手法は特に限定されず、本願出願時に知られた各種の手法を用いることができる。基準となるオプティカルフローの方向は、予め、ＲＯＭ１２、ＲＡＭ１３に記憶しておくことが好ましい。もちろん、外部サーバに記憶された情報を後方画像提示装置１００が取得又は参照するようにしてもよい。基準となるオプティカルフローの方向は車種別に定義しておくことが好ましい。車両の大きさ、車載カメラ１の位置、車載カメラ１のレンズ特性などによってオプティカルフローの方向が異なる場合があるからである。

ステップ２０３において、制御装置１０は撮像画像を取得する。撮像画像の取得は所定周期で行われる。ステップ２０４において、制御装置１０は、ステップ２０３で取得した撮像画像のオプティカルフローを算出する。ステップ２０５において、制御装置１０は、ステップ２０４で算出された現時点におけるオプティカルフローと、ステップ２０２でメモリから読み込んで取得した基準となるオプティカルフローの方向とを比較する。ステップ２０５において、制御装置１０は、ステップ２０３で周期的に取得される現時点における撮像画像から算出されるオプティカルフローの方向が、車両が後退するときに基準方向として算出されたオプティカルフローの方向と共通するか（差分が所定値未満であるか）否かを判断する。

ステップ２０５において、現時点の撮像画像のオプティカルフローの方向が、車両が後退するときに基準方向として算出されたオプティカルフローの方向ではないと判断された場合には、車両は前進していると判断しステップ２０６へ進む。そして、ナビゲーション情報等の案内情報を提示装置５０のディスプレイ５１に提示する。他方、ステップ２０５において、現時点の撮像画像のオプティカルフローの方向が、車両が後退するときに基準方向として算出されたオプティカルフローの方向であると判断された場合には、車両は後退していると判断しステップ２０７へ進む。そして、車両後方側の撮像画像を提示装置５０のディスプレイ５１に提示する。

以上のとおり構成され、動作する本発明の第２実施形態に係る後方画像提示装置１００、情報提示システム１０００は、以下の効果を奏する。

本実施形態の後方画像提示装置１００は、車両が前進又は後退しているときに撮像された撮像画像のオプティカルフローの方向を基準とし、現時点において撮像された撮像画像のオプティカルフローの向きに基づいて現在の自車両の走行方向を判断する。これにより、本実施形態の後方画像提示装置１００は、車載装置２００から撮像画像を取得できれば、シフトポジション信号などの車載装置が得る情報を用いることなく、後方画像提示装置１００側において車両の進行方向を判断できる。そして、車両が後退しているときには後方の撮像画像を提示し、車両が前進しているときには後方の撮像画像以外の案内情報を提示する。この結果、車載装置２００からシフト信号などの情報を得るために新たな構成を付加しなくても、車内に持ち込まれた可搬の後方画像提示装置１００側で車両の進行方向を判断して、進行方向に応じた情報を提示できる。

＜第３実施形態＞
以下、第３実施形態の後方画像提示装置１００について説明する。
本実施形態の後方画像提示装置１００は、前進時又は後退時におけるシフトレバーの撮像画像と、現時点におけるシフトレバーの撮像画像との相関値に基づいて車両の進行方向を判断する点が第１実施形態と異なる。ここでは重複した説明を避けるために、異なる点を中心に説明する。本実施形態の後方画像提示装置１００の基本的な構成は第１実施形態のそれと共通するので、第１実施形態に関する明細書及び図面の記載をここに援用する。

本実施形態の車載装置２００は、カメラ１と、通信装置２と、シフトレバー３とを備える。また、本実施形態の後方画像提示装置１００は、制御装置１０と、通信装置２０と、ＧＰＳ４０と、提示装置５０とを備える。

後方画像提示装置１００の制御装置１０は、画像取得機能と、提示機能とを備える。本実施形態の後方画像提示装置１００は、シフトレバー３の撮像画像の特徴を比較して、その特徴点の相関値に基づいて車両の進行方向を判断する。

車両が前方（又は後方）に移動する際に、車載カメラ１で撮像した車室内のシフトレバー３は所定のポジションにセットされ、その外観は共通する。この点を利用して、本実施形態の制御装置１０は、車両が前進しているときに車載カメラ１により撮像されたシフトレバー３の撮像画像の特徴（又は車両が後退しているときに車載カメラ１により撮像されたシフトレバー３の撮像画像の特徴）を基準とする。

制御装置１０は、車両の走行時に撮像されたシフトレバーの撮像画像の特徴と、車両が前進しているときに撮像されたシフトレバーの撮像画像の特徴との相関値が所定値未満である場合には、車両が後退している状態であると判断する。同様に、車両の走行時に撮像されたシフトレバーの撮像画像の特徴と、車両が後退しているときに撮像されたシフトレバーの撮像画像の特徴との相関値が所定値以上である場合には、車両が後退している状態であると判断する。そして、制御装置１０は、車両が後退している状態であると判断した場合には、車両後方側の撮像画像を提示装置５０のディスプレイ５１に提示する。

一方、制御装置１０は、車両の走行時に撮像された車両の走行時に撮像されたシフトレバーの撮像画像の特徴と、車両が前進しているときに撮像されたシフトレバーの撮像画像の特徴との相関値が所定値以上である場合には、車両が前進している状態であると判断する。同様に、車両の走行時に撮像されたシフトレバーの撮像画像の特徴と、車両が後退しているときに撮像されたシフトレバーの撮像画像の特徴との相関値が所定値未満である場合には、車両が前進している状態であると判断する。そして、制御装置１０は、車両が前進している状態であると判断した場合には、ナビゲーション情報などの案内情報を提示装置５０のディスプレイ５１に提示する。

図５は、第３実施形態の後方画像提示装置１００の制御手順を示すフローチャートである。
ステップ３０１において、制御装置１０は、処理の開始のタイミングであるか否かを判断する。特に限定されないが、本実施形態の後方画像提示装置１００は、後方画像提示装置１００の通信装置２０と、車載装置２００のカメラ１の無線通信が開始された場合に、シフトレバーのポジションの判断処理の開始タイミングであると判断する。

ステップ３０２において、制御装置１０は、基準となる前進時又は後退時におけるシフトレバー３の撮像画像の特徴を参照する。この特徴は、シフトレバー３の像に起因するエッジの位置を含む。シフトレバー３はセットポジションによってその外観が異なる。このため、シフトレバー３の画像のエッジの位置によってシフトレバー３のポジションが分かる。すなわち、後退時においてバックポジションにセットしたシフトレバー３の撮像画像の特徴と、現在撮像されたシフトレバー３の撮像画像の特徴とが一致する場合には、シフトレバー３はバックポジションにセットされていると判断でき、車両は後退していると判断できる。撮像画像からエッジを抽出する手法は特に限定されず、本願出願時に知られた各種の手法を用いることができる。基準となるシフトレバー３の撮像画像の特徴は、予め、ＲＯＭ１２、ＲＡＭ１３に記憶しておくことが好ましい。シフトレバー３の撮像画像の特徴は、エッジの位置、エッジの長さ、エッジの強さなどを含んでもよい。もちろん、外部サーバに記憶された情報を後方画像提示装置１００が取得又は参照するようにしてもよい。基準となるシフトレバー３の撮像画像の特徴は車種別に定義しておくことが好ましい。車両のインテリア、シフトレバー３の位置、車載カメラ１の位置、車載カメラ１のレンズ特性などによって撮像画像における特徴が異なる場合があるからである。

ステップ３０３において、制御装置１０は、車室内に配置されたカメラ１により撮像されたシフトレバー３の撮像画像を取得する。撮像画像の取得は所定周期で行われる。ステップ３０４において、制御装置１０は、ステップ３０３で取得したシフトレバー３の撮像画像の特徴を抽出する。ステップ３０５において、制御装置１０は、ステップ３０４で抽出された現時点におけるシフトレバー３の撮像画像の特徴と、ステップ３０２で取得した基準となるシフトレバー３の撮像画像の特徴とを比較する。ステップ３０５において、制御装置１０は、ステップ３０３で周期的に取得される現時点におけるシフトレバー３の撮像画像の特徴と、基準となるシフトレバー３の撮像画像の特徴との相関値が所定値以上又は所定値未満かを判断する。

ステップ３０５において、現時点のシフトレバー３の撮像画像の特徴と、車両が後退するときにバックポジションにセットされたシフトレバー３の撮像画像の特徴との相関値が所定値未満であると判断された場合には、車両は前進していると判断し、ステップ３０６へ進む。そして、ナビゲーション情報等の案内情報を提示装置５０のディスプレイ５１に提示する。他方、ステップ３０５において、現時点のシフトレバー３の撮像画像の特徴と、車両が後退するときにバックポジションにセットされたシフトレバー３の撮像画像の特徴との相関値が所定値以上であると判断された場合には、車両は後退していると判断し、ステップ３０７へ進む。そして、車両後方側の撮像画像を提示装置５０のディスプレイ５１に提示する。もちろん、車両が前進するときにドライブポジションにセットされたシフトレバー３の撮像画像の特徴を基準に判断してもよい。

以上のとおり構成され、動作する本発明の第３実施形態に係る後方画像提示装置１００、情報提示システム１０００は、以下の効果を奏する。

本実施形態の後方画像提示装置１００は、車両が前進又は後退しているときに撮像されたシフトレバー３の撮像画像の特徴を基準とし、現時点において撮像されたシフトレバー３の撮像画像の特徴との相関関係に基づいて現在の自車両の走行方向を判断する。本実施形態の後方画像提示装置１００は、車載装置２００から撮像画像を取得できれば、シフトポジション信号などの車載装置が得る情報を用いることなく、後方画像提示装置１００側において車両の進行方向を判断できる。そして、車両が後退しているときには後方の撮像画像を提示し、車両が前進しているときには後方の撮像画像以外の案内情報を提示する。この結果、車載装置２００からシフト信号などの情報を得るために新たな構成を付加しなくても、車内に持ち込まれた可搬の後方画像提示装置１００側で車両の進行方向を判断して、進行方向に応じた情報を提示できる。

＜第４実施形態＞
以下、第４実施形態の後方画像提示装置１００について説明する。
本実施形態の後方画像提示装置１００は、前回の停車時における車両の進行方向を考慮して、処理開始時における提示情報を切り替える点を特徴とし、前述の第１〜第３実施形態とともに本発明の後方画像提示装置１００に適用することができる。

本実施形態では、第１実施形態の処理に適用した例を説明するが、本実施形態の処理は、第１実施形態のみならず第２、第３実施形態においても適用可能である。重複した説明を避けるために、本実施形態の特徴となる点を中心に説明する。本実施形態の後方画像提示装置１００の基本的な構成は第１乃至第３実施形態のそれと共通するので、第１乃至第３実施形態に関する明細書及び図面の記載をここに援用する。

本実施形態の車載装置２００は、カメラ１と、通信装置２と、シフトレバー３とを備える。また、本実施形態の後方画像提示装置１００は、制御装置１０と、通信装置２０と、ＧＰＳ４０と、提示装置５０とを備える。

後方画像提示装置１００の制御装置１０は、画像取得機能と、前進方向設定機能と、提示機能とを備える。本実施形態の後方画像提示装置１００は、前回の駐車時において車両が前進して駐車した場合には、次回の走行開始時の車両の進行方向は後退方向であると予測し、走行開始時に後退して駐車場を出ることに配慮して、後方の撮像画像を提示するようにする。

具体的に、本実施形態の制御装置１０は、車両が走行を終了するタイミングにおける進行方向が車両の前進方向であることを記憶し、車両が走行を終了するタイミングにおける進行方向が車両の前進方向である場合には、次に車両の走行が開始するタイミングでは車両が後退すると判断して車両後方側の画像を撮像装置５０のディスプレイ５１に提示する。

走行を終了するタイミングにおいて、車両の進行方向が前進方向であるか又は後退方向であるかを判断する手法は、第１実施形態のように所定速度以上となったときの加速度の方向を基準にして判断してもよいし、撮像画像のオプティカルフローに基づいて判断してもよいし、シフトレバー３の撮像画像の特徴に基づいて判断してもよい。

制御装置１０は、車両のイグニッションキーがオフとなったときに、その直前における進行方向が前進方向である場合には、走行終了タイミングに車両が前進した旨の情報を記録する。

図６は、第４実施形態の後方画像提示装置１００の制御手順を示すフローチャートである。本実施形態の処理は、イグニッションがオンとなったときに実行される処理である。本フローチャートでは第１実施形態に第４実施形態を適用した場合の処理例を示す。

ステップ５０１において制御装置１０は、イグニッションがオン状態になり、ステップ５０２において処理開始タイミングであると判断されたときに本処理を実行する。

続くステップ５０３において、前回の走行が終了するタイミングにおいて進行方向が車両の前進方向である旨が記憶されている場合には、制御装置１０は、ステップ５１１へ進み、提示装置５０のディスプレイ５１の表示を後方の撮像画像に切り替える。

そして、ステップ５１２において、制御装置１０は、加速度センサの加速方向から自車両の進行方向を算出する。このとき、制御装置１０は、前回の処理において設定された前進方向を参照する。前進方向と加速方向が略一致した場合には、自車両は前進していると判断する。ステップ５１３において、制御装置１０は、算出した進行方向が前進方向である場合には、提示する画像を後方の撮像画像からナビゲーション情報などの案内情報に切り替える。他方、進行方向が前進方向ではなく後退方向である場合には、後方の撮像画像の提示を継続して進行方向の算出を繰り返す。

ステップ５０３において、前回の走行が終了するタイミングにおいて進行方向が車両の前進方向である旨が記憶されていない場合には、制御装置１０は、ステップ５０４へ進み通常の前進方向設定の処理と進行方向を判断して表示を切り替える処理を行う。

具体的にステップ５０４において、制御装置１０は、車速０ｋｍ／ｈである車両の走行開始時のタイミングを記憶する。ステップ５０５へ進みこのタイミングから加速センサ３０の出力値を経時的に積算し、車速を計算する。ステップ５０６において、計算した車速が所定車速（例えば２０ｋｍ／ｈ）以上であるか否かを判断する。車速が所定車速以上でなければ車速算出処理を繰り返し、車速が所定車速以上となった場合にはステップ５０７へ進む。 ステップ５０７において、制御装置１０は、車速が所定車速以上となったタイミングにおける加速度センサ３０の加速方向を前進方向として設定する。

ステップ５０８において、所定周期で加速度センサ３０が検出した加速方向から現在の進行方向を求める。一般的に加速方向の変化量が所定値以下であれば、その加速方向が現在の車両の進行方向であると決定できる。

次に、ステップ５０９において、車両の進行方向が基準とする前進方向の逆方向である場合には車両は後退走行をしていると判断してステップ５１０へ進み、車両後方の撮像画像を提示する。他方、車両の進行方向が基準とする前進方向の逆方向でない場合には車両は前進走行をしていると判断してステップ５２１へ進み、ナビゲーション情報などの案内情報を提示する。

車両が前進走行をしており、案内情報を提示しているときにイグニッションオフの指令が入力された場合には（ステップ５２２）、ステップ５２３へ進み自車両が後退してから停止（駐車）しなかった旨を記録する。この事象については自車両が前進で停止（駐車）した旨の記録であってもよい。この情報が、次回の処理におけるステップ５０３の処理で参照される。

以上のとおり構成され、動作する本発明の第２実施形態に係る後方画像提示装置１００、情報提示システム１０００は、以下の効果を奏する。

本実施形態の後方画像提示装置１００は、前回の走行終了の際に車両が前進で停止した場合には、次回の走行開始の最に車両が後退で移動を開始することに対応し、後方の撮像画像を提示するので、後退運転をするドライバが必要とする情報（後方の撮像画像）を適切なタイミングで提示することができる。

なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本明細書では、本発明に係る後方画像提示装置の一態様として後方画像提示装置１００及び情報提示システム１０００を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本発明に係る後方画像提示装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える後方画像提示装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、画像取得手段と、加速度センサと、前進方向設定手段と、提示手段とを備える後方画像提示装置の一態様として、画像取得機能と、前進方向設定機能と、提示機能とを実行する制御装置１０と、通信装置２０と、加速度センサ３０と、ＧＰＳ４０と、提示装置５０とを備える後方画像提示装置１００を説明するが、これに限定されるものではない。

本明細書では、画像取得手段と、提示手段とを備える後方画像提示装置の一態様として、画像取得機能と、提示機能とを実行する制御装置１０と、通信装置２０と、提示装置５０とを備える後方画像提示装置１００を説明するが、これに限定されるものではない。

１０００…情報提示システム
１００…後方画像提示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…通信装置
３０…加速度センサ
４０…ＧＰＳ
５０…提示装置
２００…車載装置
１，１ａ〜１ｅ…カメラ
２…通信装置
３…シフトレバー

Claims (6)

1. 車載装置の外部の装置であって、
   車載カメラにより撮像された前記車両の後方の撮像画像を通信により取得する画像取得手段と、
   加速度センサと、
   前記車両の走行開始後から前記加速度センサが検出した前記車両の加速度を経時的に積算して前記車両の速度を取得し、前記取得された前記車両の速度が所定速度以上となったタイミングにおける前記加速度センサが検出した前記車両の加速方向を、前記車両の前進方向として設定する前進方向設定手段と、
   前記加速度センサにより検出された前記車両の加速方向が設定された前記前進方向と逆方向である場合には、前記車両が後退している状態であると判断して前記車両の後方の画像を提示し、前記加速度センサにより検出された前記車両の加速方向が前記設定された前進方向と同方向である場合には、前記車両が前進している状態であると判断して前記車両の後方の撮像画像以外の案内情報を提示する提示手段と、を備えることを特徴とする車両用の後方画像提示装置。
2. 車載装置の外部の装置であって、
   車載カメラにより撮像された前記車両の後方の撮像画像を通信により取得する画像取得手段と、
   前記車両が前進しているときに前記車載カメラにより撮像された前記撮像画像のオプティカルフローの方向、又は前記車両が後退しているときに前記車載カメラにより撮像された前記撮像画像のオプティカルフローの方向を基準とし、
   前記車両の走行時に撮像された前記撮像画像のオプティカルフローの方向が前記車両が前進しているときに撮像された前記撮像画像のオプティカルフローの方向と異なる場合、又は前記車両の走行時に撮像された前記撮像画像のオプティカルフローの方向が前記車両の後退時に撮像された前記撮像画像のオプティカルフローの方向と同じである場合には、前記車両が後退している状態であると判断して前記車両の後方の撮像画像を提示し、
   前記車両の走行時に撮像された前記撮像画像のオプティカルフローの方向が前記車両が前進しているときに撮像された前記撮像画像のオプティカルフローの方向と同方向である場合、又は前記車両の走行時に撮像された前記撮像画像のオプティカルフローの方向が前記車両の後退時に撮像された前記撮像画像のオプティカルフローの方向と異なる方向である場合には、前記車両が前進している状態であると判断して前記車両の後方の撮像画像以外の案内情報を提示する提示手段と、を備えることを特徴とする車両用の後方画像提示装置。
3. 車載装置の外部の装置であって、
   車室内カメラにより撮像された車両のシフトレバーの撮像画像を通信により取得する画像取得手段と、
   前記車両が前進しているとき又は前記車両が後退しているときに前記車室内カメラにより撮像された前記シフトレバーの撮像画像の特徴を基準とし、
   前記車両の走行時に撮像された前記シフトレバーの撮像画像の特徴と前記車両が前進しているときに撮像された前記シフトレバーの撮像画像の特徴との相関値が所定値未満である、又は前記車両の走行時に撮像された前記シフトレバーの撮像画像の特徴と前記車両が後退しているときに撮像された前記シフトレバーの撮像画像の特徴との相関値が所定値以上である場合には、前記車両が後退している状態であると判断して前記車両の後方の画像を提示し、
   前記車両の走行時に撮像された前記シフトレバーの撮像画像の特徴と前記車両が前進しているときに撮像された前記シフトレバーの撮像画像の特徴との相関値が所定値以上である、又は前記車両の走行時に撮像された前記シフトレバーの撮像画像の特徴と前記車両が後退しているときに撮像された前記シフトレバーの撮像画像の特徴との相関値が所定値未満である場合には、前記車両が前進している状態であると判断して前記車両の後方の撮像画像以外の案内情報を提示する提示手段と、を備えることを特徴とする車両用の後方画像提示装置。
4. ＧＰＳをさらに備え、
   前記前進方向設定手段は、ＧＰＳが検出する位置情報に基づいて前記車両の車速が０ｋｍ／ｈから前記車両の車速が０ｋｍ／ｈ以外に変化したタイミングを前記車両が走行を開始するタイミングとすることを特徴とする請求項１に記載の車両用の後方画像提示装置。
5. ＧＰＳをさらに備え、
   前記前進方向設定手段は、ＧＰＳが検出する位置情報の単位時間あたりの変化から前記車両の車速を算出し、前記車両の速度が約２０ｋｍ／ｈ以上となったときに前記ＧＰＳが検出する前記車両の移動方向を、前記車両の前進方向として設定することを特徴とする請求項１又は４に記載の後方画像提示装置。
6. 前記提示手段は、
   前記車両が走行を終了するタイミングにおける進行方向が前記車両の前進方向である場合には、前記車両が走行を終了するタイミングにおける進行方向が前記車両の前進方向であることを記憶し、
   前記車両が走行を終了するタイミングにおける進行方向が前記車両の前進方向である場合には、次に前記車両の走行が開始するタイミングでは前記車両が後退すると判断して前記車両の後方の画像を提示することを特徴とする請求項１〜５の何れか一項に記載の後方画像提示装置。