JP2024010758A - 表示処理装置、表示処理方法、及び表示処理プログラム - Google Patents

Abstract

【課題】コストを抑制しつつ、画像にずれが発生した場合でも乗員による誤認を抑制することができる。【解決手段】本開示にかかる表示処理装置は、画像に基づいて車両の周辺の俯瞰画像を生成する俯瞰画像生成部と、車両の移動量を推定する推定部と、過去の時点で俯瞰画像を記憶したものである過去の俯瞰画像と、車両の移動量とに基づいて、撮影時刻が過去の時点である１つまたは複数の過去画像を生成する過去画像生成部と、１つまたは複数の過去画像と俯瞰画像とを組み合わせて、車両内の表示装置に表示する表示画像を生成する表示画像生成部と、を備え、表示画像生成部は、車輪が滑る滑り事象が発生したことを推定部が検出した場合、１つまたは複数の過去画像に対して滑り事象が発生したことを示す処理を施して表示画像を生成する。【選択図】図４

Description

本開示は、表示処理装置、表示処理方法、及び表示処理プログラムに関する。

走行中の車両の床下を透過表示させる機能を有する表示処理装置がある。例えば特許文献１の技術では、複数の過去画像とリアルタイム画像とを合成して床下透過表示を行う。このとき、車両の移動量の算出誤差により、過去画像とリアルタイム画像との継ぎ目で生じるずれを画像マッチング処理により補正する。

特開２０１６－５３９４２号公報

しかしながら、特許文献１の技術では、複数の画像同士を比較してずれ量を算出するため膨大な演算量を要し、表示処理装置が高コストになってしまう。また、目標となる物体が継ぎ目部分に存在しない場合には、画像マッチング処理が困難となってしまう。

本開示は、コストを抑制しつつ、画像にずれが発生した場合でも乗員による誤認を抑制することができる表示処理装置、表示処理方法、及び表示処理プログラムを提供することを目的とする。

本開示にかかる表示処理装置は、車両に搭載される表示処理装置であって、前記車両の周辺を撮影した画像を取得する画像取得部と、前記画像に基づいて前記車両の周辺の俯瞰画像を生成する俯瞰画像生成部と、前記車両によって検出された車輪の回転量に基づいて、前記車両の移動量を推定する推定部と、過去の時点で前記俯瞰画像を記憶したものである過去の俯瞰画像と、前記車両の前記移動量とに基づいて、撮影時刻が過去の時点である１つまたは複数の過去画像を生成する過去画像生成部と、前記１つまたは複数の過去画像と前記俯瞰画像とを組み合わせて、前記車両内の表示装置に表示する表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記車輪が滑る滑り事象が発生したことを前記推定部が検出した場合、前記１つまたは複数の過去画像に対して前記滑り事象が発生したことを示す処理を施して前記表示画像を生成する。

本開示にかかる表示処理装置、表示処理方法、及び表示処理プログラムによれば、コストを抑制しつつ、画像にずれが発生した場合でも乗員による誤認を抑制することができる。

図１は、実施形態にかかる表示ＥＣＵが搭載された車両の構成の一例を示す模式図である。 図２は、実施形態にかかる表示ＥＣＵが搭載された車両の構成の一例を示すブロック図である。 図３は、実施形態にかかる表示ＥＣＵのハードウェア構成の一例を示すブロック図である。 図４は、実施形態にかかる表示ＥＣＵの機能構成の一例を示すブロック図である。 図５は、実施形態にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図６は、実施形態にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図７は、実施形態にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図８は、実施形態にかかる表示ＥＣＵによる車輪の外周長の算出手法の一例を示す説明図である。 図９は、実施形態にかかる表示ＥＣＵによる舵角を付けた移動を行う車両の移動量の推定手法の一例を示す説明図である。 図１０Ａは、実施形態にかかる車両の駆動輪の違いによる移動方向の違いを示す説明図である。 図１０Ｂは、実施形態にかかる車両の駆動輪の違いによる移動方向の違いを示す説明図である。 図１０Ｃは、実施形態にかかる車両の駆動輪の違いによる移動方向の違いを示す説明図である。 図１１Ａは、実施形態にかかる表示ＥＣＵによる加速度センサの検知結果に基づく滑り事象の検出手法の一例を示す説明図である。 図１１Ｂは、実施形態にかかる表示ＥＣＵによる加速度センサの検知結果に基づく滑り事象の検出手法の一例を示す説明図である。 図１２Ａは、実施形態にかかる表示ＥＣＵによる加速度センサの検知結果に基づく滑り事象の検出手法の一例を示す説明図である。 図１２Ｂは、実施形態にかかる表示ＥＣＵによる加速度センサの検知結果に基づく滑り事象の検出手法の一例を示す説明図である。 図１３は、実施形態にかかる表示ＥＣＵによる表示処理の手順の一例を示すフロー図である。 図１４Ａは、実施形態の変形例１にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１４Ｂは、実施形態の変形例１にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１５Ａは、実施形態の変形例２にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１５Ｂは、実施形態の変形例２にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１６Ａは、実施形態の変形例３にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１６Ｂは、実施形態の変形例３にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１７Ａは、実施形態の変形例４にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１７Ｂは、実施形態の変形例４にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図１８は、実施形態の変形例５にかかる表示ＥＣＵによる表示処理の手順の一例を示すフロー図である。 図１９は、その他の実施形態にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。 図２０は、その他の実施形態にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。

以下、図面を参照しながら、本開示にかかる表示処理装置、表示処理方法、及び表示処理プログラムの実施形態について説明する。

［実施形態］
実施形態について図面を用いて説明する。

（車両の構成例）
図１は、実施形態にかかる表示ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０が搭載された車両１の構成の一例を示す模式図である。なお、本明細書において、車両１の前後左右上下は、それぞれ車両１の運転席を基準とする方向であるものとする。

図１に示すように、車両１は、車体２と、所定方向に沿って車体２に結合された２対の車輪３とを備える。これらの車輪３のうち、１対の前輪３１は車体２の前側の下面に取り付けられ、１対の後輪３２は車体２の後側の下面に取り付けられている。

車体２は上面視で略矩形をしており、車輪３（前輪３１、後輪３２）を有する。

これらの車輪３（前輪３１、後輪３２）には、車輪速センサ４（前輪３１には車輪速センサ４１、後輪３２には車輪速センサ４２）が各々取り付けられている。車輪速センサ４は、対応する車輪３が所定の角度、回転するごとに車輪速パルスを出力する。所定時間あたりの車輪速パルスの出力回数をカウントすることで、対応する車輪３の回転速度を算出することができる。車輪速は、車輪速パルスから算出される所定時間あたりの車輪３の回転数に、その車輪３の外周長を掛け合わせたものである。

また、車体２の前後部には、加速度センサ５（５１，５２）がそれぞれ取り付けられている。加速度センサ５は、例えば車体２が受けた加速度を前後、上下、及び左右の３軸方向に分解して検知し、それぞれの検知結果を出力する３軸加速度センサとして構成されている。

加速度センサ５１は、例えば車体２の前側の左寄りに設けられ、加速度センサ５２は、例えば車体２の後ろ側の左寄りに設けられてもよい。このように配置することで、これらの加速度センサ５は、車体２の重心を通る回転の３軸（ピッチ軸、ロール軸、及びヨー軸）のいずれの軸からもオフセットされる。このため、外力により車体２が回転した際、その回転がピッチ軸、ロール軸、及びヨー軸のいずれの軸を中心とするものであっても、これらの加速度センサ５によって外力を効果的に検知することができる。

また、加速度センサ５は、車両１が静止している場合でも重力加速度を検知している。このため、加速度センサ５によって車両１の姿勢を特定することができる。

なお、車両１は少なくとも１つの加速度センサ５を備えていればよい。ただし、図１の例のように、車体２の前後部にそれぞれ加速度センサ５を備えることで、例えば車体２の後部だけが横滑りするような変則的な車体２の姿勢変化も、より正確に検知することができる。このように、加速度センサ５は、車両１の加速度の検知に有利な位置に、必要な数だけ、配置されていることが好ましい。

また、車体２の前後左右には、それぞれ撮像装置６（６１，６２，６３，６３）が取り付けられている。撮像装置６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、またはＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の撮像素子を内蔵するデジタルカメラである。

撮像装置６１，６２は、車体２の前後に、バンパよりも高い位置に取り付けられている。撮像装置６３，６３は、車体２の左右のサイドミラーに内蔵されている。このような配置を有することで、これらの撮像装置６により車両１の周辺を撮影することができる。

車両１には、表示ＥＣＵ１０及びセンサ制御装置３０が搭載され、車両１内にはＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）装置２０が設けられている。

表示装置としてのＨＭＩ装置２０は、タッチパネル、スピーカ、及びスイッチ等を備え、例えば運転席の近傍に配置されている。ＨＭＩ装置２０が備えるタッチパネル、スピーカ、及びスイッチ等はナビゲーションシステムと共用されていてもよく、ナビゲーションシステムが表示装置としての機能を兼ね備えていてもよい。

表示処理装置としての表示ＥＣＵ１０は、ＨＭＩ装置２０における各種表示を制御する電子制御装置として構成されている。表示ＥＣＵ１０は、撮像装置６が撮影した車両１の周辺の画像を取得し、各種の処理を施して、例えば複数の画像が合成された俯瞰画像等の表示画像を生成してＨＭＩ装置２０に出力する。なお、慣習的、または簡易な言い方として、表示画像を生成して表示装置に出力する事を、単に表示すると言い、表示画像の生成を制御する事を、単に表示を制御する、という事がある。

また、表示ＥＣＵ１０は、センサ制御装置３０を介して、または直接的に、車輪速センサ４及び加速度センサ５等の各種センサによる検知結果を取得する。表示ＥＣＵ１０は、取得した検知結果を用いて、表示画像の生成に必要な各種演算処理を行う。

センサ制御装置３０は、車輪速センサ４及び加速度センサ５等の各種センサによる検知結果を取得し、各種の処理を施して、表示ＥＣＵ１０等の車両１の各部の制御装置に出力する。

図２は、実施形態にかかる表示ＥＣＵ１０が搭載された車両１の構成の一例を示すブロック図である。図２においては、車体２及びエンジン等の構成は省略し、主に表示ＥＣＵ１０に関わる構成を示している。また、図２に示すブロックの数と、車両１が備える物理的な構成の数とは必ずしも一致していない。

図２に示すように、車両１は、車輪速センサ４（４１，４２）、加速度センサ５（５１，５２）、撮像装置６（６１，６２，６３，６３）、車両センサ７、舵角センサ８、表示ＥＣＵ１０、ＨＭＩ装置２０、及びセンサ制御装置３０を備える。これらの構成要素は、例えば車内ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）９で有線接続されている。

ただし、撮像装置６が生成した画像データの伝送量は大きいため、画像データの伝送ルートである撮像装置６と表示ＥＣＵ１０との間、及び表示ＥＣＵ１０とＨＭＩ装置２０との間が、専用の同軸ケーブル等で接続されていてもよい。

舵角センサ８は、車両１のステアリングホイールの操舵角を検知する。

車両センサ７は、車両１の起動スイッチ、ギヤ位置のスイッチ、ウインカレバーのスイッチ、並びにモータ及びエンジンのトルクセンサ等である。ただし、上述の車輪速センサ４、加速度センサ５、及び舵角センサ８等も含めて車両センサと称してもよい。

センサ制御装置３０は、上述のように、車輪速センサ４、加速度センサ５、舵角センサ８、及び車両センサ７等の各種センサからの出力データを処理する。ただし、表示ＥＣＵ１０が、上述のように、センサ制御装置３０を介することなく各種センサからの出力データを取得してもよく、また、これらセンサの出力データの処理を行ってもよい。センサ制御装置３０は、表示ＥＣＵ１０に取り込まれても良く、表示ＥＣＵ１０のセンサ制御部として実装されても良い。

ＨＭＩ装置２０は、表示ＥＣＵ１０が生成した表示画像等をタッチパネルに表示し、スピーカから音声を出力する。また、ＨＭＩ装置２０は、タッチパネル及びスイッチ等により、車両１の乗員から表示ＥＣＵ１０への指示を含む各種操作を受け付ける。ここで、乗員には、車両１の運転者および同乗者が含まれるものとする。

また、ＨＭＩ装置２０が、マイクと音声認識機能とを更に備えることにより、音声による各種操作の受け付けが可能に構成されていてもよい。また、ＨＭＩ装置２０とは独立して、スイッチ等を含む操作装置が設けられていてもよい。

（表示ＥＣＵの構成例）
次に、図３及び図４を用いて、実施形態の表示ＥＣＵ１０の構成例について説明する。図３は、実施形態にかかる表示ＥＣＵ１０のハードウェア構成の一例を示すブロック図である。

図３に示すように、表示ＥＣＵ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、入出力Ｉ／Ｆ（インターフェース）１４、及び記憶装置１５を備えるコンピュータとして構成される。

ただし、表示ＥＣＵ１０が、ＣＰＵ１１の代わりに、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｔｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の他のプロセッサを備えていてもよい。

ＣＰＵ１１は、表示ＥＣＵ１０の全体を制御する。ＲＯＭ１２は電気的に書き換え可能な記憶素子で構成され、ＣＰＵ１１が実行するプログラムを記憶するとともに、表示ＥＣＵ１０における保存領域としても機能する。ＲＯＭ１２に記憶された情報は、表示ＥＣＵ１０の電源が切られても保持される。ＲＡＭ１３は、一次記憶装置として機能し、ＣＰＵ１１の作業領域となる。

ＣＰＵ１１が、例えばＲＯＭ１２に格納された表示処理プログラム１２ｐを実行することで、ＨＭＩ装置２０に各種表示を行う表示処理装置としての機能が表示ＥＣＵ１０に実現される。つまり、表示処理プログラム１２ｐは、例えばコンピュータとして構成される表示ＥＣＵ１０に、以下に詳述する各種解析処理を行わせる。

なお、表示処理プログラム１２ｐは、例えばコンピュータでの読み取りが可能なように記録媒体等に格納されて提供されることができる。記録媒体は、例えば磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。あるいは、表示処理プログラム１２ｐは、インターネット等のネットワークに置かれたサーバ等からダウンロード可能であってもよい。また、表示処理プログラム１２ｐをネットワーク経由で提供または配布するように構成してもよい。

入出力Ｉ／Ｆ１４にはＨＭＩ装置２０が接続される。これにより、表示ＥＣＵ１０が生成した表示画像、乗員による各種操作の受け付け画面、及び各種操作に応じた処理結果の表示画面等をＨＭＩ装置２０に表示させることができる。また、表示ＥＣＵ１０は音声メッセージも生成し、入出力Ｉ／Ｆ１４とＨＭＩ装置２０とを介して、乗員に音声メッセージを伝えることが出来る。

また、入出力Ｉ／Ｆ１４は、撮像装置６と接続され、撮像装置６が生成した画像データを撮像装置６から取得する。また、入出力Ｉ／Ｆ１４は、センサ制御装置３０を介して、あるいは直接的に、車輪速センサ４、加速度センサ５、及び舵角センサ８等の各種センサと接続され、これらのセンサから出力値を取得する。

記憶装置１５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＳＤメモリカード等であり、ＣＰＵ１１の補助記憶装置として機能する。

図４は、実施形態にかかる表示ＥＣＵ１０の機能構成の一例を示すブロック図である。図４に示すように、表示ＥＣＵ１０は、取得部１０１、俯瞰画像生成部１０２、過去画像生成部１０３、表示画像生成部１０４、推定部１０５、表示制御部１０６、検出部１０７、及び記憶部１０８を備える。

画像取得部としての取得部１０１は、車両１の周辺を撮影した画像、つまり撮影画像を撮像装置６から取得する。また、取得部１０１は、車輪速センサ４、加速度センサ５、及び舵角センサ８等の各種センサによる検知結果を取得する。

取得部１０１の上記機能は、例えば表示処理プログラム１２ｐを実行するＣＰＵ１１の制御下で動作する入出力Ｉ／Ｆ１４により実現される。

俯瞰画像生成部１０２は、撮像装置６から取得した車両１の周辺の撮影画像を合成し、車両１の周辺の俯瞰画像を生成する。俯瞰画像は、車両１の上方から車両１の周辺を見下ろす視点の合成画像である。

俯瞰画像生成部１０２は、少なくとも１つの撮像装置６の撮影画像を合成して、前進する車両１の前方、または後退する車両の後方等の車両１の移動方向を含む俯瞰画像を合成することができる。俯瞰画像生成部１０２が、複数の撮像装置６の撮影画像を合成することで、車両１の全周囲画像を生成してもよい。

俯瞰画像の合成に用いられる画像は、撮像装置６により撮影され、表示ＥＣＵ１０が取得した最新の撮影画像である。これら最新の撮影画像を用いて俯瞰画像を生成することで、ＨＭＩ装置２０に、今現在の車両１の周辺を示す画像を表示させることができる。これら最新の撮影画像を用いて生成した俯瞰画像をリアルタイム画像と呼ぶ事にする。

リアルタイム画像には表示されない、死角領域が車体２の下に存在する。車体２の下の路面は、どの撮像装置６でも撮影できないので、リアルタイム画像には表示されない死角領域になる。全周囲画像を表示する際には、車体２を模したアイコンを、死角領域を隠す位置に表示する事により、死角領域の存在を意識させない例が多い。実施形態の表示ＥＣＵ１０は、以下に述べる過去画像をリアルタイム画像と組み合わせることで、ＨＭＩ装置２０に表示させる表示画像を生成する。

過去画像とは、過去の時点で俯瞰画像を記憶したものである過去の俯瞰画像と、過去の俯瞰画像とに基づいて生成された画像である。具体的には、リアルタイム画像を記憶部１０７に記憶させ、時間が経過してから読みだした、撮影時刻が過去の時点である過去の俯瞰画像、または、その一部を切り出したり、移動させたりした、過去の俯瞰画像を元にして生成された画像である。過去の俯瞰画像の撮影時刻とは、正確には、過去の俯瞰画像の基となった撮影画像の撮影時刻の事を指し、過去の俯瞰画像を元にする過去画像についても、過去画像の元となった撮影画像の撮影時刻の事を、過去画像の撮影時刻と呼んでいる。

車両１の進行方向に映っていた路面は、車両１が移動すると車体２の下方に存在する死角領域に位置する様になるので、過去の俯瞰画像の撮影時刻以降に車両１が移動した距離と方向とに応じて過去の俯瞰画像を移動し、そのうち死角領域に入った部分を切り出したものが過去画像である。この過去画像をリアルタイム画像に嵌め込む事により、死角を補う事が出来る。

これにより、表示ＥＣＵ１０は、車体２の床下を透過して車体２の下方の死角領域が見えるかの様に表示させる床下透過表示機能を備えることとなる。床下透過表示画像に車両アイコンを表示させる場合には、車両アイコンと重なる位置に、車両アイコンを半透過で表示してもよい。

過去画像生成部１０３は、推定部１０５が算出した車両１の移動方向および移動量に基づいて、これまでに生成され、記憶部１０７が記憶した撮影時刻が異なる複数の俯瞰画像から所定の領域を適宜抽出し、撮影時刻が異なる複数の過去画像を生成する。

より詳細には、過去画像生成部１０３は、車両１の移動方向および移動量に基づいて、所定時刻に車体２に隠れて死角領域となる領域を特定する。また、過去画像生成部１０３は、これまでに生成された複数の俯瞰画像から、所定時刻に死角領域となる領域の直近の画像を抽出し、所定時刻における死角領域に対応する過去画像とする。

複数の所定時刻において上記処理を繰り返すことで、撮影時刻が異なる複数の過去画像が生成される。撮影時刻が異なる複数の過去画像と俯瞰画像とを組み合わせて車両内の表示装置に表示する表示画像を生成する事により、床下の死角領域全体が過去画像で置き換えられた、死角が無い様に見える表示画像を生成できる。

表示画像生成部１０４は、リアルタイム画像と、複数の過去画像を組み合わせて、ＨＭＩ装置２０に表示させる表示画像を生成しても良いし、過去画像を用いず、リアルタイム画像を表示画像としても良い。例えば、表示画像生成部１０４は、滑り事象を推定部１０５が検出した際には、過去画像に対して滑り事象が発生したことを示す処理を施す。滑り事象が発生したことを示す処理は、例えば、１つ以上の過去画像を非表示とする処理でも良いし、滑り事象が発生したことを示す表示を過去画像に付加する処理でも良い。

推定部１０５は、車輪速センサ４、加速度センサ５、及び舵角センサ８等の検知結果に基づいて、車両１の移動方向および移動量を推定する。また、推定部１０５は、車両１の車輪３が滑る事象が起きた場合、それを車両１の滑り事象として検出する。滑り事象とは、例えば複数の車輪３のうち少なくとも一部が路面とのグリップを失い、車体２が滑ってしまう事象である。滑り事象を平易にスリップと言い換えても良い。

このような滑り事象が発生すると、車両１の複数の車輪３の回転量の間に、全ての車輪が路面とグリップしていた場合には発生し得ない不一致が生じる。推定部１０５は、このような不一致から、車両１に滑り事象が発生したことを推定することができる。

また、車輪３が路面とグリップしていた場合には、車輪３の回転速度の増加・減少は、車両１の加速・減速を意味し、加速度センサ５によって検出される水平方向の加速度と相関する。しかし、車両１に滑り事象が発生した場合には、車輪３の回転速度と一致しない加速度の異常が現れる。よって、推定部１０５は、車輪３の回転量または車両１によって検出された加速度に基づいて滑り事象を検出する、と言っても良い。無論、推定部１０５は、舵角センサ８等の検知結果を加えて滑り事象を検出しても良い。推定部１０５による滑り事象の検出手法の詳細については後述する。

また、滑り事象が発生すると、リアルタイム画像と、複数の過去画像を組み合わせた表示画像において、これらの画像の継ぎ目がずれてしまう可能性がある。表示画像生成部１０４は、滑り事象が発生したことを示す処理をずれた過去画像に施す事により、乗員による誤認等が生じにくい表示画像を生成する。

まとめると、本実施例の表示処理装置は、車両に搭載される表示処理装置であって、車両の周辺を撮影した画像を取得する画像取得部と、画像に基づいて車両の周辺の俯瞰画像を生成する俯瞰画像生成部と、車両によって検出された車輪の回転量に基づいて、車両の移動量を推定する推定部と、過去の時点で俯瞰画像を記憶したものである過去の俯瞰画像と、車両の移動量とに基づいて、撮影時刻が過去の時点である１つまたは複数の過去画像を生成する過去画像生成部と、１つまたは複数の過去画像と俯瞰画像とを組み合わせて、車両内の表示装置に表示する表示画像を生成する表示画像生成部と、を備え、表示画像生成部は、車輪が滑る滑り事象が発生したことを推定部が検出した場合、１つまたは複数の過去画像に対して滑り事象が発生したことを示す処理を施して表示画像を生成する表示処理装置である、と言える。

俯瞰画像生成部１０２、過去画像生成部１０３、表示画像生成部１０４、及び推定部１０５の上記機能は、例えば表示処理プログラム１２ｐを実行するＣＰＵ１１により実現される。

表示制御部１０６は、表示画像生成部１０４が生成した表示画像、乗員による各種操作の受け付け画面、及び各種操作に応じた処理結果の表示画面等をＨＭＩ装置２０に表示させる。また、表示制御部１０６は、ずれの生じた過去画像である事を示すパターンやマーク、またはメッセージを表示画像に重畳して出力する重畳処理も行う。また、車両アイコンを半透過で俯瞰画像と重ねるαブレンディング処理も、表示制御部１０６が行う。

検出部１０７は、例えばＨＭＩ装置２０が備えるタッチパネルに対する乗員等のタッチ操作を検出する。より正確には、ＨＭＩ装置２０はタッチパネルがタッチされた事を感知し、タッチされた位置の情報を出力する。検出部１０７は、タッチされた位置の情報を分析し、どのようなタッチ操作が行われたか、を検出する。これにより、表示ＥＣＵ１０等に対する乗員の各種操作が受け付けられる。例えば、タッチパネル上にボタンのアイコンを表示している時に、タッチされた位置がボタンアイコンを表示した範囲に当たる場合は、検出部１０７は表示していたボタンが押された事を検出する。

表示制御部１０６及び検出部１０７の上記機能は、例えば表示処理プログラム１２ｐを実行するＣＰＵ１１、及びＣＰＵ１１の制御下で動作する入出力Ｉ／Ｆ１４により実現される。

記憶部１０８には、表示ＥＣＵ１０の動作に必要な上述の表示処理プログラム１２ｐ、各種制御パラメータ、表示ＥＣＵ１０が取得した画像データ、各種センサからの出力値、表示ＥＣＵ１０による演算結果等が格納されている。

記憶部１０８の上記機能は、例えば表示処理プログラム１２ｐを実行するＣＰＵ１１の制御下で動作するＲＯＭ１２、ＲＡＭ１３、及び記憶装置１５により実現される。

（表示ＥＣＵの機能例）
次に、図５Ａａ～図７Ｂｃを用いて、表示ＥＣＵ１０のより詳細な機能例について説明する。図５Ａａ～図７Ｂｃは、実施形態にかかる表示ＥＣＵ１０が有する床下透過表示機能について説明する模式図である。

図５Ａａ～図７Ｂｃは、表示ＥＣＵ１０が、複数の表示画像ＤＲを時系列で生成する様子を示している。図５Ａａ～図７Ｂｃにおいては、表示画像生成部１０４によって生成される表示画像ＤＲのうち、主に床下透過表示部分を示す。ただし、表示画像ＤＲは、車体２の床下部分の周囲の俯瞰画像、つまり車両周辺のリアルタイム画像を含んでいてもよい。

俯瞰画像の生成では、複数の撮像装置が撮影した複数の撮影画像を合成に用いる事ができるが、説明を容易にするため、図５Ａａ～図７Ｂｃでは、俯瞰画像は車両１の先端に位置する撮像装置６１が撮影した撮影画像だけを用いて生成するものとする。撮像装置６１には、車両１の先端より後方が映らないので、図５Ａａ～図７Ｂｃでは車両１の先端より後方は死角領域になる。この死角領域には車両１の床下に当たらない部分もあるが、床下を含む範囲を透過したように表示する、という意味で、床下透過表示と呼ぶ。

なお、車体２の床下透過表示を含む表示画像を生成する際には、路面は動かず、車両１が移動すると考えて、絶対座標に基づいて表示画像の生成処理が行われる場合と、車両１に対して路面が移動すると考えて、車両１を基準座標として表示画像の生成処理が行われる場合がある。いずれの処理方法においても生成される表示画像に差異はないため、実施形態では、車両１を基準座標とする場合の例について説明する。

また、表示制御部１０６によって付加される車両アイコンは、車体２の像を半透明で表示し、あるいは、車体２の形状を簡素化して表示したものであってよい。図５Ａａ～図７Ｂｃにおいては、図面が煩雑になるのを避けるため、車体２の外形（輪郭線）および車輪３の像を車両アイコン１ｉｃとして示す。図５Ａａ～図７Ｂｃでは、車両アイコン１ｉｃを半透過で重畳表示したイメージを示しているが、簡素化した車体２の輪郭線だけを、非透過で重畳表示しても良い。

図５Ａａにおいて、車両１の乗員がＨＭＩ装置２０上で床下透過表示を開始する操作を行ったとする。この場合、俯瞰画像生成部１０２は、撮像装置６が出力する最新の撮影画像を合成して最新の俯瞰画像ＶＲ（つまりリアルタイム画像）を生成する。俯瞰画像生成部１０２によるこれらの処理は、床下透過表示を実施中、継続的に行われる。このとき、表示制御部１０６は、俯瞰画像ＶＲにおける車両１の位置を示す車両アイコン１ｉｃを俯瞰画像ＶＲに付加してもよい。

また、俯瞰画像ＶＲは、車両１の前方の領域の像を含む。車両１の前方の複数の領域Ｒ１～Ｒ３は、図５Ａａの時点における最新の画像を用いて合成された画像部分である。

ただし、実際の俯瞰画像ＶＲ上においては複数の領域Ｒ１～Ｒ３の区別はされておらず、これらの区分、及びこれらの領域Ｒ１～Ｒ３に付された異なるハッチングは、説明の便宜上によるものである。複数の領域Ｒ１～Ｒ３には、車両１の前方へと延びる２列の轍ＴＲの画像が含まれている。

図５Ａａに示すように、表示画像生成部１０４は、床下透過表示を開始した直後の初期状態において、例えば車体２の床下を含む死角領域を黒画領域ＢＲで埋め、これを俯瞰画像ＶＲに付加して表示画像ＤＲを生成する。更に、表示制御部１０６は車両アイコン１ｉｃを表示画像に付加する。つまり、生成された表示画像ＤＲには、例えば最新の撮影画像を合成した俯瞰画像ＶＲ（つまりリアルタイム画像）、画像の存在しない黒画領域ＢＲ、及び車両アイコン１ｉｃが含まれる。

なお、黒画領域ＢＲは表示すべき画像が無い領域を黒一色で埋めたものであり、黒に限らず、灰色や白色で埋めても良い。その呼称は、色に合わせてグレーゾーンや白紙領域と呼んでも良いし、単に黒画と呼んでも良い。また、黒画領域ＢＲのうち車両アイコン１ｉｃが重畳表示される部分は、車両アイコン１ｉｃを半透過で表示する場合、車両アイコン１ｉｃの色が重なるので、見た目が黒になるとは限らない。

図５Ｂａは、図５Ａａの時点における実際の車両１の状態を示している。図５Ｂａには、車両１の状態を理解しやすくするため、背面から車両１を見た様子を示している。一方、図５Ａａは車両１の先端を中心とする範囲を俯瞰した表示画像ＶＲを示しており、立面図と平面図との関係になる。

図５Ａｂ及び図５Ｂｂは、図５Ａａ及び図５Ｂａの位置から車両１が前進した様子を示している。図５Ｂｂに示すように、車両１は、路面に形成された轍ＴＲの先端に差し掛かったところである。このとき、図５Ａｂに示す様に、車両１の先端は領域Ｒ１を超えて移動している。

なお、車両１の移動には平行移動と回転移動とが含まれうる。車両１が前方または後方へと直進する場合には車両１の移動は平行移動となる。舵角を付けて前進または後退する場合、車両１の移動は平行移動と回転移動との両方の組み合わせとなる。ここでは、車両１が直線的に前進する平行移動を行うものとする。

上記のように、車両１が前進し、先端部分が領域Ｒ１を超えて移動することで、領域Ｒ１は車両１の先端にある撮像装置６１の死角に入る。

図５Ａｂに示すように、俯瞰画像生成部１０２は、図５Ａｂの時点における最新の撮影画像を用いて、車両１の前方に位置する領域Ｒ２～Ｒ４を含む俯瞰画像ＶＲ（リアルタイム画像）を新たに生成する。

推定部１０５は、車輪速センサ４、加速度センサ５、及び舵角センサ８等の検知結果に基づいて、例えば図５Ａａの時点から図５Ａｂの時点までの車両１の移動方向および移動量を推定する。図５Ａｂの例では、推定部１０５は、領域Ｒ１の縦幅分、車両１が前方に移動したと推定する。

過去画像生成部１０３は、図５Ａｂの時点から所定時間遡った時点で生成された図５Ａａの俯瞰画像ＶＲを、記憶部１０７に記憶しておいたものを読み出し、読みだした過去の俯瞰画像から、図５Ａｂの時点では死角になっている領域Ｒ１の範囲を切り出して過去画像Ｐ１を生成する。つまり、過去画像Ｐ１は、図５Ａｂの俯瞰画像ＶＲ（リアルタイム画像）より前の、図５Ａａの時点で撮影された画像の一部である。

表示画像生成部１０４は、図５Ａｂの俯瞰画像ＶＲと、過去画像生成部１０３が生成した過去画像Ｐ１とを組み合わせ、更に黒画領域ＢＲの表示を付加した表示画像ＤＲを生成する。このとき、表示画像生成部１０４は、表示画像ＤＲにおける過去画像Ｐ１の位置を、図５Ａａの表示画像ＤＲにおける領域Ｒ１の位置から、推定部１０５が推定した車両１の移動方向および移動量に応じて移動させ、俯瞰画像ＶＲに接する位置に表示する。過去画像Ｐ１を切り出す範囲は、車両１の移動方向および移動量に応じて決めるので、記憶部１０７が記憶する図５Ａａの俯瞰画像ＶＲを、車両１の移動方向および移動量に応じて移動させ、図５Ａｂの俯瞰画像ＶＲ（リアルタイム画像）と重ならない部分を過去画像Ｐ１としても良い。

上述のように、車両１は領域Ｒ１の縦幅分、前方に移動している。このため、表示画像生成部１０４は、図５Ａａの領域Ｒ１の位置から領域Ｒ１の縦幅の分だけ、過去画像Ｐ１を車両１の後方へ移動させる。これにより、過去画像Ｐ１は図５Ａｂの時点における領域Ｒ１の位置に移動する。また、過去画像Ｐ１の生成に伴って、表示する画像が無い範囲は狭くなるので、表示画像生成部１０４は、黒画領域ＢＲの範囲を狭くする。

これにより、図５Ａｂの時点の最新の撮影画像から合成した俯瞰画像ＶＲ（リアルタイム画像）と、図５Ａａの時刻に撮影され、死角領域に嵌め込まれた過去画像Ｐ１と、過去画像Ｐ１の分だけ狭くなった黒画領域ＢＲとを含む表示画像ＤＲが生成される。なお、過去画像Ｐ１は、表示画像ＤＲにおいて、例えば車両アイコン１ｉｃを透過して表示される。

図６Ａａ及び図６Ｂａは、図５Ａｂ及び図５Ｂｂの位置から車両１が更に前進した様子を示している。図６Ｂａに示すように、車両１は、路面に形成された轍ＴＲに接近中であるが、前輪３１を含め車両１の車輪３はまだ轍ＴＲの先端に届いていない。車両１の先端部分は領域Ｒ２を越えて移動し、領域Ｒ１に加えて領域Ｒ２が撮像装置６の死角に入っている。

図６Ａａに示すように、俯瞰画像生成部１０２は、図６Ａａの時点における最新の画像を用いて、車両１の前方に位置する複数の領域Ｒ３～Ｒ５を含む俯瞰画像ＶＲ（リアルタイム画像）を新たに生成する。

推定部１０５は、車輪速センサ４、加速度センサ５、及び舵角センサ８等の検知結果に基づいて、図５Ａｂから図６Ａａまでの車両１の移動方向および移動量を算出し、例えば車両１が領域Ｒ２の縦幅分、前方に移動したと推定する。

過去画像生成部１０３は、図６Ａａの俯瞰画像ＶＲ（リアルタイム画像）に対して、所定時間前に生成された図５Ａｂの俯瞰画像ＶＲから、図６Ａａの時点で新たに死角となった領域Ｒ２の画像を切り出して過去画像Ｐ２を生成する。つまり、過去画像Ｐ２は、図６Ａａの時点から所定時間、遡った、図５Ａｂの時点で撮影された撮影画像を元に生成された画像である。

表示画像生成部１０４は、図６Ａａの俯瞰画像ＶＲ（リアルタイム画像）と、過去画像生成部１０３が図５Ａｂの時点で生成した過去画像Ｐ１と、図６Ａａの時点で生成した過去画像Ｐ２とを組み合わせ、更に黒画領域ＢＲの表示を付加した表示画像ＤＲを生成する。

このとき、表示画像生成部１０４は、表示画像ＤＲにおける過去画像Ｐ１の位置を、図５Ａｂの表示画像ＤＲにおける過去画像Ｐ１の位置から、推定部１０５が推定した車両１の移動方向および移動量である領域Ｒ２の縦幅分、車両１の後方へ向かって移動させる。

また、表示画像生成部１０４は、表示画像ＤＲにおける過去画像Ｐ２の位置を、図５Ａｂの表示画像ＤＲにおける領域Ｒ２の位置から、推定部１０５が推定した車両１の移動方向および移動量である領域Ｒ２の縦幅分、車両１の後方へ向かって移動させる。

上記処理により、過去画像Ｐ１は図６Ａａの時点における領域Ｒ１の位置に移動し、過去画像Ｐ２は図６Ａａの時点における領域Ｒ２の位置に移動する。なお、上記の様に過去画像Ｐ１と過去画像Ｐ２とを個別に生成してから各々移動するのではなく、一体として処理しても良い。例えば、図５Ａｂの時点で俯瞰画像ＶＲ（その時のリアルタイム画像）と過去画像Ｐ１とを一体化した合体画像を生成し、図６Ａａの時点で、合体画像を推定部１０５が推定した車両１の移動方向および移動量である領域Ｒ２の縦幅の分だけ移動させ、俯瞰画像ＶＲ（リアルタイム画像）と重ならない部分を、過去画像Ｐ１，Ｐ２（過去画像Ｐ１＋過去画像Ｐ２）としても良い。

上記のいずれかの処理により、図６Ａａの時点の最新の画像を合成した俯瞰画像ＶＲと、図５Ａａの時刻に撮影され、死角領域に嵌め込まれた過去画像Ｐ１と、図５Ａｂの時刻に撮影され、死角領域に嵌め込まれた過去画像Ｐ２と、過去画像Ｐ１，Ｐ２を嵌め込んだ分だけ狭くなった黒画領域ＢＲとを含む表示画像ＤＲが生成される。なお、これらの過去画像Ｐ１，Ｐ２には、表示画像ＤＲにおいて、例えば半透過の車両アイコン１ｉｃが重畳して表示される。

以上の処理を繰り返すことで、車体２の下方の死角に充てていた黒画領域ＢＲが、これまでに生成された俯瞰画像ＶＲの一部を切り出して生成した過去画像Ｐ１，Ｐ２・・・によって徐々に置き換えられていき、最終的には黒画領域ＢＲが全て過去画像に置き換わって、車体２の床下が見えているかのような表示画像ＤＲが得られる。

ここで、図６Ａａ及び図６Ｂａの状態とは異なる、スリップにより車輪３が轍ＴＲに落ちた場合の例を図６Ａｂ及び図６Ｂｂに示す。図６Ｂｂは、車両１が、轍ＴＲの左側を車輪３が通る様に走行していた時に、車輪３が轍ＴＲに滑り落ちた後の様子を示している。なお、左右の基準は車両１の進行方向であり、車両１の運転者の左手を左側、右手を右側と呼ぶ。

図６Ａｂは、図６Ｂｂの状態を反映し、過去画像Ｐ１，Ｐ２を生成した直後に車輪３が轍ＴＲに滑り落ちた場合の床下透過表示の例を示している。図６Ａｂに示すように、俯瞰画像ＶＲ（リアルタイム画像）に映った轍ＴＲは、それらを延長すると車輪３に重なる位置に表示されているが、過去画像Ｐ１，Ｐ２を生成した時には、車輪３は轍ＴＲに落ちていないので、過去画像Ｐ１，Ｐ２の上では車輪３は轍ＴＲの左側にある。つまり、車両１のスリップにより、俯瞰画像ＶＲ（リアルタイム画像）と過去画像Ｐ１，Ｐ２との位置関係が変わり、継ぎ目にずれが生じている。

例えば、轍ＴＲの画像で見ると、俯瞰画像ＶＲと過去画像Ｐ１，Ｐ２との継ぎ目で、轍ＴＲが左右にずれてしまっている。これは、俯瞰画像ＶＲにはスリップした後の車両１から撮影された画像が用いられ、過去画像Ｐ１，Ｐ２にはスリップする前の車両１から撮影された画像が用いられ、その間にスリップによる横方向への移動があるためである。

つまり、図６Ａｂの表示画像ＤＲ’では、過去画像Ｐ１，Ｐ２が、俯瞰画像ＶＲに対して車両１が滑った方向にずれて、轍ＴＲと、スリップした後の車両１との位置関係が把握し難い状態となっている。具体的には、過去画像Ｐ１，Ｐ２を見ると、車輪３は轍ＴＲに落ちていないので、乗員は、表示画像で見たままを信じて、車輪３は轍ＴＲに落ちていないと誤解する恐れがある。

実施形態の表示ＥＣＵ１０においては、このような車両１のスリップは推定部１０５により検出する。推定部１０５は、車輪速センサ４、加速度センサ５、及び舵角センサ８等の検知結果に、複数の車輪３同士で回転量の不整合、または車輪３の回転量と加速度センサ５が検知した加速度との不整合等が見られた場合には、これを滑り事象の発生として検出する。また、不整合の大きさを滑り量と呼び、滑り量が所定値を越えた場合に滑り事象の発生として検出する、と言っても良い。この所定値は、滑り量を評価する際の閾値である。

表示画像生成部１０４は、推定部１０５が滑り事象を検出すると、図６Ａｂに示す表示画像ＤＲ’に替えて、滑り事象が発生したことを示す処理を過去画像Ｐ１，Ｐ２に施して表示画像ＤＲを生成する。そのような表示画像ＤＲの生成例を図６Ａｃに示す。

図６Ａｃに示すように、滑り事象が検出されると、表示画像生成部１０４は、これまでに生成された過去画像Ｐ１，Ｐ２のうち、滑り事象の発生時刻より前の撮影時刻を有する過去画像、つまり、図６Ａｃの例では過去画像Ｐ１，Ｐ２を非表示とする処理を施して表示画像ＤＲを生成する。表示画像生成部１０４は、非表示とした過去画像Ｐ１，Ｐ２の範囲に、黒画領域ＢＲを広げる。

このように、過去画像Ｐ１，Ｐ２を非表示とする上記処理は、過去画像Ｐ１，Ｐ２に対して施される、滑り事象が発生したことを示す処理の一例である。図６Ａｃの様な車両１の床下が映っていない画像を見ると、見えていない床下部分の状態について想像力が働くので、リアルタイム画像に映った轍ＴＲの位置と、車輪３の位置とを見比べる事により、車輪３が轍ＴＲに嵌っていると推定できる。しかし、図６Ａｂの様に、車輪３が轍ＴＲに落ちていない様に見える画像を見ていると、脳は見えている事に対しては想像しようとしないので、今現在の車両１の床下が過去画像の様な状態だと誤解する恐れがある。つまり、図６Ａｃの様に、車両１の状態と合わない画像を表示させない事によって、乗員が車両１の状態を誤解する事が避けられる。

図７Ａａ及び図７Ｂａは、図６Ａｃ及び図６Ｂｃの位置から車両１が前進した様子を示している。図７Ｂａに示すように、車両１は、路面に形成された轍ＴＲにはまった状態で移動を継続中である。車両１の先端部分は領域Ｒ３を超えて移動し、領域Ｒ１，Ｒ２に加えて領域Ｒ３が撮像装置６１の死角に入る。

図７Ａａに示すように、俯瞰画像生成部１０２は、図７Ａａの時点における最新の撮影画像を用いて、車両１の前方に位置する複数の領域Ｒ４～Ｒ６を含む俯瞰画像ＶＲ（リアルタイム画像）を新たに生成する。

推定部１０５は、車輪速センサ４、加速度センサ５、及び舵角センサ８等の検知結果に基づいて、図６Ａｃから図７Ａａまでの車両１の移動方向および移動量を算出し、例えば車両１が領域Ｒ３の縦幅分、前方に移動したと推定する。

過去画像生成部１０３は、図７Ａａの俯瞰画像ＶＲ（リアルタイム画像）に対して、所定時間前に生成された図６Ａｃの俯瞰画像ＶＲから、図７Ａａの時点で新たに死角となった領域Ｒ３の画像を切り出して過去画像Ｐ３を生成する。つまり、過去画像Ｐ３は、図７Ａａの時点から所定時間、遡った、図６Ａｃの時点で撮影された撮影画像を元に生成された画像である。

表示画像生成部１０４は、図７Ａａの俯瞰画像ＶＲと、過去画像生成部１０３が新たに生成した過去画像Ｐ３とを組み合わせ、更に黒画領域ＢＲの表示を付加した表示画像ＤＲを生成する。

このとき、表示画像生成部１０４は、表示画像ＤＲにおける過去画像Ｐ３の位置を、図６Ａｃの表示画像ＤＲにおける領域Ｒ３の位置から、推定部１０５が推定した車両１の移動方向および移動量である領域Ｒ３の縦幅分、車両１の後方へ移動させる。上記処理により、過去画像Ｐ３は図７Ａａの時点における領域Ｒ３の位置に移動する。

ここでは、滑り事象の発生時刻より前の撮影時刻を有する過去画像、つまり、図５Ａａ及び図５Ａｂの時刻にそれぞれ撮影された過去画像Ｐ１，Ｐ２は非表示とする。そこで、過去画像Ｐ１，Ｐ２について移動などの処理を行わなくても良いが、移動などの処理を施した上で表示を禁止しても良い。なお、過去画像に移動などの処理を施した上で表示を禁止しておくと、車両の停止など、状況の変化に応じて消していた過去画像を再表示する場合に、表示禁止の解除だけすれば良いので、再表示の処理が容易になる利点がある。

過去画像Ｐ１，Ｐ２の表示を禁止した結果、図７Ａａの時点の最新の画像を合成した俯瞰画像ＶＲと、図６Ａｃの時刻に撮影され、死角領域に嵌め込まれた過去画像Ｐ３と、過去画像Ｐ３の分だけ、図６Ａｃの黒画領域ＢＲから狭くなった黒画領域ＢＲとを含む表示画像ＤＲが生成される。なお、過去画像Ｐ３は、表示画像ＤＲにおいて、例えば車両アイコン１ｉｃを透過して表示される。

図７Ａｂ及び図７Ａｃにおいても図７Ａａと同様の処理が繰り返されることで、車体２の下方の死角に充てていた黒画領域ＢＲが、滑り事象の発生時刻より後に生成された俯瞰画像ＶＲの一部を切り出して生成した過去画像Ｐ３，Ｐ４，Ｐ５によって再び置き換えられていき、最終的には黒画領域ＢＲが全て過去画像に置き換わって、車体２の床下が見えているかのような表示画像ＤＲが得られる。

このように、表示画像生成部１０４は、滑り事象が発生したことを示す処理を、撮影時刻が滑り事象の発生より前である１つまたは複数の過去画像に限定して施し、滑り事象が検出された場合であっても、撮影時刻が滑り事象の発生より後である１つまたは複数の過去画像に対しては滑り事象が発生したことを示す処理を施すことなく、俯瞰画像ＶＲと組み合わせて表示画像ＤＲを生成しても良い。滑り事象の発生時刻より後に生成された過去画像はずれていないので、誤解を与える恐れが無いからである。

なお、上述の図５Ａａ～図７Ｂｃでは、車両１が直線的に前進する例について説明したが、車両１が後退する場合、及び車両１が舵角を付けた回転移動を含む移動を行う場合にも、上記と同様に表示画像を生成することができる。舵角を付けた移動の場合、車両１の移動は移動距離と回転角とで特定される。また、前述の様に、俯瞰画像は四方の撮影画像を合成した全周囲画像でも良く、全周囲画像の場合、死角領域は車体２の下の領域である。

例えばステアリングホイールを左に切って車両１を前進させると、車両１の周囲の路面のうち、左前方にあった領域が車体２の下になり、どの撮像装置６からも死角になる。そこで、過去の俯瞰画像から車両の左前方の領域の画像を切り出して過去画像を生成する。

また、生成した過去画像を俯瞰画像と組み合わせる際には、車両１の代表点を定めて、その移動距離に応じて、生成した過去画像を移動させると良い。車両１の代表点は、例えば車両１の１対の後輪３２同士を結ぶ線分の中点でもよい。

このように定めた代表点の移動距離を車両１の移動距離として算出し、この移動距離の分だけ過去画像を平行移動させ、さらに、車両１の回転角の分だけ回転移動させる。これにより、車両１の移動によって死角となった領域に過去画像を当てはめることができる。

車両１が舵角を付けた移動を継続している間、上記の処理を繰り返すことで、車体２の床下の死角領域を埋めていた黒画領域ＢＲが、順次過去画像に置き換わっていき、最終的には黒画領域ＢＲが全て過去画像に置き換わって、車体２の床下が見えているかのような表示画像が得られる。

（車両の移動の推定例）
次に、図８～図１０を用いて、表示ＥＣＵ１０の推定部１０５で行われる車両１の移動方向および移動量の推定手法の詳細について説明する。

上述のように、車両１の移動には平行移動と回転移動とがあり、車両１の移動は、車両１の代表点の移動距離と、代表点を中心とする回転角とによって特定することが可能である。車両１の代表点は、上述のように、例えば１対の後輪３２を結ぶ線分の中点と定めても良い。

表示ＥＣＵ１０の推定部１０５は、例えばステアリングホイールの操舵角と、個々の車輪３の車輪速とから車両１の移動方向および移動量を推定する。ステアリングホイールの操舵角はステアリングホイールに付加された舵角センサ８から得られ、個々の車輪３の車輪速は個々の車輪３に付加された車輪速センサ４から各々、得られる。

個々の車輪３の車輪速から車両１の移動量を推定するため、推定部１０５はまず、車輪３の外周長を求める。車輪３の外周長は、車種および車輪３の型式だけでは定まらず、例えば車輪３の空気圧、及び時々の外気温等によっても変化する。このため、適宜、推定部１０５が演算により推定することが好ましい。車輪３の外周長の算出手法を図８に示す。

図８は、実施形態にかかる表示ＥＣＵ１０による車輪３の外周長の算出手法の一例を示す説明図である。ここで、車両１のナビゲーションシステムは適宜、衛星測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）から車両１の位置情報を得ている。

図８に示すように、推定部１０５は、例えば取得部１０１を介して、車両１が走行した任意の２地点Ａ，Ｂの位置、及び２地点Ａ，Ｂの間の距離Ｈの情報をナビゲーションシステムから取得する。これらの２地点Ａ，Ｂは、例えば車両１が信号待ちで停車した２地点の交差点でもよい。なお、２地点Ａ，Ｂを結ぶ道路がカーブを多く含むと、実際の走行距離が地図上の２点間の距離より短くなる事があるので、２地点Ａ，Ｂを道路の直線区間に置くと良い。

推定部１０５は、車両１が地点Ａから地点Ｂ間まで走行する間の車輪速センサ４の検知結果に基づいて、これらの２地点Ａ，Ｂ間における車輪３の回転数Ｎを算出する。また、推定部１０５は、２地点Ａ，Ｂ間における車両１の走行距離Ｈを２地点Ａ，Ｂ間における車輪３の回転数Ｎで割った値を求め、これにより、車輪３の外周長を得る。

現在では、ナビゲーションシステムが標準装備されている車両が多く、また、上述のように、ＨＭＩ装置２０がナビゲーションシステムと表示ＥＣＵ１０とで共用されることも一般的である。したがって、ナビゲーションシステムを利用した上記手法で車輪３の外周長を求めることとすれば、装置を追加する事無く、安価かつ簡便に車輪３の外周長を知ることができる。

なお、上記のような車輪３の外周長の算出手法は一例であって、推定部１０５が上記以外の手法によって車輪３の外周長を求めてもよい。

推定部１０５は、床下透過表示の実行中、車両１が所定区間を直進走行している場合には、例えば上記のように求めた車輪３の外周長と、車両１が上記の所定区間を走行する際の車輪３の回転数とを掛け合わせる。この回転数は、整数ではなく、小数部を持つ数値である。これにより、所定区間内における車両１の移動量を算出することができる。

同時に、推定部１０５は、回転方向の移動量も推定する。

図９は、実施形態にかかる表示ＥＣＵ１０による舵角を付けた移動を行う車両１の移動量の推定手法の一例を示す説明図である。

図９に示すように、例えば車両１が前輪駆動車である場合、１対の前輪３１を結ぶ線分の中点を前輪３１の代表点Ｐｔとしても良い。この前輪３１の代表点Ｐｔの移動ベクトルの方向は、駆動輪である前輪３１が向いた方向となる。なお、前輪３１が向いた方向は、前輪３１の回転軸に直行する方向と言い換えることもできる。

ここで、前輪３１の代表点Ｐｔと車両１の代表点Ｐｖとを結ぶ線分を車両１の前後軸Ａｘとし、車両１の前後軸Ａｘと車両１の前輪３１の移動ベクトルの方向とがなす角度を角度θとし、前輪３１の代表点Ｐｔの移動距離をＭとすると、車両１の前後軸Ａｘの方向に前輪３１の代表点Ｐｖが進む距離Ｍｆは、Ｍｆ＝Ｍ・ｃｏｓθで表され、車両１の前後軸Ａｘに直交する方向に前輪３１の代表点Ｐｖが進む距離Ｍｓは、Ｍｓ＝Ｍ・ｓｉｎθで表すことができる。

更に、前輪３１の代表点Ｐｖの、車両１の前後軸Ａｘに直交する方向への車両１の移動によって、車両１が代表点Ｐｖを中心として回転した角度φ（回転角φ）は、前輪３１と後輪３２との間の距離をＳとすると、タンジェントの逆関数を用いて、φ＝ａｒｃｔａｎ（Ｍｓ／Ｓ）により求めることができる。

以上により、舵角を付けて移動する車両１の回転量を推定することができる。また後輪３２の代表点Ｐｔの移動量Ｍｔと、車両１の前後軸Ａｘの方向に前輪３１の代表点Ｐｖが進む距離ＭｆとＭｔの差＝（Ｍｆ－Ｍｔ）を求める事により、車輪３の前後方向の滑り量を推定することも出来る。一般に駆動輪の回転数は非駆動輪の回転数より多いので、前輪駆動の場合はＭｆ＞Ｍｔ、後輪駆動の場合はＭｔ＞Ｍｆとなる。全ての車輪３が路面をグリップしていれば（Ｍｆ－Ｍｔ）の絶対値は小さな値に留まるが、（Ｍｆ－Ｍｔ）の絶対値が大きい時は、駆動輪の空転などの滑り事象があった、と判定して良い。

なお、前輪３１の代表点Ｐｖの移動方向を推定する際は、舵角センサ８の検知結果から特定した前輪３１が向いた方向を基準とするが、実際に前輪３１の代表点Ｐｖが移動する方向は、車輪３のいずれが駆動輪であるかによって変わる。図１０に駆動輪による移動方向の違いの例を示す。

図１０Ａ～図１０Ｃは、実施形態にかかる車両１の駆動輪の違いによる前輪３１の代表点Ｐｖの移動方向の違いを示す説明図である。

図１０Ａは、車両１が前輪駆動車である場合の例である。この場合、２つの後輪３２は連動せず、独立に回転するため、車体の回転に逆らう力を発生しない。そのため、上述のとおり、前輪３１の代表点Ｐｖは、駆動輪である前輪３１が向いた方向に移動する。

図１０Ｂは、車両１が後輪駆動車である場合の例である。駆動輪である左右の後輪３２は、１つのエンジンに機械的に接続されているため、連動して同じ回転数で回転しようとする。言い換えると、２つの後輪は同じ距離を進もうとする。このため、車両１を回転させようとすると、車両１を直進させようとする力、言い換えると、回転させまいとする反力が発生する。この反力が大きい車は、直進性が高い車と呼ばれる。車両１が後輪駆動車である場合、前輪３１の代表点Ｐｖは前輪３１が向いた方向に進もうとしても、これに逆らう反力があるため、前輪３１の代表点Ｐｖが移動する方向は、前輪３１が向いた方向から直進方向に若干ずれた方向となる。

図１０Ｃは、車両１が四輪駆動車である場合の例である。車両１が四輪駆動車である場合、前輪３１の代表点Ｐｖの移動方向は、車両１が前輪駆動車である場合の移動方向と、車両１が後輪駆動車である場合の移動方向との間の、どこかになる事が多く、どの方向になるかは諸条件によって異なる。

例えば、車両１の重心が前寄りで、前輪３１に加わる荷重のほうが後輪３２に加わる荷重よりも大きい場合、前輪３１の代表点Ｐｖの移動方向は前輪３１が向いた方向に近くなる。逆に、車両１の重心が後ろ寄りで、後輪３２に加わる荷重のほうが前輪３１に加わる荷重よりも大きい場合は、直進性が高くなるので、前輪３１の代表点Ｐｖの移動方向は、車両１が後輪駆動車である場合の移動方向に近くなる。また例えば、前輪３１がアイスバーンの上に乗っていてグリップを失った状態にあり、後輪３２だけが路面をグリップしているような場合には、前輪３１の代表点Ｐｖの移動方向は直進方向になる事がある。このような場合には、舵角を付けているにも関わらず２つの後輪３２の回転数が同じになるので、前輪３１が滑っている（滑り事象が発生している）と判定出来る。

このように、車両１の移動方向は前輪３１が向いた方向とずれることがあり、舵角が大きいほど移動方向のずれ、つまり角度差が大きくなる傾向にある。このような移動方向のずれは上述の滑り事象に含めることができる。この場合、滑り事象は、路面の摩擦係数μが低く、舵角が大きいほど起きやすい。摩擦係数μは、物体同士の滑りにくさを表したもので、１ｋｇの重りを引っ張るのに１ｋｇの力を要するときの摩擦係数μを１とする。

また、滑り事象は車両１が直進している場合にも起こりうる。この場合、車輪３の移動量が車両１の移動量と一致しないこととなる。このように、滑り事象は、車両１の移動方向と前輪３１が向いた方向とがずれる場合、及び車両１の移動方向と舵角が示す方向とがずれる場合等を含む。

すなわち、路面の状態、並びに車速および舵角などの条件によって、車輪３の移動量が車両１の移動量と一致せず、あるいは、車両１の移動方向が舵角の示す方向と一致しない場合がある。この場合、車輪速センサ４及び舵角センサ８等の各種センサからの出力値だけでは車両１の移動方向および移動量を正確に推定できないこととなる。滑り事象とは、このような事象を指すとも言える。

（滑り事象の検出手法の例）
次に、図１１及び図１２を用いて、表示ＥＣＵ１０の推定部１０５で行われる車両１の滑り事象の検出手法の詳細について説明する。

表示ＥＣＵ１０の推定部１０５は、例えば個々の車輪３から得られる車輪速と、加速度センサ５から得られる車両１の加速度とを照合するなどして、車両１に発生した滑り事象を検出する。

車両１の舵角がゼロで車輪３に滑り事象が生じていない場合、個々の車輪３から得られる車輪速は概ね一致する。また、車両１の舵角がゼロでない場合には、舵角に応じて内輪差が生じ、個々の車輪３に車輪速の差が生じるが、滑り事象が生じていない場合、車輪速の差は舵角に応じた所定の関係を維持する。このため、車両１に滑り事象が生じていない場合には、推定部１０５は車両１の移動量、及び移動方向を、概ね正しく推定できる。

例えば、車両１が一定の舵角を保って旋回する場合、車両１は後輪３２の車軸を延長した線上にある点を中心に回転し、個々の車輪３が移動する円の半径は、舵角によって決まる。全ての車輪３が路面をグリップしていて滑り事象が生じていない場合、個々の車輪３で観測される車輪速は、個々の車輪３が移動する円の半径に比例するので、車輪速の間の差（内輪差）は車両１の回転半径によって決まる。回転半径は舵角よって決まるので、内輪差は舵角によって決まると言って良い。舵角によって決まる内輪差と、個々の車輪３で観測される車輪速との間の差が所定の範囲内で一致していたら、滑り事象が生じていないと推定して良い。

一方で、いずれかの車輪３に滑り事象が発生すると、個々の車輪３に生じる車輪速の差が所定の関係から外れることとなる。例えば、車両１が後輪駆動車であって、前輪３１と路面とのグリップが弱く、横滑りしている場合には、車両１は舵角によって決まる回転半径よりも大きな回転半径で旋回する。すると、個々の車輪３で観測される車輪速の間の差（内輪差の実測値）が、舵角によって決まる回転半径で車両１が旋回した時の車輪速の差（内輪差の理論値）と異なるので、その差（舵角から算出した内輪差の理論値と内輪差の実測値との差）を所定の閾値と比較する事により、推定部１０５は、車両１に発生した滑り事象を検出することができる。

また、推定部１０５は、加速度センサ５の検知結果に基づいて滑り事象を検出してもよい。例えば、実施形態の車両１であれば、車両１の前後の加速度センサ５１，５２の検知結果を照合することで滑り事象を検出することができる。

一例として、車両１が回転移動の途中で急制動をかけた場合の、車両１の挙動と、加速度センサ５１，５２の検知結果について説明する。個々の車輪３が路面とのグリップを失うことなく車両１が停止した場合、急制動をかけたことによる加速度は、前後の加速度センサ５１，５２で同時にピークに達する。

しかし、減速によってノーズダイブと呼ばれる車体２の姿勢変化（車体２の慣性力が前輪３１を押し下げ、車体の後輪３２側が逆に上がる）が起きると、前輪３１の路面荷重が増して後輪３２の路面荷重が減る。すると、前輪３１が路面をグリップしたまま後輪３２が路面とのグリップを失い、車体２の後部が遠心力により横滑りする場合がある。この場合、後部の加速度センサ５２が観測する横方向の加速度は、後輪３２が横滑りしている間は小さく、後輪３２がグリップを取り戻したときにピークに達する。

ここで言う横滑りは滑り事象の一例である。横滑りは、車両１が舵角を付けて走行する際に、多かれ少なかれ発生する事象であるので、横滑りのうち、後述する滑り量が所定値より小さい場合は滑り事象が発生した、と判定しなくもよい。

後輪３２が横滑りして上記のような挙動を示す場合、車体２の前部は車体２の後部よりも先に停止状態に近づく（車体２の後部が横滑りしているため、完全な停止にはならない）ので、車体２の前部の加速度センサ５１が観測する加速度のピークは、後部の加速度センサ５１が観測する加速度のピークよりも早く観測される。この様に、推定部１０５は、車両１の前部と後部とで加速度のピークを観測したタイミングの差に基づいて、滑り事象（この例では横滑り）を検出することができる。

また、推定部１０５は、１つの加速度センサ（例えば５１，５２のうち一方）の検知結果のみに基づいて滑り事象を検出してもよい。図１１Ａ～図１２Ｂに、一方の加速度センサ５の検知結果を用いた滑り事象の検出手法の例を示す。

図１１Ａ～図１２Ｂは、実施形態にかかる表示ＥＣＵ１０による加速度センサ５の検知結果に基づく滑り事象の検出手法の一例を示す説明図である。図１１Ａ～図１２Ｂのグラフの横軸は、いずれも時間Ｔの経過を示している。図１１Ａ～図１２Ｂのうち、図１２Ａを除くグラフの縦軸は加速度センサ５が検知する横方向の加速度（横Ｇ）である。図１２Ａのグラフの縦軸は舵角センサ８の検知結果、つまり、舵角を示している。

図１１Ａ及び図１１Ｂは、例えば、圧雪状態となった雪で覆われた路面上で舵角を付けて曲がる際に、加速度センサ５が検知した加速度の時間変化を示しており、時刻ｔａの時点で横滑りが発生している。曲がっている時の車両１には、車両１の慣性力によって遠心力が発生しており、時刻ｔａの時点で横滑りが発生するまでは、車輪３が路面をグリップして遠心力に逆らっているので、この遠心力は加速度センサ５によって検知される。車輪３が路面に伝える力を、加速度センサ５が横Ｇとして検知すると言ってもよい。

時刻ｔａの時点で横滑りを始めると、加速度センサ５が検知する横Ｇが低下する。車輪３はグリップを失って、路面と車輪３との間の摩擦係数μが低下しているものの、路面に少し摩擦力が伝わっているので、車両１は少しずつ速度を低下させながら移動する。車両１が滑っている間は車両１が受ける力が小さいので、加速度センサ５が検知する横Ｇは小さくなる。車輪３がグリップを取り戻すと（図１１Ａでは時刻ｔｂ、図１１Ｂでは時刻ｔｂ’）、車輪３が路面に伝える力が大きくなるので、加速度センサ５が検知する横Ｇが再び大きくなる。つまり、横Ｇが小さい期間が滑っている期間である。これを滑り期間Ｔ１と呼んでも良い。滑り期間Ｔ１は、その期間の時間の長さで評価するので、滑り時間と言い換えても良い。

滑り期間Ｔ１が所定値以下の時は滑り事象と判定せず、滑り期間Ｔ１が所定値を越えた時に滑り事象を検出したとする場合、滑り事象を検出した時点は、滑り事象が発生した時点（図１１Ａおよび図１１Ｂのｔａ）よりも遅くなる。原則的には、滑り事象が発生した場合に表示を制限する過去画像の範囲は、撮影時刻が滑り事象の発生時点より前の過去画像とすべきである。但し、実用的な適用として、滑り事象を検出した時点を、滑り事象が発生した時点と見做しても良い。

例えば、図１１Ａで、滑り事象が発生した直後（時刻ｔａの少し後）に撮影した画像は、滑りによる画像の位置ずれが小さいので、乗員に誤解される恐れが小さいと考えられる。また、多くの場合、滑り事象を検出した時点と、滑り事象が発生した時点とに大差は無いので、峻別しなくても良い。

図１１Ａ及び図１１Ｂのグラフに、滑り期間Ｔ１を示す。図１１Ａは滑り期間Ｔ１が比較的短い場合を示し、図１１Ｂは滑り期間Ｔ１が比較的長い場合を示す。一般に滑り期間Ｔ１が長いほど車体２が滑った距離が長いと言える。また、車速が速いほど遠心力が大きくなるので、グリップを失った時の加速度の落ち込み量も大きくなる。よって、図１１Ａ及び図１１Ｂのグラフに示す滑り始め直後の加速度の落ち込み量ＤＰが大きいほど、滑っていく車体２の速度である滑り速度が速いことが推定される。そこで、例えば車体２が滑る速度を滑り速度Ｖ１とすると、以下のように滑り速度Ｖ１を推定することができる。

滑り速度Ｖ１＝比例係数Ｋ×加速度の落ち込み量ＤＰ・・・（１）
例えば車体２が滑った距離を滑り幅Ｌ１とすると、上記の式（１）に滑り期間Ｔ１を加味する事により、以下のように滑り幅Ｌ１を推定することができる。

滑り幅Ｌ１＝滑り速度Ｖ１×滑り期間Ｔ１・・・（２）

実施形態の表示ＥＣＵ１０では、滑り事象における滑り期間Ｔ１、または、滑り速度Ｖ１、または滑り幅Ｌ１を推定し、いずれかを所定の閾値と比較して、表示画像生成部１０４による処理内容を決定する。

そして、滑り期間Ｔ１または、滑り速度Ｖ１、または滑り幅Ｌ１が所定の閾値未満である場合は、滑り事象が発生したことを示す処理を施すことなく表示画像を生成する。また、滑り期間Ｔ１、または、滑り速度Ｖ１、または滑り幅Ｌ１が所定の閾値以上である場合には、１つまたは複数の過去画像に対して、滑り事象が発生したことを示す処理を施す。

滑り事象が発生したことを示す処理は、１つまたは複数の過去画像を非表示とする処理、または、滑り事象が発生したことを示す表示を付加する処理、のいずれかである、としても良い。滑り事象が発生したことを示す表示を付加する処理については後述する。

図１２Ａは、舵角を付けてカーブを通過する車両１の舵角を示し、図１２Ｂは、舵角を付けてカーブを通過する同じ車両１の加速度を示している。図１２Ａ及び図１２Ｂは、カーブを通過する際に断続的に車両１に横滑りが発生している場合の舵角と加速度の時間変化の例である。

車両１に滑り事象が発生していない場合、車両１には、車両１の速度と回転半径とに応じた遠心力が働く。車両１に滑り事象が発生していなければ、加速度センサ５からの出力値は、図１２Ａが示す舵角の変化と相似するグラフとなり、舵角と車速とから算出された遠心力の理論値は加速度と概ね一致する。

図１２Ｂに示すように、断続的に横滑りが発生している場合、加速度センサ５は遠心力を検知したりしなかったりを繰り返す。したがって、図１２Ｂに示す加速度センサ５の実際の出力値と、舵角と車速とから算出された遠心力の理論値とが大きく異なる場合、車両１が断続的に横滑りしていると推定することができる。

このような断続的な横滑りは、例えば車両１が未舗装の路面等を走行中に起こりうる。路面が未舗装であると、路面と車輪３とのグリップが一定しないので、左右方向の加速度は図１２Ｂのグラフのように断続的に変動する。図１２Ｂのグラフにおいては、例えば谷の部分で車輪３の横滑りが発生していると推定される。

また、車両１には、断続的な横滑りのほか、断続的な縦滑りが生じる場合もある。断続的な縦滑りは、例えば車両１が泥濘を掻きながら進むような場合に生じうる。断続的に縦滑りが生じている場合、加速度センサ５の出力値と、車輪速から算出された加速度の理論値との不一致から、縦滑りの検出が可能である。

例えば、車輪３が路面をグリップしている時に車輪速が上がったら、車両１は加速しているはずであり、その加速度は車輪速の時間変化から算出できる。しかし、車輪３が泥濘で滑っている場合には、車輪速が上がっても車両１は加速しないので、車輪速から算出される加速度と、加速度センサ５が出力する加速度との間に大きな差が生じる。

また、車輪３が回転しても車両１が加速しない状態が続いている時は、連続的な縦滑りが生じている、と判定して良い。また、アイスバーンの上で急制動し、大きな加速度を検知しないまま車輪速がゼロになった場合は、車速がゼロになった訳ではなく、車両１がアイスバーンの上を滑っていると推定できるので、連続的な縦滑りが生じている、と判定して良い。

このように、滑り事象が連続的または断続的に起きて、滑り事象の発生時点が特定しにくい場合や、滑り事象が長く続く場合には、過去画像の一部に滑り事象が発生したことを示す処理を施す事は適当でない。そこで、例えば、表示画像生成部１０４は、推定部１０５が連続的、または断続的な滑り事象を検出した場合には、俯瞰画像と組み合わせて表示させる全ての過去画像に滑り事象が発生したことを示す処理を施してもよい。

また、上述の図５Ａａ～図７Ｂｃに示す例のように、轍ＴＲの際（キワ）を移動していた車両１の車輪３が轍ＴＲに落ちた場合、加速度センサ５は、横方向の加速度（横Ｇ）とともに下方への加速度も検知する。推定部１０５は、上下方向の加速度から車両１に何らかの滑り事象が発生したことを検出してもよい。

なお、このように車輪３が深い轍ＴＲに落ちる様な場合には、車輪３が轍ＴＲに落ちると、車体２に取り付けられた撮像装置６と路面との距離が短くなる。すると、俯瞰画像の上で撮像装置６の真下の路面が他の部分より大きく映るため、車輪３が轍ＴＲに落ちる前の俯瞰画像とは、轍ＴＲの位置や幅が変わり、ずれのない連続的な合成画像とはなりえない。

そこで、推定部１０５が、水平方向の滑り量と上下方向の移動量を特定し、滑り量が所定値以上である場合に、上下方向の移動が無い場合には、水平移動による画像のずれを補正し、所定値以上の上下方向の移動がある場合には、滑り事象発生以前の過去画像を表示しない処理にしても良い。なお、実施形態の表示ＥＣＵ１０では、上下方向の移動の有無によらず、画像のずれ補正ではなく上述の表示を禁止する処理を施すこととしている。

以上のように、実施形態の表示ＥＣＵ１０では、例えば車輪速の差が所定値を超えたこと、前後の加速度センサ５１，５２におけるピークの観測時刻の差が所定値を超えたこと、または加速度の落ち込み量ＤＰが所定値を超えたこと、または上述の式（１）で求めた滑り速度Ｖ１が所定の閾値以上となったこと、または滑り期間Ｔ１が所定の閾値以上となったこと、または上述の式（２）で求めた滑り幅Ｌ１が所定の閾値以上となったこと、または舵角から算出した内輪差の理論値と内輪差の実測値との差が所定値を超えたこと、または車輪速から算出した加速度と観測した加速度の差が所定値を超えたこと、等を条件に、いずれかの車輪３がスリップしたと判定し、上述の図５Ａａ～図７Ｂｃに示すような表示画像生成部１０４による処理を実施することができる。

また、上記に加え、例えば車両１に急制動がかかった場合、または横方向に大きな加速度が発生しうる条件下などでは、滑り事象が発生したものと推定部１０５が推定するようにしてもよい。横方向に大きな加速度が発生しうる条件とは、車両１に横滑りが生じる可能性のある条件であり、例えば車速と舵角との積が一定値を超えたような場合である。

（表示ＥＣＵの処理例）
次に、図１３を用いて、実施形態の表示ＥＣＵ１０による表示処理の例について説明する。図１３は、実施形態にかかる表示ＥＣＵ１０による表示処理の手順の一例を示すフロー図である。

図１３に示すように、例えばＨＭＩ装置２０を介した乗員からの指示にしたがって、表示ＥＣＵ１０の各部は床下透過表示を開始する（ステップＳ１０１）。床下透過表示は、乗員からの指示によらず、車速が所定の速度閾値（例えば２０ｋｍ／ｈ）を下回った時に自動的に開始しても良い。

ステップＳ１０１では、取得部１０１は、撮像装置６から車両１の周辺の画像を取得する。俯瞰画像生成部１０２は、取得した画像を合成して俯瞰画像を生成する。表示画像生成部１０４は、当初は俯瞰画像と黒画領域とを組み合わせて表示画像を生成する。これ以降、過去画像生成部１０３は、それ以前に生成された俯瞰画像から過去画像を生成し、俯瞰画像と過去画像と黒画領域とを適宜組み合わせて表示画像を生成する。表示制御部１０６は、生成された表示画像を順次、ＨＭＩ装置２０に表示させる。

また、上記処理の間、推定部１０５は、車輪速センサ４、加速度センサ５、及び舵角センサ８等の検知結果に基づいて、車両１の移動方向および移動量を推定するとともに、車両１における滑り事象の発生を監視する（ステップＳ１０２）。車両１に滑り事象が検出されない場合（ステップＳ１０２：Ｎｏ）、表示ＥＣＵ１０の各部は床下透過表示を継続する（ステップＳ１０１）。

車両１に滑り事象が検出された場合（ステップＳ１０２：Ｙｅｓ）、推定部１０５は、それがスリップと言えるような大きな滑り事象であるか否かを判定する（ステップＳ１０３）。

この場合、推定部１０５は、例えば加速度の観測値の落ち込み量ＤＰに基づいて、その加速度の落ち込み量ＤＰが所定の閾値以上である場合に大きな滑り事象が発生したと判定してよい。あるいは、例えば滑り事象における滑り幅Ｌ１に基づいて、その滑り幅Ｌ１が所定の閾値以上である場合に大きな滑り事象が発生したと判定してよい。あるいは、推定部１０５は、例えば滑り事象における滑り期間Ｔ１に基づいて、その滑り期間Ｔ１が所定の閾値以上である場合に大きな滑り事象が発生したと判定してよい。

またあるいは、推定部１０５は、例えば加速度の落ち込み量ＤＰ及び滑り期間Ｔ１の両方を参照し、加速度の落ち込み量ＤＰ及び滑り期間Ｔ１の少なくとも一方が所定の閾値以上である場合に大きな滑り事象が発生したと判定してよい。またあるいは、推定部１０５は、例えば滑り事象における加速度の落ち込み量ＤＰ及び滑り期間Ｔ１の両方ともが所定の閾値以上である場合に大きな滑り事象が発生したと判定してもよい。

検出した滑り量が大きな滑り事象ではないと判定した場合（ステップＳ１０３：Ｎｏ）、表示ＥＣＵ１０の各部は床下透過表示を継続する（ステップＳ１０１）。

検出した滑り量が大きな滑り事象であると判定した場合（ステップＳ１０３：Ｙｅｓ）、推定部１０５は、滑り事象が発生した時刻Ｔ２を記憶部１０８に記憶させる（ステップＳ１０４）。これ以降、表示画像生成部１０４は、撮影された時刻が時刻Ｔ２以前の過去画像を非表示とする処理を施して表示画像を生成する（ステップＳ１０５）。また、表示ＥＣＵ１０の各部は床下透過表示を継続する（ステップＳ１０１）。

なお、表示ＥＣＵ１０は、以下のいずれかの条件に該当することとなるまで、ステップＳ１０１～Ｓ１０５の処理を継続する。以下のいずれかの条件に該当することとなった場合、表示ＥＣＵ１０は、上記のいずれのステップＳ１０１～Ｓ１０５からでも床下透過表示を終了する処理を行うことができる。

表示ＥＣＵ１０による床下透過表示の終了条件としては、表示ＥＣＵ１０の電源が停止された場合、イグニッションキー等により車両１の電源が停止された場合、車速が例えば２０ｋｍ／ｈ等の所定速度を超えた場合、乗員等によりナビゲーション画面の表示指示があった場合、及び乗員等により床下透過表示の終了指示があった場合等である。

また、床下透過表示の終了処理の手順は、上記のいずれの条件に該当したかによって異なる。車速が所定速度を超えた場合、またはナビゲーション画面の表示指示があった場合の終了処理としては、表示ＥＣＵ１０は、床下透過表示を終了してナビゲーション画面を表示させる。これら以外の終了条件に該当することとなった場合には、表示ＥＣＵ１０は、終了処理としてＨＭＩ装置２０の表示をオフする。

なお、上記以外の終了条件として、例えば乗員によるウィンカ操作があった場合等を加えてもよい。また、上記以外の終了処理として、例えばウィンカ操作があった場合に、床下透過表示を終了して車両１の側方を写した表示に切り替える等を加えてもよい。

（比較例）
例えば、上述の特許文献１の技術では、車輪の外周長に誤差があると車輪の移動量を算出する際に誤差が生じ、過去画像と俯瞰画像との継ぎ目、または過去画像同士の継ぎ目でずれが生じて、これらの画像が不連続になるという課題を解決することを目的としている。

上記課題を解決するため、特許文献１の技術では、２つの画像の継ぎ目付近を相互に比較して継ぎ目のずれ量を算出し、算出したずれ量から車輪の外周長の誤差を逆算して外周長を補正する。つまり、画像のずれ量を特定する事により、車両の移動量を特定（補正）する。継ぎ目付近での画像の比較には画像マッチング技術が用いられる。

画像マッチング技術では、本来、連続するはずの２つの画像の一方を、もう一方の画像に対して微小量ずつ移動させつつ、画素ごとの差の絶対値の総和を順次算出していく。これにより、２つの画像に含まれる像が重なり合ったときに上記総和が最小になるので、そのときの画像の移動量が２つの画像間のずれ量であることが判る。上記総和が小さい事を画像の一致率が高いと言い変えると、上記処理は画像の移動量を横軸とし、画像の一致率を縦軸とするグラフの上で、画像の一致率が最大値（ピーク値）となるような画像の移動量（ピークの位置）を特定する処理であるとも言える。このような処理は、マッチングによる移動量推定と呼称される。移動量推定により画像のずれが特定できれば、車両の移動量を特定できる。

上記処理に必要な演算回数は、（比較する画素数）×（画像の移動回数）になる。このとき、画像のずれる方向にはＸ方向とＹ方向とがあり、画像の移動はＸ方向とＹ方向との両方に対して行う必要がある。このため、より詳細には、上記総和の演算回数は、（比較する画素数）×（Ｘ方向への画像の移動回数）×（Ｙ方向への画像の移動回数）になる。更に、車体が回転している場合には、回転角の分だけ演算回数が倍加する。このように、画像のマッチング処理は、対象とするデータ量(画素数)が多いため、演算量が膨大である。

また、画像マッチング技術を用いた画像のずれ補正には他の課題もある。例えば、車両１が雪上、または泥濘の中を移動中の場合、画像マッチングで照合可能な対象物の像が継ぎ目部分に映っていないことがあり、この場合、画像マッチングで正しく移動量を特定することは困難である。連続するはずの２つの画像のマッチング処理を行う場合、これらの画像の継ぎ目部分にコントラストを有する物体等が映っていないと、移動量を変えても画像の一致率(つまり画素毎の差の総和)に明確な変化が現れないからである。

移動量推定により画像のずれが特定できなければ、車両の移動量を特定できない。画像マッチングで照合する継ぎ目部分の範囲を広げると、範囲内にコントラストを有する物体が映る確率が上がるが、照合する画素数に比例して演算量が増えるので、それも容易ではない。

また、画像に現れるコントラストは、路面に落ちた車体の影、または光線の反射等によって変化しうる。このため、画像の移動量に対する画像の一致率のグラフに現れたピークの位置が、正しい移動量を示しているとは限らない。画像に現れる物体の像が、例えば動物、水溜りに浮いた浮遊物、水面に映った太陽など、時々で画像に映り込む位置が変化する物の像であった場合や、あるいは路面から高さのある立体物であった場合も、像の位置が車両の移動以外の要因で変化するため、車両の移動量を正しく特定することが困難となる。

さらには、タイル舗装された路面のように、路面が規則性を有するパターンで覆われている場所を車両が移動する場合、車両の移動量を横軸とし、画像の一致率を縦軸とするグラフ上に、画像の一致率が局所的に最大値をとるローカルピークが複数現れるので、車両の移動量を特定することは困難である。

このように、例えば画像マッチング技術を用いて車両の移動量を特定し、車両の移動量に基づいて画像のずれを補正しようとすると、演算量が膨大で高コストの画像処理装置が必要であり、また、場合によって正しい補正ができないといった課題がある。

実施形態の表示ＥＣＵ１０によれば、車両１が滑る滑り事象が発生したことを推定部１０５が検出した場合、表示画像生成部１０４は、複数の過去画像のうち、滑り事象の発生時刻より前の撮影時刻を有する過去画像を非表示とする処理を施す。これにより、滑り事象により表示位置がずれる過去画像を表示しないので、乗員による誤認を抑制することができ、また、ずれ量を特定する為のマッチング処理を省くことができるので、コストを抑制できる。

実施形態の表示ＥＣＵ１０によれば、滑り事象が検出された場合であっても、滑り事象の発生時刻より後の撮影時刻を有する過去画像に対しては非表示とする処理を施すことなく俯瞰画像と組み合わせて表示画像を生成する。これにより、一旦、非表示となった領域でも、その後の過去画像によって補われていくので、やがて乗員が車両１の床下の最新の状況を把握することができるようになる。

実施形態の表示ＥＣＵ１０によれば、車両１によって検出された車輪３の回転量および加速度の少なくともいずれかに基づいて滑り事象を検出する。このように、滑り事象の検出にも画像マッチング等の高価な技術を用いることが無いので、安価な表示ＥＣＵ１０を構築することができる。

実施形態の表示ＥＣＵ１０によれば、検出した滑り事象の滑り幅Ｌ１が所定の閾値未満である場合には、その滑り事象の発生時刻より前の撮影時刻を有する過去画像であっても処理を施すことなく表示画像を生成し、上記の滑り幅Ｌ１が上記所定の閾値以上である場合には、上記過去画像を非表示とする処理を施して表示画像を生成する。

滑り幅Ｌ１が所定の閾値未満の軽度の滑り事象が発生した場合に所定の過去画像を非表示にしてしまうと、乗員に提示される情報量が減少し、却って車両１の状況把握が困難になってしまう場合が考えられる。そこで、上記のように、滑り幅Ｌ１が所定の閾値未満の場合には非表示処理を施すことなく過去画像の表示を継続することで、乗員による誤認を抑制しつつ、乗員が車両１の現状把握を容易に行うことが可能となる。

（変形例１）
次に、図１４Ａ及び図１４Ｂを用いて、実施形態の変形例１の表示ＥＣＵについて説明する。変形例１の表示ＥＣＵは、滑り事象が発生した場合、滑り事象が発生したことを示す表示を付加して表示画像を生成する点が、上述の実施形態の表示ＥＣＵ１０とは異なる。

図１４Ａ及び図１４Ｂは、実施形態の変形例１にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。

図１４Ａ及び図１４Ｂに示すように、変形例１の表示ＥＣＵでは、スリップと言えるような大きな滑り事象の発生を検出した場合、表示画像生成部は、例えばその滑り事象の発生時刻より前の撮影時刻を有する過去画像に、滑り事象が発生したことを示す表示を付加する処理を施して表示画像を生成する。

図１４Ａ及び図１４Ｂにおいては、スリップと言えるような大きな滑り事象が、過去画像Ｐ３の撮影時刻以前に起きたものとする。つまり、過去画像Ｐ１～Ｐ５のうち、過去画像Ｐ１～Ｐ３は滑り事象の発生時刻以前の撮影時刻を有し、過去画像Ｐ４，Ｐ５は滑り事象の発生時刻以後の撮影時刻を有するものとする。

図１４Ａの例では、変形例１の表示画像生成部は、滑り事象が発生したことを示す表示画像ＤＲａとして、例えば滑り事象が起きる前と後の画像の継ぎ目、つまり、過去画像Ｐ３，Ｐ４の継ぎ目に境界線ＤＶを表示し、境界線ＤＶにスリップ発生を知らせる警告ＷＲｓを付加する。なお、境界線ＤＶの付近の画像を見易くするため、境界線ＤＶに引き出し線を付加して、引き出し線の端に警告ＷＲｓを表示しても良いし、境界線ＤＶを指す吹き出しの中に警告ＷＲｓを表示しても良い。

また、滑り事象が起きる以前の画像の表示範囲、つまり、過去画像Ｐ１～Ｐ３の表示範囲に、俯瞰画像ＶＲ及び過去画像Ｐ４，Ｐ５がずれていることを示す警告ＷＲｍを表示してもよい。また、過去画像Ｐ１～Ｐ３の表示範囲を矢印ＡＲｓで示し、警告ＷＲｍの対象となっている範囲を表示してもよい。

図１４Ｂの例では、変形例１の表示画像生成部は、滑り事象が発生したことを示す表示として、例えば滑り事象が起きる以前の撮影時刻を有する過去画像Ｐ１～Ｐ３にハッチングＨＴを付け、過去画像Ｐ１～Ｐ３上にスリップ発生を知らせる警告アイコンＩＣｓを表示する表示画像ＤＲｂを生成する。

また、滑り事象が起きた後の撮影時刻を有する画像の表示範囲、つまり、俯瞰画像ＶＲ及び過去画像Ｐ４，Ｐ５の表示範囲に、表示の信頼性が高いことを示す注記ＮＴｃを表示してもよい。また、過去画像Ｐ４，Ｐ５を含む範囲を矢印ＡＲｃで表示して、表示の信頼性が高いことを示す注記ＮＴｃの対象である範囲を表示してもよい。

このように、過去画像Ｐ１～Ｐ３に対し、境界線ＤＶ、警告ＷＲｓ，ＷＲｍ、矢印ＡＲｓ、ハッチングＨＴ、警告アイコンＩＣｓ等を表示する変形例１の上記処理は、過去画像Ｐ１～Ｐ３に対して施される、滑り事象が発生したことを示す処理の一例である。

変形例１ではこのように、大きな滑り事象が発生した場合でも、表示内容が疑わしい事を示す表示、または信頼性が高い範囲を特定する表示を付加したうえで過去画像Ｐ１～Ｐ３の表示を継続する事により、表示位置がずれた過去画像を見て誤認する事を予防しつつ、過去画像を参考として、運転者が車両の状況を推測する事を可能にする。

なお、過去画像Ｐ１～Ｐ３にハッチングＨＴを付加する処理に替えて、過去画像Ｐ１～Ｐ３の輝度を、俯瞰画像ＶＲ及び過去画像Ｐ４，Ｐ５よりも低下させる処理等を行ってもよい。

また、変形例１に示す境界線ＤＶ、警告ＷＲｓ，ＷＲｍ、矢印ＡＲｓ，ＡＲｃ、ハッチングＨＴ、警告アイコンＩＣｓ、注記ＮＴｃ等の表示を施す処理を、滑り事象以前の過去画像を非表示とする上述の実施形態の処理と併用してもよい。

この場合、例えば閾値を２つ設け、推定部は、滑り事象における滑り期間Ｔ１、または、滑り速度Ｖ１、または滑り幅Ｌ１を推定し、表示画像生成部は、滑り期間Ｔ１、または、滑り速度Ｖ１、または滑り幅Ｌ１が、第１の閾値以上、かつ、第１の閾値より大きい第２の閾値未満である場合は、滑り事象が発生したことを示す処理として、１つまたは複数の過去画像に滑り事象が発生したことを示す表示を付加し、滑り期間Ｔ１、または、滑り速度Ｖ１、または滑り幅Ｌ１が、第２の閾値以上である場合は、滑り事象が発生したことを示す処理として、１つまたは複数の過去画像を非表示としても良い。

また、変形例１に示す各種表示に加えて、滑り事象が検出されなくとも、車両の状態が滑り事象の発生しやすい条件下、または滑り事象の発生が疑われる状況下に陥った場合には、少なくとも一部の過去画像がずれている可能性を示す表示を表示画像に付加してもよい。このような車両の状態としては、上述のように、例えば車両に急制動または大きな横Ｇが掛かった場合、車速と舵角との積が一定値を超えた場合等がある。

またこの場合、急制動、横Ｇ、並びに車速および舵角の検出値が大きいほど、過去画像のずれの可能性を示す表示を強調するようにしてもよい。これらの表示を強調するには、表示を点滅させたり、表示の輝度を高めたり、表示の色を強調色に変更したりといった処理が考えられる。

変形例１の表示ＥＣＵによれば、車両が滑る滑り事象が発生したことを推定部が検出した場合、表示画像生成部は、複数の過去画像のうち、滑り事象の発生時刻より前の撮影時刻を有する過去画像に、境界線ＤＶ、警告ＷＲｓ、矢印ＡＲｓ、ハッチングＨＴ、警告アイコンＩＣｓ等の表示を付加する処理を施す。

これにより、少なくとも一部の過去画像がずれていることを乗員に知らせつつ、ずれた過去画像の表示を継続するので、車両の置かれた状況についてより多くの情報を乗員に提示することができる。よって、乗員は、誤認する可能性を意識しつつ、より詳細に車両の床下の状況について推測することができる。また、例えば乗員が運転者自身であったような場合には、いっそう適切に車両を運転することが可能となる。

変形例１の表示ＥＣＵによれば、検出した滑り事象の滑り幅Ｌ１が所定の閾値未満である場合には、その滑り事象の発生時刻より前の撮影時刻を有する過去画像であっても処理を施すことなく表示画像を生成し、上記の滑り幅Ｌ１が上記所定の閾値以上である場合には、上記過去画像に、境界線ＤＶ、警告ＷＲｓ、矢印ＡＲｓ、ハッチングＨＴ、警告アイコンＩＣｓ等の表示を付加する処理を施す。所定の閾値は、運転に関わる判断を変えなくとも良い程度の滑り幅である事を条件に設定し、例えば横滑りに対してはタイヤの幅の半分、一例として１０ｃｍを閾値としても良い。所定の閾値は縦滑りと横滑りとに対して別の値を設定してもよく、例えば縦滑りに対する閾値を２０ｃｍとしても良い。

例えば軽度の滑り事象が発生した場合にも、所定の過去画像に対して滑り事象が発生したことを示す表示を行うと、却って乗員を混乱させてしまう恐れがあるし、過度に敏感で過剰な警告であると乗員に思われると、警告を表示しても適切に運転に反映されなくなる恐れがある。そこで、上記のように、滑り幅Ｌ１が所定の閾値未満の場合には過去画像に対して滑り事象が発生したことを示す表示を施さないことで、乗員による誤認を抑制しつつ、乗員が車両の現状把握を容易に行うことが可能となる。

変形例１の表示ＥＣＵによれば、検出した滑り事象の滑り幅Ｌ１が１つ目の閾値未満である場合には、その滑り事象の発生時刻より前の撮影時刻を有する過去画像であっても処理を施すことなく表示画像を生成し、上記の滑り幅Ｌ１が上記１つ目の所定の閾値以上、かつ１つ目の閾値より大きい２つ目の閾値未満である場合には、上記過去画像に、境界線ＤＶ、警告ＷＲｓ、矢印ＡＲｓ、ハッチングＨＴ、警告アイコンＩＣｓ等の表示を付加する処理を施し、上記の滑り幅Ｌ１が上記２つ目の所定の閾値以上である場合には、上記過去画像を非表示とする処理を施す。

このように、滑り幅Ｌ１に対して複数の閾値を設け、表示画像における処理を適宜異ならせることで、よりいっそう適正な情報を乗員に提示することができる。

変形例１の表示ＥＣＵによれば、その他、上述の実施形態と同様の効果を奏する。

（変形例２）
次に、図１５Ａ及び図１５Ｂを用いて、実施形態の変形例２の表示ＥＣＵについて説明する。変形例２の表示ＥＣＵにおいては、滑り事象が発生した場合、滑り事象が発生したことを示す表示であって、上述の変形例１とは異なる表示を付加して表示画像を生成する点が、上述の実施形態の表示ＥＣＵ１０とは異なる。

図１５Ａ及び図１５Ｂは、実施形態の変形例２にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。

図１５Ａにおいては、上述の図１４Ａ及び図１４Ｂと同様、スリップと言えるような大きな滑り事象が、過去画像Ｐ３の撮影時刻以前に起きたものとする。推定部は、滑り事象における滑り方向を推定し、表示画像生成部は、滑り事象が発生したことを示す処理として、１つまたは複数の過去画像に滑り方向を示す表示を付加しても良い。

図１５Ａの例では、変形例２の表示画像生成部は、滑り事象が発生したことを示す表示として、例えば滑り事象が起きる以前の撮影時刻を有する過去画像Ｐ１～Ｐ３上に、滑り方向を示す表示として、これらの過去画像Ｐ１～Ｐ３が滑り事象によってずれた方向を示す矢印ＡＲｄを表示する表示画像ＤＲｃを生成する。過去画像Ｐ１～Ｐ３がずれた方向は、加速度センサによって検知された加速度から推定することができる。

例えば、図１５Ａの例では車輪が右側に滑って轍に落ちているので、加速度センサは車輪が右側に滑る時に右方向への加速度を検知し、車輪が轍に落ちて横方向の動きが止まる時に左方向への加速度を検知するので、この加速度の時間変化から、車体が右方向にスリップしたと判定できる。

矢印ＡＲｄは、複数の過去画像Ｐ１～Ｐ３ごとに表示してもよく、過去画像Ｐ１～Ｐ３の表示範囲に複数の矢印ＡＲｄを等間隔で並べて表示してもよい。また、図１５Ａの例の様に、車体がずれた方向を図示しても良いし、乗員の脳内、または表示画像上でずれた過去画像の位置を正しい位置に戻す事を前提として、ずれた過去画像を戻すべき方向を図示しても良い。ずれた過去画像の位置を表示画像上で戻す処理については後述する。

このとき、過去画像Ｐ１～Ｐ３のずれ量によって矢印ＡＲｄの長さを変えてもよい。つまり、例えばずれ量が大きいほど矢印ＡＲｄを長くすることができる。過去画像Ｐ1～Ｐ３のずれ量は、滑り事象の発生を示す上記の加速度の大きさから推定することができる。なお、矢印ＡＲｄの長さは、ずれ量に依存せず一定であっても良いし、ずれ量に応じて長さを変える場合も、ずれ量に比例させなくとも良い。車幅の半分を超えるような大きなずれ量を示す矢印を、レイアウトを変えずに表示する事は困難であるので、例えば矢印ＡＲｄの長さを長短の２段階にして、ずれ量が所定値を超えたら長い矢印を表示する様にしても良い。

また、図１５Ａの例においても、上述の図１４Ａと同様、例えば滑り事象が起きる前と後の過去画像Ｐ３，Ｐ４の継ぎ目に境界線ＤＶを表示してもよい。

また、滑り事象が複数回に亘って発生した場合には、それぞれの滑り事象の発生時刻に対応させて矢印ＡＲｄを表示してもよい。図１５Ｂは、滑り事象が複数回発生した場合の例を示している。図１５Ｂにおいては、スリップと言えるような大きな滑り事象が、過去画像Ｐ２の撮影時刻以前に１回、過去画像Ｐ３の撮影時刻以前にもう１回起きたものとする。

図１５Ｂに示すように、変形例２の表示画像生成部は、滑り事象が複数回発生した場合、それぞれの滑り事象を示す表示を付加して表示画像ＤＲｄを生成する。すなわち、変形例２の表示画像生成部は、１回目の滑り事象の発生時刻以前の過去画像Ｐ１，Ｐ２の表示範囲と、１回目の滑り事象の発生後であって２回目の滑り事象の発生時刻以前の過去画像Ｐ３の表示範囲とに、それぞれ矢印ＡＲｄ１，ＡＲｄ２を付加する。

表示画像生成部は、滑り事象が発生したことを示す処理として、１つまたは複数の過去画像に滑り事象が発生した回数を示す表示を付加しても良い。例えば、複数回の滑り事象ごとに矢印ＡＲｄ１，ＡＲｄ２の長さを変えてもよい。つまり、例えば滑り事象の発生回数が増すほど、それに対応する矢印の長さを長くすることができる。

図１５Ｂの例では、領域Ｐ１と領域Ｐ２とに付記した矢印ＡＲｄ１は、１回目と２回目の滑り事象で２回滑っている事を表すため、２回目の滑り事象で１回だけ滑っている領域Ｐ２に付記した矢印ＡＲｄ２よりも長く表示している。また、２回滑った事を示すために、矢印の長さを１回の矢印の２倍にしたり、矢印を二重線で表示したり、矢印に「×２」を付記して、滑り事象の回数を表示したりしても良い。

また、それぞれの滑り事象に対応する位置、つまり、１回目の滑り事象が起きる前と後の過去画像Ｐ２，Ｐ３の継ぎ目と、２回目の滑り事象が起きる前と後の過去画像Ｐ３，Ｐ４の継ぎ目とに、それぞれ境界線ＤＶａ，ＤＶｂを表示してもよい。

複数回の滑り事象ごとに、矢印ＡＲｄ１，ＡＲｄ２及び境界線ＤＶａ，ＤＶｂ等を付加することで、これまでに発生した滑り事象の履歴を表示画像ＤＲｄに残すことができ、これまでに滑り事象が発生した回数を表すことができる。また、境界線ＤＶａに「１回目」，ＤＶｂに「２回目」と付記しても良い。

このように、過去画像Ｐ１～Ｐ３に対し、境界線ＤＶ，ＤＶａ，ＤＶｂ及び矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等を表示する変形例２の上記処理は、過去画像Ｐ１～Ｐ３に対して施される、滑り事象が発生したことを示す処理の一例である。変形例２においてもこのように、大きな滑り事象が発生した場合でも、視認性を維持することが可能な表示を付加したうえで過去画像Ｐ１～Ｐ３の表示を継続する。

なお、表示画像生成部は、車両の速度が所定値未満の場合、または車両の乗員による操作があった場合には、１つまたは複数の過去画像に施した処理の少なくとも一部を解除するか、または変更しても良い。

この場合、例えば車両が１ｋｍ／ｈ以上で走行中は、実施形態の非表示処理を施し、車両の速度が１ｋｍ／ｈ未満に低下、または車両が完全に停止したら、実施形態の非表示処理を解除しても良いし、実施形態の非表示処理を変形例２に示す処理に変更して、矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等を付したうえで、非表示となっていた過去画像を表示させても良い。また、車両の乗員による操作があった場合にも、上記の処理の解除や処理の変更を行っても良い。

このときに、表示画像生成部は、車両の速度が所定値未満の時に、車両の乗員による操作があった場合には、車両の速度が所定値を超えても、処理の解除または変更を、取り消さない様にしても良い。例えば車両が１ｋｍ／ｈ以上で走行中は過去画像の表示を禁止し、車両の速度が１ｋｍ／ｈ未満に低下した時に、滑り事象が発生したことを示す表示を付加する処理に変更すると同時に、乗員による確認操作を受け付けるボタンを表示し、乗員が上記ボタンを押して確認操作を行った後は、車両の速度が再び１ｋｍ／ｈ以上となった場合でも、過去画像の表示を継続してもよい。乗員が確認した時点で過去画像のずれを認識している、と考えられるので、過去画像を継続的に表示させていても新たな誤認が起きる可能性は低く、過去画像を表示する事のメリットが、誤解によるデメリットを上回ると期待できるからである。

また、車両の速度が１ｋｍ／ｈ未満に低下、または車両が完全に停止した場合等に行う上記処理において、変形例２の処理に替えて、上述の変形例１の処理を施してもよい。

このように、例えば車両が停車したタイミングで、非表示となっていた過去画像を表示させることにより、乗員に、過去画像のずれの状況等を確認するよう、促すことができる。

ただし、乗員が運転者自身である場合、車両の走行中にこのような操作をさせる事は好ましくない。そこで、上述のように、車両の速度が所定値未満であることを条件として操作を受け付け可能にすると良い。なお、ＨＭＩ装置２０が助手席側に設置されていて、運転者とは異なるナビゲーターが操作する事が前提である場合には、操作を常に受け付けても良いし、車速に応じて滑り事象以前の過去画像を表示しない制御を禁止（つまり、滑り事象が発生したことを示す処理を加えて、常に表示）するように設定しても良い。

また、上述の変形例１で述べた例と同様に、滑り期間Ｔ１及び滑り幅Ｌ１の少なくともいずれかに２つ以上の閾値を設け、これらの閾値と滑り期間Ｔ１及び滑り幅Ｌ１等との大小関係に応じて、過去画像に施す処理を実施形態の処理と変形例２の処理とで切り替えることも可能である。

このような場合にも、大きな滑り事象が検出されて過去画像を非表示とした場合には、例えば車両の速度が１ｋｍ／ｈ未満に低下し、または車両が完全に停止した後に、過去画像の非表示処理を解除し、これらの過去画像に対して、変形例１の境界線ＤＶ、警告ＷＲｓ，ＷＲｍ、矢印ＡＲｓ，ＡＲｃ、ハッチングＨＴ、警告アイコンＩＣｓ、注記ＮＴｃ等の表示、または、変形例２の矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等の表示を付加した表示画像に切り替えるようにしてもよい。

ただし、中程度の滑り事象が検出されて過去画像に変形例１または変形例２の表示を行った場合には、これらの表示を行っている間であっても過去画像の視認性は維持される。したがって、例えば車両の速度によらず滑り事象以前の過去画像を表示し、表示の切り替えを行わない様にしてもよい。

また、実施形態の処理と変形例１，２の処理とを併用する場合において、実施形態の処理による表示と、変形例１の処理による表示と、変形例２の処理による表示とを乗員が選択可能であってもよい。この場合、実施形態および変形例１，２の表示の中から、乗員が予め所望の表示手法を選択可能であってよい。あるいは、車両の停車時等に、実施形態および変形例１，２の表示を乗員が相互に切り替え可能であってもよい。なお、車両の走行中に運転者がＨＭＩ装置を操作すると危険なので、助手席が空席である場合には、車両の停車時に限って切り替え操作を受け付けると良い。

変形例２の表示ＥＣＵによれば、滑り事象における滑り方向を推定し、１つ以上の過去画像に滑り方向を示す矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等を付加する前記処理を施す。このように、乗員が過去画像のずれ方向も認識することができるので、乗員による誤認を抑制しつつ、乗員がより詳細に車両の状況について認識することができる。また、変形例２の表示が付加された表示画像においては、ずれた過去画像の視認性が維持されているため、大きな滑り事象が発生した場合であっても、より多くの情報を乗員に提示することができる。

変形例２の表示ＥＣＵによれば、車両が停止した後に車両の乗員による操作があった場合には、滑り事象が発生したことを示す表示を付加しつつ、１つ以上の過去画像の表示を許可する等、車両の走行中に過去画像に施した処理の少なくとも一部を解除する。これにより、少なくとも一部の過去画像がずれたことを乗員に知らせつつ、ずれた過去画像が表示されるので、車両の置かれた状況についてより多くの情報を乗員に提示することができる。

変形例２の表示ＥＣＵによれば、１つ以上の過去画像に滑り事象が発生した回数を示す矢印ＡＲｄ１，ＡＲｄ２及び境界線ＤＶａ，ＤＶｂ等を付加する処理を施す。これにより、乗員がこれまでに発生した滑り事象の履歴を追うことができ、乗員による誤認を抑制しつつ、乗員がより詳細に車両の状況について認識することができる。

変形例２の表示ＥＣＵによれば、検出した滑り事象の滑り幅Ｌ１が所定の閾値未満である場合には、その滑り事象の発生時刻より前の撮影時刻を有する過去画像であっても処理を施すことなく表示画像を生成し、上記の滑り幅Ｌ１が上記所定の閾値以上である場合には、上記過去画像に、滑り方向を示す矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等の表示を付加する処理を施す。

上述のように、軽度の滑り事象が発生した場合に、所定の過去画像に対して滑り事象が発生したことを示す表示を行うと、却って乗員を混乱させたり、検知が過敏で警告が過剰であると受け取られてしまったりする恐れがある。そこで、滑り幅Ｌ１が所定の閾値未満の場合には過去画像に対して滑り事象が発生したことを示す表示を施さないことで、乗員による誤認を抑制しつつ、乗員が車両の現状把握を容易に行うことが可能となる。

変形例２の表示ＥＣＵによれば、検出した滑り事象の滑り幅Ｌ１が１つ目の閾値未満である場合には、その滑り事象の発生時刻より前の撮影時刻を有する過去画像であっても処理を施すことなく表示画像を生成し、上記の滑り幅Ｌ１が上記１つ目の所定の閾値以上、かつ１つ目の閾値より大きい２つ目の閾値未満である場合には、上記過去画像に、滑り方向を示す矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等の表示を付加する処理を施し、上記の滑り幅Ｌ１が上記２つ目の所定の閾値以上である場合には、上記過去画像を非表示とする処理を施す。

このように、滑り幅Ｌ１に対して複数の閾値を設け、表示画像における処理を適宜異ならせることで、よりいっそう適正な情報を乗員に提示することができる。

変形例２の表示ＥＣＵによれば、その他、上述の実施形態と同様の効果を奏する。

（変形例３）
次に、図１６Ａ及び図１６Ｂを用いて、実施形態の変形例３の表示ＥＣＵについて説明する。変形例３の表示ＥＣＵにおいては、連続的または断続的な滑り事象が発生したことを示す表示を付加して表示画像を生成する点が、上述の実施形態の表示ＥＣＵ１０とは異なる。

車両１に連続的または断続的に滑り事象が発生しているような場合、滑り事象の発生時刻、滑り期間Ｔ１、及び滑り幅Ｌ１等を特定することが困難な場合がある。

上述のように、このような連続的または断続的な滑り事象は、例えば未舗装で泥濘となった路面、砂利が敷かれた路面、圧雪状態の雪で覆われた路面等を車両が走行しているときに発生しうる。このような場合であっても、複数の車輪間の回転量の不整合、車輪の回転量と車体が検知した加速度との不整合等によって滑り事象の発生自体は検出可能である。

変形例３の表示ＥＣＵの推定部は、上記のような場合、個々の車輪の車輪速センサから駆動輪の車輪速と被駆動輪の車輪速とを取得して滑り率を算出する。滑り率は以下の式（２）で算出され、上述の滑り期間Ｔ１及び滑り幅Ｌ１と同様、滑り事象の大きさを規定する指標となる。

滑り率（％）＝（駆動輪の車輪速÷非駆動輪の車輪速－１）×１００・・・（２）

式（２）に示すように、駆動輪と非駆動輪との車輪速の差を滑り率として規定することで、連続的または断続的に生じる滑り事象の大きさを定量的に推定することができる。例えば、舗装された路面を常に車輪がグリップした状態で走行中であれば、滑り率は例えば１％未満となる。一方、駆動輪が砂利または泥を掻いているような場合には、滑り事象が連続的または断続的に発生している状態である。このため、滑り率は例えば数％に達する。

図１６Ａ及び図１６Ｂは、実施形態の変形例３にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。

図１６Ａ及び図１６Ｂにおいては、車両１に連続的または断続的に滑り事象が発生しており、加速度センサの検知結果に明瞭な滑り期間Ｔ１が現れていないものとする。表示画像生成部は、推定部が連続的、または断続的な滑り事象を検出した場合には、俯瞰画像と組み合わせて表示させる全ての過去画像に滑り事象が発生したことを示す処理を施しても良い。

図１６Ａ及び図１６Ｂに示すように、変形例３の表示ＥＣＵでは、滑り期間Ｔ１の特定が困難な連続的または断続的な滑り事象を検出した場合、表示画像生成部は、複数の過去画像のうち、俯瞰画像と組み合わせて表示させる全ての過去画像に、滑り事象が発生したことを示す処理を施して表示画像を生成する。図１６Ａ及び図１６Ｂの例では、これまでに生成された複数の過去画像のうち、過去画像Ｐ１～Ｐ５が俯瞰画像ＶＲと組み合わせて表示画像に表示されている。

図１６Ａの例では、変形例３の表示画像生成部は、滑り事象が発生したことを示す表示として、例えば過去画像Ｐ１～Ｐ５の表示範囲全体を矢印ＡＲｗで表示し、スリップ発生を知らせる警告ＷＲｓを矢印ＡＲｗ上に表示する表示画像ＤＲｅを生成する。また、過去画像Ｐ１～Ｐ３の表示がずれていることを示す警告ＷＲｍを矢印ＡＲｗ上に表示してもよい。

図１６Ｂの例では、変形例３の表示画像生成部は、滑り事象が発生したことを示す表示として、例えば過去画像Ｐ１～Ｐ５の表示範囲にスリップ発生を知らせる警告アイコンＩＣｓを表示する表示画像ＤＲｆを生成する。

このように、全ての過去画像Ｐ１～Ｐ５に対し、警告ＷＲｓ，ＷＲｍ、矢印ＡＲｓ、警告アイコンＩＣｓ等を表示する変形例３の上記処理は、過去画像Ｐ１～Ｐ５に対して施される、滑り事象が発生したことを示す処理の一例である。変形例３では、例えば滑り期間Ｔ１の特定が困難な滑り事象が発生した場合でも、このように、ずれた過去画像を特定することなく滑り事象が発生したことを示す処理を過去画像Ｐ１～Ｐ５に施す。

なお、変形例３に示す警告ＷＲｓ，ＷＲｍ、矢印ＡＲｓ、警告アイコンＩＣｓ等の表示の強調度合いを、検出された滑り事象の大きさ（例えば、滑り率）に応じて変化させてもよい。

上記表示を強調するには、表示を点滅させたり、表示の輝度を高めたり、表示の色を強調色に変更したりといった処理が考えられる。滑り事象の大きさは、例えば滑り率または滑り事象検出時の車両の舵角等から判定することができる。つまり、例えば滑り率または車両の舵角が大きくなるほど、上記表示の強調度合いを高めるようにすることができる。

変形例３の表示ＥＣＵによれば、推定部が連続的に、または断続的に滑り事象を検出した場合には、複数の過去画像のうち、俯瞰画像と組み合わせて表示させる全ての過去画像に、滑り事象が発生したことを示す処理を施す。これにより、例えば滑り期間Ｔ１の特定が困難な場合であっても、ずれた過去画像があることを乗員に提示することができる。

変形例３の表示ＥＣＵによれば、その他、上述の実施形態と同様の効果を奏する。

（変形例４）
次に、図１７Ａ及び図１７Ｂを用いて、実施形態の変形例４の表示ＥＣＵについて説明する。変形例４の表示ＥＣＵにおいては、ずれた過去画像を乗員が補正可能である点が、上述の実施形態の表示ＥＣＵ１０とは異なる。

図１７Ａ及び図１７Ｂは、実施形態の変形例４にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。図１７Ａ及び図１７Ｂにおいては、過去画像Ｐ１～Ｐ３に対して滑り事象が発生したことを示す処理を施した表示画像ＤＲｇの一部を示している。

図１７Ａに示すように、変形例４の表示画像生成部は、ずれた過去画像Ｐ１～Ｐ３と、ずれていない過去画像Ｐ４，Ｐ５との継ぎ目に境界線ＤＶを表示する表示画像ＤＲｇを生成する。表示処理装置は、表示装置に対するタッチ操作を検出する検出部を更に備え、表示画像生成部は、車両の乗員によるタッチ操作に応じて表示画像内における１つまたは複数の過去画像の表示位置を移動する処理を行なっても良い。

例えば、図１７Ａの例において、車両のＨＭＩ装置に表示された表示画像ＤＲｇがタッチされたものとする。変形例４の表示ＥＣＵは、上述の実施形態の表示ＥＣＵにおいて、ＨＭＩ装置２０のタッチパネルがタッチされたことを検出する検出部１０７に相当する構成を備える。

変形例４の検出部は乗員等による上記タッチ操作を検出し、変形例４の表示画像生成部は、表示画像ＤＲｇ上のタッチ操作が検出された箇所に例えば手指の形をした手指アイコンＩＣｐを表示させる。

図１７Ｂに示すように、乗員が、表示画像ＤＲｇにおいて、ずれた過去画像Ｐ１～Ｐ３の表示範囲をタッチし、タッチしたままドラッグすると、変形例４の表示画像生成部は、そのようなタッチ操作に応じて手指アイコンＩＣｇを移動させるとともに、表示画像ＤＲｇ内における過去画像Ｐ１～Ｐ３の表示位置を手指アイコンＩＣｇと同じだけ移動させる処理を行う。

ヒトの認識能力は優れているので、例えば画像に動いている動物が映り込んでいる場合等、画像マッチングでは正しい移動量推定が困難な場合であっても、ヒトは動物と路面とを見分けることが出来るので、動物の動きに惑わされることなく、表示画像ＤＲｇにおける過去画像Ｐ１～Ｐ３のずれを正しく認識できる。このため、乗員のタッチ操作に応じて過去画像Ｐ１～Ｐ３の表示位置を移動させることで、これらの過去画像Ｐ１～Ｐ３におけるずれが補正される。

表示画像生成部は、上記タッチ操作の後に乗員の指が離れたときの表示位置を有する過去画像Ｐ１～Ｐ３を含む表示画像ＤＲｇを最新の表示画像として記憶する。その後、例えば車両が走行を再開した場合には、表示画像生成部は、記憶した最新の表示画像ＤＲｇに基づき床下透過表示処理を継続する。

なお、表示画像生成部は、車両の乗員による操作、または車両の乗員によるタッチ操作があった時に、車両の速度が所定値以上であった場合は、車両の乗員による操作、および車両の乗員によるタッチ操作を受け付けない様にすると良い。

例えば、変形例４の表示ＥＣＵは、車両の速度が例えば１ｋｍ／ｈ以上のときにタッチ操作が行われてもそれを受け付けず、手指アイコンＩＣｇを表示させない様にする。この操作の制限は、変形例２で説明した、乗員による操作の受付の制限と同じであり、乗員が運転者自身であるような場合には、車両の走行中に上記のタッチ操作を行うことは好ましくないからである。

また、変形例４の上記処理は、実施形態の非表示処理、変形例１の境界線ＤＶ、警告ＷＲｓ，ＷＲｍ、矢印ＡＲｓ、ハッチングＨＴ、警告アイコンＩＣｓ等の表示処理、及び変形例２の矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等を表示する処理の少なくともいずれかと併用されてよい。変形例４の上記処理は、実施形態の非表示処理および変形例１，２の表示処理を適宜組み合わせて行う上述の各種処理と併用されてもよい。

変形例４の表示ＥＣＵによれば、乗員によるタッチ操作に応じて表示画像ＤＲｇ内における、ずれた過去画像Ｐ１～Ｐ３の表示位置を移動する処理を行う。これにより、ずれた過去画像Ｐ１～Ｐ３の表示位置を補正することができる。また、補正後の過去画像Ｐ１～Ｐ３を含む表示画像ＤＲｇを表示させることができ、乗員による誤認をいっそう抑制しつつ、乗員が車両の現状把握をいっそう容易に行うことが可能となる。

変形例４の表示ＥＣＵによれば、その他、上述の実施形態と同様の効果を奏する。

（変形例５）
上述のように、実施形態の非表示処理、変形例１の境界線ＤＶ、警告ＷＲｓ，ＷＲｍ、矢印ＡＲｓ、ハッチングＨＴ、警告アイコンＩＣｓ等の表示処理、変形例２の矢印ＡＲｄ，ＡＲｄ１，ＡＲｄ２等を表示する処理、及び変形例４の過去画像の表示位置補正処理は、適宜組み合わせて実施することが可能である。図１８に、これらの処理を組み合わせて実施する場合のフローの一例を示す。

図１８は、実施形態の変形例５にかかる表示ＥＣＵによる表示処理の手順の一例を示すフロー図である。

図１８に示すように、例えばＨＭＩ装置を介した乗員からの指示にしたがって、変形例５の表示ＥＣＵの各部は床下透過表示を開始する（ステップＳ２０１）。

また、上記処理の間、変形例５の推定部は、各種センサの検知結果に基づいて、車両の移動方向および移動量を推定するとともに、滑り事象の発生を監視する（ステップＳ２０２）。滑り事象が検出されない場合（ステップＳ２０２：Ｎｏ）、表示ＥＣＵの各部は床下透過表示を継続する（ステップＳ２０１）。

車両に滑り事象が検出された場合（ステップＳ２０２：Ｙｅｓ）、推定部は、検出した滑り事象の滑り期間Ｔ１が、滑り期間Ｔ１に対して予め設定されている閾値ＰＴ１未満であるか否かを判定する（ステップＳ２０３）。

滑り期間Ｔ１が閾値ＰＴ１未満、または滑り期間Ｔ１が検出されなかった場合（ステップＳ２０３：Ｙｅｓ）、連続的または断続的に滑り事象が発生していると考えられる。滑り期間Ｔ１が検出されなかった場合とは、加減速や操舵によって水平方向の加速度が検出されるはずの状況において、加速度センサが検知した水平方向の加速度が所定の閾値未満にならなかった場合であり、滑り期間Ｔ１が閾値ＰＴ１未満の場合とは、水平方向の加速度が所定の閾値未満の状態の継続時間が、閾値ＰＴ１未満であった場合である。この場合、表示ＥＣＵはステップＳ２１３へと処理を進める。

滑り期間Ｔ１が閾値ＰＴ１以上であった場合には（ステップＳ２０３：Ｎｏ）、スリップと言えるような大きな滑り事象が発生したと考えられる。推定部は、このような滑り事象の発生した時刻Ｔ２を記憶部に記憶させる（ステップＳ２０４）。

また、推定部は、滑り期間Ｔ１が閾値ＰＴ２未満であるか否かを判定する（ステップＳ２０５）。閾値ＰＴ２は滑り期間Ｔ１に対して予め設定された閾値であり、閾値ＰＴ１よりも大きい値が設定されている。すなわち、閾値ＰＴ２は閾値ＰＴ１よりも長い期間を表す。

滑り期間Ｔ１が閾値ＰＴ２未満であった場合（ステップＳ２０５：Ｙｅｓ）、スリップと言えるような滑り事象の中では比較的小さい滑り事象が発生したと考えられる。この場合、変形例５の表示画像生成部は、これ以降、撮影時刻が時刻Ｔ２以前の過去画像に、例えば変形例１の表示、または変形例２の表示等を付加する処理を施して表示画像を生成する（ステップＳ２０６）。

一方、滑り期間Ｔ１が閾値ＰＴ２以上であった場合（ステップＳ２０５：Ｎｏ）、スリップと言えるような滑り事象の中でも比較的大きな滑り事象が発生したと考えられる。この場合、変形例５の表示画像生成部は、これ以降、撮影時刻が時刻Ｔ２以前の過去画像を非表示とする処理を施して表示画像を生成する（ステップＳ２０７）。

変形例５の検出部は、ＨＭＩ装置のタッチパネルに対するタッチ操作がなされたか否かを検出する（ステップＳ２０８）。タッチ操作がなければ（ステップＳ２０８：Ｎｏ）、表示画像生成部は、過去画像を非表示とする表示画像の生成を継続する（ステップＳ２０７）。

タッチ操作があった場合には（ステップＳ２０８：Ｙｅｓ）、推定部は、各種センサからの検知結果に基づいて、今現在の車両の速度が例えば１ｋｍ／ｈを超えているか否かを判定する（ステップＳ２０９）。車速が１ｋｍ／ｈを超えていた場合（ステップＳ２０９：Ｙｅｓ）、上記タッチ操作を受け付けることなく、表示画像生成部が、過去画像を非表示とする表示画像の生成を継続する（ステップＳ２０７）。

車速が１ｋｍ／ｈ以下だった場合（ステップＳ２０９：Ｎｏ）、表示画像生成部は、例えば変形例１の表示、または変形例２の表示等を付加したうえで、時刻Ｔ２以前の過去画像の非表示処理を解除して表示画像を生成する（ステップＳ２１０）。

なお、ステップＳ２０８の処理は行われなくともよい。つまり、車速が１ｋｍ／ｈ以下になったことを推定部が検出すると、表示画像生成部が、自動的に時刻Ｔ２以前の過去画像の非表示処理を解除してもよい。

検出部は、ＨＭＩ装置のタッチパネル上でタッチ箇所をドラッグするタッチ操作が行われたか否かを検出する（ステップＳ２１１）。ドラッグが検出されなければ（ステップＳ２１１：Ｎｏ）、表示画像生成部は、変形例１または変形例２の表示等を付加した過去画像を含む表示画像の生成を継続する（ステップＳ２１０）。

ドラッグが検出された場合には（ステップＳ２１１：Ｙｅｓ）、表示画像生成部は、ずれが発生した時刻Ｔ２以前の過去画像を、検出されたドラッグ量だけ移動させ、移動させた過去画像を含む表示画像を最新の表示画像として記憶部に記憶させる（ステップＳ２１２）。

なお、上記において、変形例１または変形例２の表示等を付加した過去画像を含む表示画像を生成していた場合にも（ステップＳ２０６）、上述のステップＳ２０８，Ｓ２０９に準ずるタッチ操作の検出処理（ステップＳ２０８’）及び車速の判定処理（ステップＳ２０９’）等を行ったうえで、タッチパネル上をドラッグするタッチ操作の受け付けが許可される（ステップＳ２１１，Ｓ２１２）。ただし、この場合、表示画像生成部は、例えば車両の走行中における表示画面からの切り替え（ステップＳ２１０）を行なわない。

表示ＥＣＵの各部は、ステップＳ２１２の処理後も床下透過表示を継続する（ステップＳ２０１）。

一方、滑り期間Ｔ１が閾値ＰＴ１未満であるか否かの判定処理（ステップＳ２０３）において、滑り期間Ｔ１が少なくとも閾値ＰＴ１未満であった場合（ステップＳ２０３：Ｙｅｓ）、推定部は上述の式（２）から滑り率を得、また舵角センサが検知した車両の舵角の情報を取得する（ステップＳ２１３）。

また、推定部は、式（２）から得た滑り率が、滑り率に対して予め設定されている閾値ＳＴ１未満であるか否かを判定する（ステップＳ２１４）。滑り率が閾値ＳＴ１未満であった場合（ステップＳ２１４：Ｙｅｓ）、表示ＥＣＵの各部は床下透過表示を継続する（ステップＳ２０１）。

滑り率が閾値ＳＴ１以上であった場合（ステップＳ２１４：Ｎｏ）、推定部は、滑り率が閾値ＳＴ２未満であるか否かを判定する（ステップＳ２１５）。閾値ＳＴ２は滑り率に対して予め設定された閾値であり、閾値ＳＴ１よりも大きい値が設定されている。

滑り率が閾値ＳＴ２未満であった場合（ステップＳ２１５：Ｙｅｓ）、推定部は、舵角センサから取得した舵角が、舵角に対して予め設定されている閾値ＡＴ未満であるか否かを判定する（ステップＳ２１６）。舵角が閾値ＡＴ未満であった場合（ステップＳ２１６：Ｙｅｓ）、表示画像生成部は、これ以降、表示画像に含める全ての過去画像に、例えば変形例３の表示を付加する処理を施して表示画像を生成する（ステップＳ２１７）。

滑り率が閾値ＳＴ２以上であった場合（ステップＳ２１５：Ｎｏ）、または舵角が閾値ＡＴ以上であった場合（ステップＳ２１６：Ｎｏ）、表示画像生成部は、これ以降、表示画像に含める全ての過去画像に、強調度合いを高めた状態で、変形例３の表示を付加する処理を施して表示画像を生成する（ステップＳ２１８）。舵角が大きい場合に強調度合いを高める理由は、舵角が大きい状態で連続的な滑りが発生していれば、横滑りが発生している、と推定されるからである。横滑りは脱輪や路外への転落に結びつく可能性があるので、縦滑り（駆動輪の空転など）よりも警戒すべきである。

表示ＥＣＵの各部は、ステップＳ２１７またはステップＳ２１８の処理後も床下透過表示を継続する（ステップＳ２０１）。

変形例５の表示ＥＣＵは、これ以降、例えば上述の実施形態で挙げた終了条件のいずれかに該当することとなるまで、ステップＳ２０１～Ｓ２１８の処理を継続する。変形例５の表示ＥＣＵもまた、いずれかの終了条件に該当すると、上記のいずれのステップＳ２０１～Ｓ２１８からでも床下透過表示を終了する処理を行うことができる。また、変形例５の表示ＥＣＵにおいても、これらの終了条件ごとの床下透過表示の終了処理が上述の実施形態の手順で行われてよい。

変形例５の表示ＥＣＵによれば、上述の実施形態および変形例１～４の少なくともいずれかと同様の効果を奏する。

［その他の実施形態］
上述の実施形態および変形例１～５では、車両１を基準座標として表示画像の生成処理を行うこととした。しかし、表示ＥＣＵが、絶対座標に基づいて表示画像の生成処理を行ってもよい。図１９Ａａ～図２０Ｂｃにその様子を示す。

図１９Ａａ～図２０Ｂｃは、その他の実施形態にかかる表示ＥＣＵが有する床下透過表示機能について説明する模式図である。

図１９Ａａに示すように、乗員がＨＭＩ装置上から床下透過表示を開始する操作を行うと、表示画像生成部は、最新の画像が合成され、領域Ｒ１～Ｒ３を含む俯瞰画像ＶＲ（リアルタイム画像）と、画像の存在しない黒画領域ＢＲと、車両アイコン１ｉｃとを有する表示画像ＤＲｈを生成する。図１９Ｂａは、このときの車両１の実際の様子を示している。

図１９Ａｂ及び図１９Ｂｂに示すように、車両１が、路面に形成された轍ＴＲの脇を通る様な進路で移動すると、車両１の前進によって俯瞰画像ＶＲのうち領域Ｒ１が死角領域に入る。推定部は、領域Ｒ１の縦幅分、車両１が前進したと推定し、過去画像生成部は、図１９Ａａの時点の俯瞰画像ＶＲのうち領域Ｒ１の部分を過去画像Ｐ１として登録する。

つまり、この実施形態では、車両１の移動により俯瞰画像ＶＲのうち死角に入った部分を過去画像Ｐ１として登録するのであり、画像を移動させるなどして過去画像Ｐ１を生成する事はしない。移動するのは、俯瞰画像ＶＲおよび過去画像ＰＡに対する車両１の位置だけである。過去画像Ｐ１として登録する処理は、例えば、領域Ｒ１の中の画素が各々、俯瞰画像ＶＲ（リアルタイム画像）である事を示すフラグを持つ時に、各々の画素のフラグを過去画像Ｐ１である事を示すフラグに書き換えれば良い。

表示画像生成部は、図１９Ａｂの時点での最新画像を合成した俯瞰画像ＶＲと、図１９Ａａの時点の撮影時刻を有する過去画像Ｐ１とを組み合わせ、更に黒画領域ＢＲの表示を付加した表示画像ＤＲｈを生成する。例えば、表示制御部は各々の画素のフラグを参照してＨＭＩ装置への画像出力を行う、俯瞰画像ＶＲのフラグと過去画像Ｐ１のフラグを持つ画素、つまり、俯瞰画像ＶＲの領域と過去画像Ｐ１の領域（領域Ｒ１）との画素は、そのままの画素値を出力し、フラグが初期値である画素は黒画領域ＢＲとして、画素値（Ｒ，Ｇ，Ｂ）を（０，０，０）にする。

ここで、絶対座標に基づいて表示画像ＤＲｈを生成する場合、表示画像生成部は、路面を基準として車両１の移動量だけ表示範囲を移動させる。つまり、この実施形態の表示ＥＣＵでは、俯瞰画像ＶＲを路面上に貼り付けられた像と見做して内部処理を行い、車両１が移動しても俯瞰画像ＶＲは移動させず、表示画像ＤＲｈとして切り出す範囲だけを移動させる。

図２０Ａｂの状態から車両１が更に前進すると、図２０Ａａに示すように、俯瞰画像ＶＲのうち領域Ｒ２が死角に入る。またこのとき、図２０Ｂａに示すように、車両１が横滑りして轍ＴＲに落ちたものとする。推定部は、例えば領域Ｒ２の縦幅分、車両１が前進したと推定するとともに、車両１の横滑りによる滑り事象を検出する。過去画像生成部は、図１９Ａｂの時点の領域Ｒ２の俯瞰画像ＶＲを過去画像Ｐ２として登録する。

滑り事象が検出された場合、表示画像生成部は、滑り事象の発生時刻以前の過去画像Ｐ１，Ｐ２の表示を禁止し、図１９Ａｂの時点での最新画像を合成した俯瞰画像ＶＲに、領域Ｒ１、Ｒ２の範囲を含む黒画領域ＢＲの表示を付加した表示画像ＤＲｈを生成する。例えば、表示制御部は各々の画素のフラグを参照してＨＭＩ装置への画像出力を行い、過去画像Ｐ１及び過去画像Ｐ２のフラグを持つ画素は出力を禁止し、フラグが初期値である画素と同様に、黒画領域ＢＲとして、画素値を（０，０，０）にする。

図２０Ａｂ及び図２０Ｂｂに示すように、車両１が轍ＴＲに落ちたまま更に前進すると、俯瞰画像ＶＲのうち領域Ｒ３が死角に入る。推定部は、領域Ｒ３の縦幅分、車両１が前進したと推定し、過去画像生成部が、図２０Ａａの時点の領域Ｒ３の俯瞰画像ＶＲを過去画像Ｐ３として登録する。

表示画像生成部は、過去画像Ｐ１，Ｐ２を非表示としたまま、図２０Ａｂの時点での最新画像を合成した俯瞰画像ＶＲに、図２０Ａａの時点の撮影時刻を有する過去画像Ｐ３を組み合わせ、更に黒画領域ＢＲの表示を付加した表示画像ＤＲｈを生成する。例えば、表示制御部は各々の画素のフラグを参照してＨＭＩ装置への画像出力を行い、俯瞰画像ＶＲ及び過去画像Ｐ３のフラグを持つ画素の出力を許可するが、過去画像Ｐ１及び過去画像Ｐ２のフラグを持つ画素の出力を禁止し、フラグが初期値である画素と同様に、黒画領域ＢＲとして、画素値を（０，０，０）にする。

図２０Ａｃ及び図２０Ｂｃに示すように、車両１が轍ＴＲに落ちたまま更に前進すると、俯瞰画像ＶＲのうち領域Ｒ４が死角に入る。推定部は、例えば領域Ｒ４の縦幅分、車両１が前進したと推定し、過去画像生成部が、図２０Ａｂの時点の俯瞰画像ＶＲのうち領域Ｒ４の画像を過去画像Ｐ４として登録する。

表示画像生成部は、過去画像Ｐ１，Ｐ２を非表示としたまま、図２０Ａｃの時点での最新画像を合成した俯瞰画像ＶＲに、図２０Ａａの時点の撮影時刻を有する過去画像Ｐ３と、図２０Ａｂの時点の撮影時刻を有する過去画像Ｐ２とを組み合わせ、更に黒画ＢＲの表示を付加した表示画像ＤＲｈを生成する。

例えば、表示制御部は各々の画素のフラグを参照してＨＭＩ装置への画像出力を行い、俯瞰画像ＶＲ、過去画像Ｐ３、及び過去画像Ｐ４のフラグを持つ画素の出力を許可するが、過去画像Ｐ１及び過去画像Ｐ２のフラグを持つ画素の出力を禁止し、フラグが初期値である画素と同様に、黒画領域ＢＲとして、画素値を（０，０，０）にする。

なお、過去画像Ｐ１及び過去画像Ｐ２のフラグは同じフラグでも良く、過去画像Ｐ３及び過去画像Ｐ４のフラグは同じフラグでも良い。過去画像Ｐ１と過去画像Ｐ２とは表示制御部がフラグを判定して表示を禁止しているだけであり、消去はされていないので、表示制御部の判定条件を変えるだけで表示させることが出来る。

以上の処理を繰り返すことで、絶対座標に基づく処理を行った場合においても、車体下方の死角に充てていた黒画領域ＢＲが、過去画像（Ｐ１，Ｐ２），Ｐ３，Ｐ４・・・に徐々に置き換わっていき、最終的には黒画領域ＢＲが全て過去画像に置き換わって、車体の床下が見えているかのような表示画像ＤＲｈが得られる。

また、絶対座標に基づく処理を行った場合も表示ＥＣＵの内部処理が異なるだけで、車両１を基準座標とする上述の実施形態および変形例１～５と同じ出力画像が得られる。実際のところ、図１９Ａａ、図１９Ａｂ、図２０Ａａ、図２０Ａｂ、及び図２０Ａｃの表示画像ＶＲｈは、上述の実施形態の図５Ａａ、図５Ａｂ、図６Ａｃ、図７Ａａ、及び図７Ａｂに示す表示画像ＶＲと同じものである。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 車両
２ 車体
３（３１，３２） 車輪
４（４１，４２） 車輪速センサ
５（５１，５２） 加速度センサ
６（６１，６２，６３，６３） 撮像装置
８ 舵角センサ
１０ 表示ＥＣＵ
１２ｐ 表示処理プログラム
２０ ＨＭＩ装置
３０ センサ制御装置
１０１ 取得部
１０２ 俯瞰画像生成部
１０３ 過去画像生成部
１０４ 表示画像生成部
１０５ 推定部
１０６ 表示制御部
１０７ 検出部
１０８ 記憶部
Ｌ１ 滑り幅
Ｔ１ 滑り期間
ＤＲ，ＤＲａ～ＤＲｈ 表示画像
Ｐ１～Ｐ５ 過去画像
ＶＲ 俯瞰画像

Claims (15)

1. 車両に搭載される表示処理装置であって、
   前記車両の周辺を撮影した画像を取得する画像取得部と、
   前記画像に基づいて前記車両の周辺の俯瞰画像を生成する俯瞰画像生成部と、
   前記車両によって検出された車輪の回転量に基づいて、前記車両の移動量を推定する推定部と、
   過去の時点で前記俯瞰画像を記憶したものである過去の俯瞰画像と、前記車両の前記移動量とに基づいて、撮影時刻が過去の時点である１つまたは複数の過去画像を生成する過去画像生成部と、
   前記１つまたは複数の過去画像と前記俯瞰画像とを組み合わせて、前記車両内の表示装置に表示する表示画像を生成する表示画像生成部と、を備え、
   前記表示画像生成部は、
   前記車輪が滑る滑り事象が発生したことを前記推定部が検出した場合、前記１つまたは複数の過去画像に対して前記滑り事象が発生したことを示す処理を施して前記表示画像を生成する、
   表示処理装置。
2. 前記表示画像生成部は、
   前記滑り事象が発生したことを示す処理を、撮影時刻が前記滑り事象の発生より前である前記１つまたは複数の過去画像に限定して施し、前記滑り事象が検出された場合であっても、撮影時刻が前記滑り事象の発生より後である１つまたは複数の過去画像に対しては前記滑り事象が発生したことを示す処理を施すことなく前記俯瞰画像と組み合わせて前記表示画像を生成する、
   請求項１に記載の表示処理装置。
3. 前記推定部は、
   前記車輪の回転量または前記車両によって検出された加速度に基づいて前記滑り事象を検出する、
   請求項１または請求項２に記載の表示処理装置。
4. 前記推定部は、
   前記滑り事象における滑り期間、または、滑り速度、または滑り幅を推定し、
   前記表示画像生成部は、
   前記滑り期間、または、前記滑り速度、または前記滑り幅が所定の閾値未満である場合には、前記滑り事象が発生したことを示す処理を施すことなく前記表示画像を生成する、
   請求項１または請求項２に記載の表示処理装置。
5. 前記表示画像生成部は、
   前記滑り期間、または、前記滑り速度、または前記滑り幅が所定の閾値以上である場合には、前記１つまたは複数の過去画像に対して、前記滑り事象が発生したことを示す処理を施し、
   前記滑り事象が発生したことを示す処理は、
   前記１つまたは複数の過去画像を非表示とする処理、または、前記滑り事象が発生したことを示す表示を付加する処理、のいずれかである、
   請求項４に記載の表示処理装置。
6. 前記推定部は、
   前記滑り事象における滑り期間、または、滑り速度、または滑り幅を推定し、
   前記表示画像生成部は、
   前記滑り期間、または、前記滑り速度、または前記滑り幅が、第１の閾値以上、かつ、前記第１の閾値より大きい第２の閾値未満である場合は、前記滑り事象が発生したことを示す処理として、前記１つまたは複数の過去画像に前記滑り事象が発生したことを示す表示を付加し、
   前記滑り期間、または、前記滑り速度、または前記滑り幅が、前記第２の閾値以上である場合は、前記滑り事象が発生したことを示す処理として、前記１つまたは複数の過去画像を非表示とする、
   請求項５に記載の表示処理装置。
7. 前記表示画像生成部は、
   前記滑り事象が発生したことを示す処理として、前記１つまたは複数の過去画像に前記滑り事象が発生した回数を示す表示を付加する、
   請求項１または請求項２に記載の表示処理装置。
8. 前記推定部は、
   前記滑り事象における滑り方向を推定し、
   前記表示画像生成部は、
   前記滑り事象が発生したことを示す処理として、前記１つまたは複数の過去画像に前記滑り方向を示す表示を付加する、
   請求項１または請求項２に記載の表示処理装置。
9. 前記表示画像生成部は、
   前記推定部が連続的、または断続的な前記滑り事象を検出した場合には、前記俯瞰画像と組み合わせて表示させる全ての過去画像に前記滑り事象が発生したことを示す処理を施す、
   請求項１に記載の表示処理装置。
10. 前記表示画像生成部は、
    前記車両の速度が所定値未満の場合、または前記車両の乗員による操作があった場合には、前記１つまたは複数の過去画像に施した前記処理の少なくとも一部を解除し、あるいは変更する、
    請求項１に記載の表示処理装置。
11. 前記表示画像生成部は、
    前記車両の速度が所定値未満の時に、前記車両の乗員による操作があった後であれば、前記車両の速度が所定値を超えても、前記処理の解除または変更を、取り消さない、
    請求項１０に記載の表示処理装置。
12. 前記表示装置に対するタッチ操作を検出する検出部を更に備え、
    前記表示画像生成部は、
    前記車両の乗員による前記タッチ操作に応じて前記表示画像内における前記１つまたは複数の過去画像の表示位置を移動する処理を行う、
    請求項１に記載の表示処理装置。
13. 前記表示画像生成部は、
    前記車両の乗員による操作、または前記車両の乗員によるタッチ操作があった時に、前記車両の速度が所定値以上であった場合は、前記車両の乗員による操作、および前記車両の乗員によるタッチ操作を受け付けない、
    請求項１０または請求項１１または請求項１２に記載の表示処理装置。
14. 車両の周辺を撮影した画像を取得し、
    前記画像に基づいて前記車両の周辺の俯瞰画像を生成し、
    前記車両によって検出された車輪の回転量に基づいて、前記車両の移動量を推定し、
    過去の時点で前記俯瞰画像を記憶したものである過去の俯瞰画像と、前記車両の前記移動量とに基づいて、撮影時刻が過去の時点である１つまたは複数の過去画像を生成し、
    前記１つまたは複数の過去画像と前記俯瞰画像とを組み合わせて、前記車両内の表示装置に表示する表示画像を生成し、
    前記表示画像を生成するときは、
    前記車輪が滑る滑り事象が発生したことを検出した場合、前記１つまたは複数の過去画像に対して前記滑り事象が発生したことを示す処理を施して前記表示画像を生成する、
    表示処理方法。
15. コンピュータに、
    車両の周辺を撮影した画像を取得させ、
    前記画像に基づいて前記車両の周辺の俯瞰画像を生成させ、
    前記車両によって検出された車輪の回転量に基づいて、前記車両の移動量を推定させ、
    過去の時点で前記俯瞰画像を記憶したものである過去の俯瞰画像と、前記車両の前記移動量とに基づいて、撮影時刻が過去の時点である１つまたは複数の過去画像を生成させ、
    前記１つまたは複数の過去画像と前記俯瞰画像とを組み合わせて、前記車両内の表示装置に表示する表示画像を生成させ、
    前記表示画像を生成させるときは、
    前記車輪が滑る滑り事象が発生したことが検出された場合、前記１つまたは複数の過去画像に対して前記滑り事象が発生したことを示す処理を施させて前記表示画像を生成させる、
    表示処理プログラム。

Images