JP7050827B2

JP7050827B2 - 運転支援装置および映像表示方法

Info

Publication number: JP7050827B2
Application number: JP2019571929A
Authority: JP
Inventors: 光生下谷; 克治淺賀; 好孝中村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-02-19
Filing date: 2018-02-19
Publication date: 2022-04-08
Anticipated expiration: 2038-02-19
Also published as: WO2019159344A1; JPWO2019159344A1

Description

本発明は、車両の運転支援装置に関し、特に車両周辺の映像およびその映像の解析結果を表示する技術に関するものである。

電子ミラーシステム、前方映像表示システム、後方映像表示システムなど、車両周辺の映像を運転者に提示する運転支援システムが実用化されている。このようなシステムの中には、車両周辺の映像を解析することで車両周辺に存在する物体の位置を認識し、物体の存在を運転者に通知するものがある。例えば、下記の特許文献１には、車両周辺の映像に、物体の存在を示す画像を合成して表示するシステムが提案されている。

特開２０１７－０１６２００号公報

一般に、映像解析には多大な演算が必要であり、映像から物体の位置を認識するための演算にはある程度の時間を要する。そのため、システムが映像から物体の位置を認識した時点で、認識された物体の位置とその物体の実際の位置との間にずれ（誤差）が生じる。

特に、廉価な映像処理回路が用いられた場合、映像解析の時間は、映像の１～２フレーム分、あるいはそれ以上にもなる。例えば、映像の伝送フレームレートが３０フレーム／秒であり、車両に対する物体の相対速度が時速３０ｋｍであると仮定すると、物体が１フレームの間に動く距離は２７．８ｃｍである。すなわち、映像解析に１フレーム分の時間がかかると、認識された物体の位置の誤差は２７．８ｃｍになり、映像解析に２フレーム分の時間がかかると、その誤差は５５．６ｃｍにもなる。この問題は、高性能な映像処理回路を用いることで解決できるが、システムの高コスト化を招くため好ましくない。

本発明は以上のような課題を解決するためになされたものであり、映像解析時間に起因する物体の認識結果の誤差を抑制できる運転支援装置を提供することを目的とする。

本発明に係る運転支援装置は、自車両に設置されたカメラが撮影した自車両周辺の映像を取得する映像取得部と、映像を解析することにより自車両周辺に存在する物体の位置を認識する物体位置認識部と、物体位置認識部が物体の位置の認識に要する時間に応じた認識遅延時間を設定し、映像の撮影時から認識遅延時間後における物体の予測位置を求める物体位置予測部と、自車両の走行制御情報に基づいて、映像の撮影時から認識遅延時間後における自車両の予測位置および予測姿勢を求める自車両位置予測部と、物体の予測位置に基づいて、物体が映像の撮影時から認識遅延時間後に自車両の走行に影響する恐れのある要注意物になるか否かを予測する要注意物予測部と、映像取得部が取得した新たな映像における要注意物である物体の予測位置に、要注意物の存在を示す注意喚起画像を合成して、表示装置に表示させる表示処理部と、を備え、要注意物予測部は、自車両の予測位置および予測姿勢を加味して、物体が要注意物になるか否かを予測する。

本発明に係る運転支援装置は、物体位置認識部が物体の位置の認識に要する時間に応じた認識遅延時間を設定し、映像の撮影時から認識遅延時間後の物体が要注意物になるか否かを予測するため、物体が要注意物として検知されるタイミングに遅れが生じることが防止される。また、要注意物である物体の存在を示す注意喚起画像は、新たに取得された映像と合成されて表示されるため、表示される映像にも遅れが生じない。その結果、映像解析時間に起因する物体の認識結果の誤差が抑制される。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る運転支援システムの構成を示す図である。実施の形態１における映像の撮影範囲を示す図である。実施の形態１に係る運転支援装置の動作を示すフローチャートである。実施の形態１において左後側方撮影カメラに撮影される映像の例を示す図である。実施の形態１において左映像表示装置に表示される映像の例を示す図である。映像解析の結果を左映像表示装置に表示させた場合の例を示す図である。注意喚起画像の例を示す図である。注意喚起画像の例を示す図である。注意喚起画像の例を示す図である。注意喚起画像の例を示す図である。注意喚起画像の例を示す図である。運転支援装置のハードウェア構成の例を示す図である。運転支援装置のハードウェア構成の例を示す図である。実施の形態２に係る運転支援システムの構成を示す図である。実施の形態３に係る運転支援システムの構成を示す図である。実施の形態４に係る運転支援システムの構成を示す図である。実施の形態５に係る運転支援システムの構成を示す図である。実施の形態５における映像の撮影範囲と表示範囲との関係を示す図である。実施の形態５における映像の撮影範囲と表示範囲との関係を示す図である。

＜実施の形態１＞
図１は、実施の形態１に係る運転支援システムの構成を示す図である。実施の形態１の運転支援システムは、車両のサイドミラー（ドアミラーまたはフェンダーミラー）の役割を果たす電子ミラーシステムとして構成されている。以下、この運転支援システムを搭載した車両を「自車両」といい、それ以外の車両を「他車両」という。

図１に示すように、実施の形態１の運転支援システムは、運転支援装置１０と、それに接続された左後側方撮影カメラ２１、右後側方撮影カメラ２２、左映像表示装置３１および右映像表示装置３２とを備える。

左後側方撮影カメラ２１および右後側方撮影カメラ２２は、自車両周辺の映像を撮影するカメラである。特に、左後側方撮影カメラ２１は、運転者から自車両の左サイドミラーを通して見える方向を撮影し、右後側方撮影カメラ２２は、運転者から自車両の右サイドミラーを通して見える方向を撮影する。図２に、左後側方撮影カメラ２１による撮影範囲Ｓ_Ｌおよび右後側方撮影カメラ２２の撮影範囲Ｓ_Ｒを示す。以下、左後側方撮影カメラ２１が撮影した映像を「左映像」、右後側方撮影カメラ２２が撮影した映像を「右映像」ということもある。本実施の形態では、左後側方撮影カメラ２１および右後側方撮影カメラ２２の撮影タイミングは互いに同期しているものとする。

運転支援装置１０は、左後側方撮影カメラ２１および右後側方撮影カメラ２２が撮影した左映像および右映像を取得して、左映像を左映像表示装置３１に、右映像を右映像表示装置３２に、それぞれ表示させる。自車両の運転者は、左映像表示装置３１に表示される左映像および右映像表示装置３２に表示される右映像を見ることで、自車両の左右のサイドミラーを通して見える風景を確認することができる。なお、左映像表示装置３１および右映像表示装置３２が設置される場所に制限はないが、例えば運転席のインストルメントパネルなど、運転者が見やすい位置に設置されることが好ましい。

また、運転支援装置１０は、左映像および右映像を解析することで自車両周辺に存在する物体の位置を認識し、当該物体が自車両の走行に影響する恐れがある場合には、当該物体の存在を示す画像を左映像および右映像に合成して、左映像表示装置３１および右映像表示装置３２に表示させる。以下、自車両の走行に影響する恐れのある物体を「要注意物」といい、要注意物の存在を示す画像を「注意喚起画像」という。左映像および右映像に合成された注意喚起画像が左映像表示装置３１および右映像表示装置３２に表示されることで、自車両の運転者は、その表示から要注意物の存在を認識することができる。

要注意物としては様々なものが考えられる。本実施の形態のように、運転支援装置１０が電子ミラーシステムを構成する場合、自車両の車線変更の妨げとなる恐れのある他車両や、右左折時に自車両が巻き込む恐れのある歩行者や自転車、後退時に自車両の後方に存在する障害物などが、要注意物となる。

ここでは、自車両からの距離が予め定められた閾値（例えば１０ｍ）以下である物体を、要注意物として定義する。要注意物の定義はこれに限られない。例えば、物体が自車両の進行方向前方に位置するときは、物体が自車両の進行方向後方や側方に位置するときよりも、自車両が物体に接触するまでの時間が短いため、上記閾値を大きくして、進行方向前方に位置する物体が要注意物として判断されやすくしてもよい。

図１に示すように、運転支援装置１０は、映像取得部１１、物体位置認識部１２、物体位置予測部１３、要注意物予測部１４および表示処理部１５を備えている。

映像取得部１１は、左後側方撮影カメラ２１が撮影した左映像および右後側方撮影カメラ２２が撮影した右映像を取得する。

物体位置認識部１２は、映像取得部１１が取得した左映像および右映像を解析することにより、自車両周辺に存在する物体の位置を認識する。左映像および右映像は、自車両に設置されたカメラで撮影されたものであるため、物体位置認識部１２によって認識される物体の位置は、自車両の位置を基準にした相対位置である。以下、物体位置認識部１２が認識した物体の位置を「物体の認識位置」という。また、左映像および右映像を解析して自車両周辺に存在する物体の位置を認識する処理を、「物体位置認識処理」という。

映像解析には多大な演算が必要とされるため、物体位置認識部１２が左映像および右映像の解析を開始してから物体の位置を認識するまでにはある程度の時間を要する。本実施の形態では、物体位置認識部１２が物体の位置の認識に要する時間（物体位置認識処理に要する時間）は、左映像および右映像の２フレーム分の時間（伝送フレームレートが３０フレーム／秒であれば約６０ｍｓ）と仮定する。この場合、物体位置認識部１２は、１フレームごとに取得される左映像および右映像を２フレーム分の時間をかけて解析することになり、２フレーム分の映像の解析を並行して行うことが必要になる。そのため、運転支援装置１０は、少なくとも２フレーム分の映像データを格納できるバッファメモリ（不図示）を有する必要がある。

物体位置予測部１３は、物体位置認識部１２が物体位置認識処理に要する時間に応じた「認識遅延時間」を設定し、左映像および右映像の撮影時から認識遅延時間後における物体の位置を予測する。ここでは、認識遅延時間は、左映像および右映像の２フレーム分の時間として設定される。すなわち、物体位置予測部１３は、左映像および右映像が撮影されてから２フレーム後の物体の位置を予測する。以下、物体位置予測部１３が予測した物体の位置を「物体の予測位置」という（当該物体が要注意物である場合は「要注意物の予測位置」ともいう）。また、左映像および右映像の撮影時から認識遅延時間後における物体の予測位置を求める処理を、「物体位置予測処理」という。

なお、物体の予測位置は、その物体の認識位置の履歴から、数学的手法または統計学的手法によって算出することができる。物体位置予測処理に要する時間は、映像解析の時間に比べると非常に小さいため、ここでは無視する。

要注意物予測部１４は、物体位置予測部１３が求めた物体の予測位置に基づいて、その物体が、左映像および右映像の撮影時から認識遅延時間後に要注意物になるか否かを予測する。すなわち、要注意物予測部１４は、左映像および右映像の撮影時から認識遅延時間後における自車両と物体と間の距離を予測し、その距離が予め定められた閾値以下と予測されれば、物体が要注意物になると予測する。以下、物体が左映像および右映像の撮影時から認識遅延時間後に要注意物になるか否かを予測する処理を、「要注意物予測処理」という。要注意物予測処理に要する時間も、映像解析の時間に比べると非常に小さいため、ここでは無視する。

表示処理部１５は、映像取得部１１が取得した最新の左映像および右映像を、左映像表示装置３１および右映像表示装置３２に表示させる。ただし、要注意物予測部１４により要注意物になると予測された物体がある場合、表示処理部１５は、最新の左映像および右映像における要注意物の予測位置に注意喚起画像を合成し、注意喚起画像が合成された左映像および右映像を、左映像表示装置３１および右映像表示装置３２に表示させる。

ここで、表示処理部１５が左映像表示装置３１および右映像表示装置３２に表示させる左映像および右映像が、物体位置認識処理に用いられた左映像および右映像ではなく、映像取得部１１が取得した最新の左映像および右映像であることが重要である。本実施の形態では、物体位置認識部１２が物体位置認識処理に２フレーム分の時間を要するため、最新の左映像および右映像は、物体位置認識処理に用いられた左映像および右映像の２フレーム後の映像である。また、物体位置予測部１３は、物体位置認識処理に用いられた左映像および右映像が撮影されてから２フレーム後の物体の位置を予測する。よって、物体位置予測部１３は、表示処理部１５が注意喚起画像を合成する最新の左映像および右映像における物体の位置を予測していることになる。

その結果、２フレーム分の映像解析時間に起因する物体の位置の誤差が補正され、表示処理部１５は、最新の左映像および右映像における要注意物の位置に、注意喚起画像を合成できる。また、表示処理部１５が最新の左映像および右映像を左映像表示装置３１および右映像表示装置３２に表示させることで、左映像および右映像の表示に遅れが生じることも防止される。

図３は、実施の形態１に係る運転支援装置１０の動作を示すフローチャートである。図３に基づいて、運転支援装置１０の動作を説明する。図３のフローは、左後側方撮影カメラ２１および右後側方撮影カメラ２２から自車両周辺の映像（左映像および右映像）が運転支援装置１０に入力されるごと、つまり１フレームごとに実行される。

左後側方撮影カメラ２１および右後側方撮影カメラ２２が撮影した自車両周辺の映像が運転支援装置１０に入力されると、映像取得部１１がその映像を取得する（ステップＳ１０１）。そして、物体位置認識部１２が、映像取得部１１が取得した自車両周辺の映像を解析することにより、自車両周辺に存在する物体の位置を認識する（ステップＳ１０２）。

次に、物体位置予測部１３が、映像の撮影時から認識遅延時間後（ここでは２フレーム後）における物体の位置を予測する（ステップＳ１０３）。そして、要注意物予測部１４が、物体位置予測部１３が求めた物体の予測位置に基づいて、その物体が映像の撮影時から認識遅延時間後に要注意物になるか否かを予測する（ステップＳ１０４）。

物体が映像の撮影時から認識遅延時間後に要注意物になると予測された場合（ステップＳ１０５でＹＥＳ）、表示処理部１５が、映像取得部１１が取得した最新の映像における要注意物の予測位置に、注意喚起画像を合成する（ステップ１０６）。そして表示処理部１５は、注意喚起画像が合成された映像を、左映像表示装置３１および右映像表示装置３２に表示させる（ステップＳ１０７）。

一方、物体が映像の撮影時から認識遅延時間後に要注意物にならない予測された場合は（ステップＳ１０５でＮＯ）、表示処理部１５が、映像取得部１１が取得した最新の映像を、注意喚起画像を合成させることなく、左映像表示装置３１および右映像表示装置３２に表示させる（ステップＳ１０８）。なお、ステップＳ１０８では、映像取得部１１が取得した最新の映像に、透明化した注意喚起画像を合成してもよい。

ここで、図４および図５を用いて、実施の形態１に係る運転支援装置１０の動作を具体的に説明する。説明の簡単のため、以下では左後側方撮影カメラ２１により撮影される左映像のみを用いて説明する。

例えば、１フレーム間隔の時刻ｔ１～ｔ６において、図４（ａ）～図４（ｆ）のような左映像が左後側方撮影カメラ２１によって撮影され、映像取得部１１に取得されるものとする。図４（ａ）～図４（ｆ）には、自車両２０１のボディーの左側面と、自車両２０１の後方から接近する他車両２０２が映り込んでいる。特に、図４（ｄ）～図４（ｆ）では、自車両２０１と他車両２０２との間の距離が予め定められた閾値以下となっており、他車両２０２は要注意物になっている。また、図５（ａ）～図５（ｆ）は、時刻ｔ１～ｔ６に、左映像表示装置３１に表示される映像を示している。

物体位置認識部１２は、時刻ｔ１で図４（ａ）の映像の解析を開始し、時刻ｔ２で図４（ｂ）の映像の解析を開始する。映像解析には２フレーム分の時間を要するため、物体位置認識部１２は、時刻ｔ３で物体位置認識部１２は図４（ａ）の映像の解析を完了し、その結果、物体位置認識部１２は、図４（ａ）の映像が撮影された時刻ｔ１での他車両２０２の位置を認識する。また時刻ｔ３では、物体位置認識部１２は、図４（ｃ）の映像の解析を開始する。

さらに時刻ｔ３では、物体位置予測部１３が、図４（ａ）の映像が撮影された時刻ｔ１の２フレーム後、すなわち時刻ｔ３における他車両２０２の位置を予測し、要注意物予測部１４が、他車両２０２が時刻ｔ３において要注意物になるか否かを予測する。ここでは、他車両２０２は時刻ｔ３において要注意物になっていないと予測される。その場合、表示処理部１５は、図５（ｃ）のように、時刻ｔ３で取得された最新の映像（図４（ｃ）の映像）をそのまま左映像表示装置３１に表示させる。

時刻ｔ４では、物体位置認識部１２は、図４（ｂ）の映像の解析を完了し、図４（ｂ）の映像が撮影された時刻ｔ２での他車両２０２の位置を認識する。また時刻ｔ４では、物体位置認識部１２は、図４（ｄ）の映像の解析を開始する。

さらに時刻ｔ４では、物体位置予測部１３が、図４（ｂ）の映像が撮影された時刻ｔ２の２フレーム後、すなわち時刻ｔ４における他車両２０２の位置を予測し、要注意物予測部１４が、他車両２０２が時刻ｔ４において要注意物になるか否かを予測する。ここでは、他車両２０２は時刻ｔ４において要注意物になっていると予測される。その場合、表示処理部１５は、図５（ｄ）のように、時刻ｔ４で取得された最新の映像（図４（ｄ）の映像）における他車両２０２の予測位置に、注意喚起画像２１０を合成して、左映像表示装置３１に表示させる。

時刻ｔ５および時刻ｔ６でも、時刻ｔ４と同様の動作が行われる。その結果、時刻ｔ５には、図５（ｅ）のように、時刻ｔ５で取得された最新の映像（図４（ｅ）の映像）における他車両２０２の予測位置に注意喚起画像２１０を合成した映像が、左映像表示装置３１に表示される。また、時刻ｔ６には、図５（ｆ）のように、時刻ｔ６で取得された最新の映像（図４（ｆ）の映像）における他車両２０２の予測位置に注意喚起画像２１０を合成した映像が、左映像表示装置３１に表示される。

ここで、比較例として、図６（ａ）～図６（ｆ）に、物体位置予測処理を行わずに、物体位置認識部１２による映像解析の結果を左映像表示装置に表示させた場合の例を示す。この場合、物体位置認識部１２は、時刻ｔ４で取得された図４（ｄ）の映像の解析を完了したとき、すなわち時刻ｔ６で、初めて他車両２０２が要注意物であると判断するため、実施の形態１の運転支援装置１０に比べ、物体が要注意物として検知されるタイミングが２フレーム分遅れる。また、比較例では、解析が完了した映像が左映像表示装置３１に表示されるので、図６（ａ）～図６（ｆ）と図４（ａ）～図４（ｆ）とを比較して分かるように、実施の形態１の運転支援装置１０に比べ、表示される映像も２フレーム分遅れることになる。

それに対し、実施の形態１の運転支援システムでは、図５（ａ）～図５（ｆ）と図４（ａ）～図４（ｆ）とを比較して分かるように、他車両２０２が要注意物として検知されるタイミングにも、左映像表示装置３１に表示される映像にも、遅れが生じない。それにより、物体の認識位置の誤差が抑制される。

なお、本実施の形態では、自車両周辺の映像を撮影するカメラを、左後側方撮影カメラ２１および右後側方撮影カメラ２２の２つとした例を示した。しかし、カメラの数は２つに限られない。例えば、運転者から自車両のルームミラーを通して見える方向を撮影する場合や、運転者から自車両のフロントガラスを通して見える方向を撮影する場合には、カメラは１つでもよい。

本実施の形態では、左後側方撮影カメラ２１が撮影した左映像と、右後側方撮影カメラ２２が撮影した右映像とを、左映像表示装置３１および右映像表示装置３２の２つに分けて表示させる例を示した。しかし、表示装置の数も２つに限られず、例えば１つの表示装置に複数の映像を合成して表示させてもよい。例えば、表示処理部１５が、複数のカメラで撮影した自車両周辺の映像を合成して、パノラマ映像またはサラウンドビュー映像を作成し、それを１つの表示装置に表示させてもよい。

また、実施の形態１では、物体位置予測部１３が設定する認識遅延時間を一定値（２フレーム固定）としたが、例えば、物体位置認識部１２が解析する映像の内容によって物体位置認識処理に要する時間が変化する場合には、その変化に応じて、物体位置予測部１３が認識遅延時間の設定値を変更するようにしてもよい。

また、物体位置認識部１２が認識した物体の位置の変化が小さい場合、すなわち、物体位置認識部１２が前回認識した物体の位置と、今回認識した物体の位置との差が予め定められた閾値以下の場合には、物体の予測位置に変化がないものとみなして、物体位置予測部１３による物体位置予測処理を省略してもよい。

また、要注意物予測部１４において、物体が映像の撮影時から認識遅延時間後に要注意物になるか否かを予測する方法は、状況に応じて変更されてもよい。例えば、自車両が高速で走行している場合や、自車両に対する物体の相対速度が大きい場合には、自車両の走行が物体の影響を受ける恐れのある範囲は広くなる。よって、自車両の速度または物体の相対速度が大きいほど、物体が要注意物として予測されやすくなるように予測方法を変更するとよい。具体的には、自車両の速度または自車両に対する物体の相対速度が大きいほど、物体が要注意物か否かの判断基準となる、自車両からの物体までの距離の閾値を、大きくするとよい。

また、実施の形態１では、物体位置予測部１３は、物体位置予測処理に要する時間を無視したが、その時間を加味して、認識遅延時間を設定してもよい。つまり、認識遅延時間は、物体位置認識部１２が物体位置認識処理に要する時間と、物体位置予測部１３が物体位置予測処理に要する時間との和に基づいて設定されてもよい。

図５（ｄ）～図５（ｆ）に示した注意喚起画像２１０は、要注意物である他車両２０２の映像を囲む形状であったが、注意喚起画像２１０の形状はこれに限られない。例えば図７のように、注意喚起画像２１０は、要注意物である他車両２０２の映像を指し示す矢印でもよい。

また、物体位置認識部１２が、物体の位置だけでなく、大きさ、形状、色調なども認識するようにし、表示処理部１５が、それらの認識結果に基づいて、注意喚起画像２１０の大きさ、形状、色調などを、要注意物である物体の映像に応じて変化させてもよい。例えば図５（ｄ）～図５（ｆ）では、他車両２０２の映像の大きさに合わせて、自車両２０１の大きさを変化させている。また図７では、注意喚起画像２１０の幅を、他車両２０２の映像の幅と同じに設定している。

図８や図９のように、注意喚起画像２１０は、要注意物である他車両２０２の映像の外形に対応する形状としてもよい。図８は、注意喚起画像２１０の形状を他車両２０２の映像の形状と同じにした例である。図９は、注意喚起画像２１０の形状を他車両２０２の映像の形状と相似にし、さらに注意喚起画像２１０が他車両２０２の映像を取り囲むようにした例である。また、注意喚起画像２１０の色調を、他車両２０２の色調と合わせてもよい。さらに、他車両２０２が、パトカーや救急車など警光灯（回転灯）を点滅している車両である場合に、警光灯を模擬した注意喚起画像２１０が用いられてもよい。

また、表示処理部１５は、注意喚起画像２１０を一定時間だけ表示させて、その後は非表示化してもよい。あるいは、運転支援装置１０に、運転者の状態（顔の向きや目の動きなど）を監視する装置を設け、運転者が注意喚起画像２１０を一定時間視認したと判断された場合に、表示処理部１５が注意喚起画像２１０を表示化してもよい。また注意喚起画像２１０が消去された後に、他車両２０２が自車両２０１に異常接近することが予測された場合には、注意喚起画像２１０が再表示されてもよい。

また、要注意物予測部１４は、自車両から物体までの距離が閾値よりも大きい場合でも、その物体が新たに認識されたものであれば、一定時間、当該物体を要注意物とみなしてもよい。その場合、例えば他の道路やパーキングエリアなどから、他車両が自車両の走行中の道路に合流してきた場合に、その他車両の存在を示す注意喚起画像２１０が表示されるようになり、運転者が他車両に気付くのが遅れることを防止できる。

また、物体位置予測部１３は、物体位置予測処理において、物体が存在する位置の確率分布を算出してもよい。例えば、物体が他車両の場合、車両のハンドル、ブレーキおよびアクセルのそれぞれが操作される確率を表すモデルを予め用意しておき、当該モデルを用いることによって、映像の撮影時から認識遅延時間後における他車両の位置の確率分布は算出できる。この場合、物体の予測位置を、ピンポイントではなく、物体が存在する確率が一定値以上である領域として規定し、図１０のように、その領域の形状を注意喚起画像２１０の形状としてもよい。また、図１１のように、要注意物である物体（他車両２０２）が存在する位置の確率分布を表す確率密度の等高線の画像を、注意喚起画像２１０としてもよい。

図１２および図１３は、それぞれ運転支援装置１０のハードウェア構成の例を示す図である。図１に示した運転支援装置１０の構成要素（映像取得部１１、物体位置認識部１２、物体位置予測部１３、要注意物予測部１４および表示処理部１５）の各機能は、例えば図１２に示す処理回路５０により実現される。すなわち、運転支援装置１０は、自車両に設置されたカメラが撮影した自車両周辺の映像を取得し、映像を解析することにより自車両周辺に存在する物体の位置を認識し、物体の位置の認識に要する時間に応じた認識遅延時間を設定し、映像の撮影時から認識遅延時間後における物体の予測位置を求め、物体の予測位置に基づいて、物体が映像の撮影時から認識遅延時間後に自車両の走行に影響する恐れのある要注意物になるか否かを予測し、取得した新たな映像における要注意物である物体の予測位置に、要注意物の存在を示す注意喚起画像を合成して、表示装置に表示させるための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。運転支援装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図１３は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における運転支援装置１０のハードウェア構成の例を示している。この場合、運転支援装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転支援装置１０は、プロセッサ５１により実行されるときに、自車両に設置されたカメラが撮影した自車両周辺の映像を取得する処理と、映像を解析することにより自車両周辺に存在する物体の位置を認識する処理と、物体の位置の認識に要する時間に応じた認識遅延時間を設定し、映像の撮影時から認識遅延時間後における物体の予測位置を求める処理と、物体の予測位置に基づいて、物体が映像の撮影時から認識遅延時間後に自車両の走行に影響する恐れのある要注意物になるか否かを予測する処理と、取得した新たな映像における要注意物である物体の予測位置に、要注意物の存在を示す注意喚起画像を合成する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、運転支援装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、運転支援装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、運転支援装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、運転支援装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
実施の形態１では、要注意物予測部１４は、自車両の位置および姿勢（車体の向き）の変化が一定とみなして、要注意物予測処理を行っている。実施の形態２では、自車両の位置および姿勢の変化を予測することにより、要注意物予測処理の精度を向上させる。

図１４は、実施の形態２に係る運転支援システムの構成を示す図である。図１４の運転支援システムの構成は、図１の構成に対し、運転支援装置１０を車内ＬＡＮ（Local Area Network）２３に接続させると共に、運転支援装置１０に自車両位置予測部１６を追加したものである。

自車両位置予測部１６は、車内ＬＡＮ２３から得られる自車両の走行制御情報に基づいて、左映像および右映像の撮影時から認識遅延時間後における自車両の位置および姿勢を予測する。車内ＬＡＮ２３から得られる自車両の走行制御情報としては、例えば、ハンドル、アクセル、ブレーキ、シフトレバーなどの操作状況、速度センサ、加速度センサ、方位センサ、角速度センサなどの出力値、走行制御系（パワートレイン系）のＥＣＵ（Electronic Control Unit）制御情報などがある。以下、自車両位置予測部１６が予測した自車両の位置および姿勢を、それぞれ「自車両の予測位置」および「自車両の予測姿勢」という。

実施の形態２の要注意物予測部１４は、物体位置予測部１３が求めた物体の予測位置と、自車両位置予測部１６が求めた自車両の予測位置および予測姿勢とに基づいて、物体が左映像および右映像の撮影時から認識遅延時間後に要注意物になるか否かを予測する。自車両の予測位置および予測姿勢が加味されることで、自車両と物体との位置関係の予測精度が向上し、その結果、要注意物予測処理を高い精度で行うことができる。

また、自車両に設置された左後側方撮影カメラ２１および右後側方撮影カメラ２２の向きは自車両の位置および姿勢の影響を受ける。そのため、本実施の形態では、物体位置予測部１３が、自車両位置予測部１６が求めた自車両の予測位置および予測姿勢から、左後側方撮影カメラ２１および右後側方撮影カメラ２２が撮影する左映像および右映像の変化を予測し、その予測結果を加味して、物体位置予測処理を行ってもよい。それにより、物体の位置の予測精度が向上するため、要注意物予測処理の精度がさらに向上する。

＜実施の形態３＞
図１５は、実施の形態３に係る運転支援システムの構成を示す図である。図１５の運転支援システムの構成は、図１の構成に対し、運転支援装置１０を自車両の周辺センサ２４に接続させたものである。周辺センサ２４は、超音波、電波、光などを用いて自車両周辺に存在する物体を検出し、検出した物体の自車両からの距離および方向を測定するセンサである。

一般に、映像解析による物体認識は、超音波、電波、光などを用いた物体認識に比べ、形状、色彩、文字などの認識性能に優れる反面、距離の測定精度は劣る。そこで、実施の形態３の物体位置認識部１２は、左後側方撮影カメラ２１および右後側方撮影カメラ２２が撮影した左映像および右映像から認識した物体の位置を、周辺センサ２４が検出した自車両から当該物体までの距離および方向に基づいて補正する。それにより、物体位置認識処理によって得られる物体の位置の精度を向上させることができる。

＜実施の形態４＞
図１６は、実施の形態４に係る運転支援システムの構成を示す図である。図１６の運転支援システムの構成は、図１の構成に対し、運転支援装置１０に操作入力装置２５を接続させると共に、運転支援装置１０に撮影方向制御部１７を追加したものである。

実施の形態４において、左後側方撮影カメラ２１および右後側方撮影カメラ２２は、その向きが調整可能に構成されている。操作入力装置２５は、ユーザが左後側方撮影カメラ２１および右後側方撮影カメラ２２の向きを調整する操作を入力するためのユーザインタフェースである。撮影方向制御部１７は、操作入力装置２５に入力されるユーザの操作に基づいて、左後側方撮影カメラ２１および右後側方撮影カメラ２２の向きを制御する。

本実施の形態によれば、ユーザが、左後側方撮影カメラ２１および右後側方撮影カメラ２２の撮影範囲（図２の撮影範囲Ｓ_ＬおよびＳ_Ｒ）、すなわち左映像表示装置３１および右映像表示装置３２に映像として表示される範囲を調整することができ、運転支援システムの利便性が向上する。

＜実施の形態５＞
図１７は、実施の形態５に係る運転支援システムの構成を示す図である。図１７の運転支援システムの構成は、図１の構成に対し、運転支援装置１０に操作入力装置２５を接続させると共に、運転支援装置１０にトリミング部１８およびトリミング範囲制御部１９を追加したものである。

実施の形態５では、左後側方撮影カメラ２１および右後側方撮影カメラ２２の撮影範囲は固定されるが、その撮影範囲は広く設定されており、左映像表示装置３１および右映像表示装置３２に映像として表示される範囲は、左後側方撮影カメラ２１および右後側方撮影カメラ２２の撮影範囲の一部分である。図１８および図１９に、左後側方撮影カメラ２１および右後側方撮影カメラ２２の撮影範囲Ｓ_Ｌ，Ｓ_Ｒと、左映像表示装置３１および右映像表示装置３２に映像として表示される範囲（表示範囲）Ｄ_Ｌ，Ｄ_Ｒとの関係の例を示す。

トリミング部１８は、左後側方撮影カメラ２１および右後側方撮影カメラ２２が撮影した左映像および右映像から、左映像表示装置３１および右映像表示装置３２に表示される部分を切り出すトリミングを行う。

操作入力装置２５は、トリミング部１８が左映像および右映像からトリミングする範囲（すなわち図１８および図１９における表示範囲Ｄ_Ｌ，Ｄ_Ｒの位置）を調整する操作を入力するためのユーザインタフェースである。トリミング範囲制御部１９は、操作入力装置２５に入力されるユーザの操作に基づいて、トリミング部１８が左映像および右映像からトリミングする範囲を制御する。この構成により、ユーザは、左映像表示装置３１および右映像表示装置３２に映像として表示される範囲を調整することができ、運転支援システムの利便性が向上する。

実施の形態５によれば、左後側方撮影カメラ２１および右後側方撮影カメラ２２の向きを変えるための駆動機構が不要であるため、低コスト且つ振動に強い構成で、実施の形態４と同様の効果を得ることができる。

なお、物体位置認識部１２が解析する映像の範囲は、左後側方撮影カメラ２１および右後側方撮影カメラ２２が撮影した左映像および右映像の全体でもよいし、トリミング部１８によってトリミングされた左映像および右映像の一部分でもよい。左映像および右映像の全体を解析する場合、物体を検出可能な範囲が広くなるという効果が得られるが、解析のための演算負荷が増大する点に留意する必要がある。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０運転支援装置、１１映像取得部、１２物体位置認識部、１３物体位置予測部、１４要注意物予測部、１５表示処理部、１６自車両位置予測部、１７撮影方向制御部、１８トリミング部、１９トリミング範囲制御部、２１左後側方撮影カメラ、２２右後側方撮影カメラ、２３車内ＬＡＮ、２４周辺センサ、２５操作入力装置、３１左映像表示装置、３２右映像表示装置、２０１自車両、２０２他車両、２１０注意喚起画像。

Claims

自車両に設置されたカメラが撮影した前記自車両周辺の映像を取得する映像取得部と、
前記映像を解析することにより前記自車両周辺に存在する物体の位置を認識する物体位置認識部と、
前記物体位置認識部が前記物体の位置の認識に要する時間に応じた認識遅延時間を設定し、前記映像の撮影時から前記認識遅延時間後における前記物体の予測位置を求める物体位置予測部と、
前記自車両の走行制御情報に基づいて、前記映像の撮影時から前記認識遅延時間後における前記自車両の予測位置および予測姿勢を求める自車両位置予測部と、
前記物体の予測位置に基づいて、前記物体が前記映像の撮影時から前記認識遅延時間後に前記自車両の走行に影響する恐れのある要注意物になるか否かを予測する要注意物予測部と、
前記映像取得部が取得した新たな映像における前記要注意物である物体の予測位置に、前記要注意物の存在を示す注意喚起画像を合成して、表示装置に表示させる表示処理部と、
を備え、
前記要注意物予測部は、前記自車両の予測位置および予測姿勢を加味して、前記物体が要注意物になるか否かを予測する、
運転支援装置。
自車両に設置されたカメラが撮影した前記自車両周辺の映像を取得する映像取得部と、
前記映像を解析することにより前記自車両周辺に存在する物体の位置を認識する物体位置認識部と、
前記物体位置認識部が前記物体の位置の認識に要する時間に応じた認識遅延時間を設定し、前記映像の撮影時から前記認識遅延時間後における前記物体の予測位置を求める物体位置予測部と、
前記自車両の走行制御情報に基づいて、前記映像の撮影時から前記認識遅延時間後における前記自車両の予測位置および予測姿勢を求める自車両位置予測部と、
前記物体の予測位置に基づいて、前記物体が前記映像の撮影時から前記認識遅延時間後に前記自車両の走行に影響する恐れのある要注意物になるか否かを予測する要注意物予測部と、
前記映像取得部が取得した新たな映像における前記要注意物である物体の予測位置に、前記要注意物の存在を示す注意喚起画像を合成して、表示装置に表示させる表示処理部と、
を備え、
前記物体位置予測部は、前記自車両の予測位置および予測姿勢から前記映像の変化を予測し、予測された前記映像の変化を加味して、前記物体の予測位置を求める、
運転支援装置。
前記物体位置予測部は、前記映像の撮影時から前記認識遅延時間後に前記物体が存在する位置の確率分布を算出する、
請求項１または請求項２に記載の運転支援装置。
前記物体の予測位置は、前記映像の撮影時から前記認識遅延時間後に前記物体が存在する確率が一定値以上の領域として規定される、
請求項３に記載の運転支援装置。
前記物体位置認識部は、前記自車両に設置されたセンサが検出した前記自車両から前記物体までの距離および方向に基づいて、認識した前記物体の位置を補正する、
請求項１または請求項２に記載の運転支援装置。
前記物体位置予測部は、前記物体位置認識部が前記物体の位置の認識に要する時間の変化に応じて、前記認識遅延時間の設定値を変更する、
請求項１または請求項２に記載の運転支援装置。
前記物体位置予測部は、前記物体位置予測部による前記物体の位置の予測に要する時間を加味して、前記認識遅延時間を設定する、
請求項１または請求項２に記載の運転支援装置。
前記物体位置認識部が前回認識した前記物体の位置と今回認識した前記物体の位置との差が予め定められた閾値以下の場合、前記物体位置予測部は、前記物体の予測位置の変化がないものとみなす、
請求項１または請求項２に記載の運転支援装置。
前記注意喚起画像は、前記要注意物の映像を囲む形状、または、要注意物の映像を指し示す形状である、
請求項１または請求項２に記載の運転支援装置。
前記注意喚起画像は、前記要注意物の映像の外形に対応する形状である、
請求項１または請求項２に記載の運転支援装置。
前記表示処理部は、前記物体位置認識部が認識した前記要注意物の形状に基づいて、前記注意喚起画像を生成する、
請求項１０に記載の運転支援装置。
前記注意喚起画像は、前記要注意物の存在する確率が前記一定値以上の領域の形状である、
請求項４に記載の運転支援装置。
前記カメラが撮影する映像は、前記自車両の運転者からサイドミラーまたはルームミラーを通して見える方向の映像である、
請求項１または請求項２に記載の運転支援装置。
前記自車両には前記カメラが複数設置されており、
前記表示処理部は、複数の前記カメラが撮影した画像を合成した画像を前記表示装置に表示させる、
請求項１または請求項２に記載の運転支援装置。
前記物体位置予測部は、前記自車両周辺の映像内の前記物体の予測位置を求め、
前記新たな映像は、前記映像取得部が前記映像の撮影時から前記認識遅延時間後に取得した映像である、
請求項１または請求項２に記載の運転支援装置。
運転支援装置における映像表示方法であって、
前記運転支援装置の映像取得部が、自車両に設置されたカメラが撮影した前記自車両周辺の映像を取得し、
前記運転支援装置の物体位置認識部が、前記映像を解析することにより前記自車両周辺に存在する物体の位置を認識し、
前記運転支援装置の物体位置予測部が、前記物体位置認識部が前記物体の位置の認識に要する時間に応じた認識遅延時間を設定し、前記映像の撮影時から前記認識遅延時間後における前記物体の予測位置を求め、
前記運転支援装置の自車両位置予測部が、前記自車両の走行制御情報に基づいて、前記映像の撮影時から前記認識遅延時間後における前記自車両の予測位置および予測姿勢を求め、
前記運転支援装置の要注意物予測部が、前記物体の予測位置に基づいて、前記物体が前記映像の撮影時から前記認識遅延時間後に前記自車両の走行に影響する恐れのある要注意物になるか否かを予測し、
前記運転支援装置の表示処理部が、前記映像取得部が取得した新たな映像における前記要注意物である物体の予測位置に、前記要注意物の存在を示す注意喚起画像を合成して、表示装置に表示させ、
前記要注意物予測部は、前記自車両の予測位置および予測姿勢を加味して、前記物体が要注意物になるか否かを予測する、
映像表示方法。
運転支援装置における映像表示方法であって、
前記運転支援装置の映像取得部が、自車両に設置されたカメラが撮影した前記自車両周辺の映像を取得し、
前記運転支援装置の物体位置認識部が、前記映像を解析することにより前記自車両周辺に存在する物体の位置を認識し、
前記運転支援装置の物体位置予測部が、前記物体位置認識部が前記物体の位置の認識に要する時間に応じた認識遅延時間を設定し、前記映像の撮影時から前記認識遅延時間後における前記物体の予測位置を求め、
前記運転支援装置の自車両位置予測部が、前記自車両の走行制御情報に基づいて、前記映像の撮影時から前記認識遅延時間後における前記自車両の予測位置および予測姿勢を求め、
前記運転支援装置の要注意物予測部が、前記物体の予測位置に基づいて、前記物体が前記映像の撮影時から前記認識遅延時間後に前記自車両の走行に影響する恐れのある要注意物になるか否かを予測し、
前記運転支援装置の表示処理部が、前記映像取得部が取得した新たな映像における前記要注意物である物体の予測位置に、前記要注意物の存在を示す注意喚起画像を合成して、表示装置に表示させ、
前記物体位置予測部は、前記自車両の予測位置および予測姿勢から前記映像の変化を予測し、予測された前記映像の変化を加味して、前記物体の予測位置を求める、
映像表示方法。