JP5072533B2 - 運転支援装置および運転支援方法 - Google Patents

Description

本発明は、運転支援装置および運転支援方法に関し、例えば、車庫や駐車場に車を入れるとき、運転者の運転操作を支援することができる運転支援装置に用いて好適なものである。

車両を狭い車庫や駐車スペースに入れるとき、運転者は周囲の物体と自車両とを接触させないように細心の注意をして運転しなければならず、熟練を要する。このような運転を支援するため、様々な技術が提案されている。例えば、車両に搭載した複数台のカメラにより車両周辺を撮像し、この撮像画像を視点変換処理することによって車両上方の仮想視点から見た画像（以下、車両周辺画像という）を形成して自車両の画像と共に表示するようにした技術が提案されている。この技術によれば、自車両の周囲の状態が当該自車両を中心とした実際の画像で表示されるため、運転者は周囲の障害物を画面上で確認しながら運転をすることができる。

さらに、ハンドルの操舵角の情報に基づいて、自車両を前方または後方側に進行させた場合の走行軌跡を予測し、当該予測された走行軌跡を車両周辺画像に重ねて表示するシステムが提案されている。また、自車両を後退させるときの運転者の運転を補助するためのシステムとして、ハンドルの操舵角の情報に基づいて自車両の後退軌跡を予測し、その後退軌跡をリアカメラから得られる映像に重ねて表示するシステムも提案されている。

このようなシステムでは、ハンドルの中立位置（各タイヤの向きが車体前後方向と揃うときのハンドル位置）を検出し、その中立位置を基準としたハンドルの操舵角を求めることにより、自車両の走行軌跡を予測している。すなわち、ハンドルが中立位置にあるときに車両は前方または後方に正しく直進するものとし、その中立位置に対するハンドルの操舵角に応じて車両の走行軌跡を予測している。ここで、ハンドルの中立位置は、以下のようにして検出される。例えば、ステアリングシャフトに組み込まれた角度センサによりハンドルの操舵角を検出するとともに、各タイヤに取り付けた回転速度センサによりタイヤ毎の回転速度を検出する。そして、タイヤ毎の回転速度差がないときのハンドルの操舵角の位置を、ハンドルの中立位置としている。

しかしながら、ハンドルが中立位置にあっても、実際に車両が正しい状態で直進走行しているとは限らない場合がある。例えば、各タイヤの空気圧が同じでなかったり、左右の車両重量バランス差により各タイヤの軸から接地面までの距離が同じにならなかったりすることにより、ハンドルを中立位置にした場合でも、実際には車両が前方または後方に正しく直進走行していないときが挙げられる。この場合、中立位置を基準としたハンドルの操舵角の情報に基づいて生成される予測走行軌跡は、実際の自車両の走行軌跡と異なってしまうという問題があった。

なお、車両が正しい状態で直進していることを検出し、そのときのハンドルの位置を中立位置として求めるようにした技術が提案されている（例えば、特許文献１を参照）。具体的には、特許文献１に記載の技術では、まず、車両に搭載されたカメラにより一定時間間隔で撮像された路面画像から路面に設置されたレーンマーカの位置をそれぞれ検出する。次に、検出されたレーンマーカの位置のデータに基づいて、一定時間内におけるレーンマーカの位置の変位量を算出し、算出された変位量と予め設定された所定の閾値とを対比する。もし、算出された変位量が所定の閾値以下の場合には、現在、車両が正しく直進進行中であると判断し、当該車両に搭載された操舵角センサの出力値に対応する車両のハンドルの位置をハンドルの中立位置として求めるようにしている。
特開２００５−３３５５７３号公報

特許文献１に記載の技術を用いれば、各タイヤの向きが車体前後方向と揃っていないながらも、車両が正しい状態で直進走行していることを検出し、そのときのハンドルの位置を中立位置として求めることが可能となり、自車両を進行させた場合の予測走行軌跡は、実際の自車両の走行軌跡と一致したものとなる。しかしながら、特許文献１に記載の技術を用いて求められたハンドルの中立位置は、本来意味するところの「各タイヤの向きが車体前後方向と揃うときのハンドル位置」とはかけ離れたものとなってしまう。そうすると、車両の走行制御にハンドルの中立位置を使用している車両制御装置の動作に影響を与えてしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、車両制御装置の動作に影響を与えることなく車両の予測走行軌跡を正しく生成することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、車両周辺画像内に含まれる道路上の特徴領域の軌跡の直進性があると判定された場合に、当該特徴領域の軌跡を用いて車両の予測走行軌跡を補正するための補正値を求め、当該補正値と操舵角検出部により検出される車両のステアリング操舵角とに基づいて、車両の予測走行軌跡を生成するようにしている。ここで、特徴領域の軌跡の方向と車両の前後方向とが一致するか否かを判定し、一致する場合には、車両のステアリング操舵角を取得し、その取得した車両のステアリング操舵角に基づき補正値を求める。

上記のように構成した本発明によれば、道路上の特徴領域の軌跡から求められた補正値とステアリング操舵角とに基づいて、車両の予測走行軌跡が補正されるため、ハンドルを中立位置にした場合に実際には車両が正しい状態で直進走行していないときでも、本来意味するところのハンドルの中立位置を補正することなく正しい予測走行軌跡を生成することができる。これにより、車両制御装置の動作に影響を与えることなく車両の予測走行軌跡を正しく生成することができる。

以下、本発明の実施の形態（以下、本実施形態という）を図面に基づいて説明する。図１は、本実施形態による運転支援装置１００の構成例を示す図である。図１に示すように、運転支援装置１００は、車両の予測走行軌跡を生成してモニタ１８０に表示するための装置であり、本実施形態では、車両に搭載されて利用される。車両は、運転支援装置１００の他に、走行速度検出部１２０、撮像部１４０、操舵角検出部１６０およびモニタ１８０を備えている。

走行速度検出部１２０は、車両の走行速度を検出する。本実施形態では、走行速度検出部１２０は、車両の各タイヤに取り付けられた回転速度センサの検出結果に基づいて車両の走行速度を検出する。

撮像部１４０は、車両の前後左右に設置された４つの撮像装置からなり、車両の周辺において複数箇所をフロントビュー画像、左サイドビュー画像、右サイドビュー画像およびバックビュー画像として撮像する。具体的には、撮像部１４０は、自車両の前方を撮影するためのフロントカメラ、自車両の左側方を撮影するための左サイドカメラ、自車両の右側方を撮影するための右サイドカメラおよび自車両の後方を撮影するためのバックカメラを備えて構成されている。なお、撮像部１４０の各撮像装置で撮影したい範囲は主に自車両周辺の路面である。そのため、各撮像装置は、その撮影範囲に路面が多く含まれるような姿勢で車両に設置される。

操舵角検出部１６０は、車両のステアリング操舵角を検出する。本実施形態では、操舵角検出部１６０は、ステアリングシャフトに組み込まれた角度センサの検出結果に基づいて車両のステアリング操舵角を検出する。モニタ１８０は、運転支援装置１００により出力された運転支援画像を表示する。ここで、運転支援画像とは、車両の予測走行軌跡（自車両を走行させた場合に予測される車両の走行軌跡）を運転支援装置１００の車両周辺画像生成部２２０により生成された車両周辺画像に重畳した画像のことをいう。

次に、運転支援装置１００の内部構成について説明する。運転支援装置１００は、撮像制御部２００、車両周辺画像生成部２２０、軌跡抽出部２４０、直進性判定部２６０、補正値算出部２８０、補正値記憶部３００、予測走行軌跡生成部３２０、運転支援画像生成部３４０および運転支援画像出力部３６０を備えて構成される。

撮像制御部２００は、撮像部１４０に含まれる複数の撮像装置に車両周囲の画像を撮像させる制御を行う。本実施形態では、撮像制御部２００は、走行速度検出部１２０により検出された車両の走行速度に応じて、撮像部１４０の各撮像装置のシャッター速度および撮影タイミング（複数枚の画像を撮像する場合にシャッターを切る時間間隔）等を制御する。

車両周辺画像生成部２２０は、撮像部１４０に含まれる複数の撮像装置によって撮像された車両周囲の画像を視点変換処理することにより、車両の上方の仮想視点から見た車両周辺画像を生成する。図２は、本実施形態による車両周辺画像の例を示す図である。図２に示すように、車両周辺画像は、車両周囲の各画像（フロントビュー画像、左サイドビュー画像、右サイドビュー画像、バックビュー画像）をそれぞれ視点変換処理した画像５００（フロントビュー画像に対応）、５２０（左サイドビュー画像に対応）、５４０（右サイドビュー画像に対応）および５６０（バックビュー画像に対応）を繋ぎ合わせ、その中心に車両の画像５８０を合成することにより生成される。

軌跡抽出部２４０は、車両周辺画像生成部２２０により生成された車両周辺画像の一部分（本実施形態では、画像５００）内に含まれる道路上の特徴領域の軌跡を抽出する。ここで、特徴領域とは、道路上の細かい凹凸や模様等であって、周辺領域と明らかに区別できる特徴を持った領域のことをいう。また、特徴領域の軌跡とは、車両周辺画像上における特徴領域の動きを表す跡のことをいう。

直進性判定部２６０は、軌跡抽出部２４０により抽出された特徴領域の軌跡に直進性があるか否かを判定する。ここで、特徴領域の軌跡に直進性があるとは、当該特徴領域の軌跡がある方向に向かってまっすぐ直線状に伸びていることをいう。一方、特徴領域の軌跡に直進性がないとは、当該特徴領域の軌跡がある方向に向かってまっすぐ直線状に伸びておらず、例えば、特徴領域の軌跡内にぎざぎざの部分や湾曲した部分等の非直線部分が含まれていることをいう。例えば、車両が左折または右折をする場合、特徴領域の軌跡は曲線になる。また、道路に凹凸等があって当該道路上を走行する車両が揺れている場合、特徴領域の軌跡はぎざぎざになる。

補正値算出部２８０は、直進性判定部２６０により特徴領域の軌跡に直進性があると判定された場合に限って、軌跡抽出部２４０により抽出された特徴領域の軌跡を用いて、車両の予測走行軌跡を補正するための補正値を求めて補正値記憶部３００に記憶させる。ここで、補正値を求める条件を特徴領域の軌跡に直進性があると判定された場合に限る理由は、そのときにこそ本来意味するところの（ハンドルの）中立位置からの一定な誤差量が現れ、正確に補正値を求めることが可能となるからである。

補正値算出部２８０は、特徴領域の軌跡の方向が車両の前後方向（例えば、図２の車両周辺画像において車両の画像５８０の上端面と下端面とを直線で垂直に結んだ方向）と一致するか否かを判定する。ここで、特徴領域の軌跡が車両の前後方向と一致するとは、例えば、特徴領域の軌跡の方向に対する車両の前後方向の傾きが所定角度（例えば、１度）未満であることをいう。一方、特徴領域の軌跡が車両の前後方向と一致しないとは、例えば、特徴領域の軌跡の方向に対する車両の前後方向の傾きが所定角度以上であることをいう。

ハンドルが中立位置にあっても車両の重量バランスやタイヤの空気圧等により車両の前後方向に正しく直進しない場合、特徴領域の軌跡が車両の前後方向と一致するのは、ハンドルを切った状態で車両が道路の車両進行方向に沿って直進している状況のときである。一方、特徴領域の軌跡が車両の前後方向と一致しないのは、ハンドルを切らない状態で車両が道路の車両進行方向に対して斜めに直進している状況のときである。

補正値算出部２８０は、例えば、特徴領域の軌跡が車両の前後方向と一致する場合には操舵角検出部１６０から車両のステアリング操舵角（本実施形態では、ハンドルの中立位置を基準として時計回り方向を正の値とする）を取得し、そのステアリング操舵角を逆符号にした値を補正値として求める。例えば、ハンドルを中立位置から半時計回り方向（負の方向）にＸ度切ったときの補正値は＋Ｘ度になり、ハンドルを中立位置から時計回り方向（正の方向）にＸ度切ったときの補正値は−Ｘ度になる。

一方、特徴領域の軌跡が車両の前後方向と一致しない場合には、補正値算出部２８０は、車両の前後方向に対する特徴領域の軌跡の傾き角度（本実施形態では、車両の前後方向を基準として半時計回り方向を正の値とする）を補正値として求める。例えば、ハンドルが中立位置にあって車両が右斜めに直進しているときの補正値は＋Ｘ度になり、車両が左斜めに直進しているときの補正値は−Ｘ度となる。

予測走行軌跡生成部３２０は、補正値算出部２８０により求められた補正値および操舵角検出部１６０により検出される車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する。具体的には、予測走行軌跡生成部３２０は、操舵角検出部１６０により検出される車両のステアリング操舵角に、補正値記憶部３００に記憶された補正値（角度）を加算した角度（加算角度）に基づいて、車両の予測走行軌跡を生成する。

例えば、ハンドルの中立位置を基準として時計回り方向を正（半時計回り方向を負）とした場合、車両のステアリング操舵角が−Ｘ度であり、補正値記憶部３００に記憶された補正値が＋Ｘ度であるとき、予測走行軌跡生成部３２０は、加算角度（０度＝−Ｘ＋Ｘ）に基づいて、車両の前後方向に伸びる直線状の予測走行軌跡を生成する。また、車両のステアリング操舵角が＋Ｘ度であり、補正値記憶部３００に記憶された補正値が−Ｙ度であるとき、予測走行軌跡生成部３２０は、加算角度である（Ｘ−Ｙ）度に基づいて、車両の前後方向に対して湾曲した予測走行軌跡を生成する。

運転支援画像生成部３４０は、予測走行軌跡生成部３２０により生成された予測走行軌跡を車両周辺画像生成部２２０により生成された車両周辺画像に重畳した運転支援画像を生成する。運転支援画像出力部３６０は、運転支援画像生成部３４０により生成された運転支援画像をモニタ１８０に出力する。

以下に、車両周辺画像生成部２２０により生成された車両周辺画像から車両の予測走行軌跡を補正するための補正値を求めるまでの動作について具体的に説明する。撮像部１４０の各撮像装置が所定速度（例えば、１／６０[秒]）より低速なシャッター速度を用いて車両周囲の画像を撮像する場合および撮像部１４０の各撮像装置が所定速度（例えば、１／３０[秒]）より高速なシャッター速度を用いて車両周囲の画像を所定時間間隔毎に複数撮像する場合について説明する。

まず、撮像部１４０の各撮像装置がある速度より低速なシャッター速度を用いて車両周囲の画像を撮像する場合について説明する。図３は、その場合に車両周辺画像生成部２２０により生成された車両周辺画像内に含まれる道路上の特徴領域の軌跡と補正値の例を示す図である。そのうち、図３（ａ）、（ｂ）は、車両周辺画像内に含まれる道路上の特徴領域の軌跡の例を示した図である。図３（ｅ）に示すように車両が道路６８０の車両進行方向７００に沿って直進しているときは図３（ａ）のような車両周辺画像になり、図３（ｆ）に示すように車両が道路６８０の車両進行方向７００に対して斜めに直進しているときは図３（ｂ）のような車両周辺画像になる。なお、図３（ａ）、（ｂ）に示す特徴領域の軌跡は、直進性判定部２６０により直進性があると判定された軌跡である。

図３（ａ）に示す車両周辺画像６００には、道路上の特徴領域が１本の軌跡６２０として車両周辺画像６００の上下方向に流れているように撮像されている。特徴領域が流れるように写されているのは、車両が道路を走行することにより、シャッターが比較的長く開いている時間（露光時間）中に道路上の特徴領域が撮影範囲内を相対的に移動するためである。また、図３（ｂ）に示す車両周辺画像６００には、道路上の特徴領域が１本の軌跡６４０として車両周辺画像６００の斜め方向に流れているように撮像されている。

このように、撮像部１４０の各撮像装置が所定速度より低速なシャッター速度を用いて車両周囲の画像を撮像する場合、軌跡抽出部２４０は、車両周辺画像生成部２２０により生成された車両周辺画像６００から、車両周辺画像６００内に含まれる道路上で特徴領域が流れるように写っている部分を特徴領域の軌跡６２０、６４０として抽出する。

この後の運転支援装置１００の動作として、補正値算出部２８０は、軌跡抽出部２４０により抽出された特徴領域の軌跡６２０、６４０の方向が車両の前後方向と一致するか否かを判定し、その判定結果に応じて、図３（ｃ）または図３（ｄ）の何れかに示す方法によって補正値を求める。

図３（ｃ）は、図３（ａ）に示す車両周辺画像６００内の道路上の特徴領域の軌跡６２０の方向と、車両の前後方向６６０との関係を示した図である。図３（ｃ）に示すように、道路上の特徴領域の軌跡６２０の方向と車両の前後方向６６０とが一致する場合には、補正値算出部２８０は、操舵角検出部１６０から車両のステアリング操舵角を取得し、その取得したステアリング操舵角を逆符号にした値を補正値として求める。

図３（ｄ）は、図３（ｂ）に示す車両周辺画像６００内の道路上の特徴領域の軌跡６４０の方向と、車両の前後方向６６０との関係を示した図である。図３（ｄ）に示すように、道路上の特徴領域の軌跡６４０の方向と車両の前後方向６６０とが一致しない場合には、補正値算出部２８０は、車両の前後方向６６０に対する特徴領域の軌跡６４０の傾き角度を補正値として求める。

具体的には、車両の前後方向６６０に対する特徴領域の軌跡６４０の傾き角度は、以下のようにして求められる。つまり、図３（ｄ）に示すように、傾き角度（θ）は、車両周辺画像６００の上下方向の長さ（ａ）と、車両周辺画像６００の上端における軌跡６４０の左右方向の位置と車両周辺画像６００の下端における軌跡６４０の左右方向の位置との差分の長さ（ｂ）とを用いて以下の式（１）で求められる。
θ＝ｔａｎ^−１（ｂ／ａ）・・・（１）

次に、撮像部１４０の各撮像装置が所定速度より高速なシャッター速度を用いて車両周囲の画像を所定時間間隔毎に複数撮像する場合について説明する。図４は、その場合に車両周辺画像生成部２２０により生成された車両周辺画像内に含まれる道路上の特徴領域を示す図である。

本実施形態では、図４（ａ）〜（ｅ）に示すように、複数の車両周辺画像７０１〜７０５の上端部分から下端部分に向けて認識ライン１、認識ライン２、認識ライン３、認識ライン４、認識ライン５が等間隔で設けられている。各認識ライン間の間隔の長さはｄである。

撮像部１４０の各撮像装置は、各認識ライン１〜５上に特徴領域７２０が位置するタイミングを見計って車両周囲の画像を撮像する。すなわち、撮像制御部２００は、走行速度検出部１２０により検出された車両の走行速度に応じて、撮像装置により車両周囲の画像を撮像する場合における所定時間間隔を変更する。このようにすれば、車両周辺画像内において道路上の特徴領域７２０を認識ライン１〜５に合わせて撮像することができる。

また、撮像制御部２００は、走行速度検出部１２０により検出された車両の走行速度に応じて、撮像装置により車両周囲の画像を撮像する場合におけるシャッター速度も合わせて変更するようにして良い。このようにすれば、車両の走行速度が高速である場合、シャッター速度を速くすることにより、図４に示すように、車両が走行することによって移動する道路上の特徴領域７２０の一瞬の状態を確実に撮像することができる。

図６は、車両走行速度およびシャッター速度と車両周辺画像における道路上の特徴領域の移動量との関係を示す図である。ここで、車両周辺画像における１画素あたりの路面の大きさは、０．０２５[ｍ]×０．０２５[ｍ]とする。

例えば、車両の走行速度が時速１０ｋｍの場合、撮像装置に１／６０[秒]より高速なシャッター速度（例えば、１／１２５[秒]）を用いれば、車両周辺画像における道路上の特徴領域の移動量は０．０２２[ｍ] ＜ ０．０２５[ｍ]（車両周辺画像における１画素の縦方向の長さ）となるため、車両周辺画像に道路上の特徴領域の流れは現れない。一方、撮像装置に１／６０[秒]を含めてそれより低速なシャッター速度（例えば、１／３０[秒]）を用いれば、車両周辺画像における道路上の特徴領域の移動量は０．０９３[ｍ] ＞ ０．０２５[ｍ]となるため、車両周辺画像における道路上の特徴領域の流れが現れる。つまり、車両の走行速度が時速１０ｋｍの場合、撮像装置により車両周囲の画像を撮像する場合におけるシャッター速度を１／６０[秒]より高速にすることで、道路上の特徴領域７２０の一瞬の状態を確実に撮像することができる。

また、車両の走行速度が時速３０ｋｍの場合、撮像装置に１／２５０[秒]より高速なシャッター速度（例えば、１／５００[秒]）を用いれば、車両周辺画像における道路上の特徴領域の移動量は０．０１７[ｍ] ＜ ０．０２５[ｍ]となるため、車両周辺画像における道路上の特徴領域の流れは現れない。一方、撮像装置に１／２５０[秒]秒を含めてそれより低速なシャッター速度（例えば、１／１２５[秒]）を用いれば、車両周辺画像における道路上の特徴領域の移動量は０．０６７[ｍ] ＞ ０．０２５[ｍ]となるため、車両周辺画像における道路上の特徴領域の流れが現れる。つまり、車両の走行速度が時速３０ｋｍの場合、撮像装置により車両周囲の画像を撮像する場合におけるシャッター速度は１／２５０[秒]より高速にすることで、道路上の特徴領域７２０の一瞬の状態を確実に撮像することができる。

図４（ａ）に示す１枚目の車両周辺画像７０１は、撮像部１４０の各撮像装置がある時間ｔ１において認識ライン１上に位置する特徴領域７２０を撮像したときのものである。図４（ｂ）に示す２枚目の車両周辺画像７０２は、撮像部１４０の各撮像装置が時間ｔ２（＝ｔ１＋Δｔ）において認識ライン２上に位置する特徴領域７２０を撮像したときのものである。つまり、撮像部１４０の各撮像装置は、特徴領域７２０が認識ライン１から認識ライン２までの距離ｄを移動するために必要な時間Δｔを走行速度検出部１２０により検出された車両の走行速度から割り出して、当該割り出した時間Δｔ後に車両周囲の画像を撮像する。以下、撮像部１４０の各撮像装置は、車両周辺画像内の認識ライン３〜５上に特徴領域７２０が位置するタイミングで同様に撮像する。

図４（ｃ）に示す３枚目の車両周辺画像７０３は、撮像部１４０の各撮像装置が時間ｔ３（＝ｔ２＋Δｔ）において認識ライン３上に位置する特徴領域７２０を撮像したときのものである。図４（ｄ）に示す４枚目の車両周辺画像７０４は、撮像部１４０の各撮像装置が時間ｔ４（＝ｔ３＋Δｔ）において認識ライン４上に位置する特徴領域７２０を撮像したときのものである。図４（ｅ）に示す５枚目の車両周辺画像７０５は、撮像部１４０の各撮像装置が時間ｔ５（＝ｔ４＋Δｔ）において認識ライン５上に位置する特徴領域７２０を撮像したときのものである。

図５は、所定速度より高速なシャッター速度を用いて車両周囲の画像を撮像した場合、車両周辺画像内に含まれる道路上の特徴領域の軌跡例を示す図である。そのうち、図５（ａ）、（ｂ）は、各認識ライン１〜５上に特徴領域７２０が位置した際に撮像された車両周囲の画像に基づいて、車両周辺画像生成部２２０により生成された複数の車両周辺画像を重畳した重畳画像を示す図である。図５（ｅ）に示すように車両が道路８２０の車両進行方向８４０に沿って直進しているときは図５（ａ）のような重畳画像になり、図５（ｆ）に示すように車両が道路８２０の車両進行方向８４０に対して斜めに直進しているときは図５（ｂ）のような重畳画像になる。

図５（ａ）には、複数の特徴領域７２０を繋いだ１本の軌跡７４０を示している。図５（ｂ）には、複数の特徴領域７６０を繋いだ１本の軌跡７８０を示している。なお、図５（ａ）、（ｂ）に示す特徴領域の軌跡７４０、７８０は、直進性判定部２６０により直進性があると判定された軌跡である。このときの運転支援装置１００の動作として、軌跡抽出部２４０は、車両周辺画像生成部２２０により生成された複数の車両周辺画像から各車両周辺画像における道路上の特徴領域７２０、７６０をそれぞれ抽出する。そして、軌跡抽出部２４０は、抽出された各車両周辺画像における道路上の特徴領域７２０、７６０を繋いだ軌跡７４０、７８０を特徴領域の軌跡として抽出する。

この後の運転支援装置１００の動作として、補正値算出部２８０は、軌跡抽出部２４０により抽出された特徴領域の軌跡７４０、７８０の方向が車両の前後方向８００と一致するか否かを判定し、その判定結果に応じて、図５（ｃ）または図５（ｄ）の何れかに示す方法によって補正値を求める。

図５（ｃ）は、図５（ａ）に示す道路上の特徴領域の軌跡７４０の方向と、車両の前後方向８００との関係を示した図である。図５（ｃ）に示すように、道路上の特徴領域の軌跡７４０の方向と、車両の前後方向８００とが一致する場合には、補正値算出部２８０は、操舵角検出部１６０から車両のステアリング操舵角を取得し、その取得したステアリング操舵角を逆符号にした値を補正値として求める。

図５（ｄ）は、図５（ｂ）に示す道路上の特徴領域の軌跡７８０の方向と、車両の前後方向８００との関係を示した図である。図５（ｄ）に示すように、道路上の特徴領域の軌跡７８０の方向と、車両の前後方向８００とが一致しない場合には、補正値算出部２８０は、車両の前後方向８００に対する特徴領域の軌跡７８０の傾き角度を補正値として求める。

具体的には、車両の前後方向８００に対する特徴領域の軌跡７８０の傾き角度は、以下のようにして求められる。つまり、図５（ｄ）に示すように、傾き角度（θ）は、認識ライン１から認識ライン５までの上下方向の長さ（ａ）と、認識ライン１における特徴領域の軌跡７８０の左右方向の位置と認識ライン５における特徴領域の軌跡７８０の左右方向の位置との差分の長さ（ｂ）とを用いて以下の式（２）で求められる。
θ＝ｔａｎ^−１（ｂ／ａ）・・・（２）

次に、本実施形態における運転支援装置１００の動作について説明する。図７は、本実施形態による運転支援装置１００の動作例を示すフローチャートである。図７（ａ）における各処理は、車両周辺画像生成部２２０により生成された車両周辺画像から車両の予測走行軌跡を補正するための補正値を求める場合における運転支援装置１００の処理内容を示しており、例えば、ユーザによる操作部（図示せず）の操作を介して補正値算出機能の実行要求を受け付けることによりステップＳ１００の処理は開始する。

まず、車両周辺画像生成部２２０は、撮像部１４０に含まれる複数のカメラによって撮像された車両周囲の画像を視点変換処理することにより、車両の上方の仮想視点から見た車両周辺画像を生成する（ステップＳ１００）。次に、軌跡抽出部２４０は、車両周辺画像生成部２２０により生成された車両周辺画像から当該車両周辺画像内に含まれる道路上の特徴領域の軌跡を抽出する（ステップＳ１２０）。

次に、直進性判定部２６０は、軌跡抽出部２４０により抽出された特徴領域の軌跡に直進性があるか否かを判定する（ステップＳ１４０）。もし、軌跡抽出部２４０により抽出された特徴領域の軌跡に直進性がないと直進性判定部２６０にて判定した場合（ステップＳ１４０にてＮＯ）、処理はステップＳ１００に遷移する。

一方、軌跡抽出部２４０により抽出された特徴領域の軌跡に直進性があると直進性判定部２６０にて判定した場合（ステップＳ１４０にてＹＥＳ）、補正値算出部２８０は、軌跡抽出部２４０により抽出された特徴領域の軌跡が車両の前後方向と一致するか否かを判定する（ステップＳ１６０）。もし、軌跡抽出部２４０により抽出された特徴領域の軌跡が車両の前後方向と一致すると補正値算出部２８０にて判定した場合（ステップＳ１６０にてＹＥＳ）、補正値算出部２８０は、操舵角検出部１６０から車両のステアリング操舵角を取得し、そのステアリング操舵角を逆符号にした値を車両の予測走行軌跡を補正するための補正値として補正値記憶部３００に記憶させる（ステップＳ１８０）。

一方、軌跡抽出部２４０により抽出された特徴領域の軌跡が車両の前後方向と一致しないと補正値算出部２８０にて判定した場合（ステップＳ１６０にてＮＯ）、補正値算出部２８０は、車両の前後方向に対する特徴領域の軌跡の傾き角度を求め、当該傾き角度を車両の予測走行軌跡を補正するための補正値として補正値記憶部３００に記憶させる（ステップＳ２００）。ステップＳ１８０またはステップＳ２００における処理が終了することにより、運転支援装置１００は、図７（ａ）における処理を終了する。

図７（ｂ）における各処理は、車両の予測走行軌跡を生成する場合における運転支援装置１００の処理内容を示しており、例えば、車両のギアシフト操作によって、ギアが「Ｄ（前進）」から「Ｒ（後退）」に変更された場合、ステップＳ３００の処理は開始する。

まず、車両周辺画像生成部２２０は、撮像部１４０に含まれる複数の撮像装置によって撮像された車両周囲の画像を視点変換処理することにより、車両の上方の仮想視点から見た車両周辺画像を生成する（ステップＳ３００）。次に、予測走行軌跡生成部３２０は、補正値記憶部３００に記憶された補正値および操舵角検出部１６０により検出される車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する（ステップＳ３２０）。

次に、運転支援画像生成部３４０は、予測走行軌跡生成部３２０により生成された予測走行軌跡を車両周辺画像生成部２２０により生成された車両周辺画像に重畳した運転支援画像を生成する（ステップＳ３４０）。最後に、運転支援画像出力部３６０は、運転支援画像生成部３４０により生成された運転支援画像をモニタ１８０に出力する（ステップＳ３６０）。これにより、運転支援装置１００は、図７（ｂ）における処理を終了する。

以上詳しく説明したように、本実施形態では、補正値算出部２８０が、車両周辺画像内に含まれる道路上の特徴領域の軌跡を用いて車両の予測走行軌跡を補正するための補正値を求め、予測走行軌跡生成部３２０が、当該補正値と操舵角検出部１６０により検出される車両のステアリング操舵角とに基づいて、車両の予測走行軌跡を生成している。これにより、ハンドルを中立位置にした場合に実際には車両が正しい状態で直進走行していないときでも、本来意味するところのハンドルの中立位置を補正することなく正しい予測走行軌跡を生成することができる。

なお、本実施形態では、軌跡抽出部２４０が車両周辺画像生成部２２０により生成された車両周辺画像の一部分（本実施形態では、画像５００）内に含まれる道路上から特徴領域の軌跡を抽出する例について説明したが、当該車両周辺画像の一部分は、画像５００の代わりに画像５２０、画像５４０または画像５６０を利用してもよい。

また、本実施形態では、撮像部１４０の各撮像装置が所定速度より高速なシャッター速度を用いて車両周囲の画像を所定時間間隔毎に複数撮像する場合、車両周辺画像生成部２２０により生成される車両周辺画像７０１〜７０５の上端部分から下端部分に向けて認識ライン１〜５を設ける例について説明したが、設ける認識ラインの数は５つに限らない。例えば、車両周辺画像７００に設ける認識ラインの数は、５つ未満であってもよいし、または６つ以上であってもよい。

また、車両周辺画像に設けられる認識ライン１〜５の位置は固定の位置でなくても良い。例えば、１枚目の車両周辺画像の上方において特徴領域が写っているラインを画像認識により認識ライン１として設定し、順に認識ライン２、認識ライン３、認識ライン４、認識ライン５を等間隔に設けるようにしてもよい。また、車両周辺画像に設けられる認識ライン１〜５の幅は固定の幅でなくても良い。

また、本実施形態では、車両周辺画像７０１〜７０５が、各認識ライン１〜５上に特徴領域７２０が位置するタイミングを見計って撮像部１４０の各撮像装置により撮像された車両周囲の画像に基づいて生成されたものである例について説明したが、これに限定されない。例えば、車両周辺画像７０１〜７０５は、撮像部１４０の各撮像装置により任意のタイミングで高速な時間間隔で撮像された車両周囲の画像に基づいて生成された複数（少なくとも６つ以上）の車両周辺画像の中から、各認識ライン７０１〜７０５に特徴領域７２０がちょうど写っているものとして適宜選択されたものであってもよい。

また、本実施形態では、図７（ａ）のフローチャートにおいて、ステップＳ１６０における判断によりその後の処理を場合分けしているが、ステップＳ１６０の後の処理はどちらか一方だけでもよい。例えば、ステップＳ１６０における判断結果がＹＥＳの場合には次の処理はステップＳ１８０に遷移し、ステップＳ１６０における判断結果がＮＯの場合には次の処理はステップＳ１００に遷移するようにしてもよい。また、ステップＳ１６０における判断結果がＮＯの場合には次の処理はステップＳ２００に遷移し、ステップＳ１６０における判断結果がＹＥＳの場合には次の処理はステップＳ１００に遷移するようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態による運転支援装置のブロック構成例を示す図である。 本実施形態による車両周辺画像の例を示す図である。 本実施形態による道路上の特徴領域の軌跡と補正値の例を示す図である。 本実施形態による道路上の特徴領域の例を示す図である。 本実施形態による道路上の特徴領域の軌跡と補正値の例を示す図である。 車両走行速度およびシャッター速度と車両周辺画像における道路上の特徴領域の移動量との関係を示す図である。 本実施形態による運転支援装置の動作例を示すフローチャートである。

符号の説明

１００ 運転支援装置
１２０ 走行速度検出部
１４０ 撮像部
１６０ 操舵角検出部
２００ 撮像制御部
２２０ 車両周辺画像生成部
２４０ 軌跡抽出部
２６０ 直進性抽出部
２８０ 補正値算出部
３２０ 予測走行軌跡生成部

Claims (3)

1. 車両の異なる場所に設置された複数の撮像装置によって撮像された車両周囲の画像を視点変換処理することにより、前記車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成部と、
   前記車両周辺画像生成部により生成された車両周辺画像から当該車両周辺画像内に含まれる道路上の特徴領域の軌跡を抽出する軌跡抽出部と、
   前記軌跡抽出部により抽出された前記特徴領域の軌跡の直進性があるか否かを判定する直進性判定部と、
   前記直進性判定部により前記特徴領域の軌跡の直進性があると判定された場合に限って、前記軌跡抽出部により抽出された前記特徴領域の軌跡を用いて、前記車両の予測走行軌跡を補正するための補正値を求める補正値算出部と、
   前記補正値算出部により求められた前記補正値および操舵角検出部により検出される前記車両のステアリング操舵角に基づいて、前記車両の予測走行軌跡を生成する予測走行軌跡生成部とを備え、
   前記補正値算出部は、前記軌跡抽出部により抽出された前記特徴領域の軌跡の方向と前記車両の前後方向とが一致するか否かを判定し、前記特徴領域の軌跡の方向と前記車両の前後方向とが一致する場合には前記操舵角検出部から前記車両のステアリング操舵角を取得し、その取得した前記車両のステアリング操舵角に基づき前記補正値を求めることを特徴とする運転支援装置。
2. 請求項１に記載の運転支援装置において、
   前記補正値算出部は、前記特徴領域の軌跡の方向と前記車両の前後方向とが一致しない場合には前記車両の前後方向に対する前記特徴領域の軌跡の傾き角度に基づき前記補正値を求めることを特徴とする運転支援装置。
3. 車両の異なる場所に設置された複数の撮像装置によって撮像された車両周囲の画像を視点変換処理することにより、前記車両の上方の仮想視点から見た車両周辺画像を生成する第１のステップと、
   前記第１のステップにより生成された車両周辺画像から当該車両周辺画像内に含まれる道路上の特徴領域の軌跡を抽出する第２のステップと、
   前記第２のステップにより抽出された前記特徴領域の軌跡の直進性があるか否かを判定する第３のステップと、
   前記第３のステップにより前記特徴領域の軌跡の直進性があると判定された場合に限って、前記第２のステップにより抽出された前記特徴領域の軌跡を用いて、前記車両の予測走行軌跡を補正するための補正値を求める第４のステップと、
   前記第４のステップにより求められた前記補正値および操舵角検出部により検出される前記車両のステアリング操舵角に基づいて、前記車両の予測走行軌跡を生成する第５のステップとを備え、
   前記第４のステップでは、前記第２のステップにより抽出された前記特徴領域の軌跡の方向と前記車両の前後方向とが一致するか否かを判定し、前記特徴領域の軌跡の方向と前記車両の前後方向とが一致する場合には前記操舵角検出部から前記車両のステアリング操舵角を取得し、その取得した前記車両のステアリング操舵角に基づき前記補正値を求めることを特徴とする運転支援方法。