以下、図面を参照して、本発明の実施の形態について説明する。
(第1の実施形態)
以下では、本発明による突起物検出装置の実施形態として、路面に設置された突起物の一種である車止めを検出する車止め検出装置について説明する。図1は、本発明の第1の実施形態に係る車止め検出装置の構成例を示すブロック図である。図1に示す車止め検出装置100は、車両に搭載されて使用されるものであり、単眼カメラ101と、カメラ座標取得部102と、特徴点取得部103と、特徴点座標取得部104と、路面領域取得部105と、路面座標推定部106と、車止め候補抽出部107と、駐車領域取得部108と、車止め判定部109とを備える。以下に、各部を詳細に説明する。
単眼カメラ101は、車両周辺の撮影範囲(観測範囲)を連続的に撮影し、車止めを検出するための撮影画像を取得する。ここで、車両を前向きまたは後向きで駐車領域に駐車する際に、車止め検出装置100が単眼カメラ101の撮影画像から車止めを検出するためには、車両において駐車領域内の車止めを撮影できるような位置に単眼カメラ101を設置する必要がある。例えば、車両の前方や後方を撮影するように、単眼カメラ101は車両の前面や背面に搭載される。単眼カメラ101が取得した撮影画像は、特徴点取得部103、路面領域取得部105および駐車領域取得部108に入力される。
カメラ座標取得部102は、単眼カメラ101の姿勢および座標を取得する。カメラ座標取得部102は、例えば、単眼カメラ101や車両に設置されたセンサーを用いて、単眼カメラ101の姿勢と座標を検出する。このセンサーには、旋回量を検知するジャイロセンサーや、加速度を計測する加速度センサー、地球上の位置を測定するGPSなどの衛星測位システムのセンサーなどが用いられる。また、車両の車輪の回転数を計測する車速センサーや、車両のステアリング・ホイールの操舵角を取得するステアリングセンサーなど、車両特有のセンサーを用いてもよい。あるいは、単眼カメラ101の撮影画像に基づいて、カメラ座標取得部102が単眼カメラ101の姿勢および座標を推定してもよい。例えば、車速センサーなどに基づく単眼カメラ101の座標の移動量と、撮影画像における大量の特徴点の位置の変化から、単眼カメラ101の姿勢および座標を推定するビジュアル・オドメトリなどの技術が知られている。この技術を用いることで、ジャイロセンサーや加速度センサーなどを省くことができる。
特徴点取得部103は、単眼カメラ101から入力された撮影画像に基づいて、車両周辺に存在する物体の特徴点を検出する。特徴点取得部103は、単眼カメラ101によって取得される撮影画像を画像処理することで、車両周辺の撮影範囲(観測範囲)から物体の特徴点を抽出する。なお、画像処理で抽出可能な特徴点には公知なものが多様にあるが、何れの特徴点を用いてもよい。また、特徴点の抽出方式にも公知な手法を用いることができる。例えば、輝度変化のあるコーナー点としてHarris特徴点やSUSAN特徴点を抽出するHarrisオペレータやSUSANオペレータを画像に適用する手法が知られている。また、SHIFT特徴点とその抽出方式なども知られている。これ以外にも、車両周辺の撮影範囲(観測範囲)から物体の特徴点を検出できれば、特徴点取得部103において任意の手法を用いることが可能である。
特徴点座標取得部104は、特徴点取得部103により検出された特徴点の空間座標を示す座標情報を取得する。特徴点座標取得部104は、単眼カメラ101の姿勢および座標の変化に伴う撮影画像の変化から、特徴点の空間座標を導出し、座標情報を取得する。具体的には、特徴点座標取得部104は、カメラ座標取得部102によって取得される単眼カメラ101の姿勢および座標を参照し、異なる時刻t1,t2における単眼カメラ101の姿勢および座標の変化を導出する。そして、異なる時刻t1,t2の単眼カメラ101を2台のカメラに見立て、ステレオカメラと同様に、異なる時刻t1,t2における単眼カメラ101の姿勢および座標と、異なる時刻t1,t2の単眼カメラ101が取得した2枚の撮影画像にそれぞれ映る同一の特徴点の画像上の位置変化から、当該特徴点の空間座標を三角測量により導出することができる。なお、本手法は、一般的な単眼カメラを用いて物体の空間座標を取得する公知の手法である。ただし、本発明の特徴点座標取得部104が特徴点の空間座標を導出する方法は、本手法に限定されない。例えば、車両の周辺に存在する物体の画像と大きさを予め取得し、当該画像と整合する物体を撮影画像から抽出し、その画像位置および画像サイズから当該物体の空間座標を取得してもよい。
路面領域取得部105は、単眼カメラ101の撮影範囲(観測範囲)内で路面に対応する路面領域を、単眼カメラ101より入力された撮影画像から抽出する。路面領域取得部105は、様々な手法を用いて撮影画像から路面領域を抽出することができる。例えば、路面のテクスチャの特徴を予め取得し、当該特徴のある領域を撮影画像から抽出する手法や、撮影画像から車両の足元付近のテクスチャの特徴を抽出し、当該特徴のある領域を撮影画像から抽出する手法などがある。また、路面を検出するセンサーを用いて、このセンサーにより検出される路面の範囲に該当する撮影画像上の領域を路面領域として取得してもよい。当該センサーには、例えば物体の距離を計測するレーザーレーダーを用いて、車両の足元と同じ高さの領域を路面として検出すればよい。これ以外にも、様々な手法で撮影画像から路面領域を抽出することが可能である。
路面座標推定部106は、特徴点取得部103により検出された特徴点の中で、路面領域取得部105により抽出された路面領域内にあり、その座標情報が示す高さが路面の高さに対応する特徴点を、路面候補点として抽出する。そして、抽出した当該路面候補点の座標情報に基づいて、路面の座標である路面座標を推定する。なお、路面座標推定部106による路面座標の推定方法の詳細については後述する。
車止め候補抽出部107は、特徴点取得部103により検出された特徴点の中で、路面からの高さが所定値以上または所定の範囲内にある特徴点を、検出対象とする突起物、すなわち車止めの候補点として抽出する。なお、車止め候補抽出部107による車止め候補点の抽出方法の詳細については後述する。
駐車領域取得部108は、単眼カメラ101より入力された撮影画像から、車両が駐車を行う駐車領域を取得する。駐車領域取得部108は、例えば撮影画像を画像処理することで、車両の駐車先にある駐車枠を検出し、その駐車枠内を駐車領域として検出する。このとき駐車枠を検出する手法には公知の手法が利用できる。例えば、撮影画像から路面上の平行な2本の直線エッジを抽出し、これらの直線エッジに挟まれた領域を駐車枠として検出することが可能である。ただし、本発明の駐車領域取得部108が駐車領域を取得する方法は本手法に限定されない。例えば、撮影画像から駐車車両を検出し、2台の駐車車両の間に車両の収まる空間があれば、その空間を駐車領域として検出してもよい。また、車両の運転者が駐車領域を手動で設定してもよいし、周辺の施設から通信によって通知を受けてもよい。
車止め判定部109は、車止め候補抽出部107により抽出された車止め候補点の座標情報に基づいて、突起物である車止めを検出する。車止め判定部109は、車止め候補点の座標情報が示す空間座標と、駐車領域取得部108が取得した駐車領域とを比較することで、駐車領域内での車止めの有無を判定し、車止めがあると判定した場合には、当該車止めの座標を求める。なお、車止め判定部109による車止めの検出方法の詳細については後述する。
以上に説明した処理の一例を図2に示す。まず、路面座標推定部106が、特徴点取得部103によって検出された特徴点から、路面領域内にあって、路面に近い高さのものを、路面候補点として抽出する(処理901)。そして、抽出した路面候補点の座標との偏差が最小となる平面を導出し、その座標を路面座標とする(処理902)。車止め候補抽出部107は、路面座標からの高さが所定値以上または所定の範囲内にある特徴点を車止め候補点として抽出する(処理903)。最後に、車止め判定部109が、駐車領域内の車止めが存在するであろう所定の車止め領域に近い座標をもつ車止め候補点を車止めとして検出する(処理904)。
車止め検出装置100は、以上説明したような各部を、例えば電子式カメラとマイクロコンピュータを用いて実現することができる。すなわち、単眼カメラ101として電子式カメラを用いることで、車両周辺の撮影画像に応じた画像データを生成し、マイクロコンピュータに入力する。マイクロコンピュータでは、入力された画像データに対して所定のプログラムに基づく処理を実行することで、カメラ座標取得部102、特徴点取得部103、特徴点座標取得部104、路面領域取得部105、路面座標推定部106、車止め候補抽出部107、駐車領域取得部108、および車止め判定部109の各機能を実現する。なお、例えばFPGA(Field-Programmable Gate Array)などのマイクロコンピュータ以外のものを用いて、単眼カメラ101を除いた各機能を実現してもよい。
次に、路面座標推定部106による路面座標の推定方法の詳細について以下に説明する。路面座標推定部106は、特徴点座標取得部104によって取得された特徴点の座標情報を参照して、路面領域内に存在する路面らしい高さをもつ特徴点を路面候補点として抽出する。路面らしい高さとは、車両の接地面を基準とした高さが路面の高さと同一かそれに近い高さであって、例えば0cmなどの固定値であってもよいし、-10cm以上10cm未満などの固定の範囲であってもよい。また、単眼カメラ101からの距離に応じて変化する値であってもよい。例えば、単眼カメラ101の姿勢が傾けば、撮影画像内の路面が単眼カメラ101と逆向きに傾くため、路面らしい高さは単眼カメラ101からの距離に応じて増加または減少される。また、単眼カメラ101からの距離が遠いほど、特徴点座標取得部104によって取得される特徴点の座標の誤差が大きくなるため、路面らしい高さの範囲を広げてもよい。
上記のようにして路面候補点を抽出したら、路面座標推定部106は、抽出した複数の路面候補点の座標情報に基づいて路面に対応する平面または曲面を導出し、導出した平面または曲面を示す座標を路面座標として推定する。例えば、各路面候補点の座標情報が示す空間座標に対して偏差が小さい平面または曲面を導出し、当該平面または曲面を定義する座標を路面座標と推定する。具体的には、例えば図3に示すように、複数の路面候補点301の空間座標に対して偏差が最小となる平面302を求め、この平面302の座標を路面座標とすることで、路面座標の推定が可能である。
ただし、本発明の路面座標推定部106が路面座標を推定する手法は上記の手法に限定されない。例えば、抽出した路面候補点の座標をそのまま路面座標とし、路面候補点のない領域においては周囲の路面座標から補間して路面座標を求めてもよい。ここで、補間の方法には公知の様々な手法を用いることができる。例えば、最近傍の路面座標の高さとしてもよいし、近傍の3つの路面座標を頂点とする平面上の高さとしてもよい。
また、特定の方向に対して路面が勾配をもつと仮定すれば、路面座標推定部106は、その方向を一方の軸として高さ方向を他方の軸とする二次元座標系を定義し、抽出した複数の路面候補点の座標情報を当該二次元座標系の座標情報にそれぞれ変換してから、路面座標の推定を行ってもよい。この場合、路面座標推定部106は、変換後の各路面候補点の座標情報が示す二次元座標に対して偏差が小さい直線または曲線を導出し、当該直線または曲線を定義する座標を路面座標と推定する。具体的には、例えば図4に示すように、車両の進行方向を表すY軸と高さ方向を表すZ軸による二次元座標系を定義し、複数の路面候補点の座標を当該二次元座標系上に投影することで、二次元座標系における複数の路面候補点401を抽出する。そして、抽出した複数の路面候補点401に対して偏差が最小となる曲線402を求め、この曲線402の座標を路面座標とすることで、路面座標の推定が可能である。なお、曲線402ではなく直線を求めて路面座標を推定してもよい。その場合、二次元座標系における複数の路面候補点401から最小二乗法により直線を求めて路面座標を導出できる。本手法を用いることにより、路面候補点の座標の次元を三次元から二次元に減らすことができるため、路面候補点の少ない場面においても路面座標が推定しやすくなる。
ここで、上記特定の方向は、高さ方向に対して垂直な方向であれば何れの方向であっても構わない。例えば、車道の側溝や駐車場の端に向かう方向としてもよいし、車両の進行方向としてもよい。前者の場合、水はけのために車道や駐車場に付けられた路面の勾配を推定できる。ここで、車道の側溝や駐車場の端に向かう方向は、例えば撮影映像から車線や駐車枠線、周辺車両などを検出し、その向きから推測してもよいし、周辺施設から通信によって通知を受けてもよい。また、後者のように車両の進行方向とする場合、加減速によって進行方向に傾斜した車両から観測される路面の勾配を検出できる。
また、路面座標推定部106は、上記の各手法で路面座標の推定を行う際に、一定数もしくは全ての路面候補点の座標の高さを超えないことを制約条件としてもよい。本手法によって推定される路面座標の一例を図5に示す。図5において路面座標を示す曲線403では、図4に示した制約条件がない場合の路面座標を示す曲線402と比べて、路面座標の高さが低くなっている。本手法によれば、路面領域取得部105によって取得される路面領域内に、例えば車止めなど、路面よりも高い部分が含まれてしまった場合でも、路面座標を正確に推定することができる。
続いて、車止め候補抽出部107による車止め候補点の抽出方法の詳細について以下に説明する。車止め候補抽出部107は、路面領域内にある特徴点のうち、路面座標推定部106が推定した路面座標からの高さが車止めらしい高さを有する特徴点を、車止め候補点として抽出する。車止めらしい高さとは、路面からの高さが検知対象とする車止めの高さと同一かそれに近い高さであって、例えば10cmなどの固定値であってもよいし、10cm以上15cm以下などの固定の範囲であってもよい。また、単眼カメラ101からの距離に応じて変化する値であってもよい。例えば、単眼カメラ101からの距離が遠いほど、特徴点座標取得部104によって取得される特徴点の座標の精度が低下するため、車止めらしい高さの範囲を広げてもよい。
また、車止め候補抽出部107は、路面座標よりも高さが大きい特徴点を車止め候補点として抽出してもよい。路面領域取得部105によって取得される路面領域に車止めなどが誤って含まれる場合には、路面座標推定部106によって推定される路面座標の高さが実際の路面よりも高くなるが、この手法により、路面よりも高さのある突起物の特徴点を車止め候補点として抽出することができる。
上記のようにして、車止め候補抽出部107は、その高さが所定値以上または所定の範囲内にある特徴点を車止め候補点として抽出することができる。ここで、特徴点の高さとは、特徴点の座標を計測した時に用いた座標系における高さのことを表す。より具体的には、例えば、車両や単眼カメラ101の足元の一点を基点として、車両と同じ傾きをもつ平面を想定し、その平面からの垂直距離で特徴点の高さを表すことができる。この場合、「路面からの高さ」とは、当該座標系における路面の高さ(路面座標)と特徴点(車止め候補)の高さの差に相当する。なお、路面の高さ(路面座標)が傾斜していれば、傾斜したその面からの垂直距離を特徴点の高さとしても良い。
続いて、車止め判定部109による車止めの検出方法の詳細について以下に説明する。車止め判定部109は、駐車領域取得部108が取得した駐車領域内で、車止め特有の領域として所定の車止め領域を設定する。そして、車止め候補抽出部107により抽出された車止め候補点が有する座標情報に基づいて、当該車止め領域に対する座標差が小さい車止め候補点を車止めに対応する点として抽出する。これにより、路面に設置された突起物である車止めを検出する。
図6に、駐車領域501に対して設定される車止め領域502の一例を示す。図6では、車両上空から俯瞰した様子を示している。一般に車止めは、駐車領域の長手方向において後方に配置され、かつ、駐車領域の幅方向において左右の一方または両側に並べて配置されている。また、駐車領域からの高さは、一般に10cm以上15cm以下程度である。そこで、車止め判定部109は、駐車領域501内でこのような条件を満たす領域を車止め領域502として設定し、車止め領域502に対する座標差が所定値以内である車止め候補点の座標情報に基づいて、車止めを検出することができる。
ただし、路面領域取得部105によって取得される路面領域に路面以外の領域が誤って含まれてしまう場合は、路面座標の高さが実際の路面より高めに推定されるため、駐車領域に対する各車止め候補点の高さが上記の範囲から外れてしまうことがある。そこで、このような場合は高さ情報の比較を省略してもよい。
また、前述のように車止め候補抽出部107では、路面座標からの高さが車止めらしい高さを有する特徴点を、車止め候補点として抽出している。そのため、車止め判定部109では、高さを考慮せずに、水平方向(路面方向)における車止め領域との座標差のみを考慮して、複数の車止め候補点の中から車止めに対応する点を抽出してもよい。あるいは反対に、水平方向(路面方向)における車止め領域との座標差を考慮せず、高さのみを考慮して、複数の車止め候補点の中から車止めに対応する点を抽出してもよい。例えば、車止めとして想定される高さの上限値を車止め判定部109において設定しておき、駐車領域内にある車止め候補点の座標情報が示す高さがこの上限値以下の場合に、車止めを検出するようにしてもよい。このようにすれば、車高よりも高い突起物などのように、車止めとしては明らかに不適切な高さを有する物体が車止めとして誤検出されることを防止できる。また、高さに過大な検出誤差を含む特徴点を除外して、車止めの検出を行うことができる。
なお、本手法によって多数の車止め候補点が車止めに対応する点として抽出される場合には、その中で最も車止めらしいものを採用して車止めを検出すればよい。例えば、車止めに対応する点が最も密集して抽出された領域を特定し、その領域内のいずれかの点を代表点とすることで車止めを検出してもよい。また、駐車領域内で車止め領域を設定する際に、その領域内で最も車止めらしい座標を車止め特有の座標として設定し、当該座標との偏差が最も小さい座標をもつ車止め候補点を車止めに対応する点として抽出してもよい。
ただし、本発明の車止め判定部109が車止めを検出する手法は上記の手法に限定されない。例えば、駐車領域内で車止め候補点の出現確率が所定値以上である領域を抽出し、抽出した領域に基づいて車止めを検出してもよい。具体的には、例えば駐車領域を複数の領域に分割し、分割された各領域内で抽出される車止め候補点の数を一定期間計測する。そして、計測された車止め候補点の数が一定数を超えた領域を車止めの領域として抽出し、その領域の座標を車止めの座標として検出してもよい。
なお、本手法において、車止め候補点の数が一定数を超えて計測された領域が複数ある場合には、その中で最も車止めらしい領域を車止めの領域として抽出すればよい。例えば、計測される車止め候補点の数が最大の領域を車止めの領域としてもよい。また、駐車領域内での位置に基づき、例えば駐車領域の幅方向に並んで検出される複数の領域を車止めとして検出してもよい。
また、本手法において、車止め候補点の数を計測する際に、車止め候補点の高さに応じた係数を乗算することで、車止めらしい高さをもつ車止め候補点の計測数を増加させてもよい。
あるいは、車止め判定部109は、各車止め候補点の座標情報が示す駐車領域の幅方向または長手方向における位置に基づいて、駐車領域内にある車止め候補点の中で車止めに対応する点を抽出し、抽出した点の座標情報に基づいて車止めを検出するようにしてもよい。例えば、一般に車止めは横に長い形状を有し、その長辺が駐車領域の幅方向と平行になるように配置される。さらに、車止めが2つある場合には、駐車領域の幅方向に2つの車止めが並べて配置される。これらの事実から、車止めに対応する点は駐車領域の幅方向に並んで現れることが予想される。そこで、複数の車止め候補点が車止めに対応する点として抽出される場合には、その中で駐車領域の幅方向に並ぶ点を優先的に抽出することができる。
また、図7に示すように、高さの軸と駐車領域の長手方向の軸からなる二次元平面において、駐車領域の長手方向における位置601の後方に存在し、かつ車止めらしい高さをもつ車止め領域602を車止め特有の領域として設定し、この車止め領域602に基づいて車止め候補点から車止めに対応する点を抽出してもよい。この手法では、駐車領域の幅方向の座標は考慮されない。あるいは、本手法によって抽出された点に対して、駐車領域の幅方向における座標が車止め特有の領域にあるか否かを判定してもよい。
以上説明した本発明の第1の実施形態によれば、以下の作用効果を奏する。
(1)車止め検出装置100は、車両周辺の観測範囲から物体の特徴点を検出する特徴点取得部103と、特徴点の空間座標を示す座標情報を取得する特徴点座標取得部104と、座標情報が示す高さが所定値以上または所定の範囲内にある特徴点を、検出対象とする突起物である車止めの候補点として抽出する車止め候補抽出部107と、車止め候補点の座標情報に基づいて突起物すなわち車止めを検出する車止め判定部109と、を備える。このようにしたので、車両周辺にある所望の突起物を適切に検出することができる。
(2)車止め検出装置100は、車両の駐車領域を取得する駐車領域取得部108をさらに備える。車止め判定部109は、駐車領域内にある車止め候補点の座標情報が示す高さが所定値以上の場合、突起物である車止めを検出する。このようにしたので、駐車領域内にある突起物である車止めを確実に検出することができる。
(3)車止め検出装置100は、特徴点取得部103が物体の特徴点を検出する範囲内で路面に対応する路面領域を抽出する路面領域取得部105と、路面領域内に存在して座標情報が示す高さが路面の高さに対応する特徴点を路面候補点として抽出し、抽出した路面候補点の座標情報に基づいて路面の座標である路面座標を推定する路面座標推定部106と、をさらに備える。車止め候補抽出部107は、路面座標が示す路面の高さに対して、座標情報が示す高さが所定の範囲内にある特徴点を、突起物である車止めの候補点として抽出する。このようにしたので、路面に対して所定の高さにある車止めを確実に検出することができる。
(4)特徴点取得部103は、車両の周囲を撮影する単眼カメラ101が取得した撮影画像から特徴点を検出する。特徴点座標取得部104は、所定時間内での単眼カメラ101の姿勢および座標の変化と、所定時間内での撮影画像における特徴点の位置変化とに基づいて、特徴点の空間座標を導出して座標情報を取得する。このようにしたので、特徴点の空間座標を示す座標情報を確実に取得することができる。
(5)路面座標推定部106は、図3に示したように、複数の路面候補点の座標情報に基づいて平面または曲面を導出し、導出した平面または曲面を示す座標を路面座標として推定することができる。このようにすれば、路面座標を適切に推定することができる。
(6)また、路面座標推定部106は、図4に示したように、特定の方向を一方の軸として高さ方向を他方の軸とする二次元座標系を定義し、複数の路面候補点の座標情報を二次元座標系の座標情報にそれぞれ変換し、変換後の座標情報に基づいて直線または曲線を導出し、導出した直線または曲線を示す座標を路面座標として推定することもできる。このようにすれば、路面候補点の少ない場面においても路面座標を適切に推定することができる。
(7)車止め判定部109は、図6に示したように、駐車領域内に所定の車止め領域を設定し、車止め領域に対する座標差が所定値以内である車止め候補点の座標情報に基づいて車止めを検出することができる。このようにすれば、駐車領域内にある車止めを適切に検出することができる。
(8)また、車止め判定部109は、駐車領域内で車止め候補点の出現確率が所定値以上である領域を抽出し、抽出した領域に基づいて車止めを検出することもできる。このようにしても、駐車領域内にある車止めを適切に検出することができる。
(9)また、車止め判定部109は、座標情報が示す駐車領域の幅方向または長手方向における車止め候補点の位置に基づいて、駐車領域内にある車止め候補点の中で車止めに対応する候補点を抽出し、抽出した候補点の座標情報に基づいて車止めを検出することもできる。このようにすれば、駐車領域内で既知の所定位置にある車止めを適切に検出することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態では、駐車領域を取得できない場合でも車止めを検出できる車止め検出装置の例について説明する。
図8は、本発明の第2の実施形態に係る車止め検出装置の構成例を示すブロック図である。図8に示す車止め検出装置100aは、第1の実施形態で説明した図1の車止め検出装置100と比較して、駐車領域取得部108の代わりに、駐車領域の長手方向に相当する駐車方位を検出する駐車方位取得部110を備えている。これ以外の点は、車止め検出装置100と同様の構成を有している。
第1の実施形態で説明した車止め検出装置100では、駐車領域取得部108が駐車領域を取得できない場合がある。例えば、駐車領域取得部108が撮影画像から駐車枠を検出して駐車領域とする場合、駐車枠のない駐車場では駐車領域を取得できない。そこで、本実施形態の車止め検出装置100aは、駐車方位取得部110を備えることで、このような場合でも車止めを検出できるようにしている。
駐車方位取得部110は、単眼カメラ101から入力される撮影画像において、車両の進行方向の周囲に存在する他車両、すなわち車両がこれから駐車しようとしている駐車領域の周囲に駐車している他車両を検出し、その向きを駐車方位として取得する。なお、駐車方位取得部110が他車両を検出する方法には、公知の様々な手法を用いることができる。例えば、多様な種類および多様な向きの車両の画像と整合を取る手法や、撮影画像のエッジ特徴を抽出して汎用的な車両のエッジ特徴と整合を取る手法などがある。また、単眼カメラ101によって取得される撮影画像を用いずに駐車方位を取得する方法もある。例えば、駐車開始時の車両の向きを基準に、これと垂直または平行な方位を駐車方位とすればよい。他にも、予め取得された地図に記録されている駐車領域から推定してもよいし、周辺の施設から通信によって通知を受けてもよい。これ以外にも、駐車領域の長手方向に相当する駐車方位を取得することができれば、駐車方位取得部110において任意の手法を用いることができる。
本実施形態の車止め判定部109は、駐車方位取得部110が取得した駐車方位を駐車領域の長手方向とし、駐車方位の方向における各車止め候補点の位置に基づいて、車止め候補点の中で車止めに対応する点を抽出する。そして、抽出した点の座標情報に基づいて車止めを検出する。具体的には、車止め判定部109は、駐車方位に基づいて駐車領域を設定し、この駐車領域において車止めに特有の車止め領域を設定する。こうして設定した車止め領域を用いて、第1の実施形態と同様に、車止め候補抽出部107により抽出された車止め候補点が有する座標情報に基づいて、当該車止め領域に対する座標差が小さい車止め候補点を車止めに対応する点として抽出する。これにより、路面に設置された突起物である車止めを検出する。
なお、駐車方位取得部110が取得した駐車方位では、駐車領域の範囲が判明しない。そのため、車止め判定部109は、駐車方位に基づいて車止め領域を駐車領域内に設定する際には、第1の実施形態よりも長めの車止め領域を駐車方位に沿って設定することが好ましい。ただし、駐車開始時の車両の位置や、周辺の他車両の位置や、駐車領域の奥にある壁などの情報を取得できる場合、これらの座標を基準にして車止め領域の長手方向の範囲を規定してもよい。例えば、駐車領域の奥の壁から車止めまでの距離は、一般に30cm以上120cm以下程度であるため、これに合わせて車止め領域の設定範囲を定めることが可能である。
以上説明した本発明の第2の実施形態によれば、第1の実施形態で説明した(1)、(3)~(6)の作用効果に加えて、さらに以下の作用効果を奏する。
(10)車止め検出装置100aは、車両の駐車領域の長手方向に相当する駐車方位を取得する駐車方位取得部110をさらに備える。車止め判定部109は、座標情報が示す駐車方位の方向における車止め候補点の位置に基づいて、車止め候補点の中で突起物である車止めに対応する候補点を抽出し、抽出した候補点の座標情報に基づいて車止めを検出する。このようにしたので、駐車領域を取得できない場合でも車止めを検出可能な車止め検出装置を実現できる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本実施形態では、駐車領域と駐車方位のいずれも取得できない場合でも車止めを検出できる車止め検出装置の例について説明する。
図9は、本発明の第3の実施形態に係る車止め検出装置の構成例を示すブロック図である。図9に示す車止め検出装置100bは、第1の実施形態で説明した図1の車止め検出装置100と比較して、操作者が駐車領域取得部108に対して駐車領域または駐車方位を手動で設定するための入力部111を備えている。これ以外の点は、車止め検出装置100と同様の構成を有している。
第1の実施形態で説明した車止め検出装置100では、駐車領域取得部108が駐車領域を取得できない場合がある。例えば、駐車領域取得部108が撮影画像から駐車枠を検出して駐車領域とする場合、駐車枠のない駐車場では駐車領域を取得できない。また、第2の実施形態で説明した車止め検出装置100aでも、駐車方位取得部110が駐車方位を取得できない場合がある。そこで、本実施形態の車止め検出装置100bでは、入力部111において、車両の運転者などの操作者による駐車領域または駐車領域の長手方向に相当する駐車方位の入力を受け付け、これらの入力情報を用いることで車止めを検出できるようにしている。入力部111には、例えば所定の操作スイッチやタッチパネルなどを用いることができる。
本実施形態の車止め判定部109は、入力部111に入力された駐車領域または駐車方位の情報を用いて、第1の実施形態または第2の実施形態で説明したのと同様の方法により、車止め候補点の中で車止めに対応する点を抽出し、車止めを検出する。
なお、本実施形態の車止め検出装置100bでは、操作者が駐車領域や駐車方位を設定すべきか否かを判断できない場合がある。そのため、車両の駐車開始時に駐車領域取得部108において駐車領域や駐車方位を取得可能か否かを判断し、取得できない場合には入力部111を用いてこれらを設定するように、操作者に促す通知を行ってもよい。この通知は、例えば不図示のスピーカから所定の音声を出力したり、不図示の表示装置に所定の画像を表示したりすることで行ってもよいし、入力部111にタッチパネルを用いた場合は、このタッチパネルに所定の画像を表示することで行ってもよい。また、駐車領域取得部108が駐車領域や駐車方位を取得した場合でも、操作者が入力部111により駐車領域や駐車方位を設定したときには、設定された駐車領域や駐車方位を用いて車止めを検出するようにしてもよい。
以上説明した本発明の第3の実施形態によれば、第1、第2の実施形態で説明した(1)~(10)の作用効果に加えて、さらに以下の作用効果を奏する。
(11)車止め検出装置100bは、操作者による車両の駐車領域または駐車領域の長手方向に相当する駐車方位の入力を受け付ける入力部111をさらに備える。車止め判定部109は、座標情報が示す駐車領域または駐車方位の方向における車止め候補点の位置に基づいて、車止め候補点の中で突起物である車止めに対応する候補点を抽出し、抽出した候補点の座標情報に基づいて車止めを検出する。このようにしたので、駐車領域や駐車方位を取得できない場合でも車止めを検出可能な車止め検出装置を実現できる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本実施形態では、駐車領域や駐車方位の設定を行わずに車止めを検出できる車止め検出装置の例について説明する。
図10は、本発明の第4の実施形態に係る車止め検出装置の構成例を示すブロック図である。図10に示す車止め検出装置100cは、第1の実施形態で説明した図1の車止め検出装置100と比較して、車両の運転者への警告を通知するための通知部112を備えている。これ以外の点は、車止め検出装置100と同様の構成を有している。
第1の実施形態で説明した車止め検出装置100では、駐車領域取得部108が駐車領域を取得できない場合がある。また、第2の実施形態で説明した車止め検出装置100aでも、駐車方位取得部110が駐車方位を取得できない場合がある。さらに、第3の実施形態で説明した車止め検出装置100bでは、操作者が入力部111により駐車領域や駐車方位の設定を行わない場合がある。そこで、本実施形態の車止め検出装置100cでは、駐車領域や駐車方位を用いずに車止めを検出できるようにしている。具体的には、本実施形態の車止め判定部109は、駐車領域や駐車方位の設定を行わずに、各車止め候補点の座標情報が示す座標位置や、車止め候補点の出現確率から、車止めの有無と当該車止めの座標を判定する。例えば、複数の車止め候補点のうちで車止めの高さに最も近いものを抽出したり、撮影画像において高確率で車止めが映り込む領域を予め設定し、当該領域に現れた車止め候補点を車止めに対応する点として抽出したりすることで、駐車領域や駐車方位の設定を行わずに車止めの検出が可能である。また、車両とその進行方向を基準にして左右のいずれかまたは双方に並んで検出される車止め候補点を車止めに対応する点として抽出してもよい。
通知部112は、車止め検出装置100cにおいて車止め判定部109が駐車領域や駐車方位を設定せずに車止めの検出を行う場合に、車止めの検出精度が低下することを車両の運転者に警告する通知を行う。この通知は、例えば音声出力や画像表示により行うことができる。なお、車止め検出装置100cは通知部112を備えずに、運転者への通知を行わないこととしてもよい。
以上説明した本発明の第4の実施形態によれば、第1~第3の実施形態で説明した(1)~(11)の作用効果に加えて、さらに以下の作用効果を奏する。
(12)駐車領域取得部108が駐車領域を取得できない場合や、駐車方位取得部110が駐車方位を取得できない場合に、車止め判定部109は、車止め候補点の座標情報に基づいて車止めを検出する。このようにしたので、駐車領域や駐車方位の設定を行わずに車止めを検出可能な車止め検出装置を実現できる。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。本実施形態では、路面座標に生じる歪を考慮して車止めの検出を行う車止め検出装置の例について説明する。
図11は、本発明の第5の実施形態に係る車止め検出装置の構成例を示すブロック図である。図11に示す車止め検出装置100dは、第1の実施形態で説明した図1の車止め検出装置100と比較して、単眼カメラ101の姿勢および座標の誤差に基づく路面座標の歪を推定する路面歪推定部113を備えている。これ以外の点は、車止め検出装置100と同様の構成を有している。
車両が加減速すると、加減速に応じて作用する慣性力により、車両および車両に搭載される単眼カメラ101の姿勢が車両の進行方向に対して傾くことがある。その結果、特徴点座標取得部104によって取得される路面上の特徴点の座標は、車両の傾きと逆向きに傾斜する。さらに、車両の車輪において空転や滑りが生じると、車速センサーやステアリングセンサーから推定される単眼カメラ101の座標に誤差が生じる場合もある。このような場合、特徴点座標取得部104によって取得される路面上の特徴点の座標において歪が生じる。例えば、車両が直進している状態で車輪が空転すると、特徴点座標取得部104によって取得される路面上の特徴点の座標において、単眼カメラ101から遠距離にあるほどその高さが高くなるような歪みが生じる。その結果、実際には平面の路面に対して、路面に対応する各特徴点の座標分布が椀状の曲面を呈することになり、正確な路面座標の推定が困難となる。
そこで、本実施形態の車止め検出装置100dでは、路面歪推定部113において、カメラ座標取得部102によって取得される単眼カメラ101の姿勢および座標の誤差に基づき、路面座標に生じる歪を歪座標として推定する。路面座標推定部106では、この歪座標に応じた曲面や曲線をもつ路面座標を推定することで、単眼カメラ101の姿勢および座標の誤差を考慮した路面座標の推定を行う。これにより、単眼カメラ101の姿勢や座標に誤差が生じた場合であっても、適切な路面座標を推定して車止めの検出を行うことができる。
なお、路面歪推定部113がカメラ座標取得部102によって取得される単眼カメラ101の姿勢および座標に生じる誤差を推定する手法は、何れの方法であってもよい。例えば、車速やステアリングの操舵角に対する歪座標を予めデータベース化し、車両に搭載された車速センサーやステアリングセンサーがそれぞれ取得する車速やステアリングの操舵角に基づいて、歪座標を導出してもよい。また、車両に搭載された衛星測位システムのセンサーなどを用いて車両や単眼カメラ101の座標を取得し、この座標から単眼カメラ101の姿勢および座標に生じた誤差を導出して、当該誤差に基づき歪座標を推定してもよい。これ以外にも、カメラ座標取得部102によって取得される単眼カメラ101の姿勢および座標に生じる誤差を推定することができれば、路面歪推定部113において任意の手法を用いることが可能である。
以上説明した本発明の第5の実施形態によれば、第1~第4の実施形態で説明した(1)~(12)の作用効果に加えて、さらに以下の作用効果を奏する。
(13)車止め検出装置100dは、単眼カメラ101の姿勢および座標の誤差に基づく路面座標の歪を推定する路面歪推定部113をさらに備える。路面座標推定部106は、路面歪推定部113が推定した路面座標の歪に応じた曲面または曲線を示す座標を路面座標として推定する。このようにしたので、単眼カメラ101の姿勢や座標に誤差が生じた場合であっても、適切な路面座標を推定して車止めの検出を行うことができる。
(第6の実施形態)
次に、本発明の第6の実施形態について説明する。本実施形態では、路面領域を取得せずに車止めの検出を行う車止め検出装置の例について説明する。
図12は、本発明の第6の実施形態に係る車止め検出装置の構成例を示すブロック図である。図12に示す車止め検出装置100eは、第1の実施形態で説明した図1の車止め検出装置100と比較して、路面領域取得部105が構成から除外されている。これ以外の点は、車止め検出装置100と同様の構成を有している。
第1の実施形態で説明した車止め検出装置100において、駐車領域取得部108が取得する駐車領域は車止めの検知範囲であり、また、その大部分は路面である。そのため、本実施形態の車止め検出装置100eでは、路面領域取得部105を省き、路面座標推定部106が参照する路面領域を、駐車領域取得部108によって取得される駐車領域で代用する。これにより、路面領域を取得せずに車止めを検出できるようにしている。
本実施形態の路面座標推定部106は、駐車領域取得部108によって取得される駐車領域を路面に対応する路面領域として特定し、この路面領域内に存在して座標情報が示す高さが路面の高さに対応する特徴点を路面候補点として抽出する。そして、抽出した路面候補点の座標情報に基づいて路面座標を推定する。車止め候補抽出部107は、路面座標推定部106によって推定された路面座標が示す路面の高さに対して、座標情報が示す高さが所定の範囲内にある特徴点を車止めの候補点として抽出する。これにより、路面に設置された突起物である車止めを検出する。
ただし、駐車領域には車止めなど高さのある立体物も含まれるため、路面座標推定部106によって推定される路面座標の高さは実際の路面よりも高くなることがある。そのため、車止め候補抽出部107は路面座標よりも高い特徴点を車止め候補点として抽出し、車止め判定部109は車止め候補点の高さ以外の座標や出現確率から車止めを判定するようにしてもよい。
以上説明した本発明の第6の実施形態によれば、第1~第5の実施形態で説明した(1)、(2)、(4)~(13)の作用効果に加えて、さらに以下の作用効果を奏する。
(14)車止め検出装置100eは、駐車領域を路面に対応する路面領域として特定し、路面領域内に存在して座標情報が示す高さが路面の高さに対応する特徴点を路面候補点として抽出し、抽出した路面候補点の座標情報に基づいて路面の座標である路面座標を推定する路面座標推定部106をさらに備える。車止め候補抽出部107は、この路面座標が示す路面の高さに対して、座標情報が示す高さが所定の範囲内にある特徴点を、突起物である車止めの候補点として抽出する。このようにしたので、路面領域を取得しなくても、路面に対して所定の高さにある車止めを確実に検出することができる。
(第7の実施形態)
次に、本発明の第7の実施形態について説明する。本実施形態では、単眼カメラの代わりにレーダーを用いて車止めの検出を行う車止め検出装置の例について説明する。
図13は、本発明の第7の実施形態に係る車止め検出装置の構成例を示すブロック図である。図13に示す車止め検出装置100fは、第1の実施形態で説明した図1の車止め検出装置100と比較して、単眼カメラ101の代わりにレーダー114を備え、カメラ座標取得部102の代わりにレーダー姿勢推定部115を備えている。これ以外の点は、車止め検出装置100と同様の構成を有している。
一般的にレーダーは、超音波や電磁波、レーザーなどを周囲に照射し、その反射波から物体およびその座標を捉えることが知られている。そこで、本実施形態の車止め検出装置100fでは、単眼カメラ101の代わりにレーダー114で物体の座標を取得し、取得される物体の座標から路面および車止めの座標を検出する。
本実施形態の特徴点取得部103は、レーダー114を用いて車両周辺に存在する物体上の特徴点(物標点)を抽出する。また、特徴点座標取得部104は、特徴点取得部103が抽出した特徴点(物標点)の座標をレーダー114により連続的に取得することで、各特徴点(物標点)の空間座標を示す座標情報を取得する。こうして取得された座標情報を用いて、第1の実施形態で説明したのと同様の手法により、車両周辺の路面に設置された車止めの検出を行う。なお、特徴点座標取得部104が車両周辺に存在する物体の特徴点(物標点)の座標を取得できれば、レーダー114以外のセンサー、例えばステレオカメラなどを用いてもよい。
レーダー姿勢推定部115は、レーダー114の姿勢を推定する。特徴点座標取得部104は、レーダー姿勢推定部115によって推定されるレーダー114の姿勢に基づいて、各特徴点(物標点)の空間座標に生じる歪を相殺して補正する。ただし、車止め検出装置100fはレーダー姿勢推定部115を備えなくてもよい。
本実施形態の路面領域取得部105は、レーダー114の測定結果に基づいて、車両の足元と同程度の高さをもつ特徴点(物標点)の座標が存在する領域を路面領域として取得する。ただし、路面領域取得部105による路面座標の推定手法はこれに限定されない。例えば、車両の足元位置から広がる高さ変化の小さい領域を路面領域として取得してもよい。また、第1の実施形態のように、車載カメラを用いて路面領域を検出してもよい。
本実施形態の駐車領域取得部108は、レーダー114の測定結果に基づいて駐車枠を検出し、その内側を駐車領域として取得する。また、第1の実施形態のように、車載カメラを用いて取得した撮影画像から駐車領域を検出してもよい。
なお、特徴点座標取得部104によって取得される各特徴点(物標点)の空間座標の精度が高い場合には、各特徴点(物標点)の高さがそのまま路面からの高さを表す。そのため、こうした場合は路面領域取得部105および路面座標推定部106を省略することができる。さらに、路面に傾斜があったとしても、レーダー114により周囲の路面の高さを検出して各特徴点(物標点)の高さとの差分を求めることで、路面からの高さを取得することができる。そのため、同様に路面領域取得部105および路面座標推定部106を省略することができる。その場合、例えば車止め候補抽出部107において、こうした処理を行えばよい。
以上説明した本発明の第7の実施形態によれば、第1~第6の実施形態で説明したのと同様の作用効果を奏する。
なお、以上説明した各実施形態では、路面に設置された突起物の一種である車止めを検出する車止め検出装置に本発明を適用した例を説明したが、車止め以外にも路面上の様々な突起物を検出する突起物検出装置において、本発明を適用可能である。
例えば、コインパーキングのフラップ板(ロック板)を検出対象とする場合には、車止め判定部109において、図6で説明した車止め特有の車止め領域502を設定する代わりに、図14に示すようなフラップ板特有の領域であるフラップ板領域503を駐車領域501において設定すればよい。ここで、フラップ板の高さは一般に5cm程度であるため、フラップ板領域503はこの高さに合わせて設定することが好ましい。あるいは、車止め候補抽出部107において、車止め候補点を抽出する代わりに、この高さを有する特徴点をフラップ板の候補点として抽出してもよい。
また、車道と歩道の境界にある段差や縁石を検出対象とする場合には、駐車領域取得部108において、駐車領域を取得する代わりに、段差や縁石の現れる領域を含めた検知領域を取得すればよい。この場合、車止め判定部109において、路面領域内もしくは路面領域の端部に、車両の進行方向に対してほぼ平行して現れ、かつ段差や縁石らしい高さをもつ特徴点を抽出してその座標を取得すればよい。あるいは、車止め候補抽出部107において、車止め候補点を抽出する代わりに、段差や縁石らしい高さを有する特徴点を段差や縁石の候補点として抽出してもよい。
以上説明した各実施形態や各種変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。