JP5434745B2 - 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 - Google Patents

基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 Download PDF

Info

Publication number
JP5434745B2
JP5434745B2 JP2010080793A JP2010080793A JP5434745B2 JP 5434745 B2 JP5434745 B2 JP 5434745B2 JP 2010080793 A JP2010080793 A JP 2010080793A JP 2010080793 A JP2010080793 A JP 2010080793A JP 5434745 B2 JP5434745 B2 JP 5434745B2
Authority
JP
Japan
Prior art keywords
vehicle
environment
image feature
feature point
pattern information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010080793A
Other languages
English (en)
Other versions
JP2011214869A (ja
Inventor
健 石川
孝幸 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2010080793A priority Critical patent/JP5434745B2/ja
Publication of JP2011214869A publication Critical patent/JP2011214869A/ja
Application granted granted Critical
Publication of JP5434745B2 publication Critical patent/JP5434745B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像認識によって車両の位置を特定する技術に関する。
従来、車載カメラによって撮影した画像内の特徴点を画像認識によって特定し、当該特徴点に基づいて車両の位置を特定する技術が知られている。例えば、特許文献1には、予め登録された道路標示の特徴点に対して位置情報を対応づけておき、当該道路標示の特徴点と車載カメラによって撮影した画像内の特徴点とを比較することによって車両の現在位置を算出する技術が開示されている。
特開2007−108043号公報
従来の技術においては、道路標示が時間的に変化しないとみなして当該道路標示から特徴点を抽出し、車両の位置を決定するための基準としている。従って、時間的に変化する道路標示から特徴点を抽出して車両の位置を決定することはできない。しかし、実際には、気象の状態などの環境に応じて表示内容が変動する表示媒体など、時間的に変化する道路標示は多く、時間的に変化しない道路標示のみでは基準として利用可能な道路標示が少なくなってしまう。
本発明は、上記課題にかんがみてなされたもので、環境に応じて表示内容が変動する表示媒体を基準にして車両の位置を特定する技術の提供を目的とする。
上記の目的を達成するため、本発明においては、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から抽出された基準画像特徴点の位置を示す基準パターン情報に対して当該風景を撮影した時点での基準車両の位置である基準位置を示す情報を対応づける。さらに、当該基準パターン情報に含まれる基準画像特徴点の撮影画像上での位置は環境に依存するため、当該基準パターン情報に対して、基準車両環境を示す情報を対応づける。
すなわち、基準パターン情報は、基準車両環境ごとに所定の記録媒体に記録される。従って、表示媒体の表示内容が基準車両環境に応じて変動し、当該表示媒体の像から抽出された基準画像特徴点の撮影画像上での位置が変動する場合であっても、当該表示媒体を含む撮影画像から抽出された基準画像特徴点から基準パターン情報を定義することが可能になる。
また、基準パターン情報を参照すれば、一般車両の位置を特定する際に、当該一般車両の周囲の一般車両環境での表示媒体の表示内容に応じた基準画像特徴点の位置を特定することが可能になる。すなわち、一般車両の車載カメラで撮影した時点での一般車両環境と一致する基準車両環境が対応づけられた基準画像特徴点を参照して画像特徴点との一致度を特定すれば、画像特徴点との一致度が所定の基準を満たす場合に基準位置を一般車両の位置とみなすことで、一般車両の位置を特定することが可能になる。この結果、環境に応じて表示内容が変動する表示媒体を基準にして一般車両の位置を特定することが可能になる。
ここで、基準画像特徴点抽出手段は、基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を基準画像特徴点をとすることができればよい。基準画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であり、各種の地物の中に、環境に応じて表示内容が変動する表示媒体が含まれていればよい。また、基準画像特徴点は、例えば、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。
なお、表示媒体は、環境に応じて表示内容が変動する媒体であれば良く、環境によって表示すべき文字が変動する電光掲示板であっても良いし、環境によって表示すべき道路標示が変動する装置であっても良い。また、環境によって中央分離帯の位置が変動する道路において中央分離帯の位置を示す看板であっても良い。
基準位置取得手段は、基準車両の周囲の風景を撮影した時点での基準車両の位置を基準位置として取得することができればよい。従って、GPS受信部によって受信した信号に基づいて基準車両の位置を特定する構成や、各種センサの出力信号に基づいて基準車両の位置を特定する構成等を採用可能である。むろん、地図情報に基づく基準車両の位置補正を組み合わせても良い。
基準車両環境取得手段は、基準車両の周囲の風景を撮影した時点での基準車両の周囲の環境を基準車両環境として取得することができればよい。すなわち、環境に応じて表示媒体の表示内容が変動し得るため、当該表示内容の変動を生じさせる原因となっている環境を示す情報として基準車両環境を示す情報が特定されればよい。また、基準車両環境を示す情報は、表示媒体の表示内容を変動させ得る環境を示す情報であればよく、降雨、降雪、風量等を示す気象情報や渋滞の様子を示す交通情報等によって構成可能である。さらに、基準車両環境を示す情報は各種の手法によって取得可能であり、カメラや各種のセンサによって基準車両環境を示す情報を取得しても良いし、通信等によって取得しても良い。
基準パターン情報記録手段は、基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して一般車両の位置を特定するための情報を対応づけて所定の記録媒体に記録し、一般車両に参照されるデータベースを構築することができればよい。本発明では、環境に応じて表示内容が変動する表示媒体を含む風景を撮影した撮影画像から基準画像特徴点を抽出し、当該基準画像特徴点に基づいて一般車両の位置を特定可能にするために、基準位置を示す情報に加え、基準車両環境を示す情報を対応づけて基準パターン情報を定義する。
すなわち、基準車両環境を示す情報を基準パターン情報に対応づけることにより、基準画像特徴点の抽出元である撮影画像を撮影した時点での基準車両の周囲の環境を示す構成とする。この結果、基準パターン情報を参照することにより、基準車両環境に応じた基準パターン情報を特定可能になる。
さらに、所定の記録媒体は、基準パターン情報を蓄積する記録媒体であり、基準パターン情報の参照法は特に限定されない。すなわち、通信等を介して一般車両から当該所定の記録媒体を参照しても良いし、当該所定の記録媒体に記録された基準パターン情報を、一般車両に搭載された記録媒体にコピーし、一般車両において当該一般車両に搭載された記録媒体に記録された基準パターン情報を参照しても良い。
さらに、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれる場合に基準画像特徴点に対して基準車両環境を示す情報を対応づける必要があるため、撮影画像に当該表示媒体が含まれるか否かを判定する必要がある。そこで、撮影画像に直線に囲まれた所定の地色の部分が含まれると判定し、撮影画像に直線に囲まれた所定の地色の部分が含まれる場合に、基準パターンに対して基準車両環境を示す情報を対応づける構成としても良い。
すなわち、撮影画像を解析し、当該撮影画像に表示媒体の像が含まれると判定された場合に、当該撮影画像から抽出した基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を対応づける。以上の構成によれば、環境に応じて表示内容が変動する表示媒体の像が含まれる撮影画像に基づいて容易に基準車両環境が対応づけられた基準パターン情報を生成することが可能である。このため、基準車両環境が多数の環境に分類される場合であっても容易に基準パターン情報を生成することが可能である。むろん、撮影画像に表示媒体の像が含まれると判定されない場合には、当該撮影画像から抽出した基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境は対応づけない。従って、この場合、基準パターン情報は環境に依存しない。
基準パターン情報は、一般車両の位置を特定する際に参照される情報である。一般車両においては、当該一般車両の位置を特定するため、一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する。そして、基準パターン情報が示す基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定し、一致度が所定の基準を満たす場合に基準位置を一般車両の位置として特定する。但し、環境に応じて表示内容が変動する表示媒体が含まれる場合、基準画像特徴点の位置は環境に依存して変動し得る。そこで、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得し、当該一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報を参照すれば、一般車両環境における表示媒体の表示内容に対応した基準パターン情報を参照することになる。そこで、本発明においては一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報を参照して、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する。そして、一致度が所定の基準を満たす場合に当該基準パターン情報に対応づけられた基準位置を一般車両の位置を特定する。
ここで、画像特徴点抽出手段は、一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を画像特徴点とすることができればよい。画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であり、各種の地物の中に、環境に応じて表示内容が変動する表示媒体が含まれていればよい。また、画像特徴点は、例えば、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。
一般車両環境取得手段は、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得することができればよい。すなわち、基準車両環境と対比し得る情報として一般車両の周囲の一般車両環境を示す情報が特定されればよい。また、一般車両環境を示す情報は、基準車両環境と同様に、表示媒体の表示内容を変動させ得る環境を示す情報であればよく、降雨、降雪、風量等を示す気象情報や渋滞の様子を示す交通情報等によって構成可能である。さらに、一般車両環境を示す情報は各種の手法によって取得可能であり、カメラや各種のセンサによって一般車両環境を示す情報を取得しても良いし、通信等によって取得しても良い。
一致度特定手段は、基準パターン情報生成装置で作成された基準パターン情報を参照してパターンマッチング処理を行って基準画像特徴点の位置と画像特徴点の位置との一致度を特定することができればよい。すなわち、複数の基準画像特徴点と複数の画像特徴点との撮影画像上での位置を比較し、両者の位置のずれが小さいほど一致度が高くなるように一致度を定義すればよい。なお、この際、比較対象となる基準画像特徴点として、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報を参照すればよい。
一般車両位置特定手段は、一致度が所定の基準を満たす場合に、当該一致度を特定するために参照した基準パターン情報に対応づけられた基準位置を一般車両の位置として特定することができればよい。すなわち、一般車両において走行中に連続的に画像を撮影して画像特徴点を抽出し、基準画像特徴点と比較すれば、走行中に撮影された複数の画像について一致度を評価することができるため、一致度が最も高く、かつ、画像特徴点が基準画像特徴点に一致しているとみなすことができる程度の高い一致度になっている場合に所定の基準を満たすとすれば、当該基準画像特徴点を示す基準パターン情報に対応づけられた基準位置を一般車両の位置とみなすことができる。
さらに、基準画像特徴点を定義する際に、環境に応じて表示内容が変動する表示媒体に由来する基準画像特徴点と当該表示媒体に由来しない(すなわち、環境に依存して撮影画像上の位置が変動しない)基準画像特徴点とを分けて定義しても良い。すなわち、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する。さらに、基準車両の周囲の環境である基準車両環境が異なる状況で表示媒体を含む基準車両の周囲の風景を含む複数の撮影画像を撮影する。そして、当該複数の撮影画像における表示媒体の像から基準となる表示媒体基準画像特徴点を基準車両環境ごとに抽出する。そして、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して、基準位置を示す情報を対応づけ、さらに、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して表示媒体基準画像特徴点を基準車両環境ごとに示す情報を対応づける。この結果、基準車両環境をキーにして表示媒体基準画像特徴点の位置を特定することが可能になり、一般車両の周囲の環境である一般車両に応じて適切な表示媒体基準画像特徴点を選択することが可能になる。
すなわち、一般車両においては、基準パターン情報を参照し、一般車両環境と一致する基準車両環境が対応づけられた表示媒体基準画像特徴点および背景基準画像特徴点の位置を特定する。そして、特定された表示媒体基準画像特徴点および背景基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定すれば、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定することが可能になる。むろん、以上の構成は装置の他、方法やプログラムとしても実現可能である。
さらに、本発明のように、環境に応じて表示内容が変動する表示媒体の像を含む風景から抽出された基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を示す情報を対応づける手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
基準パターン情報生成装置のブロック図である。 基準パターン情報生成処理を示すフローチャートである。 基準パターン情報の生成を説明する図である。 一般車両位置特定装置を含むナビゲーション装置のブロック図である。 一般車両位置特定処理を示すフローチャートである。 第2実施形態における基準パターン情報を説明する説明図である。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)基準パターン情報生成装置の構成:
(2)基準パターン情報生成処理:
(3)一般車両位置特定装置の構成:
(4)一般車両位置特定処理:
(5)他の実施形態:
(1)基準パターン情報生成装置の構成:
図1は、本発明にかかる基準パターン情報生成装置10の構成を示すブロック図である。基準パターン情報生成装置10は、基準パターン情報を生成するために運転される基準車両に搭載される。当該基準パターン情報生成装置10は、CPU,RAM,ROM等を備える制御部20、記録媒体30を備えており、記録媒体30やROMに記憶されたプログラムを制御部20で実行することができる。本実施形態においては、このプログラムとして基準パターン情報生成プログラム21を実行可能である。基準パターン情報生成プログラム21は、環境に応じて表示内容が変動する表示媒体の像を含む風景の撮影画像から抽出された基準画像特徴点の撮影画像上での位置を示す基準パターン情報を生成する機能を備えている。
記録媒体30には、予め地図情報30aが記録されている。地図情報30aは、基準車両の位置の特定等に利用される情報であり、基準車両が走行する道路上に設定されたノードを示すノードデータ,ノード間の道路の形状を特定するための形状補間点データ,ノード同士の連結を示すリンクデータ,道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。
本実施形態における基準パターン情報生成装置10が搭載された基準車両は、前方カメラ40とGPS受信部41と車速センサ42とジャイロセンサ43と通信部44と後方カメラ45とを備えている。前方カメラ40は、基準車両の前方の風景(路面および上空)を視野に含むように基準車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部20は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。また、後方カメラ45は基準車両の後方の路面を視野に含むように基準車両に対して取り付けられており、撮影した路面の画像を示す路面画像データを出力する。制御部20は、図示しないインタフェースを介してこの路面画像データを取得して画像解析を行う。
GPS受信部41は、GPS衛星からの電波を受信し、図示しないインタフェースを介して基準車両の現在位置を算出するための情報を出力する。制御部20は、この信号を取得して基準車両の現在位置を取得する。車速センサ42は、基準車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、基準車両の速度を取得する。ジャイロセンサ43は、基準車両に作用する角速度に対応した信号を出力する。制御部20は図示しないインタフェースを介してこの信号を取得し、基準車両の走行方向を取得する。車速センサ42およびジャイロセンサ43等は、GPS受信部41の出力信号から特定される基準車両の現在位置を補正するなどのために利用される。また、基準車両の現在位置は、当該基準車両の走行軌跡および路面画像データに基づいて適宜補正される。すなわち、本実施形態においては、制御部20が路面画像データを解析して路面上における特定のペイント(速度標示等)を検出し、地図情報30aを参照して当該特定のペイントを検出した時点における基準車両の位置を特定する処理を実行可能である。この処理を、走行軌跡に基づくマップマッチング処理とともに実行することによって、基準車両の位置を高精度に特定可能である。
本実施形態においては、以上の構成を備えた基準車両において基準パターン情報生成プログラム21が実行され、基準車両の前方の風景を基にした基準パターン情報が生成される。この処理を行うため、基準パターン情報生成プログラム21は、基準画像特徴点抽出部21aと基準位置取得部21bと基準車両環境取得部21cと基準パターン情報記録部21dとを備えている。
基準画像特徴点抽出部21aは、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる基準画像特徴点を抽出する機能を制御部20に実現させるモジュールである。すなわち、制御部20は、基準画像特徴点抽出部21aの処理によって、前方カメラ40が出力する、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を示す撮影画像データに対して所定の画像処理を行い、基準画像特徴点を抽出する。本実施形態においては、撮影画像データを2値化するとともにハフ変換等を利用して直線を抽出し、直線の先端と直線の交点とを基準画像特徴点とする。
基準位置取得部21bは、基準車両の周囲の風景を撮影した時点での基準車両の位置を基準位置として取得する機能を制御部20に実現させるモジュールである。すなわち、制御部20は、基準位置取得部21bの処理により、前方カメラ40が基準画像特徴点の抽出元となる撮影画像データを出力した時点における、GPS受信部41,車速センサ42,ジャイロセンサ43の出力信号、後方カメラ45が出力する路面画像データおよび地図情報30aに基づいて基準車両の位置を特定し、基準位置とする。
基準車両環境取得部21cは、基準車両の周囲の風景を撮影した時点での基準車両の周囲の環境を基準車両環境として取得する機能を制御部20に実現させるモジュールである。すなわち、制御部20は、基準車両環境取得部21cの処理により、前方カメラ40が基準画像特徴点の抽出元となる撮影画像データを出力した時点において通信部44から取得した信号に基づいて、基準車両の周囲の気象状態を示す気象情報を特定し、基準車両環境とする。
基準パターン情報記録部21dは、基準画像特徴点の撮影画像上での位置を示す基準パターン情報30bを生成して記録媒体30に記録する機能を制御部20に実現させるモジュールである。すなわち、制御部20は、基準画像特徴点抽出部21aの処理によって抽出された基準画像特徴点のそれぞれについての撮影画像上の位置(座標(X,Y))を特定し、これらの位置を示す情報によって基準画像特徴点の配置パターンを示す基準パターン情報を構成する。さらに、当該基準パターン情報に対して、基準車両位置((経度,緯度)=(x,y))を対応づける。さらに、制御部20は、基準パターン情報に対し、基準車両環境取得部21cの処理によって取得された基準車両環境を対応づける。以上の処理は、異なる基準車両環境ごとに実行される。すなわち、環境が変わることによって表示媒体の表示内容が変動する場合に、異なる表示内容の表示媒体を撮影した撮影画像データから基準パターン情報を生成し、撮影画像データを撮影した時点での基準車両環境を対応づける。
以上の構成により、基準車両環境ごとに所定の記録媒体に記録された基準パターン情報が生成される。従って、表示媒体の表示内容が基準車両環境に応じて変動し、当該表示媒体の像から抽出された基準画像特徴点の撮影画像上での位置が変動する場合であっても、当該表示媒体を含む撮影画像から抽出された基準画像特徴点から基準パターン情報を定義することが可能になる。この結果、環境に応じて表示内容が変動する表示媒体を基準にして一般車両の位置を特定することが可能になる。
(2)基準パターン情報生成処理:
次に、基準パターン情報生成プログラム21による基準パターン情報生成処理を説明する。基準パターン情報生成プログラム21は、所定の期間毎に実行される。図2は基準パターン情報生成プログラム21が実行する基準パターン情報生成処理を示すフローチャートである。図3は、基準車両において撮影された撮影画像I1〜I3を例示するとともに、当該撮影画像I1〜I3に基づいて生成される基準パターン情報30bの例を示している。以下、図2に示す基準パターン情報生成処理を図3に示す例を参照しながら説明する。基準パターン情報生成プログラム21の処理が開始されると、制御部20は、基準画像特徴点抽出部21aの処理により、前方カメラ40が出力する撮影画像データを取得する(ステップS100)。図3においては看板Dと信号機Sを含む風景を異なる環境にて撮影した撮影画像I1〜I3を例として示している。なお、本実施形態において、看板Dは矩形の表示媒体であるとともに黒い地色の表示面に対してLED等によって文字等を表現する電光掲示板である。
次に、制御部20は、基準位置取得部21bの処理により、GPS受信部41,車速センサ42,ジャイロセンサ43の出力信号、後方カメラ45が出力する路面画像データおよび地図情報30aに基づいて基準車両の位置を特定し、基準位置として取得する(ステップS105)。次に、制御部20は、基準画像特徴点抽出部21aの処理により、基準画像特徴点を抽出する(ステップS110)。すなわち、制御部20は、撮影画像を2値化した像から抽出される直線の端点と交点とを基準画像特徴点とする。図3においては、撮影画像I2の看板Dに表示されている文字の一つを例として、破線の枠内に基準画像特徴点を例示している。すなわち、破線の枠内に白丸で示すように、直線の端点と交点とのそれぞれが基準画像特徴点PN等となる。ここで、異なる環境で撮影された撮影画像I1〜I3を比較すると、看板D内に表示されている文字が異なる。従って、本実施形態においては、環境が異なる撮影画像I1〜I3から抽出される基準画像特徴点において、看板Dの内側から抽出される基準画像特徴点は環境によって異なる位置となり、環境に依存しない他の部分(信号機S等)から抽出される基準画像特徴点は共通の位置となる。
次に、制御部20は、基準画像特徴点抽出部21aの処理により、撮影画像データが示す撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれるか否かを判定する(ステップS115)。すなわち、制御部20は、撮影画像を2値化した像から抽出される直線によって囲まれた領域が撮影画像に含まれるか否かを判定し、さらに、当該領域が撮影画像に含まれる場合、2値化する以前の撮影画像における当該領域に含まれる所定比率以上の部分の色が特定の色(例えば、黒)であるか否かを判定することによって当該領域が所定の地色であるか否かを特定する。そして、当該領域が所定の地色である場合に、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定する。
ステップS115にて、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定された場合、制御部20は、基準車両環境取得部21cの処理により、通信部44を介して基準車両環境を取得する(ステップS120)。すなわち、制御部20は、ステップS100にて撮影画像データを取得した時点における基準車両の周囲の気象状態を示す気象情報を取得する。
次に、制御部20は、基準パターン情報記録部21dの処理により、基準画像特徴点の位置を示す基準パターン情報に基準位置および基準車両環境を示す情報を対応づけて記録媒体30に記録する(ステップS125)。図3においては、撮影画像I1〜I3のそれぞれが撮影された場合に生成される基準パターン情報30bの例を実線の枠内に示している。すなわち、撮影画像I1は気象状態が晴天である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置P1(X,Y)〜Pm(X,Y)を示す情報に対して、基準位置P(x、y)を示す情報と基準車両環境が晴天であることを示す情報が対応づけられて基準パターン情報30bとされる。
また、撮影画像I2は気象状態が雨天である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置P1(X,Y)〜Pn(X,Y)を示す情報に対して、基準位置P(x、y)を示す情報と基準車両環境が雨天であることを示す情報が対応づけられて基準パターン情報30bとされる。さらに、撮影画像I3は気象状態が降雪である時点で撮影された撮影画像の例であり、この場合、基準画像特徴点の位置P1(X,Y)〜Po(X,Y)を示す情報に対して、基準位置P(x、y)を示す情報と基準車両環境が降雪であることを示す情報が対応づけられて基準パターン情報30bとされる。
一方、ステップS115にて、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定されない場合、制御部20は、基準パターン情報記録部21dの処理により、基準画像特徴点の位置を示す基準パターン情報に基準位置および基準車両環境を示す情報を対応づけて記録媒体30に記録する(ステップS130)。すなわち、環境に応じて表示内容が変動する表示媒体が撮影画像に含まれない場合、基準パターン情報30bに対して、基準車両環境を示す情報は対応づけられない。本実施形態においては、以上のような基準パターン情報30bの生成処理が、所定の期間で実行されることにより、複数の基準位置についての基準パターン情報30bが生成される。
(3)一般車両位置特定装置の構成:
以上のようにして作成された基準パターン情報30bは、基準車両以外の一般車両において当該一般車両の位置を特定するために利用される。図4は、本発明にかかる一般車両位置特定装置を含むナビゲーション装置100の構成を示すブロック図である。ナビゲーション装置100は、一般車両に搭載される。当該ナビゲーション装置100は、CPU,RAM,ROM等を備える制御部200、記録媒体300を備えており、記録媒体300やROMに記憶されたプログラムを制御部200で実行することができる。本実施形態においては、このプログラムとしてナビゲーションプログラムおよび一般車両位置特定プログラム210を実行可能である。
ナビゲーションプログラムは、記録媒体300に予め記録された地図情報300aを参照して車両の現在位置や目的地までの経路を案内するためのプログラムである。地図情報300aは、一般車両の位置の特定等に利用される情報であり、一般車両が走行する道路上に設定されたノードを示すノードデータ,ノード間の道路の形状を特定するための形状補間点データ,ノード同士の連結を示すリンクデータ,道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。本実施形態において制御部200は、ナビゲーションプログラムの処理により、地物データが示す任意の地物を目的地とし、一般車両の現在位置から目的地までの経路探索を行うことが可能である。また、一般車両の現在位置から目的地まで到達するための経路を後述するユーザI/F部420によって案内することが可能である。
本実施形態において、記録媒体300には基準パターン情報300bが記録される。当該基準パターン情報300bは、上述の基準車両によって生成された基準パターン情報30bと同じ内容の情報であり、基準車両によって生成された情報が、通信や可搬記録媒体等を介して記録媒体300にコピーされることによって記録媒体300に基準パターン情報300bが記録された状態となる。
本実施形態におけるナビゲーション装置100が搭載された一般車両は、前方カメラ400と通信部410とユーザI/F部420とGPS受信部430と車速センサ440とジャイロセンサ450とを備えている。前方カメラ400は、一般車両の前方の風景(路面および上空)を視野に含むように一般車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部200は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。
通信部410は、一般車両の外部の図示しない環境情報管理装置と通信を行う回路を備えており、制御部200は、通信部410を介して当該環境情報管理装置と通信を行い、一般車両の現在位置の環境を示す一般車両環境情報を取得する。本実施形態において、当該一般車両環境情報は、一般車両の周囲の気象状態を示す気象情報である。
ユーザI/F部420は、運転者の指示を入力し、また運転者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネルディスプレイやスイッチ、スピーカ等を備えている。
GPS受信部430は、GPS衛星からの電波を受信し、図示しないインタフェースを介して一般車両の現在位置を算出するための情報を出力する。制御部200は、この信号を取得して一般車両の現在位置を取得する。車速センサ440は、一般車両が備える車輪の回転速度に対応した信号を出力する。制御部200は、図示しないインタフェースを介してこの信号を取得し、一般車両の速度を取得する。ジャイロセンサ450は、一般車両に作用する角速度に対応した信号を出力する。制御部200は図示しないインタフェースを介してこの信号を取得し、一般車両の走行方向を取得する。車速センサ440およびジャイロセンサ450等は、GPS受信部430の出力信号から特定される一般車両の現在位置を補正するなどのために利用される。また、一般車両の現在位置は、当該一般車両の走行軌跡に基づいて適宜補正される。
本実施形態においては、以上のようにGPS受信部430,車速センサ440,ジャイロセンサ450および地図情報300aを利用して一般車両の現在位置を特定可能であるが、基準パターン情報300bを利用して一般車両の現在位置を特定する構成も備えている。すなわち、ナビゲーションプログラムは両者のいずれかまたは双方を利用して一般車両の現在位置を特定しながら目的地までの経路を案内する。
本実施形態において、基準パターン情報300bを利用した一般車両の現在位置の特定は、一般車両位置特定プログラム210によって実現される。以下、一般車両位置特定プログラム210を利用した一般車両の現在位置の特定について説明する。一般車両位置特定プログラム210は、画像特徴点抽出部210aと一般車両環境取得部210bと一致度特定部210cと一般車両位置特定部210dとを備えている。
画像特徴点抽出部210aは、一般車両の周囲の風景を撮影した撮影画像から基準となる画像特徴点を抽出する機能を制御部200に実現させるモジュールである。すなわち、制御部200は、画像特徴点抽出部210aの処理によって、前方カメラ400が出力する撮影画像データに対して所定の画像処理を行い、画像特徴点を抽出する。
一般車両環境取得部210bは、一般車両の周囲の風景を撮影した時点での一般車両の周囲の環境を一般車両環境として取得する機能を制御部200に実現させるモジュールである。すなわち、制御部200は、一般車両環境取得部210bの処理により、前方カメラ400が画像特徴点の抽出元となる撮影画像データを出力した時点において通信部410から取得した気象情報に基づいて、一般車両の周囲の気象状態を特定し、一般車両環境とする。
一致度特定部210cは、基準画像特徴点の位置と画像特徴点との位置を比較して一致度を特定する機能を制御部200に実現させるモジュールである。すなわち、制御部200は、GPS受信部430,車速センサ440,ジャイロセンサ450および地図情報300aを利用して特定された一般車両の位置を特定し、当該一般車両の位置を当該一般車両の推定位置とする。そして、画像特徴点抽出部210aが取得した撮影画像データに環境に応じて表示内容が変動する表示媒体の像が含まれる場合、制御部200は、一般車両環境と一致する基準車両環境が対応づけられた基準パターン情報300bであって、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bを検索する。
一方、画像特徴点抽出部210aが取得した撮影画像データに環境に応じて表示内容が変動する表示媒体の像が含まれない場合、制御部200は、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bを検索する。制御部200は、検索された基準パターン情報300bに基づいて基準画像特徴点の位置を特定し、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する。一致度は、複数の基準画像特徴点についての総合判断であれば良く、例えば、各基準画像特徴点に対して最も近い画像特徴点と各基準画像特徴点との距離の2乗の和が小さくなるほど一致度が高くなるように一致度を定義する構成を採用可能である。
なお、本実施形態においては、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bが複数個存在する場合、複数個の基準パターン情報300bを参照して一致度を特定する処理を行う。
一般車両位置特定部210dは、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定する機能を制御部200に実現させるモジュールである。すなわち、制御部200は、一般車両位置特定部210dの処理により、複数の基準パターン情報300bについての一致度を比較し、最も高い一致度となった基準パターン情報300bを特定する。そして、当該最も高い一致度が所定の閾値を超えている場合に、当該最も高い一致度となった基準パターン情報300bに対応づけられた基準位置が一般車両の位置であるとみなす。なお、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bが一つのみである場合には、当該基準パターン情報300bについての一致度が所定の閾値を超えている場合に、当該基準パターン情報300bに対応づけられた基準位置が一般車両の位置であるとみなす。
以上の処理によれば、一般車両の位置を特定する際に、基準パターン情報300bを参照することによって、一般車両環境に一致する基準車両環境に対応した基準画像特徴点に基づいて一般車両の位置を特定することができる。従って、環境に応じて表示内容が変動する表示媒体の像に基づいて抽出された基準画像特徴点に基づいて一般車両の位置を特定することが可能になる。
(4)一般車両位置特定処理:
次に、一般車両位置特定プログラム210による基準パターン情報生成処理を説明する。一般車両位置特定プログラム210は、所定の期間毎に実行される。図5は一般車両位置特定プログラム210が実行する基準パターン情報生成処理を示すフローチャートである。一般車両位置特定プログラム210の処理が開始されると、制御部200は、画像特徴点抽出部210aの処理により、前方カメラ400が出力する撮影画像データを取得する(ステップS200)。ここで、制御部200は、撮影画像データに対して撮影時刻を対応づけてRAMに記録する。
次に、制御部200は、画像特徴点抽出部210aの処理により、画像特徴点を抽出する(ステップS205)。すなわち、制御部200は、撮影画像を2値化した像から抽出される直線の端点と交点とを画像特徴点とする。次に、制御部200は、GPS受信部430,車速センサ440,ジャイロセンサ450の出力信号および地図情報300aに基づいて一般車両の現在位置を推定する(ステップS210)。
次に、制御部200は、一致度特定部210cの処理により、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bが存在するか否か判定する(ステップS215)。すなわち、制御部200は、基準パターン情報300bのなかに、一般車両の現在位置として推定された推定位置から所定距離以内の範囲に含まれる基準位置が対応づけられた基準パターン情報が存在するか否かを判定する。ステップS215において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bが存在すると判定されない場合、制御部200は、ステップS220以降の処理をスキップして処理を終了する。この場合、推定位置が一般車両の位置であるとみなされる。
一方、ステップS215において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bが存在すると判定された場合、1あるいは複数の基準パターン情報300bが存在することになるため、一致度を特定するための参照対象となる基準パターン情報を決定するための処理を行う。このために、制御部200は、一致度特定部210cの処理により、ステップS200にて撮影した撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれるか否かを判定する(ステップS220)。すなわち、制御部200は、撮影画像を2値化した像から抽出される直線によって囲まれる領域が撮影画像に含まれるか否かを判定し、さらに、当該領域が撮影画像に含まれる場合、2値化する以前の当該領域における所定比率以上の部分の色が特定の色(例えば、黒)であるか否かを判定することによって当該領域が所定の地色であるか否かを特定する。そして、当該領域が所定の地色である場合に、撮影画像に、環境に応じて表示内容が変動する表示媒体が含まれると判定する。例えば、一般車両の前方カメラ400において、図3に示すような表示媒体Dを含む画像が撮影された場合には、環境に応じて表示内容が変動する表示媒体が含まれると判定される。
ステップS220にて、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれると判定された場合、制御部200は、一般車両環境取得部210bの処理により、通信部410を介して一般車両環境を取得する(ステップS225)。すなわち、制御部200は、撮影画像データを取得した撮影時刻における一般車両の周囲の気象状態を示す気象情報を取得する。
次に、制御部200は、一致度特定部210cの処理により、ステップS215にて存在すると判定された推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報のうち、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報が存在するか否かを判定する(ステップS230)。例えば、図3に示す例において、一般車両環境が雨天である場合、撮影画像I2に対応する基準パターン情報30bのように雨天を示す情報が対応づけられた基準パターン情報300bが存在すれば、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報300bが存在すると判定される。
ステップS230にて、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報が存在すると判定されない場合、制御部200は、ステップS235以降の処理をスキップして処理を終了する。この場合、推定位置が一般車両の位置であるとみなされる。ステップS230にて、一般車両環境に一致する基準車両環境が対応づけられている基準パターン情報300bが存在すると判定された場合、当該一般車両環境に一致する基準パターン情報300bを参照対象として設定する(ステップS235)。なお、一般車両環境に一致する基準車両環境が対応づけられた基準パターン情報300bが複数個存在する場合には、複数の基準パターン情報300bが参照対象として設定される。
一方、ステップS220にて、撮影画像に、環境に応じて表示内容が変動する表示媒体の像が含まれると判定されない場合、制御部200は、一致度特定部210cの処理により、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bを参照対象として設定する(ステップS240)。なお、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報300bが複数個存在する場合には、複数の基準パターン情報300bが参照対象として設定される。
ステップS235またはS240にて参照対象の基準パターン情報300bが設定されると、制御部200は、一致度特定部210cの処理により、参照対象の基準パターン情報300bが示す基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する(ステップS245)。複数の基準パターン情報300bが参照対象として設定された場合、複数の基準パターン情報300bが示す基準画像特徴点の組のそれぞれについて画像特徴点と比較され、複数の組のそれぞれについて一致度が特定される。
次に、制御部200は、一般車両位置特定部210dの処理により、一致度が所定の基準を満たすか否かを判定する(ステップS250)。すなわち、ステップS235あるいはS240にて複数の基準パターン情報300bについての一致度が特定されている場合には、最も高い一致度を特定し、当該最も高い一致度が所定の閾値よりも大きい場合に、当該最も高い一致度となった基準パターン情報300bについて、一致度が所定の基準を満たすと判定する。ステップS235あるいはS240にて一つの基準パターン情報300bについての一致度が特定されている場合には、当該基準パターン情報300bについての一致度が所定の閾値よりも大きい場合に、当該基準パターン情報300bについて、一致度が所定の基準を満たすと判定する。
ステップS250において、一致度が所定の基準を満たすと判定されない場合、制御部200は、ステップS255をスキップして処理を終了する。一方、ステップS255において、一致度が所定の基準を満たすと判定された場合、制御部200は、一致度が所定の基準を満たすと判定された基準パターン情報300bに対応づけられた基準位置を一般車両の位置として特定する(ステップS255)。
以上の構成によれば、GPS受信部430,車速センサ440,ジャイロセンサ450の出力信号および地図情報300aのみを利用して一般車両の位置を特定する構成と比較して、正確に一般車両の現在位置を特定することが可能である。また、GPS受信部430,車速センサ440,ジャイロセンサ450の出力信号が取得されない区間においても一般車両の現在位置を特定することが可能である。
(5)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、環境に応じて表示内容が変動する表示媒体の像を含む風景から抽出された基準画像特徴点の位置を示す基準パターン情報に対して基準車両環境を示す情報を対応づける限りにおいて、他にも種々の実施形態を採用可能である。例えば、基準パターン情報には、基準画像特徴点の抽出元となった撮影画像を撮影した時点における基準車両の向きを示す情報を対応づけても良い。この場合、一般車両にて位置を特定する際に、当該一般車両の向きを示す情報を特定し、当該一般車両の向きと同じ向きが対応づけられた基準パターン情報を参照して基準画像特徴点の位置と画像特徴点の位置との一致度を特定する。
さらに、基準画像特徴点は、撮影画像に含まれる各種の地物の像から生成可能な点であればよく、地物の外周や模様を構成する点であって、撮影画像上での位置の再現性が高い点を所定の規則で抽出すればよい。従って、上述の直線の端点や交点以外にも、直線を構成する点群等によって構成されてもよい。
さら、表示媒体は、環境に応じて表示内容が変動する媒体であれば良く、上述の電光掲示板に限定されない。例えば、環境によって表示すべき道路標示が変動する装置であっても良い。また、環境によって中央分離帯の位置が変動する道路において中央分離帯の位置を示す看板であっても良い。
さらに、環境は気象状態に限定されない。すなわち、環境が表示媒体の表示内容が変動させ得る場合には、その環境を示す情報を基準車両環境や一般車両環境を示す情報として取得すればよい。例えば、渋滞の様子を示す交通情報によって環境を示す情報を構成してもよい。むろん環境を示す情報は、通信以外にも各種の手段で取得可能であり、カメラや各種のセンサによって環境を示す情報を取得しても良い。
さらに、一般車両によって参照される基準パターン情報を記録する媒体は特に限定されず、通信等を介して一般車両から所定の記録媒体を参照して基準パターン情報を取得しても良い。
さらに、基準画像特徴点を定義する際に、環境に応じて表示内容が変動する表示媒体に由来する基準画像特徴点と当該表示媒体に由来しない(すなわち、環境に依存して撮影画像上の位置が変動しない)基準画像特徴点とを分けて定義する構成としても良い。この構成は図1に示す構成において、基準パターン情報30bの定義を変更することによって実現可能である。
すなわち、この実施形態においては、環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する構成とする。さらに、基準車両の周囲の環境である基準車両環境が異なる状況で表示媒体を含む基準車両の周囲の風景を含む複数の撮影画像を撮影する。そして、当該複数の撮影画像における表示媒体の像から基準となる表示媒体基準画像特徴点を基準車両環境ごとに抽出する構成とする。そして、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して基準位置を示す情報を対応づけ、さらに、背景基準画像特徴点の撮影画像上での位置を示す基準パターン情報に対して表示媒体基準画像特徴点を基準車両環境ごとに示す情報を対応づける構成とする。
例えば、図6に示すように基準車両に搭載された前方カメラ40によって、環境に応じて表示内容が変動する看板Dと環境に依存しない信号機Sとを含む撮影画像I0が撮影された場合、看板Dの背景(すなわち、看板Dの像以外の像)から背景基準画像特徴点が抽出される。図6に示す例においては、背景基準画像特徴点P1〜Pmが抽出された場合の例を示している。この場合、背景基準画像特徴点の位置を示す情報(P1(X,Y)〜Pm(X,Y))に対して基準位置P(x,y)を示す情報が対応づけられて(図6の30b1)、基準パターン情報30bの一部が構成される。
さらに、異なる基準環境において基準車両に搭載された前方カメラ40によって撮影された複数の撮影画像から、看板Dの像が抽出され、看板Dの各像から表示媒体基準画像特徴点が抽出される。そして、各表示媒体基準画像特徴点に対して基準車両環境を示す情報が対応づけられる。図6に示す例においては、晴天時に撮影された看板D2の像から表示媒体基準画像特徴点Pm+1〜Pm+Mが抽出され、雨天時に撮影された看板D3の像から表示媒体基準画像特徴点Pm+1〜Pm+Nが抽出され、降雪時に撮影された看板D4の像から表示媒体基準画像特徴点Pm+1〜Pm+Oが抽出された場合の例を示している。
この場合、表示媒体基準画像特徴点の位置を示す情報(Pm+1(X,Y)〜Pm+M(X,Y))に対して基準車両環境が晴天であることを示す情報が対応づけられて(図6の30b2)、基準パターン情報30bの一部が構成される。また、表示媒体基準画像特徴点の位置を示す情報(Pm+1(X,Y)〜Pm+N(X,Y))に対して基準車両環境が雨天であることを示す情報が対応づけられて(図6の30b3)、基準パターン情報30bの一部が構成される。さらに、表示媒体基準画像特徴点の位置を示す情報(Pm+1(X,Y)〜Pm+O(X,Y))に対して基準車両環境が降雪であることを示す情報が対応づけられて(図6の30b4)、基準パターン情報30bの一部が構成される。すなわち、以上の30b1〜30b4によって基準パターン情報30bが構成される。


以上のように基準パターン情報30bが構成されると、基準車両環境をキーにして表示媒体基準画像特徴点の位置を特定することが可能になり、一般車両の周囲の環境である一般車両に応じて適切な表示媒体基準画像特徴点を選択することが可能になる。すなわち、一般車両においては、基準パターン情報を参照し、一般車両環境と一致する基準車両環境が対応づけられた表示媒体基準画像特徴点の位置を特定し、さらに、環境に依存しない背景基準画像特徴点の位置を特定する。そして、特定された表示媒体基準画像特徴点および背景基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定すれば、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定することが可能になる。
基準位置に基づく一般車両の位置の特定法は、上述の実施形態以外にも各種の方法を採用可能である。例えば、前方カメラ400にて撮影した撮影画像データに対して撮影時刻を対応づけておき、現在以前の所定期間にて撮影した複数の撮影画像データから画像特徴点を抽出し、各時刻における撮影画像データから抽出された画像特徴点の位置と基準パターン情報300bが示す基準画像特徴点の位置とを比較する構成を採用しても良い。すなわち、複数の時刻に関する画像特徴点の組のそれぞれについて一致度を特定し、最も一致度が高くなった時刻における一般車両の位置が、基準パターン情報300bに対応づけられた基準位置であるとみなす構成としても良い。
10…基準パターン情報生成装置、20…制御部、21…基準パターン情報生成プログラム、21a…基準画像特徴点抽出部、21b…基準位置取得部、21c…基準車両環境取得部、21d…基準パターン情報記録部、30…記録媒体、30a…地図情報、30b…基準パターン情報、40…前方カメラ、41…GPS受信部、42…車速センサ、43…ジャイロセンサ、44…通信部、45…後方カメラ、100…ナビゲーション装置、200…制御部、210…一般車両位置特定プログラム、210a…画像特徴点抽出部、210b…一般車両環境取得部、210c…一致度特定部、210d…一般車両位置特定部、300…記録媒体、300a…地図情報、300b…基準パターン情報、400…前方カメラ、410…通信部、420…ユーザI/F部、430…GPS受信部、440…車速センサ、450…ジャイロセンサ

Claims (7)

  1. 環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる点であって少なくとも前記表示媒体から抽出された点を含む基準画像特徴点を抽出する基準画像特徴点抽出手段と、
    前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得手段と、
    前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得手段と、
    前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録手段と、
    を備える基準パターン情報生成装置。
  2. 前記基準画像特徴点抽出手段は、前記撮影画像に直線に囲まれた所定の地色の部分が含まれるか否かを判定し、
    前記基準パターン情報記録手段は、前記撮影画像に直線に囲まれた所定の地色の前記部分が含まれる場合に、前記基準パターン情報に対して前記基準車両環境を示す情報を対応づける、
    請求項1に記載の基準パターン情報生成装置。
  3. 一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する画像特徴点抽出手段と、
    前記一般車両の周囲の風景を撮影した時点での前記一般車両の周囲の環境を一般車両環境として取得する一般車両環境取得手段と、
    請求項1または請求項2のいずれかに記載の基準パターン情報生成装置で作成された、前記一般車両環境と一致する前記基準車両環境が対応づけられた前記基準パターン情報を参照し、前記基準画像特徴点の位置と前記画像特徴点の位置とを比較して一致度を特定する一致度特定手段と、
    前記一致度が所定の基準を満たす場合に、前記一般車両環境と一致する前記基準車両環境が対応づけられた前記基準パターン情報に対応づけられた前記基準位置を前記一般車両の位置として特定する一般車両位置特定手段と、
    を備える一般車両位置特定装置。
  4. 環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像における前記表示媒体の背景の像から基準となる背景基準画像特徴点を抽出する基準画像特徴点抽出手段と、
    前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得手段と、
    前記基準車両の周囲の環境である基準車両環境が異なる状況で前記風景を撮影した複数の撮影画像における前記表示媒体の像から基準となる表示媒体基準画像特徴点を前記基準車両環境ごとに抽出する表示媒体基準画像特徴点抽出手段と、
    前記背景基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記表示媒体基準画像特徴点の前記撮影画像上での位置を前記基準車両環境ごとに示す情報とを対応づけて所定の記録媒体に記録する基準パターン情報記録手段と、
    を備える基準パターン情報生成装置。
  5. 一般車両の周囲の風景を撮影した撮影画像から画像特徴点を抽出する画像特徴点抽出手段と、
    前記一般車両の周囲の風景を撮影した時点での前記一般車両の周囲の環境を一般車両環境として取得する一般車両環境取得手段と、
    請求項4に記載の基準パターン情報生成装置で作成された前記基準パターン情報を参照し、前記背景基準画像特徴点の位置と前記一般車両環境と一致する前記基準車両環境が対応づけられた前記表示媒体基準画像特徴点の位置とを特定し、特定された前記背景基準画像特徴点および前記表示媒体基準画像特徴点の位置と前記画像特徴点の位置とを比較して一致度を特定する一致度特定手段と、
    前記一致度が所定の基準を満たす場合に、前記基準パターン情報に対応づけられた前記基準位置を前記一般車両の位置として特定する一般車両位置特定手段と、
    を備える一般車両位置特定装置。
  6. 環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる点であって少なくとも前記表示媒体から抽出された点を含む基準画像特徴点を抽出する基準画像特徴点抽出工程と、
    前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得工程と、
    前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得工程と、
    前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録工程と、
    を含む基準パターン情報生成方法。
  7. 環境に応じて表示内容が変動する表示媒体を含む基準車両の周囲の風景を撮影した撮影画像から基準となる点であって少なくとも前記表示媒体から抽出された点を含む基準画像特徴点を抽出する基準画像特徴点抽出機能と、
    前記基準車両の周囲の風景を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得機能と、
    前記基準車両の風景を撮影した時点での前記基準車両の周囲の環境を基準車両環境として取得する基準車両環境取得機能と、
    前記基準画像特徴点の前記撮影画像上での位置を示す基準パターン情報に対して、前記基準位置を示す情報と、前記基準車両環境を示す情報とを対応付けて所定の記録媒体に記録する基準パターン情報記録機能と、
    をコンピュータに実現させる基準パターン情報生成プログラム。
JP2010080793A 2010-03-31 2010-03-31 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 Expired - Fee Related JP5434745B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010080793A JP5434745B2 (ja) 2010-03-31 2010-03-31 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010080793A JP5434745B2 (ja) 2010-03-31 2010-03-31 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Publications (2)

Publication Number Publication Date
JP2011214869A JP2011214869A (ja) 2011-10-27
JP5434745B2 true JP5434745B2 (ja) 2014-03-05

Family

ID=44944785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010080793A Expired - Fee Related JP5434745B2 (ja) 2010-03-31 2010-03-31 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Country Status (1)

Country Link
JP (1) JP5434745B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143263A1 (ja) * 2017-02-06 2018-08-09 富士フイルム株式会社 撮影制御装置、撮影制御方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085535A (ja) * 2001-09-07 2003-03-20 Zenrin Co Ltd 道路案内標識の位置認識方法
JP4847090B2 (ja) * 2005-10-14 2011-12-28 クラリオン株式会社 位置測位装置、および位置測位方法
JP4935145B2 (ja) * 2006-03-29 2012-05-23 株式会社デンソー カーナビゲーション装置

Also Published As

Publication number Publication date
JP2011214869A (ja) 2011-10-27

Similar Documents

Publication Publication Date Title
CN108571974B (zh) 使用摄像机的车辆定位
JP4847090B2 (ja) 位置測位装置、および位置測位方法
WO2020042348A1 (zh) 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN102208035B (zh) 图像处理系统及位置测量系统
US20190251374A1 (en) Travel assistance device and computer program
EP2372308B1 (en) Image processing system and vehicle control system
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
JP4902575B2 (ja) 道路標示認識装置、および道路標示認識方法
CN102208012A (zh) 风景匹配参考数据生成系统及位置测量系统
CN110998684B (zh) 图像收集系统、图像收集方法、图像收集装置、记录介质
JP2008293380A (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
CN102208036A (zh) 车辆位置检测系统
CN110210384B (zh) 一种道路全局信息实时提取与表示系统
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2008065087A (ja) 静止物地図生成装置
CN110388929B (zh) 导航地图更新方法、装置及系统
US20200202566A1 (en) Method, apparatus, and system for aligning a vehicle-mounted device
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
JP2014106739A (ja) 車載画像処理装置
JP6916975B2 (ja) 標識位置特定システム及びプログラム
JP5434745B2 (ja) 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置
JP2011214961A (ja) 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置
JP5177579B2 (ja) 画像処理システム及び位置測位システム
JP2022124993A (ja) 識別装置、識別プログラム、および識別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125

R150 Certificate of patent or registration of utility model

Ref document number: 5434745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees