JP4984152B2 - 画像認識システム、サーバ装置、及び画像認識装置 - Google Patents
画像認識システム、サーバ装置、及び画像認識装置 Download PDFInfo
- Publication number
- JP4984152B2 JP4984152B2 JP2007226818A JP2007226818A JP4984152B2 JP 4984152 B2 JP4984152 B2 JP 4984152B2 JP 2007226818 A JP2007226818 A JP 2007226818A JP 2007226818 A JP2007226818 A JP 2007226818A JP 4984152 B2 JP4984152 B2 JP 4984152B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature
- recognition
- image recognition
- success
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
更に、この特徴構成によれば、画像認識装置は、画像認識処理の対象とする対象地物を決定する際に、各地物の画像認識に成功する割合を表す認識率情報をサーバ装置から受け取って取得することができる。したがって、画像認識装置は、現実の地物の状態に応じた各地物の画像認識に成功する割合の高さを考慮して適切に対象地物を決定することが可能となる。よって、車両に搭載された撮像装置により撮像した画像情報に含まれる対象地物の画像認識処理を行う際に、画像認識装置における画像認識処理の演算負荷を軽減し、一定距離あたりの地物の認識率を高めることが可能となる。
まず、サーバ装置1の構成について説明する。図1に示すように、サーバ装置1の各機能部、具体的には、通信部21、分類格納部23、認識率情報生成部25、及び認識率情報抽出部28は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。また、サーバ装置1は、例えば、ハードディスクドライブやフラッシュメモリ等の書き換え可能な記憶媒体とその駆動手段とを有する装置をハードウェア構成として備えている。そして、サーバ装置1の認識成否データベース24及び認識率データベース26は、これらの記憶媒体に記憶された情報により構成されている。以下、本実施形態に係るサーバ装置1の各部の構成について詳細に説明する。
通信部21は、一又は二以上のナビゲーション装置2の通信部61との間で通信を行う通信手段として機能する。この通信部21は、所定の通信ネットワークを介して、ナビゲーション装置2の通信部61との間で通信してデータの送受信を行うことができる構成となっている。このような通信ネットワークとしては、例えば、インターネット、有線又は無線の公衆電話網、有線又は無線LAN(Local Area Network)、専用回線等、有線又は無線の公知の各種の通信ネットワークを用いることができる。また、この通信ネットワーク内に、例えば、パーソナル・コンピュータや携帯電話機等の公知の各種通信機器が含まれても好適である。この通信部21により、サーバ装置1は、一又は二以上の車両に搭載されたナビゲーション装置2との間で情報の受け渡しを行うことが可能とされている。本実施形態においては、サーバ装置1は、この通信部21を介して、ナビゲーション装置2から認識成否情報S及び要求情報Dを受信し、ナビゲーション装置2へ認識率情報Rを送信する。なお、通信部21により受信された認識成否情報Sは後述する分類格納部23へ送られ、要求情報Dは後述する認識率情報抽出部28へ送られる。
分類格納部23は、通信部21を介して一又は二以上のナビゲーション装置2から受け取った各地物についての認識成否情報Sを、地物毎に分類して認識成否データベース24に格納する分類格納手段として機能する。これにより、認識成否データベース24は、ナビゲーション装置2から受け取った各地物についての認識成否情報Sを、地物毎に分類して記憶することになる。図3は、本実施形態に係る認識成否データベース24の内容の具体例を示す図である。後述するように、本実施形態においては、認識成否情報Sは、ナビゲーション装置2における画像認識処理の対象となった各地物に固有の地物IDの情報と、当該対象地物の画像認識に成功したか失敗したかを示す認識成否の情報と、当該対象地物の画像認識処理を行った日時の情報とを有している。そこで、分類格納部23は、通信部21により認識成否情報Sを受信する度に、当該認識成否情報Sに含まれる地物IDの情報を参照し、認識成否情報Sを地物ID毎に分類して認識成否データベース24に格納する。そして、通信部21を介して一又は二以上のナビゲーション装置2から同じ地物(地物IDが同じ地物)についての複数の認識成否情報Sを受け取ることにより、図3に示すように、認識成否データベース24には、各地物IDについて複数の認識成否情報Sが記憶される。図3の例では、「AAAAA」や「BBBBB」等が地物IDである。また、認識成否を表す情報は「○」又は「×」の2種類であり、「○」は認識成功、「×」は認識失敗を表している。
認識率情報生成部25は、上記のように収集した認識成否情報Sに基づいて各地物の画像認識に成功する割合を表す認識率情報Rを生成する。そして、認識率情報生成部25により生成した認識率情報Rは、認識率データベース26に記憶される。図4は、本実施形態に係る認識率データベース26の内容の具体例を示す図である。この図に示すように、本実施形態における認識率情報Rは、各地物の画像認識に成功する割合を百分率で表した情報であり、各地物に固有の地物IDの情報と関連付けられて認識率データベース26に記憶される。ここで、認識率情報生成部25は、認識成否データベース24に格納された地物ID毎の認識成否情報Sを統計的に処理することにより、各地物(各地物ID)についての認識率を演算し、その演算結果を認識率情報Rとする。例えば、認識成否データベース24に記憶された地物ID「AAAAA」についての認識成否情報Sの全数が200個であり、その内の認識成功を表す情報の数が104個であった場合、認識率情報生成部25は、地物ID「AAAAA」の地物の認識率を52%と演算し、当該認識率を表す認識率情報Rを生成する。そして、認識率情報生成部25は、このように生成された認識率情報Rを認識率データベース26に格納する。図4の例では、地物ID「AAAAA」の認識率が「52%」、地物ID「BBBBB」の認識率が「83%」、地物ID「CCCCC」の認識率が「76%」であることをそれぞれ表す認識率情報Rが、認識率データベース26に記憶されている。
認識率情報抽出部28は、ナビゲーション装置2から要求された地物についての認識率情報Rを認識率データベース26から抽出する抽出手段として機能する。ここで、認識率情報抽出部28は、通信部21を介してナビゲーション装置2から受け取った要求情報Dに基づいてナビゲーション装置2から要求された地物を特定する。後述するように、本実施形態においては、要求情報Dは、ナビゲーション装置2が認識率情報Rを要求する地物についての地物IDの情報を有している。そこで、認識率情報抽出部28は、要求情報Dが有する地物IDの地物をナビゲーション装置2から要求された地物とし、当該地物IDの認識率情報Rを認識率データベース26から抽出する。この際、要求情報Dに複数の地物についての地物IDが含まれている場合には、認識率情報抽出部28は、それら複数の地物IDについての認識率情報Rを抽出する。そして、認識率情報抽出部28は、このような要求情報Dに従って抽出した認識率情報Rを、当該要求情報Dの送信元のナビゲーション装置2へ、通信部21を介して送信する。これにより、ナビゲーション装置2から要求された地物についての認識率情報Rがナビゲーション装置2に提供される。本実施形態においては、認識率情報抽出部28及び通信部21により、本発明における認識可能性情報提供手段27が構成される。
次に、ナビゲーション装置2の構成について説明する。図2に本実施形態に係るナビゲーション装置2の概略構成を示している。本実施形態においては、ナビゲーション装置2は車両Cに搭載されている。そして、ナビゲーション装置2は、画像認識装置3を含んで構成されている。この画像認識装置3は、サーバ装置1から受け取った認識率情報Rに基づいて対象地物ft(図8(a)参照)を決定し、当該対象地物を対象として画像認識処理を行う。また、ナビゲーション装置2は、自車位置認識装置4を含んで構成されている。この自車位置認識装置4は、画像認識装置3による対象地物ftの画像認識処理の結果と、当該対象地物ftについての地物情報Fに含まれる位置情報とに基づいて自車位置情報Pを補正することにより、高精度に自車両Cの現在位置を認識することができる構成となっている。
地図データベース51は、地図情報Mが記憶されたデータベースである。ここで、地図情報Mは、所定の経度および緯度で区切られた区画と呼ばれる矩形領域を単位として分割されている。各区画の地図情報Mは、各区画に設定された区画番号等の区画識別符号を指定することにより読み出すことができる。図5は、地図データベース51に記憶されている地図情報Mの概略構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Neを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。複数のリンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、高速道路、国道、県道、一般道路、細街路等のように、道路を複数の種別に区分した際の道路種別の情報である。なお、図5においては、一つの区画の道路情報Neのみを図示し、他の区画の道路情報Neは省略して表している。また、図示は省略するが、地図情報Mは、道路情報Neの他に、地図表示に必要な各種の情報を有する描画情報、交差点の詳細情報を有する交差点情報等を含んでいる。ここで、描画情報には、建物や河川等を表示するために必要な背景レイヤの情報、市町村名や道路名等を表示するために必要な文字レイヤの情報等が含まれている。本実施形態においては、この地図データベース51が、本発明における地図情報記憶手段に相当する。
地物データベース52は、道路上や道路周辺に設けられた複数の地物についての地物情報Fが記憶されたデータベースである。この地物データベース52に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。図6は、地物データベース52に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、T字や十字等の交差点における道路の交差方向を表す標示、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、マンホール、陸橋、トンネル等の各種の地物も含めることができる。
初期認識率データベース53は、初期認識率情報Rdが記憶されたデータベースである。ここで、初期認識率情報Rdは、サーバ装置1から提供される認識率情報Rの初期値の情報であって、後述する要求情報Dにより要求した地物についての認識率情報Rをサーバ装置1から受け取ることができない場合に用いられる。そのため、この初期認識率データベース53には、上述した認識率データベース26と同様に、各地物の画像認識に成功する割合を百分率で表した初期認識率情報Rdが、各地物に固有の地物IDの情報と関連付けられて記憶されている。本実施形態においては、初期認識率情報Rdは、各地物にかすれ等の画像認識処理に影響を与える状態の変化がない場合における認識率の情報となっている。したがって、この初期認識率情報Rdの値は、基本的には、地物種別に応じた地物の形態や配置傾向等によって一律に定まる要因から推定される認識率となっている。
画像情報取得部32は、自車両Cに搭載された撮像装置31により撮像した画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置31は、撮像素子を備えた車載カメラ等であって、少なくとも自車両Cの周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置31としては、例えば、図7に示すような自車両Cの後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部32は、撮像装置31により撮像した撮像情報をフレームメモリ(不図示)等を介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50〔ms〕程度とすることができる。これにより、画像情報取得部32は、撮像装置31により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部37へ出力される。
自車位置情報取得部33は、自車両C(図8(a)参照)の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部33は、GPS受信機34、方位センサ35、及び距離センサ36と接続されている。ここで、GPS受信機34は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部33へ出力される。自車位置情報取得部33では、GPS受信機34で受信されたGPS衛星からの信号を解析し、自車両Cの現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ35は、自車両Cの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ35は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ35は、その検出結果を自車位置情報取得部33へ出力する。距離センサ36は、自車両Cの車速や移動距離を検出するセンサである。この距離センサ36は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Cの加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ36は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部33へ出力する。
画像認識部37は、画像情報取得部32で取得された画像情報Gに含まれる対象地物ftの画像認識処理を行う画像認識手段として機能する。図8(a)は、対象地物ftの画像認識処理を行う際における、自車両Cが実際に走行する道路の状況の具体例を示している。また、図8(b)は、(a)の状況に対応する自車位置の周辺の地図情報M及び地物情報Fの具体例を示している。本実施形態においては、画像認識部37は、後述する対象地物決定部65により決定された対象地物ftを画像認識処理の対象とする。図8(a)に示す例では、自車両Cの進行方向に存在する2つの地物f1及びf2の内、T字の地物f2が対象地物ftとして決定されたものとしている。そして、画像認識部37は、自車位置情報Pに基づいて、後述する地物情報取得部62により地物データベース52から取得された当該対象地物ftの地物情報F(図8(b)の例では地物情報F2)を用いて対象地物ftの画像認識処理を行う。
自車位置補正部38は、画像認識部37による対象地物ftの画像認識処理の結果と、当該対象地物ftについての地物情報Fに含まれる当該対象地物ftの位置情報とに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置補正部38は、画像認識部37における地物情報Fに基づく画像認識処理による対象地物ftの画像認識結果と、当該地物情報Fに含まれる当該対象地物ftの位置情報とを用いて、自車両Cの進行方向に沿って自車位置情報Pを補正する。具体的には、自車位置補正部38は、まず、画像認識部37による画像認識処理の結果と、撮像装置31の取付位置、取付角度、及び画角等とに基づいて、対象地物ftの画像を含む画像情報Gの取得時における自車両Cと対象地物ftとの位置関係を演算する。次に、自車位置補正部38は、この自車両Cと対象地物ftとの位置関係の演算結果と、当該対象地物ftについての地物情報Fに含まれる当該対象地物ftの位置情報とに基づいて、自車両Cの進行方向における対象地物ftの位置情報(地物情報F)を基準とする高精度な自車両Cの位置情報を演算して取得する。そして、自車位置補正部38は、このようにして取得した高精度な自車両Cの位置情報に基づいて、自車位置情報取得部33で取得した自車位置情報Pに含まれる、自車両Cの進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部33は、このような補正後の高精度な自車位置情報Pを取得することになる。
ナビゲーション用演算部39は、自車位置表示、出発地から目的地までの経路探索、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム40に従って動作する演算処理手段である。このナビゲーション用演算部39は、自車位置情報取得部33により取得された自車位置情報P、及び地図データベース51に記憶された地図情報Mを参照して動作する。例えば、ナビゲーション用演算部39は、自車位置情報Pに基づいて地図データベース51から自車両C周辺の地図情報Mを取得して表示入力装置41に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部39は、地図データベース51に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部39は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置41及び音声出力装置42の一方又は双方を用いて、運転者に対する進路案内を行う。また、本実施形態においては、ナビゲーション用演算部39は、表示入力装置41及び音声出力装置42に接続されている。表示入力装置41は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。音声出力装置は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部39、表示入力装置41、及び音声出力装置42が、本発明における案内情報出力手段43として機能する。
通信部61は、サーバ装置1の通信部21との間で通信を行う通信手段として機能する。この通信部61は、上記のような所定の通信ネットワークを介して、サーバ装置1の通信部21との間で通信してデータの送受信を行うことができる構成となっている。この通信部61により、ナビゲーション装置2は、サーバ装置1との間で情報の受け渡しを行うことが可能とされている。本実施形態においては、ナビゲーション装置2は、この通信部61を介して、サーバ装置1へ要求情報Dを送信し、サーバ装置1から認識率情報Rを受信する。なお、通信部61により受信された認識率情報Rは後述する対象地物決定部65へ送られる。また、ナビゲーション装置2は、この通信部61を介して、認識成否情報生成部66により生成された認識成否情報Sをサーバ装置1に提供する。したがって本実施形態においては、通信部61が本発明における認識成否情報提供手段67に相当する。
地物情報取得部62は、自車位置情報Pに基づいて撮像装置31により将来的に撮像される一又は二以上の地物についての地物情報Fを取得する地物情報取得手段として機能する。ここで、地物情報取得部62は、上記地物データベース52から前記一又は二以上の地物についての地物情報Fを取得する。本実施形態においては、地物情報取得部62は、自車位置情報Pに基づいて、自車位置情報Pに示される自車両Cの現在位置から、自車両Cが走行中の道路を表すリンクkに沿って進行方向に所定の探索距離L(図8(b)参照)内に存在する全ての地物についての地物情報Fを取得する。ここで、探索距離Lは、自車両Cの車速を考慮し、ある地物についての地物情報Fを取得してから撮像装置31が当該地物を撮像するまでの時間が、後述する対象地物ftの決定のための処理に要する時間以上となるように設定する。そして、探索距離Lは、自車両Cの最高車速に基づいて例えば500〔m〕などように固定値として設定してもよいし、車速に応じて前記時間を確保できるように変化する値として設定しても好適である。またこの際、地物情報取得部62は、地物データベース52に記憶された各地物情報Fに含まれる地物の位置情報に基づいて、自車両Cから探索距離L内に存在する地物の地物情報Fを抽出して取得する。
要求情報生成部63は、サーバ装置1に対して認識率情報Rを要求するための要求情報Dを生成する要求情報生成手段として機能する。本実施形態においては、要求情報生成部63は、地物情報取得部62により地物情報Fが取得された一又は二以上の地物についての認識率情報Rの提供を要求するための要求情報Dを生成する。そのため、要求情報Dは、要求する一又は二以上の地物についての地物IDの情報を有している。また、要求情報Dは、認識率情報Rを要求するためのものであることを示す情報を有している。図8(b)に示す例では、地物情報取得部62により横断歩道の地物f1についての地物情報F1と、T字の地物f2についての地物情報F2とが取得される。したがって、要求情報生成部63は、地物情報F1が示す地物f1の地物ID(例えば「AAAAA」)及び地物情報F2が示す地物f2の地物ID(例えば「BBBBB」)の情報を含む要求情報Dを生成する。なお、要求情報生成部63は、基本的には、地物情報取得部62によって地物情報Fが取得される度に、当該取得された地物情報Fが示す地物についての要求情報Dを生成する。但し、上記の探索距離Lが十分に長い場合などには、複数回に分けて地物情報取得部62により取得される複数の地物情報Fについて、それらの地物情報Fが示す複数の地物の地物IDを一つにまとめて要求情報Dを生成する構成としても好適である。
対象地物決定部65は、画像認識部37による画像認識処理の対象とする地物である対象地物ft(図8(a)参照)を決定する対象地物決定手段として機能する。本実施形態においては、対象地物決定部65は、地物情報取得部62により地物情報Fが取得された一又は二以上の地物の中から対象地物ftを決定する。この際、取得された各地物の地物情報Fに含まれる位置情報に基づいて、複数の地物が所定の近接間隔X以下の間隔で配置されていると判定される場合には、対象地物決定部65は、それら複数の地物の中から一つの地物を選択して対象地物ftとする。ここで、近接間隔Xは、画像認識部37により設定される認識範囲Aの大きさ(長さ)に応じて設定する。本実施形態では、近接間隔Xは、認識範囲Aの大きさと同じ値(X=A)に設定する。これは、上記のとおり、画像認識部37が一つの認識範囲A内について一つの対象地物ftの画像認識処理を行う構成となっているのに対して、複数の地物が認識範囲Aの大きさに相当する近接間隔X以下で配置されている場合には、各地物について設定される認識範囲Aが重複することになるからである。図8(b)に示す例では、地物情報取得部62により地物情報Fが取得された2つの地物f1及びf2が、近接間隔X以下で配置されている。したがって、対象地物決定部65は、これら2つの地物f1及びf2の中から一つの対象地物ftを決定する。
認識成否情報生成部66は、画像認識部37による対象地物ftの画像認識の成否を表す認識成否情報Sを生成する認識成否情報生成手段として機能する。本実施形態においては、上記のとおり、対象地物決定部65により決定された一つの対象地物ftについて、画像認識部37が、所定の認識範囲Aを設定し、当該認識範囲A内の画像情報Gに対して対象地物ftの画像認識処理を行う。そこで、認識成否情報生成部66は、まず、画像認識部37による、当該対象地物ftについて設定された認識範囲A内における対象地物ftの画像認識に成功したか失敗したかを監視する。そして、画像認識部37による認識範囲A内の画像認識処理が終了した際に、画像認識に成功したか失敗したかを示す認識成否の情報を含む認識成否情報Sを生成する。本実施形態においては、認識成否情報Sは、各対象地物ftに固有の地物IDの情報と、当該対象地物ftの画像認識に成功したか失敗したかを示す認識成否の情報と、当該対象地物ftの画像認識処理を行った日時の情報とを有している。この認識成否情報Sの具体的例については、上記認識成否データベース24に関する図3の例において既に説明したとおりである。そして、この認識成否情報生成部66により生成された認識成否情報Sは、生成される毎に、通信部61を介してサーバ装置1へ送信される。
次に、本実施形態に係るサーバ装置1の動作手順について説明する。図9は、本実施形態に係るサーバ装置1の動作手順を示すフローチャートである。以下に説明するサーバ装置1の動作手順は、サーバ装置1の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方の組み合わせにより実行される。サーバ装置1の各機能部がプログラムにより構成される場合には、サーバ装置1が有する演算処理装置は、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。
次に、本実施形態に係るナビゲーション装置2の動作手順について説明する。図10は、本実施形態に係るナビゲーション装置2の全体の動作手順を示すフローチャートである。また、図11は、図10のステップ#18の対象地物決定処理の手順を示すフローチャートである。以下に説明するナビゲーション装置2の動作手順は、ナビゲーション装置2の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方の組み合わせにより実行される。ナビゲーション装置2の各機能部がプログラムにより構成される場合には、ナビゲーション装置2が有する演算処理装置は、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。
(1)上記の実施形態では、本発明における認識可能性情報が、各地物についての画像認識に成功する割合を表す認識率情報Rである場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、認識可能性情報を、各地物が、画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果を表す認識成否判定情報とすることも、本発明の好適な実施形態の一つである。この場合、サーバ装置1では、認識率情報生成部25が、例えば、ある地物について認識成否データベース24に収集した認識成否情報Sに基づく統計的な認識率が所定のしきい値(例えば30%)以上であるときに、当該地物について、「画像認識に成功する可能性が高い地物である」という判定結果を示す認識成否判定情報を生成し、所定のしきい値未満であるときに「画像認識に成功する可能性が低い地物である」という判定結果を示す認識成否判定情報を生成すると好適である。また、この場合、ナビゲーション装置2(画像認識装置3)では、対象地物決定部65が、複数の地物の中から対象地物ftを決定する際に、サーバ装置1から受信した認識成否判定情報が「画像認識に成功する可能性が低い地物である」という判定結果を示すものである地物を、当該複数の地物の中から除外して対象地物ftを決定する構成とすると好適である。このように、認識成否判定情報に基づいて画像認識に成功する可能性が低いと判定された地物を除外した結果、一つの地物しか残らなかった場合には、対象地物決定部65は、当該一つの地物を対象地物ftとして決定する。また、このような地物を除外した後にも複数の地物が残った場合には、初期認識率情報Rd等に基づいて対象地物ftを決定すると好適である。
2:ナビゲーション装置
3:画像認識装置
4:自車位置認識装置
22:情報収集手段
23:認識成否データベース(認識成否情報記憶手段)
25:認識率情報生成部(認識可能性情報生成手段)
26:認識率データベース(認識可能性情報記憶手段)
27:認識可能性情報提供手段
28:認識率情報抽出部(抽出手段)
31:撮像装置
32:画像情報取得部(画像情報取得手段)
33:自車位置情報取得部(自車位置情報取得手段)
37:画像認識部(画像認識手段)
38:自車位置補正部(自車位置補正手段)
40:アプリケーションプログラム
43:案内情報出力手段
51:地図データベース(地図情報記憶手段)
52:地物データベース(地物情報記憶手段)
62:地物情報取得部(地物情報取得手段)
64:情報要求手段
65:対象地物決定部(対象地物決定手段)
66:認識成否情報生成部(認識成否情報生成手段)
67:認識成否情報提供手段
S:認識成否情報
R:認識率情報(認識可能性情報)
G:画像情報
P:自車位置情報
M:地図情報
F:地物情報
C:自車両(車両)
ft:対象地物
Claims (16)
- 車両に搭載されて地物の画像認識処理を行う画像認識装置と、一又は二以上の前記画像認識装置との間で情報の受け渡しが可能に設けられたサーバ装置と、を備えた画像認識システムであって、
前記サーバ装置は、一又は二以上の前記画像認識装置から当該画像認識装置による各地物の画像認識に成功したか失敗したかを表す認識成否情報を収集する情報収集手段と、収集した前記認識成否情報に基づいて各地物の画像認識に成功する割合を表す認識率情報を生成する認識可能性情報生成手段と、生成された前記認識率情報を記憶する認識可能性情報記憶手段と、前記認識率情報を前記画像認識装置に提供する認識可能性情報提供手段と、を備え、
前記画像認識装置は、前記サーバ装置から受け取った前記認識率情報に基づいて、画像認識処理の対象とする対象地物を決定する
画像認識システム。 - 前記情報収集手段は、前記画像認識装置から受け取った各地物についての複数の前記認識成否情報を、地物毎に分類して記憶する認識成否情報記憶手段を含む請求項1に記載の画像認識システム。
- 前記認識可能性情報提供手段は、前記画像認識装置から要求された地物についての前記認識率情報を前記認識可能性情報記憶手段から抽出する抽出手段を備え、この抽出手段により抽出した前記認識率情報を前記画像認識装置に提供する請求項1又は2に記載の画像認識システム。
- 前記認識可能性情報生成手段は、前記画像認識装置から前記認識成否情報を受け取る度に、当該新たな認識成否情報に係る地物についての前記認識率情報を新たに生成して、前記認識可能性情報記憶手段に記憶させる請求項1から3のいずれか一項に記載の画像認識システム。
- 前記画像認識装置は、複数の地物の中から前記対象地物を決定する際に、各地物の前記認識率情報に基づいて、画像認識に成功する割合が他の地物より高い地物を前記対象地物
として決定する請求項1から4のいずれか一項に記載の画像認識システム。 - 前記画像認識装置は、前記対象地物の画像認識に成功したか失敗したかを表す認識成否情報を生成する認識成否情報生成手段と、生成した前記認識成否情報を前記サーバ装置に提供する認識成否情報提供手段と、を備える請求項1から5のいずれか一項に記載の画像認識システム。
- 前記画像認識装置は、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて自車両に搭載された撮像装置により将来的に撮像される一又は二以上の地物についての地物情報を取得する地物情報取得手段と、を備え、
前記地物情報が取得された一又は二以上の地物の中から前記対象地物を決定する請求項1から6のいずれか一項に記載の画像認識システム。 - 前記画像認識装置は、前記地物情報取得手段により前記地物情報が取得された一又は二以上の地物についての前記認識率情報の提供を、前記サーバ装置に対して要求する情報要求手段を備える請求項7に記載の画像認識システム。
- 車両に搭載されて地物の画像認識処理を行う一又は二以上の画像認識装置との間で情報の受け渡しが可能に設けられたサーバ装置であって、
一又は二以上の前記画像認識装置から当該画像認識装置による各地物の画像認識に成功したか失敗したかを表す認識成否情報を収集する情報収集手段と、
収集した前記認識成否情報に基づいて各地物の画像認識に成功する割合を表す認識率情報を生成する認識可能性情報生成手段と、
生成された前記認識率情報を記憶する認識可能性情報記憶手段と、
前記認識率情報を前記画像認識装置に提供する認識可能性情報提供手段と、
を備えたサーバ装置。 - 前記情報収集手段は、前記画像認識装置から受け取った各地物についての複数の前記認識成否情報を、地物毎に分類して記憶する認識成否情報記憶手段を含む請求項9に記載のサーバ装置。
- 前記認識可能性情報提供手段は、前記画像認識装置から要求された地物についての前記認識率情報を前記認識可能性情報記憶手段から抽出する抽出手段を備え、この抽出手段により抽出した前記認識率情報を前記画像認識装置に提供する請求項9又は10に記載のサーバ装置。
- 前記認識可能性情報生成手段は、前記画像認識装置から前記認識成否情報を受け取る度に、当該新たな認識成否情報に係る地物についての前記認識率情報を新たに生成して、前記認識可能性情報記憶手段に記憶させる請求項9から11のいずれか一項に記載のサーバ装置。
- 所定のサーバ装置との間で情報の受け渡しが可能に設けられた画像認識装置であって、
車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、
画像認識処理の対象とする地物である対象地物を決定する対象地物決定手段と、
前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識手段と、
前記画像認識手段による前記対象地物の画像認識に成功したか失敗したかを表す認識成否情報を生成する認識成否情報生成手段と、
生成した前記認識成否情報を前記サーバ装置に提供する認識成否情報提供手段と、
を備え、
前記対象地物決定手段は、前記サーバ装置において収集された前記認識成否情報に基づいて生成されて各地物の画像認識に成功する割合を表す情報であって、前記サーバ装置か
ら受け取った情報である認識率情報に基づいて、前記対象地物を決定する画像認識装置。 - 前記対象地物決定手段は、複数の地物の中から前記対象地物を決定する際に、各地物の前記認識率情報に基づいて、画像認識に成功する割合が他の地物より高い地物を前記対象地物として決定する請求項13に記載の画像認識装置。
- 自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて前記撮像装置により将来的に撮像される一又は二以上の地物についての地物情報を取得する地物情報取得手段と、を備え、
前記対象地物決定手段は、前記地物情報が取得された一又は二以上の地物の中から前記対象地物を決定する請求項13又は14に記載の画像認識装置。 - 前記地物情報取得手段により前記地物情報が取得された一又は二以上の地物についての前記認識率情報の提供を、前記サーバ装置に対して要求する情報要求手段を備える請求項15に記載の画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007226818A JP4984152B2 (ja) | 2007-08-31 | 2007-08-31 | 画像認識システム、サーバ装置、及び画像認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007226818A JP4984152B2 (ja) | 2007-08-31 | 2007-08-31 | 画像認識システム、サーバ装置、及び画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009058429A JP2009058429A (ja) | 2009-03-19 |
JP4984152B2 true JP4984152B2 (ja) | 2012-07-25 |
Family
ID=40554290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007226818A Expired - Fee Related JP4984152B2 (ja) | 2007-08-31 | 2007-08-31 | 画像認識システム、サーバ装置、及び画像認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4984152B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5522475B2 (ja) * | 2010-12-01 | 2014-06-18 | アイシン・エィ・ダブリュ株式会社 | ナビゲーション装置 |
JP5679203B2 (ja) * | 2011-08-31 | 2015-03-04 | アイシン・エィ・ダブリュ株式会社 | 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法 |
JP5679207B2 (ja) * | 2011-10-11 | 2015-03-04 | アイシン・エィ・ダブリュ株式会社 | 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法 |
JP5983299B2 (ja) * | 2012-10-22 | 2016-08-31 | トヨタ自動車株式会社 | 地物情報収集システム、センター及び地物情報収集方法 |
JP6325806B2 (ja) * | 2013-12-06 | 2018-05-16 | 日立オートモティブシステムズ株式会社 | 車両位置推定システム |
JP6399100B2 (ja) * | 2014-10-22 | 2018-10-03 | 日産自動車株式会社 | 走行経路演算装置 |
JP6304393B2 (ja) * | 2014-10-22 | 2018-04-04 | 日産自動車株式会社 | 走行経路演算装置 |
KR20190069384A (ko) * | 2016-07-21 | 2019-06-19 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 스파스 맵(sparse map)의 크라우드소싱과 배포 및 차선 측정 |
JP6971020B2 (ja) * | 2016-11-14 | 2021-11-24 | 株式会社日立製作所 | 異常検出装置および異常検出方法 |
WO2018180081A1 (ja) * | 2017-03-29 | 2018-10-04 | パイオニア株式会社 | 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JPWO2019107353A1 (ja) * | 2017-11-30 | 2020-12-17 | パイオニア株式会社 | 地図データのデータ構造 |
JP2020113070A (ja) * | 2019-01-11 | 2020-07-27 | トヨタ自動車株式会社 | 道路環境判別装置 |
JP7289594B2 (ja) * | 2019-05-22 | 2023-06-12 | 矢崎エナジーシステム株式会社 | 情報記録システム |
JP7354952B2 (ja) * | 2020-07-14 | 2023-10-03 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH102750A (ja) * | 1996-06-14 | 1998-01-06 | Nissan Motor Co Ltd | 経路探索装置 |
JP4762697B2 (ja) * | 2005-11-29 | 2011-08-31 | アイシン・エィ・ダブリュ株式会社 | 車両走行補助システム |
JP2008008783A (ja) * | 2006-06-29 | 2008-01-17 | Toyota Motor Corp | 車輪速パルス補正装置 |
-
2007
- 2007-08-31 JP JP2007226818A patent/JP4984152B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009058429A (ja) | 2009-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4984152B2 (ja) | 画像認識システム、サーバ装置、及び画像認識装置 | |
JP4831434B2 (ja) | 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置 | |
JP4437556B2 (ja) | 地物情報収集装置及び地物情報収集方法 | |
JP4446201B2 (ja) | 画像認識装置及び画像認識方法 | |
JP4886597B2 (ja) | レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置 | |
US7840331B2 (en) | Travel support system and travel support method | |
JP5216665B2 (ja) | 地図データ更新システム及び地図データ更新プログラム、並びにこれを利用したナビゲーション装置及び車両制御装置 | |
US11249984B2 (en) | System and method for updating map data in a map database | |
JP4953012B2 (ja) | 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム | |
JP2008250687A (ja) | 地物情報収集装置及び地物情報収集方法 | |
JP2006208223A (ja) | 車両位置認識装置及び車両位置認識方法 | |
JP2010102575A (ja) | 交通情報生成装置および交通情報生成方法 | |
JP5141969B2 (ja) | 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置 | |
JP4591311B2 (ja) | 経路案内システム及び経路案内方法 | |
JP2008165326A (ja) | 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法 | |
JP4831433B2 (ja) | 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置 | |
JP4953015B2 (ja) | 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 | |
JP4789868B2 (ja) | 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置 | |
JP4817019B2 (ja) | 自車位置認識装置及び自車位置認識プログラム | |
EP3859281B1 (en) | Apparatus and method for collecting data for map generation | |
JP5071737B2 (ja) | レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置 | |
JP4497424B2 (ja) | 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法 | |
JP4591078B2 (ja) | 経路案内システム及び経路案内方法 | |
US20230358558A1 (en) | Method, apparatus, and system for determining a lane marking confusion index based on lane confusion event detections | |
JP5001911B2 (ja) | 停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120215 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4984152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |