JP4497424B2 - 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法 - Google Patents

地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法 Download PDF

Info

Publication number
JP4497424B2
JP4497424B2 JP2007145747A JP2007145747A JP4497424B2 JP 4497424 B2 JP4497424 B2 JP 4497424B2 JP 2007145747 A JP2007145747 A JP 2007145747A JP 2007145747 A JP2007145747 A JP 2007145747A JP 4497424 B2 JP4497424 B2 JP 4497424B2
Authority
JP
Japan
Prior art keywords
feature
type
feature type
lane
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007145747A
Other languages
English (en)
Other versions
JP2008298622A (ja
Inventor
正樹 中村
知章 石川
功一 中尾
総 逢坂
基揮 勘場
清和 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2007145747A priority Critical patent/JP4497424B2/ja
Priority to PCT/JP2008/060411 priority patent/WO2008146951A1/en
Publication of JP2008298622A publication Critical patent/JP2008298622A/ja
Application granted granted Critical
Publication of JP4497424B2 publication Critical patent/JP4497424B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"

Description

本発明は、撮像装置により撮像した画像情報に含まれる対象地物の地物種別を判定することが可能な地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法に関する。
近年、ナビゲーション装置において経路案内を適切に行うこと等を目的として、自車両の内外から得られる各種の情報に基づいて、自車両が走行中の道路における自車レーンを判定するレーン判定装置が知られている。このようなレーン判定装置として、例えば、下記の特許文献1には、VICS(Vehicle Information and Communication System:道路交通情報通信システム)等の車両情報処理装置の光ビーコン情報、現在地管理部の推測情報、ドライバ入力情報管理部からのステアリング情報やウインカ情報のイベント、画像認識装置からの認識レーン数、その中の自レーン位置、レーン内位置(レーン内の右寄りか左寄りか)、レーン増減数、レーン増減方向、路肩情報(有無など)、跨ぎ状態(レーン・白線を跨いでいるかなど)、道路標示(ペイント)の情報等に基づき自車のレーン位置を特定し、その判定結果を出力する構成が記載されている。そして、道路標示の情報を用いた自車のレーン位置の特定に関しては、直進や右左折等の各レーンの進行方向別通行区分を表す矢印や横断歩道等の道路標示の画像認識結果と、データベースから取得した当該地物の地物種別や地物位置等の情報とを照合することにより、自車のレーン位置を特定する構成が記載されている。
特開2006−162409号公報
上記のように、各レーンの進行方向別通行区分を表す矢印等の道路標示の画像認識処理を行い、その画像認識結果とデータベースから取得した当該道路標示の地物種別や地物位置の情報とを照合することにより、自車レーンの判定を行うことが可能である。ところで、このような自車レーンの判定を適切に行うためには、画像認識処理により、自車レーンに存在する矢印等の道路標示の地物種別を正確に認識することが必要となる。しかし、実際には、道路標示が部分的にかすれている、或いは撮像した画像情報の中に道路標示の一部が含まれていない等の理由により、画像認識結果が誤ったものとなる場合が生じ得る。そのような場合に、誤った画像認識結果に基づいて自車レーンの判定を行うと、実際の自車レーンとは異なるレーンを自車レーンと判定してしまう場合も生じ得る。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、撮像装置により撮像した画像情報に含まれる対象地物の地物種別を判定するに際して、地物種別の誤認識が生じる可能性を考慮して適切に地物種別の判定を行うことができる地物認識装置を提供することにある。
上記目的を達成するための本発明に係る地物認識装置の特徴構成は、撮像装置により撮像した画像情報を取得する画像情報取得手段と、前記画像情報に含まれる対象地物の地物種別の画像認識処理を行う画像認識手段と、前記対象地物となり得る複数の地物種別に関し、所定の第一種地物種別の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別とは異なる第二種地物種別として誤認識される可能性がある地物種別の関係を規定した誤認識テーブルと、前記画像情報に含まれる対象地物の地物種別を判定する地物種別判定手段と、を備え、前記地物種別判定手段は、前記画像認識手段による画像認識結果に示される認識地物種別と前記誤認識テーブルとに基づいて、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別、及び前記誤認識テーブルに当該認識地物種別との関係が規定された地物種別の双方の可能性があるものと判定する点にある。
この特徴構成によれば、撮像装置により撮像した画像情報に含まれる対象地物の地物種別を判定するに際して、かすれ等により当該対象地物の一部が画像認識できなかった場合に誤認識する可能性がある地物種別の関係を予め規定した誤認識テーブルに基づき、画像認識結果に示される認識地物種別と誤認識される可能性がある地物種別も含めて、画像情報に含まれる対象地物の地物種別と判定することになる。したがって、地物種別の誤認識が生じる可能性を考慮して適切に地物種別の判定を行うことができる。
ここで、前記地物種別判定手段は、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別が前記第一種地物種別である場合には、当該認識地物種別と判定し、前記認識地物種別が前記第二種地物種別である場合には、当該認識地物種別及び前記誤認識テーブルに当該認識地物種別との関係が規定された前記第一種地物種別の双方の可能性があるものと判定する構成とすると好適である。
上記のとおり、前記誤認識テーブルに規定される第一種地物種別と第二種地物種別との関係は、第一種地物種別の対象地物の形態の一部が画像認識できなかった場合に、第二種地物種別として誤認識される可能性がある関係となっている。このため、画像認識結果に示される認識地物種別が第二種地物種別である場合には、その画像認識結果が正しいのか、或いは第一種地物種別の対象地物の形態の一部がかすれ等により画像認識できなかったために第二種地物種別と誤認識されたのかを判別することが困難である。この構成によれば、認識地物種別が第二種地物種別であって画像認識結果が正しいか否かを判別することが困難な場合には、誤認識される可能性がある第一種地物種別も含めて画像情報に含まれる対象地物の地物種別と判定する。一方、認識地物種別が第一種地物種別である場合には、誤認識の可能性が低いため、当該認識地物種別を画像情報に含まれる対象地物の地物種別と判定する。したがって、画像認識結果に示される認識地物種別が誤認識である可能性の高さに応じて、適切に地物種別の判定を行うことができる。
また、前記誤認識テーブルに規定される地物種別の関係は、前記第一種地物種別の地物の形態が少なくとも2つ以上の特徴的形態部分を有し、前記第二種地物種別の地物の形態が、前記第一種地物種別の地物における前記2つ以上の特徴的形態部分の一部を除いた形態に近似する関係であると好適である。
この構成によれば、前記画像認識手段が、対象地物の特徴的形態を画像認識することにより地物種別の画像認識処理を行う構成である場合において、第一種地物種別の対象地物の形態の一部が画像認識できなかったために第二種地物種別として誤認識される可能性がある第一種地物種別と第二種地物種別との関係を、誤認識テーブルに適切に規定することができる。
本発明に係る地物認識装置の構成は、互いに誤認識し易い複数の地物種別が存在する進行方向別通行区分を表す矢印状の道路標示に関する地物種別の判定に特に適したものである。また、これにより、自車両が走行中の道路の各レーンに設けられた矢印状の道路標示の地物種別の判定を適切に行い、自車両が走行中のレーンである自車レーンの判定を適切に行うことが可能となる。
ここで、誤認識テーブルに規定する地物種別の関係としては、例えば、第一種地物種別としての直進・右折矢印又は直進・左折矢印と第二種地物種別としての直進矢印との関係や、第一種地物種別としての右左折矢印と第二種地物種別としての右折矢印又は左折矢印との関係が規定されると好適である。
また、前記撮像装置が自車両に搭載されるとともに、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、自車両の進行方向に存在する一又は二以上の対象地物の地物情報を取得する地物情報取得手段とを更に備え、前記地物種別判定手段は、前記地物情報取得手段により取得された前記地物情報に示される一又は二以上の対象地物の地物種別の中から、前記画像情報に含まれる対象地物の地物種別の判定を行う構成とすると好適である。
この構成によれば、自車両の進行方向に存在する一又は二以上の対象地物の地物情報に示される地物種別以外の地物種別が、前記画像情報に含まれる対象地物の地物種別として判定されることがなくなる。したがって、自車位置情報に基づいて取得した地物情報に鑑みて自車両の進行方向に存在し得ない地物種別が、前記画像情報に含まれる対象地物の地物種別として判定されることを防止でき、地物種別判定手段による地物種別の判定精度を高めることができる。
また、本発明に係るレーン判定装置の特徴構成は、上記の各構成を備えた地物認識装置と、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、自車両が走行中の道路が複数のレーンを有する場合に、自車両の進行方向における前記各レーンに存在する対象地物の地物情報を取得する地物情報取得手段と、前記複数のレーンの中から自車両が走行中のレーンである自車レーンを判定するレーン判定手段と、を備え、前記地物認識装置の前記画像認識手段は、前記画像情報に含まれる前記自車レーン内の前記対象地物の地物種別の画像認識処理を行い、前記レーン判定手段は、前記地物認識装置の前記地物種別判定手段による判定結果に示される地物種別と一致する地物種別を示す前記地物情報が取得された一又は二以上のレーンを、前記自車レーンと判定する点にある。
この特徴構成によれば、前記地物認識装置の前記地物種別判定手段による判定結果と、地物情報取得手段により取得した自車両の進行方向における各レーンに存在する対象地物の地物情報とに基づいて、地物種別が一致するレーンを自車レーンと判定する。したがって、地物認識装置の前記地物種別判定手段による判定結果を用いて適切に自車レーンの判定を行うことができる。
また、本発明に係るナビゲーション装置の特徴構成は、上記のレーン判定装置と、前記地物情報を含む地図情報が格納された地図データベースと、前記地図情報及び前記レーン判定装置により判定された前記自車レーンの情報を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備える点にある。
この特徴構成によれば、前記レーン判定装置により判定された、自車両が走行中の自車レーンの情報に基づいて、経路探索、経路誘導、自車レーン表示等の各案内機能の動作を適切に行うことが可能となる。
また、本発明に係る地物認識方法の特徴構成は、撮像装置により撮像した画像情報を取得する画像情報取得ステップと、前記画像情報に含まれる対象地物の地物種別の画像認識処理を行う画像認識ステップと、前記対象地物となり得る複数の地物種別に関し、所定の第一種地物種別の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別とは異なる第二種地物種別として誤認識される可能性がある地物種別の関係を規定した誤認識テーブルと、前記画像認識ステップによる画像認識結果に示される認識地物種別とに基づいて、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別、及び前記誤認識テーブルに当該認識地物種別との関係が規定された地物種別の双方の可能性があるものと判定する点にある。
この特徴構成によれば、撮像装置により撮像した画像情報に含まれる対象地物の地物種別を判定するに際して、かすれ等により当該対象地物の一部が画像認識できなかった場合に誤認識する可能性がある地物種別の関係を予め規定した誤認識テーブルに基づき、画像認識結果に示される認識地物種別と誤認識される可能性がある地物種別も含めて、画像情報に含まれる対象地物の地物種別と判定することになる。したがって、地物種別の誤認識が生じる可能性を考慮して適切に地物種別の判定を行うことができる。
ここで、前記地物種別判定ステップでは、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別が前記第一種地物種別である場合には、当該認識地物種別と判定し、前記認識地物種別が前記第二種地物種別である場合には、当該認識地物種別及び前記誤認識テーブルに当該認識地物種別との関係が規定された前記第一種地物種別の双方の可能性があるものと判定する構成とすると好適である。
この構成によれば、認識地物種別が第二種地物種別であって画像認識結果が正しいか否かを判別することが困難な場合には、誤認識される可能性がある第一種地物種別も含めて画像情報に含まれる対象地物の地物種別と判定する。一方、認識地物種別が第一種地物種別である場合には、誤認識の可能性が低いため、当該認識地物種別を画像情報に含まれる対象地物の地物種別と判定する。したがって、画像認識結果に示される認識地物種別が誤認識である可能性の高さに応じて、適切に地物種別の判定を行うことができる。
また、本発明に係るレーン判定方法の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得ステップと、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得ステップと、前記自車位置情報に基づいて、自車両が走行中の道路が複数のレーンを有する場合に、自車両の進行方向における前記各レーンに存在する対象地物の地物情報を取得する地物情報取得ステップと、前記画像情報に含まれる、自車両が走行中のレーンである自車レーン内の前記対象地物の地物種別の画像認識処理を行う画像認識ステップと、前記対象地物となり得る複数の地物種別に関し、所定の第一種地物種別の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別とは異なる第二種地物種別として誤認識される可能性がある地物種別の関係を規定した誤認識テーブルと、前記画像認識ステップによる画像認識結果に示される認識地物種別とに基づいて、前記自車レーン内の対象地物の地物種別を、前記認識地物種別、及び前記誤認識テーブルに当該認識地物種別との関係が規定された地物種別の双方の可能性があるものと判定する地物種別判定ステップと、前記複数のレーンの中から、前記地物種別判定ステップによる判定結果に示される地物種別と一致する地物種別を示す前記地物情報が取得された一又は二以上のレーンを、前記自車レーンと判定するレーン判定ステップと、を備える点にある。
この特徴構成によれば、自車レーン内の対象地物の地物種別を判定するに際して、かすれ等により当該対象地物の一部が画像認識できなかった場合に誤認識する可能性がある地物種別の関係を予め規定した誤認識テーブルに基づき、画像認識結果に示される認識地物種別と誤認識される可能性がある地物種別も含めて、自車レーン内の対象地物の地物種別と判定することになる。したがって、地物種別の誤認識が生じる可能性を考慮して適切に地物種別の判定を行うことができる。そして、このような地物種別の判定結果と、自車両の進行方向における各レーンに存在する対象地物の地物情報とに基づいて、適切に自車レーンの判定を行うことができる。
本発明の実施形態について図面に基づいて説明する。本実施形態では、本発明に係る地物認識装置2を、道路を走行する車両のレーン判定装置3及びそれを含むナビゲーション装置1に適用した場合を例として説明する。図1は、本実施形態に係る地物認識装置2及びレーン判定装置3を含むナビゲーション装置1の概略構成を示すブロック図である。この地物認識装置2は、誤認識テーブルTを用いて、自車両30(図3参照)に搭載された撮像装置21により撮像した画像情報Gに含まれる自車レーン内の対象地物の地物種別を判定する。レーン判定装置3は、地物認識装置2を構成する地物種別判定部8による判定結果と、地図データベース22から取得した地物情報Fとに基づいて、自車両30が走行中の道路(以下「走行道路」という。)の複数のレーンの中から自車レーンを判定する。ナビゲーション装置1は、レーン判定装置3を構成するレーン判定部9による判定結果を参照して所定のナビゲーション動作を行う。
図1に示されるような、このナビゲーション装置1の各機能部、具体的には、画像情報取得部4、画像認識部5、自車位置情報取得部6、データ抽出部7、地物種別判定部8、レーン判定部9、及びナビゲーション用演算部10は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。また、地図データベース22は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
1.地図データベース
地図データベース22は、所定の領域毎に分けられた地図情報Mと、この地図情報Mに関連付けられた複数の地物情報Fとが格納されたデータベースである。図2は、地図データベース22に格納されている地図情報M及び地物情報Fの構成の例を示す説明図である。この図に示すように、地図データベース22には、道路ネットワークレイヤm1、道路形状レイヤm2、地物レイヤm3が格納されている。
道路ネットワークレイヤm1は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードnの情報と、2つのノードnを連結して道路を構成する多数のリンクkの情報とを有して構成されている。また、各リンクkは、そのリンク情報として、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。また、道路形状レイヤm2は、道路ネットワークレイヤm1に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、2つのノードnの間(リンクk上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点sの情報や道路幅の情報等を有して構成されている。これらの道路ネットワークレイヤm1及び道路形状レイヤm2に格納された情報により、地図情報Mが構成される。
地物レイヤm3は、道路ネットワークレイヤm1及び道路形状レイヤm2に関連付けられて構成され、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが格納されているレイヤである。この地物レイヤm3に地物情報Fが格納される地物には、道路の路面に設けられた道路標示が含まれている。このような道路標示に係る地物には、各レーンの進行方向別通行区分を表す矢印状の道路標示(以下、単に「矢印標示」という。)、具体的には、直進矢印、直進・右折矢印、直進・左折矢印、右折矢印、左折矢印、右左折矢印等が含まれる。後述するように、本実施形態においては、この矢印標示が、対象地物となり得る地物となっている。また、この他にも、道路標示に係る地物としては、例えば、横断歩道、停止線、交差点形状標示(十字マーク、T字マーク等)、道路に沿って車線を分ける区画線(実線、破線、二重線等)、速度表示、ゼブラゾーン等の各種のペイント標示が含まれる。なお、地物情報Fが格納される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
地物情報Fは、その内容として各地物の位置情報、地物種別情報、形態情報、及び属性情報を含んでいる。ここで、位置情報は、各地物の代表点の地図上の位置(緯度及び経度)及び各地物の向きの情報を有している。地物の代表点は、例えば、各地物の長さ方向及び幅方向の中心位置に設定される。地物種別情報は、各地物の地物種別を表す情報である。ここで、地物種別は、基本的に同じ形状の地物を一つの地物種別として規定しているものとする。したがって、地物種別の情報は、例えば、直進矢印、右折矢印、停止線、横断歩道等の道路標示の具体的な種別を表す情報である。また、形態情報は、各地物の形状、大きさ、色彩等の情報を有している。属性情報は、各地物が設けられている道路が複数のレーンを有する場合における、当該地物が道路のどのレーンに配置されているかを表すレーン情報を含んでいる。このレーン情報は、例えば、当該地物が片側3車線の道路の中央のレーンに設けられている場合には「2/3」等のように表される。
2.画像情報取得部
画像情報取得部4は、撮像装置21により撮像した自車位置周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置21は、撮像素子を備えた車載カメラ等であって、少なくとも自車両30の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置21としては、例えば、図3に示すような自車両30の後方の路面を撮像するバックカメラを用いると好適である。そして、画像情報取得部4は、撮像装置21により撮像したアナログの撮像情報を所定の時間間隔で取り込み、デジタル信号の画像情報Gに変換して取得する。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部4は、撮像装置21により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部5へ出力される。
3.自車位置情報取得部
自車位置情報取得部6は、自車両30の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部6は、GPS受信機23、方位センサ24、及び距離センサ25と接続されている。ここで、GPS受信機23は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部6へ出力される。自車位置情報取得部6では、GPS受信機23で受信されたGPS衛星からの信号を解析し、自車両30の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ24は、自車両30の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ24は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ24は、その検出結果を自車位置情報取得部6へ出力する。距離センサ25は、自車両30の車速や移動距離を検出するセンサである。この距離センサ25は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両30の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ25は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部6へ出力する。
そして、自車位置情報取得部6は、これらのGPS受信機23、方位センサ24及び距離センサ25からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部6は、データ抽出部7により地図データベース22から抽出された自車位置周辺の地図情報Mを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を地図情報Mに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部6は、緯度及び経度で表された自車両30の現在位置の情報、及び自車両30の進行方位の情報を含む自車位置情報Pを取得する。このようにして取得される自車位置情報Pは、自車両30が進行中の道路が複数レーンを有している場合に、自車両30が走行中のレーンである自車レーンまでを特定できる情報とはなっていない。そこで、本実施形態に係るナビゲーション装置1では、後述するレーン判定部9において自車レーンの判定を行う構成となっている。そして、自車位置情報取得部6により取得された自車位置情報Pは、データ抽出部7、レーン判定部9、及びナビゲーション用演算部10へ出力される。
4.データ抽出部
データ抽出部7は、自車位置情報取得部6で取得された自車位置情報P等に基づいて、地図データベース22から必要な地図情報Mや地物情報Fを抽出する。本実施形態においては、データ抽出部7は、自車位置情報Pに基づいて、自車両30の進行方向に存在する一又は二以上の対象地物の地物情報Fを抽出して取得する。より詳しくは、データ抽出部7は、走行道路が複数のレーンを有する場合に、自車両30の進行方向における走行道路の各レーンに存在する対象地物の地物情報Fを抽出して取得する。そして、取得された地物情報Fは、画像認識部5及びレーン判定部9へ出力される。ここで、対象地物となる地物は、画像認識部5による画像認識処理の対象となり、更に地物種別判定部8による地物種別判定処理の対象となる地物種別の地物であり、本実施形態においては、後述するように各種の矢印標示が該当する。したがって、本実施形態においては、このデータ抽出部7が、本発明における地物情報取得手段として機能する。また、データ抽出部7は、自車位置情報取得部6によるマップマッチングに用いる自車位置周辺の地図情報Mを抽出し、自車位置情報取得部6へ出力する。更に、データ抽出部7は、ナビゲーション用演算部10によるナビゲーション処理に用いるために、ナビゲーション用演算部10から要求があった領域の地図情報Mを地図データベース22から抽出し、ナビゲーション用演算部10へ出力する。
5.画像認識部
画像認識部5は、画像情報取得部4で取得された画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部5は、データ抽出部7で抽出された対象地物の地物情報Fを用いて、自車両30が走行中のレーンである自車レーン内の対象地物の地物種別の画像認識処理を行う。ここで用いられる対象地物の地物情報Fは、上述のとおり、走行道路が複数のレーンを有する場合における、自車両30の進行方向の各レーンに存在する対象地物に関する複数の地物情報Fである。具体的には、画像認識部5は、取得された画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部5は、データ抽出部7で抽出された複数の対象地物の地物情報Fに含まれる、複数の対象地物の形態情報のそれぞれに示される形態のいずれかと一致する輪郭情報を抽出する。そして、そのような輪郭情報が抽出された場合には、当該輪郭情報と一致する形態情報に係る地物情報Fに示される地物種別を、画像情報Gに含まれる自車レーン内の対象地物の地物種別として認識する。このようにして画像認識部5により認識された自車レーン内の対象地物の地物種別が、画像認識結果に示される認識地物種別となる。なお、本実施形態においては、上述のように自車位置情報Pに基づいてデータ抽出部7により地図データベース22から抽出された対象地物の地物情報Fを用いて画像認識処理を行うことにより、画像認識結果が、自車レーン内の対象地物となり得ない地物種別となることを防止している。
6.誤認識テーブル
図4は、本実施形態に係る誤認識テーブルTの一例を示す図である。この図に示すように、誤認識テーブルTは、対象地物となり得る複数の地物種別に関し、所定の第一種地物種別fc1の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別fc1とは異なる第二種地物種別fc2として誤認識される可能性がある地物種別の関係を規定したテーブルである。概略的には、この誤認識テーブルTは、対象地物となり得る複数の地物種別を第一種地物種別fc1と第二種地物種別fc2とに分類するとともに、第二種地物種別fc2として誤認識される可能性がある第一種地物種別fc1を規定したテーブルとなっている。この図に示す例では、「直進矢印」、「直進・右折矢印」、「直進・左折矢印」、「右折矢印」、「左折矢印」、「右左折矢印」、「右折二種矢印」、及び「左折二種矢印」の8種類の矢印標示が対象地物となり得る地物種別とされている。そして、これら8種類の矢印標示の中で、「直進・右折矢印」、「直進・左折矢印」、「右左折矢印」、「右折二種矢印」、及び「左折二種矢印」の5種類の矢印表示が第一種地物種別fc1とされ、「直進矢印」、「右折矢印」、及び「左折矢印」の3種類の矢印表示が第二種地物種別fc2とされている。また、この誤認識テーブルTでは、図中上側に横方向に配列された5種類の第一種地物種別fc1と、図中左側に縦方向に配列された3種類の第二種地物種別fc2との関係が、二次元マトリックスを用いて規定されている。そして、図中で丸印が付されている第一種地物種別fc1と第二種地物種別fc2との関係が、各第二種地物種別fc2と、当該第二種地物種別fc2として誤認識される可能性がある第一種地物種別fc1との関係を表している。
この誤認識テーブルTに規定する、誤認識される可能性がある地物種別の関係は、上記のとおり、第一種地物種別fc1の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別fc1とは異なる第二種地物種別fc2として誤認識される可能性がある地物種別の関係である。本実施形態においては、このような地物種別の関係を、第一種地物種別fc1の地物の形態が少なくとも2つ以上の特徴的形態部分を有し、第二種地物種別fc2の地物の形態が、第一種地物種別fc1の地物における前記2つ以上の特徴的形態部分の一部を除いた形態に近似する関係としている。図5(a)〜(e)は、対象地物となり得る地物種別である8種類の矢印標示に関する、誤認識される可能性がある地物種別の関係の例を示す図である。この図に示す四角形の枠C1〜C4は、各矢印表示の特徴的形態部分を示している。ここで、特徴的形態部分は、画像認識部5による画像認識処理に際して認識が比較的容易な形態の部分であり、図中で枠C1〜C3で囲んだ矢印の方向を示す三角形の部分等が該当する。
図5(a)に示す関係は、第一種地物種別fc1としての「直進・右折矢印」と第二種地物種別fc2としての「直進矢印」との関係である。この場合、「直進・右折矢印」は、直進矢印部分C1と右折矢印部分C2との2つの特徴的形態部分を有している。一方、「直進矢印」は、直進矢印部分C1だけが特徴的形態部分となっている。したがって、この図5(a)に示す関係では、第一種地物種別fc1としての「直進・右折矢印」の一つの特徴的形態部分である右折矢印部分C2が画像認識できなかった場合には、直進矢印部分C1だけが画像認識されることになるため、第二種地物種別fc2としての「直進矢印」として誤認識される可能性がある。また、この「直進・右折矢印」の右折矢印部分C2は、実際の道路上では、レーンの幅方向中央に対して右側に配置されるため、車輪に繰り返し踏まれることによるかすれが生じ易い。そのため、この右折矢印部分C2は画像認識できない可能性が比較的高い部分でもある。よって、第一種地物種別fc1としての「直進・右折矢印」は、第二種地物種別fc2としての「直進矢印」として誤認識される可能性がある。
図5(b)に示す関係は、第一種地物種別fc1としての「直進・左折矢印」と第二種地物種別fc2としての「直進矢印」との関係である。この場合、「直進・左折矢印」は、直進矢印部分C1と左折矢印部分C3との2つの特徴的形態部分を有している。一方、「直進矢印」は、直進矢印部分C1だけが特徴的形態部分となっている。したがって、この図5(b)に示す関係では、第一種地物種別fc1としての「直進・左折矢印」の一つの特徴的形態部分である左折矢印部分C3が画像認識できなかった場合には、直進矢印部分C1だけが画像認識されることになるため、第二種地物種別fc2としての「直進矢印」として誤認識される可能性がある。また、この「直進・左折矢印」の左折矢印部分C3は、実際の道路上では、レーンの幅方向中央に対して左側に配置されるため、車輪に繰り返し踏まれることによるかすれが生じ易い。そのため、この左折矢印部分C3は画像認識できない可能性が比較的高い部分でもある。よって、第一種地物種別fc1としての「直進・左折矢印」は、第二種地物種別fc2としての「直進矢印」として誤認識される可能性がある。
図5(c)に示す関係は、第一種地物種別fc1としての「右左折矢印」と第二種地物種別fc2としての「右折矢印」との関係である。この場合、「右左折矢印」は、右折矢印部分C2と左折矢印部分C3との2つの特徴的形態部分を有している。一方、「右折矢印」は、右折矢印部分C2だけが特徴的形態部分となっている。したがって、この図5(c)に示す関係では、第一種地物種別fc1としての「右左折矢印」の一つの特徴的形態部分である左折矢印部分C3が画像認識できなかった場合には、右折矢印部分C2だけが画像認識されることになるため、第二種地物種別fc2としての「右折矢印」として誤認識される可能性がある。また、この「右左折矢印」の左折矢印部分C3は、実際の道路上では、レーンの幅方向中央に対して左側に配置されるため、車輪に繰り返し踏まれることによるかすれが生じ易い。そのため、この左折矢印部分C3は画像認識できない可能性が比較的高い部分でもある。よって、第一種地物種別fc1としての「右左折矢印」は、第二種地物種別fc2としての「右折矢印」として誤認識される可能性がある。
図5(d)に示す関係は、第一種地物種別fc1としての「右左折矢印」と第二種地物種別fc2としての「左折矢印」との関係である。この場合、「右左折矢印」は、右折矢印部分C2と左折矢印部分C3との2つの特徴的形態部分を有している。一方、「左折矢印」は、左折矢印部分C3だけが特徴的形態部分となっている。したがって、この図5(d)に示す関係では、第一種地物種別fc1としての「右左折矢印」の一つの特徴的形態部分である右折矢印部分C2が画像認識できなかった場合には、左折矢印部分C3だけが画像認識されることになるため、第二種地物種別fc2としての「左折矢印」として誤認識される可能性がある。また、この「右左折矢印」の右折矢印部分C2は、実際の道路上では、レーンの幅方向中央に対して右側に配置されるため、車輪に繰り返し踏まれることによるかすれが生じ易い。そのため、この右折矢印部分C2は画像認識できない可能性が比較的高い部分でもある。よって、第一種地物種別fc1としての「右左折矢印」は、第二種地物種別fc2としての「左折矢印」として誤認識される可能性がある。
図5(e)に示す関係は、第一種地物種別fc1としての「右折二種矢印」と第二種地物種別fc2としての「右折矢印」との関係である。この場合、「右折二種矢印」は、右折矢印部分C2と直線部分C4との2つの特徴的形態部分を有している。一方、「右折矢印」は、右折矢印部分C2だけが特徴的形態部分となっている。したがって、この図5(e)に示す関係では、第一種地物種別fc1としての「右折二種矢印」の一つの特徴的形態部分である直線部分C4が画像認識できなかった場合には、右折矢印部分C2だけが画像認識されることになるため、第二種地物種別fc2としての「右折矢印」として誤認識される可能性がある。また、この「右折二種矢印」の直線部分C4は、矢印の方向を示す三角形の部分C1〜C3と比較して、画像認識処理に際して認識が比較的容易な形態的特徴が少ない。そのため、この直線部分C4は画像認識できない可能性が比較的高い部分でもある。よって、第一種地物種別fc1としての「右折二種矢印」は、第二種地物種別fc2としての「右折矢印」として誤認識される可能性がある。
図5(f)に示す関係は、第一種地物種別fc1としての「左折二種矢印」と第二種地物種別fc2としての「左折矢印」との関係である。この場合、「左折二種矢印」は、左折矢印部分C3と直線部分C4との2つの特徴的形態部分を有している。一方、「左折矢印」は、左折矢印部分C3だけが特徴的形態部分となっている。したがって、この図5(f)に示す関係では、第一種地物種別fc1としての「左折二種矢印」の一つの特徴的形態部分である直線部分C4が画像認識できなかった場合には、左折矢印部分C3だけが画像認識されることになるため、第二種地物種別fc2としての「左折矢印」として誤認識される可能性がある。また、この「左折二種矢印」の直線部分C4は、矢印の方向を示す三角形の部分C1〜C3と比較して、画像認識処理に際して認識が比較的容易な形態的特徴が少ない。そのため、この直線部分C4は画像認識できない可能性が比較的高い部分でもある。よって、第一種地物種別fc1としての「左折二種矢印」は、第二種地物種別fc2としての「左折矢印」として誤認識される可能性がある。
なお、後述するように、地物種別判定部8は、誤認識テーブルTに基づいて、画像認識結果に示される認識地物種別が第一種地物種別fc1である場合には、自車レーン内の対象地物の地物種別は、当該認識地物種別であると判定する。したがって、上記8種類の矢印標示以外の地物種別であって、第二種地物種別fc2等の他の地物種別として誤認識される可能性がないものについても、第一種地物種別fc1として誤認識テーブルTに規定すると好適である。このようにすれば、他の地物種別と誤認識される可能性がない地物種別については、画像認識結果に示される認識地物種別をそのまま自車レーン内の対象地物の地物種別と判定するように、誤認識テーブルTに規定することができる。
7.地物種別判定部
地物種別判定部8は、画像情報Gに含まれる対象地物の地物種別を判定する地物種別判定手段として機能する。本実施形態においては、地物種別判定部8は、画像認識部5による画像認識結果に示される認識地物種別と誤認識テーブルTとに基づいて、画像情報Gに含まれる自車レーン内の対象地物の地物種別を判定する。この際、地物種別判定部8は、誤認識テーブルTに当該認識地物種別との間で誤認識される可能性がある関係が規定された地物種別がある場合には、自車レーン内の対象地物の地物種別を、画像認識結果に示される当該認識地物種別そのもの、及びその誤認識テーブルTに当該認識地物種別との関係が規定され地物種別の双方の可能性があるものと判定する。一方、地物種別判定部8は、誤認識テーブルTに当該認識地物種別との間で誤認識される可能性がある関係が規定された地物種別がない場合には、自車レーン内の対象地物の地物種別を、画像認識結果に示される当該認識地物種別そのものと判定する。
具体的には、地物種別判定部8は、誤認識テーブルTに基づいて、画像認識結果に示される認識地物種別が第一種地物種別fc1である場合には、自車レーン内の対象地物の地物種別は、当該認識地物種別であると判定する。一方、画像認識結果に示される認識地物種別が第二種地物種別fc2である場合には、自車レーン内の対象地物の地物種別は、当該認識地物種別、及び誤認識テーブルTに当該認識地物種別との関係が規定された第一種地物種別fc1の双方の可能性があるものと判定する。すなわち、画像認識結果に示される認識地物種別が特徴的形態部分を多く有する第一種地物種別fc1であり、他の地物種別と誤認識する可能性がない場合には、自車レーン内の対象地物の地物種別を当該認識地物種別そのものとして判定する。一方、画像認識結果に示される認識地物種別が特徴的形態部分を少ししか有しない第二種地物種別fc2であり、他の第一種地物種別fc1と誤認識する可能性がある場合には、自車レーン内の対象地物の地物種別を、当該認識地物種別そのもの及び当該認識地物種別と誤認識する可能性がある第一種地物種別fc1の双方の可能性があるものと判定する。例えば、画像認識結果に示される認識地物種別が、第一種地物種別fc1である「直進・右折矢印」であった場合、地物種別判定部8は、自車レーン内の対象地物の地物種別を、当該認識地物種別そのものである「直進・右折矢印」と判定する。一方、例えば、画像認識結果に示される認識地物種別が、第二種地物種別fc2である「直進矢印」であった場合、誤認識テーブルTに当該認識地物種別との関係が規定された第一種地物種別fc1は、図4の上から1行目を参照して、「直進・右折矢印」及び「直進・左折矢印」であることがわかる。したがって、認識地物種別が「直進矢印」であった場合には、地物種別判定部8は、自車レーン内の対象地物の地物種別を、当該認識地物種別そのものである「直進矢印」、並びに誤認識テーブルTに当該認識地物種別との関係が規定された第一種地物種別fc1である「直進・右折矢印」及び「直進・左折矢印」のいずれにも可能性があるものと判定する。
8.レーン判定部
レーン判定部9は、自車両30が走行中の道路が複数のレーンを有する場合に、それら複数のレーンの中から自車両が走行中のレーンである自車レーンを判定するレーン判定手段として機能する。本実施形態においては、レーン判定部9は、地物種別判定部8による判定結果に示される地物種別と、データ抽出部7で抽出された対象地物の地物情報Fとに基づいて、地物種別判定部8による判定結果に示される地物種別と一致する地物種別を示す地物情報Fが取得された一又は二以上のレーンを、自車レーンと判定する。なお、レーン判定部9は、自車レーンの判定が必要な場合、すなわち、自車位置情報Pに基づいて、走行道路が進行方向(片側)に複数のレーンを有している場合にのみ、自車レーンを判定する処理を行う。そして、レーン判定部9は、判定結果としての自車レーン情報Sをナビゲーション用演算部10へ出力する。これにより、ナビゲーション用演算部10は、自車レーン情報Sを参照した経路誘導や経路探索等の案内機能の動作を行うことができる。
図6及び図7は、レーン判定部9による自車レーンの判定処理の具体例を説明するための説明図である。これらの図において、左側の四角形の枠に囲まれている地物種別が、画像認識部5による自車レーン内の対象地物の画像認識結果に示される認識地物種別faである。また、これらの図において、認識地物種別faの右側に表されているのが、データ抽出部7により取得された地物情報Fに示される走行道路の各レーンの対象地物の地物種別Ft1〜Ft4である。そして、これらの図において、下側の枠に囲まれている自車レーンを示す情報が、自車レーン情報Sである。
図6に示す例では、データ抽出部7により取得された地物情報Fは、4つのレーンを有する走行道路の各レーンの対象地物の地物種別について、第一レーンL1の対象地物の地物種別Ft1が「直進・左折矢印」、第二レーンL2の対象地物の地物種別Ft2が「直進矢印」、第三レーンL3の対象地物の地物種別Ft3が「直進矢印」、第四レーンL4の対象地物の地物種別Ft4が「右折矢印」であることを示している。そして、画像認識部5による自車レーン内の対象地物の画像認識結果に示される認識地物種別faは「直進矢印」である。「直進矢印」は、誤認識テーブルTに規定されているように、第二種地物種別fc2である。この場合、上述のとおり、地物種別判定部8は、誤認識テーブルTと基づいて、自車レーン内の対象地物の地物種別を、「直進矢印」、「直進・右折矢印」、及び「直進・左折矢印」の3つの可能性があると判定する。したがって、レーン判定部9は、データ抽出部7により取得された地物情報Fに示される走行道路の各レーンの対象地物の地物種別Ft1〜Ft4の中から、地物種別判定部8による判定結果に示される、「直進矢印」、「直進・右折矢印」、及び「直進・左折矢印」の3つの地物種別と一致するものを抽出する。そして、これら3つの地物種別と一致する地物種別を示す地物情報Fが取得された一又は二以上のレーンを、自車レーンと判定する。本例では、各レーンの対象地物の地物種別Ft1〜Ft4の中に、「直進・右折矢印」は存在しない。よって、地物種別Ft1が「直進・左折矢印」である第一レーンL1、並びに地物種別Ft2、Ft3が「直進矢印」である第二レーンL2及び第三レーンL3を、自車レーンと判定する。また、レーン判定部9は、この第一から第三レーンL1〜L3が自車レーンであることを示す情報を自車レーン情報Sとして生成する。
また、図7に示す例では、データ抽出部7により取得された地物情報Fは、図6に示す例と同じである。そして、画像認識部5による自車レーン内の対象地物の画像認識結果に示される認識地物種別faは「直進・左折矢印」である。この「直進・左折矢印」は、誤認識テーブルTに規定されているように、第一種地物種別fc1である。この場合、上述のとおり、地物種別判定部8は、自車レーン内の対象地物の地物種別を、認識地物種別faそのものである「直進・左折矢印」と判定する。そして、レーン判定部9は、地物種別判定部8による判定結果に示される、「直進・左折矢印」の地物種別と一致する地物種別を示す地物情報Fが取得されたレーン、すなわち、第一レーンL1を、自車レーンと判定する。また、レーン判定部9は、この第一レーンL1が自車レーンであることを示す情報を自車レーン情報Sとして生成する。
9.ナビゲーション用演算部
ナビゲーション用演算部10は、主にナビゲーション装置1としての案内機能を実行するためのアプリケーションプログラムAPに従って動作する演算処理手段である。ここで、アプリケーションプログラムAPは、自車位置情報取得部6により取得された自車位置情報P、データ抽出部7により抽出された地図情報M、及びレーン判定部9により生成された自車レーン情報S等を参照して動作する。そして、ナビゲーション用演算部9は、アプリケーションプログラムAPに従い、例えば、データ抽出部7により地図データベース22から自車両30の周辺の地図情報Mを取得して表示入力装置26に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部9は、アプリケーションプログラムAPに従い、出発地から目的地までの経路の探索を行い、更に、このように探索された経路と自車位置情報Pとに基づいて、表示入力装置26及び音声出力装置27の一方又は双方を用いて経路誘導を行う。この際、アプリケーションプログラムAPは、レーン判定部8により判定された自車レーンの情報を参照し、自車位置表示、経路探索、及び経路誘導等のナビゲーション動作を行う。具体的には、例えば、表示装置26に判定された自車レーンを表示し、或いは判定された自車レーンに応じて無理な車線変更が必要になる経路誘導を中止する等の動作を行う。また、本実施形態においては、ナビゲーション用演算部10は、表示入力装置26及び音声出力装置27に接続されている。表示入力装置26は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。また音声出力装置は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部10、表示入力装置26、及び音声出力装置27が、本発明における案内情報出力手段28として機能する。
10.レーン判定方法
次に、本実施形態に係る地物認識装置2及びレーン判定装置3を含むナビゲーション装置1において実行される地物種別判定方法及びレーン判定方法について説明する。図8は、本実施形態に係る地物種別判定方法を含むレーン判定方法の全体処理順序を示すフローチャートであり、図9は、本実施形態に係る地物種別判定方法の詳細な処理順序を示すフローチャートである。
図8に示すように、自車レーンの判定に際して、ナビゲーション装置1では、まず、自車位置情報取得部6により自車位置情報Pを取得する(ステップ#01)。次に、データ抽出部7により、ステップ#01で取得された自車位置情報Pに基づいて、地図データベース22に格納されている自車位置近傍の地図情報M及び地物情報Fの一方又は双方を参照し、走行道路が複数のレーンを有するか否かを判定する(ステップ#02)。そして、走行道路が複数のレーンを有しない場合(ステップ#02:No)、すなわち走行道路が片側1レーンの道路であった場合には、自車レーンの判定は不要であるので、処理はそのまま終了する。
一方、走行道路が複数のレーンを有する場合には(ステップ#02:Yes)、データ抽出部7は、自車両30の進行方向における走行道路の各レーンに存在する対象地物の地物情報Fを地図データベース22から抽出して取得する(ステップ#03)。また、画像情報取得部4により、自車両30に搭載された撮像装置21により撮像した画像情報Gを取得する(ステップ#04)。画像認識部5により、自車両30が走行中のレーンである自車レーン内の対象地物の地物種別の画像認識処理を行う(ステップ#05)。そして、地物種別判定部8により、画像情報Gに含まれる自車レーン内の対象地物の地物種別を判定する処理を行う(ステップ#06)。この自車レーン内の対象地物の地物種別判定処理方法については、後に図9のフローチャートに基づいて詳細に説明する。その後、レーン判定部9により、自車両30が走行中の道路の複数のレーンの中から自車両が走行中のレーンである自車レーンを判定し、自車レーン情報Sを生成する(ステップ#07)。この際、レーン判定部9は、上述のとおり、地物種別判定部8による判定結果に示される地物種別と、データ抽出部7で抽出された対象地物の地物情報Fとに基づいて、地物種別判定部8による判定結果に示される地物種別と一致する地物種別を示す地物情報Fが取得された一又は二以上のレーンを、自車レーンと判定する。以上で、レーン判定方法の全体処理を終了する。
次に、ステップ#06の地物種別判定方法の処理の詳細について説明する。図9に示すように、地物種別判定部8では、まず、ステップ#05の画像認識処理による画像認識結果に示される認識地物種別の情報を取得する(ステップ#11)。次に、地物種別判定部8は、誤認識テーブルTを参照する(ステップ#12)。その後、地物種別判定部8は、ステップ#11で取得された認識地物種別が、第一種地物種別fc1であるか否かについて判定する(ステップ#13)。そして、ステップ#11で取得された認識地物種別が第一種地物種別fc1である場合には(ステップ#13:Yes)、地物種別判定部8は、自車レーン内の対象地物の地物種別を、当該認識地物種別であると判定する(ステップ#14)。一方、ステップ#11で取得された認識地物種別が第一種地物種別fc1でない場合には(ステップ#13:No)、認識地物種別は第二種地物種別fc2であると判断できる。したがって、地物種別判定部8は、自車レーン内の対象地物の地物種別を、当該認識地物種別、及び誤認識テーブルTに当該認識地物種別との関係が規定された第一種地物種別fc1の双方の可能性があるものと判定する(ステップ#15)。なお、このような地物種別判定部8による自車レーン内の対象地物の地物種別の具体的な判定方法については、図6及び図7を用いて既に具体的に説明したので、ここでは説明を省略する。以上でステップ#06の地物種別判定方法の処理を終了する。
11.その他の実施形態
(1)上記の実施形態における、図4に示す誤認識テーブルTに規定した第一種地物種別fc1と第二種地物種別fc2との関係は単なる一例であり、他にも多数の地物種別の関係を規定することも当然に可能である。この場合においても、誤認識テーブルTに規定する地物種別の関係を、第一種地物種別fc1の地物の形態が少なくとも2つ以上の特徴的形態部分を有し、第二種地物種別fc2の地物の形態が、第一種地物種別fc1の地物における前記2つ以上の特徴的形態部分の一部を除いた形態に近似する関係とすると好適である。しかし、誤認識テーブルTに規定する地物種別の関係は、このようなものに限定されるものではなく、一方の地物種別の地物の画像認識の結果、他の地物種別と誤認識される可能性がある関係であれば、誤認識テーブルTに規定するのが好適である。
(2)上記の実施形態では、地物種別判定部8が、画像認識結果に示される認識地物種別と誤認識テーブルTとに基づいて、画像情報Gに含まれる対象地物の地物種別を判定する構成について説明した。しかし、地物種別判定部8の構成はこのようなものに限定されるものではない。よって、地物種別判定部8が、更に、自車位置情報Pに基づいてデータ抽出部7により取得した地物情報Fを用いて、当該地物情報Fに示される一又は二以上の対象地物の地物種別の中から、画像情報Gに含まれる対象地物の地物種別の判定を行う構成とすることも、本発明の好適な実施形態の一つである。このような構成とする場合、地物種別判定部8は、画像認識結果に示される認識地物種別との関係が誤認識テーブルTに規定された第一種地物種別fc1であっても、データ抽出部7により取得された地物情報Fに示される地物種別の中に含まれない場合には、自車レーン内の対象地物の地物種別である可能性があるものとは判定しない。例えば、画像認識結果に示される認識地物種別が、第二種地物種別fc2である「直進矢印」であった場合、誤認識テーブルTに基づけば、上記の実施形態で説明したとおり、地物種別判定部8は、自車レーン内の対象地物の地物種別を、「直進矢印」、「直進・右折矢印」、及び「直進・左折矢印」の全ての可能性があるものと判定する。しかし、例えば図6に示すように、データ抽出部7により取得された地物情報Fに示される走行道路の各レーンの対象地物の地物種別Ft1〜Ft4が、「直進矢印」、「直進・左折矢印」、及び「右折矢印」であった場合には、これらの中から自車レーン内の対象地物の地物種別が判定される。したがって、この場合には、地物種別判定部8は、自車レーン内の対象地物の地物種別を、「直進矢印」及び「直進・左折矢印」の2つの可能性があると判定する。これにより、地物種別判定部8による地物種別の判定結果が、自車レーン内の対象地物となり得ない地物種別となることを防止できる。
(3)上記の実施形態では、各レーンの進行方向別通行区分を表す矢印状の道路標示(矢印標示)を対象地物となり得る地物とする場合の例について説明した。しかし、対象地物となり得る地物はこれに限定されるものではなく、他の道路標示等の道路の路面に設けられる各種の地物種別の地物を対象地物とすることが可能である。また、この地物種別認識装置2をレーン判定装置3に適用する場合には、特に、複数のレーンを有する道路の各レーンに配置される地物を対象地物とすると好適である。
(4)上記の実施形態に係る自車レーンの判定を、他のレーン判定方法と併用することも、本発明の好適な実施形態の一つである。そのような他のレーン判定方法としては、例えば、画像認識結果に示される自車両の周辺の区画線の種別(実線、破線、二重線等の線種)及び各区画線と自車両との位置関係と、地図データベース22から取得される自車位置周辺の区画線の地物情報Fとに基づいて、自車両が進行中のレーンを判定する方法や、VICSからの情報、具体的には道路の各レーン上に設けられた発信器からの光ビーコン等からの情報により自車レーンを判定する方法等を用いることができる。
(5)上記の各実施形態では、地物認識装置2及びレーン判定装置3を含むナビゲーション装置1の全ての構成が自車両に搭載される場合を例として説明した。しかし、本発明の適用範囲はこのような構成に限定されるものではない。すなわち、例えば、撮像装置21を除く一部の構成が、インターネット等の通信ネットワークを介して接続された状態で自車両の外に設置されており、ネットワークを介して情報や信号の送受信を行うことにより、レーン判定装置3及びナビゲーション装置1を構成することも、本発明の好適な実施形態の一つである。
(6)上記の実施形態では、本発明に係る地物認識装置2をレーン判定装置3に適用した例について説明した。しかし、この地物認識装置2を、例えば地物種別の画像認識結果とデータ抽出部7により取得した地物情報Fとを用いた自車位置補正等のような、自車レーンの判定以外の用途に用いることも当然に可能である。
(7)上記の各実施形態では、レーン判定装置3を、ナビゲーション装置1に利用する場合の例について説明した。しかし、本発明の適用範囲はこれに限定されるものではなく、レーン判定装置3を車両の走行制御装置等の他の用途に利用することも当然に可能である。
本発明は、撮像装置により撮像した画像情報に含まれる対象地物の地物種別を判定することが可能な地物認識装置、車両に搭載されるレーン判定装置、及びそれらを用いたナビゲーション装置等として好適に利用することが可能である。
本発明の実施形態に係る地物認識装置及びレーン判定装置を含むナビゲーション装置の概略構成を示すブロック図 地図データベースに格納されている地図情報及び地物情報の構成の例を示す説明図 自車両への撮像装置の配置構成の一例を示す図 本発明の実施形態に係る誤認識テーブルTの一例を示す図 誤認識される可能性がある地物種別の関係の例を示す図 本発明の実施形態に係る自車レーンの判定処理の具体例の説明図 本発明の実施形態に係る自車レーンの判定処理の具体例の説明図 本発明の実施形態に係る地物種別判定方法を含むレーン判定方法の全体処理順序を示すフローチャート 本発明の実施形態に係る地物種別判定方法の詳細な処理順序を示すフローチャート
符号の説明
1:ナビゲーション装置
2:地物認識装置
3:レーン判定装置
4:画像情報取得部(画像情報取得手段)
5:画像認識部(画像認識手段)
6:自車位置情報取得部(自車位置情報取得手段)
7:データ抽出部(地物情報取得手段)
8:地物種別判定部(地物種別判定手段)
9:レーン判定部(レーン判定手段)
10:ナビゲーション用演算部
21:撮像装置
22:地図データベース
28:案内情報出力手段
T:誤認識テーブル
M:地図情報
F:地物情報
G:画像情報
P:自車位置情報
S:自車レーン情報
AP:アプリケーションプログラム
fc1:第一種地物種別
fc2:第二種地物種別
fa:認識地物種別
Ft1〜Ft4:走行道路の各レーンの対象地物の地物種別

Claims (12)

  1. 撮像装置により撮像した画像情報を取得する画像情報取得手段と、
    前記画像情報に含まれる対象地物の地物種別の画像認識処理を行う画像認識手段と、
    前記対象地物となり得る複数の地物種別に関し、所定の第一種地物種別の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別とは異なる第二種地物種別として誤認識される可能性がある地物種別の関係を規定した誤認識テーブルと、
    前記画像情報に含まれる対象地物の地物種別を判定する地物種別判定手段と、を備え、
    前記地物種別判定手段は、前記画像認識手段による画像認識結果に示される認識地物種別と前記誤認識テーブルとに基づいて、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別、及び前記誤認識テーブルに当該認識地物種別との関係が規定された地物種別の双方の可能性があるものと判定する地物認識装置。
  2. 前記地物種別判定手段は、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別が前記第一種地物種別である場合には、当該認識地物種別と判定し、前記認識地物種別が前記第二種地物種別である場合には、当該認識地物種別及び前記誤認識テーブルに当該認識地物種別との関係が規定された前記第一種地物種別の双方の可能性があるものと判定する請求項1に記載の地物認識装置。
  3. 前記誤認識テーブルに規定される地物種別の関係は、前記第一種地物種別の地物の形態が少なくとも2つ以上の特徴的形態部分を有し、前記第二種地物種別の地物の形態が、前記第一種地物種別の地物における前記2つ以上の特徴的形態部分の一部を除いた形態に近似する関係である請求項1又は2に記載の地物認識装置。
  4. 前記撮像装置は、車両に搭載されて少なくとも道路の路面を撮像するように設けられ、
    前記対象地物となり得る地物は、道路の路面に設けられ、各レーンの進行方向別通行区分を表す矢印状の道路標示である請求項1から3のいずれか一項に記載の地物認識装置。
  5. 前記矢印状の道路標示に含まれる各種の地物種別に関し、前記誤認識テーブルに、前記第一種地物種別としての直進・右折矢印又は直進・左折矢印と、前記第二種地物種別としての直進矢印との関係が規定されている請求項4に記載の地物認識装置。
  6. 前記矢印状の道路標示に含まれる各種の地物種別に関し、前記誤認識テーブルに、前記第一種地物種別としての右左折矢印と、前記第二種地物種別としての右折矢印又は左折矢印との関係が規定されている請求項4又は5に記載の地物認識装置。
  7. 前記撮像装置が自車両に搭載されるとともに、
    自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、自車両の進行方向に存在する一又は二以上の対象地物の地物情報を取得する地物情報取得手段とを更に備え、
    前記地物種別判定手段は、前記地物情報取得手段により取得された前記地物情報に示される一又は二以上の対象地物の地物種別の中から、前記画像情報に含まれる対象地物の地物種別の判定を行う請求項1から6のいずれか一項に記載の地物認識装置。
  8. 請求項1から6のいずれか一項に記載の地物認識装置と、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、自車両が走行中の道路が複数のレーンを有する場合に、自車両の進行方向における前記各レーンに存在する対象地物の地物情報を取得する地物情報取得手段と、前記複数のレーンの中から自車両が走行中のレーンである自車レーンを判定するレーン判定手段と、を備え、
    前記地物認識装置の前記画像認識手段は、前記画像情報に含まれる前記自車レーン内の前記対象地物の地物種別の画像認識処理を行い、
    前記レーン判定手段は、前記地物認識装置の前記地物種別判定手段による判定結果に示される地物種別と一致する地物種別を示す前記地物情報が取得された一又は二以上のレーンを、前記自車レーンと判定するレーン判定装置。
  9. 請求項8に記載のレーン判定装置と、前記地物情報を含む地図情報が格納された地図データベースと、前記地図情報及び前記レーン判定装置により判定された前記自車レーンの情報を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備えるナビゲーション装置。
  10. 撮像装置により撮像した画像情報を取得する画像情報取得ステップと、
    前記画像情報に含まれる対象地物の地物種別の画像認識処理を行う画像認識ステップと、
    前記対象地物となり得る複数の地物種別に関し、所定の第一種地物種別の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別とは異なる第二種地物種別として誤認識される可能性がある地物種別の関係を規定した誤認識テーブルと、前記画像認識ステップによる画像認識結果に示される認識地物種別とに基づいて、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別、及び前記誤認識テーブルに当該認識地物種別との関係が規定された地物種別の双方の可能性があるものと判定する地物種別判定ステップと、を備える地物認識方法。
  11. 前記地物種別判定ステップでは、前記画像情報に含まれる対象地物の地物種別を、前記認識地物種別が前記第一種地物種別である場合には、当該認識地物種別と判定し、前記認識地物種別が前記第二種地物種別である場合には、当該認識地物種別及び前記誤認識テーブルに当該認識地物種別との関係が規定された前記第一種地物種別の双方の可能性があるものと判定する請求項10に記載の地物認識方法。
  12. 自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得ステップと、
    自車両の現在位置を示す自車位置情報を取得する自車位置情報取得ステップと、
    前記自車位置情報に基づいて、自車両が走行中の道路が複数のレーンを有する場合に、自車両の進行方向における前記各レーンに存在する対象地物の地物情報を取得する地物情報取得ステップと、
    前記画像情報に含まれる、自車両が走行中のレーンである自車レーン内の前記対象地物の地物種別の画像認識処理を行う画像認識ステップと、
    前記対象地物となり得る複数の地物種別に関し、所定の第一種地物種別の対象地物の形態の一部が画像認識できなかった場合に、当該第一種地物種別とは異なる第二種地物種別として誤認識される可能性がある地物種別の関係を規定した誤認識テーブルと、前記画像認識ステップによる画像認識結果に示される認識地物種別とに基づいて、前記自車レーン内の対象地物の地物種別を、前記認識地物種別、及び前記誤認識テーブルに当該認識地物種別との関係が規定された地物種別の双方の可能性があるものと判定する地物種別判定ステップと、
    前記複数のレーンの中から、前記地物種別判定ステップによる判定結果に示される地物種別と一致する地物種別を示す前記地物情報が取得された一又は二以上のレーンを、前記自車レーンと判定するレーン判定ステップと、を備えるレーン判定方法。
JP2007145747A 2007-05-31 2007-05-31 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法 Expired - Fee Related JP4497424B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007145747A JP4497424B2 (ja) 2007-05-31 2007-05-31 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
PCT/JP2008/060411 WO2008146951A1 (en) 2007-05-31 2008-05-30 Object recognition device and object recognition method, and lane determination device and lane determination method using them

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007145747A JP4497424B2 (ja) 2007-05-31 2007-05-31 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法

Publications (2)

Publication Number Publication Date
JP2008298622A JP2008298622A (ja) 2008-12-11
JP4497424B2 true JP4497424B2 (ja) 2010-07-07

Family

ID=39679359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007145747A Expired - Fee Related JP4497424B2 (ja) 2007-05-31 2007-05-31 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法

Country Status (2)

Country Link
JP (1) JP4497424B2 (ja)
WO (1) WO2008146951A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2583050C1 (ru) * 2015-04-08 2016-05-10 Акционерное общество "НИИ измерительных приборов-Новосибирский завод имени Коминтерна" /АО "НПО НИИИП-НЗиК"/ Способ распознавания ложной траектории, формируемой синхронной ответной помехой
KR102371617B1 (ko) * 2017-11-17 2022-03-07 현대자동차주식회사 차량의 객체 인식 장치 및 방법
WO2023145740A1 (ja) * 2022-01-26 2023-08-03 株式会社デンソー 地図情報システム、車載装置および管理サーバ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209510A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 画像認識装置及び画像認識方法
JP2006284281A (ja) * 2005-03-31 2006-10-19 Aisin Aw Co Ltd 自車情報認識装置及び自車情報認識方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10327869A1 (de) * 2003-06-18 2005-01-13 Siemens Ag Navigationssystem mit Fahrspurhinweisen
JP4820712B2 (ja) * 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209510A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 画像認識装置及び画像認識方法
JP2006284281A (ja) * 2005-03-31 2006-10-19 Aisin Aw Co Ltd 自車情報認識装置及び自車情報認識方法

Also Published As

Publication number Publication date
JP2008298622A (ja) 2008-12-11
WO2008146951A1 (en) 2008-12-04

Similar Documents

Publication Publication Date Title
JP4886597B2 (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4861850B2 (ja) レーン判定装置及びレーン判定方法
EP1975565B1 (en) Road surface feature information collecting apparatus and method
JP4703605B2 (ja) 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法
JP4446204B2 (ja) 車両用ナビゲーション装置及び車両用ナビゲーションプログラム
JP4861851B2 (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP2011013039A (ja) 車線判定装置及びナビゲーションシステム
JP4738360B2 (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP2009156784A (ja) 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP2011122936A (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP2008298699A (ja) 自車位置認識装置及び自車位置認識方法
JP4875509B2 (ja) ナビゲーション装置及びナビゲーション方法
JP2009099125A (ja) 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置
JP4731380B2 (ja) 自車位置認識装置及び自車位置認識方法
JP4497424B2 (ja) 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP4831433B2 (ja) 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置
JP4789868B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
JP5013214B2 (ja) レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置
JP5071737B2 (ja) レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置
JP2009058430A (ja) ナビゲーション装置及びナビゲーションプログラム
JP4943246B2 (ja) レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4497424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees