JPH10177699A

JPH10177699A - 画像情報を利用した車両用音声案内装置

Info

Publication number: JPH10177699A
Application number: JP33603396A
Authority: JP
Inventors: Toru Ito; 徹伊藤; Kenichi Murata; 賢一村田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1996-12-16
Filing date: 1996-12-16
Publication date: 1998-06-30
Anticipated expiration: 2016-12-16
Also published as: JP3811238B2

Abstract

(57)【要約】【課題】分岐点において、見えている特徴物を用いて
案内を行う。【解決手段】カメラ２０ａ，２０ｂで得た撮像結果か
ら認識部２４が信号機などの特徴物を認識する。そし
て、ナビ制御部１０は、分岐点に来たときに、特徴物を
用いて分かりやすい音声案内を音声合成部１６を利用し
て出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報に基づい
て抽出した特徴物を利用して分岐点を特定し案内を行う
画像情報を利用した車両用音声案内装置に関する。

【０００２】

【従来の技術】従来より、車両に搭載される装置の１つ
として、ナビゲーション装置が知られており、広く普及
されるようになってきている。このナビゲーション装置
は、通常ディスプレイを有し、ここに現在地表示を含む
地図を表示することを基本とする。そして、目的地を設
定した場合には、記憶している地図情報に基づいて、目
的地までの最適経路を探索する。そして、目的地までの
経路が設定された走行においては、経路を常に表示し
て、経路案内を行う。

【０００３】また、走行中は、ドライバーは前方を注視
することが必要であり、ディスプレイを注視することは
できない。そこで、音声により、右左折などを案内する
ことも行われている。すなわち、案内が必要な案内交差
点（分岐点）の手前で「○○ｍ先××交差点を左方向で
す。」等という案内音声をスピーカから出力し、経路を
案内する。これによって、ドライバーは前方を注視した
まま耳から案内を得ることができる。

【０００４】ここで、分岐点の特定には、通常交差点名
が用いられるが、必ずしも分かりやすくない。そこで、
特開平４−１５２０号公報や特開平４−３２４３１２号
公報には、交差点に存在するビル名等の特徴物を案内に
利用することが提案されている。このような特徴物を利
用することによって、ドライバーに分岐点を分かりやす
く説明でき、より好適な経路案内が行える。

【０００５】

【発明が解決しようとする課題】しかし、上述のような
特徴物を利用するものは、二次元地図データ中の特徴物
の存在に基づいて、案内文を構成する。従って、道路の
起伏などにより、案内が出力されたときに、この案内に
利用されている特徴物が見えない可能性もある。また、
工事などにより、特徴物が見えなくなっていたり、前方
にトラックやバスなどが存在するために特徴物が見えな
い場合もある。このような場合、特徴物を利用した案内
は、非常に分かりにくいものになってしまう。

【０００６】本発明は、上記問題点を解決することを課
題としてなされたものであり、実際に見える特徴物を利
用して、案内が行える画像情報を利用した車両用音声案
内装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、分岐点の手前
において、前方に存在する分岐点を認識する分岐点認識
手段と、前方を撮像する車載カメラと、分岐点手前にお
ける車載カメラの撮像結果から音声案内に用いる特徴物
を抽出する特徴物抽出手段と、を備え、抽出手段におい
て抽出された特徴物の情報を音声案内に含めることを特
徴とする。

【０００８】このように、本発明では、車載カメラによ
り得られた撮像結果から特徴物を抽出する。従って、現
実に見える特徴物のみが案内に利用され、工事中や、他
の車両により見えないものなどを利用した案内が行われ
ることを確実に防止できる。

【０００９】また、本発明は、抽出された特徴物と自車
との位置関係を測定する位置関係測定手段と、分岐点の
位置情報を記憶した地図データベースと、上記位置関係
と分岐点の位置情報から分岐点付近に存在する特徴物で
あることを判定する判定手段と、をさらに備えることを
特徴とする。

【００１０】このように、位置関係測定手段により、自
車と特徴物の位置関係を測定することで、画像中に存在
する特徴物が案内すべき分岐点に存在するものかを確認
することができ、誤った特徴物を利用して案内すること
を効果的に防止できる。

【００１１】また、本発明は、上記位置関係測定手段
は、複数の車載カメラのステレオ測距にて検出した自車
と特徴物との距離を測定するものであることを特徴とす
る。ステレオ測距により、特徴物までの距離を認識する
ことができ、特徴物が案内すべき分岐点に存在するもの
か否かを確実に判定することができる。

【００１２】また、本発明は、上記特徴物は信号機であ
ることを特徴とする。信号機は、多くの交差点に設置さ
れており、分岐点を特定するのに非常に有用である。

【００１３】また、本発明は、上記信号機は特定の色の
部分を抽出した後、エッジ検出により特定の色部分の形
状を特定して検出することを特徴とする。このように、
色を特定することで、容易に信号機を認識することがで
きる。

【００１４】また、本発明は、上記音声案内には、信号
機における色情報を加味することを特徴とする。信号機
のその時の色を利用して案内を行うことができ、非常に
分かりやすい案内が行える。

【００１５】本発明は、上記特徴物は行先案内標識であ
ることを特徴とする。行先案内標識には、進路について
の情報が含まれており、これを利用して分かりやすい案
内が行える。

【００１６】

【発明の実施の形態】以下、本発明に好適な実施の形態
（以下、実施形態という）について、図面に基づいて説
明する。

【００１７】図１は、本実施形態の装置の全体構成を示
すブロック図である。ナビ制御部１０は、経路案内のた
めの各種のデータ処理を行う。このナビ制御部１０に
は、自車位置検出部１２が接続されており、ナビ制御部
１０はここからの情報により、常時自車位置（現在位
置）を認識する。この自車位置検出部１２は、例えばＧ
ＰＳ（グローバル・ポジショニング・システム）を利用
したものであり、ＦＭ多重放送により提供される誤差情
報を加味したＤ−ＧＰＳ装置なども利用できる。さら
に、光ビーコンや電波ビーコンから供給される位置情報
や、マップマッチングによる補正や、進行方向および走
行距離から位置を検出する自律航法などを組み合わせる
ことも好適である。

【００１８】また、ナビ制御部１０には、地図データベ
ース１４が接続されている。この地図データベース１４
は、全国の二次元地図情報を記憶しているが、三次元情
報を記憶したものでもよい。すなわち、立体交差等の道
路の三次元形状データや、交差点周辺のビルの形状等を
含む三次元情報を記憶しておくことも好適である。特に
案内交差点において、その交差点の形状を三次元で表示
する情報を記憶しておくことが好ましい。

【００１９】また、ナビ制御部１０には、音声合成部１
６がＩ／Ｏインタフェース１０ａを介し接続されてい
る。この音声合成部１６は、ナビ制御部１０からの信号
に基づき、案内文の音声を合成し、スピーカ（図示せ
ず）から出力する。なお、入力操作部１８は、目的地の
入力などを行うためのものである。

【００２０】さらに、本装置では、車載カメラとして、
２つのカメラ２０ａ、２０ｂを有している。このカメラ
２０ａ、２０ｂは、車両の前方を撮影するＣＣＤカメラ
であって、車幅方向に所定距離離して配置されている。
このカメラ２０ａ、２０ｂには、それぞれ画像処理部２
２ａ、２２ｂが接続されており、カメラ２０ａ、２０ｂ
により得られた撮像結果である画像信号が画像処理部２
２ａ、２２ｂに供給される。画像処理部２２ａ、２２ｂ
は画像信号に基づき、デジタルの画像データを得る。画
像処理部２２ａ、２２ｂは、認識部２４に接続されてお
り、この認識部２４は、画像データに基づき、特徴物を
抽出、認識する。そして、認識部２４の認識結果はナビ
制御部１０に供給される。また、認識部２４は、ナビ制
御部１０に接続されており、特徴物についての認識結果
は、位置関係測定部２６にも供給される。この位置関係
測定部２６は、カメラ２０ａ、２０ｂのそれぞれの撮影
結果から別個に認識された同一の特徴物の画像中の位置
と、カメラ２０ａ、２０ｂの設置位置から、特徴物まで
の距離をステレオ測距する。そして、位置関係測定部２
６もナビ制御部１０に接続されており、測定された特徴
物までの距離及び方向についてのデータもナビ制御部１
０に供給される。

【００２１】次に、この装置の動作について、図２のフ
ローチャートに基づいて説明する。まず、経路案内を介
する場合には、まず目的地を設定すると共に、現在地を
検出する（Ｓ１１）。この目的地の設定は、住所等の入
力により行う。なお、入力操作部１８には、タッチパネ
ル等が利用される。また、現在地は、自車位置検出部１
２の出力を取り込むことで得られる。

【００２２】このようにして、目的地が設定された場合
には、ナビ制御部１０は、地図データベースに記憶され
ている地図データを基に、現在地から目的地までの最適
経路を探索する（Ｓ１２）。この経路探索は、ダイクス
トラ法などを用いた通常の方法で行う。

【００２３】そして、得られた経路が設定されて、目的
地に向けての走行が開始された場合には、まず自車位置
を検出する（Ｓ１３）。次に、分岐点（案内が必要な分
岐する交差点）に近づいているかを判定する（Ｓ１
４）。すなわち、目的地までの設定されている経路上で
分岐点は予め分かる。そこで、現在地がこの分岐地点に
近づいたかを判定する。この判定結果から分岐点に接近
したか否かを判定する。分岐点に接近していなかった場
合には、Ｓ１３に戻り、現在地を更新し、分岐点に接近
したかの判定を繰り返す。

【００２４】分岐点に接近した場合には、分岐点に近づ
いていることを分岐方向と共に案内する（Ｓ１５）。例
えば、「５００ｍ先交差点を左方向です。」等通常の案
内を行う。

【００２５】次に、カメラ２０ａ、２０ｂから得られる
画像を認識部２４で認識し、その結果に基づき特徴物の
存在の有無を検出し、特徴物が存在するかを判定する
（Ｓ１６）。特徴物としては、信号機等が考えられる。
信号機の場合、青、赤、黄色を色フィルタにより、別々
に取り出し、輝度の高い部分のエッジを検出する。そし
て、エッジの形状が○であることから信号機と判定す
る。また、どのフィルタで○が検出されたかにより、ど
の信号がついているかも判定できる。

【００２６】さらに、自車位置検出手段１２および地図
データベース１４より自車から見た分岐点の方向や距離
が特定でき、案内すべき分岐点付近の画像上での範囲が
推定できる。そこで、画像処理をその部分に限定して行
うことにより、処理量が減り、処理速度を向上させるこ
とができる。また、カメラ２０ａ、２０ｂにステア機構
を持たせることで、対象となる分岐点付近を画像の中心
付近で捉えることができる。そこで、ズームアップし
て、対象を捉え、分解能を向上させ、特徴物の検出をよ
り容易にすることもできる。

【００２７】また、認識部２４におけるパターンマッチ
ングの際には、分岐点と自車の位置関係が分かってい
る。そこで、この位置関係を利用して、特徴物の見え方
を予測し、これに対応したテンプレートを利用してパタ
ーンマッチングを行うことで、より効率的な画像処理を
行うことができる。なお、テンプレートを各方向や距離
に応じて複数設けてもよいが、位置関係に応じてテンプ
レートの形状を変形させてもよい。

【００２８】Ｓ１６において、特徴物が存在していた場
合には、位置関係測定部２６により、２つのカメラ２０
ａ、２０ｂからの画像に基づいて、特徴物までの距離及
び方向を測定し、測定された距離及び方向に基づき該当
交差点（分岐点）に存在する特徴物かを判定する（Ｓ１
７）。すなわち、現在地と分岐点の関係と、現在地と特
徴物の関係とから、特徴物と分岐点の関係を求め、特徴
物が分岐点上のものかを判定する。ここで、特徴物によ
っては、大きさが一定のものもある。例えば、信号機は
同一の大きさのものが多い。この場合、画像面上での大
きさにより、距離を測定できるため、２つのカメラによ
るステレオ測距が不要となる。

【００２９】Ｓ１７の判定結果において、該当分岐点上
の特徴物であれば、その特徴物を用いて案内が行える。
そこで、検出された特徴物を候補として記憶する（Ｓ１
８）。一方、Ｓ１７において、特徴物が該当分岐点上の
特徴物でなかった場合には、分岐点手前にある行先案内
標識かを判定する（Ｓ１９）。そして、行先案内標識で
あれば、その段階で行先案内標識を用いて、案内を行う
（Ｓ２０）。すなわち、行先案内標識は、通常交差点の
手前にある。そこで、行先案内標識の表示内容を画像も
しくは地図データベース１４などから取得し、これに従
って「行先案内標識に従って○○方面です。」等の案内
を行先案内標識を認識した段階で行う。

【００３０】Ｓ１８における特徴物が記憶された場合、
Ｓ２０の案内が行われた場合、Ｓ１６において特徴物が
存在しなかった場合、Ｓ１９において行先案内標識でな
かった場合には、分岐動作を行うまで十分な余裕がある
かを判定する（Ｓ２１）。この判定は、例えば分岐点ま
で１００ｍの地点にあるかを判定することで行う。しか
し、多数の車線がある道路では、分岐前に車線変更など
を行わなければならず、一車線の道路とは、分岐に要す
る時間が異なると考えられる。そこで、これらの条件に
応じて十分に余裕があるか否かの判定を変更することが
好適である。また、走行スピードや、その他の走行環境
に応じて、余裕があるかの判定を変更するとよい。

【００３１】そして、Ｓ２１の判定で余裕があれば、Ｓ
１６に戻り特徴物検出の処理を繰り返す。一方、分岐点
に近づき、Ｓ２１において、余裕がないと判定されたと
きには、記憶されている特徴物の候補の中から最適なも
のを選択し、これを用いて案内を行う。案内に用いる特
徴物を一つに絞らなくてもよい。例えば、「前方車両に
続いて次の信号を右折です」のような表現も可能である
（Ｓ２２）。例えば、「次の青信号を右折です。」等と
いう案内を行う。一方、Ｓ１６において特徴物がなかっ
た場合およびＳ１９において行先案内標識でなかった場
合には、結局特徴物を見いだせなかったことになる。こ
のため、自車位置情報を基に距離で案内を行う。例え
ば、「５０ｍ先、右折です。」という案内を行う。

【００３２】このようにして、案内出力を終了した場合
には、経路から逸脱しているか否かを判定し（Ｓ２
３）、逸脱していた場合には、Ｓ１２に戻り経路探索か
らやり直す。一方、逸脱していなかった場合には、目的
地への到達したかを判定し（Ｓ２４）、目的地に到達し
た場合に、処理を終了する。なお、Ｓ２４において、目
的地に到達していなかった場合には、Ｓ１３に戻る。

【００３３】このように、本実施形態においては、カメ
ラ２０ａ、２０ｂにより得られた画像から特徴物を抽出
する。従って、現実に見える特徴物のみが案内に利用さ
れ、工事中や、他の車両により見えないものなどを利用
した案内が行われることを確実に防止できる。さらに、
特徴物までの距離及び方向を計測することで、画像中に
存在する特徴物が分岐点に存在するものかを確認するこ
とができ、誤った案内をすることを効果的に防止でき
る。

【００３４】また、上述の例では、信号機を特徴物とし
て、採用した。信号機は、多くの交差点に設置されてお
り、分岐点を特定するのに非常に有用である。また、信
号が近接して配置されている場合には、画像処理によっ
て、複数の信号機が認識できる場合もある。この場合、
位置関係測定部２６により測定した距離及び方向に基づ
き、案内すべき交差点の手前に他の交差点があることな
どを認識し、「２つ目の青信号を右折です。」等という
案内を行うことも好適である。さらに、特徴物が存在し
ない場合には、距離を利用した通常の案内が行われるた
め、特徴物が存在しない場合も特別な問題は生じない。

【００３５】「その他の構成」上述の例では、案内に用
いる特徴物として、信号機、行先案内標識を取り上げ
た。しかし、特徴物は、これに限らず各種のものが採用
可能である。例えば、レーンの分岐情報（レーン内の矢
印）や、各種交通標識、歩道橋、前方車両など採用可能
である。特に、Ｙ字分岐などでは、レーンを認識しての
案内が好適である。「この車線のまま右方向です。」等
という案内が可能である。なお、レーン位置について
は、自車位置検出部１２の検出結果も併せて検出すると
よい。

【００３６】ここで、特徴物として、ビル、看板なども
利用できる。しかし、特徴物の認識は基本的にパターン
マッチングにより行う。すなわち、予めテンプレートと
して持っている形状と、画像処理で得られた形状の比較
に基づいて、特徴物の認識を行う。従って、特徴物は、
予め形状が分かっているいくつかのものに限定しておく
ことが好ましい。さらに、信号機の例においても説明し
たが、色が予め分かっている特徴物もある。例えば、行
先案内標識は、青色を取り出し、青色部分のエッジ検出
により、形状を特定できる。

【００３７】本発明の装置によれば、基本的に音声の案
内だけで十分な経路案内が行える。そこで、経路表示の
ためのディスプレイを省略することができる。これによ
って、スペースをとらず、低コスト化を図ることができ
る。

【００３８】また、経路探索等を外部のセンターにより
行うこともできる。センターは、車両の現在位置および
目的地から、最適経路の探索を行い、経路案内に必要な
データを車両側に供給する。これによって、車両側の装
置の大幅に簡略化することができる。なお、通信に路側
ビーコンを用いる場合などは、現在地の送信は不要であ
る。

【図面の簡単な説明】

【図１】全体構成を示すブロック図である。

【図２】動作を説明するフローチャートである。

【符号の説明】

１０ナビ制御部、１２自車位置検出部、１４地図
データベース、１６音声合成部、１８入力操作部、２
０ａ，２０ｂカメラ、２２ａ，２２ｂ画像処理部、
２４認識部、２６位置関係測定部。

Claims

【特許請求の範囲】

【請求項１】分岐点の手前において、前方に存在する
分岐点を認識する分岐点認識手段と、前方を撮像する車載カメラと、分岐点手前における車載カメラの撮像結果から音声案内
に用いる特徴物を抽出する特徴物抽出手段と、を備え、抽出手段において抽出された特徴物の情報を音声案内に
含めることを特徴とする画像情報を利用した車両用音声
案内装置。
【請求項２】請求項１に記載の装置において、さらに、抽出された特徴物と自車との位置関係を測定する位置関
係測定手段と、分岐点の位置情報を記憶した地図データベースと、上記位置関係と分岐点の位置情報から分岐点付近に存在
する特徴物であることを判定する判定手段と、を備えることを特徴とする画像情報を利用した車両用音
声案内装置。
【請求項３】請求項２に記載の装置において、上記位置関係測定手段は、複数の車載カメラのステレオ
測距にて検出した自車と特徴物との距離を測定するもの
であることを特徴とする画像情報を利用した車両用音声
案内装置。
【請求項４】請求項１〜３のいずれか１つに記載の装
置において、上記特徴物は信号機であることを特徴とする画像情報を
利用した車両用音声案内装置。
【請求項５】請求項４に記載の装置において、上記信号機は特定の色の部分を抽出した後、エッジ検出
により特定の色部分の形状を特定して検出することを特
徴とする画像情報を利用した車両用音声案内装置。
【請求項６】請求項４または５に記載の装置におい
て、上記音声案内には、信号機における色情報を加味するこ
とを特徴とする画像情報を利用した車両用音声案内装
置。
【請求項７】請求項１〜３のいずれか１つに記載の装
置において、上記特徴物は行先案内標識であることを特徴とする画像
情報を利用した車両用音声案内装置。