JP4556586B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP4556586B2
JP4556586B2 JP2004275196A JP2004275196A JP4556586B2 JP 4556586 B2 JP4556586 B2 JP 4556586B2 JP 2004275196 A JP2004275196 A JP 2004275196A JP 2004275196 A JP2004275196 A JP 2004275196A JP 4556586 B2 JP4556586 B2 JP 4556586B2
Authority
JP
Japan
Prior art keywords
vehicle
outside
question
driving support
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004275196A
Other languages
English (en)
Other versions
JP2006090790A (ja
Inventor
雅明 市原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2004275196A priority Critical patent/JP4556586B2/ja
Publication of JP2006090790A publication Critical patent/JP2006090790A/ja
Application granted granted Critical
Publication of JP4556586B2 publication Critical patent/JP4556586B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、概して、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置に係り、特に、運転の妨げとならない運転支援装置に関する。
従来、運転者の視線情報とナビゲーション装置などとを関連付けて、ナビゲーション装置などにおいて予め種々の情報を収集しておき、運転者の視線の移動を検出してそこから運転者の関心事項を予測し、その時点で予め収集した情報を提示する装置が提案されている(例えば、特許文献1参照)。
また、運転者が顔を向けた車両の外側に見える山や建物などの名称をスピーカから又はディスプレイ上に案内する装置も提案されている(例えば、特許文献2参照)。
特開2001−194161号公報 特開2003−329463号公報
しかしながら、上記従来の装置では、運転者は視線がシステムによって検出・固定されるタイミングを知り得ないため、運転者は視線検出により特定したい対象物に必要以上に視線を合わせ続ける可能性がある。このような不自然な視線の固定は、運転への注意力を低下させるおそれがある。
本発明はこのような課題を解決するためのものであり、運転の妨げとならずに、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置を提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、車両乗員(例えば運転者)が注目している車外対象物(例えば建物など)を視線検出及び音声認識により特定して案内する運転支援装置であって、車両乗員の視線方向を検出し、時系列で記憶保持しておく視線検出手段と、車両周辺の風景を撮像し、前記視線検出手段が記憶保持している時系列と同一の時間軸を有する時系列で記憶保持しておく車外風景撮像手段と、車両乗員によりトークスイッチが操作されたときに車両乗員の発話を音声認識処理し、車両乗員による車外対象物に関する質問を検出する音声認識手段と、上記音声認識手段により上記質問が検出されたときに、前記トークスイッチが操作されたタイミングよりも所定時間(例えば数秒)前の車両乗員の視線方向及び車外風景画像を上記視線検出手段及び上記車外風景撮像手段からそれぞれ取得して照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定する対象物特定手段と、上記対象物特定手段により特定された車外対象物を所定のデータベースに照らして該特定された車外対象物に関する情報を取得し案内する情報案内手段とを有する運転支援装置である。なお、前記所定時間を前記車両乗員の操作により設定する設定手段を有することが好ましい。

この一態様において、上記質問が車外対象物の名称又は呼称に関するものであるとき(例えば、「あの建物は何?」など)、上記特定された車外対象物に関する情報は該特定された車外対象物の名称又は呼称であるものとし、上記質問が車外対象物の位置に関するものであるとき(例えば、「○○建物はどこ?」など)、上記特定された車外対象物に関する情報は該特定された車外対象物の当該車両に対する相対的位置であるものとする。
この一態様によれば、車両乗員が質問を発する直前に視線を合わせていた車外対象物が自動的に特定されるため、車両乗員は質問時又は質問後にその車外対象物が特定されるようにしばらくの間視線をその対象物に合わせ固定しておく必要がない。
なお、この一態様において、上記質問が車外対象物の位置に関するものであるとき、上記運転支援装置は、自車両の位置を検出する位置検出手段を更に有し、上記相対的位置は、自車両前方右、自車両前方左、及び自車両後方の3種類であり、上記情報案内手段は、上記所定のデータベース内の車外対象物に関する情報を、上記現在位置検出手段により検出された自車両の位置と該自車両位置の履歴から推定された自車両の進行方向とに基づいて、自車両前方右に位置するもの、自車両前方左に位置するもの、及び自車両後方に位置するものの3種類に分類すると共に、この分類を自車両の位置及び進行方向の変化に応じて逐次更新すると、質問された車外対象物が自車両に対して前方右手に存在するのか、前方左手に存在するのか、或いは、既に通り過ぎたのかを迅速に車両乗員に案内することができるため、好ましい。
また、この一態様において、上記運転支援装置が自車両の位置を検出する位置検出手段を更に有し、上記所定のデータベースは、所定の地図データベース(例えば、当該車両に搭載されたナビゲーション・システムが保持する地図データベースなど)から取得された自車両の位置を中心とした所定の範囲内のデータを含むものとすれば、上記運転支援装置に記憶する必要データ量を抑えることができる。
さらに、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置であって、車両乗員の視線方向を検出し、時系列で記憶保持しておく視線検出手段と、車両周辺の風景を撮像し、時系列で記憶保持しておく車外風景撮像手段と、車両乗員の発話を音声認識処理し、車両乗員による車外対象物に関する質問を検出する音声認識手段と、前記音声認識手段により前記質問が検出されたときに、この質問が検出されたタイミングよりも所定時間前の車両乗員の視線方向及び車外風景画像を前記視線検出手段及び前記車外風景撮像手段からそれぞれ取得して照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定する対象物特定手段と、前記対象物特定手段により特定された車外対象物を所定のデータベースに照らして該特定された車外対象物に関する情報を取得し案内する情報案内手段とを有する、運転支援装置において、車両乗員間のコミュニケーションを尊重する観点から、上記音声認識手段に少なくとも運転者(又は特定の車両乗員)の声のデータを予め記憶させておき、少なくとも運転者(又は特定の車両乗員)の発話を他者の発話と区別できるようにし、上記情報案内手段は、上記音声認識手段により上記質問が運転者(又は特定の車両乗員)以外の車両乗員から発せられたと判断されたときに、所定待機時間内に運転者(又は特定の車両乗員)から該質問に対する回答と推定される発話が上記音声認識手段により検出された場合、上記特定された車外対象物に関する情報を案内しないようにしてもよい。
本発明によれば、運転の妨げとならずに、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置を提供することができる。
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置の基本概念、主要なハードウェア構成、作動原理、及び基本的な制御手法等については当業者には既知であるため、詳しい説明を省略する。
本発明の一実施例について図1及び2を用いて説明する。まず、図1を用いて、本実施例に係る運転支援装置100の構成について説明する。図1は、車両に搭載された運転支援装置100の概略構成図である。
運転支援装置100は、車両周辺の風景を撮像する車外カメラ(C)101、102と、これらカメラ101、102により撮像された画像を画像処理して、車両周辺の風景を解析し、解析結果を撮像時間と共に記憶保持する画像解析部103とを有する。
また、運転支援装置100は、更に、運転者の目の動きを撮像する視線カメラ(C)104、105と、これらカメラ104、105により撮像された画像から運転者の視線方向を検出し、検出結果を検出時間と共に記憶保持する視線検出部106とを有する。
なお、ここでは、時刻に対応させて解析結果と検出時刻とをそれぞれ記憶保持するようにしているが、必ずしも絶対的な時刻に対応させる必要はなく、解析結果と検出結果とが同じ時間軸に対応して時系列で記憶保持できていればよい。
また、運転支援装置100は、更に、車両乗員の発話音声を録取するためのマイク(MIC)107と、録取された車両乗員の発話音声を音声認識処理を用いて解析する音声認識部108と、車室内の運転者が操作しやすい場所(例えばステアリング・ハンドルなど)に配設され、音声認識部108に音声認識処理の実行を開始させるトリガを発生させるトークスイッチ(トークSW)109とを有する。本発明に係る運転支援装置においてトークSWは必須ではないが、本実施例のようにトークSWを設けて運転者に操作させることによって、音声認識処理を常時実行する必要がなくなり、処理負荷が低減される。
また、運転支援装置100は、例えばGPS(Global Positioning System;全地球測位システム)受信機などを含み、自車両の現在位置を検出すると共に、地図データベースを保持し、経路探索を実行するナビゲーション部110と、少なくとも地図データと建物など地図上に登場する構造物についての情報(例えば、建物の名前など)とを含むデータベース111と、運転者が視線を合わせている車外対象物が何であるかをデータベース111に照らして特定する制御部112とを有する。
ここで、ナビゲーション部110は、検出された自車両位置の履歴を取ることにより自車両の進行方向(向き)を検出することも可能である。また、容量を抑える観点から、データベース111には、制御部112が自車両周辺の車外対象物を特定するのに必要な範囲内の限定された地図情報、道路情報、建物情報などが含まれることが好ましい。このデータベース111内の限定された情報は、車両外部から通信を利用して取得してもよく、或いは、ナビゲーション部110に記憶されていればそこから取得してもよい。この自車両周辺に限定された情報は、ナビゲーション部110によって検出された自車両現在位置に応じてリアルタイムに更新・変更されることが好ましい。また、ナビゲーション部110によって経路探索が行われた場合、探索された経路に沿って情報が順次追加及び削除されてもよく、或いは、探索された経路に沿った全情報がデータベース111に一旦ダウンロードされ、通過するごとに徐々に削除されていってもよい。
さらに、運転支援装置100は、車両乗員に対する案内を音声合成処理により音声とする音声合成部113と、この音声合成部113により生成された音声を車両乗員に対して出力するスピーカ114と、ナビゲーション部110により探索された経路を車両乗員に視覚的に提示するディスプレイ(DSP)115とを有する。
次いで、図2のフローチャートを用いて、本実施例に係る運転支援装置100による車外対象物案内処理の流れを説明する。
イグニッションON時や運転支援装置100の電源投入時に本処理が開始されると、まず、視線検出部106が視線カメラ104、105を作動させて運転者の視線方向Vの検出を開始する(S201)。視線検出は常時実行され、検出された視線方向は検出時刻と共に所定期間保持される。
次いで、画像解析部103が車外カメラ101、102を作動させて自車両周辺の風景の解析を開始する(S202)。周辺風景解析も常時実行され、解析された周辺風景は撮像時刻と共に所定期間保持される。
次いで、運転者によりトークSWがオン状態に切り替えられたか否かが判定される(S203)。トークSWオンが検出されない場合(S203の「NO」)、1ルーチンが終了し、次のルーチンにおいて再度トークSWオンが待機される。トークSWオンが検出された場合(S203の「YES」)、音声認識部108はマイク107を通じて入力された車室内の発話音声について音声認識処理を開始する(S204)。
次いで、音声認識部108により、車両乗員から車外対象物に関する質問が発せられたか否かが判定される(S205)。質問が検出されない場合(S205の「NO」)、1ルーチンが終了し、トークSWはオフ状態に切り替えられ、次のルーチンにおいて再度トークSWオンが待機される。
車両乗員から発せられた質問が検出されると(S205の「YES」)、次に、音声認識部108により、その質問が運転者から発せられた質問であるか否かが判定される(S206)。この発話者判定は、例えば、音声認識部108に少なくとも運転者の声紋を予め記憶させておくことによって入力音声の声紋分析により実現されてもよく、或いは、マイク107をアレイマイクとし、入力音声の到来方向が運転席側であるか否かによって判断されてもよい。
質問の発話者が運転者でないと判定された場合(S206の「NO」)、運転者の単独乗車ではなく、運転者以外の車両乗員が存在することが判る。そこで、車両乗員間でのコミュニケーションを尊重する観点から、運転支援装置100による回答の前に運転者が質問に回答する時間を設ける。具体的には、運転支援装置100が質問に回答するまでに所定の待機時間を設ける(S207)。
そして、音声認識部108により所定時間が経過するまでに運転者から回答が発せられたか否かが判定される(S208)。ここでは回答者を運転者としたが、音声認識部108が運転者以外の車両乗員についても声紋分析により個人を特定できるようにすれば、質問が発せられた後、質問発話者以外の車両乗員から質問に対する回答が発せられた場合に回答有りと判定してもよい。
運転者から回答が発せられたと判断された場合(S208の「YES」)、本実施例では一例として、運転支援装置100が回答する必要はないと判断され、1ルーチンが終了し、次のルーチンに入る。なお、変形例として、運転者(又は質問発話者でも運転者でもない車両乗員)から回答が発せられた場合であっても運転支援装置100から回答を発するようにしてもよい。
他方、運転者からの回答が所定時間内になかった場合(S208の「NO」)、S209以降の回答処理へ進む。また、本実施例では一例として、質問発話者が運転者であると判断された場合(S206の「YES」)にも、S209へ進み、運転支援装置100から回答が発せられるものとする。なお、変形例として、運転者から質問が発せられた後に運転者以外の車両乗員からの回答を待機し、回答が発せられた場合には運転支援装置100から回答はしないものとしてもよい。
回答処理においては、まず、発話が検出された質問が車外対象物の名称等(例えば、車外対象物が建物であれば、建物名、建物の呼称、建物所有者(企業)名、建物主テナント(企業)名など)を尋ねるものであるか(例えば、「あの建物は何?」など)、或いは、特定の車外対象物の位置を尋ねるものか(例えば、「○○建物はどれ?」など)が音声認識部108により判定される(S209)。
質問が車外対象物の名称等を尋ねるものであると判定された場合、制御部112は、画像解析部103に記憶保持された車外風景画像と視線検出部106に記憶保持された運転者の視線方向Vとを照合し、運転者が視線を合わせていた車外対象物を特定する(S210)。ここで、視線が固定されるタイミングは、質問が発せられる直前の任意の時点とする。具体的には、例えば、質問が発せられた時点の所定時間(例えば数秒)前でもよく、或いは、トークSWオンの時点の所定時間(例えば数秒)前でもよい。この視線が固定されるタイミングは、ユーザが例えばナビゲーション・システムの初期設定時や車両走行中などに任意に選択・切替できるようにすることが好ましい。また、ここで、所定時間前は、現在時刻を基準に所定時間前の時刻が指定されるものであってもよく、或いは、解析結果と検出結果とに対応付けられている時間軸に基づいて所定時間前が指定されるものであってもよい。
例えば運転者が運転中に視界に入ったある建物について名称等を知りたいと思った場合、質問を発する直前にその建物に視線を合わせていた可能性が高いはずであるから、本実施例のように質問が発せられる直前の所定の時点で取得・記憶保持された車外風景画像と視線方向とが照合されることにより、運転者が質問直前に注目していた車外対象物が自動的に特定される。換言すれば、質問時又は質問後に運転者は対象としたい車外対象物が運転支援装置100によってうまく特定されるようにその対象としたい車外対象物にしばらくの間改めて/新たに視線を合わせる必要がない。
ここで、質問の対象となった車外対象物について例えば無線通信装置(図示せず)を利用して所定のセンタへ報告し、該センタが複数の車両から報告された質問対象物に関する情報を統合(マージ)して、質問回数によるランク付けを行い、これを各車両にフィードバックするものとすれば、制御部112が車外風景画像と視線方向Vとの照合時に視線方向Vが隣接する建物同士の境界線上であって判定が難しい場合にセンタから得たランキングを参照してより多く質問される方(見えにくい方又は関心を集めやすい方と推定される)を選択するようにすることができ、照合誤差が吸収され得るため、好ましい。
また、照合時に複数の車外対象物が特定された場合には、例えば、a)上述のような機能のセンタがある場合には上記ランキングを参照して自動的に1つに絞ってもよく、或いは、b)複数の車外対象物が特定されることを許容し、特定された複数の車外対象物の名称等を順番に(例えば近い順に)案内(後述)してもよく、或いは、c)音声合成部113及びスピーカ114又はディスプレイ115を利用して運転支援装置100側から運転者に1つに特定するための質問(例えば、「一番手前の白い建物ですか?」など)を発してもよい。
さらに、照合時、発せられた車外対象物の名称等を尋ねる質問中に方向を表す表現が含まれていた場合(例えば、「あの前方右側の建物は何?」など)、検出された運転者の視線方向Vに加えて又は代えてその表現が意図する方向を照合に用いてもよい。
このようにして案内すべき車外対象物が特定されると、次に、制御部112は、その特定された車外対象物をデータベース111に照らしてその車外対象物の名称等を取得し、その名称等を音声合成部113に音声に合成させ、スピーカ114から車両乗員に音声出力する(S211)。この際、制御部112は、その特定された車外対象物の名称等を文字情報としてディスプレイ115上に表示するようにナビゲーション部110に指示してもよい。
他方、音声認識部108により発話が検出された質問が特定の車外対象物の位置を尋ねるものであると判定された場合、制御部112は、その特定の車外対象物をデータベース111に照らし、その位置の自車両位置に対する相対的位置を算出し、その相対的位置を音声合成部113に音声に合成させ、スピーカ114から車両乗員に音声出力する(S212)。この際、制御部112は、その特定の車外対象物の自車両に対する相対的位置を文字情報としてディスプレイ115上に表示するようにナビゲーション部110に指示してもよい。
ここで、車外対象物の自車両に対する相対的位置は、精密に算出・出力されてもかえって車両乗員にはわかりづらいため、例えば自車両に対して前方右、前方左、及び、後方の3種類で表されれば十分である。その場合、データベース111が保持する車外対象物に関する情報を刻々と変化する自車両位置に応じてリアルタイムに自車両の前方左に位置する車外対象物の情報、自車両の前方右に位置する車外対象物の情報、及び、自車両の後方に位置する車外対象物の情報に予め分類しておくことによって、質問が発せられたときに指定された車外対象物の自車両に対する相対的位置を迅速に回答・出力することができる。
このように、本実施例によれば、視線検出と音声認識とを利用して運転者が質問を発する直前に視線を合わせていた車外対象物が自動的に特定されるため、車両乗員は質問時又は質問後にその車外対象物が特定されるようにしばらくの間視線をその対象物に合わせ固定しておく必要がなく、運転者の運転操作を妨げずに運転者が注目する車外対象物を特定・案内することができる。
なお、上記一実施例において、音声認識部108の辞書には特定の車外対象物の位置に関する質問に備えて建物の名称等の車外対象物に関するデータが登録されている必要があるが、あらゆる地域のあらゆる車外対象物のデータを事前に登録しておくことは困難であるため、ナビゲーション部110によって検出された自車両現在位置に応じて、適宜又はリアルタイムに、例えば通信を利用して自車両現在位置周辺のデータのみが取得され辞書登録されることが好ましい。
また、上記一実施例においては、運転支援装置100は、質問種類に応じて車外対象物の名称等又は自車両からの相対的位置のいずれかを出力するものとしたが、本発明はこれに限られず、名称等と位置の双方を出力してもよい。すなわち、名称等が尋ねられていると判断されたときでも確認のために相対的位置が併せて出力されてもよく、位置が尋ねられていると判断されたときでも確認のために名称等が併せて出力されてもよい。
また、上記一実施例において、質問が発せられた後、質問に対する回答でない発話が検出された場合、運転支援装置100は2人目の発話を受けた形で回答を出力するようにしてもよい。例えば、1人目が「これは何?」と質問した後、2人目が「これのこと?」と発話した場合、運転支援装置100は、「それです」、「もう少し前です」、又は「反対側です」などと回答を出力するようにしてもよい。
また、上記一実施例においては、主として車外対象物が建物である場合について説明したが、本発明はこれに限られず、車外対象物は道路形状又は道路自体であってもよい。特に、ナビゲーション部110によって経路探索が行われている場合、運転支援装置100は、特定された車外対象物である道路(交差点など)と探索結果とを比較して、例えば、運転者からの「ここで曲がるの?」という質問に対して「そうです、ここで右折です」又は「1つ先の交差点です」などと回答することができる。
さらに、当業者には明らかなように、上記一実施例において運転者の視線方向Vを検出するとしたのは一例に過ぎず、本発明に係る運転支援装置においては、運転者の視線方向Vに加えて又は代えて運転者以外の車両乗員(特に助手席乗員)の視線方向が検出され、画像との照合に用いられてもよい。
本発明は、車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。
本発明の一実施例に係る運転支援装置の概略構成図である。 本発明の一実施例に係る運転支援装置による車外対象物案内処理の流れを示すフローチャートである。
符号の説明
100 運転支援装置
101、102 車外カメラ
103 画像解析部
104、105 視線カメラ
106 視線検出部
107 マイク
108 音声認識部
109 トークSW
110 ナビゲーション部
111 データベース
112 制御部
113 音声合成部
114 スピーカ
115 ディスプレイ

Claims (7)

  1. 車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置であって、
    車両乗員の視線方向を検出し、時系列で記憶保持しておく視線検出手段と、
    車両周辺の風景を撮像し、前記視線検出手段が記憶保持している時系列と同一の時間軸によって時系列で記憶保持しておく車外風景撮像手段と、
    車両乗員によりトークスイッチが操作されたときに車両乗員の発話を音声認識処理し、車両乗員による車外対象物に関する質問を検出する音声認識手段と、
    前記音声認識手段により前記質問が検出されたときに、前記トークスイッチが操作されたタイミングよりも所定時間前の車両乗員の視線方向及び車外風景画像を前記視線検出手段及び前記車外風景撮像手段からそれぞれ取得して照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定する対象物特定手段と、
    前記対象物特定手段により特定された車外対象物を所定のデータベースに照らして該特定された車外対象物に関する情報を取得し案内する情報案内手段とを有する、ことを特徴とする運転支援装置。
  2. 請求項1に記載の運転支援装置であって、
    前記所定時間を前記車両乗員の操作により設定する設定手段を有する、ことを特徴とする運転支援装置。
  3. 請求項1記載の運転支援装置であって、
    前記質問が車外対象物の名称又は呼称に関するものであるとき、前記特定された車外対象物に関する情報は該特定された車外対象物の名称又は呼称である、ことを特徴とする運転支援装置。
  4. 請求項1記載の運転支援装置であって、
    前記質問が車外対象物の位置に関するものであるとき、前記特定された車外対象物に関する情報は該特定された車外対象物の当該車両に対する相対的位置である、ことを特徴とする運転支援装置。
  5. 請求項4記載の運転支援装置であって、
    自車両の位置を検出する位置検出手段を更に有し、
    前記相対的位置は、自車両前方右、自車両前方左、及び自車両後方の3種類であり、
    前記情報案内手段は、前記所定のデータベース内の車外対象物に関する情報を、前記現在位置検出手段により検出された自車両の位置と該自車両位置の履歴から推定された自車両の進行方向とに基づいて、自車両前方右に位置するもの、自車両前方左に位置するもの、及び自車両後方に位置するものの3種類に分類すると共に、この分類を自車両の位置及び進行方向の変化に応じて逐次更新する、ことを特徴とする運転支援装置。
  6. 請求項1記載の運転支援装置であって、
    自車両の位置を検出する位置検出手段を更に有し、
    前記所定のデータベースは、所定の地図データベースから取得された自車両の位置を中心とした所定の範囲内のデータを含む、ことを特徴とする運転支援装置。
  7. 車両乗員が注目している車外対象物を視線検出及び音声認識により特定して案内する運転支援装置であって、
    車両乗員の視線方向を検出し、時系列で記憶保持しておく視線検出手段と、
    車両周辺の風景を撮像し、時系列で記憶保持しておく車外風景撮像手段と、
    車両乗員の発話を音声認識処理し、車両乗員による車外対象物に関する質問を検出する音声認識手段と、
    前記音声認識手段により前記質問が検出されたときに、この質問が検出されたタイミングよりも所定時間前の車両乗員の視線方向及び車外風景画像を前記視線検出手段及び前記車外風景撮像手段からそれぞれ取得して照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定する対象物特定手段と、
    前記対象物特定手段により特定された車外対象物を所定のデータベースに照らして該特定された車外対象物に関する情報を取得し案内する情報案内手段とを有する、運転支援装置であって、
    前記音声認識手段に少なくとも運転者の声のデータを予め記憶させておき、少なくとも運転者の発話を他者の発話と区別できるようにし、
    前記情報案内手段は、前記音声認識手段により前記質問が運転者以外の車両乗員から発せられたと判断されたときに、所定待機時間内に運転者から該質問に対する回答と推定される発話が前記音声認識手段により検出された場合、前記特定された車外対象物に関する情報を案内しない、ことを特徴とする運転支援装置。
JP2004275196A 2004-09-22 2004-09-22 運転支援装置 Expired - Fee Related JP4556586B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004275196A JP4556586B2 (ja) 2004-09-22 2004-09-22 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004275196A JP4556586B2 (ja) 2004-09-22 2004-09-22 運転支援装置

Publications (2)

Publication Number Publication Date
JP2006090790A JP2006090790A (ja) 2006-04-06
JP4556586B2 true JP4556586B2 (ja) 2010-10-06

Family

ID=36231933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004275196A Expired - Fee Related JP4556586B2 (ja) 2004-09-22 2004-09-22 運転支援装置

Country Status (1)

Country Link
JP (1) JP4556586B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8200422B2 (en) 2006-05-18 2012-06-12 Pioneer Corporation Information presentation apparatus, information presentation method, information presentation program, and computer-readable recording medium
JP4637793B2 (ja) * 2006-06-09 2011-02-23 三菱電機株式会社 施設検索装置
JP2008039596A (ja) 2006-08-07 2008-02-21 Pioneer Electronic Corp 情報提供装置、情報提供方法、情報提供プログラム、および記録媒体
US9113056B2 (en) 2012-01-06 2015-08-18 Asahi Kasei Kabushiki Kaisha Image capturing apparatus and information processing apparatus
JP5630518B2 (ja) 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
WO2013153583A1 (ja) * 2012-04-13 2013-10-17 三菱電機株式会社 車載用音声入力装置
US9223837B2 (en) * 2013-03-14 2015-12-29 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
US9117120B2 (en) * 2013-05-24 2015-08-25 Honda Motor Co., Ltd. Field of vision capture
JP6016732B2 (ja) * 2013-08-21 2016-10-26 三菱電機株式会社 表示制御装置
JP6480279B2 (ja) * 2014-10-15 2019-03-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報取得方法、情報取得システム及び情報取得プログラム
JP6623657B2 (ja) * 2015-10-05 2019-12-25 日産自動車株式会社 情報提供装置、情報提供システム及び情報提供方法
JP6604151B2 (ja) * 2015-11-09 2019-11-13 三菱自動車工業株式会社 音声認識制御システム
JP6575451B2 (ja) * 2016-07-20 2019-09-18 株式会社デンソー 運転支援装置及び運転支援プログラム
KR102132058B1 (ko) * 2016-10-11 2020-07-08 르노삼성자동차 주식회사 자동차에 내장된 양방향 음성 커뮤니케이션 시스템
JP2017224346A (ja) * 2017-08-24 2017-12-21 ヤフー株式会社 要通知情報提示装置、要通知情報提示方法及び要通知情報提示プログラム
JP2020034461A (ja) * 2018-08-30 2020-03-05 Zホールディングス株式会社 提供装置、提供方法、及び提供プログラム
JP7094254B2 (ja) * 2019-09-17 2022-07-01 本田技研工業株式会社 車両制御システム
JP6888851B1 (ja) * 2020-04-06 2021-06-16 山内 和博 自動運転車
JP7537259B2 (ja) 2020-12-11 2024-08-21 株式会社デンソー 注目対象共有装置、注目対象共有方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03257485A (ja) * 1990-03-07 1991-11-15 Mitsubishi Electric Corp 車載用地図表示装置
JPH06103497A (ja) * 1992-09-21 1994-04-15 Mazda Motor Corp 自動車の音声による経路誘導装置
JPH06251287A (ja) * 1993-02-23 1994-09-09 Mitsubishi Electric Corp 運転支援システム
JPH0942987A (ja) * 1995-07-28 1997-02-14 Mazda Motor Corp 車載用地図表示装置
JPH09251342A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
JPH11202891A (ja) * 1998-01-12 1999-07-30 Toyota Motor Corp 音声認識装置
JP2001330450A (ja) * 2000-03-13 2001-11-30 Alpine Electronics Inc ナビゲーション装置
JP2002156241A (ja) * 2000-11-16 2002-05-31 Matsushita Electric Ind Co Ltd ナビゲーション装置およびプログラムを記録した記録媒体
JP2003150306A (ja) * 2002-11-14 2003-05-23 Toshiba Corp 情報表示装置とその方法
JP2003157489A (ja) * 2002-06-03 2003-05-30 Equos Research Co Ltd 操作制御装置
JP2004037260A (ja) * 2002-07-03 2004-02-05 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導用プログラム
JP2004053620A (ja) * 2002-07-16 2004-02-19 Denso Corp 音声認識装置
JP2004061259A (ja) * 2002-07-29 2004-02-26 Mazda Motor Corp 情報提供装置、情報提供方法及び情報提供用プログラム
JP2004064409A (ja) * 2002-07-29 2004-02-26 Mazda Motor Corp 情報記録装置、情報記録方法及び情報記録用プログラム
JP2004170348A (ja) * 2002-11-22 2004-06-17 Denso Corp ナビゲーション装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03257485A (ja) * 1990-03-07 1991-11-15 Mitsubishi Electric Corp 車載用地図表示装置
JPH06103497A (ja) * 1992-09-21 1994-04-15 Mazda Motor Corp 自動車の音声による経路誘導装置
JPH06251287A (ja) * 1993-02-23 1994-09-09 Mitsubishi Electric Corp 運転支援システム
JPH0942987A (ja) * 1995-07-28 1997-02-14 Mazda Motor Corp 車載用地図表示装置
JPH09251342A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
JPH11202891A (ja) * 1998-01-12 1999-07-30 Toyota Motor Corp 音声認識装置
JP2001330450A (ja) * 2000-03-13 2001-11-30 Alpine Electronics Inc ナビゲーション装置
JP2002156241A (ja) * 2000-11-16 2002-05-31 Matsushita Electric Ind Co Ltd ナビゲーション装置およびプログラムを記録した記録媒体
JP2003157489A (ja) * 2002-06-03 2003-05-30 Equos Research Co Ltd 操作制御装置
JP2004037260A (ja) * 2002-07-03 2004-02-05 Mazda Motor Corp 経路誘導装置、経路誘導方法及び経路誘導用プログラム
JP2004053620A (ja) * 2002-07-16 2004-02-19 Denso Corp 音声認識装置
JP2004061259A (ja) * 2002-07-29 2004-02-26 Mazda Motor Corp 情報提供装置、情報提供方法及び情報提供用プログラム
JP2004064409A (ja) * 2002-07-29 2004-02-26 Mazda Motor Corp 情報記録装置、情報記録方法及び情報記録用プログラム
JP2003150306A (ja) * 2002-11-14 2003-05-23 Toshiba Corp 情報表示装置とその方法
JP2004170348A (ja) * 2002-11-22 2004-06-17 Denso Corp ナビゲーション装置

Also Published As

Publication number Publication date
JP2006090790A (ja) 2006-04-06

Similar Documents

Publication Publication Date Title
JP4556586B2 (ja) 運転支援装置
JP7091807B2 (ja) 情報提供システムおよび情報提供方法
JP4380541B2 (ja) 車両用エージェント装置
EP3252432A1 (en) Information-attainment system based on monitoring an occupant
US11176948B2 (en) Agent device, agent presentation method, and storage medium
JP7250547B2 (ja) エージェントシステム、情報処理装置、情報処理方法、およびプログラム
US20160335051A1 (en) Speech recognition device, system and method
US8024116B2 (en) Vehicle stray determination apparatus and destination guide apparatus
JP2008039596A (ja) 情報提供装置、情報提供方法、情報提供プログラム、および記録媒体
JP2010145262A (ja) ナビゲーション装置
CN109920265B (zh) 停车场评估设备、停车场信息供应方法及其数据结构
JP2008018853A (ja) 情報記録装置、情報記録方法およびプログラム
JP2007263931A (ja) ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム
CN111611330B (zh) 信息处理系统、程序、以及控制方法
JP4771047B2 (ja) 車両用情報表示システム
JP4660592B2 (ja) カメラ制御装置、カメラ制御方法、カメラ制御プログラムおよび記録媒体
JP2023127059A (ja) 車載装置、情報処理方法及びプログラム
CN114690896A (zh) 信息处理装置、信息处理方法及存储介质
CN111907468B (zh) 用于控制无人车的方法和装置
JP7233918B2 (ja) 車載装置、通信システム
JP2021051663A (ja) 乗客案内システム
JP2020201792A (ja) 車載通信装置、車両遠隔操作システム、通信方法およびプログラム
WO2023062817A1 (ja) 音声認識装置、制御方法、プログラム及び記憶媒体
JP2020060623A (ja) エージェントシステム、エージェント方法、およびプログラム
JP7361929B2 (ja) 車両制御装置、プログラム及び車両制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100712

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees