JPWO2013069060A1

JPWO2013069060A1 - ナビゲーション装置、方法およびプログラム

Info

Publication number: JPWO2013069060A1
Application number: JP2013542690A
Authority: JP
Inventors: 渡邉　圭輔; 圭輔渡邉; 友紀古本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2011-11-10
Filing date: 2011-11-10
Publication date: 2015-04-02

Abstract

この発明のナビゲーション装置または方法によれば、同乗者などの発話者が運転者に行なった道案内表現のみを抽出し、抽象的な道案内表現を解釈して具体化し、その具体化された道案内表現に対応する提示内容を出力するようにしたので、運転者が直観的に内容を理解することができ、運転者の聞き間違いを防止し、発話者が意図しない方向に進むことを防止することができる。

Description

この発明は、ユーザの発話内容を認識してナビゲーションを行うことが可能なナビゲーション装置および方法に関するものである。

一般に、車載用などのナビゲーション装置は、設定された経路を走行中に所定の地点（例えば、進行方向を変更すべき交差点など）が近くなると、音声出力や図形表示などで運転者に対して道案内を行う。
しかし、ナビゲーション装置が予め設定した所定の地点での道案内を行うことはできても、走行中に同乗者が運転者に対して行なっている道案内の内容を、ナビゲーション装置の案内内容として運転者に提示することはできなかった。

このため、運転者が同乗者の道案内を聞き間違えてしまったり、周囲の騒音で聞き逃してしまったりすると、同乗者の道案内どおりに走行できないという問題があった。
このような問題に対し、例えば特許文献１には、音声を常時認識し、認識結果をそのまま文字で画面に表示する音声認識装置が記載されている。

特開２０１０−２０４６３７号公報

しかしながら、上記のような従来のナビゲーション装置では、音声認識した結果を、単にそのまま文字で画面に表示するだけであり、認識結果から道案内表現を抽出して表示する機能がないため、道案内とは関係のない内容も表示されてしまうおそれがあり、また、発話した内容をそのまま文字で表示するだけであるため運転者が直観的に内容を理解しにくいという課題があった。さらに、発話した内容が抽象的で曖昧な表現であったとしてもそのまま文字で表示するだけであるため、運転者が表示された内容を具体的な表現に解釈する必要があり煩わしいという課題もあった。

この発明は、上記のような課題を解決するためになされたものであり、同乗者が運転者に対して行なった道案内表現のみを抽出し、抽象的な道案内表現を解釈して具体化し、その具体化された内容を直観的に理解しやすいように提示することができるナビゲーション装置および方法を提供することを目的とする。

上記目的を達成するため、この発明は、移動体の位置を取得する位置取得部を備え、当該位置取得部により取得された移動体の位置と地図データとに基づいて道案内を行うナビゲーション装置において、入力された音声を取得する音声取得部と、前記音声取得部により取得された音声データから音声認識処理を行う音声認識部と、道案内表現を記憶する道案内表現記憶部と、前記道案内表現記憶部を参照して、前記音声認識部による認識結果から道案内表現を抽出する道案内表現抽出部と、前記道案内表現抽出部により抽出された道案内表現を解釈して、具体的道案内表現を特定する道案内表現解釈部と、前記具体的道案内表現に対応する提示内容を、前記具体的道案内表現と対応付けて記憶する道案内表現提示内容記憶部と、前記道案内表現提示内容記憶部を参照して、前記道案内表現解釈部により特定された具体的道案内表現に基づいて、対応する提示内容を取得する道案内表現提示内容取得部と、前記道案内表現提示内容取得部により取得された提示内容を出力する提示制御出力部とを備えることを特徴とする。

この発明のナビゲーション装置によれば、同乗者などの発話者が運転者に行なった道案内表現のみを抽出し、抽象的な道案内表現を解釈して具体化し、その具体化された道案内表現に対応する提示内容を出力するようにしたので、運転者が直観的に内容を理解することができ、運転者の聞き間違いを防止し、発話者が意図しない方向に進むことを防止することができる。

実施の形態１によるナビゲーション装置の一例を示すブロック図である。道案内表現記憶部３の一例を示す図である。提示内容が視覚的提示内容である場合の道案内表現提示内容記憶部８の一例を示す図である。実施の形態１によるナビゲーション装置の動作を示すフローチャートである。実施の形態１において、提示内容が視覚的提示内容である場合にユーザに提示された道案内情報の画面例を示す図である。実施の形態２によるナビゲーション装置の一例を示すブロック図である。実施の形態２によるナビゲーション装置の動作を示すフローチャートである。実施の形態２において、提示内容が視覚的提示内容である場合にユーザに提示された道案内情報の画面の一例を示す図である。実施の形態２において、提示内容が視覚的提示内容である場合にユーザに提示された道案内情報の画面の他の例を示す図である。実施の形態３によるナビゲーション装置の動作を示すフローチャートである。実施の形態３において、提示内容が視覚的提示内容であって、道案内表現の中に場所を表す道案内表現が含まれている場合に、ユーザに提示された道案内情報の画面例を示す図である。実施の形態４によるナビゲーション装置の一例を示すブロック図である。実施の形態４における道案内表現記憶部３の一例を示す図である。実施の形態４によるナビゲーション装置の動作を示すフローチャートである。実施の形態５によるナビゲーション装置の一例を示すブロック図である。実施の形態５によるナビゲーション装置の動作を示すフローチャートである。実施の形態６によるナビゲーション装置の一例を示すブロック図である。実施の形態６によるナビゲーション装置の動作を示すフローチャートである。実施の形態７によるナビゲーション装置の一例を示すブロック図である。実施の形態７によるナビゲーション装置の動作を示すフローチャートである。実施の形態８によるナビゲーション装置の動作を示すフローチャートである。実施の形態９によるナビゲーション装置の一例を示すブロック図である。実施の形態９によるナビゲーション装置の動作を示すフローチャートである。実施の形態１０によるナビゲーション装置の一例を示すブロック図である。取り消し／訂正表現記憶部１６の一例を示す図である。実施の形態１０によるナビゲーション装置の動作を示すフローチャートである。実施の形態１０において、取り消し表現が抽出された場合の画面遷移例を示す図である。実施の形態１０において、訂正表現が抽出された場合の画面遷移例を示す図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
この発明は、地図データと自車（移動体）の位置に基づいて道案内を行うナビゲーション装置において、同乗者が運転者に対して行なった道案内表現のみを抽出し、抽象的な道案内表現を解釈して具体化し、その具体化された内容を運転者が直観的に理解しやすいように提示するものである。
図１は、この発明の実施の形態１によるナビゲーション装置の一例を示すブロック図である。このナビゲーション装置は、音声取得部１と、音声認識部２と、道案内表現記憶部３と、道案内表現抽出部４と、地図データ記憶部５と、自車位置取得部（位置取得部）６と、道案内表現解釈部７と、道案内表現提示内容記憶部８と、道案内表現提示内容取得部９と、提示制御部１０と、表示部２１、音声出力部２２により構成されている。なお、この提示制御部１０と、表示部２１および音声出力部２２が、提示制御出力部２０を構成する。また、図示は省略したが、このナビゲーション装置は、キーやタッチパネル等による入力信号を取得するキー入力部も備えている。

音声取得部１は、マイク等により集音されたユーザ発話、すなわち、入力された音声をＡ／Ｄ変換して、例えばＰＣＭ（ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）形式で取得する。
音声認識部２は、認識辞書（図示せず）を有し、音声取得部１により取得された音声データから、同乗者などの発話者が発話した内容に該当する音声区間を検出し、特徴量を抽出し、その特徴量に基づいて認識辞書を用いて音声認識処理を行う。なお、音声認識部２は、ネットワーク上の音声認識サーバを使用してもよい。

道案内表現記憶部３は、通常、人が道案内をする際に使用すると想定される表現を記憶している。
図２は、道案内表現記憶部３の一例を示す図である。この図に示すように、道案内表現記憶部３は、例えば、道案内を行うべき道案内地点にある目印を指し示す指示語を表す「あの」「その」「次の」「突き当り」「１００メートル先」「２００メートル先」など、目印を表す「交差点」「ファミレス」「車」「信号」など、また、進行方向を表す直接的表現として「右折」「右」「左」「西」など、および、進行方向を表す間接的表現として「道なりに」「こっち」などの道案内表現を記憶している。
道案内表現抽出部４は、道案内表現記憶部３を参照しながら形態素解析を行い、音声認識部２の音声認識結果の文字列から道案内表現を抽出する。

地図データ記憶部５は、例えば道路データ、交差点データ、施設データ等の地図データを記憶している。この地図データ記憶部５は、例えばＤＶＤ−ＲＯＭ、ハードディスク、ＳＤカードなどの記憶媒体であってもよいし、ネットワーク上に存在し、通信ネットワークを介して道路データなどの情報を取得できる構成（地図データ取得部）であってもよい。
自車位置取得部（位置取得部）６は、ＧＰＳ受信機やジャイロスコープなどから取得した情報を用いて、現在の自車（移動体）の位置（経緯度）と進行方向を取得するものである。

道案内表現解釈部７は、道案内表現抽出部４により抽出された道案内表現を取得して、それぞれの道案内表現を解釈して具体的道案内表現を特定する。この実施の形態１では、進行方向を表す道案内表現についてのみ説明する。例えば、抽出された道案内表現の中に「右折」「右に」などの直接的な方向を示す表現が含まれている場合には、それがそのまま具体的な方向を示していると解釈し、「右折」「右に」を具体的道案内表現として特定する。一方、「道なりに」「こっち」などの間接的な方向を示す表現が含まれている場合には、地図データ記憶部５から取得した地図データと、自車位置取得部（位置取得部）６から取得した自車（移動体）の位置および進行方向を用いて、道案内表現の中に含まれていた間接的な方向を示す表現が示す具体的な方向を解釈して、具体的な道案内表現を特定する。例えば、道が斜め右上方向（北東方向）に徐々に曲がって行っている状態であれば、「道なりに」というのは斜め右上に進むことであると解釈し、「斜め右上に」という具体的道案内表現を特定する。

道案内表現提示内容記憶部８は、道案内表現解釈部７で特定された進行方向を表す具体的道案内表現を、当該具体的道案内表現に対応する提示内容（視覚的提示内容または聴覚的提示内容）と対応付けて記憶している。具体的道案内表現に対応する提示内容が視覚的提示内容である場合には、その提示内容は、ナビの表示画面上やダッシュボード上などに、運転者に対して視覚的に提示する内容であり、例えば矢印やその他の方向を指し示す図形、方向を表す文字、地図上の進むべき道を色替えや太さにより強調して提示するものなどである。
図３は、提示内容が視覚的提示内容である場合の道案内表現提示内容記憶部８の一例を示す図である。この図に示すように、例えば、「右折」「右へ」「右に」などの具体的道案内表現に対して、右矢印の図形データ、「右折」「右」などの文字表現（文字列データ）、地図上の右折すべき道の色や道の太さの情報などが記憶されている。なお、この図３では、右折の場合も左折の場合も、また、斜め右上方向の場合にも、道の色や道の太さは同じに設定されているが、道案内表現ごとに異なる色や太さとしてもよい。

また、提示内容が聴覚的提示内容である場合の道案内表現提示内容記憶部８については図示は省略するが、例えば、図２に示すような想定される具体的道案内表現を、それぞれ音声データ（合成音声）として記憶しておく他、「右折」「右へ」「右に」という具体的道案内表現に対して「右折」という音声データ（合成音声）、「左折」「左へ」「左に」という具体的道案内表現に対して「左折」という音声データ（合成音声）、などが記憶されている。
なお、図３に示す例では、進行方向を表す具体的道案内表現についてのみ対応する提示内容が記憶されているが、その他、交差点の名称やレストランの名称など、想定されるすべての具体的道案内表現について、音声データ（合成音声）を記憶しておくようにしてもよい。

道案内表現提示内容取得部９は、道案内表現解釈部７により抽出された具体的道案内表現を検索キーとして、道案内表現提示内容記憶部８を検索し、検索キーと一致する具体的道案内表現に対応する提示内容（視覚的提示内容または聴覚的提示内容）を取得する。
なお、ここでは、提示内容が聴覚的提示内容である場合には、予め合成音声を作成して道案内表現提示内容記憶部８に記憶しておくものとしたが、道案内表現提示内容記憶部８に記憶されている音声データに基づいて、道案内表現提示内容取得部９が合成音声を作成することにより提示内容を取得するようにしてもよい。なお、文字列から合成音声を生成する方法については、公知の方法であるためここでは説明を省略する。

提示制御部１０は、道案内表現提示内容取得部９により取得された提示内容を、表示部２１または音声出力部２２（またはその両方）に出力する。すなわち、その提示内容が視覚的提示内容である場合には、表示部２１（例えば、ナビの表示画面上や、ダッシュボート上、フロントガラス上など）に出力し、提示内容が聴覚的提示内容である場合には、音声出力部２２（スピーカなど）に出力する。

次に、前述のように構成された実施の形態１によるナビゲーション装置の動作について説明する。図４は、実施の形態１によるナビゲーション装置の動作を示すフローチャートである。
まず初めに、何等かの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ０１）。次に、音声取得部１で取得された音声データを音声認識部２が認識する（ステップＳＴ０２）。そして、道案内表現抽出部４が、音声認識部２の認識結果から、道案内表現記憶部３を参照しながら道案内表現を抽出する（ステップＳＴ０３）。その後、抽出された道案内表現を、道案内表現解釈部７が解釈して、具体的道案内表現を特定する（ステップＳＴ０４〜ＳＴ１１）。

まず、ステップＳＴ０３において抽出された道案内表現の中に、進行方向を表す道案内表現が含まれているか否かを判断する（ステップＳＴ０４）。そして、進行方向を表す道案内表現が含まれていなかった場合（ステップＳＴ０４のＮＯの場合）には、処理を終了する。一方、含まれていた場合（ステップＳＴ０４のＹＥＳの場合）には、その進行方向を表す道案内表現が、直接的な進行方向を表す道案内表現であるか否かを判断する（ステップＳＴ０５）。ここで、例えば「道なりに」など、間接的な進行方向を表す道案内表現であった場合（ステップＳＴ０５のＮＯの場合）には、その「道なりに」という道案内表現と、地図データと、自車（移動体）の位置および進行方向とに基づいて、具体的にはどの進行方向であるのかを解釈し、具体的道案内表現を特定する（ステップＳＴ０６）。
一方、ステップＳＴ０５において、例えば「右折」など、直接的な進行方向を表す道案内表現であった場合（ステップＳＴ０５のＹＥＳの場合）には、「右折」という直接的な進行方向を表す道案内表現を、具体的道案内表現として特定する（ステップＳＴ０７）。

上記のとおり、ステップＳＴ０６またはＳＴ０７において具体的道案内表現が特定された後、道案内表現提示内容取得部９が、道案内表現解釈部７により特定された具体的道案内表現を検索キーとして、道案内表現提示内容記憶部８を検索し、検索キーと一致する具体的道案内表現を検索することにより、その具体的道案内表現に対応する提示内容（視覚的提示内容または聴覚的提示内容）を検索する（ステップＳＴ０８）。

そして、検索キーと一致する具体的道案内表現が見つかった場合（ステップＳＴ０９のＹＥＳの場合）には、その具体的道案内表現に対応する提示内容（視覚的提示内容または聴覚的提示内容またはその両方）を取得し（ステップＳＴ１０）、提示制御出力部２０が、その提示内容を出力（表示または音声出力またはその両方により出力）する（ステップＳＴ１１）。一方、検索キーと一致する具体的道案内表現が見つからなかった場合（ステップＳＴ０９のＮＯの場合）には、処理を終了する。

具体的な例を挙げて説明すると、例えば、同乗者が「そのまま道なりに進んで」と発話した場合、音声取得部１がその音声データを取得し（ステップＳＴ０１）、音声認識部２により「そのまま道なりに進んで」という認識結果が得られる（ステップＳＴ０２）。そして、道案内表現抽出部４が、図２に示すような道案内表現記憶部３を参照して、道案内表現として文字列「道なりに」を抽出する（ステップＳＴ０３）。その後、道案内表現解釈部７が、文字列「道なりに」は間接的な進行方向を表す道案内表現であると判断し（ステップＳＴ０４のＹＥＳ、かつ、ステップＳＴ０５のＮＯの場合）、この「道なりに」という道案内表現を「走行している道が曲がっている方向に」であると解釈するとともに、地図データと、自車（移動体）の位置および進行方向とに基づいて、具体的にはどの進行方向であるのかを解釈する。すなわち、そのときの自車（移動体）が位置する道路が、斜め右上方向（北東方向）に徐々に曲がっているような道であり、その方向へ進んでいるとすると、「道なりに」とは「斜め右上に」という具体的道案内表現であると特定する（ステップＳＴ０６）。

その後、文字列「斜め右上に」を検索キーとして、図３に示すような道案内表現提示内容記憶部８を検索する（ステップＳＴ０８）。そして、図３の中に「斜め右上に」という具体的道案内表現が見つかるので（ステップＳＴ０９のＹＥＳの場合）、その「斜め右上に」という具体的道案内表現に対応する視覚的提示内容である“斜め右上向きの矢印図形データ”や、聴覚的提示内容である“「斜め右上方向に」という音声データ”または“「北東方向に」という音声データ”を取得する（ステップＳＴ１０）。そして、取得した提示内容が視覚的提示内容である場合には、表示画面上などに出力し、また、提示内容が聴覚的提示内容である場合には、スピーカから出力する（ステップＳＴ１１）。なお、両方の提示内容が取得された場合には、表示および音声出力の両方を行う。

図５は、提示内容が視覚的提示内容である場合に、その提示内容を表示画面上に出力してユーザに提示した画面例を示す図である。図５（ａ）は、ナビゲーション画面３１に自車３２が三角形で表示されている表示画面と、同乗者により「そのまま道なりに進んで」と発話された状態を示しており、その発話内容が吹き出し３３で示されている。そして、図５（ｂ）は、この際にナビゲーション装置によって前述の図４に示すフローチャートの処理が行われた結果、図５（ａ）と同じナビゲーション画面３１上に視覚的提示内容として“斜め右上向きの矢印図形データ”３４が表示された状態を示している。

なお、提示内容が視覚的提示内容である場合、図３に示す具体的道案内表現に対応する提示内容として、図形データ以外に文字データもあれば、その文字情報も同時に表示するようにしてもよい。また、いずれの表示とするかをユーザが設定できるようにしてもよい。
また、図５（ｂ）ではちょうど道路上に矢印が表示されている状態を示しているが、表示場所については画面上のどの場所でもよく、固定の表示場所としてもよいし、道路が隠れないような場所に表示されるようにしてもよい。また、ナビゲーション装置の表示画面上ではなく、フロントガラス上であってもよい。さらに、表示画面とフロントガラスなど、出力デバイスが複数ある場合には、提示デバイス特定部をさらに備える構成とし、どの出力デバイスに提示させるかを決定するようにしてもよい。
また、表示させる図形や文字を点滅させたり、右から左へ移動させたり、フェードインさせるように表示するなど、ユーザがより認識しやすい方法で表示させるようにしてもよい。また、いずれの方法で表示するかをユーザが設定できるようにしてもよい。

また、出力する提示内容として、視覚的提示内容のみを表示するか、聴覚的提示内容のみを音声出力するか、両方とも出力するかを、ユーザが設定できるようにしてもよい。
なお、提示内容として視覚的提示内容と聴覚的提示内容の両方が出力される場合には、聴覚的提示内容としては具体的道案内表現に対応する音声データではなく、例えば「ポーン」というような非言語音により注意を促すもの（気づかせるための効果音）としてもよい。また、視覚的提示内容のみが出力される場合に、そのような非言語音の聴覚的提示内容を合わせて出力するような構成としてもよい。

なお、この実施の形態では、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態１によれば、同乗者などの発話者が発話した道案内表現のみを抽出し、抽象的な道案内表現を解釈して具体化し、その具体化された道案内表現を矢印などの図形データや文字データなどで視覚的に表示することができるので、運転者が直観的に理解しやすくなり、運転者の聞き間違いを防止し、発話者が意図しない方向に進むことを防止することができる。また、運転者への提示内容が視覚的提示内容ではなくて聴覚的提示内容である場合にも、同乗者などの発話者が発話した道案内表現を具体化した内容を音声で出力することにより、運転者の聞き間違いを防止し、発話者が意図しない方向に進むことを防止することができる。さらに、具体化された道案内表現に対応した視覚的提示内容と聴覚的提示内容の両方を出力することにより、運転者の聞き間違いによって発話者が意図しない方向に進むことを、より一層防止することができる。

実施の形態２．
図６は、この発明の実施の形態２によるナビゲーション装置の一例を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態２では、実施の形態１と比べると、道案内表現解釈部７が、具体的道案内表現を特定するだけではなく、道案内を行うべき目印（道案内地点）の名称を提示制御部１０に出力したり、提示内容が視覚的提示内容である場合の表示位置（道案内地点の位置）を特定して提示制御部１０に出力するものである。

道案内表現解釈部７は、道案内表現抽出部４により抽出された道案内表現を取得して、それぞれの道案内表現を解釈して具体的道案内表現を特定する。この実施の形態２では、実施の形態１と同様に進行方向を表す道案内表現について具体的道案内表現を特定するだけではなく、その他の道案内表現についても説明する。例えば、抽出された道案内表現の中に「その」「あの」「次の」「突き当り」「１００メートル先」「２００メートル先」などの指示語が含まれている場合には、地図データ記憶部５から取得した地図データと、自車位置取得部（位置取得部）６から取得した自車（移動体）の位置および進行方向を用いて、道案内表現の中に含まれていた指示語が指し示す目印や場所（道案内を行うべき道案内地点）を解釈して、その道案内地点の名称と位置を特定する。例えば、道案内表現抽出部４により抽出された「次の」「交差点」という道案内表現から、地図データと自車（移動体）の位置と進行方向を用いてどの交差点であるかを解釈し、「本町一丁目交差点」という具体的道案内表現とその位置を特定したり、「その」「ファミレス」という道案内表現から、地図データと自車（移動体）の位置と進行方向を用いてどのファミレスであるかを解釈し、「レストラン○○」という具体的道案内表現とその位置を特定する。また、例えば「突き当り」や「２００メートル先」という指示語のみの（目印を表す道案内表現を含まない）道案内表現から、地図データと自車（移動体）の位置と進行方向を用いて、その道案内地点がどこであるかを解釈し、「本町一丁目交差点」という具体的道案内表現と位置を特定する。そして、具体的道案内表現については道案内表現提示内容取得部９に出力し、位置については提示制御部１０に出力する。また、実施の形態１における道案内表現解釈部７と同様に、例えば、抽出された道案内表現の中に「右折」「右に」などの直接的な方向を示す表現が含まれている場合には、そのままであると解釈し、「右折」「右に」を具体的道案内表現として特定する。一方、「道なりに」「こっち」などの間接的な方向を示す表現が含まれている場合には、地図データ記憶部５から取得した地図データと、自車位置取得部（位置取得部）６から取得した自車（移動体）の位置および進行方向を用いて、道案内表現の中に含まれていた間接的な方向を示す表現が示す具体的な方向を解釈して、具体的な道案内表現を特定する。例えば、道が斜め右上方向（北東方向）に徐々に曲がって行っている状態であれば、「道なりに」というのは斜め右上に進むことであると解釈し、「斜め右上に」という具体的道案内表現を特定する。

提示内容が視覚的提示内容である場合の道案内表現提示内容記憶部８の一例を示す図としては、実施の形態１の図３と同じである。ただし、図３に示す例では、進行方向を表す具体的道案内表現についてのみ対応する提示内容が記憶されているが、この実施の形態２では、図３に示すような進行方向を表す具体的道案内表現以外に、交差点の名称やレストランの名称など、想定されるすべての具体的道案内表現について、音声データ（合成音声）を記憶しておくようにしてもよい。

提示制御部１０は、道案内表現提示内容取得部９により取得された提示内容を、表示部２１または音声出力部２２（またはその両方）に出力する際に、提示内容が視覚的提示内容である場合には、道案内表現解釈部７により特定された道案内地点の位置にその提示内容を表示する。

次に、前述のように構成された実施の形態２によるナビゲーション装置の動作について説明する。図７は、実施の形態１によるナビゲーション装置の動作を示すフローチャートである。
ステップＳＴ２１〜ＳＴ２６までの処理については、実施の形態１における図４のフローチャートのステップＳＴ０１〜ＳＴ０６と同じであるため、説明を省略する。そして、この実施の形態２では、ステップＳＴ２５において、例えば「右折」など、直接的な進行方向を表す道案内表現であった場合（ステップＳＴ２５のＹＥＳの場合）には、さらに、目印を指示または表す道案内表現があるか否かを判断する（ステップＳＴ２７）。ここで、目印を指示または表す道案内表現がない場合（ステップＳＴ２７のＮＯの場合）には、「右折」という直接的な進行方向を表す道案内表現を、具体的道案内表現として特定する（ステップＳＴ２８）。その後の、ステップＳＴ３２〜ＳＴ３７の処理については、後述する。

一方、例えば「次の」など、目印を指示する道案内表現や、例えば「交差点」など、目印を表す道案内表現があった場合（ステップＳＴ２７のＹＥＳの場合）には、さらにその目印を指示または表す道案内表現により目印である道案内地点の特定が可能か否かを判断する（ステップＳＴ２９）。ここで、例えば「交差点」など、目印を表す道案内表現がある場合には、「次の」「交差点」という道案内表現と、地図データと、自車（移動体）の位置および進行方向とに基づいて、目印である道案内地点を特定することが可能である。また、目印を表す道案内表現がない場合であっても、例えば「突き当り」や「２００メートル先」などの指示語の道案内表現のみで、地図データと、自車（移動体）の位置および進行方向とに基づいて、その指示語が指し示す道案内地点を特定することが可能である。このように、目印である道案内地点の特定が可能な場合（ステップＳＴ２９のＹＥＳの場合）には、その道案内地点の名称と位置を取得する（ステップＳＴ３０）。そして、取得された道案内地点の名称と、ステップＳＴ２５において直接的な進行方向を表す道案内表現と判断された道案内表現とを、具体的道案内表現として特定する（ステップＳＴ３１）。その後の、ステップＳＴ３２〜ＳＴ３７の処理については、後述する。

また、ステップＳＴ２９において、道案内地点の特定ができなかった場合（ステップＳＴ２９のＮＯの場合）には、ステップＳＴ２５において直接的な進行方向を表す道案内表現と判断された道案内表現を、具体的道案内表現として特定する（ステップＳＴ２８）。その後の、ステップＳＴ３２〜ＳＴ３７の処理について、以下に示す。

上記のとおり、ステップＳＴ２６，ＳＴ２８，ＳＴ３１のいずれかにおいて具体的道案内表現が特定された後には、道案内表現提示内容取得部９が、道案内表現解釈部７により特定された具体的道案内表現を検索キーとして、道案内表現提示内容記憶部８を検索し、検索キーと一致する具体的道案内表現を検索することにより、その具体的道案内表現に対応する提示内容（視覚的提示内容または聴覚的提示内容）を検索する（ステップＳＴ３２）。

そして、検索キーと一致する具体的道案内表現が見つかった場合（ステップＳＴ３３のＹＥＳの場合）には、その具体的道案内表現に対応する提示内容（視覚的提示内容または聴覚的提示内容またはその両方）を取得する（ステップＳＴ３４）。さらに、取得した提示内容が視覚的提示内容であり、かつ、ステップＳＴ３０において道案内地点の位置を取得している場合（ステップＳＴ３５のＹＥＳの場合）には、提示制御出力部２０が、その視覚的提示内容を、その取得された位置に表示する（ステップＳＴ３６）。一方、ステップＳＴ３５において取得された提示内容が聴覚的提示内容であるか、または、ステップＳＴ３０の道案内地点の位置を取得する処理を経由していない場合には、ステップＳＴ３４で取得された提示内容を出力（表示または音声出力またはその両方により出力）する（ステップＳＴ３７）。また、検索キーと一致する具体的道案内表現が見つからなかった場合（ステップＳＴ３３のＮＯの場合）には、処理を終了する。

具体的な例を挙げて説明すると、例えば、同乗者が「次の交差点を右折して」と発話した場合、音声取得部１がその音声データを取得し（ステップＳＴ２１）、音声認識部２により「次の交差点を右折して」という認識結果が得られる（ステップＳＴ２２）。そして、道案内表現抽出部４が、図２に示すような道案内表現記憶部３を参照して、道案内表現として文字列「次の」「交差点」「右折」を抽出する（ステップＳＴ２３）。その後、道案内表現解釈部７が、文字列「右折」は直接的な進行方向を表す道案内表現であると判断し（ステップＳＴ２４のＹＥＳ、かつ、ステップＳＴ２５のＹＥＳの場合）、さらに目印を指示する道案内表現があるか否かを判断する（ステップＳＴ２７）。ここで、「次の」および「交差点」という目印を指示または表す道案内表現があり（ステップＳＴ２７のＹＥＳの場合）、かつ、「次の」「交差点」という道案内表現と、地図データと、自車（移動体）の位置および進行方向とに基づいて、具体的にはどの交差点のことであるのかという道案内地点を特定することができるので（ステップＳＴ２９のＹＥＳの場合）、その道案内地点を解釈して特定する。すなわち、「次の」「交差点」が意味する道案内地点は「本町一丁目交差点」であるということを解釈し、その名称「本町一丁目交差点」とその位置を取得する（ステップＳＴ３０）。そして、取得された道案内地点の「本町一丁目交差点」という名称と、進行方向を表す道案内表現「右折」とを、具体的道案内表現として特定する（ステップＳＴ３１）。

その後、文字列「右折」を検索キーとして、図３に示すような道案内表現提示内容記憶部８を検索する（ステップＳＴ３２）。そして、道案内表現提示内容記憶部８の中に「右折」という具体的道案内表現が見つかるので（ステップＳＴ３３のＹＥＳの場合）、その「右折」という具体的道案内表現に対応する視覚的提示内容である“右矢印の図形データ”や“「右折」という文字データ”、聴覚的提示内容である“「右折」という音声データ”を取得する。また、道案内表現提示内容記憶部８の中に、「本町一丁目交差点」という交差点の名称に対応する音声データが記憶されている場合には、それを取得することもできる（ステップＳＴ３４）。そして、取得した提示内容が視覚的提示内容である場合には、ステップＳＴ３０において道案内地点である「本町一丁目交差点」の位置も取得しているので（ステップＳＴ３５のＹＥＳの場合）、表示画面上の「本町一丁目交差点」の位置に、視覚的提示内容である“右矢印の図形データ”や“「右折」という文字データ”を出力する（ステップＳＴ３６）。また、提示内容が聴覚的提示内容である場合には、その音声データをスピーカから出力する（ステップＳＴ３７）。なお、両方の提示内容が取得された場合には、表示および音声出力の両方を行う。

図８は、提示内容が視覚的提示内容である場合に、その提示内容を表示画面上に出力してユーザに提示した画面の一例を示す図である。図８（ａ）は、ナビゲーション画面３１に自車３２が三角形で表示されている表示画面と、同乗者により「次の交差点を右折して」と発話された状態を示しており、その発話内容が吹き出し３３で示されている。なお、２つの交差点の名称３５はそれぞれ下から、「本町一丁目交差点」、「本町二丁目交差点」である。そして、図８（ｂ）は、この際にナビゲーション装置によって前述の図７に示すフローチャートの処理が行われた結果、図８（ａ）と同じナビゲーション画面３１上に視覚的提示内容として“右矢印の図形データ”３４が、「本町一丁目交差点」の位置に表示された状態を示している。

また、図９は、提示内容が視覚的提示内容である場合に、その提示内容を表示画面上に出力してユーザに提示した画面の他の例を示す図である。図９（ａ）は、ナビゲーション画面３１に自車３２が三角形で表示されている表示画面と、同乗者により「突き当りを右折して」と発話された状態を示しており、その発話内容が吹き出し３３で示されている。なお、２つの交差点の名称３５はそれぞれ下から、「本町一丁目交差点」、「本町二丁目交差点」である。そして、図９（ｂ）は、この際にナビゲーション装置によって前述の図７に示すフローチャートの処理が行われた結果、図９（ａ）と同じナビゲーション画面３１上に視覚的提示内容として“右矢印の図形データ”３４が、突き当りの「本町二丁目交差点」の位置に表示された状態を示している。

なお、提示内容が視覚的提示内容である場合、図３に示す具体的道案内表現に対応する提示内容として、図形データ以外に文字データもあれば、その文字情報も同時に表示するようにしてもよい。また、いずれの表示とするかをユーザが設定できるようにしてもよい。さらに、特定された道案内地点の名称も、表示するようにしてもよい。
また、提示内容が視覚的提示内容であっても、ステップＳＴ３０の道案内地点の位置を取得する処理を経由していない場合には、表示場所については画面上のどの場所でもよく、固定の表示場所としてもよいし、道路が隠れないような場所に表示されるようにしてもよい。また、ナビゲーション装置の表示画面上ではなく、フロントガラス上であってもよい。さらに、表示画面とフロントガラスなど、出力デバイスが複数ある場合には、提示デバイス特定部をさらに備える構成とし、どの出力デバイスに提示させるかを決定するようにしてもよい。
また、表示させる図形や文字を点滅させたり、右から左へ移動させたり、フェードインさせるように表示するなど、ユーザがより認識しやすい方法で表示させるようにしてもよい。また、いずれの方法で表示するかをユーザが設定できるようにしてもよい。

また、出力する提示内容として、視覚的提示内容のみを表示するか、聴覚的提示内容のみを音声出力するか、両方とも出力するかを、ユーザが設定できるようにしてもよい。
なお、提示内容として視覚的提示内容と聴覚的提示内容の両方が出力される場合には、聴覚的提示内容としては具体的道案内表現に対応する音声データではなく、例えば「ポーン」というような非言語音により注意を促すもの（気づかせるための効果音）としてもよい。また、視覚的提示内容のみが出力される場合に、そのような非言語音の聴覚的提示内容を合わせて出力するような構成としてもよい。
また、聴覚的提示内容のみが出力される場合には、例えば、「本町一丁目交差点、右折」のように、道案内表現解釈部７により特定された道案内地点の名称と具体的な進行方向との両方の音声データを続けて出力するようにしてもよい。

以上のように、この実施の形態２によれば、同乗者などの発話者が発話した道案内表現のみを抽出し、抽象的な道案内表現を解釈して具体化し、その具体化された道案内表現を矢印などの図形データや文字データなどで視覚的に、道案内地点の位置に表示することができるので、運転者が直観的に理解しやすくなり、運転者の聞き間違いを防止し、発話者が意図しない方向に進むことを防止することができる。また、運転者への提示内容が視覚的提示内容ではなくて聴覚的提示内容である場合にも、同乗者などの発話者が発話した道案内表現を具体化した内容を、道案内地点の名称とともに音声で出力することにより、運転者の聞き間違いを防止し、発話者が意図しない方向に進むことを防止することができる。さらに、具体化された道案内表現に対応した視覚的提示内容と聴覚的提示内容の両方を出力することにより、運転者の聞き間違いによって発話者が意図しない方向に進むことを、より一層防止することができる。

実施の形態３．
この発明の実施の形態３によるナビゲーション装置のブロック図については、実施の形態２における図６と同じであるので、図示および説明を省略する。以下に示す実施の形態３では、実施の形態２のナビゲーション装置において、現在設定されている経路（ルート）情報を考慮して、道案内表現に含まれる指示語が指し示す目印を特定するものである。

図１０は、実施の形態３によるナビゲーション装置の動作を示すフローチャートである。
このフローチャートのステップＳＴ５０以外のステップＳＴ４１〜ＳＴ４９およびステップＳＴ５１〜ＳＴ５７までの処理については、実施の形態２における図７のフローチャートのステップＳＴ２１〜ＳＴ２９およびステップＳＴ３１〜ＳＴ３７と同じであるため、説明を省略する。

そして、この実施の形態３では、ステップＳＴ４７において、例えば「次の」「交差点」など、目印を指示または表す道案内表現があった場合（ステップＳＴ４７のＹＥＳの場合）に、それら「次の」「交差点」という道案内表現と、地図データと、自車（移動体）の位置および進行方向とに基づいて、具体的にはどの交差点のことであるのかという道案内地点を特定することができるので（ステップＳＴ４９のＹＥＳの場合）、その道案内地点を解釈して特定する。この際、現在設定されている経路（ルート）情報も考慮して、道案内地点の名称と位置を取得する（ステップＳＴ５０）。
一方、ステップＳＴ４９において、道案内地点の特定ができなかった場合（ステップＳＴ４９のＮＯの場合）には、ステップＳＴ４５において直接的な進行方向を表す道案内表現と判断された道案内表現を、具体的道案内表現として特定する（ステップＳＴ４８）。

具体的な例として、例えば、同乗者が「次の交差点を右折して」と発話した場合について、図１１を参照しながら説明する。図１１は、提示内容が視覚的提示内容であって、道案内表現の中に場所を表す道案内表現が含まれている場合に、その提示内容を表示画面上に出力してユーザに提示した画面例を示す図である。図１１（ａ）は、図８（ａ）と同じ図であり、ナビゲーション画面３１に自車３２が三角形で表示されている表示画面と、同乗者により「次の交差点を右折して」と発話された状態を示しており、その発話内容が吹き出し３３で示されている。なお、２つの交差点の名称３５はそれぞれ下から、「本町一丁目交差点」、「本町二丁目交差点」であり、この時の設定経路（ルート）を矢印３６で示している。そして、図１１（ｂ）は、この際にナビゲーション装置によって前述の図１０に示すフローチャートの処理が行われた結果、図１１（ａ）と同じナビゲーション画面３１上に視覚的提示内容として“右矢印の図形データ”３４が、設定経路（ルート）情報も考慮して「本町二丁目交差点」の位置に表示された状態を示している。

すなわち、実施の形態２では、道案内表現解釈部７は、「次の」「○○」（例えば「交差点」）という表現を取得した場合、現在の自車（移動体）の位置から進行方向を向いた場合における最も近い「○○」（交差点）を指し示すと解釈したが、この実施の形態３の場合には、経路（ルート）として設定されている「次の」「○○」（交差点）であると解釈する。これにより、「○○」（交差点）が近距離に連続して存在するような場合であっても、道案内表現解釈部７は「次の」が指し示す「○○」（交差点）を、正確に「本町二丁目交差点」であると特定することができる。

なお、提示内容が視覚的提示内容である場合、図３に示す具体的道案内表現に対応する提示内容として、図形データ以外に文字データもあれば、その文字情報も同時に表示するようにしてもよい。また、いずれの表示とするかをユーザが設定できるようにしてもよい。さらに、特定された道案内地点の名称も、表示するようにしてもよい。
また、提示内容が視覚的提示内容であっても、ステップＳＴ５０の道案内地点の位置を取得する処理を経由していない場合には、表示場所については画面上のどの場所でもよく、固定の表示場所としてもよいし、道路が隠れないような場所に表示されるようにしてもよい。また、ナビゲーション装置の表示画面上ではなく、フロントガラス上であってもよい。さらに、表示画面とフロントガラスなど、出力デバイスが複数ある場合には、提示デバイス特定部をさらに備える構成とし、どの出力デバイスに提示させるかを決定するようにしてもよい。
また、表示させる図形や文字を点滅させたり、右から左へ移動させたり、フェードインさせるように表示するなど、ユーザがより認識しやすい方法で表示させるようにしてもよい。また、いずれの方法で表示するかをユーザが設定できるようにしてもよい。

また、出力する提示内容として、視覚的提示内容のみを表示するか、聴覚的提示内容のみを音声出力するか、両方とも出力するかを、ユーザが設定できるようにしてもよい。
なお、提示内容として視覚的提示内容と聴覚的提示内容の両方が出力される場合には、聴覚的提示内容としては具体的道案内表現に対応する音声データではなく、例えば「ポーン」というような非言語音により注意を促すもの（気づかせるための効果音）としてもよい。また、視覚的提示内容のみが出力される場合に、そのような非言語音の聴覚的提示内容を合わせて出力するような構成としてもよい。
また、聴覚的提示内容のみが出力される場合には、例えば、「本町二丁目交差点、右折」のように、道案内表現解釈部７により特定された道案内地点の名称と具体的な進行方向との両方の音声データを続けて出力するようにしてもよい。

なお、この実施の形態においても、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。
また、この実施の形態３における設定経路（ルート）情報を考慮する機能を使用するかしないかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態３によれば、実施の形態２と同様の効果に加え、現在設定されている経路（ルート）を考慮して、同乗者などの発話者が発話した抽象的な道案内表現で示された地点から、より正確に具体的な道案内地点の位置を特定して表示することができるので、運転者の聞き間違いや勘違いを防止し、発話者が意図しない方向に進むことを、より一層防止することができる。

実施の形態４．
図１２は、この発明の実施の形態４によるナビゲーション装置の一例を示すブロック図である。なお、実施の形態１〜３で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態４では、実施の形態３と比べると、外部対象物認識部１１が示されており、道案内表現解釈部７が、外部対象物認識部１１により出力された対象物に関する情報を用いて、道案内表現抽出部４により抽出された目印に関する道案内表現の内容を解釈するものである。

外部対象物認識部１１は、例えばカメラなどのセンサにより取得された情報を解析して、周囲の対象物（例えば車やランドマークなどの対象物）を認識し、その対象物の特徴やその対象物までの距離を出力する。なお、カメラなどのセンサにより取得された画像を解析して対象物を認識する方法や、その対象物までの距離を計測する方法は公知であるため、ここでは説明を省略する。
また、図１３は、この実施の形態４における道案内表現記憶部３の一例を示す図である。この図に示すとおり、この道案内表現記憶部３は、例えば「赤い」「白い」「背の高い」「大きい」「丸い」など、周囲の対象物の色や外観など、その対象物に関する付加情報を有している。

図１４は、実施の形態４によるナビゲーション装置の動作を示すフローチャートである。
このフローチャートのステップＳＴ６９〜ＳＴ７１以外のステップＳＴ６１〜ＳＴ６８およびステップＳＴ７２〜ＳＴ７８までの処理については、実施の形態２における図７のフローチャートのステップＳＴ２１〜ＳＴ２８およびステップＳＴ３１〜ＳＴ３７と同じであるため、説明を省略する。

そして、この実施の形態４では、ステップＳＴ６７において、例えば「あの」「車」など、目印を指示または表す道案内表現があった場合（ステップＳＴ６７のＹＥＳの場合）には、外部対象物認識部１１により周囲（外部）の対象物を認識し、その対象物の特徴を出力する（ステップＳＴ６９）。さらに、道案内表現解釈部７が、ステップＳＴ６３で道案内表現抽出部４により抽出された道案内表現と、外部対象物認識部１１により認識された対象物とが一致するか否かを判断する（ステップＳＴ７０）。ここで、一致する場合（ステップＳＴ７０のＹＥＳの場合）には、外部対象物認識部１１により出力された対象物までの距離を公知の方法により取得し、その距離情報と、地図データと、自車（移動体）の位置および進行方向とに基づいて、目印となる対象物、すなわち、道案内を行うべき道案内地点を特定し、その名称と位置を取得する（ステップＳＴ７１）。
一方、ステップＳＴ７０において、一致しないと判断された場合（ステップＳＴ７０のＮＯの場合）には、ステップＳＴ６５において直接的な進行方向を表す道案内表現と判断された道案内表現を、具体的道案内表現として特定する（ステップＳＴ６８）。

具体的な例を挙げて説明すると、例えば、自車（移動体）の前方で赤い車が交差点を右折しようとしているときに、同乗者が「あの赤い車が曲がったところを右折して」と発話したとする。この場合、音声取得部１がその音声データを取得し（ステップＳＴ６１）、音声認識部２により「あの赤い車が曲がったところを右折して」という認識結果が得られる（ステップＳＴ６２）。そして、道案内表現抽出部４が、図１３に示すような道案内表現記憶部３を参照して、道案内表現として文字列「あの」「赤い」「車」「右折」などを抽出する（ステップＳＴ６３）。この結果、ステップＳＴ６４，ＳＴ６５，ＳＴ６７の判断はすべてＹＥＳであるので、カメラなどの外部対象物認識部１１により周囲の対象物を認識し、その対象物の特徴を出力する（ステップＳＴ６９）。さらに、ステップＳＴ６３で抽出された道案内表現と、ステップＳＴ６９で外部対象物認識部１１により認識された対象物とが一致するか否かを判断する（ステップＳＴ７０）。ここで、ステップＳＴ６９では、カメラにより取得された画像が公知の技術で解析され、自車（移動体）の前方の対象物が「車」であり、その車の色が「赤い」ことが認識される。一方、同乗者の発話内容としては、目印を表す道案内表現「車」、付加情報を表す道案内表現「赤い」が抽出されている。したがって、画像分析により認識された対象物の内容と、道案内表現抽出部４により抽出された道案内表現とが一致するので（ステップＳＴ７０のＹＥＳの場合）、発話内容の「赤い車」は、自車（移動体）の前方の車であると特定され、カメラにより取得された赤い車（対象物）までの距離を公知の方法により取得し、その赤い車が曲がった位置（道案内を行うべき道案内地点）を取得する（ステップＳＴ７１）。そして、その道案内地点の名称と、進行方向を表す道案内表現「右折」を具体的道案内表現として特定し（ステップＳＴ７２）、赤い車が曲がった表示画面上の位置に、例えば“右矢印の図形データ”が表示される（ステップＳＴ７３〜ＳＴ７８）。

なお、この実施の形態においても、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。
また、この実施の形態４における周囲（外部）対象物を認識する機能を使用するかしないかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態４によれば、同乗者などの発話者が発話した道案内表現が、周囲（外部）の対象物に関するものであったとしても、その指示内容を解釈して提示するようにしたので、発話者の多様な道案内表現に対応することができ、発話者が意図しない方向に進むことを防止することができる。

実施の形態５．
図１５は、この発明の実施の形態５によるナビゲーション装置の一例を示すブロック図である。なお、実施の形態１〜４で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に説明する実施の形態５では、実施の形態１と比べると、ジェスチャー認識部１２を更に備え、同乗者などの発話者による情報にジェスチャーも含まれていた場合に、道案内表現解釈部７が、道案内表現抽出部４により抽出された道案内表現を、ジェスチャー認識部１２によるジェスチャーの認識結果に基づいて解釈して、同乗者が意図する進行方向を表す具体的道案内表現を特定するものである。

図１６は、実施の形態５によるナビゲーション装置の動作を示すフローチャートである。
ステップＳＴ８１〜ＳＴ８３までの処理、および、ステップＳＴ８７〜ＳＴ９０までの処理については、実施の形態１における図４のフローチャートのステップＳＴ０１〜ＳＴ０３、および、ステップＳＴ０８〜ＳＴ１１と同じであるため、説明を省略する。そして、この実施の形態５では、このステップＳＴ８１〜ＳＴ８３の処理と並行して、同乗者によるジェスチャー入力があると、ジェスチャー認識部１２が、例えば同乗者が発話した方向を指し示すジェスチャーを認識し、その方向を特定して出力する（ステップＳＴ８４）。なお、ジェスチャーを認識し、指示された方向を特定する方法は公知であるため、ここでは説明を省略する。

その後、ステップＳＴ８３において抽出された道案内表現の中に進行方向を表す道案内表現が含まれているか、または、ステップＳＴ８４において認識されたジェスチャーが進行方向を表すジェスチャーであるかを判断する（ステップＳＴ８５）。そして、進行方向を表す道案内表現が含まれておらず、かつ、進行方向を表すジェスチャーでなかった場合（ステップＳＴ８５のＮＯの場合）には、処理を終了する。一方、進行方向を表す道案内表現またはジェスチャーがある場合（ステップＳＴ８５のＹＥＳの場合）には、道案内表現解釈部７が、ステップＳＴ８４においてジェスチャー認識部１２により出力されたジェスチャーと、自車（移動体）の進行方向とに基づいて、ステップＳＴ８３において道案内表現抽出部４により抽出された進行方向を表す道案内表現を解釈し、具体的道案内表現を特定する（ステップＳＴ８６）。

具体的な例を挙げて説明すると、例えば、同乗者が「こっちに曲がって」と発話しながら、指で右方向を指し示すジェスチャーをした場合、音声取得部１がその音声データを取得し（ステップＳＴ８１）、音声認識部２により「こっちに曲がって」という認識結果が得られる（ステップＳＴ８２）。そして、道案内表現抽出部４が、図２に示すような道案内表現記憶部３を参照して、道案内表現として文字列「こっち」を抽出する（ステップＳＴ８３）。また、ジェスチャー認識部１２が、指で指し示した右方向のジェスチャーを認識する（ステップＳＴ８４）。ここで、ジェスチャーが指し示す方向から求められる方位角が９０度であり、自車位置取得部（位置取得部）６により取得された自車（移動体）の進行方向から求められる方位角が４５度であったとすると、道案内表現解釈部７は、９０度−４５度＞０から、進行方向を表す間接的な道案内表現「こっち」が「右」であると特定する。すなわち、道案内表現解釈部７が、進行方向を表す文字列「こっち」と、進行方向を表す右方向のジェスチャーと、自車（移動体）の進行方向とから、「右」という具体的道案内表現を特定する（ステップＳＴ８５〜ＳＴ８６）。

なお、この実施の形態においても、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。
また、この実施の形態５におけるジェスチャー認識の機能を使用するかしないかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態５によれば、同乗者などの発話者が発話した道案内表現が抽象的な道案内表現であって、かつ、地図データや自車（移動体）の位置から具体的な内容を解釈できない場合であっても、ジェスチャー認識の結果と対応付けることにより、具体的な道案内表現を特定することができるので、発話者が意図しない方向に進むことを防止することができる。

実施の形態６．
図１７は、この発明の実施の形態６によるナビゲーション装置の一例を示すブロック図である。なお、実施の形態１〜５で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に説明する実施の形態６では、実施の形態５と比べると、矛盾判定部１３を更に備え、同乗者などの発話者による発話内容から抽出された道案内表現と、ジェスチャー認識の結果が矛盾する場合には、道案内表現解釈部７において判断された結果に基づいて道案内表現の内容を特定するものである。

図１８は、実施の形態６によるナビゲーション装置の動作を示すフローチャートである。
ステップＳＴ１０１〜ＳＴ１０５までの処理、および、ステップＳＴ１０９〜ＳＴ１１２までの処理については、実施の形態５における図１６のフローチャートのステップＳＴ８１〜ＳＴ８５、および、ステップＳＴ８７〜ＳＴ９０と同じであるため、説明を省略する。そして、この実施の形態６では、ステップＳＴ１０３で抽出された道案内表現と、ステップＳＴ１０４で認識されたジェスチャーの認識結果とが一致するかどうかを判断する（ステップＳＴ１０６）。一致する場合（ステップＳＴ１０６のＹＥＳの場合）には、進行方向を表す道案内表現（＝進行方向を表すジェスチャー）を具体的道案内表現として特定する（ステップＳＴ１０７）。

一方、ステップＳＴ１０６の判断において、道案内表現とジェスチャー認識の結果とが一致しない場合（ステップＳＴ１０６のＮＯの場合）には、道案内表現解釈部７における所定の規則にしたがって、具体的道案内表現を特定する（ステップＳＴ１０８）。この道案内表現解釈部７における所定の規則とは、例えば、同乗者が言い間違えることの方が、ジェスチャーで間違った方向を指し示すことよりも多いという統計に基づいて、「結果が矛盾する場合にはジェスチャー認識の結果を採択する」という規則や、「経路（ルート）設定がされている場合には、その設定経路（ルート）に合致する方を採択する」という規則など、予め設定しておけばよい。

具体的な例を挙げて説明すると、例えば、同乗者が「次の交差点を右に曲がって」と発話しながら、指で左方向を指し示すジェスチャーをした場合、音声取得部１がその音声データを取得し（ステップＳＴ１０１）、音声認識部２により「次の交差点を右に曲がって」という認識結果が得られる（ステップＳＴ１０２）。そして、道案内表現抽出部４が、図２に示すような道案内表現記憶部３を参照して、道案内表現として文字列「次の」「交差点」「右」を抽出する（ステップＳＴ１０３）。また、ジェスチャー認識部１２が、指で指し示した左方向のジェスチャーを認識する（ステップＳＴ１０４）。この場合、ステップＳＴ１０３で抽出された道案内表現「右」と、ステップＳＴ１０４で認識されたジェスチャー「左」とが一致するか否かが判断される（ステップＳＴ１０５〜ＳＴ１０６）。

この例の場合には、一致しないので（ステップＳＴ１０６のＮＯの場合）、例えば、経路（ルート）設定がされている場合には、その設定経路（ルート）に合致する方を採用したり、また、経路（ルート）設定がされていない場合には、ジェスチャー認識の結果を採用するなど、予め定めておいた所定の規則にしたがって、道案内表現解釈部７が、具体的道案内表現を特定する。ここでは、「結果が矛盾する場合にはジェスチャー認識の結果を採択する」という規則が設定されていることとすると、その規則にしたがって、ジェスチャー認識の結果である「左」が具体的道案内表現として特定される（ステップＳＴ１０８）。

以上のように、この実施の形態６によれば、同乗者などの発話者が発話した道案内表現と、その同乗者によるジェスチャーの認識結果とが矛盾する場合であっても、道案内表現解釈部７における所定の規則にしたがって採択されるようにしたため、同乗者の言い間違いやジェスチャーの間違いにより、誤った方向に進むことを防止することができる。

なお、上記の実施の形態５〜６は、実施の形態１におけるナビゲーション装置が、さらにジェスチャー認識部１２や矛盾判定部１３を備えるものとして説明したが、実施の形態２におけるナビゲーション装置が、ジェスチャー認識部１２や矛盾判定部１３を備えるようにしてもよいことは、言うまでもない。

実施の形態７．
図１９は、この発明の実施の形態７によるナビゲーション装置の一例を示すブロック図である。なお、実施の形態１〜６で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に説明する実施の形態７では、実施の形態１と比べると、道案内表現適格性判定部１４を更に備え、提示内容が適格であるか否かを判定してから道案内表現を提示するものである。
道案内表現適格性判定部１４は、提示内容を提示してよいかどうかの適格性を判定する。ここで、適格性とは、例えば、発話者により指示された方向へ車両が通行できるか否かや、当該指示された方向へ進行した場合に設定された経路（ルート）を逸脱しないか否かなどをいう。

図２０は、実施の形態７によるナビゲーション装置の動作を示すフローチャートである。
ステップＳＴ１４１〜ＳＴ１４７までの処理については、実施の形態１における図４のフローチャートのステップＳＴ０１〜ＳＴ０７と同じであるため、説明を省略する。そして、この実施の形態７では、道案内表現適格性判定部１４が、ステップＳＴ１４３で道案内表現抽出部により抽出された道案内表現と、自車位置取得部（位置取得部）６により取得された自車位置（移動体の位置）と、地図データ記憶部５に記憶されている地図データとに基づいて、道案内表現を提示することが適格か否かを判定する（ステップＳＴ１４８）。この際、適格性があると判定された場合（ステップＳＴ１４８のＹＥＳの場合）には、実施の形態１における図４のステップＳＴ０８〜ＳＴ１１と同様に、道案内表現に対応する提示内容を検索し（ステップＳＴ１４９）、対応する提示内容が見つかった場合には、その提示内容を取得して出力する（ステップＳＴ１５０〜ＳＴ１５２）。
一方、ステップＳＴ１４８において適格性がないと判定された場合（ステップＳＴ１４８のＮＯの場合）には、処理を終了する。

具体的な例を挙げて説明すると、例えば、同乗者が「次の交差点を右折して」と発話した場合、音声取得部１がその音声データを取得し（ステップＳＴ１４１）、音声認識部２により「次の交差点を右折して」という認識結果が得られる（ステップＳＴ１４２）。そして、道案内表現抽出部４が、図２に示すような道案内表現記憶部３を参照して、道案内表現として文字列「次の交差点」および「右折」を抽出する（ステップＳＴ１４３）。ここで、「右折」は直接的進行方向を表す道案内表現であるので（ステップＳＴ１４４がＹＥＳ、かつ、ステップＳＴ１４５もＹＥＳの場合）、道案内表現解釈部７が、その道案内表現「右折」を具体的道案内表現として特定する（ステップＳＴ１４７）。

この際、自車位置と、地図データとに基づいて、「次の交差点」を特定し、当該交差点で右折したときの道路情報を地図データを用いて調べた結果が、例えば一方通行で進入禁止である場合には、道案内表現が適格でないと判定され（ステップＳＴ１４８のＮＯの場合）、処理を終了する。また、例えばその交差点を右折すると設定されている経路（ルート）から逸脱する場合にも同様に、道案内表現が適格でないと判定される。
一方、道案内表現が適格であると判定された場合（ステップＳＴ１４８のＹＥＳの場合）には、実施の形態１のステップＳＴ０８〜ＳＴ１１の処理と同様の処理（ステップＳＴ１４９〜ＳＴ１５２）を行い、 “右矢印の図形データ”や“「右折」の文字列データ”、“道の色を赤にする”や“道の太さを○○ドットにする”といった情報、または、聴覚的提示内容である“「右折」という音声データ”を出力する。

なお、この実施の形態においても、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。
また、この実施の形態７における道案内表現適格性判定の機能を使用するかしないかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態７によれば、同乗者などの発話者が発話した道案内表現が適格であるか否かを判定するようにしたので、実施の形態１における効果に加え、発話者の不適格な発話に基づいて提示内容が提示され、運転者が誤った経路を進むことや、交通違反を起こすことを防止することができる。

実施の形態８．
この発明の実施の形態８によるナビゲーション装置の一例を示すブロック図は、実施の形態７における図１９に示すブロック図と構成としては同じであるので、図示および説明を省略する。以下に説明する実施の形態８では、実施の形態７と比べると、道案内表現適格性判定部１４により道案内表現が適格でないと判定された場合に、道案内表現が適格でない旨の提示内容を提示するものである。
また、その際、道案内表現提示内容取得部９は、道案内表現提示内容記憶部８から、道案内表現が適格でない旨を表す提示内容を取得する。なお、道案内表現提示内容記憶部８に記憶されている、道案内表現が適格でない旨を表す提示内容については、図示を省略するが、道案内表現適格性判定部１４により道案内表現が適格でないと判定された場合に対応する提示内容として、例えば、「×」という図形データや、「通行できません」という文字列、「経路を逸脱します」という文字列などを記憶している。

図２１は、実施の形態８によるナビゲーション装置の動作を示すフローチャートである。
ステップＳＴ１６１〜ＳＴ１７２までの処理については、実施の形態７における図２０のフローチャートのステップＳＴ１４１〜ＳＴ１５２とほぼ同じであるため、同一の処理については説明を省略する。そして、この実施の形態９では、道案内表現適格性判定部１４が、ステップＳＴ１６８において道案内表現を提示することが適格か否かを判定した際に、適格性があると判定された場合（ステップＳＴ１６８のＹＥＳの場合）には、実施の形態７における図２０のステップＳＴ１４９〜ＳＴ１５２と同様に、道案内表現に対応する提示内容を検索し（ステップＳＴ１６９）、対応する提示内容が見つかった場合には、その提示内容を取得して出力する（ステップＳＴ１７０〜ＳＴ１７２）。
一方、ステップＳＴ１６８において適格性がないと判定された場合（ステップＳＴ１６８のＮＯの場合）には、実施の形態７では処理を終了するのみであったが、この実施の形態８では、道案内表現提示内容取得部９が、道案内表現が適格でない旨の提示内容を取得し（ステップＳＴ１７３）、その提示内容を出力する（ステップＳＴ１７２）。

具体的な例を挙げて説明すると、実施の形態７と同様に、例えば、同乗者が「次の交差点を右折して」と発話した場合、音声取得部１がその音声データを取得し（ステップＳＴ１６１）、音声認識部２により「次の交差点を右折して」という認識結果が得られる（ステップＳＴ１６２）。そして、道案内表現抽出部４が、図２に示すような道案内表現記憶部３を参照して、道案内表現として文字列「次の交差点」および「右折」を抽出する（ステップＳＴ１６３）。ここで、「右折」は直接的進行方向を表す道案内表現であるので（ステップＳＴ１６４がＹＥＳ、かつ、ステップＳＴ１６５もＹＥＳの場合）、道案内表現解釈部７が、その道案内表現「右折」を具体的道案内表現として特定する（ステップＳＴ１６７）。

この際、自車位置と、地図データとに基づいて、「次の交差点」を特定し、当該交差点で右折したときの道路情報を地図データを用いて調べた結果が、例えば一方通行で進入禁止である場合には、道案内表現が適格でないと判定される（ステップＳＴ１６８のＮＯの場合）。また、例えばその交差点を右折すると設定されている経路（ルート）から逸脱する場合にも同様に、道案内表現が適格でないと判定される。この際、道案内表現提示内容取得部９が、道案内表現提示内容記憶部８から、例えば「×」という図形データや、「通行できません」という文字列データや、「経路を逸脱します」という文字列データなどを取得して（ステップＳＴ１７３）、出力する（ステップＳＴ１７２）。

なお、この実施の形態においても、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。
また、この実施の形態８における道案内表現適格性判定の機能を使用するかしないかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態８によれば、同乗者などの発話者が発話した道案内表現が適格であるか否かを判定し、適格でない場合にはその旨を提示するようにしたので、実施の形態１における効果に加え、発話者の不適格な発話に基づいて提示内容が提示されないだけでなく、運転者は自身が認識した発話内容が不適格であることがわかり、誤った経路を進むことや、交通違反を起こすことを防止することができる。

実施の形態９．
図２２は、この発明の実施の形態９によるナビゲーション装置の一例を示すブロック図である。なお、実施の形態１〜８で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に説明する実施の形態９では、実施の形態７と比べると、経路再設定部１５を更に備え、道案内表現適格性判定部１４により、設定された経路（ルート）を逸脱するために、提示内容（道案内表現）が適格でないと判定された場合に、当該逸脱した経路を経由地とした目的地への経路を再設定するものである。
経路再設定部１５は、道案内表現適格性判定部１４により、設定された経路から逸脱するために道案内表現が適格でないと判定された場合に、当該逸脱した経路を経由地とする目的地への経路を再設定する。

図２３は、実施の形態９によるナビゲーション装置の動作を示すフローチャートである。
ステップＳＴ１８１〜ＳＴ１９２までの処理については、実施の形態７における図２０のフローチャートのステップＳＴ１４１〜ＳＴ１５２とほぼ同じであるため、同一の処理については説明を省略する。そして、この実施の形態９では、道案内表現適格性判定部１４が、ステップＳＴ１８８において道案内表現を提示することが適格か否かを判定した際に、適格性があると判定された場合（ステップＳＴ１８８のＹＥＳの場合）には、実施の形態７における図２０のステップＳＴ１４９〜ＳＴ１５２と同様に、道案内表現に対応する提示内容を検索し（ステップＳＴ１８９）、対応する提示内容が見つかった場合には、その提示内容を取得して出力する（ステップＳＴ１９０〜ＳＴ１９２）。
一方、ステップＳＴ１８８において道案内表現が適格でないと判定された場合（ステップＳＴ１８８のＮＯの場合）には、実施の形態７では処理を終了するのみであったが、この実施の形態９では、さらに、設定された経路から逸脱するために適格性がないと判定されたのかどうかを判断し（ステップＳＴ１９３）、設定経路から逸脱するためにステップＳＴ１８８において適格でないと判定された場合（ステップＳＴ１９３のＹＥＳの場合）には、経路再設定部１５が、その逸脱した経路を経由するように目的地への経路を再設定する（ステップＳＴ１９４）。一方、別の理由で適格性がないと判定された場合（ステップＳＴ１９３のＮＯの場合）には、処理を終了する。

具体的な例を挙げて説明すると、実施の形態７と同様に、例えば、同乗者が「次の交差点を右折して」と発話した場合、音声取得部１がその音声データを取得し（ステップＳＴ１８１）、音声認識部２により「次の交差点を右折して」という認識結果が得られる（ステップＳＴ１８２）。そして、道案内表現抽出部４が、図２に示すような道案内表現記憶部３を参照して、道案内表現として文字列「次の交差点」および「右折」を抽出する（ステップＳＴ１８３）。ここで、「右折」は直接的進行方向を表す道案内表現であるので（ステップＳＴ１８４がＹＥＳ、かつ、ステップＳＴ１８５もＹＥＳの場合）、道案内表現解釈部７が、その道案内表現「右折」を具体的道案内表現として特定する（ステップＳＴ１８７）。

この際、自車位置と、地図データとに基づいて、「次の交差点」を特定し、当該交差点で右折したときの道路情報を地図データを用いて調べた結果が、例えば一方通行で進入禁止である場合には、道案内表現が適格でないと判定される（ステップＳＴ１８８のＮＯの場合）。そしてさらに、適格でないと判定された理由が、設定経路から逸脱するためであったかどうかが判断され（ステップＳＴ１８８）、ＮＯであるため処理を終了する。一方、ステップＳＴ１８８の判定の際に、例えばその交差点を右折すると設定されている経路（ルート）から逸脱する場合には、ステップＳＴ１８８では同様に道案内表現が適格でないと判定され（ステップＳＴ１８８のＮＯの場合）、適格でないと判定された理由が、設定経路から逸脱するためであるので（ステップＳＴ１９３のＹＥＳの場合）、経路再設定部１５が、その逸脱した経路を経由するように目的地への経路を再設定する（ステップＳＴ１９４）。

なお、この実施の形態においても、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。
また、この実施の形態９における経路再設定の機能を使用するかしないかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態９によれば、同乗者などの発話者が発話した道案内表現が適格であるか否かを判定し、経路を逸脱するために適格でないと判定された場合には、その逸脱した経路を経由するように目的地への経路を再設定するようにしたので、実施の形態１における効果に加え、発話者が経路の変更を意図して道案内をした場合に、不適格と判定されてその意図が反映されないということを防止することができる。

なお、上記の実施の形態７〜９は、実施の形態１におけるナビゲーション装置が、さらに道案内表現適格性判定部１４や経路再設定部１５を備えるものとして説明したが、実施の形態２におけるナビゲーション装置が、道案内表現適格性判定部１４や経路再設定部１５を備えるようにしてもよいことは、言うまでもない。

実施の形態１０．
図２４は、この発明の実施の形態１０によるナビゲーション装置の一例を示すブロック図である。なお、実施の形態１〜９で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に説明する実施の形態１０では、実施の形態１と比べると、取り消し／訂正表現記憶部１６および取り消し／訂正表現抽出部１７を更に備え、提示内容の提示を取り消す旨の表現が抽出された場合は、当該提示内容を出力しないようにし、また、提示内容の提示を訂正する旨の表現が抽出された場合には、訂正後の提示内容を出力するようにしたものである。

取り消し／訂正表現記憶部１６は、通常、人が道案内をしていて言い間違えたり、案内を間違えたりした場合に使用すると想定される表現を記憶している。
図２５は、取り消し／訂正表現記憶部１６の一例を示す図である。この図に示すように、取り消し／訂正表現記憶部１６は、例えば、「違う」「違った」「間違えた」などの取り消し表現や、「〜ではなくて」「やめて」などの訂正表現を記憶している。
取り消し／訂正表現抽出部１７は、取り消し／訂正表現記憶部１６を参照しながら形態素解析を行い、音声認識部２の音声認識結果の文字列から取り消し表現および訂正表現を抽出する。また、訂正表現を抽出した場合には、道案内表現記憶部３を参照して当該表現に続く、すなわち、訂正後の道案内表現も抽出する。

図２６は、実施の形態１０によるナビゲーション装置の動作を示すフローチャートである。
ステップＳＴ２０１，ＳＴ２０２の処理については、実施の形態１における図４のフローチャートのステップＳＴ０１，ＳＴ０２と同じであるため、説明を省略する。そして、この実施の形態１０では、ステップＳＴ２０２による音声認識部２の認識結果から、道案内表現抽出部４が道案内表現記憶部３を参照しながら道案内表現を抽出するとともに、取り消し／訂正表現抽出部１７が、取り消し／訂正表現記憶部１６を参照しながら取り消し／訂正表現を抽出する。この際、取り消し／訂正表現抽出部１７により取り消し／訂正表現が抽出されなかった場合（ステップＳＴ２０３のＮＯの場合）には、このフローチャートとしては処理を終了し、実施の形態１〜９と同じように、道案内表現抽出部４が道案内表現を抽出して提示する処理（ここでは、図示および説明を省略する）を行う。

そして、取り消し／訂正表現抽出部１７により、取り消し／訂正表現記憶部１６に記憶されている取り消し／訂正表現が抽出された場合（ステップＳＴ２０３のＹＥＳの場合）であって、その抽出された取り消し／訂正表現が、例えば「間違えた」などの取り消し表現であった場合（ステップＳＴ２０４のＹＥＳの場合）、取り消し訂正表現抽出部１７は、提示制御部１０に対して、提示内容が視覚的提示内容である場合にはその視覚的提示内容の表示を取り消す旨の通知を行う。すなわち、既に視覚的提示内容が表示されている場合（ステップＳＴ２０５のＹＥＳの場合）には、提示制御部１０が当該視覚的提示内容の表示をやめる（ステップＳＴ２０６）。また、まだ視覚的提示内容が表示されていない場合（ステップＳＴ２０５のＮＯの場合）には、何も表示せずに終了する。

一方、取り消し／訂正表現抽出部１７により抽出された表現が、例えば「〜ではなくて」のような、取り消し表現ではなくて訂正表現であった場合（ステップＳＴ２０４のＮＯの場合）には、既に視覚的提示内容が表示されている場合（ステップＳＴ２０７のＹＥＳの場合）には、提示制御部１０が当該視覚的提示内容の表示をやめる（ステップＳＴ２０８）。また、まだ視覚的提示内容が表示されていない場合（ステップＳＴ２０７のＮＯの場合）には、そのままステップＳＴ２０９の処理を行う。ステップＳＴ２０９では、取り消し／訂正表現抽出部１７が道案内表現記憶部３を参照して、その訂正表現の後に続く道案内表現を抽出する（ステップＳＴ２０９）。そして、当該道案内表現に基づいて道案内表現提示内容取得部９が対応する提示内容を取得し（ステップＳＴ２１０）、提示制御出力部２０が、その提示内容を出力する（ステップＳＴ２１１）。

具体的な例を挙げて説明すると、例えば、同乗者が「次の交差点を右折して」と発話した後に「あっ、違った」と発話をした場合、音声取得部１がその音声データを取得し（ステップＳＴ２０１）、音声認識部２により「次の交差点を右折して」および「あっ、違った」という認識結果が得られる（ステップＳＴ２０２）。この際、取り消し／訂正表現抽出部１７が、取り消し／訂正表現記憶部１６を参照して、取り消し表現として文字列「違った」が抽出される。すなわち、音声認識結果から、取り消し／訂正表現が抽出され（ステップＳＴ２０３のＹＥＳの場合）、その抽出された表現が取り消し表現であるので（ステップＳＴ２０４のＹＥＳの場合）、「右折」を表す視覚的提示内容が既に表示されている場合（ステップＳＴ２０５のＹＥＳの場合）には、その視覚的提示内容の表示をやめる（ステップＳＴ２０６）。また、まだ視覚的提示内容が表示されていなければ（ステップＳＴ２０５のＮＯの場合）、何も表示せずに処理を終了する。

図２７は、取り消し表現が抽出された場合の画面遷移例を示す図である。図２７（ａ）は、ナビゲーション画面３１に自車３２が三角形で表示されている表示画面と、同乗者により「次の交差点を右折して」と発話された状態を示しており、その発話内容が吹き出し３３で示されている。そして、図２７（ｂ）は、この際にナビゲーション装置によって実施の形態２で説明した提示内容を出力する処理が行われた結果、図２７（ａ）と同じナビゲーション画面３１上に視覚的提示内容として“右矢印の図形データ”３４が、右折した後に通過する道路上に表示された状態と、ここで同乗者により「あっ、違った」と発話された状態を示している。なお、この発話内容についても、吹き出し３３で示されている。これにより、前述の図２６に示すフローチャートの処理のうち、ステップＳＴ２０４〜ＳＴ２０６の処理が行われ、“右矢印の図形データ”３４の表示が取り消され（図２７（ｃ）参照）、図２７（ｄ）に示す状態となる。なお、同乗者による発話内容が「次の交差点を右折して。あっ、違った。」のように一連のものであり、図２７（ｂ）に示すような視覚的提示内容が表示される前に、「違った」という取り消し表現が抽出された場合には、何も表示せずに終了する。すなわち、図２７（ａ）から直接、図２７（ｄ）の状態に遷移することになり、表示上は何も変化しない。

また、例えば同乗者が「次の交差点を右折・・・ではなくて左折」と発話した場合、取り消し／訂正表現抽出部１７により「ではなくて」という訂正表現が抽出される。すなわち、ステップＳＴ２０４のＮＯの場合であるので、さらに、その「ではなくて」に続く道案内表現として、道案内表現記憶部３を参照することにより「左折」を抽出する（ステップＳＴ２０９）。そして、その「左折」に対応する提示内容を道案内表現提示内容記憶部８を参照することにより取得し（ステップＳＴ２１０）、表示または音声出力する（ステップＳＴ２１１）。

図２８は、訂正表現が抽出された場合の画面遷移例を示す図である。図２８（ａ）は、ナビゲーション画面３１に自車３２が三角形で表示されている表示画面と、同乗者により「次の交差点を右折・・・ではなくて左折」と発話された状態を示しており、その発話内容が吹き出し３３で示されている。そして、図２８（ｂ）は、この際にナビゲーション装置によって実施の形態２で説明した提示内容を出力する処理が行われた結果、図２８（ａ）と同じナビゲーション画面３１上に視覚的提示内容として“右矢印の図形データ”３４が、右折した後に通過する道路上に表示された状態を示している。しかしながら、発話内容の中に「ではなくて」という訂正表現が含まれているので、この訂正表現が抽出されることにより、前述の図２６に示すフローチャートの処理のうち、ステップＳＴ２０４，ＳＴ２０７〜ＳＴ２０８の処理が行われ、“右矢印の図形データ”３４の表示が削除される（図２８（ｃ）参照）。さらに、その「ではなくて」に続く道案内表現として「左折」が抽出されることにより、図２６に示すフローチャートのステップＳＴ２０９〜ＳＴ２１１の処理が行われ、図２８（ｄ）に示すように、「左折」に対応する“左矢印の図形データ”３４が表示される。なお、図２８（ｂ）に示すような視覚的提示内容が表示される前に、「ではなくて」という訂正表現が抽出された場合には、図２８（ａ）から直接、図２８（ｄ）の状態に遷移する。

なお、この実施の形態においても、同乗者の発話内容を常に認識するものとしているが、所定の期間（例えば、同乗者が道案内を開始すると、音声認識を行うためのボタンを押下し、そのボタンが押下されている間）のみ音声認識を行うようにしてもよい。また、常に認識するか、所定の期間のみ認識するかを、ユーザが設定できるようにしてもよい。
また、この実施の形態１０においては、取り消すべき視覚的提示内容が既に表示されていた場合には、取り消す（削除する）ものとして説明したが、表示されている視覚的提示内容を取り消すか、当該提示内容と取り消す旨の視覚的提示内容を表示するかを、ユーザが設定できるようにしてもよい。また、この実施の形態１０における取り消し／訂正表現抽出の機能を使用するかしないかを、ユーザが設定できるようにしてもよい。

以上のように、この実施の形態１０によれば、同乗者などの発話者が発話した道案内表現に取り消し／訂正表現が含まれている場合にはそれも抽出するようにしたので、実施の形態１における効果に加え、同乗者などの発話者が誤って案内したことを汲み取り、取り消すべき視覚的提示内容の取り消しや訂正をすることで、運転者が誤った経路を進むことを防止することができる。

なお、上記の実施の形態１０は、実施の形態１におけるナビゲーション装置が、さらに取り消し／訂正表現記憶部１６や取り消し／訂正表現抽出部１７を備えるものとして説明したが、実施の形態２におけるナビゲーション装置が、取り消し／訂正表現記憶部１６や取り消し／訂正表現抽出部１７を備えるようにしてもよいことは、言うまでもない。

本発明の実施の形態では、車両用のナビゲーション装置として説明したが、この発明のナビゲーション装置は車両用に限らず、人、車両、鉄道、船舶または航空機等を含む移動体用のナビゲーション装置であって、特に車両への持ち込みあるいは車載に適したナビゲーション装置に関するものであり、携帯型ナビゲーション装置等、ユーザと装置との音声対話によりナビゲーションを行うことが可能な装置であれば、どのような形態のものにも適用することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明のナビゲーション装置は、ユーザと装置との音声対話によりナビゲーションを行うことが可能な車載用ナビゲーション装置や携帯型ナビゲーション装置に適用することができる。

１音声取得部、２音声認識部、３道案内表現記憶部、４道案内表現抽出部、５地図データ記憶部、６自車位置取得部（位置取得部）、７道案内表現解釈部、８道案内表現提示内容記憶部、９道案内表現提示内容取得部、１０提示制御部、１１外部対象物認識部、１２ジェスチャー認識部、１３矛盾判定部、１４道案内表現適格性判定部、１５経路再設定部、１６取り消し／訂正表現記憶部、１７取り消し／訂正表現抽出部、２０提示制御出力部、２１表示部、２２音声出力部、３１ナビゲーション画面、３２自車マーク、３３吹き出し、３４図形データ、３５交差点の名称、３６赤色の道路、３７道幅の太い道路。

この発明は、ユーザの発話内容を認識してナビゲーションを行うことが可能なナビゲーション装置、方法およびプログラムに関するものである。

特開２０１０−２０４６３７号公報

この発明は、上記のような課題を解決するためになされたものであり、同乗者が運転者に対して行なった道案内表現のみを抽出し、抽象的な道案内表現を解釈して具体化し、その具体化された内容を直観的に理解しやすいように提示することができるナビゲーション装置、方法およびプログラムを提供することを目的とする。

上記目的を達成するため、この発明は、入力された音声を取得する音声取得部と、前記音声取得部により取得された音声データから音声認識処理を行う音声認識部と、移動体の位置を取得する位置取得部を備え、前記音声認識部による認識結果と前記位置取得部により取得された移動体の位置と地図データとに基づいて道案内を行うナビゲーション装置において、道案内表現を記憶する道案内表現記憶部と、前記道案内表現記憶部を参照して、前記音声認識部による認識結果から道案内表現を抽出する道案内表現抽出部と、前記道案内表現抽出部により抽出された道案内表現を解釈して、具体的道案内表現を特定する道案内表現解釈部と、前記具体的道案内表現に対応する視覚的提示内容を、前記具体的道案内表現と対応付けて記憶する道案内表現提示内容記憶部と、前記道案内表現提示内容記憶部を参照して、前記道案内表現解釈部により特定された具体的道案内表現に基づいて、対応する視覚的提示内容を取得する道案内表現提示内容取得部と、前記道案内表現提示内容取得部により取得された視覚的提示内容を出力する提示制御出力部とを備えることを特徴とする。

上記目的を達成するため、この発明は、入力された音声を取得する音声取得部と、前記音声取得部により取得された音声データから音声認識処理を行う音声認識部と、移動体の位置を取得する位置取得部を備え、前記音声認識部による認識結果と前記位置取得部により取得された移動体の位置と地図データとに基づいて道案内を行うナビゲーション装置において、道案内表現を記憶する道案内表現記憶部と、前記道案内表現記憶部を参照して、前記音声認識部による認識結果から道案内表現を抽出する道案内表現抽出部と、前記道案内表現抽出部により抽出された道案内表現を解釈して、具体的道案内表現を特定する道案内表現解釈部と、前記具体的道案内表現に対応する視覚的提示内容を、前記具体的道案内表現と対応付けて記憶する道案内表現提示内容記憶部と、前記道案内表現提示内容記憶部を参照して、前記道案内表現解釈部により特定された具体的道案内表現に基づいて、対応する視覚的提示内容を取得する道案内表現提示内容取得部と、前記道案内表現提示内容取得部により取得された視覚的提示内容を出力する提示制御出力部とを備え、提示制御出力部は、目的地あるいは目的地への経路が設定されていない場合においても、移動体の搭乗者が道案内表現を含む発話をする度に、少なくとも具体的な進行方向を示す矢印を含む視覚的提示内容を出力することを特徴とする。

Claims

移動体の位置を取得する位置取得部を備え、当該位置取得部により取得された移動体の位置と地図データとに基づいて道案内を行うナビゲーション装置において、
入力された音声を取得する音声取得部と、
前記音声取得部により取得された音声データから音声認識処理を行う音声認識部と、
道案内表現を記憶する道案内表現記憶部と、
前記道案内表現記憶部を参照して、前記音声認識部による認識結果から道案内表現を抽出する道案内表現抽出部と、
前記道案内表現抽出部により抽出された道案内表現を解釈して、具体的道案内表現を特定する道案内表現解釈部と、
前記具体的道案内表現に対応する提示内容を、前記具体的道案内表現と対応付けて記憶する道案内表現提示内容記憶部と、
前記道案内表現提示内容記憶部を参照して、前記道案内表現解釈部により特定された具体的道案内表現に基づいて、対応する提示内容を取得する道案内表現提示内容取得部と、
前記道案内表現提示内容取得部により取得された提示内容を出力する提示制御出力部とを備える
ことを特徴とするナビゲーション装置。
前記道案内表現解釈部は、前記道案内表現抽出部により抽出された道案内表現を、前記移動体の位置と前記地図データとに基づいて解釈して、具体的道案内表現を特定する
ことを特徴とする請求項１記載のナビゲーション装置。
ジェスチャーを認識するジェスチャー認識部をさらに備え、
前記道案内表現解釈部は、前記道案内表現抽出部により抽出された道案内表現を、前記ジェスチャー認識部による認識結果に基づいて解釈して、具体的道案内表現を特定する
ことを特徴とする請求項１記載のナビゲーション装置。
前記道案内表現抽出部により抽出された道案内表現と、前記ジェスチャー認識部による認識結果が矛盾するか否かを判定する矛盾判定部をさらに備え、
前記矛盾判定部により矛盾すると判定された場合には、
前記道案内表現解釈部が、所定の規則にしたがって、前記道案内表現抽出部により抽出された道案内表現または前記ジェスチャー認識部による認識結果のいずれか一方を採択して、前記具体的道案内表現を特定する
ことを特徴とする請求項３記載のナビゲーション装置。
前記矛盾判定部により矛盾すると判定された場合には、
前記道案内表現解釈部は、前記ジェスチャー認識部による認識結果を採択して、前記具体的道案内表現を特定する
ことを特徴とする請求項４記載のナビゲーション装置。
前記矛盾判定部により矛盾すると判定された場合であって、目的地への経路が設定されている場合には、
前記道案内表現解釈部は、前記道案内表現抽出部により抽出された道案内表現または前記ジェスチャー認識部による認識結果のうち、前記設定されている経路に合致する方を採択して、前記具体的道案内表現を特定する
ことを特徴とする請求項４記載のナビゲーション装置。
前記提示制御出力部は、前記道案内表現提示内容取得部により取得された提示内容を、前記道案内表現解釈部により解釈された結果に基づいて出力する
ことを特徴とする請求項１記載のナビゲーション装置。
前記道案内表現解釈部は、前記道案内表現抽出部により抽出された道案内表現を解釈して、前記提示内容を提示する位置も特定し、
前記提示内容が視覚的提示内容である場合に、前記提示制御出力部は、前記道案内表現解釈部により特定された位置に、当該視覚的提示内容を表示する
ことを特徴とする請求項１記載のナビゲーション装置。
目的地への経路が設定されている場合には、
前記道案内表現解釈部は、前記設定されている経路情報に基づいて、前記提示内容を提示する位置を特定する
ことを特徴とする請求項８記載のナビゲーション装置。
周囲の対象物を認識する外部対象物認識部をさらに備え、
前記道案内表現解釈部は、前記外部対象物認識部による認識結果に基づいて、前記提示内容を提示する位置を特定する
ことを特徴とする請求項８記載のナビゲーション装置。
前記道案内表現解釈部により特定された具体的道案内表現が適格であるか否かを判定する道案内表現適格性判定部をさらに備え、
前記提示制御出力部は、前記道案内表現適格性判定部により前記具体的道案内表現が適格でないと判定された場合は、前記提示内容を出力しない
ことを特徴とする請求項１記載のナビゲーション装置。
前記道案内表現解釈部により抽出された具体的道案内表現が適格であるか否かを判定する道案内表現適格性判定部をさらに備え、
前記提示制御出力部は、前記道案内表現適格性判定部により前記具体的道案内表現が適格でないと判定された場合は、前記道案内表現が適格でない旨の提示内容を出力する
ことを特徴とする請求項１記載のナビゲーション装置。
前記道案内表現適格性判定部により前記具体的道案内表現が適格でないと判定された場合に、経路を再設定する経路再設定部をさらに備える
ことを特徴とする請求項１１または請求項１２記載のナビゲーション装置。
取り消しまたは訂正する際に使用される表現を記憶する取り消し／訂正表現記憶部と、
前記取り消し／訂正表現記憶部を参照して、前記音声認識部による認識結果から取り消し／訂正に使用される表現を抽出する取り消し／訂正表現抽出部とをさらに備え、
前記提示制御出力部は、前記取り消し／訂正表現が抽出された場合には、前記提示内容を出力しない
ことを特徴とする請求項１記載のナビゲーション装置。
取り消しまたは訂正する際に使用される表現を記憶する取り消し／訂正表現記憶部と、
前記取り消し／訂正表現記憶部を参照して、前記音声認識部による認識結果から取り消し／訂正に使用される表現を抽出する取り消し／訂正表現抽出部とをさらに備え、
前記提示制御出力部は、前記提示内容として視覚的提示内容が出力されている状態で、前記取り消し／訂正表現が抽出された場合には、前記視覚的提示内容の出力を取り消す
ことを特徴とする請求項１記載のナビゲーション装置。
取り消しまたは訂正する際に使用される表現を記憶する取り消し／訂正表現記憶部と、
前記取り消し／訂正表現記憶部を参照して、前記音声認識部による認識結果から取り消し／訂正に使用される表現を抽出する取り消し／訂正表現抽出部とをさらに備え、
前記提示制御出力部は、前記取り消し／訂正表現が抽出された場合には、前記取り消し／訂正表現の後に続いて抽出された道案内表現に対応する提示内容を出力する
ことを特徴とする請求項１記載のナビゲーション装置。
位置取得部が、移動体の位置を取得するステップと、前記位置取得部により取得された移動体の位置と地図データとに基づいて道案内を行うステップを有するナビゲーション方法において、
音声取得部が、入力された音声を取得するステップと、
音声認識部が、前記音声取得部により取得された音声データから音声認識処理を行うステップと、
道案内表現記憶部が、道案内表現を記憶するステップと、
道案内表現抽出部が、前記道案内表現記憶部を参照して、前記音声認識部による認識結果から道案内表現を抽出するステップと、
道案内表現解釈部が、前記道案内表現抽出部により抽出された道案内表現を解釈して、具体的道案内表現を特定するステップと、
道案内表現提示内容記憶部が、前記具体的道案内表現に対応する提示内容を、前記具体的道案内表現と対応付けて記憶するステップと、
道案内表現提示内容取得部が、前記道案内表現提示内容記憶部を参照して、前記道案内表現解釈部により特定された具体的道案内表現に基づいて、対応する提示内容を取得するステップと、
提示制御出力部が、前記道案内表現提示内容取得部により取得された提示内容を出力するステップとを備える
ことを特徴とするナビゲーション方法。