JP6807611B2 - システム及びプログラム - Google Patents

システム及びプログラム Download PDF

Info

Publication number
JP6807611B2
JP6807611B2 JP2019188320A JP2019188320A JP6807611B2 JP 6807611 B2 JP6807611 B2 JP 6807611B2 JP 2019188320 A JP2019188320 A JP 2019188320A JP 2019188320 A JP2019188320 A JP 2019188320A JP 6807611 B2 JP6807611 B2 JP 6807611B2
Authority
JP
Japan
Prior art keywords
user
voice
character
recognition
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019188320A
Other languages
English (en)
Other versions
JP2020034925A (ja
Inventor
圭三 高橋
圭三 高橋
裕一 梶田
裕一 梶田
Original Assignee
株式会社ユピテル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ユピテル filed Critical 株式会社ユピテル
Priority to JP2019188320A priority Critical patent/JP6807611B2/ja
Publication of JP2020034925A publication Critical patent/JP2020034925A/ja
Application granted granted Critical
Publication of JP6807611B2 publication Critical patent/JP6807611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両の搭乗者の音声を認識して、所定の処理を実行するシステム及びプログラムに関する。
現在、ナビゲーション装置やレーダー探知機などの機能を備えた車載用電子機器が、広く普及している。このような車載用電子機器は、車両が走行中に、車両の搭乗者であるユーザが必要とする各種の情報を出力する機能を有している。
例えば、車載用電子機器がナビゲーション装置としての機能を備えている場合、ユーザの操作に応じて、探索された目的地までの案内経路、検索された各種の施設を表示装置に表示させることができる。また、例えば、車載用電子機器がレーダー探知機としての機能を備えている場合、オービス、取締・検問エリア、交通監視装置などのターゲットを、適宜、表示装置に表示させることができる。
このような車載用電子機器の操作は、基本的には、機器に設けられたスイッチ、表示装置の画面に構成されたタッチパネル、赤外線による遠隔操作が可能なリモコンを、ユーザが手操作することによって行う。さらに、ユーザが発話した音声を認識して、これに応じた処理を行う音声認識機能を備えた車載用電子機器も、一般的に普及している。
この音声認識機能を利用すれば、運転中であるために手操作が困難なユーザであっても、あらかじめ登録されたコマンド等に対応する認識語句を発話することにより、経路探索や施設検索などの各種の機能を実行させることができる。
特開2009−115594号公報
しかしながら、従来の車載用電子機器における音声認識機能は、ユーザが一方的に発した指示に応じて、機器が所定の処理を行うという点では、手操作と何ら変わりはない。このため、ユーザは、手操作によるか、音声入力によるかにかかわらず、無味乾燥な機器を操作しているだけという感覚しか得られない。
また、一般的な車載用電子機器は、経路案内、ターゲットの報知等を、あらかじめ設定された音声によって行う機能も有している。しかし、この機能も、機器側が一方的に情報を提供するという点では、画面表示による情報提供と何ら変わりはない。このため、ユーザは、無味乾燥な機器から情報を得ているという感覚しか得られない。
以上のように従来の技術では、機器を操作しているという感覚しか得られないため、そこに何らの面白みもなく、車内にいる人間、特に、長時間、一人で運転している運転者にとって非常に退屈である。このため、ユーザは、購入から時間が経過すると、車載用電子機器を積極的に利用する意欲が湧かなくなり、多様な機能が有効に活用されないままとなることが多い。
本発明は、上記のような従来技術の問題を解決するために提案されたものであり、その目的は、ユーザにとって、操作や運転に面白さが得られるとともに、飽きがくることがなく、積極的に機能を利用する意欲が湧いてくるシステム及びプログラムを提供することにある。
(1)本発明のシステムは、車両の搭乗者であるユーザの音声を認識した結果に基づく認識情報と、ユーザの音声を認識したことを示す所定のキャラクターの音声の出力とによる対話に応じて、ユーザが知りたい情報を出力するための所定の処理を実行することを特徴とする。
このようにすれば、例えば、車両の搭乗者であるユーザの一方的な指示に対してシステムが情報を提供するのではなく、ユーザがキャラクターと対話することにより、知りたい情報を得ることができるので、操作や運転の面白さが増大するとともに、キャラクターとコミュニケーションをとっている感覚が得られて飽きがこない。また、例えば、ユーザは、キャラクターと対話するために、システムを操作する意欲が湧くので、システムの機能が有効に活用される。
ユーザの音声を認識した結果に基づく認識情報としては、例えば、ユーザが発する音声を、キャラクターとの対話を成立させる語句として認識した情報とするとよい。このようにすれば、例えば、認識した語句に応じて、キャラクターの音声を出力させることにより、ユーザの音声を認識したことを示すとともに、ユーザとの対話を成立させることができるのでよい。語句の認識としては、例えば、ユーザが知りたい情報を出力するための所定の処理を実行させるために、特定の認識語句と、これとの関係で対話が成立するキャラクターの音声をあらかじめ登録しておき、ユーザの音声を認識した結果と一致するか否かに応じて、キャラクターの音声を出力させるようにするとよい。このようにすれば、例えば、対話のための認識語句とキャラクターの音声との種々の組み合わせを用意することにより、これに応じて実行される多様な処理に対応させることができるのでよい。
所定のキャラクターとしては、例えば、システムから出力される音声により、特定の個性を持った話者を認識させる存在とするとよい。このようにすれば、例えば、ユーザは、実際の人間と対話しているような感覚が得られて、親しみが持てるのでよい。
対話としては、例えば、発話の開始、これに対する応答、応答に対する返答という少なくとも一往復のやり取りがなされるとよい。このようにすれば、例えば、単純にユーザの命令通りにシステムが処理を行うのではなく、キャラクターが、自分とシステムの間に介在して、サービスを提供してくれている感覚をユーザが得られるのでよい。また、対話としては、例えば、ユーザの発話とキャラクターの音声とが、その意味内容が発話とこれに対する返答として成立しているとよい。このようにすれば、互いに意思の疎通ができている感覚が得られるのでよい。また、対話としては、例えば、発話とこれに対する意味内容が的外れな返答であってもよい。このようにすれば、ユーザにとって面白味や意外性が感じられるのでよい。さらに、対話としては、例えば、発話とこれに対する返答が意味内容として成立している場合と、発話に対する意味内容が的外れな返答の場合とを混在させるとよい。このようにすれば、現実の会話に近い不完全さを演出することができ、ユーザに人間味を感じさせることができるのでよい。
ユーザが知りたい情報としては、例えば、音声認識を用いることにより、手操作よりも簡単又は迅速にシステムに出力させることができる情報とするとよい。このようにすれば、例えば、ユーザは、積極的に音声認識を利用するようになるので、システムは、ユーザにキャラクターとの対話をさせる機会をより多く与えることができるのでよい。
対話に応じて、ユーザが知りたい情報を出力するための所定の処理としては、例えば、対話をした結果、ユーザが知りたい情報を出力するとよい。このようにすれば、ユーザが知りたい情報を得るために、キャラクターと対話をする意欲がわくのでよい。また、対話に応じて、ユーザが知りたい情報を出力するための所定の処理としては、例えば、対話中にユーザが知りたい情報を出力する処理とするとよい。このようにすれば、ユーザが知りたい情報を得るために、発話して対話を進める意欲が増すのでよい。さらに、対話に応じて、ユーザが知りたい情報を出力するための所定の処理としては、例えば、対話を構成するキャラクターの音声を出力する処理であってもよい。このようにすれば、ユーザは、キャラクターの音声を聞きたくて対話するので、対話すること自体を楽しむことができるのでよい。
(2)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、車両の運転中に運転者が必要とする情報を出力するための処理とするとよい。
このようにすれば、例えば、手操作が難しい、手操作が制限されている等により、運転者が運転中に所望の情報を得ることが困難な場合でも、音声認識を利用することにより、キャラクターとの対話を楽しみながら、所望の情報を得ることができるのでよい。
(3)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、複数の選択を経て情報を出力するための処理とすることを特徴とするとよい。
このようにすれば、例えば、情報を出力するために複数の選択を経る必要がある場合に、選択するごとに手操作が必要となる場合に比べて、音声入力による方が、ユーザにとって操作が簡単となるのでよい。
複数の選択を経て出力される情報としては、例えば、階層化された構造の情報、複数回の操作をしなければ出力できない情報とするとよい。このような情報は、手操作を複数回行うよりも、ユーザの負担が少なくなるのでよい。
特に、複数の選択を経て出力される情報としては、例えば、施設検索、現在地周辺検索などのように、複数の候補の中から順次絞り込んでいくことにより得られる情報とするとよい。このような情報を出力する処理は、例えば、ブレーキやアクセルのように車両自体を動かすための操作や、ウィンカーのように走行中に安全のために外部に何かを知らせるための操作とは異なり、手操作によりダイレクトに実行させることが難しいので、音声認識による操作に適していてよい。
前記対話の一部として、次の選択がある場合に、これを誘導するキャラクターの音声とするとよい。
このようにすれば、例えば、ユーザは、キャラクターの音声に促されて選択することにより、所定の処理を順次進めることができるのでよい。
次の選択へ誘導するキャラクターの音声としては、例えば、周辺検索で「周辺」というユーザの音声を認識した場合に、「どこ行く?」というように、行先を尋ねる音声とするとよい。このようにすれば、例えば、ユーザが、次に何を発話すればよいかが明確にわかるのでよい。
前記対話の一部として、次の選択がない場合に、これを示すキャラクターの音声とするとよい。
このようにすれば、例えば、ユーザは、さらに処理を進める必要がなくなったことがわかるので、指示を終了する、別の処理を行わせる等の判断ができるのでよい。
次の選択がないことを示すキャラクターの音声としては、例えば、周辺検索で「ファミレス」というユーザの音声を認識した場合に、「ひとりぼっちでファミレス行くの?」のように、次の選択がないことを明示する音声とするとよい。このようにすれば、ユーザは、次に進む必要がないことがわかるとともに、新たに別の判断をユーザに求めることができるのでよい。
(4)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、所望の地点の周辺の施設に関する情報を、表示手段に表示させるための処理とするとよい。
このようにすれば、例えば、周辺の施設の情報を得るための面倒な手操作を不要としつつ、ユーザが、キャラクターとの対話を楽しみながら、周辺の施設に関する情報を取得することができるのでよい。
(5)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、表示手段に表示された地図上の前記周辺の施設の位置に、前記周辺の施設を示すアイコンを、地図と比べて相対的に強調表示させるとよい。
このようにすれば、例えば、地図上で、ユーザに必要な施設の情報が目立つことになるので、ユーザが施設の位置を把握しやすくなり、音声により所望の施設を選択する際の目安となるのでよい。
地図と比べた相対的な強調表示としては、例えば、施設の位置が明確となる表示とするとよい。例えば、アイコンと地図の明度、彩度、色相の少なくとも一つを変えれば、両者の対比が際立つのでよい。特に、例えば、アイコンをカラー表示し、地図をグレースケールで表示すれば、アイコンが非常にはっきりと見えるのでよい。
(6)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、表示手段に表示された地図上の前記周辺の施設の位置に、前記周辺の施設を示すアイコンを表示させ、前記アイコンに、所定の基準に従った順位が区別できる表示をするとよい。
このようにすれば、例えば、アイコンにおける順位を区別できる表示により、ユーザが施設を選択する目安とすることができるのでよい。
所定の基準としては、例えば、特定の地点に近い順とするとよい。このようにすれば、施設名を表示させる場合に比べて、どこの施設が一番近いかが直感的に分かるのでよい。さらに、所定の基準としては、例えば、ユーザにとっての重要度が高い順とするとよい。このようにすれば、ユーザが最も知りたい施設が優先的に表示されるのでよい。ユーザにとっての重要度とは、例えば、過去に行ったことがある、過去に行った頻度が高い、ユーザの好みに合う等とするとよい。このようにすれば、ユーザが行きたい施設を素早く知ることができるのでよい。また、例えば、過去に行ったけれども、二度と行きたくないなど、ユーザにとっての重要度が低いものが除外されるようにしてもよい。このようにすれば、例えば、ユーザが行く可能性があるもののみを表示させることができてよい。
順位が区別できる表示としては、例えば、番号、アルファベットのように本来的に順位を示す情報とするとよい。このようにすれば、例えば、順位の意味を容易に把握できるのでよい。さらに、順位が区別できる表示としては、例えば、◎、○、△、×等の形状や、明度、彩度、色相により段階的に変化をつける等、視覚的に順位を示す情報とするとよい。このようにすれば、例えば、順位を視覚により直感的に把握できるのでよい。
検索された施設の選択を促すキャラクターの音声を、表示されたアイコンに合わせた内容で出力するとよい。
このようにすれば、例えば、表示されたアイコンに合わせた内容の音声で、施設の選択を促すことができるので、ユーザは、視覚で確認した内容を、音声によっても把握できるのでよい。
表示されたアイコンに合わせた内容としては、例えば、番号であれば何番がよいかを問い合わせる音声、アルファベットであればアルファベットの何かよいかを問い合わせる音声、形状であれば形状が何かを問い合わせる音声、色であれば色が何かを問い合わせる音声とするとよい。このようにすれば、ユーザは、例えば、何を発話して施設を選択すればよいかが、簡単にわかるのでよい。また、例えば、表示されているアイコンに合わせた内容として、選択される候補の範囲を示す音声とするとよい。これにより、例えば、何番から何番というように音声を出力すれば、ユーザは、発話すべき内容とともに、選択すべき範囲も把握することができるのでよい。
表示されたアイコンに合わせた内容で、いずれかの施設を選択するユーザの音声を認識すると、特定の地点から選択された施設まで探索された経路を表示手段に表示させるとよい。
このようにすれば、例えば、ユーザは、施設名で選択するよりも、表示されたアイコンに合わせた内容で簡単に選択することができるのでよい。
表示されたアイコンに合わせた内容としては、例えば、番号であれば所望の施設のアイコンの番号、アルファベットであれば所望の施設のアイコンのアルファベット、形状であれば所望の施設のアイコンの形状、色であれば所望の施設のアイコンの色とするとよい。このようにすれば、例えば、施設名よりも覚えやすい言葉で、施設を選択することができるのでよい。
表示手段に探索された経路が表示された後、前記対話に応じて、経路案内を開始するか、経路を探索し直すかを決定するとよい。
このようにすれば、例えば、ユーザは、探索された経路を希望しない場合に、キャラクターとの対話をしながら、探索し直しを指示することができるので、やり直し時の手間や退屈な気持ちを緩和させることができるのでよい。
(7)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、あらかじめ音声を認識するために登録される認識語句に対応する項目のうち、いずれの項目を認識語句として機能させるかを選択させる項目の表を、表示手段に表示させるとよい。
このようにすれば、例えば、表示された項目の表から、ユーザがよく使う項目のみを選択すれば、認識語句が限定されるので、誤認識を減らすことができるのでよい。
選択された認識語句は、例えば、所定のメモリ領域に、デフォルトの状態から書き換える、空の領域に入れていく、既に入っているものを並べ替える等により、登録されるものとするとよい。このようにすれば、限られたメモリ領域を有効に活用できるのでよい。
(8)ユーザの音声を認識するためにあらかじめ登録される認識語句に対応する項目のうち、いずれの項目を対話のための認識語句として機能させるかを選択させる項目の表を、表示手段に表示させ、前記表から選択された項目は、表示手段に表示させるページ毎に設定されるとよい。
このようにすれば、例えば、表示手段の表示画面の1ページで表示できる項目が限られていても、ユーザがよく使う項目を、トップのページに持ってくることができるので、使いたい項目を表示させるためにページを切り替える手間が省けるのでよい。
混同して認識される可能性のある認識語句の項目が、別のページに表示されるように設定されるとよい。
このようにすれば、例えば、似た音を含む語句、実際に認識させてみて混同する可能性が高い語句等が、同じページに並んで同時に認識の候補となることがないので、誤認識を減らすことができるのでよい。似た音を含む語句としては、例えば、「ファミレス」と「ファーストフード」、「病院」と「美容院」、「洋食」と「和食」のように、50音の同じ音、同じ漢字等を含む語句とするとよい。このようにすれば、文字からも紛らわしい音の認識語句が、同じページに表示されないため、ユーザも、いずれか一方を入力することになり、誤認識を減らすことができる。実際に認識させてみて混同する可能性が高い語句としては、例えば、過去の認識結果の記録に基づいて、同じ発話に対して認識されている異なる語句とするとよい。このようにすれば、例えば、実際に誤認識が生じている組み合わせが同一ページとなることを排除できるのでよい。
前記認識語句に対応する項目は、複数の概念を含む認識語句に対応する大項目と、当該複数の概念に相当する認識語句に対応する中項目を有し、大項目とともに中項目を、同一ページに表示させるとよい。
このようにすれば、例えば、ユーザが中項目を検索したい場合にも、階層やページを変える必要がないので、所望の項目をダイレクトに選択することができるのでよい。
大項目としては、例えば、「病院」のように、多数の候補を含む上位概念的な項目とするとよい。このようにすれば、できるだけ多くの候補の中から検索したいと思うユーザにとって便利となるのでよい。中項目としては、例えば、「病院」の概念に含まれる「内科」、「小児科」のように、大項目よりも含まれる候補が少ない下位概念的な項目とするとよい。このようにすれば、少ない候補の中から、即座に所望の施設の情報を得たいユーザにとって便利となるのでよい。
認識語句として、項目として表示されている語句に関連するが、項目として表示されていない語句が登録されているとよい。
このようにすれば、例えば、項目に表示されている認識語句そのものを発話しなくても、その認識語句に関連する語句を言えばよいので、ユーザの項目名の記憶があいまいであったり、操作に不慣れであったりしても、検索ができるのでよい。
項目として表示されている語句に関連するが、項目として表示されていない語句としては、例えば、特定のページで表示中の大項目に対応するが、そのページでは表示されていない中項目とするとよい。
このようにすれば、例えば、中項目が表示されていなかったとしても、ユーザが中項目を言えば、その中項目が検索されるので、必要な施設の情報を素早く得ることができるのでよい。
(9)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、前記キャラクターを、表示手段に表示させるとよい。
このようにすれば、例えば、ユーザが、対話する相手の姿を表示画面で見ることにより、親しみを覚えて、その姿を見るためにシステムを積極的に利用したいと思うようになるのでよい。
(10)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、前記キャラクターを、地図上の探索された経路表示を遮らない位置に、表示させるとよい。
このようにすれば、例えば、キャラクターの表示を楽しませつつ、探索された経路の見やすさを維持できるのでよい。
経路表示を遮らない位置としては、例えば、キャラクターと探索された経路の表示とが、互いに表示画面における反対側に寄るとよい。このようにすれば、キャラクターが経路探索のサービスを邪魔しない気遣いをしているように、ユーザに感じさせることができるので、より好感を持たせることができてよい。
前記キャラクターを、地図上の探索された経路表示を遮らない位置に、表示させながら移動させるとよい。
このようにすれば、例えば、移動中のキャラクターを表示し続けることで、ユーザにうっとうしさを感じさせて存在をアピールできるとともに、キャラクターを継続して見ていたいユーザにとっては、移動中のキャラクターの動作を楽しむことができてよい。
ユーザの音声の認識語句に対応する項目の表示領域は、背後の画像が見える部分を有し、表示手段に表示されるキャラクターは、各項目よりも大きくて背後の画像が見える部分を有さず、前記項目の表示領域は、表示画面におけるキャラクターと反対側の位置に寄っているとよい。
このようにすれば、例えば、キャラクターが、探索された経路と反対側に寄った場合に、項目の表示領域は、探索された経路と重なる可能性があるが、各項目は、キャラクターよりも小さく、項目の表示領域は背後の画像が見える部分を有しているので、探索された経路がキャラクターと重なるよりも、背後の画像が見やすいのでよい。
背後の画像が見える部分としては、例えば、透過する部分、隙間が空いた部分とするとよい。このようにすれば、例えば、項目表示の視認性を確保したまま、背景の画像も見ることができるのでよい。
(11)あらかじめ登録されたユーザの呼び名の音声を、前記対話において前記キャラクターにより出力される音声の中に挿入するとよい。
このようにすれば、例えば、ユーザは、会話内で自らの呼び名で呼ばれることにより、キャラクターに対して、より一層の親しみを感じることができるのでよい。
対話の開始時にキャラクターにより出力される音声に、あらかじめ登録されたユーザの呼び名の音声を挿入するとよい。
このようにすれば、例えば、対話の開始時に、ユーザが自らの名前で呼ばれることになるので、ユーザの注意を引くことができてよい。
キャラクターの呼び名を含む音声が認識された場合に、キャラクターにより出力される音声に、あらかじめ登録されたユーザの呼び名の音声を挿入するとよい。
このようにすれば、例えば、互いに呼び名を呼び合うことになるので、ユーザは、より親密な感覚を得ることができる。
対話が進行するに従って、キャラクターにより出力される音声に、ユーザの呼び名を挿入する頻度を低減させるとよい。
このようにすれば、例えば、当初は呼び名が呼ばれていたのに、その後は呼ばれる頻度が減少するので、互いに慣れていく二人の会話を演出することができるのでよい。
あらかじめ50音表に対応する音声データが登録され、この50音表からユーザが選択した呼び名の音声を、会話中に挿入するとよい。
このようにすれば、例えば、あらかじめ複数の呼び名を登録しておく場合に比べて、メモリの容量を節約できるのでよい。
前記キャラクターの音声として、前記キャラクターの状況を示す内容の音声を挿入するとよい。
このようにすれば、ユーザは、キャラクターの状況を聞くことができるので、例えば、キャラクターがネガティブな状況にあれば、ユーザにキャラクターを気遣う気持ちを起こさせることができ、キャラクターがポジティブな状況にあれば、ユーザにキャラクターに共感する気持ちを起こさせることができるのでよい。
キャラクターの状況を示す発言としては、例えば、「わたし忙しいんだけど」というように、自らがポジティブな状態にあるかネガティブな状態にあるかがわかる発言とするとよい。このようにすれば、例えば、ユーザの指示にシステムが無条件に従うのではなく、ユーザに気遣いの気持ちや、共感の気持ちを生じさせることができるので、実際の人間を相手にした会話のような感覚が得られるのでよい。
(12)前記対話における前記キャラクターの音声を、あらかじめ設定された複数の異なるフレーズの中から、既に出力したフレーズを除いてランダムに選択して出力するとよい。
このようにすれば、例えば、同じフレーズばかりが出力されないようにすることができるので、ユーザにとって飽きがこないのでよい。
共通の認識語句に対して異なる複数の応答フレーズが登録されたリストが設定されているとよい。
このようにすれば、例えば、ユーザが共通の内容の発話をしても、キャラクターは異なる表現で返答するので、何度も同じ処理を実現させる場合でも、キャラクターからどんな返答が来るかを楽しむことができる。
前記リストは複数設定され、同一のリスト内であっても他のフレーズとは異質なフレーズが登録されているリストがあるとよい。
このようにすれば、例えば、ユーザの同様の内容の発言に対する返答として、異質なフレーズが出力されることにより、ユーザに予想外の印象を与えることができ、キャラクターに対する印象を変化させて、ユーザにとって飽きがくることを防止できるのでよい。
前記キャラクターは同一人でも複数の表示態様があり、出力される音声として、前記複数の表示態様毎に異なるフレーズが登録されているとよい。
このようにすれば、例えば、同じキャラクターでも、複数の表示態様に応じて、発話内容が異なるので、同一人との対話でありながら、変化を楽しむことができるのでよい。
複数の表示態様としては、例えば、標準的なもの、衣服や髪型等を変えて変身したもの、頭身を変えたものとするとよい。このようにすれば、例えば、大人っぽい、子供っぽい、かわいい、きれい等の多様な印象をユーザに与え、飽きさせないのでよい。
声認識を間違えた場合に、出力されるフレーズが登録されているとよい。
このようにすれば、例えば、認識を間違えた場合であっても、何等かのフレーズを返すことより、キャラクターとの対話が継続していることを、ユーザに認識させることができるのでよい。
音声認識に誤りがあった場合に備えた逃げ口上となるフレーズが登録されているとよい。
このようにすれば、例えば、音声認識に誤りが生じる可能性はあるが、たとえ誤りが生じたとしても、キャラクターの逃げ口上によって、ユーザの苛立ちや怒りを和らげることができる。
逃げ口上としては、例えば、「音声認識頑張ります。100%認識できないかもしれないけれど」のように、正確に認識しようとする意欲を示す表現とともに、完全な達成は困難であることを示す表現とするとよい。このようにすれば、例えば、単に、認識ができないことを示すよりも、誤認識に対して、ユーザに許容する心理を生じさせることができるのでよい。
ユーザが返答を望む内容とキャラクターの音声の出力の内容とが相違していることを指摘するユーザの音声の入力があった場合に、それに対するキャラクターからの返答のフレーズが登録されているとよい。
このようにすれば、例えば、ユーザが、キャラクターの間違いを指摘すると、キャラクターからこれに対する返答があるので、誤解があった場合の人と人との自然なやり取りを楽しむことができるのでよい。
宣伝広告となるフレーズが登録されているとよい。
このようにすれば、例えば、提携している施設にユーザを誘導することができるのでよい。
(13)前記対話における前記キャラクターの音声として、ユーザが行き先とする施設で行うことの原因についてのフレーズが登録されているとよい。
このようにすれば、例えば、ある施設に行くことになった原因について発話することにより、当該施設に向かうユーザが耳を傾けやすくなるのでよい。
例えば、その行き先に行く原因がユーザにとって好ましくない場合にも、ユーザにとって好ましい場合にも、ユーザの注意を引くことができるのでよい。
行き先へ行く原因がユーザにとって好ましいものでない施設としては、例えば、「病院」、「歯医者」、「薬局」のように、ユーザの病気に関係している施設とするとよい。
行き先へ行く原因がユーザにとって好ましい施設としては、例えば、「デパート」「寿司」「うなぎ」のように、日常良く行く施設よりも、ややハードルが高い施設とするとよい。
キャラクターがユーザに対して種々の感情を起こさせるフレーズとしては、例えば、「どこか具合が悪いの? 大丈夫?」、「あまり無理しないでね」のようにユーザの状態を思いやることによりキャラクターに愛着を感じさせるフレーズとするとよい。また、例えば、「ちゃんと歯磨きしてる?」のようにユーザに後悔の念を起こさせるフレーズとするとよい。
(14)前記対話における前記キャラクターの音声として、ユーザが行き先とする施設で行うことについての肯定的又は否定的なアドバイスとなるフレーズが登録されているとよい。
このようにすれば、例えば、キャラクターのアドバイスにより、ユーザが行き先ですべきことや、すべきでないことを判断できるのでよい。肯定的なアドバイスとしては、例えば、「たまには歯垢をとってもらった方がいいよ」のように何かを勧めるフレーズとするとよい。また、否定的なアドバイスとしては、例えば、「苦しそうな顔しちゃダメ。涼しい顔して我慢するのが男なの。」のように何かを禁止するフレーズとするとよい。
(15)前記対話における前記キャラクターの音声として、ユーザが行き先とする施設で行うことについてのキャラクターの一方的な感想となるフレーズが登録されているとよい。
このようにすれば、例えば、キャラクターの感想が得られるので、ユーザは、行き先での行動についての参考とすることができてよい。
キャラクターの一方的な感想としては、例えば、「お口の中でとろけるような黒ブタチャーシュー。ステキ〜。」のように、肯定的な感想とするとよい。このようにすれば、ユーザが、同様の行動を施設でとりたくなるのでよい。また、例えば、「一人でレストランに行くの?寂しくない?・・ほっとけって?」のように否定的な感想としてもよい。このようにすれば、ユーザに行き先を変える気を起こさせるのでよい。さらに、例えば、「ショッピングモールって見て回るだけで楽しそう。でも疲れそう。」のように、肯定的な感想と否定的な感想が混じっていてもよい。このようにすれば、行き先での状況について、ユーザにあらかじめ覚悟させることができるのでよい。
(16)前記対話における前記キャラクターの音声として、前記キャラクターが、現実に存在することを思わせるフレーズが登録されているとよい。
このようにすれば、例えば、ユーザは、キャラクターが実際に存在するような感覚が得られるのでよい。
現実に存在することを思わせるフレーズとしては、例えば、「出張にも私を連れて行ってくれるなんて、うれしいです〜。」、「私達、どこに泊まる?」のように、同行していることを思わせるフレーズとするとよい。このようにすれば、例えば、ユーザは、キャラクターといつも一緒にいる感覚が得られるのでよい。
ユーザの音声を認識するためにあらかじめ登録される認識語句が、項目として表示されているとよい。
このようにすれば、例えば、ユーザは、所定の処理を実行させるために、表示された項目を見れば、何を言えばいいかがわかるのでよい。
ユーザの音声を認識するためにあらかじめ登録される認識語句は、表示画面にかかわらず共通して認識できる認識語句と、表示画面に表示されたものに認識が制限される認識語句とがあるとよい。
このようにすれば、例えば、共通して認識できる認識語句によって、表示画面にかかわらず必要となる機能の利便性を維持しつつ、認識が制限される認識語句によって、誤認識の可能性を低減できる。
共通して認識できる認識語句としては、例えば、複数種の表示画面で共通して使用される認識語句とするとよい。
このようにすれば、表示画面に応じて機能が制限される可能性が低くなり、利便性を維持できる。例えば、「もどる」「取り消し」のように、他の表示画面へ遷移させる語句とするとよい。このような語句は、例えば、どの画面でも使用する必要がある語句であるのでよい。
認識が制限される認識語句としては、例えば、表示画面に表示された語句、検索対象となる語句とするとよい。このような語句は、例えば、それ以外の語句を認識させる必要性が乏しく、認識語句の数を少なくして誤認識を防ぐ必要性が高いのでよい。
ユーザの音声を認識するためにあらかじめ登録される認識語句が、表示画面に表示されているものと、表示画面に表示されていないものとがあるとよい。
このようにすれば、例えば、ユーザが、表示画面に表示されていない語句を発話した場合であっても、あらかじめ設定された認識語句であれば、キャラクターからの何らかの反応を得ることができるので、ユーザにとってサプライズとなり、ユーザに発見の喜びを与えることができるのでよい。
あらかじめ認識語句として設定された語句以外の音声が入力された場合に、キャラクターが出力する音声データが登録されているとよい。
このようにすれば、例えば、認識語句以外であっても、必ずキャラクターの反応があるため、対話が途切れたり、エラーとして報知する等によりシステムとのやり取りであることをユーザに想起させてしまうことがなく、キャラクターと対話を継続している感覚を維持できるのでよい。
量的に変化する機能の状態を、音声認識によりダイレクトに所望の量的レベルとするとよい。
このようにすれば、例えば、量的レベルを、小さな値と大きな値との間で段階的に変化させる場合に比べて、即座に所望の値とすることができるので、ユーザの手間がかからず、操作に拘束される時間が短縮される。
量的に変化する機能としては、例えば、音量、輝度、スケールなどとするとよい。このようにすれば、音量、輝度、スケールなどのボタンを選択して+−や目盛を表示させ、+−の選択や、目盛上のスライドにより段階を追ってアップダウンさせる手間が省けるのでよい。
ユーザの音声を認識するためにあらかじめ登録される認識語句として、量的に変化する機能に対応する指示語と、量的レベルを示す数字が設定されているとよい。
このようにすれば、例えば、ユーザが所望の機能に対応する指示語と数字を言うと、当該機能の量的レベルを、その数字のレベルにまでダイレクトにアップ、ダウンさせることができるのでよい。
量的に変化する機能に対応する指示語としては、例えば、「おんりょう」、「きど」、「すけーる」などとし、数字は「いち」、「に」、「にきろ」などとするとよい。このようにすれば、例えば、ユーザにとって直感的に理解しやすい機能の名称と数字を用いて、入力ができるのでよい。特に、例えば、「おんりょうさん」、「きどに」、「すけーるにきろ」のように、名称と量的レベルとを1つの認識語句にまとめてもよい。このようにすれば、発話が一回で済むのでよい。
表示手段の表示画面に、機能を選択するためのボタンであって、当該機能に対応する指示語が表示されたボタンを表示させるとよい。
このようにすれば、例えば、ユーザは、ボタンに表示された指示語を言えばよいので、ユーザにとってわかりやすくなってよい。
表示手段の表示画面に、機能を選択するためのボタンであって、機能の現在の量的レベルの値が表示されたボタンを表示させるとよい。
このようにすれば、例えば、ユーザは、ボタンに表示された値を見ることにより、現在の量的レベルを確認して、所望の値へアップさせるべきか、ダウンさせるべきかを判断できるのでよい。
現在の量的レベルの値は、例えば、地図のスケールとするとよい。このようにすれば、例えば、小さなスケールの値がボタンに表示されている場合に、ユーザがそれよりも大きな値を言うと、ボタンに表示されるスケールの値もその値にダイレクトに変わり、即座に広範囲の地図を見渡すことができてよい。また、例えば、大きなスケールの値がボタンに表示されている場合に、ユーザがそれよりも小さな値を言うと、ボタンに表示されるスケールの値もその値にダイレクトに変わり、即座に詳細な地図を見ることができてよい。
前記機能に対応する指示語が表示されるボタンは、別の表示画面に遷移せずに機能を実行させるボタンがあることを特徴とするとよい。
このようにすれば、例えば、機能を実行させるために別の表示画面に遷移しなくても、対話により機能を実行させることができるので、現在の画面表示が邪魔されることがなくてよい。
音声認識を受け付けているか否かを、表示手段に表示させるとよい。
このようにすれば、例えば、ユーザが、音声による操作ができるか否かを視覚により認識することができてよい。
音声認識を受け付けているか否かとしては、例えば、表示画面の色を変えて表示するとよい。このようにすれば、例えば、ユーザの視覚を介して、音声認識の状態を即座に感得させることができるのでよい。特に、例えば、音声認識を受け付けている場合には、通常の色とし、受け付けていない時には、グレースケールとするとよい。このようにすれば、例えば、音声認識を受け付けているか否かをユーザに直感的にわからせることができるのでよい。
音声認識を受け付けているか否かをキャラクターに表示するとよい。
このようにすれば、例えば、キャラクターを見れば、音声による操作が可能か否かがわかるので、ユーザが気づきやすくなるのでよい。
キャラクターに表示する態様としては、例えば、キャラクターの様子が明らかに変化する態様とするとよい。このようにすれば、例えば、音声認識の状態を即座に感得させることができるのでよい。キャラクターの様子が明らかに変化する態様としては、例えば、キャラクターに物を付加する、キャラクターの色や形態を変える、特定のポーズ、ジェスチャーをさせる、吹き出しでセリフを表示するなどとするとよい。このようにすれば、例えば、通常のキャラクターの状態を知っているユーザであれば、通常の状態との対比によってその変化に即座に気づくのでよい。キャラクターに物を付加する態様としては、例えば、ヘッドセット、ヘッドホン、イヤホン、マイク等の音に関連する備品をキャラクターに装着させるとよい。このようにすれば、例えば、ユーザに、音に関連する機能である音声認識を連想させるのでよい。キャラクターの色や形態を変える態様としては、例えば、髪型や髪の色を変える、別のコスチュームに着替えるなどとするとよい。このようにすれば、例えば、通常の状態との相違がわかりやすくてよい。特に、例えば、キャラクターの耳を大きくすれば、音声をよく聞き取ろうとしていることを示す姿となってよい。さらに、ポーズ、ジェスチャーとして、例えば、耳の後ろに手を当てるしぐさをさせても、音声をよく聞き取ろうとしていることを示す姿となってよい。
キャラクターの音声が出力されている間は、音声を出力し終えるまで、音声認識を停止するとよい。
このようにすれば、例えば、キャラクターの音声の途中で、ユーザからの音声の入力があった場合に、音声認識により他の処理が実行されてしまうことを防止できてよい。他の処理としては、例えば、音量、輝度、スケール、周辺検索のように、緊急性の低い処理とするとよい。このようにすれば、必ずしも直ちに実行しなくてもよいものまで、音声認識により実行されてしまうことがなくてよい。
キャラクターの音声が出力されている間も、音声認識を受け付けるとよい。
このようにすれば、例えば、キャラクターの音声の途中で、ユーザからの音声の入力があった場合に、音声認識より他の処理が中断されないのでよい。他の処理としては、例えば、取締場所に関する位置情報を情報収集サーバに送信する処理のように、緊急性の高い処理とするとよい。このようにすれば、ユーザが直ちに実行して欲しい処理が、中断されることがなくてよい。
キャラクターの音声が出力されている間に、ユーザからの音声の入力があった場合に、キャラクターの音声の出力を停止するとよい。
このようにすれば、例えば、ユーザの音声によって、キャラクターの発言を遮ったような印象を与えることができる。停止したキャラクターの音声の出力は、例えば、あらためて出力しなければ、同じ発話が始めから繰り返されて不自然な印象を与えることがなくてよい。また、停止したキャラクターの音声の出力を、例えば、止めたところから開始すれば、ユーザの発言の間、キャラクターが待ってくれていた印象を与えることができてよい。
キャラクターの音声が出力されている間に、所定の入力操作がなされた場合に、キャラクターの音声を停止するとよい。
このようにすれば、例えば、キャラクターとの対話を第三者に聞かれたくないときに、所定の入力操作によって、キャラクターの音声を停止させることができてよい。所定の入力操作としては、例えば、物理キーの操作とするとよい。このようにすれば、常時、固定的に存在する箇所を操作すればよいので、とっさの操作がしやすい。
ユーザの音声を認識するためにあらかじめ登録される認識語句に対応するユーザの音声の入力に応じて、取締場所に関する位置情報を情報収集サーバに送信する投稿を行うとよい。
このようにすれば、例えば、取締場所を知らせる投稿を、手操作でなく、音声により簡単にすばやく行うことができてよい。
取締場所としては、例えば、取締・検問エリアのように、実施位置、時間が変化するチェック場所とするとよい。このようにすれば、あらかじめ位置を登録しておくことが困難な取締場所についての情報を、投稿により収集させることができるのでよい。
位置情報としては、例えば、現在位置又は中心位置座標とするとよい。このようにすれば、例えば、確実且つ簡単に得られる情報により取締場所を特定できるとともに、音声認識を利用するので、実際の取締位置とのずれが少なくてよい。
所定の認識語句として、音声認識を起動させる語句と投稿の受け付けを開始させる語句とが登録されているとよい。
このようにすれば、例えば、ユーザが、音声認識を起動させる語句と投稿の受け付けを開始させる語句とを発話することにより、音声認識と、投稿の受け付けという多段階の操作を簡単に実行させることができるのでよい。
音声認識を起動させる語句と投稿の受け付けを開始させる語句としては、例えば、別々に分かれた語句として登録されていてもよい。
このようにすれば、例えば、音声認識の開始とともに投稿の受け付けが開始してしまい、誤認識が生じることを防止できてよい。また、音声認識を起動させる語句と投稿の受け付けを開始させる語句としては、例えば、一連の語句として設定されていてもよい。このようにすれば、例えば、音声認識の開始とともに投稿の受け付けを一発で開始させることができるので、即座に投稿可能な状態とすることができてよい。
所定の認識語句としては、音声認識を起動させる語句と投稿をさせる語句とが登録されているとよい。
このようにすれば、例えば、ユーザが、音声認識を起動させる語句と投稿をさせる語句とを発話することにより、音声認識と、投稿という多段階の操作を簡単に行うことができてよい。
音声認識を起動させる語句と投稿させる語句としては、例えば、別々に分かれた語句として登録されていてもよい。
このようにすれば、例えば、音声認識の開始とともに投稿されてしまい、誤って投稿されることを防止できてよい。また、音声認識を開始させる語句と投稿させる語句としては、例えば、一連の語句として設定されていてもよい。このようにすれば、例えば、音声認識の開始とともに投稿を一発で行わせることができるので、即座に投稿できて、取締場所と投稿場所とのずれを極力少なくすることができてよい。
投稿のための所定の認識語句は、他の認識語句よりも短いとよい。
このようにすれば、例えば、緊急性の高い投稿について、短時間で指示することができてよい。
投稿のための所定の認識語句は、他の認識語句よりも冗長であるとよい。
このようにすれば、例えば、通常の音声認識を利用している場合に、他の認識語句を言う可能性が少なくなり、誤って投稿がされてしまうことを防止できてよい。
冗長であるとは、例えば、文字数が多い、複数に分かれているとするとよい。このようにすれば、例えば、投稿を意図していないユーザが、誤って発話してしまう可能性を低減できるのでよい。
投稿のための所定の認識語句は、ユーザが普段言う可能性の低い語句であるとよい。
このようにすれば、例えば、ユーザが車内で普段、頻繁に使用する語句によって頻繁に誤認識が生じることを防ぎ、ユーザが意図しない投稿を防止できる。
投稿のための対話におけるキャラクターの音声は、他の対話における音声よりも短いとよい。
このようにすれば、例えば、対話の時間を短くして、素早く投稿させることができるのでよい。
(17)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理は、所定の認識語句に対応するユーザからの音声の入力により開始するとよい。
このようにすれば、例えば、所定の処理をユーザからの音声の入力があって開始するため、システムが勝手に開始して処理が実行されてしまうことがなくてよい。
(18)前記対話に応じて、ユーザが知りたい情報を出力するための所定の処理は、所定のキャラクターの音声の出力に対し、所定の認識語句に対応するユーザからの音声の入力があって開始するとよい。
このようにすれば、例えば、キャラクターの音声の出力が、ユーザが所定の処理を開始するか否かを判断する契機となるので、システムを利用する機会を増やすことができるのでよい。
キャラクターの音声の出力は、例えば、特定の処理の開始の有無を問い合わせるものとするとよい。このようにすれば、例えば、ユーザが、処理の利用を促されるのでよい。
キャラクターの音声の出力のタイミングは、例えば、定期的とすれば、処理を利用させる頻度を高めるのでよい。また、タイミングを所定の条件を満たした場合とすれば、処理の利用に適したタイミングで、ユーザに利用を促すことができるのでよい。
(19)ユーザが知りたい情報を出力するための所定の処理を開始した時点から、ユーザからの音声の入力がなく所定時間経過した場合に、処理を終了するとよい。
このようにすれば、例えば、音声認識を長期間継続することによって生じる誤操作を防止できるのでよい。
(20)ユーザが知りたい情報を出力するための所定の処理を開始した時点から、所定時間経過するまでの間に、キャラクターが、ユーザに音声入力を促す音声を出力するとよい。
このようにすれば、例えば、ユーザが処理の開始を忘れている場合に、音声入力を促すことができるのでよい。
(21)(1)〜(20)のシステムとしての機能を、コンピュータに実現させるためのプログラムとして構成するとよい。
本発明によれば、ユーザにとって、操作や運転に面白さが得られるとともに、飽きがくることがなく、積極的に機能を利用する意欲が湧いてくるシステム及びプログラムを提供することができる。
本発明の一実施形態を示す全体斜視図である。 装置本体の内部構成を示すブロック図である。 表示部へ表示する警告画面例を示す図である。 表示部へ表示する経路表示画面例を示す図である。 認識ワードのリスト例の前半を示す図である。 認識ワードのリストの例の後半を示す図である。 応答フレーズのリスト例の一部を示す図である。 キャラクターの態様に応じた応答フレーズを示す図である。 各種の応答フレーズの例を示す図である。 音声認識起動待ちの表示画面例を示す図である。 現在地表示において音声認識開始の表示画面例を示す図である。 ルート案内時の音声認識開始の表示画面例を示す図である。 周辺検索におけるジャンル選択の1ページ目の表示画面例を示す図である。 周辺検索におけるジャンル選択の2ページ目の表示画面例を示す図である。 周辺検索における検索結果をアイコンで表示した表示画面例を示す図である。 図15において地図スケールを変更する場合の表示画面例を示す図である。 周辺検索における検索結果をリスト表示した1ページ目の表示画面例を示す図である。 周辺検索における検索結果をリスト表示した2ページ目の表示画面例を示す図である。 探索ルートを表示した表示画面例を示す図である。 図19においてスケール変更する場合の表示画面例を示す図である。 ルート条件を変更する表示画面例を示す図である。 地図スケールを変更する場合の表示画面例を示す図である。 音量を変更する場合の表示画面例を示す図である。 輝度を変更する場合の表示画面例を示す図である。 タイムアウト処理における応答フレーズの例を示す図である。 ジャンル変更の表示画面例を示す図である。
[基本構成]
図1は、本発明のシステムを構成する電子機器として好適なナビテーション装置の一実施形態の外観図を示しており、図2は、その機能ブロック図を示しており、図3及び図4は表示形態の一例を示している。図1に示すように、ナビゲーション装置は、持ち運び可能な携帯型の装置本体2と、それを保持する取付部材たるクレードル3とを備える。装置本体2をクレードル3に装着することで、車載用のナビゲーション装置として機能し、クレードル3から取り外すことで携帯型のナビゲーション装置(PND)として機能する。本実施形態は、装置本体2をクレードル3に着脱可能とし、クレードル3と共に車両のダッシュボード上に設置して利用したり、クレードル3から装置本体2を取り外して携帯型(PND)として利用したりすることができるタイプであるが、クレードル3に対して簡単に着脱できず、車載固定タイプでも良いし、携帯型専用のものでもよい。さらには、例えば携帯電話などの携帯端末に所定のアプリケーションプログラムをインストール(プリインストールを含む)して実現されるものでもよい。アプリケーションプログラムは、ナビゲーションを行うためのシステム自身でも良いし、ナビゲーションを行うためのシステムが実装されているサーバにアクセスし、当該システムを利用するためのプログラムでも良い。本発明は、係る各種のタイプのナビゲーションシステムに適用できる。
装置本体2は、クレードル3に対して着脱自在に取り付けられる。装置本体2は、扁平な矩形状のケース本体4を備えている。そのケース本体4の前面には、表示部5が配置され、その表示部5上には表示部5のどの部分がタッチされたかを検出するタッチパネル8を備え、前面の両サイドには警報ランプ9を備えている。クレードル3は、装置本体2を保持するクレードル本体6と、車室内の所定の位置(ダッシュボード等)において、クレードル本体6を任意の姿勢で指示する台座部7と、を備えている。台座部7は、底面に設けた吸盤にて、ダッシュボードなどの上に吸着して固定される。台座部7とクレードル本体6とは、ボールジョイント等の連結機構を介して所定の角度範囲内で回転可能に連結される。ボールジョイントであるため、台座部7とクレードル本体6は、相対的に三次元方向の任意の角度範囲内で回転移動し、ジョイント部分における摩擦抵抗により任意の角度位置でその位置をとどめる。よって、クレードル本体6に取り付けられた装置本体2も、ダッシュボード上において任意の姿勢で配置することができる。
さらにケース本体4の一方の側面には、SDメモリカード用スロット部21を備え、そのSDメモリカード用スロット部21に地図データなどが記録されたSDメモリカード22を挿入可能としている。このSDメモリカード用スロット部21は、挿入されたSDメモリカード22に対して情報の読み書きを行うメモリカードリーダライタを含む。また、ケース本体4のSDメモリカード用スロット部21を設けた側面には、DCジャック10を設けている。DCジャック10は、図示省略のシガープラグコードを接続するためのもので、そのシガープラグコードを介して車両のシガーソケットに接続して電源供給を受け得るようにする。
一方、SDメモリカード用スロット部21とは反対側の側面には、電源スイッチや、USB端子23を設けている。このUSB端子23を介してパソコンと接続し、ソフトウェアアプリケーションのバージョンアップなどを行なうことができる。
ケース本体4の内部には、以下の各機器・部品を配置している。すなわち、ケース本体4の背面側内部には、マイクロ波受信機11を配置する。マイクロ波受信機11は、所定周波数帯のマイクロ波を受信するもので、その設定された周波数帯のマイクロ波を受信した場合に、その受信したマイクロ波の信号レベルを検出する。具体的には、その信号レベルであり電界強度に対応するRSSI電圧を利用する。上記の所定周波数帯は、たとえば車両速度測定装置から出射されるマイクロ波の周波数が含まれる周波数帯としている。
また、ケース本体4の上面側内部には、GPS信号を受信し現在位置を求めるGPS受信機12を配置している。ケース本体4の前面側内部には、赤外線通信機14を配置する。赤外線通信機14は携帯電話機15等の赤外線通信機を内蔵した通信装置との間でデータの送受を行なう。さらに、ケース本体4内には、スピーカ20も内蔵されている。
更に、本実施形態の装置は、無線受信機13とリモコン受信機16を備えている。無線受信機13は、飛来する所定周波数の無線を受信する。リモコン受信機16は、リモコン(携帯機:子機)17とデータ通信をし、装置に対する各種の設定を行なう。無線受信機13は、飛来する所定周波数帯の無線を受信する。この所定周波数は、例えば、緊急車両が基地局に対して自車位置を通知する際に使用する無線の周波数帯とすることができる。
本実施形態のナビゲーション装置は、ナビゲーション機能に加え、周囲に存在する車両速度測定装置その他の交通監視ポイント等の目標物を報知する目標物報知装置としての目標物報知機能も備えている。これらのナビゲーション機能並びに目標物報知機能は、制御部18に有するコンピュータが実行するプログラムとして制御部18のEEPROM上に格納され、これを制御部18に有するコンピュータが実行することで実現される。
すなわち、制御部18は、上記の各種の入力機器(GPS受信機12、マイクロ波受信機11、無線受信機13、タッチパネル8、赤外線通信機14、リモコン受信機16、SDメモリカードスロット部21、USB端子23等)から入力される情報に基づき所定の処理を実行し、出力機器(表示部5、警報ランプ9、スピーカ20、赤外線通信機14、SDメモリカードスロット部21、USB端子23等)を利用して所定の情報・警報・メッセージを出力する。この所定の処理が、上記の各機能を実行するためのものであり、必要に応じてデータベース19や、SDメモリカード22にアクセスする。
ここでデータベース19は、制御部18のマイコン内あるいはマイコンに外付けした不揮発性メモリ(たとえばEEPROM)により実現できる。なお、データベース19には、出荷時に一定の目標物や地図その他の各機能を実施するために必要な情報が登録されており、その後に追加された目標物についてのデータ等は、所定の処理を経て更新することができる。この更新のための処理は、例えば、追加データが格納されたSDメモリカード22をSDメモリカード用スロット部21に装着すると共に、そのSDメモリカード22からデータベース19に転送することで行うことがある。また、このデータ更新は、赤外線通信機7を用いたり、USB端子23を介して接続されるパソコンその他の外部機器を用いたりすることで行うことができる。
目標物報知機能を実現するための制御部18は、以下のような動作をする。すなわち、制御部18は、マイクロ波受信機11が所望のマイクロ波を受信した場合、予め定めた警報を出力する。この警報としては、スピーカ20を用いたブザーやマイクロ波の受信(車両速度測定装置の検出等)を知らせるための音声の出力や、表示部5を用いた文字或いはイメージによるメッセージの出力などがある。
また、制御部18は、無線受信機13が所望の無線を受信した場合、予め定めた警報を出力する。この警報としては、スピーカ20を用いたブザーやマイクロ波の受信(緊急車両の接近等)を知らせるための音声の出力や、表示部5を用いた文字或いはイメージによるメッセージの出力などがある。この無線の受信に伴う警報と、上記のマイクロ波の受信に伴う警報の形態は、異なるようにすると良い。
さらに、制御部18は、GPS受信機12によって検出した現在位置と、データベース19に記憶している交通監視ポイント等の目標物の位置が、所定の位置関係にあるとき、所定の警報を出力する。そのため、データベース19には、検出対象の目標物に関する情報(経度・緯度を含む目標物の位置情報や目標物の種別情報等)や、事故多発地帯や交通取締り情報などのより注意を持って安全に運転するための交通安全情報や、ランドマークや運転に有益な各種の情報がある。各情報は、具体的な情報の種類(目標物の種類、交通取り締まりの種類、事故多発地帯、ランドマークの名称等)と位置情報とを関連づけて登録されている。
警報を発する際の目標物までの距離は、目標物の種類ごとに変えることができる。警報の態様としては、上記と同様に、スピーカ20を用いた音声等による警報と、表示部5を用いた警報等がある。図3は、表示部5による警報の一例を示している。本実施形態では、装置がナビゲーション装置であるので、後述するように地図データを有していることから、基本画面として、制御部18は、現在位置周辺の道路ネットワーク情報を読み出し、現在位置周辺の地図を表示部5に表示する機能を有する。そして、表示部5に、現在表示中の画面(ここでは現在位置周辺の地図)に重ねて警告画面70を表示する。図3は、地図50を表示している際に、現在位置と交通監視ポイントの一つである速度測定装置の一種であるLHシステムとの距離が500mになった場合の警告画面70の表示例を示している。さらに、「500m先LHシステムです」といった警報種類と距離を示す警告音声をスピーカ20から出力する処理を行う。
一方、ナビゲーション機能を実現するための制御部18は、以下のような動作をする。まず、データベース19は、ナビゲーション用の道路ネットワーク情報を記憶している。このデータベース19に格納するナビゲーションのための情報は、出荷時において全国についてのすべての情報を格納しておいても良いし、地図データ等は、地方毎にSDメモリカード22に格納したものを提供するようにし、ユーザは必要な地図データ等が格納されたSDメモリカード22を用意し、それをSDメモリカード用スロット部21に装着して使用するようにしても良い。なお、SDメモリカード22に格納された地図データ等は、データベース19に転送して格納しても良いし、制御部18がSDメモリカード22にアクセスし、そこから読み出して使用するようにしても良い。
制御部18は、データベース19から現在位置周辺の道路ネットワーク情報を読み出し、現在位置周辺の地図を表示部5に表示する機能を有する。この制御部18は、この道路ネットワーク情報を利用してある位置から別の位置に至るルート(経路)を検索することができる。また、データベース19は、電話番号とその電話番号の住宅・会社・施設等の位置情報及び名称とを対応づけて記憶した電話番号データベースと、住所とその住所の位置情報とを対応づけて記憶した住所データベースを備える。またデータベース19には、速度測定装置等の交通監視ポイントの位置情報がその種類とともに記憶されている。
また、制御部18は、一般的なナビゲーション装置の処理を行う機能を有する。すなわち、表示部5に現在位置周辺の地図を随時表示し、目的地設定ボタンを表示する。制御部18は、タッチパネル8によって、目的地設定ボタンの表示位置に対応する位置のタッチを検出した場合に、目的地設定処理を行う。目的地設定処理では、目的地設定メニューを表示部5に表示し、目的地の設定方法の選択をユーザに促す。目的地設定メニューは、目的地の設定方法の選択をユーザに促す電話番号検索ボタンと住所検索ボタンとを有する。電話番号検索ボタンがタッチされたことを検出した場合には、電話番号の入力画面を表示し、入力された電話番号に対応する位置情報をデータベース19から取得する。住所検索ボタンがタッチされたことを検出した場合には、住所の選択入力画面を表示し、入力された住所に対応する位置情報をデータベース19から取得する。そして、取得した位置情報を目的地の位置情報として設定し、現在位置から目的地までの推奨経路を、データベース19に記憶している道路ネットワーク情報に基づいて求める。この推奨経路の算出方法としては例えばダイクストラ法など公知の手法を用いることができる。
そして、制御部18は、算出した推奨経路を、周辺の地図とともに表示する。例えば、図4に示すように、現在位置51から目的地52にいたるルート53を推奨経路として、所定の色(例えば赤色)で表示する。これは、一般的なナビゲーションシステムと同様である。そして本実施形態では、制御部18は、ルート53上の位置情報とデータベース19に記憶された交通監視ポイント等の目標物の位置情報とを比較し、ルート53上に位置する交通監視ポイント等の位置を表示する。なお、ルート53を安全運転で走行するための情報提供としては、データベース19に格納された各種の目標物の内、交通監視ポイントに限るようにしても良い。
これにより、例えば、図4に示すように、道路上の位置から吹き出しを表示し、データベース19に記憶されたその位置の交通監視ポイントの種類を吹き出しの中に表示する。例えば、図4(a)は、警告ポイント検索画面の表示例であり、交通監視ポイント55aから55fを表示した例を示している。交通監視ポイント55aは、Nシステムを示す「N」の文字を吹き出しの中に表示している。交通監視ポイント55b、55c、55eは、LHシステムを示す「LH」の文字を吹き出しの中に表示している。交通監視ポイント55dは、ループコイルを示す「ループ」の文字を吹き出しの中に表示している。交通監視ポイント55fは、Hシステムを示す「H」の文字を吹き出しの中に表示している。このように、吹き出しの中に文字を表示する簡略表示状態の吹き出し位置へのタッチをタッチパネル8が検知した場合には、図4(b)に示すように、簡易表示を詳細表示へと切り替える。詳細表示は、図3に示した警告画面を吹き出しの中に表示するものである。
また、図4(a)に示すように表示部5内の右下側には、交通監視ポイント種別指定部56を表示する。交通監視ポイント種別指定部56は、ルート53上に存在する交通監視ポイントの種別を列挙したボタン表示を行う部分である。図4(a)の例では、交通監視ポイント55aのNシステムを示す「N」の種別ボタン57aと、交通監視ポイント55b、55c、55eのLHシステムを示す「LH」の種別ボタン57bと、交通監視ポイント55dのループコイルを示す「ループ」の種別ボタン57cと、交通監視ポイント55fのHシステムを示す「H」の種別ボタン57dを表示している。制御部18は、この種別ボタンの表示部へのタッチをタッチパネル8から検出した場合、タッチされた種別ボタンを反転表示するとともに、タッチされた種別ボタンに対応する交通監視ポイントの表示態様を、簡易表示中であれば詳細表示に切り替え、詳細表示中であれば簡易表示中に切り替える。
本実施形態のカーナビゲーション装置は、目的地(以下、経由地も含む)の設定方法として、周辺検索機能を備えている。この周辺検索機能が選択されて起動された場合、制御部18は、指定された条件に合致する施設であって、現在位置から近いものを抽出し、その抽出結果を表示部5に描画する。そして、ユーザは、表示部5に描画された候補の中からいずれかを選択し、確定することで目的地(経由地を含む)に指定することができる。
すなわち、係る機能を実現するため、本実施形態のデータベース19は、各施設についての情報を、その位置情報とともに施設の分類に関する情報と関連付けて記憶している。施設の分類に関する情報は、各施設が合致するジャンルの呼び名でまとめられた複数種類の項目である。
本実施形態では、いずれかの項目が指定されると、制御部18は、指定された項目に合致する施設であって、現在位置から近いものを抽出し、その抽出結果を目的地の候補として表示部5に描画する。ユーザは、表示部5に描画された候補の中からいずれかを選択することによって、目的地として指定することができる。
項目のいずれか選択された場合、制御部18は、データベース19にアクセスし、現在位置を中心として、基準距離(たとえば、10km)以内に存在する施設であって、指定された項目の分類に一致するものを抽出する。そして、近いものから所定数(たとえば10個)の施設を表示部5に描画されている地図上の対応する箇所に、当該施設を示すアイコン(マーク)を重ねて描画する。データベース19に格納した施設の情報として、各施設に対して、それぞれのアイコンを関連づけて登録しておき、描画に際しては、その関連づけられたアイコンを読み出して表示部5の所定位置に描画する。
なお、表示部5に描画された地図上に、現在位置が存在している場合には、その現在位置に該当する位置に自車を示す自車アイコンを重ねて描画する。さらに、このような施設のアイコンを描画するに際し、自車から近い順に番号を付記して表示する。自車の移動に伴い、随時番号は更新する。
そして、ユーザが、所望の施設を選択すると、それを認識した制御部18が、係る施設を目的地とした推奨経路を求め、その結果を表示部5の地図に重ねて描画する。
さらに、制御部18は、設定された目的地までのルート案内を行う機能を有する。つまり、制御部18は、ユーザによる案内開始の選択に応じて、GPSや自律航法で自車位置を逐次検出しながら、道路などを表す地図情報を表示部5に描画しつつ、目的地までの道案内を画像や音声を用いて行う。
上記のユーザによる指定、選択等の指示入力は、表示部5に項目や機能の名称が表示されたボタン、施設のアイコンをタッチしたり、リモコン操作により選択したり、所定の音声が入力がなされたことを、制御部18が検出することを契機として行うことができる。
[キャラクターとの対話機能]
《対話機能の基本》
以下、本実施形態の特徴であるキャラクターとの対話機能について説明する。この対話機能は、制御部18が、プログラムを実行することにより実現される機能であり、車両の搭乗者であるユーザの音声を認識した結果に基づく認識情報と、ユーザの音声を認識したことを示す所定のキャラクターの音声の出力とによって実現される機能である。
この対話機能を実行するため、データベース19は、認識ワード(認識語句)と、これに対応するキャラクターの音声データである応答フレーズを記憶している。制御部18は、マイク20を介して入力されたユーザの音声を、認識ワードに基づいて認識する。つまり、制御部18は、ユーザの音声信号に基づいて、ユーザが発話した音声を語句として認識し、認識された語句と認識ワードとが一致するか否かを判定する。そして、制御部18は、認識された語句に一致すると判定された認識ワードに対応する応答フレーズを、スピーカ20に出力させる。対話のための認識ワードとキャラクターの音声である応答フレーズとの種々の組み合わせを用意することにより、後述するように、対話に応じて実行される多様な処理に対応させることができる。
これにより、ユーザは、システムである電子機器を利用して、キャラクターと簡単な対話ができる。本実施形態のキャラクターは、例えば、「レイ」という名前の少女として設定されている。上記の周辺検索等の諸機能も、キャラクターとの対話で行うことができる。データベース19は、キャラクターの呼び名として、「れーたん」を、認識ワードとして記憶している。
また、データベース19は、キャラクターの画像(静止画、動画を含む)データを記憶している。制御部18は、この画像データに基づいて、キャラクターの静止画、動画を、表示部5に表示させることができる。なお、制御部18は、一部の応答フレーズについては、出力する応答フレーズと合致するように、表示部5に表示させるキャラクターの口や身体を動かすリップリンクにより、キャラクターがしゃべっている状況をリアルに感じさせることができる。
さらに、データベース19が記憶するキャラクターの音声、画像としては、同一人物について、複数の態様(モード)が設定されている。例えば、データベース19は、「レイ」という一人の人物でありながら、「標準レイ」、「変身後のレイ」、「ちびレイ」という3つのモードに分けて、それぞれの応答フレーズ、画像データを記憶している。「標準レイ」はキャラクターの基本となるモードである。「変身後のレイ」は、「標準レイ」とは衣服及び髪型を変えたモードである。「ちびレイ」は、頭身を変えて、子どもっぽくしたモードである。制御部18は、ユーザによるいずれかのモードの選択に従って、キャラクターの音声、画像を出力する。
《認識ワード》
図5及び図6は、データベース19が記憶している認識ワードのリストの一例である。この認識ワードのリストの各列には、リスト番号が付されている。各列には、後述するように、表示部5に表示される各表示画面M1、V1、V1a、S1、S1a、S2、S2a、S2_list、S2a_list、R1、R1a、R1b、A1、A2、A3において、それぞれ認識可能な認識ワードが含まれている。
リスト番号1には、音声認識を起動させる起動ワード、「れーたん、ぼいすこんとろーる」が登録されている。制御部18は、起動ワードを認識すると、周辺検索等の各種の機能を実行させるための音声認識の機能を起動する。このため、初期状態においては、制御部19は、起動ワードのみを音声認識できる状態で待機している。このリスト番号1は、後述する表示画面M1に対応している。
リスト番号2には、音声認識を起動させた後に、周辺検索、スケール変更、音量変更、輝度変更のいずれかを開始させるための認識ワードが登録されている。例えば、周辺検索を開始させる認識ワードとしては、「しゅうへん」が登録されている。スケール変更を開始させる認識ワードとしては、「すけーる」が登録されている。音量変更を開始させる認識ワードとしては、「おんりょう」が登録されている。輝度変更を開始させる認識ワードとしては、「きど」が登録されている。このリスト番号2は、後述する表示画面V1に対応している。さらに、リスト番号2には、自宅に戻る場合に、一度の発話で自宅へのルートを探索させる認識ワード「じたく」が登録されている。このように、ユーザが使用する頻度が高い機能に対応する認識ワードが、音声認識が起動した時の認識ワードとして登録されているので、音声認識を開始して、即座に実行させることができる。
リスト番号3には、ルート案内を開始した後に、実行させる機能に対応する認識ワードが登録されている。例えば、リスト番号2の認識ワードに加えて、「あんないちゅうし」、「あんないていし」、「あんないやめる」というルート案内を中止させる認識ワードが登録されている。このように、ルート案内を中止させるという同一の機能を実行させる認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。このリスト番号3は、後述する表示画面V1aに対応している。特に、「しゅうへん」、「おんりょう」、「きど」は、後述するように、表示画面V1、V1aのボタンに表示される指示語となる。このため、ユーザは、表示された指示語を発話すれば、指示入力が可能となる。
リスト番号4、5には、周辺検索において、ジャンルを指定するための認識ワードが登録されている。このジャンルの認識ワードは、ジャンルを指定するための項目のボタンに、ひらがなの文字で表示される。リスト番号4に属する認識ワードのボタンが表示される画面表示では、認識可能なジャンルは、リスト番号4に属する認識ワードに限られる。このリスト番号4は、後述する表示画面S1に対応する。なお、ファミリーレストランについて「ふぁみれす」、「ふぁみりーれすとらん」、電器店について「かでん」、「でんきや」のように、同一のジャンルを指定する認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる
リスト番号5に属する認識ワードのボタンが表示される画面表示においては、認識可能なジャンルは、リスト番号5に属する認識ワードに限られる。このリスト番号5は、後述する表示画面S1aに対応する。このように、各表示画面において認識可能なジャンルは、それぞれの表示画面に表示された項目のボタンに対応する認識ワードに限定されるので、誤認識の可能性が低くなる。
さらに、リスト番号4には、リスト番号5の表示画面S1aに遷移させるための認識ワード「にぺーじ」、「つぎ」が登録されている。また、リスト番号5には、リスト番号4の表示画面S1に遷移させるための認識ワード「いちぺーじ」、「まえ」が登録されている。このように、ジャンルの表示画面を遷移させるという同一の機能を実行させる認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。
リスト番号6、7、8、9には、周辺検索で検索された施設を選択するための認識ワードが登録されている。リスト番号6、7に対応する表示画面では、周辺検索で検索された施設が、地図上の所在地に、現在位置に近い順に番号が付されたアイコンで表示される。認識ワードとしては、施設を選択するための番号の呼び名が登録されている。例えば、「いち」、「いちばん」、「に」、「にばん」のように、番号を指示する認識ワードが登録されている。このように、目的地として同一の対象を選択する認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。なお、リスト番号6、7に対応する表示画面では、検索された施設(本例では、10箇所)を、画面表示されているか否かにかかわらず、全て音声で選択できる。
また、リスト番号6、7には、表示された地図のスケールを変更するための認識ワードが登録されている。つまり、リスト番号6には、スケール変更の開始を受け付ける認識ワード「すけーる」が登録されている。このリスト番号6は、後述する表示画面S2に対応する。リスト番号7には、スケール変更の開始を受け付ける認識ワード「スケール」の他、スケールを変更する認識ワードが登録されている。このリスト番号7は、後述する表示画面S2aに対応する。
スケールを変更する認識ワードには、地図のスケールを拡大させて詳細表示するための認識ワードと、地図のスケールを縮小させて広域表示するための認識ワードと、スケールの数字及び単位を示す認識ワードが含まれる。地図のスケールを拡大させる認識ワードは、「かくだい」、「しょうさい」、地図のスケールを縮小させる認識ワードは、「しゅくしょう」、「こういき」といったように、地図のスケールを段階的に変化させる認識ワードが含まれる。段階的とは、あらかじめ複数のレベルのスケールが設定されていて、そのレベルを1つずつ上げ下げすることである。このように、スケールを段階的に変化させるという同一の機能を実行させる認識ワードとして、それぞれ複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。特に、スケールを上げ下げする際に、日常使用する言葉を認識ワードとしているので、ユーザは音量の変更を指示する言葉に迷わずに済む。
また、スケールを変更する認識ワードには、「じゅうめーとる」、「にじゅうごめーとる」、「ごじゅうめーとる」のように、スケールの数字及び単位を指定できる認識ワードが含まれる。これにより、ユーザが、所望のスケールの認識ワードを発話して指定すると、これを認識した制御部18は、指定された地図のスケールにダイレクトに変更させる。さらに、リスト番号6、7には、後述するリスト番号8のリスト表示の表示画面に遷移させる認識ワード「りすと」、「りすとひょうじ」が登録されている。このように、リスト表示の画面への遷移という同一の機能を実行させる認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。
リスト番号8、9に対応する表示画面では、周辺検索で検索された施設が、番号が表示されたボタンによってリスト表示される。このようにリスト表示された施設を選択するための番号の呼び名が、認識ワードとして登録されている。リスト番号8は、後述する表示画面S2_listに対応し、リスト番号9は、後述する表示画面S2a_listに対応する。登録されている番号の呼び名は、上記のリスト番号8、9と同様である。但し、リスト番号8、9では、選択できる施設は、表示画面に表示されたものに限られる。本例では、リスト番号8に対応する表示画面S2_listでは、1番目から5番目の施設、リスト番号S2_listでは、6番目から10番目の施設が選択できる。
さらに、リスト番号8、9には、リスト表示を解除するための認識ワード「りすと」、「りすと解除」が登録されている。このように、リスト表示の解除という同一の機能を実行させる認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。さらに、リスト番号4、5と同様に、リスト番号8には、リスト番号9の表示画面S1aに遷移させるための認識ワード「にぺーじ」、「つぎ」が登録されている。また、リスト番号9には、リスト番号8の表示画面S1に遷移させるための認識ワード「いちぺーじ」、「まえ」が登録されている。
リスト番号10、11、12には、探索されたルート案内の開始を指示する認識ワード「あんないかいし」、「あんないよろしく」、「あんないして」が登録されている。このように、ルート案内という同一の機能を指示する認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。特に、「あんないかいし」という命令口調に加えて、「あんないよろしく」、「あんないして」という親しみを込めた依頼の口調も用意することにより、キャラクターとの親密度合いに応じて、口調を変えることを楽しめる。
リスト番号10は、ルート探索後、探索されたルートを表示する表示画面に対応している。この表示画面は、後述する表示画面R1に対応する。リスト番号11は、探索されたルートを表示しつつ、地図のスケールを変更する表示画面に対応する。この表示画面は、後述する表示画面R1aに対応する。リスト番号12は、探索されたルートを表示しつつ、ルート条件を変更する表示画面に対応する。この表示画面は、後述する表示画面R1bに対応する。
また、リスト番号10、11、12には、スケール変更を開始させる認識ワード「すけーる」、周辺施設を再検索させる認識ワード「しゅうへん」、ルート条件の変更を開始させる認識ワード「じょうけん」、「るーとじょうけん」が登録されている。このように、ルート条件の変更という同一の機能を指示する認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。
さらに、リスト番号11には、リスト番号7と同様に、スケールを変更する認識ワードが登録されている。また、リスト番号12には、ルート条件を変更する認識ワードが登録されている。ルート条件は、何を優先してルートを探索するかの探索条件である。本実施形態のルート条件としては、高速道優先、一般道優先、推奨ルートが設定されている。推奨ルートは、デフォルトで設定された条件、たとえば、目的地までの所要時間優先、目的地までの距離優先等とする。これに対応して、リスト番号12には、「すいしょう」、「いっぱんどう」、「こうそくどう」が登録されている。
リスト番号13、14、15には、本実施形態の各種機能を変更させるための認識ワードが登録されている。リスト番号13には、上記と同様に地図スケールを変更させるための認識ワードが登録されている。リスト番号13は、後述する表示画面A1に対応する。
リスト番号14には、音量を変更させるための認識ワードが登録されている。リスト番号14は、後述する表示画面A2に対応する。音量を変更させるための認識ワードには、音量を大きくする認識ワードと、音量を小さくする認識ワードと、音量のレベルを示す認識ワードが含まれる。
音量を大きくする認識ワードは、「あっぷ」、「おおきく」、音量を小さくする認識ワードは、「だうん」、「ちいさく」といったように、音量を段階的に変化させる認識ワードが含まれる。段階的とは、あらかじめ複数のレベルの音量が設定されていて、そのレベルを1つずつ上げ下げすることである。このように、音量を段階的に変化させるという同一の機能を実行させる認識ワードとして、それぞれ複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。特に、音量を上げ下げする際に、日常使用する言葉を認識ワードとしているので、ユーザは音量の変更を指示する言葉に迷わずに済む。
また、音量を変更する認識ワードには、「ぜろ」、「いち」、「に」のように、音量のレベルを示す数字を指定できる認識ワードが含まれる。これにより、ユーザが、所望の音量のレベルを発話して指定すると、これを認識した制御部18は、音量を指定されたレベルにダイレクトに変更させる。なお、「ぜろ」は、音量をゼロにする機能、つまりスピーカ20から出力される音声をミュートする機能を実現する認識ワードである。これにより、ユーザが、キャラクターの音声を他人に聞かれたくないときに、音量をゼロにする認識ワードを発話するだけで、即座にキャラクターの音声が聞こえないようにすることができる。
リスト番号15には、輝度を変更させるための認識ワードが登録されている。リスト番号15は、後述する表示画面A3に対応する。輝度を変更させるための認識ワードには、輝度を大きくする認識ワードと、輝度を小さくする認識ワードと、輝度のレベルを示す認識ワードが含まれる。
輝度を大きくする認識ワードは、「あっぷ」、「あかるく」、輝度を小さくする認識ワードは、「だうん」、「くらく」といったように、輝度を段階的に変化させる認識ワードが含まれる。段階的とは、あらかじめ複数のレベルの輝度が設定されていて、そのレベルを1つずつ上げ下げすることである。このように、輝度を段階的に変化させるという同一の機能を実行させる認識ワードとして、それぞれ複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。特に、輝度を上げ下げする際に、日常使用する言葉を認識ワードとしているので、ユーザは輝度の変更を指示する言葉に迷わずに済む。
また、輝度を変更する認識ワードには、「ぜろ」、「いち」、「に」のように、輝度のレベルを示す数字を指定できる認識ワードが含まれる。これにより、ユーザが、所望の輝度のレベルを発話すると、これを認識した制御部18は、輝度を指定されたレベルにダイレクトに変更させる。なお、「ぜろ」は、輝度をゼロにする機能、表示部5の画面を暗くして表示内容を見えなくする機能を実現する認識ワードである。これにより、ユーザが、キャラクターの画像を他人に見られたくないときに、輝度をゼロにする認識ワードを発話するだけで、即座にキャラクターの画像が見えないようにすることができる。
以上のようなリスト番号13、14、15には、共通して、各種の機能を実行させるための認識ワードが登録されている。つまり、スケール変更に関する「すけーる」、周辺検索に関する「しゅうへん」、音量変更に関する「おんりょう」、輝度変更に関する「きど」が登録されている。
リスト番号13の表示画面において、ユーザが「すけーる」と発話すると、これを認識した制御部18は、変更したスケールの設定を完了させる。一方、リスト番号14、15の表示画面において、ユーザが「すけーる」と発話すると、これを認識した制御部18は、スケール変更の表示画面、つまりリスト番号13に対応する表示画面に遷移させる。
リスト番号14の表示画面において、ユーザが「おんりょう」と発話すると、これを認識した制御部18は、変更した音量の設定を完了させる。一方、リスト番号13、15の表示画面において、ユーザが「おんりょう」と発話すると、これを認識した制御部18は、音量変更の表示画面、つまりリスト番号14に対応する表示画面に遷移させる。
リスト番号15の表示画面において、ユーザが「きど」と発話すると、これを認識した制御部18は、変更した輝度の設定を完了させる。一方、リスト番号13、14の表示画面において、ユーザが「きど」と発話すると、これを認識した制御部18は、輝度変更の表示画面、つまりリスト番号15に対応する表示画面に遷移させる。
このように、同じ認識ワードであっても、表示画面に応じて機能を変えることによって、ユーザは、関連しているが異なる機能を実行させるために、異なる認識ワードを覚える必要がない。
さらに、リスト番号13、14、15には、自宅に戻る場合に、一度の発話で自宅へのルートを探索させる認識ワード「じたく」が登録されている。このように、ユーザが使用する頻度が高い機能に対応する認識ワードが、音声認識が起動した時の認識ワードとして登録されているので、音声認識を開始して、即座に実行させることができる。
なお、各リスト番号1〜15には、複数の表示画面において、共通に認識することができ、各種の機能を実行させる認識ワードが登録されている。まず、前の処理に戻るフレーズとして、「もどる」、「とりけし」、「やりなおし」という認識ワードが登録されている。また、機能や処理を解除する解除フレーズとして、「おんせいかいじょ」、「しゅうりょう」、「げんざいち」という認識ワードが登録されている。「おんせいかいじょ」は、音声認識を解除する認識ワードである。「しゅうりょう」は、現在の処理を終了させる認識ワードである。「げんざいち」は、現在位置表示に遷移させる認識ワードである。これらは、音声認識を起動させた後の全ての表示画面において共通に認識できる認識ワードである。この共通の認識ワードを発することにより、ユーザは、いつでも処理のやりなおしや、初期状態への復帰等ができる。
さらに、リスト番号16には、ユーザのYes(肯定)、No(否定)の発話を認識するための認識ワードが登録されている。この認識ワードは、キャラクターからの問いかけに対して、ユーザの単なるYes、Noの発話を認識するために用いられる。このような認識ワードも、全画面に共通で認識可能である。Yesの認識ワードとしては、「おっけー」、「よろしく」、「はい」、「いえす」、「うん」が登録されている。Noの認識ワードとしては、「いらない」、「すとっぷ」、「いいえ」、「のー」、「だめ」、「きにいらない」、「うるさい」が登録されている。このように、ユーザのYes、Noを認識するための認識ワードとして、複数種類のものを用意しておくことにより、ユーザの発話内容が多少相違しても、認識できなくなる可能性を低減できる。特に、Yes、Noの表現は、話し相手によって変わるが、ユーザは、キャラクターの口調に合わせたYes、Noの返答ができる。
上記のような認識ワードは、後述するように、表示画面に文字で表示されるものと、表示画面に表示されないものがある。文字で表示されるものは、ユーザが制御部18にその機能を実行させるために、何を発話したらよいかを、視覚で確認できるのでよい。
《応答フレーズ》
図7〜図21は、制御部18が、上記の認識ワードの認識結果に応じて、キャラクターの音声として出力させる応答フレーズのリストの一部を抜粋したものである。データベース19は、このような応答フレーズのリスト及び音声データを記憶している。リストにおいてグレーで塗りつぶされた欄のうちの上欄は、応答フレーズの番号である。下欄は、ユーザが発話した認識ワードに応じて、制御部18が実行する処理の内容である。欄外の「れーたん、ぼいすこんとろーる」は、上記の認識ワードのリスト番号1に登録された起動ワードである。
応答フレーズは、制御部18が実行する処理ごとに、1つ以上のフレーズが登録されている。図7は、「標準レイ」の応答フレーズのリストの抜粋である。図7の左から第1列目は、ユーザが起動ワード「れーたん、ぼいすこんとろーる」を発話して、制御部18が音声認識を開始した場合の複数の応答フレーズである。第2列目は、制御部18が音量をダウンさせた場合の応答フレーズである。第3列目は、ユーザが8番の施設を選択して、制御部18が目的地を8番に変更した場合の応答フレーズである。第4列目は、制御部18が案内を中止した場合の応答フレーズである。第5列目は、制御部18が音量若しくは輝度のレベルを3に変更した場合の応答フレーズである。
このような応答フレーズのリストは、キャラクターの3つの態様、つまり「標準レイ」、「変身後のレイ」、「ちびレイ」毎に、区別して設定されている。この3つの態様に応じて、リスト内における応答フレーズは相違している。図8(a)は、「変身後のレイ」の音声認識開始時の応答フレーズをリストから抜粋したものである。「変身後のレイ」の応答フレーズは、「何か用事ですか?」、「音声認識を開始します。ゆっくり、はっきり話して下さい。」というように、「標準レイ」の応答フレーズと比較して、より丁寧な口調が設定されている。また、図8(b)は、「ちびレイ」の音声認識開始時の応答フレーズをリストから抜粋したものである。「ちびレイ」の応答フレーズは、「レーたん、音声コントロール開始。」、「待ってましたぁ。」というように、「標準レイ」の応答フレーズと比較して、より気安い口調が設定されている。また、図9(a)〜(i)は、ユーザの発話に対する応答フレーズを、抜粋したものである。これらの具体的な応答フレーズについては、後述の処理例で説明する。なお、ユーザの対話としては、例えば、ユーザの発話とキャラクターの音声とが、その意味内容が発話とこれに対する返答として成立していると、互いに意思の疎通ができている感覚が得られる。発話とこれに対する意味内容が的外れな返答であっても、ユーザにとって面白味や意外性が感じられる。発話とこれに対する返答が意味内容として成立している場合と、発話に対する意味内容が的外れな返答の場合とを混在させても、現実の会話に近い不完全さを演出することができ、ユーザに人間味を感じさせることができる。
このようなリストにおいては、同じ処理の欄には、1つ又は複数の応答フレーズが登録されている。制御部18は、同じ処理に対応する応答フレーズとして、各欄に登録された中から、ランダムに出力する。但し、同じフレーズばかりが繰り返し出力されることがないように、制御部18は、以前に出力した応答フレーズを除いたものの中からランダムに選択していく。特に、音声認識開始のように、頻繁に使用される処理の場合の応答フレーズは、図7に示すように、多数用意されていて、制御部18は、この中からランダムに出力する。
この制御部18の動作例は、以下の通りである。
1.フレーズがA、B、C、D、Eの5通りあった場合、まず5個の中からランダムに選択する。
2.最初にBを選択した場合、次回はA、C、D、Eの4個の中から選択する。
3.次にEを選択した場合、次回はA、C、Dの3個の中から選択する。
4.全て選択し終えたら、次回は最初に戻りA、B、C、D、Eの5個の中からランダムに選択する。
なお、本実施形態では、対話に応じて、ユーザが知りたい情報を出力するための所定の処理として、以下に列挙するような種々の処理を行う。対話に応じた処理が、対話をした結果、情報を出力する処理であれば、ユーザが知りたい情報を得るために、キャラクターと対話をする意欲がわく。対話に応じた処理が、対話中に情報を出力する処理であれば、ユーザが知りたい情報を得るために、順次発話して対話を進める意欲が増す。対話に応じた処理が対話を構成する応答フレーズを出力する処理であれば、ユーザは、キャラクターの音声を聞きたくて対話するので、対話すること自体を楽しむことができる。
《周辺検索処理》
制御部18は、上記のような認識ワードに基づいてユーザの発話した音声を認識する音声認識と、応答フレーズに基づいてキャラクターの音声を出力する対話に応じて、各種の処理を実行する。まず、このような対話に応じた周辺検索の処理を説明する。
周辺検索は、複数の選択を経て、複数の候補の中から順次絞り込んでいくことにより、目的とする情報を得られる処理であり、ジャンル選択、施設選択、ルート選択のフェーズがある。このような情報は、車両の搭乗者が知りたい情報、特に、車両の運転者が知りたい情報である。
以下、周辺検索処理の一例を、図10〜図21に従って説明する。図10〜図21は、各フェーズにおける表示画面例を左に、これに対応する認識ワード及び応答フレーズの例を右に示した説明図である。各表示画面M1(M1aも含む)、V1、V1a、S1、S1a、S2、S2a、S2_list、S2a_list、R1、R1a、R1b、A1(A1aも含む)、A2(A2aも含む)、A3(A3aも含む)は、上記のように、認識ワードのリスト番号1〜15(図5及び図6)に対応している。
これらの図10〜図21の表示画面例の左に示した記述は、「ユーザの音声として認識される認識ワード → これに応じて出力されるキャラクターの応答フレーズ → これにより遷移する表示画面」を示している。
制御部18は、これらの表示画面を、データべース19に記憶されたボタン、アイコン、テキスト、地図等の画面構成用データを、メモリに描画することにより、表示部5に表示させる。また、制御部18は、周辺検索、経路探索、ルート案内を行うことができることは、上述の通りである。
(音声認識起動待ち)
まず、制御部18は、周辺検索等の所定の処理のための音声認識起動待ちのときには、起動ワードのみを認識可能な状態にある。図10の表示画面M1は、音声認識起動待ちの画面例である。この表示画面M1には、現在位置51の周辺の地図とともに、現在位置51を示すアイコンが表示されている。表示画面M1の左上には、現在の時刻(10:00)が表示されるとともに、その下方に地図スケールの現在の量的レベルである数字と単位(100m)を示すスケールボタンB1、音声認識を起動させる指示語(音声認識)が表示された音声認識ボタンB2が表示されている。表示画面M1の右下には、キャラクター100の上半身が表示されている。キャラクター100は、標準レイであり、その表示位置は、各種のボタン、現在位置、現在の時刻等の表示を遮らない位置となっている。
この音声認識起動待ちの状態では、周辺検索等の所定の処理を、音声認識により行うことはできない。このため、地図スケールを変更したいユーザは、スケールボタンB1をタッチすることにより選択する。このようにスケールボタンB1が選択されると、図10の表示画面M1aに示すように、制御部18は、スケールボタンB1の右に+ボタンB1a、−ボタンB1bを表示させる。ユーザは、スケールをアップする場合には+ボタンB1a、スケールをダウンする場合には−ボタンB1bをタッチすることにより選択する。これに応じて、制御部18は、表示している地図のスケールを段階的に変化させる。
このような音声認識起動待ちの状態において、ユーザが、「れーたん、ぼいすこんとろーる」と発話すると、制御部18は、これに対応する応答フレーズを出力するとともに、音声認識を起動する。これにより、例えば、「なにか用事?」という音声をスピーカ20が出力する。そして、制御部18は、表示画面M1を、図11に示す表示画面V1に遷移させる。
なお、音声認識ボタンB2を、ユーザがタッチして選択した場合にも、制御部18は上記のような応答フレーズを出力して、音声認識を起動する。制御部18は、このように手操作でも音声入力でも選択できる機能に対応するボタンを、他のボタンと色分けして表示部5に表示させる。例えば、本実施形態の表示画面では、音声入力により選択可能なボタンを青色で、他のボタンを黒色で表示している。これにより、音声入力可能な機能を、ユーザは視覚によって認識することができる。なお、同じ機能であっても、音声入力により選択可能か否かは、表示画面によって相違する。例えば、図10の表示画面M1、M1aでは、音声認識機能が開始していないため、スケールボタンB1は、音声入力により選択できない状態にあり、黒色で表示されている。そして、後述するように音声認識機能が開始した後は、スケールボタンB1は、音声入力により選択できる状態となるので、青色で表示される。
(音声認識開始)
図11の表示画面V1は、ナビ(ナビゲーション)待機中の音声認識開始の画面例である。なお、図12の表示画面V1aは、後述するナビ案内開始後の音声認識開始の画面例である。制御部18は、音声認識を起動させると、表示画面V1に、地図スケールのボタンを、音声入力可能であることを示す青色で表示させる。また、制御部18は、表示画面V1に、その他の音声入力可能な機能のボタンを、音声入力可能であることを示す青色で表示させる。これらのボタンのうち、音声解除ボタンB2xは、音声認識を終了させる指示語「音声解除」が表示されたボタンである。周辺ボタンB3は、周辺検索を開始させる指示語「周辺」が表示されたボタンである。周辺検索は、ナビゲーション案内中は機能できないので、制御部18は、周辺ボタンB3は、図12の表示画面V1aでは表示させない。制御部18は、表示画面V1aにおけるV1の周辺ボタンB3と同位置に、案内を中止させる指示語「案内中止」が表示された、案内中止ボタンB4xを表示させる。
また、表示画面V1、V1aには、スケールボタンB1、音声解除ボタンB2x、案内中止ボタンB4xと同列に、音量ボタンB5、輝度ボタンB6が表示される。音量ボタンB5は、音量変更を開始させる指示語「音量」と、現在の音の量的レベルを示す数字「5」が表示されたボタンである。輝度ボタンB6は、輝度変更を開始させる指示語「輝度」と、現在の輝度の量的レベルを示す数字「5」が表示されたボタンである。さらに、表示画面V1における右上には、自宅ボタンB7が表示される。自宅ボタンB7は、自宅を目的地とする経路案内を行わせる指示語「自宅」が表示されたボタンである。これらの指示語、量的レベルを示す数字は、上記の図5、図6に示したように、認識ワードとして登録されている語句である。
このように、複数のボタンによって構成される項目の表示領域は、背後の画像である地図が見える部分を有している。つまり、各ボタンの間には、隙間が開いていて、背後の地図が見えている。一方、キャラクター100の表示領域は、1つのボタンよりも大きく、地図と重なる部分において、背後が見える部分を有しない。なお、髪と身体、手足と胴体などの間に生じる隙間においては、背後の地図が見える部分が生じる場合があるが、キャラクター100の表示領域としては、このような部分を除く。
制御部18が表示部5に表示させるキャラクター100の位置は、現在位置や案内ルートの視認を邪魔しない位置である。図11の表示画面V1、図12の表示画面V1aでは、キャラクター100は、画面における右下に寄った位置に表示されており、上記の各ボタンは、これと左右若しくは上下の関係で反対側に寄った位置、左上若しくは右上に表示されている。
(ジャンル選択)
上記のナビ待機中の表示画面V1において、ユーザが、「しゅうへん」と発話すると、制御部18は、表示画面V1を、図13に示す周辺1の表示画面S1に遷移させるとともに、応答フレーズ「ねえ、どこ行く?」の音声を出力させる。このように、複数回の選択を行うことにより処理を進める周辺検索において、キャラクター100が、ジャンル選択という次の選択を促す発話を行うことにより、ユーザは次に何をすべきかが即座にわかるのでよい。一方、ナビ案内中のV1aの表示画面においては、周辺検索の機能は働かない。このため、ユーザが、「しゅうへん」と発話しても、これを認識した制御部18は、「何て言ったの? わかんない。」というキャラクターの音声を出力させて、周辺1の画面に遷移させない。このように、次に進めない処理を選択した場合には、キャラクター100が、これに対応した応答フレーズを発話することにより、ユーザが、当該表示画面ではその処理を行うことができないことがわかるのでよい。
制御部18は、上記のように、ユーザからの音声認識を起動させる音声の入力→これに対して用事を尋ねるキャラクターの応答フレーズの出力→これに対してユーザからの機能を開始させる音声の入力、というように、少なくとも一往復のやり取りがなされる対話を基本に処理を進行させる。この対話の中における応答フレーズの出力は、その応答フレーズが示す意味内容とともに、キャラクターがユーザの音声を認識したことを示す機能を果たしている。
上記のように、ユーザの発話により遷移した図13の表示画面S1には、制御部18は、認識ワードとしてのジャンル名が表示されたジャンルボタンB8を表示させる。これらのジャンルボタンB8に表示されたジャンル名は、図5のリスト番号4の認識ワードに対応している。このジャンルボタンB8は、ユーザがタッチして選択することもできる。ジャンル名は、漢字を含めず、ひらがな若しくはカタカナとしているので、運転者等が何を発話すればよいかが、視覚で容易にわかるのでよい。
この表示画面S1において、ユーザが、ボタンに表示された認識ワード、「ふぁみれす」を発話すると、制御部18は、キャラクターが応答フレーズ「一人ぼっちでファミレス行くの?」という音声を出力させる。すると、制御部18は、ファミリーレストランの候補を検索する処理に移行する。このため、ジャンル選択のフェーズとしては、さらにユーザが何らかの選択する必要はない。つまり、「一人ぼっちでファミレス行くの?」は、さらに次のジャンル選択は必要ないことをユーザにわからせる音声となっているのでよい。また、この応答フレーズは、話し相手であるキャラクター100以外は、自分が一人であることをユーザに意識させて、よりキャラクター100との親密さを高めることができるのでよい。
また、ユーザが表示画面S1に表示されたジャンル以外のジャンルから選択したい場合のために、制御部18は、表示画面S1に、次のページへ遷移させる認識ワード「2ページ」を表示したページボタンB9を表示させている。この表示画面S1において、ユーザは、「にぺーじ」又は「つぎ」と発話すると、制御部18は、表示部5に表示させる画面を、図14の周辺2の表示画面S1aに遷移させる。
この表示画面S1aには、図5のリスト番号5の認識ワードに対応するジャンル名が表示されたジャンルボタンB8が表示される。ユーザが、ジャンルボタンB8に表示されたジャンル名の認識ワードを発話すると、制御部18は、これに対する応答フレーズを出力させる。また、制御部18は、表示画面S1aに、前のページへ遷移させる認識ワード「1ページ」を表示したページボタンB9を表示させている。この表示画面S1aにおいて、ユーザは、「いちぺーじ」又は「まえ」と発話すると、制御部18は、表示部5に表示させる画面を、図13の周辺1の表示画面S1に遷移させる。
(施設選択)
このように、ジャンルが選択されると、制御部18は、当該ジャンルに属する現在地周辺の施設検索を行い、表示部5に表示させる画面を、図15に示すように、施設選択1の表示画面S2に遷移させる。この表示画面S2は、施設検索の結果が表示される。つまり、表示画面S2には、検索でヒットした施設が、地図上の所在地に、現在地に近い順に番号が付されたアイコンC1で表示されている。図15では、円形内に数字1〜5を表示したアイコンC1が、地図上の位置に表示されている。このように周辺検索の結果は、ユーザにとって必要な目標(ジャンル)の施設しか表示しない。このとき、地図表示をグレースケールにして、アイコンC1をカラー表示することにより、施設の位置や番号がよりわかりやすくなる。また、別の画面からS2の画面に遷移した場合、制御部18は、「どこにしよっか?」といった目的地の選択を促す応答フレーズを出力させる。
ユーザは、表示画面S2において、アイコンC1の表示に合わせた内容で、施設を選択する。つまり、所望の施設のアイコンC1に表示された番号を発話すると、制御部18はこれに対応する応答フレーズを出力させて、当該施設までのルート探索を行う。例えば、「いち」又は「いちばん」を発話すると、キャラクター100が「1番ね」と発話して、1番で表示された施設までのルート探索が実行される。このように、ユーザが発話した番号をキャラクター100が発話することにより、ユーザが自らの指示内容を確認することができる。
なお、表示画面S2には、スケールボタンB1と、リストボタンB10が表示されている。スケールボタンB1は、上記のように、地図スケールを変更するボタンである。この表示画面S2において、地図のスケールを変更したいユーザが、「すけーる」と発話すると、制御部18は、どのスケールに変更するかを促す応答フレーズを出力し、図16に示す施設選択2の表示画面S2aに遷移する。例えば、ユーザが「すけーる」と発話すると、制御部18は、「何か指示して」という応答フレーズを出力し、図16に示すように、スケールを変更するための+ボタンB1a、−ボタンB1bを表示させる。音声入力によるスケール変更処理については、後述する。
リストボタンB10は、施設を選択する画面を、アイコン表示からリスト表示に遷移させるボタンである。表示画面S2において、ユーザが、「りすと」又は「りすとひょうじ」と発話すると、制御部18は、表示部5に表示させる画面を、図17に示す施設選択1の表示画面S2_listに遷移させる。このS2_listの表示画面には、検索された施設が、アイコンではなく、施設選択ボタンB11が現在地に近い順に並べられたリストで表示される。各施設選択ボタンB11は、現在地に近い順に付された番号、施設名、現在位置から施設までの距離、所在地等が表示される。ユーザは、施設選択ボタンB11をタッチするか、ボタンに表示された番号を発話することにより、上記と同様に、施設を選択できる。施設選択ボタンB11には、番号の他、施設名、現在位置からの距離、所在地等が表示されるので、ユーザは、検索された施設についてのより詳細な情報を得ることができるのでよい。
制御部18は、検索された候補の数が、1ページの表示可能数(例えば、5個)よりも多い場合には、次ページが存在することを示す「2ページ」を表示したページボタンB9を表示させる。制御部18は、候補が1ページの表示可能数未満の場合には、ページボタンB9は非表示とする。ユーザは、「にぺーじ」又は「つぎ」と発話すると、制御部18は、図18に示す施設選択2の表示画面S2a_listに遷移させる。この表示画面S2a_listに表示されたリストにおける施設の選択処理は、上記と同様である。また、制御部18は、表示画面S2_listに、前のページへ遷移させる認識ワード「1ページ」を表示したページボタンB9を表示させる。この表示画面S1aにおいて、ユーザは、「いちぺーじ」又は「まえ」と発話すると、制御部18は、表示部5に表示させる画面を、図16の施設選択1の表示画面S1に遷移させる。
(ルート選択)
以上のように、施設が選択されると、制御部18は、現在位置51から目的地52とする施設までのルート53を探索し、その結果を図19に示すルート選択1の表示画面R1に表示させる。探索されたルート53は、あらかじめ設定されたルート条件に基づいて、最も優先させるべきルート53が色分け表示される。このとき、キャラクター100は、ルート案内方向により、地図上で邪魔にならない位置に移動する。つまり、キャラクター100を、地図上の現在位置を含む探索されたルート表示を遮らない位置に表示させる。ただし、上記のように、キャラクター100は、既に画面の右下に表示されており、表示画面R1の例では、探索されたルートを邪魔しないので、この例では移動はない。
一方、制御部18は、表示画面R1において、複数のボタンを、キャラクターと反対側、つまり左側に表示させる。複数のボタンは、数が少なければ、探索されたルート53に重なる部分は生じない。もし、ボタン数が多くなったとしても、各ボタンの間には、隙間が開いていて、地図やルート53が見える。これらのボタンには、スケールボタンB1が含まれる。ユーザが、スケール変更したい場合の操作は、図20に示したルート選択2の表示画面R1aにおいて行うが、これは後述する。
さらに、表示画面R1には、ルート条件を変更する指示語である「ルート条件」が表示されたルート条件ボタンB12が表示されている。ユーザが、「じょうけん」又は「るーとじょうけん」と発話すると、制御部18は、図21に示したルート選択3の表示画面R1bに遷移させる。この表示画面R1bにおいては、「ルート条件」のボタンの横に、「高速道」、「一般道」、「推奨」という優先すべき探索条件を選択する条件選択ボタンB12a、B12b、B12cが表示される。この表示画面R1bにおいて、ユーザが、「いっぱんどう」、「こうそくどう」又は「すいしょう」と発話すると、制御部18は、それぞれに応じた応答フレーズを出力して、探索条件を発話された条件に変更し、変更された探索条件で最も優先されるルート53を表示させる。例えば、制御部18は、一般道であれば、「うんうん、一般道でゆっくり行こう。」、高速道であれば、「高速道で時間短縮ね。」というように、それぞれの探索条件の利点を示す応答フレーズを出力する。また、推奨道であれば、「私に任せてくれるのね。」というキャラクターとの信頼関係を示す応答フレーズを出力する。
そして、表示画面R1には、表示されたルート53による案内を希望する場合に、指示語である「案内開始」が表示された案内開始ボタンB13が表示されている。ユーザが、所望のルート53が表示された画面において、「あんないかいし」、「あんないよろしく」又は「あんないして」と発話すると、制御部18は、「案内開始。言う通りに運転してくれ」という応答フレーズを出力して、ルート案内を開始する。
さらに、ユーザが、周辺検索をさせる「しゅうへん」又は戻るフレーズである「もどる」、「とりけし」若しくは「やりなおし」を発話すると、制御部18は、「再検索」という応答フレーズを出力して、図13に示したS1の表示画面に遷移させる。その後の周辺検索処理は、上記の通りである。戻るフレーズの発話に対しては、図15〜図21に示した表示画面S2、S2a、S2_list、S2a_list、R1、R1a、R1bにおいては、同様の処理となる。
なお、図11、12に示した音声認識開始の表示画面V1、V1aにおける戻るフレーズの発話に対しては、制御部18は、「また呼んでね。」という応答フレーズを出力して、図10に示した表示画面M1に遷移させて音声認識起動待ちに戻る。図13、14に示した周辺検索の表示画面S1、S1aにおける戻るフレーズの発話に対しては、制御部18は、「最初からね。」という応答フレーズを出力して、図11に示した音声認識開始の表示画面V1に遷移させる。このように、同じ認識ワードであっても、現在の表示画面及びこれに対応するフェーズに応じて、遷移させる表示画面が相違している。つまり、戻るフレーズに対して、遷移させる表示画面を変えることにより、戻り過ぎをなくして、ユーザが再度やり直す手間を抑えることができる。
そして、本実施形態では、戻るフレーズとは別に、解除フレーズを用意している。ユーザが、「おんせいかいじょ」、「しゅうりょう」又は「げんざいち」と発話すると、常に、音声認識起動待ちの表示画面M1に戻る。このとき、制御部18は、「また呼んでね。」と、次回の利用を促す応答フレーズを出力させる。このように、表示画面やフェーズに応じて、戻る位置が異なる認識ワードと、一定の位置に戻る認識ワードとを登録しておくことで、ユーザが状況に応じて所望の画面への推移をすばやく行うことができる。
さらに、画面やフェーズに応じて、処理できない認識ワードが発話された場合には、制御部18は、その認識ワードでは処理できないことを明示する応答フレーズを出力することにより、ユーザに、別のワードを発話すべきことを促すことができる。例えば、図12の表示画面V1a、図15〜図18の表示画面S2、S2a、S2_list、S2a_listでは、「何って言ったの? わかんない。」という応答フレーズを出力している。
《地図スケール変更》
制御部18は、対話に応じて、機能を変更する処理として、地図スケール、音量、輝度を変更する処理を行う。まず、地図スケールの変更の手順を、図22を参照して説明する。なお、図15の表示画面S2から、図16の表示画面S2aに遷移した場合、図19の表示画面R1から、図20の表示画面R1aに遷移した場合の地図スケールの変更も同様である。
音声認識を開始した図11、12の表示画面V1、V1aにおいて、地図スケールを変更したいユーザが「すけーる」と発話すると、制御部18は、図22の表示画面A1、A1aに遷移させる。表示画面A1は、表示画面V1から遷移した画面であり、表示画面A1aは表示画面V1aから遷移した画面である。表示画面A1では、別の画面(シーン)から遷移した場合のみ、制御部18は、「何か指示して。」という応答フレーズを出力させる。このように、画面が切り替わっても、キャラクター100が指示を促す発話をすることにより、いつも傍にいることをユーザに意識させることができるのでよい。また、表示画面A1aは、ナビ案内中における地図スケールの変更画面である。
この表示画面A1、A1aにおいては、スケールボタンB1の右横に、+ボタンB1a、−ボタンB1bが表示されている。上記のように、ユーザが+ボタンB1aをタッチすると、制御部18は、地図スケールを段階的にアップさせる。また、ユーザが−ボタンB1bをタッチすると、制御部18は、地図スケールを段階的にダウンさせる。また、本実施形態では、ユーザが「かくだい」又は「しょうさい」と発話すると、これを認識した制御部18は、地図スケールを段階的にアップさせる。ユーザが「しゅくしょう」、「こういき」と発話すると、これを認識した制御部18は、地図スケールを段階的にダウンさせる。
そして、制御部18は、スケールアップのときには、「拡大したよ。」、スケールダウンのときは「少し広域にしてみました。」のように、どのような変更をしたかを確認できる応答フレーズを出力させる。これにより、ユーザは、どのような処理がなされたかを音声で確認できる。また、制御部18は、スケールを変えるとスケールの上限又は下限を超えてしまう場合には、「ぶぶ〜、限界なんだけど。」のように、変更できない旨を知らせる応答フレーズを出力させる。これにより、ユーザは、上限になったか下限になったかを確認できずに無駄な変更指示を繰り返すことを防止できる。
また、ユーザが「じゅうめーとる」、「いちきろ」のように、所望のスケールの値を発話すると、これを認識した制御部18は、地図スケールを、発話された値にダイレクトに変更させる。このとき、制御部18は、ユーザの発話に対応する応答フレーズとして、「10メートル」、「1キロ」のように、入力した値に対応する応答フレーズを出力させる。これにより、ユーザは、自分が指示したスケールのレベルを確認できる。
そして、ユーザが、「すけーる」と発話するか、戻るフレーズを発話すると、制御部18は、「設定完了です。」というように、スケール変更処理が完了した旨を知らせる応答フレーズを出力させる。解除フレーズでの処理は、上記と同様である。
また、表示画面A1の場合には、自宅ボタンが表示されていて、ユーザが、このボタンをタッチするか、「じたく」と発話すると、制御部18は、次のように処理する。まず、あらかじめ自宅登録がなされていない場合には、制御部18は、「自宅って言うけど、私に教えてないでしょ。」というように、自宅登録を促す応答フレーズを出力させる。これにより、特定の機能を実行する前提として必要となる処理を、音声により促すので、当該機能を利用するために、何が必要かをユーザに理解させることができるのでよい。自宅登録がなされている場合には、制御部18は、「そうだね、帰ろっか。」という応答フレーズを出力させ、自宅へのルートを探索する。これにより、ユーザは、キャラクターが一緒に帰ってくれるような印象を得ることができるのでよい。
なお、表示画面A1aの場合には、ナビ案内中のため、特定の機能が制限される。つまり、周辺検索と、自宅へのルート案内については、表示画面A1aにおいては、実行できない。従って、ユーザが「しゅうへん」と発話しても、「何って言ったの? わかんない」という応答フレーズを出力させて、周辺検索を行わない。また、「じたく」と発話しても、制御部18は、「何って言ったの? わかんない」という応答フレーズを出力させて、自宅へのルート探索は行わない。このように、ユーザは、応答フレーズにより、処理ができないことを知ることができるのでよい。
《音量変更》
音量変更の処理手順を、図23を参照して説明する。音声認識を開始した図11、12の表示画面V1、V1aにおいて、音量を変更したいユーザが「おんりょう」と発話すると、制御部18は、図23の表示画面A2、A2aに遷移させる。表示画面A2は、表示画面V1から遷移した画面であり、表示画面A2aは、表示画面V1aから遷移した画面である。表示画面A2では、別の画面(シーン)から遷移した場合のみ、制御部18は、「何か指示して。」という応答フレーズを出力させる。このように、画面が切り替わっても、キャラクター100が指示を促す発話をすることにより、いつも傍にいることをユーザに意識させることができるのでよい。また、表示画面A2aは、ナビ案内中における音量変更画面である。
この表示画面A2、A2aにおいては、音量ボタンB5の右横に、+ボタンB5a、−のボタンB5bが表示されている。ユーザが+ボタンB5aをタッチすると、制御部18は、音量を段階的にアップさせる。また、ユーザが−ボタンB5bをタッチすると、制御部18は、音量を段階的にダウンさせる。また、本実施形態では、ユーザが「あっぷ」又は「おおきく」と発話すると、これを認識した制御部18は、音量を段階的にアップさせる。ユーザが「だうん」又は「ちいさく」と発話すると、これを認識した制御部18は、音量を段階的にダウンさせる。
そして、制御部18は、音量アップのときには、「音量ア〜ップ」、音量ダウンのときは「音量ダウ〜ン」のように、どのような変更をしたかを確認できる応答フレーズを出力させる。これにより、ユーザは、どのような処理がなされたかを音声で確認できる。また、制御部18は、音量を変えると音量の上限又は下限を超えてしまう場合には、「ぶぶー、限界なんだけど。」のように、変更できない旨を知らせる応答フレーズを出力させる。これにより、ユーザは、上限になったか下限になったかを確認できずに無駄な変更指示を繰り返すことを防止できる。
また、ユーザが「ぜろ」、「いち」、「に」のように、所望の音量の値を発話すると、これを認識した制御部18は、音量を、発話された値にダイレクトに変更させる。このとき、制御部18は、ユーザの発話に対応する応答フレーズとして、「ゼロだよ」、「1だよ」、「2だよ」のように、入力した値に対応する応答フレーズを出力させる。これにより、ユーザは、自分が指示した音量のレベルを確認できる。
そして、ユーザが、「おんりょう」と発話するか、戻るフレーズを発話すると、制御部18は、「設定完了です。」というように、音量変更処理が完了した旨を知らせる応答フレーズを出力させる。解除フレーズでの処理は、上記と同様である。その他の処理は、上記の地図スケールで説明した処理と同様である。
《輝度変更》
輝度変更の処理手順を、図24を参照して説明する。音声認識を開始した図11、12の表示画面V1、V1aにおいて、輝度を変更したいユーザが「きど」と発話すると、制御部18は、図24の表示画面A3、A3aに遷移させる。表示画面A3は、表示画面V1から遷移した画面であり、表示画面A3aは、表示画面V1aから遷移した画面である。表示画面A3では、別画面(シーン)から遷移した場合のみ、制御部18は、「何か指示して。」という応答フレーズを出力させる。このように、画面が切り替わっても、キャラクター100が指示を促す発話をすることにより、いつも傍にいることをユーザに意識させることができるのでよい。また、表示画面A3aは、ナビ案内中における輝度変更画面である。
この表示画面A3、A3aにおいては、輝度ボタンB6の横に、+ボタンB6a、−ボタンB6bが表示されている。ユーザが+ボタンB6aをタッチすると、制御部18は、輝度を段階的にアップさせる。ユーザが−ボタンB6bをタッチすると、制御部18は、輝度を段階的にダウンさせる。また、本実施形態では、ユーザが「あっぷ」又は「あかるく」と発話すると、これを認識した制御部18は、輝度を段階的にアップさせる。ユーザが「だうん」又は「くらく」と発話すると、これを認識した制御部18は、輝度を段階的にダウンさせる。
そして、制御部18は、輝度アップのときには、「輝度ア〜ップ」、ダウンのときは「輝度ダウ〜ン」のように、どのような変更をしたかを確認できる応答フレーズを出力させる。これにより、ユーザは、どのような処理がなされたかを音声で確認できる。また、制御部18は、輝度を変えると輝度の上限又は下限を超えてしまう場合には、「ぶぶー、限界なんだけど。」のように、変更できない旨を知らせる応答フレーズを出力させる。これにより、ユーザは、上限になったか下限になったかを確認できずに無駄な変更指示を繰り返すことを防止できる。
また、ユーザが、「ぜろ」、「いち」、「に」のように、所望の輝度の値を発話すると、これを認識した制御部18は、輝度を、発話された値にダイレクトに変更させる。このとき、ユーザの発話に対応する応答フレーズとして、「ゼロだよ」、「1だよ」、「2だよ」のように、入力した値に対応する応答フレーズを出力させる。これにより、ユーザは、自分が指示した輝度のレベルを確認できる。
そして、ユーザが、「きど」と発話するか、戻るフレーズを発話すると、制御部18は、「設定完了です。」というように、輝度変更処理が完了した旨を知らせる応答フレーズを出力させる。解除フレーズでの処理は、上記と同様である。その他の処理は、上記の地図スケールで説明した処理と同様である。
なお、表示画面A1、A1aにおいては、制御部18は、「おんりょう」又は「きど」と発話することにより、表示画面A2、A2a又は表示画面A3、A3aに遷移させる。表示画面A2、A2aにおいては、制御部18は、「きど」又は「すけーる」と発話することにより、表示画面A3、A3a又は表示画面A1、A1aに遷移させる。表示画面A3、A3aにおいては、制御部18は、「すけーる」又は「おんりょう」と発話することにより、表示画面A1、A1a又は表示画面A2、A2aに遷移させる。このように、量的レベルの変更処理の画面を、相互に遷移可能とすることにより、まとめて設定を変更したいユーザにとって、便利となるのでよい。
《タイムアウト処理》
次に、タイムアウト処理について説明する。タイムアウト処理は、制御部18が、所定の処理を開始した時点から、ユーザからの音声の入力がなく所定時間経過した場合に、処理を終了する処理である。そして、所定の処理を開始した時点から、所定時間経過するまでの間に、制御部18は、キャラクターの応答フレーズとして、音声入力を促す音声を出力させる。
より具体的な処理を、図25を参照して説明する。タイムアウト処理としては、タイムアウトV1、S1、S2、R1、A1、A1aが設定されている。まず、タイムアウトV1の処理を説明する。制御部18は、上記の表示画面V1又はV1aにおいて、音声認識を起動してから15秒間音声認識が無い場合、タイムアウトステータス1として、ユーザの音声入力を促す応答フレーズを出力する。ここでは、音声認識開始の画面であるため、「ねえ、何か言って」という音声入力をお願いする応答フレーズを出力する。そして、この応答フレーズ出力から15秒間、音声認識が無い場合、制御部18は、タイムアウトステータス2として、音声認識が終了することを通知する応答フレーズを出力して、音声認識を終了させる。ここでは、「ん、もう。」と、音声入力がないことに、やや怒ったような応答フレーズを出力する。
タイムアウトS1の処理は、次の通りである。制御部18は、表示画面S1、S1aに遷移してから、15秒間音声認識がない場合、タイムアウトステータス1として、音声入力を促す応答フレーズを出力する。ここでは、周辺検索の画面であるため、「ねえ、ねえ、どこ行くの?」というように、行き先を尋ねる応答フレーズを出力する。そして、この応答フレーズ出力から15秒間、音声認識が無い場合、制御部18は、タイムアウトステータス2として、音声認識が終了することを通知する応答フレーズを出力して、音声認識を終了させる。ここでは、「ん、もう。」と、音声入力がないことに、やや怒ったような応答フレーズを出力する。
タイムアウトS2の処理は、次の通りである。制御部18は、表示画面S2、S2a、S2_list、S2a_listに遷移してから、15秒間音声認識がない場合、タイムアウトステータス1として、音声入力を促す応答フレーズを出力する。ここでは、施設選択の画面であるため、「まだ決まらないの?」というように、施設選択を促す応答フレーズを出力する。そして、この応答フレーズ出力から15秒間、音声認識が無い場合、制御部18は、タイムアウトステータス2として、音声認識が終了することを通知する応答フレーズを出力して、音声認識を終了させる。ここでは、「ん、もう。」と、音声入力がないことに、やや怒ったような応答フレーズを出力する。
タイムアウトR1の処理は、次の通りである。制御部18は、表示画面R1、R1a、R1bに遷移してから、15秒間音声認識がない場合、タイムアウトステータス1として、音声入力を促す応答フレーズを出力する。ここでは、ルート選択の画面であるため、「黙ってると案内しちゃうけど。」というように、音声入力がなくても、次の処理を進めてしまうことを通知する応答フレーズを出力する。そして、この応答フレーズ出力から15秒間、音声認識が無い場合、制御部18は、タイムアウトステータス2として、音声認識が終了することを通知する応答フレーズを出力して、音声認識を終了させる。ここでは、「案内開始。言う通りに運転してくれる?」というように、次の処理を開始することを通知する応答フレーズを出力する。
タイムアウトA1の処理は、次の通りである。制御部18は、表示画面A1、A2、A3、A1a、A2a、A3aに遷移してから、15秒間音声認識がない場合に、タイムアウトステータス1として、音声入力を促す応答フレーズを出力する。ここでは、設定変更の画面であるため、「指示、お願い」というように、設定変更を促す応答フレーズを出力する。そして、この応答フレーズ出力から15秒間、音声認識がない場合、制御部18は、タイムアウトステータス2として、音声認識が終了することを通知する応答フレーズを出力して、設定変更せずに、音声認識を終了させる。ここでは、「ん、もう。」と、音声入力がないことに、やや怒ったような応答フレーズを出力する。
タイムアウトA1aの処理は、次の通りである。制御部18は、表示画面A1、A2、A3、A1a、A2a、A3aに遷移して、ボタンの選択又は音声により、設定の変更を指示する入力がなされてから、15秒間音声認識がない場合、タイムアウトステータス1として、音声入力を促す応答フレーズを出力する。ここでは、「指示、お願い」というように、音声入力による設定変更の決定指示を促す応答フレーズを出力させる。その後、15秒間音声認識がない場合、制御部18は、タイムアウトステータス2として、音声認識が終了することを通知する応答フレーズを出力して、設定変更を完了させ、音声認識を終了させる。ここでは、「設定完了です。」と設定変更の完了を通知する応答フレーズを出力する。
タイムアウト処理は、頻繁に生じる可能性があるが、以上のように、表示画面やフェーズに合わせて、タイムアウトステータス1、タイムアウトステータス2の応答フレーズの内容が変化させることにより、ユーザに飽きがこないのでよい。
[作用効果]
以上のような実施形態によれば、車両の搭乗者であるユーザの一方的な指示に対してシステムが情報を提供するのではなく、ユーザがキャラクターと対話することにより、知りたい情報を得ることができるので、操作や運転の面白さが増大するとともに、キャラクターとコミュニケーションをとっている感覚が得られて飽きがこない。また、ユーザは、キャラクターと対話するために、システムを操作する意欲が湧くので、システムの機能が有効に活用される。
所定のキャラクターを、システムから出力される音声により、特定の個性を持った話者を認識させるように、応答フレーズが登録されているので、ユーザは、実際の人間と対話しているような感覚が得られて、親しみが持てる。
対話としては、例えば、発話の開始、これに対する応答、応答に対する返答という少なくとも一往復のやり取りがなされるように設定されているので、単純にユーザの命令通りにシステムが処理を行うのではなく、キャラクターが、自分とシステムの間に介在して、サービスを提供してくれている感覚を、ユーザが得ることができる。
ユーザは、音声認識を用いることにより、手操作よりも簡単又は迅速に出力させることができるので、積極的に音声認識を利用するようになり、ユーザにキャラクターとの対話をさせる機会をより多く与えることができる。
特に、手操作が難しい、手操作が制限されている等により、運転者が運転中に所望の情報を得ることが困難な場合でも、音声認識を利用することにより、キャラクターとの対話を楽しみながら、所望の情報を得ることができる。
情報を出力するために複数の選択を経る必要がある場合に、選択するごとに手操作が必要となる場合に比べて、音声入力による方が、ユーザにとって操作が簡単となる。複数の選択を経て出力される情報として、例えば、階層化された構造の情報、複数回の操作をしなければ出力できない情報は、手操作を複数回行うよりも、ユーザの負担が少なくなる。
特に、施設検索、現在地周辺検索などのように、複数の候補の中から順次絞り込んでいくことにより得られる情報を出力する処理は、例えば、ブレーキやアクセルのように車両自体を動かすための操作や、ウィンカーのように走行中に安全のために外部に何かを知らせるための操作とは異なり、手操作によりダイレクトに実行させることが難しいので、音声認識による操作に適している。
ユーザは、キャラクターの音声に促されて選択することにより、所定の処理を順次進めることができる。例えば、次の選択へ誘導する応答フレーズとして、周辺検索で「周辺」というユーザの音声を認識した場合に、「ねえ、どこ行く?」というように、行先を尋ねる音声を出力するので、ユーザが、次に何を発話すればよいかが明確にわかる。
次の選択がない場合に、これを示すキャラクターの音声を出力するので、ユーザは、さらに処理を進める必要がなくなったことがわかり、指示を終了する、別の処理を行わせる等の判断ができる。例えば、次の選択がないことを示すキャラクターの音声として、周辺検索で「ファミレス」というユーザの音声を認識した場合に、「ひとりぼっちでファミレス行くの?」のようにすれば、ユーザに新たに別の判断を求めることができる。
現在地等、所望の地点の周辺の施設の情報を、面倒な手操作を不要としつつ、ユーザが、キャラクターとの対話を楽しみながら取得することができる。
検索された周辺の施設を示すアイコンを、地図と比べて相対的に強調表示させるので、地図上で、ユーザに必要な施設の情報が目立つことになり、ユーザが施設の位置を把握しやすく、音声により所望の施設を選択する際の目安となる。特に、アイコンをカラー表示し、地図をグレースケールで表示するので、アイコンが非常にはっきりと見える。
施設のアイコンに、現在地との近さの順位が区別できる表示をするので、ユーザが施設を選択する目安とすることができる。特に、番号、アルファベットのように本来的に順位を示す情報としているので、順位の意味を容易に把握できる。
表示されたアイコンに合わせた内容で、いずれかの施設を選択するユーザの音声を認識して、選択された施設までの経路を探索して表示させるので、ユーザは、施設名で選択するよりも、表示されたアイコンに合わせた内容で簡単に選択することができる。特に、表示された番号を発話すればよいので、施設名よりも覚えやすい言葉で、施設を選択することができる。
ユーザが、探索された経路を希望しない場合に、キャラクターとの対話をしながら、探索し直しを指示することができるので、やり直し時の手間や退屈な気持ちを緩和させることができる。
ユーザが、対話する相手となるキャラクターの姿を表示画面で見ることにより、親しみを覚えて、その姿を見るためにシステムを積極的に利用したいと思うようになる。
そして、キャラクターは、地図上の探索された経路表示を遮らない位置に、表示されるので、キャラクターの表示を楽しませつつ、探索された経路の見やすさを維持できる。
キャラクターが、探索された経路と反対側に寄った場合に、項目の表示領域は、探索された経路と重なる可能性があるが、各項目は、キャラクターよりも小さく、項目の表示領域は背後の画像が見える部分を有しているので、探索された経路がキャラクターと重なるよりも、背後の画像が見やすい。
キャラクターの音声を、あらかじめ設定された複数の異なる応答フレーズの中から、既に出力した応答フレーズを除いてランダムに選択して出力するので、同じフレーズばかりが出力されず、ユーザに飽きがこない。
共通の認識ワードに対して異なる複数の応答フレーズが登録されたリストが設定されているので、ユーザが共通の内容の発話をしても、キャラクターは異なる表現で返答することができ、何度も同じ処理を実現させる場合でも、キャラクターからどんな返答が来るかを楽しむことができる。
キャラクターは、標準レイ、変身後のレイ、ちびレイという同一人でありながら、複数の表示態様があり、出力される音声として、複数の表示態様毎に異なるフレーズが登録されているので、同じキャラクターでも、複数の表示態様に応じて、発話内容が異なり、同一人との対話でありながら、変化を楽しむことができるのでよい。特に、標準的なもの、衣服や髪型等を変えて変身したもの、頭身を変えたものとするので、大人っぽい、子供っぽい、かわいい、きれい等の多様な印象をユーザに与え、飽きさせない。
認識ワードは、ボタン等に項目表示されているので、ユーザは、所定の処理を実行させるために、表示された項目を見れば、何を言えばいいかがわかる。
認識ワードは、表示画面にかかわらず共通して認識できる認識語句と、表示画面に表示されたものに認識が制限される認識ワードとがあるので、共通して認識できる認識ワードによって、表示画面にかかわらず必要となる機能の利便性を維持しつつ、認識が制限される認識ワードによって、誤認識の可能性を低減できる。複数種の表示画面で共通して使用される認識ワードについては、表示画面に応じて機能が制限される可能性が低くなり、利便性を維持できる。特に、戻るフレーズや解除フレーズのように、他の表示画面へ遷移させる語句なので、どの画面でも使用する必要がある語句である。一方、表示画面に表示された認識ワード、検索対象となる認識ワードは、それ以外の語句を認識させる必要性が乏しく、認識ワードの数を少なくして誤認識を防ぐ必要性が高い。
量的に変化する機能の状態を、音声認識によりダイレクトに所望の量的レベルとすることができるので、小さな値と大きな値との間で段階的に変化させる場合に比べて、即座に所望の値とすることができ、ユーザの手間がかからず、操作に拘束される時間が短縮される。特に、音量、輝度、スケールなどのボタンを選択して+−や目盛を表示させ、+−の選択や、目盛上のスライドにより段階を追ってアップダウンさせる手間が省ける。
認識ワードとして、量的に変化する機能に対応する指示語と、量的レベルを示す数字が設定されているので、ユーザが所望の機能に対応する指示語と数字を発話すると、当該機能の量的レベルを、その数字のレベルにまでダイレクトにアップ、ダウンさせることができる。特に、指示語として「おんりょう」、「きど」、「すけーる」、数字として「いち」、「に」、「にきろ」などとするので、ユーザにとって直感的に理解しやすい機能の名称と数字を用いて、入力ができる。
機能を選択するためのボタンに、当該機能に対応する指示語が表示されているので、ユーザは、ボタンに表示された指示語を言えば、機能を選択できるので、ユーザにとってわかりやすい。
機能を選択するためのボタンであって、当該機能の現在の量的レベルの値が表示されているので、ユーザは、ボタンに表示された値を見ることにより、現在の量的レベルを確認して、所望の値へアップさせるべきか、ダウンさせるべきかを判断できる。例えば、地図のスケールで、小さなスケールの値がボタンに表示されている場合に、ユーザがそれよりも大きな値を言うと、ボタンに表示されるスケールの値もその値にダイレクトに変わり、即座に広範囲の地図を見渡すことができる。また、例えば、大きなスケールの値がボタンに表示されている場合に、ユーザがそれよりも小さな値を言うと、ボタンに表示されるスケールの値もその値にダイレクトに変わり、即座に詳細な地図を見ることができる。
所定の処理を開始した時点から、ユーザからの音声の入力がなく所定時間経過した場合に、処理を終了するタイムアウト処理を行うので、音声認識を長期間継続することによって生じる誤操作を防止できるのでよい。
所定の処理を開始した時点から、所定時間経過するまでの間に、キャラクターが、ユーザに音声入力を促す音声を出力するので、ユーザが処理の開始を忘れている場合に、音声入力を促すことができる。
[他の実施形態]
本発明は、上記の実施形態に限定されるものではなく、以下に例示する形態も含めて、種々の形態を構成可能である。
《ジャンル登録》
ユーザが、周辺検索のジャンルの項目について、所望の項目のみを表示部5の表示画面に表示させるジャンル登録の機能を説明する。これにより、ユーザが良く使うであろうジャンルを予め表にしておくことで、ユーザのオリジナルな周辺検索画面を作成できる。より具体的には、制御部18は、ジャンルの認識ワードに対応する項目のうち、いずれの項目を認識ワードとして機能させるかを選択させる項目の表を、表示部5に表示させる。ユーザがこの表の中から所望の項目を選択すると、制御部18は、選択された項目を表示部5にボタン表示させるページに設定する。
このような表示画面例を、図26を参照して説明する。まず、表示画面(1)は、上記の実施形態と同様に、制御部18が、表示部5に表示させた地図画面の右下に重ねて、キャラクター100を表示させるとともに、地図画面の左に重ねて、周辺施設をジャンルで選択して検索するための周辺ボタンB3を表示させている。
この表示画面(1)において、ユーザが、周辺ボタンB3をタッチするか、音声認識の起動と周辺検索を指示する認識ワードとして登録された2ワードである「れい」、「しゅうへん」を発話すると、これを認識した制御部18は、表示画面(2)に示す一発ジャンル選択画面に遷移させる。
このように、2ワード音声認識起動により表示された表示画面(2)は、ジャンル名を表示した複数のボタンを配置することにより、複数の項目から成る表を表示したものである。このジャンル名の項目からなる表は、ユーザが、それぞれのボタンを選択するか、ジャンル名を発話すると、制御部18は、表示画面(3)に示すように、そのジャンルの施設を検索して、検索された施設を、現在地51から近い順に番号を付して地図上に表示させる。
ユーザが、表示画面(3)に表示された所望の施設アイコンをタッチするか、所望の施設アイコンに表示された番号を発話すると、制御部18は、現在地から選択された施設までのルート探索を実行して、表示画面(4)に示すように、探索されたルート53を色分け表示する。
このとき、キャラクター100は、ルート案内方向により、地図上で邪魔にならない位置に移動する。つまり、キャラクター100を、地図上の現在位置を含む探索されたルート表示を遮らない位置に表示させる。さらに、ユーザが、案内開始を発話すると、表示画面(5)に示すように、制御部18は、ルート案内を開始する。このルート案内中においても、キャラクター100を、地図上の現在位置51を含む探索されたルート53の表示を遮らない位置に表示させる。
表示画面(2)の表の下部には、「戻る」、「変更」、「現在地」という三つのボタンが表示される。このうち、「戻る」ボタンは、ユーザがタッチするか、「もどる」という発話をすると、これを認識した制御部18が、1つ前の画面に遷移させるボタンである。「現在地」ボタンは、ユーザがタッチするか、「げんざいち」という発話をすると、これを認識した制御部18が、現在地51を表示する表示画面に遷移させるボタンである。ここでは、「戻る」ボタンが選択された場合にも、「現在地」ボタンが選択された場合にも、表示画面(1)に遷移する。
「変更」ボタンは、ユーザがタッチするか、「へんこう」という発話をすると、これを認識した制御部18は、表示画面(6)に示す一発ジャンル変更画面に遷移させる。この一発ジャンル変更画面には、現在、一発ジャンル選択画面として登録されているジャンルが、これと同じ並び順で表示される。ここで、いずれかのジャンルのボタンをユーザがタッチするか、ジャンル名を発話すると、これを認識した制御部18は、それぞれのジャンル名が所属する大項目の表示画面(7)〜(10)のいずれかに遷移させる。
例えば、ユーザが、「駅」を選択すると、「駅」が所属する大項目「ホテル・公共施設・他」に所属するジャンル名が表示された表示画面(7)に遷移する。表示画面(7)では、表示画面(2)に表示されるジャンル名は、特定の濃い色で表示され、表示画面(2)に表示されないジャンル名は、これより薄い色で表示されている。例えば、表示画面(2)に表示される「駅」は青色の文字で表示され、表示画面(2)に表示されない「駐車場」はグレーの文字で表示されている。
ここで、表示画面(7)に表示されているジャンル名をユーザがタッチするか、ジャンル名を発話すると、これを認識した制御部18は、選択されたジャンル名を、表示画面(7)に表示されないジャンル名とする。このとき、当該ジャンル名を薄い色の表示に変える。例えば、ユーザが「駅」を選択すると、「駅」の文字がグレーとなる。
例えば、表示画面(7)に表示されているジャンル名をユーザがタッチするか、ジャンル名を発話すると、これを認識した制御部18は、選択されたジャンル名を、表示画面(2)に表示させるジャンル名とする。このとき、当該ジャンル名を特定の濃い色の表示に変える。例えば、ユーザが「駐車場」を選択すると、「駐車場」の文字が青色となる。
また、表示画面(6)の「総合病院」等の病院・医院に属するジャンル名が選択されると、表示画面(8)に遷移する。「コンビニ」等のショッピングに属するジャンル名が選択されると、表示画面(9)に遷移する。「ファミリーレストラン」等のレストランに属するジャンル名が選択されると、表示画面(10)に遷移する。それぞれの表示画面において、表示画面(2)に表示させるジャンル名の選択、表示させないジャンル名の選択は、上記の通りである。
また、表示画面(7)において、ユーザが、ページを送る「▽」のボタンを選択すると、次の表示画面(8)に遷移する。表示画面(8)において、ページを戻る「△」のボタンを選択すると、表示画面(7)に遷移する。このように、「▽」「△」は、表示画面(7)〜(10)の間でページを切り替えるボタンとして機能する。
以上のように各表示画面(7)〜(10)において、ジャンル名を変更した後、ユーザが「戻る」ボタンをタッチするか、「もどる」と発話すると、表示画面(6)に遷移して、表示させるジャンル名として選択されたものが表示されるとともに、表示させないジャンル名として選択されたものが表示されなくなる。そして、ユーザが「戻る」ボタンをタッチするか、「もどる」と発話すると、変更した表示画面(6)の表示を反映した表示画面(2)に遷移する。上記の例では、「駅」の位置に「駐車場」が表示され、「駅」が表示されなくなる。
また、デフォルトの表示に戻すには、表示画面(6)において、ユーザが「デフォルトに戻す」のボタンを選択するか、「でふぉるとにもどす」と発話すると、これを認識した制御部18が、デフォルトのジャンル名及びその配置に戻す。そして、ユーザが「戻る」ボタンをタッチするか、「もどる」と発話すると、デフォルトの設定に戻った表示画面(2)に遷移する。
上記のように、表示画面(6)及びこれが反映される表示画面(2)においては、ジャンル名は、表示させる位置毎に選択することができる。つまり、表示画面(6)において、左上の「駅」が選択された場合には、制御部18は、選択されたジャンル名とともに、それが表示画面上のどの表示位置かも認識する。そして、制御部18は、その後に表示画面(7)〜(10)において選択されたいずれかのジャンル名を、当該表示位置、つまり左上の位置に表示させることができる。このため、表示画面(2)におけるジャンル名の並びを変更したい場合には、表示画面(6)において、所望の表示位置のジャンル名を選択し、これを当該表示位置に表示させたいジャンル名に変更していくことにより実現することができる。この場合、同じジャンル名を異なる位置に表示させるように選択することも可能となる。例えば、「駅」というジャンル名を、左上に表示させるとともに、その下に並べて「駅」を表示させることもできる。このように、頻繁に使用するジャンル名について、同じジャンル名を表示画面(2)の複数箇所に表示させると、そのジャンル名をタッチして選択しやすくなるのでよい。
なお、制御部18は、表示画面(6)において、ユーザが、所望のジャンル名をタッチしてドラッグして所望の位置で離すことにより、制御部18が、当該ジャンル名の表示位置を、所望の位置に変更できるようにすると、表示位置の変更が容易となってよい。
また、表示画面(2)に表示させることができるジャンル名の数は、所定数に限られている。例えば、ここでは25個である。このため、既に表示させるジャンル名として25個登録されている場合には、それ以上、表示させるジャンル名を増やすことはできない。
以上のように、表示された項目の表から、ユーザがよく使う項目のみを選択すれば、認識ワードが限定されるので、誤認識を減らすことができる。選択された認識ワードは、例えば、所定のメモリ領域に、デフォルトの状態から書き換える、空の領域に入れていく、既に入っているものを並べ替える等により、登録される。このようにすれば、限られたメモリ領域を有効に活用できる。
このようなユーザによる項目の設定は、上記の実施形態の図13及び図14で示したように、ユーザにより選択された項目を、表示部5に表示させる複数のページ毎に設定してもよい。このため、表示画面の1ページで表示できる項目が限られていても、ユーザがよく使う項目を、トップのページに持ってくることにより、使いたい項目を表示させるためにページを切り替える手間が省ける。
複数の概念を含む認識ワードに対応する大項目と、当該複数の概念に相当する認識ワードに対応する中項目を、同一ページに表示させることができるので、ユーザが中項目を検索したい場合にも、階層やページを変える必要がなく、所望の項目をダイレクトに選択することができる。
例えば、「病院」のように、多数の候補を含む上位概念的な大項目は、できるだけ多くの候補の中から検索したいと思うユーザにとって便利な項目となる。「病院」の概念に含まれる「内科」、「小児科」のような中項目は、少ない候補の中から、即座に所望の施設の情報を得たいユーザにとって便利となる。
施設の分類に関する情報は、大項目、中項目のように段階・階層を立てて分類分けすることで効率よい指定を行うことができるようにしている。すなわち、大項目の中には、1または複数の中項目が属する。
大項目の一例を挙げると、「ホテル・公共施設・他」、「病院・医院」、ショッピング」、「レストラン」等がある。「ホテル・公共施設・他」に属する中項目の一例としては、「駅」、「IC(インターチェンジ)/JCT(ジャンクション)]、「郵便局」、「役所」、「トイレ」、「駐車場」、「ホテル」、「銀行 信金」、「学校」、「ガソリンスタンド」等がある。「病院・医院」に属する中項目の一例としては、「総合病院」、「内科」、小児科」、「外科」、「産婦人科」、「歯科」、「眼科」、「耳鼻咽喉科」、「整形外科」、「皮膚科」、「泌尿器科」、「診療内科」、「神経内科」、「肛門科」、「動物病院」等がある。「ショッピング」に属する中項目の一例としては、「コンビニ」、「ドラッグストア」、「デパート」、「ショピングモール」、「スーパー」、「カー用品」、「ホームセンター」、「家電」等がある。「レストラン」に属する中項目の一例としては、「ファミリーレストラン」、「ファーストフード」、「和食」、「洋食」、「中華」、「ラーメン」、「焼き肉」、「すし」、「とんかつ」、「うどん」、「カレー」、「牛丼」等がある。
なお、各中項目に、さらに1または複数の小項目が属していてもよい。大項目、中項目、小項目のように段階・階層を立てて分類分けすることで、大量の項目の中から効率のよい指定を行うことができる。なお、1つの項目のみ属する場合には、実際には、その階層の項目はないものと同等となる。つまり、大項目に属する中項目が1つしか存在しない場合には、大項目までで、中項目及び小項目はないとしてもよい。また、中項目に属する小項目が1つしか存在しない場合には、中項目までで、小項目はないとしてもよい。そして、大項目を指定した場合には、それに属する全ての中項目が指定されたことになり、ある中項目が指定された場合には、その中項目に属する全ての小項目が指定されたこととして、制御部18は処理する。
なお、認識ワードとして、項目として表示されている語句に関連するが、項目として表示されていない語句が登録されていてもよい。例えば、項目に表示されている認識ワードそのものを発話しなくても、その認識ワードに関連する語句を言えばよいので、ユーザの項目名の記憶があいまいであったり、操作に不慣れであったりしても、検索ができる。
例えば、項目として表示されている語句が大項目の「病院」であって、中項目である「内科」、「小児科」が表示されていないページであっても、「内科」、「小児科」も音声認識可能な認識ワードとして登録してもよい。このように、中項目が表示されていなかったとしても、大項目「病院」から連想したより具体的な中項目「内科」、「小児科」を言えば、その中項目が検索されるので、ユーザに必要な施設の情報を素早く得ることができる。
上記のようなユーザの設定により又はデフォルトの設定により、混同して認識される可能性のある認識ワードの項目が、別のページに表示されるように設定されていてもよい。例えば、似た音を含む語句、実際に認識させてみて混同する可能性が高い語句等が、同じページに並んで同時に認識の候補となることがないので、誤認識を減らすことができる。似た音を含む語句としては、例えば、「ファミレス」と「ファーストフード」、「病院」と「美容院」、「洋食」と「和食」のように、50音の同じ音、同じ漢字等を含む語句とする。
このようにすれば、文字からも紛らわしい音の認識語句が、同じページに表示されないため、ユーザも、いずれか一方を入力することになり、誤認識を減らすことができる。実際に認識させてみて混同する可能性が高い語句としては、例えば、過去の認識結果の記録に基づいて、同じ発話に対して認識されている異なる語句とする。このようにすれば、実際に誤認識が生じている組み合わせが同一ページとなることを排除できる。
《キャラクターの表示》
キャラクターの表示についても、種々の態様が可能である。上記の図26の表示画面(4)(5)では、制御部18は、画面に表示されたキャラクター100が、現在位置及び探索されたルート53に重ならないように、キャラクター100を左右に移動させている。例えば、キャラクター100と探索されたルート53の表示とが、互いに表示画面における反対側に寄るとよい。このようにすれば、キャラクター100が経路探索のサービスを邪魔しない気遣いをしているように、ユーザに感じさせることができるので、より好感を持たせることができてよい。
キャラクター100の移動は、一旦消えてから、移動先で出現するようにしても、表示を継続させながら移動させてもよい。移動が頻繁だと、ユーザがうっとうしく感じる可能性もあるが、キャラクター100がユーザに存在をアピールできるとともに、キャラクター100を継続して見ていたいユーザにとっては、移動中のキャラクター100の動作を楽しむことができる。
制御部18は、音声認識を起動して受け付けているか否かを、表示部5に表示させてもよい。このようにすれば、ユーザが、音声による操作ができるか否かを視覚により認識することができる。音声認識を受け付けているか否かとしては、表示画面の色を変えて表示する。このようにすれば、例えば、ユーザの視覚を介して、音声認識の状態を即座に感得させることができる。特に、音声認識を受け付けている場合には、通常の色とし、受け付けていない時には、グレースケールとする。このようにすれば、音声認識を受け付けているか否かを、ユーザに直感的にわからせることができる。
制御部18は、音声認識を受け付けているか否かをキャラクターに表示してもよい。このようにすれば、キャラクターを見れば、音声による操作が可能か否かがわかるので、ユーザが気づきやすくなる。
キャラクターに表示する態様としては、例えば、キャラクターの様子が明らかに変化する態様とする。このようにすれば、例えば、音声認識の状態を即座に感得させることができる。キャラクターの様子が明らかに変化する態様としては、例えば、キャラクターに物を付加する、キャラクターの色や形態を変える、特定のポーズ、ジェスチャーをさせる、吹き出しでセリフを表示するなどとする。このようにすれば、例えば、通常のキャラクターの状態を知っているユーザであれば、通常の状態との対比によってその変化に即座に気づく。
キャラクターに物を付加する態様としては、例えば、ヘッドセット、ヘッドホン、イヤホン、マイク等の音に関連する備品をキャラクターに装着させる。このようにすれば、ユーザに、音に関連する機能である音声認識を連想させる。キャラクターの色や形態を変える態様としては、例えば、髪型やその色、別のコスチュームに着替えるなどとする。このようにすれば、通常の状態との相違がわかりやすくなる。特に、キャラクターの耳を大きくすれば、音声をよく聞き取ろうとしていることを示す姿となる。さらに、ポーズ、ジェスチャーとして、例えば、耳の後ろに手を当てるしぐさをさせても、音声をよく聞き取ろうとしていることを示す姿となる。
《ニックネームの使用》
制御部18は、あらかじめデータベース19に登録されたユーザの呼び名の音声を、キャラクターにより出力される音声である応答フレーズの中に、挿入するとよい。つまり、制御部18は、「霧島レイ」との対話の中で、ユーザの名前をニックネーム式で言わせる。例えば、「ケーくん」、「ユーくん」といった具合に、キャラクターに呼ばせることができる。
例えば、音声認識及び周辺検索を起動させる起動ワードとして、「レイ、しゅうへん」が登録され、地図表示画面において、ニックネームを「ユーくん」で登録されたユーザが、「霧島レイ」に周辺検索を行わせる場合の対話例を以下に示す。「 」内が、発話したフレースである。
ユーくん:「レイ、周辺」→音声認識起動→周辺検索ジャンル画面に遷移
レイ:「なに〜ユーくん、わたし忙しいんだけど。」
ユーくん:「内科」→地図画面に遷移、周辺の内科アイコンを表示 レイ:「どうしたの? 大丈夫? どこのお医者さん行くの?」
ユーくん:「に」(数字の2)
レイ:「わかった、2番ね。」→地図上に2の内科医院の情報を表示
ユーくん:「探索」→ルート探索して地図上に表示
レイ:「ど〜お?ここ行く?」
ユーくん:「頼む。」
レイ:「了解、任せて。」→案内開始
このようにすれば、ユーザは、会話内で自らのニックネームで呼ばれることにより、キャラクターに対して、より一層の親しみを感じることができる。
また、対話の開始時に出力される音声にニックネームの音声が挿入されているので、ユーザが自らの名前で呼ばれることになり、ユーザの注意を引くことができてよい。
さらに、キャラクターの呼び名を含む音声が認識された場合に、出力される音声にユーザの呼び名の音声が挿入されているので、互いに呼び名を呼び合うことになり、ユーザは、より親密な感覚を得ることができる。
なお、対話が進行するに従って、キャラクターにより出力される音声に、ユーザの呼び名を挿入する頻度を低減させてもよい。このようにすれば、例えば、当初は呼び名が呼ばれていたのに、その後は呼ばれる頻度が減少するので、互いに慣れていく二人の会話を演出することができる。
さらに、データベース19に、あらかじめ50音表に対応する音声データが登録され、この50音表からユーザが選択した呼び名の音声を、会話中に挿入してもよい。このようにすれば、例えば、あらかじめ複数の呼び名を登録しておく場合に比べて、メモリの容量を節約できるのでよい。
《投稿》
ユーザが、取締・検問場所を発見した場合、制御部18が、あらかじめデータベース19に登録された認識ワードに対応するユーザの音声の入力に応じて、取締場所に関する位置情報を、情報収集サーバに送信することにより、投稿する機能を実行することができる。また、制御部18は、投稿された取締場所に関する位置情報について、情報収集サーバからの配信を受けて、表示部5に地図とともに表示することができる。このため、ナビゲーション装置は、制御部18に接続され、外部との情報の送受信を行う通信部を備える。
この通信部は、インターネット接続機能を備えた車内の通信機器に、無線又は有線により接続される。例えば、通信部を、テザリング(tethering)機能を有するスマートフォン等の携帯電話又は無線LANルータとWi−Fi(登録商標)接続、Blutooth(登録商標)接続又はUSB接続することにより実現できる。このような通信機器は、ナビゲーション装置に組み込まれていてもよい。
まず、タッチ操作による投稿の処理は、以下の通りである。
1.走行中にユーザが取締・検問場所を発見
2.表示画面の投稿場所の設定を指示するボタンをタッチ
3.ボタンをタッチした時の地図上の現在位置を、投稿場所として設定し、該当位置にアイコンを表示
4.駐車中又は停車中に、待機画面の投稿ボタンをタッチ
5.1〜3により設定した複数の投稿場所の一覧が表示
6.投稿したい場所のいずれかをタッチ
7.最終確認のための投稿ボタンをタッチ
8.選択された投稿場所の情報を、投稿場所を収集するサーバへ送信する
9.投稿場所を収集するサーバが、受信した情報を、取締場所として登録10.投稿場所を収集するサーバが、登録した情報を配信
11.配信された情報を受信して表示
なお、6と7の間に、ターゲットがオービス、Nシステム、取締、検問等のいずれであるかの選択、走行車線、反対車線、右方向、左方向等の対象方向の選択、実施期間の選択等を行うこともできる。
このようなボタン操作による投稿の場合、走行中、投稿場所を発見してから、複数の階層的な手順を経るため、複数のボタン操作が必要となる。
しかし、本態様では、ユーザの音声入力に応じて投稿ができる。つまり、ユーザが、あらかじめデータベース19に登録された認識ワードを発話すると、制御部18がこれを認識し、通信部に、当該発話時の現在位置を、通信機器を介して、投稿場所としてサーバに送信させる。サーバは、受信した情報を、取締場所として登録し、登録した情報を配信する。通信部は、通信機器を介して、配信された情報を受信し、制御部18は受信した情報に基づいて、取締場所を地図上に表示させる。このため、ボタン操作のような手間がかからず、簡単にすばやく行うことができる。
取締場所としては、上記のように、オービス、Nシステムも含むが、特に、取締・検問エリアのように、実施位置、時間が変化するチェック場所とするとよい。このようにすれば、あらかじめ位置を登録しておくことが困難な取締場所についての情報を、投稿により収集させることができる。
位置情報としては、例えば、現在位置としてもよいし、地図の中心位置座標としてもよい。このようにすれば、確実且つ簡単に得られる情報により取締場所を特定できるとともに、音声認識を利用するので、実際の取締位置とのずれが少なくてよい。
認識ワードとしては、音声認識を起動させる語句と投稿の受け付けを開始させる語句とが登録されているとよい。このようにすれば、ユーザが、音声認識を起動させる語句と投稿の受け付けを開始させる語句とを発話することにより、音声認識と、投稿の受け付けという多段階の操作を簡単に実行させることができる。
音声認識を起動させる語句と投稿の受け付けを開始させる語句としては、例えば、別々に分かれた語句として登録されていてもよい。このようにすれば、例えば、音声認識の開始とともに投稿の受け付けが開始してしまい、誤認識が生じることを防止できてよい。また、音声認識を起動させる語句と投稿の受け付けを開始させる語句として、例えば、一連の語句として設定されていてもよい。このようにすれば、例えば、音声認識の開始とともに投稿の受け付けを一発で開始させることができるので、即座に投稿可能な状態とすることができてよい。
認識ワードとしては、音声認識を起動させる語句と投稿をさせる語句とが登録されていれば、ユーザが、音声認識を起動させる語句と投稿をさせる語句とを発話することにより、音声認識と、投稿という多段階の操作を簡単に行うことができる。
音声認識を起動させる語句と投稿させる語句としては、例えば、別々に分かれた語句として登録されていてもよい。このようにすれば、例えば、音声認識の開始とともに投稿されてしまい、誤って投稿されることを防止できてよい。また、音声認識を開始させる語句と投稿させる語句としては、例えば、一連の語句として設定されていてもよい。このようにすれば、例えば、音声認識の開始とともに投稿を一発で行わせることができるので、即座に投稿できて、取締場所と投稿場所とのずれを極力少なくすることができてよい。
なお、投稿のための認識ワードは、他の認識ワードよりも短くてもよい。このようにすれば、例えば、緊急性の高い投稿について、短時間で指示することができてよい。
また、投稿のための認識ワードは、他の認識ワードよりも冗長であってもよい。このようにすれば、例えば、通常の音声認識を利用している場合に、他の認識語句を言う可能性が少なくなり、誤って投稿がされてしまうことを防止できる。冗長であるとは、例えば、文字数が多い、複数に分かれているとするとよい。このようにすれば、例えば、投稿を意図していないユーザが、誤って発話してしまう可能性を低減できる。
また、投稿のための認識ワードは、ユーザが普段言う可能性の低い語句であってもよい。このようにすれば、例えば、ユーザが車内で普段、頻繁に使用する語句によって頻繁に誤認識が生じることを防ぎ、ユーザが意図しない投稿を防止できる。
投稿のための認識ワードを認識した場合、制御部18が、これに応じて、あらかじめ登録されたキャラクターの音声を出力することにより、上記の実施形態のような対話機能を実現させてもよい。この場合、投稿のための対話におけるキャラクターの音声は、他の対話における音声よりも短くしてもよい。このようにすれば、例えば、対話の時間を短くして、素早く投稿させることができるのでよい。
《応答フレーズのバリエーション》
データベース19にあらかじめ登録するキャラクターの応答フレーズは、以下のように種々の態様とすることができる。
検索された施設の選択を促すキャラクターの音声を、表示されたアイコンに合わせた内容で出力する場合、番号であれば何番がよいかを問い合わせる音声で、アルファベットであればアルファベットの何がよいかを問い合わせる音声で、形状であれば形状が何かを問い合わせる音声で、色であれば色が何かを問い合わせる音声にするとよい。このようにすれば、ユーザは、例えば、何を発話して施設を選択すればよいかが、簡単にわかるのでよい。
また、例えば、表示されているアイコンに合わせた内容として、選択される候補の範囲を示す音声とするとよい。これにより、例えば、何番から何番というように音声を出力すれば、ユーザは、発話すべき内容とともに、選択すべき範囲も把握することができるのでよい。
あらかじめ登録されたキャラクターの音声として、キャラクターの状況を示す内容の音声を挿入してもよい。このようにすれば、ユーザは、キャラクターの状況を聞くことができるので、例えば、キャラクターがネガティブな状況にあれば、ユーザにキャラクターを気遣う気持ちを起こさせることができ、キャラクターがポジティブな状況にあれば、ユーザにキャラクターに共感する気持ちを起こさせることができるのでよい。
キャラクターの状況を示す発言としては、例えば、「わたし忙しいんだけど」というように、自らがポジティブな状態にあるかネガティブな状態にあるかがわかる発言とするとよい。このようにすれば、ユーザの指示にシステムが無条件に従うのではなく、ユーザに気遣いの気持ちや、共感の気持ちを生じさせることができるので、実際の人間を相手にした会話のような感覚が得られるのでよい。
リストは複数設定され、応答フレーズにおける同一のリスト内であっても他のフレーズとは異質なフレーズが登録されているリストがあってもよい。このようにすれば、例えば、ユーザの同様の内容の発言に対する返答として、異質なフレーズが出力されることにより、ユーザに予想外の印象を与えることができ、キャラクターに対する印象を変化させて、飽きが来ることを防止できるのでよい。異質なフレーズとしては、例えば、図9(a)のレイ応答フレーズ3に示すように、「何か指示して。」、「どうすればい〜い?」、「どうする?」、「どう変えるの?」という積極的な問いかけのフレーズの中に、「好きにして。」というように、曖昧なフレーズを挿入するとよい。また、図9(b)のレイ応答フレーズ24に示すように、「再検索」、「検索し直しね」、「も1回ね」、「やり直しま〜す」というやり直しを示すフレーズの中に、「色々と私を試してるでしょ?」というように、ユーザの心理を読むようなフレーズを挿入するとよい。
音声認識を間違えた場合に、出力されるフレーズが登録されていてもよい。このようにすれば、例えば、認識を間違えた場合であっても、何等かのフレーズを返すことより、キャラクターとの対話が継続していることを、ユーザに認識させることができるのでよい。
音声認識に誤りがあった場合に備えた逃げ口上となるフレーズが登録されているとよい。このようにすれば、例えば、音声認識に誤りが生じる可能性はあるが、たとえ誤りが生じたとしても、キャラクターの逃げ口上によって、ユーザの苛立ちや怒りを和らげることができるのでよい。
逃げ口上としては、例えば、図8(a)のレイ応答フレーズ1に示す「音声認識頑張ります。100%認識できないかもしれないけれど」のように、正確に認識しようとする意欲を示す表現とともに、完全な達成は困難であることを示す表現とするとよい。このようにすれば、例えば、単に、認識ができないことを示すよりも、誤認識に対して、ユーザに許容する心理を生じさせることができるとよい。
ユーザが返答を望む内容とキャラクターの音声の出力の内容とが相違していることを指摘するユーザの音声の入力があった場合に、それに対するキャラクターからの返答のフレーズが登録されているとよい。このようにすれば、例えば、ユーザが、キャラクターの間違えを指摘すると、キャラクターからこれに対する返答があるので、誤解があった場合の人と人との自然なやり取りを楽しむことができるのでよい。
宣伝広告となるフレーズが登録されていてるとよい。このようにすれば、例えば、提携している施設にユーザを誘導することができるのでよい。例えば、「○○ショップはどう?」というように、特定の施設に誘うフレーズとするとよい。
ユーザが行き先とする施設で行うことの原因についてのフレーズが登録されているとよい。このようにすれば、ある施設に行くことになった原因について発話することにより、当該施設に向かうユーザが耳を傾けやすくなる。例えば、その行き先に行く原因がユーザにとって好ましくない場合にも、ユーザにとって好ましい場合にも、ユーザの注意を引くことができる。
行き先へ行く原因がユーザにとって好ましいものでない施設としては、例えば、「病院」、「歯医者」、「薬局」のように、ユーザの病気に関係している施設とするとよい。行き先へ行く原因がユーザにとって好ましい施設としては、例えば、「デパート」「寿司」「うなぎ」のように、日常良く行く施設よりも、ややハードルが高い施設とするとよい。
キャラクターがユーザに対して種々の感情を起こさせるフレーズとしては、例えば、図9(c)の応答フレーズ6−8に示すように、「病院? どこか具合が悪いの? 大丈夫?」、「あまり無理しないでね。」のようにユーザの状態を思いやることによりキャラクターに愛着を感じさせるフレーズとするとよい。また、例えば、図9(d)の応答フレーズ6−29に示すように、「ちゃんと歯磨きしてる?」のようにユーザに後悔の念を起こさせるフレーズとするとよい。
ユーザが行き先とする施設で行うことについての肯定的又は否定的なアドバイスとなるフレーズが登録されているとよい。このようにすれば、例えば、キャラクターのアドバイスにより、ユーザが行き先ですべきことや、すべきでないことを判断できるのでよい。肯定的なアドバイスとしては、例えば、図9(d)の応答フレーズ6−29に示すように、「たまには歯垢をとってもらった方がいいよ。」のように何かを勧めるフレーズとするとよい。また、否定的なアドバイスとしては、例えば、図9(e)の応答フレーズ6−23に示すように、「苦しそうな顔しちゃダメ。涼しい顔して我慢するのが男なの。」のように何かを禁止するフレーズとするとよい。
ユーザが行き先とする施設で行うことについてのキャラクターの一方的な感想となるフレーズが登録されているとよい。このようにすれば、例えば、キャラクターの感想が得られるので、ユーザは、行き先での行動についての参考とすることができてよい。
キャラクターの一方的な感想としては、例えば、図9(f)の応答フレーズ6−14に示すように「お口の中でとろけるような黒ブタチャーシュー。ステキ〜。」のように、肯定的な感想とするとよい。このようにすれば、ユーザが、同様の行動を施設でとりたくなるのでよい。また、例えば、「一人でレストランに行くの?寂しくない?・・ほっとけって?」のように否定的な感想とするとよい。このようにすれば、ユーザに行き先を変える気を起こさせるのでよい。さらに、例えば、図9(g)の応答フレーズ6−21に示すように、「ショッピングモールって見て回るだけで楽しそう。でも疲れそう。」のように、肯定的な感想と否定的な感想が混じっていてもよい。このようにすれば、行き先での状況について、ユーザにあらかじめ覚悟させることができるのでよい。
キャラクターが、現実に存在することを思わせるフレーズが登録されていてもよい。このようにすれば、例えば、ユーザは、キャラクターが実際に存在するような感覚が得られるのでよい。
現実に存在することを思わせるフレーズとしては、例えば、図9(h)の応答フレーズ6−24に示すように、「出張にも私を連れて行ってくれるなんて、うれしいです〜。」、図9(i)の応答フレーズ6−25に示すように、「私達、どこに泊まる?」のように、同行していることを思わせるフレーズとするとよい。このようにすれば、例えば、ユーザは、キャラクターといつも一緒にいる感覚が得られるのでよい。
あらかじめ認識語句として設定された語句以外の音声が入力された場合に、キャラクターが出力する音声データが登録されているとよい。このようにすれば、例えば、認識語句以外であっても、必ずキャラクターの反応があるため、対話が途切れたり、エラーとして報知する等によりシステムとのやり取りであることをユーザに想起させてしまうことがなく、キャラクターと対話を継続している感覚を維持できるのでよい。設定された語句以外の音声が入力された場合のフレーズとしては、図9(j)のレイ応答フレーズ50に示すような認識不可のフレーズとすることが考えられる。なお、応答フレーズは、複数の中からランダムに出力される態様には限定されない。複数の中から出力される順序が決まっていて、その順番で順次出力され、最後の順位の応答フレーズが出力されたら、最初の順位の応答フレーズに戻って出力するようにすれば、繰り返し同じ応答フレーズが出力されることを防止できる。さらに、認識語句毎に、対応する応答フレーズが、一対一に決まっていてもよい。このようにすれば、情報の記憶量を節約できるのでよい。このような場合でも、上記で示したような内容の応答フレーズが設定されていれば、同様の効果が得られる。
《音声出力と音声認識のタイミング》
音声出力と音声認識のタイミングは、以下のように種々の設定が可能である。
制御部18は、キャラクターの音声が出力されている間は、音声を出力し終えるまで、音声認識を停止してもよい。このようにすれば、例えば、キャラクターの音声の途中で、ユーザからの音声の入力があった場合に、音声認識により他の処理が実行されてしまうことを防止できてよい。他の処理としては、例えば、音量、輝度、スケール、周辺検索のように、緊急性の低い処理とするとよい。このようにすれば、必ずしも直ちに実行しなくてもよいものまで、音声認識により実行されてしまうことがなくてよい。
制御部18は、キャラクターの音声が出力されている間も、音声認識を受け付けてもよい。このようにすれば、例えば、キャラクターの音声の途中で、ユーザからの音声の入力があった場合に、音声認識より他の処理が中断されないのでよい。他の処理としては、例えば、取締場所に関する位置情報を情報収集サーバに送信する処理のように、緊急性の高い処理とするとよい。このようにすれば、ユーザが直ちに実行して欲しい処理が、中断されることがなくてよい。
制御部18は、キャラクターの音声が出力されている間に、ユーザからの音声の入力があった場合に、キャラクターの音声の出力を停止してもよい。このようにすれば、例えば、ユーザの音声によって、キャラクターの発言を遮ったような印象を与えることができる。停止したキャラクターの音声の出力は、例えば、あらためて出力しなければ、同じ発話が始めから繰り返されて不自然な印象を与えることがなくてよい。また、停止したキャラクターの音声の出力を、例えば、止めたところから開始すれば、ユーザの発言の間、キャラクターが待ってくれていた印象を与えることができてよい。
制御部18は、キャラクターの音声が出力されている間に、所定の入力操作がなされた場合に、キャラクターの音声を停止してもよい。このようにすれば、例えば、キャラクターとの対話を第三者に聞かれたくないときに、所定の入力操作によって、キャラクターの音声を停止させることができてよい。所定の入力操作としては、例えば、物理キーの操作とするとよい。このようにすれば、常時、固定的に存在する箇所を操作すればよいので、とっさの操作がしやすい。
《音声認識起動のタイミング》
音声認識起動のタイミングは、以下のように、種々の態様が可能である。
制御部18は、対話に応じて、ユーザが知りたい情報を出力するための所定の処理を、所定の認識ワードに対応するユーザからの音声の入力により開始するとよい。このようにすれば、例えば、所定の処理をユーザからの音声の入力があって開始するため、システムが勝手に開始して処理が実行されてしまうことがなくてよい。
制御部18は、対話に応じて、ユーザが知りたい情報を出力するための所定の処理を、所定のキャラクターの音声の出力に対し、所定の認識語句に対応するユーザからの音声の入力があって開始してもよい。このようにすれば、例えば、キャラクターの音声の出力が、ユーザが所定の処理を開始するか否かを判断する契機となるので、システムを利用する機会を増やすことができるのでよい。
キャラクターの音声の出力は、例えば、特定の処理の開始の有無を問い合わせるものとするとよい。このようにすれば、例えば、ユーザが、処理の利用を促されるのでよい。キャラクターの音声の出力のタイミングは、例えば、定期的とすれば、処理を利用させる頻度を高めるのでよい。また、タイミングを所定の条件を満たした場合とすれば、処理の利用に適したタイミングで、ユーザに利用を促すことができるのでよい。
《その他》
周辺の施設を示すアイコンを、地図と比べて相対的に強調表示させる態様としては、施設の位置が明確となる表示とするとよい。例えば、アイコンと地図の明度、彩度、色相の少なくとも一つを変えれば、両者の対比が際立つのでよい。
周辺の施設を示すアイコンに、所定の基準に従った順位が区別できる表示をする場合、所定の基準としては、例えば、ユーザにとっての重要度が高い順としてもよい。このようにすれば、ユーザが最も知りたい施設が優先的に表示されるのでよい。ユーザにとっての重要度とは、例えば、過去に行ったことがある、過去に行った頻度が高い、ユーザの好みに合う等とするとよい。このようにすれば、ユーザが行きたい施設を素早く知ることができるのでよい。また、例えば、過去に行ったけれども、二度と行きたくないなど、ユーザにとっての重要度が低いものが除外されるようにしてもよい。このようにすれば、例えば、ユーザが行く可能性があるもののみを表示させることができてよい。
順位が区別できる表示としては、例えば、◎、○、△、×等の形状や、明度、彩度、色相により段階的に変化をつける等、視覚的に順位を示す情報としてもよい。このようにすれば、例えば、順位を視覚により直感的に把握できるのでよい。
表示されたアイコンに合わせた内容で、いずれかの施設を選択するユーザの音声を認識する場合、例えば、アルファベットであれば所望の施設のアイコンのアルファベット、形状であれば所望の施設のアイコンの形状、色であれば所望の施設のアイコンの色としてもよい。このようにしても、施設名よりも覚えやすい言葉で、施設を選択することができるのでよい。
ボタン表示された項目の表示領域において、背後の画像が見える部分としては、例えば、透過する部分としてもよい。このようにすれば、例えば、項目表示の視認性を確保したまま、背景の画像も、より良く見ることができるのでよい。
ユーザの音声を認識するためにあらかじめ登録される認識ワードが、表示画面に表示されているものと、表示画面に表示されていないものとがあってもよい。このようにすれば、例えば、ユーザが、表示画面に表示されていない語句を発話した場合であっても、あらかじめ設定された認識語句であれば、キャラクターからの何らかの反応を得ることができるので、ユーザにとってサプライズとなり、ユーザに発見の喜びを与えることができる。
認識ワードとしての量的に変化する機能に対応する指示語と、量的レベルを示す数字としては、例えば、「おんりょうさん」、「きどに」、「すけーるにきろ」のように、名称と量的レベルとを1つの認識語句にまとめてもよい。このようにすれば、発話が一回で済むのでよい。
機能に対応する指示語が表示されるボタンは、別の表示画面に遷移せずに機能を実行させるボタンがあってもよい。このようにすれば、例えば、機能を実行させるために別の表示画面に遷移しなくても、対話により機能を実行させることができるので、現在の画面表示が邪魔されることがなくてよい。
本実施形態では、ナビゲーション装置の例で説明したが、各種の電子機器の機能として実施することができる。たとえば、レーダー探知機、ドライブレコーダ、カーオーディオの機能として組み込んでもよい。また本実施形態で記載した量的レベルの値、表示部5の画面サイズ、各種の時間設定など、本発明の効果を奏する範囲で任意のものとすることができる。また、制御部18には、各機能や警報の優先順位をリモコン17等からのユーザからの指示に基づいて設定する機能を設け、この設定された優先順位で制御部18が処理を行うように構成してもよい。
さらに、上述した実施形態では、装置内に各種の情報を記憶したデータベース19を備え、制御部18は係るデータベース19にアクセスして必要な情報を読み出し、各種の処理をしたが、本発明はこれに限ることはない。例えば、データベース19に登録する情報の一部または全部をサーバに登録しておく。そして、ナビゲーション装置、レーダー探知機その他の電子機器・装置は、係るサーバと通信する機能を備え、制御部18は、適宜サーバにアクセスし、必要な情報を取得して処理を実行するシステムとしてもよい。さらには、制御部18の機能の少なくとも一部をサーバにおき、当該機能をサーバで実行し、ユーザが持つ電子機器は、その実行結果を取得するようなシステムとしても良い。
上述した実施形態の制御システムとしての機能は制御部18に備えるコンピュータに実現させるためのプログラムとして構成されているが、これに限らずプログラムは複数のコンピュータに分散配置し、分散処理するようにしてもよい。
2 装置本体
3 クレードル
4 ケース本体
5 表示部
6 クレードル本体
7 台座部
8 タッチパネル
10 警報ランプ
11 マイクロ波受信機
12 GPS受信機
13 無線受信機
18 制御部
19 データベース
20 スピーカ
21 SDメモリカード用スロット
22 SDメモリカード
51 現在位置
52 目的地
53 ルート


Claims (3)

  1. ユーザの音声を認識した結果に基づく認識情報と、ユーザの音声を認識したことを示す所定のキャラクターの音声の出力とによる対話に応じて、ユーザが知りたい情報を出力するための所定の処理を実行するシステムにおいて、
    キャラクターの呼び名を含む音声が認識された場合に、キャラクターにより出力される音声に、あらかじめ登録されたユーザの呼び名の音声を挿入する機能を備え
    ャラクターにより出力される音声にユーザの呼び名を挿入する頻度を対話が進行するに従って低減させる機能を備えること
    を特徴とするシステム。
  2. あらかじめ50音表に対応する音声データが登録され、この50音表からユーザが選択した呼び名の音声を、前記ユーザの呼び名の音声として用いる機能を備えること
    を特徴とする請求項1に記載のシステム。
  3. 請求項1または2に記載のシステムの機能を、コンピュータに実現させるためのプログラム。
JP2019188320A 2019-10-15 2019-10-15 システム及びプログラム Active JP6807611B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019188320A JP6807611B2 (ja) 2019-10-15 2019-10-15 システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019188320A JP6807611B2 (ja) 2019-10-15 2019-10-15 システム及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017248604A Division JP6661859B2 (ja) 2017-12-26 2017-12-26 システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020199250A Division JP7199104B2 (ja) 2020-12-01 2020-12-01 システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2020034925A JP2020034925A (ja) 2020-03-05
JP6807611B2 true JP6807611B2 (ja) 2021-01-06

Family

ID=69668041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019188320A Active JP6807611B2 (ja) 2019-10-15 2019-10-15 システム及びプログラム

Country Status (1)

Country Link
JP (1) JP6807611B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114807A (ja) * 1995-10-18 1997-05-02 Hitachi Ltd 文音声合成装置
JP3516139B2 (ja) * 2000-12-11 2004-04-05 株式会社タカラ エンターテイメントシステム
JP4048473B2 (ja) * 2002-03-15 2008-02-20 ソニー株式会社 音声処理装置および音声処理方法、並びにプログラムおよび記録媒体
JP2005190352A (ja) * 2003-12-26 2005-07-14 Pioneer Electronic Corp 語りかけ装置
JP2011209786A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2020034925A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
JP6312053B2 (ja) システム及びプログラム
RU2706462C2 (ru) Облегчение взаимодействия между пользователями и их окружающими средами с помощью гарнитуры, имеющей механизмы ввода
CN108337380A (zh) 自动调整用户界面以用于免提交互
CN105379234B (zh) 用于提供针对受限的注意力分散情景和非受限的注意力分散情景的不同用户界面的应用网关
US20140267035A1 (en) Multimodal User Interface Design
CN104978015B (zh) 具有语种自适用功能的导航系统及其控制方法
JP2019008570A (ja) 情報処理装置、情報処理方法及びプログラム
CN110096712A (zh) 通过智能数字助理的用户培训
JP2024028844A (ja) システム及びプログラム
JP6725933B2 (ja) システム及びプログラム
JP4259054B2 (ja) 車載装置
JP6601643B2 (ja) システム及びプログラム
JP6807611B2 (ja) システム及びプログラム
JP7199104B2 (ja) システム及びプログラム
JP6661859B2 (ja) システム及びプログラム
JP2022027882A (ja) システム及びプログラム
JP2023116595A (ja) システム及びプログラム
JP6291643B2 (ja) システム及びプログラム
CN106556410A (zh) 车载导航饭点提醒系统和方法
JP4258607B2 (ja) 車載装置
JPWO2017195388A1 (ja) 情報処理装置、情報処理方法およびプログラム
Gedawy Designing an interface and path translator for a smart phone-based indoor navigation system for visually impaired users
KR20160082154A (ko) 스마트폰과 연동되는 가상현실 기반 정보안내 단말 시스템 및 그 제어 방법
JP2004061252A (ja) 車載装置、データ作成装置、及びデータ作成プログラム
JP2018161709A (ja) 対話制御システムおよび対話制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201201

R150 Certificate of patent or registration of utility model

Ref document number: 6807611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350