WO2023218244A1 - 情報提供方法及び情報提供システム - Google Patents

Abstract

車両の乗員であるユーザに対し、車両に設けられた出力装置を用いて情報を提供する情報提供方法が提供される。この情報提供方法は、ユーザに提供する話題及び当該話題に関する第1情報を決定し、出力装置に第1情報を出力させ、出力装置が第1情報を出力した際のユーザの反応を検知し、ユーザの反応に基づき、話題に対するユーザの関心度を推定する。そして、関心度が所定の第1闘値よりも高い場合には、出力装置に話題に関する、第1情報より詳細な情報である第2情報を出力させる。

Description

情報提供方法及び情報提供システム

　本発明は、情報提供方法及び情報提供システムに関する。

　ＪＰ２０１８−１３４９０２Ａは、複数の表示体の形態変化によって走行関連情報を表示し、車両の運転者（ユーザ）に走行関連情報を覚知させる情報提示システムを開示している。

　ところで、通常、人同士の会話において、ある話題の発話者は、相手の興味（関心度）を推測し、興味が高いと推測される場合、当該話題に関する、より詳細な情報を付け加えて話をすることがある。

　ＪＰ２０１８−１３４９０２Ａに記載の情報提示システムでは、ユーザの関心度を推定していないため、ユーザの関心度が高い話題についてユーザが欲する情報を提供できない虞がある。また、ユーザの関心度が低い対象物について、不必要に詳細な情報を提供し、ユーザに煩わしさを感じさせてしまう虞がある。

　本発明は上記課題に鑑みたものであり、ユーザが欲する情報を提供可能な情報提供方法及び情報提供システムを提供することを目的とする。

　本発明の一態様によれば、車両の乗員であるユーザに対し、車両に設けられた出力装置を用いて情報を提供する情報提供方法が提供される。この情報提供方法は、ユーザに提供する話題及び当該話題に関する第１情報を決定し、出力装置に第１情報を出力させ、出力装置が第１情報を出力した際のユーザの反応を検知し、ユーザの反応に基づき、話題に対するユーザの関心度を推定する。そして、関心度が所定の第１閾値よりも高い場合には、出力装置に話題に関する、第１情報より詳細な情報である第２情報を出力させる。

図１は、本発明の第１実施形態による情報提供方法を採用した情報提供システムの概略構成を示すブロック図である。 図２は、第１実施形態による情報提供方法を説明するフローチャートである。 図３は、第２実施形態による情報提供方法を採用した情報提供システムの概略構成を示すブロック図である。 図４は、第２実施形態による情報提供方法を説明するフローチャートである。

　以下、図面等を参照しながら、本発明の実施形態について説明する。

　（第１実施形態）
　図１は、本発明の第１実施形態による情報提供方法を採用した情報提供システム１００の概略構成を示すブロック図である。情報提供システム１００は、主に車両等に搭載される。なお、本実施形態において、情報提供システム１００が搭載される車両のことを単に車両という。また、情報提供システム１００のユーザは車両の乗員、即ち、運転者、及び／または、同乗者であるが、本実施形態においては、簡単のため、車両の運転者をユーザとする。

　情報提供システム１００は、ユーザ状態情報取得装置１０と、車両情報取得装置２０と、出力装置３０と、コントローラ４０とを含む。

　ユーザ状態情報取得装置１０は、ユーザ（運転者）の状態を検知する装置群であり、車内カメラ、車内マイク、同乗者センサ、アイトラッカー、体温センサ、心拍数センサ、発汗センサ、脳波センサ等を含む。車内カメラは、車両の内部を撮影し、その静止画または動画を得る１または複数の撮影装置であり、特に、運転者（ユーザ）を含む範囲を継続的または断続的に撮影することで、ユーザの動作を検出するための画像（動画を含む）を取得する。以下、車内カメラにより取得された画像を車内画像とする。車内マイクは、車両の内部で生じた音または音声を取得する１または複数の収音装置である。車内マイクは、少なくともユーザが発話した音声を取得する。同乗者センサは、車両の同乗者の有無を検知する。アイトラッカーは、ユーザの視線方向を検出する。体温センサ、心拍数センサ、発汗センサ、脳波センサは、それぞれユーザの体温、心拍数、発汗量、脳波を検出する。ユーザ状態情報取得装置１０により取得された画像、音声、同乗者、ユーザの視線方向、ユーザの体温、心拍数、発汗量、脳波等の情報は、ユーザ状態情報として後述のコントローラ４０に送信される。

　なお、ユーザ状態情報取得装置１０に含まれる装置（センサ）は上記のものに限られない。例えば、ユーザの動作は赤外線センサにより検出してもよく、ユーザの視線方向は車内カメラにより検出してもよい。また、ユーザ状態情報取得装置１０は、少なくとも後述のコントローラ４０がユーザの動作、音声、視線方向を検知できる装置を含んでいればよく、それ以外の装置については、任意に追加され得るものである。

　車両情報取得装置２０は、車両の現在位置と周辺状況に関する情報を取得する装置群で、現在地情報取得装置２１と、周囲状況取得装置２２とを含む。

　現在地情報取得装置２１は、車両の現在の位置に関する位置情報を取得する装置であり、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信装置、方位センサ、距離センサ、舵角センサ等を含む。ＧＰＳ受信装置は、人工衛星を利用して車両の位置を検出し、方位センサ、距離センサ、舵角センサはそれぞれ、車両の方位（向き）、車両と車両周辺の物との距離、車両の舵角（進行方向）を検出する。現在地情報取得装置２１は、ＧＰＳ受信装置、方位センサ、距離センサ、舵角センサ等の検出情報を組み合わせて車両の位置情報を取得する。なお、現在地情報取得装置２１に含まれる装置（センサ）は上記のものに限られず、車両の現在位置に関する位置情報を取得できるものであれば、如何なる装置を用いてもよい。例えば、ＧＮＮ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）センサにより位置情報を取得してもよく、また、ＧＰＳ受信装置のみから位置情報を取得してもよい。現在地情報取得装置２１により取得された位置情報は、後述のコントローラ４０に送信される。

　周囲状況取得装置２２は、車外カメラを含む。車外カメラは、車両の外部を撮影し、その静止画または動画を得る１または複数の撮影装置であり、車両の周囲を継続的または断続的に撮影することで、車両周囲の状況を検知するための画像（動画を含む）を取得する。周囲状況取得装置２２により取得された車外の画像は、周辺情報として後述のコントローラ４０に送信される。なお、周囲状況取得装置２２は、前方車両及び後方車両との車間距離情報を取得する前車間距離センサや後車間距離センサ等を含んでもよい。

　出力装置３０は、音声を出力する音声出力装置３１と、画像を出力する表示部３２とを含む。

　音声出力装置３１は、ユーザに対し音声データを出力する装置であり、例えば、音声を出力可能なスピーカを含む。音声出力装置３１は、後述のコントローラ４０から受信したユーザに提供するための音声データを音声として出力する。

　表示部３２は、ユーザに対し画像データを出力する装置からなり、例えば、画像を出力可能なディスプレイである。表示部３２は、後述のコントローラ４０から受信したユーザに提供するための画像データを出力し、画像（動画を含む）を表示する。

　コントローラ４０は、情報提供システム１００を制御するユニットであり、ユーザに提供する情報を決定し、当該情報を出力装置３０に出力させる。

　コントローラ４０は、中央演算装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及び入出力インタフェース（Ｉ／Ｏインタフェース）を備えたコンピュータで構成され、特定のプログラムを実行することにより、ユーザに情報提供するための処理を実行する。

　コントローラ４０は、ユーザに提供する情報を決定するための構成として、地図情報取得部４１、地物情報取得部４２、機能データベース４３、困惑要因検出部４４、困惑推定部４５、情報蓄積データベース４６、関心度推定部４７、及び情報決定部４８を備える。また、コントローラ４０は、出力装置３０に情報を出力させるための構成として、キャラクタデータベース４９、及び情報出力部５０を備える。

　地図情報取得部４１は、地図上における車両の現在位置を特定する。地図情報取得部４１には、現在地情報取得装置２１から車両の現在の位置に関する位置情報が入力される。また、地図情報取得部４１は、コントローラ４０の内部または外部の地図データベース（図示しない）から、地図情報を取得し、位置情報と地図情報とを照合することで、地図上における車両の現在位置を特定する。地図情報取得部４１は、地図上における車両の現在位置の情報（地図上の現在地情報）を、地物情報取得部４２に送信する。なお、地図データベースは、所定の期間ごとに最新の情報に更新される。

　地物情報取得部４２は、車両の現在位置周辺の地物に関する地物情報を取得する。なお、ここで、地物とは、特徴的な施設や歴史的建造物等のことをいう。地物情報取得部４２には、地図情報取得部４１から地図上の現在地情報が入力され、周囲状況取得装置２２から周辺情報が入力される。また、地物情報取得部４２は、コントローラ４０の内部または外部の地図データベース（図示しない）から、地図情報を取得する。地図データベースには、各地点の地物の情報が登録されており、地図情報には地物の情報が含まれている。地物情報取得部４２は、地図上の現在地情報、周辺情報及び地図情報から、ユーザが目にすることができる地物に関する情報と車両周辺のその他の地物に関する情報（以下、両者を合わせて地物情報とする）とを取得する。また、地物情報取得部４２は、地物情報を情報蓄積データベース４６に登録するとともに、ユーザが目にすることができる地物がある場合、後述する情報決定部４８にその旨の信号（地物あり信号）を送信する。地物情報取得部４２において取得された地物情報は、ユーザに提供する情報の候補となる。なお、上述した地物情報の取得方法は一つの例であり、地物情報の取得方法はこれに限られるものではない。

　機能データベース４３は、車両内の機器の機能に関するデータが格納されているデータベースである。機能データベース４３には、車両内の各機器に搭載されている機能に関する情報、各機器及び各機器に搭載されている機能の使用頻度等の情報が登録されている。機能データベース４３は、所定の期間ごとに情報が更新される。

　困惑要因検出部４４は、車両内の機器の機能のうち、ユーザを困惑させる機能を困惑要因として検出する。ここでいうユーザを困惑させる機能（困惑要因）とは、ユーザによる使用が推奨される機能でありながら、ユーザがその機能の存在を知らない、または使用方法が分からないため使用されていない機能等をいう。具体的には、車両内に新たな機器が追加された場合、車両内の所定の機器が更新された場合または車両内の所定の機器が長時間または長期間（以下、単に長時間という）使われていない場合における当該機器の機能等をいう。なお、所定の機器が長時間使われていない場合とは、当該機器自体は使用されていても、当該機器に搭載されている機能の一部が長時間使われていない場合を含む。困惑要因検出部４４は、機能データベース４３に対し、所定時間（期間）ごとに、新たな機器の追加、機器の更新、長時間使われていない機器の有無を照会する。機器の追加、更新または所定の機器が長時間使用されていないことが検出された場合、困惑要因検出部４４は、追加、更新された当該機器の機能、または長時間使用されていない当該機器の機能に関する情報を、困惑要因情報として困惑推定部４５に送信するとともに、情報蓄積データベース４６に登録する。

　困惑推定部４５は、ユーザが所定の機器（または機能）の取り扱いについて困惑しているか否かを推定する。困惑推定部４５には、ユーザ状態情報取得装置１０からユーザ状態情報が入力され、困惑要因検出部４４から困惑要因情報が入力される。困惑推定部４５は、ユーザ状態情報に含まれる検知されたユーザの行動と、困惑要因情報とから、ユーザが所定の機器の取り扱いについて困惑しているか否かを推定する。ここでユーザの行動とは、ユーザの動作、ユーザが発した音声、ユーザの視線方向の変化等をいう。例えば、車内カメラで撮影されたユーザの動作から、ユーザが困惑要因である機能を搭載した機器を使用しようとしていることが検知され、且つユーザによる当該機器の取り扱い方法が誤っていることが検知された場合に、ユーザが困惑していると推定することができる。ユーザが所定の機器の取り扱いについて困惑していることが推定される場合、困惑推定部４５は、当該機器の情報を困惑機器情報として情報蓄積データベース４６に登録する。なお、ユーザが困惑しているかの推定方法は、上記の方法に限られるものではない。例えば、ユーザ状態情報取得装置１０により検知されたユーザの行動のみから推定してもよい。

　情報蓄積データベース４６には、ユーザに提供する情報の候補となる情報が格納されている。例えば、情報蓄積データベース４６には、車両内の各種機器についての取り扱いに関する情報が格納されている。また、情報蓄積データベース４６には、地物情報取得部４２からの地物情報、困惑要因検出部４４からの困惑要因情報、困惑推定部４５からの困惑機器情報等が格納される。なお、情報蓄積データベース４６は、所定時間ごとに更新される。

　関心度推定部４７は、情報提供システム１００がユーザに提供している情報（第１情報）に対するユーザの関心度を推定する。関心度推定部４７には、ユーザ状態情報取得装置１０からユーザ状態情報が入力され、ユーザの関心度は、情報（第１情報）がユーザに提供された際の当該ユーザ状態情報に基づき推定される。推定されたユーザの関心度は、情報決定部４８に送信される。なお、関心度推定部４７の詳細は後述する。

　情報決定部４８は、情報蓄積データベース４６の中から、ユーザに提供する話題及び情報を決定する。具体的には、情報決定部４８は、困惑機器情報の有無を情報蓄積データベース４６に照会し、困惑機器情報が登録されている場合、ユーザが取り扱いに困惑している機器を話題に決定するとともに、当該機器に関する情報をユーザに提供する情報（第１情報）に決定する。また、情報決定部４８は、地物情報取得部４２からユーザが目にすることができる地物がある旨の信号（地物あり信号）を受信している場合、当該地物を話題に決定するとともに、情報蓄積データベース４６に登録されている地物情報のうち、ユーザが目にすることができる地物に関する情報をユーザに提供する情報（第１情報）に決定する。さらに、情報決定部４８は、困惑要因情報の有無を情報蓄積データベース４６に照会し、困惑要因がある場合、困惑要因である機能を搭載した機器を話題に決定するとともに、当該機器に関する情報をユーザに提供する情報（第１情報）に決定する。ここで、ユーザに提供される第１情報は、例えば、話題に決定された対象物の概要である。話題及び第１情報を決定する際、困惑機器、地物情報及び困惑要因のいずれが優先されるかは特に限定されないが、本実施形態においては、困惑機器、地物情報、困惑要因の順に優先度が高いものとする。なお、情報蓄積データベース４６に、困惑機器情報及び困惑要因情報のいずれも登録されておらず、且つ情報決定部４８が地物あり信号を受信していない場合には、ユーザに提供する話題及び話題に関する情報（第１情報）は、情報蓄積データベース４６に格納されている情報の中からランダムに選択される。

　また、情報決定部４８には、関心度推定部４７からユーザの関心度が入力される。情報決定部４８は、第１情報をユーザに提供した際、第１情報に対するユーザの関心度が所定の閾値（第１閾値）より高い場合、話題となっている対象物に関する、第１情報よりも詳細な情報（第２情報、詳細情報）をユーザに提供する情報として決定する。ユーザに提供することが決定された情報は、情報出力部５０に送信される。なお、第１情報に対するユーザの関心度が第１閾値よりも低く設定された第２閾値よりも低い場合には、情報決定部４８は、話題及び第１情報を変更する。

　キャラクタデータベース４９には、後述する情報出力部５０が出力装置３０の表示部３２に表示させるキャラクタの外観、発話方法、動き、性格等、キャラクタ固有の情報（キャラクタ固有情報）がストックされている。キャラクタデータベース４９には、複数のキャラクタが登録されており、それぞれのキャラクタについてのキャラクタ固有情報がストックされている。なお、キャラクタは、人の形態に限られず、動物、植物、物、またはその他のシンボル等の形態で表されるものであってもよい。

　情報出力部５０は、情報決定部４８において決定されたユーザに提供する情報（第１情報及び第２情報）をどのような形態で出力するかを決定する。本実施形態では、表示部３２に二人のキャラクタを表示し、第１情報及び第２情報は、キャラクタ同士の会話として出力されるものとする。なお、本実施形態において、第１情報及び第２情報は音声により出力可能な情報であるものとする。

　情報出力部５０は、キャラクタデータベース４９にストックされているキャラクタ固有情報を参照し、ユーザに提供する情報を、どのキャラクタに、どのようなシナリオで発話させるのかを決定する。具体的には、情報出力部５０は、キャラクタデータベース４９から表示部３２に表示させるキャラクタを決定し、キャラクタデータベース４９から、そのキャラクタの固有情報を取得する。また、情報出力部５０は、第１情報を、一方のキャラクタ（第１のキャラクタ）に発話させる第１パートと、他方のキャラクタ（第２のキャラクタ）に発話させる第２パートとに分割する。そして、決定したキャラクタの画像（動画を含む）データを表示部３２に出力（表示）させるとともに、第１パートの音声データ及び第２パートの音声データを、表示部３２に表示させたキャラクタの動作に合わせて音声出力装置３１から出力する。これにより、ユーザに対し第１情報が提供される。このように、第１情報を２つのパートに分け、２人のキャラクタに発話させることで、ユーザに、キャラクタによる会話形式により第１情報を提供することができる。従って、情報提供システム１００からの発話に対するユーザの応答責任が軽減され、ユーザの快適度が向上する。

　第１情報を出力装置３０を介して出力すると、情報出力部５０は、第１情報を出力した旨の信号を関心度推定部４７に送信する。

　また、情報出力部５０は、情報決定部４８において決定されたユーザに提供する第２情報（詳細情報）をどのキャラクタに発話させるのか決定する。そして、決定したキャラクタの画像（動画を含む）を表示部３２に表示させるとともに、第２情報の音声データを、表示部３２に表示させたキャラクタの動作に合わせて音声出力装置３１から出力する。これにより、ユーザに対し第２情報が提供される。

　なお、情報出力部５０は、使用するキャラクタのキャラクタ固有情報に基づき、そのキャラクタの性格等に合った発話方法（例えば、言葉づかい等）にした音声データを音声出力装置３１から出力する。

　また、第１情報は第１のキャラクタと第２のキャラクタとの会話として出力され、第２情報は、第１のキャラクタまたは第２のキャラクタの発話として出力される。但し、第１情報と第２情報の出力形態はこれに限られるものではない。

　なお、表示部３２に表示させるキャラクタの決定方法は特に限定されず、例えば、ユーザに提供する話題に合った外観や性格のキャラクタを選択することができる。

　次に、関心度推定部４７の詳細を説明する。

　出力装置３０を介してユーザに提供する第１情報が出力されると、情報出力部５０から、関心度推定部４７に、第１情報を出力した旨の信号が入力される。第１情報を出力した旨の信号が入力されると、関心度推定部４７は、第１情報が出力された際のユーザの反応に基づき、第１情報に対するユーザの関心度（以下、単に、ユーザの関心度ともいう）を推定する。ここで、ユーザの反応とは、出力装置３０が第１情報を出力した際においてユーザ状態情報取得装置１０が検知するユーザの状態であり、関心度推定部４７は、ユーザ状態情報取得装置１０からのユーザ状態情報に基づき、ユーザの関心度を推定する。

　より具体的には、ユーザの反応は、ユーザの動作を含み、関心度推定部４７はユーザ状態情報に含まれるユーザの動作に基づき、第１情報に対するユーザの関心度を推定する。ここで、ユーザの動作には、車内画像から検出されるユーザの動き、車内マイクにより取得されるユーザが発話した音声、アイトラッカーにより検出されるユーザの視線方向の動き等が含まれる。例えば、出力装置３０が第１情報を出力した際に、ユーザ状態情報取得装置１０により、ユーザが相槌を打ったこと、頷いたこと、「あっ」等の声を発したこと、話題となっている対象物を所定時間見続けたこと、第１情報を発話した第１キャラクタ及び第２キャラクタの少なくともいずれかを視認したこと等が検知された場合、関心度推定部４７はユーザの関心度を高く推定する。具体的には、例えば、アイトラッカーがユーザの画像情報を取得するとともに、当該画像情報に含まれるユーザの顔における視線の方向を検出し、検出された視線の方向がユーザの眼と第１及び／または第２キャラクタを表示する出力装置３０とを結ぶ特定方向と一致（または略一致）するか否かを判定する。そして、その検出された視線の方向が特定方向と一致（又は略一致）すると判定された場合には、第１及び／または第２キャラクタをユーザが見たと判定し、ユーザの関心度を高く推定する。一方、その検出された視線の方向が特定方向と一致（又は略一致）しないと判定された場合には、第１及び／または第２キャラクタをユーザが見ていないと判定する。なお、顔の検出処理及び視線の検出処理については、公知の画像認識技術を用いることができる。このように、ユーザが第１情報に対し関心があるような動作をした場合には、ユーザの関心度が所定の閾値（第１閾値）より高く推定され、話題となっている対象物に関するより詳細な情報（第２情報）がユーザに提供される。

　以上が情報提供システム１００の主な構成である。上記の通り、情報提供システム１００では、情報蓄積データベース４６の中から、ユーザに提供する情報が決定され、出力装置３０を介してユーザに当該情報が提供される。

　ところで、ユーザの関心度を推定せずにユーザに提供する情報を決定すると、ユーザの関心度が高い話題についてユーザが欲する情報を提供できない虞がある。また、ユーザの関心度が低い対象物について、不必要に詳細な情報を提供し、ユーザに煩わしさを感じさせてしまう虞がある。

　一方、情報を提供する前にユーザの関心度を推定することは困難であり、関心度の推定を誤る虞が高い。

　これに対し、本実施形態の情報提供方法を採用した情報提供システム１００では、ユーザに提供する話題及び当該話題に関する第１情報（例えば、話題の対象物に関する概要）を決定し、第１情報を出力した際のユーザの反応に基づき、第１情報に対するユーザの関心度を推定している。そして、関心度が第１閾値よりも高い場合、当該話題に関する、第１情報より詳細な情報である第２情報を出力する。このように、ユーザの関心度が高い場合にのみ、より詳細な情報である第２情報が出力されるため、ユーザは、ユーザにとって関心のある話題についてのみ詳細な情報を取得することができる。即ち、ユーザが欲する情報を提供することができる。また、ユーザにとって関心のない話題について詳細な情報を提供して、ユーザに煩わしさを感じさせてしまうことが防止される。また、第１情報に対する反応に基づきユーザの関心度を推定するため、情報を提供する前に関心度を推定する場合に比べ、関心度の推定の精度が向上する。

　図２は、第１実施形態による情報提供方法を説明するフローチャートである。以下の制御は、いずれもコントローラ４０により所定時間ごとに繰り返し実行される。また、以下の制御は、情報提供システム１００の起動時に開始されてもよく、また、既にユーザに対し何らかの情報が出力されている状態において開始されてもよい。なお、コントローラ４０は、ユーザ状態情報取得装置１０からユーザ状態情報を、車両情報取得装置２０から位置情報及び周辺情報を、所定時間ごとに常時取得する。

　ステップＳ１０１において、コントローラ４０は、ユーザが所定の機器または機能の取り扱いについて困惑しているか否かを推定する。前述の通り、ユーザが困惑しているか否かの推定は、ユーザ状態情報に含まれる検知されたユーザの行動に基づき推定される。ユーザの行動から、ユーザが所定の機器の取り扱いについて困惑していることが推定される場合、コントローラ４０は、ステップＳ１０２の処理を実行する。一方、ユーザが困惑していると推定されない場合、コントローラ４０は、ステップＳ１１１の処理を実行する。

　ステップＳ１０２において、コントローラ４０は、ユーザが取り扱いについて困惑している当該機器（困惑機器）を話題に決定し、当該機器（困惑機器）の取り扱いに関する概要を第１情報に決定する。このように、第１情報を決定する前に検知されたユーザの行動から、ユーザの困惑が推定される場合は、困惑機器の取り扱いに関する概要を第１情報に定める。

　ステップＳ１１１において、コントローラ４０は、ユーザが目にすることができる地物の有無を判断する。地物の有無は、地図上の現在地情報、周辺情報及び地図情報に基づき判断される。ユーザが目にすることができる地物がある場合、コントローラ４０は、ステップＳ１１２の処理を実行する。一方、ユーザが目にすることができる地物が無い場合、コントローラ４０はステップＳ１２１の処理を実行する。

　ステップＳ１１２において、コントローラ４０は、ユーザが目にすることができる地物を話題に決定する。また、当該地物の地物情報を情報蓄積データベース４６に照会し、当該地物に関する概要を第１情報に決定する。

　ステップＳ１２１において、コントローラ４０は、困惑要因の有無を判断する。前述のとおり、車両内に新たな機器が追加された場合、車両内の所定の機器が更新された場合または車両内の所定の機器が長時間使われていないことが検知された場合、困惑要因があるものと判断される。困惑要因がある場合、コントローラ４０は、ステップＳ１２２の処理を実行する。一方、困惑要因が無い場合、コントローラ４０は、ステップＳ１３１の処理を実行する。

　ステップＳ１２２において、コントローラ４０は、追加、更新された機器の機能、または長時間使用されていない機器の機能を話題に決定し、当該機能に関する概要を第１情報に決定する。

　ステップＳ１３１において、コントローラ４０は、情報蓄積データベース４６に格納されている情報の中からランダムに選択し、選択された情報に係る対象物を話題に決定し、当該対象物の概要を第１情報に決定する。

　ステップＳ１０２、Ｓ１１２、Ｓ１２２またはＳ１３１において第１情報が決定されると、コントローラ４０は、ステップＳ１０３において、出力装置３０に第１情報を出力させる。

　ステップＳ１０４において、コントローラ４０は、話題に対するユーザの関心度を推定する。前述の通り、ユーザの関心度は、第１情報を出力した際のユーザの反応、特にユーザの動作に基づき推定し、例えば、ユーザが第１のキャラクタ及び第２のキャラクタの少なくともいずれかを視認する動作を行ったことが検知された場合等には、関心度は高く推定される。

　ステップＳ１０５において、コントローラ４０は、ステップＳ１０４において推定された第１情報に対するユーザの関心度が、所定の第１閾値よりも高いか否かを判断する。第１閾値は、例えば、出力装置３０が第１情報を出力した際に、ユーザが相槌を打ったこと、頷いたこと、「あっ」等の声を発したこと、話題となっている対象物を所定時間見続けたこと、第１キャラクタ及び第２キャラクタの少なくともいずれかを視認したことが検知された場合等に、ユーザの関心度が第１閾値を超えるような値に設定することができる。第１情報に対するユーザの関心度が第１閾値よりも高い場合、コントローラ４０は、ステップＳ１０６の処理を実行する。一方、第１情報に対するユーザの関心度が第１閾値以下の場合、コントローラ４０は、ステップＳ１１５の処理を実行する。

　ステップＳ１０６において、コントローラ４０は、出力装置３０に、話題に関する第１情報よりも詳細な情報である第２情報を出力させる。

　このように、コントローラ４０は、第１情報を出力した際のユーザの動作に基づき、ユーザの関心度を推定し（ステップＳ１０４）、関心度が第１閾値よりも高い場合に第２情報を出力する（ステップＳ１０５、Ｓ１０６）。従って、ユーザは、例えば、キャラクタを視認するという簡単な動作を行うことで、話題に関する詳細な情報を得ることができる。即ち、詳細な情報を得るために、別途特別な指示をする必要がないため、操作の煩わしさが軽減され、ユーザの快適度が向上する。

　ステップＳ１０５において、第１情報に対するユーザの関心度が第１閾値以下の場合、コントローラ４０は、ステップＳ１１５において、ステップＳ１０４で推定された第１情報に対するユーザの関心度が、所定の第２閾値以上であるか否かを判断する。第２閾値は、例えば、第１情報を出力した際に、ユーザの状態にほとんど変化がない場合や、ユーザが否定的なキーワードを発した場合（例えば「別の話題にして」と言う）等に、ユーザの関心度が第２閾値より低くなるように設定することができる。第１情報に対するユーザの関心度が第２閾値以上の場合、コントローラ４０は、ステップＳ１１６において第１情報の出力を継続する。一方、第１情報に対するユーザの関心度が第２閾値より低い場合、コントローラ４０は、ステップＳ１２５の処理を実行する。

　ステップＳ１２５において、コントローラ４０は、話題及び第１情報を変更し、変更した第１情報を出力装置３０に出力させる。話題及び第１情報の変更は、ステップＳ１３１と同様に、情報蓄積データベース４６に格納されている情報の中からランダムに選択することができる。ステップＳ１２５において、変更した第１情報を出力すると、コントローラ４０は、ステップＳ１０４の処理に戻り、変更した話題に対するユーザの関心度を推定する。

　このように、第１情報に対するユーザの関心度が第２閾値より低い場合に、ユーザに提供する情報（第１情報）を変更する（ステップＳ１１５、Ｓ１２５）。これにより、ユーザにとって関心のない情報を提供し続けてユーザに煩わしさを感じさせてしまうことが防止される。

　なお、本実施形態では、便宜上、話題と第１情報をそれぞれ決定するようなステップにしたが、実際には、ユーザに所定の対象物に関する第１情報を提供することで、当該対象物が自動的に話題となるものである。従って、コントローラ４０は、第１情報を決定することで、同時に話題の決定も行っていると解釈することができる。

　上記した第１実施形態の情報提供方法によれば、以下の効果を得ることができる。

　本実施形態の情報提供方法は、ユーザに提供する話題に関する第１情報を出力した際のユーザの反応に基づき、第１情報に対するユーザの関心度を推定し、関心度が第１閾値よりも高い場合、話題に関するより詳細な情報である第２情報を出力する。これにより、ユーザは、ユーザにとって関心のある話題についてのみ詳細な情報を取得することができる。即ち、ユーザが欲する情報を提供することができる。

　また、第１情報に対する反応に基づきユーザの関心度を推定するため、情報を提供する前に関心度を推定する場合に比べ、関心度の推定の精度が向上する。

　本実施形態の情報提供方法は、第１情報を出力した際のユーザの動作に基づき、第１情報に対するユーザの関心度を推定し、関心度が第１閾値よりも高い場合、話題に関するより詳細な情報である第２情報を出力する。これにより、ユーザは簡単な動作を行うことにより、特別な指示を行うことなく話題に関する詳細情報を得ることができる。従って、ユーザの快適度が向上する。

　本実施形態の情報提供方法は、第１情報を第１パートと第２パートとに分割し、第１パートを表示部３２に表示させた第１のキャラクタによる発話として出力し、第２パートを表示部３２に表示させた第２のキャラクタによる発話として出力させる。このように、第１情報を２つのパートに分け、２人のキャラクタに発話させることで、ユーザに対し、キャラクタによる会話形式により第１情報を提供することができる。従って、情報提供システム１００からの発話に対するユーザの応答責任が軽減され、ユーザの快適度が向上する。

　本実施形態の情報提供方法は、第１情報を出力した際に、ユーザが第１のキャラクタ及び前記第２のキャラクタの少なくともいずれかを視認する動作を行ったことが検知された場合、第１情報に対するユーザの関心度を高く推定する。従って、キャラクタを視認するという簡単な動作を行うことで、関心度を第１閾値よりも高くして話題に関する詳細な情報（第２情報）を得ることができる。即ち、詳細な情報を得るために、別途特別な指示をする必要がないため、操作の煩わしさが軽減され、ユーザの快適度が向上する。

　本実施形態の情報提供方法は、車両内に新たな機器が追加されたこと、車両内の所定の機器が更新されたこと、または車両内の所定の機器が長時間使われていないことが検知された場合、追加、更新されたこと、または長時間使われていないことが検知された当該機器の取り扱いに関する情報を、ユーザに提供する第１情報に決定する。これにより、ユーザによる使用が推奨される機能でありながら、ユーザがその機能の存在を知らない、または使用方法が分からないため使用されていない機能について、ユーザに使用を促すことができる。

　本実施形態の情報提供方法は、ユーザの行動から、ユーザが所定の機器の取り扱いについて困惑していることが推定される場合、当該所定の機器の取り扱いに関する情報を第１情報に決定する。これにより、ユーザが困惑している場面において、ユーザが欲する機器の取り扱いに関する情報を提供することができる。

　本実施形態の情報提供方法は、ユーザが目にすることができる地物がある場合、当該地物を話題に決定し、当該地物に関する地物情報をユーザに提供する第１情報に決定する。このように、ユーザの視界に入る範囲のものを話題にすることで、ユーザは、提供される情報がどこから来ているのかを推測することができるため、ユーザに安心感を与えることができる。

　本実施形態の情報提供方法は、第１情報に対するユーザの関心度が、第１閾値よりも小さい所定の第２閾値よりも低い場合、第１情報を変更する。これにより、ユーザにとって関心のない情報を提供し続けてユーザに煩わしさを感じさせてしまうことが防止される。

　なお、本実施形態においては、ユーザに対し、音声及び画像を出力して情報を提供するものとしたが、これに限られない。例えば、音声のみにより情報を提供してもよい。

　また、本実施形態においては、表示部３２に表示した二人のキャラクタの発話によりユーザに情報を提供するものとしたが、必ずしもこれに限られない。例えば表示するキャラクタは一人であってもよく、また、三人以上であってもよい。また、例えば、出力装置３０の外観をキャラクタの外観としてもよい。この場合、表示部３２にキャラクタを表示するのではなく、出力装置３０そのものがキャラクタとなる。従って、例えば、キャラクタ化された出力装置３０と、表示部３２に表示したキャラクタとの会話により、第１情報を提供することもできる。ここで、キャラクタ化された出力装置３０とは、例えば、車両のダッシュボード上に設置される小型のロボットであるエージェント機器を含む。なお、エージェント機器は、例えば動物（例えばウサギ）を模したロボット、仮想物の生物（例えばアニメのキャラクターの顔）を模したロボット、他の物体（例えばテレビ型の機器、ラジオ型の機器）を模したロボットであるがこれに限定されない。表示部等のユーザインタフェースを備える他の機器（例えばスマートフォン、タブレット端末、カーナビゲーション装置、ＩＶＩ（Ｉｎ−Ｖｅｈｉｃｌｅ　Ｉｎｆｏｔａｉｎｍｅｎｔ））をエージェント機器として用いてもよい。この場合には、上述したロボットを表示部に表示させ、そのロボットの表示態様を変化させることによりロボットの動作態様を変化させることが可能である。

　また、本実施形態においては、第１情報に対するユーザの関心度が第２閾値よりも低い場合に第１情報を変更することとしたが、ユーザの関心度が第２閾値よりも低い状態が所定時間継続した場合に第１情報を変更するものとしてもよい。これにより、ユーザが第１情報に対し関心がないことがより明確になってから第１情報が変更されるため、ユーザが現在提供されている第１情報に関心がある場合に第１情報が変更されてしまうことを防止できる。

　また、本実施形態においては、ユーザが目にすることができる地物がある場合に、当該地物を話題に決定し、当該地物に関する地物情報を第１情報に決定しているが、必ずしもこれに限られない。車両周辺に地物がある場合、ユーザが目にすることができなくても、車両周辺の地物を話題に決定し、話題に決定された地物に関する地物情報を第１情報に決定してもよい。

　また、本実施形態においては、困惑機器、ユーザが目にすることができる地物、困惑要因のいずれもが無い場合、及び、第１情報に対するユーザの関心度が第２閾値より低い場合に、ユーザに提供する第１情報をランダムに選択しているが必ずしもこれに限られない。例えば、第１情報をランダムに選択するのではなく、各情報毎に重要度を設定し、重要度の高い情報を優先的に第１情報に選択してもよい。

　また、本実施形態においては、第２情報を第１のキャラクタまたは第２のキャラクタの発話として出力しているが、必ずしもこれに限られない。例えば、第２情報が画像により出力可能な情報である場合、第２情報を画像として表示部３２に表示させてもよい。これにより、音声出力装置３１とは別に、表示部３２に表示させた画像により第２情報をユーザに提供することができる。この場合の画像は、写真や絵の他、文字等も含まれる。

　また、本実施形態においては、困惑要因がある場合、困惑要因である機能を搭載した機器に関する情報を第１情報に決定し、困惑機器がある場合、当該機器に関する情報を第１情報に決定しているが、必ずしもこれに限られない。例えば、困惑要因や困惑機器が無い場合でも、車両内におけるユーザが使用可能ないずれかの機器の取り扱いに関する情報をユーザに提供する第１情報に決定してもよい。これにより、車両内の機器の機能に対するユーザの理解度が向上し、車両内の各種機器をより効果的に使用することができる。

　（第２実施形態）
　図３及び図４を参照して、第２実施形態の情報提供方法を説明する。なお、第１実施形態と同様の要素には同一の符号を付し、その説明を省略する。

図３は、第２実施形態による情報提供方法を採用した情報提供システム２００の概略構成を示すブロック図である。第２実施形態では、第１情報の決定方法及び第１情報の出力形態が第１実施形態と異なる。

　図３に示すように、情報提供システム２００は、ユーザ状態情報取得装置１０と、車両情報取得装置２０と、出力装置３０と、コントローラ４０とを含む。

　ユーザ状態情報取得装置１０及び出力装置３０については、第１実施形態と同様であるため、説明を省略する。

　車両情報取得装置２０は、車両の位置情報を取得するＧＰＳ受信装置等を含む現在地情報取得装置２１と、周辺情報を取得する車外カメラ等を含む周囲状況取得装置２２に加えて、本実施形態では、負荷検出装置２３を含む。

　負荷検出装置２３は、ハンドルの操舵角センサやアクセル開度センサ等を含む。負荷検出装置２３により検知された操舵角やアクセル開度は、コントローラ４０に送信され、後述する運転負荷の推定に用いられる。

　コントローラ４０は、第１実施形態で説明した構成に加えて、ユーザ行動情報取得部６１、嗜好情報データベース６２、視認領域抽出部６３、注目度推定部６４、注目対象物特定部６５、確信度推定部６６、出力特徴生成部６７を備える。なお、図３において、地物情報取得部４２、機能データベース４３、困惑要因検出部４４、困惑推定部４５、関心度推定部４７については記載を省略する。

　ユーザ行動情報取得部６１は、運転負荷検出部６１Ａ、音声特徴検出部６１Ｂ及び視線検出部６１Ｃを含み、ユーザの行動情報を取得する。ユーザ行動情報取得部６１には、ユーザ状態情報取得装置１０からのユーザ状態情報、車両情報取得装置２０からの位置情報、周辺情報、操舵角やアクセル開度の情報、及び地図情報取得部４１からの現在地情報が入力される。

　運転負荷検出部６１Ａは、ユーザ状態情報、位置情報、周辺情報、操舵角やアクセル開度の情報、現在地情報から、ユーザである運転者の運転負荷を推定する。運転負荷の推定は、例えば、ステアリングエントロピー法に従って行う。なお、好ましくは、運転負荷検出部６１Ａは、現在地情報、周辺情報、操舵角の時系列データ、アクセル開度の時系列データ等に基づき、運転手のスキルデータを取得し、これを運転負荷の推定に用いる。これにより、運転負荷の推定精度を高めることができる。

　音声特徴検出部６１Ｂは、車内マイクにより取得されたユーザが発話した音声に基づき、ユーザの発話の音声特徴を検出する。ここで音声特徴とは、発話の内容（例えば、特定のキーワードが含まれているか等）、音声の大きさ、音声の高さ、アクセント等を含む。音声特徴検出部６１Ｂは、ユーザの発話によるこれらの音声特徴を数値化した音声特徴量を取得する。なお、ユーザの発話による音声であるか否かは、例えば予めユーザの音声特徴を記憶しておくことで判断することができる。

　視線検出部６１Ｃは、車内カメラ（ユーザ状態情報取得装置１０）により取得された車内画像及びアイトラッカ（ユーザ状態情報取得装置１０）により検出されたユーザの視線方向に基づき、ユーザの視線方向に視線が向けられている時間を検出する。視線検出部６１Ｃは、ユーザの視線方向と視線が向けられている時間とを視線情報として取得する。なお、視線情報の取得方法は上記のものに限られない。例えば、車内画像のみから視線情報を取得してもよい。

　運転負荷検出部６１Ａにおいて推定された運転負荷の情報、音声特徴検出部６１Ｂにおいて取得された音声特徴量、及び視線検出部６１Ｃにおいて取得された視線情報は、ユーザ行動情報として後述する注目度推定部６４及び確信度推定部６６に送信される。なお、視線検出部６１Ｃにおいて取得された視線情報は、視認領域抽出部６３にも送信される。

　嗜好情報データベース６２は、ユーザの嗜好情報が蓄積されたデータベースである。ユーザの嗜好情報は、ユーザの過去の行動等に基づき取得される。例えば、特定種類の料理店や施設について、より頻繁に訪れているほど、当該料理や施設がユーザにとって嗜好性のより高いものとして登録される。但し、嗜好情報の取得方法は上記の方法に限られるものではない。

　視認領域抽出部６３は、ユーザが視認可能な視認領域と、視認領域内に含まれる物（対象物）とを特定する。視認領域抽出部６３には、視線検出部６１Ｃにおいて取得された視線情報、地図情報取得部４１からの地図上の現在地情報、及び周囲状況取得装置２２からの周辺情報（車外カメラにより撮影された車外の画像）が入力される。視認領域抽出部６３は、視線情報に含まれるユーザの視線方向と、地図上の現在地情報及び周辺情報を照合し、ユーザが視認可能な視認領域を特定するとともに、地図上の現在地情報及び周辺情報に基づき、視認領域内に含まれる対象物を特定する。但し、ユーザの視線方向にユーザが視線を向けている時間が所定時間（第４閾値）よりも短い場合は、視認不可として、視認領域抽出部６３は対象物の特定を行わない。ここでの所定時間は、例えば、ユーザが視線方向先の対象物が何であるかを認知できない程度の時間に設定することができる。なお、視認領域の特定は、上記の方法に限られるものではないが、少なくともユーザの視線方向に基づき特定される。特定された視認領域及び対象物の情報は、後述する注目度推定部６４及び確信度推定部６６に送信される。

　注目度推定部６４は、視認領域内にある各対象物に対するユーザの注目度を推定する。注目度推定部６４には、ユーザ行動情報取得部６１からのユーザ行動情報、及び視認領域抽出部６３からの視認領域及び視認領域内に含まれる対象物の情報が入力される。また、注目度推定部６４は、嗜好情報データベース６２を照会し、視認領域内の対象物に関するユーザの嗜好情報を取得する。注目度推定部６４は、ユーザ行動情報及び嗜好情報（以下、ユーザ情報とする）に基づき、視認領域内にある対象物のそれぞれに対するユーザの注目度を推定する。具体的には、視認領域内の対象物のうち、視認領域における中心に近い対象物ほどユーザの注目度を高く推定（加点）し、ユーザの嗜好性が高い対象物ほどユーザの注目度を高く推定（加点）する。視認領域内の対象物についての嗜好情報が嗜好情報データベース６２に登録されていない場合は、注目度は加点されない。また、ユーザが視認領域における中心に最も近い中央対象物に視線を向けている時間が所定時間（第５閾値）を超えている場合、ユーザが中央対象物に視線を向けている間にユーザによる音声を検知し、当該音声の音声特徴量が所定値（第６閾値）を超えている場合には、中央対象物に対するユーザの注目度をより高く推定（加点）する。このように、単に中央対象物の注目度を最も高く推定するのではなく、嗜好情報、中央対象物に視線を向けている時間、音声特徴等も考慮して対象物に対するユーザの注目度を推定するため、注目度の推定の精度がより向上する。

　なお、ユーザの運転負荷が高い場合、対象物に対するユーザの注目度を低く推定する。具体的には、本実施形態では、ユーザの運転負荷が所定の値（第７閾値）以上の場合、視認領域内にあるすべての対象物に対するユーザの注目度を０と推定する。即ち、ユーザの運転負荷が高い場合、ユーザは運転に集中したい状況であると推定されるため、実質的に注目度の推定は行わず、運転負荷が所定値より小さくなるのを待って、注目度の推定を行う。従って、例えばユーザが運転に集中したい場合において、視認領域内の対象物の注目度を誤って高く推定してしまうことが防止される。このように、注目度の推定において、ユーザの運転負荷も考慮し、運転負荷が高い場合に対象物に対するユーザの注目度を低く推定するため、注目度の推定の精度がより向上する。

　注目度推定部６４により推定された各対象物に対する注目度の情報（注目度情報）は、注目対象物特定部６５及び確信度推定部６６に送信される。

　注目対象物特定部６５は、視認領域内のどの対象物が注目対象物になるかを特定する。ここで注目対象物とは、ユーザに提供する話題となる対象物である。注目対象物特定部６５には、注目度推定部６４から、注目度情報が入力される。注目対象物特定部６５は、注目度情報に基づき、視認領域内の対象物のうち、注目度が最も高い対象物を特定し、当該対象物に対するユーザの注目度が所定の閾値（第３閾値）よりも高い場合に、当該対象物を注目対象物として特定する。注目対象物として特定する閾値（第３閾値）を設けることで、例えばユーザが注目しているわけではなく、単に視界に入ってきた対象物を注目対象物に特定してしまうこと等が防止される。注目対象物特定部６５において、通常は、視認領域における中心に最も近い中央対象物が注目対象物として特定される。特に本実施形態では、ユーザが中央対象物に視線を向けている間に特定のキーワードを発した場合には、中央対象物を注目対象物とする（特定のキーワードを発した場合に、中央対象物の注目度が最も高くなるように、注目度推定部６４を設定しておく）。例えば、ユーザが中央対象物である建物に視線を向けている間に「あれは何だろう？」のような特定の疑問詞（キーワード）を発した場合、音声特徴量は大きくなり、中央対象物（当該建物）を注目対象物に特定する。なお、場合によっては、中央対象物以外の対象物が注目対象物となることもあり得る。例えば、視認領域内に対称物である猫と公園があった場合、公園の方が猫よりも範囲が広いため、視認領域内の中央に来やすいが、嗜好情報データベース６２に、ユーザが猫好きであることが登録されていれば、猫に対する注目度を高く推定し、猫が注目対象物に特定され得る。注目対象物特定部６５において特定された注目対象物の情報（注目対象物情報）は、確信度推定部６６及び情報決定部４８に送信される。

　確信度推定部６６は、注目対象物の特定の正しさの度合いである確信度を推定する。確信度推定部６６には、ユーザ行動情報取得部６１からのユーザ行動情報、視認領域抽出部６３からの視認領域及び視認領域内に含まれる対象物の情報、注目度推定部６４からの注目度情報、及び注目対象物特定部６５からの注目対象物情報が入力される。また、確信度推定部６６は、嗜好情報データベース６２を照会し、視認領域内の対象物に関するユーザの嗜好情報を取得する。確信度は、視認領域内に含まれる対象物の情報と、ユーザ情報（ユーザ行動情報及び嗜好情報）とに基づき推定される。具体的には、確信度は、視認領域内に含まれる対象物の数が多いほど低く、視認領域内に含まれる対象物にユーザの嗜好性が高い物が多く含まれるほど低く推定され、ユーザが発話した場合の音声特徴量が大きいほど高く推定される。視認領域内に含まれる対象物の数が多いほど、ユーザが実際にどの対象物に注目しているのかは判断が難しくなり、注目対象物の特定の正確性は低くなる。反対に、視認領域内に含まれる対象物の数が少ない場合、ユーザが実際に特定された注目対象物に注目している可能性が高く、確信度は高く推定される。また、視認領域内に、ユーザの嗜好性が高い対象物が多く含まれる場合にも、ユーザが実際にどの対象物に注目しているのかの判断が難しくなるため、注目対象物の特定の正確性は低くなる。反対に、視認領域内に含まれる対象物のうち、ユーザの嗜好性が高い対象物が少ない場合、注目対象物の特定の正確性は高くなるため、確信度は高く推定される。例えば、視認領域内に、ユーザの嗜好性が高い対象物が１つしかないような場合、当該対象物が注目対象物に特定されるが、ユーザが実際に当該対象物に注目している可能性は高い。また、ユーザが発話した場合の音声特徴量が大きい場合、特定された注目対象物に対し、実際にユーザが注目している可能性が高く、確信度は高く推定される。例えば、注目対象物特定部６５の説明において例として挙げたが、ユーザの視線方向先に建物があり、ユーザが、「あれは何だろう？」のような特定の疑問詞（キーワード）を発した場合、音声特徴量は大きくなる。この場合、ユーザが実際に当該建物（注目対象物、中央対象物）に注目している可能性が高いため、確信度も高く推定される。

　以上のとおり、確信度推定部６６において、注目対象物の特定の正しさの度合いである確信度が定量的に推定される。確信度推定部６６において推定された確信度の情報（確信度情報）は、情報決定部４８、情報出力部５０及び出力特徴生成部６７に送信される。

　注目対象物情報及び確信度情報が情報決定部４８に入力されると、情報決定部４８は、第１実施形態と同様に、ユーザに提供する話題及び情報を決定する。本実施形態では、簡単のため、困惑機器、地物あり信号、困惑要因は無いものとする。情報決定部４８は、注目対象物を話題に決定し、注目対象物に関する情報（概要）を第１情報に決定する。注目対象物に関する情報（概要（第１情報）だけでなく、詳細情報（第２情報）も含む）は、情報蓄積データベース４６に登録されていれば情報蓄積データベース４６から、登録されていなければ、外部のデータベース（図示しない）から取得する。なお、困惑機器、地物あり信号、困惑要因等がある場合には、情報決定部４８は、困惑機器、地物、困惑要因である機能を搭載した機器、注目対象物のいずれかを話題に選択する。この場合、優先度は特に限定されるものではないが、例えば、困惑機器、地物情報、困惑要因、注目対象物の順に優先度を高く設定する。情報決定部４８において決定されたユーザに提供する話題及び第１情報は、情報出力部５０に送信される。

　出力特徴生成部６７には、確信度推定部６６から確信度情報が入力される。出力特徴生成部６７は、情報出力部５０と相互に情報を送受信可能に構成され、情報決定部４８により決定された第１情報の出力形態を、確信度の高さに応じて特徴づける。具体的には、キャラクタ（出力装置３０そのものがキャラクタとなる場合を含む）を用いて第１情報を発話する場合、キャラクタの外観、動作、音声等に確信度の高さに応じた特徴を持たせる。ここで、外観の特徴とは、キャラクタの表情、大きさ、色、形状等を含み、動作の特徴とは、回転、振動、移動の速度、移動の緩急、キャラクタの視線方向等を含む。また、音声の特徴とは、イントネーション、音量、語尾の表現等を含む。そして、確信度が低い場合、これらの特徴を用いて自信のなさを表す。例えば、確信度が低い場合、キャラクタの表情を自信なさげな表情にする、キャラクタを小さくする、キャラクタの音声を弱々しい声にするといったように、音声データ及び画像データを特徴づけることができる。一つの具体例を挙げると、例えば、キャラクタから猫についての第１情報を発話するとし、確信度が低い場合、キャラクタの眉を下げ、「そういえば、○○（ユーザの名前）が好きな猫動画上がってたよ。…あれ？今、猫見てたと思ったけど、もしかして違った？」という発話を弱々しい声で行うように音声データ及び画像データを特徴づける。また、表示部３２に、文字を表示させることで第１情報を提供する場合、確信度の高さに応じて文字に特徴を持たせる。ここで文字の特徴とは、文字の太さ、大きさ、フォント、色、文の末尾表現等を含む。例えば、確信度が低い場合、文字を細くしたり、小さくしたり、文の末尾に疑問詞をつける等して、自信のなさを表現するように画像（文字）データを特徴づける。

　情報出力部５０は、出力特徴生成部６７により特徴づけがされた第１情報の音声データ及び画像データを、出力装置３０を介して出力する。これにより、ユーザに情報が提供される。

　以上のとおり、第２実施形態の情報提供方法では、確信度の高さに応じた出力形態で第１情報を出力する。これにより、ユーザにとって関心がない情報を提供してしまった場合にも、ユーザの心証の悪化を緩和することができる。

　また、確信度を定量的に推定するため、どのような形態を用いてユーザに情報を提供すべきか、容易に判断することができる。即ち、確信度が定量化されているため、例えば、どの程度断定的な表現を用いるべきか、どの程度の大きさの音量や文字を用いるべきか等を容易に判断することができる。

　なお、第１情報を出力した際の、ユーザの反応から、ユーザの関心度が低いことが推定された場合（例えば、ユーザの関心度が第１実施形態における第２閾値より低かった場合等）、注目度及び確信度の推定に関して必要な修正値を取得する修正値取得部を設けてもよい。これにより、注目度及び確信度の推定がユーザにより適合したものとなる。

　図４は、第２実施形態による情報提供方法を説明するフローチャートである。以下の制御は、いずれもコントローラ４０により所定時間ごとに繰り返し実行される。また、以下の制御は、情報提供システム１００の起動時に開始されてもよく、また、既にユーザに対し何らかの情報が出力されている状態において開始されてもよい。なお、コントローラ４０は、ユーザ状態情報取得装置１０からユーザ状態情報を、車両情報取得装置２０から位置情報、周辺情報、及び操舵角やアクセル開度の情報を、所定時間ごとに常時取得する。また、前述の通り、簡単のため、本実施形態では、困惑機器、地物あり信号、困惑要因は無いものとする。

　ステップＳ２０１において、コントローラ４０は、ユーザ（運転者）の運転負荷を推定するともに、運転負荷が所定の値（第７閾値）より小さいか否かを判断する。運転負荷が第７閾値以上である場合、コントローラ４０は、運転負荷が第７閾値を下回るまで、情報提供に関する処理を一時的に中断する。一方、運転負荷が第７閾値よりも小さい場合、コントローラ４０は、ステップＳ２０２の処理を実行する。

　ステップＳ２０２において、コントローラ４０は、ユーザの視線方向及び視線が向けられている時間（視線情報）を取得するとともに、ユーザの視線方向先に視線が向けられている時間（以下、注視時間ともいう）が所定時間（第４閾値）以上であるか否かを判断する。注視時間が第４閾値より短い場合、コントローラ４０は、ステップＳ２０１の処理に戻り、運転負荷が第７閾値より小さく、且つ注視時間が第４閾値以上という条件が成立するまで、ステップＳ２０３以下の処理を実行しない。一方、注視時間が第４閾値以上の場合、コントローラ４０は、ステップＳ２０３の処理を実行する。

　ステップＳ２０３において、コントローラ４０は、視線情報に基づき視認領域を特定するとともに、視線情報と、地図上の現在地情報及び周辺情報とに基づき、視認領域内に含まれる対象物を特定する。

　ステップＳ２０４において、コントローラ４０は、ユーザが特定のキーワードを発したか否かを判断する。特定のキーワードは、前述の例（「あれは何だろう？」）の他、例えば、「あれ何？」や「ん？」といった言葉を設定することができる。ユーザが特定のキーワードを発したことが検知された場合、コントローラ４０は、ステップＳ２１４の処理を実行する。一方、ユーザが特定のキーワードを発したことが検知されていない場合、コントローラ４０は、ステップＳ２０５の処理を実行する。

　ステップＳ２１４において、コントローラ４０は、中央対象物を注目対象物に特定し、ステップＳ２０８の処理を実行する。

　ユーザが特定のキーワードを発したことが検知されていない場合、コントローラ４０は、ステップＳ２０５において、視認領域内に含まれる対象物のそれぞれについて、ユーザの注目度を推定する。前述の通り、視認領域における中心に近い対象物ほど、また、ユーザの嗜好性が高い対象物ほど注目度は高く推定される。また、ユーザが視認領域における中心に最も近い中央対象物に視線を向けている時間が所定時間（第５閾値）を超えている場合、ユーザが中央対象物に視線を向けている間にユーザによる音声を検知し、当該音声の音声特徴量が所定値（第６閾値）を超えている場合には、中央対象物に注目度がより高く推定される。

　ステップＳ２０６において、コントローラ４０は、注目度が最も高い対象物の注目度（最大注目度）が、所定の閾値（第３閾値）よりも高いか否かを判断する。第３閾値は、例えば、ユーザが当該対象物に対し、少しでも情報を欲している可能性がある場合に、注目度が第３閾値を超えるような値に設定することができる。注目度が最も高い対象物の注目度が、第３閾値よりも高い場合、コントローラ４０は、ステップＳ２０７の処理を実行する。一方、全ての対象物の注目度が第３閾値以下の場合、コントローラ４０は、ステップＳ２０１の処理に戻る。

　ステップＳ２０７において、コントローラ４０は、注目度が最も高い対象物を注目対象物に特定する。

　注目対象物を特定すると、コントローラ４０は、ステップＳ２０８において、確信度を推定する。前述のとおり、確信度は、視認領域内に含まれる対象物の情報とユーザ情報とに基づき推定され、視認領域内に含まれる対象物の数が多いほど低く、視認領域内に含まれる対象物にユーザの嗜好性が高い物が多く含まれるほど低く推定され、ユーザが発話した場合の音声特徴量が大きいほど高く推定される。

　確信度を推定すると、コントローラ４０は、ステップＳ２０９において、確信度の大きさに応じた出力形態で情報（第１情報）を出力する。例えば、確信度が低い場合、自信のなさを表現するように音声データ及び画像データを特徴づけて出力する。一方、確信度が高い場合、例えば、文字や声を大きくする、キャラクタを堂々とした表情にさせる等の特徴づけをして音声データ及び画像データを出力する。

　第１情報を出力すると、コントローラ４０は、ステップＳ１０４~Ｓ１０６及びＳ１１５、Ｓ１１６、Ｓ１２５に示す処理を実行する。これらの処理は、第１実施形態と同様であるため、説明を省略する。

　上記した第２実施形態の情報提供方法によれば、以下の効果を得ることができる。

　本実施形態の情報提供方法は、ユーザが視認可能な視認領域内にある対象物のうち、ユーザの注目度が最も高い対象物である注目対象物を特定し、視認領域内の対象物の情報及びユーザ情報（ユーザの嗜好性に関する嗜好情報とユーザの行動に関するユーザ行動情報）に基づき、注目対象物の特定の正しさの度合いである確信度を推定する。そして、注目対象物を話題に決定し、前記注目対象物に関する情報をユーザに提供する第１情報に決定するとともに、当該第１情報を確信度の高さに応じた出力形態で出力する。このように、確信度の高さに応じた出力形態で第１情報を出力するため、ユーザにとって関心が無い情報を提供してしまった場合にも、ユーザの心証の悪化を緩和することができる。

　本実施形態の情報提供方法は、嗜好情報と、ユーザの視線方向、ユーザが発話した場合の音声特徴量、ユーザが運転する車両の運転負荷を含むユーザ行動情報とに基づき、視認領域内にある対象物のそれぞれに対するユーザの注目度を推定する。そして、ユーザの注目度が最も高い対象物である注目対象物に関する情報をユーザに提供する第１情報に決定する。このように、嗜好情報とユーザ行動情報とから視認領域内の対象物のそれぞれに対するユーザの注目度を推定するため、視認領域内に複数の対象物が含まれる場合でも、どの対象物についての情報をユーザに提供すべきか判断することができる。

　また、ユーザの視線方向や発話（音声特徴）だけでなく、ユーザの運転負荷にも基づきユーザの注目度を推定しているため、ユーザが運転に集中したい状況において、注目度を誤って高く推定することが防止される。従って、注目度の推定の精度がより向上する。

　本実施形態の情報提供方法は、対象物に対するユーザの注目度を、視認領域における中心に近い対象物ほど高く推定し、ユーザの嗜好性が高いほど高く推定する。また、視認領域における中心に最も近い対象物である中央対象物に対するユーザの注目度を、ユーザが中央対象物に視線を向けている時間が所定時間（第５閾値）を超えた場合、ユーザが中央対象物に視線を向けている間にユーザの音声を検知し且つ当該音声の音声特徴量が所定値（第６閾値）を超える場合に、より高く推定する。このように、単に中央対象物の注目度を最も高く推定するのではなく、嗜好情報、中央対象物に視線を向けている時間、音声特徴等も考慮して対象物に対するユーザの注目度を推定する。これにより、注目度の推定の精度がより向上する。

　本実施形態の情報提供方法は、ユーザが車両を運転している際の運転負荷が所定の値以上の場合、対象物に対するユーザの注目度を低く推定する。これにより、ユーザが運転集中したい場合に、誤って対象物に対する注目度を高く推定し、当該対象物に関する情報をユーザに提供してしまうことが防止される。

　本実施形態の情報提供方法は、ユーザの注目度が最も高い対象物であって、且つ前記注目度が所定の第３閾値よりも高い場合に当該対象物を注目対象物として特定する。このように注目対象物として特定する閾値（第３閾値）を設けることで、例えばユーザが注目しているわけではなく、単に視界に入ってきた対象物を注目対象物に特定してしまうこと等が防止される。即ち、ユーザが特に欲していない情報を提供し、ユーザに煩わしさを感じさせてしまうことが防止される。

　本実施形態の情報提供方法は、確信度が、視認領域内の対象物の数が多いほど低く、注視領域内の対象物にユーザの嗜好性が高い物が多く含まれるほど低く推定され、ユーザが発話した場合の音声特徴量が大きいほど高く推定される。このように確信度が定量的に推定されるため、どのような形態を用いてユーザに情報を提供すべきか、容易に判断することができる。

　なお、本実施形態においては、対象物の情報とユーザ情報に基づき確信度を推定し、確信度の高さに応じた出力形態で第１情報を出力するものとしたが、例えば、情報提供のタイミングが適切であったかを推定するタイミング判定部を設け、情報提供のタイミングの適切度に応じた出力形態で情報を出力するものとしてもよい。この場合、タイミングが適切かどうかは、ユーザの運転状況（運転負荷等）や過去に情報提供した際のユーザの反応のデータ等から判断することができる。

　また、ユーザに提供する情報の新しさ（情報の鮮度）や、情報源の信頼性の度合い等に応じた出力形態で情報を出力するものとしてもよい。即ち、本実施形態の確信度だけではなく、情報を総合的に判断した上で、出力形態を決定するものとしてもよい。

　また、いずれの実施形態においても、情報決定部４８は、情報蓄積データベース４６からユーザに提供する情報を取得するものとしたが、これに限られず、ユーザに提供するための情報は、外部のデータベースから取得してもよい。

　また、図２、図４で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。

　以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

　上記した各実施形態は、それぞれ単独の実施形態として説明したが、適宜組み合わせてもよい。

　なお、本願は２０２２年５月１１日に日本国特許庁に出願された特願２０２２−０７８４６４に基づく優先権を主張し、この出願の全ての内容は参照により本明細書に組み込まれる。

Claims (19)

1. 　車両の乗員であるユーザに対し、前記車両に設けられた出力装置を用いて情報を提供する情報提供方法であって、
   　前記ユーザに提供する話題及び当該話題に関する第１情報を決定し、
   　前記出力装置に前記第１情報を出力させ、
   　前記出力装置が前記第１情報を出力した際の前記ユーザの反応を検知し、
   　前記ユーザの反応に基づき、前記話題に対する前記ユーザの関心度を推定し、
   　前記関心度が所定の第１閾値よりも高い場合には、前記出力装置に、前記話題に関する、第１情報より詳細な情報である第２情報を出力させる、
   　情報提供方法。
2. 　請求項１に記載の情報提供方法であって、
   　前記ユーザの反応は、前記ユーザの動作を含み、
   　前記出力装置が前記第１情報を出力した際の前記ユーザの動作に基づき、前記第１情報に対する前記ユーザの関心度を推定する、
   　情報提供方法。
3. 　請求項１または２に記載の情報提供方法であって、
   　前記出力装置は画像を出力する表示部と音声を出力する音声出力装置とを含み、
   　前記第１情報は少なくとも音声により出力可能な情報であり、
   　前記第１情報を第１パートと第２パートとに分割し、
   　前記表示部に第１のキャラクタ及び第２のキャラクタの少なくとも一方を表示させ、
   　前記第１パートを前記第１のキャラクタによる発話として前記音声出力装置に出力させ、
   　前記第２パートを前記第２のキャラクタによる発話として前記音声出力装置に出力させる、
   　情報提供方法。
4. 　請求項３に記載の情報提供方法であって、
   　前記出力装置が前記第１情報を出力した際に、前記ユーザが前記第１のキャラクタ及び前記第２のキャラクタの少なくともいずれかを視認する動作を行ったことが検知された場合、前記関心度を高く推定する、
   　情報提供方法。
5. 　請求項４に記載の情報提供方法であって、
   　前記第２情報は少なくとも音声により出力可能な情報であり、
   　前記第２情報を前記第１のキャラクタまたは前記第２のキャラクタによる発話として前記音声出力装置に出力させる、
   　情報提供方法。
6. 　請求項１または２に記載の情報提供方法であって、
   　前記出力装置は画像を出力する表示部を含み、
   　前記第２情報は少なくとも画像により出力可能な情報であり、
   　前記第２情報を画像として前記表示部に出力させる、
   　情報提供方法。
7. 　請求項１または２に記載の情報提供方法であって、
   　前記第１情報は、前記ユーザが使用可能な前記車両内の機器の取り扱いに関する情報である、
   　情報提供方法。
8. 　請求項７に記載の情報提供方法であって、
   　前記車両内に新たな機器が追加されたこと、前記車両内の所定の機器が更新されたこと、または前記車両内の所定の機器が長時間使われていないことが検知された場合、追加されたこと、更新されたこと、または長時間使われていないことが検知された当該機器を話題に決定し、当該機器の取り扱いに関する情報を前記第１情報に決定して出力する、
   　情報提供方法。
9. 　請求項７に記載の情報提供方法であって、
   　前記第１情報の決定前において、前記ユーザの行動を検知し、
   　検知した前記ユーザの行動から、前記ユーザが所定の機器の取り扱いについて困惑していることが推定される場合、当該所定の機器を話題に決定し、当該所定の機器の取り扱いに関する情報を前記第１情報に決定して出力する、
   　情報提供方法。
10. 　請求項１または２に記載の情報提供方法であって、
    　前記車両の現在位置に関する位置情報を取得し、
    　前記位置情報及び地図情報に基づき、前記車両の現在位置周辺の地物に関する地物情報を取得し、
    　前記地物を話題に決定し、前記地物情報を前記第１情報に決定して出力する、
    　情報提供方法。
11. 　請求項１に記載の情報提供方法であって、
    　前記ユーザの視線方向を検知し、
    　検知された前記ユーザの視線方向に基づき、前記ユーザが視認可能な視認領域及び前記視認領域内にある対象物を特定し、
    　前記ユーザの行動を検知するとともに、データベースに蓄積された前記ユーザの嗜好性に関する嗜好情報と検知された前記ユーザの行動に関するユーザ行動情報とを含むユーザ情報に基づき、前記視認領域内にある対象物のそれぞれに対する前記ユーザの注目度を推定し、
    　前記ユーザの注目度が最も高い対象物である注目対象物を特定し、
    　前記視認領域内の対象物の情報及び前記ユーザ情報に基づき、前記注目対象物の特定の正しさの度合いである確信度を推定し、
    　前記注目対象物を話題に決定し、前記注目対象物に関する情報を第１情報に決定するとともに、当該第１情報を前記確信度の高さに応じた出力形態で出力する、
    　情報提供方法。
12. 　請求項１１に記載の情報提供方法であって、
    　前記ユーザ行動情報は、前記ユーザの視線方向、前記ユーザが発話した場合の音声特徴量、前記ユーザが運転する前記車両の運転負荷である、
    　情報提供方法。
13. 　請求項１１または１２に記載の情報提供方法であって、
    　前記対象物に対する前記ユーザの注目度は、前記視認領域における中心に近い対象物ほど高く推定し、前記ユーザの嗜好性が高いほど高く推定し、
    　前記視認領域における中心に最も近い対象物である中央対象物に対する前記ユーザの注目度は、前記ユーザが前記中央対象物に視線を向けている時間が所定時間を超えた場合、前記ユーザが前記中央対象物に視線を向けている間に前記ユーザの音声を検知し且つ当該音声の音声特徴量が所定値を超える場合に、より高く推定する、
    　情報提供方法。
14. 　請求項１１または１２に記載の情報提供方法であって、
    　前記ユーザが前記車両を運転している際の運転負荷が所定の値以上の場合、
    　前記対象物に対する前記ユーザの注目度を低く推定する、
    　情報提供方法。
15. 　請求項１１または１２に記載の情報提供方法であって、
    　前記ユーザの注目度が最も高い対象物であって、且つ前記注目度が所定の第３閾値よりも高い場合に当該対象物を注目対象物として特定する、
    　情報提供方法。
16. 　請求項１１または１２に記載の情報提供方法であって、
    　前記確信度は、前記視認領域内の対象物の数が多いほど低く、前記注視領域内の対象物に前記ユーザの嗜好性が高い物が多く含まれるほど低く推定され、前記ユーザが発話した場合の音声特徴量が大きいほど高く推定される、
    　情報提供方法。
17. 　請求項１または１１に記載の情報提供方法であって、
    　推定された前記第１情報に対する前記ユーザの関心度が、前記第１閾値よりも小さい所定の第２閾値よりも低い場合、前記第１情報を変更する、
    　情報提供方法。
18. 　請求項１または１１に記載の情報提供方法であって、
    　推定された前記第１情報に対する前記ユーザの関心度が、前記第１閾値よりも小さい所定の第２閾値よりも低い状態が所定時間継続した場合、前記第１情報を変更する、
    　情報提供方法。
19. 　車両の乗員であるユーザに対し情報を提供する情報提供システムであって、
    　前記情報を出力する出力装置と、
    　前記ユーザに提供するための情報を決定する情報決定部と、
    　前記情報決定部により決定された前記ユーザに提供するための情報を前記出力装置に出力させる情報出力部と、
    　出力された情報に対する前記ユーザの反応を検知するユーザ状態情報取得装置と、
    　前記ユーザ状態情報取得装置により取得された前記ユーザの反応に基づき、出力された情報に対する前記ユーザの関心度を推定する関心度推定部と、
    を備え、
    　前記情報出力部は、出力された第１情報に対する前記ユーザの関心度が所定の第１閾値よりも高く推定された場合、前記出力装置に前記第１情報に関する、より詳細な情報である第２情報を出力させる、
    　情報提供システム。

Images