JP7053325B2 - 情報提供装置およびその制御方法 - Google Patents

Description

本発明は、情報提供装置およびその制御方法に関する。

近年、ナビゲーション装置において目的地を検索する際に、車両内の同乗者の存在に応じて、検索する目的地のジャンル一覧の構成を異ならせる技術が知られている（特許文献１）。特許文献１は、同乗者に対する重量信号を判定して子供が乗車していると判定する場合に子供用のジャンル一覧を提示したり、シートベルトの着脱を検知して複数の同乗者がいると判定した場合に家族用のジャンル一覧を表示させたりする技術を開示している。

特開２００８－２４１３４８号公報

ところで、目的地を検索する場合に限らず、ナビゲーション装置等を含む情報提供装置からニュース情報や目的地の情報、動画などの情報を出力する場合がある。同乗者のような周囲の人物がいる場合、出力される情報は周囲の人物同士の共通の興味や話題に関する情報である方がその場をより楽しめる場合がある。このため、予め人物の情報を登録し、登録内容に基づいてその場の複数の人物に適した情報を提供することができれば有用である。一方、登録された人物に適した情報を提供する場合であっても、常にその場の複数の人物を登録された状態にするのは手間がかかる場合がある。すなわち、人物の情報が登録されている人物と登録されていない人物とがいる場合であっても、その場にいる人物に応じた情報が提供されることが望まれる。

本発明は、上記課題に鑑みてなされ、その目的は、人物の情報が登録されている人物と登録されていない人物とがいる場合であっても、その場にいる人物に応じた情報を提供することが可能な技術を実現することである。

本発明によれば、
複数の人物を識別して、前記複数の人物のそれぞれの登録情報を取得する取得手段と、
前記複数の人物に知覚可能に情報を出力する出力手段から出力させるように、所定の情報を前記出力手段に提供する情報提供手段と、
前記所定の情報を選定する選定手段と、を有し、
前記選定手段は、
前記複数の人物の中に前記登録情報を取得できない人物がいる場合、前記登録情報を取得できない人物について入力手段を介して得られる入力情報に基づいて、前記所定の情報を選定し、
前記登録情報を取得できない人物がいない場合、取得された前記登録情報に基づいて前記複数の人物の関係性を取得し、前記関係性に基づいて、前記所定の情報を選定する、情報提供装置が提供される。

また、本発明によれば、
取得手段が、複数の人物を識別して、前記複数の人物のそれぞれの登録情報を取得する取得工程と、
情報提供手段が、前記複数の人物に知覚可能に情報を出力する出力手段から出力させるように、所定の情報を前記出力手段に提供する情報提供工程と、
選定手段が、前記所定の情報を選定する選定工程と、を有し、
前記選定工程では、
前記複数の人物の中に前記登録情報を取得できない人物がいる場合、前記登録情報を取得できない人物について入力手段を介して得られる入力情報に基づいて、前記所定の情報を選定し、
前記登録情報を取得できない人物がいない場合、取得された前記登録情報に基づいて前記複数の人物の関係性を取得し、前記関係性に基づいて、前記所定の情報を選定する、情報提供装置の制御方法が提供される。

本発明によれば、人物の情報が登録されている人物と登録されていない人物とがいる場合であっても、その場にいる人物に応じた情報を提供することが可能になる。

実施形態１に係る情報提供システムの一例を示す図 実施形態１に係る情報提供装置の機能構成例を示すブロック図 実施形態１に係る乗員登録処理の動作を示すフローチャート 、 実施形態１に係る出力情報取得処理の動作を示すフローチャート 実施形態１に係る乗員の関係性を含むグループ情報を説明する図 実施形態１に係る乗員の関係性に応じた出力候補を模式的に説明する図 実施形態１に係るグループごとに記録される履歴情報を説明する図 他の実施形態における車両用サービス提供サーバの機能構成例を示すブロック図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下の説明は、情報提供装置２００が車両内に配置されており、１台の車両内の空間にいる人物に対して情報を出力する場合を例に説明する。しかし、本発明はこの実施形態に限定されず、離れた複数の車両内の空間にいる人物に対して情報を出力する場合や、会議室や自宅（或いは離れた複数の部屋）にいる複数の人物に対して情報を出力する場合にも適用可能である。

＜情報提供システムの構成＞
図１を参照して、本実施形態に係る情報提供システム１０１の構成について説明する。車両１０２は、例えば４輪で走行する車両であり、車両内には複数の人物が乗車することができる。車両内には、情報を複数の人物に知覚可能に出力するための情報提供装置２００が配置される。

ネットワーク１０３は、例えばインターネットや携帯電話網などの通信網を含み、ネットワーク１０３に接続する情報提供装置２００や各種サーバの間の情報を伝送する。ＳＮＳウェブサービス１０４は、サービスに加入するユーザ間の関係を示す情報（ソーシャルグラフ情報や当該サービスにおけるグループの情報）を保有し、ウェブサービスとして外部に当該ユーザ間の関係を示す情報を提供する。

コンテンツ提供サーバ１０５は、インターネットを介して種々の情報を提供する。種々の情報は、例えば、ニュース情報、ブログ情報、動画、音楽、ＳＮＳサービスのコンテンツ情報、地図情報、レストランやエンタテイメント施設に関する情報等の様々な情報を含んでよい。

車両用サービス提供サーバ１０６は、例えば、運転手が登録した運転手の情報や、車両に同乗した際に登録された同乗者の情報など、人物ごとに登録又は収集された乗員情報（登録情報ともいう場合がある）を格納した乗員情報データベースを有する。乗員情報は、複数の車両の情報提供装置２００から提供される。また、車両用サービス提供サーバ１０６は、グループ情報を格納したグループ情報データベースを有する。グループ情報には、情報提供装置２００においてグループごとに登録された乗員（運転者、同乗者を含む）と、当該グループにおける乗員の関係性情報（例えば家族、友人、同僚など）とが格納され、情報提供装置２００から提供される。グループ情報の詳細については後述する。

＜情報提供装置の構成＞
次に、図２を参照して、情報提供装置２００の機能構成例について説明する。図２では、車両内の配置される情報提供装置２００の主要な機能ブロックと主要な接続関係を表している。この図に示す機能ブロックの各々は、統合され又は分離されてもよく、また説明する機能が別のブロックで実現されてもよい。また、それぞれの機能ブロックは、図示されていない接続関係を有してもよい。更に、ハードウェアとして説明するものがソフトウェアで実現されてもよく、その逆であってもよい。

カメラ２０１は、車両内の様子を画像情報として取得する。本実施形態では、車両１０２の乗員を識別するための画像を取得する。音声センサ２０２は、乗員の車両内の発話音声を取得する。本実施形態では、車両１０２の乗員を識別するための音声を取得する。操作部２０３は、運転手等の乗員が情報提供装置２００に対する操作指示を与えるためのボタンやダイヤル、タッチ入力式のパネル等を含み、入力操作を受け付けて制御部２０５に操作情報を通知する。

通信部２０４は、外部の車両用サービス提供サーバ１０６やコンテンツ提供サーバ１０５と、ネットワーク１０３を介して通信する通信回路を含む。例えば、ＬＴＥ-Ａｄｖａｎｃｅｄ等の規格に準拠した通信を行ってネットワーク１０３に接続する。

制御部２０５は、中央演算装置であるＣＰＵ２１０と不揮発性メモリであるＲＯＭ２１１を含む。ＣＰＵ２１０がＲＯＭ２１１に記憶されたプログラムをメモリ２１６に展開、実行することにより、制御部２０５内部の各部の動作を制御したり、情報提供装置２００の各部の動作を制御したりする。制御部２０５の機能は、１つのＣＰＵ２１０によって実現されてもよいし、不図示の更なるＣＰＵやＧＰＵを用いて実現されてもよい。

乗員関係生成部２０６は、グループごとに登録された乗員（運転者、同乗者を含む）と、当該グループにおける乗員の関係性情報（例えば家族、友人、同僚など）とを含むグループ情報を生成して、例えば記録部２１５に記録する。例えば図５（ａ）は、本実施形態のグループ情報５００を模式的に示している。グループ情報５００は、グループを識別する情報と、各グループを構成する乗員（識別情報）と、当該グループを構成する乗員の関係性とが記録される。乗員の関係性には、例えば家族、友人、同僚、知り合いなどの関係性を設定ことができる。ここで、「知り合い」は、最も乗員の間の関係が緩く、特に共通の関係性が設定されていない場合の乗員の関係性を表す一例である。

グループ情報で指定される関係性には、図５（ｂ）に示すような、出力候補設定情報５０１が設定される。出力候補設定情報は、各関係性に対する候補情報としてどのような情報が提供されるかを設定した情報であり、予め設定される。例えば、「家族」の関係性では、子供向けの情報が候補情報に含まれるように設定される。子供向けの情報は、例えば、アニメーションなどの子供向けの映像、子供向けの音楽、これらの映像や音楽に関するニュース、教育用の映像、クラシック音楽等の情報を含む。また、「同僚」の関係性では、社会人向けの情報が候補情報に含まれるように設定される。社会人向けの情報は、例えば、社会ニュース、経済ニュース、スポーツ映像、エンタテインメント映像等、クラシック音楽等を含む。なお、候補情報の設定は、よりグループに適合した出力候補の情報を取得できるように、例えば、操作部２０３を介して入力される乗員の操作指示に応じて設定されてもよい。例えば、「友人」の関係性について、メンバが共通して興味を持つ特定のカテゴリを設定できるようにしてもよい。図５（ｂ）の例では、特定のニュース、情報、音楽が設定されている。また、図５（ｂ）の例では、関係性が一人である場合の例も同様に、より個人の好みに合わせた候補情報を取得できるように、例えば特定のカテゴリ（例えばエンタメ情報）が設定されている。

図５（ａ）に示したグループ情報は、例えば、同乗者を含む乗員が後述する乗員登録処理において登録される際に生成される。この場合、乗員関係生成部２０６は、後述する人物識別部２０７で識別された乗員情報と、車両の乗員から入力された操作部２０３を介した操作指示とに基づいてグループ情報を生成することができる。なお、乗員関係生成部２０６は、後述する人物識別部２０７で識別された乗員情報や、通信部２０４を介してＳＮＳウェブサービスから受信したソーシャルグラフ情報等に基づいて、人物の関係性を推定し、グループ情報を生成してもよい。或いは、車両用サービス提供サーバ１０６から、同一の車両又は他の車両から過去に登録されたグループ情報を取得してもよい。

人物識別部２０７は、乗員を識別するための識別処理を実行する。カメラ２０１からの顔画像（或いは音声センサ２０２からの発話情報）と、予め記録部２１５に登録された乗員情報に含まれる顔や発話に係る特徴量とに基づいて乗員を識別し、処理対象の乗員の識別情報を特定する。このとき、人物識別部２０７は、複数の乗員のそれぞれを識別した結果、複数の乗員のうち乗員情報を取得できない乗員がいるかを判定することができる。乗員情報を取得できない場合として、例えば、乗員情報が登録されていない（すなわち乗員の識別情報が特定できない）場合が該当する。人物識別部２０７は、更に、画像から乗員の性別、年齢、背丈を推定する機能や、複数の乗員の顔の類似度を求める機能を備えてもよい。

出力情報選定部２０８は、まず複数の乗員の関係性に基づいて識別された情報を取得する。出力情報選定部２０８は、例えば、グループ情報の関係性に関連付けられた出力候補設定に応じた検索クエリを発行して、当該検索クエリに該当する出力候補の情報をコンテンツ提供サーバ１０５から取得する。更に、乗員のグループごとに構成される嗜好情報に基づいて、取得した出力候補の情報に優先順を適用し、乗員に出力する情報を選定する。出力情報選定部２０８は、選定した情報を情報提供部２０９に出力する。また、出力情報選定部２０８は、人物識別部２０７が複数の乗員のうち乗員情報を取得できない人物がいると判定した場合、乗員（或いは乗員情報を取得できない人物のみ）の外見上の特徴に基づいて出力する情報を選定することができる。出力情報選定部２０８の処理については後述する。

情報提供部２０９は、出力情報選定部２０８によって識別された情報をナビゲーション表示部２１３等の出力手段から出力させるように、当該識別された情報をナビゲーション表示部２１３等に提供する。なお、情報提供部２０９は、出力情報選定部２０８の機能を兼ね備えてもよい。

パネル表示部２１２は、例えばＬＣＤやＯＬＥＤ等の表示パネルを含み、運転手に対して表示する情報を提示したり、車両の速度等の車両内の各種計測値を表示したりする。パネル表示部２１２は、情報提供部２０９によって提供された情報を表示する出力手段として機能する。ナビゲーション表示部２１３は、例えばＬＣＤやＯＬＥＤ等の表示パネルを含み、ナビゲーション画面、各種設定や各種操作用のメニュー画面、乗員登録用の操作画面を表示する。また、ナビゲーション表示部２１３は、情報提供部２０９によって提供された情報を表示する出力手段として機能する。

音声出力部２１４は、例えば車両内に配置されたスピーカを含み、ナビゲーションの音声や警告音声等が出力される。また、音声出力部２１４は、情報提供部２０９によって提供された情報を音声として出力する出力手段として機能する。

記録部２１５は、例えば半導体メモリやＨＤＤ等の不揮発性の記録媒体を含み、情報提供装置２００の動作に必要な設定値や、上述の乗員情報やグループ情報を記録する。メモリ２１６は、例えばＤＲＡＭ等の揮発性の記憶媒体を含み、ＣＰＵ２１０がプログラムを実行するためのパラメータや処理結果等を一時的に記憶する。

＜乗員登録に係る処理＞
次に、図３を参照して、乗員登録処理について説明する。なお、本処理において、図２に示した制御部２０５及びその内部の各部が主体として実行する処理はＣＰＵ２１０がプログラムを実行することにより実現されるものとする。なお、乗員が既に登録されている場合には、本処理を省略することができる。

Ｓ１０１において、制御部２０５は、操作部２０３を介して運転手からの操作指示を受け付け、運転手の乗員情報を登録する。運転手の乗員情報は、運転手の識別情報に対する乗員情報として登録される。例えば、人物識別部２０７は、カメラ２０１からの画像や音声センサ２０２からの音声を取得して、運転手の識別に用いる運転者の顔や発話に係る特徴量を抽出し、乗員情報に登録する。人物識別部２０７は、乗員の年齢、性別、背丈等を識別して、乗員情報に登録してもよい。

Ｓ１０２において、制御部２０５は、同乗者の情報を登録するかを判定する。例えば、制御部２０５は、操作部２０３を介して、運転手から同乗者の情報を登録する旨の操作指示が入力された場合、Ｓ１０３に進む。一方、制御部２０５は、同乗者の情報を登録しない旨の操作指示が入力された場合、Ｓ１０３～１０４の処理を行わずに乗員登録処理を終了する。

Ｓ１０３において、制御部２０５は、操作部２０３を介して運転手からの操作指示を受け付け、同乗者の乗員情報を登録する。同乗者の乗員情報は、その同乗者の識別情報に対する乗員情報として登録される。例えば、人物識別部２０７は、カメラ２０１からの画像や音声センサ２０２からの音声を取得して、同乗者の識別に用いる同乗者の顔や発話に係る特徴量を抽出し、乗員情報に登録する。人物識別部２０７は、乗員の年齢、性別、背丈等を識別して、乗員情報に登録してもよい。同乗者が複数である場合、複数の同乗者についての乗員情報を登録する。

Ｓ１０４において、制御部２０５は、乗員の関係性を取得する。例えば、制御部２０５は、操作部２０３を介して受け付けた運転手からの操作指示に基づいて、乗員の関係性を設定する。運転手は、例えば家族、友人、同僚などの関係性を設定することができる。複数の乗員について特に共通する事項がない場合には、「知り合い」を同乗者との関係性として設定する。

或いは、制御部２０５は、乗員の関係性を推定により取得してもよい。例えば、まず、人物識別部２０７により、カメラ２０１からの顔画像を用いて乗員の性別、年齢を推定したり、運転者と同乗者の類似度を判定したりする。そして、乗員関係生成部２０６が、例えば、同乗者が子供と推定され運転手との顔の類似度が高い場合、関係性を家族であると推定する。或いは、乗員関係生成部２０６は、ＳＮＳウェブサービス１０４から受信したソーシャルグラフ情報やユーザ情報等に基づいて、運転者と同乗者が友人や同僚であるかを推定してもよい。この場合、制御部２０５は、推定結果をナビゲーション表示部２１３に表示して、運転手による確認を受け付けてもよい。なお、本発明において、乗員の関係性に基づいた出力情報の選定は必須の構成ではないので、実施の態様によって適宜本ステップを省略しても良い。

Ｓ１０５において、乗員関係生成部２０６は、人物識別部２０７で識別された乗員情報と、取得した乗員の関係性とに基づいて、図５（ａ）に示したグループ情報を生成する。グループ情報は、記録部２１５に記録される。制御部２０５は、グループ情報を記録部２１５に記録すると、本処理を終了する。なお、本発明において、乗員の関係性に基づいた出力情報の選定は必須の構成ではないので、実施の態様によって適宜グル―プ情報の生成と記録を省略しても良い。

なお、制御部２０５は、Ｓ１０５においてグループ情報を登録した後に、更に、グループ情報に登録された関係性（例えば友達）に対するデフォルトの出力候補設定を、適切な出力候補に設定してもよい。例えば、「友達」に対して、広く一般的に当てはまる情報が候補として挙がる設定から、登録した乗員に共通する（例えば特定のスポーツ繋がりの友達であればそのスポーツの）情報が候補として挙がる設定に変更してもよい。

＜出力情報取得処理＞
次に、図４Ａ及び図４Ｂを参照して、出力情報取得処理について説明する。なお、本処理において、図２に示した制御部２０５及びその内部の各部が主体として実行する処理はＣＰＵ２１０がプログラムを実行することにより実現されるものとする。

Ｓ２０１において、制御部２０５は、車両内の乗員を識別する。具体的に、人物識別部２０７は、乗員を識別するための識別処理を実行する。カメラ２０１からの画像（或いは音声センサ２０２からの発話情報）と、予め記録部２１５に登録された乗員情報に含まれる顔や発話に係る特徴量とに基づいて乗員を識別し、処理対象の乗員の識別情報を特定する。

Ｓ２０２において、制御部２０５は、人物識別部２０７によって認識された乗員の数が一人であるかを判定する。制御部２０５は、乗員の数が一人であると判定した場合、Ｓ２０７に進み、乗員の数が複数である場合にはＳ２０３に進む。

Ｓ２０３において、制御部２０５は、車両内の乗員のうち、登録されていない乗員がいるかを判定する。例えば、人物識別部２０７は、Ｓ２０１の処理結果に応じて、記録部２１５に記録された乗員情報に登録されていない乗員がいるかを判定する。このような判定により、登録されていない乗員（単に未登録乗員ともいう）がいる場合と未登録乗員がいない場合とで処理を異ならせる。制御部２０５は、Ｓ２０１で識別された乗員が登録されている乗員である場合、Ｓ２０４に進む。一方、乗員が認識できない場合や登録されていない乗員である場合、Ｓ２１１に進む。Ｓ２１１～Ｓ２１４の処理については後述する。

Ｓ２０４において、制御部２０５は、乗員の関係性を特定する。具体的には、出力情報選定部２０８は、乗員によって構成されるグループを特定し、特定したグループの関係性を特定する。グループの特定は様々な方法で行ってよいが、例えば、出力情報選定部２０８は、グループに登録されたメンバと識別された乗員とが最も一致するグループを特定する。このとき、同様に一致度の高いグループが複数ある場合には複数のグループを特定する。すなわち、Ｓ２０１で特定された乗員が、図５（ａ）に示した乗員Ａと乗員Ｂであるものとする。この場合、出力情報選定部２０８は、グループαとグループγの２つのグループを、識別された乗員によって構成されるグループとして特定する。

具体的には、図５（ａ）の例では、グループα、グループγ、グループΔのそれぞれが、登録されたメンバに乗員Ａと乗員Ｂとを含んでいる。このうち、グループαとグループγは、登録されているメンバがそれぞれ三人であり、グループΔは四人である。Ｓ２０１で識別された乗員はＡとＢの二人であるため、登録されているグループのメンバと識別された乗員とが最も一致するグループはグループαとグループγである。グループΔは識別された乗員との一致度が他の二つのグループより低いため、選択されない。出力情報選定部２０８は、特定されたグループαとグループγの関係性（図５（ｂ）の例では同僚と友達）を乗員の関係性として特定する。

Ｓ２０５において、制御部２０５は、乗員の関係性に対応する出力候補の情報を取得する。具体的に、出力情報選定部２０８は、Ｓ２０４において特定された関係性（例えば同僚と友達）のそれぞれの出力候補設定に対応する検索クエリをコンテンツ提供サーバ１０５に送信し、それぞれの関係性に対する検索結果を受信する。例えば、受信する検索結果は、検索クエリに合致した情報のＵＲＬを示すリストと、タイトルやカテゴリ等の情報を含む各コンテンツ情報のメタデータとを受信する。すなわち、受信した検索結果は、関係性に応じて特定される出力候補の情報である。

例えば、図６には、関係性に応じて特定される出力候補の情報を模式的に示している。図６において６００は、コンテンツ提供サーバ１０５から提供される複数の情報の分布を示している。図６に示す丸い印はそれぞれ個々の情報を表している。図６に示す破線の枠は、関係性が「家族」や「友達」に設定された出力候補設定に応じて情報を検索した場合に、複数の情報６００の中から、出力候補の情報として識別される情報の分布を示している。Ｓ２０４において複数の関係性が特定された場合には、両方の出力候補の情報に属す出力候補の情報を取得する。すなわち、「友達」と「同僚」の関係性が特定されている場合、これらの「友達」と「同僚」の関係性に対する出力候補の情報のいずれにも属す情報が取得される。

Ｓ２０６において、制御部２０５は、乗員で構成されるグループの嗜好情報を取得する。例えば、出力情報選定部２０８は、乗員で構成されるグループの嗜好情報を取得するために、グループごとに記録される履歴情報を取得する。グループごとに記録される履歴情報は、例えば図７（ａ）のテーブル７００に示すように、グループの識別情報に紐づけられた行動履歴と選択履歴とを含んでいる。例えば、グループαの行動履歴には、当該グループが訪問した場所（場所１及び場所２）、及び当該グループが車両内で選択したコンテンツ（コンテンツａ）が記録されている。

場所及びコンテンツの情報は、例えば、図７（ｂ）及び図７（ｃ）に示すテーブル７０１及び７０２を参照することにより、場所及びコンテンツが属す大小のカテゴリを特定することができる。出力情報選定部２０８は、グループαの訪問した場所（場所１等）と選択したコンテンツ（コンテンツａ）とに基づいて、「タイレストラン」及び「スポーツニュース」に関する情報の優先順がより高くなるようにした嗜好情報を生成する。例えば、「タイレストラン」、「スポーツニュース」などの各カテゴリについて出現頻度を記録した情報を生成する。すなわち、出現頻度の高いカテゴリの情報はグループの嗜好性を表す。このとき、古い履歴の影響を低下させるように出現頻度を記録してもよい。なお、グループの嗜好情報は、Ｓ２０６を実行する前に予め生成され、グループ情報と関連付けて記録部２１５に記録されていてもよい。

Ｓ２０７において、制御部２０５は、乗員一人に対する出力候補の情報を取得する。例えば、出力情報選定部２０８は、関係性が「一人」である出力候補設定に対応する検索クエリをコンテンツ提供サーバ１０５に送信し、「一人」に対する検索結果を受信する。

Ｓ２０８において、制御部２０５は、乗員一人の嗜好情報を取得する。例えば、出力情報選定部２０８は、乗員一人の嗜好情報を取得するために、乗員一人に記録される履歴情報を取得する。なお、乗員ごとに記録される履歴情報（不図示）は、乗員が一人である場合に生成される。乗員ごとに記録される履歴情報は、例えば図７（ａ）に示したグループごとの履歴情報と同様に、個人の識別情報（すなわち乗員情報）に紐づけられた行動履歴と選択履歴とを含んでいればよい。出力情報選定部２０８は、個人の訪問した場所と選択したコンテンツとに基づいて、関連する情報の優先順がより高くなるようにした嗜好情報を生成する。なお、個人の嗜好情報は、Ｓ２０７を実行する前に予め生成され、記録部２１５に記録されていてもよい。また、嗜好情報は登録情報の一部として乗員情報に含まれても良い。

Ｓ２０９において、制御部２０５は、嗜好情報に基づいて出力候補の優先付けを行う。例えば、出力情報選定部２０８は、Ｓ２０５（或いはＳ２０７）において取得した出力候補の情報に対して、Ｓ２０６（或いはＳ２０８）において取得した嗜好情報に応じた評価値を付与（すなわち出現頻度の高いカテゴリに関する情報に高い評価値を付与）する。そして、出力候補の情報を、評価値の高い順に並び替える。

Ｓ２１０において、制御部２０５は、出力する情報を決定する。例えば、出力情報選定部２０８は、優先順の高い情報のうち所定の数の情報を、出力する情報として決定する。出力情報選定部２０８は、出力する情報を情報提供部２０９に出力し、情報提供部２０９は、例えばナビゲーション表示部２１３に、受け取った情報（例えば情報のリスト）を表示させる。その後、制御部２０５は本処理を終了する。なお、乗員が登録された乗員のみである場合の処理（Ｓ２０４～Ｓ２０６）、出力候補の優先付け（Ｓ２０９）及び出力情報を決定する処理（Ｓ２１０）は、必ずしも上記処理に限定されず、乗員に対して情報を提供できれば他の方法であってもよい。

このように、乗員が登録されている乗員であれば、車両内の乗員によって構成されるグループを特定することができ、乗員の関係性とグループごとの嗜好情報に応じて情報を出力することができる。一方、登録されていない乗員（単に未登録乗員ともいう）がいる場合、対応する乗員の関係性やグループごとの嗜好情報を取得することができない。この場合、未登録乗員の特徴情報（例えば外見上の特徴）を優先的に用いて、未登録乗員に関連性のある情報を出力できるようにする。このようにすれば、未登録乗員が、より話をし易いような情報を提供することができる。

次に、Ｓ２１１～Ｓ２１４の処理について説明する。Ｓ２１１～Ｓ２１４の処理は、車両内の乗員のうち、登録されていない乗員がいると判定された場合に実行される。Ｓ２１１において、出力情報選定部２０８は、登録されていない乗員（未登録乗員）の属性と登録されている乗員の属性とをそれぞれ推定する。例えば、人物識別部２０７が、乗員を撮影した画像をカメラ２０１等の入力手段から取得し、撮像された画像に基づいて乗員の外観上の特徴を識別する。例えば、人物識別部２０７は、それぞれの乗員の属性である、年齢、性別、背丈を推定し、推定結果を出力情報選定部２０８に出力する。出力情報選定部２０８は、人物識別部２０７による推定結果に基づいて、未登録乗員と登録された乗員のそれぞれについて年代等の属性を推定する。

Ｓ２１２において、制御部２０５は、未登録乗員が子供であるかを判定する。例えば、出力情報選定部２０８は、推定した属性に基づいて、未登録乗員が子供であるかを判定し、例えば、推定した年代が所定の年代以下である場合には未登録乗員が子供であると判定して、Ｓ２１３に進む。そうでないと判定した場合にはＳ２１５に進む。

Ｓ２１３において、制御部２０５は、一般的な子供に対する出力候補と嗜好情報を取得する。例えば、出力情報選定部２０８は、車両用サービス提供サーバ１０６から提供される子供向けの出力候補の情報を取得する。一般的な子供に対する出力候補は、例えば、子供向けの情報が候補情報に含まれるように予め設定されている。また、出力情報選定部２０８は、例えば、車両用サービス提供サーバ１０６から、一般的な子供に対する嗜好情報を取得する。一般的な子供に対する嗜好情報は、車両用サービス提供サーバ１０６が複数の車両からアップロードされる他の乗員のグループの履歴情報のなかから、子供を含むグループの行動履歴（関係性が「家族」であるグループでもよい）に基づいて生成される。

Ｓ２１４において、制御部２０５は、未登録乗員に対して推定された属性と登録された乗員に対して推定された属性とに共通する属性に対する出力候補と嗜好情報を取得する。例えば、出力情報選定部２０８は、未登録乗員に対して推定された属性と登録された乗員に対して推定された属性とが所定の年代で共通する場合、共通する年代と同一の年代に対する出力候補の情報を、車両用サービス提供サーバ１０６から取得する。各年代に対する出力候補は、例えば、年代ごとに一般的に好まれる情報が候補情報に含まれるように予め設定されている。また、出力情報選定部２０８は、例えば、車両用サービス提供サーバ１０６から、同年代に対する嗜好情報を取得する。各年代に対する嗜好情報は、例えば、車両用サービス提供サーバ１０６が複数の車両からアップロードされる他の乗員のグループの履歴情報のなかから、対象となる年代の乗員のグループ又は乗員一人の行動履歴に基づいて生成される。また、出力情報選定部２０８は、未登録乗員に対して推定された属性と登録された乗員に対して推定された属性とが性別において共通する場合、共通する性別に対する出力候補の情報を車両用サービス提供サーバ１０６から取得する。男性又は女性に対する出力候補も、それぞれの性別において一般に好まれる情報が候補情報に含まれるように予め設定されていればよい。なお、未登録乗員に対して推定された属性と登録された乗員に対して推定された属性とが共通しない場合には、予め定められた最も一般的な出力候補とその嗜好情報を取得する。制御部２０５は、出力候補と嗜好情報を取得するとＳ２０９へ進み、上述の処理を実行する。Ｓ２１４の処理により、情報提供装置２００は、外観上の特徴に基づいて推定される、未登録乗員の属性と登録された乗員の属性とに共通する属性に基づいて、出力する情報を選定することができる。

なお、Ｓ２１３の例では、推定された年齢を用いて子供に対する情報を取得したが、子供の推定を、更に推定された背丈を併用して用いて行ってもよい。更に、不図示の重量計を用いて乗員の重量を測定し、推定された年齢や背丈と併用してもよい。

以上説明したように本実施形態では、複数の乗員において登録されていない乗員がいる場合、登録されていない乗員に対するカメラ２０１を介して得られる外観上の特徴に基づいて取得される情報を、ナビゲーション表示部２１３に提供するようにした。このようにすることで、人物の情報が登録されている人物と登録されていない人物とがいる場合であっても、その場にいる人物に応じた情報を提供することが可能になる。

なお、上述の実施形態では、情報のカテゴリごとに出現頻度を記録した嗜好情報を用いて情報の優先順を求める例を説明した。しかし、嗜好情報を用いて優先順を求める方法は、統計的な処理（例えば深層学習等）を用いる方法等の他の方法であってもよい。また、嗜好情報を実質的に抽出するものであれば明示的に生成しない方法であってもよい。例えば、処理対象のグループの履歴情報（例えば場所やコンテンツの分布）を入力として、出力候補の各情報を当該グループが好む確率を出力させるニューラルネットワークを用いても良い。この場合、グループが好む確率に基づいて出力候補の情報の優先順を求めればよい。

＜その他の実施形態＞
実施形態１では、情報提供装置２００が車両内に設置された装置であり、車両内において乗員登録処理や出力情報取得処理を実行する場合を例に説明した。しかし、乗員登録処理や出力情報取得処理を実行する情報提供装置は、例えば、車両用サービス提供サーバ１０６に配置されてもよい。この場合、車両内には、各入力手段（カメラ２０１、音声センサ２０２、操作部２０３）、通信部２０４、出力手段（パネル表示部２１２、ナビゲーション表示部２１３、音声出力部２１４）を備える電子装置が配置されればよい。この電子装置は、例えば、各入力手段からの入力情報を通信部２０４を介して車両用サービス提供サーバ１０６へ送信し、一方、車両用サービス提供サーバ１０６から送信される情報を通信部２０４で受信して、出力手段に出力する。

車両用サービス提供サーバ１０６において乗員登録処理や出力情報取得処理を行う情報提供装置８００は、例えば、図８に示す構成を有する。

通信部８０１は、車両内の電子装置やＳＮＳウェブサービス１０４と、ネットワーク１０３を介して通信する通信回路を含む。制御部８０２は、中央演算装置であるＣＰＵ８０４と不揮発性メモリであるＲＯＭ８０５とを含む。ＣＰＵ８０４がＲＯＭ８０５に記憶されたプログラムをメモリ８０７に展開、実行することにより、制御部８０２の各部を制御したり、車両用サービス提供サーバ１０６の各部の動作を制御したりする。制御部８０２の機能は、１つのＣＰＵ２１０によって実現されてもよいし、不図示の更なるＣＰＵやＧＰＵを用いて実現されてもよい。

乗員関係生成部８０９は、図５（ａ）に示したグループ情報を生成して、例えば記録部２１５に記録する。乗員関係生成部８０９は、車両から送信された操作指示と、後述する人物識別部８１０で識別された乗員情報とに基づいてグループ情報を生成することができる。なお、乗員関係生成部８０９は、後述する人物識別部８１０で識別された乗員情報や、通信部２０４を介してＳＮＳウェブサービスから受信したソーシャルグラフ情報等に基づいて、人物の関係性を推定し、グループ情報を生成してもよい。

人物識別部８１０は、乗員を識別するための識別処理を実行する。通信部８０１で受信した、車両のカメラ２０１からの顔画像（或いは音声センサ２０２からの発話情報）と、予め記録部２１５に登録された乗員情報に含まれる顔や発話に係る特徴量とに基づいて乗員を識別し、処理対象の乗員の識別情報を特定する。このとき、人物識別部８１０は、複数の乗員のそれぞれを識別した結果、複数の乗員のうち乗員情報を取得できない乗員がいるかを判定することができる。乗員情報を取得できない場合として、上述のように、乗員情報が登録されていない場合が該当する。人物識別部８１０は、更に、画像から、乗員の性別、年齢、背丈を推定する機能や、複数の乗員の顔の類似度を求める機能を備えてもよい。

出力情報選定部８１１は、複数の乗員の関係性に基づいて識別された情報を取得する。出力情報選定部８１１は、例えば、グループ情報の関係性に関連付けられた出力候補設定に応じた検索クエリを発行して、当該検索クエリに該当する出力候補の情報をコンテンツ提供サーバ１０５から受信する。更に、乗員のグループごとに構成される嗜好情報に基づいて、取得した出力候補の情報に優先順を適用し、乗員に出力する情報を識別する。出力情報選定部８１１は、識別した情報を情報提供部２０９に出力する。また、出力情報選定部８１１は、人物識別部８１０が複数の乗員のうち乗員情報を取得できないと判定した場合、乗員（或いは乗員情報を取得できない人物）の外見上の特徴に基づいて出力する情報を識別することができる。

情報提供部８１２は、出力情報選定部８１１によって識別された情報を、車両内のナビゲーション表示部２１３等の出力手段から出力させるように、識別された情報を通信部８０１を介して車両のナビゲーション表示部２１３等に提供する。なお、情報提供部８１２は、出力情報選定部８１１の機能を兼ね備えてもよい。

記録部８０６は、例えば半導体メモリやＨＤＤ等の不揮発性の記録媒体を含み、情報提供装置８００の動作に必要な設定値や、上述の乗員情報、グループ情報、及びグループごとの嗜好情報等を記録する。メモリ８０７は、例えばＤＲＡＭ等の揮発性の記憶媒体を含み、ＣＰＵ８０４がプログラムを実行するためのパラメータや処理結果等を一時的に記憶する。

操作部８０３は、例えばマウスやキーボードなどの車両用サービス提供サーバ１０６を動作させる指示を入力して制御部８０２に通知する。表示部８０８は、例えばモニタ等の表示モニタを含む。

このような情報提供装置８００を用いる場合、上述の乗員登録処理のＳ１０１～Ｓ１０５及び出力情報取得処理のＳ２０１～２１４において制御部２０５が実行するものとして説明した動作は、制御部８０２が実行すればよい。また、乗員関係生成部２０６、人物識別部２０７、出力情報選定部２０８、情報提供部２０９が実行する処理は、それぞれ、乗員関係生成部８０９、人物識別部８１０、出力情報選定部８１１、情報提供部８１２が実行すればよい。上述したように、入力手段である２０１～２０３によって得られる入力情報は、通信部８０１によって受信され、制御部８０２に供給される。また、情報提供部８１２から出力される情報は、通信部８０１を介して車両側の装置に送信され、出力手段であるナビゲーション表示部２１３等に提供される。

情報提供装置８００は、車両用サービス提供サーバ１０６に配置されることにより、乗員の認識処理や、嗜好情報に基づく情報の優先付けの処理等をより大規模な計算機リソースを用いてより高速に実行することができる。また、これらの処理を行うにあたって、大量のデータを用いた学習を行ったり、大規模な（例えば深層学習等の）アルゴリズムを用いたりすることができる。すなわち、より精度の高い処理結果を得ることができる。

＜実施形態のまとめ＞
１．上記実施形態の情報提供装置（例えば200, 800）は、
複数の人物を識別して、前記複数の人物のそれぞれの登録情報を取得する取得手段（例えば207, 810, S201）と、
前記複数の人物に知覚可能に情報を出力する出力手段（例えば213）から出力させるように、所定の情報を前記出力手段に提供する情報提供手段（例えば209, 812）と、
前記所定の情報を選定する選定手段（例えば208, 811）と、を有し、
前記選定手段は、前記複数の人物の中に前記登録情報を取得できない人物がいる場合、前記登録情報を取得できない人物について入力手段を介して得られる入力情報に基づいて、前記所定の情報を選定する（例えばS203, S213,S214）。

上記実施形態によれば、人物の情報が登録されている人物と登録されていない人物とがいる場合であっても、その場にいる人物に応じた情報を提供することが可能になる。

２．上記実施形態では、
前記選定手段は、
前記複数の人物の中に前記登録情報を取得できない人物がいない場合、前記取得手段により取得した前記登録情報に基づいて、前記所定の情報を選定し、
前記複数の人物の中に前記登録情報を取得できない人物がいる場合、前記入力情報に基づいて、前記所定の情報を選定する。

上記実施形態によれば、登録情報を取得できない人物がいる場合と登録情報を取得できない人物がいない場合とに応じて異なる情報を用いて情報を選定することができる。

３．上記実施形態では、
前記入力情報は、前記登録情報を取得できない人物の外観上の特徴を含む。

上記実施形態によれば、登録されていない人物の外観上の特徴に応じた情報を提供することが可能になる。

４．上記実施形態では、
前記外観上の特徴は、前記入力手段から得られる画像に基づいて推定される、前記登録情報を取得できない人物の年齢、性別のいずれかの情報を含む。

上記実施形態によれば、登録されていない人物が子供にある場合に子供向けの情報を提供したり、登録されていない人物が女性にある場合に女性向けの情報を提供したりすることが可能になる。

５．上記実施形態では、
前記入力情報に基づいて、前記登録情報を取得できない人物に対する属性を特定するとともに、前記登録情報を取得できた人物について入力手段を介して得られる入力情報に基づいて、前記登録情報を取得できた人物に対する属性を特定する特定手段（例えばS211）を更に有し、
前記選定手段は、前記特定手段によって特定された前記登録情報を取得できない人物に対する属性と前記登録情報を取得できた人物に対する属性とに共通する属性に基づいて、前記所定の情報を選定する（例えばS214）。

上記実施形態によれば、例えば登録されていない人物と登録されている人物の共通の属性に関する情報を提供することが可能になる。

６．上記実施形態では、
前記選定手段は、前記登録情報を取得できない人物がいない場合（例えばS203）、取得された前記登録情報に基づいて前記複数の人物の関係性を取得し（例えばS204）、前記関係性に基づいて、前記所定の情報を選定する。

上記実施形態によれば、複数の人物の間の関係に応じた情報を提供することが可能になる。

７．上記実施形態の情報提供装置は、
前記取得手段は、前記複数の人物から取得する画像又は音声に基づいて、前記複数の人物のそれぞれを識別する（例えば207, 810）。

この実施形態によれば、複数の人物に関する情報をその場にいる人物がその都度手動で装置に伝達する手間を軽減することができる。

８．上記実施形態では、
前記複数の人物は、車両内の空間にいる人物である。

この実施形態によれば、車両内の空間における会話を助長したり、より円滑な情報共有を促進することができる。

９．上記実施形態の情報提供装置（例えば200, 800）の制御方法は、
取得手段が、複数の人物を識別して、前記複数の人物のそれぞれの登録情報を取得する取得工程（例えばS201）と、
情報提供手段が、前記複数の人物に知覚可能に情報を出力する出力手段から出力させるように、所定の情報を前記出力手段に提供する情報提供工程（例えばS204）と、
選定手段が、前記所定の情報を選定する選定工程（例えばS209,S213, S214）と、を有し、
前記選定工程では、前記複数の人物の中に前記登録情報を取得できない人物がいる場合（例えばS203）、前記登録情報を取得できない人物について入力手段を介して得られる入力情報に基づいて、前記所定の情報を選定する（例えばS212-S214）。

上記実施形態によれば、人物の情報が登録されている人物と登録されていない人物とがいる場合であっても、その場にいる人物に応じた情報を提供することが可能になる。

２０５…制御部、２０６…乗員関係生成部、２０７…人物識別部、２０８…出力情報選定部、２０９…情報提供部、８０２…制御部、８０９…乗員関係生成部、８１０…人物識別部、８１１…出力情報選定部、８１２…情報提供部

Claims (7)

1. 複数の人物を識別して、前記複数の人物のそれぞれの登録情報を取得する取得手段と、
   前記複数の人物に知覚可能に情報を出力する出力手段から出力させるように、所定の情報を前記出力手段に提供する情報提供手段と、
   前記所定の情報を選定する選定手段と、を有し、
   前記選定手段は、
   前記複数の人物の中に前記登録情報を取得できない人物がいる場合、前記登録情報を取得できない人物について入力手段を介して得られる入力情報に基づいて、前記所定の情報を選定し、
   前記登録情報を取得できない人物がいない場合、取得された前記登録情報に基づいて前記複数の人物の関係性を取得し、前記関係性に基づいて、前記所定の情報を選定する、ことを特徴とする情報提供装置。
2. 前記入力情報は、前記登録情報を取得できない人物の外観上の特徴を含む、ことを特徴とする請求項１に記載の情報提供装置。
3. 前記外観上の特徴は、前記入力手段から得られる画像に基づいて推定される、前記登録情報を取得できない人物の年齢、性別のいずれかの情報を含む、ことを特徴とする請求項２に記載の情報提供装置。
4. 前記入力情報に基づいて、前記登録情報を取得できない人物に対する属性を特定するとともに、前記登録情報を取得できた人物について入力手段を介して得られる入力情報に基づいて、前記登録情報を取得できた人物に対する属性を特定する特定手段を更に有し、
   前記選定手段は、前記特定手段によって特定された前記登録情報を取得できない人物に対する属性と前記登録情報を取得できた人物に対する属性とに共通する属性に基づいて、前記所定の情報を選定する、ことを特徴とする請求項１から３のいずれか１項に記載の情報提供装置。
5. 前記取得手段は、前記複数の人物から取得する画像又は音声に基づいて、前記複数の人物のそれぞれを識別する、ことを特徴とする請求項１から４のいずれか１項に記載の情報提供装置。
6. 前記複数の人物は、車両内の空間にいる人物である、ことを特徴とする請求項１から５のいずれか１項に記載の情報提供装置。
7. 取得手段が、複数の人物を識別して、前記複数の人物のそれぞれの登録情報を取得する取得工程と、
   情報提供手段が、前記複数の人物に知覚可能に情報を出力する出力手段から出力させるように、所定の情報を前記出力手段に提供する情報提供工程と、
   選定手段が、前記所定の情報を選定する選定工程と、を有し、
   前記選定工程では、
   前記複数の人物の中に前記登録情報を取得できない人物がいる場合、前記登録情報を取得できない人物について入力手段を介して得られる入力情報に基づいて、前記所定の情報を選定し、
   前記登録情報を取得できない人物がいない場合、取得された前記登録情報に基づいて前記複数の人物の関係性を取得し、前記関係性に基づいて、前記所定の情報を選定する、ことを特徴とする情報提供装置の制御方法。

Images