JP6907912B2

JP6907912B2 - 情報処理装置

Info

Publication number: JP6907912B2
Application number: JP2017234552A
Authority: JP
Inventors: 千尋因幡
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-12-06
Filing date: 2017-12-06
Publication date: 2021-07-21
Anticipated expiration: 2037-12-06
Also published as: JP2019101933A; CN109885663A; CN109885663B; US20190171408A1; US10866781B2

Description

本発明は、ユーザプロファイルを生成する情報処理装置に関する。

ユーザの発話した音声を音声認識し、ユーザの発話の履歴情報を記憶しておき、その履歴情報に基づいて、ユーザが使ったことのない言語知識を含む音声が入力されたときに、その意味などを含む解説をユーザに提示する語学学習支援装置が知られている（例えば、特許文献１参照）。

特開２０１０−３２７６３号公報

ユーザの発話などに基づいてユーザの関心を収集し、サービス提供や広告配信のためのユーザプロファイルを生成することが求められている。

本発明はこうした状況に鑑みてなされたものであり、その目的は、より幅広いユーザの関心を反映したユーザプロファイルを生成することができる情報処理装置を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、キーワードを取得するキーワード取得部と、取得された前記キーワードの説明文の情報をデータベースから取得する第１取得部と、前記説明文を要約して要約文を生成する要約文生成部と、前記説明文から、前記要約文に含まれない要素を抽出する抽出部と、ユーザに対して、前記要約文に含まれない要素を出力してから前記要約文を出力する出力部と、前記ユーザの関心を示す入力に応じて前記ユーザのユーザプロファイルを生成するプロファイル生成部と、を備える。

この態様によると、キーワードの説明文から要約文を生成し、ユーザに対して、要約文に含まれない要素を出力してから要約文を出力し、ユーザの関心を示す入力に応じてユーザプロファイルを生成するので、ユーザの自発的な入力によって、より深いユーザの関心を反映したユーザプロファイルを生成できる。また、要約文に含まれない要素によるより広い話題にもとづいてユーザの関心を取得できるので、より幅広いユーザの関心を反映したユーザプロファイルを生成できる。

前記キーワード取得部は、前記ユーザの現在位置に関連する前記キーワードを取得してもよい。

前記ユーザは、車両の乗員であってもよい。前記情報処理装置は、前記車両の乗員の人数を取得する第２取得部をさらに備えてもよい。前記出力部が前記要約文に含まれない要素の出力を開始する条件は、前記第２取得部で取得された人数に応じて異なってもよい。

前記情報処理装置は、前記車両の乗員の会話頻度を取得する第３取得部をさらに備えてもよい。前記出力部は、取得された人数が２人以上の場合、取得された会話頻度が所定頻度より低下すると、前記要約文に含まれない要素の出力を開始してもよい。

前記出力部は、取得された人数が１人の場合、前記キーワードが取得されると、前記要約文に含まれない要素の出力を開始してもよい。

本発明によれば、より幅広いユーザの関心を反映したユーザプロファイルを生成することができる。

実施の形態に係る情報処理システムの構成を示すブロック図である。図１のサーバ装置における処理を示すフローチャートである。図１のサーバ装置における処理を示すフローチャートである。

図１は、実施の形態に係る情報処理システム１の構成を示すブロック図である。情報処理システム１は、車載装置１０と、サーバ装置１２とを備える。図１では、説明を明確化するために１台の車載装置１０を図示しているが、情報処理システム１は、複数の車載装置１０を備えることができる。情報処理システム１は、情報提供型のエージェントシステムと呼ぶこともできる。

車載装置１０は、自動車である車両に搭載されている。車載装置１０は、サーバ装置１２と無線通信を行う。無線通信の規格は特に限定されないが、例えば、３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）または５Ｇ（第５世代移動通信システム）を含む。車載装置１０は、図示しない基地局を介してサーバ装置１２と無線通信を行ってもよい。サーバ装置１２は、例えばデータセンターに設置され、車載装置１０から送信された情報を処理する情報処理装置として機能する。

車載装置１０は、通信部２０と、処理部２２と、カメラ２６と、マイク２８と、ＧＰＳ受信部３０と、スピーカ３２とを備える。

カメラ２６は、車両の車室内に設けられ、車室内の乗員の画像を撮影する。カメラ２６は、撮影した画像のデータを処理部２２に出力する。

マイク２８は、車両の車室内に設けられ、車室内の音声を取得する。マイク２８は、取得した音声のデータを処理部２２に出力する。

ＧＰＳ受信部３０は、ＧＰＳ衛星から信号を受信し、車両の現在位置を導出する。車両の現在位置は、車両の乗員であるユーザの現在位置と実質的に等しい。現在位置は、緯度と経度を含む。ＧＰＳ受信部３０は、ユーザの現在位置情報を処理部２２に出力する。処理部２２は、ユーザの現在位置情報を通信部２０に出力する。

処理部２２は、カメラ２６で撮影された車室内の画像を画像認識して、画像認識で得られた乗員の顔の数などに応じて、車両の乗員の人数を導出する。処理部２２は、導出した乗員の人数を通信部２０に出力する。

処理部２２は、マイク２８で取得された車室内の音声に基づいて、車両の乗員の会話頻度を導出する。また、処理部２２は、マイク２８で取得された車室内の音声に基づいて、乗員の発話を音声認識する。処理部２２は、導出した乗員の会話頻度および音声認識結果を通信部２０に出力する。

通信部２０は、サーバ装置１２と通信を行う。通信部２０は、乗員の人数、乗員の会話頻度、音声認識結果、および、ユーザの現在位置情報を、定期的にサーバ装置１２に送信する。これらの情報には、ユーザを識別するための情報が添付される。これらの情報を送信する頻度は、実験などにより適宜定めることができ、情報の種類毎に異なってもよい。

サーバ装置１２は、通信部４０と、処理部４２と、記憶部４４とを備える。処理部４２は、キーワード取得部５０と、第１取得部５２と、第２取得部５４と、第３取得部５６と、要約文生成部５８と、抽出部６０と、出力部６２と、受付部６４と、プロファイル生成部６６とを備える。サーバ装置１２は、ユーザ毎に以下の処理を行う。

通信部４０は、車載装置１０の通信部２０と通信を行う。通信部４０は、車載装置１０から、乗員の人数、乗員の会話頻度、音声認識結果、および、ユーザの現在位置情報を定期的に受信する。

キーワード取得部５０は、通信部４０で受信された音声認識結果に基づいて、乗員の発話に含まれるキーワードを取得する。また、キーワード取得部５０は、記憶部４４に記憶された地図情報に基づいて、通信部４０で受信されたユーザの現在位置に関連するキーワードを取得する。現在位置に関連するキーワードは、例えば、地名である。例えば、ユーザの現在位置が飛騨高山の「高山市」の緯度と経度である場合、キーワード取得部５０は、キーワードとして「高山市」を取得する。

第１取得部５２は、キーワード取得部５０で取得されたキーワードの説明文の情報を、インターネットを介して図示しないデータベースから取得する。このデータベースは、例えば、Ｗｉｋｉｐｅｄｉａ（登録商標）等のオンライン百科事典を含む。例えば、「高山市」の説明文は、「概要」、「地理」、「歴史」、「人口」、「施設」、「経済」などに関する様々な情報を含む。

要約文生成部５８は、第１取得部５２で取得された説明文を要約して要約文を生成する。つまり、要約文は説明文の要点を含む。要約文を生成する技術としては、周知の文章要約技術を用いることができる。例えば、「高山市」の説明文の要約文は、説明文の「概要」に記載された内容を含んでもよいし、「概要」以外に記載された内容を含んでもよい。

抽出部６０は、第１取得部５２で取得された説明文から、要約文に含まれない要素を抽出する。要約文に含まれない要素は、キーワードの説明文の要点ではないが、キーワードに関連する様々な情報を含む。そのため、要約文に含まれない要素は、うんちくと呼ぶこともできる。例えば、「高山市」の説明文において、要約文に含まれない要素は、「地理」、「歴史」、「人口」、「施設」、「経済」などに関する情報を含む。

出力部６２は、要約文に含まれない要素から文を生成する。文を生成する技術としては、周知の技術を用いることができる。例えば、所定のパターンの文に、要約文に含まれない要素を入れてもよい。出力部６２は、車載装置１０に対して、通信部４０を介して、要約文に含まれない要素を含む文のデータを出力してから、要約文のデータを出力する。つまり、出力部６２は、要約文に含まれない要素の出力が終了した後、最後に要約文を出力する。出力部６２は、要約文に含まれない要素を出力する場合、後述するユーザプロファイルに含まれるキーワードに関する要素を最後に出力する。車載装置１０において、処理部２２は、通信部２０で受信された要約文に含まれない要素の文のデータに基づいて、この文をスピーカ３２に音声で出力させてから、要約文のデータに基づいて、この要約文をスピーカ３２に音声で出力させる。これは、出力部６２が、ユーザに対して、要約文に含まれない要素を出力してから、要約文を出力することに相当する。

このように、車載装置１０は、キーワードに関して、核心を外したうんちくを最初に話す。つまり、車載装置１０は、ユーザの関心を探るために敢えてポイントを外した話をする。

第２取得部５４は、通信部４０で受信された車両の乗員の人数を取得する。第３取得部５６は、通信部４０で受信された車両の乗員の会話頻度を取得する。

出力部６２が要約文に含まれない要素の出力を開始する条件は、第２取得部５４で取得された人数に応じて異なる。出力部６２は、取得された人数が１人の場合、キーワードが取得され、要約文に含まれない要素が抽出されると、要約文に含まれない要素の出力を開始する。

出力部６２は、取得された人数が２人以上の場合、第３取得部５６で取得された会話頻度が所定頻度より低下すると、要約文に含まれない要素の出力を開始する。出力部６２は、取得された人数が２人以上の場合、取得された会話頻度が所定頻度以上の間、要約文に含まれない要素の出力を開始せず、キーワード取得部５０は、ユーザの発話に含まれるキーワードを取得し続ける。つまり、乗員同士の会話が多い間は要約文に含まれない要素が出力されず、乗員同士の会話が少なくなると、要約文に含まれない要素が出力される。所定頻度は、実験などにより適宜定めることができる。

受付部６４は、出力部６２が要約文に含まれない要素を出力している間および要約文を出力している間、通信部４０を介して、ユーザの関心を示す入力およびユーザの無関心を示す入力を受け付ける。ユーザの関心を示す入力は、「そこが知りたかった」、「あ」、「もう少し」などの音声入力であってもよいし、所定のボタン操作の入力であってもよい。ユーザの無関心を示す入力は、「もういい」、「それはいい」、「興味ない」などの音声入力であってもよいし、所定のボタン操作の入力であってもよい。このような音声入力は、通信部４０で受信された音声認識結果に含まれる。また、図示は省略するが、所定のボタン操作の入力は、車両のハンドルなどに設けられたボタンなどの操作部がユーザにより操作された場合に受け付けられる。

プロファイル生成部６６は、ユーザの関心を示す入力に応じてユーザのユーザプロファイルを生成し、生成されたユーザプロファイルを記憶部４４に記憶させる。具体的には、プロファイル生成部６６は、受付部６４がユーザの関心を示す入力を受け付けたタイミングに近いタイミングで出力部６２から出力されたキーワードをユーザプロファイルに追加する。例えば、出力部６２が「高山市の経済」に関する文を出力中、「飛騨牛」が出力された直後にユーザの関心を示す入力が受け付けられた場合、「飛騨牛」がユーザプロファイルに追加される。

キーワード取得部５０は、ユーザの関心を示す入力に応じたキーワードを新たに取得する。具体的には、キーワード取得部５０は、プロファイル生成部６６がユーザプロファイルに追加したキーワードを取得する。第１取得部５２、要約文生成部５８および抽出部６０は、新たに取得されたキーワードに基づいて前述の処理を行い、出力部６２は、新たに取得されたキーワードに基づいて、要約文に含まれない要素を出力してから、要約文を出力する。

また、受付部６４は、出力部６２が要約文に含まれない要素を出力している間、通信部４０を介して、関心事を含むユーザの質問の入力を受け付ける。ユーザの質問の入力は、ユーザの関心のある話題が出力されない場合に受け付けられることが想定される。例えば、ユーザの関心事が「歴史」である場合、ユーザの質問の入力は、「歴史を教えて」、「歴史は？」などの音声入力である。このような音声入力は、通信部４０で受信された音声認識結果に含まれる。

プロファイル生成部６６は、ユーザの質問に応じてユーザのユーザプロファイルを生成する。具体的には、プロファイル生成部６６は、ユーザの質問に含まれる関心事をユーザプロファイルに追加する。つまり、出力部６２から出力されていないキーワードがユーザプロファイルに追加される場合もある。キーワード取得部５０は、ユーザの質問に応じてキーワードを新たに取得する。具体的には、キーワード取得部５０は、ユーザの質問に含まれる関心事をキーワードとして取得する。

例えば、ユーザの質問が「歴史を教えて」である場合、プロファイル生成部６６は、関心事である「歴史」をユーザプロファイルに追加する。この場合、キーワード取得部５０は、キーワードとして「歴史」を新たに取得する。出力部６２は、「高山市」の「歴史」に関して、要約文に含まれない要素を出力してから、要約文を出力する。つまり、ここでも車載装置１０は、ユーザが関心のある情報に関して、核心を外したうんちくを最初に話す。

要約文に含まれない要素の出力中に、受付部６４がユーザの無関心を示す入力を受け付けた場合、出力部６２は、要約文に含まれない要素の出力を中止して、要約文を出力する。

要約文の出力中に受付部６４がユーザの関心を示す入力を受け付けなかった場合、キーワード取得部５０は、通信部４０で受信された音声認識結果に基づく乗員の発話に含まれるキーワード、または、通信部４０で受信されたユーザの現在位置に関連するキーワードを新たに取得する。これは、要約文に含まれない要素および要約文にユーザが関心を示さなかった状況に該当する。なお、他のキーワードが取得済みである場合には、キーワード取得部５０は、新たなキーワードを取得しなくてもよい。この場合、要約文生成部５８および抽出部６０は、取得済みのキーワードに基づいて前述の処理を行い、出力部６２は、取得済みのキーワードに基づいて、要約文に含まれない要素を出力してから、要約文を出力する。

処理部４２は、生成されたユーザプロファイルを用いて、このユーザの車両の車載装置１０に対して、サービス提供、広告配信、ＰＯＩ（Point Of Interest）リコメンドなどを行う。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

次に、以上の構成による情報処理システム１の全体的な動作を説明する。図２と図３は、図１のサーバ装置１２における処理を示すフローチャートである。この処理は、定期的に行われる。

図２において、第２取得部５４は、車両の乗員の人数を取得する（Ｓ１０）。乗員の人数が１人の場合（Ｓ１２のＹ）、キーワード取得部５０は、音声認識結果またはユーザの現在位置に基づいてキーワードを取得し（Ｓ１４）、図３のＳ２０に移行する。乗員の人数が２人以上の場合（Ｓ１２のＮ）、キーワード取得部５０は、音声認識結果またはユーザの現在位置に基づいてキーワードを取得し（Ｓ１６）、乗員の会話頻度が所定頻度より低い場合（Ｓ１８のＹ）、図３のＳ２０に移行する。会話頻度が所定頻度以上である場合（Ｓ１８のＮ）、Ｓ１６に戻る。

図３に移る。第１取得部５２は、取得されたキーワードの説明文の情報をデータベースから取得する（Ｓ２０）。要約文生成部５８は、取得された説明文を要約して要約文を生成する（Ｓ２２）。抽出部６０は、取得された説明文から、要約文に含まれない要素を抽出する（Ｓ２４）。出力部６２は、要約文に含まれない要素を出力する（Ｓ２６）。

ユーザの関心を示す入力が受け付けられた場合（Ｓ２８のＹ）、プロファイル生成部６６は、ユーザの関心を示す入力またはユーザの質問に応じてユーザのユーザプロファイルを生成し（Ｓ３０）、キーワード取得部５０は、ユーザの関心を示す入力またはユーザの質問に応じてキーワードを新たに取得し（Ｓ３２）、Ｓ２０に戻る。

ユーザの関心を示す入力が受け付けられない場合（Ｓ２８のＮ）、関心事を含むユーザの質問の入力が受け付けられると（Ｓ３４のＹ）、Ｓ３０に移行する。関心事を含むユーザの質問の入力が受け付けられない場合（Ｓ３４のＮ）、ユーザの無関心を示す入力が受け付けられれば（Ｓ３６のＹ）、後述するＳ４０に移行する。ユーザの無関心を示す入力が受け付けられず（Ｓ３６のＮ）、要約文に含まれない要素が全て出力されていなければ（Ｓ３８のＮ）、Ｓ２６に戻る。要約文に含まれない要素が全て出力された場合（Ｓ３８のＹ）、出力部６２は要約文を出力し（Ｓ４０）、ユーザの関心を示す入力が受け付けられれば（Ｓ４２のＹ）、Ｓ３０に移行する。ユーザの関心を示す入力が受け付けられない場合（Ｓ４２のＮ）、処理を終了する。このような処理が繰り返されることで、ユーザプロファイルは、ユーザが関心を示す複数のキーワードを含むようになる。

このように本実施の形態によれば、キーワードの説明文から要約文を生成し、ユーザに対して、要約文に含まれない要素を出力してから要約文を出力し、ユーザの関心を示す入力に応じてユーザプロファイルを生成するので、ユーザの自発的な入力によって、より深いユーザの関心を反映したユーザプロファイルを生成できる。また、要約文に含まれない要素によるより広い話題にもとづいてユーザの関心を取得できるので、より幅広いユーザの関心を反映したユーザプロファイルを生成できる。

また、ユーザの現在位置に関連するキーワードを取得するので、ユーザが関心を示す可能性のある要約文に含まれない要素および要約文を出力できる。

また、要約文に含まれない要素の出力を開始する条件は、取得された車両の乗員の人数に応じて異なるので、車両内の状況に応じて適切にユーザの関心を取得できる。取得された人数が２人以上の場合、取得された会話頻度が所定頻度より低下すると、要約文に含まれない要素の出力を開始するので、乗員同士の会話を妨げることなく、ユーザの関心を取得できる。取得された人数が１人の場合、キーワードが取得されると、要約文に含まれない要素の出力を開始するので、乗員と対話するようにしながらユーザの関心を取得できる。

また、ユーザの関心を示す入力またはユーザの質問に応じてキーワードを新たに取得するので、ユーザが自発的に情報を絞り込むことができ、さらに深く幅広いユーザの関心を反映したユーザプロファイルを生成できる。

さらに、出力部６２は、要約文に含まれない要素を出力する場合、ユーザプロファイルに含まれるキーワードに関する要素を最後に出力するので、ユーザの新たな関心を取得する可能性を高めることができる。

また、要約文に含まれない要素の出力中に、受付部６４がユーザの無関心を示す入力を受け付けた場合、出力部６２は、要約文に含まれない要素の出力を中止して、要約文を出力するので、要約文に含まれない要素にユーザの関心が無い場合にも適切に対応できる。

このように生成されたユーザプロファイルを用いることで、サービス提供、広告配信、ＰＯＩリコメンドなどをより効果的に行うことができる。

ここで、比較例について説明する。「好きな食べ物は？」、「スパゲティでは何味が好き？」などの予め設定された複数の質問をユーザに対して行い、それぞれの質問に対するユーザの回答を収集し、それらの回答からユーザの関心を特定し、ユーザプロファイルを生成する比較例の技術が知られている。このような技術は、タスク達成型エージェントとも呼ばれる。この比較例では、質問が予め設定されているため、話題が広がらず、幅広いユーザの関心を集めることが困難な可能性がある。これに対して本実施の形態では、前述のように、より幅広いユーザの関心を取得できる。また、比較例では、ユーザが複数の質問を煩わしく感じ、利用を中止する可能性もある。これに対して本実施の形態では、ユーザに対して質問が行われないので、質問によりユーザに煩わしさを感じさせないようにできる。

以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、上述したサーバ装置１２の処理部４２の処理を車載装置１０の処理部２２で行ってもよい。この場合、車載装置１０において、第１取得部５２は、キーワードの説明文の情報を、サーバ装置１２を介して取得する。この変形例では、情報処理システム１の構成の自由度を向上できる。

また、車載装置１０は、スマートフォンなどの携帯機器として構成されてもよい。この場合、車載装置１０は、ユーザに対して、要約文に含まれない要素を音声または文字で出力してから要約文を音声または文字で出力する。また、車載装置１０は、室内などに置かれる据え置き型の機器として構成されてもよい。この変形例では、車載装置１０に限らず、様々な機器を用いてユーザプロファイルを生成できる。

１…情報処理システム、１０…車載装置、１２…サーバ装置、５０…キーワード取得部、５２…第１取得部、５４…第２取得部、５６…第３取得部、５８…要約文生成部、６０…抽出部、６２…出力部、６４…受付部、６６…プロファイル生成部。

Claims

キーワードを取得するキーワード取得部と、
取得された前記キーワードの説明文の情報をデータベースから取得する第１取得部と、
前記説明文を要約して要約文を生成する要約文生成部と、
前記説明文から、前記要約文に含まれない要素を抽出する抽出部と、
ユーザに対して、前記要約文に含まれない要素を出力してから前記要約文を出力する出力部と、
前記ユーザの関心を示す入力に応じて前記ユーザのユーザプロファイルを生成するプロファイル生成部と、
を備えることを特徴とする情報処理装置。
前記キーワード取得部は、前記ユーザの現在位置に関連する前記キーワードを取得することを特徴とする請求項１に記載の情報処理装置。
前記ユーザは、車両の乗員であり、
前記車両の乗員の人数を取得する第２取得部をさらに備え、
前記出力部が前記要約文に含まれない要素の出力を開始する条件は、前記第２取得部で取得された人数に応じて異なることを特徴とする請求項１または２に記載の情報処理装置。
前記車両の乗員の会話頻度を取得する第３取得部をさらに備え、
前記出力部は、取得された人数が２人以上の場合、取得された会話頻度が所定頻度より低下すると、前記要約文に含まれない要素の出力を開始することを特徴とする請求項３に記載の情報処理装置。
前記出力部は、取得された人数が１人の場合、前記キーワードが取得されると、前記要約文に含まれない要素の出力を開始することを特徴とする請求項３または４に記載の情報処理装置。