JP6499343B1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】音声情報の効果を測定することができる情報処理装置、情報処理方法、および情報処理プログラムを提供すること。
【解決手段】実施形態に係る情報処理装置は、音声出力器から音声情報が出力された場合のユーザの振る舞いを検出する検出部と、検出部によって検出された振る舞いに基づいて音声情報がユーザに受容されたか否かを判定する判定部とを備える。
【選択図】図５

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

近年、インターネットなどのネットワークの飛躍的な普及に伴い、ネットワークを介した広告配信が盛んに行われている。かかる広告配信の一つの形態として、音声広告が知られている（例えば、特許文献１参照）。音声広告は、注意を引きやすく、他の作業をしながらでも情報が得られるため、視覚的効果を狙った広告よりも広告機会、広告効果の向上が期待されている。

特開２０１６−６１９９７号公報

しかしながら、音声広告は、画面に表示される動画広告、広告バナー、およびテキスト広告といった広告と異なり、広告を表示する画面が存在していないため、クリックによる広告効果の判断ができない。上記特許文献１に記載の技術では、広告配信の候補を推定して音声広告を出力することで広告効果を向上させることができるが、出力された音声広告の広告効果を判定するものではない。また、音声広告の広告効果に限らず、ユーザに提供される音声情報についても同様に、音声情報がユーザに提供された場合における音声情報の効果を測定することが望ましい。

本願は、上記に鑑みてなされたものであって、音声情報の効果を測定することができる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、音声出力器から音声情報が出力された場合のユーザの振る舞いを検出する検出部と、前記検出部によって検出された振る舞いに基づいて前記音声情報が前記ユーザに受容されたか否かを判定する判定部とを備える。

実施形態の一態様によれば、音声情報の効果を測定することができる情報処理装置、情報処理方法、および情報処理プログラムを提供することができる。

図１は、実施形態に係る情報処理システムの構成例を示す図である。 図２は、実施形態に係る音声情報効果判定処理の説明図である。 図３は、実施形態に係るスマートスピーカの構成例を示す図である。 図４は、実施形態に係る発話テーブルの一例を示す図である。 図５は、実施形態に係る情報提供装置の構成例を示す図である。 図６は、実施形態に係る発話テーブル記憶部に記憶される発話テーブルの一例を示す図である。 図７は、実施形態に係るコンテンツ記憶部に記憶されるコンテンツテーブルの一例を示す図である。 図８は、実施形態に係る音声広告記憶部に記憶される音声広告テーブルの一例を示す図である。 図９は、実施形態に係るユーザ情報記憶部に記憶されるユーザ情報テーブルの一例を示す図である。 図１０は、実施形態に係る情報処理システムによる発話制御処理の一例を示すフローチャート（その１）である。 図１１は、実施形態に係る情報処理システムによる発話制御処理の一例を示すフローチャート（その２）である。 図１２は、実施形態に係る情報処理システムによる出力制御処理の一例を示すフローチャートである。 図１３は、実施形態に係る情報処理システムによる音声情報効果判定処理の一例を示すフローチャートである。 図１４は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。

〔１．情報提供システム〕
図１は、実施形態に係る情報処理システムの構成例を示す図である。図１に示すように、実施形態に係る情報処理システム１００は、スマートスピーカ１と、情報提供装置２と、端末装置３と、複数の機器４_１〜４_ｎ（ｎは２以上の整数）と、複数のセンサ装置５_１〜５_ｍ（ｍは２以上の整数）とを備える。以下、機器４_１〜４_ｎの各々を区別せずに示す場合、機器４と記載し、センサ装置５_１〜５_ｍの各々を区別せずに示す場合、センサ装置５と記載する。

スマートスピーカ１、情報提供装置２、端末装置３、機器４、およびセンサ装置５は、ネットワーク６を介して無線または有線で互いに通信可能に接続される。ネットワーク６は、例えば、ＬＡＮ（Local Area Network）や、インターネットなどのＷＡＮ（Wide Area Network）であり、１以上のネットワークで構成される。

スマートスピーカ１、端末装置３、機器４、およびセンサ装置５は、ユーザＵ_１の周囲の領域ＡＲ_１に配置されている。領域ＡＲ_１は、例えばユーザＵ_１の部屋または家である。また、図示していないがユーザＵ_２〜Ｕ_ｋ（ｋは２以上の整数）の領域ＡＲ_２〜ＡＲ_ｋの各々にも、領域ＡＲ_１と同様に、スマートスピーカ１、端末装置３、機器４、およびセンサ装置５が配置されている。以下、ユーザＵ_１〜Ｕ_ｋの各々を区別せずに示す場合、ユーザＵと記載する。

スマートスピーカ１は、対話型の音声操作に対応するＡＩ（人工知能：Artificial Intelligence）アシスタント機能を利用可能なスピーカであり、ユーザＵは、スマートスピーカ１と対話することで様々な情報を取得することができる。例えば、スマートスピーカ１は、ユーザＵからの指示を示す入力情報を情報提供装置２へ送信し、入力情報応じた情報提供装置２からネットワーク６を介して提供されるコンテンツ（例えば、音楽、ニュース、交通情報、天候などの各種情報）を取得し、内蔵している音声出力器から取得したコンテンツを出力することができる。

また、スマートスピーカ１は、ユーザＵからの指示に従って機器４を制御することができる。例えば、機器４が照明機器である場合、スマートスピーカ１は、ユーザＵからの指示に従って照明機器である機器４のオンとオフを制御することができる。

情報提供装置２は、スマートスピーカ１から出力される情報に基づいて、ユーザＵからの指示に応じたコンテンツをスマートスピーカ１へネットワーク６を介して提供することができる。例えば、情報提供装置２は、スマートスピーカ１から送信されるユーザＵの発話情報に基づき、ユーザＵの指示を判定し、判定した指示に応じたコンテンツをスマートスピーカ１へ提供することができる。

端末装置３は、例えば、スマートフォン、デスクトップ型ＰＣ（Personal Computer）、ノート型ＰＣ、タブレット型端末、携帯電話機、ＰＤＡ（Personal Digital Assistant）等により実現される。かかる端末装置３は、例えば、情報通知アプリケーションを含む複数のアプリケーションを有しており、情報提供装置２から通知されるコンテンツを取得して表示したりする。端末装置３は、端末装置３の動作状態を示す情報やユーザＵによる端末装置３の操作履歴を示す情報をスマートスピーカ１や情報提供装置２へ通知することができる。

機器４は、ユーザＵの周囲に存在する機器である。例えば、機器４には、冷蔵庫、照明機器、洗濯機、エアーコンディショナー、テレビジョン受像機、食器洗浄機、食器乾燥機、電磁調理器、電子レンジといった種々の機器が含まれる。機器４は、機器４の動作状態を示す情報やユーザＵによる機器４の操作履歴を示す情報をスマートスピーカ１や情報提供装置２へ通知することができる。

センサ装置５は、ユーザＵの周囲に存在するセンサである。センサ装置５は、例えば、温度センサ、湿度センサ、照度センサ、気圧センサ、ドアの開閉を検出する開閉センサといったセンサを含む。また、センサ装置５は、ユーザＵを撮像する撮像部を含む。センサ装置５は、温度の計測値、湿度の計測値、照度の計測値、気圧の計測値、ドアの開閉情報、撮像画像の情報といったセンサ情報をスマートスピーカ１や情報提供装置２へ通知することができる。なお、センサ装置５は、スマートスピーカ１や機器４に内蔵されていてもよい。

実施形態に係る情報処理システム１００は、スマートスピーカ１の音声出力器から出力された音声情報がユーザＵに受容されたか否かを判定する音声情報効果判定処理を実行することができる。以下、音声情報効果判定処理について具体的に説明する。図２は、実施形態に係る音声情報効果判定処理の説明図であり、図２に示す例では、音声情報効果判定処理の一例である情報提供装置２によって音声情報効果判定処理が実行される。以下においては、音声広告を音声情報の一例に挙げて説明する。

情報提供装置２は、音声広告をスマートスピーカ１へネットワーク６を介して出力する（ステップＳ１）。これにより、音声広告がスマートスピーカ１から出力される。音声広告は、音声の広告コンテンツであり、例えば、人の声、音楽、効果音などが含まれる。

情報提供装置２は、音声広告がスマートスピーカ１から出力された場合のユーザＵの振る舞いを検出するための情報をスマートスピーカ１やセンサ装置５から取得し、取得した情報に基づいて、ユーザＵの振る舞いを検出する（ステップＳ２）。

ステップＳ２において、情報提供装置２は、スマートスピーカ１から音声広告の出力が開始された後にスマートスピーカ１、端末装置３、またはセンサ装置５で撮像される撮像画像に基づいて、ユーザＵの振る舞いを検出することができる。例えば、情報提供装置２は、ユーザＵの身体的な振る舞い（例えば、目線の動き、頭部の動き、手の動き、足の動き、口の動きなど）や、ユーザＵの機器４への振る舞い（例えば、機器４をオフ）を検出することができる。

また、情報提供装置２は、音声広告出力期間内にスマートスピーカ１に入力される音の情報に基づいて、ユーザＵの振る舞いを検出することができる。例えば、情報提供装置２は、スマートスピーカ１に入力される音の情報に基づいて、ユーザＵの発話による振る舞い、およびユーザＵが行っていた作業における振る舞いなどを検出することができる。

情報提供装置２は、検出したユーザＵの振る舞いに基づいて、音声広告がユーザＵに受容されたか否かを判定する（ステップＳ３）。例えば、情報提供装置２は、会話中のユーザＵが発話を止めたり、会話中のユーザＵが発話の音量を下げたりした場合、音声広告がユーザＵに受容されたと判定することができる。一方、情報提供装置２は、例えば、ユーザＵが音量を下げずに会話を継続した場合、音声広告がユーザＵに受容されていないと判定することができる。

また、情報提供装置２は、例えばユーザＵが音声広告に関する発話をしたり、ユーザＵが機器４をオフする行為をしたりした場合に、音声広告がユーザＵに受容されたと判定することができる。一方、情報提供装置２は、音声広告の広告対象の商品またはサービスに対しユーザＵが否定的な発話をした場合に、音声広告がユーザＵに受容されていないと判定することができる。

また、情報提供装置２は、例えば、広告出力期間においてユーザＵが一定時間以上視線をスマートスピーカ１に向けたり、移動中のユーザＵが広告出力期間において一定時間移動を停止したりした場合、音声広告がユーザＵに受容されたと判定することができる。一方、情報提供装置２は、例えば、移動中のユーザＵが音声広告の出力後にも移動を継続した場合、音声広告がユーザＵに受容されていないと判定することができる。

情報提供装置２は、音声広告がユーザＵに受容されたと判定すると、音声広告の広告効果を更新する（ステップＳ４）。例えば、情報提供装置２は、テキスト広告またはバナー広告のクリックに相当する広告効果を付加する。具体的には、情報提供装置２は、音声広告の出力回数に対する音声広告の受容回数の割合を演算し、演算した割合を音声広告効果とすることができる。これにより、音声広告においてＣＴＲ（Click Through Rate）に相当する広告効果指標を得ることができる。

このように、情報提供装置２は、音声広告による新たな広告効果を測定することができ、これにより、広告主に対して適切な広告効果指標を提供することが可能になる。

〔２．スマートスピーカ１の構成〕
次に、実施形態に係るスマートスピーカ１の構成について具体的に説明する。図３は、実施形態に係るスマートスピーカ１の構成例を示す図である。図３に示すように、スマートスピーカ１は、通信部１０と、音声出力器１１と、音声入力器１２と、撮像部１３と、記憶部１４と、制御部１５とを備える。

通信部１０は、ネットワーク６を介して情報提供装置２、端末装置３、機器４、およびセンサ装置５などの装置と通信可能な通信インターフェイスである。制御部１５は通信部１０を介して情報提供装置２、端末装置３、機器４、およびセンサ装置５と情報の送受信を行うことができる。なお、スマートスピーカ１は、通信部１０以外の通信部によって端末装置３、機器４、およびセンサ装置５と通信する構成であってもよい。

例えば、ネットワーク６がＬＡＮとＷＡＮで構成され、且つ通信部１０がＬＡＮに接続される場合、制御部１５は、ＬＡＮを介して端末装置３、機器４、およびセンサ装置５と情報の送受信を行い、ＬＡＮおよびＷＡＮを介して情報提供装置２と情報の送受信を行う。

音声出力器１１は、制御部１５から出力される電気信号に応じた振動を行うことで、電気信号に応じた音波をスマートスピーカ１の外部へ出力する。音声出力器１１は、例えば、振動板と、電気信号に応じて振動板を振動させる駆動機構とを備える。なお、図３に示す例では、一つの音声出力器１１のみ図示しているが、スマートスピーカ１には、音声出力器１１が複数設けられてもよい。

音声入力器１２は、マイクロフォンであり、外部から入力される音波を電気信号に変換し、変換した電気信号を制御部１５へ出力する。なお、図３に示す例では、一つの音声入力器１２のみ図示しているが、スマートスピーカ１には、音声入力器１２が複数設けられてもよい。

撮像部１３は、例えば、ＣＯＭＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有しており、スマートスピーカ１の周囲を撮像する。撮像部１３は、撮像結果である撮像情報を制御部１５へ出力する。撮像情報には、スマートスピーカ１の周囲の撮像画像の情報が含まれる。

記憶部１４は、スマートスピーカ１へのユーザＵの操作履歴２０、および自発的な発話を行うための発話テーブル２１を記憶する。

操作履歴２０は、スマートスピーカ１への操作内容と操作時刻とがユーザＵの操作毎に関連付けられた情報である。操作内容は、例えば、各種のコンテンツ（例えば、スケジュール、メール、ニュース、音楽、交通情報など）の音声出力器１１からの出力を開始する音声操作、各種のコンテンツの音声出力器１１からの出力を停止する音声操作などの種々の操作が含まれる。

図４は、実施形態に係る発話テーブル２１の一例を示す図である。図４に示す発話テーブル２１は、「コンテンツＩＤ」と、「発話内容」と、「モデル」とが互いに関連付けられた情報を含む。「コンテンツＩＤ」は、コンテンツに固有の識別情報である。

「発話内容」は、例えば、コンテンツの利用の可否の問い合わせを行うための発話情報である。例えば、「発話内容」は、コンテンツがニュースである場合、「今日のニュースはいかがですか？」、「ニュースが“Ｘ”件あります」などである。また、「発話内容」は、コンテンツがメールである場合、「メールが“Ｘ”通届いています」などであり、コンテンツがスケジュールである場合、「本日は、“Ｘ”件の予定があります」などである。なお、“Ｘ”の情報は、情報提供装置２から制御部１５が取得して発話内容に追加することができる。

また、「発話内容」は、コンテンツそのものであってもよい。この場合、発話テーブル２１には発話内容は設定されず、制御部１５がコンテンツＩＤに基づいて情報提供装置２からコンテンツを取得する。

「モデル」は、発話に対する過去のユーザＵの反応と発話時の過去のユーザＵに関するコンテキスト情報とに基づいて生成されるタイミング判定モデルであり、コンテンツ毎に異なる。例えば、タイミング判定モデルは、発話に対する過去のユーザＵの反応を目的変数とし、ユーザＵに関するコンテキストを説明変数とする回帰モデルである。目的変数は、教師データとも呼ばれ、説明変数は、素性または特徴量とも呼ばれる。タイミング判定モデルにおいて説明変数の数は多いほど精度が良くなるが、説明変数の数は一つであってもよい。

図３に示す制御部１５は、入力処理部３１と、情報出力部３２と、情報取得部３３と、出力処理部３４と、コンテキスト取得部３５と、タイミング決定部３６とを備える。入力処理部３１は、音声入力器１２から出力される電気信号からユーザＵの音声を認識する。

また、入力処理部３１は、撮像部１３から出力される撮像情報からユーザＵのジェスチャーを判定する。なお、入力処理部３１は、撮像部を含むセンサ装置５から撮像情報を取得し、取得した撮像情報に基づいて、ユーザＵのジェスチャーを判定することができる。

また、入力処理部３１は、撮像部１３から出力される撮像情報からユーザＵの口の動きを検出し、検出した口の動きからユーザＵの口パク（無音発声）の内容を判定することができる。すなわち、入力処理部３１は、撮像部１３から出力される撮像情報から読唇を行うことができる。入力処理部３１は、読唇の結果をユーザＵの発話情報とする。なお、入力処理部３１は、ユーザＵの音声が識別できる場合、読唇を行わない。

情報出力部３２は、ユーザＵがウェークアップワードを発話したと入力処理部３１によって認識された場合、ウェークアップワードに続くユーザＵの発話情報を情報提供装置２へ出力する。発話情報は、ユーザＵの音声情報そのものであっても、テキスト情報であってもよい。また、情報出力部３２は、入力処理部３１によって判定されたジェスチャーの情報であるジェスチャー情報を情報提供装置２へ出力する。なお、ウェークアップワードは、スマートスピーカ１に予め設定されたワードであるが、情報出力部３２は、ウェークアップワードの発話にかかわらずユーザＵの発話情報およびジェスチャー情報を情報提供装置２へ出力することもできる。

また、情報出力部３２は、例えば、情報提供装置２からコンテキスト情報を取得しない場合などにおいて、コンテキスト取得部３５で取得したコンテキスト情報を継続して繰り返し情報提供装置２へ出力することもできる。

また、情報出力部３２は、音声出力器１１からの音声広告の出力が開始されたときから予め設定された期間（以下、広告出力期間と記載する場合がある）において、音声入力器１２へ入力される音を含む音情報および撮像部１３から出力される撮像情報を含む撮像情報を情報提供装置２へ出力する。なお、予め設定された期間は、例えば、音声出力器１１からの音声広告の出力が開始されたときから開始し、音声広告の出力が停止または終了されたときに終了する期間、または、音声出力器１１からの音声広告の出力が開始されたときから開始し、音声広告の出力が停止または終了されてから一定期間後に終了する期間である。なお、情報出力部３２は、広告出力期間において、端末装置３の音声入力器またはセンサ装置５へ入力される音を含む音情報を端末装置３またはセンサ装置５から取得して情報提供装置２へ出力することもできる。

情報取得部３３は、情報提供装置２からコンテンツ毎のタイミング判定モデルを含むモデル情報を取得し、取得したタイミング判定モデル情報を発話テーブル２１に設定することができる。また、情報取得部３３は、情報提供装置２からコンテンツを取得する。出力処理部３４は、情報取得部３３によって取得されたコンテンツを電気信号へ変換して音声出力器１１へ出力する。これにより、スマートスピーカ１からコンテンツが音として出力される。

なお、出力処理部３４は、コンテンツを情報提供装置２から文字情報として取得した場合、文字情報を音声合成処理によって音声信号（電気信号）へ変換して音声出力器１１へ出力する。また、出力処理部３４は、コンテンツを情報提供装置２から音声情報として取得した場合、音声情報をデジタルアナログ変換によって音声信号（電気信号）へ変換して音声出力器１１へ出力する。

コンテキスト取得部３５は、ユーザＵに関するコンテキスト情報を取得するコンテンツ取得処理を実行する。コンテキスト取得部３５は、端末装置３、機器４、およびセンサ装置５から直接または情報提供装置２を介してコンテキスト情報を取得することができる。

具体的には、コンテキスト取得部３５は、ユーザＵの周囲の状況を示す周囲情報をコンテキスト情報の少なくとも一部として取得することができる。例えば、コンテキスト取得部３５は、ユーザＵの周囲に存在する１以上のセンサ装置５から出力されるセンサ情報から周囲情報を取得することができる。

センサ情報は、例えば、ユーザＵの周囲の明るさを示す照度情報、ユーザＵの周囲の気温を示す気温情報、およびユーザＵの周囲の湿度を示す湿度情報の少なくとも一つが含まれている。コンテキスト取得部３５は、照度情報、気温情報、および湿度情報を周囲情報として取得することができる。

また、コンテキスト取得部３５は、ユーザＵの周囲に存在する１以上の機器の状態を示す機器情報から周囲情報を取得することができる。ここで、１以上の機器とは、スマートスピーカ１、端末装置３、および機器４のうち１以上の機器である。機器情報は、例えば、機器のオン／オフといった機器の稼動状態を示す情報や、動作状態を示す情報である。

例えば、端末装置３の場合、動作状態を示す情報には、端末装置３で表示中のアプリケーションの種別や表示中のコンテンツの内容などが含まれる。また、機器がエアコンである場合、動作状態を示す情報には、エアコンの設定風量や設定温度などの情報が含まれる。

また、コンテキスト取得部３５は、ユーザＵの周囲に存在する１以上の機器への操作履歴を示す操作履歴情報から周囲情報を取得することができる。１以上の機器とは、スマートスピーカ１、端末装置３、および機器４のうち１以上の機器である。操作履歴情報には、例えば、機器への操作内容と操作時刻とが関連付けられた情報がユーザＵの操作毎に含まれる。コンテキスト取得部３５は、スマートスピーカ１の操作履歴情報を記憶部１４から取得することができる。

また、コンテキスト取得部３５は、例えば、ユーザＵの撮像情報を示す撮像情報を撮像部１３、端末装置３、機器４、またはセンサ装置５から取得することができる。コンテキスト取得部３５は、取得した撮像情報からユーザＵの状況を示す情報といったコンテキスト情報を取得することができる。

また、コンテキスト取得部３５は、例えば、音声入力器１２へ入力される音を含む音情報から、ユーザＵの会話の状態、ユーザＵの発話状態、ユーザＵの周囲の音（機器４の音を含む）などのコンテキスト情報を取得することができる。

タイミング決定部３６は、コンテキスト取得部３５によって取得されたコンテキスト情報に基づいて、音声出力器１１からの発話に対する過去のユーザＵの反応を考慮した発話のタイミングである発話タイミングを決定する。

例えば、タイミング決定部３６は、記憶部１４に記憶された発話テーブルに含まれるコンテンツ毎のタイミング判定モデルにコンテキスト取得部３５で取得されたコンテキスト情報を入力情報として入力してモデルを用いた演算を行う。タイミング決定部３６は、タイミング判定モデルの演算結果であるスコアが予め設定された閾値であるか否かを判定する。

タイミング決定部３６は、タイミング判定モデルの演算結果であるスコアが閾値以上であると判定した場合、発話テーブル２１において、スコアが閾値以上であるタイミング判定モデルに関連付けられた発話内容を出力するタイミングになったと判定する。また、タイミング決定部３６は、スコアが閾値以上であるタイミング判定モデルが同時に２以上ある場合、スコアが閾値以上であるタイミング判定モデルのうち最も高いスコアのタイミング判定モデルに関連付けられた発話内容を出力するタイミングになったと判定する。

なお、タイミング決定部３６は、タイミング判定モデルの演算結果であるスコアが閾値以上であると判定した場合でも、発話内容を出力するタイミングになったとは判定しないことができる。例えば、タイミング決定部３６は、スコアが閾値以上であるタイミング判定モデルに関連付けられた発話内容を前回出力してから予め設定した期間（以下、出力禁止期間と記載する）を経過していない場合、発話タイミングになったとは判定しないことができる。

また、タイミング決定部３６は、スコアが閾値以上であるタイミング判定モデルに関連付けられた発話内容を現時刻から予め設定された期間（以下、設定期間と記載する）前までの間に予め設定された回数（以下、出力上限回数と記載する）を超えた場合、発話タイミングになったとは判定しないことができる。

また、タイミング決定部３６は、タイミング判定モデルの演算結果であるスコアが閾値以上であると判定した場合でも、ユーザＵがスマートスピーカ１を操作中の場合や音声出力器１１からコンテンツや発話が出力中であれば、発話タイミングになったとは判定しない。この場合、タイミング決定部３６は、ユーザＵによるスマートスピーカ１の操作が終了した時点で、継続してスコアが閾値以上であるタイミング判定モデルがあれば、ユーザＵによるスマートスピーカ１の操作が終了してから一定期間後に、発話内容を出力するタイミングになったと判定することができる。

また、タイミング決定部３６は、ユーザＵによる音声操作に基づいて、上述した出力禁止期間、および出力上限回数をコンテンツ毎に発話テーブル２１に設定することができる。なお、コンテンツ毎に設定可能な情報は、出力禁止期間、および出力上限回数に限定されない。また、出力禁止期間、および出力上限回数といった情報はユーザＵの設定によらず予め発話テーブル２１に設定されていてもよい。

このように、タイミング決定部３６は、コンテキスト情報に基づいて、発話タイミングと、かかる発話タイミングで出力すると判定した発話内容（以下、出力対象発話内容と記載する場合がある）とを決定することができる。タイミング決定部３６は、発話タイミングと出力対象発話内容とを音声出力器１１からの発話に対する過去のユーザＵの反応を考慮して、発話タイミングと出力対象発話内容とを決定することから、発話タイミングをより適切に決定することができる。

例えば、ユーザＵが暗い場所に位置し、ユーザＵの周囲に収集車（例えば、ゴミ収集車）がいる状況で何度発話しても、発話に対するユーザＵの反応がないとする。この場合、タイミング判定モデルは、ユーザＵが暗い場所に位置し、かつ、ユーザＵの周囲に収集車がいることを示す場合に出力するスコアが閾値よりも小さくなるように生成される。そのため、タイミング決定部３６は、ユーザＵが暗い場所に位置し、かつ、ユーザＵの周囲に収集車がいることをコンテキスト情報が示す場合、発話タイミングでないと判定する。

また、食器洗浄機と電子レンジとが共に使用されている状態では、発話に対するユーザＵの反応がないとする。この場合、タイミング判定モデルは、食器洗浄機と電子レンジとが共に使用されている状態である場合に出力するスコアが閾値よりも小さくなるように生成される。そのため、タイミング決定部３６は、食器洗浄機と電子レンジとが共に使用されていることをコンテキスト情報が示す場合、発話タイミングでないと判定する。

また、ユーザＵが端末装置３を操作中（例えば、端末装置３でウェブページを閲覧中、または端末装置３で音楽を再生中）である場合に、発話に対するユーザＵの反応がないとする。この場合、タイミング判定モデルは、ユーザＵが端末装置３を操作中である場合に出力するスコアが閾値よりも小さくなるように生成される。そのため、タイミング決定部３６は、ユーザＵが端末装置３を操作中であることをコンテキスト情報が示す場合、発話タイミングでないと判定する。

また、例えば、発話が開始された後において、ユーザＵの会話が続く場合やユーザＵが「やめて」と発話した場合を不正解データとして、且つ発話時のコンテキスト情報を特徴量としてタイミング判定モデルが生成される。この場合、タイミング決定部３６は、ユーザＵがユーザＵの会話を続けるようなコンテキストやユーザＵが「やめて」と発話するようなコンテキストでは、発話タイミングでないと判定することができる。

このように、タイミング決定部３６は、現在のユーザＵに関するコンテキストが発話に適したコンテキストである場合に、発話タイミングであると決定することができる。また、タイミング判定モデルはコンテンツ毎に生成されているため、コンテンツ毎の適切な発話タイミングが決定される。例えば、朝の時間帯であれば、交通機関の運行状態に関するコンテンツやニュースのコンテンツにユーザＵが反応することが多い。そのため、交通機関の運行状態に関するコンテンツやニュースのコンテンツには、朝の時間帯が発話タイミングになりやすいタイミング判定モデルが生成される。

出力処理部３４は、タイミング決定部３６によって決定された発話タイミングで、タイミング決定部３６によって決定された出力対象発話内容を音声出力器１１から出力する。例えば、発話テーブル２１が図４に示す状態で、出力対象発話内容が「発話内容ＸＡ」である場合、出力処理部３４は、発話内容ＸＡに基づく電信信号を音声出力器１１へ出力することで、発話内容ＸＡが音声出力器１１から音声で出力される。

〔３．情報提供装置２の構成〕
次に、実施形態に係る情報提供装置２の構成について具体的に説明する。図５は、実施形態に係る情報提供装置２の構成例を示す図である。図５に示すように、情報提供装置２は、通信部４１と、記憶部４２と、制御部４３とを備える。

通信部４１は、ネットワーク６を介してスマートスピーカ１、端末装置３、機器４、およびセンサ装置５などの装置と通信可能な通信インターフェイスである。制御部４３は通信部４１を介して情報提供装置２、スマートスピーカ１、端末装置３、機器４、およびセンサ装置５と情報の送受信を行うことができる。

記憶部４２は、発話テーブル記憶部５１と、コンテンツ記憶部５２と、音声広告記憶部５３と、ユーザ情報記憶部５４と、コンテキスト記憶部５５と、出力態様判定情報記憶部５６とを有する。

発話テーブル記憶部５１は、スマートスピーカ１毎の発話テーブル２１の情報を記憶する。図６は、実施形態に係る発話テーブル記憶部５１に記憶される発話テーブルの一例を示す図である。図６に示す発話テーブル７１は、「コンテンツＩＤ」と、「発話内容」と、「モデル」とが互いに関連付けられた情報を「機器ＩＤ」毎に含む。

発話テーブル７１における「コンテンツＩＤ」、「発話内容」、および「モデル」は、発話テーブル２１における「コンテンツＩＤ」、「発話内容」、および「モデル」と同様の情報である。「機器ＩＤ」は、スマートスピーカ１毎に固有の識別情報である。

図５に示すコンテンツ記憶部５２は、スマートスピーカ１へ提供する各種のコンテンツを記憶する。図７は、実施形態に係るコンテンツ記憶部５２に記憶されるコンテンツテーブルの一例を示す図である。図７に示すコンテンツテーブル７２は、「コンテンツＩＤ」と、「コンテンツ」とが互いに関連付けられた情報である。

「コンテンツ」には、聴覚的出力用コンテンツと、視覚的出力用コンテンツとが含まれる。聴覚的出力用コンテンツは、音声で出力されるコンテンツであり、視覚的出力用コンテンツは文字、画像などといった音声以外の態様で出力されるコンテンツである。

図５に示す音声広告記憶部５３は、音声広告の情報などを記憶する。図８は、実施形態に係る音声広告記憶部５３に記憶される音声広告テーブルの一例を示す図である。図８に示す音声広告テーブル７３は、「広告ＩＤ」と、「音声広告」と、「出力回数」と、「受容回数」と、「受容率」とが互いに関連付けられた情報である。「広告ＩＤ」は、音声広告毎に固有の識別情報である。

「音声広告」は、音声広告のコンテンツであり、例えば、スマートスピーカ１の音声出力器１１または端末装置３の音声出力器から出力される。なお、音声広告テーブル７３の「音声広告」は、音声広告のコンテンツそのものであるが、音声広告のコンテンツの格納場所を示す情報であってもよい。

「出力回数」は、音声広告がユーザＵに提供された回数を示す情報であり、例えば、音声広告がスマートスピーカ１や端末装置３へ出力される度に制御部４３によってインクリメントされる。「受容回数」は、音声広告がユーザＵに受容された回数であり、例えば、音声広告がユーザＵに受容される度に制御部４３によってインクリメントされる。「受容率」は、出力回数に対する受容回数の割合であり、例えば、制御部４３によって演算される。

例えば、図８に示す音声広告テーブル７３において、広告ＩＤ「Ａ１０１」の音声広告は、出力回数が２９８１７回で、受容回数が８２７回で、受容率が０．０２７８であることを示している。また、広告ＩＤ「Ａ１０２」の音声広告は、出力回数が８３７２回で、受容回数が３５２回で、受容率が０．０４２０であることを示している。

図５に示すユーザ情報記憶部５４は、ユーザＵの情報を記憶する。図９は、実施形態に係るユーザ情報記憶部５４に記憶されるユーザ情報テーブルの一例を示す図である。図９に示すユーザ情報テーブル７４は、「ユーザＩＤ」と、「ユーザ属性」と、「機器ＩＤ」と、「機器アドレス」とが互いに関連付けられた情報である。

「ユーザＩＤ」は、ユーザＵ毎に固有の識別情報である。「ユーザ属性」は、ユーザＵの属性を示す情報である。ユーザＵの属性は、例えば、性別、および年齢の他、住所、職業などのデモグラフィック属性であるが、ユーザＵの嗜好などを示すサイコグラフィック属性を含んでもよい。「機器ＩＤ」は、ユーザＵが所有するスマートスピーカ１に固有の識別情報、およびユーザＵが所有する端末装置３に固有の識別情報を含む。「機器アドレス」は、ユーザＵが所有するスマートスピーカ１または端末装置３のネットワーク６上のアドレスである。

出力態様判定情報記憶部５６は、スマートスピーカ１からコンテンツの出力要求があった場合に、出力要求の対象となるコンテンツの出力態様を決定するための出力態様判定情報を含む。出力態様には、上述したように、コンテンツの出力種別、およびコンテンツの出力先の少なくとも一つが含まれる。

出力態様判定情報は、例えば、ユーザＵに関するコンテキストと各出力態様との関係を規定する情報であり、モデルまたはテーブルを含む。出力態様判定情報に含まれるテーブルは、ユーザＵに関するコンテキストと各出力態様との関係を規定するテーブルである。また、出力態様判定情報に含まれるモデルは、学習部６４による学習によって生成されるモデルである。

図５に示す制御部４３は、情報取得部６１と、情報出力部６２と、コンテキスト取得部６３と、学習部６４と、出力態様決定部６５と、検出部６６と、判定部６７と、広告効果更新部６８とを備える。

情報取得部６１は、スマートスピーカ１から送信される情報を取得する。例えば、情報取得部６１は、スマートスピーカ１からユーザＵの指示を示す入力情報（例えば、発話情報、ジェスチャーによる操作内容を示す情報）を取得することができる。また、情報取得部６１は、例えば、ユーザＵの撮像画像を示す撮像情報をスマートスピーカ１、端末装置３、機器４、またはセンサ装置５から取得することができる。

また、情報取得部６１は、ユーザＵの周囲に存在する１以上の機器（例えば、スマートスピーカ１、端末装置３、機器４など）への操作履歴を示す操作履歴情報をスマートスピーカ１、端末装置３、または機器４から取得することができる。

情報出力部６２は、出力態様決定部６５によって決定される出力態様に基づいて、ユーザＵの入力情報に応じたコンテンツ（聴覚的出力用コンテンツ）をコンテンツ記憶部５２から取得する。例えば、情報出力部６２は、出力態様決定部６５によって決定される出力種別が聴覚的出力である場合、ユーザＵの入力情報に応じたコンテンツであって音声のコンテンツをコンテンツ記憶部５２から取得する。

また、情報出力部６２は、出力態様決定部６５によって決定される出力種別が視覚的出力である場合、ユーザＵの入力情報に応じたコンテンツであって文字または画像のコンテンツ（視覚的出力用コンテンツ）をコンテンツ記憶部５２のコンテンツテーブル７２から取得する。また、情報出力部６２は、出力態様決定部６５によって決定される出力種別が聴覚的出力および視覚的出力である場合、ユーザＵの入力情報に応じたコンテンツであって音声および文字（または画像）を含むコンテンツをコンテンツ記憶部５２のコンテンツテーブル７２から取得する。

情報出力部６２は、出力態様決定部６５によって決定される出力態様に基づいて、記憶部４２から取得したコンテンツをスマートスピーカ１および端末装置３の少なくとも一つに出力する。情報出力部６２は、出力態様決定部６５によって決定される出力先の機器アドレスを記憶部４２のユーザ情報テーブル７４から取得し、取得した機器アドレス宛にコンテンツを送信する。

例えば、情報出力部６２は、出力態様決定部６５によって決定される出力先がスマートスピーカ１である場合、記憶部４２から取得したコンテンツをスマートスピーカ１の機器アドレス宛へ送信する。また、情報出力部６２は、出力態様決定部６５によって決定される出力先が端末装置３である場合、記憶部４２から取得したコンテンツを端末装置３の機器アドレス宛へ送信する。

コンテキスト取得部６３は、ユーザＵに関するコンテキスト情報を取得するコンテンツ取得処理を実行する。コンテキスト取得部６３は、情報取得部６１で取得した情報からコンテキスト情報を取得することができる。コンテキスト取得部６３によって取得されるコンテキスト情報は、コンテキスト取得部３５によって取得されるコンテキスト情報と同じであるが、コンテキスト取得部３５によって取得されるコンテキスト情報と一部または全部が異なる情報であってもよい。

なお、コンテキスト取得部６３が取得するコンテキスト情報には、ユーザＵの指示の種別を示す入力種別情報が含まれる。入力種別情報は、例えば、ユーザＵの指示が音声、ジェスチャー、および口の動きのいずれであるかを示す情報である。なお、コンテキスト取得部６３は、スマートスピーカ１、端末装置３、機器４、またはセンサ装置５からユーザＵの撮像画像が情報提供装置２へ送信される場合、ユーザＵの撮像画像からユーザＵのジェスチャーや口の動きを判定することで、入力種別情報を取得することもできる。

学習部６４は、コンテキスト取得部６３によって取得されるユーザＵ毎のコンテキスト情報に基づいて、発話テーブル７１のタイミング判定モデルをユーザＵ毎且つコンテンツ毎に生成することができる。かかるタイミング判定モデルは、上述したように、発話に対する過去のユーザＵの反応と発話時の過去のユーザＵに関するコンテキスト情報とに基づいて生成されるモデルである。

学習部６４は、スマートスピーカ１からの自発的な発話を開始してから予め設定された期間においてコンテキスト情報に含まれるユーザＵの動作またはユーザＵの発話がスマートスピーカ１からの自発的な発話に対して肯定的な反応であるか否かを教師データとする。

例えば、学習部６４は、スマートスピーカ１の自発的発話に対するユーザＵの発話が肯定的である場合、スマートスピーカ１の自発的発話に対して肯定的な反応であると判定する。例えば、学習部６４は、「今日のニュースはいかがですか？」などの自発的発話に対して、ユーザＵの発話が例えば「よろしく」、「うん」などである場合、肯定的な反応であると判定することができる。

また、学習部６４は、スマートスピーカ１の自発的発話に対するユーザＵの発話がない場合、またはスマートスピーカ１の自発的発話に対するユーザＵの発話が否定的である場合、スマートスピーカ１の自発的発話に対して肯定的な反応ではないと判定する。例えば、学習部６４は、「今日のニュースはいかがですか？」などの自発的発話に対して、ユーザＵの発話がない場合、またはユーザＵの発話が例えば「いらない」、「やめて」などである場合、肯定的な反応ではないと判定することができる。

なお、自発的発話に対するユーザＵの反応が肯定的であるか否かは、上述した例に限定されない。例えば、学習部６４は、ユーザＵが頷いた場合に、自発的発話に対して肯定的な反応であると判定することができる。また、学習部６４は、ユーザＵがスマートスピーカ１から遠ざかった場合に、自発的発話に対して肯定的な反応ではないと判定することができる。

学習部６４は、上述のように自発的発話に対して肯定的な反応であるか否かを教師データとし、自発的発話を開始してから予め設定された期間においてコンテキスト情報に含まれる１以上の情報を特徴量として機械学習を行ってタイミング判定モデルを生成および更新する。

なお、タイミング判定モデルは、上述した例に限定されるものではなく、例えば、ＳＶＭ（Support Vector Machine）やその他の機械学習法を用いて生成されるモデルであってもよい。また、タイミング判定モデルの生成は、深層学習（ディープラーニング）の技術を用いて行われてもよい。例えば、タイミング判定モデルの生成は、ＤＮＮ（Deep Neural Network）やＲＮＮ（Recurrent Neural Network）やＣＮＮ（Convolutional Neural Network）等の種々のディープラーニングの技術を適宜用いて行われてもよい。

学習部６４は、生成したタイミング判定モデルを発話テーブル７１に設定する。また、学習部６４は、発話テーブル７１に設定されたタイミング判定モデルを、新たに取得される発話に対するユーザＵの反応とコンテキスト情報とに基づいてタイミング判定モデルを更新することができる。例えば、学習部６４は、情報提供装置２の処理負荷が少ない時間帯（例えば、深夜）などにタイミング判定モデルを更新することができる。

また、学習部６４は、複数のユーザＵに共通のタイミング判定モデル（以下、共通判定モデルと記載する場合がある）をコンテンツ毎または特定のコンテンツについて生成することができる。この場合、学習部６４は、発話に対する過去の複数のユーザＵの反応と発話時の過去の複数のユーザＵに関するコンテキスト情報とに基づいて、共通判定モデルを生成することができる。

また、学習部６４は、共通判定モデルをコンテンツ毎に生成した後、かかる共通判定モデルをベースにして新たに取得される発話に対する各ユーザＵの反応とコンテキスト情報とに基づいて、各ユーザＵに固有のタイミング判定モデルを生成することもできる。

また、学習部６４は、複数のコンテンツに共通かつ複数のユーザＵに共通のタイミング判定モデルを生成することもできる。この場合、学習部６４は、任意の発話に対する過去の複数のユーザＵの反応と任意の発話時の過去の複数のユーザＵに関するコンテキスト情報とに基づいて、複数のユーザＵに共通のタイミング判定モデルを生成することができる。

また、学習部６４は、コンテンツに対する過去のユーザＵの反応と過去のユーザＵに関するコンテキスト情報とに基づいて出力態様毎に出力態様判定モデルを生成することができる。例えば、ユーザＵの反応が否定的な反応であるか否かまたは肯定的な反応であるか否かを教師データとし、ユーザＵの反応時のコンテキスト情報を特徴量として機械学習を行うことができる。

否定的な反応は、例えば、スマートスピーカ１からコンテンツが音声として出力された場合におけるユーザＵの否定的な発話（例えば、「いらない」や「やめて」など）である。また、否定的な反応は、例えば、端末装置３からコンテンツが文字または画像として出力された場合におけるユーザＵの端末装置３に対する非操作である。

また、肯定的な反応は、例えば、スマートスピーカ１からコンテンツが音声として出力された場合におけるユーザＵの否定的な発話がない状態である。肯定的な反応は、例えば、端末装置３からコンテンツが文字または画像として出力された場合における端末装置３に対する操作である。

出力態様決定部６５は、コンテンツの出力要求があった場合、コンテキスト取得部６３によって取得されたコンテキスト情報に基づいて、ユーザＵに提供されるコンテンツの出力態様を決定する。出力態様には出力種別および出力先が含まれるが、出力態様決定部６５は、出力種別および出力先の一方のみを決定することもできる。出力態様決定部６５による出力態様の決定は、出力態様判定情報記憶部５６に記憶された上述の出力態様判定情報を用いて行われる。

出力態様決定部６５は、コンテキスト情報に含まれるユーザＵの状況を示す状況情報に基づいて、出力態様を決定することができる。例えば、出力態様決定部６５は、ユーザＵが移動中である場合、出力種別を聴覚的出力とし且つ出力先をスマートスピーカ１とする態様を、コンテンツの出力態様として決定することができる。これにより、ユーザＵは移動しながら端末装置３の画面を見ることなくコンテンツを把握することができる。

また、出力態様決定部６５は、スマートスピーカ１および端末装置３のうちユーザＵの現在位置に近い機器を出力先とすることができ、これにより、ユーザＵによるコンテンツの把握を容易にすることができる。

また、出力態様決定部６５は、ユーザＵが会話中である場合、出力種別を視覚的出力とし且つ出力先を端末装置３とする態様を、コンテンツの出力態様として決定することができる。これにより、ユーザＵが会話を中断することなくコンテンツを把握することができる。

また、出力態様決定部６５は、コンテキスト情報に含まれるユーザＵの周囲の状況を示す周囲情報に基づいて、出力態様を決定することができる。例えば、出力態様決定部６５は、ユーザＵの周囲に他人が存在する場合に、出力種別を視覚的出力とし且つ出力先を端末装置３とする態様を、コンテンツの出力態様として決定することができる。これにより、例えば、コンテンツがユーザＵのスケジュールやユーザＵへのメールである場合に、スマートスピーカ１からコンテンツで音声出力されないため、ユーザＵのスケジュールやメールを他人に知られることを防止することができる。

出力態様決定部６５は、ユーザＵの周囲に存在する他人が寝ている場合に、出力種別を視覚的出力とし且つ出力先を端末装置３とする態様を、コンテンツの出力態様として決定することができる。これにより、例えば、ユーザＵの周囲で寝ている他人をコンテンツの出力によって起こしてしまうといった事態を回避することができる。

また、出力態様決定部６５は、ユーザＵの周囲の音が大きい場合に、出力種別を視覚的出力とし且つ出力先を端末装置３とする態様を、コンテンツの出力態様として決定することができる。これにより、ユーザＵの周囲の騒音や機器４の発する音でコンテンツが把握できなくなるといった事態を回避することができる。

また、出力態様決定部６５は、ユーザＵの周囲に他人が存在しない場合や、ユーザＵの周囲の音が小さい場合、出力種別を聴覚的出力とし且つ出力先をスマートスピーカ１とする態様を、コンテンツの出力態様として決定することができる。これにより、ユーザＵは端末装置３の画面を見ることなく、コンテンツを把握することができる。

また、出力態様決定部６５は、スマートスピーカ１への入力種別がジェスチャーまたは口の動きである場合、出力種別を視覚的出力とし且つ出力先を端末装置３とする態様を、コンテンツの出力態様として決定することができる。また、出力態様決定部６５は、スマートスピーカ１への発話（有音発話）である場合、出力種別を聴覚的出力とし且つ出力先をスマートスピーカ１とする態様を、コンテンツの出力態様として決定することができる。

これにより、ユーザＵは、所望の出力態様に応じた入力種別でスマートスピーカ１へ入力することができ、ユーザＵは、スマートスピーカ１または端末装置３から所望の出力態様でコンテンツを確認することができる。出力態様決定部６５が出力態様判定モデルに基づいて入力種別に応じた出力態様を決定する場合、出力態様判定モデルは、例えば、入力種別を特徴量としての重みを大きくしたり、特徴量を入力種別のみとしたりすることで、出力態様決定部６５は、入力種別に応じた出力態様を決定することができる。なお、出力態様決定部６５は、入力種別と出力態様とが入力種別毎に対応付けられた出力態様判定テーブルに基づいて、入力種別に応じた出力態様を決定することもできる。

また、出力態様決定部６５は、出力態様判定情報として出力態様毎の出力態様判定モデルを含む場合、出力態様毎の出力態様判定モデルにコンテキスト情報を入力する。出力態様決定部６５は、出力態様毎の出力態様判定モデルの出力に基づいて、コンテンツの出力態様を決定する。

例えば、ユーザＵの反応が否定的な反応であるか否かを教師データとして出力態様判定モデルが生成される場合、出力態様決定部６５は、出力するスコアが最も低い出力態様判定モデルに対応する出力態様を、コンテンツの出力態様として決定することができる。また、ユーザＵの反応が肯定的な反応であるか否かを教師データとして出力態様判定モデルが生成される場合、出力態様決定部６５は、出力するスコアが最も高い出力態様判定モデルに対応する出力態様を、コンテンツの出力態様として決定することができる。

このように、出力態様決定部６５は、ユーザＵの状況やユーザＵの周囲の状況に応じてコンテンツの出力態様を決定することができるため、ユーザＵへのコンテンツの提供を適切に行うことができる。

検出部６６は、スマートスピーカ１の音声出力器１１または端末装置３の音声出力器（図示せず）から音声広告が出力された場合のユーザＵの振る舞いを検出する。検出部６６は、情報取得部６１によって取得される撮像情報を画像解析することで、音声広告が出力された場合のユーザＵの振る舞いを検出することができる。

例えば、検出部６６は、情報取得部６１によって取得される撮像情報に基づいて、ユーザＵの目線の動き、ユーザＵの頭部の動き、ユーザＵの口の動き、ユーザＵの手の動き、およびユーザＵの足の動きのうち少なくとも一つの身体的振る舞いをユーザＵの振る舞いとして検出することができる。

また、検出部６６は、情報取得部６１によって取得される撮像情報に基づいて、ユーザＵが行っている作業の状態を検出することができる。例えば、検出部６６は、ユーザＵが食器洗い、ミシンでの縫製、および料理といった作業を中断したか否かを検出することができる。

また、検出部６６は、情報取得部６１によって取得される音情報を音響解析することで、音声広告が出力された場合のユーザＵの振る舞いを検出することができる。例えば、検出部６６は、音情報に基づいて、ユーザＵの会話における振る舞い、ユーザＵによるスマートスピーカ１への発話による問いかけ、ユーザＵが行っていた作業における振る舞い、およびユーザＵの機器４への振る舞いなどを検出することができる。

具体的には、検出部６６は、音情報に基づいて、会話中のユーザＵが発話を止める、および会話中のユーザＵが発話の音量を下げるといった振る舞いを検出することができる。また、検出部６６は、ユーザＵが情報を検索するための発話、およびユーザＵが情報を確認するための発話といった振る舞いを検出することができる。

また、検出部６６は、音情報に基づいて、食器洗いや料理といった作業をユーザＵが中断したか否かを検出することができる。例えば、検出部６６は、水道の蛇口から水が吐出する音が消えた場合や食器を洗う音が消えた場合、食器洗いを中断したと判定することができる。

また、ユーザＵが機器４をオフすることで機器４から出力される音である機器音が停止するため、検出部６６は、音情報に基づいて、ユーザＵが機器４をオフする振る舞いを行ったことを検出することができる。検出部６６が音情報に基づいてオフを検出する機器４は、例えば、電子レンジ、洗濯機、食器洗浄機、ミシン、テレビジョン受像機、ラジオ受信器などの比較的大きな音を発する機器である。

また、検出部６６は、情報取得部６１によって取得された操作履歴情報に基づいて、スマートスピーカ１、端末装置３、または機器４へのユーザＵの振る舞いを検出することができる。例えば、検出部６６は、操作履歴情報に基づいて、ユーザＵが機器をオフしたりオンしたりする振る舞いおよびユーザＵが情報を検索する振る舞いなどを検出することができる。

判定部６７は、検出部６６によって検出されたユーザＵの振る舞いに基づいて音声広告がユーザＵに受容されたか否かを判定する。例えば、判定部６７は、検出部６６によって検出されたユーザＵの身体的な振る舞いが特定の振る舞いである場合に、音声広告がユーザＵに受容されたと判定する。

特定の振る舞いは、例えば、広告出力期間においてユーザＵが一定時間以上視線をスマートスピーカ１に向ける、音声広告の出力開始時に移動中のユーザＵが広告出力期間において一定時間以上移動を停止する、および広告出力期間においてユーザＵが頷くなどといった振る舞いである。また、特定の振る舞いは、音声広告の出力開始前に継続的に手が動いていたユーザＵが広告出力期間において一定時間以上手を止める、およびユーザＵが特定のジェスチャーをしたなどといった振る舞いである。

また、判定部６７は、検出部６６が音情報に基づいて検出したユーザＵの振る舞いが特定の振る舞いである場合に、音声広告がユーザＵに受容されたと判定する。特定の振る舞いは、例えば、会話中のユーザＵが発話を止める、会話中のユーザＵが発話の音量を下げる、ユーザＵが音声広告に関する発話をする、ユーザＵが作業を中断する、およびユーザＵが機器をオフするなどといった振る舞いである。なお、ユーザＵによる音声広告に関する発話は、例えば、「それで？」、「続きは？」などである。

また、判定部６７は、検出部６６が操作履歴情報に基づいて検出したユーザＵの振る舞いが特定の振る舞いである場合に、音声広告がユーザＵに受容されたと判定する。特定の振る舞いは、例えば、ユーザＵが音声広告の広告対象の商品またはサービスに関する検索をする、およびユーザＵが機器をオフするなどといった振る舞いである。

判定部６７は、ユーザＵの振る舞いが否定的な振る舞いである場合に、音声広告がユーザＵに受容されていないと判定することができる。否定的な振る舞いは、例えば、ユーザＵが否定的な発話をする、およびユーザＵが否定的な身体的振る舞いをするなどといった振る舞いである。

例えば、判定部６７は、ユーザＵが「やめて」、「聞きたくない」、および「嫌い」といった否定的な発話をした場合に、ユーザＵが否定的な振る舞いをしたと判定することができる。また、例えば、判定部６７は、ユーザＵが耳を手で塞いだ場合に、ユーザＵが否定的な振る舞いをしたと判定することができる。

なお、判定部６７は、ユーザＵの振る舞いが特定の振る舞いでないと判定した場合、音声広告がユーザＵに受容されていないと判定することもできる。これにより、判定部６７はユーザＵが否定的な振る舞いをしたか否かを判定しなくてもよく、処理負荷が軽減される。

また、判定部６７は、ユーザＵの振る舞いが特定の振る舞いでも否定的な振る舞いでもないと判定した場合、ユーザＵによる音声広告の非受容度が低いと判定し、ユーザＵの振る舞いが否定的な振る舞いである場合、ユーザＵによる音声広告の非受容度が高いと判定することもできる。

また、判定部６７は、ユーザＵの振る舞いが特定の振る舞いである場合に、音声広告がユーザＵに受容されたと判定する処理を行わないこともできる。例えば、判定部６７は、ユーザＵの振る舞いが否定的な振る舞いである場合に、音声広告がユーザＵに受容されていないと判定し、ユーザＵの振る舞いが否定的な振る舞いではない場合に、音声広告がユーザＵに受容されていると判定することができる。

上述した特定の振る舞いおよび否定的な振る舞いは、ユーザＵの属性に応じて設定される。ユーザＵの属性は、例えば、性別、年齢、住所、および職業の少なくとも一つを含む。例えば、判定部６７は、ユーザＵが子供である場合、ユーザＵが飛び跳ねる、およびユーザＵが踊り出すといった振る舞いをした場合、音声広告がユーザＵに受容されたと判定する。

なお、判定部６７は、ユーザＵに受容されたと判定する基準とする特定の振る舞いを音声広告の時間的長さや種類に応じて変更することもできる。また、判定部６７は、一つの音声広告を出力している期間（例えば、３０秒）における所定期間（例えば、５秒）毎に、音声広告がユーザＵに受容されているか否かを判定することもできる。

広告効果更新部６８は、音声広告がユーザＵに受容されたと判定すると、音声広告テーブル７３において音声広告の受容回数を更新する。これにより、テキスト広告またはバナー広告のクリックに相当する広告効果を音声広告に対して得ることができる。そして、広告効果更新部６８は、音声広告の出力回数に対する音声広告の受容回数の割合である受容率を演算し、演算した受容率を音声広告効果として音声広告テーブル７３に設定することができる。これにより、音声広告においてＣＴＲに相当する広告効果指標を得ることができる。

また、広告効果更新部６８は、音声広告のコンバージョン回数を外部装置から取得することができる。音声広告のコンバージョン回数とは、商品やサービスの購入、サンプルの申し込み、およびパンフレットの申し込みといった音声広告の目的を達成した回数である。広告効果更新部６８は、音声広告の受容回数に対する音声広告のコンバージョン回数の割合であるコンバージョン率を演算し、演算したコンバージョン率を音声広告効果とすることができる。これにより、音声広告においてＣＶＲ（Conversion Rate）に相当する広告効果指標を得ることができる。

また、判定部６７によって非受容度が判定された場合、広告効果更新部６８は、音声広告の出力回数に対する音声広告の非受容度毎の非受容回数の割合を演算することができる。この場合、広告効果更新部６８は、例えば、非受容度が２の非受容回数を音声広告の受容回数から減算し、減算結果を音声広告の受容回数とすることもできる。

〔４．情報処理システム１００の処理フロー〕
次に、実施形態に係る情報処理システム１００による発話制御処理の手順について説明する。図１０および図１１は、実施形態に係る情報処理システム１００による発話制御処理の一例を示すフローチャートである。

まず、スマートスピーカ１の発話制御処理について説明する。図１０に示すように、スマートスピーカ１の制御部１５は、コンテンツ出力処理中か否かを判定する（ステップＳ１０）。制御部１５は、ステップＳ１０の処理において、例えば、制御部１５がユーザＵからコンテンツの出力要求を受け付けてから出力要求に対応するコンテンツの出力が完了するまでの間をコンテンツ出力処理中として扱う。

制御部１５は、コンテンツ出力中ではないと判定した場合（ステップＳ１０：Ｎｏ）、発話処理中か否かを判定する（ステップＳ１１）。制御部１５は、ステップＳ１１の処理において、例えば、音声入力器１２からの発話の出力を開始してから発話に対するユーザＵの要求を受け可能な期間が終了するまでの期間を発話処理中として扱う。

制御部１５は、発話処理中ではないと判定した場合（ステップＳ１１：Ｎｏ）、ユーザＵに関するコンテキスト情報を取得し（ステップＳ１２）、取得したコンテキスト情報を発話テーブル２１に含まれる各タイミング判定モデルに入力する（ステップＳ１３）。

つづいて、制御部１５は、予め設定された閾値以上のスコアを出力するタイミング判定モデルがあるか否かを判定する（ステップＳ１４）。制御部１５は、閾値以上のスコアを出力するタイミング判定モデルがあると判定した場合（ステップＳ１４：Ｙｅｓ）、閾値以上のスコアを出力するタイミング判定モデルが複数であるか否かを判定する（ステップＳ１５）。

制御部１５は、タイミング判定モデルが複数であると判定した場合（ステップＳ１５：Ｙｅｓ）、最もスコアが高いタイミング判定モデルを選択する（ステップＳ１６）。また、制御部１５は、タイミング判定モデルが複数ではないと判定した場合（ステップＳ１５：Ｎｏ）、閾値以上のスコアを出力するタイミング判定モデルを選択する（ステップＳ１７）。制御部１５は、選択したタイミング判定モデルに関連付けられた発話内容を発話テーブル２１から取得し、取得した発話内容を音声入力器１２から出力する（ステップＳ１８）。

制御部１５は、ステップＳ１８の処理が終了した場合、コンテンツ出力中であると判定した場合（ステップＳ１０：Ｙｅｓ）、発話処理中であると判定した場合（ステップＳ１１：Ｙｅｓ）、または閾値上のスコアを出力するタイミング判定モデルがないと判定した場合（ステップＳ１４：Ｎｏ）、図１０に示す処理を終了する。

次に、情報提供装置２の処理を説明する。図１１に示すように、情報提供装置２の制御部４３は、スマートスピーカ１が自発的に発話をする時のユーザＵの反応を示す反応情報を取得する（ステップＳ２０）。また、制御部４３は、スマートスピーカ１が自発的に発話をする時のユーザＵに関するコンテキスト情報を取得する（ステップＳ２１）。制御部４３は、ステップＳ２０で取得した反応情報とステップＳ２１で取得したコンテキスト情報を記憶部４２に記憶する（ステップＳ２２）。

つづいて、制御部４３は、記憶部４２に記憶した反応情報およびコンテキスト情報に基づいて、コンテンツ毎のタイミング判定モデルを生成または更新し（ステップＳ２３）、図１１に示す処理を終了する。例えば、制御部４３は、発話テーブル７１にタイミング判定モデルが生成されていないコンテンツのタイミング判定モデルを生成した場合、発話テーブル７１にタイミング判定モデルを追加する。また、制御部４３は、発話テーブル７１のタイミング判定モデルを更新した場合、更新したタイミング判定モデルを発話テーブル７１に上書きする。

次に、情報処理システム１００による出力制御処理について説明する。図１２は、実施形態に係る情報処理システム１００による出力制御処理の一例を示すフローチャートである。

図１２に示すように、制御部４３は、スマートスピーカ１からコンテンツの出力要求があるか否かを判定する（ステップＳ３０）。制御部４３は、コンテンツの出力要求があると判定した場合（ステップＳ３０：Ｙｅｓ）、出力要求を行ったスマートスピーカ１のユーザＵに関するコンテキスト情報を取得する（ステップＳ３１）。

そして、制御部４３は、取得したコンテキスト情報に基づいて、出力要求されたコンテンツの出力態様を決定する（ステップＳ３２）。制御部４３は、ステップＳ３２で決定した出力態様でコンテンツを出力する（ステップＳ３３）。制御部４３は、ステップＳ３３の処理が終了した場合、または出力要求がないと判定した場合（ステップＳ３０：Ｎｏ）、図１２に示す処理を終了する。

次に、情報処理システム１００による音声情報効果判定処理について説明する。図１３は、実施形態に係る情報処理システム１００による音声情報効果判定処理の一例を示すフローチャートである。

図１３に示すように、情報提供装置２の制御部４３は、音声広告の出力タイミングであるか否かを判定する（ステップＳ４０）。制御部４３は、音声広告の出力タイミングであると判定した場合（ステップＳ４０：Ｙｅｓ）、音声広告をスマートスピーカ１へ出力する（ステップＳ４１）。

つづいて、制御部４３は、音声広告テーブル７３において、ステップＳ４１で出力した音声広告の出力回数をインクリメントする（ステップＳ４２）。また、制御部４３は、音声出力期間における撮像情報、音情報および機器操作情報をスマートスピーカ１、端末装置３、機器４、およびセンサ装置５の少なくとも一つから取得する（ステップＳ４３）。

制御部４３は、ステップＳ４３で取得した情報に基づいて、ユーザＵの振る舞いを検出し（ステップＳ４４）、検出した振る舞いが特定の振る舞いであるか否かを判定する（ステップＳ４５）。制御部４３は、ステップＳ４４で検出した振る舞いが特定の振る舞いであると判定した場合（ステップＳ４５：Ｙｅｓ）、音声広告がユーザＵに受容されたと判定し（ステップＳ４６）、音声広告テーブル７３において、ステップＳ４１で出力した音声広告の受容回数をインクリメントする（ステップＳ４７）。

一方、制御部４３は、ステップＳ４４で検出した振る舞いが特定の振る舞いではないと判定した場合（ステップＳ４５：Ｎｏ）、音声広告がユーザＵに受容されていないと判定する（ステップＳ４８）。制御部４３は、ステップＳ４７またはステップＳ４８の処理が終了した場合、または、音声広告の出力タイミングではないと判定した場合（ステップＳ４０：Ｎｏ）、図１３に示す処理を終了する。

〔５．変形例〕
上述した例では、情報提供装置２において、タイミング判定モデルを生成する学習部６４が設けられるが、スマートスピーカ１に学習部６４が設けられてもよい。また、上述した例では、スマートスピーカ１において、コンテキスト取得部３５およびタイミング決定部３６が設けられるが、情報提供装置２において、コンテキスト取得部３５およびタイミング決定部３６が設けられてもよい。

また、上述した例では、タイミング判定モデルを用いて発話タイミングを決定したが、過去の発話に対するユーザＵの反応を考慮して発話タイミングを決定することができればよく、上述した例に限定されない。例えば、スマートスピーカ１は、タイミング判定モデルに代えて、過去の発話に対する反応情報とコンテキスト情報とに基づいて生成される判定条件情報によって、現在のコンテキストが発話に適しているコンテキストであるか否かを判定することもできる。なお、上記判定条件情報には、発話タイミングであると判定するコンテキストの条件が含まれる。

また、上述した例では、ユーザＵのジェスチャーや口の動きをスマートスピーカ１で検出したが、ユーザＵのジェスチャーや口の動きを情報提供装置２で検出する構成であってもよい。

また、上述した例では、スマートスピーカ１から出力される音声情報の一例として音声広告を挙げて説明したが、スマートスピーカ１から出力される音声情報は、音声広告に限定されない。例えば、情報提供装置２の制御部４３は、「今日は晴れですね」、「今日は仕事お休みですね」といったプッシュ発話型の音声情報などをスマートスピーカ１から出力した場合のユーザＵの振る舞いに基づいて、音声情報がユーザＵに受容されたか否かを判定することができる。そして、情報提供装置の制御部４３は、音声情報の出力回数に対する音声情報の受容回数の割合を演算し、演算した割合を音声情報効果とすることができる。これにより、音声情報においてＣＴＲに相当する効果指標を得ることができる。

なお、効果の判定対象となる音声情報は、情報提供装置２からスマートスピーカ１へ出力する音声情報に限定されず、スマートスピーカ１に記憶された音声情報であってもよい。

また、上述した例では、情報処理システム１００は、ユーザＵの肯定的な反応でない場合であっても、ユーザＵが受容したと判定する場合があるが、ユーザＵが肯定的な反応である場合のみ、ユーザＵが受容したと判定することもできる。すなわち、情報処理システム１００は、音声情報効果判定処理において、発話制御処理および出力制御処理におけるユーザＵの肯定的な反応があったと判定されるユーザＵの状態を、ユーザＵの受容し、それ以外をユーザの非受容とすることができる。また、情報処理システム１００は、発話制御処理および出力制御処理において、音声情報効果判定処理におけるユーザＵが受容したと判定されるユーザＵの状態を、ユーザＵの肯定的な反応とし、それ以外をユーザの肯定的でない反応とすることができる。

〔６．プログラム〕
上述した実施形態におけるスマートスピーカ１および情報提供装置２の各々は、例えば図１４に示すような構成のコンピュータ２００がプログラムを実行することによって実現される。図１４は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。コンピュータ２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３、ＨＤＤ（Hard Disk Drive）２０４、通信インターフェイス（Ｉ／Ｆ）２０５、入出力インターフェイス（Ｉ／Ｆ）２０６、およびメディアインターフェイス（Ｉ／Ｆ）２０７を備える。

ＣＰＵ２０１は、ＲＯＭ２０３またはＨＤＤ２０４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ２０３は、コンピュータ２００の起動時にＣＰＵ２０１によって実行されるブートプログラムや、コンピュータ２００のハードウェアに依存するプログラム等を格納する。 ＨＤＤ２０４は、ＣＰＵ２０１によって実行されるプログラムによって使用されるデータ等を格納する。通信インターフェイス２０５は、ネットワーク６を介して他の機器からデータを受信してＣＰＵ２０１へ送り、ＣＰＵ２０１が生成したデータを、ネットワーク６を介して他の機器へ送信する。

ＣＰＵ２０１は、入出力インターフェイス２０６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ２０１は、入出力インターフェイス２０６を介して、入力装置からデータを取得する。また、ＣＰＵ２０１は、生成したデータを、入出力インターフェイス２０６を介して出力装置へ出力する。

メディアインターフェイス２０７は、記録媒体２０８に格納されたプログラムまたはデータを読み取り、ＲＡＭ２０２を介してＣＰＵ２０１に提供する。ＣＰＵ２０１は、当該プログラムを、メディアインターフェイス２０７を介して記録媒体２０８からＲＡＭ２０２上にロードし、ロードしたプログラムを実行する。記録媒体２０８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

コンピュータ２００が上述した実施形態に係るスマートスピーカ１として機能する場合、コンピュータ２００のＣＰＵ２０１は、ＲＡＭ２０２上にロードされたプログラムを実行することにより、図３に示す入力処理部３１、情報出力部３２、情報取得部３３、出力処理部３４、コンテキスト取得部３５、およびタイミング決定部３６の各機能を実現する。また、例えば、ＨＤＤ２０４は、図３に示す記憶部１４と同様の情報を記憶する。

また、コンピュータ２００が上述した実施形態に係る情報提供装置２として機能する場合、コンピュータ２００のＣＰＵ２０１は、ＲＡＭ２０２上にロードされたプログラムを実行することにより、図５に示す情報取得部６１、情報出力部６２、コンテキスト取得部６３、学習部６４、出力態様決定部６５、検出部６６、判定部６７、および広告効果更新部６８の各機能を実現する。また、例えば、ＨＤＤ２０４は、図５に示す記憶部４２と同様の情報を記憶する。

コンピュータ２００のＣＰＵ２０１は、プログラムを、記録媒体２０８から読み取って実行するが、他の例として、他の装置から、ネットワーク６を介してこれらのプログラムを取得してもよい。

〔７．効果〕
上述したように、実施形態に係る情報提供装置２（情報処理装置の一例）は、音声出力器１１から音声広告が出力された場合のユーザＵの振る舞いを検出する検出部６６と、検出部６６によって検出された振る舞いに基づいて音声情報がユーザＵに受容されたか否かを判定する判定部６７とを備える。これにより、ユーザＵに提供される音声情報の効果を測定することができる。

また、検出部６６は、ユーザＵを撮像する撮像部から出力されるユーザＵの撮像画像に基づいて、ユーザＵの振る舞いを検出する。これにより、ユーザＵの発話による音声情報への反応がない場合であっても、音声情報がユーザＵに受容されたか否かを判定することが可能となる。

また、検出部６６は、ユーザＵの発話をユーザＵの振る舞いとして検出する。判定部６７は、ユーザＵの発話の状態に基づいて、音声情報がユーザＵに受容されたか否かを判定する。例えば、判定部６７は、音声情報の出力開始後にユーザＵの発話が止まった場合に、音声情報がユーザＵに受容されたと判定する。また、判定部６７は、音声情報の出力開始後に音声情報に関する音声をユーザＵが音声入力器１２に入力した場合に、音声情報がユーザＵに受容されたと判定する。これにより、音声情報がユーザＵに受容されたか否かをより適切に判定することができる。

また、検出部６６は、ユーザＵの周囲に存在する機器４から出力される音である機器音の変化をユーザＵの振る舞いとして検出する。判定部６７は、音声情報の出力開始後に機器音が停止または変更された場合に、音声情報がユーザＵに受容されたと判定する。これにより、ユーザＵからの発話や身体的な振る舞いがない場合であっても、音声情報がユーザＵに受容されたか否かを適切に判定することができる。

また、検出部６６は、音声情報の出力開始後のユーザＵによる機器４の操作履歴に基づいて、ユーザＵの振る舞いを検出する。これにより、ユーザＵからの発話や身体的な振る舞いがない場合であっても、音声情報がユーザＵに受容されたか否かを適切に判定することができる。

また、検出部６６は、ユーザＵの目線の動き、頭部の動き、口の動き、手の動き、および足の動きのうち少なくとも一つの身体的な振る舞いを検出する。これにより、例えば、ユーザＵが音声情報を受容する身体的な振る舞いをした場合に、音声情報がユーザＵに受容されたか否かを判定することが可能となる。

また、検出部６６は、ユーザＵの周囲に存在する音声入力器１２に入力される音に基づいて、ユーザＵの振る舞いを検出する。これにより、例えば、ユーザＵやユーザＵの周囲を撮像する撮像部がない場合であっても、ユーザＵの振る舞いを検出することができる。

また、判定部６７は、音声出力器１１から音声情報が出力された場合のユーザＵによる機器の操作履歴に音声情報に関する検索が含まれる場合に、音声情報がユーザＵに受容されたと判定する。これにより、ユーザＵからの発話や身体的な振る舞いがない場合であっても、音声情報がユーザＵに受容されたか否かを適切に判定することができる。

また、判定部６７は、検出部６６によって検出されたユーザＵの振る舞いが特定の振る舞いである場合に、音声情報がユーザＵに受容されたと判定する。そして、特定の振る舞いは、ユーザＵの属性に応じて設定される。これにより、音声情報がユーザＵに受容されたか否かを適切に判定することができる。

また、情報提供装置２は、音声情報のユーザＵへの出力回数（提供回数の一例）と音声情報のユーザＵによる受容回数とに基づいて、音声情報の効果を更新する広告効果更新部６８（効果更新部の一例）を備える。これにより、音声情報の効果を精度よく測定することができる。

〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、情報処理システム１００は、入力処理部３１、コンテキスト取得部３５およびタイミング決定部３６の少なくとも一つをスマートスピーカ１とは異なる情報提供装置２または別の装置に設ける構成であってもよい。また、スマートスピーカ１は、上述した情報提供装置２の処理の一部または全部を行うことができる構成であってもよい。なお、情報提供装置２は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、入力処理部３１は、入力処理手段や入力処理回路に読み替えることができる。

１ スマートスピーカ
２ 情報提供装置
３ 端末装置
４，４_１〜４_ｎ 機器
５，５_１〜５_ｍ センサ装置
６ ネットワーク
１０，４１ 通信部
１１ 音声出力器
１２ 音声入力器
１３ 撮像部
１４，４２ 記憶部
１５，４３ 制御部
２０ 操作履歴
２１ 発話テーブル
３１ 入力処理部
３２，６２ 情報出力部
３３，６１ 情報取得部
３４ 出力処理部
３５，６３ コンテキスト取得部
３６ タイミング決定部
５１ 発話テーブル記憶部
５２ コンテンツ記憶部
５３ 音声広告記憶部
５４ ユーザ情報記憶部
５５ コンテキスト記憶部
５６ 出力態様判定情報記憶部
６４ 学習部
６５ 出力態様決定部
６６ 検出部
６７ 判定部
６８ 広告効果更新部
７１ 発話テーブル
７２ コンテンツテーブル
７３ 音声広告テーブル
７４ ユーザ情報テーブル
１００ 情報処理システム

Claims (15)

1. ユーザを撮像する撮像部から出力される前記ユーザの撮像画像の情報を取得する情報取得部と、
   前記情報取得部によって取得された撮像画像の情報に基づいて、音声出力器から音声情報が出力された場合の前記ユーザの振る舞いとして前記ユーザの目線の動き、頭部の動き、口の動き、手の動き、および足の動きのうち少なくとも一つの身体的な振る舞いを検出する検出部と、
   前記検出部によって検出された振る舞いが特定の振る舞いである場合に、前記音声情報が前記ユーザに受容されたと判定する判定部と、を備え、
   前記判定部は、
   前記音声情報の時間的長さおよび種類に基づいて前記特定の振る舞いを変更する
   ことを特徴とする情報処理装置。
2. 前記判定部は、
   前記音声出力器から前記音声情報が出力された場合に前記ユーザの視線が前記音声出力器を含む機器に一定時間以上向いた場合、前記音声出力器から前記音声情報が出力された場合に前記ユーザが頷いた場合、前記音声出力器から前記音声情報が出力される前から手を動かしていた前記ユーザが前記音声出力器から前記音声情報が出力された場合に前記手を一定時間以上止めた場合、前記音声出力器から前記音声情報が出力された場合の前記ユーザのジェスチャーが特定のジェスチャーである場合、または、前記音声情報の出力開始時に移動中の前記ユーザが移動を一定時間以上停止した場合、前記ユーザに受容されたと判定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記検出部は、
   前記音声出力器から前記音声情報として音声広告が出力された場合の前記ユーザの振る舞いを検出し、
   前記判定部は、
   前記検出部によって検出された振る舞いに基づいて前記音声広告が前記ユーザに受容されたか否かを判定する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記検出部は、
   前記ユーザの周囲に存在する音声入力器に入力される音に基づいて、前記ユーザの振る舞いを検出する
   ことを特徴とする請求項１〜３のいずれか一つに記載の情報処理装置。
5. 前記検出部は、
   前記ユーザの発話を前記ユーザの振る舞いとして検出し、
   前記判定部は、
   前記ユーザの発話の状態に基づいて、前記音声情報が前記ユーザに受容されたか否かを判定する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記判定部は、
   前記音声情報の出力開始後に前記ユーザの発話が止まった場合に、前記音声情報が前記ユーザに受容されたと判定する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記判定部は、
   前記音声情報の出力開始後に前記音声情報に関する音声を前記ユーザが前記音声入力器に入力した場合に、前記音声情報が前記ユーザに受容されたと判定する
   ことを特徴とする請求項５または６に記載の情報処理装置。
8. 前記検出部は、
   前記音声情報の出力開始後の前記ユーザによる機器の操作履歴に基づいて、前記ユーザの振る舞いを検出する
   ことを特徴とする請求項１〜７のいずれか一つに記載の情報処理装置。
9. 前記判定部は、
   前記音声出力器から前記音声情報が出力された場合の前記ユーザによる機器の操作履歴に前記音声情報に関する検索が含まれる場合に、前記音声情報が前記ユーザに受容されたと判定する
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記特定の振る舞いは、前記ユーザの属性に応じて設定される
    ことを特徴とする請求項１または２に記載の情報処理装置。
11. 前記判定部による判定結果に基づいて、前記音声情報の効果を更新する効果更新部を備える
    ことを特徴とする請求項１〜１０のいずれか一つに記載の情報処理装置。
12. 前記効果更新部は、
    前記音声情報の前記ユーザへの提供回数と前記音声情報の前記ユーザによる受容回数とに基づいて、前記音声情報の効果を更新する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記音声出力器は、スマートスピーカに含まれる音声出力器である
    ことを特徴とする請求項１〜１２のいずれか一つに記載の情報処理装置。
14. コンピュータが実行する情報処理方法であって、
    ユーザを撮像する撮像部から出力される前記ユーザの撮像画像の情報を取得する情報取得工程と、
    前記情報取得工程で取得された撮像画像の情報に基づいて、音声出力器から音声情報が出力された場合の前記ユーザの振る舞いとして前記ユーザの目線の動き、頭部の動き、口の動き、手の動き、および足の動きのうち少なくとも一つの身体的な振る舞いを検出する検出工程と、
    前記検出工程によって検出された振る舞いが特定の振る舞いである場合に、前記音声情報が前記ユーザに受容されたと判定する判定工程と、を含み、
    前記判定工程は、
    前記音声情報の時間的長さおよび種類に基づいて前記特定の振る舞いを変更する
    ことを特徴とする情報処理方法。
15. ユーザを撮像する撮像部から出力される前記ユーザの撮像画像の情報を取得する情報取得手順と、
    前記情報取得手順で取得された撮像画像の情報に基づいて、音声出力器から音声情報が出力された場合の前記ユーザの振る舞いとして前記ユーザの目線の動き、頭部の動き、口の動き、手の動き、および足の動きのうち少なくとも一つの身体的な振る舞いを検出する検出手順と、
    前記検出手順によって検出された振る舞いが特定の振る舞いである場合に、前記音声情報が前記ユーザに受容されたと判定する判定手順と、
    をコンピュータに実行させ、
    前記判定手順は、
    前記音声情報の時間的長さおよび種類に基づいて前記特定の振る舞いを変更する
    ことを特徴とする情報処理プログラム。

Images