JP7369181B2 - 制御データ生成装置、ユーザ装置及び情報処理システム - Google Patents

Description

本発明は、ユーザ装置における消費電力の削減に関する。

従来より、ユーザの音声を認識して、認識結果に基づいて装置を制御する技術が知られている。ユーザの音声は音入力装置を用いて入力されるため、音声による操作を実行するためには、音入力装置に電力を供給する必要がある。特許文献１には、音入力装置に電力を供給してユーザの音声を待ち受ける通常モードと音入力装置に電力を供給しない省電力モードとを備える装置が開示されている。２つのモードを備える装置は、通常モードと省電力モードとを時間帯ごとに指定するテーブルを参照して、モードを選択する。

特開２０１４－２１２６４１号公報

しかし、従来の技術では、どの時間帯に省電力モードを選択するかが予め定められているため、ユーザごとに、省電力モードを選択する時間を設定することができなかった。即ち、従来の技術では、音声による操作の傾向をユーザごとに把握して、音入力装置をオフ状態に制御することによって、ユーザ装置の消費電力を削減することができなかった。

以上の課題を解決するために、本発明の好適な態様に係る制御データ生成装置は、ユーザ装置におけるユーザの音声による操作を含む動作内容と時間を対応付けたログデータを取得する取得部と、前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記音声による操作がなされない未操作時間帯を推定する推定部と、前記未操作時間帯に前記音声の入力を受け付ける音入力装置をオフ状態にすることを指示する制御データを生成する制御データ生成部と、を備える。

また、本発明の好適な態様に係る情報処理システムは、ユーザが管理するユーザ装置と、前記ユーザ装置と通信可能なサーバ装置とを備える情報処理システムであって、前記ユーザ装置は、ユーザの音声の入力を受け付ける音入力装置と、制御データに基づいて前記音入力装置をオフ状態にさせる制御部と、前記ユーザ装置における前記ユーザの音声による操作を含む動作内容と時間を対応付けたログデータを前記サーバ装置に送信し、前記サーバ装置から送信される前記制御データを受信する第１通信装置と、を備え、前記サーバ装置は、前記ユーザ装置から送信される前記ログデータを受信し、前記制御データを前記ユーザ装置に送信する第２通信装置と、前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記音声による操作がなされない未操作時間帯を推定する推定部と、前記未操作時間帯に前記音声の入力を受け付ける音入力装置をオフ状態にすることを指示する前記制御データを生成する制御データ生成部と、を備える。

本発明によれば、音声による操作の傾向をユーザごとに把握して、音入力装置をオフ状態に制御することによって、ユーザ装置の消費電力を削減することができる。

本発明の第１実施形態に係る情報処理システムの全体構成を示すブロック図である。 ログデータの一例を示す説明図である。 学習部が教師データを生成する過程を示す説明図である。 第１実施形態に係る情報処理システムの動作例を示すフローチャートである。 第２実施形態に係るサーバ装置の構成例を示すブロック図である。 行動データの一例を示す説明図である。 第２実施形態に係る情報処理システムの動作例を示すフローチャートである。 第３実施形態に係るユーザ装置の構成例を示すブロック図である。 第４実施形態に係る情報処理システムの全体構成を示すブロック図である。 第４実施形態に係る情報処理システムの動作例を示すフローチャートである。

[１．第１実施形態]
図１は、第１実施形態に係る情報処理システム１０の全体構成を示すブロック図である。図１に例示するように、情報処理システム１０は、サーバ装置１００Ａと、ユーザが所持するユーザ装置２００Ａとを備える。以下の説明では、ユーザ装置２００Ａとしてスマートフォンを想定する。但し、ユーザ装置２００Ａとしては、任意の情報処理装置を採用することができる。例えば、ユーザ装置２００Ａは、ノートパソコン、ウェアラブル機器及びタブレット端末等の可搬型の情報端末であってもよい。
また、ユーザ装置２００Ａは、ユーザの音声によって動作を制御可能な音声操作の機能を有する。

[１-１．サーバ装置]
サーバ装置１００Ａは、処理装置１１０、記憶装置１３０、及び通信装置１４０を備える。サーバ装置１００Ａの各要素は、情報を通信するための単体又は複数のバスで相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。また、サーバ装置１００Ａ及びユーザ装置２００Ａの各要素は、単数又は複数の機器で構成されていてもよい。サーバ装置１００Ａ及びユーザ装置２００Ａの一部の要素は省略されてもよい。

処理装置１１０は、ユーザ装置２００Ａの全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。処理装置１１０は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置１１０の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１１０は、各種の処理を並列的又は逐次的に実行する。

記憶装置１３０は、処理装置１１０が読取可能な記録媒体であり、処理装置１１０が実行する制御プログラムＰ１を含む複数のプログラム、並びに処理装置１１０が使用する学習モデルＭ１及びログデータＬＧなどの各種のデータを記憶する。

ログデータＬＧは、ユーザ装置２００Ａによって生成され、サーバ装置１００Ａに送信される。ログデータＬＧは、ユーザ装置２００Ａにおける動作内容と時間を対応付けたデータである。動作内容にはユーザの音声による操作が含まれる。ユーザの音声による操作は、常に実行されるわけではない。
以下の説明では、１日を区分した複数の時間帯Ｔｚのうち音声による操作がなされない時間帯Ｔｚを未操作時間帯Ｔｘと称する。本実施形態では、１日を７２個の時間帯Ｔｚ１～Ｔｚ７２に区分する（図３参照）。７２個の時間帯Ｔｚ１～Ｔｚ７２の各々において時間幅は２０分である。なお、各時間帯Ｔｚ１～Ｔｚ７２を区別しない場合は、任意の時間帯を単に時間帯Ｔｚと表記する。また、時間帯Ｔｚの数は７２に限定されず、２以上であればよい。また、各時間帯Ｔｚの時間幅は異なっていてもよい。例えば、ユーザが就寝している可能性の高い２時から５時までの３時間を一つの時間帯Ｔｚに割り当ててもよい。

記憶装置１３０は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の少なくとも１つによって構成されてもよい。記憶装置１３０は、レジスタ、キャッシュ、メインメモリ（主記憶装置）等と呼ばれてもよい。

通信装置１４０は、他の装置と通信を行うためのハードウェア（送受信デバイス）である。通信装置１４０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。

処理装置１１０は、記憶装置１３０から制御プログラムＰ１を読み出して当該プログラムを実行することによって、取得部１２０Ａ、推定部１２２Ａ、制御データ生成部１２４、及び送信制御部１２６として機能する。なお、制御プログラムＰ１は、ネットワークを介して他の装置から送信されてもよい。

取得部１２０Ａは、通信装置１４０を用いて、ログデータＬＧを取得する。図２にログデータＬＧの一例を示す。図２に示すログデータＬＧは、２０１９年３月１１日におけるユーザ装置２００Ａの動作内容のうち、午前８時から午前８時４０分までの時間帯におけるユーザ装置２００Ａの動作内容を示す。この例において、ログデータＬＧはレコードｒ１～ｒ１４を含む。例えば、レコードｒ１は、8：00にユーザ装置２００Ａのロック解除がなされたことを示している。また、レコードｒ５は、8：12に音声による操作がなされたことを示している。なお、レコードｒ１～ｒ８は、時間帯Ｔｚ２４に属し、レコードｒ９～ｒ１４は時間帯Ｔｚ２５に属する。このように、図２の例において、ログデータＬＧは、各時間帯において、ユーザ装置２００Ａにおける動作内容と時間との複数組（複数レコード）を有するデータである。

推定部１２２Ａは、ログデータＬＧに基づいて、１日を区分した複数の時間帯Ｔｚのうち音声による操作がなされない未操作時間帯Ｔｘを推定する。推定部１２２Ａは、学習部１２２１と予測部１２２２とを備える。
学習部１２２１は、ログデータＬＧと未操作時間帯Ｔｘとの関係を学習モデルＭ１に機械学習させる。学習部１２２１が用いる未操作時間帯Ｔｘは、実際に、音声による操作がなされなかった時間帯を表す。予測部１２２２は、学習モデルＭ１を用いて、将来の時間帯における音声による操作の有無を示す予測データＤｐを生成する。予測データＤｐは1以上の時間帯Ｔｚについて音声による操作の有無を示す。例えば、予測データＤｐは、1日単位で７２個の時間帯Ｔｚ１～Ｔｚ７２の各々について、音声による操作の有無を示す。また、現在の日時が３月１１日午前８時１５分である場合、予測データＤｐは、３月１１日午前８時２０分から３月１２日午前８時２０分までの各時間帯Ｔｚについて、音声による操作の有無を示してもよい。そして、予測データＤｐが音声操作無しを示す時間帯Ｔｚが上記の未操作時間帯Ｔｘであると推定される時間帯Ｔｚである。

より、具体的には、学習部１２２１は、ログデータＬＧを基に予測データＤｐの正誤を示すラベルデータＤｌを生成する。予測データＤｐが複数の時間帯Ｔｚについて音声の操作の有無を示す場合には、ラベルデータＤｌは複数の時間帯Ｔｚについて正誤を示す。即ち、ラベルデータＤｌは、予測データＤｐに対応する時間帯Ｔｚに対して正誤を示す。学習部１２２１は、予測データＤｐに対応する時間帯Ｔｚについて、当該時間帯のログデータＬＧを参照することによって正誤を判定し、判定結果を示すラベルデータＤｌを生成する。
また、学習部１２２１は、ラベルデータＤｌと予測データＤｐに対応する時間帯Ｔｚより前のログデータＬＧとの組を教師データＤｔとして生成し、教師データＤｔを学習モデルＭ１に学習させる。

図３は、学習部１２２１が教師データＤｔを生成する過程を示す説明図である。例えば、予測日が３月１１日である場合、予測部１２２２が予測データＤｐを生成するのは、３月１１日より前である。この例では、３月１０日に予測データＤｐが生成されることとする。学習部１２２１は、３月１１日に当日のログデータＬＧに基づいて、予測日の各時間帯Ｔｚにおいて、音声操作の有無を示す音声操作データＤｒを生成する。音声操作データＤｒにおいて、「１」は音声操作がなされなかったことを示し、「０」は音声操作がなされたことを示す。

図３に示す例では、音声操作データＤｒは、時間帯Ｔｚ２４（08:00～08:20）及び時間帯Ｔｚ２５（08:20～08:40）において、音声操作有り（音声操作がなされたこと）を示す。一方、予測データＤｐは、時間帯Ｔｚ２４（08:00～08:20）では音声操作有り（音声操作がなされると予測されたこと）を示し及び時間帯Ｔｚ２５（08:20～08:40）では音声操作無し（音声操作がなされないと予測されたこと）を示す。従って、学習モデルＭ１を用いた未操作時間帯Ｔｘの予測は、時間帯Ｔｚ２５において誤っていたことになる。学習部１２２１は、ラベルデータＤｌを生成する。ラベルデータＤｌは、予測が正しい時間帯Ｔｚでは「１」となり、予測が誤った時間帯Ｔｚでは「０」となる。図３に示す例では、学習部１２２１は、時間帯Ｔｚ２５において誤りを示すラベルデータＤｌを生成する。

また、図３に示す例では、学習部１２２１は、予測日である３月１１日より前の３月１０日のログデータＬＧとラベルデータＤｌの組を教師データＤｔとして生成する。この教師データＤｔを学習モデルＭ１に機械学習させることによって、未操作時間帯Ｔｘの推定の精度が向上する。

説明を図１に戻す。制御データ生成部１２４は、推定部１２２Ａによって推定された予測データＤｐの音声操作無しを示す時間帯Ｔｚ、即ち、予測データＤｐの示す未操作時間帯Ｔｘにおいて音声の入力を受け付ける音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する。制御データＤｃは、予測データＤｐと同じであってもよいし、或いは、音入力装置２５２がオフ状態となる期間の開始時刻と終了時刻を示してもよい。例えば、予測データＤｐが図３に示される例である場合、制御データＤｃは予測データＤｐと同じ７２ビットのデータであってもよいし、或いは、開始時刻08:20と終了時刻08：40とを示してもよい。

次に、送信制御部１２６は、通信装置１４０を制御して、通信装置１４０に制御データＤｃをユーザ装置２００Ａへ送信させる。

[１-２．ユーザ装置]
次に、ユーザ装置２００Ａは、処理装置２１０、記憶装置２３０、通信装置２４０、入力装置２５０、出力装置２６０、動き検出装置２７０、及びＧＰＳ装置２８０を備える。処理装置２１０は、ユーザ装置２００Ａの全体を制御するプロセッサであり、処理装置１１０と同様に構成される。

記憶装置２３０は、処理装置２１０が読取可能な記録媒体であり、処理装置２１０が実行する制御プログラムＰ２を含む複数のプログラム、及び処理装置２１０が使用する各種のデータを記憶する。記憶装置２３０は、例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ等の少なくとも１つによって構成されてもよい。

通信装置２４０は、他の装置と通信を行うためのハードウェア（送受信デバイス）である。通信装置２４０は、通信装置１４０と同様に構成されてもよい。通信装置２４０は、第１通信装置の一例である。

入力装置２５０は、外部からの入力を受け付ける入力デバイスである。例えば、入力装置２５０は、数字及び文字等の符号を処理装置２１０に入力するための操作を受け付ける。入力操作は、ユーザのタッチ操作とユーザの音声による操作を含む。タッチ操作については、例えば、表示装置２６１の表示面に対するユーザの指の接触を検出するタッチパネルが入力装置２５０として好適である。なお、ユーザが操作可能な複数の操作子を入力装置２５０が含んでもよい。

また、ユーザの音声による操作は音入力装置２５２が受け付ける。音入力装置２５２は、音を電気信号に変換するマイクロフォンとマイクロフォンの出力信号を増幅するアンプと、アンプの出力信号をデジタル信号に変換するＡＤ変換器とを有する。更に、音入力装置２５２は、アンプ及びＡＤ変換器と電源を供給する電源ラインとの間に設けられたスイッチを備える。スイッチがオン状態になると、音入力装置２５２に電源が供給され、音入力装置２５２がオン状態となる。音入力装置２５２は、オン状態では、ユーザの音声を音データに変換して出力可能となる。一方、スイッチがオフ状態になると、音入力装置２５２に電源が供給されない。この場合、音入力装置２５２がオフ状態となる。オフ状態の音入力装置２５２は、ユーザの音声を音データに変換することが不能になる。スイッチは処理装置２１０によって制御される。本明細書において、音入力装置２５２がオン状態とは、音を音データに変換可能な動作状態を意味する。また、音入力装置２５２がオフ状態とは、音を音データに変換不能な動作状態を意味する。このため、オフ状態は、オン状態に遷移するまでの時間が短いスリープ状態を含む。スリープ状態では、オン状態と比較して小さな電力を消費する。スリープ状態は、ユーザ装置２００Ａの電力が全く消費されない完全なオフ状態と相違する。

出力装置２６０は、ユーザ装置２００Ａの外部への出力を実施するデバイスである。出力装置２６０は、例えば、画像を表示する表示装置２６１、音を出力する音出力装置２６２を含む。表示装置２６１は、処理装置２１０による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネルが表示装置２６１として好適に利用される。

動き検出装置２７０は、ユーザ装置２００Ａの動きを検出して、動きデータを出力する。動き検出装置２７０としては、角加速度を検出するジャイロセンサー及び加速度を検出する加速度センサーなどの慣性センサーが該当する。動き検出装置２７０によって、所定値より大きな加速度が検出される場合は、ユーザが乗り物（例えば、電車又は車）に乗って高速で移動中であることがわかる。反対に、動き検出装置２７０によって、所定値より小さな加速度が検出される場合は、ユーザが歩行している、或いは、ランニング中であることが検出できる。

ＧＰＳ装置２８０は、複数の衛星からの電波を受信し、受信した電波を用いて位置データを生成する。位置データは、ユーザ装置２００Ａの位置を示す。位置データは、位置を特定できるのであれば、どのような形式であってもよい。位置データは、例えば、ユーザ装置２００Ａの緯度と経度とを示す。この例では、位置データはＧＰＳ装置２８０から得られることを例示するが、ユーザ装置２００Ａは、どのような方法で位置データを取得してもよい。例えば、ユーザ装置２００Ａの通信先となる基地局に割り当てられたセルＩＤを用いて位置データを取得してもよい。さらに、ユーザ装置２００Ａが無線ＬＡＮ（Local Area Network）のアクセスポイントと通信する場合には、ユーザ装置２００Ａは、アクセスポイントに割り当てられたネットワーク上の識別アドレス（ＭＡＣ（Media Access Control）アドレス）と実際の住所（位置）とを互いに対応付けたデータベースを参照して位置データを取得してもよい。さらに、ユーザ装置２００Ａは、ＢＬＥ(Bluetooth Low Energy)規格に準拠したアドバタイズメント・パケットに含まれるＩＤ情報を受信し、ＩＤ情報に基づいて位置データを取得してもよい。

処理装置２１０は、記憶装置２３０から制御プログラムＰ２を読み出して当該プログラムを実行することによって、制御データ取得部２２０、制御部２２２、音声エージェント部２２４、及び送信制御部２２６として機能する。なお、制御プログラムＰ２はネットワークを介して他の装置から送信されてもよい。

制御データ取得部２２０は、通信装置２４０を用いて、サーバ装置１００Ａから制御データＤｃを取得する。
制御部２２２は、制御データＤｃに基づいて音入力装置２５２をオフ状態にさせる。制御データＤｃが未操作時間帯Ｔｘの開始時刻と終了時刻とを示す場合には、制御部２２２は、現在時刻と開始時刻が一致するとスイッチをオフ状態にさせる。一方、現在時刻と終了時刻とが一致すると、制御部２２２は、スイッチをオン状態にさせる。
また、制御部２２２は、ユーザ装置２００Ａの動作内容と時間とを対応付けたログデータＬＧを生成し、記憶装置２３０に記憶する。

音声エージェント部２２４は音入力装置２５２から出力される音データに基づいて、音声を認識し、ユーザの音声による操作指示を解釈して、ユーザ装置２００Ａを制御する。例えば、ユーザの音声が「今日の天気は？」を示すのであれば、音声エージェント部２２４は、天気予報のサイトにアクセスして、今日の天気予報を取得し、ユーザに音声又は画像を用いて今日の天気を知らせる。

送信制御部２２６は、通信装置２４０を用いて、通信装置２４０に、記憶装置２３０に記憶されているログデータＬＧをサーバ装置１００Ａへ送信させる。

[１-３．情報処理システムの動作]
次に、情報処理システム１０の動作について説明する。図４は情報処理システムの動作を示すフローチャートである。

まず、ユーザ装置２００Ａの処理装置２１０は、制御部２２２として機能し、ログデータＬＧを生成して、ログデータＬＧを記憶装置２３０に記憶させる（Ｓ２００）。

次に、処理装置２１０は、送信制御部２２６として機能し、通信装置２４０を制御して、通信装置２４０にログデータＬＧをサーバ装置１００Ａへ送信させる（Ｓ２１０）。ログデータＬＧの送信は、例えば、１日１回など定期的な送信であってもよい。或いは、ログデータＬＧは、新たなログデータＬＧが所定数発生するたびに、送信されてもよい。

次に、サーバ装置１００Ａの処理装置１１０は、取得部１２０Ａとして機能し、ユーザ装置２００Ａから送信されるログデータＬＧを取得する（Ｓ１００）。具合的には、取得部１２０Ａは、通信装置１４０にユーザ装置２００Ａから送信されるログデータＬＧを受信させる。この受信によって、取得部１２０Ａは、ログデータＬＧを取得する。

ステップＳ１１０において、処理装置１１０は、学習部１２２１として機能し、１日のログデータＬＧに基づいて、音声操作データＤｒを生成する。音声操作データＤｒは、時間帯Ｔｚごとに音声操作の有無を示す。

ステップＳ１２０において、処理装置１１０は、学習部１２２１として機能し、ラベルデータＤｌを生成する。この例では、処理装置１１０は、1日単位でラベルデータＤｌを生成する。具体的には、処理装置１１０は、音声操作データＤｒに対応する予測日の予測データＤｐと音声操作データＤｒとを、時間帯Ｔｚごとに比較して、予測の正誤を示すラベルデータＤｌを生成する。

ステップＳ１３０において、処理装置１１０は、学習部１２２１として機能し、ラベルデータＤｌと予測日のログデータＬＧとの組みを教師データＤｔとして生成し、教師データＤｔを学習モデルＭ１に学習させる。

ステップＳ１４０において、処理装置１１０は、予測部１２２２として機能し、学習モデルＭ１に、予測日より前のログデータＬＧを入力し、予測日にける未操作時間帯Ｔｘを示す予測データＤｐを生成する。予測日より前とは、例えば、予測日の前日である。例えば、予測日が翌日であれば、予測日より前のログデータＬＧは、当日のログデータＬＧである。

ステップＳ１５０において、処理装置１１０は、制御データ生成部１２４として機能し、未操作時間帯Ｔｘに音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する。

ステップＳ１６０において、処理装置１１０は、送信制御部１２６として機能し、通信装置１４０を用いて、制御データＤｃをユーザ装置２００Ａへ送信させる。

次に、ユーザ装置２００Ａの処理装置２１０は、ステップＳ２２０において、制御データ取得部２２０として機能し、通信装置２４０を用いて、通信装置２４０にサーバ装置１００Ａから送信される制御データＤｃを受信させる。

ステップＳ２３０において、処理装置２１０は、制御部２２２として機能し、制御データＤｃに基づいて、未操作時間帯Ｔｘにおいて音入力装置２５２をオフ状態に制御する。

以上説明したように本実施形態によれば、サーバ装置１００Ａは、ユーザ装置２００Ａにおけるユーザの音声による操作を含む動作内容と時間を対応付けたログデータＬＧを取得する取得部１２０Ａと、ログデータＬＧに基づいて、１日を区分した複数の時間帯Ｔｚのうち音声による操作がなされない未操作時間帯Ｔｘを推定する推定部１２２Ａとを備える。推定部１２２Ａにおける未操作時間帯Ｔｘの推定は、ユーザ装置２００Ａの動作内容に基づくものであるため、ユーザがユーザ装置２００Ａをどのように操作したかを考慮した推定となっている。従って、音声による操作の傾向をユーザごとに把握して、未操作時間帯Ｔｘを推定することができる。また、サーバ装置１００Ａは、未操作時間帯Ｔｘに、音声の入力を受け付ける音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する制御データ生成部１２４を備える。制御データＤｃをユーザ装置２００Ａが用いることにより、推定された未操作時間帯Ｔｘに音入力装置２５２がオフ状態に制御される。この制御によって、ユーザ装置２００Ａの消費電力を削減することが可能となる。

また、推定部１２２Ａは、ログデータＬＧと未操作時間帯Ｔｘとの関係を学習モデルＭ１に学習させる学習部１２２１と、学習モデルＭ１を用いて、将来の時間帯Ｔｚにおける音声による操作の有無を示す予測データＤｐを生成する予測部１２２２とを備える。学習モデルＭ１によってログデータＬＧと未操作時間帯Ｔｘとの関係が機械学習されるので、学習モデルＭ１を用いた未操作時間帯Ｔｘの予測精度を、機械学習の程度が進むにつれ、次第に向上させることができる。この場合、制御データ生成部１２４は、予測データＤｐの示す未操作時間帯Ｔｘに音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成する。制御データＤｃをユーザ装置２００Ａが用いることにより、予測データＤｐの示す未操作時間帯Ｔｘに音入力装置２５２をオフ状態に制御することができる。この結果、ユーザ装置２００Ａの消費電力を削減することが可能となる。

また、学習部１２２１は、ログデータＬＧを基に予測データＤｐの正誤を示すラベルデータＤｌを生成し、ラベルデータＤｌと予測データＤｐに対応する時間帯Ｔｚより前のログデータＬＧとの組を教師データＤｔとして学習モデルＭ１に学習させる。
即ち、学習部１２２１は、教師データＤｔを用いて学習モデルＭ１に機械学習させる。このため、教師データ無しで学習モデルＭ１を構築する場合と比較して、短い期間で学習モデルＭ１による学習が可能となる。

なお、第１実施形態のサーバ装置１００Ａに含まれる、取得部１２０Ａ、推定部１２２Ａ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。

[２．第２実施形態]
第２実施形態に係る情報処理システム１０は、サーバ装置１００Ａの替わりにサーバ装置１００Ｂが備えられている点を除いて、図１に示す第１実施形態の情報処理システム１０と同様に構成されている。

図５は、サーバ装置１００Ｂの構成例を示すブロック図である。サーバ装置１００Ｂは、推定部１２２Ａの替わりに推定部１２２Ｂが用いられる点、記憶装置１３０が制御プログラムＰ１の替わりに制御プログラムＰ３を記憶する点、記憶装置１３０が学習モデルＭ１の替わりに学習モデルＭ２を記憶する点、及び記憶装置１３０が行動データＤａを記憶する点を除いて、第１実施形態のサーバ装置１００Ａと同様に構成されている。サーバ装置１００Ａでは、ログデータＬＧとラベルデータＤｌの組を教師データＤｔとしたが、サーバ装置１００Ｂでは、行動データＤａとラベルデータＤｌの組を教師データＤｔとする。
処理装置１１０は、記憶装置１３０から制御プログラムＰ３を読み出して当該プログラムを実行することによって、取得部１２０Ａ、推定部１２２Ｂ、制御データ生成部１２４、及び送信制御部１２６として機能する。

推定部１２２Ｂは、学習部１２２３及び予測部１２２２を備える。学習部１２２３は、取得部１２０Ａが、ユーザ装置２００Ａから取得したログデータＬＧに基づいてユーザの行動内容と行動がなされた時間とを対応付けた行動データＤａを生成する。行動データＤａは、ログデータＬＧそのものではなく、ログデータＬＧを解釈してユーザの行動内容にあてはめたものである。

ユーザの行動内容を例示すれば、アプリケーションの実行に関して、動画再生、音楽再生、ゲーム実行、メール、web検索などがある。これらの行動内容は、ログデータＬＧに記録されているアプリケーションから特定される。また、ユーザの所在する場所も行動内容に含まれる。例えば、自宅、会社、カフェが該当する。これらの場所は、ログデータＬＧに含まれる位置データに基づいて特定される。また、ユーザの移動に関する行動内容には、歩行、ランニング、電車で移動などが含まれる。これらの行動内容は、ログデータＬＧに含まれる加速度データから生成される。

例えば、図２に示される午前８時から午前８時４０分までの時間帯におけるユーザ装置２００Ａの動作内容を示すログデータＬＧに基づいて、図６に示す行動データＤａが生成される。この例では、図２に示されるログデータＬＧのレコードｒ１～ｒ１４が、行動データＤａのレコードＲ１～Ｒ１０に圧縮されている。また、行動データＤａのレコードＲ４とレコードＲ８には、行動内容として「通勤経路」が割り当てられている。このように、図６の例において、行動データＤａは、各時間帯において、ユーザの行動内容と時間との複数組（複数レコード）を有するデータである。

学習部１２２３は、行動データＤａとラベルデータＤｌとの組を教師データＤｔとして生成し、教師データＤｔを学習モデルＭ２に学習させる。なお、ラベルデータＤｌは、第１実施形態の学習部１２２１と同様に生成される。行動データＤａでは、ユーザの行動内容の観点からログデータＬＧの内容が抽象化されているので、学習効率を向上させることができる。

次に、第２実施形態に係る情報処理システム１０の動作を説明する。図７は第２実施形態に係る情報処理システム１０の動作を示すフローチャートである。図７に示すフローチャートが図４に示すフローチャートと相違するのは、ステップＳ１３０の替わりにステップＳ１３１を採用した点、及びステップ１２０とステップＳ１３１との間にステップＳ１２２を設けた点である。

ステップＳ１２２において処理装置１１０は、学習部１２２３として機能し、ログデータＬＧに基づいて行動データＤａを生成する。更に、ステップＳ１３１において、処理装置１１０は、学習部１２２３として機能し、行動データＤａとラベルデータＤｌの組みを教師データＤｔとして生成し、教師データＤｔを学習モデルＭ２に学習させる。

以上説明したように第２実施形態によれば、学習部１２２３は、ログデータＬＧを基に予測データＤｐの正誤を示すラベルデータＤｌを生成し、予測データＤｐに対応する時間帯Ｔｚより前のログデータＬＧを基にユーザの行動内容と行動がなされた時間とを対応付けた行動データＤａを生成し、ラベルデータＤｌと行動データＤａの組を教師データＤｔとして学習モデルＭ２に学習させる。行動データＤａではユーザの行動の観点からログデータＬＧの内容が抽象化されているので、学習モデルＭ２の学習効率を向上させることができる。

なお、第２実施形態のサーバ装置１００Ｂに含まれる、取得部１２０Ａ、推定部１２２Ｂ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。

[３．第３実施形態]
図８は、第３実施形態に係るユーザ装置２００Ｂの構成例を示すブロック図である。ユーザ装置２００Ｂは、推定部１２２Ａが備えられている点、取得部１２０Ｂが備えられている点、記憶装置２３０に制御プログラムＰ１の替わりに制御プログラムＰ４が記憶される点、及び記憶装置２３０に学習モデルＭ１が備えられている点で図１に示す第１実施形態のユーザ装置２００Ａと相違する。

即ち、第１実施形態では、ユーザ装置２００Ａがサーバ装置１００ＡにログデータＬＧを送信し、サーバ装置１００Ａが学習モデルＭ１を構築したが、第３実施形態ではユーザ装置２００ＢがログデータＬＧに基づいて学習モデルＭ１を構築し、これを用いて予測される未操作時間帯Ｔｘにおいてユーザ装置２００Ｂが音入力装置２５２をオフ状態にさせる。

処理装置２１０は、記憶装置２３０から制御プログラムＰ４を読み出して当該プログラムを実行することによって、取得部１２０Ｂ、推定部１２２Ａ、制御データ生成部１２４、制御部２２２、及び音声エージェント部２２４として機能する。

取得部１２０Ｂは、記憶装置２３０からログデータＬＧを読み出して当該ログデータを取得する。この点で、ユーザ装置２００ＡからログデータＬＧを取得する第１実施形態の取得部１２０Ａと相違する。推定部１２２Ａは、ログデータＬＧに基づいて未操作時間帯Ｔｘを推定する。具体的には、予測部１２２２が学習モデルＭ１を用いて予測データＤｐを生成する。制御部２２２は、制御データＤｃに基づいて未操作時間帯Ｔｘに音入力装置２５２をオフ状態に制御する。

第３実施形態のユーザ装置２００Ｂは、ログデータＬＧをサーバ装置１００Ａに送信しないので、通信資源を節約することができる。また、ログデータＬＧには、個人情報が含まれるので、ユーザ装置２００Ｂは、個人情報を保護する観点からセキュリティを高めることができる。

第３実施形態のユーザ装置２００Ｂに含まれる、取得部１２０Ｂ、推定部１２２Ａ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。
また、上述したユーザ装置２００Ｂにおいて、推定部１２２Ａの替わりに第２実施形態で説明した推定部１２２Ｂを用いてもよい。推定部１２２Ｂを用いる場合は、推定部１２２Ａを用いる場合と比較して、学習モデルＭ２の学習効率を高めることができる。

[４．第４実施形態]
上述した第１実施形態、第２実施形態、及び第３実施形態では、未操作時間帯Ｔｘが学習モデルＭ１又はＭ２を用いて推定された。これに対して、第４実施形態では、機械学習を用いることなくログデータＬＧを分析して、未操作時間帯Ｔｘが特定される。

図９は、第４実施形態に係る情報処理システム１０の構成例を示すブロック図である。第４実施形態に係る情報処理システム１０は、サーバ装置１００Ａの替わりにサーバ装置１００Ｃを用いる点を除いて、第１実施形態の情報処理システム１０と同様に構成されている。

サーバ装置１００Ｃは、推定部１２２Ａの替わりに推定部１２２Ｃを用いる点、記憶装置１３０が制御プログラムＰ１に替わりに制御プログラムＰ５を記憶する点、及び記憶装置１３０が学習モデルＭ１を記憶しない点で、第１実施形態のサーバ装置１００Ａと相違する。

以下、相違点を中心に説明する。推定部１２２Ｃは、ログデータＬＧに基づいて、未操作時間帯Ｔｘを推定する。推定部１２２Ｃは、算出部１２２４及び特定部１２２５を備える。算出部１２２４は、ログデータＬＧに基づいて、複数の時間帯Ｔｚの各々について音声による操作がなされない可能性の程度を示す評価値を算出する。例えば、評価値が小さい場合と比較して評価値が大きい場合、音声による操作がなされない可能性が高くなる。逆に、評価値が大きい場合と比較して評価値が小さい場合、音声による操作がなされない可能性が高くなってもよい。例えば、評価値には、時間帯Ｔｚごとに音声による操作がなされた回数が用いられる。評価値に音声による操作がなされた回数が用いられる場合、評価値が大きい場合と比較して評価値が小さい場合、音声による操作がなされない可能性が高くなる。

特定部１２２５は、評価値を所定値と比較した比較結果に基づいて、未操作時間帯Ｔｘを特定する。所定値より小さい評価値を持つ時間帯Ｔｚが未操作時間帯Ｔｘとして特定される。

制御データ生成部１２４は、特定部１２２５で特定された未操作時間帯Ｔｘにおいて音入力装置２５２をオフ状態にすることを指示する制御データＤｃを生成し、制御部２２２は制御データＤｃに従って音入力装置２５２をオフ状態に制御する。

図１０は、第４実施形態に係る情報処理システム１０の動作を説明するためのフローチャートである。図１０に示すフローチャートが図４に示すフローチャートと相違するのは、ステップＳ１２０、ステップＳ１３０及びステップＳ１４０の替わりに、ステップＳ１０２及びステップＳ１０４を設けた点である。相違点について説明する。

ステップＳ１０２において、処理装置１１０は算出部１２２４として機能し、ログデータＬＧに基づいて、複数の時間帯Ｔｚの各々について評価値を算出する。具体的には、算出部１２２４は、例えば、現在から所定期間（例えば、1ヶ月）だけ過去のログデータＬＧを抽出し、時間帯Ｔｚごとに音声による操作がなされた回数を算出し、回数を評価値とする。例えば、8：20～8：40の時間帯Ｔｚ２５に50回、10：00～10：20の時間帯Ｔｚ２６に２回、といった具合である。

ステップＳ１０４において、処理装置１１０は特定部１２２５として機能し、評価値を所定値と比較した比較結果に基づいて、未操作時間帯Ｔｘを特定する。上述した例において、所定値が「３」であれば、所定値より小さい評価値「２」を持つ時間帯Ｔｚ２６が未操作時間帯Ｔｘとして特定される。

本実施形態のサーバ装置１００Ｃは、ログデータＬＧに基づいて、複数の時間帯Ｔｚの各々について音声による操作がなされない可能性の程度を示す評価値を算出する算出部１２２４と、評価値を所定値と比較した比較結果に基づいて、未操作時間帯Ｔｘを特定する特定部１２２５とを備える。このため、学習モデルＭ１又はＭ２を用いる場合と比較して、簡易に未操作時間帯Ｔｘを推定することができる。

なお、第４実施形態のサーバ装置１００Ｃに含まれる、取得部１２０Ａ、推定部１２２Ｃ、及び制御データ生成部１２４は、制御データを生成する制御データ生成装置の一例である。

また、第３実施形態のユーザ装置２００Ｂにおいて、推定部１２２Ａの替わりに推定部１２２Ｃを用い、記憶装置２３０から学習モデルＭ１を設けなくてもよい。

[５．変形例]
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

[第１変形例]
上述した第２実施形態において、取得部１２０Ａは、ログデータＬＧの他に、ユーザの行動に関するスケジュールを示すスケジュールデータを取得してもよい。スケジュールデータはユーザ装置２００Ａから取得されてもよいし、他のサーバ装置から取得されてもよい。例えば、ユーザがクラウド上にスケジュールデータを保存しているのであれば、スケジュールデータは、当該スケジュールデータを管理するサーバ装置から取得されてもよい。
学習部１２２３は、予測データＤｐに対応する時間帯より前のログデータＬＧとスケジュールデータとに基づいて、行動データＤａを生成すればよい。
第１変形例によれば、ログデータＬＧのみならずスケジュールデータを考慮して、行動データＤａが生成されるので、より正確な行動データＤａに基づいて予測日における未操作時間帯Ｔｘを推定することできる。この結果、未操作時間帯Ｔｘの推定精度を向上させることができ、ひいては、ユーザ装置２００Ａの消費電力を削減できる。

[第２変形例]
上述した各実施形態において、ユーザ装置２００Ａ又は２００Ｂは、ユーザ装置２００Ａ又は２００Ｂが使用される状態を検出する検出装置を備えてもよい。検出装置は、例えば、近接センサーである。制御部２２２は、制御データＤｃが音入力装置２５２をオフ状態にすることを指定しない時間帯Ｔｚにおいて、検出装置の検出結果が所定の状態である場合、音入力装置２５２をオフ状態にさせる。例えば、制御部２２２は、近接センサーの出力データによって、表示装置２６１の表示面が物体（例えば、テーブル）に近接していると判定した場合、音入力装置２５２をオフ状態にさせる。或いは、制御部２２２は、音入力装置２５２から出力される音データに基づいて検出装置を用いてＳＮ比を検出し、検出されたＳＮ比が所定値より低い場合、音入力装置２５２をオフ状態にさせる。ＳＮ比は人の声の帯域のエネルギー成分を信号成分Ｓに適用し、それ以外の帯域のエネルギー成分をノイズ成分Ｎに適用することで算出されてもよい。ＳＮ比が所定値より低い場合には、音声認識が不能になる可能性が高い。このため、音入力装置２５２がオフ状態であっても、ユーザ装置２００Ａ又は２００Ｂの操作性を大きく損なうことなく、これらユーザ装置の消費電力を削減することができる。

[第３変形例]
上述した第１実施形態、第２実施形態及び第４実施形態では、制御データＤｃがサーバ装置１００Ａ又は１００Ｃからユーザ装置２００Ａに送信されたが、ユーザ装置２００Ａのユーザが所持する他の装置に制御データＤｃが送信されてもよい。他の装置としては、例えば、ウェアラブル機器が該当する。この場合、ユーザ装置２００ＡのログデータＬＧから生成される制御データＤｃをウェアラブル機器に適用できる。ウェアラブル機器はログデータＬＧをサーバ装置１００Ａ又は１００Ｃに送信しなくてもよいので、ウェアラブル機器の消費電力を削減することができる。なお、ユーザが所持する他の装置は、いわゆるＡＩスピーカーであってもよい。

[６．その他]
（１）上述した実施形態では、記憶装置１３０及び２３０は、処理装置１１０又は２１０が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。

（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（６）図１、図５、図８及び図９に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

（７）上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

（８）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

（９）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（１０）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

（１１）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

（１２）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。

（１３）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

１０…情報処理システム、１００Ａ，１００Ｂ，１００Ｃ…サーバ装置、１１０，２１０…処理装置、１２０Ａ，１２０Ｂ…取得部、１２２Ａ，１２２Ｂ，１２２Ｃ…推定部、１２４…制御データ生成部、２００Ａ，２００Ｂ…ユーザ装置、２２２…制御部、２５２…音入力装置、１２２１，１２２３…学習部、１２２２…予測部、１２２４…算出部、１２２５…特定部、Ｄａ…行動データ、Ｄｃ…制御データ、Ｄｌ…ラベルデータ、Ｄｐ…予測データ、Ｄｔ…教師データ、ＬＧ…ログデータ、Ｍ１，Ｍ２…学習モデル、Ｔｘ…未操作時間帯。

Claims (9)

1. ユーザのタッチ操作と前記ユーザの音声による操作とに基づいて動作するユーザ装置から、前記ユーザのタッチパネルに対するタッチ操作と前記ユーザの音声による操作に基づく動作内容と時間を対応付けたログデータを取得する取得部と、
   前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記ユーザの音声による操作がなされない未操作時間帯を推定する推定部と、
   前記未操作時間帯に前記ユーザの音声の入力を受け付ける音入力装置をオフ状態にすることを指示する制御データを生成する制御データ生成部と、
   前記制御データを前記ユーザ装置に送信する通信装置とを備え、
   前記ユーザ装置は、前記ユーザのタッチ操作を受け付けるタッチパネルと、音を出力する音出力装置とを備え、前記制御データに基づいて、前記音入力装置をオフ状態に制御すると共に、前記制御データに基づいて前記タッチパネル及び前記音出力装置をオフ状態に制御しない、
   制御データ生成装置。
2. 前記推定部は、
   前記ログデータと前記音声による操作がなされなかった時間帯との関係を学習モデルに学習させる学習部と、
   前記学習モデルを用いて、将来の時間帯における前記音声による操作の有無を示す予測データを生成する予測部とを備え、
   前記制御データは、前記予測データの示す前記未操作時間帯に前記音入力装置をオフ状態にすることを指示するデータである、
   請求項１に記載の制御データ生成装置。
3. 前記学習部は、前記ログデータを基に前記予測データの正誤を示すラベルデータを生成し、前記ラベルデータと前記予測データに対応する時間帯より前のログデータとの組を教師データとして前記学習モデルに学習させる、
   請求項２に記載の制御データ生成装置。
4. 前記学習部は、
   前記ログデータを基に前記予測データの正誤を示すラベルデータを生成し、
   前記予測データに対応する時間帯より前のログデータを基に前記ユーザの行動内容と行動がなされた時間とを対応付けた行動データを生成し、
   前記ラベルデータと前記行動データの組を教師データとして前記学習モデルに学習させる、
   請求項２に記載の制御データ生成装置。
5. 前記取得部は、前記ユーザの行動に関するスケジュールを示すスケジュールデータを取得し、
   前記学習部は、前記予測データに対応する時間帯より前のログデータと前記スケジュールデータとに基づいて、前記行動データを生成する、
   請求項４に記載の制御データ生成装置。
6. 前記推定部は、
   前記ログデータに基づいて、前記複数の時間帯の各々について前記音声よる操作がなされない可能性の程度を示す評価値を算出する算出部と、
   前記評価値を所定値と比較した比較結果に基づいて、前記未操作時間帯を特定する特定部と、
   を備える請求項１に記載の制御データ生成装置。
7. 請求項１から６までのうち、いずれか1項に記載の制御データ生成装置と、
   前記ユーザの音声の入力を受け付ける音入力装置と、
   音を出力する音出力装置と、
   前記ユーザのタッチ操作を受け付けるタッチパネルと、
   前記制御データに基づいて前記音入力装置をオフ状態に制御すると共に、前記制御データに基づいて前記タッチパネル及び前記音出力装置をオフ状態に制御しない制御部と、
   を備えるユーザ装置。
8. ユーザが管理するユーザ装置と、前記ユーザ装置と通信可能なサーバ装置とを備える情報処理システムであって、
   前記ユーザ装置は、
   ユーザの音声の入力を受け付ける音入力装置と、
   音を出力する音出力装置と、
   前記ユーザのタッチ操作を受け付けるタッチパネルと、
   制御データに基づいて前記音入力装置をオフ状態に制御すると共に、前記制御データに基づいて前記タッチパネル及び前記音出力装置をオフ状態に制御しない制御部と、
   前記ユーザ装置における前記ユーザのタッチ操作及び前記ユーザの音声による操作に基づく動作内容と時間を対応付けたログデータを前記サーバ装置に送信し、前記サーバ装置から送信される前記制御データを受信する第１通信装置と、
   を備え、
   前記サーバ装置は、
   前記ユーザ装置から送信される前記ログデータを受信し、前記制御データを前記ユーザ装置に送信する第２通信装置と、
   前記ログデータに基づいて、１日を区分した複数の時間帯のうち前記ユーザの音声による操作がなされない未操作時間帯を推定する推定部と、
   前記未操作時間帯に前記ユーザの音声の入力を受け付ける音入力装置をオフ状態にすることを指示する前記制御データを生成する制御データ生成部と、を備える、
   情報処理システム。
9. 前記ユーザ装置は、
   前記ユーザ装置が使用される状態を検出する検出装置を備え、
   前記制御部は、前記制御データが前記音入力装置をオフ状態にすることを指定しない時間帯において、前記検出装置の検出結果が所定の状態である場合、前記音入力装置をオフ状態にさせる、
   請求項８に記載の情報処理システム。

Images